深夜2時のディスク容量枯渇という悪夢
深夜2時15分、けたたましく鳴り響くスマホの着信音。PagerDutyには赤いアラートが灯り、APIは全滅、MySQLプロセスは強制停止、クライアントからの問い合わせが殺到していました。眠い目をこすりながらVPSにSSHでログインし、どのコマンドを実行しても、システムからは決まってこのエラーが返されるばかりでした。
-bash: cannot create temp file for here-document: No space left on device
急いで df -h を叩いて確認すると、ルートパーティション / の使用率は100%に達していました。/var/log の中を覗くと、原因は一目瞭然でした。access.log がなんと45GBにまで膨れ上がっていたのです。ボットネットによる脆弱性スキャンを受け、リクエストが急増したことが引き金でした。その一方で、このVPSにはログの自動ローテーションや削除の仕組みが設定されていませんでした。
ログファイルの肥大化を目にして、思わず rm -f /var/log/app.log を実行してしまう方が少なくありません。しかし、それは絶対に避けてください。アプリケーションプロセスがファイルディスクリプタ(inode)を開いたまま保持しているため、ls コマンド上ではファイルが見えなくなっても、ディスク容量は1バイトたりとも解放されません。実際に容量を空けるにはサービスの再起動が必要になりますが、これは本番環境では極力避けたい対応です。システムを停止させることなく、安全かつスマートにログを管理するために、Linuxには強力な標準ツールである logrotate が備わっています。
logrotateはどのように動作するのか?
logrotateは、Linux上でログファイルのライフサイクルを管理するためのユーティリティです。ログが無制限に肥大化するのを防ぎ、スケジュールに従って定期的に以下の処理を実行します。
- Rotate(ローテーション): 現在のログファイルの名前を変更し(例:
app.logをapp.log.1にリネーム)、アプリケーションが引き続き書き込めるように新しい空ファイルを作成します。 - Compress(圧縮): 古いログファイルを
.gz形式に圧縮します。10GBのテキストログファイルも、圧縮後は通常1〜1.5GB程度に収まり、ディスク容量を約90%削減できます。 - Remove(削除・世代管理): 指定した世代数(例: 14日分)のログのみを保持し、それを超えた古いファイルを自動的に削除します。
どちらを選ぶべきか:copytruncateか、それともpostrotateか?
アプリケーションのログ出力方式に応じて、主に以下の2つのアプローチから選択します。
- 標準方式(create + postrotate): logrotateが古いログファイルの名前を変更した直後に、適切なパーミッション(権限)で新しいログファイルを作成します。その後、POSIXシグナル(通常は
USR1やSIGHUP)を送信して、NginxやApacheなどのWebサーバーに新しいログファイルを再オープンさせます。この方式はI/O効率が最も良く、ログの取りこぼしが発生しません。 - copytruncate方式: シグナルによるログ再読み込みに対応していないNode.js、Python、Go、Javaなどのアプリケーション向けに利用されます。logrotateがログ内容をバックアップファイルにコピーした後、元のファイルを0バイトに切り詰めます(truncate)。アプリケーション側は同じファイルディスクリプタを保持し続けられるため再起動が不要になります。ただし、5,000 req/sといった高負荷環境では、コピーから切り詰めまでのわずかな瞬間に書き込まれたログが欠落するリスクがあります。
本番環境に耐えうるlogrotate設定の実践
logrotateは通常、cron.daily または systemd-timer を介してバックグラウンドで定期実行されます。全体の共通設定は /etc/logrotate.conf にありますが、個々のサービスごとに管理しやすくするため、/etc/logrotate.d/ 配下に独立した設定ファイルを作成するのがベストプラクティスです。
ステップ1: アプリケーション向け設定ファイルの作成
バックエンドのログが /var/log/my-backend/*.log に出力されていると仮定します。ターミナルを開き、新しい設定ファイルを作成します。
sudo nano /etc/logrotate.d/my-backend
ファイルに以下の設定を記述します。
/var/log/my-backend/*.log {
daily
missingok
rotate 14
compress
delaycompress
notifempty
create 0640 appuser appuser
sharedscripts
copytruncate
}
押さえておくべき主要なディレクティブの解説:
daily: ログローテーションを日次で実行します。必要に応じてweekly(週次)やmonthly(月次)に変更可能です。missingok: ログファイルが存在しなくてもエラーを出さずスキップし、cronの実行停止を防ぎます。rotate 14: 直近14世代分のローテーションファイルを保持します。15日目になると最も古いファイルが自動削除されます。compress: ローテーション済みの過去ログをgzip形式で圧縮し、ディスク容量を節約します。delaycompress: 直前のローテーションファイルの圧縮を次のサイクルまで遅延させます。.1のファイルが平文テキストのまま残るため、監視スクリプトなどによる直接参照に便利です。notifempty: ログファイルが空(0バイト)の場合はローテーションをスキップします。create 0640 appuser appuser: 新規作成するログファイルに適切なパーミッションと所有者を設定し、機密ログを保護します。copytruncate: アプリケーションプロセスの再起動を伴わずにログをローテーションします。
ステップ2: ファイルサイズに応じた柔軟なローテーション
日次でのローテーションだけでは、突発的なDDoS攻撃やアクセス急増に対応しきれない場合があります。数時間でログが数十GBに跳ね上がるような事態に備え、ファイル容量に基づく条件を追加しておきましょう。
/var/log/my-backend/*.log {
daily
maxsize 500M
rotate 10
compress
copytruncate
}
maxsize 500M を指定することで、日付の切り替わりを待たずにファイルサイズが500MBを超えた時点で即座にローテーションが実行されます。
ステップ3: Dry-runによる構文チェック
インフラ運用において幾度となくトラブルを未然に防いでくれた鉄則は、「SSHを切断する前に必ずドライラン(模擬実行)を行う」ことです。中括弧の閉じ忘れやタイポひとつで、サーバー全体のcron日次ジョブが停止してしまう恐れがあります。
-d(デバッグ)フラグを使用すると、実際のファイルに一切手を加えることなく、処理の流れ全体をシミュレーションできます。
sudo logrotate -d /etc/logrotate.d/my-backend
以下のような出力が得られれば、設定ファイルの構文は正常です。
reading config file /etc/logrotate.d/my-backend
Allocating hash table for state file, size 64 entries
Handling 1 logs
rotating pattern: /var/log/my-backend/*.log after 1 days (14 rotations)
empty log files are not rotated, old logs are compressed
considering log /var/log/my-backend/app.log
log does not need rotating (log is empty)
ステップ4: 手動による強制実行テスト(Force run)
圧縮ファイル(.gz)が正しく生成されるか、ファイルのアクセス権限にズレが生じていないかを本番環境で確かめたい場合は、-f(強制)フラグを使って即座にローテーションを実行します。
sudo logrotate -f /etc/logrotate.d/my-backend
実行後、ls -la /var/log/my-backend/ を確認し、app.log.1 または app.log.1.gz が正しく作成されているかチェックしてください。
サーバー容量を守るためのチェックリスト
深夜のディスク容量枯渇トラブルは、適切な設定を行っていれば100%防げる障害です。新規サーバーを構築する際は、以下の項目を標準チェックリストとして組み込んでおきましょう。
- アプリケーションおよびWebサーバーのログに対して、必ず
rotateとcompressを有効にする。 - 単体アプリには
copytruncateを適用し、シグナルによるリロードに対応したアプリにはpostrotateを使用する。 - 設定変更後は、ターミナルを閉じる前に必ず
logrotate -dで構文検証を実施する。 - 前回のlogrotate実行日時を確認したい場合は、
/var/lib/logrotate/status(古いDebian環境では/var/lib/logrotate.status)を参照する。
