1. 深夜2時15分のインシデント
真夜中にPagerDutyのアラートが鳴り響きました。メインWebサーバーの /var/www/uploads パーティションの使用率が98%に達し、ディスク空き容量は4GB未満にまで迫っていました。このディレクトリには、商品画像や電子請求書、顧客の証憑書類など、約230万個の小さなファイルを含む180GB以上のデータが格納されていました。
朝6時までに、データを予備のストレージクラスタ(backup-storage-02)へ緊急退避させる必要がありました。遅れが生じれば、朝の決済トランザクションでI/Oボトルネックが発生することは確実です。前リリーフの当番エンジニアは、慌てて次のコマンドを実行しました。
scp -r /var/www/uploads/ [email protected]:/data/backup_uploads/
重い処理のまま2時間近く経過し、約60GBが転送されたところで、社内ネットワークが2秒ほど瞬断しました。その瞬間、scp コマンドは見慣れたエラーメッセージを残して即座に切断されました:client_loop: send disconnect: Broken pipe。
プロセスは完全に停止。scp では途中で中断された転送を再開する手段がなく、最初からやり直すしかありません。その間にも転送元のディスク容量は100%に近づき、SSHのデフォルト暗号化によってCPU使用率は常に95%に張り付いていました。
2. なぜ従来のscpコマンドは失敗したのか?
scp の内部動作を掘り下げると、本番環境で大規模データを扱う際に致命的となる4つの弱点が浮き彫りになります。
- レジューム(再開)非対応:途中で接続が切れると、最初からやり直しになります。
cpもscpも転送ステータスを保持しないため、すべてのファイルを再度スキャンして上書きせざるを得ません。 - 差分転送(Delta Transfer)機能の欠如:たとえば50GBのログやデータベースファイルで最後の10MBだけが変更された場合でも、
scpはネットワーク経由で50GB丸ごと転送します。これは帯域を圧迫し、ディスクI/Oの無駄遣いにつながります。 - 不適切な圧縮によるCPU消費:JPEG、PNG、WebPなどの何百万枚もの画像ファイルは、すでに圧縮されています。これらに対してデータストリームの圧縮を有効にしても、パケットサイズはほとんど削減されず、無駄にCPU負荷を100%まで高めるだけです。
- メタデータとパーミッションの喪失:権限を保持するフラグを指定せずにファイルを転送すると、アプリケーションユーザー(
www-dataなど)の読み取り/書き込み権限が失われ、サーバー切り替え時に大量の500エラーを引き起こす原因になります。
3. 検討された代替アプローチ
アプローチ1: SSH経由で直接tarをパイプする
tar でストリームをまとめ、SSH越しに直接展開する方法です。
tar -cf - /var/www/uploads | ssh [email protected] "tar -xf - -C /data/backup_uploads/"
この手法は無数の小さなファイルをシーケンシャルな読み取りストリームにまとめるため、I/Oオーバーヘッドを大幅に削減できます。しかし、ネットワークが途切れると最初からやり直さなければならないという大きな欠点は残ります。また、定期的な差分同期にも適していません。
アプローチ2: LFTPや専用SFTPクライアントの利用
lftp などのツールはマルチスレッド処理やレジューム機能に優れています。ただし、本番環境に追加パッケージを導入し、SFTPアカウントをセットアップする必要があります。システムが緊急アラート状態にある中、環境構築に20分を費やすのは不必要なリスクでした。
アプローチ3: 標準のrsyncを採用する
rsyncは差分転送アルゴリズム(ローリングチェックサム)により、この問題を根本から解決します。盲目的にコピーするのではなく、転送元と転送先の間で実際に変更されたデータブロックのみを比較・転送します。
rsync -avz /var/www/uploads/ [email protected]:/data/backup_uploads/
このコマンドを使えば既存のファイルをスキップできます。ただし、デフォルトフラグのままだと、rsyncが帯域幅を占有したり、メインアプリケーションのCPUリソースを食いつぶしたりする可能性があります。
4. 本番環境向けに最適化された実践的rsync構文
エンドユーザーに影響を与えず、最も高速にデータを転送するために、あの深夜のトラブルを救ったrsyncコマンドがこちらです。
rsync -avPh \
--delete \
--bwlimit=50000 \
--exclude='*.tmp' --exclude='cache/' \
-e 'ssh -c [email protected] -T -o Compression=no -x' \
/var/www/uploads/ [email protected]:/data/backup_uploads/
各パラメータの詳細解説:
-a(アーカイブモード):パーミッション、所有者(ユーザー/グループ)、シンボリックリンク、元のタイムスタンプをそのまま維持します。-vおよび-h:詳細な進捗状況を出力し、容量をMBやGBなどの読みやすい形式で表示します。-P(--progressと--partialを内包):ネットワークが不安定な場合に極めて重要です。--partialは転送途中のファイルを保持するため、回線が切断されても最初からやり直すことなく、中断されたバイトから転送を再開します。--delete:転送元で削除されたファイルを転送先でも削除します。データを1対1で完全に一致させ、バックアップ先ディスクの肥大化を防ぎます。--bwlimit=50000:最大帯域幅を約50MB/s(50,000 KiB/s)に制限し、一般トラフィックのための回線容量を確保します。--exclude:cache/ディレクトリや*.tmpなどの不要な一時ファイルを除外します。-e 'ssh ...':SSH転送をチューニングします。暗号化方式に[email protected]を指定してCPUのハードウェアAES-NI命令を活用し、同時に圧縮を無効化(Compression=no)、X11フォワーディングを無効化(-x)して余計なオーバーヘッドを徹底的に排除します。
このパラメータ群をUbuntu 22.04サーバー(4 vCPU、4GB RAM)で実行したところ、CPU使用率は95%から18〜22%まで一気に低下しました。全180GBのデータは、55分強で安全に同期が完了しました。
末尾のスラッシュ(Trailing Slash)の落とし穴
転送元パスの末尾にある / の有無だけで、ディレクトリ構造が大きく変わってしまいます。
- 末尾に
/がある場合(/var/www/uploads/): uploadsディレクトリの中身全体を転送先ディレクトリ直下に同期します。 - 末尾に
/がない場合(/var/www/uploads): 転送先ディレクトリ内にuploadsというサブディレクトリを作成して同期します(結果として/data/backup_uploads/uploads/になります)。
実際のコマンドを実行する前には、必ず -n(--dry-run)オプションを付けて実行し、ディスクに影響を与えずにrsyncがどのような操作を行うかを事前確認してください。
rsync -avPhn --delete /var/www/uploads/ [email protected]:/data/backup_uploads/
Cronjob用の安全な自動同期スクリプト
バックグラウンドのcronjobに組み込む際は、ログファイルに何千行ものプログレスバーが出力されてしまうのを防ぐため、-P オプションの使用は避けてください。代わりに --partial を使い、flock と組み合わせてプロセスの多重起動を防止します。
#!/usr/bin/env bash
set -euo pipefail
LOG_FILE="/var/log/rsync_media.log"
LOCK_FILE="/var/run/rsync_media.lock"
exec 200>"$LOCK_FILE"
flock -n 200 || { echo "[$(date '+%Y-%m-%d %H:%M:%S')] 別のrsyncプロセスが実行中です。中止します。" >> "$LOG_FILE"; exit 1; }
echo "[$(date '+%Y-%m-%d %H:%M:%S')] データ同期を開始します..." >> "$LOG_FILE"
rsync -a --partial \
--delete \
--stats \
--bwlimit=40000 \
--exclude='.git*' \
-e 'ssh -i /root/.ssh/backup_id_rsa -o StrictHostKeyChecking=no' \
/var/www/uploads/ [email protected]:/data/backup_uploads/ >> "$LOG_FILE" 2>&1
echo "[$(date '+%Y-%m-%d %H:%M:%S')] 同期が完了しました!" >> "$LOG_FILE"
各オプションの意味とSSH接続の仕組みを正しく把握しておけば、大規模データの同期も安心してコントロールできます。深夜の障害対応に怯えることなく、堅牢で安全なバックアップ体制を構築しましょう。

