Proxmox VEでZFS L2ARCキャッシュとSLOGを設定:仮想マシンのI/Oを高速化する

Virtualization tutorial - IT technology blog
Virtualization tutorial - IT technology blog

クイックスタート:5分でZFSプールにキャッシュを割り当てる

空きのSSDやNVMeドライブがあり、今すぐProxmox VEに組み込みたい方向けの手順です。

ProxmoxホストのWeb Shellを開くかSSHで接続し、ディスクIDの一覧を取得します:

# disk-by-idでドライブ一覧を取得(再起動時のデバイス名変動を防ぐため、/dev/nvme0n1ではなくIDの指定が必須)
ls -la /dev/disk/by-id/

# 現在のプール名を確認
zpool status

ここではZFSプールの名前をrpoolと仮定します。読み取りキャッシュ(L2ARC)用のパーティションと、電力損失保護(PLP)対応SSD上のSLOG用パーティションを準備し、以下のコマンドを順番に実行します:

# 1. 読み取りキャッシュ(L2ARC)を割り当て
zpool add rpool cache /dev/disk/by-id/nvme-INTEL_MEMPEK1W016GA_...-part1

# 2. 同期書き込みログ(SLOG)を割り当て
zpool add rpool log /dev/disk/by-id/nvme-INTEL_MEMPEK1W016GA_...-part2

# 3. プールのステータスを再確認
zpool status rpool

これでzpool statusを実行すると、メインvdevの直下にlogsとcacheの2つのツリーが追加表示されます。プールは新しいワークロードを受け入れる準備が整いました。

技術的本質:L2ARCとSLOGはどのように機能するのか?

筆者のホームラボ環境では、Proxmoxクラスタ上でCI/CD、Nextcloud、PostgreSQLデータベースなどを担う12台のVMおよびコンテナが稼働しています。これだけの負荷をHDDによるRAIDZ2構成や一般的なSATA SSDで同時に動かすと、容易にI/O waitが25〜40%まで跳ね上がり、システム全体が一時的にフリーズ状態に陥ります。内部の動作メカニズムを正しく理解することは、無駄なハードウェア投資を避けるためにも極めて重要です。

1. L2ARC(Level 2 Adaptive Replacement Cache)

ZFSは常にRAM経由での読み取りを最優先します。このメモリ階層はARCと呼ばれます。RAMは極めて低遅延(100ns未満)ですが、容量に限りがありコストも高価です。頻繁にアクセスされるホットデータがRAMの容量を超えると、ZFSはデータをストレージディスクへと追い出します。

SSDを追加してL2ARCとして構成することは、第2のキャッシュ階層を追加することを意味します:

  • RAM (ARC):第1層。最速で、最も「ホット」なデータを保持。
  • SSD (L2ARC):第2層。ARCから追い出されたものの、再読み取りされる可能性が高いデータを保持。
  • Pool vdev (HDD/SATA SSD):ベース層。すべてのデータを保持し、最も低速。

特に注意が必要な点として、L2ARCはヘッダーのインデックス管理テーブルのためにホストのRAMを消費します。仮想ディスク(Zvol)のデフォルトであるvolblocksize 8KBの場合、L2ARC 1TBあたり4GB〜8GBものホストRAMが占有される可能性があります。サーバーの搭載RAMが16GB未満の場合、大容量のL2ARCを導入するとARC領域が圧迫され、かえってシステム全体のパフォーマンスが低下してしまいます。

2. SLOG(Separate ZFS Intent Log)

SLOGはすべての書き込みデータに対するライトキャッシュではありません。ZFSは非同期書き込み(async writes)をTransaction Group(TXG)としてRAM上に集約し、5秒ごとにまとめてディスクへフラッシュします。

一方、PostgreSQLやMySQLといった厳格なデータ整合性を求めるアプリケーション、あるいはNFSやiSCSI経由でマウントされた仮想マシンディスクは、同期書き込み(sync writes)を要求します。これは、データが不揮発性ストレージ上に安全に書き込まれたというディスクからの確認応答を受け取るまで、アプリケーションの処理がブロックされることを意味します。デフォルトでは、ZFSはこれらの同期書き込みをメインプール上に同居するZIL(ZFS Intent Log)に記録するため、ディスクが読み取りと書き込みの競合に晒され続けることになります。

このZILを極めて高速な専用SSDへと切り離す構成がSLOGです:

  • 同期書き込みパケットはわずか数十マイクロ秒のレイテンシでSLOGに直接書き込まれます。
  • ProxmoxはVMに対して即座に書き込み完了の応答を返します。
  • ZFSはRAM上に保持されたデータを後からメインプールへと安全にフラッシュします。

高度な実践:パーティション分割とパラメータのチューニング

SLOGに実際に必要な容量は、最大5秒間に発生する同期書き込みのデータ量のみです(通常は4GB〜16GBで十分です)。そのため、エンタープライズ向けNVMe SSDをパーティション分割し、小さな領域をSLOGに、残りの大部分をL2ARCに割り当てる運用が効果的です。

1. sgdiskによる正確なパーティション作成

# 既存のパーティションテーブルを完全に消去(警告:ドライブ上の全データが消去されます)
sgdisk --zap-all /dev/disk/by-id/nvme-INTEL_SSDPE2KE016T8_...

# パーティション1を作成:SLOG用に16GB(10GbEリンクでも十分な容量)
sgdisk -n 1:0:+16G -c 1:"zfs-slog" /dev/disk/by-id/nvme-INTEL_SSDPE2KE016T8_...

# パーティション2を作成:残りの全容量をL2ARCに割り当て
sgdisk -n 2:0:0 -c 2:"zfs-l2arc" /dev/disk/by-id/nvme-INTEL_SSDPE2KE016T8_...

2. SLOGのミラー(Mirror)構成

L2ARCドライブが故障してもデータ損失は発生せず、単に読み取りキャッシュが失われるだけです。しかしSLOGの場合、RAMからプールへのデータフラッシュが完了する前に電源障害と同時にドライブ障害が発生すると、直近最大5秒間のデータが消失します。本番(プロダクション)環境では、必ずミラー構成を採用してください:

zpool add rpool log mirror \
  /dev/disk/by-id/nvme-slog-drive1-part1 \
  /dev/disk/by-id/nvme-slog-drive2-part1

3. modprobeによるZFSパラメータの最適化

カーネルモジュール設定ファイルを作成し、再起動後もキャッシュを維持するとともに、キャッシュ蓄積速度を高めます:

cat << 'EOF' > /etc/modprobe.d/zfs.conf
# ARCの最大容量を制限(例:16GBに設定:16 * 1024^3 = 17179869184 バイト)
options zfs zfs_arc_max=17179869184

# ホスト再起動後もL2ARCを維持し、ゼロからのウォームアップを回避
options zfs l2arc_rebuild_enabled=1

# RAMからL2ARCへの書き込み帯域上限を64MB/sに引き上げ(デフォルトの8MB/sは非常に低速)
options zfs l2arc_write_max=67108864
EOF

# 変更を適用するためにinitramfsを更新
update-initramfs -u -k all

運用における実践的な知見

1. SLOGにコンシューマー向けSSDを使用してはいけない理由

Samsung 980 ProやKingston KC3000といった民生用SSDをSLOGとして接続し、同期書き込み速度の大幅な低下に直面するケースが少なくありません。その原因はキャッシュフラッシュの仕組みにあります。コンシューマー向けSSDには電力損失保護(PLP)コンデンサが搭載されていないため、同期書き込み要求を受け取るたびに、コントローラはDRAMバッファからNANDフラッシュチップへデータを強制書き込みしなければなりません。この処理により、レイテンシは本来の数十マイクロ秒から15〜30msにまで跳ね上がります。

そのため、SLOGにはPower Loss Protection(PLP)を備えたエンタープライズ向けSSD、あるいはIntel Optane(P4801X、900P、M10など)をはじめとするStorage Class Memoryの採用が必須です。これらはハードウェア上の物理コンデンサを備えており、オンボードDRAMへの書き込み時点で即座に安全な完了通知を返すことができます。

2. arcstatによるヒット率のモニタリング

推測に頼らず、通常運用を2〜3日行った後にターミナルを開いて実際のキャッシュ効果を測定しましょう:

arcstat -f time,read,hits,miss,hit%,l2read,l2hits,l2miss,l2hit% 2

l2hit%列を確認してください。ヒット率が継続して5%を下回っている場合、L2ARCは効果的に機能していません。主な原因としては、ワークロードのデータセットがランダムに分散しすぎているか、あるいはRAM上のARC容量だけで必要なリクエストが十分に満たされていることが考えられます。

3. キャッシュドライブの安全な切り離し手順

ハードウェアの交換やパーティションの再設定が必要な場合でも、ZFSプールからデバイスを切り離す前に物理ドライブを取り外してはいけません:

# L2ARCキャッシュの削除(完全に安全であり、いつでも実行可能)
zpool remove rpool /dev/disk/by-id/nvme-...-part2

# SLOGの削除(ZFSが保留中のログをプールへ自動フラッシュしてから切り離す)
zpool remove rpool /dev/disk/by-id/nvme-...-part1

コマンドの完了後、稼働中の仮想マシンを一切停止させることなく、プールは安全に元の状態へと復帰します。

Share: