クイックスタート:5分でサーバーのボトルネックを解消する
深夜2時、PagerDutyのアラートが鳴り響く。64GB RAMを搭載したPostgreSQLサーバーが突如スパイクを起こし、クエリレイテンシは20msから3,500msへと急上昇。トラフィックの増加は見られないにもかかわらず、システムCPU使用率(%sy)は65%に達している。perf topを実行して調査すると、原因は明白でした。CPUがページテーブルウォーク(page table walk)に追われ、カーネルのスピンロック(kernel spinlock)で詰まっていたのです。
システムでバッファキャッシュやJavaヒープに数十GBのメモリを割り当てていませんか? Linuxがその膨大なRAMを4KBの微小なブロックに細分化し続けていると、CPUは疲弊してしまいます。ここでは、事態を打開するために静的HugePages(2MB)を即座に有効化する3つのステップを解説します。
1. OSのHugePageサイズを確認する
grep -i hugepagesize /proc/meminfo
# 標準的なx86_64アーキテクチャでは通常以下のように返されます:
# Hugepagesize: 2048 kB (2MB)
2. sysctl経由でHugePagesを動的に割り当てる
データベースに16GBのshared_buffersが必要だと仮定します。ページサイズが2MBの場合、必要なページ数は8,192ページ(16,384MB / 2MB)です。補助プロセス用に約5%のマージンを加え、切り上げて8,600ページとします:
# 再起動なしで稼働中のRAMに8,600個の2MBページを直接割り当てる
sudo sysctl -w vm.nr_hugepages=8600
# カーネルが必要なページ数を確保できたか確認する
grep -i hugepages /proc/meminfo | grep -E "HugePages_Total|HugePages_Free"
3. メモリロック権限(memlock)を設定する
スワップアウトを防ぐため、データベースプロセスにはメモリをRAM上に固定(ピン留め)する権限が必要です。systemdでサービスを管理している場合(Ubuntu 20.04以降、RHEL 8以降)、overrideファイルを作成します:
sudo systemctl edit postgresql
# overrideファイルに以下の2行を追加:
[Service]
LimitMEMLOCK=infinity
initスクリプトや通常のシェルセッション経由で実行されるデーモンの場合は、/etc/security/limits.confに以下を追記します:
postgres soft memlock unlimited
postgres hard memlock unlimited
データベースを再起動します。topコマンドで%syを再度確認すると、CPU負荷が劇的に低下していることが分かります。
技術的背景:なぜHugePagesが根本解決になるのか?
ページテーブルのボトルネックとTLBミス
Linux x86_64のデフォルトでは、RAMは4KBのページに細分化されています。CPUはページテーブル(Page Table)を用いてアプリケーションの仮想アドレスを物理アドレスに変換します。このルックアップを高速化するために、CPUにはTLB(Translation Lookaside Buffer)と呼ばれる極めて高速なハードウェアキャッシュが搭載されています。
しかし、アプリケーションが消費するRAMが肥大化すると、次のような問題が発生します:
- 64GB RAMのバッファを持つPostgreSQLサーバーでは、実に16,777,216個の4KBページが必要になります。アドレスのマッピング情報を保持するだけで、4階層のページテーブル自体が1.3GB以上のRAMを消費してしまいます。
- 現代のCPU(Intel XeonやAMD EPYCなど)のTLBには数千エントリ程度しか格納できません。これは、TLBが実際にカバーできるメモリ領域がわずか数十MBに過ぎないことを意味します。
- クエリが大量のデータをスキャンすると、TLBミスが頻発します。ミスが発生するたびに、CPUは4階層のページテーブルをウォークするために何十クロックサイクルも浪費します。その結果、
%syが急増し、CPUコア同士がロック待ちでスタックしてしまいます。
これを512倍のサイズである2MBのHugePagesに切り替えると、状況は一変します。64GBのRAMでも必要なページ数はわずか32,768ページに激減します。ページテーブルのサイズはわずか数MBまで縮小され、TLBキャッシュがホットデータのほぼ全域をカバーできるようになります。その結果、TLBミスはほぼゼロまで削減されます。
夜間バッチで財務レポートを処理する128GB RAMのPostgreSQLクラスタにおいて、静的HugePagesへ移行したことで、クエリの実行時間を45分から28分へと短縮できた実績もあります。
静的HugePages(Standard HugePages)vs Transparent HugePages(THP)
運用現場において、これら2つの概念は混同されがちです:
- Standard HugePages(静的): 事前に固定されたメモリ領域を確保します。この領域はRAM上に常駐してスワップアウトされず、明示的に指定されたプロセスのみがアクセスできます。
- Transparent HugePages(THP): アプリケーションの実行中に、OSが自動的に4KBページを2MBページへ集約する機能です。理論上は便利ですが、バックグラウンドプロセスの
khugepagedがランタイムでメモリ集約を行う際にメモリコンパクション(memory compaction)を引き起こします。これによりメモリロックが保持され、データベースのスレッドが数百ミリ秒から数秒間停止(ストール)する原因になります。
実践におけるベストプラクティス:すべてのDatabase、Redis、Kafkaにおいて、THPを完全に無効化し、Standard HugePagesを設定してください。
本番環境への標準導入手順
1. Transparent HugePagesを恒久的に無効化する
サーバー上のTHPのステータスを確認します:
cat /sys/kernel/mm/transparent_hugepage/enabled
# [always] madvise never が返された場合 -> THPが有効になっています!
GRUB経由でTHPを完全に無効化します。/etc/default/grubを開き、カーネルパラメータ行にフラグを追加します:
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash transparent_hugepage=never"
ブートローダーを更新し、サーバーの再起動をスケジュールします:
# Ubuntu / Debian の場合:
sudo update-grub
# RHEL / CentOS / Rocky Linux の場合:
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
2. HugePagesの必要数を算出してOSに固定する
正確な算出式は以下の通りです:
ページ数 (nr_hugepages) = ceil(アプリケーションが必要とするRAM / Hugepagesize) + バッファマージン (約3-5%)
PostgreSQLの例: サーバーのshared_buffers = 32GBの場合、(32 * 1024) / 2 = 16384ページが必要です。予備として約600ページを追加し、最終的に17000ページと決定します。
/etc/sysctl.d/99-hugepages.confファイルに恒久的な設定を記述します:
vm.nr_hugepages = 17000
# データベースユーザーのグループに対してHugetlb経由の共有メモリ割り当てを許可
vm.hugetlb_shm_group = 999 # 999をpostgresユーザーの実際のGIDに置き換える(確認方法: id -g postgres)
sysctl設定を再読み込みします:
sudo sysctl --system
3. アプリケーション層でHugePagesを有効化する
PostgreSQL
postgresql.confファイルを開き、パラメータを再設定します:
# デフォルトは 'try' です。HugePagesの使用を強制するには 'on' に変更します。
# ページ数が不足している場合、4KBページでサイレントに低速動作するのを防ぎ、DBは起動を拒否します。
huge_pages = on
PostgreSQLを再起動します:
sudo systemctl restart postgresql
Oracle Database
Linux側で準備が整っていれば、Oracleは自動的にSGAをHugePagesにマッピングします。sqlplus / as sysdbaにログインし、パラメータを固定します:
-- インスタンス起動時に十分なHugePagesがある場合のみ起動させ、4KBへの自動フォールバックを防止する
ALTER SYSTEM SET USE_LARGE_PAGES=ONLY SCOPE=SPFILE;
SHUTDOWN IMMEDIATE;
STARTUP;
Java JVM(Elasticsearch、Kafka、大容量ヒープのSpring Boot)
16GB以上のヒープを確保するJavaアプリケーションでは、起動スクリプトに-XX:+UseLargePagesフラグを追加します:
java -Xms32g -Xmx32g -XX:+UseLargePages -XX:+AlwaysPreTouch -jar service-backend.jar
注意:-XX:+AlwaysPreTouchフラグを付与することで、JVMは起動時にすべてのメモリページにアクセス(事前確保)し、本番リクエスト流入時のレイテンシスパイクを回避できます。
よくあるトラブルシューティング
1. nr_hugepagesを設定したにもかかわらず、カーネルが必要なページ数を確保できない
sysctl -w vm.nr_hugepages=17000を実行したものの、HugePages_Totalが8000までしか上がらないケースがあります。これは物理メモリの断片化(フラグメンテーション)が原因です。サーバーを数週間稼働させたことでRAMが分断され、カーネルが連続した2MBのブロックを十分に確保できなくなっています。
オンライン稼働中にカーネルへメモリのデフラグを強制する手順:
# 1. ダーティデータをディスクへフラッシュし、ページキャッシュを解放する
sync
echo 3 | sudo tee /proc/sys/vm/drop_caches
# 2. 分散したメモリブロックを集約して連続した領域を確保する
echo 1 | sudo tee /proc/sys/vm/compact_memory
# 3. 再度割り当てを要求する
sudo sysctl -w vm.nr_hugepages=17000
上記の手順でも十分なページ数が確保できない場合は、GRUBのブートパラメータにhugepages=17000を指定して再起動する必要があります。これにより、RAMが断片化する前の起動直後の段階で、カーネルが確実に領域を予約します。
2. プロセスが実際にHugePagesを使用しているか確認する
free -mコマンドではHugePagesの内訳が確認できないため使用を避けてください。直接/proc/meminfoを参照して確認します:
watch -n 2 'grep -i huge /proc/meminfo'
出力結果に含まれる重要な4つの指標:
HugePages_Total: カーネルが予約した総ページ数。HugePages_Free: まだどのプロセスにもマッピングされていないページ数。HugePages_Rsvd: アプリケーションによって正常に予約(reserved)されたものの、まだデータが書き込まれていないページ数。HugePages_Surp: 当初の割り当て制限を超えて割り当てられた余剰(surplus)ページ数。
設定成功の判断基準:データベースが起動すると、HugePages_Rsvdがバッファサイズに応じた数値に跳ね上がります。もしHugePages_FreeがHugePages_Totalと同値のままでHugePages_Rsvd = 0であれば、アプリケーションはHugePagesをまったく利用できていません。LimitMEMLOCKの権限設定を再確認するか、vm.hugetlb_shm_groupのグループIDを見直してください。
