LinuxにおけるHugePages設定ガイド:本番環境のPostgreSQL、Oracle、Javaのメモリパフォーマンス最適化

Linux tutorial - IT technology blog
Linux tutorial - IT technology blog

クイックスタート:5分でサーバーのボトルネックを解消する

深夜2時、PagerDutyのアラートが鳴り響く。64GB RAMを搭載したPostgreSQLサーバーが突如スパイクを起こし、クエリレイテンシは20msから3,500msへと急上昇。トラフィックの増加は見られないにもかかわらず、システムCPU使用率(%sy)は65%に達している。perf topを実行して調査すると、原因は明白でした。CPUがページテーブルウォーク(page table walk)に追われ、カーネルのスピンロック(kernel spinlock)で詰まっていたのです。

システムでバッファキャッシュやJavaヒープに数十GBのメモリを割り当てていませんか? Linuxがその膨大なRAMを4KBの微小なブロックに細分化し続けていると、CPUは疲弊してしまいます。ここでは、事態を打開するために静的HugePages(2MB)を即座に有効化する3つのステップを解説します。

1. OSのHugePageサイズを確認する

grep -i hugepagesize /proc/meminfo
# 標準的なx86_64アーキテクチャでは通常以下のように返されます:
# Hugepagesize:       2048 kB (2MB)

2. sysctl経由でHugePagesを動的に割り当てる

データベースに16GBのshared_buffersが必要だと仮定します。ページサイズが2MBの場合、必要なページ数は8,192ページ(16,384MB / 2MB)です。補助プロセス用に約5%のマージンを加え、切り上げて8,600ページとします:

# 再起動なしで稼働中のRAMに8,600個の2MBページを直接割り当てる
sudo sysctl -w vm.nr_hugepages=8600

# カーネルが必要なページ数を確保できたか確認する
grep -i hugepages /proc/meminfo | grep -E "HugePages_Total|HugePages_Free"

3. メモリロック権限(memlock)を設定する

スワップアウトを防ぐため、データベースプロセスにはメモリをRAM上に固定(ピン留め)する権限が必要です。systemdでサービスを管理している場合(Ubuntu 20.04以降、RHEL 8以降)、overrideファイルを作成します:

sudo systemctl edit postgresql
# overrideファイルに以下の2行を追加:
[Service]
LimitMEMLOCK=infinity

initスクリプトや通常のシェルセッション経由で実行されるデーモンの場合は、/etc/security/limits.confに以下を追記します:

postgres soft memlock unlimited
postgres hard memlock unlimited

データベースを再起動します。topコマンドで%syを再度確認すると、CPU負荷が劇的に低下していることが分かります。

技術的背景:なぜHugePagesが根本解決になるのか?

ページテーブルのボトルネックとTLBミス

Linux x86_64のデフォルトでは、RAMは4KBのページに細分化されています。CPUはページテーブル(Page Table)を用いてアプリケーションの仮想アドレスを物理アドレスに変換します。このルックアップを高速化するために、CPUにはTLB(Translation Lookaside Buffer)と呼ばれる極めて高速なハードウェアキャッシュが搭載されています。

しかし、アプリケーションが消費するRAMが肥大化すると、次のような問題が発生します:

  • 64GB RAMのバッファを持つPostgreSQLサーバーでは、実に16,777,216個の4KBページが必要になります。アドレスのマッピング情報を保持するだけで、4階層のページテーブル自体が1.3GB以上のRAMを消費してしまいます。
  • 現代のCPU(Intel XeonやAMD EPYCなど)のTLBには数千エントリ程度しか格納できません。これは、TLBが実際にカバーできるメモリ領域がわずか数十MBに過ぎないことを意味します。
  • クエリが大量のデータをスキャンすると、TLBミスが頻発します。ミスが発生するたびに、CPUは4階層のページテーブルをウォークするために何十クロックサイクルも浪費します。その結果、%syが急増し、CPUコア同士がロック待ちでスタックしてしまいます。

これを512倍のサイズである2MBのHugePagesに切り替えると、状況は一変します。64GBのRAMでも必要なページ数はわずか32,768ページに激減します。ページテーブルのサイズはわずか数MBまで縮小され、TLBキャッシュがホットデータのほぼ全域をカバーできるようになります。その結果、TLBミスはほぼゼロまで削減されます。

夜間バッチで財務レポートを処理する128GB RAMのPostgreSQLクラスタにおいて、静的HugePagesへ移行したことで、クエリの実行時間を45分から28分へと短縮できた実績もあります。

静的HugePages(Standard HugePages)vs Transparent HugePages(THP)

運用現場において、これら2つの概念は混同されがちです:

  • Standard HugePages(静的): 事前に固定されたメモリ領域を確保します。この領域はRAM上に常駐してスワップアウトされず、明示的に指定されたプロセスのみがアクセスできます。
  • Transparent HugePages(THP): アプリケーションの実行中に、OSが自動的に4KBページを2MBページへ集約する機能です。理論上は便利ですが、バックグラウンドプロセスのkhugepagedがランタイムでメモリ集約を行う際にメモリコンパクション(memory compaction)を引き起こします。これによりメモリロックが保持され、データベースのスレッドが数百ミリ秒から数秒間停止(ストール)する原因になります。

実践におけるベストプラクティス:すべてのDatabase、Redis、Kafkaにおいて、THPを完全に無効化し、Standard HugePagesを設定してください。

本番環境への標準導入手順

1. Transparent HugePagesを恒久的に無効化する

サーバー上のTHPのステータスを確認します:

cat /sys/kernel/mm/transparent_hugepage/enabled
# [always] madvise never が返された場合 -> THPが有効になっています!

GRUB経由でTHPを完全に無効化します。/etc/default/grubを開き、カーネルパラメータ行にフラグを追加します:

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash transparent_hugepage=never"

ブートローダーを更新し、サーバーの再起動をスケジュールします:

# Ubuntu / Debian の場合:
sudo update-grub

# RHEL / CentOS / Rocky Linux の場合:
sudo grub2-mkconfig -o /boot/grub2/grub.cfg

2. HugePagesの必要数を算出してOSに固定する

正確な算出式は以下の通りです:

ページ数 (nr_hugepages) = ceil(アプリケーションが必要とするRAM / Hugepagesize) + バッファマージン (約3-5%)

PostgreSQLの例: サーバーのshared_buffers = 32GBの場合、(32 * 1024) / 2 = 16384ページが必要です。予備として約600ページを追加し、最終的に17000ページと決定します。

/etc/sysctl.d/99-hugepages.confファイルに恒久的な設定を記述します:

vm.nr_hugepages = 17000
# データベースユーザーのグループに対してHugetlb経由の共有メモリ割り当てを許可
vm.hugetlb_shm_group = 999  # 999をpostgresユーザーの実際のGIDに置き換える(確認方法: id -g postgres)

sysctl設定を再読み込みします:

sudo sysctl --system

3. アプリケーション層でHugePagesを有効化する

PostgreSQL

postgresql.confファイルを開き、パラメータを再設定します:

# デフォルトは 'try' です。HugePagesの使用を強制するには 'on' に変更します。
# ページ数が不足している場合、4KBページでサイレントに低速動作するのを防ぎ、DBは起動を拒否します。
huge_pages = on

PostgreSQLを再起動します:

sudo systemctl restart postgresql

Oracle Database

Linux側で準備が整っていれば、Oracleは自動的にSGAをHugePagesにマッピングします。sqlplus / as sysdbaにログインし、パラメータを固定します:

-- インスタンス起動時に十分なHugePagesがある場合のみ起動させ、4KBへの自動フォールバックを防止する
ALTER SYSTEM SET USE_LARGE_PAGES=ONLY SCOPE=SPFILE;
SHUTDOWN IMMEDIATE;
STARTUP;

Java JVM(Elasticsearch、Kafka、大容量ヒープのSpring Boot)

16GB以上のヒープを確保するJavaアプリケーションでは、起動スクリプトに-XX:+UseLargePagesフラグを追加します:

java -Xms32g -Xmx32g -XX:+UseLargePages -XX:+AlwaysPreTouch -jar service-backend.jar

注意:-XX:+AlwaysPreTouchフラグを付与することで、JVMは起動時にすべてのメモリページにアクセス(事前確保)し、本番リクエスト流入時のレイテンシスパイクを回避できます。

よくあるトラブルシューティング

1. nr_hugepagesを設定したにもかかわらず、カーネルが必要なページ数を確保できない

sysctl -w vm.nr_hugepages=17000を実行したものの、HugePages_Totalが8000までしか上がらないケースがあります。これは物理メモリの断片化(フラグメンテーション)が原因です。サーバーを数週間稼働させたことでRAMが分断され、カーネルが連続した2MBのブロックを十分に確保できなくなっています。

オンライン稼働中にカーネルへメモリのデフラグを強制する手順:

# 1. ダーティデータをディスクへフラッシュし、ページキャッシュを解放する
sync
echo 3 | sudo tee /proc/sys/vm/drop_caches

# 2. 分散したメモリブロックを集約して連続した領域を確保する
echo 1 | sudo tee /proc/sys/vm/compact_memory

# 3. 再度割り当てを要求する
sudo sysctl -w vm.nr_hugepages=17000

上記の手順でも十分なページ数が確保できない場合は、GRUBのブートパラメータにhugepages=17000を指定して再起動する必要があります。これにより、RAMが断片化する前の起動直後の段階で、カーネルが確実に領域を予約します。

2. プロセスが実際にHugePagesを使用しているか確認する

free -mコマンドではHugePagesの内訳が確認できないため使用を避けてください。直接/proc/meminfoを参照して確認します:

watch -n 2 'grep -i huge /proc/meminfo'

出力結果に含まれる重要な4つの指標:

  • HugePages_Total: カーネルが予約した総ページ数。
  • HugePages_Free: まだどのプロセスにもマッピングされていないページ数。
  • HugePages_Rsvd: アプリケーションによって正常に予約(reserved)されたものの、まだデータが書き込まれていないページ数。
  • HugePages_Surp: 当初の割り当て制限を超えて割り当てられた余剰(surplus)ページ数。

設定成功の判断基準:データベースが起動すると、HugePages_Rsvdがバッファサイズに応じた数値に跳ね上がります。もしHugePages_FreeがHugePages_Totalと同値のままでHugePages_Rsvd = 0であれば、アプリケーションはHugePagesをまったく利用できていません。LimitMEMLOCKの権限設定を再確認するか、vm.hugetlb_shm_groupのグループIDを見直してください。

Share: