本番環境でのインシデント:Varnish Cacheが「ブラックボックス」と化した日
昨年のミッドイヤーセール期間中、自社Webサイトのトラフィックが1,200 RPSから6,500 RPS近くまで急増しました。背後にある4台のNginx/PHP-FPMバックエンドクラスタは即座にCPU使用率100%に達し、Load averageは48まで跳ね上がりました。一方で、前段に立つVarnishノードは8 GBのRAMのうち2.5 GBも消費していませんでした。
当時、サーバーにSSHログインしてvarnishstatを実行したものの、数値が毎秒激しく変動し、全体の傾向を把握するのは困難でした。Varnish自体は正常にリクエストを処理しているように見えました。しかし実際には、その日の朝にデプロイされたVCL設定において、マーケティング用の新しいトラッキングCookieを除去(strip)し忘れていたのです。その結果、リクエストの80%以上がバックエンドへ直接スルー(passモード)され、誰も気づかないうちにHit Rateが94%から15%へと暴落していました。
可視化ダッシュボードもなく、自動アラートもないため、エンジニアチームは完全な後手に回ってしまいました。この問題を根本から解決するため、私たちはprometheus-varnish-exporter、Prometheus、Grafanaの3つのツールを導入・運用することにしました。本記事では、その監視アーキテクチャ、具体的なセットアップ手順、そして実運用で得たアラートチューニングのノウハウを共有します。
Varnish Shared Memoryからのメトリクス収集アーキテクチャ
VarnishはI/Oボトルネックを防ぐため、統計情報をテキストファイルには書き込みません。すべてのパフォーマンスカウンターは、VSM(Varnish Shared Memory、通常は/var/lib/varnish/配下)と呼ばれる共有メモリ領域に直接保持されます。CLIツールのvarnishstatも、この共有メモリからデータを直接読み取っています。
PrometheusはVSMメモリを直接読み取ることができないため、両者を橋渡しするprometheus-varnish-exporterが必要です。このExporterはlibvarnishapiライブラリを用いて各種メトリクス・カウンターを抽出し、Prometheusが定期的にスクレイプできるようにHTTPエンドポイント(デフォルトポート9131)を公開します。
追跡すべき3大重要メトリクスグループ
- Cache Hit Rate(キャッシュヒット率):
varnish_main_cache_hitとvarnish_main_cache_missの2つのカウンターに基づきます。この指標は、VCL内のキャッシュロジックが意図通りに機能しているかを反映します。 - Backend Health(バックエンドの健全性):
varnish_backend_conn(NginxやApacheへのオープン接続数)とvarnish_backend_fail(バックエンドのタイムアウトやエラー応答数)で構成されます。フェイル数が急増している場合、バックエンドが過負荷に陥っている兆候です。 - Client Connection Traffic(クライアント接続トラフィック):
varnish_main_client_req(受信した総リクエスト数)およびvarnish_main_sess_drop(TCPキューあふれによるドロップセッション数)によって測定します。
ステップ・バイ・ステップ導入・設定ガイド
ステップ1:prometheus-varnish-exporterの導入
このExporterはGoでコンパイルされていますが、VarnishのCライブラリに依存しています。Ubuntu 22.04 LTS環境(Varnish 6.0 LTSまたは7.x稼働中)の場合、まず必要な共有ライブラリパッケージをインストールします:
# Varnish APIライブラリのインストール
sudo apt-get update
sudo apt-get install -y libvarnishapi-dev
# GitHub(jonnenauha/prometheus_varnish_exporter)から最新バイナリを取得
cd /tmp
wget https://github.com/jonnenauha/prometheus_varnish_exporter/releases/download/1.6.1/prometheus_varnish_exporter-1.6.1.linux-amd64.tar.gz
tar -xvf prometheus_varnish_exporter-1.6.1.linux-amd64.tar.gz
sudo mv prometheus_varnish_exporter-1.6.1.linux-amd64/prometheus_varnish_exporter /usr/local/bin/
sudo chmod +x /usr/local/bin/prometheus_varnish_exporter
次に、systemd unitファイルを作成します。ExporterはVarnishのVSMファイルへのアクセス権限が必要なため、サービスはvarnishユーザーまたはグループで実行する必要があります:
sudo tee /etc/systemd/system/varnish_exporter.service << 'EOF'
[Unit]
Description=Prometheus Varnish Exporter
After=varnish.service
[Service]
User=varnish
Group=varnish
ExecStart=/usr/local/bin/prometheus_varnish_exporter -web.listen-address=:9131
Restart=always
RestartSec=3s
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl daemon-reload
sudo systemctl enable --now varnish_exporter.service
curlを使用してエンドポイントにアクセスし、メトリクスが出力されているか確認します:
curl -s http://localhost:9131/metrics | grep -E "varnish_main_cache_hit|varnish_main_client_req"
ステップ2:Prometheusでのターゲット設定
Prometheusサーバーの/etc/prometheus/prometheus.ymlファイルに、スクレイプジョブの設定を追加します:
scrape_configs:
- job_name: 'varnish_nodes'
scrape_interval: 15s
static_configs:
- targets: ['192.168.1.50:9131']
labels:
environment: 'production'
service: 'varnish-frontend'
次のコマンドを実行して設定を再読み込みします:curl -X POST http://localhost:9090/-/reload
ステップ3:実践的なPromQLクエリ
Varnishのカウンターはサービス起動時から単調増加し続けます。そのため、生の値ではなくrate()関数を使用して、1秒あたりの変化率(レート)を計算する必要があります。
1. 直近5分間の平均Cache Hit Rate(%)
(sum(rate(varnish_main_cache_hit[5m]))
/
(sum(rate(varnish_main_cache_hit[5m])) + sum(rate(varnish_main_cache_miss[5m])))) * 100
注意:この計算式はVCLで意図的に設定されたpassやpipeリクエストを除外しており、キャッシュ対象(cacheable)リクエストのパフォーマンスを純粋に評価します。
2. Varnishへのリクエストトラフィック(RPS)
sum(rate(varnish_main_client_req[1m]))
3. バックエンド接続エラー率(エラー/秒)
sum(rate(varnish_backend_fail[2m]))
ステップ4:アラート疲れ(Alert Fatigue)を防ぐ運用の工夫
導入当初、「Hit Rateが1分間85%を下回ったらTelegramに通知する」という単純なルールを設定していました。しかし結果は散々なものでした。深夜にSEOクローラーが巡回したり、開発者が商品カテゴリのキャッシュを一括パージしたりするたびに、Telegramに通知が嵐のように飛び交いました。オンコールチームは疲弊し、次第にアラートを無視する悪循環に陥ってしまったのです。
アラートを真に実用的なものにするため、以下の3つのルールを取り入れたところ、劇的な効果が得られました:
- 評価ウィンドウ(window time)の延長:
[1m]ではなく[10m]で評価します。これにより、キャッシュパージ直後の一時的なヒット率低下による誤検知を完全に排除できます。 - 最小トラフィック条件の併用:Hit Rateの低下に加えて、総トラフィックが一定閾値を超えている場合のみトリガーさせます。例:
Hit Rate < 70% AND rate(varnish_main_client_req[5m]) > 100。深夜3時に合計4リクエストしかなく、そのうち2件がミスヒットしてヒット率が50%に落ちたとしても、システム上の問題ではないからです。 - 重要度(Severity)の切り分け:Hit Rateが15%低下した程度であれば、メールやチケット通知によるWarning扱いに留めます。しかし、
varnish_backend_fail > 0が2分以上継続し、さらにvarnish_main_sess_drop > 0が発生している場合は、PagerDutyでオンコール担当者を即座に叩き起こすべきCriticalインシデントと定義します。
ステップ5:Grafanaでの可視化ダッシュボード構築
Grafanaの管理画面で、以下の3つの基本パネルグループを構成します:
- Gauge Panel:現在のHit Ratioを表示。しきい値の色分けを明確に設定します:赤(< 70%)、黄(70%〜85%)、緑(> 85%)。
- Time Series Panel:
varnish_main_cache_hitとvarnish_main_cache_missを同一グラフ上にプロットし、ピーク時間帯における両者の相関と推移を比較します。 - Stat Panel:Session DropsおよびBackend Unhealthyを監視。正常な運用状態であれば、これらの数値は常に0であるべきです。
ゼロからダッシュボードを作る手間を省きたい場合は、Grafana HubからダッシュボードID「12431」をインポートできます。インポート後、対応するPrometheusデータソースを紐付けるだけで、すぐにグラフが描画されます。
まとめ
Varnishは毎秒数千リクエストを軽快に処理できる強力なリバースプロキシですが、内部トラフィックが可視化されていなければ真価を発揮できません。PrometheusとGrafanaを組み合わせることで、意図しないキャッシュバイパス、バックエンドの詰まり、セッションのドロップといった問題を、ユーザーからの苦情が届く前に即座に検知できます。
まずはExporterを導入し、システムのベースラインデータを2週間ほど観測してみてください。通常時のトラフィックパターンを正確に把握した上でアラートルールを設計すれば、システムの安定稼働とオンコールチームの平穏な睡眠の両方を守ることができます。
