Grafana k6とPrometheus、Grafanaの統合:リアルタイムなAPI負荷監視とSLA/SLO管理の実践

Monitoring tutorial - IT technology blog
Monitoring tutorial - IT technology blog

1. 深夜0時のシステムダウンと「盲目的な」負荷テストの苦い教訓

半年前、私たちのチームはブラックフライデーの大規模セールに向けて準備を進めていました。チーム全員が自信満々でした。QAとバックエンド担当者がステージング環境でk6を使い、2,000人の同時接続ユーザーをシミュレートした負荷テストを実行したところ、ターミナルはオールグリーン。リクエストの99.8%がステータスコード200を返し、平均レイテンシはわずか85msでした。チーム一同、胸をなでおろしてノートPCを閉じ、眠りにつきました。

しかし、現実は非情でした。セール開始直後の午前0時7分、本番環境のカートに大量のトラフィックが殺到。チェックアウトAPIは瞬く間にボトルネックに陥り、レイテンシは4.5秒まで跳ね上がりました。PostgreSQLクラスタのコネクションプールはわずか3分で上限の100接続に達し、連鎖的に背後の全ワーカークラスタを巻き込んでダウン。公式SNSやサポート窓口はユーザーの怒りの声で埋め尽くされました。

その夜、私は痛烈な教訓を得ました。負荷テストを実行した後にターミナルに表示される数行のサマリーテキストを眺めるだけでは、目隠しをして車を運転しているのと変わりません。システムが一体どの瞬間に過負荷に陥り始めたのか、まったく把握できないのです。システムの限界点(breaking point)は800 RPSだったのか、それとも1,500 RPSだったのか? ピーク負荷に達した瞬間にSLA/SLOを逸脱していなかったか? リアルタイムなメトリクス可視化がなければ、それを知る術はありません。

2. なぜk6の静的レポートだけではシステムを救えないのか?

ターミナル上でデフォルトのk6を実行するのは非常に手軽です。コマンドを1行叩き、10分待てばサマリーテーブルが出力されます。しかし、このアプローチには極めて危険な3つの死角が存在します。

  • 平均値(avg)が破滅の兆候を覆い隠す: 平均レイテンシ80msという数値は一見非常に安全に見えます。しかし本番環境においてシステムに致命傷を与えるのはテールレイテンシ(p95、p99)です。仮に全リクエストのわずか1%がDBのロック待ちで10秒停滞しただけでも、ワーカースレッドは枯渇し、APIクラスタ全体が崩壊へと追い込まれます。
  • 負荷とインフラ指標の相関関係を見失う: テスト開始から12分後、レスポンスタイムが5倍に急増したとします。その原因は何でしょうか? CPUのサチュレーションなのか、ディスクI/Oのボトルネックなのか、それともネットワーク帯域の逼迫でしょうか? ターミナルに出力されたk6のログ単体では、サーバーインフラのメトリクスと完全に切り離されているため、原因を特定できません。
  • SLO検証が完全に後手に回る: 例えば「2,000 RPSの負荷時において、リクエストの99%が200ms以内に応答すること」というSLO目標があるとします。テストがすべて完了した後に初めてSLO違反に気づくようでは、コードを1行チューニングするたびに長時間のテストをゼロからやり直す羽目になります。

3. よくある3つのアプローチとコストのトレードオフ

最終的な構成に落ち着く前に、私たちのチームでは一般的に使われる以下のアプローチを検証しました。

アプローチ1:JSON/CSVファイルに出力してパース・グラフ化

k6は --out json=result.json オプションによりRawデータの出力をサポートしています。この方法は完全無料で導入できます。しかし、1,000 RPSでわずか15分間テストを実行しただけでも、生成されるファイルサイズは6GBを超えてしまいます。Pythonスクリプトで解析したりExcelに読み込ませようとしても動作が極めて重く、何よりテスト実行中にリアルタイムで推移を確認できないという致命的な欠点があります。

アプローチ2:Grafana Cloud k6(SaaS)の導入

Grafana Labsの公式SaaSソリューションは非常に洗練されており、美しいUIとエンドポイントごとの詳細な分析機能を備えています。しかし、チーム向けプランで月額約500ドルというサブスクリプション料金は、中小規模のプロジェクトにとって小さくない負担となります。さらに、エンタープライズの顧客企業ではセキュリティポリシー上、内部メトリクスを外部サーバーへ送信することを認めないケースも多々あります。

アプローチ3:既存のPrometheus + Grafanaクラスタへ直接メトリクスを送信

私たちのチームの社内監視システムには、すでに15台のサーバーノードを管理するPrometheusとGrafanaの環境が整っていました。この既存インフラをそのまま活用することが、最も経済的かつ合理的な選択肢でした。追加のライセンス費用は一切かからず、アプリケーションの負荷メトリクスからサーバーのCPU、RAM、IOPSに至るまで、すべてのデータを単一のダッシュボードに統合できます。

4. 実践セットアップ:Remote Write経由でk6のメトリクスをPrometheusへ送信

これは私たちのチームが標準化し、過去6か月にわたって安定運用を続けているパイプラインです。k6には experimental-prometheus-rw 出力機能が備わっており、StatsDやPushgatewayといった中継コンポーネントを別途構築することなく、Prometheusへ直接データをストリーミング送信できます。

ステップ1:PrometheusでRemote Write Receiverを有効化

Prometheusは基本的にPull(スクレイプ)型で動作します。k6からプッシュされるメトリクスをPrometheus側で受け取るには、起動オプションでフィーチャーフラグ --web.enable-remote-write-receiver を有効化する必要があります。

# Prometheus用docker-compose.ymlの設定
services:
  prometheus:
    image: prom/prometheus:v2.45.0
    container_name: prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--web.enable-remote-write-receiver'
      - '--storage.tsdb.retention.time=15d'
    ports:
      - "9090:9090"

コンテナを再起動すると、負荷データを受け付けるエンドポイントが http://<prometheus-ip>:9090/api/v1/write でリッスンを開始します。

ステップ2:SLA/SLO要件を組み込んだk6テストスクリプトの作成

段階的に負荷を引き上げるランプアップ(ramp-up)シナリオを定義し、システムの実際のSLOに対応するThresholds(閾値)を設定します。

import http from 'k6/http';
import { check, sleep } from 'k6';

// 負荷シナリオとSLA/SLOの定義
export const options = {
  stages: [
    { duration: '1m', target: 50 },  // 最初の1分間: 50 VUsまでランプアップ
    { duration: '3m', target: 200 }, // 続く3分間: 200 VUsを維持
    { duration: '1m', target: 0 },   // 最後の1分間: 負荷を0まで段階的に下降
  ],
  thresholds: {
    // SLO 1: テスト全体の失敗率を1%未満に抑える
    http_req_failed: ['rate<0.01'],
    // SLO 2: 95%のリクエストが200ms以内に応答すること
    http_req_duration: ['p(95)<200'],
    // SLO 3: 99%の成功リクエストが500ms以内に応答すること
    'http_req_duration{status:200}': ['p(99)<500'],
  },
};

export default function () {
  const res = http.get('http://api-internal.example.com/v1/products');
  
  check(res, {
    'status 200 OK': (r) => r.status === 200,
    'データが返却されること': (r) => r.body.includes('items'),
  });

  sleep(1);
}

ステップ3:Remote Write出力を指定して負荷テストを実行

PrometheusのエンドポイントURLを環境変数に設定し、テスト実行コマンドを実行します。

K6_PROMETHEUS_REMOTE_URL=http://192.168.1.100:9090/api/v1/write \
k6 run -o experimental-prometheus-rw load_test.js

k6はメトリクスをバッチにまとめ、数秒ごとにPrometheusへ直接ストリーミング送信します。Grafanaを開けば、グラフの推移がリアルタイムに更新される様子を確認できます。

ステップ4:GrafanaでSLO監視ダッシュボードを構築

コミュニティが公開している公式ダッシュボードテンプレート(ID: 18030 または 14353)をインポートするか、以下の代表的な3つのPromQLクエリを使用してカスタムパネルを作成します。

  • 実測スループット(RPS):
    sum(rate(k6_http_reqs_total[30s]))
  • SLO検証用 p95 / p99 レイテンシ:
    histogram_quantile(0.95, sum(rate(k6_http_req_duration_seconds_bucket[1m])) by (le)) * 1000
  • エラーリクエスト率(エラー率 %):
    sum(rate(k6_http_req_failed_total{expected="false"}[30s])) / sum(rate(k6_http_reqs_total[30s])) * 100

5. 半年間の実運用で得た重要な教訓

大小さまざまなストレステストを数十回実施する中で得られた、極めて重要な2つの教訓を紹介します。

  1. Prometheusのカーディナリティ爆発に警戒する: k6のカスタムメトリクスに頻繁に値が変わるラベル(user_id、order_id、動的なURLパス /items/12345 など)を決して付与してはいけません。10万ユーザー規模のテストを実行すると数百万もの時系列データが生成され、Prometheusのメモリが枯渇して即座にクラッシュします。エンドポイントは http.url タグなどを活用して /items/{id} のように正規化・グルーピングしてください。
  2. テスト実行時は画面を2分割(スプリットスクリーン)して監視する: k6のp95レイテンシパネルを、サーバーのCPU/RAMやデータベースのコネクションプールパネルの真上に配置します。これにより、「PostgreSQLのコネクションプールが80%に達した瞬間に、APIのp95レイテンシが急激に跳ね上がる」といった相関関係が一目瞭然になります。ボトルネックの特定が、ログを何時間も漁る作業からわずか30秒の確認へと短縮されます。
Share: