背景:なぜAirflow Webserverだけに依存してはならないのか?
データパイプラインを運用した経験があるなら、毎朝のあの落ち着かない不安感をよくご存知のはずです。Airflowクラスタは夜通し何百ものDAGをバックグラウンドで処理し続けます。CRMデータの取得からData Warehouseへの注文データ同期、さらには朝の全体定例ミーティングに間に合わせるための朝6時の売上集計まで、多岐にわたる処理が実行されます。
すべてが順調に進んでいたとしても、深夜2時に状況が一変することがあります。連携先の負荷超過によりデータ抽出タスクでデータベース接続エラーが発生したり、さらに深刻なケースではAirflow Schedulerがメモリを使い果たして停止したりします。キューは詰まり、後続のジョブは完全に停止。しかしアラート通知は一切届きません。そして朝8時30分、経営陣がダッシュボードを開いてデータが真っ白になっているのを目にした瞬間、あなたの携帯電話が鳴り止まなくなるのです。
経験の浅いエンジニアは、Airflow標準のWebインターフェースに頼りがちです。個別のタスクを確認する程度ならWebserverでも十分便利ですが、クラスタ全体の健全性を俯瞰するには不十分であり、ほぼ手探りの状態になってしまいます。過去30日間のリソース消費トレンドを把握することもできません。
また、DAGの数が倍増した際のSchedulerの平均遅延を測定することも困難です。何より危険なのは、WorkerやSchedulerがクラッシュした際、Webserver自体も道連れになってダウンしてしまうケースが多い点です。真夜中に各ノードへSSHログインして原因究明に追われる悪夢を終わらせるための標準的なベストプラクティスが、AirflowのメトリクスをPrometheusへ転送し、Grafanaで可視化・監視する構成です。
監視アーキテクチャ:なぜStatsD Exporterが必要なのか?
PrometheusはHTTPを介してデータを能動的に取得するプル型(pull model)で動作します。これに対してAirflowは、イベントの発生に合わせてStatsDプロトコル(UDPパケット)を用い、メトリクスを外部へプッシュします。UDPパケットは非同期で極めて軽量なため、タスクのETL実行プロセスを阻害しません。Prometheusがこのデータを収集できるようにするには、両者を仲介するブリッジとしてPrometheus StatsD Exporterが必要となります。
データフローは以下の3ステップで進行します:
- AirflowがUDPポート8125経由でStatsD Exporterにテキスト形式のメトリクスを送信します。
- StatsD Exporterがこれを受信・集約し、Prometheus標準のラベル形式へと変換します。
- PrometheusがHTTPポート9102経由で正規化されたメトリクスを定期的にスクレイピング(scrape)します。
監視クラスタ一式を立ち上げるための完全なdocker-compose.monitoring.ymlファイルは以下の通りです:
version: '3.8'
services:
statsd-exporter:
image: prom/statsd-exporter:v0.26.0
container_name: airflow_statsd_exporter
restart: always
command:
- "--statsd.mapping-config=/etc/statsd-exporter/statsd.conf"
ports:
- "8125:8125/udp"
- "9102:9102"
volumes:
- ./statsd.conf:/etc/statsd-exporter/statsd.conf
prometheus:
image: prom/prometheus:v2.50.0
container_name: prometheus
restart: always
ports:
- "9090:9090"
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml
- prometheus_data:/prometheus
grafana:
image: grafana/grafana:10.3.0
container_name: grafana
restart: always
ports:
- "3000:3000"
environment:
- GF_SECURITY_ADMIN_USER=admin
- GF_SECURITY_ADMIN_PASSWORD=admin
volumes:
- grafana_data:/var/lib/grafana
volumes:
prometheus_data:
grafana_data:
AirflowとPrometheusを連携させる詳細設定
ステップ1:Airflowでメトリクス出力を有効化
設定ファイルairflow.cfg内の[metrics]セクションを探し、以下のように更新します:
[metrics]
statsd_on = True
statsd_host = statsd-exporter
statsd_port = 8125
statsd_prefix = airflow
Docker ComposeやKubernetes(Helmチャート)でAirflowを展開している場合は、環境変数として直接指定します:
AIRFLOW__METRICS__STATSD_ON=True
AIRFLOW__METRICS__STATSD_HOST=statsd-exporter
AIRFLOW__METRICS__STATSD_PORT=8125
AIRFLOW__METRICS__STATSD_PREFIX=airflow
ステップ2:statsd.confによるラベルの正規化
デフォルトでは、Airflowはドット区切りの文字列形式(例:airflow.dagrun.duration.success.sync_orders_hourly)でメトリクスを出力します。Prometheusで柔軟にフィルタリングを行うには、これらの多次元データをラベル(labels)へ分解する必要があります。このマッピング処理を担うのがstatsd.confファイルです:
mappings:
- match: "airflow.dagrun.duration.success.*"
name: "airflow_dagrun_duration_success_seconds"
labels:
dag_id: "$1"
- match: "airflow.dagrun.duration.failed.*"
name: "airflow_dagrun_duration_failed_seconds"
labels:
dag_id: "$1"
- match: "airflow.ti_failures.*.*"
name: "airflow_task_instance_failures_total"
labels:
dag_id: "$1"
task_id: "$2"
- match: "airflow.dag_processing.last_duration.*"
name: "airflow_dag_processing_duration_seconds"
labels:
dag_file: "$1"
ステップ3:prometheus.ymlにターゲットを定義
Prometheusが15秒間隔でstatsd-exporterをスクレイピングするように、prometheus.ymlへ以下の設定を追加します:
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: 'airflow-statsd'
static_configs:
- targets: ['statsd-exporter:9102']
疎通確認とアラートダッシュボードの作成
収集データの検証
docker compose up -dコマンドを実行してコンテナクラスタを起動します。テスト用のタスクをいくつかトリガーした後、Exporterのエンドポイントへ直接リクエストを投げて確認します:
curl -s http://localhost:9102/metrics | grep airflow
ターミナルに以下のような形式のレコードが出力されれば、メトリクス収集の疎通は正常です:
airflow_task_instance_failures_total{dag_id="sync_orders_hourly",task_id="extract_mysql"} 1
Grafanaで監視すべき4つの重要メトリクス
ポート3000からGrafanaにadmin/adminでログインします。PrometheusのData Source(http://prometheus:9090)を追加した後、優先して以下の4つの主要メトリクスパネルを作成しましょう:
1. Schedulerのハートビート(Scheduler Heartbeat)
Schedulerはパイプライン全体のオーケストレーションを司る心臓部です。このプロセスがハングすると、新規タスクの実行が一切トリガーされなくなります。
# 直近のハートビートからの経過時間(単位:秒)
time() - airflow_scheduler_heartbeat
アラートの閾値:値が30秒を超えた場合、Schedulerが高負荷状態に陥っている兆候です。60秒を超えた場合はプロセスがダウンしている可能性が極めて高いため、即座にSlackやPagerDutyへアラートを発報するよう設定してください。
2. タスク失敗率(Task Failure Rate)
実行サイクル内で頻繁に異常終了しているタスクをいち早く検知します:
# 過去15分間のウィンドウにおけるタスク失敗発生率
sum by (dag_id, task_id) (rate(airflow_task_instance_failures_total[15m])) > 0
このメトリクスを監視することで、サードパーティAPIのクォータ枯渇やデータロックの競合によって連鎖的に発生するタスクエラーを迅速に特定できます。
3. DAG実行時間(DAG Run Duration)
実行時間の推移グラフは、パイプラインの健全性や入力データ量の変化を直接反映します:
airflow_dagrun_duration_success_seconds
通常なら5分で完了するETLパイプラインが突然40分に急増した場合、データ量の急激なスパイクやSQLクエリのインデックス不足などを即座に疑って調査する必要があります。
4. キューの滞留とWorkerの負荷状況(Queued Tasks & Open Slots)
実行待ちタスク数と、Worker上で利用可能な空きスロット数を確認します:
# キューで待機中のタスク数
airflow_executor_queued_tasks
# タスクを受け入れ可能な空きスロット数
airflow_executor_open_slots
ボトルネックの兆候:airflow_executor_queued_tasksが急増する一方で、airflow_executor_open_slotsが10分以上にわたって0に張り付いている場合、Workerプールのリソースが完全に枯渇しています。Worker Podのスケールアウトや、parallelismパラメータのチューニングが必要です。
包括的な監視体制を構築することで、データエンジニアリングチームは障害対応の後手に回る状況から脱却し、ボトルネックをプロアクティブに解消して、ビジネスの開始時刻までに確実にデータを届けられるようになります。
