Hướng dẫn giám sát Apache Airflow với Prometheus và Grafana: Theo dõi DAG Runs, Task Failures và Scheduler Health

Bối cảnh: Vì sao không nên chỉ dựa vào Airflow Webserver?

Nếu từng vận hành data pipeline, chắc hẳn bạn hiểu rõ cảm giác thấp thỏm mỗi sáng. Cụm Airflow gánh hàng trăm DAG chạy ngầm suốt đêm. Từ việc kéo dữ liệu CRM, đồng bộ đơn hàng về Data Warehouse, đến tổng hợp doanh thu lúc 6h sáng để kịp giờ họp giao ban.

Mọi chuyện êm đẹp cho tới 2h sáng. Một task trích xuất nổ lỗi kết nối database do phía đối tác quá tải. Hoặc nghiêm trọng hơn: Airflow Scheduler cạn sạch memory rồi ngưng hoạt động. Hàng đợi tắc nghẽn, các job tiếp theo đứng im. Không có chuông cảnh báo nào reo. Đúng 8h30, khi ban giám đốc mở dashboard thấy trắng trơn dữ liệu, điện thoại của bạn mới rung liên tục.

Nhiều kỹ sư mới thường ỷ lại vào giao diện web mặc định của Airflow. Webserver xem từng task riêng lẻ thì tiện, nhưng quản trị toàn cụm thì gần như mù mờ. Bạn không thể thấy xu hướng tài nguyên 30 ngày qua.

Bạn cũng không đo được độ trễ trung bình của scheduler khi số lượng DAG tăng gấp đôi. Nguy hiểm nhất: khi worker hoặc scheduler sập, chính webserver thường cũng lăn ra chết. Để chấm dứt cảnh mở terminal SSH vào từng node giữa đêm, giải pháp chuẩn hóa là đẩy metrics từ Airflow sang Prometheus và hiển thị trực quan qua Grafana.

Kiến trúc giám sát: Vì sao cần StatsD Exporter?

Prometheus hoạt động theo cơ chế kéo dữ liệu (pull model) qua HTTP. Ngược lại, Airflow lại liên tục phát sinh sự kiện và đẩy metrics ra ngoài qua giao thức StatsD dạng gói tin UDP. Gói tin UDP chạy bất đồng bộ, cực nhẹ và không làm gián đoạn tiến trình chạy ETL của task. Để Prometheus đọc được dữ liệu này, ta cần một cầu nối trung gian: Prometheus StatsD Exporter.

Luồng vận hành diễn ra theo 3 bước:

  • Airflow bắn các metric dạng chuỗi văn bản qua UDP port 8125 tới StatsD Exporter.
  • StatsD Exporter tiếp nhận, gom mẫu và chuyển đổi chuỗi metric thành dạng nhãn (labels) chuẩn của Prometheus.
  • Prometheus định kỳ cào (scrape) các chỉ số đã chuẩn hóa này qua cổng HTTP 9102.

File docker-compose.monitoring.yml hoàn chỉnh để dựng trọn bộ cụm giám sát:

version: '3.8'

services:
  statsd-exporter:
    image: prom/statsd-exporter:v0.26.0
    container_name: airflow_statsd_exporter
    restart: always
    command:
      - "--statsd.mapping-config=/etc/statsd-exporter/statsd.conf"
    ports:
      - "8125:8125/udp"
      - "9102:9102"
    volumes:
      - ./statsd.conf:/etc/statsd-exporter/statsd.conf

  prometheus:
    image: prom/prometheus:v2.50.0
    container_name: prometheus
    restart: always
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
      - prometheus_data:/prometheus

  grafana:
    image: grafana/grafana:10.3.0
    container_name: grafana
    restart: always
    ports:
      - "3000:3000"
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=admin
    volumes:
      - grafana_data:/var/lib/grafana

volumes:
  prometheus_data:
  grafana_data:

Cấu hình chi tiết kết nối Airflow và Prometheus

Bước 1: Bật tính năng phát metric trên Airflow

Trong file cấu hình airflow.cfg, bạn tìm mục [metrics] và cập nhật lại:

[metrics]
statsd_on = True
statsd_host = statsd-exporter
statsd_port = 8125
statsd_prefix = airflow

Nếu bạn triển khai Airflow trên Docker Compose hoặc Kubernetes (Helm chart), hãy truyền trực tiếp qua biến môi trường:

AIRFLOW__METRICS__STATSD_ON=True
AIRFLOW__METRICS__STATSD_HOST=statsd-exporter
AIRFLOW__METRICS__STATSD_PORT=8125
AIRFLOW__METRICS__STATSD_PREFIX=airflow

Bước 2: Chuẩn hóa nhãn bằng file statsd.conf

Mặc định, Airflow xuất metric theo dạng chuỗi ngăn cách bằng dấu chấm (ví dụ: airflow.dagrun.duration.success.sync_orders_hourly). Prometheus cần các chiều dữ liệu tách rời thành nhãn (labels) để lọc linh hoạt. File statsd.conf sẽ thực hiện nhiệm vụ phân rã này:

mappings:
  - match: "airflow.dagrun.duration.success.*"
    name: "airflow_dagrun_duration_success_seconds"
    labels:
      dag_id: "$1"

  - match: "airflow.dagrun.duration.failed.*"
    name: "airflow_dagrun_duration_failed_seconds"
    labels:
      dag_id: "$1"

  - match: "airflow.ti_failures.*.*"
    name: "airflow_task_instance_failures_total"
    labels:
      dag_id: "$1"
      task_id: "$2"

  - match: "airflow.dag_processing.last_duration.*"
    name: "airflow_dag_processing_duration_seconds"
    labels:
      dag_file: "$1"

Bước 3: Khai báo target trong prometheus.yml

Thêm cấu hình sau vào prometheus.yml để Prometheus ghé thăm statsd-exporter mỗi 15 giây:

global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'airflow-statsd'
    static_configs:
      - targets: ['statsd-exporter:9102']

Kiểm tra kết nối và tạo Dashboard cảnh báo

Xác thực dữ liệu thu thập

Khởi chạy cụm container bằng lệnh docker compose up -d. Sau khi kích hoạt một vài task chạy thử, bạn kiểm tra trực tiếp endpoint của exporter:

curl -s http://localhost:9102/metrics | grep airflow

Nếu terminal in ra các bản ghi có định dạng như dưới đây, đường truyền đã thông suốt:

airflow_task_instance_failures_total{dag_id="sync_orders_hourly",task_id="extract_mysql"} 1

4 chỉ số cốt lõi cần theo dõi trên Grafana

Đăng nhập Grafana tại cổng 3000 với tài khoản admin/admin. Sau khi thêm Data Source Prometheus (http://prometheus:9090), hãy ưu tiên dựng panel cho 4 nhóm chỉ số sau:

1. Nhịp tim của Scheduler (Scheduler Heartbeat)

Scheduler giữ nhịp điều phối toàn bộ pipeline. Khi tiến trình này treo, không task mới nào được kích hoạt.

# Thời gian kể từ lần heartbeat gần nhất (đơn vị: giây)
time() - airflow_scheduler_heartbeat

Ngưỡng cảnh báo: Nếu giá trị vượt 30 giây, scheduler đang có dấu hiệu quá tải. Nếu vượt 60 giây, tiến trình gần như đã chết và cần kích hoạt cảnh báo tới Slack hoặc PagerDuty ngay lập tức.

2. Tần suất task thất bại (Task Failure Rate)

Phát hiện kịp thời những task thường xuyên gãy vụn trong chu kỳ chạy:

# Số lần task bị lỗi trong cửa sổ 15 phút vừa qua
sum by (dag_id, task_id) (rate(airflow_task_instance_failures_total[15m])) > 0

Chỉ số này giúp bạn phát hiện ngay các task vấp lỗi liên hoàn do hết quota API bên thứ ba hoặc xung đột khóa dữ liệu.

3. Thời gian hoàn thành DAG (DAG Run Duration)

Biểu đồ thời gian chạy phản ánh trực tiếp sức khỏe và khối lượng dữ liệu đầu vào:

airflow_dagrun_duration_success_seconds

Nếu một pipeline ETL bình thường chỉ mất 5 phút bỗng vọt lên 40 phút, bạn cần kiểm tra ngay lượng dữ liệu đột biến hoặc hiện tượng thiếu index ở câu truy vấn SQL.

4. Tình trạng hàng đợi và tải của Worker (Queued Tasks & Open Slots)

Số task phải nằm chờ và số slot còn khả dụng trên Worker:

# Số task đang kẹt trong hàng đợi
airflow_executor_queued_tasks

# Số slot trống còn lại sẵn sàng nhận việc
airflow_executor_open_slots

Dấu hiệu nghẽn cổ chai: Khi airflow_executor_open_slots chạm đáy 0 liên tục hơn 10 phút trong khi airflow_executor_queued_tasks tăng vọt, worker pool đã cạn tài nguyên. Bạn cần scale thêm Worker pod hoặc tinh chỉnh tham số parallelism.

Thiết lập giám sát đầy đủ giúp đội ngũ Data chuyển từ thế bị động xử lý sự cố sang thế chủ động đón đầu điểm nghẽn, đảm bảo dữ liệu luôn sẵn sàng trước giờ doanh nghiệp vận hành.

Share: