Giám sát đồng bộ thời gian Chrony và NTP trên Linux bằng Prometheus Chrony Exporter

Monitoring tutorial - IT technology blog
Monitoring tutorial - IT technology blog

2h15 sáng: Token JWT lỗi hàng loạt và thủ phạm lệch giờ

Điện thoại rung dồn dập vì loạt thông báo từ PagerDuty. Hệ thống xác thực người dùng đồng loạt trả về mã lỗi 401 Unauthorized trên toàn bộ cụm microservices. Cùng lúc đó, node replica của PostgreSQL báo cảnh báo split-brain.

Log giao dịch ghi nhận hiện tượng bất thường. Request gửi đi từ API gateway lúc 02:15:10, nhưng backend lại log nhận vào lúc 02:14:48. Thời gian đi lùi tận 22 giây.

SSH vào node backend kiểm tra, mọi thông số tải đều lý tưởng: CPU dưới 25%, RAM trống hơn 12 GB. Chỉ khi gõ lệnh kiểm tra thời gian:

timedatectl status

Vấn đề lập tức lộ diện. Đồng hồ giữa hai node API đang lệch nhau gần 23 giây. Với token JWT có claim nbf (not before) hoặc exp (expiration time), chỉ cần clock skew vượt quá 5 giây là thư viện xác thực từ chối request ngay lập tức.

Vì sao Chrony bỗng dưng dừng đồng bộ?

Trên các bản phân phối Linux hiện đại (Ubuntu 20.04/22.04/24.04, RHEL 8/9, Rocky Linux), Chrony đã thay thế hoàn toàn ntpd. Daemon này hội tụ thời gian nhanh và bù trôi clock mượt mà. Tuy vậy, nhiều đội ngũ triển khai xong thường bỏ quên, không thiết lập giám sát trạng thái hoạt động của nó.

Kiểm tra chi tiết trạng thái Chrony trên node gặp lỗi:

chronyc tracking

Kết quả trả về phản ánh tình trạng mất đồng bộ hoàn toàn:

Reference ID    : 00000000 ()  # Không có upstream server nào
Stratum         : 0
Ref time (UTC)  : Thu Jan 01 00:00:00 1970
System time     : 22.841920853 seconds slow of NTP time  # Lệch 22.8 giây
Last offset     : +0.000000000 seconds
RMS offset      : 0.000000000 seconds
Frequency       : 12.450 ppm slow
Residual freq   : +0.000 ppm
Skew            : 0.000 ppm
Root delay      : 1.000000000 seconds
Root dispersion : 1.000000000 seconds
Update interval : 0.0 seconds
Leap status     : Not synchronised

Ba nguyên nhân phổ biến nhất dẫn đến tình trạng này bao gồm:

  • Chặn port UDP 123: Đội hạ tầng mạng siết firewall hoặc đổi security group vô tình chặn luồng UDP 123 outbound. Chrony không thể kết nối tới cụm máy chủ pool.ntp.org.
  • Service crash không tự khởi động lại: Tiến trình chronyd bị OOM-killer dọn dẹp hoặc gặp lỗi crash. File systemd service mặc định lại thiếu chỉ thị tự phục hồi.
  • Hiện tượng trôi giờ trên máy ảo (Clock Drift): Trên hạ tầng ảo hóa (KVM, VMware, AWS EC2), CPU cycles bị tranh chấp khiến clock ảo trôi rất nhanh. Nếu thiếu NTP hiệu chỉnh đều đặn, độ lệch có thể tăng vài giây mỗi ngày.

Xử lý sự cố: Tạm thời hay bền vững?

Cách 1: Chữa cháy tức thời bằng lệnh makestep

Khi cần đưa dịch vụ hoạt động trở lại ngay lập tức, bạn có thể ép Chrony nhảy cóc thời gian (step time) thay vì điều chỉnh từ từ (slew):

# Khởi động lại service và ép đồng bộ bước nhảy
sudo systemctl restart chrony || sudo systemctl restart chronyd
sudo chronyc makestep

Lệnh này hạ offset về mức an toàn trong vài mili-giây. Nhưng nếu port UDP 123 vẫn nghẽn hoặc daemon lại crash sau vài ngày, sự cố chắc chắn lặp lại.

Cách 2: Viết script Bash chạy Crontab

Một số kỹ sư chọn giải pháp nhanh: tạo cronjob chạy mỗi 5 phút để đọc offset và bắn alert qua Slack/Telegram webhook:

#!/bin/bash
OFFSET=$(chronyc tracking | grep 'System time' | awk '{print $4}')
# Kiểm tra nếu OFFSET vượt ngưỡng 0.5s thì bắn alert

Giải pháp này giải quyết được phần ngọn nhưng nhanh chóng bộc lộ hạn chế. Cronjob không cung cấp đồ thị xu hướng trôi giờ, thiếu cảnh báo khi chính script bị lỗi, và rất khó đồng bộ trên cụm hàng trăm server.

Giải pháp chuẩn production: Giám sát qua Prometheus Chrony Exporter

Thay vì bị động chờ sự cố, bạn nên thu thập toàn bộ chỉ số về clock offset, stratum và trạng thái đồng bộ vào hệ thống Prometheus tập trung. Chúng ta sử dụng chrony_exporter (mã nguồn mở bởi SuperQ).

Bước 1: Cài đặt Chrony Exporter trên server Linux

Tải binary đã biên dịch sẵn từ GitHub release chính thức:

ARCH="amd64"
VERSION="0.10.0"
curl -sLO "https://github.com/superq/chrony_exporter/releases/download/v${VERSION}/chrony_exporter-${VERSION}.linux-${ARCH}.tar.gz"

tar -xvf "chrony_exporter-${VERSION}.linux-${ARCH}.tar.gz"
sudo mv "chrony_exporter-${VERSION}.linux-${ARCH}/chrony_exporter" /usr/local/bin/
sudo chmod +x /usr/local/bin/chrony_exporter
rm -rf "chrony_exporter-${VERSION}"*

Bước 2: Thiết lập Systemd Service

Để đảm bảo an toàn vận hành, exporter cần chạy dưới user hệ thống không có quyền đăng nhập shell:

sudo useradd -r -s /bin/false prometheus_exporter 2>/dev/null || true

sudo tee /etc/systemd/system/chrony_exporter.service << 'EOF'
[Unit]
Description=Prometheus Chrony Exporter
After=network.target chrony.service chronyd.service
Wants=chrony.service chronyd.service

[Service]
Type=simple
User=prometheus_exporter
Group=prometheus_exporter
ExecStart=/usr/local/bin/chrony_exporter --chrony.address=127.0.0.1:323
Restart=always
RestartSec=5s

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable --now chrony_exporter

Mặc định Chrony mở socket quản trị trên cổng UDP nội bộ 127.0.0.1:323. Hãy kiểm tra file cấu hình /etc/chrony/chrony.conf (hoặc /etc/chrony.conf trên CentOS/RHEL) để chắc chắn rằng tùy chọn cmdallow 127.0.0.1 hoặc bindcmdaddress 127.0.0.1 đang hoạt động.

Kiểm tra endpoint metrics cục bộ:

curl -s http://localhost:9148/metrics | grep -E '^chrony_(last_offset|leap_status|stratum)'

Dữ liệu trả về đúng chuẩn Prometheus sẽ tương tự như sau:

# HELP chrony_last_offset_seconds Last clock offset
# TYPE chrony_last_offset_seconds gauge
chrony_last_offset_seconds 0.000048120
# HELP chrony_leap_status Leap status (0: Normal, 1: 61s, 2: 59s, 3: Not synchronized)
# TYPE chrony_leap_status gauge
chrony_leap_status 0
# HELP chrony_stratum Chrony stratum
# TYPE chrony_stratum gauge
chrony_stratum 2

Bước 3: Khai báo Scrape Job trong Prometheus

Thêm cấu hình thu thập metrics vào file prometheus.yml:

scrape_configs:
  - job_name: 'chrony_monitoring'
    scrape_interval: 15s
    static_configs:
      - targets:
          - '10.0.1.15:9148'
          - '10.0.1.16:9148'
          - '10.0.1.17:9148'
        labels:
          tier: 'backend'
          env: 'production'

Áp dụng cấu hình mới bằng lệnh reload:

curl -X POST http://localhost:9090/-/reload

Bước 4: Cấu hình Alert Rule cảnh báo sớm

Đừng đợi đến khi offset vượt quá 5 giây mới phát hiện. Hãy thiết lập ngưỡng cảnh báo sớm trong file rule (ví dụ alerts/chrony_rules.yml):

groups:
  - name: chrony_alerts
    rules:
      # Cảnh báo sớm khi offset vượt quá 100ms trong 3 phút
      - alert: ChronyClockOffsetWarning
        expr: abs(chrony_last_offset_seconds) > 0.1
        for: 3m
        labels:
          severity: warning
        annotations:
          summary: "Server {{ $labels.instance }} bắt đầu lệch giờ"
          description: "Clock offset là {{ $value | printf '%.4f' }}s, vượt ngưỡng an toàn 100ms."

      # Cảnh báo khẩn cấp khi offset vượt quá 500ms
      - alert: ChronyClockOffsetCritical
        expr: abs(chrony_last_offset_seconds) > 0.5
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "Lệch giờ nghiêm trọng trên {{ $labels.instance }}"
          description: "Clock offset chạm ngưỡng {{ $value | printf '%.4f' }}s. Nguy cơ lỗi token JWT và split-brain database."

      # Cảnh báo khi mất liên lạc với mọi máy chủ NTP upstream
      - alert: ChronyNotSynchronised
        expr: chrony_leap_status == 3
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "Chrony mất đồng bộ hoàn toàn trên {{ $labels.instance }}"
          description: "Node không thể liên kết với bất kỳ máy chủ NTP upstream nào trong 5 phút qua."

      # Cảnh báo khi service exporter ngừng phản hồi
      - alert: ChronyExporterDown
        expr: up{job="chrony_monitoring"} == 0
        for: 3m
        labels:
          severity: warning
        annotations:
          summary: "Chrony Exporter không phản hồi trên {{ $labels.instance }}"

Lời kết

Đồng bộ thời gian là một trong những thành phần dễ bị xem nhẹ nhất trong hạ tầng. Thế nhưng, hậu quả của nó khi gãy vụn lại gây tê liệt toàn hệ thống. Việc theo dõi sát sao hai chỉ số chrony_last_offset_seconds và chrony_leap_status sẽ giúp bạn chủ động phát hiện drift từ mức vài chục mili-giây, dứt điểm hoàn toàn nguy cơ bị réo chuông vì lỗi lệch giờ giữa đêm.

Share: