Posted inMonitoring

Giám sát Mail Server Postfix: Từ ‘mù mờ’ đến làm chủ hệ thống với Prometheus

Monitoring tutorial - IT technology blog
Monitoring tutorial - IT technology blog

Tại sao giám sát Mail Server lại là bài toán sống còn?

Trong hạ tầng IT, Mail Server là thành phần cực kỳ nhạy cảm. Chỉ cần IP bị dính blacklist của Spamhaus hay hàng đợi (mail queue) kẹt cứng do một tài khoản bị lộ mật khẩu, toàn bộ giao dịch của công ty sẽ đóng băng ngay lập tức.

Trước đây, mình thường phải SSH thủ công để gõ mailq hoặc dùng tail -f /var/log/mail.log mỗi khi có sự cố. Cách làm này vừa chậm, vừa khiến bạn luôn ở thế bị động. Với bộ đôi Prometheus và Postfix Exporter, bạn sẽ có cái nhìn tổng thể: từ biểu đồ lưu lượng theo thời gian thực đến việc phân loại mail bị từ chối (bounced), giúp xử lý vấn đề trước khi người dùng kịp phàn nàn.

Triển khai nhanh trong 5 phút

Nếu hệ thống đã có sẵn Prometheus, việc tích hợp thêm Postfix Exporter diễn ra rất nhanh. Dưới đây là các bước thực hiện trên môi trường Ubuntu/Debian.

Bước 1: Cài đặt Postfix Exporter

Chúng ta sẽ tải bản binary trực tiếp từ GitHub. Lưu ý kiểm tra phiên bản mới nhất để đảm bảo tính ổn định.

# Lấy phiên bản 0.3.0 (hoặc mới hơn)
export VERSION="0.3.0"
wget https://github.com/kumina/postfix_exporter/releases/download/v${VERSION}/postfix_exporter-${VERSION}.linux-amd64.tar.gz

tar -xvf postfix_exporter-${VERSION}.linux-amd64.tar.gz
sudo mv postfix_exporter-${VERSION}.linux-amd64/postfix_exporter /usr/local/bin/

Bước 2: Cấu hình Systemd Service

Để exporter tự khởi động cùng hệ thống, hãy tạo một file service riêng biệt.

sudo nano /etc/systemd/system/postfix_exporter.service

Nội dung cấu hình cơ bản:

[Unit]
Description=Postfix Exporter
After=network.target

[Service]
User=root
Group=root
ExecStart=/usr/local/bin/postfix_exporter
Restart=always

[Install]
WantedBy=multi-user.target

Kích hoạt service bằng lệnh sau:

sudo systemctl daemon-reload
sudo systemctl enable --now postfix_exporter

Bước 3: Kết nối với Prometheus

Thêm cấu hình sau vào file prometheus.yml để bắt đầu thu thập dữ liệu (scrape metrics):

scrape_configs:
  - job_name: 'postfix'
    static_configs:
      - targets: ['localhost:9154']

Sau khi khởi động lại Prometheus, các metrics của Postfix sẽ xuất hiện trên hệ thống.

Cơ chế hoạt động phía sau hậu trường

Postfix Exporter hoạt động rất thông minh mà không can thiệp vào luồng gửi nhận mail chính. Nó sử dụng hai nguồn dữ liệu chính:

  • Phân tích Log: Exporter đọc file /var/log/mail.log để thống kê các sự kiện SMTP như kết nối thành công, bị từ chối hoặc lỗi timeout.
  • Quét thư mục Queue: Nó đếm trực tiếp số lượng file trong các thư mục như /var/spool/postfix/deferred (mail đang chờ gửi lại).

Một mẹo nhỏ về bảo mật: Việc chạy exporter dưới quyền root là cách nhanh nhất nhưng tiềm ẩn rủi ro. Nếu hệ thống của bạn khắt khe, hãy tạo user postfix_exporter riêng. Sau đó, bạn dùng setfacl để cấp quyền đọc log và truy cập thư mục spool cho user này.

3 chỉ số (metrics) bạn không thể bỏ qua

Giữa hàng chục thông số trả về, hãy ưu tiên đưa 3 chỉ số này lên màn hình giám sát chính:

  • postfix_smtpd_connects_total: Tổng số kết nối. Nếu con số này vọt lên 500-1000 kết nối/phút, rất có thể bạn đang bị tấn công từ chối dịch vụ (DoS).
  • postfix_queue_size: Số lượng mail trong hàng đợi. Đây là chỉ số quan trọng nhất. Queue vượt ngưỡng 100-200 thường báo hiệu IP server đã bị chặn hoặc DNS có vấn đề.
  • postfix_smtpd_messages_processed_total: Sản lượng mail thực tế đã xử lý thành công.

Grafana và nghệ thuật xử lý Alert Fatigue

Dữ liệu thô rất khó đọc. Bạn nên sử dụng Dashboard ID 10013 trên Grafana để có cái nhìn trực quan. Dashboard này hiển thị tỷ lệ Success/Reject bằng biểu đồ tròn, giúp bạn nhận ra bất thường chỉ trong 1 giây.

Đừng để Alert làm phiền giấc ngủ của bạn

Alert fatigue (nghẽn cảnh báo) là lỗi phổ biến khi mới thiết lập. Ban đầu, mình đặt cảnh báo nếu queue_size > 50. Kết quả là Telegram rung liên tục mỗi khi bộ phận Marketing gửi bản tin định kỳ (Newsletter).

Kinh nghiệm của mình là hãy dùng hàm avg_over_time để lọc nhiễu. Chỉ gửi cảnh báo nếu queue duy trì ở mức cao trong một khoảng thời gian đủ dài.

# Rule cảnh báo thông minh
- alert: PostfixQueueHigh
  expr: avg_over_time(postfix_queue_size[10m]) > 150
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Hàng đợi Mail trên {{ $labels.instance }} vượt ngưỡng 150 liên tục trong 15 phút."

Lưu ý vận hành thực tế

Sau nhiều năm quản lý hệ thống mail lớn, mình rút ra 3 bài học xương máu:

  1. Cấu hình Log Rotation: Nếu bạn để logrotate xóa log quá nhanh, exporter sẽ không kịp đọc dữ liệu. Hãy giữ log tối thiểu 7 ngày để có dữ liệu so sánh khi cần thiết.
  2. Bảo mật Port: Postfix Exporter mở port 9154. Hãy dùng ufw hoặc iptables để chỉ cho phép IP của Prometheus server kết nối vào port này.
  3. Kết hợp công cụ: Khi thấy queue tăng cao, hãy dùng lệnh postqueue -p | head -n 20. Việc này giúp bạn xác định ngay tài khoản nào đang phát tán spam để khóa kịp thời.

Giám sát không chỉ là để nhận cảnh báo. Nó cung cấp dữ liệu để bạn tối ưu tham số default_process_limit hoặc quyết định khi nào cần nâng cấp tài nguyên server dựa trên biểu đồ tăng trưởng thực tế.

Share:
Tags: