Sự cố production: Khi Varnish Cache biến thành “hộp đen”
Trong đợt sale giữa năm ngoái, traffic website bên mình nhảy vọt từ 1.200 lên gần 6.500 RPS. Cụm 4 backend Nginx/PHP-FPM ngay lập tức chạm ngưỡng 100% CPU. Load average vọt lên 48, trong khi node Varnish phía trước ngốn chưa tới 2.5 GB trên tổng số 8 GB RAM.
Lúc đó mình SSH vào server và bật varnishstat. Số liệu nhảy liên tục theo từng giây, rất khó nắm bắt xu hướng. Varnish vẫn nhận tải bình thường. Tuy nhiên, một đoạn VCL vừa deploy sáng hôm đó quên strip cookie tracking mới từ bên marketing. Hậu quả là hơn 80% request bị đẩy thẳng xuống backend (pass mode). Hit Rate tụt từ 94% xuống còn 15% mà không ai hay biết.
Không biểu đồ trực quan, không alert tự động, cả đội kỹ thuật hoàn toàn bị động. Để xử lý triệt để, chúng mình đưa bộ ba prometheus-varnish-exporter, Prometheus và Grafana vào vận hành. Dưới đây là kiến trúc giám sát, các bước cài đặt cụ thể và kinh nghiệm tinh chỉnh alert thực tế.
Kiến trúc thu thập metrics từ Varnish Shared Memory
Varnish không ghi thống kê ra file text để tránh nghẽn I/O. Toàn bộ counter hiệu năng nằm trực tiếp trong VSM (Varnish Shared Memory), thường đặt tại /var/lib/varnish/. Công cụ CLI varnishstat cũng đọc dữ liệu từ chính vùng nhớ dùng chung này.
Prometheus không thể đọc trực tiếp bộ nhớ VSM. Chúng ta cần prometheus-varnish-exporter làm cầu nối. Exporter sử dụng thư viện libvarnishapi để bóc tách các metric counter, sau đó mở một HTTP endpoint (mặc định port 9131) để Prometheus scrape định kỳ.
Ba nhóm chỉ số trọng yếu cần bám sát
- Cache Hit Rate: Dựa vào hai counter
varnish_main_cache_hitvàvarnish_main_cache_miss. Chỉ số này phản ánh độ chuẩn xác của logic cache trong VCL. - Sức khỏe Backend: Gồm
varnish_backend_conn(kết nối mở tới Nginx/Apache) vàvarnish_backend_fail(backend timeout hoặc trả về lỗi). Nếu fail tăng đột biến, backend của bạn đang quá tải. - Lưu lượng kết nối Client: Đo lường qua
varnish_main_client_req(tổng request vào) vàvarnish_main_sess_drop(session bị drop vì tràn TCP queue).
Hướng dẫn cài đặt và cấu hình từng bước
Bước 1: Triển khai prometheus-varnish-exporter
Exporter được biên dịch bằng Go nhưng phụ thuộc vào thư viện C của Varnish. Trên môi trường Ubuntu 22.04 LTS (chạy Varnish 6.0 LTS hoặc 7.x), bạn cài đặt gói thư viện trước:
# Cài đặt thư viện API của Varnish
sudo apt-get update
sudo apt-get install -y libvarnishapi-dev
# Tải binary bản mới nhất từ GitHub jonnenauha/prometheus_varnish_exporter
cd /tmp
wget https://github.com/jonnenauha/prometheus_varnish_exporter/releases/download/1.6.1/prometheus_varnish_exporter-1.6.1.linux-amd64.tar.gz
tar -xvf prometheus_varnish_exporter-1.6.1.linux-amd64.tar.gz
sudo mv prometheus_varnish_exporter-1.6.1.linux-amd64/prometheus_varnish_exporter /usr/local/bin/
sudo chmod +x /usr/local/bin/prometheus_varnish_exporter
Tiếp theo, tạo file systemd unit. Exporter cần quyền truy cập vào VSM file của Varnish, vì vậy service nên chạy dưới user hoặc group varnish:
sudo tee /etc/systemd/system/varnish_exporter.service << 'EOF'
[Unit]
Description=Prometheus Varnish Exporter
After=varnish.service
[Service]
User=varnish
Group=varnish
ExecStart=/usr/local/bin/prometheus_varnish_exporter -web.listen-address=:9131
Restart=always
RestartSec=3s
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl daemon-reload
sudo systemctl enable --now varnish_exporter.service
Xác thực endpoint bằng curl xem số liệu đã xuất hiện chưa:
curl -s http://localhost:9131/metrics | grep -E "varnish_main_cache_hit|varnish_main_client_req"
Bước 2: Khai báo target trong Prometheus
Thêm cấu hình scrape job vào file /etc/prometheus/prometheus.yml trên Prometheus server:
scrape_configs:
- job_name: 'varnish_nodes'
scrape_interval: 15s
static_configs:
- targets: ['192.168.1.50:9131']
labels:
environment: 'production'
service: 'varnish-frontend'
Nạp lại cấu hình bằng lệnh: curl -X POST http://localhost:9090/-/reload.
Bước 3: Các câu query PromQL chuẩn xác
Các counter của Varnish luôn tăng lũy tiến từ thời điểm service chạy. Do đó, bạn cần dùng hàm rate() để tính tốc độ thay đổi trên giây thay vì lấy giá trị thô.
1. Tỷ lệ Cache Hit Rate (%) trung bình 5 phút
(sum(rate(varnish_main_cache_hit[5m]))
/
(sum(rate(varnish_main_cache_hit[5m])) + sum(rate(varnish_main_cache_miss[5m])))) * 100
Lưu ý: Công thức này bỏ qua các request dạng pass hoặc pipe có chủ đích trong VCL, chỉ tập trung đánh giá chất lượng các request thuộc diện cacheable.
2. Lưu lượng truy cập (RPS) vào Varnish
sum(rate(varnish_main_client_req[1m]))
3. Tốc độ lỗi kết nối backend
sum(rate(varnish_backend_fail[2m]))
Bước 4: Kinh nghiệm chống bão cảnh báo (Alert Fatigue)
Thời gian đầu triển khai, mình đặt rule: hễ Hit Rate dưới 85% trong 1 phút là ping Telegram. Kết quả thật tệ hại. Đêm nào bot SEO cào dữ liệu hay lập trình viên vừa purge cache danh mục sản phẩm, Telegram cũng nhảy tin ầm ĩ. Cả đội trực mệt mỏi và dần sinh tâm lý ngó lơ alert.
Để cảnh báo thực sự có giá trị, ba quy tắc sau mang lại hiệu quả rõ rệt:
- Kéo dài window time: Đánh giá trong
[10m]thay vì[1m]. Điều này giúp loại bỏ hoàn toàn các cú sụt giảm tức thời khi purge cache. - Kẹp thêm điều kiện lưu lượng tối thiểu: Chỉ trigger khi Hit Rate thấp đồng thời tổng traffic vượt ngưỡng đáng kể. Ví dụ:
Hit Rate < 70% AND rate(varnish_main_client_req[5m]) > 100. Vào 3h sáng với vỏn vẹn 4 request mà dính 2 miss, tỷ lệ sụt xuống 50% cũng không phải vấn đề. - Phân tách mức độ nghiêm trọng: Hit Rate giảm 15% chỉ nên gắn nhãn Warning qua email hoặc ticket. Nhưng nếu
varnish_backend_fail > 0kéo dài quá 2 phút và xuất hiệnvarnish_main_sess_drop > 0, đó là sự cố Critical cần bật PagerDuty gọi kỹ sư trực ca ngay lập tức.
Bước 5: Trực quan hóa trên Grafana
Trên giao diện Grafana, bạn dựng ba nhóm panel căn bản:
- Gauge Panel: Hiển thị Hit Ratio Hiện Tại. Chia dải màu rõ ràng: Đỏ (< 70%), Vàng (70% – 85%) và Xanh lá (> 85%).
- Time Series Panel: Vẽ song song hai đường
varnish_main_cache_hitvàvarnish_main_cache_missđể so sánh tương quan qua các khung giờ cao điểm. - Stat Panel: Giám sát Session Drops và Backend Unhealthy. Trong điều kiện vận hành chuẩn, hai chỉ số này luôn phải ở mức 0.
Nếu không muốn tự vẽ từ đầu, bạn có thể import dashboard ID 12431 trên Grafana Hub. Sau khi nạp dashboard, bạn chỉ cần gán đúng data source Prometheus là biểu đồ sẽ hiển thị ngay.
Tổng kết
Varnish xử lý hàng nghìn request mỗi giây rất hiệu quả, nhưng chỉ khi bạn nhìn thấu được lưu lượng bên trong. Bộ công cụ Prometheus và Grafana giúp đội ngũ phát hiện ngay lập tức tình trạng bypass cache, nghéz backend hay drop session trước khi khách hàng bấm F5 than phiền.
Hãy dựng exporter và theo dõi dữ liệu baseline của hệ thống trong khoảng 2 tuần. Khi đã nắm chắc ngưỡng traffic bình thường, bạn hẵng thiết lập alert rules để vừa bảo vệ hệ thống, vừa giữ được sự tỉnh táo cho đội ngũ trực ca.
