1. Cú sập 0h và bài học đắt giá khi test tải kiểu “mù”
Nửa năm trước, team mình chuẩn bị cho đợt sale Black Friday. Mọi người tự tin lắm. QA và backend đã chạy k6 tải giả lập 2.000 user đồng thời ngay trên máy staging: terminal xanh mướt, 99.8% request trả về mã 200, latency trung bình chỉ 85ms. Cả team thở phào đóng laptop đi ngủ.
Thực tế đã cho cả đội một gáo nước lạnh. Đúng 0h07, lượng traffic thực đổ dồn vào giỏ hàng. API checkout lập tức tắc nghẽn, latency vọt lên 4.5 giây. Connection pool của cụm PostgreSQL chạm trần 100 kết nối chỉ sau 3 phút, kéo sập dây chuyền toàn bộ cụm worker phía sau. Fanpage ngập trong phẫn nộ.
Đêm đó mình nhận ra một bài học thấm thía: test tải xong rồi nhìn vài dòng text tổng kết ở terminal chẳng khác nào lái xe bịt mắt. Bạn hoàn toàn mù mờ về thời điểm hệ thống bắt đầu quá tải. Điểm gãy (breaking point) nằm ở mức 800 hay 1.500 RPS? SLA/SLO có bị thủng ngay khi vừa chạm đỉnh tải không? Bạn không thể biết nếu thiếu biểu đồ thời gian thực.
2. Vì sao bản report tĩnh của k6 không thể cứu hệ thống?
Chạy k6 mặc định trên terminal rất tiện: gõ một lệnh, đợi 10 phút rồi nhận bảng tổng kết. Tuy nhiên, cách làm này bộc lộ ba điểm mù nguy hiểm:
- Chỉ số trung bình (avg) che giấu thảm họa: Latency trung bình 80ms nghe rất an toàn. Nhưng trên production, thứ giết chết hệ thống lại là tail latency (p95, p99). Chỉ cần 1% request bị treo lock DB 10 giây là đủ ngốn sạch worker thread, khiến cả cụm API sụp đổ.
- Mất dấu tương quan giữa tải và hạ tầng: Phút thứ 12 của bài test, response time vọt lên gấp 5 lần. Nguyên nhân do đâu? Do CPU chạm trần, disk I/O quá tải hay nghẽn mạng? Dòng log trên terminal của k6 đứng trơ trọi, hoàn toàn tách biệt với số liệu hạ tầng server.
- Đo lường SLO hoàn toàn bị động: Giả sử cam kết SLO là “99% request phản hồi dưới 200ms ở mức 2.000 RPS”. Nếu chỉ biết mình vi phạm sau khi bài test đã kết thúc, bạn sẽ mất hàng giờ chạy lại từ đầu mỗi khi tuning xong một dòng code.
3. Ba hướng tiếp cận thường gặp và bài toán chi phí
Trước khi chốt phương án cuối cùng, team mình đã thử qua các giải pháp phổ biến sau:
Cách 1: Xuất file JSON/CSV rồi parse vẽ biểu đồ
k6 cho phép xuất raw data qua flag --out json=result.json. Cách này hoàn toàn miễn phí. Đổi lại, chỉ một bài test 15 phút ở mức 1.000 RPS đã tạo ra file nặng hơn 6GB. Mở file bằng script Python hay ném vào Excel vừa chậm vừa giật lag, quan trọng nhất là vẫn không thể xem trực tiếp khi đang chạy test.
Cách 2: Mua gói Grafana Cloud k6 SaaS
Giải pháp chính chủ của Grafana Labs rất mượt: UI đẹp mắt, phân tích chi tiết từng endpoint. Thế nhưng mức giá subscription khoảng 500$/tháng cho gói team là rào cản lớn với dự án vừa và nhỏ. Chưa kể, nhiều khách hàng enterprise kiên quyết từ chối việc đẩy metrics nội bộ lên server bên ngoài vì lý do bảo mật.
Cách 3: Bắn metrics trực tiếp vào cụm Prometheus + Grafana sẵn có
Hệ thống monitoring nội bộ của tụi mình vốn đã có sẵn Prometheus và Grafana quản lý 15 node server. Tận dụng luôn hạ tầng này là bước đi kinh tế và hiệu quả nhất. Không tốn thêm một xu license, toàn bộ metrics từ tải ứng dụng cho tới CPU, RAM, IOPS của server đều quy về một màn hình duy nhất.
4. Setup thực chiến: Đẩy metrics từ k6 sang Prometheus qua Remote Write
Đây là pipeline team mình đã chuẩn hóa và dùng ổn định suốt 6 tháng qua. k6 hỗ trợ cơ chế experimental-prometheus-rw, cho phép stream dữ liệu thẳng sang Prometheus mà không cần dựng thêm StatsD hay Pushgateway trung gian.
Bước 1: Bật Remote Write Receiver trên Prometheus
Bản chất Prometheus hoạt động theo cơ chế pull (scrape). Muốn Prometheus nhận metrics được push từ k6, bạn phải bật feature flag --web.enable-remote-write-receiver trong cấu hình:
# Cấu hình docker-compose.yml cho Prometheus
services:
prometheus:
image: prom/prometheus:v2.45.0
container_name: prometheus
command:
- '--config.file=/etc/prometheus/prometheus.yml'
- '--web.enable-remote-write-receiver'
- '--storage.tsdb.retention.time=15d'
ports:
- "9090:9090"
Restart lại container. Endpoint nhận dữ liệu tải sẽ mở tại http://<prometheus-ip>:9090/api/v1/write.
Bước 2: Viết k6 script gắn chặt với cam kết SLA/SLO
Chúng ta tạo kịch bản tăng tải dần (ramp-up) và khai báo các mốc Thresholds tương ứng với SLO thực tế của hệ thống:
import http from 'k6/http';
import { check, sleep } from 'k6';
// Kịch bản tải và cam kết SLA/SLO
export const options = {
stages: [
{ duration: '1m', target: 50 }, // 1 phút đầu: ramp-up lên 50 VUs
{ duration: '3m', target: 200 }, // 3 phút kế tiếp: giữ đều 200 VUs
{ duration: '1m', target: 0 }, // 1 phút cuối: hạ tải về 0
],
thresholds: {
// SLO 1: Tỷ lệ lỗi toàn bài test phải dưới 1%
http_req_failed: ['rate<0.01'],
// SLO 2: 95% request phải phản hồi dưới 200ms
http_req_duration: ['p(95)<200'],
// SLO 3: 99% request thành công phải dưới 500ms
'http_req_duration{status:200}': ['p(99)<500'],
},
};
export default function () {
const res = http.get('http://api-internal.example.com/v1/products');
check(res, {
'status 200 OK': (r) => r.status === 200,
'co du lieu tra ve': (r) => r.body.includes('items'),
});
sleep(1);
}
Bước 3: Thực thi test tải với Remote Write Output
Khai báo biến môi trường chứa URL của Prometheus rồi kích hoạt lệnh chạy:
K6_PROMETHEUS_REMOTE_URL=http://192.168.1.100:9090/api/v1/write \
k6 run -o experimental-prometheus-rw load_test.js
k6 sẽ gom metrics thành từng đợt và bắn thẳng về Prometheus sau mỗi vài giây. Bạn có thể mở Grafana để theo dõi đường biểu đồ nhảy số ngay tức thì.
Bước 4: Thiết lập Dashboard theo dõi SLO trên Grafana
Bạn có thể import dashboard mẫu của cộng đồng (ID: 18030 hoặc 14353), hoặc tự tạo panel riêng bằng 3 câu truy vấn PromQL cốt lõi sau:
- Throughput thực tế (RPS):
sum(rate(k6_http_reqs_total[30s])) - Độ trễ p95 và p99 đối chiếu cam kết SLO:
histogram_quantile(0.95, sum(rate(k6_http_req_duration_seconds_bucket[1m])) by (le)) * 1000 - Tỷ lệ request lỗi (Error Rate %):
sum(rate(k6_http_req_failed_total{expected="false"}[30s])) / sum(rate(k6_http_reqs_total[30s])) * 100
5. Kinh nghiệm xương máu sau nửa năm vận hành
Qua hàng chục đợt stress test lớn nhỏ, đây là hai kinh nghiệm sống còn bạn nên nhớ:
- Coi chừng bùng nổ Cardinality trên Prometheus: Tuyệt đối không gắn các nhãn thay đổi liên tục (như
user_id,order_idhay dynamic URL/items/12345) vào custom metric của k6. Một bài test với 100.000 user sẽ sinh ra hàng triệu time-series, khiến Prometheus cạn RAM và sập ngay lập tức. Hãy nhóm endpoint lại dạng/items/{id}bằng hàmhttp.url. - Mở màn hình chia đôi (Split Screen) khi test: Đặt panel p95 Latency của k6 nằm ngay trên panel CPU/RAM và Connection Pool của Database. Bạn sẽ thấy ngay mối liên hệ: hễ connection pool của Postgres chạm 80%, p95 latency của API lập tức dựng đứng. Nhờ thế, việc định vị bottleneck chỉ tốn 30 giây thay vì mất cả buổi ngồi đào bới log.
