Bối cảnh & Tại sao Keycloak dễ thành điểm nghẽn?
Khoảng 6 tháng trước, team mình gom toàn bộ luồng đăng nhập của 6 microservices nội bộ về Keycloak qua OIDC. Khi đó, lượng request hàng ngày chạm mốc 120.000 lượt. Mọi việc tưởng như êm xuôi, cho đến khi Keycloak trở thành điểm nghẽn chí mạng (Single Point of Failure). Chỉ cần cụm IdP này phản hồi chậm 2 giây hoặc cạn connection pool ra PostgreSQL, toàn bộ người dùng ở cả 6 dịch vụ đều đứng hình ở cổng đăng nhập.
Hệ thống giám sát của mình dùng Prometheus và Grafana quản lý khoảng 15 node. Trước đây, khi chưa gắn metrics vào Keycloak, mỗi lần gặp sự cố là một bài toán mò kim đáy bể. Có lần một script test dò pass đẩy CPU chạm trần 95%. Lần khác, frontend dính bug loop refresh token khiến database quá tải. Lúc đó, anh em trực vận hành chỉ biết nhìn đồ thị CPU đỏ lòm trong bất lực.
Gắn metrics chuẩn vào Keycloak giúp đội ngũ chỉ mặt đặt tên 3 vấn đề cốt tử: lượng đăng nhập hỏng (Login Failures), số phiên làm việc thực tế (Active Sessions), và tần suất cấp token (Token Operations) theo thời gian thực.
Cài đặt
Từ bản Keycloak nền Quarkus (Keycloak 17 trở lên), việc bật metrics dễ hơn thời WildFly rất nhiều. Keycloak tích hợp sẵn Micrometer và mở sẵn endpoint chuẩn Prometheus.
Bạn chỉ cần nạp vài biến môi trường vào container. Dưới đây là file docker-compose.yml thực tế mà team mình đang chạy:
version: '3.8'
services:
keycloak:
image: quay.io/keycloak/keycloak:24.0.5
container_name: keycloak-idp
command: start --optimized
environment:
KC_DB: postgres
KC_DB_URL: jdbc:postgresql://postgres:5432/keycloak
KC_DB_USERNAME: keycloak
KC_DB_PASSWORD: strongpassword123
KC_HOSTNAME: auth.lab.internal
KC_METRICS_ENABLED: "true"
KC_HEALTH_ENABLED: "true"
KC_HTTP_MANAGEMENT_PORT: 9000
ports:
- "8080:8080"
- "9000:9000"
restart: unless-stopped
Điểm lưu ý: Keycloak tách riêng cổng quản trị (management port) sang cổng 9000. Endpoint số liệu sẽ là http://keycloak-idp:9000/metrics, không nằm ở cổng ứng dụng 8080 nữa.
Thiết kế này bảo mật hơn hẳn: cổng 8080 mở qua Nginx/Ingress cho người dùng ngoài, còn port 9000 chỉ cấp quyền nội bộ cho Prometheus cào dữ liệu.
Cấu hình chi tiết
Khởi động xong container, bạn gõ lệnh curl để test nhanh endpoint số liệu:
curl -s http://localhost:9000/metrics | head -n 25
Nếu thấy các dòng tiền tố jvm_memory_*, agroal_* hay http_server_requests_seconds_* xuất hiện liên tục thì hệ thống đã sẵn sàng.
1. Khai báo Scrape Job trong Prometheus
Mở file prometheus.yml và thêm cấu hình scrape định kỳ 15 giây một lần:
scrape_configs:
- job_name: 'keycloak'
scrape_interval: 15s
scrape_timeout: 10s
metrics_path: '/metrics'
static_configs:
- targets: ['192.168.1.50:9000']
labels:
env: 'production'
service: 'identity-provider'
Reload lại Prometheus ngay lập tức mà không cần khởi động lại tiến trình:
curl -X POST http://localhost:9090/-/reload
2. Các biểu thức PromQL đáng tiền nhất
Keycloak xuất ra hàng trăm chỉ số, nhưng khi trực chiến, bạn chỉ cần ghim 4 công thức PromQL này lên màn hình:
- Active Sessions theo Realm: Đo lượng phiên đang hoạt động đồng thời. Con số này giúp bạn cấp phát RAM chuẩn xác cho bộ nhớ đệm Infinispan:
sum(keycloak_active_user_sessions) by (realm) - Tần suất đăng nhập thất bại (Login Failures mỗi phút): Nếu biểu đồ dựng đứng trên 30 lỗi/phút, 90% khả năng có kẻ đang chạy script brute-force dò pass:
sum(rate(keycloak_failed_login_attempts_total[5m])) by (realm, client_id) * 60 - Tốc độ cấp mới & Refresh Token: Phát hiện client dính bug vòng lặp gọi refresh token vô tận làm nghẽn thread pool:
sum(rate(keycloak_token_exchange_total[5m])) by (realm, client_id) - Độ trễ xử lý (P95 Response Time): Theo dõi thời gian xử lý request xác thực của Keycloak. Khi P95 vượt ngưỡng 1.5 giây, hãy kiểm tra I/O của PostgreSQL:
histogram_quantile(0.95, sum(rate(http_server_requests_seconds_bucket{uri=~"/realms/.*"}[5m])) by (le))
Giám sát thực tế & Cảnh báo
Trên Grafana, bạn có thể tự dựng panel theo 4 PromQL trên hoặc import dashboard mẫu (mã phổ biến cho Keycloak Quarkus là 18635). Tự tay dựng panel sẽ giúp bạn hiểu sâu ý nghĩa từng dao động số liệu hơn.
Thiết lập Alert Rules chuẩn chỉnh
Dashboard đẹp không cứu được hệ thống nếu kỹ sư ngủ quên. Mình cấu hình 2 rule cảnh báo gửi thẳng về Telegram/Slack qua Alertmanager:
groups:
- name: keycloak_alerts
rules:
- alert: KeycloakHighLoginFailures
expr: sum(rate(keycloak_failed_login_attempts_total[5m])) by (realm) * 60 > 30
for: 3m
labels:
severity: warning
annotations:
summary: "Phát hiện đăng nhập thất bại tăng vọt tại realm {{ $labels.realm }}"
description: "Hơn 30 lượt login hỏng mỗi phút trong 3 phút liên tục. Nghi vấn brute-force hoặc credential stuffing."
- alert: KeycloakSlowResponseTime
expr: histogram_quantile(0.95, sum(rate(http_server_requests_seconds_bucket[5m])) by (le)) > 2.0
for: 2m
labels:
severity: critical
annotations:
summary: "Keycloak phản hồi rất chậm (P95 > 2s)"
description: "Độ trễ P95 chạm 2 giây trong 2 phút. Dịch vụ vệ tinh có nguy cơ dính gateway timeout."
3 kinh nghiệm xương máu sau 6 tháng vận hành
Sau nhiều đêm trực production và vài sự cố nhớ đời, đây là 3 bài học bạn nên áp dụng ngay:
- Đừng để Session Idle quá dài: Ngày đầu chạy thử, bên mình set
SSO Session Idletận 30 ngày. Hậu quả là hơn 45.000 session rác tích tụ khiến cache Infinispan nuốt trọn 5.2GB RAM. Rút ngắn idle xuống 8 tiếng và session max 24 tiếng, mức RAM tiêu thụ lập tức giảm 60%. - Khóa chặt cổng 9000: Metrics chứa cả tên Realm, tên Client và username nếu cấu hình nhầm. Hãy chặn port 9000 bằng
ufwhoặc cách ly trong Docker internal network, chỉ cho IP của Prometheus đi qua. - Soi kỹ Database Connection Pool: Khi P95 latency tăng mà lượng người dùng không đột biến, hãy check ngay metric
agroal_active_count. Ở hệ thống của mình, nângKC_DB_POOL_MAX_SIZEtừ 20 lên 60 đã giải quyết dứt điểm lỗi nghẽn cổ chai lúc cao điểm 9 giờ sáng.
Có Prometheus và Grafana hỗ trợ, việc vận hành Keycloak nhẹ đầu hơn rất nhiều. Thay vì chờ user réo trên Slack, đội vận hành luôn nắm bắt biến động và xử lý sớm trước khi sự cố lan rộng.
