Cơn ác mộng 2 giờ sáng: Khi Harbor cạn sạch đĩa cứng
Đúng 2 giờ 15 sáng, điện thoại đổ chuông liên tục. Nhóm trực ca réo tên mình kèm ảnh chụp màn hình đỏ lòm từ pipeline CI/CD: Error: write /var/lib/docker/tmp/docker-builder...: no space left on device. Kéo theo đó, gần 40 deployment trên cụm Kubernetes production đồng loạt kẹt ở trạng thái ImagePullBackOff.
Mình mở vội dashboard quản trị của Harbor. Trang web quay tít. Ổ cứng 2TB lưu trữ artifact đã chạm ngưỡng 99.8%. Tệ hơn nữa, tiến trình replication sang cụm backup DR đã âm thầm treo suốt 6 tiếng mà không một kênh nào phát tín hiệu cảnh báo.
Vận hành registry cho hơn 60 kỹ sư mà thiếu metrics chẳng khác nào đi đêm không đèn. Đợi sự cố bung bét rồi mới lục log text thì đã quá muộn.
Harbor phơi bày metrics như thế nào?
Từ bản 2.2, Harbor tích hợp sẵn endpoint Prometheus native. Bạn không cần cài thêm exporter bên ngoài.
Hệ thống chia metrics thành hai nhóm chính:
- Harbor Core Metrics: Báo cáo trạng thái project quota, dung lượng lưu trữ thực tế, số artifact và tiến độ các tác vụ replication.
- Registry Metrics: Ghi nhận lưu lượng HTTP status (200, 404, 500), độ trễ (latency), cùng tần suất lệnh
docker pushvàdocker pull.
Harbor gom toàn bộ thông tin này về một cổng (mặc định là 9090) tại đường dẫn /metrics. Prometheus sẽ định kỳ scrape dữ liệu đưa vào TSDB, còn Grafana kéo dữ liệu đó ra để vẽ biểu đồ.
Các bước tích hợp Prometheus & Grafana
Bước 1: Bật endpoint metrics trong harbor.yml
Truy cập vào server cài Harbor, tìm đến thư mục cấu hình:
cd /opt/harbor
sudo vim harbor.yml
Tìm block metric và chỉnh sửa như bên dưới:
metric:
enabled: true
port: 9090
path: /metrics
Lưu file và cập nhật lại cấu hình container:
sudo ./prepare
sudo docker compose down
sudo docker compose up -d
Chạy thử lệnh curl trên localhost để kiểm tra exporter:
curl -s http://127.0.0.1:9090/metrics | head -n 20
Terminal trả về danh sách tiền tố # HELP harbor_... là endpoint đã hoạt động.
Bước 2: Khai báo scrape target trên Prometheus
Mở file prometheus.yml trên server giám sát và thêm job mới:
scrape_configs:
- job_name: 'harbor-monitoring'
scrape_interval: 15s
scrape_timeout: 10s
static_configs:
- targets: ['192.168.10.20:9090']
labels:
env: 'production'
service: 'registry-harbor'
Reload Prometheus mà không làm gián đoạn tiến trình:
curl -X POST http://localhost:9090/-/reload
Vào menu Status > Targets trên web UI của Prometheus. Target harbor-monitoring đổi sang màu xanh UP là xong.
Bước 3: Thiết lập các PromQL query quan trọng
Dưới đây là 3 câu truy vấn bắt buộc phải đưa lên Grafana Dashboard.
1. Tỷ lệ sử dụng Storage Quota theo Project
Tránh kịch bản một repository phình đột ngột làm sập cả cụm. Truy vấn phần trăm dung lượng đã dùng:
# Tỷ lệ phần trăm storage đã dùng theo từng project
(harbor_project_quota_used_bytes / harbor_project_quota_total_bytes) * 100
Nếu dự án không gán quota cố định, bạn đổi sang theo dõi dung lượng thực tế theo đơn vị Gigabyte (GB):
# Dung lượng tiêu thụ quy đổi sang GB
harbor_project_quota_used_bytes{project_name="core-banking"} / 1024 / 1024 / 1024
2. Tần suất Pull và Push Image
Metric này phát hiện sớm vòng lặp lỗi từ CI/CD hoặc tình trạng một worker node liên tục pull image vô tận:
# Tốc độ pull image (req/s)
sum(rate(harbor_registry_http_requests_total{handler="/v2/{name:.*}/manifests/{reference:.*}", method="GET"}[5m]))
# Tốc độ push image mới (req/s)
sum(rate(harbor_registry_http_requests_total{handler="/v2/{name:.*}/blobs/uploads/{uuid:.*}", method="PUT"}[5m]))
3. Trạng thái Replication giữa các cụm
Khi đồng bộ sang cụm DR dự phòng, bất kỳ task nào đứt gãy cũng cần được bắt ngay lập tức:
# Số lượng task replication thất bại trong 10 phút gần nhất
increase(harbor_replication_task_total{status="failed"}[10m])
Bước 4: Cấu hình Alert Rules và bài toán lọc nhiễu
Cảnh báo dày đặc sẽ làm chai lì phản xạ của đội ngũ trực. Ban đầu, mình để mức cảnh báo 80% dung lượng với thời gian chờ for: 1m. Hậu quả là mỗi lần dev chạy build multi-stage image hoặc dọn cache, Telegram lại réo ầm ĩ giữa đêm. Mọi người mệt mỏi và dần tắt thông báo.
Giải pháp là chia tách hai ngưỡng cảnh báo với thời gian chờ hợp lý:
groups:
- name: harbor_alerts
rules:
- alert: HarborStorageQuotaWarning
expr: (harbor_project_quota_used_bytes / harbor_project_quota_total_bytes) * 100 > 85
for: 30m
labels:
severity: warning
annotations:
summary: "Harbor project {{ $labels.project_name }} chạm 85% dung lượng"
description: "Dung lượng project vượt ngưỡng 85% suốt 30 phút liên tục. Cần lên kế hoạch dọn artifact."
- alert: HarborStorageQuotaCritical
expr: (harbor_project_quota_used_bytes / harbor_project_quota_total_bytes) * 100 > 95
for: 5m
labels:
severity: critical
annotations:
summary: "Harbor project {{ $labels.project_name }} sắp tràn ổ cứng"
description: "Dung lượng vượt 95%. Cần purge image cũ hoặc nới quota ngay lập tức."
- alert: HarborReplicationFailed
expr: increase(harbor_replication_task_total{status="failed"}[5m]) > 0
for: 2m
labels:
severity: critical
annotations:
summary: "Replication task thất bại"
description: "Không thể đồng bộ image sang cụm DR. Kiểm tra lại đường truyền mạng hoặc authentication token."
Giữ mức 85% trong 30 phút loại bỏ được các đợt tăng ảo do build tạm thời. Ngược lại, mức 95% trong 5 phút sẽ lập tức đánh thức on-call engineer khi rủi ro sập cụm cận kề.
Tổng kết
Đừng chờ đến khi Docker daemon báo lỗi no space left on device mới cuống cuồng đi dọn rác. Thiết lập bộ metrics cho storage quota, request rate và replication status chỉ mất khoảng 20 phút cấu hình. Bù lại, bạn kiểm soát trọn vẹn sức khỏe của hệ thống lưu trữ và giữ cho đường ống CI/CD vận hành mượt mà.
