Posted inDocker

Hướng dẫn xây dựng hệ thống giám sát Docker Container toàn diện với Prometheus, cAdvisor và Grafana

Docker tutorial - IT technology blog
Docker tutorial - IT technology blog

Vấn đề thực tế: 2 giờ sáng và cơn ác mộng 502 Bad Gateway

Mọi thứ tưởng chừng hoàn hảo sau đợt release lúc 8 giờ tối. Lưu lượng người dùng ổn định, đơn hàng tăng đều. Đúng 2 giờ sáng, tin nhắn khẩn cấp reo liên hồi: toàn bộ ứng dụng chết đứng vì lỗi 502 Bad Gateway. Mở vội laptop kiểm tra terminal, bạn nhận ra container xử lý checkout đã biến mất tự bao giờ.

Trong một dự án e-commerce chạy khoảng 15 microservices, mình từng mất tròn 2 ngày đánh vật với lỗi rò rỉ bộ nhớ (memory leak). Cứ sau 4 đến 6 tiếng, RAM máy chủ lại bị ngốn sạch từ 8GB lên mức 98%. Giải pháp tình thế lúc đó? Gõ vội lệnh restart container để hệ thống thở lại một chút. Nhưng chỉ vài giờ sau, kịch bản cũ lặp lại. Không có số liệu đo đạc, cả team như người mù đi đêm, đoán mò từ code Node.js sang câu lệnh PostgreSQL mà chẳng biết tài nguyên thực sự bốc hơi ở đâu.

Phân tích nguyên nhân: Vì sao dùng Docker lại dễ bị ‘mù thông tin’?

Hãy hình dung Docker như một tòa chung cư khép kín. Mỗi container là một căn hộ biệt lập. Đứng ở cổng chính (tức máy chủ host), bạn chỉ biết cả tòa nhà đang tiêu thụ 100kW điện, nhưng chịu thua không thể biết phòng nào đang bật điều hòa 16 độ làm sập aptomat tổng.

Ba rào cản lớn nhất khiến bạn mất kiểm soát khi vận hành container:

  • Thiếu dữ liệu lịch sử: Các công cụ cơ bản chỉ hiển thị số liệu tức thời. Sau khi sự cố xảy ra, bạn không có cách nào xem lại container nào đột ngột ngốn 100% CPU cách đó 15 phút.
  • Số lượng container phân tán: Một hệ thống microservices thường chạy 10 đến 30 tiến trình cùng lúc (web, cache, queue worker, database). Việc kiểm tra từng dịch vụ bằng tay là điều bất khả thi.
  • Chết trong im lặng: Khi chạm trần RAM, tiến trình Linux Kernel (OOM Killer) sẽ âm thầm khai tử container ngay lập tức mà không để lại bất kỳ cảnh báo sớm nào cho bạn.

Các cách giải quyết phổ biến hiện nay

Trước khi dựng stack hoàn chỉnh, phần lớn lập trình viên thường cân nhắc hai hướng tiếp cận sau:

Cách 1: Giám sát thủ công bằng lệnh docker stats

Phương án nhanh nhất mà ai cũng nghĩ đến đầu tiên:

docker stats

Màn hình terminal lập tức nhảy số liên tục về CPU, RAM và network I/O. Tuy nhiên, điểm yếu chết người là bạn phải dán mắt vào màn hình đen sì đó. Đóng terminal là toàn bộ dữ liệu biến mất, không có biểu đồ theo giờ hay tuần để bạn đánh giá tải.

Cách 2: Sử dụng các dịch vụ SaaS (Datadog, New Relic)

Những nền tảng này cung cấp trải nghiệm tuyệt vời. Bạn chỉ cần cài agent, dashboard tự động dựng sẵn trên giao diện web trực quan.

Thế nhưng, bài toán chi phí là rào cản rất lớn. Datadog tính phí từ 15-23 USD/tháng cho mỗi host giám sát, chưa kể phụ phí metrics và log. Với các dự án vừa và nhỏ, hóa đơn dịch vụ giám sát đôi khi còn đắt gấp đôi chi phí thuê máy chủ VPS.

Giải pháp tối ưu: Bộ ba cAdvisor + Prometheus + Grafana qua Docker Compose

Phương án cân bằng nhất giữa hiệu năng và chi phí là tự dựng stack open-source ngay trên hạ tầng hiện có. Ba công cụ này phối hợp nhịp nhàng theo chu trình khép kín:

  1. cAdvisor (Thu thập chỉ số): Lắng nghe trực tiếp từ Linux cgroups và Docker daemon, đo đạc chi tiết mức tiêu thụ CPU, RAM, Network và Disk I/O của từng container theo thời gian thực.
  2. Prometheus (Lưu trữ Time-Series): Định kỳ kéo (pull) dữ liệu từ cAdvisor về lưu trữ vào cơ sở dữ liệu chuỗi thời gian tối ưu hóa cao.
  3. Grafana (Trực quan hóa): Đọc dữ liệu từ Prometheus, biến các dãy số khô khan thành biểu đồ trực quan, hỗ trợ thiết lập ngưỡng cảnh báo (alerting) khi có dấu hiệu bất thường.

Bước 1: Chuẩn bị file cấu hình Prometheus

Tạo file prometheus.yml để chỉ định địa chỉ thu thập số liệu từ cAdvisor:

global:
  scrape_interval: 5s

scrape_configs:
  - job_name: 'cadvisor'
    static_configs:
      - targets: ['cadvisor:8080']

Bước 2: Viết cấu hình docker-compose.yml

Đặt file docker-compose.yml cùng cấp thư mục với nội dung sau:

version: '3.8'

services:
  cadvisor:
    image: gcr.io/cadvisor/cadvisor:v0.49.1
    container_name: monitoring-cadvisor
    restart: unless-stopped
    privileged: true
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:ro
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
      - /dev/disk/:/dev/disk:ro
    expose:
      - 8080
    networks:
      - monitoring-net

  prometheus:
    image: prom/prometheus:v2.51.0
    container_name: monitoring-prometheus
    restart: unless-stopped
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - prometheus_data:/prometheus
    ports:
      - "9090:9090"
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
    networks:
      - monitoring-net

  grafana:
    image: grafana/grafana:10.4.0
    container_name: monitoring-grafana
    restart: unless-stopped
    ports:
      - "3000:3000"
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=adminpass
    volumes:
      - grafana_data:/var/lib/grafana
    networks:
      - monitoring-net

volumes:
  prometheus_data:
  grafana_data:

networks:
  monitoring-net:
    driver: bridge

Bước 3: Khởi chạy và thiết lập Dashboard

Kích hoạt toàn bộ cụm dịch vụ chỉ với một lệnh:

docker compose up -d

Quá trình thiết lập dashboard trên Grafana diễn ra rất nhanh gọn:

  • Mở trình duyệt, truy cập http://IP-SERVER:3000 với tài khoản mặc định admin / adminpass.
  • Điều hướng tới Connections > Data Sources, chọn Prometheus, điền URL nội bộ http://prometheus:9090 rồi nhấn Save & test.
  • Chuyển qua mục Dashboards > Import, nhập mã template 14282 (dashboard chuẩn được cộng đồng tối ưu cho cAdvisor).

Dashboard hoàn chỉnh sẽ hiện ra ngay lập tức. Biểu đồ chi tiết về tải CPU, dung lượng RAM thực tế, tốc độ đọc ghi disk và băng thông mạng của từng container đều hiển thị rõ ràng. Giờ đây, chỉ cần nhìn độ dốc của biểu đồ RAM trong 2-3 giờ, bạn đã có thể phát hiện ngay lỗi rò rỉ bộ nhớ trước khi máy chủ kịp chạm ngưỡng OOM.

Share:
Tags: