Posted inMonitoring

Grafana Pyroscope: Truy tìm “thủ phạm” ngốn CPU và RAM ngay trên Production

Monitoring tutorial - IT technology blog
Monitoring tutorial - IT technology blog

Nỗi ám ảnh mang tên “Spike” tài nguyên bất thình lình

Hãy tưởng tượng: 2 giờ sáng, hệ thống báo động CPU server chạm ngưỡng 98%. Bạn vội vã bật máy tính, SSH vào server và gõ top. Thật trớ trêu, mọi thứ bỗng dưng quay về mức 10% bình thường như chưa có chuyện gì xảy ra. Hoặc đau đầu hơn là lỗi Memory Leak (rò rỉ bộ nhớ). RAM cứ tăng âm thầm mỗi ngày một ít cho đến khi OOM Killer “trảm” mất tiến trình, để lại một đống log vô nghĩa.

Trước đây, mình thường dùng pprof cho Go hoặc py-spy cho Python để chụp ảnh (snapshot) hiệu suất. Tuy nhiên, cách này rất hên xui vì nó chỉ bắt được khoảnh khắc. Sau 6 tháng đưa Grafana Pyroscope vào vận hành, mình nhận ra đây chính là mảnh ghép còn thiếu để hoàn thiện bức tranh Observability, bên cạnh Metrics, Logs và Traces.

So sánh các phương pháp Profiling phổ biến

Để thấy được giá trị của Pyroscope, hãy nhìn lại 3 cách tiếp cận mà mình từng trải qua:

1. Thủ công (Manual Profiling)

Bạn phải đợi đúng lúc sự cố xảy ra để chạy lệnh xuất file profile, sau đó tải về máy cá nhân để phân tích. Cách này miễn phí nhưng cực kỳ tốn công. Bạn rất dễ bỏ lỡ “thời điểm vàng” nếu sự cố chỉ diễn ra trong vài chục giây.

2. APM đắt tiền (Datadog, New Relic)

Các công cụ này sở hữu tính năng Continuous Profiling rất mượt mà. Thế nhưng, chi phí là rào cản cực lớn. Với các startup có khoảng 20-50 microservices, nhìn hóa đơn cuối tháng từ Datadog đủ khiến bạn muốn… tắt luôn tính năng này cho rảnh nợ.

3. Grafana Pyroscope: Lựa chọn cân bằng

Đây là hướng đi tối ưu về chi phí lẫn hiệu quả. Pyroscope liên tục thu thập Stack Traces của ứng dụng với độ trễ cực thấp. Dữ liệu được nén và lưu trữ theo thời gian thực. Nhờ đó, bạn có thể “xuyên không” về bất kỳ thời điểm nào trong quá khứ để xem chính xác hàm nào đang ngốn tài nguyên nhất.

Tại sao Pyroscope xứng đáng có mặt trong stack của bạn?

Sau thời gian dài thực chiến, mình đúc kết được 3 ưu điểm vượt trội:

  • Overhead siêu nhẹ: Thực tế cho thấy Pyroscope chỉ chiếm khoảng 1-2% CPU của ứng dụng. Bạn hoàn toàn yên tâm bật nó 24/7 trên Production mà không lo làm chậm hệ thống.
  • Biểu đồ Flame Graph trực quan: Thay vì đọc log khô khan, bạn sẽ nhìn vào một “biểu đồ lửa”. Khối nào càng rộng, hàm đó càng tốn tài nguyên. Bạn sẽ biết ngay lỗi nằm ở logic code của mình hay ở thư viện bên thứ ba.
  • Hệ sinh thái Grafana: Việc gom Metrics (Prometheus), Logs (Loki) và Profiles (Pyroscope) về cùng một Dashboard giúp việc điều tra sự cố nhanh hơn gấp nhiều lần.

Lưu ý nhỏ: Việc lưu trữ dữ liệu Profile khá tốn dung lượng đĩa cứng. Bạn nên cấu hình Retention Policy khoảng 7-14 ngày để cân bằng giữa nhu cầu điều tra và chi phí storage.

Triển khai nhanh trong 3 bước

Dưới đây là cách dựng nhanh cụm Pyroscope bằng Docker để bạn dùng thử.

Bước 1: Khởi tạo Server

Tạo file docker-compose.yaml với nội dung đơn giản sau:

version: '3.9'
services:
  pyroscope:
    image: grafana/pyroscope:latest
    ports:
      - "4040:4040"
  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    environment:
      - GF_AUTH_ANONYMOUS_ENABLED=true
      - GF_AUTH_ANONYMOUS_ORG_ROLE=Admin

Gõ lệnh docker-compose up -d để khởi động. Server thu thập sẽ lắng nghe tại cổng 4040.

Bước 2: Tích hợp vào Code (Python)

Cài đặt thư viện agent:

pip install pyroscope-io

Chèn đoạn code khởi tạo này vào file chạy chính của bạn:

import pyroscope

pyroscope.configure(
    application_name    = "api-service-prod",
    server_address      = "http://localhost:4040",
    tags = {"env": "production", "version": "1.2.0"}
)

# Giả lập hàm xử lý nặng
def process_data():
    return [x**2 for x in range(1000000)]

if __name__ == "__main__":
    while True:
        process_data()

Bước 3: Tận hưởng thành quả

Truy cập Grafana (port 3000), thêm Data Source là Pyroscope với URL http://pyroscope:4040. Tại menu Explore, bạn sẽ thấy các khối màu cam đỏ hiện ra. Đó chính là bức tranh tài nguyên thực tế của ứng dụng.

Kinh nghiệm thực tế: Đọc Flame Graph không bị rối

Khi mới làm quen, bạn rất dễ bị ngợp trước hàng trăm khối màu. Hãy nhớ 2 quy tắc vàng:

  1. Nhìn vào chiều rộng: Đừng quan tâm hàm đó nằm sâu hay nông. Cứ thằng nào chiếm diện tích bề ngang lớn nhất thì ưu tiên tối ưu trước.
  2. Sử dụng Diff View: Đây là tính năng đáng tiền nhất. Bạn có thể so sánh giữa lúc hệ thống chạy bình thường và lúc bị lỗi. Pyroscope sẽ nhuộm đỏ những vùng code có mức tiêu thụ tăng đột biến.

Đừng để Alert Fatigue làm phiền bạn

Sai lầm lớn nhất của mình lúc đầu là cài đặt cảnh báo (Alert) trực tiếp từ Pyroscope. Kết quả là Telegram báo động liên tục mỗi khi có một Cronjob chạy ngốn CPU trong vài giây.

Lời khuyên: Hãy dùng Prometheus để cảnh báo ngưỡng CPU/RAM tổng thể. Khi nhận được cảnh báo hệ thống quá tải, lúc đó bạn mới dùng Pyroscope để “khám nghiệm hiện trường”. Pyroscope là công cụ điều tra (debugging) chuyên sâu, không phải lớp cảnh báo đầu tiên.

Tổng kết

Continuous Profiling không còn là thứ xa xỉ dành riêng cho các ông lớn. Với Grafana Pyroscope, bạn có thể tự tin deploy code mới mà không phải lo lắng về những lỗi hiệu năng tiềm ẩn. Hãy thử dành một buổi cuối tuần để setup, mình tin bạn sẽ phát hiện ra nhiều điểm “vô lý” trong code mà bấy lâu nay log không bao giờ chỉ ra được.

Share:
Tags: