Posted inPython

Tuyệt chiêu truy tìm Memory Leak trong Python với Memray

Python tutorial - IT technology blog
Python tutorial - IT technology blog

Bối cảnh: Cơn ác mộng OOM Killer lúc 2 giờ sáng

Hãy tưởng tượng bạn đang vận hành một hệ thống xử lý dữ liệu Python. Mọi thứ vẫn ổn định cho đến khi lượng record chạm mốc 100.000. Đúng 2 giờ sáng, điện thoại báo cháy: Server sập hoàn toàn. Kiểm tra log, bạn thấy dòng chữ Out of Memory (OOM) Killer đầy ám ảnh.

Hệ điều hành đã tự tay “khai tử” ứng dụng vì nó ngốn sạch 16GB RAM chỉ trong vài phút. Lúc này, những công cụ như top hay psutil chỉ cho bạn biết RAM đang tăng. Chúng hoàn toàn bất lực trong việc chỉ ra dòng code cụ thể hay object nào đang chiếm dụng bộ nhớ. Sau nhiều giờ vật lộn, mình tìm thấy Memray. Công cụ này thực sự là một bước ngoặt.

Tại sao những công cụ cũ thường gây thất vọng?

Trước đây, memory_profiler là lựa chọn phổ biến. Tuy nhiên, nó khiến chương trình chạy chậm đi từ 10 đến 50 lần. Điểm yếu chí mạng là nó không thể nhìn thấy bộ nhớ tiêu thụ bởi các thư viện C extensions như NumPy, Pandas hay database drivers. Trong khi đó, Memray được viết bằng C++, cho phép theo dõi cả Python code lẫn Native code với độ trễ cực thấp.

Cài đặt Memray trong một nốt nhạc

Memray là sản phẩm mã nguồn mở từ Bloomberg. Nó hoạt động tốt nhất trên Linux. Nếu dùng macOS, bạn sẽ gặp một vài hạn chế về tính năng. Riêng người dùng Windows có thể chạy mượt mà thông qua WSL2.

pip install memray

Với các môi trường production khắt khe, hãy đảm bảo bạn đã cài python3-dev. Điều này giúp quá trình biên dịch các thành phần mở rộng không gặp lỗi giữa chừng.

Cách “soi” code mà không làm bẩn dự án

Điểm mình cực kỳ ưng ý là Memray không bắt bạn phải sửa source code. Bạn không cần chèn decorator hay thêm dòng import nào vào file production. Mọi thứ được thực hiện từ bên ngoài.

1. Chạy profile cơ bản

Giả sử bạn cần kiểm tra file processor.py. Chỉ cần thực thi lệnh:

python3 -m memray run processor.py

Memray sẽ tạo ra một file binary chứa toàn bộ lịch sử cấp phát bộ nhớ. Tên file thường có định dạng memray-processor.py.<pid>.bin.

2. Đọc báo cáo Flamegraph (Bản đồ nhiệt)

Dữ liệu binary rất khó đọc bằng mắt thường. Hãy chuyển nó sang dạng HTML trực quan bằng lệnh sau:

python3 -m memray flamegraph memray-processor.py.<pid>.bin

Mở file HTML vừa tạo trên trình duyệt, bạn sẽ thấy một bản đồ phân bổ bộ nhớ. Các khối càng rộng nghĩa là hàm đó chiếm càng nhiều RAM. Bạn có thể click trực tiếp vào từng khối để xem chính xác số dòng code đang gây lãng phí.

Thực chiến: Truy tìm hàm “ngốn” RAM ngầm

Xét một ví dụ thực tế: Script xử lý log bị rò rỉ bộ nhớ do lưu dữ liệu vào một list global mà quên dọn dẹp.

# leak_example.py
import time

def process_data():
    # Giả lập việc tích tụ dữ liệu gây leak
    cache = []
    for i in range(10000):
        cache.append(f"Record_{i}" * 100)
    return len(cache)

if __name__ == "__main__":
    for _ in range(10):
        process_data()
        time.sleep(0.5)

Thay vì chờ script chạy xong, bạn có thể dùng tính năng --live để quan sát ngay lập tức:

python3 -m memray run --live leak_example.py

Một giao diện terminal chuyên nghiệp sẽ xuất hiện. Nó liệt kê các hàm đang chiếm RAM cao nhất theo thời gian thực. Bạn sẽ thấy ngay hàm process_data liên tục đẩy mức sử dụng bộ nhớ lên cao mà không hề giảm xuống.

Phân tích sâu với Table View

Nếu Flamegraph làm bạn hoa mắt, hãy thử dạng bảng (Table):

python3 -m memray table memray-leak_example.py.<pid>.bin

Bảng này cung cấp ba chỉ số quan trọng: Total Memory, Own Memory và Allocation Count. Thực tế cho thấy, đôi khi số lần cấp phát (Allocation Count) quan trọng hơn tổng dung lượng. Việc tạo ra hàng triệu object nhỏ sẽ khiến Python tốn rất nhiều overhead để quản lý, làm chậm hệ thống đáng kể.

Kinh nghiệm tối ưu bộ nhớ thực tế

Sau nhiều lần xử lý các ca OOM khó nhằn, mình rút ra ba nguyên tắc vàng khi dùng Memray:

  • Luôn bật chế độ Native: Sử dụng flag --native khi làm việc với Pandas hoặc Machine Learning. Nếu thiếu nó, bạn sẽ bỏ lỡ phần bộ nhớ khổng lồ đang nằm ở tầng C/C++. 
    python3 -m memray run --native script.py
  • Săn lùng Peak Memory: Đôi khi RAM không tăng liên tục (leak) mà chỉ tăng đột biến (peak) rồi giảm. Memray giúp bạn xác định thời điểm đạt đỉnh để thay thế list comprehension bằng generator, giúp giảm RAM từ vài GB xuống còn vài MB.
  • Lưu trữ snapshot: Hãy lưu lại file báo cáo trước và sau khi tối ưu. Cảm giác nhìn biểu đồ RAM co lại sau khi sửa code thực sự rất thỏa mãn và là minh chứng rõ nhất cho hiệu quả công việc của bạn.

Memray không chỉ đơn thuần là công cụ sửa lỗi. Nó giúp bạn hiểu rõ cách Python vận hành bên dưới lớp vỏ bọc. Nếu dự án của bạn đang tốn RAM một cách bất thường, hãy cài Memray ngay hôm nay. Chúc các bạn có những đêm ngủ ngon, không còn lo lắng về OOM Killer!

Share:
Tags: