Hướng dẫn sử dụng thư viện Watchdog trong Python: Theo dõi file và thư mục thời gian thực

Python tutorial - IT technology blog
Python tutorial - IT technology blog

Vấn đề muôn thuở: Khi vòng lặp vô tận làm khổ server

Tưởng tượng bạn dựng một pipeline tự động: Kế toán xuất 500 file PDF báo cáo vào thư mục chia sẻ /data/incoming mỗi sáng. Nhiệm vụ của bạn là bóc tách số liệu rồi nạp vào PostgreSQL. Giải pháp bản năng nhất là gì? Viết một script chạy while True: time.sleep(10) rồi quét thư mục liên tục.

Cách làm này giống như cứ 5 giây bạn lại chạy ra mở cửa xem shipper tới chưa. CPU có thể nhảy vọt lên 15-20% vô ích. Ổ cứng SSD bị hành hạ bởi hàng nghìn lượt read I/O mỗi ngày. Tệ hơn, nếu script đọc trúng lúc file PDF 50MB mới chép được 20%, hệ thống sẽ văng lỗi crash ngay tắp lự.

Giải pháp thông minh hơn là gắn một chiếc chuông cửa. Hễ có file mới rơi vào thư mục, OS sẽ báo ngay cho Python. Đó chính là cách thư viện Watchdog vận hành.

Cơ chế hoạt động: Tận dụng trực tiếp API tầng OS

Watchdog không dùng polling lặp đi lặp lại. Nó hook trực tiếp vào API giám sát cấp kernel: inotify trên Linux, FSEvents trên macOS và ReadDirectoryChangesW trên Windows. Nhờ đó, script ngủ yên và chỉ thức dậy khi có event thực sự.

Kiến trúc Watchdog gồm 3 mảnh ghép chính:

  • Observer: Luồng chạy ngầm theo dõi các biến động tại thư mục bạn chỉ định, như một người gác cổng.
  • Event Handler: Nơi chứa logic xử lý khi có biến động. Nhận được tín hiệu, nó quyết định đọc file, nén dữ liệu hay bắn alert.
  • Events: Các sự kiện OS bắn ra, phổ biến nhất là created, modified, deleted và moved.

Thực hành: Xây dựng pipeline tự động

Cài đặt thư viện qua pip:

pip install watchdog

1. Giám sát thư mục cơ bản

Đoạn mã dưới đây theo dõi mọi thay đổi trong thư mục ./incoming:

import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

class FileMonitorHandler(FileSystemEventHandler):
    def on_created(self, event):
        if not event.is_directory:
            print(f"[TẠO MỚI] {event.src_path}")

    def on_modified(self, event):
        if not event.is_directory:
            print(f"[CHỈNH SỬA] {event.src_path}")

    def on_deleted(self, event):
        if not event.is_directory:
            print(f"[XÓA] {event.src_path}")

if __name__ == "__main__":
    path_to_watch = "./incoming"
    event_handler = FileMonitorHandler()
    observer = Observer()
    # recursive=True để bắt cả các thư mục con
    observer.schedule(event_handler, path=path_to_watch, recursive=True)
    
    print(f"Đang lắng nghe: {path_to_watch}...")
    observer.start()
    try:
        while True:
            time.sleep(1)
    except KeyboardInterrupt:
        observer.stop()
    observer.join()

2. Lọc định dạng với PatternMatchingEventHandler

Thực tế bạn sẽ không muốn xử lý file rác như .tmp hay .DS_Store. Thay vì viết if-else kiểm tra đuôi file thủ công, hãy dùng PatternMatchingEventHandler:

from watchdog.events import PatternMatchingEventHandler

class InvoiceHandler(PatternMatchingEventHandler):
    def __init__(self):
        super().__init__(
            patterns=["*.pdf", "*.xlsx"],
            ignore_patterns=["*.tmp", "*~*"],
            ignore_directories=True,
            case_sensitive=False
        )

    def on_created(self, event):
        print(f"Đã nhận file hợp lệ: {event.src_path}")

3. Kinh nghiệm thực chiến: Tránh sập pipeline khi scale

Dự án ban đầu chỉ 200 dòng code chạy thử rất mượt. Nhưng khi lên production với lượng traffic lớn, 2 cạm bẫy sau sẽ xuất hiện:

  • Bẫy ghi file dở (Partial Write): Bạn tải một file CSV 300MB qua SFTP. Sự kiện on_created nổ ra ngay byte đầu tiên. Nếu code mở đọc ngay, file sẽ bị thiếu dòng hoặc văng lỗi Permission Denied. Giải pháp: kiểm tra kích thước file không đổi sau 1-2 giây trước khi tiến hành xử lý.
  • Nghẽn Observer do nhồi nhét logic: Nhét code OCR, insert DB hay gửi Telegram trực tiếp vào on_created là sai lầm chết người. Nếu xử lý mất 3 giây mà cùng lúc có 20 file đổ về, Observer sẽ drop event. Cách chuẩn là: Handler chỉ đẩy path vào hàng đợi (Queue), việc nặng để worker thread lo.
import time
import os
from queue import Queue
from threading import Thread
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

job_queue = Queue()

def worker():
    while True:
        file_path = job_queue.get()
        if file_path is None:
            break
        
        # Chờ file hoàn tất quá trình ghi ra đĩa
        last_size = -1
        while True:
            try:
                current_size = os.path.getsize(file_path)
                if current_size == last_size and current_size > 0:
                    break
                last_size = current_size
                time.sleep(1)
            except FileNotFoundError:
                break
        
        print(f"[XỬ LÝ] Bắt đầu parse file an toàn: {file_path}")
        job_queue.task_done()

class AsyncHandler(FileSystemEventHandler):
    def on_created(self, event):
        if not event.is_directory:
            # Đẩy việc vào queue và thoát ngay, không block observer
            job_queue.put(event.src_path)

if __name__ == "__main__":
    # Khởi chạy 2 worker ngầm xử lý hàng đợi
    for _ in range(2):
        Thread(target=worker, daemon=True).start()
        
    observer = Observer()
    observer.schedule(AsyncHandler(), path="./incoming", recursive=False)
    observer.start()
    try:
        while True:
            time.sleep(1)
    except KeyboardInterrupt:
        observer.stop()
    observer.join()

Tổng kết

Watchdog là giải pháp gọn gàng để thay thế hoàn toàn các vòng lặp polling thủ công. Bằng cách ủy thác việc theo dõi cho kernel, script của bạn vừa tiết kiệm RAM, vừa phản hồi ngay tức khắc. Hãy nhớ quy tắc vàng: luôn tách biệt luồng lắng nghe event và luồng xử lý dữ liệu nặng để hệ thống vận hành bền bỉ.

Share: