Vấn đề muôn thuở: Khi vòng lặp vô tận làm khổ server
Tưởng tượng bạn dựng một pipeline tự động: Kế toán xuất 500 file PDF báo cáo vào thư mục chia sẻ /data/incoming mỗi sáng. Nhiệm vụ của bạn là bóc tách số liệu rồi nạp vào PostgreSQL. Giải pháp bản năng nhất là gì? Viết một script chạy while True: time.sleep(10) rồi quét thư mục liên tục.
Cách làm này giống như cứ 5 giây bạn lại chạy ra mở cửa xem shipper tới chưa. CPU có thể nhảy vọt lên 15-20% vô ích. Ổ cứng SSD bị hành hạ bởi hàng nghìn lượt read I/O mỗi ngày. Tệ hơn, nếu script đọc trúng lúc file PDF 50MB mới chép được 20%, hệ thống sẽ văng lỗi crash ngay tắp lự.
Giải pháp thông minh hơn là gắn một chiếc chuông cửa. Hễ có file mới rơi vào thư mục, OS sẽ báo ngay cho Python. Đó chính là cách thư viện Watchdog vận hành.
Cơ chế hoạt động: Tận dụng trực tiếp API tầng OS
Watchdog không dùng polling lặp đi lặp lại. Nó hook trực tiếp vào API giám sát cấp kernel: inotify trên Linux, FSEvents trên macOS và ReadDirectoryChangesW trên Windows. Nhờ đó, script ngủ yên và chỉ thức dậy khi có event thực sự.
Kiến trúc Watchdog gồm 3 mảnh ghép chính:
- Observer: Luồng chạy ngầm theo dõi các biến động tại thư mục bạn chỉ định, như một người gác cổng.
- Event Handler: Nơi chứa logic xử lý khi có biến động. Nhận được tín hiệu, nó quyết định đọc file, nén dữ liệu hay bắn alert.
- Events: Các sự kiện OS bắn ra, phổ biến nhất là
created,modified,deletedvàmoved.
Thực hành: Xây dựng pipeline tự động
Cài đặt thư viện qua pip:
pip install watchdog
1. Giám sát thư mục cơ bản
Đoạn mã dưới đây theo dõi mọi thay đổi trong thư mục ./incoming:
import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
class FileMonitorHandler(FileSystemEventHandler):
def on_created(self, event):
if not event.is_directory:
print(f"[TẠO MỚI] {event.src_path}")
def on_modified(self, event):
if not event.is_directory:
print(f"[CHỈNH SỬA] {event.src_path}")
def on_deleted(self, event):
if not event.is_directory:
print(f"[XÓA] {event.src_path}")
if __name__ == "__main__":
path_to_watch = "./incoming"
event_handler = FileMonitorHandler()
observer = Observer()
# recursive=True để bắt cả các thư mục con
observer.schedule(event_handler, path=path_to_watch, recursive=True)
print(f"Đang lắng nghe: {path_to_watch}...")
observer.start()
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()
2. Lọc định dạng với PatternMatchingEventHandler
Thực tế bạn sẽ không muốn xử lý file rác như .tmp hay .DS_Store. Thay vì viết if-else kiểm tra đuôi file thủ công, hãy dùng PatternMatchingEventHandler:
from watchdog.events import PatternMatchingEventHandler
class InvoiceHandler(PatternMatchingEventHandler):
def __init__(self):
super().__init__(
patterns=["*.pdf", "*.xlsx"],
ignore_patterns=["*.tmp", "*~*"],
ignore_directories=True,
case_sensitive=False
)
def on_created(self, event):
print(f"Đã nhận file hợp lệ: {event.src_path}")
3. Kinh nghiệm thực chiến: Tránh sập pipeline khi scale
Dự án ban đầu chỉ 200 dòng code chạy thử rất mượt. Nhưng khi lên production với lượng traffic lớn, 2 cạm bẫy sau sẽ xuất hiện:
- Bẫy ghi file dở (Partial Write): Bạn tải một file CSV 300MB qua SFTP. Sự kiện
on_creatednổ ra ngay byte đầu tiên. Nếu code mở đọc ngay, file sẽ bị thiếu dòng hoặc văng lỗi Permission Denied. Giải pháp: kiểm tra kích thước file không đổi sau 1-2 giây trước khi tiến hành xử lý. - Nghẽn Observer do nhồi nhét logic: Nhét code OCR, insert DB hay gửi Telegram trực tiếp vào
on_createdlà sai lầm chết người. Nếu xử lý mất 3 giây mà cùng lúc có 20 file đổ về, Observer sẽ drop event. Cách chuẩn là: Handler chỉ đẩy path vào hàng đợi (Queue), việc nặng để worker thread lo.
import time
import os
from queue import Queue
from threading import Thread
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
job_queue = Queue()
def worker():
while True:
file_path = job_queue.get()
if file_path is None:
break
# Chờ file hoàn tất quá trình ghi ra đĩa
last_size = -1
while True:
try:
current_size = os.path.getsize(file_path)
if current_size == last_size and current_size > 0:
break
last_size = current_size
time.sleep(1)
except FileNotFoundError:
break
print(f"[XỬ LÝ] Bắt đầu parse file an toàn: {file_path}")
job_queue.task_done()
class AsyncHandler(FileSystemEventHandler):
def on_created(self, event):
if not event.is_directory:
# Đẩy việc vào queue và thoát ngay, không block observer
job_queue.put(event.src_path)
if __name__ == "__main__":
# Khởi chạy 2 worker ngầm xử lý hàng đợi
for _ in range(2):
Thread(target=worker, daemon=True).start()
observer = Observer()
observer.schedule(AsyncHandler(), path="./incoming", recursive=False)
observer.start()
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()
Tổng kết
Watchdog là giải pháp gọn gàng để thay thế hoàn toàn các vòng lặp polling thủ công. Bằng cách ủy thác việc theo dõi cho kernel, script của bạn vừa tiết kiệm RAM, vừa phản hồi ngay tức khắc. Hãy nhớ quy tắc vàng: luôn tách biệt luồng lắng nghe event và luồng xử lý dữ liệu nặng để hệ thống vận hành bền bỉ.

