Ác mộng đầy ổ cứng lúc 2 giờ sáng
2 giờ 15 phút sáng, điện thoại rung liên hồi. PagerDuty báo đỏ: toàn bộ API sập, MySQL tự ngắt tiến trình, khách hàng réo ầm ĩ. Mắt nhắm mắt mở SSH vào VPS, gõ lệnh nào hệ thống cũng ném lại đúng một câu:
-bash: cannot create temp file for here-document: No space left on device
Gõ df -h kiểm tra nhanh. Phân vùng root / đã chạm mốc 100%. Lướt vào /var/log, mình thấy ngay thủ phạm: file access.log phình to tới 45GB. Một đợt quét lỗ hổng từ botnet khiến request tăng đột biến. Trong khi đó, con VPS này chưa được cài cơ chế xoay hay dọn log tự động.
Thấy file to, nhiều bạn tiện tay gõ luôn rm -f /var/log/app.log. Đừng làm vậy! Tiến trình ứng dụng vẫn đang giữ file descriptor (inode) mở. Lệnh ls không còn thấy file, nhưng dung lượng ổ cứng không hề nhả ra một byte nào. Để giải phóng đĩa thực sự, bạn lại phải restart service—điều tối kỵ trên production. Để xử lý gọn gàng và không làm gián đoạn hệ thống, Linux có sẵn công cụ cực mạnh: logrotate.
logrotate vận hành như thế nào?
Logrotate là tiện ích quản lý vòng đời file log trên Linux. Thay vì để log phình to vô hạn, nó can thiệp đều đặn theo lịch trình:
- Rotate (Xoay log): Đổi tên file hiện tại (như
app.logthànhapp.log.1) rồi tạo file mới để app ghi tiếp. - Compress (Nén): Nén file cũ thành định dạng
.gz. Một file log text 10GB sau khi nén thường chỉ còn khoảng 1 đến 1.5GB, tiết kiệm tới gần 90% dung lượng. - Remove (Dọn dẹp): Giữ lại số lượng bản ghi nhất định (ví dụ 14 ngày) và tự xóa các bản cũ hơn.
Chọn cơ chế nào: copytruncate hay postrotate?
Tùy theo cách ứng dụng ghi log, bạn sẽ chọn một trong hai hướng sau:
- Cơ chế chuẩn (create + postrotate): Logrotate đổi tên file log cũ rồi tạo ngay file mới với đúng quyền hạn (permission). Sau đó, nó gửi tín hiệu POSIX (thường là
USR1hoặcSIGHUP) để bảo Nginx hay Apache mở lại file log mới. Cách này tối ưu I/O và đảm bảo không rơi rớt log nào. - Cơ chế copytruncate: Dùng cho các ứng dụng viết bằng Node.js, Python, Go hay Java không hỗ trợ nhận tín hiệu reload log. Logrotate copy nội dung sang file backup rồi cắt cụt (truncate) file gốc về 0 byte. Ứng dụng vẫn giữ nguyên file descriptor nên không cần restart. Tuy nhiên, nếu server đang chịu tải 5.000 req/s, vài chục request ghi vào giữa tích tắc copy và truncate có thể bị mất.
Thực hành cấu hình logrotate chuẩn production
Logrotate thường chạy ngầm qua cron.daily hoặc systemd-timer. File tổng nằm ở /etc/logrotate.conf. Với từng dịch vụ riêng, bạn nên tạo file con trong /etc/logrotate.d/ để dễ quản lý.
Bước 1: Tạo file cấu hình cho ứng dụng
Giả sử backend của bạn lưu log tại /var/log/my-backend/*.log. Mở terminal và tạo file mới:
sudo nano /etc/logrotate.d/my-backend
Thêm nội dung sau vào file:
/var/log/my-backend/*.log {
daily
missingok
rotate 14
compress
delaycompress
notifempty
create 0640 appuser appuser
sharedscripts
copytruncate
}
Các chỉ thị quan trọng cần lưu ý:
daily: Kiểm tra và xoay log hàng ngày. Bạn cũng có thể đổi thànhweeklyhoặcmonthly.missingok: Bỏ qua nếu file log không tồn tại, tránh báo lỗi làm gián đoạn cron.rotate 14: Giữ lại 14 file xoay gần nhất. Đến ngày thứ 15, file cũ nhất tự động bị xóa.compress: Nén file log cũ bằng gzip để tiết kiệm bộ nhớ.delaycompress: Lùi việc nén file vừa xoay sang chu kỳ sau. File.1vẫn ở dạng text, tiện cho các script giám sát đọc trực tiếp.notifempty: Bỏ qua nếu file log rỗng (0 byte).create 0640 appuser appuser: Gán quyền đọc ghi cụ thể cho file mới tạo, bảo mật log nhạy cảm.copytruncate: Tránh phải restart tiến trình app khi xoay log.
Bước 2: Xoay log linh hoạt theo kích thước
Xoay log theo ngày đôi khi không đỡ kịp các đợt tấn công DDoS. Nếu log nhảy vọt lên hàng chục GB trong vài tiếng, hãy kẹp thêm điều kiện dung lượng:
/var/log/my-backend/*.log {
daily
maxsize 500M
rotate 10
compress
copytruncate
}
Nhờ chỉ thị maxsize 500M, logrotate sẽ can thiệp ngay khi file vượt ngưỡng 500MB mà không cần chờ hết ngày.
Bước 3: Chạy Dry-run để kiểm tra cú pháp
Sau nhiều năm quản trị hạ tầng, thói quen cứu mạng mình nhiều lần là luôn dry-run trước khi rời SSH. Một dấu ngoặc nhọn đặt sai vị trí có thể làm tê liệt toàn bộ tiến trình cron hàng ngày của server.
Hãy dùng cờ -d (debug) để giả lập toàn bộ quá trình mà không tác động vào dữ liệu thật:
sudo logrotate -d /etc/logrotate.d/my-backend
Nếu terminal trả về kết quả tương tự bên dưới thì cú pháp đã chuẩn:
reading config file /etc/logrotate.d/my-backend
Allocating hash table for state file, size 64 entries
Handling 1 logs
rotating pattern: /var/log/my-backend/*.log after 1 days (14 rotations)
empty log files are not rotated, old logs are compressed
considering log /var/log/my-backend/app.log
log does not need rotating (log is empty)
Bước 4: Ép chạy thử thực tế (Force run)
Muốn kiểm tra file nén .gz có sinh ra chuẩn hay quyền truy cập có bị lệch không? Hãy dùng cờ -f (force) để ép xoay log ngay lập tức:
sudo logrotate -f /etc/logrotate.d/my-backend
Gõ ls -la /var/log/my-backend/ để xác nhận file app.log.1 hoặc app.log.1.gz đã xuất hiện.
Checklist bảo vệ dung lượng server
Ổ cứng đầy lúc nửa đêm là sự cố hoàn toàn tránh được. Hãy biến việc cài đặt logrotate thành tiêu chuẩn bắt buộc mỗi khi dựng server mới:
- Luôn bật
rotatekèmcompresscho log của cả app lẫn web server. - Dùng
copytruncatecho app độc lập, hoặc dùngpostrotategửi signal reload nếu app hỗ trợ. - Luôn chạy
logrotate -dkiểm tra trước khi thoát terminal. - Xem file
/var/lib/logrotate/status(hoặc/var/lib/logrotate.statustrên Debian cũ) để biết chính xác thời điểm logrotate chạy lần cuối.
