Hướng dẫn sử dụng rsync trên Linux: Đồng bộ và truyền tải dữ liệu an toàn, tối ưu băng thông qua mạng

Linux tutorial - IT technology blog
Linux tutorial - IT technology blog

1. Sự cố lúc 2 giờ 15 phút sáng

Chuông PagerDuty réo liên tục giữa đêm. Phân vùng /var/www/uploads trên web server chính chạm mốc 98% dung lượng, ổ cứng chỉ còn trống chưa đầy 4GB. Thư mục này chứa hơn 180GB dữ liệu gồm ảnh sản phẩm, hóa đơn điện tử và chứng từ khách hàng với khoảng 2,3 triệu file nhỏ.

Chúng tôi phải dọn gấp dữ liệu sang cụm storage dự phòng (backup-storage-02) trước 6 giờ sáng. Nếu chậm trễ, các giao dịch thanh toán đầu ngày chắc chắn nghẽn I/O. Bạn kỹ sư trực ca trước đã chạy vội lệnh:

scp -r /var/www/uploads/ [email protected]:/data/backup_uploads/

Sau gần 2 tiếng chạy ì ạch và mới đẩy được khoảng 60GB, mạng nội bộ chập chờn chừng 2 giây. Lệnh scp ngắt kết nối ngay lập tức với dòng thông báo quen thuộc: client_loop: send disconnect: Broken pipe.

Tiến trình dừng hẳn. Với scp, bạn không có cách nào tiếp tục tải phần dở dang mà buộc phải chạy lại từ con số 0. Trong khi đó, ổ cứng nguồn sắp chạm ngưỡng 100%, còn CPU luôn bị bào mòn ở mức 95% do mã hóa SSH mặc định.

2. Vì sao lệnh scp truyền thống thất bại?

Đào sâu cách vận hành của scp, công cụ này bộc lộ 4 điểm yếu chết người khi xử lý dữ liệu lớn trên production:

  • Không hỗ trợ resume: Đứt kết nối giữa chừng đồng nghĩa với làm lại từ đầu. Cả cp lẫn scp đều không lưu lại trạng thái truyền tải, buộc phải quét và chép đè toàn bộ file.
  • Thiếu cơ chế Delta Transfer: Giả sử file log hoặc database 50GB chỉ đổi 10MB cuối, scp vẫn truyền trọn vẹn 50GB qua mạng. Điều này vừa chiếm dụng đường truyền, vừa lãng phí I/O đĩa.
  • Bào mòn CPU vì nén sai đối tượng: Hàng triệu file ảnh JPEG, PNG hay WebP vốn đã được nén sẵn. Việc cố bật nén stream chỉ khiến CPU chịu tải 100% vô ích mà kích thước gói tin gần như không giảm.
  • Rơi rụng metadata và phân quyền: Chuyển file thiếu cờ bảo toàn phân quyền khiến user ứng dụng (như www-data) mất quyền đọc/ghi, gây lỗi 500 hàng loạt khi chuyển đổi server.

3. Các giải pháp từng được cân nhắc

Cách 1: Pipe tar trực tiếp qua SSH

Đóng gói stream bằng tar rồi đẩy thẳng qua SSH:

tar -cf - /var/www/uploads | ssh [email protected] "tar -xf - -C /data/backup_uploads/"

Cách này gom hàng triệu file nhỏ thành luồng đọc tuần tự, giảm đáng kể overhead I/O. Tuy nhiên, nó vẫn có nhược điểm lớn: hễ đứt mạng là phải làm lại từ đầu. Phương án này cũng không hỗ trợ đồng bộ bù định kỳ.

Cách 2: Dùng LFTP hoặc SFTP Client chuyên dụng

Các công cụ như lftp hỗ trợ đa luồng và resume tốt. Dù vậy, phương án này đòi hỏi cài thêm package lên production và dựng tài khoản SFTP. Khi hệ thống đang báo động đỏ, dành 20 phút cấu hình môi trường là rủi ro không cần thiết.

Cách 3: Sử dụng rsync tiêu chuẩn

Rsync giải quyết triệt để bài toán này nhờ thuật toán delta-transfer (rolling checksum). Thay vì copy mù quáng, rsync so sánh và chỉ gửi những block dữ liệu thực sự thay đổi giữa nguồn và đích:

rsync -avz /var/www/uploads/ [email protected]:/data/backup_uploads/

Lệnh này bỏ qua được các file đã tồn tại. Tuy nhiên, nếu giữ các cờ mặc định, rsync vẫn có thể chiếm trọn băng thông hoặc ngốn sạch CPU của ứng dụng chính.

4. Cú pháp rsync thực chiến tối ưu cho Production

Để dữ liệu sang đích nhanh nhất mà không ảnh hưởng người dùng cuối, đây là câu lệnh rsync đã giải cứu ca trực đêm đó:

rsync -avPh \
  --delete \
  --bwlimit=50000 \
  --exclude='*.tmp' --exclude='cache/' \
  -e 'ssh -c [email protected] -T -o Compression=no -x' \
  /var/www/uploads/ [email protected]:/data/backup_uploads/

Bóc tách từng tham số:

  • -a (archive mode): Giữ nguyên vẹn permissions, ownership (user/group), symlinks và timestamp gốc.
  • -v và -h: In chi tiết tiến trình kèm dung lượng hiển thị dạng MB, GB dễ theo dõi.
  • -P (gồm --progress và --partial): Cực kỳ quan trọng khi mạng chập chờn. Cờ --partial giữ lại các file truyền dở. Nếu rớt mạng, rsync sẽ bốc tiếp ngay từ byte bị ngắt thay vì xóa đi tải lại.
  • --delete: Xóa các file ở máy đích nếu nguồn đã xóa. Tham số này đảm bảo dữ liệu khớp 1:1 và tránh phình ổ cứng backup.
  • --bwlimit=50000: Khống chế băng thông tối đa ở mức ~50MB/s (50.000 KiB/s), nhường đường truyền cho traffic của khách hàng.
  • --exclude: Bỏ qua thư mục cache/ và các file rác *.tmp.
  • -e 'ssh ...': Tinh chỉnh SSH transport. Thuật toán mã hóa [email protected] tận dụng trực tiếp tập lệnh phần cứng AES-NI trên CPU. Đồng thời, tắt nén (Compression=no) và tắt X11 forwarding (-x) để triệt tiêu phụ tải thừa.

Áp dụng bộ tham số này trên server Ubuntu 22.04 (4 vCPU, 4GB RAM), mức tải CPU lập tức hạ từ 95% xuống còn 18-22%. Toàn bộ 180GB dữ liệu hoàn tất đồng bộ an toàn sau hơn 55 phút.

Cạm bẫy dấu gạch chéo cuối đường dẫn (Trailing Slash)

Chỉ một ký tự / ở đường dẫn nguồn cũng có thể làm đảo lộn cấu trúc thư mục:

  • Có dấu / ở cuối nguồn (/var/www/uploads/): Đồng bộ toàn bộ nội dung bên trong thư mục uploads vào thư mục đích.
  • Không có dấu / ở cuối nguồn (/var/www/uploads): Rsync sẽ tạo thêm một thư mục con uploads bên trong thư mục đích (thành /data/backup_uploads/uploads/).

Trước khi chạy lệnh thật, hãy luôn kẹp thêm cờ -n (--dry-run) để kiểm tra xem rsync dự tính thao tác những gì mà chưa tác động vào đĩa:

rsync -avPhn --delete /var/www/uploads/ [email protected]:/data/backup_uploads/

Script đồng bộ tự động an toàn cho Cronjob

Khi đưa vào cronjob chạy nền, bạn không nên dùng cờ -P vì nó sẽ spam hàng nghìn dòng progress bar vào file log. Thay vào đó, hãy dùng --partial kết hợp flock để chống tình trạng hai tiến trình chạy đè lên nhau:

#!/usr/bin/env bash
set -euo pipefail

LOG_FILE="/var/log/rsync_media.log"
LOCK_FILE="/var/run/rsync_media.lock"

exec 200>"$LOCK_FILE"
flock -n 200 || { echo "[$(date '+%Y-%m-%d %H:%M:%S')] Tiến trình rsync khác đang chạy. Hủy bỏ." >> "$LOG_FILE"; exit 1; }

echo "[$(date '+%Y-%m-%d %H:%M:%S')] Bắt đầu đồng bộ dữ liệu..." >> "$LOG_FILE"

rsync -a --partial \
  --delete \
  --stats \
  --bwlimit=40000 \
  --exclude='.git*' \
  -e 'ssh -i /root/.ssh/backup_id_rsa -o StrictHostKeyChecking=no' \
  /var/www/uploads/ [email protected]:/data/backup_uploads/ >> "$LOG_FILE" 2>&1

echo "[$(date '+%Y-%m-%d %H:%M:%S')] Đồng bộ hoàn tất!" >> "$LOG_FILE"

Nắm rõ các cờ tham số và bản chất bắt tay qua SSH sẽ giúp bạn chủ động xử lý dữ liệu lớn. Không còn cảnh trực đêm thấp thỏm, hệ thống luôn có phương án backup ổn định và an toàn.

Share: