Cấu hình ZFS L2ARC Cache và SLOG trên Proxmox VE: Tăng tốc I/O máy ảo

Virtualization tutorial - IT technology blog
Virtualization tutorial - IT technology blog

Quick start: Gán cache vào ZFS Pool trong 5 phút

Dành cho bạn nào đang có sẵn ổ SSD/NVMe trống và muốn cắm thẳng vào Proxmox VE ngay lập tức. Nếu máy chủ của bạn không dùng ZFS mà chạy hệ thống file truyền thống, bạn có thể tham khảo cách cấu hình Bcache trên Linux để tận dụng SSD caching cho HDD.

Mở Web Shell hoặc SSH vào host Proxmox, sau đó lấy danh sách ID ổ cứng:

# Lấy danh sách ổ theo disk-by-id (bắt buộc dùng ID thay vì /dev/nvme0n1 để tránh lệch tên khi reboot)
ls -la /dev/disk/by-id/

# Kiểm tra tên pool hiện tại
zpool status

Giả sử ZFS pool tên là rpool. Bạn chuẩn bị sẵn một phân vùng làm bộ đệm đọc (L2ARC) và một phân vùng SSD có tụ bảo vệ mất điện (PLP) làm SLOG. Chạy lần lượt 2 lệnh sau:

# 1. Gán bộ đệm đọc (L2ARC)
zpool add rpool cache /dev/disk/by-id/nvme-INTEL_MEMPEK1W016GA_...-part1

# 2. Gán nhật ký ghi đồng bộ (SLOG)
zpool add rpool log /dev/disk/by-id/nvme-INTEL_MEMPEK1W016GA_...-part2

# 3. Kiểm tra lại trạng thái pool
zpool status rpool

Lúc này, lệnh zpool status sẽ liệt kê thêm hai nhánh logs và cache ngay dưới vdev chính. Pool đã sẵn sàng nhận tải mới.

Bản chất kỹ thuật: L2ARC và SLOG hoạt động ra sao?

Trong homelab của mình, cụm Proxmox gánh 12 VM và container phục vụ CI/CD, Nextcloud cùng cơ sở dữ liệu PostgreSQL. Chạy đồng thời chừng đó tải trên dàn HDD RAIDZ2 hay SSD SATA thông thường rất dễ khiến I/O wait vọt lên 25–40%. Nếu chưa có điều kiện triển khai cụm lưu trữ phân tán như Ceph Storage trên Proxmox VE, hệ thống rất dễ đơ cục bộ. Hiểu đúng cơ chế bên dưới sẽ giúp bạn tránh ném tiền nâng cấp phần cứng vô ích.

1. L2ARC (Level 2 Adaptive Replacement Cache)

ZFS luôn ưu tiên đọc qua RAM trước. Tầng nhớ này gọi là ARC. RAM có độ trễ cực thấp (dưới 100ns) nhưng dung lượng eo hẹp và chi phí đắt đỏ. Khi dữ liệu truy cập thường xuyên bắt đầu tràn khỏi RAM, ZFS sẽ đẩy bớt xuống đĩa lưu trữ.

Gắn thêm SSD làm L2ARC đồng nghĩa với việc bạn bổ sung một tầng đệm thứ hai:

  • RAM (ARC): Tầng 1. Tốc độ cao nhất, giữ dữ liệu “nóng” nhất.
  • SSD (L2ARC): Tầng 2. Chứa dữ liệu vừa bị đẩy khỏi ARC nhưng vẫn có khả năng đọc lại cao.
  • Pool vdev (HDD/SATA SSD): Tầng gốc. Chứa toàn bộ dữ liệu, tốc độ chậm nhất.

Cần đặc biệt lưu ý: L2ARC ngốn RAM cho bảng chỉ mục header. Với volblocksize 8KB mặc định của ổ ảo Zvol, mỗi 1TB L2ARC có thể ăn đứt từ 4GB đến 8GB RAM host. Nếu máy chủ có dưới 16GB RAM, cắm thêm L2ARC dung lượng lớn chỉ khiến hệ thống chậm đi vì ARC bị thu hẹp.

2. SLOG (Separate ZFS Intent Log)

SLOG không phải write cache cho toàn bộ dữ liệu. ZFS gom các tác vụ ghi bất đồng bộ (async writes) vào RAM qua các Transaction Group (TXG), rồi định kỳ xả xuống đĩa mỗi 5 giây một lần.

Ngược lại, các phần mềm yêu cầu an toàn dữ liệu khắt khe như PostgreSQL, MySQL, hoặc ổ đĩa VM mount qua NFS/iSCSI bắt buộc phải chạy ghi đồng bộ (sync writes). Tức là ứng dụng phải chờ đĩa xác nhận dữ liệu đã nằm an toàn trên chip nhớ mới chạy tiếp. Mặc định, ZFS ghi các lệnh này vào ZIL nằm chung trên pool lưu trữ chính, khiến ổ cứng vừa đọc vừa ghi đè liên tục.

Tách riêng ZIL sang một ổ SSD siêu nhanh chính là thiết lập SLOG:

  • Gói tin ghi đồng bộ được chuyển thẳng sang SLOG với độ trễ cỡ chục micro-giây.
  • Proxmox phản hồi ngay cho VM: lệnh ghi đã xong.
  • ZFS ung dung gom dữ liệu từ RAM rồi xả xuống pool chính sau.

Triển khai nâng cao: Phân vùng và tinh chỉnh tham số

SLOG thực tế chỉ cần lưu lượng sync write tối đa trong 5 giây (thường từ 4GB đến 16GB). Bạn có thể chia đôi một ổ NVMe Enterprise: phần nhỏ cho SLOG, phần còn lại gán vào L2ARC.

1. Chia phân vùng chuẩn xác với sgdisk

# Xóa sạch partition table cũ (CẢNH BÁO: Mất sạch dữ liệu trên ổ)
sgdisk --zap-all /dev/disk/by-id/nvme-INTEL_SSDPE2KE016T8_...

# Tạo phân vùng 1: 16GB cho SLOG (dư dả cho link 10GbE)
sgdisk -n 1:0:+16G -c 1:"zfs-slog" /dev/disk/by-id/nvme-INTEL_SSDPE2KE016T8_...

# Tạo phân vùng 2: Toàn bộ dung lượng còn lại cho L2ARC
sgdisk -n 2:0:0 -c 2:"zfs-l2arc" /dev/disk/by-id/nvme-INTEL_SSDPE2KE016T8_...

2. Cấu hình Mirror cho SLOG

Mất ổ L2ARC không gây mất dữ liệu; bạn chỉ mất bộ đệm đọc. Nhưng với SLOG, nếu ổ chết đột ngột đúng khoảnh khắc sập nguồn khi RAM chưa kịp xả xuống pool, dữ liệu 5 giây gần nhất sẽ bốc hơi. Với môi trường production, hãy luôn chạy Mirror và kết hợp sao lưu định kỳ qua Proxmox Backup Server (PBS):

zpool add rpool log mirror \
  /dev/disk/by-id/nvme-slog-drive1-part1 \
  /dev/disk/by-id/nvme-slog-drive2-part1

3. Tối ưu tham số ZFS qua modprobe

Tạo file tinh chỉnh kernel module để giữ cache sau reboot và đẩy nhanh tốc độ nạp cache:

cat << 'EOF' > /etc/modprobe.d/zfs.conf
# Giới hạn dung lượng ARC tối đa (ví dụ đặt 16GB: 16 * 1024^3 = 17179869184 bytes)
options zfs zfs_arc_max=17179869184

# Giữ nguyên L2ARC sau khi khởi động lại host mà không cần warm-up lại từ đầu
options zfs l2arc_rebuild_enabled=1

# Tăng trần băng thông ghi từ RAM sang L2ARC lên 64MB/s (mặc định 8MB/s rất chậm)
options zfs l2arc_write_max=67108864
EOF

# Cập nhật initramfs để áp dụng thay đổi
update-initramfs -u -k all

Kinh nghiệm thực chiến khi vận hành

1. Nói không với SSD Consumer khi làm SLOG

Nhiều bạn gắn Samsung 980 Pro hoặc Kingston KC3000 làm SLOG rồi bất ngờ khi thấy tốc độ sync write rớt thê thảm. Nguyên nhân nằm ở cơ chế flush cache. Ổ dân dụng không có tụ chống mất điện (PLP), nên mỗi khi nhận lệnh sync write, controller buộc phải đẩy dữ liệu từ DRAM đệm vào chip NAND flash. Quá trình này đẩy độ trễ từ vài chục micro-giây vọt lên tận 15–30ms.

SLOG bắt buộc phải dùng SSD Enterprise có Power Loss Protection (PLP) hoặc dòng bộ nhớ Storage Class Memory như Intel Optane (P4801X, 900P, M10). Các dòng này có tụ điện vật lý, cho phép xác nhận ghi tức thời về DRAM trên bo mạch an toàn tuyệt đối.

2. Theo dõi chỉ số Hit Rate bằng arcstat

Đừng đoán mò. Sau 2–3 ngày vận hành bình thường, hãy mở terminal kiểm tra hiệu quả thực tế:

arcstat -f time,read,hits,miss,hit%,l2read,l2hits,l2miss,l2hit% 2

Quan sát cột l2hit%. Nếu tỷ lệ đọc trúng duy trì dưới 5%, ổ L2ARC đang chạy không hiệu quả. Nguyên nhân thường do tập dữ liệu của bạn quá phân tán hoặc dung lượng ARC trên RAM vốn đã đủ phục vụ toàn bộ yêu cầu.

3. Tháo gỡ ổ cache an toàn

Cần thay thế linh kiện hoặc đổi phân vùng? Tuyệt đối không rút ổ vật lý trước khi tách thiết bị ra khỏi ZFS pool:

# Gỡ L2ARC Cache (an toàn tuyệt đối, có thể tháo bất kỳ lúc nào)
zpool remove rpool /dev/disk/by-id/nvme-...-part2

# Gỡ SLOG (ZFS sẽ tự động xả hết nhật ký tồn đọng về pool trước khi ngắt)
zpool remove rpool /dev/disk/by-id/nvme-...-part1

Sau khi lệnh kết thúc, pool sẽ quay về trạng thái ban đầu mà không làm gián đoạn bất kỳ máy ảo nào đang chạy, tương tự như cơ chế cấu hình hotplug CPU, RAM và Disk trên Proxmox VE khi cần scale phần cứng online.

Share: