Posted inVirtualization

Cấu hình SR-IOV trên Linux: Cách ‘mở băng thông’ tối đa cho máy ảo KVM

Virtualization tutorial - IT technology blog
Virtualization tutorial - IT technology blog

Vấn đề thực tế: Tại sao mạng máy ảo vẫn lẹt đẹt dù card xịn?

Bạn đã bao giờ thắc mắc tại sao server cắm card 10Gbps mà máy ảo (VM) chỉ chạy được 3-4Gbps, trong khi CPU host thì nhảy vọt lên 40-50% chưa? Hầu hết anh em khi mới làm quen với KVM thường chọn Linux Bridge (br0) vì nó dễ dùng. Cách này ổn cho web server nhẹ, nhưng sẽ trở thành thảm họa nếu bạn chạy Database lớn, VoIP hoặc Stream video.

Mình từng xử lý một cụm VM chạy transcoding video. Khi traffic chạm ngưỡng 5Gbps, hiện tượng drop packet xảy ra liên tục. Dù card mạng vật lý vẫn còn thừa băng thông, nhưng CPU máy host lại quá tải vì phải gồng mình xử lý việc chuyển mạch phần mềm. Cảm giác lúc đó giống như bạn lái siêu xe nhưng lại bị kẹt giữa một trạm thu phí thủ công chỉ có một làn duy nhất vậy.

Nút thắt cổ chai: Khi phần mềm không theo kịp phần cứng

Lý do chính nằm ở ngăn xếp mạng (network stack) của Linux Kernel. Khi dùng Bridge, mọi gói tin đi vào VM đều phải ghé thăm CPU host để được định tuyến. CPU phải làm thêm việc, dẫn đến tiêu tốn chu kỳ xử lý quý giá.

Ngay cả khi bạn dùng driver virtio, gói tin vẫn phải copy qua lại giữa bộ nhớ host và máy ảo. Kết quả là:

  • Độ trễ (Latency) tăng cao: Thêm khoảng 50-100 microseconds cho mỗi bước nhảy qua kernel.
  • CPU quá tải: Phải xử lý hàng triệu ngắt (interrupts) mỗi giây khi tải nặng.

So sánh các giải pháp mạng phổ biến

Để giải quyết bài toán này, chúng ta thường có ba lựa chọn:

  1. Linux Bridge / Macvtap: Linh hoạt nhưng hiệu suất kém nhất. Phù hợp cho môi trường Lab hoặc Web nhẹ.
  2. PCI Passthrough: Đưa thẳng card vật lý vào VM. Tốc độ cực nhanh nhưng cực kỳ lãng phí. Một card chỉ dùng được cho một VM duy nhất.
  3. SR-IOV (Single Root I/O Virtualization): Đây chính là “vũ khí hạng nặng”. Nó mang lại tốc độ của PCI Passthrough nhưng vẫn cho phép chia sẻ card mạng cho hàng chục máy ảo khác nhau.

SR-IOV hoạt động như thế nào?

SR-IOV cho phép một thiết bị PCIe (như card Intel X520, X710) tự “phân thân” thành nhiều thiết bị ảo độc lập. Trong đó:

  • Physical Function (PF): Là card mạng vật lý thật.
  • Virtual Function (VF): Là các card ảo được sinh ra từ PF. Mỗi VF có địa chỉ MAC riêng và được máy ảo nhận diện như một card vật lý thực thụ.

Khi dùng SR-IOV, dữ liệu đi thẳng từ card mạng vào RAM máy ảo thông qua DMA (Direct Memory Access). CPU host lúc này hoàn toàn rảnh tay. Trong thực tế, mình đã thử nghiệm và thấy tải CPU giảm từ 25% xuống chỉ còn 2% khi truyền tải dữ liệu ở mức 10Gbps.

Các bước cấu hình SR-IOV trên Linux

Bạn cần một card mạng hỗ trợ SR-IOV (hầu hết dòng Intel Server hoặc Mellanox) và mainboard đã bật ảo hóa phần cứng.

Bước 1: Kích hoạt IOMMU

Đầu tiên, hãy vào BIOS/UEFI để bật Intel VT-d (hoặc AMD-Vi). Sau đó, sửa file cấu hình GRUB để Linux nhận diện IOMMU:

sudo nano /etc/default/grub

Thêm tham số sau vào dòng GRUB_CMDLINE_LINUX_DEFAULT:

# Nếu dùng Intel:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

# Nếu dùng AMD:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

Cập nhật lại hệ thống và khởi động lại:

sudo update-grub && sudo reboot

Bước 2: Xác định khả năng của card mạng

Tìm tên giao diện mạng vật lý (PF) của bạn bằng lệnh ip link show. Giả sử tên card là enp1s0f0. Kiểm tra số lượng card ảo (VF) tối đa mà nó có thể tạo ra:

cat /sys/class/net/enp1s0f0/device/sriov_totalvfs

Nếu kết quả ra 32 hoặc 63, bạn đã sẵn sàng sang bước tiếp theo.

Bước 3: Tạo các Virtual Functions (VF)

Thử tạo 4 card mạng ảo bằng lệnh sau:

echo 4 | sudo tee /sys/class/net/enp1s0f0/device/sriov_numvfs

Dùng lệnh lspci | grep Ethernet để kiểm tra. Bạn sẽ thấy các dòng “Virtual Function” xuất hiện. Để thiết lập này không mất đi khi khởi động lại, bạn nên thêm lệnh trên vào /etc/rc.local hoặc cấu hình qua Netplan.

Bước 4: Gán card ảo vào máy ảo KVM

Xác định địa chỉ PCI của VF bằng lệnh virsh nodedev-list | grep pci. Sau đó, sửa file cấu hình của máy ảo:

virsh edit ten_may_ao

Thêm đoạn mã này vào trong thẻ <devices> (chú ý thay đúng địa chỉ bus, slot của VF):

<interface type='hostdev' managed='yes'>
  <source>
    <address type='pci' domain='0x0000' bus='0x01' slot='0x10' function='0x0'/>
  </source>
</interface>

Khởi động máy ảo và kiểm tra. Bạn sẽ thấy một card mạng Intel thực thụ bên trong, sẵn sàng xử lý traffic tốc độ cao với độ trễ thấp nhất.

Lời kết

Dù cấu hình SR-IOV có phần tốn công hơn Linux Bridge, nhưng hiệu quả mang lại là cực kỳ xứng đáng. Nó giải phóng CPU host để làm việc khác và giúp mạng máy ảo chạy mượt như máy thật. Nếu bạn đang vận hành các dịch vụ quan trọng, hãy thử triển khai SR-IOV ngay hôm nay. Bạn sẽ thấy sự khác biệt rõ rệt về hiệu năng hệ thống!

Share:
Tags: