Quick start: Gỡ nghẽn server trong 5 phút
2 giờ sáng, PagerDuty réo liên tục. Con server PostgreSQL 64GB RAM bỗng khựng lại: độ trễ truy vấn vọt từ 20ms lên 3.500ms. Dù traffic không tăng, CPU system (%sy) vẫn chạm mốc 65%. Bật perf top lên soi, thủ phạm lộ diện ngay: CPU đang cắn răng duyệt bảng phân trang (page table walk) và kẹt cứng trong kernel spinlock.
Hệ thống của bạn đang cấp hàng chục GB cho buffer cache hoặc Java heap? Nếu Linux vẫn phải chia nhỏ đống RAM đó thành từng block 4KB bé xíu, CPU sẽ kiệt sức. Dưới đây là 3 bước bật ngay HugePages tĩnh (2MB) để cứu vãn tình hình.
1. Kiểm tra kích thước HugePage của OS
grep -i hugepagesize /proc/meminfo
# Kiến trúc x86_64 tiêu chuẩn thường trả về:
# Hugepagesize: 2048 kB (2MB)
2. Cấp phát HugePages nóng qua sysctl
Giả sử database cần 16GB shared_buffers. Với page size 2MB, bạn cần 8.192 trang (16.384MB / 2MB). Hãy cộng dôi thêm khoảng 5% cho tiến trình phụ, làm tròn thành 8.600 trang:
# Cấp phát 8.600 trang 2MB ngay trên RAM sống, không cần reboot
sudo sysctl -w vm.nr_hugepages=8600
# Kiểm tra xem kernel đã gom đủ trang chưa
grep -i hugepages /proc/meminfo | grep -E "HugePages_Total|HugePages_Free"
3. Cấu hình quyền khóa bộ nhớ (memlock)
Tiến trình database cần quyền ghim bộ nhớ vào RAM để tránh bị đẩy xuống swap. Nếu quản lý service qua systemd (Ubuntu 20.04+, RHEL 8+), bạn tạo file override:
sudo systemctl edit postgresql
# Thêm 2 dòng sau vào file override:
[Service]
LimitMEMLOCK=infinity
Với các daemon chạy qua init script hoặc phiên shell thường, bổ sung vào /etc/security/limits.conf:
postgres soft memlock unlimited
postgres hard memlock unlimited
Khởi động lại database. Quan sát lại %sy trên top, bạn sẽ thấy CPU hạ nhiệt rõ rệt.
Bản chất kỹ thuật: Vì sao HugePages giải quyết được gốc rễ?
Nút thắt bảng phân trang và TLB Miss
Mặc định trên Linux x86_64, RAM được băm nhỏ thành các trang 4KB. CPU dùng bảng phân trang (Page Table) để dịch địa chỉ ảo của ứng dụng sang địa chỉ vật lý. Để việc tra cứu không bị chậm, CPU trang bị bộ đệm phần cứng cực nhanh tên là TLB (Translation Lookaside Buffer).
Vấn đề phát sinh khi RAM ứng dụng phình to:
- Một con server PostgreSQL với 64GB RAM buffer cần tới 16.777.216 trang 4KB. Bản thân bảng phân trang 4 cấp đã nuốt chửng hơn 1,3GB RAM chỉ để ghi nhớ danh bạ địa chỉ.
- TLB của CPU hiện đại (như Intel Xeon hay AMD EPYC) chỉ chứa được vài nghìn entry. Nghĩa là TLB chỉ bao quát được vài chục MB bộ nhớ thực tế.
- Khi query quét qua lượng dữ liệu lớn, TLB miss xảy ra dồn dập. Mỗi lần miss, CPU tốn hàng chục chu kỳ xung nhịp để walk qua 4 cấp bảng phân trang. Hậu quả là
%sytăng vọt, các core CPU cắn đuôi nhau chờ đợi.
Chuyển sang HugePages 2MB (lớn gấp 512 lần), cục diện thay đổi hoàn toàn. 64GB RAM giờ chỉ còn đúng 32.768 trang. Bảng phân trang co lại vỏn vẹn vài MB. TLB cache đủ sức bao phủ gần như toàn bộ vùng dữ liệu nóng. TLB miss giảm xuống gần bằng 0.
Trên cụm PostgreSQL 128GB RAM chuyên chạy báo cáo tài chính đêm, việc chuyển sang HugePages tĩnh từng giúp bọn mình cắt giảm thời gian query từ 45 phút xuống còn 28 phút.
Standard HugePages tĩnh đối đầu Transparent HugePages (THP)
Hai khái niệm này rất dễ gây nhầm lẫn khi vận hành:
- Standard HugePages (Tĩnh): Bạn cấp phát trước một vùng nhớ cố định. Vùng nhớ này nằm chết trên RAM, không bị swap, và chỉ những tiến trình khai báo rõ ràng mới được chạm vào.
- Transparent HugePages (THP): Tính năng tự động gom các trang 4KB thành 2MB trong lúc ứng dụng chạy. Về lý thuyết thì tiện lợi, nhưng tiến trình nền
khugepagedgom trang trong runtime thường gây ra hiện tượng memory compaction. Nó giữ lock bộ nhớ, khiến thread database bị khựng từ vài trăm millisecond tới vài giây.
Kinh nghiệm thực chiến: Hãy tắt hẳn THP và cấu hình Standard HugePages cho toàn bộ Database, Redis và Kafka.
Các bước triển khai chuẩn cho Production
1. Tắt vĩnh viễn Transparent HugePages
Kiểm tra trạng thái THP trên server:
cat /sys/kernel/mm/transparent_hugepage/enabled
# Nếu trả về [always] madvise never -> THP đang bật!
Vô hiệu hóa THP triệt để qua GRUB. Mở /etc/default/grub, thêm cờ vào dòng tham số kernel:
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash transparent_hugepage=never"
Cập nhật bootloader rồi lên lịch khởi động lại máy chủ:
# Trên Ubuntu / Debian:
sudo update-grub
# Trên RHEL / CentOS / Rocky Linux:
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
2. Tính toán và ghim số lượng HugePages vào OS
Công thức chuẩn xác:
Số trang (nr_hugepages) = ceil(RAM ứng dụng cần / Hugepagesize) + Dải dự phòng (khoảng 3-5%)
Ví dụ với PostgreSQL: Server có shared_buffers = 32GB. Cần (32 * 1024) / 2 = 16384 trang. Ta cộng thêm khoảng 600 trang dự phòng, chốt con số 17000 trang.
Khai báo vĩnh viễn vào file /etc/sysctl.d/99-hugepages.conf:
vm.nr_hugepages = 17000
# Cho phép group của database user được cấp phát shared memory qua Hugetlb
vm.hugetlb_shm_group = 999 # Thay 999 bằng GID thực tế của user postgres (lấy qua: id -g postgres)
Tải lại cấu hình sysctl:
sudo sysctl --system
3. Bật HugePages trên tầng ứng dụng
PostgreSQL
Mở file postgresql.conf và đặt lại tham số:
# Mặc định là 'try'. Hãy chuyển thành 'on' để ép buộc service dùng HugePages.
# Nếu thiếu page, DB sẽ từ chối khởi động thay vì âm thầm chạy chậm với trang 4KB.
huge_pages = on
Khởi động lại PostgreSQL:
sudo systemctl restart postgresql
Oracle Database
Oracle tự map SGA vào HugePages nếu Linux đã chuẩn bị sẵn. Vào sqlplus / as sysdba để khóa cứng tham số:
-- Đảm bảo instance chỉ start khi có đủ HugePages, tránh tự lùi về 4KB
ALTER SYSTEM SET USE_LARGE_PAGES=ONLY SCOPE=SPFILE;
SHUTDOWN IMMEDIATE;
STARTUP;
Java JVM (Elasticsearch, Kafka, Spring Boot heap lớn)
Với các app Java gánh heap từ 16GB trở lên, gắn thêm flag -XX:+UseLargePages vào script khởi chạy:
java -Xms32g -Xmx32g -XX:+UseLargePages -XX:+AlwaysPreTouch -jar service-backend.jar
Lưu ý: Flag -XX:+AlwaysPreTouch giúp JVM chạm vào toàn bộ trang nhớ ngay lúc khởi động, tránh giật lag khi request thực tế ập vào.
Xử lý sự cố thường gặp (Troubleshooting)
1. Khai báo nr_hugepages nhưng kernel không cấp đủ trang
Bạn gõ sysctl -w vm.nr_hugepages=17000 nhưng HugePages_Total chỉ lên được 8000. Đây là hiện tượng phân mảnh bộ nhớ vật lý. Server chạy nhiều tuần khiến RAM bị xé lẻ, kernel không đào đâu ra đủ dải 2MB liên tục.
Cách ép kernel dọn dẹp phân mảnh nóng:
# 1. Đẩy dirty data xuống disk và xóa page cache sạch
sync
echo 3 | sudo tee /proc/sys/vm/drop_caches
# 2. Gom các block bộ nhớ rời rạc lại thành dải liên tục
echo 1 | sudo tee /proc/sys/vm/compact_memory
# 3. Yêu cầu cấp phát lại
sudo sysctl -w vm.nr_hugepages=17000
Nếu lệnh trên vẫn không gom đủ, bạn buộc phải cấu hình hugepages=17000 trong GRUB boot parameter rồi reboot. Khi đó kernel sẽ giữ chỗ ngay từ giây đầu tiên trước khi RAM bị phân mảnh.
2. Kiểm tra tiến trình đã thực sự bám vào HugePages chưa
Đừng dùng free -m vì lệnh này không bóc tách chi tiết HugePages. Hãy xem trực tiếp từ /proc/meminfo:
watch -n 2 'grep -i huge /proc/meminfo'
Bảng trạng thái trả về gồm 4 chỉ số cốt lõi:
HugePages_Total: Tổng trang kernel đã dành riêng.HugePages_Free: Số trang chưa có tiến trình nào mapping.HugePages_Rsvd: Số trang ứng dụng đã đăng ký thành công (reserved) nhưng chưa ghi dữ liệu.HugePages_Surp: Số trang dôi dư vượt quota ban đầu.
Dấu hiệu nhận biết cấu hình thành công: Khi database khởi động, HugePages_Rsvd phải nhảy lên con số tương ứng với buffer size. Nếu HugePages_Free vẫn bằng nguyên HugePages_Total và HugePages_Rsvd = 0, ứng dụng của bạn chưa hề chạm được vào HugePages. Hãy rà soát lại quyền LimitMEMLOCK hoặc kiểm tra lại group ID trong vm.hugetlb_shm_group.
