Quick Start: Dựng Load Balancer trong 5 phút
Nếu bạn đã có sẵn 3 server Ubuntu (1 LB + 2 backend), đây là cách nhanh nhất để test ngay:
# Cài Nginx trên server Load Balancer
sudo apt update && sudo apt install -y nginx
# Tạo file config cho LB
sudo nano /etc/nginx/sites-available/loadbalancer
Dán nội dung sau vào file:
upstream webapp_cluster {
least_conn;
server 192.168.1.101:8080;
server 192.168.1.102:8080;
server 192.168.1.103:8080;
}
server {
listen 80;
server_name yourdomain.com;
location / {
proxy_pass http://webapp_cluster;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
# Enable và test
sudo ln -s /etc/nginx/sites-available/loadbalancer /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl reload nginx
5 phút là xong phần cơ bản. Phần dưới mình sẽ giải thích chi tiết và thêm SSL vào.
Hiểu rõ trước khi cấu hình
SSL Offloading là gì và tại sao dùng nó?
SSL Offloading (hay SSL Termination) nghĩa là Nginx xử lý toàn bộ việc mã hóa/giải mã TLS thay vì các backend server. Lợi ích thực tế:
- Backend server nhẹ hơn: không phải xử lý crypto overhead
- Quản lý certificate tập trung: 1 cert duy nhất thay vì N certs trên N server
- Traffic nội bộ dùng HTTP plain: giảm overhead trong mạng LAN
Mình hay dùng kiến trúc này cho các dự án có từ 2–3 app server trở lên. Với 1 server thì reverse proxy thông thường là đủ, không cần phức tạp thêm.
Các thuật toán load balancing trong Nginx
- Round Robin (mặc định): phân phối tuần tự, phù hợp khi các request có thời gian xử lý tương đương
- least_conn: gửi request đến server ít connection nhất — dùng khi có request long-running như WebSocket, file upload
- ip_hash: cùng IP luôn vào cùng server — cần khi app dùng server-side session, nhưng không khuyến khích cho app mới
- weight: phân phối theo trọng số — dùng khi các server có cấu hình phần cứng khác nhau
Cấu hình đầy đủ với SSL Offloading
Chuẩn bị SSL Certificate
Blog này đã có bài riêng về Let’s Encrypt rồi nên mình không lặp lại bước đó. Giả sử cert đã có tại:
- Certificate:
/etc/letsencrypt/live/yourdomain.com/fullchain.pem - Private key:
/etc/letsencrypt/live/yourdomain.com/privkey.pem
File cấu hình hoàn chỉnh
upstream webapp_cluster {
least_conn;
server 192.168.1.101:8080 weight=3 max_fails=2 fail_timeout=15s;
server 192.168.1.102:8080 weight=3 max_fails=2 fail_timeout=15s;
server 192.168.1.103:8080 weight=1 backup; # server dự phòng
keepalive 32; # giữ connection pool đến backend
}
# Redirect HTTP → HTTPS
server {
listen 80;
server_name yourdomain.com www.yourdomain.com;
return 301 https://$host$request_uri;
}
# Main HTTPS server với SSL Offloading
server {
listen 443 ssl;
http2 on;
server_name yourdomain.com www.yourdomain.com;
# SSL Certificate
ssl_certificate /etc/letsencrypt/live/yourdomain.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/yourdomain.com/privkey.pem;
# SSL hardening
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384;
ssl_prefer_server_ciphers off;
ssl_session_cache shared:SSL:10m;
ssl_session_timeout 1d;
# Security headers
add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
add_header X-Frame-Options "SAMEORIGIN" always;
add_header X-Content-Type-Options "nosniff" always;
location / {
proxy_pass http://webapp_cluster;
proxy_http_version 1.1;
proxy_set_header Connection ""; # cần cho keepalive upstream
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme; # báo cho app biết đang dùng HTTPS
# Timeout settings
proxy_connect_timeout 5s;
proxy_read_timeout 60s;
proxy_send_timeout 60s;
# Buffer settings
proxy_buffering on;
proxy_buffer_size 8k;
proxy_buffers 8 8k;
}
# Health check endpoint nội bộ
location /nginx-health {
access_log off;
return 200 "healthy\n";
add_header Content-Type text/plain;
}
}
Passive Health Check và xử lý backend down
Nginx Open Source (không phải Plus) chỉ hỗ trợ passive health check — phát hiện server lỗi dựa trên request thực tế bị fail, không chủ động probe. Tham số max_fails và fail_timeout trong block upstream ở trên chính là để làm điều này: nếu 1 server fail 2 lần trong 15 giây, Nginx loại server đó ra khỏi pool và thử lại sau 15 giây.
Muốn xem trạng thái realtime, thêm endpoint này:
location /nginx-status {
stub_status;
allow 127.0.0.1;
allow 192.168.1.0/24; # chỉ cho phép mạng nội bộ
deny all;
}
curl http://localhost/nginx-status
# Active connections: 15
# server accepts handled requests
# 1234 1234 5678
# Reading: 0 Writing: 1 Waiting: 14
Nâng cao: Rate Limiting và Sticky Session
Rate limiting theo IP để chống abuse
http {
limit_req_zone $binary_remote_addr zone=api_limit:10m rate=100r/m;
server {
location /api/ {
limit_req zone=api_limit burst=20 nodelay;
proxy_pass http://webapp_cluster;
}
}
}
Sticky session không dùng ip_hash
Nếu app cần sticky session nhưng không muốn dùng ip_hash (vì user đằng sau NAT thì toàn bộ traffic sẽ dồn vào 1 server), dùng hash trên cookie:
upstream webapp_cluster {
hash $cookie_SESSIONID consistent;
server 192.168.1.101:8080;
server 192.168.1.102:8080;
}
Khi backend dùng self-signed cert
location / {
proxy_pass https://webapp_cluster; # backend HTTPS
proxy_ssl_verify off; # bỏ qua verify cert (chỉ dùng trong LAN)
proxy_ssl_session_reuse on;
}
proxy_ssl_verify off chỉ nên dùng trong mạng nội bộ. Traffic từ LB đến backend đã nằm trong LAN nên self-signed cert là chấp nhận được — không cần thiết phải mua cert cho internal communication.
Tips thực chiến
Log upstream để trace request đến backend nào
Đây là cái mình tiếc nhất vì không cấu hình từ đầu. Mình từng mất nửa ngày debug một lỗi không tái hiện được vì không biết request đang đi vào backend nào:
log_format upstream_log '$remote_addr - $upstream_addr [$time_local] '
'"$request" $status $body_bytes_sent '
'upstream_time=$upstream_response_time';
access_log /var/log/nginx/lb_access.log upstream_log;
Với format này, mỗi dòng log sẽ cho bạn biết chính xác IP backend nào xử lý request và mất bao nhiêu ms.
Zero-downtime reload khi thêm/bớt backend
# KHÔNG dùng restart (sẽ drop connection hiện tại)
sudo nginx -t && sudo systemctl reload nginx
# Kiểm tra worker cũ đã drain xong chưa
ps aux | grep nginx
Kiểm tra SSL và header trả về
# Kiểm tra SSL handshake
openssl s_client -connect yourdomain.com:443 -servername yourdomain.com
# Kiểm tra header X-Forwarded-Proto đã đúng chưa
curl -I https://yourdomain.com | grep -i forwarded
# Xem log realtime
sudo tail -f /var/log/nginx/lb_access.log
Khi mới chuyển từ CentOS sang Ubuntu, mình mất khoảng 1 tuần để quen với hệ thống package management. Nhưng thật ra Nginx config thì y hệt nhau — cái thay đổi chỉ là đường dẫn file và cách manage service. Trên Ubuntu dùng sites-available/sites-enabled thay vì conf.d, và systemctl reload nginx thay cho service nginx reload. Sau khi quen rồi thì thấy cách Ubuntu tổ chức rõ ràng hơn thật.
Một điều hay bị bỏ qua: đừng quên chỉnh worker_processes và worker_connections trong /etc/nginx/nginx.conf cho phù hợp với số CPU của LB server. Default của Ubuntu khá conservative — worker_processes auto và worker_connections 768. Với LB traffic cao, nâng worker_connections lên 4096 hoặc hơn tùy RAM.

