Điểm nghẽn khi bọc mô hình AI bằng FastAPI
Kịch bản quen thuộc của dân Data/AI: train xong model trên Jupyter Notebook, bạn bọc ngay vào một endpoint FastAPI hoặc Flask để demo. Viết tầm 30 dòng code là chạy mượt ở localhost.
Tuy nhiên, ác mộng sẽ ập đến khi hệ thống chạm mốc vài trăm request mỗi giây trên production:
- GPU bị bỏ đói (Underutilization): Xử lý từng request đơn lẻ khiến GPU NVIDIA T4 hay A10 chỉ tải 10-15% compute core, dù VRAM vẫn bị chiếm giữ liên tục.
- Nghẽn hàng đợi (Request Queuing): 50 request dội đến cùng lúc sẽ xếp hàng nối đuôi nhau. Request cuối phải đợi 49 request trước hoàn tất. Độ trễ p99 dễ dàng vọt từ 40ms lên hơn 2.500ms.
- Tự viết Batching tiềm ẩn rủi ro: Dùng
asyncio.Queuegom request nghe thì đơn giản. Thực tế, bạn phải tự xử lý timeout, worker lifecycle, race condition và nguy cơ rò rỉ bộ nhớ (memory leak).
Triton Inference Server hay TorchServe giải quyết tốt bài toán này, nhưng chi phí cấu hình rất nặng. Bạn phải viết nhiều file config protobuf phức tạp và build container cồng kềnh. LitServe xuất hiện như một lựa chọn dung hòa: nhẹ như FastAPI nhưng mạnh mẽ tương đương serving engine chuyên nghiệp.
Cơ chế hoạt động của LitServe
LitServe là inference engine mã nguồn mở do Lightning AI phát triển. Thư viện này kế thừa giao diện đơn giản của FastAPI, đồng thời loại bỏ overhead I/O và tích hợp sẵn pipeline tối ưu cho mô hình deep learning.
Kiến trúc 4 pha của LitAPI
Thay vì nhồi toàn bộ logic vào một route duy nhất, LitServe tách biệt vòng đời xử lý qua 4 phương thức chuẩn hóa:
setup(device): Load trọng số model vào RAM/VRAM. Phương thức này chỉ chạy đúng một lần khi worker khởi động.decode_request(request): Nhận payload JSON hoặc binary từ client và trích xuất dữ liệu đầu vào.predict(x): Nạp dữ liệu vào GPU để suy luận. Khi bật batching,xlà danh sách gồm nhiều input gom lại.encode_response(output): Định dạng tensor/kết quả đầu ra thành JSON trả về cho client.
Dynamic Batching: Tăng 4x Throughput mà không đổi phần cứng
Bản chất GPU tính toán song song rất mạnh. Thay vì tính 1 câu text tốn 20ms, bạn tính cùng lúc 8 câu cũng chỉ mất khoảng 22ms.
Cơ chế Dynamic Batching của LitServe tận dụng triệt để đặc tính này. Khi client gửi request rải rác, server giữ chúng trong một buffer ngắn (ví dụ 10ms). Đủ số lượng hoặc hết thời gian chờ, batch được đẩy vào GPU tính một lần. Qua đo đạc thực tế với model BERT, thông lượng tăng từ 38 req/s lên 165 req/s trên cùng một card NVIDIA T4.
Thực hành: Xây dựng Inference Server với LitServe
Bước 1: Chuẩn bị môi trường
Tạo virtual environment sạch để tránh xung đột dependency:
python3 -m venv venv
source venv/bin/activate
# Cài đặt LitServe và thư viện liên quan
pip install litserve transformers torch
Bước 2: Triển khai lớp LitAPI cơ bản
Tạo file server.py phục vụ model phân loại cảm xúc (DistilBERT):
import litserve as ls
import torch
from transformers import pipeline
class SentimentAnalysisAPI(ls.LitAPI):
def setup(self, device):
device_id = 0 if device == "cuda" and torch.cuda.is_available() else -1
self.classifier = pipeline(
"sentiment-analysis",
model="distilbert-base-uncased-finetuned-sst-2-english",
device=device_id
)
print(f"[*] Model ready on: {device}")
def decode_request(self, request):
# Nhận payload: {\"text\": \"I love this product\"}
return request["text"]
def predict(self, x):
# x là list các chuỗi text khi bật dynamic batching
results = self.classifier(x)
# Chuẩn hóa về dạng list kết quả nếu đầu vào là chuỗi đơn
return results if isinstance(results, list) else [results]
def encode_response(self, output):
# LitServe tự unbatch và đưa từng item vào hàm này
return {"label": output["label"], "score": round(output["score"], 4)}
if __name__ == "__main__":
api = SentimentAnalysisAPI()
server = ls.LitServer(api, accelerator="auto")
server.run(port=8000)
Bước 3: Bật Dynamic Batching và Đa Worker
Để tối đa hóa phần cứng, cập nhật phần khởi tạo server ở cuối file server.py:
if __name__ == "__main__":
api = SentimentAnalysisAPI()
server = ls.LitServer(
api,
accelerator="auto", # Tự nhận diện CUDA hoặc CPU
max_batch_size=8, # Gom tối đa 8 requests vào 1 batch
batch_timeout=0.01, # Đợi tối đa 10ms để gom đủ batch
workers_per_device=2 # 2 worker chạy song song tận dụng I/O
)
server.run(port=8000)
Hai thông số cốt lõi ở đây gồm max_batch_size và batch_timeout. Cấu hình này giúp gom đủ 8 request hoặc đợi tối đa 10ms trước khi đẩy thẳng vào GPU.
Bước 4: Benchmark và kiểm tra kết quả
Khởi động server:
python server.py
Gửi request kiểm tra:
curl -X POST http://localhost:8000/predict \
-H "Content-Type: application/json" \
-d '{"text": "This serving framework is surprisingly fast and easy to configure!"}'
Response trả về:
{
"label": "POSITIVE",
"score": 0.9998
}
Kinh nghiệm tối ưu khi triển khai Production
Dưới đây là một số bài học thực chiến giúp bạn tránh sự cố khi deploy trên cụm máy chủ:
- Đặt
batch_timeouttheo bài toán: Dịch vụ thời gian thực (như autocomplete, search gợi ý) nên đặt timeout từ0.005đến0.015giây (5 – 15ms). Dịch vụ xử lý tài liệu offline có thể tăng lên 50 – 100ms để gom batch lớn hơn. - Đo đạc VRAM trước khi chốt batch size: Chạy thử tải với
nvidia-smi -l 1. Nếu VRAM chạm ngưỡng 85%, hãy giảmmax_batch_sizexuống để dự phòng spiking memory khi input dài bất thường. - Đa worker để giấu độ trễ tiền xử lý: Đặt
workers_per_device=2hoặc4giúp một worker decode JSON trong khi worker còn lại đang tính toán trên GPU.
File Dockerfile tối ưu cho môi trường GPU production:
FROM pytorch/pytorch:2.2.2-cuda12.1-cudnn8-runtime
WORKDIR /app
# Cài đặt dependency hệ thống tối thiểu
RUN apt-get update && apt-get install -y --no-install-recommends \
curl \
&& rm -rf /var/lib/apt/lists/*
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY server.py .
EXPOSE 8000
CMD ["python", "server.py"]
Tổng kết
LitServe là cầu nối hợp lý giữa tính thân thiện của Python và yêu cầu khắt khe về throughput khi deploy AI. Bạn không cần học cú pháp config mới hay cấu trúc lại toàn bộ codebase C++.
Nếu dự án của bạn vượt quá khả năng chịu tải của FastAPI nhưng chưa cần đến sự phức tạp của Triton Server, LitServe chắc chắn là công cụ đáng thử nghiệm đầu tiên.
