Hướng dẫn triển khai Model Serving hiệu năng cao với LitServe và Python

Artificial Intelligence tutorial - IT technology blog
Artificial Intelligence tutorial - IT technology blog

Điểm nghẽn khi bọc mô hình AI bằng FastAPI

Kịch bản quen thuộc của dân Data/AI: train xong model trên Jupyter Notebook, bạn bọc ngay vào một endpoint FastAPI hoặc Flask để demo. Viết tầm 30 dòng code là chạy mượt ở localhost.

Tuy nhiên, ác mộng sẽ ập đến khi hệ thống chạm mốc vài trăm request mỗi giây trên production:

  • GPU bị bỏ đói (Underutilization): Xử lý từng request đơn lẻ khiến GPU NVIDIA T4 hay A10 chỉ tải 10-15% compute core, dù VRAM vẫn bị chiếm giữ liên tục.
  • Nghẽn hàng đợi (Request Queuing): 50 request dội đến cùng lúc sẽ xếp hàng nối đuôi nhau. Request cuối phải đợi 49 request trước hoàn tất. Độ trễ p99 dễ dàng vọt từ 40ms lên hơn 2.500ms.
  • Tự viết Batching tiềm ẩn rủi ro: Dùng asyncio.Queue gom request nghe thì đơn giản. Thực tế, bạn phải tự xử lý timeout, worker lifecycle, race condition và nguy cơ rò rỉ bộ nhớ (memory leak).

Triton Inference Server hay TorchServe giải quyết tốt bài toán này, nhưng chi phí cấu hình rất nặng. Bạn phải viết nhiều file config protobuf phức tạp và build container cồng kềnh. LitServe xuất hiện như một lựa chọn dung hòa: nhẹ như FastAPI nhưng mạnh mẽ tương đương serving engine chuyên nghiệp.

Cơ chế hoạt động của LitServe

LitServe là inference engine mã nguồn mở do Lightning AI phát triển. Thư viện này kế thừa giao diện đơn giản của FastAPI, đồng thời loại bỏ overhead I/O và tích hợp sẵn pipeline tối ưu cho mô hình deep learning.

Kiến trúc 4 pha của LitAPI

Thay vì nhồi toàn bộ logic vào một route duy nhất, LitServe tách biệt vòng đời xử lý qua 4 phương thức chuẩn hóa:

  • setup(device): Load trọng số model vào RAM/VRAM. Phương thức này chỉ chạy đúng một lần khi worker khởi động.
  • decode_request(request): Nhận payload JSON hoặc binary từ client và trích xuất dữ liệu đầu vào.
  • predict(x): Nạp dữ liệu vào GPU để suy luận. Khi bật batching, x là danh sách gồm nhiều input gom lại.
  • encode_response(output): Định dạng tensor/kết quả đầu ra thành JSON trả về cho client.

Dynamic Batching: Tăng 4x Throughput mà không đổi phần cứng

Bản chất GPU tính toán song song rất mạnh. Thay vì tính 1 câu text tốn 20ms, bạn tính cùng lúc 8 câu cũng chỉ mất khoảng 22ms.

Cơ chế Dynamic Batching của LitServe tận dụng triệt để đặc tính này. Khi client gửi request rải rác, server giữ chúng trong một buffer ngắn (ví dụ 10ms). Đủ số lượng hoặc hết thời gian chờ, batch được đẩy vào GPU tính một lần. Qua đo đạc thực tế với model BERT, thông lượng tăng từ 38 req/s lên 165 req/s trên cùng một card NVIDIA T4.

Thực hành: Xây dựng Inference Server với LitServe

Bước 1: Chuẩn bị môi trường

Tạo virtual environment sạch để tránh xung đột dependency:

python3 -m venv venv
source venv/bin/activate

# Cài đặt LitServe và thư viện liên quan
pip install litserve transformers torch

Bước 2: Triển khai lớp LitAPI cơ bản

Tạo file server.py phục vụ model phân loại cảm xúc (DistilBERT):

import litserve as ls
import torch
from transformers import pipeline

class SentimentAnalysisAPI(ls.LitAPI):
    def setup(self, device):
        device_id = 0 if device == "cuda" and torch.cuda.is_available() else -1
        self.classifier = pipeline(
            "sentiment-analysis",
            model="distilbert-base-uncased-finetuned-sst-2-english",
            device=device_id
        )
        print(f"[*] Model ready on: {device}")

    def decode_request(self, request):
        # Nhận payload: {\"text\": \"I love this product\"}
        return request["text"]

    def predict(self, x):
        # x là list các chuỗi text khi bật dynamic batching
        results = self.classifier(x)
        # Chuẩn hóa về dạng list kết quả nếu đầu vào là chuỗi đơn
        return results if isinstance(results, list) else [results]

    def encode_response(self, output):
        # LitServe tự unbatch và đưa từng item vào hàm này
        return {"label": output["label"], "score": round(output["score"], 4)}

if __name__ == "__main__":
    api = SentimentAnalysisAPI()
    server = ls.LitServer(api, accelerator="auto")
    server.run(port=8000)

Bước 3: Bật Dynamic Batching và Đa Worker

Để tối đa hóa phần cứng, cập nhật phần khởi tạo server ở cuối file server.py:

if __name__ == "__main__":
    api = SentimentAnalysisAPI()
    
    server = ls.LitServer(
        api,
        accelerator="auto",     # Tự nhận diện CUDA hoặc CPU
        max_batch_size=8,       # Gom tối đa 8 requests vào 1 batch
        batch_timeout=0.01,     # Đợi tối đa 10ms để gom đủ batch
        workers_per_device=2    # 2 worker chạy song song tận dụng I/O
    )
    
    server.run(port=8000)

Hai thông số cốt lõi ở đây gồm max_batch_size và batch_timeout. Cấu hình này giúp gom đủ 8 request hoặc đợi tối đa 10ms trước khi đẩy thẳng vào GPU.

Bước 4: Benchmark và kiểm tra kết quả

Khởi động server:

python server.py

Gửi request kiểm tra:

curl -X POST http://localhost:8000/predict \
     -H "Content-Type: application/json" \
     -d '{"text": "This serving framework is surprisingly fast and easy to configure!"}'

Response trả về:

{
  "label": "POSITIVE",
  "score": 0.9998
}

Kinh nghiệm tối ưu khi triển khai Production

Dưới đây là một số bài học thực chiến giúp bạn tránh sự cố khi deploy trên cụm máy chủ:

  • Đặt batch_timeout theo bài toán: Dịch vụ thời gian thực (như autocomplete, search gợi ý) nên đặt timeout từ 0.005 đến 0.015 giây (5 – 15ms). Dịch vụ xử lý tài liệu offline có thể tăng lên 50 – 100ms để gom batch lớn hơn.
  • Đo đạc VRAM trước khi chốt batch size: Chạy thử tải với nvidia-smi -l 1. Nếu VRAM chạm ngưỡng 85%, hãy giảm max_batch_size xuống để dự phòng spiking memory khi input dài bất thường.
  • Đa worker để giấu độ trễ tiền xử lý: Đặt workers_per_device=2 hoặc 4 giúp một worker decode JSON trong khi worker còn lại đang tính toán trên GPU.

File Dockerfile tối ưu cho môi trường GPU production:

FROM pytorch/pytorch:2.2.2-cuda12.1-cudnn8-runtime

WORKDIR /app

# Cài đặt dependency hệ thống tối thiểu
RUN apt-get update && apt-get install -y --no-install-recommends \
    curl \
    && rm -rf /var/lib/apt/lists/*

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY server.py .

EXPOSE 8000

CMD ["python", "server.py"]

Tổng kết

LitServe là cầu nối hợp lý giữa tính thân thiện của Python và yêu cầu khắt khe về throughput khi deploy AI. Bạn không cần học cú pháp config mới hay cấu trúc lại toàn bộ codebase C++.

Nếu dự án của bạn vượt quá khả năng chịu tải của FastAPI nhưng chưa cần đến sự phức tạp của Triton Server, LitServe chắc chắn là công cụ đáng thử nghiệm đầu tiên.

Share: