Posted inAI
Hướng dẫn triển khai Hugging Face TGI trên Docker: Tối ưu throughput và độ trễ LLM Production
Kinh nghiệm thực chiến xử lý sự cố sập server LLM lúc nửa đêm và hướng dẫn triển khai Hugging Face TGI trên Docker. Tối ưu throughput với continuous batching, kiểm soát VRAM GPU và hạ p99 latency từ 45s xuống 1.15s.