LLM Production

Kinh nghiệm thực chiến xử lý sự cố sập server LLM lúc nửa đêm và hướng dẫn triển khai Hugging Face TGI trên Docker. Tối ưu throughput với continuous batching, kiểm soát VRAM GPU và hạ p99 latency từ 45s xuống 1.15s.