Posted inAI
Cấu hình Speculative Decoding với vLLM trên Linux: Tăng tốc LLM 2–3x mà không ảnh hưởng độ chính xác
Speculative Decoding là kỹ thuật tăng tốc LLM inference lên 2–3x bằng cách dùng draft model nhỏ đoán trước nhiều token, rồi verify bằng target model trong một lần forward pass. Hướng dẫn này bao gồm cách cấu hình với vLLM trên Linux, từ quick start 5 phút đến EAGLE, ngram lookup và tips chọn draft model đúng cho production.