Artificial Intelligence tutorial - IT technology blog

Hướng dẫn cài đặt và cấu hình LibreChat trên Docker: Xây dựng cổng AI Chat đa mô hình tự host an toàn cho doanh nghiệp

Mình deploy LibreChat sau một đêm production incident với AI chat làm lộ dữ liệu nhạy cảm. Bài này chia sẻ cách cài đặt LibreChat trên Docker, cấu hình đa AI provider (OpenAI, Claude, Gemini, Ollama) và các thiết lập bảo mật cần thiết cho môi trường doanh nghiệp.
Artificial Intelligence tutorial - IT technology blog

Cấu hình Speculative Decoding với vLLM trên Linux: Tăng tốc LLM 2–3x mà không ảnh hưởng độ chính xác

Speculative Decoding là kỹ thuật tăng tốc LLM inference lên 2–3x bằng cách dùng draft model nhỏ đoán trước nhiều token, rồi verify bằng target model trong một lần forward pass. Hướng dẫn này bao gồm cách cấu hình với vLLM trên Linux, từ quick start 5 phút đến EAGLE, ngram lookup và tips chọn draft model đúng cho production.