Artificial Intelligence tutorial - IT technology blog

Cấu hình Speculative Decoding với vLLM trên Linux: Tăng tốc LLM 2–3x mà không ảnh hưởng độ chính xác

Speculative Decoding là kỹ thuật tăng tốc LLM inference lên 2–3x bằng cách dùng draft model nhỏ đoán trước nhiều token, rồi verify bằng target model trong một lần forward pass. Hướng dẫn này bao gồm cách cấu hình với vLLM trên Linux, từ quick start 5 phút đến EAGLE, ngram lookup và tips chọn draft model đúng cho production.
Artificial Intelligence tutorial - IT technology blog

BentoML: Đóng gói và triển khai mô hình AI/ML thành REST API production-ready trên Linux

BentoML là framework ML serving giúp đóng gói mô hình AI/ML thành REST API production-ready trên Linux, với model versioning, adaptive batching và Docker export tự động. Bài viết so sánh Flask/FastAPI, TorchServe, Triton và hướng dẫn triển khai BentoML từ train đến production với systemd và Docker.
Artificial Intelligence tutorial - IT technology blog

Haystack 2.0: Xây dựng pipeline xử lý tài liệu với Document Indexing, Hybrid Retrieval và Q&A thông minh

Haystack 2.0 cho phép xây dựng pipeline AI xử lý tài liệu dạng đồ thị có hướng: từng component kết nối tường minh, dễ debug và dễ mở rộng. Bài viết hướng dẫn thực tế từ document indexing, hybrid retrieval kết hợp BM25 và embedding, đến Q&A pipeline production-ready với Python.
Database tutorial - IT technology blog

Hướng dẫn cài đặt và sử dụng ChromaDB: Vector Database mã nguồn mở để xây dựng hệ thống lưu trữ tri thức cho AI Agent

ChromaDB là vector database mã nguồn mở giúp lưu trữ và tìm kiếm dữ liệu theo ngữ nghĩa — đủ nhẹ để chạy local, đủ mạnh để làm nền tảng RAG và AI Agent. Bài viết hướng dẫn cài đặt, index tài liệu, query semantic search và deploy bằng Docker từng bước thực tế.