Vì sao nên tự host LLM nội bộ thay vì phụ thuộc cloud API?
Trong môi trường hạ tầng doanh nghiệp, bài toán bảo mật dữ liệu luôn là rào cản lớn nhất. Đẩy file log chứa IP nội bộ, access token hay database dump lên các API cloud tiềm ẩn rủi ro lộ lọt thông tin cực kỳ cao. Ngoài vấn đề compliance, chi phí token cũng tăng vọt khi bạn cần phân tích hàng chục nghìn dòng log mỗi ngày.
Tự host mô hình mã nguồn mở bằng Ollama giải quyết triệt để cả hai khúc mắc này. Dữ liệu không bao giờ rời khỏi server của bạn. Chi phí API bằng 0. Khi kết hợp với thư viện chính thức Ollama Python SDK, bạn có thể nhúng trực tiếp AI vào script tự động hóa chỉ với vài dòng code quen thuộc.
Chuẩn bị môi trường
Trước tiên, hãy đảm bảo service Ollama đã cài đặt và lắng nghe ổn định trên cổng mặc định 11434.
1. Cài đặt Ollama Server
Chạy lệnh sau trên máy chủ Ubuntu hoặc macOS để cài bản mới nhất:
curl -fsSL https://ollama.com/install.sh | sh
Kế tiếp, hãy kéo một model nhỏ gọn về máy để test. Mô hình llama3.2:3b chỉ nặng khoảng 2.0GB, ăn chưa tới 2.5GB VRAM nhưng suy luận tiếng Anh lẫn tiếng Việt rất ổn định:
ollama pull llama3.2:3b
ollama list
2. Cài đặt Python SDK
Khuyến khích tạo virtualenv riêng biệt để tránh xung đột dependency:
python3 -m venv .venv
source .venv/bin/activate
pip install ollama
Thực hành với Ollama Python SDK: Từ cơ bản đến nâng cao
SDK cung cấp hai interface chính: đồng bộ (synchronous) cho task đơn giản và bất đồng bộ (async) cho các backend tải cao.
1. Sinh văn bản và Streaming theo thời gian thực
Nếu prompt yêu cầu câu trả lời dài, việc chờ model sinh xong toàn bộ text sẽ tạo cảm giác lag. Kích hoạt tham số stream=True giúp giảm Time-To-First-Token (TTFT) xuống dưới 300ms, hiển thị chữ ngay khi vừa sinh ra.
import ollama
# Gọi model dạng streaming
stream = ollama.generate(
model='llama3.2:3b',
prompt='Nêu ngắn gọn 3 nguyên tắc viết Dockerfile an toàn:',
stream=True
)
print("Phản hồi từ local LLM:")
for chunk in stream:
print(chunk['response'], end='', flush=True)
print()
2. Quản lý hội thoại đa lượt (Chat API)
Khác với generate vốn chỉ nhận prompt thô, hàm chat lưu giữ mạch hội thoại thông qua danh sách message có phân vai (system, user, assistant).
from ollama import Client
# Khởi tạo client tới Ollama instance nội bộ
client = Client(host='http://localhost:11434')
messages = [
{
'role': 'system',
'content': 'Bạn là kỹ sư DevOps. Hãy trả lời ngắn gọn, đi thẳng vào giải pháp kỹ thuật.'
},
{
'role': 'user',
'content': 'Làm thế nào để giảm kích thước Docker image cho ứng dụng Python?'
}
]
# Lượt hỏi đáp thứ nhất
response = client.chat(model='llama3.2:3b', messages=messages)
print(response['message']['content'])
# Nối tiếp phản hồi vào lịch sử chat để model nắm ngữ cảnh
messages.append(response['message'])
messages.append({
'role': 'user',
'content': 'Ngoài alpine, còn kỹ thuật nào khác hiệu quả hơn không?'
})
# Lượt hỏi đáp thứ hai
follow_up = client.chat(model='llama3.2:3b', messages=messages)
print(follow_up['message']['content'])
Lưu ý: Mặc định Ollama gán context window (num_ctx) là 2048 token. Nếu chat dài hoặc nhồi tài liệu lớn, bạn nên tăng thông số này trong dictionary options={'num_ctx': 4096}.
3. Ép kiểu dữ liệu JSON có cấu trúc (Structured Output)
Khi viết script parser log, chúng ta cần dữ liệu có schema chuẩn để lưu vào PostgreSQL hoặc đẩy sang Elasticsearch. Truyền format='json' sẽ buộc model chỉ trả về JSON hợp lệ, không kèm văn bản thừa.
import json
from ollama import chat
prompt = """
Trích xuất các trường: status, error_code, service_name từ đoạn log sau:
[2026-11-20 09:12:01] [payment-service] ERROR 504: Gateway Timeout when contacting bank gateway
"""
response = chat(
model='llama3.2:3b',
messages=[{'role': 'user', 'content': prompt}],
format='json'
)
# Parse thẳng sang Python dict không sợ dính markdown ```json
data = json.loads(response['message']['content'])
print(f"Service: {data.get('service_name')} | Mã lỗi: {data.get('error_code')}")
4. Xử lý đồng thời với AsyncClient
Đừng dùng synchronous client trong các web framework bất đồng bộ như FastAPI. Thao tác inference kéo dài 2-5 giây sẽ chặn toàn bộ event loop, khiến server đứng hình. Hãy dùng AsyncClient kết hợp với asyncio.gather.
import asyncio
from ollama import AsyncClient
async def analyze_task(client, task_id, prompt):
res = await client.generate(model='llama3.2:3b', prompt=prompt)
return task_id, res['response'][:60].strip()
async def main():
client = AsyncClient(host='http://localhost:11434')
tasks_data = [
("task_1", "Giải thích khái niệm Kubernetes Ingress trong 1 câu"),
("task_2", "Giải thích sự khác nhau giữa Git merge và rebase"),
]
coros = [analyze_task(client, t_id, p) for t_id, p in tasks_data]
results = await asyncio.gather(*coros)
for t_id, summary in results:
print(f"[{t_id}] -> {summary}...")
if __name__ == '__main__':
asyncio.run(main())
Mẹo vận hành: Nếu muốn xử lý nhiều request song song mượt mà, hãy set biến môi trường OLLAMA_NUM_PARALLEL=4 trước khi start Ollama server.
Giám sát tài nguyên và hiệu năng thực tế
Chạy mô hình AI tại chỗ đòi hỏi bạn phải theo sát VRAM và tốc độ sinh từ. Nếu không tính toán kỹ, GPU hết bộ nhớ sẽ dẫn tới lỗi Out Of Memory (OOM) làm crash tiến trình.
1. Giám sát VRAM và offload GPU
Để biết model có được tải hoàn toàn lên GPU hay bị tràn sang RAM, hãy kiểm tra qua terminal:
# Xem mức tiêu hao VRAM thực tế của card NVIDIA
watch -n 1 nvidia-smi
# Xem trạng thái nạp model của Ollama
ollama ps
Cột PROCESSOR trong kết quả của ollama ps phải hiện 100% GPU. Nếu thấy tỷ lệ như 60% GPU / 40% CPU, tốc độ sinh token sẽ tụt 4-5 lần do nghẽn băng thông PCIe.
2. Đo tốc độ suy luận (Tokens Per Second)
SDK trả về sẵn metadata chi tiết sau mỗi request. Bạn có thể bóc tách các trường này để xuất metric ra Prometheus hoặc Grafana:
import ollama
res = ollama.generate(model='llama3.2:3b', prompt='Ping test')
# eval_duration trả về đơn vị nano giây
eval_count = res.get('eval_count', 0)
eval_duration_sec = res.get('eval_duration', 1) / 1e9
tokens_per_sec = eval_count / eval_duration_sec if eval_duration_sec > 0 else 0
print(f"Tokens đã tạo: {eval_count}")
print(f"Tốc độ suy luận: {tokens_per_sec:.2f} tokens/s")
Thông thường, một GPU tầm trung như RTX 4060 (8GB VRAM) có thể đạt tốc độ 45 – 65 tokens/s với llama3.2:3b. Nếu cần giải phóng VRAM ngay sau khi chạy xong script theo batch, hãy thêm tham số keep_alive=0 vào request để Ollama tự unload model khỏi bộ nhớ.
