Posted inAI

Cài đặt AnythingLLM trên Ubuntu: Tự xây kho tri thức AI Local an toàn tuyệt đối

Artificial Intelligence tutorial - IT technology blog
Artificial Intelligence tutorial - IT technology blog

Nỗi lo rò rỉ dữ liệu và giải pháp RAG “mì ăn liền”

Làm dự án cho doanh nghiệp hay xử lý data khách hàng, nỗi sợ lớn nhất chính là rò rỉ bí mật kinh doanh khi “phơi” tài liệu lên OpenAI hay Claude. Trước đây, mình từng hướng dẫn anh em build RAG bằng LangChain và Python. Tuy nhiên, cách đó khá tốn sức vì phải tự tay code từ vector database, xử lý embedding đến giao diện người dùng.

Nếu bạn cần một giải pháp thực dụng, cài xong dùng ngay với giao diện chuyên nghiệp như ChatGPT thì AnythingLLM là lựa chọn số một. Công cụ này đóng gói trọn bộ hệ thống RAG (Retrieval-Augmented Generation) vào một package duy nhất. Từ Vector Database (LanceDB), engine nhúng (Embedding) đến quản lý Workspace đều có sẵn. Mình đã triển khai hệ thống này cho team kỹ thuật để tra cứu tài liệu API nội bộ, hiệu suất phản hồi rất ấn tượng, chỉ mất khoảng 1-2 giây cho mỗi câu hỏi.

Chuẩn bị phần cứng và môi trường

Đừng chủ quan về cấu hình nếu bạn muốn hệ thống chạy mượt, đặc biệt là khi kết hợp với Ollama để xử lý model ngay tại chỗ. Đây là mức cấu hình mình khuyến nghị cho server Ubuntu:

  • Hệ điều hành: Ubuntu 22.04 LTS hoặc 24.04 LTS (ổn định nhất).
  • RAM: Tối thiểu 8GB. Nếu chạy thêm model Llama 3 hoặc Mistral local, hãy ưu tiên 16GB trở lên.
  • Lưu trữ: 20GB SSD trống. LanceDB rất tiết kiệm dung lượng, 1GB có thể chứa hàng vạn trang tài liệu text.
  • Công cụ: Docker và Docker Compose đã cài đặt sẵn.

Triển khai AnythingLLM bằng Docker

Dân DevOps hay System Admin thường ưu tiên Docker để dễ dàng quản lý và backup. Phương pháp này giúp tách biệt hoàn toàn ứng dụng với hệ thống chính, tránh xung đột thư viện.

Đầu tiên, hãy tạo thư mục để lưu trữ dữ liệu bền vững (persistent data). Việc này giúp bạn không bị mất tài liệu mỗi khi update container:

export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p $STORAGE_LOCATION
touch "$STORAGE_LOCATION/.env"

Tiếp theo, khởi chạy container bằng lệnh docker run. Lệnh này sẽ tự động kéo image mới nhất về máy:

docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v "$STORAGE_LOCATION:/app/storage" \
-v "$STORAGE_LOCATION/.env:/app/server/.env" \
--name anythingllm \
--restart always \
mintplexlabs/anythingllm

Lưu ý: Flag --cap-add SYS_ADMIN cực kỳ quan trọng. Nó cho phép AnythingLLM chạy các tiến trình sandbox để xử lý an toàn các định dạng file phức tạp. Nếu bạn thích dùng Docker Compose để quản lý tập trung, hãy sử dụng file cấu hình sau:

version: '3.8'
services:
  anythingllm:
    image: mintplexlabs/anythingllm
    container_name: anythingllm
    ports:
      - "3001:3001"
    cap_add:
      - SYS_ADMIN
    volumes:
      - ./storage:/app/storage
      - ./.env:/app/server/.env
    restart: always

Cấu hình chi tiết hệ thống RAG

Sau khi container đã “up”, hãy truy cập http://your-server-ip:3001 để bắt đầu setup wizard.

1. Thiết lập LLM Engine

Đây chính là bộ não xử lý câu hỏi. Bạn có hai hướng đi chính:

  • Local LLM (Ollama): Lựa chọn tối ưu cho bảo mật. Nếu server có GPU, hãy cài Ollama và kết nối qua URL http://172.17.0.1:11434. Mọi dữ liệu sẽ nằm lại 100% trong hạ tầng của bạn.
  • Cloud LLM (OpenAI/Claude): Phù hợp nếu server yếu nhưng cần độ thông minh cao. Chỉ câu hỏi của bạn được gửi đi, còn tài liệu gốc vẫn nằm tại local.

2. Embedding và Vector Database

Embedding là bước chuyển hóa tài liệu thành các vector số học. AnythingLLM tích hợp sẵn engine nội bộ rất nhẹ, bạn nên giữ mặc định. Với Vector Database, hệ thống dùng LanceDB. Đây là serverless database chạy cực nhanh. Qua thực tế sử dụng, với kho dữ liệu dưới 10.000 file, LanceDB phản hồi gần như tức thì, vượt xa các giải pháp phức tạp như Pinecone hay ChromaDB trong cùng phân khúc.

3. Quản lý Workspace và Dữ liệu

Cấu trúc của AnythingLLM dựa trên Workspace. Bạn có thể phân quyền: một cái cho “Kỹ thuật”, một cái cho “Pháp chế”.

  • Truy cập Workspace, chọn Upload documents.
  • Hệ thống hỗ trợ kéo thả PDF, Docx, TXT hoặc fetch dữ liệu trực tiếp từ URL.
  • Sau khi upload, đừng quên nhấn Move to Workspace và Save and Embed để hệ thống bắt đầu băm nhỏ và lưu vào database.

Vận hành và Tối ưu hóa

Hãy thử đặt một câu hỏi về nội dung bạn vừa tải lên. Khác với chat thông thường, AnythingLLM sẽ liệt kê rõ các trích dẫn (citations) lấy từ file nào, đoạn nào. Điều này giúp loại bỏ hoàn toàn tình trạng AI “nói nhảm”.

Giám sát tài nguyên

Khi đang trong quá trình Embedding, CPU thường sẽ nhảy lên mức cao. Đây là hiện tượng bình thường. Tuy nhiên, nếu RAM vượt ngưỡng 90% thường xuyên, bạn cần giới hạn số lượng file xử lý song song hoặc nâng cấp thêm tài nguyên:

docker stats anythingllm

Cấu hình Nginx Reverse Proxy

Để team truy cập qua domain chuyên nghiệp như ai.yourcompany.com, hãy sử dụng Nginx làm lớp bảo vệ phía trước:

server {
    listen 80;
    server_name ai.yourcompany.com;

    location / {
        proxy_pass http://localhost:3001;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

Sử dụng AnythingLLM giúp bạn tiết kiệm hàng tuần trời tự build hệ thống RAG từ đầu. Nó là điểm giao thoa hoàn hảo giữa sự đơn giản cho người dùng và khả năng kiểm soát cho dân kỹ thuật. Nếu gặp khó khăn trong lúc cài đặt, hãy để lại bình luận phía dưới, mình sẽ cùng anh em tháo gỡ.

Share:
Tags: