Posted inAI

Làm sạch dữ liệu PDF/Office cho RAG với Unstructured.io: Từ ‘rác’ thành vàng

Artificial Intelligence tutorial - IT technology blog
Artificial Intelligence tutorial - IT technology blog

Tại sao dữ liệu thô là “cơn ác mộng” của RAG?

Sau nửa năm thực chiến với các dự án RAG (Retrieval-Augmented Generation), mình rút ra bài học: 80% hiệu quả chatbot nằm ở chất lượng dữ liệu. Model GPT-4 hay Claude 3.5 dù xịn đến đâu cũng sẽ “bó tay” nếu đầu vào là rác. Anh em hãy tưởng tượng việc ném một báo cáo tài chính 50 trang với bảng biểu chằng chịt vào các thư viện đọc text thông thường. Kết quả trả về sẽ là một đống hỗn độn, chữ nghĩa nhảy lung tung và mất sạch ngữ cảnh.

Thực tế triển khai cho thấy Unstructured.io là “cứu cánh” thực sự. Thay vì chỉ đọc text thô, nó phân tách tài liệu thành các Element như Title, NarrativeText, Table, hay List. Việc này giúp giữ nguyên cấu trúc logic của văn bản. Thay vì cắt chunk mù quáng theo độ dài, bạn có thể gán tiêu đề vào metadata để quá trình truy xuất (retrieval) sau này chính xác hơn hẳn.

So với PyPDF2 hay LangChain Loader mặc định, Unstructured vượt trội ở khả năng xử lý file Word (.docx), Powerpoint (.pptx) và ảnh chụp nhờ tích hợp OCR. Nó biến những định dạng khó nhằn thành dữ liệu máy tính có thể hiểu được.

Cài đặt và chuẩn bị

Bạn có hai lựa chọn: dùng API của hãng hoặc chạy thư viện mã nguồn mở local. Nếu đang thử nghiệm với dữ liệu không quá nhạy cảm, API là lựa chọn nhanh nhất. Tuy nhiên, để làm chủ hoàn toàn pipeline, mình khuyến khích cài đặt bản local.

Unstructured khá “nặng” về dependency hệ thống để xử lý OCR và định dạng file. Trên Ubuntu/Debian, anh em hãy chạy lệnh sau:

# Cài đặt các thư viện hệ thống cần thiết
sudo apt-get update
sudo apt-get install -y libmagic-dev poppler-utils tesseract-ocr libreoffice pandoc

Tiếp theo là cài đặt thư viện Python. Mình thường dùng bản [all-docs] để hỗ trợ đầy đủ từ PDF đến Office:

pip install "unstructured[all-docs]" langchain-unstructured

Cấu hình Pipeline trích xuất chuyên sâu

Trái tim của thư viện này nằm ở hàm partition. Nó tự động nhận diện loại file và áp dụng chiến thuật trích xuất phù hợp. Để dùng trong thực tế (production), bạn cần tinh chỉnh các tham số thay vì dùng mặc định.

1. Trích xuất giữ nguyên layout

Đoạn code dưới đây mình dùng để xử lý các tài liệu kỹ thuật phức tạp. Chiến thuật hi_res sẽ sử dụng model AI để nhận diện bố cục trang giấy:

from unstructured.partition.pdf import partition_pdf

elements = partition_pdf(
    filename="bao_cao_ky_thuat.pdf",
    strategy="hi_res",           # Dùng AI nhận diện layout (Title, Table, Figure)
    infer_table_structure=True,  # Trích xuất cấu trúc bảng sang HTML
    chunking_strategy="by_title", # Gom nhóm text theo tiêu đề gần nhất
    max_characters=1200,         # Giới hạn độ dài mỗi chunk để tối ưu context window
    combine_text_under_n_chars=250 # Tránh các chunk quá vụn vặt
)

2. Làm sạch dữ liệu (Data Cleaning)

Dữ liệu sau khi trích xuất thường dính ký tự lạ hoặc lỗi xuống dòng. Unstructured cung cấp sẵn các hàm cleaners để dọn dẹp đống rác này chỉ với vài dòng code:

from unstructured.cleaners.core import clean, group_broken_paragraphs

for element in elements:
    # Xóa khoảng trắng thừa, sửa lỗi bullet point và xuống dòng sai
    element.text = clean(element.text, extra_whitespace=True, dashes=True, bullets=True)
    element.text = group_broken_paragraphs(element.text)

3. Xử lý bảng biểu – Chìa khóa tăng độ chính xác

Kinh nghiệm của mình: đừng bao giờ để bảng biểu ở dạng plain text. LLM sẽ không hiểu được quan hệ hàng – cột. Thay vào đó, hãy lấy bảng dưới dạng HTML. Cấu trúc này giúp GPT-4 hiểu dữ liệu bảng tốt hơn 40% so với dạng text thô.

tables = [el for el in elements if el.category == "Table"]
if tables:
    # Lấy nội dung bảng dạng HTML để đưa vào Prompt
    table_html = tables[0].metadata.text_as_html
    print(f"Đã trích xuất bảng: {table_html[:100]}...")

Đo lường và Tối ưu hóa

Khi đưa vào hệ thống tự động, việc kiểm soát chất lượng là bắt buộc. Bạn cần chú ý hai chỉ số quan trọng sau:

  • Độ trễ (Latency): Chiến thuật hi_res có thể mất 10-15 giây cho mỗi trang PDF vì phải chạy model vision. Nếu cần tốc độ, hãy dùng fast cho các file đã có layer text sẵn.
  • Độ chính xác Metadata: Hãy kiểm tra file JSON đầu ra. Unstructured cung cấp page_number và tọa độ text. Thông tin này cực kỳ đáng giá để làm tính năng “Trích dẫn nguồn”, giúp người dùng click và xem đúng vị trí trên file gốc.
from unstructured.staging.base import elements_to_json
elements_to_json(elements, filename="debug_output.json")

Sau khi áp dụng Unstructured vào hệ thống thực tế, mình ghi nhận khối lượng code xử lý tiền dữ liệu giảm 60%. Độ chính xác của khâu Retrieval tăng khoảng 35% đối với các tài liệu có cấu trúc phức tạp. Đây là công cụ phải có nếu bạn muốn xây dựng một hệ thống RAG thực sự chuyên nghiệp.

Share:
Tags: