PythonによるCorrective RAG(CRAG)の実装ガイド:ドキュメントの自動評価とWeb検索フォールバック

背景と必要性

社内Botに社内規程について質問したところ、「自信満々に間違った回答」が返ってきた——これは多くのチームでよくある経験ではないでしょうか。従来のRAG(Retrieval-Augmented Generation)では、処理フローは極めて直線的です。入力された質問に対してベクトル検索で類似度の高いテキストチャンクを3〜5件取得し、それをそのままLLMに渡してしまいます。

ベクトル検索が捉えるのは表面的な意味の類似度だけであり、そのドキュメントが実際に質問を解決できるかどうかまでは判断できません。例えば、従業員が先週施行されたばかりのリモートワーク規程について尋ねたとします。ナレッジベースに昨年のドラフトしか存在しない場合でも、Botはそれを平然とコンテキストとして取得し、誤った回答を生成してしまいます。

分かりやすく例えると、従来のRAGは「引き出しから古い書類を適当に掴み取り、中身を確認せずそのまま顧客に読み聞かせる窓口担当者」のようなものです。これに対してCorrective RAG(CRAG)は、その担当者に「書類が質問の要点に合っているか素早く確認する」という検証プロセスを追加します。ドキュメントが適切であればそのまま活用し、的外れだったり完全に不足していたりする場合は、信頼できる外部リソースを自動的にWeb検索して補完します。

実際、800人規模の社内Q&AシステムにCRAGを導入したところ、ハルシネーション(誤回答)の発生率が27%から4.5%へと大幅に低下しました。エンジニアチームはモデルのファインチューニングやドキュメント全体の再インデックスを急ぐ必要がなくなります。

環境構築

CRAGにおける条件分岐やループ処理を制御するにはLangGraphが最適です。また、エージェントのWeb検索用にはTavily Searchを組み合わせます。

ターミナルから必要なライブラリをインストールします:

pip install langchain langchain-openai langchain-community langgraph tavily-python chromadb tiktoken

OpenAIとTavilyのAPIキーを環境変数に設定します(Tavilyは月1,000リクエストまで無料で利用可能です):

export OPENAI_API_KEY="sk-..."
export TAVILY_API_KEY="tvly-..."

詳細な実装と構成

標準的なCRAGアーキテクチャは以下の4つのステップで動作します:

  1. Retrieve(検索): 社内ベクトルデータベースからドキュメントチャンクを2〜3件取得します。
  2. Grade Documents(ドキュメント評価): 軽量LLMを用いて、取得したドキュメントが質問に関連しているかを二値(yes/no)でスコアリングします。
  3. Web Search Fallback(Web検索フォールバック): 社内ドキュメントが「無関係」または空と判定された場合、Tavily Searchを自動起動します。
  4. Generate(回答生成): フィルタリング済みの情報をもとに、整合性の取れた回答をユーザー向けに生成します。

1. モックVector Storeの初期化

crag_pipeline.py を作成し、サンプルデータとして社内規程を投入します:

from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document

# 社内データのモック
docs = [
    Document(page_content="会社の在宅勤務ポリシーは、試用期間を終えた従業員を対象に週最大2日まで適用されます。"),
    Document(page_content="定期給与の支払日は毎月5日で、Vietcombankの銀行口座に振り込まれます。"),
    Document(page_content="技術資格取得のための年間研修予算は、技術職1名あたり最大1500万VNDまで支給されます。")
]

embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(documents=docs, embedding=embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})

2. ドキュメント評価器(Document Grader)の構築

CRAGの核心はデータ検証フェーズにあります。LLMに長文で回答させるのではなく、構造化出力を用いて yes(関連あり)または no(無関係)の二値で厳密に判定させます。

from pydantic import BaseModel, Field
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

class GradeDocuments(BaseModel):
    binary_score: str = Field(description="ドキュメントが質問に関連しているかどうか('yes' または 'no')")

llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)
structured_llm_grader = llm.with_structured_output(GradeDocuments)

system_prompt = """あなたはドキュメントの品質評価担当です。
任務は、提供されたドキュメントにユーザーの質問に回答するための情報が含まれているかを検証することです。
ドキュメントが実際に質問と関連している場合のみ「yes」とし、それ以外は「no」と判定してください。"""

grade_prompt = ChatPromptTemplate.from_messages([
    ("system", system_prompt),
    ("human", "取得したドキュメント:\n\n{document}\n\nユーザーの質問: {question}")
])

doc_grader = grade_prompt | structured_llm_grader

3. LangGraphのノードとStateの定義

LangGraphでは GraphState という名前のTypedDictを介してデータの状態を管理します。各ノードはStateを受け取り、固有のロジックを処理した上でStateを更新します。

from typing import List
from typing_extensions import TypedDict
from langchain_community.tools.tavily_search import TavilySearchResults

class GraphState(TypedDict):
    question: str
    generation: str
    web_search_needed: bool
    documents: List[Document]

def retrieve(state):
    question = state["question"]
    documents = retriever.invoke(question)
    return {"documents": documents, "question": question, "web_search_needed": False}

def grade_documents(state):
    question = state["question"]
    documents = state["documents"]
    
    filtered_docs = []
    web_search_needed = False
    
    for d in documents:
        score = doc_grader.invoke({"question": question, "document": d.page_content})
        if score.binary_score == "yes":
            filtered_docs.append(d)
        else:
            web_search_needed = True
            
    if len(filtered_docs) == 0:
        web_search_needed = True
        
    return {"documents": filtered_docs, "question": question, "web_search_needed": web_search_needed}

def web_search(state):
    question = state["question"]
    documents = state.get("documents", [])
    
    web_tool = TavilySearchResults(k=2)
    web_results = web_tool.invoke({"query": question})
    
    web_content = "\n".join([d["content"] for d in web_results])
    documents.append(Document(page_content=web_content, metadata={"source": "web_search"}))
    
    return {"documents": documents, "question": question}

def generate(state):
    question = state["question"]
    documents = state["documents"]
    
    context = "\n\n".join([d.page_content for d in documents])
    gen_prompt = ChatPromptTemplate.from_messages([
        ("system", "あなたは質問に回答するAIアシスタントです。以下のコンテキストに基づいて質問に答えてください:\n\n{context}"),
        ("human", "{question}")
    ])
    
    rag_chain = gen_prompt | llm
    response = rag_chain.invoke({"context": context, "question": question})
    return {"generation": response.content}

4. 完全なワークフローの結合

各ノードを定義したら、条件付き分岐を持つグラフとして結合します:

from langgraph.graph import END, StateGraph

workflow = StateGraph(GraphState)

# ノードの追加
workflow.add_node("retrieve", retrieve)
workflow.add_node("grade_documents", grade_documents)
workflow.add_node("web_search", web_search)
workflow.add_node("generate", generate)

# ルーティングの設定
workflow.set_entry_point("retrieve")
workflow.add_edge("retrieve", "grade_documents")

def decide_to_generate(state):
    if state["web_search_needed"]:
        return "web_search"
    return "generate"

workflow.add_conditional_edges(
    "grade_documents",
    decide_to_generate,
    {
        "web_search": "web_search",
        "generate": "generate"
    }
)
workflow.add_edge("web_search", "generate")
workflow.add_edge("generate", END)

app = workflow.compile()

テストとモニタリング

分岐の挙動を確認するために、2つの実践的なシナリオでワークフローをテストします:

# シナリオ1: 社内データに回答が存在する質問
print("--- テスト1: 社内データ対象 ---")
res_1 = app.invoke({"question": "従業員は週に最大何日までリモートワークが可能ですか?"})
print("回答:", res_1["generation"])

# シナリオ2: 社内に情報がなく、Web検索が必要な質問
print("\n--- テスト2: Web検索が必要なケース ---")
res_2 = app.invoke({"question": "今日のApple株価の変動はどうなっていますか?"})
print("回答:", res_2["generation"])

本番運用で監視すべき主要メトリクス

本番環境で運用する際、ダッシュボード(LangSmithやOpenTelemetryなど)で追跡すべき3つの主要指標を解説します:

  • Web検索フォールバック率(Fallback Rate): 正常値の目安は通常15〜20%未満です。この割合が35%を超える場合、社内ナレッジベースに重大な情報の欠落があることを示唆しています。Botに高額なWeb検索APIを呼び出し続けさせるのではなく、社内ドキュメントを拡充・更新してください。
  • エンドツーエンドの平均レイテンシ(End-to-End Latency): CRAGでは評価用LLMの呼び出しが1回増え、さらにWeb検索が発生する可能性があります。そのため、通常のRAGと比較して1.2〜2.5秒ほど遅延が増加します。最適な解決策としては、評価フェーズに gpt-4o-mini(レイテンシ約300ms)を採用するか、量子化されたローカルの7Bモデルを使用することです。
  • トークン消費量とAPIコスト: Graderは取得したすべてのチャンクを読み込む必要があります。Retrieverのパラメータは k=2 または k=3 に絞り込むことを推奨します。コンテキストをコンパクトに保つことで、最終プロンプトに大量のドキュメントを無造作に投入する場合と比較して、トークンコストを最大40%削減できます。
Share: