LLaMA-Factory入門ガイド：Linux上でWebUIを活用したLLMのファインチューニングと評価 - ITFROMZERO - Share tobe shared! 現行のLLMファインチューニング手法の比較と、Linux上でのLLaMA-Factoryの詳細な活用手順を解説。LoRA/QLoRAによる学習の自動化からWebUIを用いた直感的なモデル評価までを網羅します。

Table of Contents

現行のLLMファインチューニング手法の比較

プロンプトエンジニアリングやRAG（検索拡張生成）では、業界特有の専門用語への深い理解や厳格な出力フォーマットへの準拠が求められるタスクにおいて、限界に直面することがあります。このようなケースでは、ファインチューニング（微調整）が不可欠な選択肢となります。実際の開発・運用現場では、主に以下の3つのアプローチが採用されています。

PyTorchとHugging Face Transformersを用いた自作スクリプト：モデルの重みの読み込み、トークナイズ処理、カスタム損失関数の実装からDeepSpeed/FSDPの設定まで、エンジニアがパイプラインをゼロから構築します。柔軟性は極めて高いものの、大量のボイラープレートコードを書く手間が発生します。
専用CLIフレームワークの活用（Axolotl、Unslothなど）：リソース効率の最適化に優れ、設定はYAMLファイルに集約されます。CI/CDパイプラインやGPUクラスタとの親和性は高いですが、コマンドライン操作に習熟している必要があります。
WebUI統合プラットフォーム（LLaMA-Factory）：100以上のモデルアーキテクチャ（Llama 3、Qwen 2.5、Mistralなど）に標準対応しています。LoRA、QLoRA、GaLoreといった最新手法が組み込まれており、ブラウザからリアルタイムに学習ダッシュボードを確認できます。

各アプローチのメリット・デメリット

いずれの手法も、検証サイクルのスピード、ソースコードの制御性、システムへの介入度合いの間でトレードオフが存在します。

1. ピュアHugging Faceによるスクリプト作成

メリット：各レイヤーの重みに直接介入可能。カスタム損失関数の実装や、新しいAttention機構の組み込みも容易に行えます。
デメリット：メモリ不足エラー（CUDA OOM）が発生しやすい点です。Gradient CheckpointingやZeRO（Zero Redundancy Optimizer）、Memory Pinningなどの最適化設定に多くの時間を費やすことになります。

2. CLIフレームワークの活用（Axolotl / Unsloth）

メリット：学習速度が圧倒的に高速です。例えばUnslothではTritonカーネルの再実装によりVRAM使用量を50〜80%削減できます。また、YAML設定ファイルによってGitでのバージョン管理が容易です。
デメリット：視覚的なGUIが存在しません。初心者にとっては、LoRAのrank設定や学習率スケジューラーの誤設定に気付きにくく、損失グラフの変化をリアルタイムに把握しづらい課題があります。

3. WebUI統合型LLaMA-Factory

メリット：パイプライン全体をWebブラウザ上で完結できます。データセットの指定からPEFTパラメータの選択、TensorBoardのグラフ確認まで数クリックで実行可能です。さらに、推論コードを書くことなく、学習直後のチェックポイントとチャット形式で即座にテストできます。
デメリット：リモートのクラウドサーバーを利用する場合、SSHトンネリングの設定が必要です。また、特殊なAttentionアルゴリズムに手を入れるような高度なカスタマイズには、コアコード自体の改修が求められます。

実証レビュー：LLaMA-Factoryを採用すべき理由

チームの目標が数日以内でのPoC（概念実証）の構築や業務特化型モデルのリリースである場合、LLaMA-Factoryは準備作業にかかる時間を最大80%短縮してくれます。データローダーの実装に悩まされることなく、高品質なデータセットの作成に集中できます。

最近の社内サポートボット構築プロジェクトでは、5,000件の技術FAQデータセットを用いてQwen2.5-7B-Instructのファインチューニングを実施しました。RTX 3090（24GB VRAM）1基を使い、LoRA設定（rank 16、alpha 32、batch size 2、gradient accumulation 4）で実行したところ、3エポックの全学習プロセスがわずか1時間45分で完了しました。VRAM使用量は14.8GBで安定し、OOMエラーを起こすことなく、損失（Loss）は2.15から0.72へと順調に収束しました。

LinuxサーバーでのLLaMA-Factory構築ステップ

1. Linux環境とCUDAドライバの準備

本環境は、NVIDIAドライバとCUDA Toolkit（12.1または12.4）がインストールされたUbuntu 22.04 LTSで最も安定して動作します。まずは、独立したConda仮想環境を作成します。

# 仮想環境を作成して有効化
conda create -n llama_factory python=3.10 -y
conda activate llama_factory

# GPUステータスとCUDAバージョンの確認
nvidia-smi

2. LLaMA-FactoryとFlashAttentionのインストール

GitHubからソースコードをクローンし、WebUIや量子化ライブラリbitsandbytesを含む依存関係をインストールします。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# WebUIおよび評価メトリクスを含むコアパッケージをインストール
pip install -e ".[torch,metrics,bitsandbytes]"

# Ampere世代以降のGPU（RTX 3090、A100、H100など）で20〜30%高速化するためflash-attnをインストール
pip install flash-attn --no-build-isolation

3. Alpaca形式に準拠したデータセットの準備

LLaMA-Factoryはdata/dataset_info.jsonを通じてデータセット一覧を認識します。以下の形式に従い、data/internal_faq.jsonに社内FAQデータを作成します。

[
  {
    "instruction": "社内VPNのパスワードをリセットするにはどうすればよいですか？",
    "input": "",
    "output": "ポータル（https://id.company.internal）にアクセスし、「パスワードをお忘れの方」を選択してGoogle Authenticatorで認証を行ってください。"
  },
  {
    "instruction": "ステージング環境へのアプリケーションデプロイ手順を教えてください。",
    "input": "Kubernetes上で稼働するマイクロサービスアプリケーションです。",
    "output": "developブランチに向けてPRを作成します。GitLab CIでのテスト通過後、ArgoCDがマニフェストをstagingネームスペースへ自動的に同期します。"
  }
]

続いて、data/dataset_info.jsonを開き、ファイルの末尾に新しいキーを追加して登録します。

"internal_faq": {
  "file_name": "internal_faq.json"
}

4. WebUIの起動と学習パラメータの設定

組み込みのCLIコマンドでWebUIを起動します。

# ポート7860でWebUIを起動
llamafactory-cli webui
# または直接コマンドを実行：
# GRADIO_SERVER_PORT=7860 python src/webui.py

サーバーのポートが公開されていない場合は、SSHポートフォワーディングを利用してローカル環境に転送します。

ssh -L 7860:127.0.0.1:7860 user@remote-server-ip

ブラウザでhttp://localhost:7860にアクセスし、基本パラメータを設定します。

Model name：ベースモデルを選択します（例：Qwen2.5-7B-Instruct、Llama-3.1-8B-Instructなど）。
Model path：ローカルのチェックポイントパス、またはHugging FaceのリポジトリIDを入力します。
Finetuning method：24GB以上のVRAMがある場合はloraを選択します。12GB〜16GBのGPU（RTX 3060や4070など）を使用する場合は、Quantization bitで4-bitを指定してQLoRAを実行します。
Dataset：internal_faqを選択します。
Learning rate：LoRAの場合は5e-5、QLoRAの場合は1e-4を入力します。
Epochs：3〜5エポックを目安に設定します。
LoRA rank (r) & alpha：アダプタのファイルサイズを約40MB〜80MBに抑えつつ文脈構造を効果的に学習させるため、r = 16、lora_alpha = 32に設定します。

Startボタンをクリックすると学習が開始され、リアルタイムの損失グラフと残り時間の目安が表示されます。

5. モデルの評価とエクスポート

学習の進捗が100%に達した後は、検証用スクリプトを別途作成する必要はありません。

Chatタブでの検証：保存されたチェックポイントのパスを指定し、Load modelをクリックします。社内業務に関する複雑な質問を入力し、期待通りの回答が得られるかをテストします。
Exportタブでの重みエクスポート：LoRAアダプタをベースモデルに直接マージ（結合）できます。マージ後のモデルはスタンドアロンのチェックポイントとして保存され、vLLMやOllamaへ直接読み込んだり、GGUF形式へ変換してオフライン環境で実行したりできます。

この一連の統合ワークフローにより、従来は数日を要していたモデルの検証サイクルを、わずか半日の作業で完了させることができます。