「Out of VRAM」という名の悪夢
LLMをいじっている人なら、この感覚はよくわかるはずです。Llama 3.1やDeepSeek-V3のような「ホットな」モデルをワクワクしながらダウンロードし、いざ実行ボタンを押すと…ドカン。ビデオメモリ不足（VRAM不足）のエラー。8GBや16GBのRAMしかなく、オンボードグラフィックスを搭載した事務用ノートPCにとって、元のフォーマット（FP16）でモデルをロードするのは、まさに「ミッション・インポッシブル」です。
私も始めたばかりの頃、10GBを超える重いモデルをロードするたびにPCがフリーズして、がっかりしたことがありました。しかし、llama.cppと量子化（Quantization）技術をマスターしてからは、すべてが変わりました。最先端のAIを体験するために、RTX 4090に40〜50万円もかける必要はありません。この記事では、LLMを最適化して、CPUだけで「スイスイ」動かす方法を解説します。
なぜあなたのPCはLLMを「支えきれない」のか？
問題は数字にあります。AIモデルは通常、16ビット精度（FP16）でトレーニングされます。必要なRAMの計算式は非常にシンプルで、パラメータ数に2を掛けるだけです。7B（70億パラメータ）のモデルなら、起動するだけで14GBのRAMを使い果たします。チャット時のキャッシュ（KV Cache）も含めると、16GBをあっさり超えてしまいます。
ほとんどの個人用ノートPCは、この膨大なVRAM要件を満たせません。さらに、CPUでの16ビット浮動小数点演算は、GPUに比べて何倍も遅くなります。これが、最適化されていないAIの動作が亀のように遅くなり、時には毎秒0.5〜1トークンしか出ない原因となっているのです。
量子化（Quantization）：低スペックPCの活路
GPUクラウドにお金を払ったり、Ollamaのようなパッケージ化されたツール（時として柔軟性に欠けることがあります）を使ったりする代わりに、私は量子化で直接介入する方法を選びます。簡単に言えば、これは16ビットの数字を4ビットや5ビットに圧縮する技術です。
これは、4K動画を1080pに変換してスマホでスムーズに見られるようにするのと似ています。モデルの容量は3〜4倍に減りますが、知能の高さは95〜98%程度を維持できます。8GB RAMのノートPCでも、この「ダイエット」後なら7Bモデルを十分に動かすことができます。
Llama.cpp — ローカルAI愛好家の「国民的」ツール
Llama.cppは完全にC++で記述されており、AVX2やAVX-512などの命令セットを通じてCPUに高度に最適化されています。これは、柔軟なGGUFフォーマットをサポートしているおかげで、現在のほとんどのローカルAIアプリケーションの背後にある基盤となっています。
ステップ1：パフォーマンス最適化のためにLlama.cppを自前でビルドする
プリビルド版をダウンロードするのではなく、ハードウェアの性能を最大限に引き出すために自分でビルドしましょう。LinuxやMacの場合は、ターミナルを開いて以下を実行します：
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j # 全CPUコアを使用してコンパイルWindowsユーザーの方は、Chocolatey経由でインストールするか、詳細なカスタマイズをしたい場合はCMakeを使用するのが一番早いです。
ステップ2：モデルをGGUFに変換する
Hugging Face fromモデル（通常は .safetensors ファイル）をダウンロードした後、それを標準のGGUF形式に変換する必要があります。このステップは、料理の前に材料を下ごしらえするようなものです。
# 環境のセットアップ
python3 -m pip install -r requirements.txt
# 元のモデルをGGUF FP16に変換
python3 convert_hf_to_gguf.py path/to/model/directory --outfile model-f16.ggufステップ3：量子化でモデルを「ダイエット」させる
これが最も重要なステップです。私は通常、パフォーマンスと容量のバランスが最も良い Q4_K_M（4ビット）または Q5_K_M（5ビット）を使用します。
# モデルを4ビットに圧縮
./llama-quantize model-f16.gguf model-Q4_K_M.gguf Q4_K_Mこの時点で、14GBあった7Bモデルのファイルは約4.5GBになります。これなら、WindowsやChromeブラウザが動作する余裕を残しつつ、RAMに収めることができます。
ステップ4：実行して成果を体感する
新しいAIアシスタントの威力を次のコマンドで試してみましょう：
./llama-cli -m model-Q4_K_M.gguf -n 512 -p "5歳児にDockerを説明して" --threads 8注意：ボトルネックを避けるために、--threads にはCPUの実コア数を設定してください。
よりスムーズに動かすための実践的な経験談
数ヶ月間、あらゆるモデルをいじってみて、いくつかの重要なポイントに気づきました：
- 身の丈を知る： CPUしかないマシンで、30Bや70Bのモデルを動かそうとしないでください。Llama 3やQwen 2.5などの1B〜8Bモデルに焦点を当てれば、毎秒5〜10トークンのレスポンス速度が得られます。
- Q5_K_Mを優先する： Q4が一般的ですが、複雑なコードやロジックを処理する場合、Q5の方が明らかに賢いです。容量は少し増えますが、それだけの価値は十分にあります。
- 標準のプロンプトテンプレートを使う： 各モデルには独自の入力構造（ChatMLやAlpacaなど）があります。テンプレートを間違えると、AIの回答が支離滅裂になったり、同じ言葉を繰り返したりします。
ローカルAIの実行は、もはやハイスペックマシンを持つ人だけの贅沢な遊びではありません。コマンドラインに少しの忍耐を持って向き合えば、プライバシーが守られ安全な「人工知能の脳」を、古いPCの上でも所有できるのです。皆さんのセットアップが成功することを祈っています！
