Posted in人工知能
Llama.cpp: CPUでLLMをサクサク動かす「秘策」、低スペックRAMでも快適に動作
「Out of VRAM」はもう怖くない！llama.cppの量子化（Quantization）を駆使して、Llama 3などのAIモデルをCPUとRAMで快適に動かす詳細ガイド。低スペックPCの救世主となる手法を紹介します。
Posted in人工知能
自社サーバーへのAIモデル展開：機密データを守るためのセルフホスト
機密データを保護しクラウドAI利用の法的リスクを回避するために、llama.cppとvLLMを使って自社サーバーにAIモデルをセルフホストする方法を解説。Nginxリバースプロキシ、ファイアウォール、Docker Compose、Python連携のセキュリティ設定を含む。
Posted in人工知能
OllamaでLLMをローカル実行する：アプローチ比較と実践デプロイガイド
OllamaでLLMをローカル実行するガイド：正しいアプローチを選ぶためのOllama・llama.cpp・LM Studio比較、Linux/macOSへのインストール、MistralとLlamaモデルの実行、OpenAI互換REST API統合、チーム向け共有サーバーのセットアップTipsまで解説。