Posted in人工知能
自社サーバーへのAIモデル展開：機密データを守るためのセルフホスト
機密データを保護しクラウドAI利用の法的リスクを回避するために、llama.cppとvLLMを使って自社サーバーにAIモデルをセルフホストする方法を解説。Nginxリバースプロキシ、ファイアウォール、Docker Compose、Python連携のセキュリティ設定を含む。
Posted in人工知能
OllamaでLLMをローカル実行する：アプローチ比較と実践デプロイガイド
OllamaでLLMをローカル実行するガイド：正しいアプローチを選ぶためのOllama・llama.cpp・LM Studio比較、Linux/macOSへのインストール、MistralとLlamaモデルの実行、OpenAI互換REST API統合、チーム向け共有サーバーのセットアップTipsまで解説。