vLLM

機密データを保護しクラウドAI利用の法的リスクを回避するために、llama.cppとvLLMを使って自社サーバーにAIモデルをセルフホストする方法を解説。Nginxリバースプロキシ、ファイアウォール、Docker Compose、Python連携のセキュリティ設定を含む。