Posted in人工知能
LinuxでvLLMを使ったLLM推論の実装ガイド：スループット向上とVRAM節約
この記事では、Linux上でvLLMを使ったLLM推論の実装に関する実践的な経験を共有し、スループットの向上とVRAMの節約を目指します。インストール、重要なパラメータの設定、パフォーマンスの検証と監視に至るまで、システムを最適化するための詳細なガイドです。
Posted in人工知能
自社サーバーへのAIモデル展開：機密データを守るためのセルフホスト
機密データを保護しクラウドAI利用の法的リスクを回避するために、llama.cppとvLLMを使って自社サーバーにAIモデルをセルフホストする方法を解説。Nginxリバースプロキシ、ファイアウォール、Docker Compose、Python連携のセキュリティ設定を含む。