Posted in人工知能
自社サーバーへのAIモデル展開：機密データを守るためのセルフホスト
機密データを保護しクラウドAI利用の法的リスクを回避するために、llama.cppとvLLMを使って自社サーバーにAIモデルをセルフホストする方法を解説。Nginxリバースプロキシ、ファイアウォール、Docker Compose、Python連携のセキュリティ設定を含む。
Posted in人工知能
Prompt Injectionとは何か、AIアプリケーションを攻撃から守る方法
Prompt injectionとは、AIモデルの動作をoverrideするために悪意のある指示をinputに埋め込む攻撃手法です。本記事では実際の経験と5つの防御層を紹介します：input sanitization、role separation、output validation、least privilege、そしてmonitoring。