Proxmox VEでNVIDIA vGPUを構築する実践ガイド:AI・グラフィック仮想マシン間でGPUを共有する方法

Virtualization tutorial - IT technology blog
Virtualization tutorial - IT technology blog

課題の背景:高価な物理GPUをいかに共有するか

AI開発チームやクリエイティブチーム向けの検証環境を構築したことがある方なら、次のような状況に見覚えがあるはずです。数十万円を投じてRTX 3090(24GB)やTesla T4(16GB)を購入し、PCIeパススルーで特定の1台の仮想マシン(VM)に丸ごと割り当ててしまう構成です。その結果どうなるでしょうか。実のところ、稼働時間の90%はGPUがアイドル状態で放置されることになります。

その一方で、チーム内の他の開発者がStable Diffusionの動作確認やちょっとした動画編集のためにわずか4GBのVRAMを必要としていても、リソース不足により手も足も出ないという事態に陥ってしまいます。

筆者の個人ホームラボ環境でも、Proxmox VE 8.x上で12台のVMとコンテナを運用しています。当初はRTX 3090をWindows VM 1台だけにパススルーしていましたが、これは極めて非効率的でした。VRAMは非常に高価なリソースであり、1ギガバイトたりとも無駄にせず使い切ることが最優先課題となります。

そこで救世主となるのがNVIDIA vGPU(Virtual GPU)です。単一のVMにハードウェアを独占させるのではなく、GPUを複数の仮想デバイス(mdev: Mediated Devices)に分割します。これにより、各仮想マシンが必要な分だけVRAMや演算コアを柔軟に受け取れるようになります。

基本アーキテクチャ:KVM上でvGPUはどのように動作するのか?

vGPUは、LinuxカーネルおよびProxmoxのQEMU/KVMに標準搭載されているVFIO mdev(Mediated Device)フレームワークを基盤として動作します。ホストOSはPCIデバイス全体を直接手放すのではなく、NVIDIA vGPU Host Managerと呼ばれる専用ドライバーをロードします。

このドライバーがグラフィックボードのファームウェアを直接制御し、CUDAコア、NVENC/NVDECエンコーダー/デコーダー、そしてVRAM容量をあらかじめ定義されたプロファイルへと分割します。主に押さえておくべきプロファイル群は以下の3種類です。

  • Qプロファイル(Quadro/vWS – Virtual Workstation):3DグラフィックスやCAD用途向けで、CUDAの全機能が開放されています。PremiereやBlenderなどの動画編集・モデリング作業に最適です。
  • Cプロファイル(Compute):画面出力機能を削ぎ落とし、AI推論、LLM、データ処理などの計算処理に特化して最適化されています。
  • Bプロファイル(Virtual PC)/ Aプロファイル(Virtual Apps):一般的なオフィス業務やVDI向けで、リソースを節約しながら滑らかなデスクトップ描画を提供します。

これらのプロファイルを正常に認識・稼働させるには、「IOMMUを有効化したホストカーネル」「vGPUホストドライバー(GeForce/RTX系を使用する場合はアンロックパッチを含む)」、そして各VMにライセンスを継続付与するための「ローカルライセンスサーバー(FastAPI-DLSなど)」という3つのピースが不可欠です。

構築実践:Proxmox VE上でNVIDIA vGPUをセットアップするステップ

ステップ1:Proxmoxホスト側でIOMMUを有効化する

まず、ProxmoxノードにSSH接続してターミナルを開きます。ブートローダーでIOMMUを有効化する必要があるため、GRUBの設定ファイルを編集します。

nano /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULTの行を探し、搭載しているCPUに合わせて適切なパラメーターを追記します。

# Intel CPU向け(第4世代Core iまたはXeon E5 v3以降):
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

# AMD CPU向け(RyzenまたはEPYC):
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

ファイルを保存したら、GRUBを更新し、カーネル起動時に読み込む4つのVFIOモジュールを登録します。

update-grub

cat <<EOF >> /etc/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
EOF

reboot

サーバーの再起動が完了したら、以下のコマンドでIOMMUが正しく有効化されているか確認します。

dmesg | grep -e DMAR -e IOMMU

出力にDMAR: IOMMU enabledまたはAMD-Vi: Initializedの文字列が表示されれば、ハードウェア側の準備は完了です。

ステップ2:ホストドライバーのインストールとvgpu_unlockの適用

Tesla P4やT4、A10/A16などのエンタープライズ向けGPUをお使いの場合は、NVIDIA公式のvGPUドライバーをそのまま導入するだけで利用できます。一方、コストを抑えるためにコンシューマー向けのGeForceカード(RTX 3060や3090など)を活用する場合は、mdevプロファイルのロックを解除するRust製ツールvgpu_unlock-rsが必要になります。

カーネルビルド用ツールおよびRustコンパイラをインストールします。

apt update && apt install -y build-essential pve-headers-$(uname -r) git dkms cargo rustc

# GeForce/RTX向けアンロックツールのビルド
git clone https://github.com/mbilker/vgpu_unlock-rs.git /opt/vgpu_unlock-rs
cd /opt/vgpu_unlock-rs
cargo build --release

ハードウェアの競合を防ぐため、オープンソースのnouveauドライバーを無効化(ブラックリスト登録)します。

echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
update-initramfs -u

ホスト用ドライバーパッケージ(NVIDIA-Linux-x86_64-*-vgpu-kvm.run)をホスト上にダウンロードし、DKMSフラグを付与してインストールを実行します。

chmod +x NVIDIA-Linux-x86_64-*-vgpu-kvm.run
./NVIDIA-Linux-x86_64-*-vgpu-kvm.run --dkms

管理サービスを有効化・起動し、サポートされているmdevプロファイルの一覧を確認します。

systemctl enable --now nvidia-vgpu-mgr.service
mdevctl types

このコマンドの出力には、具体的なプロファイルIDが表示されます。例えば、nvidia-222(RTX A4000-4Q相当、VRAM 4GB)やnvidia-223(VRAM 8GB)などです。この識別コードは、次のステップでVMに割り当てる際に使用するため控えておいてください。

ステップ3:仮想マシンへのvGPUプロファイル割り当て

ProxmoxのWeb管理画面を開き、GPUを割り当てたい仮想マシン(例:VM ID 101)を選択します。

  1. Hardwareタブを開き、Addボタン > PCI Deviceを選択します。
  2. Device項目で、搭載している物理NVIDIAカードのPCIスロットを正確に選択します。
  3. MDev (Mediated Device)のチェックボックスをオンにします。
  4. MDev Type項目で、希望するプロファイルを選択します(例:量子化済みLlama 3 8Bチャットボットを動かすVMに4GB VRAMプロファイルを割り当てる場合など)。
  5. Addをクリックして設定を完了します。

CLIで手早く設定したい場合は、以下のコマンドを1行実行するだけで完了します。

qm set 101 -hostpci0 0000:01:00.0,mdev=nvidia-222

ステップ4:ゲストVMでのドライバー導入とライセンス認証

VMを起動します。ここで極めて重要な注意点として、ゲストOS側には公式サイトで配布されている通常のGeForceドライバーを絶対にインストールしないでください。必ず正式なNVIDIA vGPU Guest Driverをインストールする必要があります(メジャーバージョンがホストドライバーと一致している必要があります)。

ゲストOS(例:Ubuntu 22.04)へのドライバーセットアップが完了したら、おなじみのコマンドを実行してみましょう。

nvidia-smi

この時点で、割り当てられた4GBや8GBのVRAMが正常に表示されるはずです。ただし、NVIDIAのvGPUには厳格なライセンス管理機構が存在します。ライセンスサーバーとの認証が取れないまま20分が経過すると、ドライバーがGPUの動作クロックを最低レベルまで強制的に引き下げてしまいます(深刻なサーマルスロットリングのようなパフォーマンス低下が発生します)。

ホームラボやプライベート環境での対策として、Proxmox上で軽量なFastAPI-DLSのDockerコンテナを立ち上げ、ゲスト側からクライアントトークンファイルを取得します。

# ゲストVM(Linux)上で直接実行:
curl --insecure -L -X GET https://<IP_DLS_SERVER>/-/client-token -o /etc/nvidia/ClientConfigToken/client_configuration_token.tok
systemctl restart nvidia-gridd

ライセンス認証の状態を確認します。

nvidia-smi -q | grep -i "license"

実行結果にLicense Status: Licensedと表示されていれば成功です。仮想マシンに十分なリソースが正常に割り当てられ、パフォーマンス低下の心配なく24時間365日フル稼働させることができます。

まとめ:初期設定の手間をかけるだけで、長期的なコストを大幅最適化

NVIDIA vGPUの初期構成には、カーネル設定やライセンス周りの調整で1〜2時間程度の試行錯誤が必要になるかもしれません。しかし、それによって得られるメリットは極めて絶大です。24GBのRTXカード1枚で、AIモデル運用に8GB、Premiere動画編集に8GB、残りのVRAMを開発チームのコード検証環境に割り当てるなど、3台のVMを同時に快適稼働させることが可能になります。

皆さんのラボ環境ではどのグラフィックボードを活用されていますか?Proxmoxのカーネルアップデート時にmdevが正常にロードされなくなった場合などは、コメント欄にログを残していただければ一緒に検証・解決策を探りましょう!

Share: