Artificial Intelligence tutorial - IT technology blog

LinuxでvLLMを使ったSpeculative Decodingの設定:精度を落とさずLLMを2〜3倍高速化

Speculative Decodingは、小さなdraftモデルで複数のトークンを事前予測し、targetモデルで1回のforward passで検証することで、LLM推論を2〜3倍高速化する手法です。このガイドでは、LinuxでのvLLMの設定方法を、5分でできるクイックスタートからEAGLE、ngram lookup、productionに適したdraftモデルの選び方まで解説します。
VMware tutorial - IT technology blog

VMware vSphere 8 における GPU パーティショニング (vGPU) の設定:AI と VDI のためのリソース最適化

VMware vSphere 8 で GPU パーティショニング (vGPU) を設定し、NVIDIA グラフィックスカードのリソースを複数の AI および VDI 仮想マシンで共有する方法を詳しく解説します。ハードウェアコストの削減とパフォーマンスの最適化を実現します。
Virtualization tutorial - IT technology blog

Proxmox PCI Resource Mapping 設定ガイド:Proxmox 8でラベルを使ってGPU・USB・NICをVMに柔軟に割り当てる方法

Proxmox 8のPCI Resource Mappingを使うと、GPU・USB・NICを物理的なPCIアドレスのハードコードではなく、論理ラベルを通じてVMに割り当てることができます。クラスター内のノード間でVMを移行する際にconfigの変更は不要——Proxmoxが実行中のノードに対応する正しいハードウェアを自動的に解決します。