Posted in人工知能
LinuxでvLLMを使ったSpeculative Decodingの設定：精度を落とさずLLMを2〜3倍高速化
Speculative Decodingは、小さなdraftモデルで複数のトークンを事前予測し、targetモデルで1回のforward passで検証することで、LLM推論を2〜3倍高速化する手法です。このガイドでは、LinuxでのvLLMの設定方法を、5分でできるクイックスタートからEAGLE、ngram lookup、productionに適したdraftモデルの選び方まで解説します。