FastAPIでAIモデルをラップする際のボトルネック
データサイエンティストやAIエンジニアにとって馴染み深い光景があります。Jupyter Notebook上でモデルの学習を終えた後、デモ用にとりあえずFastAPIやFlaskのエンドポイントでラップする構成です。30行程度のコードを書けば、ローカル環境では極めてスムーズに動作します。
しかし、本番環境で毎秒数百リクエスト規模に達した途端、深刻な問題に直面します。
- GPUの計算リソースの浪費(Underutilization): リクエストを1件ずつ順次処理していると、VRAMを常時確保しているにもかかわらず、NVIDIA T4やA10などのGPUのCompute Core使用率はわずか10〜15%程度にとどまります。
- リクエストキューの滞留(Request Queuing): 50件のリクエストが同時に押し寄せた場合、順番待ちの行列が発生します。最後のリクエストは前の49件の処理が完了するまで待たされることになり、p99レイテンシが40msから2,500ms超へと一気に跳ね上がります。
- 独自バッチ処理の実装に伴うリスク:
asyncio.Queueを使ってリクエストをまとめる手法は一見シンプルに思えます。しかし実際には、タイムアウト制御やワーカーのライフサイクル管理、競合状態(Race Condition)、メモリリークのリスクをすべて自前で対処しなければなりません。
Triton Inference ServerやTorchServeはこうした課題を巧みに解決しますが、設定コストが極めて高いのが難点です。複雑なProtobuf設定ファイルを多数記述し、巨大なコンテナをビルドする必要があります。そこで最適な選択肢として登場したのがLitServeです。FastAPIのような手軽さを保ちながら、商用レベルのServing Engineに匹敵するパフォーマンスを発揮します。
LitServeの動作メカニズム
LitServeは、Lightning AIが開発したオープンソースの推論エンジンです。FastAPIのシンプルなインターフェースを継承しつつ、I/Oオーバーヘッドを排除し、ディープラーニングモデルに最適化されたパイプラインを標準で備えています。
LitAPIの4フェーズアーキテクチャ
単一のルートにあらゆるロジックを詰め込むのではなく、LitServeは処理のライフサイクルを4つの標準化されたメソッドに分離しています。
setup(device): モデルの重みをRAM/VRAMにロードします。このメソッドはワーカー起動時に1度だけ実行されます。decode_request(request): クライアントからのJSONやバイナリペイロードを受け取り、入力データを抽出します。predict(x): データをGPUに送り込んで推論を実行します。バッチ処理が有効な場合、xは集約された複数の入力リストになります。encode_response(output): 出力されたテンソルや結果をフォーマットし、クライアントへ返すJSONに変換します。
Dynamic Batching: ハードウェアを変えずにスループットを4倍に向上
GPUは本来、並列計算に非常に長けています。テキスト1文の処理に20msかかる場合でも、8文を同時に処理した際の所要時間は約22ms程度しかかかりません。
LitServeのDynamic Batching(動的バッチ処理)は、この特性を最大限に活かします。クライアントから散発的にリクエストが届いた際、サーバーは短時間(例: 10ms)バッファに留めます。規定数に達するかタイムアウトを迎えると、バッチとして一括でGPUへ送信されます。BERTモデルを用いた実測では、同一のNVIDIA T4環境においてスループットが38 req/sから165 req/sへと大幅に向上しました。
実践: LitServeによる推論サーバーの構築
ステップ1: 環境構築
依存関係の競合を防ぐため、クリーンな仮想環境を作成します。
python3 -m venv venv
source venv/bin/activate
# LitServeおよび関連ライブラリのインストール
pip install litserve transformers torch
ステップ2: 基本的なLitAPIクラスの実装
感情分析モデル(DistilBERT)を提供するserver.pyファイルを作成します。
import litserve as ls
import torch
from transformers import pipeline
class SentimentAnalysisAPI(ls.LitAPI):
def setup(self, device):
device_id = 0 if device == "cuda" and torch.cuda.is_available() else -1
self.classifier = pipeline(
"sentiment-analysis",
model="distilbert-base-uncased-finetuned-sst-2-english",
device=device_id
)
print(f"[*] Model ready on: {device}")
def decode_request(self, request):
# ペイロードを取得: {"text": "I love this product"}
return request["text"]
def predict(self, x):
# Dynamic Batching有効時、xはテキスト文字列のリストになる
results = self.classifier(x)
# 入力が単一文字列の場合、結果をリスト形式に正規化
return results if isinstance(results, list) else [results]
def encode_response(self, output):
# LitServeが自動でアンバッチ処理を行い、各アイテムをこのメソッドに渡す
return {"label": output["label"], "score": round(output["score"], 4)}
if __name__ == "__main__":
api = SentimentAnalysisAPI()
server = ls.LitServer(api, accelerator="auto")
server.run(port=8000)
ステップ3: Dynamic Batchingとマルチワーカーの有効化
ハードウェアリソースをフル活用するために、server.py末尾のサーバー初期化コードを更新します。
if __name__ == "__main__":
api = SentimentAnalysisAPI()
server = ls.LitServer(
api,
accelerator="auto", # CUDAまたはCPUを自動検出
max_batch_size=8, # 最大8リクエストを1バッチに集約
batch_timeout=0.01, # バッチが集まるのを最大10ms待機
workers_per_device=2 # 2ワーカーを並行実行してI/Oを効率化
)
server.run(port=8000)
ここでの重要なパラメータはmax_batch_sizeとbatch_timeoutの2つです。この設定により、最大8件のリクエストが集まるか、最大10ms待機した時点でGPUへと直接バッチ処理が送られます。
ステップ4: 動作検証とベンチマーク
サーバーを起動します。
python server.py
テストリクエストを送信します。
curl -X POST http://localhost:8000/predict \
-H "Content-Type: application/json" \
-d '{"text": "This serving framework is surprisingly fast and easy to configure!"}'
返却されるレスポンス:
{
"label": "POSITIVE",
"score": 0.9998
}
本番運用における最適化のポイント
クラスタ環境へデプロイする際のトラブルを回避するための実践的なTipsをまとめました。
- ユースケースに応じた
batch_timeoutの調整: オートコンプリートや検索サジェストなどのリアルタイムサービスでは、タイムアウトを0.005〜0.015秒(5〜15ms)に設定します。一方、オフラインのドキュメント処理などでは50〜100msまで延ばし、より大きなバッチを形成するのが効果的です。 - バッチサイズの決定前にVRAM使用率を計測:
nvidia-smi -l 1を用いて負荷テストを実施してください。VRAM使用率が85%に達する場合は、想定外に長い入力シーケンスによる急激なメモリ消費に備えてmax_batch_sizeを引き下げてください。 - 前処理遅延を隠蔽するマルチワーカー構成:
workers_per_device=2または4に設定することで、一方のワーカーがGPUで推論計算を行っている最中に、もう一方のワーカーがJSONのデコードを並行して進められます。
本番GPU環境に最適化したDockerfileの構成例:
FROM pytorch/pytorch:2.2.2-cuda12.1-cudnn8-runtime
WORKDIR /app
# 最小限のシステム依存関係をインストール
RUN apt-get update && apt-get install -y --no-install-recommends \
curl \
&& rm -rf /var/lib/apt/lists/*
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY server.py .
EXPOSE 8000
CMD ["python", "server.py"]
まとめ
LitServeは、Pythonの使いやすさと、AIデプロイ時に求められる厳しいスループット要件を両立させる理想的な架け橋です。新しい独自構文を覚え直したり、C++でコードベース全体を書き直したりする必要はありません。
現在のプロジェクトがFastAPIの限界を迎えているものの、Triton Serverほどの複雑さは避けたいと考えているなら、LitServeは間違いなく最初に試す価値のあるフレームワークです。
