MLOps

BentoMLはAI/MLモデルをLinux上でproduction-readyなREST APIとしてパッケージ化できるML servingフレームワークで、モデルバージョン管理、アダプティブバッチング、Dockerエクスポートの自動化に対応。本記事ではFlask/FastAPI、TorchServe、Tritonとの比較と、BentoMLをトレーニングからsystemd・Dockerを使ったproduction環境までデプロイする手順を解説する。