Continuous Batching

深夜に発生したLLMサーバーのダウン事故から得た実践的知見と、DockerによるHugging Face TGIの構築ガイド。Continuous Batchingによるスループット向上、GPU VRAMの厳格な制御、そしてp99レイテンシを45秒から1.15秒へ激減させた最適化ノウハウを解説します。