Artificial Intelligence tutorial - IT technology blog

Dockerで実践するHugging Face TGI構築ガイド:本番環境LLMのスループットとレイテンシを徹底最適化

深夜に発生したLLMサーバーのダウン事故から得た実践的知見と、DockerによるHugging Face TGIの構築ガイド。Continuous Batchingによるスループット向上、GPU VRAMの厳格な制御、そしてp99レイテンシを45秒から1.15秒へ激減させた最適化ノウハウを解説します。
Python tutorial - IT technology blog

PythonでLiteLLMを活用する入門ガイド:100種類以上のAIモデルを単一インターフェースで標準化

マルチLLMの統合手法を比較し、PythonのLiteLLMライブラリを使ってOpenAI、Claude、Geminiを単一の標準インターフェースで接続・制御する実践的な手順を解説。自動フォールバック設定やトークンコストのリアルタイム追跡手法も網羅しています。