batch api

LLM APIの請求額急騰は主に3つの原因による：繰り返されるシステムプロンプト、個別の小さなリクエスト、プロンプト内の余分なトークン。本記事では、プロンプトキャッシング、バッチ処理、プロンプト圧縮という3つの実践テクニックを具体的なPythonコード付きで解説し、コストを50〜80%削減する方法を紹介する。