Posted in人工知能

LiveKitとOpenAI Realtime APIで「超低遅延」AIボイスアシスタントを構築する

Artificial Intelligence tutorial - IT technology blog
Artificial Intelligence tutorial - IT technology blog

ボイスボット開発における「遅延」の悩みにおさらば

かつて、スムーズに会話ができるボットを作成することは、エンジニアにとって最大の挑戦でした。以前は、音声認識（STT）、言語モデル（LLM）、音声合成（TTS）の3つのシステムを手動で組み合わせる必要がありました。この煩雑なプロセスにより、ボットの応答に3〜5秒もかかってしまい、非常に不自然な「間」が生じていました。

OpenAI Realtime APIとLiveKitの組み合わせは、この体験を完全に再定義しました。順次処理を待つ代わりに、音声データはWebRTCプロトコルを通じて継続的に送信されます。実際の遅延は現在、500ms未満にまで短縮されています。このスピード感なら、ボットが話している時だけ口を挟むことも可能で、まるで人間同士の会話のような体験が可能です。

5分でボイスボットを試作する

開始するには、OpenAIのAPIキー（クレジット残高あり）、LiveKit Cloudのアカウント、およびPython 3.10以上が必要です。

1. 環境構築

プロジェクトをクリーンに保つために、仮想環境を作成しましょう。ターミナルで以下のコマンドを実行します。

python -m venv venv
source venv/bin/activate  # Windowsの場合は venv\Scripts\activate
pip install livekit-agents livekit-plugins-openai python-dotenv

2. 環境変数の設定

.envファイルを作成し、接続情報を入力します。URLとキーはLiveKit Cloudのダッシュボードから無料で取得できます。

LIVEKIT_URL=wss://your-project-id.livekit.cloud
LIVEKIT_API_KEY=あなたのAPIキー
LIVEKIT_API_SECRET=あなたのAPIシークレット
OPENAI_API_KEY=sk-proj-xxx...

3. 基本的なAgentの実装

以下は、ボットが即座に聞き取り、応答できるようにするためのagent.pyの最小限의ソースコードです。

import asyncio
from dotenv import load_dotenv
from livekit.agents import JobContext, WorkerOptions, cli, multimodal
from livekit.plugins import openai

load_dotenv()

async def entrypoint(ctx: JobContext):
    # OpenAIのマルチモーダルモデルに直接接続
    model = openai.realtime.RealtimeModel(
        instructions="あなたはプロフェッショナルなバーチャルアシスタントです。簡潔かつ明快に回答してください。",
        voice="alloy",
        temperature=0.8,
    )

    agent = multimodal.MultimodalAgent(model=model)

    await ctx.connect()
    agent.start(ctx.room)

    # 最初の挨拶
    await agent.say("こんにちは、準備ができました！", allow_interruptions=True)

if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entrypoint))

python agent.py devコマンドでボットを起動します。あとはLiveKitのSandboxにアクセスして会話を始めるだけです。

なぜWebRTCとRealtime APIは最強の組み合わせなのか？

多くの開発者は「なぜ単純なWebSocketを使わないのか？」と疑問に思うかもしれません。その答えは、不安定なネットワーク環境における音声処理能力にあります。

LiveKit: WebRTCインフラのバックボーン

LiveKitは、双方向の音声データストリームを調整する役割を果たします。エコーキャンセレーション（echo cancellation）やパケットロス補償などの複雑な技術的課題を自動的に処理します。このインフラをゼロから構築しようとすると、さまざまなデバイス間での接続エラーを処理するだけで数ヶ月かかる可能性があります。

OpenAI Realtime API: 音声による思考

従来のGPTシリーズとは異なり、Realtime APIは音声ストリーム（Audio Stream）を直接受け取ります。これには3つの大きな利点があります。

  • 割り込みの検知: ユーザーが話し始めた瞬間に、ボットは即座に発話を停止します。
  • 感情のニュアンス: AIが声のトーンや強調を理解するため、回答が機械的になりません。
  • 並行処理: 聞き取り、思考、応答の準備をすべて同時に行います。

アップグレード：データ検索ツールの統合

真のアシスタントには、単なる雑談以上の能力が求められます。関数（tools）を統合することで、注文状況や天気などのリアルタイム情報をボットが検索できるようにできます。

from livekit.agents import multimodal

def get_order_status(order_id: str):
    # データベースクエリのシミュレーション
    return f"注文番号 {order_id} は現在配送中で、あと20分ほどで到着予定です。"

model = openai.realtime.RealtimeModel(
    instructions="顧客から注文について問い合わせがあった場合は、検索ツールを使用してください。",
)

agent = multimodal.MultimodalAgent(
    model=model,
    fnc_ctx=multimodal.FunctionContext().add_callable(get_order_status)
)

実戦経験と最適化

実際に導入してみてわかった、プロジェクトを単に動かすだけでなく、高品質に運用するための重要なポイントをいくつか紹介します。

1. コストの問題

OpenAI Realtime APIの価格は決して安くはなく、入力音声1分あたり約0.06ドルかかります。節約のためには、LiveKitのVAD（Voice Activity Detection）機能を活用しましょう。実際に人が話している時だけデータをクラウドに送信し、ホワイトノイズにトークンを浪費するのを防ぎます。

2. 感度（VAD）の微調整

ユーザーが息を吸っただけでボットが反応してしまうことがあります。silence_duration_msパラメータを600ms〜800ms程度に調整してください。この時間は、ボットが「一時的な沈黙」と「発話の終了」を区別するのに適しています。

3. デプロイ戦略

本番環境では、AgentをDockerコンテナ化しましょう。LiveKitはWorkerモデルで動作し、各セッションは一定のCPUリソースを消費します。通信を最適化するために、サーバーはOpenAIのリージョン（US-Eastなど）に近い場所に配置することをお勧めします。

ボイスAIの構築は、今やかつてないほど簡単になりました。成功の鍵は、Function Callingの設計と、ボットに個性を与えるためのプロンプト調整にあります。セットアップ中にエラーが発生した場合は、ぜひ下のコメント欄で質問してください！

Share:
Tags: