Artificial Intelligence tutorial - IT technology blog

RedisVL:RedisでLLMアプリ向けの高速Semantic CachingとVector Searchを構築する

RedisVLを使えば、RedisをLLMアプリのsemantic cacheとvector storeとして活用できます。APIコールの2〜3秒ではなくcache hitなら10ms以下で応答。ゼロからのセットアップ、vector search indexの構築、実際のproduction経験を元にしたdistance_thresholdのチューニングTipsまで解説します。
Artificial Intelligence tutorial - IT technology blog

LinuxでvLLMを使ったSpeculative Decodingの設定:精度を落とさずLLMを2〜3倍高速化

Speculative Decodingは、小さなdraftモデルで複数のトークンを事前予測し、targetモデルで1回のforward passで検証することで、LLM推論を2〜3倍高速化する手法です。このガイドでは、LinuxでのvLLMの設定方法を、5分でできるクイックスタートからEAGLE、ngram lookup、productionに適したdraftモデルの選び方まで解説します。
Artificial Intelligence tutorial - IT technology blog

Pythonで使うE2B Code Interpreter入門:AI Agentのための安全なサンドボックス構築

AIにサーバー上で直接コードを実行させるのは、見知らぬ他人に自宅の鍵を渡すようなものです。本記事では、1日5万回以上のコード実行リクエストを処理しながら本番インフラを保護するために、私たちがE2B Code Interpreterをどのように運用しているかをご紹介します。