Artificial Intelligence tutorial - IT technology blog

DockerでLibreChatをインストール・設定するガイド:企業向けセキュアなマルチモデルAIチャットゲートウェイの構築

AIチャットで機密データが外部に漏洩した本番インシデントの翌日、LibreChatを導入した。本記事では、DockerへのLibreChatのインストール、複数AIプロバイダー(OpenAI、Claude、Gemini、Ollama)の設定、そして企業環境に必要なセキュリティ設定について実践的に解説する。
Artificial Intelligence tutorial - IT technology blog

RedisVL:RedisでLLMアプリ向けの高速Semantic CachingとVector Searchを構築する

RedisVLを使えば、RedisをLLMアプリのsemantic cacheとvector storeとして活用できます。APIコールの2〜3秒ではなくcache hitなら10ms以下で応答。ゼロからのセットアップ、vector search indexの構築、実際のproduction経験を元にしたdistance_thresholdのチューニングTipsまで解説します。
Artificial Intelligence tutorial - IT technology blog

LinuxでvLLMを使ったSpeculative Decodingの設定:精度を落とさずLLMを2〜3倍高速化

Speculative Decodingは、小さなdraftモデルで複数のトークンを事前予測し、targetモデルで1回のforward passで検証することで、LLM推論を2〜3倍高速化する手法です。このガイドでは、LinuxでのvLLMの設定方法を、5分でできるクイックスタートからEAGLE、ngram lookup、productionに適したdraftモデルの選び方まで解説します。
Database tutorial - IT technology blog

LanceDBの導入・活用ガイド:AI・マルチモーダル検索に最適な超軽量組み込み型Vector Database

複雑なVector Databaseクラスタのメモリ消費や運用コストに悩まされていませんか?インプロセス動作・サーバー不要で、極めてリソース効率良くAIアプリやマルチモーダル検索を構築できる組み込み型Vector Database「LanceDB」を徹底解説します。