Posted in人工知能
UbuntuでTensorRT-LLMを使用してLlama-3を高速化：インストールから本番環境へのデプロイまで
Ubuntu環境でTensorRT-LLMを用いてLlama-3を最適化する実践ガイド。レイテンシの削減、スループットの向上、Triton Serverによる本番環境へのデプロイ手法を解説します。
Posted in人工知能
VS CodeでContinueを導入：GitHub Copilotに代わる「最強」のAIアシスタントを自作する
VS CodeにContinueを導入して、無料でセキュアなAIアシスタントを手に入れましょう。OllamaやClaude 3.5との連携方法、Context機能を活用した効率的なプログラミング手法を詳しく解説します。
Posted in人工知能
UnslothでLLMを超高速ファインチューニング：VRAMを90%削減し、Llama 3を「普及型GPU」で動かす
わずか6.5GBのVRAMでLlama 3 8Bを学習？Unslothを活用してLLMのトレーニングを3倍高速化し、ハードウェアコストを最小限に抑えるITエンジニア必見のガイド。