Artificial Intelligence tutorial - IT technology blog

Dockerで実践するHugging Face TGI構築ガイド:本番環境LLMのスループットとレイテンシを徹底最適化

深夜に発生したLLMサーバーのダウン事故から得た実践的知見と、DockerによるHugging Face TGIの構築ガイド。Continuous Batchingによるスループット向上、GPU VRAMの厳格な制御、そしてp99レイテンシを45秒から1.15秒へ激減させた最適化ノウハウを解説します。
Monitoring tutorial - IT technology blog

PrometheusとGrafanaによるPi-hole DNSサーバー監視ガイド:DNSクエリトラフィック、悪意のあるドメインブロック率、Topクライアントの可視化

Pi-holeをPrometheusとGrafanaで本格的なネットワークセキュリティ監視ステーションに進化させましょう。pihole-exporterの導入手順、DNSクエリ監視用のPromQLクエリ作成、不要なアラートを防ぐチューニングのノウハウを詳しく解説します。