Posted in人工知能

ログファイルの「のぞき見」を自動化：DeepSeekとPythonでエラー分析・要約を高速化

Artificial Intelligence tutorial - IT technology blog
Artificial Intelligence tutorial - IT technology blog

ログファイルという「大海の中の針」を探す苦悩

運用（Ops）やバックエンドのエンジニアなら、深夜2時にサーバーがダウンして叩き起こされる光景には馴染みがあるでしょう。まずやることは ssh でログインし、tail -f /var/log/nginx/error.log を叩くこと。その時の感覚は、まさに「大海の中の針を探す（mò kim đáy bể）」ようなものです。特にマイクロサービス化されたシステムが、1時間ごとに数GBものログを吐き出している場合はなおさらです。

以前は、エラーのフィルタリングに Regex（正規表現）や ELK Stack (Elasticsearch, Logstash, Kibana) を使っていました。しかし、ELK は中小規模のプロジェクトには重すぎます。一方で Regex は、既知のエラーパターンしかキャッチできません。複雑なロジックエラーや連鎖的なクラッシュに対して、Regex はほぼ無力です。

最近、DeepSeek API を Python スクリプトに統合してログを自動スキャンしてみたところ、非常に良い結果が得られました。スクリプトはエラー行をリストアップするだけでなく、エラーの発生メカニズムまで解説してくれます。30分かけて調べていたことが、わずか15秒で把握できるようになりました。

なぜ他の大手ではなく DeepSeek を選ぶのか？

GPT-4 や Claude 3.5 もテストしましたが、ログ分析には大量のコンテキスト（テキスト）を継続的に投入する必要があります。そうなると、コストの問題が深刻になります。

  • 驚きの低価格： DeepSeek の価格は 100万入力トークンあたり約 0.14ドルです。これは同クラスのモデルの 1/10 から 1/20 のコストでありながら、コードのロジック処理能力は非常に優れています。
  • 差し替えるだけ： DeepSeek は openai ライブラリと完全に互換性があります。base_url を変更するだけで、既存のコード構造を修正する必要はありません。
  • 鋭い推論能力： Nginx、Docker、Java の StackTrace など、複雑なログ構造に対して特に鋭い洞察を発揮します。

ログ分析システムの構築に着手する

最新ログの読み取り、機密キーワードのフィルタリング、DeepSeek による「診断」の3ステップを実行する軽量な Python スクリプトを作成します。

1. 環境構築

DeepSeek の管理画面から API Key を取得してください。その後、以下のコマンドで必要なライブラリをインストールします。

pip install openai python-dotenv

2. インテリジェントなログフィルタリングモジュール

数GB のログファイルを丸ごと AI に投げないでください。コストがかさむだけでなく、モデルが「パンク」してしまいます。代わりに、最後の 100行を取得するか、ERROR や CRITICAL といったキーワードでフィルタリングします。

import os

def get_last_error_logs(file_path, num_lines=100):
    if not os.path.exists(file_path):
        return "ログファイルが存在しません。"
    
    errors = []
    with open(file_path, 'r') as f:
        # メモリを最適化するためにファイルの末尾から逆順に読み込む
        lines = f.readlines()[-num_lines:]
        for line in lines:
            if any(k in line.upper() for k in ["ERROR", "EXCEPTION", "CRITICAL"]):
                errors.append(line.strip())
    
    return "\n".join(errors) if errors else "システムにエラーは見当たりません。"

3. DeepSeek API を呼び出して「診断」する

秘訣は System Prompt にあります。AI に本物の SRE (Site Reliability Engineering) エキスパートとしての役割を与えます。

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_DEEPSEEK_API_KEY",
    base_url="https://api.deepseek.com"
)

def analyze_logs_with_ai(log_content):
    prompt = f"""
    以下のログを分析してください：
    1. 発生しているエラーの迅速な要約。
    2. 根本原因（Root Cause）の推測。
    3. 優先順位に基づいた具体的な修正手順の提示。

    ログの内容：
    {log_content}
    """

    response = client.chat.completions.create(
        model="deepseek-chat",
        messages=[
            {"role": "system", "content": "あなたは現場対応専門のシニアSREです。挨拶などの社交辞令は省き、技術的な内容に絞って簡潔に回答してください。"},
            {"role": "user", "content": prompt}
        ],
        stream=False
    )
    return response.choices[0].message.content

4. 実際の運用

このスクリプトは Cronjob を使って 10〜15分ごとに自動実行するように設定できます。エラーを検知した場合、即座に分析レポートを送信します。

if __name__ == "__main__":
    log_path = "/var/log/my_app/error.log"
    print("--- システムログをスキャン中 ---")
    
    log_data = get_last_error_logs(log_path)
    
    if "エラーは見当たりません" not in log_data:
        print("異常を検知しました！DeepSeekに接続しています...")
        analysis = analyze_logs_with_ai(log_data)
        print("\n=== 分析結果 ===\n")
        print(analysis)
    else:
        print("すべて正常です。安心してコーヒーをどうぞ！")

導入時の「血肉となる」注意点

本番環境で運用してみてわかった、注意すべきポイントをいくつか挙げます。

  1. トークン制御： 無駄な API コストを避けるため、常にタイムスタンプでログをフィルタリング（例：直近5分間のログのみ取得）してください。
  2. セキュリティ第一： 生のログには顧客の IP やメールアドレスが含まれていることがあります。クラウドに送信する前に、Regex を使ってこれらの情報をマスク（隠蔽）する関数を追加しましょう。
  3. JSON フォーマット： Slack や Telegram に綺麗に通知したい場合は、AI に対して error_level、root_cause、fix_steps といったフィールドを持つ JSON 形式で返却するよう要求してください。
  4. ネットワークエラー処理： トラフィックの急増時に DeepSeek がタイムアウトすることがあります。コードを try-except ブロックで囲み、少なくとも 3回のリトライメカニズムを実装してください。

結びに代えて

AI でログを読むのは、怠けるためではなく、よりスマートに働くためです. 何万行もの無機質な文字列を読む時間を、システムアーキテクチャの最適化に充てましょう。迅速なバグ修正、安定したシステム、そしてエンジニアの安眠を願っています！

Share:
Tags: