Posted inDocker

Docker Events API：毎晩「祈る」のは卒業。コンテナをリアルタイムで監視する方法

Docker tutorial - IT technology blog
Docker tutorial - IT technology blog

現実的な問題：コンテナの「サイレント・デス」

2年前、私はeコマースサイト向けに20個のマイクロサービス群を運用していました。ある夜、決済機能が完全にダウンしました。カスタマーサポートに苦情が寄せられ、上司からの電話が鳴り止ない中、監視ダッシュボードは依然として「正常（緑）」を示していました。結局、サービスが完全に停止したのではなく、ゾンビプロセス化してハングアップしていたことが判明しました。Dockerは再起動を繰り返していましたが、CrashLoopBackOffのループに陥っていたのです。

原因を突き止めるのに2時間以上かかりました。あるコンテナのメモリリークが原因で、5分ごとに「落ちて」いたのです。当時の私は完全に後手に回っていました。システムが不安定になった瞬間に気づくのではなく、顧客から指摘されて初めて事態を把握したのです。この教訓から学んだことは？ --restart always フラグを過信してはいけないということです。

自動再起動はあくまで表面的な対処に過ぎません。本当に必要なのは**オブザーバビリティ（可観測性）**です。Docker Engineの内部で何が起きているのかを、即座に把握し反応できる能力が必要です。

なぜ従来のツールでは不十分な場合があるのか？

通常、エンジニアは Prometheus + Grafana や ELK Stack を思い浮かべるでしょう。しかし、これらの方策は中小規模のプロジェクトではいくつかの欠点を露呈します。

  • レイテンシ（遅延）： Prometheusは「プル（Pull）」方式で動作します。取得間隔を30秒に設定している場合、コンテナが停止してから検知するまでに最大30秒のタイムラグが生じます。
  • リソース消費： モニタリングスタック全体を動かすには、少なくとも1〜2GBのRAMが必要です。低スペックのVPSで5〜10個のコンテナを動かしている場合、これは非常に大きな無駄になります。
  • 自動化の難易度： 「Redisのキャッシュを削除してからコンテナを再起動する」といった複雑なレスポンスシナリオを、これらのツールでプログラムするのは非常に手間がかかります。

私たちに必要なのは、**イベント駆動型（Event-driven）**の仕組みです。Docker Engineが何らかのアクション（die, stop, oomなど）を実行した瞬間に、即座に信号を発信する必要があります。

Dockerイベントをキャッチする3つのアプローチ

以下は、私がこれまでに試した方法です：

  1. docker ps のポーリング： 1分ごとに実行するcronジョブスクリプトを書く方法. リソースを浪費し、遅延も大きいため、最悪の方法です。
  2. ログドライバーの使用： ログを集約サーバーに転送する方法。デバッグには適していますが、コンテナの状態に基づいて自動アクションをトリガーするのは非常に困難です。
  3. Docker Events API： これが「秘密兵器」です。標準で提供されており、コンテナ、イメージ、ネットワークのあらゆる変化をリアルタイムのデータストリームとして提供します。

解決策：Docker Events APIによる自動化システムの構築

Docker Events API と軽量な Python スクリプトを組み合わせるのが、最も効率的な方法です。このスクリプトは Docker Socket (/var/run/docker.sock) を直接リスニングし、Telegramへのアラート通知やインテリジェントな再起動ロジックを実行します。

1. コマンドラインでDockerイベントをリスニングする

まずは bash コマンドで、どのようなデータが返ってくるか素早くテストできます：

docker events --filter 'event=die' --filter 'event=oom'

コンテナが強制終了（Kill）されたり、メモリ不足（OOM）になったりすると、詳細情報が即座に表示されます。これが私たちが活用する貴重なデータソースとなります。

2. 監視とTelegram通知用スクリプト

以下は、私が実際のプロジェクトで使用しているPythonスクリプトの構造です。軽量（RAM消費量はわずか30〜50MB程度）でありながら非常に強力です。

import docker
import requests
import os

# Telegramの設定
TELEGRAM_TOKEN = os.getenv("TELEGRAM_TOKEN")
CHAT_ID = os.getenv("CHAT_ID")

def send_telegram_msg(message):
    url = f"https://api.telegram.org/bot{TELEGRAM_TOKEN}/sendMessage"
    data = {"chat_id": CHAT_ID, "text": message, "parse_mode": "Markdown"}
    try:
        requests.post(url, data=data, timeout=5)
    except Exception as e:
        print(f"Telegram送信エラー: {e}")

def monitor_events():
    client = docker.from_env()
    print("🚀 Dockerイベントをリスニング中...")
    
    for event in client.events(decode=True):
        status = event.get('status')
        attributes = event.get('Actor', {}).get('Attributes', {})
        container_name = attributes.get('name', 'Unknown')

        if status == "die":
            exit_code = event.get('Actor', {}).get('Attributes', {}).get('exitCode')
            msg = f"🔴 *コンテナアラート*\n*サービス:* {container_name}\n*ステータス:* 停止 (Die)\n*終了コード:* {exit_code}"
            send_telegram_msg(msg)
            
            if exit_code == "137":
                send_telegram_msg(f"⚠️ 警告: {container_name} がOOM Kill（メモリ不足）されました！")

        elif status == "oom":
            send_telegram_msg(f"🔥 *CRITICAL*: {container_name} のメモリが枯渇しました！")

if __name__ == "__main__":
    monitor_events()

3. サイドカーコンテナとしてのデプロイ

スクリプトを自動実行し、他のコンテナを監視するために、Dockerイメージとしてパッケージ化しましょう。docker-compose.yml ファイルでソケットをマウントするのを忘れないでください：

services:
  docker-monitor:
    image: my-docker-monitor:latest
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    environment:
      - TELEGRAM_TOKEN=${TELEGRAM_TOKEN}
      - CHAT_ID=${CHAT_ID}
    restart: always

セキュリティ上の警告： docker.sock をマウントすると、スクリプトにDocker Engine全体のフル制御権限を与えることになります。機密情報が含まれる場合、このイメージをDocker Hubなどで公開設定にしないでください。

アップグレード：インテリジェントな自動化

単にメッセージを送信するだけでなく、自動処理ロジックを追加することもできます。例えば、「10分以内にコンテナが5回以上再起動した場合は、一時停止（Pause）する」といった処理です。これにより、サーバー全体のCPU負荷の増大を防ぐことができます。

また、Events APIを **監査ログ（Audit Log）** として利用することも可能です。「いつ、誰が、どのコンテナを削除したか」を正確に把握できます。実際、このソリューションを導入したことで、障害への対応時間が80%短縮されました。顧客からの電話を待つ代わりに、手元のスマートフォンで通知を受け取り、即座に対処できるようになったからです。

結論として、Dockerを管理していてEvents APIをまだ使っていないのであれば、非常に優れたツールを見逃していることになります。軽量で無料、そしてあらゆる自動化のニーズに応える柔軟性を備えています。

Share:
Tags: