Posted inPython

Python StreamlitによるWebダッシュボード構築とAIモデル統合：本番運用6ヶ月から得た実践的知見

Python tutorial - IT technology blog
Python tutorial - IT technology blog

実際の課題：Jupyter Notebookに「閉じ込められた」分析スクリプトとAIモデル

約半年前、弊社のデータチームは運用部門から緊急の依頼を受けました。日次売上をモニタリングしつつ、顧客フィードバックの感情分析（Sentiment Analysis）モデルを試験運用できる社内ツールを求めていたのです。当初、Jupyter Notebook上での作業は非常に順調でした。データは正確に取得され、Pandasによるデータ加工も的確で、Matplotlibで描画したグラフも見栄えの良いものでした。

しかし、そのNotebookを運用部門やマーケティングチームに引き渡して試用してもらった途端、トラブルが多発しました。彼らはターミナルの操作に慣れておらず、Shift + Enterショートカットを誤って連打してしまい、頻繁にカーネルをクラッシュさせてしまったのです。

上司が日付フィルターを変更したり、新しいテキストを試したりするたびに、私は隣に座って代わりにコードを入力しなければなりませんでした。どんなに優れた分析スクリプトであっても、直感的なUIがなければ開発者のローカルマシンで埃を被るだけになってしまいます。

なぜPythonスクリプトのWeb化はこれほど難しいのか？

この課題の解決に着手した際、最大の障壁はデータロジックとフロントエンドの間のギャップにあると痛感しました。

  • 学習すべき技術スタックが多すぎる：Python関数をブラウザ上で動かすには、通常FastAPIなどでREST APIを構築し、HTML、CSS、JavaScript、あるいはReactと格闘する必要があります。データアナリストやPython初学者にとって、この学習コストは非常に重い負担です。
  • 状態管理（State Management）の煩雑さ：ユーザーがスライダーを動かしたりドロップダウンを選択したりするたびに、イベントリスナー（Event Listener）をJavaScriptで記述し、fetchリクエストを送信してDOMを更新しなければなりません。UIの同期処理を組むだけでも数日があっという間に過ぎてしまいます。
  • サーバーリソースへの負荷：AIモデルのチェックポイントファイルは260MBに及びます。ユーザーのリクエストごとにディスクからモデルを再読み込みし、50万行のデータを再クエリしていては、8GB RAMのサーバーなど瞬く間にメモリ不足でクラッシュしてしまいます。

Streamlitを採用するまでに試した3つのアプローチ

最適なソリューションにたどり着く前に、チームとともに社内環境で3つの異なるアプローチを検証しました。

1. FastAPI ＋ 純粋なHTML/Bootstrap

FastAPIによるバックエンド処理は高速かつ堅牢で、自動生成されるSwagger UIもAPIテストに非常に便利でした。しかし、ボトルネックとなったのはやはりフロントエンドでした。

上司から4つのインタラクティブなフィルターと3つの時間別推移グラフの追加を求められた際、API連携用のJavaScript記述とChart.jsの設定だけに丸3日を費やしてしまいました。機能リリースのスピードが遅すぎ、プロジェクトの俊敏な要件に応えられなかったのです。

2. Plotly Dash

Dashは純粋なPythonのみで記述でき、美しい分析チャートを描画できます。しかし、UIが複雑化するにつれてネストされたコールバック（nested callbacks）がコードを瞬く間にスパゲッティ化させました。コールバックの循環依存のデバッグには多大な時間を要し、開発メンバーにとって大きなストレスとなりました。

3. Streamlit：最終的に選ばれたソリューション

Streamlitはこの課題を根底から解決してくれました。HTMLやJavaScriptを1行も書く必要がありません。上から下へとシーケンシャルにスクリプトを書く感覚でコードを記述でき、コンポーネントを呼び出した場所にボタンやグラフが即座に表示されます。

唯一留意すべき点は再実行（re-run）の仕組みです。Streamlitはユーザーがウィジェットを操作するたびにスクリプト全体を再実行します。当初この仕組みのためにアプリの応答が非常に遅くなりましたが、適切なキャッシングとSession Stateを導入したことで、ページ読み込み速度は劇的に改善しました。

ダッシュボード構築とAIモデル統合の全手順

以下は、ローカル環境での開発から本番サーバーへのデプロイまでの詳細な手順です。

ステップ1：環境のセットアップ

プロジェクト間でのパッケージ衝突を避けるため、個別の仮想環境を作成します。

# 仮想環境の作成と有効化
python -m venv venv
source venv/bin/activate  # Windowsの場合: venv\Scripts\activate

# 必要なライブラリのインストール
pip install streamlit==1.32.0 pandas plotly transformers torch

ステップ2：レイアウトとダッシュボードの構築

ビジネスデータを可視化するロジックを含むapp.pyを作成します。

import streamlit as st
import pandas as pd
import numpy as np
import plotly.express as px

# ページ基本設定
st.set_page_config(
    page_title="Production Data Dashboard",
    layout="wide"
)

st.title("データ分析＆AI実験ダッシュボード")

# サイドバーのフィルター
st.sidebar.header("データフィルター")
selected_category = st.sidebar.selectbox(
    "製品カテゴリを選択:",
    ["すべて", "ハードウェア", "ソフトウェア", "クラウドサービス"]
)

# トランザクションデータの読み込みとキャッシュ
@st.cache_data
def load_data():
    np.random.seed(42)
    return pd.DataFrame({
        "日付": pd.date_range(start="2026-01-01", periods=100),
        "カテゴリ": np.random.choice(["ハードウェア", "ソフトウェア", "クラウドサービス"], size=100),
        "売上": np.random.randint(10, 200, size=100),
        "数量": np.random.randint(1, 20, size=100)
    })

df = load_data()

# データフィルタリング処理
filtered_df = df if selected_category == "すべて" else df[df["カテゴリ"] == selected_category]

# 主要メトリクスの表示
col1, col2, col3 = st.columns(3)
col1.metric("総売上 ($k)", f"{filtered_df['売上'].sum():,}")
col2.metric("総注文件数", f"{filtered_df['数量'].sum():,}")
col3.metric("平均注文単価", f"{filtered_df['売上'].mean():.1f}")

# インタラクティブなPlotlyチャート
fig = px.line(
    filtered_df,
    x="日付",
    y="売上",
    color="カテゴリ",
    title="売上推移チャート"
)
st.plotly_chart(fig, use_container_width=True)

ステップ3：適切なキャッシングによるパフォーマンス最適化

実際の運用では、データが20万行に達した際、ユーザーがドロップダウンを選択するたびにPandasが全データを再計算するため、Webページが4.2秒フリーズしていました。しかし、@st.cache_dataを付与したところ、レスポンス時間はわずか85ミリ秒にまで短縮されました。

Streamlitには、明確に使い分けるべき2種類のキャッシュ機構が存在します：

  • @st.cache_data：シリアライズ可能なデータ（DataFrame、NumPy配列、REST APIのレスポンスなど）に使用します。計算コストの高いデータ処理関数には、このデコレータを付与するのが基本です。
  • @st.cache_resource：シリアライズ不可能な重量級オブジェクトに使用します。代表例としては、データベースのコネクションプール、TensorFlow/PyTorchのセッション、Transformerモデルなどが挙げられます。

ステップ4：感情分析NLPパイプラインの統合

distilbert-base-uncased-finetuned-sst-2-englishモデルのサイズは約268MBあります。@st.cache_resourceを使用しない場合、ユーザーが分析ボタンを押すたびにサーバーはこの268MBのファイルをRAMに再ロードしてしまい、メモリリソースがあっという間に枯渇してしまいます。

以下のコードは、モデルがメモリに一度だけロードされることを保証します。

from transformers import pipeline

st.subheader("AIアシスタント：顧客フィードバック分析")

@st.cache_resource
def get_ai_model():
    return pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

ai_analyzer = get_ai_model()

user_input = st.text_area(
    "顧客のフィードバックを入力:",
    "The dashboard is extremely responsive and saves our team hours of manual work!"
)

if st.button("AI分析を実行", type="primary"):
    if user_input.strip():
        with st.spinner("AIが分析中..."):
            result = ai_analyzer(user_input)[0]
            label = result['label']
            score = result['score']
            
            if label == "POSITIVE":
                st.success(f"結果: ポジティブ (信頼度スコア: {score:.2%})")
            else:
                st.error(f"結果: ネガティブ (信頼度スコア: {score:.2%})")
    else:
        st.warning("分析するフィードバック内容を入力してください。")

ステップ5：アプリケーションの起動と動作確認

ローカル環境でアプリケーションを起動するには、ターミナルで以下のコマンドを実行します。

streamlit run app.py

デフォルトでは、アプリケーションはhttp://localhost:8501でリッスンします。コードを修正してCtrl + Sで保存するだけで、プロセスを再起動することなく、ブラウザ上のUIが自動的かつ即座に最新状態へ更新されます。

Streamlitを本番環境で運用して得た3つの教訓

Ubuntuサーバー（4 vCPU、8GB RAM）上で、毎日30人以上の社内ユーザーが利用する環境を6ヶ月間運用した結果、得られた重要な原則は以下の3点です。

  1. グローバル変数は絶対に使用しない：Streamlitにおける各ユーザーセッションは、単一のPythonプロセスメモリを共有します。ユーザー間でデータが意図せず上書きされるのを防ぐため、ユーザー固有の状態管理には必ずst.session_stateを使用してください。
  2. AIモデル実行時のRAM消費を抑制する：複数のユーザーが同時にテキスト分析を実行すると、CPUおよびRAMの使用率が急増します。入力文字列の長さを制限する（例：最大512トークン）か、モデルをONNXや8ビット量子化フォーマットに変換してRAM消費を50%削減するなどの対策が有効です。
  3. Dockerやsystemdによるプロセス管理の徹底：ターミナルでstreamlit runを実行したまま放置するのは避けてください。systemdサービスとして構成するか、Dockerコンテナとしてパッケージングしましょう。アプリがクラッシュしたりサーバーが再起動したりした場合でも、手動対応なしでサービスが自動復旧するように設計します。
Share:
Tags: