PythonにおけるPolars実践ガイド:Pandasに代わる大規模データ処理とOOMエラーの撲滅

Python tutorial - IT technology blog
Python tutorial - IT technology blog

背景:深夜2時のアラートとOut Of Memory(OOM)の宣告

深夜2時15分、PagerDutyのアラートによりスマホが激しく鳴り響きました。Kubernetesクラスター上でトランザクション集計バッチジョブを実行していたPodが真っ赤に染まり、CrashLoopBackOffに陥っていたのです。

慌ててターミナルを開き、kubectl describe podでログを確認すると、見慣れたエラーメッセージが表示されていました。

Out of memory: Kill process 28415 (python3) score 942 or sacrifice child
Killed process 28415 (python3) total-vm:18452140kB, anon-rss:15984120kB

原因は明白でした。Pandasを使って3.2GB(約2,200万行のログ)のCSVファイルを読み込んでいたPythonのCronJobです。ワーカーノードには16GBのRAMが割り当てられていたにもかかわらず、あっけなくクラッシュしてしまったのです。

問題の本質は、PandasのEager Evaluation(先行評価)の仕組みにあります。データをすべて一括でメモリ上にロードする上、Pythonオブジェクトのオーバーヘッドが重なるため、実際のメモリ消費量はディスク上のファイルサイズの4〜5倍にまで膨れ上がります。そこへmergeやカラム生成を1つ追加しただけで、LinuxカーネルのOOM Killerが即座にプロセスを強制終了(SIGKILL)してしまいます。

ワーカーノードのメモリを増設するのは、コストがかさむだけの一時しのぎにすぎません。そこで、パイプラインをPolarsで全面的に書き直すことにしました。PolarsはApache Arrowをベースとし、Rustで実装されたDataFrameライブラリです。最大の強みは、GILに縛られずマルチコアCPUをフル活用できる点と、実行前にクエリを最適化するLazy Evaluation(遅延評価)機構を備えている点にあります。

本番環境へのPolarsの導入

Polarsはビルド済みのバイナリwheelが配布されているため、コンテナやステージングサーバーにRustコンパイラをインストールする必要はありません。

pipによるコアパッケージのインストール:

pip install --upgrade polars

パイプラインでParquetの読み書きを行ったり、PostgreSQLやClickHouseから直接データを取得したりする場合は、以下のパッケージも追加でインストールしてください。

pip install pyarrow connectorx fsspec

旧世代のVPSをご利用の際の注意点:標準のPolarsはAVX2命令セットを活用しています。AVX2をサポートしていない古いCPU環境にデプロイする場合は、専用の互換ビルドを使用してください。

pip install polars-lts-cpu

発想の転換:EagerからLazy Execution(遅延実行)へ

Polarsを使い始めたばかりの人は、つい従来の癖でpl.read_csv()を呼んでしまいがちです。しかし、この関数はPandasと同様に全データをメモリに読み込んでしまいます。OOMを根本から解決するには、pl.scan_csv()やpl.scan_parquet()を使用してLazyFrameを生成する必要があります。

以下は、エラーログを抽出してユーザーごとの売上を集計するために実際に書き直したコードです。

import polars as pl

# 1. LazyFrameの初期化 - この時点では1バイトもメモリに読み込まれない
lazy_df = pl.scan_csv(
    "/var/log/app/transactions_large.csv",
    has_header=True,
    separator=",",
    low_memory=True
)

# 2. クエリプランの構築
query = (
    lazy_df
    .filter(pl.col("status") == "FAILED")
    .filter(pl.col("amount") > 0)
    .with_columns([
        pl.col("timestamp").str.strptime(pl.Datetime, "%Y-%m-%d %H:%M:%S"),
        pl.col("error_code").fill_null("UNKNOWN")
    ])
    # 正規表現でtxn_idを抽出
    .with_columns(
        pl.col("raw_message").str.extract(r"TXN_([A-Z0-9]+)", 1).alias("txn_id")
    )
    .group_by(["user_id", "error_code"])
    .agg([
        pl.len().alias("fail_count"),
        pl.col("amount").sum().alias("total_failed_amount")
    ])
    .sort("fail_count", descending=True)
)

# 3. ストリーミング計算のトリガー:マイクロバッチ単位で処理
result_df = query.collect(streaming=True)

# 結果をParquet形式で出力
result_df.write_parquet("/var/log/app/summary_failed.parquet")
print("ジョブが正常に完了しました。メモリ上限にも達していません!")

正規表現に関するちょっとしたTips:TXN_([A-Z0-9]+)は生ログからトランザクションIDを取り出すためのものです。深夜の緊急デバッグ時にわざわざテストスクリプトを書くのは時間がもったいないため、toolcraft.app/ja/tools/developer/regex-tester のRegex Testerにログのサンプルを貼り付け、ブラウザ上でキャプチャグループの挙動を直接確認してからコードに組み込みました。

なぜLazy Executionはメモリを大幅に節約できるのか?

  • Predicate Pushdown(述語プッシュダウン): Polarsはstatus == 'FAILED'のようなフィルタ条件を検出し、ディスクからファイルを読み込む段階で即座に適用します。成功した行はI/Oレベルでスキップされ、そもそもメモリに読み込まれません。
  • Projection Pushdown(射影プッシュダウン): ファイルに35列あっても、クエリで必要なのが5列だけであれば、Polarsはその5列のみをパースし、残りの30列は完全に無視します。
  • Streaming Engine(ストリーミングエンジン): collect(streaming=True)を呼び出すと、PolarsはデータをL3キャッシュやRAMのサイズに最適化された小さなバッチに分割して処理します。これにより、50GBのファイルであっても8GBのメモリ環境で軽快に処理することが可能になります。

ベンチマーク検証:本番サーバーでのPolars vs Pandas

インシデントチケットをクローズする前に、同じ3.2GBのログファイルを用いて両者のパフォーマンスを計測しました。

1. 実行前のクエリプランの確認

Polarsがフィルタ処理をディスク読み込み層まで適切に押し下げているか(プッシュダウンされているか)を確認するには、以下のコマンドでプランを出力します。

print(query.explain())

上位層にSELECTION: Noneが表示され、下位層にPROJECT 5/35 COLUMNSやPREDICATEが現れていれば、クエリが理想的に最適化されている証拠です。

2. 実リソース消費量の計測(psutil)

import time
import psutil
import os

def get_mem_mb():
    return psutil.Process(os.getpid()).memory_info().rss / (1024 * 1024)

start_time = time.time()
print(f"初期メモリ使用量: {get_mem_mb():.1f} MB")

df = query.collect(streaming=True)

print(f"ピーク時メモリ使用量: {get_mem_mb():.1f} MB")
print(f"処理時間: {time.time() - start_time:.2f}s")

8 vCPU・16GB RAMのVMにおける実測結果

  • Pandas 2.2: メモリ消費のピークは15.2GBに達し、実行時間は84秒。他のサービスが同時に動作していれば確実にOOMが発生する極めて危険な状態でした。
  • Polars 0.20(Streaming): ピーク時のメモリ消費量はわずか820MBに抑制。実行時間も11.2秒へと大幅に短縮されました。8コアすべてのCPU使用率が均等に90〜95%でフル活用されていました。

この深夜のトラブルを機に、チームでは500MB以上のファイルを処理するパイプラインをすべてPolarsへと刷新しました。その結果、Kubernetesクラスターは極めて安定稼働するようになり、Podのメモリリミットも16GBから2GBへと大幅に引き下げられ、毎月数百ドルのクラウドコスト削減にも成功しました。

Share: