Posted inPython

NumbaでPythonを100倍高速化：遅すぎる「forループ」の悩みから解放される方法

Python tutorial - IT technology blog
Python tutorial - IT technology blog

Pythonにおける「forループ」という悩み

私は普段、デプロイスクリプトからモニタリングの警告システムまで、自動化ツールの作成にPythonをよく使用しています。Pythonは構文が明快で読みやすいため非常に優れていますが、大量の計算や数百万件のレコード処理が必要になると、最大の弱点である「速度」が露呈します。

行列処理のために二重ループを書いたことがある人なら、CPU使用率が100%に跳ね上がっているのになかなか結果が終わらない、という経験があるはずです。以前は、その部分をC++やCythonで書き直すしかありませんでしたが、正直なところ、手動のメモリ管理や複雑なポインタを扱いたい人は少ないでしょう。そこで私がここ半年間、プロダクション環境で採用しているのがNumbaです。

Numbaとは何か、なぜこれほど速いのか？

簡単に言うと、NumbaはJIT（Just-In-Time）コンパイラです。Pythonインタプリタが1行ずつコードを読み取って実行する代わりに、Numbaは実行時にコードを直接マシンコード（機械語）に変換します。LLVMを利用して、非常に深いレベルでパフォーマンスを最適化します。

Numbaの真価は、数値計算やNumPy配列の処理で最も発揮されます。@jitデコレータを追加すると、Numbaはデータ型を分析し、CやFortranのコンパイラと同じような方法でその関数を最適化します。

実践：インストールと最初の例

Numbaはpipで簡単にインストールできます。環境を汚さないよう、仮想環境（venv）の使用をお勧めします。

pip install numba numpy

典型的な例として、1,000万個の数値の二乗和を計算してみましょう。純粋なPythonとNumbaを比較して、その違いを確認します。

import time
import numpy as np
from numba import njit

# 純粋なPython関数
def sum_sq_python(n):
    result = 0
    for i in range(n):
        result += i**2
    return result

# Numbaを使用する関数 - この1行を追加するだけ
@njit
def sum_sq_numba(n):
    result = 0
    for i in range(n):
        result += i**2
    return result

# 1,000万個の要素でテスト
n = 10_000_000

start = time.time()
sum_sq_python(n)
print(f"純粋なPython: {time.time() - start:.4f}s")

# 1回目の実行：Numbaはコンパイルに時間を要する
start = time.time()
sum_sq_numba(n)
print(f"Numba 1回目（コンパイル含む）: {time.time() - start:.4f}s")

# 2回目の実行：キャッシュされたマシンコードを使用
start = time.time()
sum_sq_numba(n)
print(f"Numba 2回目（即時実行）: {time.time() - start:.4f}s")

私の環境での結果は驚くべきものでした。純粋なPythonでは約0.72秒かかりましたが、Numbaの2回目の実行ではわずか0.00001秒でした。速度が7万倍以上も向上したことになります！

Chế độ nopython=True: Bí mật của hiệu suất

上の例で使用した@njitは、実際には@jit(nopython=True)の略記です。これが推奨される最適なモードです。このモードでは、NumbaはPythonインタプリタを介さずに関数全体をコンパイルします。

関数内に未知のデータ型が含まれている場合、Numbaはすぐにエラーを出します。これは、「オブジェクトモード」で密かに低速実行されるよりもはるかに優れています。私のコツは、常に@njitを使用することです。エラーが出た場合は、低速な実行を受け入れるのではなく、コードを修正して最適化に合わせるようにしましょう。

NumPy và Numba: Cặp bài trùng hoàn hảo

NumbaはNumPyのために生まれたと言っても過言ではありません。複雑なカスタム数式を扱う場合、NumbaはNumPyの標準的なベクトル化関数よりも配列上のループを効率的に最適化できることさえあります。

@njit
def process_array(arr):
    rows, cols = arr.shape
    out = np.empty_like(arr)
    for i in range(rows):
        for j in range(cols):
            # ベクトル化が難しい複雑な数式
            out[i, j] = np.sin(arr[i, j]) + np.cos(arr[i, j])
    return out

data = np.random.randn(5000, 5000)

以前は「Pythonでforループを使うのは避けろ」とよく言われていました。しかし、Numbaを使えばこの考え方は逆転します。理解しやすいようにループを書き、速度についてはNumbaに任せればよいのです。

Tận dụng đa nhân CPU với Parallel=True

自動並列化（auto-parallelization）は、私が特にお気に入りの機能です。parallel=Trueを追加し、rangeをprangeに変更するだけで、Numbaは作業をすべてのCPUコアに自動的に分散してくれます。

from numba import njit, prange

@njit(parallel=True)
def parallel_sum(arr):
    s = 0
    for i in prange(arr.shape[0]):
        s += arr[i]
    return s

注意：parallel=Trueは、十分に大きなデータ配列に対してのみ使用してください。小さなタスクでは、スレッド管理のオーバーヘッドにより、通常よりも実行が遅くなる可能性があります。

Những lưu ý thực tế sau 6 tháng sử dụng

強力なツールですが、Numbaは万能ではありません。私が学んだ4つの教訓を共有します：

  • ライブラリのサポート制限： NumbaはPandasやScikit-learnの複雑なオブジェクトを直接理解できません。処理の前にデータをNumPy配列に変換する必要があります。
  • 初回実行の遅延： Numbaはコンパイルを行うため、関数の初回呼び出しは遅くなります。CLIツールのように一度だけ実行して終了するスクリプトの場合、全体の時間はあまり改善されないかもしれません。
  • データ型への厳格さ： マシンコードにコンパイルするため、Numbaは非常に厳格です。一つの変数が整数だったり文字列だったりすることは許されません。
  • デバッグの難しさ： コンパイルされた関数内にブレークポイントを置くのは困難です。@njitを付ける前に、純粋なPythonでロジックのデバッグを済ませておきましょう。

Lời kết

Numbaを使えば、新しい言語を学んだりコード構造を大幅に変更したりすることなく、パフォーマンスの問題を解決できます。もし数値処理スクリプトが遅いと感じているなら、最も時間のかかっている関数に@njitを付けてみてください。C言語並みのスピードが、あなたの.pyファイルの中で手に入ります。試してみない手はありません。

Share:
Tags: