どのメモリを観察するかを決める
ヒープのプロファイルを読む前に、対象が現在生きているオブジェクトなのか、確保した累積量なのかを確認します。PythonのtracemallocはPythonが追跡するメモリブロックの割り当て元を調べる道具です。OSが報告するプロセスのRSSと同じ量ではありません。ネイティブ拡張が別に確保したメモリや、アロケータがOSへ返さず保持する領域などは、計数の境界が異なります。RSSだけが増えた場合も、Pythonの生存オブジェクトが必ず増えたと決めつけません。どの計測で見えた増加かを先に固定します。
追跡を開始する時点をそろえる
割り当てを追うには、調べたい処理より前にtracemalloc.startを呼ぶか、起動時のオプションで追跡を始めます。開始前のすべての割り当てが後から自動的に復元されるとは考えません。保存するスタックの深さも情報量と費用に関わります。一行の情報だけでは、同じ補助関数を別の経路から呼んだケースを区別しにくい場合があります。ウォームアップやモジュール読み込みを含めるかも決めます。処理前後の比較では同じ追跡設定を使い、基準点が何を含むかを記録してからスナップショットを取ります。
二つのスナップショットを比較する
基準のスナップショットを取り、同じ処理を一定回数実行した後で次のスナップショットを取ります。compare_toで行やトレースバックごとの増減を確認できます。増えた場所は、現在残っているブロックがどこで割り当てられたかを示す手掛かりです。しかし、その行がなぜ保持し続けているかまでは一意に分かりません。キャッシュ、グローバル変数、キュー、循環参照など、参照を残す側が別の場所にある場合があります。割り当て元と保持の原因を分け、オブジェクトの寿命を決めるデータ構造を追加で調べます。
現在量とピークを区別する
get_traced_memoryは現在の追跡量と、追跡中のピークを返します。大きな一時リストを作ってから参照を外すと、現在量は下がってもピークは高いままの場合があります。ピークが高いことだけでリークとは言えません。逆に、要求のたびに現在量が戻らず増えるなら、無制限な保持の候補です。ただし意図したキャッシュの充填もあるため、入力をそろえて複数回観察し、上限に達するかを確かめます。単発のグラフの傾きだけでは、長期間の無限増加を証明できません。ピークをリセットした区間も明示します。
小さな再現例から保持を確かめる
検証では、大きさを制限したbytearrayをリストへ保存し、現在量を読み、リストへの参照を外した後で再び読みます。追跡量とRSSが同時に同じだけ下がることまでは期待しません。アロケータが領域を保持する場合があるためです。出力の具体的なバイト数はPythonの版や周囲の割り当てにも依存します。比較では「保持した後に追跡量が増えた」「解放後の現在量とピークが異なる」といった、コードの操作と対応する観測を記録します。このような局所的な例で道具の意味を確かめてから、本体の処理へ対象を広げます。
import gc, tracemalloc
tracemalloc.start(5)
before = tracemalloc.take_snapshot()
items = [bytearray(4096) for _ in range(64)]
held, peak = tracemalloc.get_traced_memory()
assert held > 0 and peak >= held
print('top retained differences', tracemalloc.take_snapshot().compare_to(before, 'lineno')[:3])
del items
gc.collect()
current, final_peak = tracemalloc.get_traced_memory()
print({'held_bytes': held, 'current_bytes': current, 'peak_bytes': final_peak})
assert final_peak >= current
tracemalloc.stop()取得の費用と出力内容を管理する
スナップショットの取得や深いスタックの保存には、時間とメモリの費用があります。本番で常時深く追跡する前に、短い区間で影響を調べます。プロファイルのファイル名やパスにも内部の構成情報が含まれるため、共有範囲を確認します。追跡を止めれば診断情報が失われる場合もあるので、必要な比較を済ませてから終了します。対処は、保持する件数に上限を設ける、参照の所有権を見直す、不要なコピーを減らすなど、分かった原因へ結び付けます。単にGCを繰り返すことを、すべてのメモリ増加の解決策にはしません。