生き残る量と作った量を分ける
メモリ使用量が一定でも、短命なオブジェクトを大量に作って捨てている場合があります。割り当てプロファイルは、そのような作成量や作成回数を調べる材料です。ヒープの現在量は残っている量、累積割り当て量は一定の観測範囲で作った量として分けます。例えば毎要求で大きな一時バッファを作り、最後に解放する処理では、現在量が戻っても累積量は増えます。これをそのままリークと呼ぶのは不適切です。一方、割り当てと回収には費用があるため、保持が増えていなくても性能の調査対象になります。
プロファイルのサンプル種類を選ぶ
pprofでメモリのプロファイルを扱う場合、inuse_spaceとalloc_space、inuse_objectsとalloc_objectsなど、保持と累積、バイト数と個数を区別する表示があります。実際に含まれる種類や意味は、プロファイルを生成した実装に依存します。表示名を選んだだけで、収集していない量を完全に再現できるわけではありません。既定で選ばれたサンプル種類も確認します。同じ場所がバイト数では大きく、個数では小さいなら、大きなオブジェクトを少数作っている可能性があります。数値の単位と収集側の設定を一緒に記録します。
同じ仕事あたりの量へそろえる
100要求で100MiBを割り当てた実装と、1000要求で200MiBを割り当てた実装を、累積量だけで比べません。単純な一要求当たりの目安は前者が1MiB、後者が0.2MiBです。ただし要求の長さや内容が違えば、この比較にも前提が必要です。観測期間、ウォームアップ、入力サイズ、成功件数をそろえ、同じ正しい結果を得た仕事で比較します。失敗した要求を多く捨てたために量が減ったなら、改善とは言えません。プロセス起動からの累積値と、短い区間の差分も分けて扱います。
短命なコピーが多い経路を探す
文字列をループのたびにつなぎ直す、同じデータを複数の形式へ変換する、共通の処理で毎回大きな配列を作るといった経路が候補になります。プロファイル上の割り当て元を見つけたら、呼び出し回数と必要な仕事を照合します。バッファの再利用やまとめた出力を試せますが、再利用する領域の所有権や並行アクセスには注意が必要です。保持するプールを無制限に増やすと、割り当て回数を減らしても常駐量が増える場合があります。作成費用の削減と保持容量の増加を、別々の指標で確認します。
サンプリングと回収タイミングを読む
割り当てプロファイルには、すべての確保を完全に列挙するのではなく、標本から量を推定する方式があります。小さな差やまれな経路は安定して見えない場合があります。また、生存量の表示がどの回収時点に対応するかも確認します。測定のためにGCを強制したなら、その条件を記録し、通常運用と同じ状態だとは扱いません。収集自体にも負荷があるので、必要な期間と精度を選びます。CPU時間、GCの回数や停止時間、待ち時間を合わせると、割り当ての減少が利用者の体験へつながったかを評価しやすくなります。
Pythonのスナップショットとは目的が違う
Pythonのtracemallocで処理前後のスナップショットを比較すると、その時点に残る追跡ブロックの差を見られます。しかし、二つの時点の間に作られて解放された全オブジェクトの累積量を、単純な差だけから復元できるわけではありません。短命な確保を調べたいなら、その量を記録する収集方式を選びます。道具を変える際にも、同じ単位を測っているかを確認します。ここで示した要求数とMiBの数字は比較方法の計算例で、特定のアプリケーションの測定結果ではありません。目的の量を集めてから、必要な最適化を判断します。