実験・実装 · 基礎から応用へ

RSSと仮想サイズの違いを計測する

仮想領域の確保と実際の書き込みを分け、Linuxの仮想サイズ・RSS・最大RSSを同じ量として読まない練習をします。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 三つの数値を、先に定義する
  2. 確保、書き込み、解放の三段階を記録する
  3. 仮想領域が増えても、同量のRSSとは限らない
  4. 最大RSSは、解放後も下がらない
  5. リークの判断には、繰り返した履歴が要る
  6. この記事をロゲイアに質問する理解を確かめる

三つの数値を、先に定義する

仮想サイズは、そのプロセスのアドレス空間で使う領域の大きさを表します。RSSは現在メモリ上にあるページに関する量で、getrusageの最大RSSは過去の最大値です。この三つを「使用メモリ」という一つのラベルでまとめると、確保と解放の意味を取り違えます。この実験ではLinuxの/proc/self/statmとresourceを使い、自分のプロセスを観察します。管理者権限は不要ですが、/procを提供しない環境では実行できません。16MiBの小さな匿名領域だけを使い、OSのメモリ不足を発生させる操作はしません。

確保、書き込み、解放の三段階を記録する

mmapで領域を確保した直後に一回、基本ページサイズごとに書き込んだ後に一回、閉じた後にもう一回記録します。statmの先頭二列はページ数なので、実機のページサイズを掛けてバイトへ直します。Linuxのru_maxrssはKiBで、ここでは表示名に単位を付けます。書き込みループで全領域へ一定間隔に触れるため、最初の確保だけを見たときとの差を比べられます。ただしPythonの内部割り当てや結果の出力も同じプロセス内で動きます。差分のすべてを、作った領域だけへ厳密に帰属させないようにしてください。

python
import mmap, os, resource
page = os.sysconf('SC_PAGE_SIZE')
def snapshot(label):
    with open('/proc/self/statm') as stat:
        size, resident, *_ = map(int, stat.read().split())
    peak = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
    print(label, 'virtual-bytes', size * page, 'rss-bytes', resident * page, 'peak-KiB', peak)
snapshot('before')
region = mmap.mmap(-1, 16 * 1024 * 1024)
try:
    snapshot('mapped')
    for offset in range(0, len(region), page):
        region[offset] = 1
    snapshot('touched')
finally:
    region.close()
snapshot('closed')

仮想領域が増えても、同量のRSSとは限らない

匿名領域の確保では、アドレス範囲が用意された時点と、その各部分へ実際にアクセスした時点で必要な処理が異なり得ます。したがって、仮想サイズが増えた直後のRSS増加が小さくても、すぐメモリリークとは判断しません。逆に、RSSが小さいことだけで今後もメモリを必要としないとはいえません。ページへ書き込めば、追加の物理的な裏付けが必要になることがあります。透明な巨大ページ、共有、スワップなども読み方に関係します。この実験では、数値が16MiBだけぴったり変わることを成功条件にはしません。

最大RSSは、解放後も下がらない

過去の最大値は、現在の利用量が減っても通常は減りません。領域を閉じた後でru_maxrssが高いままでも、それだけで解放に失敗したとは判断できません。現在のRSSやマッピングの変化と合わせて調べます。また、statmのRSS値は、カーネルの集計方法の都合で近似的な値になる場合があります。より詳しい調査にはsmapsやsmaps_rollupなどが候補ですが、取得費用も異なります。どのインターフェースで何を測ったかを残し、別の監視画面の数値が違うというだけで、どちらかが誤っていると決めつけないようにします。

リークの判断には、繰り返した履歴が要る

一回の確保と解放だけで、アプリケーション全体のリークを診断することはできません。同じ仕事を繰り返しても回復しない増加があるか、保持されているオブジェクトや未解放のマッピングが何かを別に調べます。言語のアロケーターが再利用のため領域を保持する場合も、利用者のオブジェクトが残る場合と区別する必要があります。ここでは、単位と時点をそろえて数値を読む基礎を確認します。観察した表には、実行日時、OS、Python、領域サイズ、ページサイズを添え、他環境でも同じ増減幅になるとは約束しないでください。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 6

AI基盤へ進む · STEP 6

学習コースから次を選ぶ