実験・実装 · 基礎から応用へ

minor・majorページフォルトを観察する

匿名マッピングに初めて触れる前後で、自分のプロセスのフォルト統計を比べます。minorとmajorの違いと、回数から断定できないことを確認します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 自分のプロセスだけで試す
  2. ページごとに読み、次に書く
  3. minorとmajorを、必要になった処理で区別する
  4. 差分にも、実験以外の動きが入る
  5. majorを必ず発生させる実験ではない
  6. この記事をロゲイアに質問する理解を確かめる

自分のプロセスだけで試す

LinuxとPython標準ライブラリのmmap、resourceを使い、16MiBの匿名マッピングを作ります。管理者権限や外部ファイルは不要で、共有ホストのページキャッシュを消す操作もしません。最初の読み取りと、その後の書き込みの前後で、自分のプロセスの累積カウンターを記録します。調べたいのはメモリへアクセスした際のOSの処理であり、例外でプログラムが停止することではありません。通常のページフォルトは、OSが処理を行ってからプログラムを再開できる事象です。実験用の領域を小さく限定し、メモリを使い尽くして差を作ろうとしないでください。

ページごとに読み、次に書く

コードは実機の基本ページサイズを取得し、その間隔で1バイトずつ読みます。新しい匿名領域が0で読めることを確かめた後、同じ位置へ1を書きます。読み取り後と書き込み後のカウンターの差を分けてください。匿名ページの読み取りと、書き込み可能なページを用意する処理は同じとは限りません。ページサイズを4096と決めつけず取得しますが、取得した値がその領域で実際に使われた全ページの大きさまで列挙するわけではありません。透明な巨大ページなども、回数の解釈へ影響し得ます。

python
import mmap, os, resource
size = 16 * 1024 * 1024
page = os.sysconf('SC_PAGE_SIZE')
def faults():
    r = resource.getrusage(resource.RUSAGE_SELF)
    return r.ru_minflt, r.ru_majflt
print('page', page, 'before', faults())
with mmap.mmap(-1, size) as region:
    assert all(region[i] == 0 for i in range(0, size, page))
    print('after-read', faults())
    for i in range(0, size, page):
        region[i] = 1
    assert all(region[i] == 1 for i in range(0, size, page))
    print('after-write', faults())

minorとmajorを、必要になった処理で区別する

getrusageのminorは、処理のためにストレージからページを読み込む必要がなかったフォルトを数えます。majorは読み込みを必要としたフォルトです。minorだから無費用という意味ではなく、ページ表や割り当てなどの処理を伴うことがあります。反対に、majorが0ならディスクを使う操作を一切していない、と結論づけることもできません。ここで読んでいるのはメモリアクセスに関連するフォルト統計であり、全I/Oの件数ではないためです。カウンター名を、処理時間や物理ページの総数へ読み替えないことが重要です。

差分にも、実験以外の動きが入る

resource.getrusageが返す値は累積値なので、各段階の値を引いて差分を求めます。同じプロセスではPythonの実行、結果の表示、オブジェクトの割り当ても動きます。したがって増えた回数のすべてを、ループで触れた位置だけへ厳密に対応させられるわけではありません。最初と2回目の実行、領域の大きさ、アクセス順を一つずつ変え、環境条件を残して比較します。数値がページ数とぴったり一致しない場合も、まず測定範囲とページの扱いを確認してください。期待した数へ合わせるために、観測値を補正してはいけません。

majorを必ず発生させる実験ではない

この匿名領域の小実験では、majorが0のままでも異常ではありません。majorを必ず発生させるためにシステム全体のキャッシュを消したり、メモリを大量に消費したりする手順は含めていません。ファイルマッピングで試す場合も、ファイルがページキャッシュにあれば読み込みは不要なことがあります。結果には取得日時、領域サイズ、ページサイズ、各段階の二つのカウンターを残してください。公開例の数値と一致することを成功条件にせず、ゼロ初期化と書き込みの確認、処理区間の区別、観測値の記録ができたかを確認します。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 6

AI基盤へ進む · STEP 6

学習コースから次を選ぶ