実験・実装 · 基礎から応用へ

mmapと初回アクセスを観察する

Linuxの匿名マッピングを作り、予約・初回読み取り・初回書き込みを分けて観察する。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 準備と観察対象
  2. ページ単位で読む・書く
  3. ページフォルトはディスクI/Oとは限らない
  4. 条件を変えた後の比較
  5. この記事をロゲイアに質問する理解を確かめる

準備と観察対象

LinuxとPython 3で、16MiBのprivateな匿名マッピングを作ります。ファイルや実DBは変更しません。mmapでアドレス範囲ができたことと、すべてのページに専用の物理メモリが割り当て済みであることは別です。この実験ではページの先頭だけを順に読み、その後に書きます。resourceのminor faultとmajor faultの累積値を各段階で記録します。コンテナのメモリ制限に余裕がない場合はsizeを小さくしてください。

ページ単位で読む・書く

次のコードを保存し、通常のPythonで実行します。ページサイズは4096と決め打ちせずos.sysconfで取得します。最初の走査は各ページのゼロを読み、次の走査は1を書きます。連続する全バイトへ書く方法と違い、ページごとの接触を追いやすくしています。出力は累積カウンタなので、mappedからread、readからwrittenへの差を比較します。Python自身の処理でもカウンタが動くため、差をそのままマッピングのページ数と一致させる検査にはしません。

python
import mmap, os, resource
page = os.sysconf("SC_PAGE_SIZE")
size = 16 * 1024 * 1024
m = mmap.mmap(-1, size, flags=mmap.MAP_PRIVATE | mmap.MAP_ANONYMOUS,
              prot=mmap.PROT_READ | mmap.PROT_WRITE)
def faults():
    r = resource.getrusage(resource.RUSAGE_SELF)
    return r.ru_minflt, r.ru_majflt
print("mapped", faults())
assert sum(m[i] for i in range(0, size, page)) == 0
print("read", faults())
for i in range(0, size, page):
    m[i] = 1
print("written", faults())
m.close()

ページフォルトはディスクI/Oとは限らない

初回アクセスでminor faultが増えても、ストレージからページを読み込んだとは限りません。匿名メモリのゼロページや書き込み用ページの用意など、I/Oを必要としない処理でも例外が発生します。major faultはI/Oを伴うページングの指標ですが、この小さい実験で常にゼロになると保証はできません。実行中の別のメモリアクセスや環境にも影響されます。ページフォルトという名称だけで障害やスワップを断定しないでください。

条件を変えた後の比較

同じマッピングをもう一度走査し、初回と再アクセスの違いを調べます。さらにsizeを変え、ページサイズ、Transparent Huge Pages、メモリ圧迫の影響を記録します。小さい匿名領域の観察から、ファイルマッピングや実運用サーバーの遅延まで推定してはいけません。mmap.closeで実験領域を解放します。利用バージョンと条件を残し、実測値はその環境の結果として扱います。期待される仕組みと、その回で得た数値を分けて説明します。

比較用の二回目の走査では同じ領域を使い、新たにmmapを作り直さないようにします。作り直すと、再アクセスのつもりが別の初回接触になります。読み取りと書き込みの順番を入れ替えるときも、新しい独立した実行として記録してください。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 6

AI基盤へ進む · STEP 6

学習コースから次を選ぶ