実験・実装 · 基礎から応用へ

fork後のCopy-on-writeを観察する

privateな領域をforkで引き継ぎ、子の書き込みが親の値を変えないことを確かめる。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 共有メモリと区別して準備する
  2. 子で2を書き、親で1を確認する
  3. コピーの観測として言える範囲
  4. 実アプリへの一般化に注意する
  5. この記事をロゲイアに質問する理解を確かめる

共有メモリと区別して準備する

Linuxの単一スレッドのPythonプロセスで、privateな匿名マッピングを用意します。256ページの先頭を1で埋めてからforkします。親子は同じ仮想アドレスの内容を引き継ぎますが、このprivateな領域を片方が更新しても他方の内容まで更新する契約ではありません。MAP_SHAREDでは別の実験になります。マルチスレッドのアプリから不用意にforkすると、ロック状態など別の問題が入るため、独立した短いプログラムとして実行します。

子で2を書き、親で1を確認する

次のコードでは子が全ページの先頭を2に書き換え、パイプで自分の値を親へ知らせます。親は子の終了を待ってから、自分の値が1のままであることを確認します。sleepの長さに依存せず、パイプとwaitpidで順序をつけます。両方の画面出力を直接競争させないので、出力順序による誤解も減ります。終了コードを確認し、子が失敗した結果を正常な観察として扱わないようにします。

python
import mmap, os, resource
page = os.sysconf("SC_PAGE_SIZE")
m = mmap.mmap(-1, page * 256,
    flags=mmap.MAP_PRIVATE | mmap.MAP_ANONYMOUS,
    prot=mmap.PROT_READ | mmap.PROT_WRITE)
for i in range(0, len(m), page): m[i] = 1
read_fd, write_fd = os.pipe()
pid = os.fork()
if pid == 0:
    os.close(read_fd)
    before = resource.getrusage(resource.RUSAGE_SELF).ru_minflt
    for i in range(0, len(m), page): m[i] = 2
    delta = resource.getrusage(resource.RUSAGE_SELF).ru_minflt - before
    os.write(write_fd, f"child={m[0]}, minor_delta={delta}".encode())
    os.close(write_fd)
    os._exit(0)
os.close(write_fd)
print(os.read(read_fd, 4096).decode())
os.close(read_fd)
_, status = os.waitpid(pid, 0)
assert os.waitstatus_to_exitcode(status) == 0
print("parent=", m[0])
assert m[0] == 1
m.close()

コピーの観測として言える範囲

子の値2と親の値1は、書き込み後の内容が分離されることを示します。子でminor faultが増えることは、書き込みに伴うページ処理と整合します。ただし、この数値だけで物理ページの共有率を正確に測定したとは言えません。Pythonの内部状態の書き換えでもfaultが起こります。LinuxのforkでCopy-on-writeが使われるという仕様と、実験で観察した独立性を合わせて理解します。物理アドレスを読み出す必要はありません。

実アプリへの一般化に注意する

fork直後のメモリ消費が小さくても、子が大量の状態を変更すればコピーされる領域が増えます。長い寿命の子や、参照カウントの更新が多い処理では期待ほど共有が残らない場合があります。逆に、読取専用の大きな領域は共有の利益を得やすい場合があります。必要ならPSSやprivate dirtyも調べますが、測定中のページ状態の変化に注意します。実験後は子を回収し、パイプとマッピングを閉じます。

子で変更したデータを親へ渡したい場合には、別途IPCやsharedマッピングが必要です。forkで同じ変数名を使えることと、同じ可変状態を共有することを混同しないでください。パイプで送った文字列は、メモリ共有ではなく明示的な通信の結果です。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 6

AI基盤へ進む · STEP 6

学習コースから次を選ぶ