概念・定理図鑑 · 基礎から応用へ

コピーオンライト:変更が必要になるまで複製を遅らせる

fork後の親子の値を追い、共有、書き込み保護、ページの分離、メモリ使用量の見積もりを具体例で考えます。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 独立した値を、最初から二組保存するとは限らない
  2. 書き込みを検出してから対応を変える
  3. xが7の状態から親子を追う
  4. 変更したバイト数と複製の単位は違う
  5. fork直後だけを測ると費用を見落とす
  6. 共有ページの数え方と安全な実験
  7. 共有を終える処理も設計に含める
  8. この記事をロゲイアに質問する理解を確かめる

独立した値を、最初から二組保存するとは限らない

コピーオンライト(COW)は、変更が必要になるまでデータの複製を遅らせる方法です。Linuxのforkで子プロセスを作ると、通常の私有メモリは親子で独立した値を持つように振る舞います。ただし、その意味を実現するために全ページの内容を最初から二組へコピーする必要はありません。親子のページ表を同じ物理ページへ対応させ、必要な箇所を後から分離することで、読み取りしか行わないページの複製を省けます。ここで分けるべきなのは、プログラムから見た値の独立性と、その瞬間の物理的な保存方法です。前者を守りながら後者の費用を節約するのがCOWです。

書き込みを検出してから対応を変える

共有中の私有ページには書き込み保護を設定し、書こうとしたときにフォルトとして検出できるようにします。OSは、その書き込みが領域の契約上は許されるCOW処理なのか、もともと禁止された操作なのかを確認します。分離が必要なら新しい物理ページを用意して内容を移し、書き込む側の対応先を変えます。その後に命令を再開すれば、もう一方のプロセスから見える値を変えずに書き込めます。ただし、他の参照がなくなってページを独占できる場合など、実装が既存ページを再利用できることもあります。「書き込みフォルトが一回なら必ず一ページをコピーした」と計測値を読み替えないでください。

xが7の状態から親子を追う

親の私有領域にx=7がある状態でforkし、子がxを9へ変更する例を考えます。fork直後は両方が7を読みます。子の書き込みを処理した後、子は9、親は引き続き7を読みます。さらに親が11を書けば、それ以降の親の値は11ですが、子の9には影響しません。この例は、双方が同じ変数名と同じ数値の仮想アドレスを使えることと矛盾しません。アドレス空間と対応先が別だからです。一方、MAP_SHAREDなど明示的な共有方式を選んだ領域は別の契約です。私有領域のCOWという説明を、共有メモリやファイル記述子の状態まで一律に広げてはいけません。

変更したバイト数と複製の単位は違う

説明用に4KiBページを二つ共有しているとします。子が最初のページ内の1バイトだけを書き換えても、管理の単位がページなら、そのページ全体の分離が必要になる場合があります。同じページへ続けて100回書いても、既に分離したページを毎回新しく複製するとは限りません。反対に、100個の異なるページへ1バイトずつ書けば、少ない変更量でも多くのページの準備が発生し得ます。費用を見積もるには、書き込みの総バイト数だけでなく、初めて変更したページの数と分布を見る必要があります。巨大ページやページの分割が関わる実機では、4KiBという仮定を外した追加の確認も必要です。

fork直後だけを測ると費用を見落とす

fork後すぐにexecでプログラムを置き換える子は、古い私有ページをほとんど変更せずに済む場合があります。このとき遅延した複製の多くは、結局不要になります。反対に、子が大量のページを書き換えるなら、fork後にフォルト処理や確保、複製の負担が現れます。forkが速かったという一つの結果だけでは、仕事全体が速くなったとも、ピークメモリが少ないとも判断できません。生成、子の初期処理、実際の書き込み、終了までの区間を分けて観察してください。fork自体にもプロセス構造やページ表を準備する費用があるので、COWを使えばプロセス生成が無条件で定数時間になるという理解も誤りです。

共有ページの数え方と安全な実験

親子それぞれのRSSを足すと、双方から常駐して見える共有ページを二重に数える場合があります。PSSのように共有分を按分する指標でも、取得時点や対象範囲をそろえる必要があります。実験では私有領域を用意し、親子の読み書きの順序を明示し、待ち合わせと子の回収まで行います。フォルト数は補助的に記録できますが、カーネルの処理や他の割り当ても含まれ得るため、物理コピー回数そのものとは呼びません。また、マルチスレッドのプログラムからforkした子では、execまでに安全に呼べる処理が制限されます。単純な一プロセスの例で確認した手順を、そのまま実サービスへ持ち込まないことも大切です。

共有を終える処理も設計に含める

COWで複製を遅らせても、参照の寿命を管理する仕事は残ります。子が終了したり対応を解除したりした後、親だけがそのページを参照しているなら、共有時とは異なる処理が可能になります。逆に、長く生存する子が多数のページを参照し続けると、親側の更新でも分離の費用が続く場合があります。プロセス数だけでなく、どの領域を誰がいつまで保持するかを確認してください。特に、短時間で終わる子を使った実験の結果を、長く生存するワーカーを増やした構成へそのまま一般化すると、ピーク時のメモリや遅延を見誤ります。終了と対応解除を含むライフサイクルで共有を考えると、遅延した費用がどこに現れるかを説明しやすくなります。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 5

AI基盤へ進む · STEP 6

学習コースから次を選ぶ