確保した量と、最近使った範囲を分ける
大きな配列を確保したプログラムが、その全領域へ同時に触れるとは限りません。逆に確保量が同じ二つの仕事でも、広い範囲を繰り返し使う方がメモリ階層へ別の負荷をかける場合があります。ワーキングセットは、最近のある範囲で参照したページの集合として、仕事が今使う領域を考えるためのモデルです。どれだけ最近かという窓の定義を付けず、固定のバイト数だけで語らないようにします。
今回の模型では、ページ番号の参照列を入力とし、最後の何参照を窓にするかで集合を数えます。実OSの時間やスケジューリングされた実行時間で窓を定義する研究・実装とは、そのまま同じ量ではありません。まず窓を宣言した小例で、集合の大きさが変わる理由を確認します。仮想アドレスの範囲、確保済み領域、常駐しているページ、最近触ったページという四つの尺度を、同じメモリ使用量へまとめないことが目標です。
同じ列を二つの窓で数える
参照列を0、1、2、3、0、4、1、5とします。最後の4参照は0、4、1、5なので、集合は{0,1,4,5}、大きさ4です。最後の8参照なら{0,1,2,3,4,5}で大きさ6です。同じ実行時点でも、窓が違えばワーキングセットの答えが変わります。窓内の参照回数8と、異なるページ数6も別です。同じページへ何度触れても集合では一つと数えます。
窓を動かす際は、ページが窓から一回出たからといって直ちに集合から消せるとは限りません。同じページの別の参照がまだ残るなら所属は続きます。頻度表を使う実装と、今回のように小さい窓を切り出してsetで数える実装を区別します。前者は更新を効率化できますが、観測する概念は同じです。表現の工夫と、窓の意味を同時に変えないようにしてください。
| 参照窓 | 窓内の列 | 異なるページ数 |
|---|---|---|
| 最後の4参照 | 0,4,1,5 | 4 |
| 最後の8参照 | 0,1,2,3,0,4,1,5 | 6 |
二つの仕事を合計するときの条件
仕事Aが{0,1,2,3}、Bが{2,3,4,5}を使うと、単純な集合の合計は8、和集合は6です。ただし、二つのプロセスで同じ仮想ページ番号が同じ物理ページを表すとは限りません。今回の和集合6は、二つの参照が共通のページID空間を使う模型での計算です。別々のプロセスの仮想番号をそのまま合わせ、実RAMが6ページで足りると結論してはいけません。
共有ライブラリの読取り専用ページ、コピーオンライトで分かれたページ、プライベートなヒープなど、共有の条件によって合算の意味が変わります。RSSをプロセスごとに足した値と、物理的に重複を除いた量が一致しない理由もここへつながります。常駐量の配分を考える際には、誰のどのアドレス空間か、どの共有物理ページか、どの計測APIの値かを揃えます。集合の簡単な式をそのままOSの会計値へ適用しないでください。
参照模型を実行して確認する
掲載コードは二つの窓のページ集合と大きさを表示し、4と6をassertします。二仕事の集合でも合計8・和集合6を確認します。ページフォルトやRSSは取得していません。出力の最後にも仮想ページ集合の模型であることを示します。小さな参照列なら、紙で重複を消して得た結果とコードを一行ずつ照合できます。コードが実行できたことと、実OSのページ置換を再現したことを分けて記録します。
実データへ広げるなら、どの粒度のページへアドレスを丸めたか、どのイベントを参照と数えたか、参照を取り逃がす観測かを決める必要があります。サンプリングしたトレースは完全な参照列ではありません。巨大ページやファイルのマッピングがある場合も、単純な固定ページの模型との差を説明します。観測できた範囲が狭いからといって、見えなかった参照はないと仮定しないことが大切です。
references=[0,1,2,3,0,4,1,5]
for window in [4,8]:
pages=set(references[max(0,len(references)-window):]);print('window=',window,'pages=',sorted(pages),'size=',len(pages))
assert len(set(references[-4:]))==4 and len(set(references[-8:]))==6
left={0,1,2,3};right={2,3,4,5}
assert len(left)+len(right)==8 and len(left|right)==6
print('two virtual-page sets: sum=8 union=6; not a physical RSS measurement')
ページフォルトを全部ディスク読出しとしない
ページフォルトには、必要なページが物理メモリへまだ割り当てられていない場合や、権限・マッピングの処理、コピーオンライトなど、異なる状況があります。OSのmajorとminorのカウンタの意味を確かめず、合計をそのままストレージへの読出し回数にしてはいけません。ページが既に別の場所へキャッシュされている場合などもあります。例外が起きたことと、媒体から待って読んだことを分けます。
メモリへ収まらない広い範囲を繰り返し触ると、ページを入れ替える仕事が増え、利用者の計算が進みにくくなる場合があります。ただし経過時間の増加だけから、その原因をページ置換と断定しません。CPU、I/O、常駐量、フォルトの区分などを同じ期間で観測します。模型はどのページが必要かを考える道具で、実機の遅延を単独で説明する万能な診断ではありません。既存のvmstatやメモリ観測の記事へ接続して確認します。
処理の単位を変えて局所性を考える
同じデータを処理する場合も、全利用者の全列を少しずつ横断する方法と、一利用者の必要な列をまとめて終える方法では、短い窓に現れるページ集合が違います。第3段階の行・列アクセスの実験ともつながります。バッチを大きくすると共有の準備を減らせる一方、同時に保持する領域や要求の待ち時間が増えることがあります。ワーキングセットを小さくする一つの指標だけで、バッチを無条件に小さくしません。
実験するときは、結果の一致と訪問したデータの総量を保ち、処理順だけを変える条件を作ります。準備や出力の時間も区別します。メモリ上の配置を変えた場合は、参照順とレイアウトという二要因を分けて記録します。設定を変更した後の一回のRSSの値だけで、最近使う領域も同じ方向へ変化したと決めないでください。モデルの量、常駐の量、利用者が待った時間を同じ表の別の列として評価します。
窓から外れたページは、直ちに消えるわけではない
参照窓の集合からページ2が外れても、OSがその瞬間に物理メモリからページ2を追い出したという意味ではありません。ワーキングセットの模型は最近の参照の性質で、実際の常駐状態の命令ではないためです。同じページへ少し後で戻れば、まだ常駐していて軽く処理できる場合もあります。模型の集合の更新と、実OSの置換イベントを一対一へ対応させないでください。
逆に窓へ現れたページでも、計測APIがどのタイミングで常駐を数えたかによって、別の値が見えることがあります。観測するイベントとsnapshotを取る時点を揃えます。トレースから必要ページを数える目的と、現在どこにデータがあるかを調べる目的を分けておけば、一方の数字が変わらなかったことを他方の計算の失敗と誤解しにくくなります。模型と観測は互いを補う資料ですが、片方の名前で他方の値を呼ばないようにします。
窓幅への感度を結果へ残す
窓を一つだけ選ぶと、仕事の周期との偶然の関係を見落とす場合があります。たとえば四ページを何度も走査する仕事へ、たまに広い管理領域を触る処理が入ると、窓がその参照を含むかで集合が変わります。窓幅を複数にし、参照列のどの位置で数えたかを保存すると、一時的な広がりと繰り返す局所性を分けて説明しやすくなります。
比較する二方式で同じ窓の定義を使うことも必要です。片方を最後の100参照、もう一方を最後の1秒とし、数値だけを並べれば違う尺度です。入力、ページの粒度、窓、測定点を揃えた感度の表を作り、結論がどの条件で変わるかを確認します。今回の二窓の小例はその入口であり、特定アプリの全時間帯を測定した資料ではありません。必要な次のトレースを選ぶ判断へつなげます。
窓と共有の前提を答える課題
課題は参照列1、2、1、3、4、1の最後の3参照と最後の6参照の集合を求めることです。解答は最後の3が{1,3,4}で大きさ3、全6が{1,2,3,4}で大きさ4です。参照回数が倍になっても、集合の大きさが倍になるわけではありません。窓を参照の件数で定義したことを答えへ添え、実時間3秒の窓と同じものへ読み替えないでください。
追加課題は二プロセスで仮想ページ番号1と2を使う場合、必要な物理ページ数は必ず2かという問いです。解答は、その情報だけでは分からない、です。共有マッピングか別の物理ページかを確認する必要があります。最後に、RSSが大きく変わらずフォルトだけ減った場合も、最近の参照と常駐の量が別の尺度なので矛盾ではないことを説明します。集合の定義、IDの範囲、測定API、性能の解釈を分けて答えてください。