遠いのは仮想アドレスではない
NUMAでは、CPUとメモリの接続経路が一様ではありません。あるCPUからローカルなノードのページを読む場合と、別ノードのページを読む場合では、遅延や利用できる帯域が異なることがあります。仮想アドレスの数値が大きいから遠いという意味ではありません。同じポインタ値でも、実行CPUや物理ページの配置が変われば経路は変わります。調査では「スレッドをどこで動かすか」と「使うページがどこにあるか」を別の状態として記録します。CPUを一つのノードへ固定しただけで、すでに割り当てた全ページまで自動で移動するとは考えません。
初期化したスレッドを確認する
大きな匿名配列を一つのスレッドで書いて初期化し、その後複数ノードのスレッドへ分ける例を考えます。ポリシーや空き容量が許すなら、最初の書き込みで確保したページが初期化スレッド側のノードへ集まる場合があります。後で仕事を半分ずつ配っても、ページは片側に偏ったままかもしれません。担当スレッドが自分の範囲を初期化する方法を比較候補にできます。ただし読み取り専用の最初のアクセス、共有ページ、巨大ページなどでは割り当ての扱いが異なる場合があるので、「first touch」の一語だけで全動作を決めつけません。
ポリシーの範囲と制約を読む
Linuxのメモリポリシーには、ノードを優先する方法や、複数ノードへインターリーブする方法などがあります。ポリシーを設定する対象がタスク全体か、ある写像かでも範囲が変わります。cpusetなどの管理上の制限があるなら、それによって利用できるノードも制約されます。ポリシーを変更しただけで、変更前に確保したページの場所まで必ず変わるわけではありません。新しい割り当てと、既存ページの移動を別々の操作として確認します。指定した設定だけでなく、実際に許可されたノード、配置されたページ、実行されたCPUを照合します。
ローカル配置と帯域分散を比べる
すべてを一つのノードへ近づければ常に最速とは限りません。多くのスレッドが同じメモリコントローラへ集中すると、その帯域が上限になる場合があります。インターリーブは、ページを複数ノードへ分散して帯域を使う方法の一つです。一方で、個々のアクセスの遠隔割合や遅延が増える場合もあります。処理がレイテンシに敏感なのか、連続した大量転送に支配されるのかで適した配置が変わります。共有データへの書き込みでは、NUMA間の距離に加えてキャッシュコヒーレンスによる転送も関わるため、ページ配置だけで原因を説明しません。
配置カウンタを実際の遠隔読取りと混同しない
numastatやプロセスのNUMA関連情報は、配置や割り当ての様子を調べる材料になります。ただし、そこで得た数をそのままCPUが行った遠隔ロードの総数と読んではいけません。カウンタの単位、累積か区間か、対象プロセスか全体かを確認します。ハードウェアのイベント計測も、対応CPUや権限によって利用できるものが変わります。証拠が足りないときは「遠隔参照が原因と確定」と書かず、配置の偏りと処理時間の変化が整合するかを調べます。観測していない実機の帯域やレイテンシを、説明用の例の数字として紛れ込ませないことも重要です。
一つずつ条件を変えて結論を限定する
同じ入力で、初期化方法だけを変える比較、CPU配置だけを変える比較、メモリポリシーだけを変える比較を分けます。実行回数、ページサイズ、負荷、ウォームアップも記録します。ページ移動そのものに時間がかかるため、短い処理では配置の改善費用を回収できない場合があります。処理結果の一致を確かめ、開始直後と定常状態を別に見ると、初期化費用と継続的なアクセスの違いが分かります。このページは調査の組み立て方を示すものであり、特定のNUMA機で比較実験を実施した結果ではありません。結論は実際に確認した条件へ限定します。