物理メモリにも距離がある
NUMAではCPUからメモリへ到達する経路が一様ではなく、ノードごとのメモリと接続網を意識する必要があります。ローカルなページへの参照と、別ノードのページへの参照では、遅延や利用できる帯域が違うことがあります。これは仮想アドレスの大小の問題ではありません。プログラムが同じポインタを使い続けても、実行CPUや物理ページの配置が変われば経路は変わります。性能を考えるには、計算の配置とデータの配置を組として追います。
初期化した場所を追う
二つのNUMAノードで、大きな配列をノード0のスレッドだけが書いて初期化したとします。ポリシーと空き容量が許す状況で、その書き込みに伴うページ割り当てがノード0に集まれば、後でノード1のスレッドが配列の半分を処理しても遠隔参照が残ります。各担当スレッドが自分の範囲を初期化する方法なら、配置を利用に近づけられる場合があります。ただし、初回アクセスの規則は割り当て方式やOSの設定に依存し、読み取りだけでは同じ結果になるとは限りません。
固定・分散・移動の使い分け
Linuxのメモリポリシーには、特定ノードを優先したり、複数ノードへ交互に配置したりする選択肢があります。ローカル配置は遅延を抑えやすい一方、全スレッドが同じノードへ集まると帯域や容量を使い切る場合があります。インターリーブはアクセスを複数のメモリコントローラへ分散させる設計です。CPUのアフィニティだけを固定しても、既存ページの配置が自動でそろうとは限りません。ページ移動にもコピーや停止の費用があるため、短い処理では回収できないことがあります。
配置と実際の負荷を同時に確認する
検証では、同じ入力、スレッド数、初期化方法をそろえてから、ノード別の配置や遠隔アクセスの指標と処理時間を比べます。numastatの数値が変わっても、処理がメモリ待ちでなければ全体の時間は改善しないことがあります。共有データが頻繁に更新される場合は、NUMAの距離に加えキャッシュコヒーレンスの転送も関わります。配置の変更で速くなったという結論は、CPU移動、ページサイズ、周波数など他の条件を区別して初めて説明できます。