配置とアクセスの近さを分ける
NUMA環境では、CPUとメモリの組合せによってアクセスの距離や帯域が変わります。numastatはノード別のメモリ配置や割当て統計を調べる道具で、意図したノードへ割り当てられているかを考える入口になります。ただしメモリがどこに置かれたかと、どのCPUがどれだけ読んだかは別の情報です。ノード0のメモリ量が大きいという一行だけから、リモートアクセスによる性能低下を証明することはできません。
ノード別の割当てを見る
numastat -p 1234は例のプロセスのノード別メモリ配置を読む命令です。実際のPIDに置き換え、numactl --hardwareなどでノードとCPUの対応を把握します。first touchによる初回割当て、メモリ方針、既存の配置、ページ移動が結果に影響します。ここでは実行結果の数値を仮定せず、CPU0で初期化しCPU1で処理するような配置のずれが起き得ることを考えます。ノード番号は速さの順位ではありません。
numactl --hardware
numastat -p 1234numa_missはリモート読出し回数ではない
引数なしのnumastatが示すnuma_hitやnuma_missなどは、メモリ割当ての成功先や意図したノードとの関係に関するカウンタです。numa_missを、そのままリモートのメモリ読み出し命令数だと思わないようにします。起動以来の累積値やページ数の表示と、-pのメモリ量の表示も区別します。現在の問題を調べるなら同じ窓の差分や、プロセスのCPU割当て、実行時間を合わせて見ます。
CPU配置と一緒に比較する
対策としてCPUとメモリの割当てをそろえる、初期化を実際の処理スレッドへ分散する、用途に応じてinterleaveを検討する方法があります。ノード固定は一方の空き容量や帯域へ偏りを作る場合があり、自動NUMAバランシングとの関係も確認します。配置変更の効果は、作業集合やアクセスパターンで異なります。アプリの性能とCPU移動、実際のアクセスに関する追加観測を組み合わせ、配置統計だけで最適化の成功を宣言しません。