概念・定理図鑑 · 基礎から応用へ

NUMAローカリティ:CPUとメモリの距離をそろえる

メモリの配置と実行CPUを分け、初回書き込み・移動・帯域の条件からNUMAを考える。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 物理メモリにも距離がある
  2. 初期化した場所を追う
  3. 固定・分散・移動の使い分け
  4. 配置と実際の負荷を同時に確認する
  5. この記事をロゲイアに質問する理解を確かめる

物理メモリにも距離がある

NUMAではCPUからメモリへ到達する経路が一様ではなく、ノードごとのメモリと接続網を意識する必要があります。ローカルなページへの参照と、別ノードのページへの参照では、遅延や利用できる帯域が違うことがあります。これは仮想アドレスの大小の問題ではありません。プログラムが同じポインタを使い続けても、実行CPUや物理ページの配置が変われば経路は変わります。性能を考えるには、計算の配置とデータの配置を組として追います。

初期化した場所を追う

二つのNUMAノードで、大きな配列をノード0のスレッドだけが書いて初期化したとします。ポリシーと空き容量が許す状況で、その書き込みに伴うページ割り当てがノード0に集まれば、後でノード1のスレッドが配列の半分を処理しても遠隔参照が残ります。各担当スレッドが自分の範囲を初期化する方法なら、配置を利用に近づけられる場合があります。ただし、初回アクセスの規則は割り当て方式やOSの設定に依存し、読み取りだけでは同じ結果になるとは限りません。

固定・分散・移動の使い分け

Linuxのメモリポリシーには、特定ノードを優先したり、複数ノードへ交互に配置したりする選択肢があります。ローカル配置は遅延を抑えやすい一方、全スレッドが同じノードへ集まると帯域や容量を使い切る場合があります。インターリーブはアクセスを複数のメモリコントローラへ分散させる設計です。CPUのアフィニティだけを固定しても、既存ページの配置が自動でそろうとは限りません。ページ移動にもコピーや停止の費用があるため、短い処理では回収できないことがあります。

配置と実際の負荷を同時に確認する

検証では、同じ入力、スレッド数、初期化方法をそろえてから、ノード別の配置や遠隔アクセスの指標と処理時間を比べます。numastatの数値が変わっても、処理がメモリ待ちでなければ全体の時間は改善しないことがあります。共有データが頻繁に更新される場合は、NUMAの距離に加えキャッシュコヒーレンスの転送も関わります。配置の変更で速くなったという結論は、CPU移動、ページサイズ、周波数など他の条件を区別して初めて説明できます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 6

AI基盤へ進む · STEP 6

学習コースから次を選ぶ