体系ガイド · 基礎から応用へ

Rooflineモデルで性能の上限を考える

演算上限・帯域・強度を単位付きで計算し、名目のバイト数と実転送、小さい入力と大きい入力の違いを説明します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 演算と転送を同じ図へ置く
  2. 説明用の上限を計算する
  3. 配列から名目の強度を数える
  4. 小さい入力と大きい入力を分ける
  5. 実機の上限を用意する方法を決める
  6. 上限の下にある理由を切り分ける
  7. 二つの改善候補を同じ模型で比べる
  8. 上限を変える課題と解答
  9. この記事をロゲイアに質問する理解を確かめる

演算と転送を同じ図へ置く

配列の計算が遅いとき、演算器を十分に使えていないのか、データの到着を待っているのかで、試す変更は違います。Rooflineモデルは、計算能力による上限と、データ移動による上限の小さい方を、処理が達し得る性能の目安にする方法です。上限に達することを保証する式ではなく、どこへ調査を進めるかを整理する道具として使います。前提はキャッシュとメモリ階層、SIMD、単位の換算です。実験の速さを読む前に、何回計算し、どの境界を何バイト通るかを決めます。

横軸の強度Iは、対象の演算数を、選んだ階層間を移動するバイト数で割った値です。単位はFLOP/Bです。縦軸は単位時間あたりの演算数で、例えばGFLOP/sを使います。元のRooflineではDRAMとの転送を境界とするoperational intensityを用います。ソースで読み書きする要素数から出した名目の強度と、実際のDRAM転送から出した強度は一致するとは限りません。この区別を省くと、キャッシュ内で再利用した仕事を主記憶の帯域違反と読み違えることがあります。

説明用の上限を計算する

演算側の上限Pを200 GFLOP/s、帯域Bを50 GB/s、強度Iを0.5 FLOP/Bと仮定します。帯域側では50 GB/s×0.5 FLOP/B=25 GFLOP/sです。バイトの単位が消え、毎秒の演算数へ揃います。両方を満たす上限はmin(P, B×I)なので、この条件では25 GFLOP/sです。200へ届かない理由を、加算命令が遅いからと決めつけず、選んだ転送境界に対して使える演算量が少ないという模型として読みます。この三つの数字は教材用の仮定で、今回のCPUで測った値ではありません。

二つの線が交わる強度はP/B=4 FLOP/Bです。強度が4未満なら、この模型では帯域側の線が低くなります。4を超えると演算側の200が低くなります。例えば8 FLOP/Bなら帯域側の計算は400ですが、上限は200です。400を実現できるという予測ではありません。GBを10の9乗バイトで数えるか、GiBを2の30乗で数えるかも揃えます。単位が見た目で似ているからと混ぜると、同じ測定から違う上限を計算してしまいます。

強度(FLOP/B)帯域側(GFLOP/s)小さい方
0.52525
4200200
8400200

配列から名目の強度を数える

単精度のa[i]とb[i]を読んでout[i]へ和を書くなら、要素ごとに加算1回、入力8バイト、出力4バイトです。ソース上の名目は1/12 FLOP/Bになります。倍精度なら同じ加算でもバイト数は24となり、1/24です。ただし実際には書込みのためのライン取得や、出力の書戻しが増える場合もあります。入力がキャッシュへ残っていれば、DRAMから毎回8バイトを読むとも限りません。この計算は配列の仕様から得た値であり、メモリコントローラで測った転送量ではありません。

付属の強度実験では、一つのfloatを読んでレジスタ内でx=0.5x+0.25をq回繰り返し、最後に書きます。融合積和を使わない設定なら、名目の演算数は2q、読み書きは8バイトなので、強度はq/4です。q=1なら0.25、q=16なら4 FLOP/Bになります。ただし計算を追加しているので、同じ問題を速く解く最適化ではありません。転送あたりの演算量を変える実験として扱います。コンパイラが計算を消したり融合したりしていないかも別に確認します。

小さい入力と大きい入力を分ける

同じ配列を何度も走査すると、初回は主記憶へ届いたアクセスでも、後の回はキャッシュだけで済むことがあります。小さい配列の時間から計算した名目のGB/sが、DRAM向けの参考値を上回っても、直ちに測定不良とは限りません。比べている転送境界が違う可能性があります。L1、L2、主記憶のどれを対象にするかを揃え、各境界の帯域を使う階層別のモデルも考えられます。容量の推定には配列一つだけでなく、同時に触る全ての入力、出力、状態を含めます。

実験では小さい領域と大きい領域を別の組として残します。「大きい」と書くだけでキャッシュを必ず超えたとはしません。対象のキャッシュ容量、共有範囲、実行中の仕事も確認します。仮想環境では、見える構成がホスト全体の使い方を完全には示さないため、名目サイズと観測した時間をそのまま報告します。キャッシュを空にしたと言うなら、その操作と対象の階層を示す必要があります。初回であることと、全ての階層が空であることは違います。

実機の上限を用意する方法を決める

実機へモデルを適用するには、同じ精度、命令の数え方、コア数、ISAに対応する演算上限を用意します。広告上の全チップの値を単一スレッドのループへそのまま当てはめません。帯域も、同じスレッド数や配置で得られる持続的な値かを確かめます。CPU名から理論値を計算した場合と、専用カーネルで測った場合を区別します。クロックが変動する環境では、固定周波数を置いた計算と、時間で測った結果の差も残ります。

この教材では200と50を説明用に保ち、実験の時間から実機のRooflineを校正したとは扱いません。PMUがないため、DRAM転送の強度も実測していません。演算と出力の正しさ、実行した命令、名目の演算数とバイト数を確かめることが、今ある証拠の範囲です。将来カウンタを追加するときは、対象イベント、対象区間、同時実行、多重化、単位を記録し、以前の名目値をそのまま実測値へ名前だけ変更しないようにします。

上限の下にある理由を切り分ける

測定した性能が低い線のさらに下にあっても、モデルが間違いとは限りません。依存鎖で演算器を埋められない、SIMD化されていない、ロードを十分に並行できない、短い呼出しの費用が大きい、NUMAで遠い場所を読む、といった理由があります。上限は全ての資源を最適に使うための手順を自動で与えません。まず同じ入力で正しい結果を得ていることを確認し、その後に、命令、配置、繰り返しの条件を一つずつ変えます。

バイト数を減らす変更は、同じ演算数なら横軸を右へ動かす候補です。SIMD化で演算を重ねる変更は、計算側の有効な上限へ近付く候補になります。ただし表現変換のコピーや精度の変更を伴うなら、その費用や仕様の差も含めます。強度を増やすために無意味な計算を足しても、業務の完了は早くなりません。目的を「GFLOP/sを大きく見せる」へすり替えず、同じ仕事を終える時間と必要な資源で改善を判断してください。

二つの改善候補を同じ模型で比べる

強度0.5の処理へ、演算上限だけ200から400へ上げる案と、帯域だけ50から100へ上げる案を比べます。前者の上限はmin(400,25)=25のまま、後者はmin(200,50)=50です。この模型では帯域側の改善が上限を動かします。ただしデータを半分の精度へ変えて名目のバイトを減らすなら、同じ数値の要件を保てるかを別に検証します。上限の式が有利だからという理由で、必要な精度や出力を変えてはいけません。模型の候補を業務の制約へ戻す一段を忘れないでください。

上限を変える課題と解答

課題は、P=200 GFLOP/s、B=50 GB/sを保ち、強度を0.5から2へ変えると上限がいくつになるかです。解答はmin(200,50×2)=100 GFLOP/sです。強度は4倍で、模型の上限も25から100へ4倍になりますが、実行時間が4分の1になる保証ではありません。実装が元々上限へ達していなければ、ほかの制約も残ります。次に帯域だけを100 GB/sへ上げ、強度8で計算すると、min(200,800)=200です。演算側が低いため、帯域の増加はこの上限を変えません。

追加課題として、単精度配列一つの読取りと書込みで、積算1回を加算1回と乗算1回へ分けて数えるq=8のループを考えます。名目は16演算/8バイト=2 FLOP/Bです。これをDRAMの実測強度と呼べるか、という問いの解答は呼べません。再利用と書込みの実装によって実転送が変わるためです。数式の計算と、どの境界の値を使ったかを同時に説明できれば到達点です。強度実験では、この区別を保ったまま標本を集めます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 8

AI基盤へ進む · STEP 5

学習コースから次を選ぶ