どの階層のデータ移動を数えるか決める
GPU性能を考える際は、演算回数だけでなくデータをどこからどこへ移すかを定めます。装置内の大容量メモリから演算部へ読む費用と、ホストから装置へ送る費用は別です。演算強度Iは、指定した境界を通るバイト数Mに対する演算数Cの比C/Mです。同じ計算でもキャッシュや再利用の仕方でMが変わります。ソースコード上の配列の大きさを、そのまま実際の転送量と決めつけません。まず対象の区間と、FLOPの数え方、バイトの単位を明記します。
二つの下限を計算する
有効な演算能力をP FLOP/s、帯域をW byte/sとすると、演算の時間下限はC/P、転送の下限はM/Wです。両方を満たす必要があるので、理想化した全体の下限は少なくともmax(C/P,M/W)です。例えばC=10⁹ FLOP、M=2×10⁸ byte、P=10¹² FLOP/s、W=10¹¹ byte/sなら、それぞれ1msと2msで、下限は2msです。これは仮の能力と処理量による計算で、実機で2msを達成したという測定ではありません。二つを必ず足して3msとするモデルとも区別します。
演算強度と折れ曲がりの位置を見る
この例の演算強度は5 FLOP/byteです。演算能力と帯域の比P/Wは10 FLOP/byteなので、強度5では帯域側が厳しい下限になります。性能の上限をmin(P,W×I)と見るRooflineの考え方です。ただし、ピーク値を使った上限へ実装が必ず届くとは限りません。命令の種類、並列性、アクセスの整列、占有率などで有効な能力は変わります。帯域律速という言葉は計測対象とモデルの下での説明であり、全ての入力長やバッチでも同じボトルネックが続くという意味ではありません。
再利用で同じ重みを何回読むか変わる
重み行列を複数の入力で再利用できれば、一件当たりの転送量が減り、演算強度が上がる場合があります。バッチ化が性能へ効く一つの理由です。ただしバッチを増やすと活性やKVキャッシュ、待ち行列も増えるため、重みの再利用だけを見て無限に大きくしません。prefillの多位置の行列演算と、短いdecodeの演算では形状と再利用の余地が異なります。入力分布をそろえ、一要求の待ち時間と全体の処理量を別に比べます。同じ総演算数でもデータの動かし方で時間が変わります。
量子化と転送の節約を実測で確かめる
重みの表現を小さくすると転送量を減らせる可能性がありますが、復元や未対応の演算で費用が増えることもあります。整数の格子をPythonで計算しただけでは、装置が圧縮形式で読み出したとは言えません。実測ではモデルの型、カーネル、同期、転送を含む範囲、ウォームアップを記録します。実行中の別の負荷や温度なども結果へ影響するため、一回の時間だけで一般的な速度差を結論しません。メモリ使用量、転送量、待ち時間は関連していても同じ指標ではありません。
予算の計算を最適化の仮説にする
課題では、演算数を固定して転送量を半分にした場合、例の下限が2msから1msへ変わることを計算します。次に演算能力だけを2倍にしても、元の転送量なら下限が2msのままである理由を説明してください。合格の観点は、どの資源を改善したかと、その改善が効く条件を示せることです。計算した下限をベンチマーク結果と呼びません。実機を使う段階では同じ条件で変更前後を測り、予想と違う場合に転送・形状・実装のどこが仮定と違ったかを調べます。