どこからどこまでを速くするか
GPUの利用を考えるときは、まず利用者の要求が到着してから結果が返るまでの経路を分けます。待ち行列、CPUでの前処理、装置への転送、GPUの演算、結果の転送、後処理は同じ区間ではありません。デバイス上の演算だけが速くなっても、入力転送や待ち時間が大部分なら全体の改善は小さくなります。反対に複数の段階が重なって動く構成では、各段階の時間を単純に足すと二重に数える場合があります。比較する前に、開始・終了のイベントと、同期を待つ位置を決め、同じ範囲を測っていることを確認します。
演算量と転送量の二つの下限
説明用に、ある処理が8GBをデバイスメモリから読み、実効帯域を毎秒400GBと仮定します。読み出しだけでも8/400=0.02秒、つまり20msが必要です。演算量を仮の演算能力で割って5msという別の下限を得ても、処理全体が5msで済むとは言えません。重なりが理想的でも支配的な下限を下回れず、重ならない区間や起動の費用があればさらに長くなります。これらは計算の仕方を示す仮定であり、特定のGPUの測定値ではありません。GBとGiB、秒とミリ秒の単位もそろえて計算します。
データの再利用で費用の形が変わる
一度読み出した重みを複数の入力へ使えれば、入力一件当たりの転送負担を減らせる場合があります。同じ8GBを一件で使う場合と、理想化して八件で共有する場合では、一件当たりの重み読み出し量は8GBと1GBになります。ただし入力や中間値も必要なので、全てのメモリ転送が八分の一になるわけではありません。キャッシュへ収まるか、演算の配置が再利用を可能にするかも実装に依存します。演算数を転送バイト数で割った演算強度は、この関係を考える手がかりですが、装置間転送と装置内の帯域を混ぜて一つの値にしないようにします。
バッチが埋まるまでの待ち時間
バッチ処理は複数の入力をまとめて実行し、準備やデータの再利用を狙います。たとえば16件に達するか10ms待つかで実行する規則なら、低負荷時に最初の要求は追加でおよそ10ms待つ場合があります。これは説明用の設定例です。装置上の一件当たり費用が下がっても、この待ち時間を含む応答が短くなるとは限りません。上限件数、最大待機時間、同時に動かすバッチ数、待ち行列の上限を一組として設計します。期限を過ぎた要求をいつ除くか、過負荷で何を拒否するかも決め、無制限にため込まないようにします。
件数だけでなく長さを管理する
入力の長さが異なると、同じ件数のバッチでも必要な演算量や領域が大きく変わります。長さ10と1000の系列を最大長へそろえるなら、短い系列のためにも余分な処理が生じる構成があります。長さごとのグループ分けや、実トークン数に基づく上限が役立つ場合がありますが、細かく分け過ぎると各グループの待ち時間が増えます。paddingを減らす実装でも全ての費用が消えるわけではありません。件数、入力トークン数、生成途中の長さを記録し、同じ「バッチサイズ」という表示だけで実験条件をそろえたと思わないようにします。
prefill・decodeとKVキャッシュ
LLMでは、入力をまとめて処理するprefillと、次のトークンを逐次選ぶdecodeで演算の形が違います。複数要求を同時に進めると重みの利用効率を上げられる場合がありますが、各要求のKVキャッシュを保持する容量も必要です。要求が終了したり新しく入ったりするときに構成を変える方式では、どの単位で入退場を許すかも待ち時間へ影響します。重みだけがメモリに収まることは、目標の同時実行数が収まることではありません。保存状態、作業領域、実装の余裕を含めて見積もり、容量不足時の退避や再計算の費用も区別します。
測定では非同期実行を意識する
GPUへの処理投入が非同期なら、CPU側で投入関数を呼んで戻るまでの時間だけでは、処理完了までを測れません。実装が提供する同期やイベントを使い、何を待った値かを明示します。初回の準備、ウォームアップ、コンパイルやメモリ確保も結果を変えるため、初回と定常状態を分けて記録します。計測のための同期自体が通常の重なりを変える場合もあります。ここで述べるのは測定設計であり、GPU上の実験を行った結果ではありません。再現時には機種、ソフトウェア版、精度、電力設定、入力分布を残します。
スループットと末尾の遅延で判断する
採用を判断するときは、一秒当たりの処理件数だけでなく、各要求の待ち時間、最初の出力まで、完了まで、失敗や拒否の割合も確認します。負荷を増やして処理量が頭打ちなのに待ち行列だけが伸びるなら、バッチをさらに大きくするだけでは解決しない場合があります。平均値が同じでも、少数の長い要求が短い要求を待たせることがあります。入力長・出力長をそろえた比較と、実際の到着のばらつきを再現した比較を分けます。回答品質や数値誤差も同時に検査し、速くなった代わりに目的を満たさなくなっていないかを確かめます。