体系ガイド · 基礎から応用へ

KVキャッシュの容量を計算する

GQAのKV head数と割当て方式を含めて容量を計算し、実データ長・予約長・モデル全体のメモリを区別します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 保存する軸を式へ並べる
  2. query headとKV headを混同しない
  3. バイトとMiBで具体的に計算する
  4. 実長と予約長を別々に積む
  5. 生成上限と並列化も容量設計へ含める
  6. 模型で検算してから実機へ進む
  7. この記事をロゲイアに質問する理解を確かめる

保存する軸を式へ並べる

通常のAttentionで各層のkeyとvalueを保存すると、要素数は2×層数L×KV head数Hkv×head次元d×保存位置数です。各要素がbバイトなら、それを掛けて容量を求めます。等しい長さTの要求B件なら保存位置数はBTですが、長さが違えば各要求のTを合計します。式の2はkeyとvalueの二つを表し、バッチ数ではありません。ここで数えるのはキャッシュのテンソル本体です。モデルの重みや一時的なAttention計算用の領域は含めず、後から別に足します。

query headとKV headを混同しない

Multi-head AttentionではqueryとKVのhead数が同じ構成がありますが、GQAやMQAでは複数のquery headがKVを共有します。例えばquery head32、KV head8の構成なら、キャッシュ式に入れるのは8です。32を使うと同じ条件で4倍の見積もりになります。一方、どのモデルも必ずこの共有を行うわけではないため、モデル設定のhead数とhead次元を確認してください。隠れ次元をquery head数で割った値が常に全ての実装のhead次元を表す、とも決めつけず、保存される形状を優先して調べます。

バイトとMiBで具体的に計算する

L=24、Hkv=8、d=64、B=4、T=2048、b=2なら、容量は402653184バイト、つまり384MiBです。1MiB=2²⁰バイトで換算しました。10進のMBへ直す場合は別の数値になるため、単位を混ぜません。要求数を8へ増やせば同じ長さでは768MiB、長さを4096へ増やしても768MiBです。これはテンソル本体だけの算術例で、実機へ確保できた容量ではありません。head数、層数、型が異なるモデルへ同じ384を流用せず、設定値から計算し直します。

実長と予約長を別々に積む

二要求の長さが1と17でも、16位置単位のページで割り当てると予約位置数は16+32=48です。実位置数18とは違います。最大64位置を二要求へ固定予約する実装なら128位置を確保する場合もあります。prefix共有、スライディングウィンドウ、ページ管理などで式へ入れる保存位置数が変わりますが、メタデータや断片化の追加費用もあります。理論上の使用量、割当て方式での予約量、装置で観測した使用量を区別し、都合の良い一つだけを報告しないようにします。

生成上限と並列化も容量設計へ含める

要求を受け入れる時点では、入力長だけでなく今後生成する長さも増えます。最大出力を予約するのか、途中で追加確保して上限に達したらどうするかを設計します。複数GPUへ分散する場合も、KV headの分割・複製や通信方式によって一台当たりの量は変わり、単純にGPU台数で割れるとは限りません。重み、作業領域、通信バッファ、他要求の使用量を引いた残りがキャッシュに使える枠です。容量不足を避けるには、式だけでなく受入れ制御と実測の余裕も必要です。

模型で検算してから実機へ進む

対応する実験では、小さな設定と要求長の列から使用量・ページ予約・最大長予約を計算します。GPUやモデルのダウンロードは必要ありません。課題は、384MiBの例を再計算し、query head32を誤って使うと1536MiBになる理由を説明することです。合格の観点は、各軸と単位を説明し、式の結果をモデル全体のGPU必要量と呼ばないことです。実機では対象の設定と割当て方式を記録し、キャッシュ使用の観測値と照合します。初回待ちや生成速度の改善は別の指標で確かめます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 20

学習コースから次を選ぶ