実験・実装 · 基礎から応用へ

モデル設定からKVキャッシュ容量を計算する

要求ごとの長さとページ割当てから、KVキャッシュの使用量・予約量・最大長予約を別々に計算します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 本体の容量だけを計算する
  2. 三つの割当て方針を決める
  3. 標準ライブラリで実行する
  4. 一位置増えたときの段差を観察する
  5. 出力の伸びを受入れ時に考える
  6. 使用と予約を別の列で報告する
  7. この記事をロゲイアに質問する理解を確かめる

本体の容量だけを計算する

この実験はGPUへメモリを確保せず、KVキャッシュのテンソル本体のバイト数を計算します。二層、KV head二つ、head次元4、各要素2バイトとすると、一位置あたり2×2×2×4×2=64バイトです。先頭の2はkeyとvalueを表します。二要求の現在長を1と17に置き、実際に保存する位置数と、割当て方針が予約する位置数を比べます。モデルの重みや一時領域、ページの管理情報は計算に含めません。式が数えている対象を限定することが、実機の使用量との比較の前提になります。

三つの割当て方針を決める

使用量は二要求の現在長の和18へ64を掛けます。ページ方式では要求ごとに16位置単位で切り上げるため、1は16、17は32になります。最大長予約では各要求へ64位置を最初から確保する仮定を置きます。ページ方式で、合計18を一回だけ切り上げて32とするのは別の割当て模型です。今回は要求間で端の空きを共有しないと定義しています。prefix共有やスライディングウィンドウも使わず、方針の違いだけを切り出すことで数値を追いやすくします。

標準ライブラリで実行する

Python 3とmathだけを使います。capacity.pyへ保存し、python capacity.pyで実行してください。使用量1152、ページ予約3072、最大長予約8192バイトが表示されます。さらにガイドの24層、KV head8、次元64、四要求、長さ2048、2バイトの例も計算し、384MiBになることを確認します。assertは式と単位の検算であり、装置へ確保できたことを示すものではありません。外部データやサービスは使わず、作成したスクリプト以外の片付けは不要です。

python
import math
layers, kv_heads, head_dim, element_bytes = 2, 2, 4, 2
lengths, page, maximum = [1, 17], 16, 64
per_token = 2*layers*kv_heads*head_dim*element_bytes
live = sum(lengths)*per_token
paged = sum(math.ceil(t/page)*page for t in lengths)*per_token
reserved = len(lengths)*maximum*per_token
print('bytes per token', per_token)
print('live/paged/max reserved', live, paged, reserved)
assert (live, paged, reserved) == (1152, 3072, 8192)
large = 2*24*8*64*4*2048*2
print('large cache MiB', large/(2**20))
assert large == 402653184

一位置増えたときの段差を観察する

長さ17を16へ減らすと、二要求のページ予約は16+16=32位置となり、2048バイトへ減ります。逆に16から17への一位置の増加だけで、ページ方式では一ページ分1024バイト増えます。使用量は64バイトしか増えません。この段差は計算ミスではなく、今回定めた割当て単位から生じます。ページサイズを8へ変えた場合も、各要求を別々に切り上げてください。細かいページが常に最速とは限らず、管理やアクセスの費用との比較はこの容量計算には含まれていません。

出力の伸びを受入れ時に考える

現在長だけで要求を受け入れると、生成の進行で枠を超える場合があります。最大長64という設定が入力と今後の出力を合わせるのかを明確にし、長さが上限を超える要求をどう扱うか決めます。コードのmaximumを小さくしたときは、単なる予約式の計算に加えて長さの妥当性検査も必要です。また量子化で要素のバイト数を減らす場合は、尺度や管理情報が別に増える可能性があります。算術上2バイトを1バイトに変えることと、実装がその形式で保存できることを区別してください。

使用と予約を別の列で報告する

課題は長さ[1,16]、[1,17]、[16,32]について三つのバイト数を表にすることです。合格の観点は、要求別の切り上げ、key/valueの係数、MiB換算を説明できることです。得た数字をモデル全体のメモリ量や同時実行性能へ直接置き換えません。実機へ進むときは、モデルの版、実際のテンソル形状、dtype、割当て方針を記録し、使用量と予約量を別々に観測します。差がある場合は重み、一時領域、管理情報、他要求を順に調べ、式の間違いと追加費用を切り分けます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 20

学習コースから次を選ぶ