体系ガイド · 基礎から応用へ

LLM推論のprefillとdecodeを分けて考える

入力を処理するprefillと逐次生成するdecodeを、計算量・KVキャッシュ・計測区間から分けて説明します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 最初の出力までと、その後を分ける
  2. 同時に処理できる部分が違う
  3. キャッシュが省く計算を特定する
  4. 仮想の時間線で合計を検算する
  5. 長さ別に負荷をそろえて測る
  6. 改善する区間から方法を選ぶ
  7. この記事をロゲイアに質問する理解を確かめる

最初の出力までと、その後を分ける

自己回帰のDecoderモデルでは、まず入力列を処理するprefillで過去の表現や次トークンのスコアを計算します。最初のトークンを選んだ後は、新しい位置を追加しながらdecodeを繰り返します。実装や計測で最初の一回をどちらへ数えるかが異なる場合があるため、操作の境界を定義してください。例えば五トークンを返すとき、最初の選択がprefillの出力から行われる説明なら、その後の生成間隔は四つです。単に出力五個だからdecode時間を五倍する、と決めないようにします。

同時に処理できる部分が違う

prefillでは入力の複数位置をまとめて計算でき、行列演算の並列性を使いやすくなります。因果マスクが必要でも、訓練や入力処理の全位置を一個ずつ呼び出す必要はありません。一方、通常の自己回帰decodeでは次の入力が直前の選択へ依存するため、一要求の未生成トークンを全て同時に確定できません。複数要求をまとめることや投機的な方法は別の工夫です。「GPUは並列だから文章全体を一度で生成できる」とは説明せず、位置間の依存と要求間の並列を区別します。

キャッシュが省く計算を特定する

KVキャッシュは過去位置のkeyとvalueを保存し、新しいqueryで参照できるようにします。過去位置の全処理を毎回やり直すことを避けますが、既存のkeyとのAttentionや、新しい位置の射影・MLPなどが不要になるわけではありません。単純な全結合自己注意の位置の組合せはprefillで入力長の二乗、新しい一位置のAttentionでは既存長に応じて増えます。ただしモデル全体の費用には重みの読出しや別の層もあるため、この項だけで実時間を予測しません。キャッシュの容量と再利用する範囲も確認します。

仮想の時間線で合計を検算する

待ち行列20ms、prefill100ms、最初のトークン選択をその末尾へ含め、その後の四間隔が各10msという仮想例なら、最初の出力まで120ms、五個目まで160msです。通信や検索を除いた説明用モデルであり、実機の性能値ではありません。検索が50ms加われば、その区間を加えて初回出力まで170msになります。サーバー内のprefillが100msだったという記録だけでは、利用者の初回待ち時間を説明できません。タイムスタンプの始点と終点を対応させ、同じ区間を重複して加算しないでください。

長さ別に負荷をそろえて測る

比較では入力長、出力長、同時要求数、バッチ方式、モデルと精度をそろえます。入力が短い要求と長い要求を混ぜた平均だけでは、prefill側の変化を見落とします。decodeの間隔も、生成が進んでキャッシュが伸びると変わる場合があります。GPUの処理は非同期に発行されることがあるため、ホスト側の呼出し時間だけを実行時間と呼ばず、適切な同期や計測手段を使います。ウォームアップ、キャッシュの既存状態、キャンセルを記録し、平均だけでなく分布と完了率を確認します。

改善する区間から方法を選ぶ

初回待ちが大きいなら検索・待ち行列・prefillのどこに時間があるかを先に分けます。生成中の間隔が長いなら、decodeの重み読出し、KV参照、同時要求の影響を調べます。資料を減らす、キャッシュを再利用する、バッチを変える操作は別の費用と品質の影響を持ちます。練習では五個の出力を十個へ変え、同じ仮定なら最終時刻が210msになることを検算してください。合格の観点は、最初の出力と後続間隔を別々に説明し、計算模型と実測を混同しないことです。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 20

学習コースから次を選ぶ