体系ガイド · 基礎から応用へ

事前学習・微調整・生成・KVキャッシュ

事前学習・微調整・生成を分け、prefillとdecode、KVキャッシュのメモリ費用を見積もる。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 次のトークンを予測する学習
  2. 微調整は重みを変える操作
  3. プロンプトへ資料を入れても通常は学習しない
  4. prefillとdecodeを分けて測る
  5. KVキャッシュの式を具体的に計算する
  6. キャッシュの見積もりと装置の必要容量
  7. 生成設定は正しさの証明にならない
  8. 二要求の容量を検算する
  9. この記事をロゲイアに質問する理解を確かめる

次のトークンを予測する学習

自己回帰言語モデルの事前学習では、既に現れたトークンを条件に、次のトークンの分布を予測する目的を使えます。たとえば「東京は日本の」に続く学習対象が「首都」に対応する単位なら、その正解へ割り当てる確率を高めるよう重みを更新します。ただし実際の分割はトークナイザに依存し、「首都」が常に一トークンとは限りません。文章の統計的な規則を予測する目的なので、資料中の誤りや古い情報も学習し得ます。予測損失が下がったことと、個々の事実を正確に答えることは別の検査です。

微調整は重みを変える操作

微調整は追加のデータや損失を使ってパラメータを更新します。全ての重みを更新する方法も、一部や追加した小さな行列だけを学習する方法もあります。形式をそろえた応答を学ばせる目的と、新しい文書を参照させる目的では、必要なデータや評価が違います。微調整へ同じ例を何度も入れれば、その例に似た出力は増えても、未知の質問への正しさまで保証されません。訓練に使った例をそのまま最終評価へ混ぜず、対象外の質問や以前できた課題も確認して、過学習や忘却を見つけます。

プロンプトへ資料を入れても通常は学習しない

推論時に参考資料をプロンプトへ追加する操作は、通常その要求の中でモデルの重みを更新しません。変わるのは、今回の生成が条件とする入力です。RAGなら、文書を選ぶ検索処理がこの入力を組み立てます。一方、長い資料を渡すほど、トークン数、処理時間、KVキャッシュの必要量は増えます。資料の更新を索引へ反映したことと、実際にその資料が選ばれたことも別です。質問と取得文書、モデル版、生成設定を記録すれば、回答の変化が微調整によるものか、検索結果の変化によるものかを調べやすくなります。

prefillとdecodeを分けて測る

prefillは、既にそろっている入力列を処理する段階です。decodeでは、その状態を使いながら次のトークンを選び、選ばれたトークンを次の計算へ渡すことを繰り返します。最初のトークンまでの時間が短くても、残りの生成が遅ければ回答全体は遅くなります。反対に大量のトークンを高速に出せても、最初の応答まで長く待たされるサービスは使いにくい場合があります。測定には入力長、生成長、同時要求数、待ち行列の時間を含め、最初の出力までと生成中の間隔を分けて記録します。

KVキャッシュの式を具体的に計算する

因果的なTransformerでは、過去トークンのKeyとValueを再利用し、各段階で過去全体の射影を計算し直す費用を減らせます。単純化して層数L、保存トークン数T、KV head数H、head次元d、要素のバイト数bなら、保持量は約2LTHdbです。L=2、T=100、H=4、d=8、b=2なら25,600バイトです。これを4要求分保持し、他の条件が同じなら102,400バイトになります。先頭の2はKeyとValueの二種類を表します。Queryのhead数とKVのhead数が異なる構成では、式にどちらを入れるかを取り違えないようにします。

キャッシュの見積もりと装置の必要容量

この式はKVキャッシュだけの概算で、モデルの重み、一時的な作業領域、実装の管理情報、空き領域の断片化は含みません。要求ごとに長さが違えば、最大長の領域を一律に予約する方法と、必要に応じて割り当てる方法でも容量効率が変わります。共通の接頭辞を再利用する実装では、トークン列、モデル、設定が一致する範囲だけが対象で、似た文章なら同じキャッシュを使ってよいわけではありません。利用者間で共有する場合には、機密情報、権限、保持期間も別に設計します。容量が収まることと安全に共有できることを混同しないようにします。

生成設定は正しさの証明にならない

温度やtop-pなどは、予測した分布からどの候補を選ぶかを調整します。温度を下げることだけで、資料に存在しない答えが正しくなるわけではありません。また同じ設定名でも、対応する範囲や乱数の扱いは実装によって異なります。比較ではモデルと設定を保存し、同じ質問を必要に応じて繰り返して揺れを確認します。検査対象には根拠のある質問、資料不足、長い文脈、権限外の要求を含めます。速度を上げる変更の後も、回答の品質と、答えを控えるべき場面での挙動を再評価します。

二要求の容量を検算する

最後に、同じモデルへ長さ100と200の二要求を渡す場合を計算します。先ほどの係数2LHdbは、一トークン当たり256バイトなので、合計300トークンでは76,800バイトです。最大長200の領域を両方へ一律に用意すれば102,400バイトとなり、その差は25,600バイトです。この差は予約方式の例であり、特定実装の無駄量を測定した値ではありません。生成が進むと保存トークン数も増えるため、入力時点の見積もりだけで実行中の上限を決めないようにします。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 20

学習コースから次を選ぶ