概念・定理図鑑 · 基礎から応用へ

コンテキストウィンドウ

入力と出力の長さ予算を計算し、切り詰め・検索・位置情報が文脈の利用へ与える影響を確認します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 上限が何を数えるかを確認する
  2. 出力の余地を先に残す
  3. 切り詰めは意味を変える操作である
  4. 長く受け取れることと使いこなすことを分ける
  5. 費用とKVキャッシュも長さに依存する
  6. 検索と要約を予算の中で比較する
  7. この記事をロゲイアに質問する理解を確かめる

上限が何を数えるかを確認する

文脈長は、モデルが一度の処理で扱うトークン列の長さに関する制約です。設定やモデルの構造によって、入力と生成済み出力を合わせて扱う場合や、Encoder側とDecoder側に別の制約がある場合があります。上限の数値だけを比較せず、何が数えられ、どこでエラーや切り詰めが起きるかを確認します。文字数や文書数とは別の尺度です。またサービスが設ける要求上限がモデルの理論上の設定より小さい場合もあるため、モデル設定と提供側の制約を区別します。

出力の余地を先に残す

説明用に合計上限4096トークン、システム指示256、質問128、資料2000、形式付加112とします。入力合計は2496で、出力へ残せるのは1600です。出力最大1024を予約するなら、資料に割ける上限は4096−256−128−112−1024=2576になります。この例の数値は仮の設定で、全モデル共通ではありません。余白を考えず資料だけを上限まで詰めると、生成途中で停止したり要求が拒否されたりします。最終的な会話テンプレートを適用したID列で予算を確かめます。

切り詰めは意味を変える操作である

長い列を切り詰めれば入力は上限内へ収まりますが、必要な条件や例外が残るとは限りません。冒頭から削ると質問の前提を失い、末尾から削ると質問そのものや結論を失う場合があります。二つの文書を対にした入力では、どちらをどれだけ削るかも規則として必要です。切り詰め前後の長さと、削った部分の役割を記録してください。機密情報を無制限にログへ保存せず、必要な識別情報や区間で追える方法を選びます。長さの検査だけでは意味の保持は保証できません。

長く受け取れることと使いこなすことを分ける

長い入力を受け付けられても、その中の全ての情報を同じ精度で使えるとは限りません。位置、重複、無関係な資料、矛盾した内容が回答へ影響します。評価では、必要な根拠を先頭・中央・末尾へ移す、不要な資料を増やす、複数の根拠が必要な問いを使う、といった条件を比べます。上限を大きくした設定が常に正解率を上げるとは主張しません。生成された引用先が実際の根拠を含むか、必要な例外が落ちていないかを確認し、入力を受理しただけで成功と数えないようにします。

費用とKVキャッシュも長さに依存する

通常の全結合自己注意では、系列長を増やすと注意の組合せ数は二乗で増えます。ただし最適化された実装が二乗サイズの行列をそのまま保存するとは限りません。生成時のKVキャッシュ容量は、保存する位置数や層数などに応じて増えます。長い文脈は速度、メモリ、同時要求数の設計にも影響します。上限を変える際は、prefillの待ち時間、decodeの間隔、キャッシュ容量を別々に測ります。全要求を最大長とみなす設計と、実際の長さへ応じて割り当てる設計も区別します。

検索と要約を予算の中で比較する

資料を全て入れる代わりに検索、重複除去、要約を使うと、文脈の予算を節約できます。ただし検索漏れや要約での例外の消失が新たな失敗になります。練習では前の4096の設定で、資料を2500、3000へ増やした場合の残り出力を計算します。次に出力1024を必須としたとき、どの資料を残すかを根拠付きで決めてください。合格の観点は、長さだけでなく必要な情報の保持を説明できることです。RAG評価とチャンクの実験へ進み、固定の質問集合で方法を比較します。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 19

学習コースから次を選ぶ