概念・定理図鑑 · 基礎から応用へ

位置表現

内容の表現へ順序を与える方法を、sinusoidal位置表現と二次元回転の例から理解し、長文への外挿と区別します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 内容だけの類似では順序が足りない
  2. sinとcosを組にして座標を作る
  3. 絶対位置と相対位置を区別する
  4. 二次元回転で相対差を見る
  5. paddingとキャッシュの位置をそろえる
  6. 長文の成功を別に評価する
  7. この記事をロゲイアに質問する理解を確かめる

内容だけの類似では順序が足りない

同じ単語を異なる順序へ並べた文は、意味が変わる場合があります。位置を区別する仕組みがない自己注意の内容スコアだけでは、順番を直接表す手掛かりが不足します。位置表現は、系列内の位置や位置の差をモデルへ伝えるための方法です。位置情報を入力埋め込みへ足す方法、Attentionのスコアへ偏りを加える方法、queryとkeyを回転する方法などがあります。全てが同じ処理ではないので、「位置のベクトルを足す」という説明だけで全モデルを代表させないようにします。

sinとcosを組にして座標を作る

代表的なsinusoidal表現では位置pと次元の組iに対し、sin(p/10000^(2i/d))とcos(p/10000^(2i/d))を並べます。d=4なら位置0は(0,1,0,1)、位置1は(sin1,cos1,sin0.01,cos0.01)です。異なる周期を持つ組を使い、位置の違いを多次元で表します。これは原論文の一つの構成で、全てのモデルがこの底や次元を使うわけではありません。埋め込みと足す場合は次元と数値の尺度を合わせ、内容のIDそのものを位置の番号へ置き換えるわけではないことを確認します。

絶対位置と相対位置を区別する

絶対位置は系列の先頭から何番目か、相対位置は二つの位置の差です。二つの文を同じ距離だけ後ろへずらすと絶対位置は変わりますが、互いの距離は変わりません。どちらの情報が必要かは課題とモデルの構造に依存します。学習された位置埋め込みの表を使う場合、用意した行数を超える添字への扱いも必要です。数式で任意のpを計算できる方法でも、訓練範囲を大きく超えた位置で同じ品質を保つとは限りません。表現可能性と学習の汎化を分けて考えます。

二次元回転で相対差を見る

RoPEの考え方を一つの二次元の組で見ると、位置に応じた回転R(θ)をqueryとkeyへ作用させます。回転後の内積は(R(θp)q)ᵀ(R(θs)k)=qᵀR(θs−θp)kとなり、位置の差が現れます。q=k=(1,0)なら、その値はcos(θs−θp)です。全次元を同じ一つの角度で回す説明ではなく、通常は複数の周波数の組を使う点も重要です。この小式は仕組みを切り出した例で、実モデル全体が単純な距離のcosだけで動くという意味ではありません。

paddingとキャッシュの位置をそろえる

左側へpaddingを足したバッチでは、配列内の添字と実際のトークンの位置をどう対応させるかを確認します。KVキャッシュを使った生成でも、新しいqueryの位置を毎回0へ戻してしまうと、過去のkeyとの位置関係が変わります。モデルが期待するposition ID、Attentionマスク、キャッシュの長さを整合させます。ただし実装によってpadding位置をどう扱うかは異なるため、独自の番号付けへ勝手に置き換えません。短い既知の列で、全体を一度に処理した結果と逐次処理の結果を比較すると検算になります。

長文の成功を別に評価する

練習としてd=4の位置0と1の座標を書き、二次元回転の例で両位置へ同じ角度を足しても内積が変わらないことを確かめます。合格の観点は、位置の表現方法と長文回答の品質を区別できることです。位置表現の設定を変えた場合は、長さ別・根拠位置別の評価を行います。文脈の上限を大きく設定できたという理由だけで、長い文章の例外や数値を正しく読めるとは結論しません。文脈長の概念とAttentionマスクの実験へつなげ、順序と可視範囲を別々に確認します。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 19

学習コースから次を選ぶ