文章をトークンIDへ変換する
トークン化は、文章をモデルの語彙にある単位へ分け、それぞれを整数のIDへ置き換える処理です。トークンは単語や一文字と同じではありません。英単語の途中、空白、記号、バイト列の一部が単位になる方式もあります。同じ文章でも、語彙や分割規則が違えば個数は変わります。日本語の文字数から英語と同じ比率でトークン数を推定するのは危険です。たとえば資料の長さを制限するときは、実際に使うモデルに対応したトークナイザで数えます。分割方法だけを別モデルのものへ交換すると、IDが表す内容も一致しません。
IDの大小ではなく埋め込みを使う
語彙IDは辞書の索引であり、IDが近い二語の意味が近いとは限りません。埋め込み層はIDに対応するベクトルを取り出し、以後の計算で扱える形へ変換します。系列長をT、埋め込み次元をdとすると、入力は概念的にT行d列の行列として表せます。ただし、どの方向がどの意味を表すかを人間が一意に名前付けできるわけではありません。特別なトークンの追加、正規化、切り詰め、左右どちらにpaddingを入れるかも入力仕様の一部です。学習時と推論時でこの約束がずれると、モデルの重みが正しくても期待と違う計算になります。
自己注意の小さな計算を追う
自己注意は、同じ入力系列からQuery、Key、Valueを作り、Queryと各Keyの内積で対応の強さを計算します。標準的な尺度付き内積注意では、内積をKey次元の平方根で割り、マスクを適用してからsoftmaxへ渡します。二つの有効なスコアがどちらも0なら、softmaxの重みは0.5ずつです。Valueが一次元の2と6なら、出力は0.5×2+0.5×6=4です。ここで混ぜる対象はValueであり、スコアやIDそのものではありません。複数headは異なる射影による計算を並べて統合しますが、注意重みだけをモデルの判断理由や因果的な説明とみなすことはできません。
未来を隠すマスクとpaddingを隠すマスク
自己回帰モデルを学習するとき、位置tの予測へ未来の正解トークンが入ると、実際の生成では使えない情報を読めてしまいます。因果マスクは、その構成で禁止した未来位置の参照を防ぎます。一方、paddingマスクは、長さ合わせのために加えた要素を内容として扱わないためのものです。この二つは目的が違います。三位置の因果的な注意なら、第一位置は第一位置だけ、第二位置は第一・第二位置、第三位置は三位置全てを参照できる、という三角形の関係を確認します。実装APIによって真偽値やマスク値の意味が異なるため、小さな入力で禁止位置の重みが消えることを確かめます。
位置情報とモデルの構成を分ける
注意計算に順序を扱わせるため、位置埋め込みや回転による位置情報などを組み込みます。これは因果マスクと同じ機能ではありません。マスクが未来を隠していても、モデルがどのように位置を表現するかは別に定まります。元のTransformerはencoderとdecoderを備えた構成ですが、decoder-onlyモデル、encoder中心のモデルなどもあります。encoderの双方向の文脈利用を、自己回帰decoderの未来参照禁止と混ぜて説明しないようにします。学習時より長い文脈へ拡張できる実装でも、長さを受け付けることと、その範囲の情報を同じ精度で利用できることは別です。
長さを二倍にしたときの費用
密な自己注意では、T個の位置どうしの組を扱うため、スコアの組数はTの二乗です。Tを1000から2000へ増やすと、組数は100万から400万へ増えます。ただし、これだけで実行時間やGPUメモリが常に四倍になるとは言えません。中間行列を全て保存しない実装、メモリ転送、他の層の演算、バッチの形にも依存するからです。推論では過去のKeyとValueを再利用するKVキャッシュも関わります。計算式の規模、実際に確保するメモリ、測定した待ち時間を分けて示すと、最適化がどの費用を減らしたかを説明できます。
理解の確認と生成結果の検査
この仕組みを確認するときは、同じトークナイザで入力を数える、埋め込み行列の形を確かめる、二要素のsoftmaxを手計算する、禁止した位置が出力へ影響しないことを試す、という順に進めます。数値が一致しても、モデルが生成した文章の主張まで正しいとは限りません。自己回帰モデルは、前のトークンを条件に次の候補の分布を計算します。流暢さ、根拠の有無、外部で実行する操作の権限は別々に確認する必要があります。実装を比較するときも、モデル、入力長、生成長、精度設定をそろえたうえで、処理量と回答品質の両方を記録します。