名前より情報の流れを見る
TransformerのEncoderとDecoderは、Attentionの参照範囲や入出力の関係が異なります。典型的なEncoderは入力全体を双方向に参照して表現を作り、典型的な自己回帰Decoderは未来を隠して次のトークンを予測します。Encoder–Decoderでは入力の表現をEncoderが作り、Decoderがそれをcross-attentionで参照しながら出力列を作ります。名称だけで性能や用途が決まるわけではありません。学習目的、マスク、出力ヘッドまで含めて、何を入力し何を返すかを確かめます。
一つの列と二つの列を区別する
Decoder-onlyで質問と回答を一つの列へ並べる場合、生成する回答は先行する質問の位置も参照します。Encoder–Decoderではsourceとtargetが別の列になり、target内の因果制約とsourceへの参照を分けて扱います。sourceのpaddingを隠すマスクとtargetの未来を隠すマスクも別です。例えば翻訳では原文の全体を読み、その表現を参照しながら訳文を生成できます。ただしDecoder-onlyでも翻訳は可能なので、二つの列を持つ構成だけが翻訳できると説明しません。表現の構造と達成可能なタスクを分けます。
学習時の並列計算と生成を分ける
自己回帰Decoderでも、学習時には正解の先行トークンを入力するteacher forcingで多くの位置の損失をまとめて計算できます。因果マスクがあるため、各位置が未来の正解を見るわけではありません。一方、通常の生成時には次の入力が直前に選んだトークンへ依存し、逐次的な処理が残ります。Encoderは入力をまとめて表現できますが、それだけで任意の長さの文章を生成する仕組みが付くわけではありません。並列に計算できる範囲と、利用する出力形式を別々に確認します。
表現を使う課題と生成する課題を比べる
分類や検索では入力の表現からラベルや固定次元のベクトルを得る構成が使われます。文章生成ではトークン列を返す構成が必要です。ただしEncoderの出力をどうまとめるか、Decoderからどの表現を取り出すか、どんな損失で訓練するかで結果は変わります。平均poolingを使えば全てのモデルが良い検索埋め込みになる、とも言えません。対象のタスクで学習・評価された設定を使い、精度、速度、入力長、利用可能な出力を同じ条件で比べます。モデルの名前だけで選定を完了しません。
キャッシュと長さの制約を確認する
DecoderのKVキャッシュは過去の自己注意のkeyとvalueを再利用します。Encoder–Decoderではsource側の表現やcross-attention用の情報も利用される場合があり、メモリの内訳が異なります。sourceとtargetの長さの上限を、Decoder-onlyの一つの合計枠と同じだと決めつけません。またバッチのpaddingや生成の停止条件も費用へ影響します。比較実験ではsource長、target長、同時要求、キャッシュ設定、型を記録し、一つの待ち時間だけで構造の優劣を結論しないでください。
可視範囲を描いてから選ぶ
課題として、入力三位置と出力二位置について、Encoder内、Decoder内、cross-attentionで参照できる範囲を表にします。次にDecoder-onlyで入力と出力を同じ列へ並べた場合と比べてください。合格の観点は、双方向、因果、sourceへの参照を区別できることです。実際の用途では固定の評価集合で必要な出力を確認し、長さと資源の制約も合わせます。マスクの意味が曖昧ならAttentionマスクの実験へ戻り、生成の待ちを考えるときはprefillとdecodeのガイドへ進みます。