見せてよいキーの集合を決める
Attentionマスクは、各query位置がどのkey位置を参照できるかを定めます。三位置の自己注意で因果的な制約を使うなら、位置0は0だけ、位置1は0と1、位置2は0と1と2を参照します。学習時に入力列を同時に処理しても、未来の正解トークンを参照しないための条件です。一方、双方向のEncoderで同じ制約を必ず使うわけではありません。モデルの目的に応じた参照範囲と、単に入力が配列へ存在することを区別して表を作ります。
paddingの除外を重ねる
バッチ内の長さをそろえるpaddingは、実際の文章の根拠として参照しないようkey側で除外します。例えば三位置目がpaddingなら、因果的に見える位置であっても参照から外します。因果制約とpadding制約の両方を満たす位置だけが有効です。またpaddingのquery行を計算した結果を、損失や出力から除くかという扱いは別です。keyを隠せばquery側の損失も自動で無視されるとは限りません。入力、Attention、損失でそれぞれどの位置を無視するかを確認します。
softmaxより前に除外する
Attentionの重みは通常、スコアへsoftmaxを適用して得ます。隠す位置のスコアを−∞へ置く考え方なら、その位置のexpは0となり、有効な位置だけで正規化されます。softmaxの後で禁止位置の重みを0にするだけでは、残りの合計が1にならない場合があります。再正規化する方法もありますが、初めから有効な位置で計算する方が意味を追いやすくなります。一行全てを禁止すると分母が0となり通常のsoftmaxは定義できないため、空の参照集合をどう扱うかも決めます。
一行の数字で差を確かめる
三つのスコアが全て0で、最後の位置だけ禁止とします。正しい有効集合でのsoftmaxなら重みは(1/2,1/2,0)です。先に三位置へsoftmaxをかけ、最後だけ0にすると(1/3,1/3,0)となり、合計は2/3です。値ベクトルの成分が(2,4,100)なら前者の出力は3、後者は2になります。最後の100が参照されていなくても、正規化の違いが結果へ影響しています。この小例を手で計算してから、対応する実装実験で禁止位置が出力へ混ざらないか検算してください。
キャッシュでqueryとkeyの長さが違う
KVキャッシュに過去の四位置があり、新しい一位置だけをqueryとして計算する場合、key列には過去四つと現在一つが並びます。queryの配列内の行番号0をそのまま絶対位置0と扱うと、過去の多くを誤って禁止します。現在の絶対位置は4であり、0から4までを参照できます。長方形のマスクではquery側とkey側の位置を明示して比較してください。paddingや位置表現にも同じオフセットが関係します。単に正方形の下三角行列を切り出すだけで正しいと判断しないようにします。
APIの真偽値の意味を確認する
真偽値マスクのTrueが「参照を許す」を表すAPIも、「隠す」を表すAPIもあります。PyTorchでもAttention用の異なる関数で規約が異なるため、名前だけで同じ値を渡さず、対象の版の仕様を確認します。練習は、三位置の因果マスク、padding付きのマスク、四つの過去位置と一つのqueryのマスクを表へ書くことです。合格の観点は、有効集合と重みの合計、空行の扱いを説明できることです。コードの実行結果を確認したら、EncoderとDecoderの比較へ進めます。