実験・実装 · 基礎から応用へ

Attentionマスクを実装して確認する

因果条件とpadding条件を組み合わせ、禁止位置の重み0・行の合計1・KVオフセット・空行の扱いを実装で確認します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 許可をTrueとする模型を定める
  2. 有効なスコアだけで正規化する
  3. 三行の出力を実行する
  4. 後から重みを消す誤りと比べる
  5. キャッシュで絶対位置をずらす
  6. APIへ移す前に規約を照合する
  7. この記事をロゲイアに質問する理解を確かめる

許可をTrueとする模型を定める

この模型ではTrueを参照許可、Falseを禁止と定めます。三位置の自己注意で、queryの絶対位置以下だけを因果的に許可し、key位置2はpaddingとして全queryから隠します。二つの条件はandで組み合わせます。使用する値は[2,4,100]で、隠す位置へ大きな100を入れて混入に気づきやすくします。モデルやGPUは使わず、スコアは全て0に固定します。この条件なら許可された位置の重みは等しくなるので、コードの結果を手計算でも確認できます。

有効なスコアだけで正規化する

weightsは許可されたスコアの最大値を引き、有効な位置だけexpを計算します。禁止位置のexpは0とし、合計で割ります。全行が禁止の場合は、意味のない0除算やNaNを作らずValueErrorで明示的に拒否します。これはこの実験の方針であり、実際のモデルへ同じ例外処理を無条件に入れる指示ではありません。paddingのquery行を処理しないなど、呼出し側の設計もあり得ます。実装の契約として、空の参照集合をどう扱うかを決めておくことが重要です。

三行の出力を実行する

Python 3のmathだけで実行できます。mask.pyへ保存して実行すると、query0は値2だけを参照し出力2、query1は2と4を参照し出力3、query2もpaddingの100を除いて出力3になります。各行の重みの合計1と、禁止位置の重み0をassertで確認します。ネットワークや外部ファイルを使わず、保存したスクリプト以外に片付ける資源はありません。値100が隠れる理由を、位置の順序だけでなくpadding条件も含めて説明してください。

python
import math
def weights(scores, allowed):
    if not any(allowed):
        raise ValueError('empty allowed row')
    m = max(s for s,a in zip(scores,allowed) if a)
    exp = [math.exp(s-m) if a else 0.0 for s,a in zip(scores,allowed)]
    total = sum(exp)
    return [v/total for v in exp]
values = [2.0,4.0,100.0]
for query_pos in range(3):
    allowed = [key_pos <= query_pos and key_pos != 2 for key_pos in range(3)]
    w = weights([0.0]*3, allowed)
    output = sum(a*b for a,b in zip(w,values))
    print(query_pos, allowed, w, output)
    assert math.isclose(sum(w), 1.0)
    assert all(a or v == 0.0 for a,v in zip(allowed,w))
assert weights([0,0,0], [True,True,False]) == [0.5,0.5,0.0]
cached = weights([0.0]*5, [k <= 4 for k in range(5)])
assert all(math.isclose(w,0.2) for w in cached)
try:
    weights([0], [False])
except ValueError:
    print('empty row rejected')
else:
    raise AssertionError('empty row accepted')

後から重みを消す誤りと比べる

全位置へ先にsoftmaxを適用すると、三つの0の重みは全て1/3になります。最後だけ0へ変えても、残りの合計は2/3で、値2と4の出力は2になります。正しい出力3と比較し、禁止値を消しただけでは十分でないことを確認します。課題としてこの誤った手順を別関数へ実装し、許可された重みの合計を表示してください。後で再正規化すれば一致する場合もありますが、空行や丸めを含む仕様まで定義する必要があります。今回の基準実装では有効集合から直接計算します。

キャッシュで絶対位置をずらす

過去四位置をキャッシュし、新しいquery一つの絶対位置が4なら、key0から4までを許可します。長さ1のquery配列の行0を絶対位置0と取り違えると、過去のkey1から4を誤って隠します。コードは五つの同じスコアに対し、重みが各0.2になることを確認します。実際にはスコアも値も異なりますが、今回の等しい値で許可範囲だけを検算できます。左paddingや位置表現も同じ番号付けと整合させる必要があり、正方形のマスクだけを試して完了とはしません。

APIへ移す前に規約を照合する

課題はpadding位置を1へ変えた三行の結果と、過去二位置・新規二位置の長方形マスクを表にすることです。合格の観点は、各queryの絶対位置、有効なkey、重みの合計、空行の方針を説明できることです。PyTorchなどへ移す際は、Trueが許可か禁止か、形状のbroadcast、因果制約との併用規則を対象版の仕様で確認します。今回のPython関数をライブラリの内部実装と同じだとは主張しません。小さな既知の入力で、期待する出力と勾配を改めて検証します。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 19

学習コースから次を選ぶ