層は小さな関数の合成
ニューラルネットワークは、重み付き和と活性化関数などを合成した関数です。入力を受けて各中間値を計算し、最後に予測を得る順伝播を行います。線形変換だけを何層重ねても、全体は一つの線形変換にまとめられるため、非線形性が表現力に重要です。ただし層を増やせば目的に合う規則を必ず学ぶわけではありません。まず入力、各テンソルの形、重みを共有する範囲、出力と損失の対応を明確にし、どの関数を学習しているかを図にします。
一つの重みで連鎖律を追う
予測z=wx、損失L=(z-y)の二乗の半分とします。x=2、w=3、y=5ならz=6、L=0.5です。zに関する損失の微分はz-y=1、wに関するzの微分はx=2なので、連鎖律からdL/dw=2です。入力から予測、予測から損失への依存を逆向きにたどり、局所的な微分を掛け合わせます。同じ値が複数の経路で使われるときは、各経路から来る寄与を足します。一つの道だけを選んで戻すと、共有パラメータの勾配を取りこぼします。
微分と更新は別の処理
学習率0.1の勾配降下なら、新しいwは3-0.1×2=2.8です。この例の新しい予測は5.6、損失は0.18となり、元の0.5より小さくなります。これは手計算した例の結果で、どんな学習率でも損失が下がる保証ではありません。自動微分は指定した計算に対する勾配を計算し、最適化器がその勾配から更新量を決めます。複数バッチで勾配を蓄積する場合には、初期化や平均化の位置を誤ると、意図した大きさと違う更新になり得ます。
計算できる勾配にも限界がある
逆伝播には順伝播の中間値が必要になり、保存に使うメモリを減らすと、再計算が増えるという兼ね合いがあります。長い積の中で微分が極端に小さく、または大きくなると、勾配消失や勾配爆発が学習を難しくします。ReLUの負の領域では通常の微分が0になるなど、活性化関数にも性質があります。実装の検査には小さな例での手計算や有限差分を使えますが、丸め誤差や微分不能点には注意します。勾配が正しくても、データ漏えいや目的関数の選び間違いは別に残ります。