全データの勾配と標本勾配を分ける
有限の訓練データに対する平均損失L(w)=(1/N)Σℓᵢ(w)を考えます。各損失が微分可能なら、全データの勾配は各∇ℓᵢ(w)の平均です。一様に選んだ標本の勾配はその近似になり、選ぶ標本によって変わります。この変動を勾配ノイズと呼ぶとき、入力の測定誤差や浮動小数点の丸めとは別の原因です。比較する間はパラメータwを固定します。wも変わっていれば、勾配の違いが標本によるのか、目的関数の別の位置を見ているからかが混ざります。
二つの標本で期待値を求める
固定したwで二つの標本の勾配が1と3だとします。一様に一つ選ぶと期待値は2、分散は[(1−2)²+(3−2)²]/2=1です。全データの平均勾配も2なので、この推定量は不偏です。毎回2が出るわけではなく、1または3しか出なくても期待値が一致します。この例の1と3は説明用に定めた値で、特定モデルの測定結果ではありません。勾配の符号が違う標本を使う例へ変えると、一回の更新が全体の減少方向と異なる場合があることも確認できます。
独立な平均なら分散が縮む
独立に復元抽出したB個の勾配を平均すると、同じ分布で分散が有限なら平均の分散は元の分散/Bです。前の例でB=4なら1/4になります。ここでは和でなく平均を使う点が重要です。損失をバッチ内で合計する実装へ切り替えると、勾配の大きさの尺度も変わります。非復元抽出では有限母集団の補正が入り、同じ式をそのまま用いるわけではありません。相関した標本や、毎回同じ利用者から取った標本でも独立という仮定を見直す必要があります。
偏った抽出は大バッチで直らない
前の二標本で勾配3の例を90%、勾配1の例を10%の確率で選ぶと、平均勾配は2.8です。一様な全データ平均2の不偏推定ではなくなります。バッチを大きくしても2.8の周囲のばらつきが減るだけで、目標2へ自動で戻るわけではありません。重み付き抽出を意図するなら目的関数を変更したのか、補正するのかを明記します。難しい例を重点的に取る手法でも、何の損失を最適化したいかを先に定めることが必要です。ノイズを減らすことと、正しい目標を推定することは別です。
学習率と更新の分散を合わせて読む
更新をw次=w−ηĝとすると、wを固定した条件で更新の分散はη²Var(ĝ)です。バッチを大きくする変更と学習率を大きくする変更は、更新のばらつきへ逆向きに作用する場合があります。ただし学習率を単純にB倍すれば常に同じ学習になるわけではありません。目的関数の曲率、更新回数、データの再利用も変わるからです。学習率、バッチサイズ、一巡あたりの更新数、損失の平均か合計かを一緒に記録すると、比較の意味が明確になります。
seedと複数実行の役割を分ける
固定seedは同じ標本列を再現するために役立ちますが、ノイズが存在しないという証拠にはなりません。また並列計算や異なる実装で、同じseedが全ての出力の完全一致を保証するとは限りません。練習では勾配1と3を復元抽出し、B=1と4で多数のバッチ平均の分散を比べます。理論値1と1/4の近くになるかを確認し、抽出を90%へ偏らせた場合は平均も報告してください。合格の観点は、分散の縮小と平均のずれを別々に説明できることです。