ミニバッチで何を近似するか
全訓練データの平均損失を毎回計算する代わりに、一部の標本で勾配を見積もる方法がミニバッチ学習です。計算費用を小さくできますが、バッチの取り方により更新は揺れます。バッチサイズを増やすと並列計算を使いやすくなる場合がある一方、必要なメモリや一回の更新までの待ち時間も変わります。損失をバッチ内で和にするか平均にするかでも勾配の尺度が変わります。バッチサイズだけを変え、学習率や更新回数を考えずに公平な比較とみなさないようにします。
更新規則と正則化を区別する
SGDは勾配に沿って重みを更新し、モメンタムは過去の更新方向を利用します。Adamのような方法は、勾配の移動平均や二乗の移動平均を使って成分ごとの更新を調整します。どの方法でも、学習率が不適切なら不安定になる場合があります。正則化は重みやモデルの振る舞いへ制約を加える別の設計で、訓練誤差を最小にすることだけを目的としません。weight decayとL2罰則の関係も最適化器によって違い、実装でどの項がどこへ入るかを確認します。
構造が共有するものを見る
CNNは局所的な演算と重み共有を使い、画像上の位置が変わっても似たパターンへ同じ処理を適用できます。RNNは状態を順に更新し、系列の過去を状態へまとめます。Transformerは注意機構を使い、位置間の情報を入力に応じた重みで混ぜます。それぞれ計算量、並列化、保持する情報の形が異なります。画像なら必ずCNN、系列なら必ずRNNという制約ではありません。用途の依存関係や資源上限と、構造が置く帰納バイアスが合うかを考えます。
訓練時と評価時の動作を確認する
Dropoutは訓練時に一部の活性を無効化するなどして過度な依存を抑えますが、評価時の動作は同じではありません。Batch normalizationも訓練時と評価時で使う統計の扱いが変わり得ます。評価モードにすることと勾配計算を止めることは別で、両方の目的を理解して設定します。検証では同じ分割、同じ評価条件、乱数や実行環境を記録し、一回の好成績だけを結論にしません。訓練が安定したこと、評価値が良いこと、運用の費用に収まることをそれぞれ確かめます。