概念・定理図鑑 · 基礎から応用へ

正則化

損失と制約のバランスを一変数の例で解き、特徴量の尺度、検証データ、重み減衰との違いを確認します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 何を小さくしたいか式へ書く
  2. 一変数で解が縮むことを確かめる
  3. L1とL2で解の性質が違う
  4. 特徴量の尺度で罰の意味が変わる
  5. 重み減衰と常に同じとは限らない
  6. 最終評価を強さの選択に使わない
  7. この記事をロゲイアに質問する理解を確かめる

何を小さくしたいか式へ書く

正則化は、データへの適合だけでなく、望ましい解の性質を目的関数や制約に加える考え方です。例えば平均二乗損失にλ||w||²を加えるL2正則化では、大きい重みを抑える方向へ解が変わります。λはデータだけから自動的に正しい値が決まる定数ではなく、目的と評価に応じて選ぶ強さです。損失を合計するか平均するかでも同じλの意味が変わります。係数の規約を明記せずに別実装の値を比べると、意図した強さの比較にならない場合があります。

一変数で解が縮むことを確かめる

観測値y=2に対し、予測をwとするJ(w)=(w−2)²+λw²を考えます。微分を0と置くと2(w−2)+2λw=0なので、w=2/(1+λ)です。λ=0では2、λ=1では1、λ=3では0.5になります。この例ではλを増やすほど0へ縮みますが、全ての係数が必ず同じ割合で縮むという多変数一般の主張ではありません。縮める中心が0という選択もモデル化の一部です。切片を通常の重みと同じように罰するかどうかは、実装と目的に合わせて別に確認します。

L1とL2で解の性質が違う

L1正則化は|w|の和を罰し、条件によって係数をちょうど0へする疎な解が得られます。L2は滑らかな二乗の罰で、係数を縮めても一般にはちょうど0にはしません。どちらが適切かは、解釈、予測、相関した特徴、計算方法などに依存します。「L1なら必ず真の重要変数だけを選べる」という保証はありません。また0でのL1の通常の微分は定義されないため、L2と同じ微分式をそのまま使えません。目的関数の形に合う最適化法や最適性条件を使います。

特徴量の尺度で罰の意味が変わる

同じ予測を表す場合でも、特徴を1000倍すれば対応する係数は1/1000で済みます。その係数の二乗へ同じλを掛けると、予測の意味を変えずに罰だけが変わります。このため単位や標準化は正則化と密接に関わります。標準化の平均と分散を評価データも含めて計算すると、評価情報が訓練へ漏れる場合があるため、変換のパラメータは訓練データから決めます。標準化後の重みの大きさを、元の単位の効果とそのまま同じものとして報告しないでください。

重み減衰と常に同じとは限らない

通常の勾配降下でL2項の勾配を足すと、係数を縮める更新が現れ、一定の規約では重み減衰と対応します。一方、勾配を成分ごとに変換する適応的な最適化法では、損失へL2を足すことと、更新から重みを直接減衰させることは一般に同一ではありません。係数2の有無や学習率との積も実装に依存します。設定名だけを見て数値をコピーせず、どの更新式にどの係数が入るか確認してください。早期停止など、明示的な罰以外にも解の選ばれ方を変える方法があります。

最終評価を強さの選択に使わない

λの候補は訓練データで学習し、検証データで比較します。選択に使った検証結果は最終的な未知データ評価そのものではありません。最終評価用を残すか、目的に合う交差検証の設計を使います。練習として一変数の例でλ=0、1、3の訓練誤差と罰を計算すると、最適なJの値だけを異なるλ間で比較しても予測の優劣は決まりません。λが目的関数を変えているからです。バイアス・バリアンスの考えも参照し、未知データでの損失と必要な制約を合わせて選びます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 15

学習コースから次を選ぶ