概念・定理図鑑 · 基礎から応用へ

バイアスとバリアンス

同じ入力に対する複数学習結果を比較し、二乗誤差を偏り・分散・観測雑音へ分けて理解します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 一つのモデルの誤差だけを見ない
  2. 二乗損失の分解の前提を置く
  3. 三つの予測から手で計算する
  4. 複雑さを単一の物差しにしない
  5. 現実には真の平均を知らない
  6. 制約を変えた比較へつなげる
  7. この記事をロゲイアに質問する理解を確かめる

一つのモデルの誤差だけを見ない

バイアスとバリアンスの分解では、一つの訓練済みモデルだけでなく、訓練標本を取り直したときの予測の変化を考えます。入力xを固定し、真の平均応答をf(x)、異なる標本から学習した予測をf̂(x)とします。バイアスはその予測の平均とf(x)の差、バリアンスは予測の平均まわりのばらつきです。予測誤差を一回測っただけで、二つをそれぞれ観測できたとは言えません。何を固定し、何を取り直しているかを先に明示すると、訓練誤差との混同を避けられます。

二乗損失の分解の前提を置く

新しい応答をY=f(x)+ε、E[ε|x]=0、Var(ε|x)=σ²とし、新しい観測雑音が訓練標本と独立だと置きます。二乗予測誤差の期待値は、バイアスの二乗+予測のバリアンス+σ²へ分解できます。これは二乗損失について、訓練標本と新しい観測への平均を考えた式です。分類正解率や任意の損失へ同じ三項の式をそのまま移すことはできません。観測雑音を小さくする変更、モデルを変える変更、標本を増やす変更は、別の項へ影響し得ます。

三つの予測から手で計算する

固定したxで真の平均が2、三つの訓練標本からの予測が1、2、3だとします。三つを同じ確率で得る模型では平均予測は2、バイアスは0、予測のバリアンスは[(1−2)²+0+(3−2)²]/3=2/3です。新しい観測雑音の分散が1/2なら、期待二乗誤差は2/3+1/2=7/6になります。ここで分母3は模型の三つの結果を平均するためで、不偏標本分散の分母2とは違います。有限の実測から母分散を推定する問題と、既知の三状態の期待値を計算する問題を分けます。

複雑さを単一の物差しにしない

柔軟なモデルは訓練データへよく適合する一方、標本の違いへ敏感になる場合があります。強い制約や正則化は予測の変動を抑える代わりに偏りを増やす場合があります。ただし、モデルを大きくすればバリアンスが必ず増え、バイアスが必ず減るという普遍則ではありません。データ量、最適化、暗黙の制約、特徴量も変わるからです。小さい模型で得た直感と、実際の学習曲線の観察を区別してください。訓練誤差の減少だけで未知データの誤差を結論しません。

現実には真の平均を知らない

実データではf(x)や雑音分散が未知なので、正確なバイアスとバリアンスを通常は直接分けられません。再標本化や複数seedの学習で得られる変動も、どの要因を変えたかに依存します。初期化だけを変えた実験は、訓練標本そのものを取り直す実験と同じではありません。検証用データを固定し、標本分割・初期化・前処理のどれを変えたかを記録してください。ブートストラップを使うなら、経験分布の近似と独立性の前提が加わることも確認します。

制約を変えた比較へつなげる

練習として同じ真の平均2に対し、予測が常に1.5となる模型を比べます。バリアンスは0、バイアスの二乗は0.25、雑音分散0.5なら期待誤差は0.75です。前の模型より偏りは増えても、合計の誤差は小さくなります。この比較を「偏りは常に悪い」と言い換えないでください。実際の正則化では訓練用・検証用・最終評価用を区別し、未知データの損失を比べます。二乗損失の三項を説明できたら、正則化と勾配ノイズの概念へ進めます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 15

学習コースから次を選ぶ