体系ガイド · 基礎から応用へ

汎化・過学習・評価指標

汎化性能を測る分割と、分類の閾値・適合率・再現率を小さな混同行列で考える。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 未知データでの誤差を問う
  2. 分割は前処理より先に考える
  3. 混同行列から二つの割合を計算する
  4. 閾値と利用条件まで評価する
  5. この記事をロゲイアに質問する理解を確かめる

未知データでの誤差を問う

汎化は、学習に使っていないデータで予測規則がどれだけ役立つかという問題です。訓練誤差が下がり続けても検証誤差が悪化するなら、訓練集合の偶然の特徴へ合わせ過ぎている可能性があります。ただし訓練と検証の条件が違う場合も同じような差が出ます。データの重複、同一利用者、時期、施設など、独立とみなせない単位を確認します。どの未知データを想定しているかが曖昧なまま、一つのスコアだけを汎化能力と呼ばないようにします。

分割は前処理より先に考える

全データで平均や分散を計算して標準化してから分割すると、テスト部分の情報が訓練手順へ入ります。特徴選択や欠損補完も同じです。交差検証の各訓練部分(fold)だけで変換を学習するパイプラインを使うと、交差検証での漏えいを防ぎやすくなります。時系列なら時間を逆流させず、同一患者の記録などにまとまりがあるなら、同じ患者の記録が訓練側と評価側へ分かれないよう、患者単位で分割します。検証スコアで何度もモデルを選ぶことは、その検証集合へ適応することでもあり、最後のテストは選択から分離して残します。

混同行列から二つの割合を計算する

陽性100件のうち80件を検出し、陰性900件のうち90件を誤って陽性にした例を考えます。真陽性80、偽陰性20、偽陽性90、真陰性810です。適合率は80/(80+90)で約47%、再現率は80/100で80%、正解率は890/1000で89%です。同じ分類器でも、どの割合を見るかで印象が変わります。陽性が少ない課題では多数派だけを選んでも高い正解率を得られるため、誤検出と見逃しの件数を隠さず示します。

閾値と利用条件まで評価する

確率スコアを陽性へ変える閾値を下げると、同じ標本では通常、検出も誤検出も増える方向へ動きます。どこを選ぶかは見逃しと誤警報の費用、処理できる件数などに依存します。閾値をテスト集合で都合よく選んでから同じ集合の性能を報告すると、評価に楽観的な偏りが入ります。確率の校正、集団別の誤差、分布変化後の性能も別に確認します。評価指標が改善したことと、利用者にとって安全で有用な運用ができることは、関連していても同じ主張ではありません。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 15

学習コースから次を選ぶ