概念・定理図鑑 · 基礎から応用へ

確率の較正

予測確率と観測頻度の一致を、正解率・順位・しきい値と分け、データ分割と標本数に注意して評価します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 予測確率が頻度として役立つか問う
  2. 十件の表でずれを計算する
  3. ビン分けの結果には件数を添える
  4. 確率全体を評価する尺度も使う
  5. 補正の学習と最終評価を分ける
  6. 確率から行動へつなぐ条件を確認する
  7. この記事をロゲイアに質問する理解を確かめる

予測確率が頻度として役立つか問う

較正は、例えば0.8付近と予測された事例群で、実際の陽性割合が0.8付近になるかを問います。二値の陽性確率を評価する場合と、最大クラスの自信度を評価する場合では、まとめる対象と観測する結果が違います。ここでは二値の陽性確率に話を固定します。一つの事例だけでは、0.8という確率が妥当だったかを頻度として確認できません。十分な事例を集め、どの母集団と期間を対象にした確率かを明示します。確率の値の高さと、較正の良さは同じではありません。

十件の表でずれを計算する

十件すべてに陽性確率0.8を出し、実際は六件が陽性だったとします。予測の平均は0.8、観測陽性率は0.6で、差は0.2です。これは有限標本の記述であり、十件だけから母集団全体で必ず0.2ずれているとは断定しません。全て陽性と判定するしきい値0.5を使えば正解率は60%ですが、正解率を報告するだけでは確率0.8の意味は分かりません。予測の順位が同じでも、出力確率を0.6へ変えれば、この十件の頻度との一致は変わります。

ビン分けの結果には件数を添える

信頼度図では予測確率を区間へ分け、各区間の平均予測と観測陽性率を比べます。各ビンの件数も必要です。十件のビンと千件のビンでは、観測割合のばらつきが違います。ビンの境界や個数を変えると結果も変わるため、一つのECEという集約値だけで全てを判断しません。空のビンの扱い、各ビンへの重み、対象とする確率の定義を記録します。特定の利用者群だけで大きくずれる場合は、全体の図が良く見えても群別の結果を確認する必要があります。

確率全体を評価する尺度も使う

二値のBrier scoreは平均(p−y)²です。先ほどの十件では、六件の陽性が0.04ずつ、四件の陰性が0.64ずつで、平均は0.28です。同じ全件0.6なら平均は0.24になります。Brier scoreや対数損失は確率の値を評価しますが、較正だけでなく識別の情報なども反映するため、「この値が小さいから較正だけが良い」とは限りません。また0や1へ極端に寄った誤予測は対数損失で大きく罰せられます。数値上のクリッピングを入れる場合は、その規則も含めて評価を再現します。

補正の学習と最終評価を分ける

温度スケーリング、sigmoidによる変換、単調回帰などの較正法は、観測結果を使って変換を学習します。元モデルの学習とは別のデータや適切な交差検証を使い、較正に使ったデータを未使用の最終評価と呼ばないようにします。温度を全クラスで共有する正の値へ変えても、argmaxの正解率は通常変わらず、確率の値が変わります。較正で何を改善したいかを決めずに正解率だけを再計測すると、変換の目的を評価できません。利用先の分布が変われば再確認も必要です。

確率から行動へつなぐ条件を確認する

意思決定では、較正だけでなく誤判定の費用、対象群、しきい値、処理能力も必要です。全件へ陽性率と同じ一定確率を出す模型は、全体では較正が良くても個別の区別に役立たない場合があります。練習では十件の例のBrier scoreを手計算し、予測確率0.8と0.6で正解率と確率の評価がどう違うか説明します。合格の観点は、頻度、順位、判定の三つを区別し、件数の少ないビンから確実な結論を出さないことです。確率変換が曖昧ならlogitの概念へ戻ります。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 15

学習コースから次を選ぶ