概念・定理図鑑 · 基礎から応用へ

ロジット

確率と対数オッズ、モデルが出すスコアを区別し、sigmoid・softmax・温度の効果を小さい数で計算します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 確率をオッズへ変換する
  2. sigmoidで実数を確率へ戻す
  3. 二つのスコアでは差が効く
  4. 多クラスでは正規化を安定に計算する
  5. 温度と順位と較正を分ける
  6. スコアの意味を表と検算で説明する
  7. この記事をロゲイアに質問する理解を確かめる

確率をオッズへ変換する

二値事象の確率pが0<p<1のとき、オッズはp/(1−p)、その自然対数がlogit(p)です。例えばp=0.8ならオッズ4、logitはlog4で約1.386です。確率0.2ならオッズ1/4、logitは約−1.386になります。確率の差とlogitの差は同じ尺度ではありません。p=0.5はlogit0に対応し、負のlogitは不可能な確率ではなく0.5未満の確率へ対応します。割合を入力するときは80ではなく0.8のように0と1の間へ直して計算します。

sigmoidで実数を確率へ戻す

zをlogitとすると、逆変換はsigmoid(z)=1/(1+exp(−z))です。z=0なら0.5、z=log4なら0.8です。数学上は全ての有限なzで0と1の間ですが、浮動小数点では大きな値で0や1へ丸められたり、単純なexp計算がオーバーフローしたりします。実装では符号で式を分けるなど数値安定な関数を使います。確率0や1のlogitは有限ではないため、対数を取る前のクリッピングは計算を変える操作だと明記してください。しきい値を選ぶ操作とも別です。

二つのスコアでは差が効く

モデルの最終層が出す実数スコアも、一般にlogitsと呼ばれます。二クラスのスコアを(z₀,z₁)とすると、softmaxによるクラス1の確率はsigmoid(z₁−z₀)です。例えば(0,log4)と(10,10+log4)は同じ0.8を与えます。両方へ同じ定数を足しても確率は変わりません。したがって一つのクラスの生スコアの絶対値だけを、確率や信頼の尺度として解釈しないでください。どのクラスを基準にしているか、どの変換を使ったかが必要です。

多クラスでは正規化を安定に計算する

多クラスsoftmaxはpᵢ=exp(zᵢ)/Σexp(zⱼ)です。全てのスコアから最大値mを引き、exp(zᵢ−m)で計算しても同じ確率になります。この変形は大きな正の指数によるオーバーフローを避けるのに役立ちます。各確率が非負で合計1であるかを検算します。ただし、正規化できたことは予測が正しい、または較正されているという証拠ではありません。モデルが自信を持って間違う場合もあります。クラスの集合を変えれば分母も変わるため、異なる候補集合の数値も安易に比較しません。

温度と順位と較正を分ける

正の温度Tでスコアをz/Tにすると、Tが大きいほど確率分布は均され、Tが小さいほど最大スコアのクラスへ集中します。正のTを全クラスで共有する限り、最大のクラスの順位は変わりません。ただし確率値は変わり、確率しきい値による判定は変わり得ます。適切なTを検証データで選ぶ温度スケーリングは較正の方法の一つですが、好きなTへ変えるだけで正しさが保証されるわけではありません。生成時の温度操作と、評価用の較正手続きを混同しません。

スコアの意味を表と検算で説明する

練習としてp=0.2、0.5、0.8をオッズ、logitへ変換し、sigmoidで元へ戻します。次に二クラススコア(0,log4)へ同じ定数100を足し、softmax確率が変わらないことを確認してください。合格の観点は、生スコア、対数オッズ、確率、しきい値で決めたクラスを区別できることです。モデルが出した0.8という数字の妥当性は、同程度の予測をまとめた実際の結果から別に調べます。変換の検算ができたら、較正の概念へ進んで評価上の意味を確認します。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 14

学習コースから次を選ぶ