概念・定理図鑑 · 基礎から応用へ

エントロピー:確率分布の不確かさを測る

公平なコイン、偏ったコイン、相関した二変数を計算し、エントロピーと圧縮・予測の関係を整理します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 一つの出来事と分布を分ける
  2. 単位と確率ゼロの扱いを確かめる
  3. コインの三つの分布を計算する
  4. 結果の数だけでは情報量は決まらない
  5. 相関した二変数は単純に足さない
  6. 圧縮の平均長と有限のファイルを分ける
  7. 予測分布の自信と正確さは別である
  8. 標本から推定するときに残る不確かさ
  9. この記事をロゲイアに質問する理解を確かめる

一つの出来事と分布を分ける

エントロピーは、どの値がどの確率で現れるかという確率分布に対する量です。ある結果が起きたときの驚きの大きさを−log₂pで表し、その値を分布に従って平均するとH(X)=−Σp(x)log₂p(x)になります。例えば確率が1/2の結果は1ビット、1/8の結果は3ビットの自己情報量を持ちます。ただし、たまたま珍しい結果が一回出たからといって、分布のエントロピーがその回だけ増えたわけではありません。どの分布を仮定したかを先に示し、一つの観測に付く自己情報量と、分布全体で平均した量を区別することが大切です。

単位と確率ゼロの扱いを確かめる

対数の底を2にすると単位はビット、自然対数ならナットになります。同じ分布でも数値の換算が必要なので、異なる底で計算した結果をそのまま比較しないでください。確率0の項は、pを0へ近づけたときの−p log pの極限が0になることから0と扱います。実装ではlog(0)を直接計算せず、その項を飛ばす方法が使えます。また、確率が負でないことと、合計が1になることを確認します。要素数をそのまま確率として代入したり、百分率の50を0.5へ直さなかったりすると、数式が同じでも別の計算になります。浮動小数点の丸めと、分布そのものの指定の誤りも分けて考えます。

コインの三つの分布を計算する

表と裏がそれぞれ1/2なら、H=−2×(1/2)log₂(1/2)=1ビットです。必ず表が出る分布なら−1×log₂1=0ビットになります。表が0.9、裏が0.1なら、−0.9log₂0.9−0.1log₂0.1で約0.469ビットです。三つとも結果の名前は表と裏ですが、確率の偏りによって観測前の不確かさが変わります。二値分布では公平な場合が最大です。ただし、「0.469ビットだから一回の結果を物理的に0.469個のビットで保存できる」という意味ではありません。符号化で平均長を小さくする話には、多数の結果をまとめる方法や符号の条件が別に必要です。

結果の数だけでは情報量は決まらない

取り得る値がM個に限られる離散分布では、エントロピーは最大log₂Mです。M個がすべて同確率のときに最大になります。4通りがすべて1/4なら2ビットですが、4通りあっても一つがほとんど常に出るなら2ビットより小さくなります。このため、選択肢の数を数えるだけで実際の分布のエントロピーを決めることはできません。さらに、どの粒度で結果を分類するかによって確率変数が変わります。例えば利用者の行動を成功・失敗の二つにする場合と、失敗理由まで分類する場合では、同じ記録から違う確率変数を作っています。比較するときは分類の定義もそろえてください。

相関した二変数は単純に足さない

独立した公平なコインXとYなら、組(X,Y)は4通りを同確率で取り、H(X,Y)=2ビットです。一方、Yが必ずXと同じなら、組は(表,表)と(裏,裏)の二つだけなので1ビットです。XだけでもYだけでも各1ビットですが、その和2ビットは組の情報量ではありません。一般にはH(X,Y)=H(X)+H(Y|X)と分解します。Y=Xなら、Xを知った後のYの不確かさは0です。複数のフィールドやログの情報量を見積もるとき、項目ごとの値を単に足すと、同じ情報を繰り返し数えてしまう場合があります。独立性を仮定するなら、その根拠も示す必要があります。

圧縮の平均長と有限のファイルを分ける

エントロピーは、情報源の確率モデルの下で可逆符号の平均長を考える基礎になります。しかし、任意の短いファイルが必ず同じ割合で縮むという保証ではありません。有限長の符号では符号長を整数で割り当てる制約があり、ファイルにはヘッダーやモデルの説明も必要になる場合があります。また、文字を独立と仮定したモデルと、前の文字に応じたモデルでは、同じデータの見積もりが変わります。圧縮率が想定より悪いときは、実装だけでなくモデルの粒度と依存関係を確認します。数学上の下限、採用した符号、実際のファイル形式の追加費用を順に分けると、何が理論で何が測定結果かが明確になります。

予測分布の自信と正確さは別である

モデルが一つの答えへほとんどすべての確率を置くと、その予測分布のエントロピーは低くなります。しかし、その答えが実際に正しいかは別です。正しい答えにほとんど確率を与えず、誤った答えへ自信を持つモデルもあり得ます。真の分布pに対して予測分布qを使うクロスエントロピーは、−Σp log qで計算され、q自身のエントロピー−Σq log qとは異なります。pで起こる結果へqが0を置けば、理論上のクロスエントロピーは無限大になります。実装上のクリッピングを使う場合も、その変更を含めて評価値を解釈しなければなりません。

標本から推定するときに残る不確かさ

実際には分布が分からず、標本中の出現割合からpを推定することがよくあります。少ない標本では珍しい結果がまだ一度も出ておらず、確率0と推定してしまうことがあります。その結果、計算したエントロピーが真の値より小さく見える場合がありますが、すべての状況で一定の補正を足せば解決するわけではありません。標本数、分類、平滑化、時期による分布の変化を明示し、異なる条件の値を安易に比較しないでください。また、この節で扱うのは離散確率変数です。連続変数の微分エントロピーには別の性質があり、単位や変換の影響も異なります。離散の直感をそのまま移す前に、定義を確認する必要があります。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 10

学習コースから次を選ぶ