データを固定してパラメータを動かす
尤度は、観測したデータを固定したとき、パラメータによってそのデータの確率や密度がどう変わるかを見る関数です。表の確率をpとする独立で同じ分布のコインを10回投げ、表7回を観測したとします。順序まで記録した特定の列の確率はp⁷(1−p)³です。表の回数だけをデータにするなら二項係数が掛かりますが、その係数はpに依存しないため最大点は同じです。何をデータとして記録したかを先に決めると、式の係数と推定対象が明確になります。
確率と尤度で足し合わせる対象が違う
確率分布では、pを固定してあり得るデータ全体の確率を足すと1になります。一方、尤度をpについて足したり積分したりしても、そのまま1になる必要はありません。尤度が大きいpは観測を説明しやすい候補ですが、「そのpが正しい確率」を直接示しません。パラメータの事後分布を求めるには、事前分布とベイズ則による正規化が別に必要です。例えばp=0.7の尤度がp=0.5より高くても、実験条件が違えば比較の前提も変わります。同じ観測とモデルの下で比べます。
対数尤度を微分して最大点を探す
積を対数へ変えると、定数を除いた対数尤度はℓ(p)=7log p+3log(1−p)です。0<p<1で微分すると7/p−3/(1−p)となり、これを0と置くとp=0.7が得られます。二階微分は−7/p²−3/(1−p)²で負なので、この内点は最大です。対数は単調増加なので、元の尤度と最大点が一致します。独立という仮定が各観測の確率の積を支えており、同じコインを投げたという設定が共通のpを支えています。式を操作する前にこの二点も確認します。
端点では微分だけに頼らない
10回とも表なら、尤度はp¹⁰となり、パラメータ空間を0≤p≤1とすると最大点はp=1です。内点の微分を0にする方程式だけでは、この解を見落とします。p=1と推定したからといって、今後裏が絶対に出ないと証明したわけではありません。有限標本から得た点推定が端点に来ただけです。標本が少ないときほど、観測されなかった結果に確率0を割り当てる影響を確認します。平滑化や事前分布を使うなら、最尤推定とは違う手続きへ変更したことを明記します。
標本数とモデルの誤りを分ける
7/10と700/1000では最尤推定がどちらも0.7でも、独立同分布の条件下での推定のばらつきは異なります。点推定だけでは、推定の精度や将来の予測誤差は分かりません。信頼区間、標本分割、反復実験などを目的に応じて組み合わせます。また、途中でコインや環境が変わった場合、単一のpというモデル自体が合わないことがあります。標本を増やすことは、そのような不適切なモデルを自動で直しません。観測順や群ごとの偏りも残して検証します。
小さな候補集合から検算する
まずp=0.5、0.7、0.9で7log p+3log(1−p)を計算し、0.7が最大になることを確認します。次に表6回・裏4回へ変え、同じ微分からp=0.6が得られるか確かめてください。大きな標本では尤度の積が非常に小さくなるため、数値計算では対数の和が便利です。ただしlog(0)はそのまま評価できず、端点と正の確率を持つ観測の整合を扱う必要があります。最大点、探索した範囲、採用した制約を一緒に記録し、最適化の成功とモデルの妥当性を混同しません。