本当に含むか判断できる模型を使う
母平均μ=3、母標準偏差σ=2の正規分布から、独立な標本を25個ずつ生成します。今回は母平均を知っているため、各標本から作った区間が本当のμを含むかを数えられます。実際の調査ではμを知らないため、今回の一つの区間が正解を含むかを同じ方法で確認することはできません。この違いが、シミュレーションで被覆率を調べる目的です。母標準偏差を既知とする正規モデルに限定し、未知分散のt区間や任意の分布への保証を混ぜないようにします。
同じ標本で二つの区間を作る
通常の約95%区間は標本平均±1.96σ/√nです。比較対象として係数を1へ減らした区間も同じ標本から作ります。後者の半幅は0.4、前者は0.784です。標本を共有することで、違いの原因を区間の係数へ絞れます。Python 3標準ライブラリだけで実行でき、外部データやサービスは不要です。コードをcoverage.pyへ保存し、python coverage.pyで実行します。乱数seed、母集団、標本数、反復数を記録し、終了後は作成したスクリプトだけを必要に応じて削除してください。
被覆の回数を数える
各反復で新しい25個の値を生成し、平均を計算します。muが区間の下端以上かつ上端以下なら一回の成功として数えます。2000回の成功割合が、各区間作成法の被覆率の推定です。広い区間の被覆が0.95付近、狭い区間が0.68付近になると予想します。assertは広い区間が大幅に外れていないことと、狭い区間より被覆が高いことだけを確認します。一つのseedで出た割合を、方法全体の厳密な被覆率と呼ばないでください。
import random, math
rng = random.Random(20261028)
mu, sigma, n, trials = 3.0, 2.0, 25, 2000
hits = {1.0: 0, 1.96: 0}
for _ in range(trials):
mean = sum(rng.gauss(mu, sigma) for _ in range(n)) / n
for z in hits:
half = z * sigma / math.sqrt(n)
hits[z] += mean - half <= mu <= mean + half
rates = {z: hits[z] / trials for z in hits}
print(rates)
assert 0.92 < rates[1.96] < 0.98
assert rates[1.0] < rates[1.96]
print('half widths', sigma / math.sqrt(n), 1.96 * sigma / math.sqrt(n))
反復数の誤差を見積もる
被覆率pの推定に対する反復の標準誤差は、おおよそ√(p(1−p)/R)です。p=0.95、R=2000なら約0.0049となります。表示が0.95から数千分の一ずれても不思議ではありません。反復数を4倍にするとこの標準誤差は約半分になりますが、一つの区間の幅は変わりません。区間の標本数nと、実験の反復数Rは別の変数です。nを増やすと各区間が狭くなる一方、Rを増やすと被覆率を推定する実験の精度が上がることを区別して記録します。
実験条件を一つずつ変更する
nを25から100へ変え、同じ母集団と係数1.96で実験してください。半幅は0.784から0.392へ半分になりますが、既知分散の正規モデルの被覆率は引き続き約95%です。反対にnを固定して係数だけ減らした場合は、幅と一緒に被覆率も下がります。分布を正規以外へ変更する課題は、この正規モデルの検算を済ませてから別の実験として扱います。特に小標本や重い裾では、同じ係数を使ったから同じ被覆率になるとは限りません。条件変更を出力の横へ書き添えます。
区間の意味を結果から説明する
提出する結果には、係数ごとの半幅、含んだ回数、反復数、被覆割合を載せます。標本平均の周囲に狭い区間を作れたという事実と、母平均を所定の割合で含むという性質を別々に説明してください。合格の観点は、95%が標本の95%を囲むという意味ではないことと、nとRを区別できることです。一回の標本の観測値が区間内へ何個入ったかは今回の被覆イベントではありません。意味が混ざる場合は、信頼区間ガイドの固定母数とランダム区間の節へ戻ります。