未知の値とランダムな区間を分ける
頻度論の信頼区間では、母数を固定し、標本から作る区間の方をランダムと考えます。95%という信頼水準は、同じ方法で標本抽出と区間作成を繰り返したとき、母数を含む区間の割合についての性質です。今回得られた特定の区間に母数が95%の確率で入る、という事後分布の記述とは区別します。観測前に定めた手続きと、その手続きが仮定する母集団を明示することが出発点です。単に推定値の両側へ適当な幅を足せば95%になるわけではありません。
既知の標準偏差で平均の区間を作る
独立な正規分布の標本で母標準偏差σが既知なら、平均の区間は標本平均±1.96σ/√nで約95%の被覆率を持ちます。例えばn=100、σ=10、標本平均52なら、標準誤差は1、区間は約50.04から53.96です。10という標準偏差は個々の観測のばらつきで、1という標準誤差は標本平均のばらつきです。標準偏差と標準誤差を取り違えると区間幅を大きく誤ります。母標準偏差が未知の場合は、正規標本でもt分布など別の手続きが必要です。
幅を狭くする操作を比べる
同じ母集団と方法で標本数を100から400へ増やすと、標準誤差は半分になり、期待される区間幅も半分になります。一方、標本数を変えずに係数を1.96から1へ減らしても区間は狭まりますが、被覆率も変わります。幅だけを小さくすることが精度の改善とは限りません。標本数の増加、信頼水準の変更、ばらつきの小さい母集団への変更はそれぞれ別の操作です。比較表には標本数、信頼水準、σを既知と置いたか、用いた式を一緒に示してください。
反復実験にも標本誤差が残る
シミュレーションでは真の平均を既知にし、毎回新しい標本から区間を作り、その平均を含むか数えます。1000回で950回含めば推定被覆率は95%です。ただし1000回という反復自体にもばらつきがあります。成功確率を0.95と近似すると、その割合の標準誤差は√(0.95×0.05/1000)、約0.0069です。一回の実行がちょうど95%にならなくても直ちに実装ミスとは言えません。乱数seedを固定して再現し、反復数を増やした場合との違いも確かめます。
選択と停止の規則も手続きに含める
多数の指標を試して都合の良い区間だけを選ぶと、元の方法の95%という性質をそのまま主張できません。また、有意になるまで毎日標本数を増やして通常の固定標本用区間を報告する場合も、停止の規則を無視できません。複数比較や逐次的な観測には、それに対応した方法や事前の計画が必要です。これは区間推定を使えないという意味ではなく、標本を集める方法から結果を選ぶ方法までを一つの手続きとして評価する、という意味です。後から選んだ条件は記録します。
母集団への偏りは区間幅で直らない
あるサービスの評価を常連利用者だけで測れば、標本数が非常に多くても新規利用者の平均を正しく表せない可能性があります。狭い区間は、想定した標本抽出モデルの下でのばらつきを表しているだけです。練習として既知σ=10の正規モデルでn=25とn=100の半幅を計算すると、それぞれ約3.92と1.96です。幅が半分になった理由を標本数から説明し、どちらも代表性の偏りを検出する式ではないことを確認します。推定対象、収集方法、欠測を区間と併せて報告してください。