標本の偏りと標本のばらつき
標本平均は、観測した集団の平均であり、そのまま母集団の真の平均ではありません。無作為に集めた独立な観測なら、標本を取り直したときのばらつきを考えられます。一方、特定の時間帯だけ利用者を集めた調査では、標本数を増やしても選び方の偏りが残ります。たとえば昼だけの応答時間測定から夜間の負荷を推定することは、平均の計算を正しく行っても難しい場合があります。何を母集団とし、どう採取したかを先に書きます。
標準偏差と標準誤差を区別する
標準偏差sは個々の観測の散らばり、標準誤差s/√nは独立同分布などの仮定の下での標本平均のばらつきの推定です。n=100、s=20msなら標準誤差は2msです。平均の95%信頼区間は、条件に応じてt分布などの分位点を使って作ります。標本数が大きければ約1.96倍を用いる近似もありますが、外れ値や依存した観測を無視してよいわけではありません。連続した負荷測定では自己相関により、有効な情報量が見かけの件数より小さくなり得ます。
検定で否定しているものを明確にする
p値は、帰無仮説と検定の仮定が成り立つとき、観測された程度以上に極端な結果が得られる確率です。帰無仮説が正しい確率ではありません。新旧APIの平均差が統計的に有意でも、1msの差が利用者に重要かは別です。反対に有意差がないことも、同等性の証明ではありません。効果量、区間、測定条件を併記し、途中で都合よく検定を繰り返したり、多数の指標から小さいp値だけ選んだりした影響を考えます。
比較実験を再現できる形にする
新旧実装を比べるなら、同じ負荷条件、十分なウォームアップ、実行順の影響、エラー率も記録します。平均だけでなく分位点を調べると、少数の遅い応答も見えます。ただしp99の推定には裾の観測が十分必要で、標本が少ないと大きく変動します。外れ値を除く場合は理由と規則を先に定め、障害時の遅延を勝手に消さないようにします。推定値がどの環境、期間、利用者へ適用できるのかという範囲まで示すことが、数式の正しさと同じくらい重要です。