結果を数値へ対応させる
確率変数は、偶然に左右される結果へ数値を対応させるものです。二回の通信で失敗した回数なら0、1、2を取ります。分布は、それぞれの値がどれくらいの確率で生じるかを表します。非負で、すべての確率を足すと1になることを確認します。測定データのヒストグラムは分布を推定する手段ですが、観測していない状況まで正しく表すとは限りません。
期待値を重み付きの平均として求める
処理時間Xが1ミリ秒を確率0.9、101ミリ秒を確率0.1で取るとすると、期待値は1×0.9+101×0.1=11ミリ秒です。しかし11ミリ秒という処理が実際に起きるわけではありません。期待値は長期的な平均の性質を表し、一回の典型的な値や上限とは区別します。応答時間の評価では中央値や上位の分位点も併せて見る必要があります。
独立という仮定を明示する
各通信の失敗確率が0.1で互いに独立なら、二回とも失敗する確率は0.1×0.1=0.01です。ところが共通の回線が故障している場合、失敗が同時に起きやすくなります。このとき単純な積は使えません。条件付き確率P(B|A)を用いてP(AかつB)=P(A)P(B|A)と書くと、どこで独立性を仮定しているかが明確になります。
ばらつきとモデルの限界
同じ平均でも、ほぼ一定の処理時間と、まれに非常に遅くなる処理では利用者の体験が違います。分散は平均からの差の二乗の期待値で、ばらつきを要約します。ただし分散だけでも分布の形をすべて復元できません。期間、負荷、利用者層が変われば分布も変化します。測定対象を分け、確率のモデルを実測と照らし合わせて使います。
母集団を分けて確認する
平常時と障害時の要求を一緒に平均すると、どちらの状態にも典型的でない値になることがあります。時間帯や依存先の状態を条件にして分布を分け、失敗が集中する要因を探します。標本が少なければ推定には不確かさが残ります。確率が小さいという計算だけで現実には起こらないと断定せず、どの集団で測った値かを必ず残します。
分散を、平均からの距離で計算する
先ほどの1msと101msの分布では平均が11msでした。分散は(1−11)²×0.9+(101−11)²×0.1=900ms²で、標準偏差は30msです。単位が二乗になる分散と、元と同じ単位へ戻した標準偏差を区別します。平均11msに標準偏差30msを足した41msが最大値という意味ではありません。また、この二点の分布は正規分布ではないため、平均の前後に標準偏差を何倍取れば一定割合を含むという正規分布の目安を、そのまま当てはめられません。平均と分散が計算できても、利用者が遅い応答を経験する確率を知りたいなら、元の分布や対応する分位点を確認する必要があります。
分位点の定義を、小さな分布へ当てはめる
ここではp分位点を、累積確率がp以上になる最小の値として定めます。1ms以下の累積確率が0.9、101ms以下では1なので、この定義の中央値と90パーセンタイルは1ms、95パーセンタイルは101msです。平均11msだけを見ても、この急な切り替わりは分かりません。標本から分位点を計算するソフトウェアには、並べた観測値の間を補間するなど複数の方式があります。少数のデータで製品ごとのp95が少し違う場合は、まず定義と補間規則をそろえます。頻繁に遅い要求が増えているかを調べるには、分位点だけでなく遅延しきい値を超えた件数も残すと、何を数えたかが明確になります。
条件付き確率では、分母を確認する
1万人のうち障害状態にある対象が100件で、その90件を警告が検出したとします。正常な9900件のうち99件にも警告が出るなら、警告は合計189件です。障害を検出する確率は90/100=90%ですが、警告が出た対象が障害である確率は90/189で約48%です。二つは条件にしている集合が異なります。検出率が高いだけで、警告のほとんどが真の障害だとはいえません。実際の監視では発生頻度、見逃し、誤警告、確認に使える人員を一緒に考えます。この数表は説明のための仮想例です。現場の率を推定するときは、障害の判定基準と観測の母集団を先に決めてください。
独立を仮定した再送の計算を見直す
失敗確率0.1の要求を2回試しても、回線断が両方へ影響するなら、両方失敗する確率を0.01とは置けません。例えば、確率0.02で回線が停止し、その間は両方失敗するモデルでは、この共通要因だけで両方失敗する確率が少なくとも0.02になります。各回の失敗率が同じ値でも、失敗の重なり方が違えば再送の効果は変わります。要求を同じ機器へ直ちに送り直す方法と、時間を空けたり別の依存先を選んだりする方法では、共有する故障条件も異なります。ただし別の依存先を使えば必ず独立になるわけではありません。共通の電源、ネットワーク、認証基盤など、モデルの外に残した原因を確認します。