局所の障害が別の資源を埋める
連鎖障害は、一部の遅延や故障が、再試行、待機、負荷の転送を通じて別の部分へ広がる現象です。最初はDBだけが遅くても、その応答を待つアプリの接続やスレッドが埋まり、入口の待機列が増え、他の要求も期限を超える場合があります。各部品のCPUが壊れたわけではなく、依存先の遅延で保持する資源が増えることが増幅になります。最初の原因と、被害を広げた機構を分けて記録します。一つのグラフが赤くなった順だけで全因果を決めず、どの要求がどの資源をいつまで保持したかを追います。
三層の再試行を掛け算する
説明用に、三つの層がそれぞれ最大三回の試行を行い、下位へ毎回渡すと仮定します。利用者の一回の要求が最下層で最大27回の試行になる計算です。「三回の再試行」に初回を含まない設定なら、試行数は四となり別の掛け算になります。この例は増幅を示す仮定で実測値ではありません。少しの失敗へ各層が親切に再試行しても、全体では依存先へ大量の仕事を追加する場合があります。バックオフへジッターがなければ、待った後も同じ時刻へ集中し得ます。各層の設定を単独でなく、要求全体の予算として確認します。
最初の原因と増幅する要因を分ける
観測では到着要求数、元の仕事と再試行の数、実行中と待機中の数、期限切れ、依存先ごとの遅延を同じ区間で読みます。エラー数の増加が引き金か、既に過負荷になった後の結果かを区別します。ヘルスチェックが失敗したノードを外したことで残るノードへ負荷が集まる場合や、キャッシュ削除で正本の要求が増える場合もあります。リクエストが利用者側で期限切れになっても、サーバーが計算を続けていれば回復へ使える資源が減ります。成功率だけでなく、有用に完了した仕事量と、無駄になった試行を分けて数えます。
回復できる負荷まで入口を絞る
対策では、再試行回数と全体予算を制限し、必要な層だけで再試行します。指数バックオフとジッター、有限の待機列、受付制限、用途別の資源分離、期限の伝播が候補です。期限を過ぎた仕事を始める前に検査し、既に不要な仕事へ資源を払い続けない設計にします。拒否を受けた側が即時に繰り返せば、入口を絞っても負荷は減りません。全エラーを同じ再試行可能扱いにせず、永続的な誤りと一時的な過負荷を区別します。Circuit breakerなどの仕組みも、再開時に全クライアントが同時に押し寄せない条件まで考えます。
段階的に戻して仕事の成功を確認する
復旧では、原因が直った瞬間に全負荷を戻すのでなく、滞留したキューやキャッシュ再取得を含めて段階的に戻します。処理率が受付を上回って古い待機が減るか、再試行の割合が下がるかを確認します。全ノードの一斉再起動は温まったキャッシュなども失わせ、別の集中を作る場合があります。試験環境で一依存先の遅延、応答喪失、部分停止を加え、被害がどの境界で止まるかを確かめます。平均CPUの低下だけを回復とせず、要求の成功、期限、待機の年齢、重要な業務の処理量が戻ったことを完了条件にします。
待機を処理済みと数えないように、受付、開始、終了、取消しを別のイベントとして記録します。