失敗し続ける先への呼出しを止める
通知サービスが長く応答しないとき、全ての注文から毎回そこへ接続すると、呼出し元の枠も埋まります。Circuit breakerは、観測した失敗などから一時的に呼出しを抑え、回復を少数の試行で確かめる仕組みです。前提はタイムアウトとBulkheadです。名前が電気の遮断器に似ていても、遠隔の状態を直接知る装置ではありません。呼出し元が見た結果に基づく制御なので、通信の問題と相手の停止を常に区別できるわけではありません。
状態は通常の呼出しを通すclosed、直ちに拒否するopen、限られた確認を通すhalf-openに分けます。日本語の開閉の印象だけで逆に覚えないよう、closedは呼出しを通すと表へ書きます。openで返した拒否は、実際に下流へ送って失敗した試行とは別です。両方を失敗率へ混ぜると、拒否している自分の結果で永遠にopenへ留まる実装になり得ます。何を観測の分母と分子へ入れるかを先に決めます。
閾値と窓を一つの例で追う
説明用に直近10件の実呼出しで6件以上が対象の失敗ならopenへ移り、5秒後にhalf-openで一件だけ確認するとします。closedで10件のうち6件が失敗すると遮断し、その後の要求は下流へ送らず拒否します。5秒が過ぎたことは回復の証明ではありません。確認の一件が成功し、必要な条件を満たしたらclosedへ戻します。失敗なら再びopenへ戻します。5秒、10件、6件という数字は説明用で、本番に適した値を実測した結果ではありません。
窓は件数か時間か、少数の呼出ししかないときにどうするか、遅い成功を数えるかを明記します。入力不備や権限拒否まで下流の故障として数えると、正しく拒否しているサービスを遮断してしまいます。通信のタイムアウト、接続失敗、過負荷などを採用APIの意味に合わせて分類します。閾値へ到達した瞬間に既に飛んでいる要求は止まらない場合もあるため、状態がopenなら同時呼出しが必ず0という期待値を作らないでください。
| 状態 | 新しい要求 | 状態を変える例 |
|---|---|---|
| closed | 通常呼出し | 窓の失敗が閾値へ到達 |
| open | 送信せず拒否 | 待機期間が過ぎ確認へ |
| half-open | 少数だけ確認 | 結果からclosedかopen |
確認の同時実行を制限する
5秒後に全ての要求を確認として通すと、回復途中のサービスへ一斉に負荷が戻ります。half-openで許す確認数を原子的に制限し、確認中の残りは待つか拒否するかを決めます。確認が永久に返らない場合に備えて期限も必要です。複数の呼出し元が同時に確認するなら、各プロセス一件でも合計は多くなります。待機時間へjitterを付けたり、復帰時の速度を制限したりする方法を、全体の容量と合わせて検討します。
状態をプロセス内に持つ実装では、再起動や台数追加で初期状態へ戻ることもあります。全体の一つの状態を共有すれば常に良いわけでもなく、その保存先への依存が増えます。誰の観測をどの範囲で共有するかを決めます。ある利用者向けの失敗だけで全利用者を遮断してよいか、依存サービス全体を一つにまとめてよいかも問い直します。breakerの対象キーとBulkheadの分割単位は、同じとは限らないので、それぞれの境界を書いてください。
代替結果を成功へ見せかけない
通知を止めたときに注文を受付け続けるなら、未送信の通知をOutboxへ残すなど、後で必要な仕事へ戻れる契約を用意します。openだから通知を成功扱いにして捨てる設計は、要件を変えています。読取りで古いキャッシュ値を返す代替も、許す鮮度を決めます。在庫の確定のように新しい状態が必要な操作へ、古い値を無条件で返すことはできません。代替が別の共有依存先を呼ぶなら、その先へ負荷を移しただけでないかも検証します。
クライアントへ返る拒否を、即時再送のきっかけにするとbreakerの外側で負荷が回り続けます。再送予算、期限、バックオフと合わせて扱います。結果不明の業務処理がopenへの切替前に既に適用されていた場合、breakerはその効果を戻しません。要求IDで結果を追う責務は残ります。遮断で速く返せること、資源の占有を抑えること、業務の正しさを保つことを別に観測し、どれを改善できたかを示してください。
状態遷移を決定的に検証する
テストでは時計と呼出し結果を制御し、閾値の直前・到達、待機期間の直前・直後、確認中の並行要求、確認の成功・失敗を追います。長いsleepで実時間を待つより、模型の時計を進めて状態の期待値を確かめる方が、状態機械の検査として再現しやすくなります。実サービスとの接続試験はその後の別の検証です。模型の成功を、実ネットワークの障害を全て再現した証拠とはしません。拒否と実際に送った回数も別にassertします。
監視では状態、遷移理由、実呼出しの失敗と遅延、ローカル拒否、確認結果、枠の占有を分けます。トラフィックが少ないと成功の確認が遅れることもあるので、openの時間だけで故障時間を測ったとは言えません。依存がほぼ常に速く、再送と期限だけで十分なら、複雑な状態を追加しない選択もあります。遮断が誤って利用可能なサービスを隠す費用と比べます。導入後には、負荷を下げ、依存が戻ったときに呼出しも戻ることまで確かめます。
成功の意味を確認へ合わせる
確認用の一件がHTTPとして成功しても、業務に必要なDBへ触らない軽い経路なら、通常の要求が回復したとは限りません。逆に本物の課金を確認のたびに作る必要もありません。副作用のない確認で何を検査できるか、実際の呼出しの成功へどう段階的に戻すかを決めます。確認の範囲と通常処理の範囲を別に記録してください。
拒否を数える課題と解答
課題はopen中に新しい要求100件を拒否したとき、それを「下流で100件の新しい失敗」と失敗窓へ追加してよいかです。解答は、この設計では追加しません。下流へ実際に送っていないローカル拒否であり、健康状態の新しい観測ではないためです。拒否数としては記録します。確認の一件が成功するかどうかを別に追います。100件を混ぜれば、成功の確認があっても自分の拒否で失敗窓を埋め続ける危険があります。
追加課題は10プロセスがhalf-openで各1件を許す場合です。全体では10件の確認が届き得ます。解答では、プロセス内の上限1とサービス全体の上限1は違うと説明します。全体で必要な制御と、そのために増やす共有の費用を比較します。三状態の名前だけでなく、何を送ったか、どの結果を数えたか、何枠使ったかを追えることが到達点です。別のパターンと組み合わせるときも、この履歴を保ってください。