応答がないことからは決まらない
分散システムでは、一部のノードや通信だけが失敗し、他の処理は動き続ける部分障害が起きます。支払い要求の応答がないとき、サーバーが停止した、要求が届かなかった、処理は終わったが応答が失われた、といった可能性があります。クライアントのタイムアウトだけではこの三つを区別できません。ローカル関数の例外のように、呼び出し元が全ての状態を同時に観測できるとは限らないことが出発点です。失敗と「結果が不明」を別の状態として扱います。
タイムアウトは判断のための期限
タイムアウトは、待ち続ける代わりに次の行動を決めるための期限です。遅いネットワークや一時停止したプロセスを、故障したプロセスと誤認する場合があります。短くすると早く切り替えられますが、不要な再試行も増えます。要求全体の残り時間を考慮しない各段のタイムアウトは、呼び出しの連鎖で大きな待ち時間を作ります。下流への期限伝達、再試行回数の上限、バックオフを合わせ、期限を過ぎた仕事が裏側で資源を使い続ける場合も確認します。
時刻の順と因果の順を分ける
別々の機械の時計は、ずれたり補正されたりします。ログの時刻が小さいからといって、そのイベントが必ず先に影響したとは限りません。一つのプロセス内の実行順、送信から受信への関係、それらの推移を使うと因果順序を定義できます。Lamport時計は因果関係があるイベントの順を保つ数値を付けられますが、数値が小さいことから逆に因果関係を証明するものではありません。実時間の制約を使う設計では、時計の誤差や停止について追加の前提を明示します。
再試行を同じ操作として扱う
送金を再試行するとき、単純に同じ金額をもう一度送ると二重実行になり得ます。操作IDを付け、処理結果と重複判定を同じ整合性の範囲で保存すると、同じ操作の再送を以前の結果へ結び付けられます。ただしIDの保持期間、異なる本文でのID再利用、障害復旧後の記録も設計が必要です。確認APIで状態を取得する方法も、処理の状態遷移が明確でなければ曖昧さを残します。結果不明を解消する手順と、人間が調査すべき条件まで決めておきます。
注文を保存した後に応答を失う例
注文order-7で在庫10を9へ減らし、その結果を保存した直後に応答を失う例を共通の出発点にします。利用者は応答がないことだけを観測し、在庫が9か10かをまだ知りません。同じ要求を別IDで送り直せば、さらに8へ減る可能性があります。注文IDや操作IDを同じ意味で扱い、数量など内容の一致を確認し、結果と効果を同じローカルな確定へ置く設計が必要です。
表の三行はクライアントから似て見えますが、サーバーの状態が違います。未到達、適用前の停止、適用後の応答喪失を、タイムアウトという一つの文字列へ潰さないでください。結果を照会するAPIも、何を確定済みとして返すかが必要です。この章の例は業務の模型で、実際の注文や課金を送っていません。後の実験ではローカルプロセスと一時DBで、適用と応答の境界を明示して追います。
| 止まった場所 | 効果 | 呼出し元の観測 |
|---|---|---|
| 要求が未到達 | なし | 応答なし |
| 適用前 | まだなし | 応答なし |
| 適用後・応答前 | 在庫9 | 応答なし |
正しさを保っても再送は負荷になる
同じ操作の効果を一回へ抑えても、再送は認証、接続、照会やロックを使います。入口、API、DBの各層がそれぞれ三試行すると、下流へ最大27試行が届く模型を作れます。バックオフは間隔を広げ、jitterは同時刻の集中を散らし、再送予算は追加の件数を制限します。役割を分けて使い、冪等性があるから無制限に再送してよいという判断はしません。
全体で待てる時間も一つです。各段へ毎回300 msを配ると、入口の期限を超えて仕事が続き得ます。残り時間を差し引いて伝え、期限後の取消しをどこで確認するかを定めます。既に確定した在庫は、待ちを打ち切っただけで戻りません。期限、結果の識別、再送件数を合わせて設計し、どの理由で次の試行を止めたかを観測できるようにします。
隔離と受付制限を障害の履歴へ置く
通知先が遅く、共通の接続枠を全て保持すると、在庫が正常でも注文が進まない場合があります。Bulkheadで資源を分け、満杯なら有界キューと受付拒否を使い、失敗の続く先にはCircuit breakerで確認を制限する方法があります。ただし下流だけ分けても、待つ親が共通の全スレッドを握るなら影響は残ります。何を保持したまま止まるかを、実際の資源ごとに追います。
状態がopenだからという理由で、必要な通知を成功扱いにして捨てないでください。後で送る必要があるならOutboxなどで予定を残します。代替応答で許す古さや省略も業務の条件です。名前を多数並べるより、受付前、効果の前後、応答、後片付けの境界へ置き、どの機構がどの失敗を変えるかを説明します。
受付けた仕事を後で完了させる場合、応答が速く返っただけでは利用者の目的は終わりません。未送信の予定、補償待ち、期限後も走る処理を区別して残します。order-7の在庫9を確認した後、通知が停止しているなら、その未完了を誰が再開するかを決めます。依存先が戻ったときに正常な受付へ復帰する条件まで検証します。過負荷を拒否した回数だけを成果にせず、受付済みの仕事の完了を合わせて確認してください。
もう一つの課題として、三台のローカル実験が成功すれば別ホストの時計も揃ったと言えるかを考えます。解答は言えません。同じホストの単調時計を比較できる前提と、別マシン間の期限の伝え方は異なります。経過時間を測った記録と、論理時計で順を付けた記録も同じ尺度ではありません。前提を一つ変えるごとに、以前の実験のどの結論が使えるかを確認します。
学ぶ順番と条件変更の解答
まず応答喪失後の再送実験で、在庫9と記録ID一件を確認します。次に再送予算と期限を読み、三サービスの実験で残り時間と効果を比較してください。論理時計はその後に、時刻を並べることと因果を知ることの違いへ進みます。同じ注文例でも、件数、経過時間、因果関係は別の量です。どれを計算したかを結果へ書きます。
課題は応答を失った後に新しい操作IDを作る案です。解答は、元と別の注文として扱われ二重の効果を作り得るので、同じIDの結果を解決する必要がある、です。別内容なら不一致を検出します。実験で失敗を注入した位置と残った状態を説明できれば、タイムアウトを未実行と決めつけない基本が身に付いています。