再送が元の負荷を増幅する
注文の応答が返らないと、クライアントは同じ操作をもう一度送るかもしれません。途中のサービスもそれぞれ再送すると、下流のDBへ届く回数は掛け算で増えます。再送予算は、元の要求に追加して許す試行を、全体として制限する設計です。前提は冪等性とバックオフです。正しく同じ結果を返せる要求でも、計算や接続、ロックを何度も使えば、回復中のサービスをさらに遅くします。業務効果の重複を防ぐことと、負荷の増加を抑えることは別の責務です。
ここでは元の要求が100件あり、追加の試行を最大20件許す例を使います。失敗した20件だけが一度ずつ再送すれば、合計は120回です。一つの要求が予算を全て使うことも認めるか、要求ごとの上限も置くかは別に決めます。「最大3回」が最初を含む試行数か、追加3回かも明記します。曖昧な回数の説明をサービス間で重ねると、想定していない回数へ増えます。
三層の再送を手計算する
AがBを呼び、BがCを呼ぶ三層を考えます。利用者の一要求に対し、各層が下流への呼出しを最大3試行ずつ行うなら、最も下流の処理が3×3×3=27回になる履歴を作れます。一つの層でしか再送しなければ最大3回です。これは全ての障害で必ず27回になるという意味ではなく、再送を重ねたときの上限候補です。どの層が再送を担当し、他の層は失敗をどう返すかを設計に含めます。
20件の追加予算を共有する場合、再送を始める前に一つ消費し、使い切ったら元の結果不明や失敗を返します。予算切れは処理失敗の証明ではありません。既に適用済みで応答だけが失われた要求もあります。状態照会や同じIDによる結果の取得へつなぐ場合も、追加の負荷として数えます。見えない別経路へ照会を逃がせば、予算の効果がなくなります。期限が残っていても予算がなければ再送しない、という二つの条件を同時に使います。
| 方針 | 元の要求1件に対する最大候補 |
|---|---|
| 三層で各3試行 | 27回 |
| 一層だけ3試行 | 3回 |
| 100件+共有追加20 | 全体120回 |
予算の単位と補充を決める
予算は、下流サービス、呼出し元、時間窓などの単位で持てます。全世界の一つのカウンタを毎回合意して更新する必要があるとは限りません。プロセスごとに持つなら、台数を増やしたときに合計の許容量が増えることを計算します。窓の境界で一斉に予算が戻る実装は、短時間の集中を作る可能性があります。元の成功要求に応じて少しずつ補充するtoken方式でも、最低許容量、上限、初期状態を明記します。方式名だけでは実際の最大負荷は決まりません。
予算を計算するとき、失敗した呼出しを新しい元要求として数え直すと、再送するほど予算が補充されてしまいます。元の要求の識別を伝播し、追加か新規かを同じ規則で判定します。非常に少ないトラフィックでは割合だけだと一度も再送できない場合があるので、固定の少量枠を置くかも判断します。逆に固定枠が全プロセスへ多く配られると、障害時の全体負荷が増えます。可用性の希望を、具体的な件数と時間窓へ落とします。
jitterと期限を別の制御にする
バックオフは再送の間隔を広げ、jitterは複数の呼出し元が同じ瞬間へ集まるのを抑えます。しかし回数を無制限にしたままなら、長い障害で大量の試行を続け得ます。予算は件数、jitterは時間の散らし方です。下流が過負荷を示したときに即時再送することも避け、応答の意味とRetry-Afterなど採用プロトコルの規則へ合わせます。認証や入力の誤りを、待てば治る一時障害として再送しないようにします。
残り期限が再送の待ち時間と必要な処理時間より短ければ、予算が残っていても試行を始めません。既に送った処理のキャンセルは別の契約で、クライアントが待つのをやめても効果が取り消されるとは限りません。状態不明を利用者へどう示すかも必要です。予算を置いたから全ての障害が安全になると説明せず、同じ操作ID、内容の一致、期限、再送対象の分類と一緒に使います。どの条件で再送を拒否したかを観測できるようにします。
どの数字で効果を判断するか
元要求数、追加試行数、成功した再送、予算による拒否、期限による拒否、下流の待ち時間を分けて記録します。再送の成功率だけが高くても、元の成功要求を圧迫して全体が遅くなるなら採用目的を満たしません。予算を小さくして拒否が増えた場合も、下流の回復や全体の完了率と一緒に見ます。冪等性キーを含む個々の要求を、不必要に全てログへ出す必要はありません。集計のための分類と、障害履歴の再構成に必要な情報を選びます。
短いローカルの模型で27回と120回を確かめても、本番で適切な割合が20%だと証明したことにはなりません。下流の容量、失敗の性質、利用者の期限から決める値です。再送がほぼ不要で、失敗が最終的な場合なら、固定の小さい上限だけで足りることもあります。複雑な共有予算を導入する費用と比べて選びます。仕組みの追加そのものを成果にせず、障害時に元の仕事をどれだけ守れたかを判断します。
同じ件数でも重い再送を区別する
20件の追加枠でも、軽い照会20件と巨大な集計20件は同じ負荷ではありません。件数だけの予算で足りるか、処理種別や依存先ごとに分けるかを判断します。費用の見積もりを導入したら、予算の単位も単純な要求数ではなくなります。どちらを選んでも、元の要求と追加試行の分類を保ち、何を上限へしたかを記録します。
残った予算を計算する課題
課題は元100件、追加予算20件のうち既に17件を使い、新たに5件が再送を求めた場合です。解答は、補充がない同じ窓なら追加できるのは最大3件です。残る2件は予算による拒否として記録し、入力失敗などへ分類し直しません。どの3件を選ぶかは先着順、重要度、利用者の公平性など別の方針です。この選択も予算の共有単位と合わせて明記します。単に失敗要求ごとに一回許せばよいという実装では、20件の全体上限を守れません。
追加課題は、同じ予算を10プロセスがそれぞれ独立に持つ場合です。解答は追加上限が合計200件になり得る、です。全体20件を要求するなら、分配や別の調整が必要になります。jitterを付けても200が20へ減るわけではありません。件数、時間、識別の三つを追えたら、応答喪失の実験へ進んでください。そこでは再送が必要になる履歴と、一度の業務効果を保つIDの役割を、実プロセスで確認します。