回復の動作が追加負荷になる
一時的な失敗に再試行は役立ちますが、障害中の相手へ大量の追加要求を送ることにもなります。処理能力が足りず遅れている相手に即時再試行を重ねると、回復するための余力をさらに奪います。
クライアント、API、内部サービスなど複数の層で再試行する場合、一つの利用者要求から何回の下流要求が生まれるかを把握します。各層だけでは小さい回数に見えても、組合せで増幅することがあります。
三層の再試行を数える
三つの層が、それぞれ最初の試行を含め最大三回呼び出すとします。失敗が続き各層が全回数を使う単純なモデルでは、末端へ最大27回の呼び出しが届き得ます。「三回」という設定だけ見て負荷を見積もると外れます。
実際の回数は呼び出しの構造や中断の伝達によります。まず試行の総回数と「再試行回数」の定義をそろえ、要求IDを使って下流まで追うと、重複の位置を特定しやすくなります。
期限と待ちを一つの予算にする
指数バックオフとジッターで再試行の密度や同期を減らし、最大試行回数と全体の期限を設けます。毎回の通信タイムアウトだけを決めても、合計でユーザーの許容時間を超える場合があります。残り時間を考慮して次の試行を選びます。
エラーの種類によっては再試行しても改善しません。入力不正や権限不足を一律に再送せず、一時障害か、別の対応が必要かを分類します。再試行する責任を一つの層に寄せる設計も候補です。
再実行してよい処理か
タイムアウトは「相手が処理しなかった」という証明ではありません。保存後に応答が失われただけなら、再試行で処理を重ねる可能性があります。副作用のある操作には冪等性キーなどを使い、同じ要求の結果を識別します。
検証では障害を戻した後の回復時間、元の要求数と再試行の比、成功率を確認します。再試行で成功率だけ上がっても、末端の負荷や重複処理が増えていれば問題が残っています。