障害・アンチパターン図鑑 · 基礎から応用へ

リトライストーム:失敗時の再試行が障害を広げる

多層の再試行による増幅を数え、期限・上限・ジッターを設計します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 回復の動作が追加負荷になる
  2. 三層の再試行を数える
  3. 期限と待ちを一つの予算にする
  4. 再実行してよい処理か
  5. この記事をロゲイアに質問する理解を確かめる

回復の動作が追加負荷になる

一時的な失敗に再試行は役立ちますが、障害中の相手へ大量の追加要求を送ることにもなります。処理能力が足りず遅れている相手に即時再試行を重ねると、回復するための余力をさらに奪います。

クライアント、API、内部サービスなど複数の層で再試行する場合、一つの利用者要求から何回の下流要求が生まれるかを把握します。各層だけでは小さい回数に見えても、組合せで増幅することがあります。

三層の再試行を数える

三つの層が、それぞれ最初の試行を含め最大三回呼び出すとします。失敗が続き各層が全回数を使う単純なモデルでは、末端へ最大27回の呼び出しが届き得ます。「三回」という設定だけ見て負荷を見積もると外れます。

実際の回数は呼び出しの構造や中断の伝達によります。まず試行の総回数と「再試行回数」の定義をそろえ、要求IDを使って下流まで追うと、重複の位置を特定しやすくなります。

期限と待ちを一つの予算にする

指数バックオフとジッターで再試行の密度や同期を減らし、最大試行回数と全体の期限を設けます。毎回の通信タイムアウトだけを決めても、合計でユーザーの許容時間を超える場合があります。残り時間を考慮して次の試行を選びます。

エラーの種類によっては再試行しても改善しません。入力不正や権限不足を一律に再送せず、一時障害か、別の対応が必要かを分類します。再試行する責任を一つの層に寄せる設計も候補です。

再実行してよい処理か

タイムアウトは「相手が処理しなかった」という証明ではありません。保存後に応答が失われただけなら、再試行で処理を重ねる可能性があります。副作用のある操作には冪等性キーなどを使い、同じ要求の結果を識別します。

検証では障害を戻した後の回復時間、元の要求数と再試行の比、成功率を確認します。再試行で成功率だけ上がっても、末端の負荷や重複処理が増えていれば問題が残っています。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

サーバーの中で起きていること · STEP 16

学習コースから次を選ぶ