設計パターン・最適化図鑑 · 基礎から応用へ

指数バックオフとジッター:再試行で混雑を増やさない

待機時間の上限、ランダム化、総期限、再試行できる操作の条件をまとめます。 小さな入力を手で追い、式の前提と実装で確かめる範囲を整理します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 再試行も一つの負荷になる
  2. 待機時間を段階的に増やす
  3. 同時再送を散らす
  4. 総期限とキャンセルを守る
  5. 再試行してよい失敗を選ぶ
  6. 回数の上限は、初回を含むか決める
  7. 締切から逆算して、次の試行を選ぶ
  8. ランダム化の範囲と、期待される待機時間
  9. HTTP応答と、不明な書き込み結果を分ける
  10. この記事をロゲイアに質問する理解を確かめる

再試行も一つの負荷になる

一時的な通信失敗は再試行で回復することがありますが、過負荷のサービスへ直ちに再送すると混雑を悪化させます。元の要求が100件で各層が三回ずつ試すと、階層構造によって下流への要求が大きく増える場合があります。まずどの層が再試行を担当し、何回まで許すかを明確にします。再試行は無料の成功率改善ではありません。

待機時間を段階的に増やす

基本間隔を100ミリ秒として指数バックオフを使うと、待機上限は100、200、400ミリ秒と増えます。上限を設定しないと利用者が非常に長く待つことになるので、例えば最大2秒で頭打ちにします。何回目の再試行から数えるかで式の添字が変わるため、実装では最初の待機時間を具体的にテストします。

同時再送を散らす

多くのクライアントが同じ固定間隔で再送すると、回復直後に要求が再び集中します。フルジッターでは、その回の待機上限が400ミリ秒なら0から400ミリ秒の範囲でランダムに待ちます。ランダム化は個々の要求を必ず早めるものではなく、集団の再送時刻を分散する方法です。再現可能なテストには乱数源を注入できる設計が役立ちます。

総期限とキャンセルを守る

各回のタイムアウトに加え、操作全体の期限を設けます。残り時間が100ミリ秒しかないのに2秒待って再試行する計画は実行しません。利用者が画面を閉じた場合や上流がキャンセルした場合も、不要な再送を止めます。サーバーがRetry-Afterを返す場合は、その意味や残り期限を考慮して待機方針へ反映します。

再試行してよい失敗を選ぶ

入力の誤りや認可拒否は、同じ要求を繰り返しても通常は直りません。また、結果が不明な書き込みは重複の危険があるため、冪等性の契約が必要です。過負荷が長く続くなら、再試行回数を増やすより、受付制限やサーキットブレーカーなどの対策を検討します。成功率だけでなく再送件数、待ち時間、期限切れも観測します。

回数の上限は、初回を含むか決める

「最大3回」が初回を含む3試行なのか、初回に加えて3回再試行するのかで、最大負荷は変わります。ここでは初回を含む3試行と定義します。3階層がそれぞれ最大3試行を行えば、最下流への呼び出しは最大3³=27回になり得ます。各階層が自分の範囲だけ見て少し再試行しても、連鎖全体では大きな負荷になります。責任を一つの層へまとめられない場合は、上流から残り期限や試行予算を伝え、子の呼び出しへどう配分するかを決めます。試行番号をログへ記録し、元の利用者操作と結び付けると、一件の操作が何件の下流要求を生んだかを確認できます。

締切から逆算して、次の試行を選ぶ

操作全体の期限を1秒、各試行の上限を250ms、最初の二つの待機を100msと200msとする仮想例を考えます。最初の試行が250msで失敗した後に100ms待つと、2回目は350msから始まります。これも250msかかれば時刻600msで、さらに200ms待つと3回目の開始は800msです。残りは200msなので、3回目へ250msをそのまま割り当ててはいけません。残り時間で打ち切れるAPIを使うか、完了の見込みに応じて再試行を控えます。名前解決や接続の確立も同じ期限に含まれるか確認してください。壁時計の時刻が補正される影響を避けるため、経過時間の管理には単調増加時計を使います。

ランダム化の範囲と、期待される待機時間

待機上限cに対して0からcの一様乱数を使うフルジッターでは、理想的な平均待機時間はc/2です。上限400msなら平均200msですが、個別の要求が200ms待つと決まっているわけではありません。固定400msの方式から変えると平均待機自体も変わるため、同時再送の分散だけを公平に比較したいときは、どの量をそろえたかを明示します。乱数には、テスト用に再現できる入力を与えられると便利です。ただし本番の全クライアントで同じ種と同じ呼び出し順を共有すると、待機列が再びそろう可能性があります。範囲、上限、試行数、総期限を別々の設定として検査しましょう。

HTTP応答と、不明な書き込み結果を分ける

HTTP 429や503を受けたときも、無条件に同じ間隔で再送するのではなく、APIの契約、Retry-After、残り期限を確認します。Retry-Afterは秒数の場合とHTTP日時の場合があり、日時なら時計のずれも解釈に関わります。一方、認可されない要求へ同じ資格情報を送り続けても、通常は状況を改善しません。最も注意が必要なのは、注文の保存後に応答だけ失われた場合です。指数バックオフは重複注文を防ぎません。同じ業務操作の識別子で処理結果を照会したり、原子的な冪等性記録を使ったりする必要があります。失敗の種類、再送の安全性、負荷を抑える待機方針を三つの判断に分けると、責務を取り違えにくくなります。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

サーバーの中で起きていること · STEP 16

学習コースから次を選ぶ