終えられない仕事を入口で断る
注文サービスに処理能力を超える要求が届くと、全てを待ち列へ入れるだけでは、利用者の期限内に終わらない仕事が増えます。待つ要求が接続やメモリを持ち、タイムアウトした利用者が再送すると、負荷がさらに増えます。Load sheddingは、処理できる仕事を守るため、一部の新しい仕事を早い段階で断る設計です。前提は有界キューと期限です。単にエラーを増やすのではなく、役に立つ完了を維持し、過負荷から戻れる状態を保つことを目的にします。
例えば同時に実行できる仕事を10件、待ち列を20件までと決めます。実行10件と待ち20件が埋まっているなら、31件目を無制限の別リストへ移さず拒否します。実行枠が空いていても、残り期限では完了できない仕事を入れると、他の仕事の機会を使います。拒否の場所はDB接続を取る前など、重い資源を確保する前に置くと効果があります。ただし認証や最低限の分類に必要な費用は入口にも残るので、その入口自体が無限に処理できるとはしません。
待ち時間から受付判断を計算する
説明用に一つの仕事が50 msで終わり、10件を並行処理し、既に20件が待っているとします。新しい要求が全ての先行仕事の後になる単純模型では、前の組を待つ時間と自分の処理に少なくとも約150 msを考える必要があります。残り期限が80 msなら、入れても役に立たない可能性が高いと判断します。この数字は時間が固定という模型で、実機の厳密な上限ではありません。処理時間のばらつきや優先度があるなら、その前提へ合わせた推定が必要です。
件数の上限だけでは、重い要求と軽い要求を区別できません。大きな集計と短い照会が同じ一件なら、件数が小さくてもCPUやI/Oを使い切る場合があります。処理種別、見積もる費用、同時実行数、待ち時間を組み合わせます。見積もりに誤りがあることも含めて余裕を置きます。過負荷の判断をCPU使用率だけへ固定すると、接続枯渇やロック待ちを見落とすので、実際に足りなくなる資源と完了の遅延を一緒に観測します。
拒否の応答と再送の契約を揃える
拒否が業務効果を作る前なら、サーバーが受付けなかったことを明確に返せます。一方、下流へ送った後で待ちを打ち切った結果不明を、同じ入口拒否へ分類しないでください。過負荷を示す応答の使い方は採用するHTTPやRPCの仕様へ合わせます。利用者単位の制限とサービス全体の一時過負荷を区別し、待ち時間を示す場合も、再送側は期限と予算を守ります。全てのクライアントが同時に即時再送する設定では、早く拒否した負荷がすぐ戻ってきます。
新規要求を断っても、既に受付けた仕事がいつまでも止まっているなら回復できません。処理の期限と取消し、下流の待ち、再送回数にも上限が必要です。Load shedding、バックプレッシャー、再送予算は組み合わせられますが、責務が違います。相手へ速度を落とすよう伝えること、入口で仕事を断ること、追加試行を制限することを分けて設計します。採用した機構の名前だけで、全経路の仕事量が制限されたとは判断しません。
重要度と公平性を明示する
在庫確保とおすすめ表示を同じ枠へ入れるなら、付加的な仕事を先に断って注文を守る設計が考えられます。ただし優先度をクライアントの自由なヘッダーだけで決めると、全員が最重要を名乗れます。信頼できる分類、利用者ごとの上限、古い待ち仕事の飢餓を考えます。重要な要求も無限には受付けられません。最重要の枠が埋まった場合の結果まで決め、拒否を起こさないことを唯一の目標にしないでください。
付加的な結果を省略して応答する場合、利用者に何が返るかを仕様に含めます。古いキャッシュ値を使うなら鮮度の条件を示し、未確定の注文を成功として表示する代わりにはしません。必要な仕事を落としたことを隠せば、速い成功率だけが良く見えます。拒否数、種類ごとの完了数、遅延、利用者間の偏りを観測し、過負荷解除後に通常の受付へ戻る条件も確認します。閾値の上下で頻繁に切り替わる場合は、余白や平滑化も検討します。
負荷を下げた後に回復するかを確かめる
検証では、上限の直前、直後、短い集中、長い過負荷、負荷を下げた後を分けます。拒否までの費用、受付けた仕事の完了、最大待ち件数、残った接続を記録します。要求を投げる側も受付けた成功だけを次へ送る方式だと、過負荷で送信数が自然に減り、問題を隠す場合があります。実際の到着率と送信側の待ち方を保存します。この教材の件数例は容量計画の模型で、本番サービスへ負荷試験を実施した記録ではありません。
低負荷の小さなサービスでは、固定の同時実行上限と短い有界キューで足りることもあります。複雑な優先度や費用推定を入れる前に、どの資源が足りなくなるのかを確認します。容量を増やせば解ける問題と、無制限受付のため容量を使い切って戻れない問題を分けます。依存先が止まった場合の隔離にはBulkhead、呼出し抑制にはCircuit breakerも関係します。どれを追加するかは、停止位置と保持される資源から選びます。
受付後の仕事を守れたかも数える
拒否が100件あっても、受付けた10件が期限内に終われば、その保護が目的に合う場合があります。逆に拒否を0へ見せるため無限に待たせれば、完了しない要求が増えます。拒否率の大小だけを良し悪しへ置き換えず、同じ到着率で完了数と期限を比較します。実験時には送った要求の総数も残し、消えた要求を統計から落とさないようにします。
31件目の扱いを決める課題
課題は実行10、待ち20の上限が埋まった後、31件目を「一時的な別キュー」へ入れる案です。解答は、その別キューにも明確な上限と期限がなければ、元の制限を迂回しているだけです。受付けたように見せることより、完了できる仕事を保つという目的へ戻ります。もし依頼を非同期で後日処理する仕様へ変えるなら、永続化、利用者への状態表示、期限、重複、取消しを設計し直します。一時リストへ移すだけでは、その契約は成立しません。
追加課題は、過負荷で返した応答へクライアントが無制限に即時再送する場合です。解答では入口の拒否と再送の散らし方、件数、期限を合わせないと、回復を妨げると説明します。拒否の理由を認証失敗や未実行の業務失敗へ取り違えないことも必要です。受付前、受付後、効果確定後の三つの境界を図にして、それぞれの応答が何を意味するかを整理できれば到達点です。