待たせる前に容量を考える
アドミッション制御は、新しい仕事を今受け付けるかを判断します。DB接続が20本しかないのに1000件を同時実行すれば、接続待ちやメモリ消費が増えます。セマフォで実行中の数を20以内にしても、その前に無制限の待ち行列を作れば問題は残ります。実行枠、待機枠、待機できる期限を分けて決めることが必要です。受付を制限する場所は、重い前処理より手前に置きます。
20枠と40待機枠の例
同時実行20、待機40なら、先行60件で実行枠と待機枠が埋まります。61件目は明示的な拒否や再試行可能な応答にします。この制御は毎秒20件というレート制限とは違います。1件に10秒かかれば、20枠の処理能力は理想化して毎秒2件程度です。仕事の時間が変わると、同じ同時実行数でも完了率は変わります。受付率と実行中数を混同しないでください。
失敗しても枠を返す
セマフォを取得した処理が例外で終わったり、利用者がキャンセルしたりしても、枠は返さなければなりません。try/finallyやコンテキストマネージャで解放を保証します。待機中に期限を過ぎた仕事を実行しても利用者はすでに離れているかもしれません。待機列から取り除くか、実行前に期限を再確認します。枠の取得と解放を数えるだけでなく、拒否件数や期限切れの数を見ます。
公平性と再試行の影響
先着順だけで長い処理が短い処理を押しのける場合は、用途別の枠や優先度を検討します。ただし、小さい仕事だけを優先すると長い仕事が永久に進まないこともあります。拒否を受けた利用者が即座に再試行すると、入口の混雑が増えます。バックオフとジッター、再試行回数の上限を合わせて考えます。受付制御はDBを速くする機能ではなく、過負荷で全体が崩れる範囲を小さくする仕組みです。
すでに受け付けた重要な要求と、再試行で増えた重複要求を同じ重さで並べると、回復が遅れます。重複排除や優先枠は候補ですが、特定の利用者が全枠を使わないよう範囲を決めます。全体の制限と利用者別の制限は、守る資源が違います。