キューは処理能力を増やさない
キューは短い入力の集中を吸収できますが、作業員の処理能力そのものは増やしません。毎秒120件の仕事が入り、処理できるのが毎秒100件なら、他の条件が同じ間は未処理が毎秒20件増えます。無制限キューではメモリと待ち時間へ問題を先送りします。入力と出力の差を見て、継続的な過負荷か一時的な波かを判断します。
容量を決めて受付方針を選ぶ
容量100件のキューが満杯なら、新しい生産者を待たせる、期限付きで待たせる、要求を拒否する、用途によって古い値を捨てるなどの方針が必要です。決済注文と最新のセンサー表示では捨ててよい情報が違います。データの意味を決めずに「古いものを削除する」と実装すると、利用者の操作を黙って失うことになります。
from queue import Queue, Full
pending = Queue(maxsize=1)
pending.put("first")
try:
pending.put("next", timeout=0.1)
except Full:
print("Queue full: next task was not accepted")上流へ圧力を伝える
バックプレッシャーは下流の余裕のなさを上流の生成速度や受付へ反映する考え方です。同期的なputが満杯で待つなら、生産者も自然に減速します。別サービス間ならレート制限の応答やクレジットの仕組みを使えます。ただし、生産者が無制限に別スレッドを作って待たせるなら、キューの外に別の待ち行列を作るだけです。
待ち時間にも上限を設ける
容量だけを制限しても、遅い一件が作業員を占有すると待ち時間は長くなります。各仕事に期限を持たせ、処理開始前に期限切れを判定する方法があります。キャンセルや終了時には待っている生産者・消費者を起こす必要もあります。キュー長、最古の仕事の待ち時間、拒否数、処理時間を併せて観測すると状態を把握しやすくなります。
容量の選び方を検証する
大きなキューは一時的な波に強い反面、古い要求を長く抱える場合があります。小さなキューは早く拒否しますが、短い入力集中も吸収できないことがあります。通常負荷、短いバースト、下流停止の三つを試し、受付方針が契約に合うかを確認します。平均の件数だけで容量を決めず、仕事の大きさのばらつきと利用者の期限も考慮します。
満杯になるまでの時間を、流量の差から求める
空のキューへ毎秒120件入り、毎秒100件を一定に処理できるという単純なモデルでは、未処理は毎秒20件増えます。容量100件なら5秒で満杯になります。容量を1000件へ増やしても、満杯になるのを50秒へ先送りするだけで、継続する流量差は解消しません。実際には処理時間にばらつきがあり、常に同じ速度で完了するとは限りません。この計算は容量の見積もりを考える出発点です。短い入力集中が終わった後で到着が毎秒80件に戻れば、同じ100件毎秒の処理能力に対して毎秒20件ずつ滞留を減らせます。継続的な過負荷と、後で追いつける一時的な集中を区別することが重要です。
件数と、メモリや実行中の仕事を分けて制限する
最大100件という設定でも、1件が1KBなら約100KB、1MBなら約100MBの本文だけを保持します。オブジェクトや参照の管理費はさらに加わります。件数の制限に加えて、受け付ける本文の大きさや合計バイト数も検討しましょう。また、キューから取り出した仕事は実行中へ移るため、キューが空でも多数のワーカーがメモリやDB接続を使っている場合があります。入場を制御するセマフォなどを使い、待機中と実行中を合わせた上限を決める設計も考えられます。上限を調べる際は、どの時点で枠を取得し、完了・失敗・キャンセルの各経路で誰が返すかまで追います。
待たせる場所を、呼び出し元まで追う
下流のキューが満杯になったとき、生産者を待たせるだけで十分とは限りません。受付APIが要求ごとに新しいスレッドを作るなら、待機しているスレッドが別の無制限な列になります。クライアントが同じ要求を直ちに再送する場合も、拒否した負荷が戻ってきます。受け付け前の同時実行制限、期限付きのput、明示的な過負荷応答、再試行の予算を組み合わせ、どこで仕事を保留するかを決めます。失ってはいけない操作なら、単にメモリへ置く代わりに永続キューなどを検討することもあります。ただし保存先を変えても、処理能力の不足やデータ保持の上限が消えるわけではありません。
期限切れと終了処理も、正常系として設計する
待機中に期限を過ぎた仕事は、開始直前に確認して取り除く方法があります。ただし依頼者が待つのをやめたことと、すでに始めた外部処理を取り消せたことは別です。結果不明の書き込みへ無条件で同じ処理を再投入しないようにします。終了時にも、新しい受付を止める、残りを処理するか取り消す、待機中の生産者と消費者を起こすという手順が必要です。キュー長だけでなく、最古の待機時間、完了件数、拒否件数、期限切れ件数を見れば、空いているから健康だという誤解を減らせます。全件を拒否しているサービスは、キューが短くても利用者の目的を達成していません。