実験・実装 · 基礎から応用へ

有界チャネルに負荷をかける

容量2のキューへ入力を集中させ、満杯のときの拒否と、取り出した後の再受付を確かめます。容量と処理能力の違いも整理します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 負荷を小さく、再現可能な形にする
  2. 満杯のときは、例外を契約として受け取る
  3. qsizeを見てから投入するだけでは守れない
  4. 取り出した後の仕事も、資源を使う
  5. 次に測るなら、完了と拒否を両方残す
  6. この記事をロゲイアに質問する理解を確かめる

負荷を小さく、再現可能な形にする

この実験ではキューの容量を2件に固定し、消費する前に3件目を投入します。実時間で大量の要求を送るのではなく、明示的な順序で満杯を作るため、環境の速さに依存せず境界を確認できます。Python標準ライブラリのqueue.Queueは、複数スレッド間でも使える同期を備えていますが、今回はまず単一スレッドで受付の契約を調べます。これは本番サービスの最大毎秒処理件数を測るベンチマークではありません。小さなバーストに対し、どこまで受け付け、どの入力を拒否し、いつ空きが戻るかを観察する実験です。

満杯のときは、例外を契約として受け取る

put_nowaitでAとBを入れた後、Cを入れるとFull例外になります。例外を握りつぶして成功と表示せず、拒否した件数を記録します。次にAを取り出すと、Cを入れられます。ここで空き枠を戻したのはgetで要素を取り除いたことです。task_doneは、その仕事の処理が終わったことを未完了件数の管理へ伝えます。二つは別の出来事なので、getした時点で処理が終わったと決めつけないでください。コードでは各getの後に処理を完了したものとしてtask_doneを呼び、最後のjoinで未完了が残っていないことを確かめます。

python
import queue
q = queue.Queue(maxsize=2)
q.put_nowait('A')
q.put_nowait('B')
try:
    q.put_nowait('C')
except queue.Full:
    print('C rejected while full')
else:
    raise AssertionError('capacity was not enforced')
assert q.get_nowait() == 'A'
q.task_done()
q.put_nowait('C')
for expected in ('B', 'C'):
    assert q.get_nowait() == expected
    q.task_done()
q.join()
assert q.empty()
print('A then B then C completed; rejected attempt was explicit')

qsizeを見てから投入するだけでは守れない

単一スレッドのこの順序ではキュー長を説明しやすい一方、並行処理でqsizeが2未満だったことだけを根拠に、次のputが必ず成功するとはいえません。確認と投入の間に別の生産者が空きを使う可能性があります。emptyやfullの確認にも同じ注意が必要です。容量の境界は、実際のput_nowaitの成否、または期限付きputの契約で扱います。監視用の現在値と、操作を原子的に受け付ける判断を混ぜないことが大切です。コードを複数スレッドへ広げる場合も、先に長さを見たから安全という別の受付規則を足さず、キューの同期された操作を使ってください。

取り出した後の仕事も、資源を使う

容量2は待機中の要素の上限であり、システム全体で実行中の仕事を2件へ制限するとは限りません。ワーカーを100本動かせば、キューが空でも100件が外部処理を待つ場合があります。また、要素の大きさに制限がなければ、2件だけでも大量のメモリを使い得ます。同時実行数、本文サイズ、DB接続、全体の期限などは別の上限として設計します。キューの外側で無制限にスレッドを作って待たせる方式も、容量制限の目的を損ないます。どこで待ち、どこで拒否し、拒否を上流へどう伝えるかを、入力から完了までの経路で確認します。

次に測るなら、完了と拒否を両方残す

スレッドや処理時間を加えるときは、処理が止まった場合にも待機が終わる設計を先に用意します。期限付きput、終了通知、例外時のtask_doneなどを検討し、受け付けた仕事を黙って失わないようにします。測定では入力件数、受付件数、拒否件数、完了件数を別々に数え、最古の待ち時間も確認します。拒否を増やせば待ち行列が短くなるため、キュー長だけで改善を判断してはいけません。今回の結果は、AとBを受付、最初のCを拒否、Aの取り出し後にCを受付という順序です。この順序の確認から、測っていない処理能力や最適容量を導かないでください。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 18

サーバーの中で起きていること · STEP 15

学習コースから次を選ぶ