体系ガイド · 基礎から応用へ

実行枠・待ち行列・依存関係からプールを設計する

4実行枠の模型で受付と拒否を追い、子仕事待ちの循環、待ち時間の分布、終了時の枠の寿命を考えます。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 実行枠と、待ってよい枠を分ける
  2. CPU仕事と待ち仕事で枠の意味が違う
  3. 全枠の親が、同じプールの子を待つ
  4. 受付数と依存関係を模型で確認する
  5. 平均、分位点、拒否を一緒に読む
  6. 閉鎖と取消しで枠を返す
  7. 拒否された仕事へ応答の意味を付ける
  8. 余った枠と隔離のトレードオフ
  9. 上限を変える前に答える課題
  10. この記事をロゲイアに質問する理解を確かめる

実行枠と、待ってよい枠を分ける

スレッドプールへ仕事を送れば、無制限に同時実行できるわけではありません。ここでは実行枠4、待ち行列の上限2を持つ模型を使います。八件が一度に来た場合、四件は実行、二件は待機、残る二件は拒否という方針です。既存の有界キューの考え方を前提に、実行中と待機中の数を分け、どこまで受け付けたと応答してよいかを決めます。受付と完了を同じ出来事にしません。

待ち行列を長くすれば拒否が減る場合もありますが、容量が増えたわけではありません。利用者が期限を越えて待つだけになる可能性もあります。実行枠、保留数、要求の期限、棄却時の返り値を一つの契約として考えます。今回は先着の単純な受付方針で、重要度や利用者別の公平な枠配分を実装したものではありません。何を制限するプールかを先に明示します。

CPU仕事と待ち仕事で枠の意味が違う

CPUで計算する仕事を増やす場合、利用できるCPU枠と同時実行数の関係を考えます。外部I/O待ちが長い仕事なら、待つ間に他の仕事を進められる方式もあります。ただしスレッド数を増やすだけで下流DBや通信先の容量まで増えるわけではありません。メモリ、スタック、接続、ロックの競合も増える場合があります。仕事の分類と資源の依存先を並べます。

平均的なサービス時間だけから最適なスレッド数を一意に決めないでください。仕事時間のばらつき、到着の集中、期限、CPU割当て、ライブラリの実行モデルなどが関係します。Pythonの場合も、使用する処理系や拡張がどのようにCPU仕事を実行するかで条件が異なります。この教材は特定の定数を全サービスへ推奨するものではありません。同じ仕事量で、待つ場所と限界資源を識別してから容量の候補を作ります。

仕事ID模型の分類件数
0〜3実行枠4
4〜5有限キュー2
6〜7受付前に拒否2

全枠の親が、同じプールの子を待つ

四つの枠で親仕事P0〜P3が動き、それぞれ同じプールへ子仕事を入れて終了を待つ場面を考えます。四つの親が枠を占有したままだと、子が待ち行列にあっても走る枠がありません。CPUは空いているように見えても、アプリの資源待ちが循環します。待ち行列を大きくして子を保存できるようにしただけでは、この実行枠の問題は解消しません。

解決の候補は、同じ実行枠を保持した同期的な子待ちを避ける構成、子の実行場所を分ける構成、依存関係を非同期に組む構成などです。ただし枠を分ければ全てが良くなるわけではなく、合計の資源量と下流の上限を考えます。実際のデッドロックを無期限に発生させるコードは載せず、今回の模型では親、保持枠、待つ子の関係を明示して検査します。停止しない実験を作ること自体を学習目標にしません。

受付数と依存関係を模型で確認する

掲載コードは八件を順に投入し、実行中[0,1,2,3]、待ち[4,5]、拒否[6,7]をassertします。続いて四親が四つの子を待つ占有状態を検査します。この段階は、最初の受付例とは別の依存関係の場面として記述しています。最初の待ち行列上限2と、後半の四つの子の一覧を混ぜて、一つの実サービスの実行履歴だと読まないでください。

どちらも決定的な占有模型で、実際のスレッドを止めたりスケジューラ性能を測ったりはしていません。出力にも模型と記します。実プールを測る場合は、仕事の受付と開始、終了、拒否、取消しを個別に記録し、テスト全体の期限と回収手順を持たせます。計測を打ち切っても残る仕事がどこで動くかを確認し、成功した要求だけの時間を集めて拒否や未完了を隠さないようにします。

python
slots=4;queue_limit=2;running=[];waiting=[];rejected=[]
for job in range(8):
    if len(running)<slots:running.append(job)
    elif len(waiting)<queue_limit:waiting.append(job)
    else:rejected.append(job)
assert running==[0,1,2,3] and waiting==[4,5] and rejected==[6,7]
parents=set(range(4));blocked_on_child=parents.copy();child_queue=[4,5,6,7]
assert parents==blocked_on_child and len(parents)==slots and child_queue
print('accepted6 rejected2; all4 parents waiting for queued children forms capacity deadlock')
print('deterministic occupancy model; no blocked real worker threads')

平均、分位点、拒否を一緒に読む

平均待ち時間が小さくても、一部の長い仕事の後ろで短い仕事が大きく遅れることがあります。待ち時間の分布や、期限以内に終わった割合も調べます。逆に過負荷の要求を早く拒否すれば、受け付けた要求の平均は良く見える場合があります。そのとき拒否率を別に表示しなければ、利用者全体の改善と誤解されます。速い成功だけでなく、システムが与えた全ての結果を評価します。

到着率と平均滞在時間から平均の滞留量を考える関係は役立ちますが、安定している期間や対象の境界を揃える条件があります。今回の一瞬の八件を、そのまま定常状態の容量予測へ入れません。実験では十分な観測区間、同じ入力列、初期状態、実行枠とキュー上限を保存します。時間片やOSのCPU割当てを変更したなら、その条件も一緒に記録し、アプリのプールだけの差と混ぜないようにします。

閉鎖と取消しで枠を返す

プールを終了する際、受付を止めること、待ち仕事を実行し終えること、未開始を取り消すこと、実行中を止めることは別です。仕事がfinallyで資源を返す場合も、処理系の取消しがどの点で届くかを確認します。待つ側が結果の取得をやめても、実行中の仕事が枠を保持し続ける場合があります。非同期取消しの章へ接続し、期限後に残る仕事も観測対象に含めます。

下流の接続プールを合わせて使う場合は、スレッド枠を保持したまま接続を待つ構造も考えます。接続を持つ仕事が別のスレッドを必要とすると、複数の資源の循環ができます。プールごとの上限を個別に正しく設定しただけでは、組み合わせの進行を保証しません。どの仕事が何を持ち、次に何を待つかを図へ書き、取得順や待機の構成を見直します。枠の数と仕事の寿命を同じ設計で扱います。

拒否された仕事へ応答の意味を付ける

待ち上限へ達して受け付けなかった仕事を、受け付け済みだが結果不明の仕事と同じ失敗へしないようにします。拒否した時点で副作用を始めていなければ、その条件を利用者へ伝える材料になります。一方、受付後に期限が来た場合は実行中かもしれません。再送の判断へ使う情報が違うため、受付、拒否、開始、完了の識別を残します。

負荷を下げるために拒否しているのに、利用者が直ちに無制限に再試行すると負荷が増える場合があります。第3段階のリトライ予算やバックオフへ接続し、拒否と期限の扱いを全体で設計します。今回の模型は仕事ID6と7を拒否へ分類するだけで、その後の再送を実行していません。再試行を加えた試験では元の要求数と追加試行数、最終結果を分けて保存し、受付枠の上限を守ったことだけで過負荷の解消まで証明しないでください。

上限の変更前後で同じ到着列を使うと、受付の違いを追いやすくなります。ただし、処理時間が負荷で変化する実サービスでは、固定時間の模型と同じ結果になるとは限りません。

余った枠と隔離のトレードオフ

遅い外部依存を使う仕事と、短いCPU仕事を同じ枠へ入れると、前者が全枠を保持して後者も待つ場合があります。枠を分ければ影響を制限できる候補ですが、片方が空いて他方に待ちがあると、使わない容量も生まれます。隔離の保証と、余剰を融通する効率を別の目的として評価します。既存のBulkheadのパターンと同じく、障害の広がる経路を先に図へします。

上限を全体と種類ごとの二段へ置く場合、取得順や二重の待ち行列も考えます。種類の枠を持ったまま全体の枠を待つなどの関係が、他の仕事の進行へどう影響するかを確認します。単に別プールを二つ作っただけで、DB接続やメモリの全体予算まで独立になったとは言えません。遅い依存が続く入力、片方だけ忙しい入力、両方忙しい入力を別に検査し、枠の配分の条件が結果へどう表れるかを残します。

上限を変える前に答える課題

課題は実行枠4・待ち上限2の模型へ八件が一度に来たとき、受付済み、実行中、待機、拒否の数を求めることです。解答は受付6、実行4、待機2、拒否2です。受付済み6件が同時に実行されるわけではありません。次に待ち上限だけを10へ増やすと、拒否を減らせても実行枠は4のままであることを説明します。どの量を増やしたかを明確にしてください。

追加課題は四親が同じプールの四子を待つ場面で、待ち上限だけを増やせば進むかです。解答は、保持された実行枠が空かないので解決しません。子が実行されるまで親が枠を返さず、子にはその枠が必要という循環を示します。最後に、平均応答だけでなく拒否と未完了も記録する理由を述べます。容量設定を一つの数字の調整として扱わず、受付、依存、終了、観測の契約として説明することが到達点です。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 17

サーバーの中で起きていること · STEP 7

AI基盤へ進む · STEP 7

学習コースから次を選ぶ