通知ではなく、今の状態で進むかを決める
複数の消費者が同じ仕事キューを待つとします。通知を受け取ったから要素が自分のために予約された、と考えると競合が起きます。別の消費者が先にロックを取り、最後の一件を取り出す場合があるためです。既存のロックと条件変数の総論を前提に、このガイドでは容量の上限と終了状態まで含むキューを設計します。何を待つかを述語として書き、状態の変更と同じロックで評価します。
キューは要素列items、容量capacity、閉鎖したかを示すclosedを持ちます。不変条件は0≤長さ≤容量で、閉鎖後には新しい仕事を受け付けません。一方、既に入っている仕事は消費してから終了するという方針にします。閉鎖時に全て破棄する別方針も可能ですが、同じコードの保証ではありません。終了は通知の回数でなく、closedと現在の要素の組から判断します。
生産者と消費者で待つ条件を分ける
putは満杯かつ未閉鎖の間だけ待ちます。待ちから戻ったら条件をもう一度調べ、closedなら追加を拒否します。空きができた直後でも、閉鎖が同時に進んだ可能性を無視しません。getは空かつ未閉鎖の間だけ待ちます。戻った時点で要素がなければ、閉鎖後なので終了を返せます。閉鎖していても要素があれば、それを取り出して残りを処理します。
待つ条件は「進んでよい条件」の反対だけでなく、終了や失敗へ進む条件も含めて考えます。例えばputがclosedを条件へ含めず満杯だけを待つと、閉鎖後に誰も消費しない状況で永久に待つ可能性があります。getが空だけを待てば、閉鎖して新しい仕事が来ないのに眠り続けます。容量と閉鎖の二変数を一緒に読む必要があるため、別々のロックや無保護のチェックへ分けないでください。
| 共有状態 | 取出し側 | 投入側 |
|---|---|---|
| 空・未閉鎖 | whileで待つ | 容量があれば投入 |
| 満杯・未閉鎖 | 取り出せる | whileで待つ |
| 閉鎖・要素あり | 残りを取り出す | 拒否 |
| 閉鎖・空 | 終了を返す | 拒否 |
waitの前後も同じロックへ戻る
Condition.waitは待つ間ロックを解放し、戻る前に取り直します。ロックを持ったまま自分で空きを繰り返し調べると、相手が状態を変更できません。一方、独自にロックを外してから別の待機手段で眠ると、その間の通知を取り逃がす問題を考える必要があります。条件変数の規則へ沿って、述語の評価と待機の接続を扱います。
復帰の理由が通知か、別の事情かに依存せず、whileで現在の述語を確かめます。通知からロック再取得までにも状態は変わり得ます。今回のコードでは全員へnotify_allを行い、それぞれが必要な述語を再評価します。二種類の条件変数へ分ける改善もできますが、どの変化がどの待機者を起こすかという対応を保つ必要があります。一人だけ起こす最適化で、終了を待つ他の人を眠らせたままにしないことが重要です。
閉鎖を含む二消費者の実行
掲載コードは容量2のキューへ7と8を入れ、閉鎖します。二つの消費者はgetを繰り返し、終了の印Noneを受けたら戻ります。今回の仕事値はNone以外という契約です。各スレッドを期限付きjoinで回収し、二件がちょうど一回ずつ処理されたこと、閉鎖後のputがRuntimeErrorとなることをassertします。固定sleepで相手の準備を推定していません。
この実行は閉鎖と排出の経路を確認しますが、全てのOSスケジュールを走査したわけではありません。通知が空の条件でも来る場合を考える理屈は、whileの述語の説明と既存の条件変数実習へ対応させます。容量は正の2へ固定し、自由な公開APIにするなら0や負の容量、利用者の例外、仕事値Noneの扱いも明示的に検査します。小例の暗黙の値域を、そのまま汎用キューの契約としないでください。
from collections import deque
from threading import Condition,Thread
class Queue:
def __init__(self,capacity):self.items=deque();self.capacity=capacity;self.closed=False;self.cv=Condition()
def put(self,item):
with self.cv:
while len(self.items)==self.capacity and not self.closed:self.cv.wait()
if self.closed:raise RuntimeError('closed')
self.items.append(item);self.cv.notify_all()
def get(self):
with self.cv:
while not self.items and not self.closed:self.cv.wait()
if not self.items:return None
item=self.items.popleft();self.cv.notify_all();return item
def close(self):
with self.cv:self.closed=True;self.cv.notify_all()
q=Queue(2);results=[]
def consume():
while True:
item=q.get()
if item is None:return
with q.cv:results.append(item)
workers=[Thread(target=consume,daemon=True) for _ in range(2)]
for worker in workers:worker.start()
q.put(7);q.put(8);q.close()
for worker in workers:worker.join(5);assert not worker.is_alive()
assert sorted(results)==[7,8]
try:q.put(9)
except RuntimeError:pass
else:raise AssertionError('closed queue accepted work')
print('two consumers stopped; queued items drained exactly once; post-close put rejected')
閉鎖の線を状態表へ加える
キューの状態を、未閉鎖で空、未閉鎖で一部使用、未閉鎖で満杯、閉鎖で要素あり、閉鎖で空へ分けます。putが待つのは未閉鎖の満杯だけです。getが待つのは未閉鎖の空だけです。閉鎖で要素ありならgetは進み、閉鎖で空なら終了します。状態表にしておくと、通知する場面だけを列挙した実装よりも、全ての戻り先を確認しやすくなります。
closeはロック下でclosedを変え、全待機者へ知らせます。既に取り出した仕事を処理する消費者へ強制的な取消しをかける操作ではありません。処理済みか未処理かの追跡、失敗した仕事の再投入などは別の業務プロトコルです。今回の7と8のような単純な処理ではそれらを省いています。受付の停止、キューの排出、実行中の取消し、全スレッドの回収を同じstopへまとめず、必要な境界を利用者へ説明します。
公平性と性能は別に検査する
notify_allで起きた順番が、そのままロックを取る順番になるとは限りません。条件変数だけで消費者間の公平な処理件数を保証しません。二人の結果が一件ずつにならなくても、今回の契約は受け付けた二件が一回ずつ処理され、全員が終了することです。公平性が必要なら待機順の管理など、追加の規則と検査を設計します。均等な件数を偶然観測しただけで保証とは呼びません。
一方で、全員を起こすことによる余分な再確認の費用もあります。測定が必要なら消費者数、仕事量、待機時間、ロック区間を揃えて比較します。速く見せるために終了通知や回収を測定外へ追いやり、残ったスレッドを無視しないでください。正しい終了方針を保ったまま性能を比べます。述語が十分簡潔なら、先に分かりやすい方式を作り、観測した問題に応じて通知先を絞る方が、変更の影響を説明しやすくなります。
一つのロックで読める不変条件を保つ
itemsの長さを調べた後にロックを外し、別の場所で要素を追加すると、二つの生産者が同じ最後の空きを見て両方入れる可能性があります。条件変数の有無以前に、確認と状態変更を不変条件に沿う範囲へまとめる必要があります。今回のputは同じcvのロックを持ったまま、待つ条件の再評価から追加まで進みます。
getも空の確認と取り出しを同じ範囲で行います。外部の重い仕事は取り出した後に行い、キューのロックを持ったまま長い通信をしない構成へします。取り出した仕事の失敗をキューへ戻す方針なら、その際の容量と閉鎖の扱いも新たに必要です。今回の二件の処理は単純な結果リストへの追加で、再投入の仕様はありません。保護する共有状態と、その外で行う業務を区別し、どの不変条件がどのロックで守られるかを説明します。
閉鎖後も残った要素を取り出せるという契約と、閉鎖の瞬間に全要素を捨てるという契約は異なります。確認問題では前者に統一しています。
終了の印と通常データを分ける
今回のgetは閉鎖して空ならNoneを返すため、Noneは通常の仕事として渡さない契約です。利用者がどんなPython値でも入れたいなら、終了を表す専用オブジェクトや、返り値の型を分けるなどの設計を加えます。値の意味が衝突すると、正しいキュー操作でも消費者が本物の仕事を終了と誤認する可能性があります。同期の問題とプロトコルの値域の問題は別です。
例外で終了を知らせる方式を使う場合も、空で待つ状態と永久に閉じた状態を区別し、呼出し側が何を捕まえるかを明示します。終了の印を一件だけキューへ入れる案では、消費者が複数いる場合に全員が終われるかを確認します。今回のclosedはキュー全体の状態なので、仕事の印を人数分配る必要とは違います。値、状態、通知、消費者の終了を別の列へ置くと、曖昧な停止手順を避けられます。
閉鎖時の三状態を答える課題
課題は閉鎖したキューに一件残る場合、getは終了を返すか、その一件を返すかです。解答は、今回の排出方針では一件を返します。次のgetで空なら終了します。閉鎖後のputは空きがあっても拒否です。closedという一つのフラグから全操作の同じ結論を出さず、要素数と操作の目的を組み合わせて判断してください。
追加課題は、空キューを待つ消費者が二人いるのに、closeで一人だけ起こす案です。解答では、もう一人が新しい仕事も通知も来ないまま眠り続けるおそれを説明します。closeは全ての待機者の終了条件を変えるため、必要な全員へ再評価の機会を与えます。最後にifへ変更した場合、起きた時点で別の消費者が要素を使った履歴を描きます。通知は予約ではなく、現在の述語をもう一度見るきっかけだと説明できれば到達点です。