二回の停止を同じ送信予定で追う
注文order-7と送信予定event-7を同じSQLiteトランザクションへ保存し、relayを三回起動します。一回目は送信前、二回目は受信側の確認応答の後で強制終了し、三回目で送信済みの印まで進めます。受信側には実際に二回届きますが、在庫の模型である効果カウンタは一回だけ増えます。前提はOutboxとInboxです。実プロセスの停止と再起動を扱いますが、同じマシンの使い捨てDBとソケットによる検証で、本番配送基盤の耐久性や性能を認定するものではありません。
送信側と受信側のDBは別ファイルです。一つのwith dbで両者をまとめて確定する仕組みはありません。送信側は注文と予定、受信側は受信IDと効果をそれぞれのトランザクションへ置きます。外へ出る部分では、到達後に送信済みを記録できず、重複が残る履歴を意図的に作ります。重複を隠して配送一回と表示せず、deliveries=2、effects=1という二つの数を最後まで分けて確認してください。
起動通知と一時ファイルを用意する
コードをoutbox.pyへ保存し、Python 3.12以降でファイルとして実行します。spawnを使うのでmainの条件を残します。consumerは127.0.0.1の空きポートを取り、Pipeで通知します。親はその通知を待ってrelayを起動します。長いsleepで起動を推定しません。sender.dbとreceiver.dbはTemporaryDirectoryの中で、他のDB接続情報は不要です。外部のメール、決済、メッセージサービスには接続しません。
consumerは二回の配送を処理し、relayは一回だけ未送信行を読む短命のプロセスです。停止位置へ達したrelayはos._exit(23)で終了します。期待される23と、正常な三回目の0を親で区別します。23が出たから試験が失敗したのではなく、指定位置で終了したことを検証します。想定外のコードや待ちの上限超過はassertで失敗です。finallyでは残ったプロセスを終了し、ファイルを使う相手が残ったまま一時領域を片付けないようにします。
到達確認と送信済み記録の間で止める
一回目は未送信行を読み、ネットワークへ送る前に止まります。親はpending=1を確認します。二回目はconsumerへevent-7を送り、ackを受けた後で止まります。consumerは同じトランザクションで受信IDの挿入と効果の増加を確定してからackを返すため、この時点で効果は一回です。しかし送信側はまだpending=1です。三回目は同じevent-7を送り直し、ackの後にsent=1を保存します。
consumerのINSERT OR IGNOREが新しい一行を入れた場合だけ効果を増やします。IDの挿入だけを先に確定したり、効果だけを後で別トランザクションへ置いたりしません。今回のイベントは固定の種類と内容なので、IDだけを受けます。実装を任意の内容へ広げるなら、同じIDの別内容を拒否する契約も必要です。一意なIDがあれば、IDの再利用や保持期限の問題まで自動で消えるとは考えないでください。
import json,multiprocessing as mp,os,socket,sqlite3,tempfile
from pathlib import Path
def consumer(path,ready):
with socket.socket() as listener:
listener.bind(('127.0.0.1',0));listener.listen();listener.settimeout(10)
ready.send(listener.getsockname()[1]);ready.close()
for _ in range(2):
connection,_=listener.accept()
with connection,connection.makefile('r') as stream:
event=json.loads(stream.readline())
db=sqlite3.connect(path)
try:
with db:
fresh=db.execute('INSERT OR IGNORE INTO inbox VALUES(?)',(event['id'],)).rowcount
if fresh:db.execute('UPDATE effects SET count=count+1')
connection.sendall(b'ack\n')
finally:db.close()
def relay(path,port,stop):
db=sqlite3.connect(path)
row=db.execute('SELECT id FROM outbox WHERE sent=0 ORDER BY id LIMIT 1').fetchone()
assert row
if stop=='before-send':os._exit(23)
with socket.create_connection(('127.0.0.1',port),timeout=5) as connection:
connection.sendall((json.dumps({'id':row[0]})+'\n').encode())
with connection.makefile('r') as stream:assert stream.readline()=='ack\n'
if stop=='after-ack':os._exit(23)
with db:db.execute('UPDATE outbox SET sent=1 WHERE id=?',row)
db.close()
def pending(path):
with sqlite3.connect(path) as db:return db.execute('SELECT count(*) FROM outbox WHERE sent=0').fetchone()[0]
if __name__=='__main__':
context=mp.get_context('spawn')
with tempfile.TemporaryDirectory() as directory:
sender=str(Path(directory)/'sender.db');receiver=str(Path(directory)/'receiver.db')
with sqlite3.connect(sender) as db:
db.executescript('CREATE TABLE orders(id TEXT PRIMARY KEY);CREATE TABLE outbox(id TEXT PRIMARY KEY,sent INTEGER);')
with db:
db.execute('INSERT INTO orders VALUES(?)',('order-7',))
db.execute('INSERT INTO outbox VALUES(?,0)',('event-7',))
with sqlite3.connect(receiver) as db:
db.executescript('CREATE TABLE inbox(id TEXT PRIMARY KEY);CREATE TABLE effects(count INTEGER);INSERT INTO effects VALUES(0);')
parent,child=context.Pipe(duplex=False);worker=context.Process(target=consumer,args=(receiver,child));worker.start();child.close()
try:
assert parent.poll(10);port=parent.recv()
for stop in ['before-send','after-ack','none']:
process=context.Process(target=relay,args=(sender,port,stop));process.start()
try:
process.join(10);assert process.exitcode==(0 if stop=='none' else 23)
finally:
if process.is_alive():process.terminate();process.join()
assert pending(sender)==(0 if stop=='none' else 1)
worker.join(10);assert worker.exitcode==0
with sqlite3.connect(receiver) as db:
assert db.execute('SELECT count FROM effects').fetchone()==(1,)
assert db.execute('SELECT count(*) FROM inbox').fetchone()==(1,)
with sqlite3.connect(sender) as db:assert db.execute('SELECT count(*) FROM orders').fetchone()==(1,)
print('relay_stops=2 deliveries=2 pending=0 orders=1 inbox_ids=1 effects=1')
finally:
if worker.is_alive():worker.terminate();worker.join()
parent.close()
永続状態を停止ごとに検査する
親は各relayをjoinし、停止前・到達後ではpending=1、最後は0とassertします。consumerの終了コード0と、受信ID一件、効果一回、注文一件も確認します。全て通るとrelay_stops=2、deliveries=2、pending=0、orders=1、inbox_ids=1、effects=1が出ます。これが今回の実行で確認した期待値です。時間や性能の順位は測っていません。固定の停止位置と状態を追う実験で、任意の電源断の全てを網羅したとも扱いません。
一回目と二回目の送信側はどちらも未送信一件ですが、受信側の状態が違います。送信側の表だけでは相手が処理したか分からないことを説明してください。また受信ID一件だけで効果の正しさを判断せず、効果カウンタも照合します。処理済みの印だけが残る誤実装を検出するためです。実験を並列consumerへ広げる場合は競合とロックの振舞いも別に試し、この順次受信の結果をそのまま並列性の証明へ使わないようにします。
強制終了と電源断の範囲を区別する
os._exitはrelayのプロセスを指定位置で終了しますが、OS全体の電源断やストレージの故障は起こしていません。SQLiteのCOMMITが返った後の状態を、この環境のファイルで確認する実験です。媒体の故障や全ノード停止まで耐えた証拠として書かないでください。そうした要件には保存先、同期、複製、バックアップの別の検証が必要です。
一方、relayを再起動しても送信予定が残ることと、consumerのIDと効果が対応することは、このコードで直接検査しています。失敗したrelayを例外として消すのでなく、23という終了と残った行をセットで記録します。同じ停止を二回起こした場合も状態を説明できるかを、次の拡張の候補にできます。
停止の種類を変えた検査は、別の履歴として記録します。
境界を変える課題と解答
課題は三回目のconsumerで、受信IDの登録と効果増加を別々に確定する変更です。解答では、ID登録後に停止すると効果がないのに再送を無視し、逆順なら効果を二回作る隙間があると説明します。Outboxだけが正しくても、受信側の原子性を崩せば最後のeffects=1という意味を守れません。各操作がどのトランザクションへ入るかを、コードのwithの境界へ戻して追います。
追加課題は、停止から戻るたびに新しいイベントIDを作る案です。解答は、consumerが別イベントとして効果を増やし得るため、元の予定の再送は同じIDを維持する必要がある、です。終了時には全ての子がjoinされ、一時DBが削除されます。送信済み行の永久保持はこの実験の対象外で、実運用では保存期間、監査、再送可能期間との対応を決めます。配送回数、ID、効果、未送信状態を四つの別の値として説明できれば到達点です。