一度届けることと一度だけ処理すること
メッセージの重複配信は、同じ論理的な仕事が受信側へ複数回届くことです。少なくとも一回の配送を目指す仕組みでは、受信確認が分からない場合に再配信が必要になるため、重複を異常な例外として無視できません。二回受信しても業務の効果を一回へ抑える設計と、転送自体が一回しか起きない保証は別です。キュー製品の「一回」という表現も、生成、格納、取り出し、処理、外部更新のどこへ適用されるかを確認します。重要なのは課金や在庫更新など、利用者に意味のある効果が重なっていないかです。
処理成功後にackが届かない例
説明用に、受信者が注文EをDBへ反映した後、ackを送る前に接続が切れる順序を考えます。ブローカーからは処理成功を確認できず、Eを再配信する場合があります。二回目を新しい注文と扱うと、処理は成功していたのに二重の効果が生まれます。反対にDBへ反映する前にackすると、その後の失敗で仕事を失う危険があります。これは順序を考える模式例で実測の事故ではありません。どの時点で「受け取った」「処理済み」「外部効果が確定した」と言えるかを分け、確認応答と永続化の境界を図やイベント列で記録します。
メッセージIDと業務IDを照合する
調査では業務操作ID、メッセージID、再配信フラグ、試行番号、受信者、効果を保存したトランザクションを対応させます。再発行のたびに新しいメッセージIDが付く場合、転送のIDだけでは同じ業務操作を見つけられません。同じ内容でも別の正当な注文かもしれないため、本文の一致だけで捨てることもできません。IDを発行する責任と再試行時に維持する範囲を定義します。再配信フラグは手掛かりですが、外部効果が起きたことの確定記録ではありません。受信回数と完了した業務の数を別の指標として数えます。
効果と処理済み記録を同じ境界に置く
同じDB内の更新なら、処理済みIDの記録と業務更新を一つのトランザクションへ含め、IDの一意性を制約で守る方法があります。先に処理済みと記録して別に更新すると、途中失敗で効果がないのに再実行を拒否する場合があります。後で別記録にすると、効果の後の失敗で二回目を通す場合があります。外部の決済や通知は同じDBの原子性へ自動では含まれないため、相手の冪等性キーや状態照会を使う境界も必要です。重複排除のテーブルを作るだけで全システムのexactly-onceが得られると説明しないようにします。
保持期間と再処理の意味を確かめる
修正後は、効果の前後、ackの前後、受信者再起動、同じIDの並行処理、長時間後の再配信を試します。処理済み記録を削除する保持期間より後に再配信が来れば、古い仕事が再度実行される可能性があります。保存容量と再処理の最大期間を合わせ、手動の再実行にも同じIDを使うか、新しい業務として扱うかを定めます。正常な別の仕事を誤って捨てないことも確認します。重複の受信をゼロへする目標だけでなく、完了数、未処理数、重複した効果の数を観測し、配送の保証と業務の正しさを分けて評価します。
同じ操作IDへ異なる内容が届いた場合も、黙って前の結果を返さず、IDの再利用として検出する規則を決めます。