注文だけ保存される隙間をなくす
注文をDBへ保存した後、通知用のメッセージを送る処理を考えます。保存直後にプロセスが停止すると、注文は残りますが、通知を送る予定が失われます。逆に先に送ると、DBの保存が失敗したのに注文済みという通知が届く可能性があります。二つの外部システムへ順に書いただけでは、一方だけが成功する隙間が残るためです。Transactional Outboxは、業務の更新と送信予定を同じDBトランザクションへ記録し、この隙間を送信の再開が可能な状態へ変えます。
前提はローカルトランザクション、冪等な要求、配送の重複です。ここでの原子性の境界は、同じDBの注文とoutbox行です。DBと配送先を一つの原子的な処理へしたわけではありません。送信は別のrelayが未送信行を読んで行います。業務の更新が確定したなら、その更新に対応する送信予定も残る、という契約をまず作ります。メッセージが世界全体で一回だけ届くという約束とは区別してください。受信側の重複への対応は、Inboxの別の記事へつながります。
一つのトランザクションに二つの行を入れる
order-7を受付済みへ変え、event-7というイベントをoutboxへ追加するとします。両方をBEGINとCOMMITの間へ置き、どちらかの保存が失敗したら両方を取り消します。イベントには安定したID、注文ID、イベントの種類、必要な内容、必要なら集約ごとの順序番号を持たせます。後で注文の最新行だけを読み直して通知を作ると、イベントが生じた時点の情報を失う場合があります。配送に必要な内容と、個人情報を不必要に複製しない境界を一緒に決めます。
HTTPの応答が失われた場合は、業務要求の再送自体にも識別が必要です。outboxのIDが一意でも、同じ注文を別の業務要求として二回受付ければ、二つの別イベントを作れてしまいます。要求IDと内容の対応を保存する冪等性と、確定した更新の通知を忘れないOutboxは別の責務です。DBトランザクションを長い外部送信の間まで開いたままにせず、まずローカル状態を確定し、送信は外へ分けます。ロックを保持して待つ時間も設計対象になります。
停止する位置で三つの履歴を分ける
COMMIT前に停止したなら、この模型では注文と送信予定のどちらも確定しません。COMMIT後、送信前に停止したなら、両方が残りrelayが再開できます。配送先へ届いた後、送信済みの印を保存する前に停止したなら、未送信行が残り、再開時に同じイベントをもう一度送る可能性があります。表の三行目が、Outboxだけでは重複を消せない理由です。配送先の応答も失われることがあるため、「応答がない」を未処理と決めることはできません。
送信済みの印を先に付けると、印の後・送信前に止まったとき、送る予定を失います。順番を入れ替えるだけでは、消失と重複の両方を除けません。実装では許す配送の性質を決め、受信側へ同じIDを渡して効果を一度に抑える方法を組み合わせます。ここでの一度は、受信側が同じトランザクションへ置ける業務効果の境界です。メールや実決済のような別の外部効果まで、同じDBへ書いた印だけで一回にできるとは限りません。
| 停止位置 | DBに残る状態 | 再開時 |
|---|---|---|
| 確定前 | 両方未確定 | 要求からやり直す |
| 確定後・送信前 | 注文と未送信行 | 送信する |
| 到達後・印の前 | 注文と未送信行 | 重複し得る |
複数relayと順序の契約を決める
relayを増やすときは、同じ行を同時に担当しないための取得方法を決めます。ロック、期限付きの担当、配送後の更新には、それぞれ停止時の再取得条件があります。担当を得たプロセスが止まっても、永久に行を握らせない仕組みが必要です。ただし一度の担当割当てを排他的にしても、到達後の停止による再送は残ります。排他制御と配送の重複排除を同じ問題として解かないでください。採用DBの公式なロックとトランザクションの仕様へ合わせて実装します。
注文の作成と取消しを別のrelayが送るなら、受信順が業務順と逆になる可能性があります。必要な単位ごとに連番を持たせ、送信と受信で順序をどう保つか、遅れた古いイベントをどう扱うかを決めます。全ての注文の全順序が必要とは限りません。注文単位の順序で足りるなら、その範囲を明示します。再送を同じIDで行うことと、別イベント同士の順序は別の条件です。IDに時刻が入っているだけで、因果順序や確定順が自動で保証されるとも考えません。
運用で滞留と再送を見分ける
未送信の件数だけでなく、最も古い行の年齢、試行回数、成功までの時間、処理不能な内容、受信側の重複件数を観測します。注文の受付が成功していても通知が何時間も止まれば、利用者が期待する流れは終わりません。一つの不正なイベントを無限に再送して後ろを塞がないよう、隔離、修正、再投入の手順を決めます。試行を止めた行を黙って削除すると、更新に対応した通知を保つという目的を失うので、業務上の解決状態を残します。
Outboxが不要な場合もあります。通知を失ってよい仕様や、一つのDBへの更新だけで完結する処理なら、追加のテーブルとrelayは費用になります。既に信頼できる変更データ取得を使う場合も、その確定位置、保持期間、再開、順序を検証して比較します。名前を採用するより、確定した更新から何が再現できるかを確認することが先です。付属の再起動実験は使い捨てSQLiteで停止位置を検証しますが、それをPostgreSQLや本番配送基盤の性能・耐久性の認定とは扱いません。
送信先の追加を別の要件として扱う
同じイベントを二つの受信先へ送る場合、一方が成功しても他方の予定は残す必要があります。送信済みを一つの真偽値だけで持つ設計では、どの相手まで届いたかを表せません。受信先ごとの進捗や、配送基盤へ渡した後の責任を定めます。一受信先の実験が通ったことを、複数先へ同じ保証を拡張した証拠として使わないでください。
送信後の停止を説明する課題
課題は、受信側が在庫を一つ減らした直後にrelayが停止し、outboxの送信済み印がない場合です。解答は、再開したrelayは同じイベントを再送し得るので、同じ受信IDと業務効果を一つの受信側トランザクションで扱う必要がある、です。「Outboxへ入れたから重複しない」は誤りです。送信側で二回目を避けようとして印を先に付けると、今度は配送されない停止窓ができます。表へ停止位置を戻し、消失と重複のどちらを変えたかを説明してください。
追加課題は、メッセージの内容を後から注文の最新状態だけで作る案です。作成と取消しのイベントが同じ取消済みの状態を読むなら、受信側が区別すべき二つの事実が失われます。解答ではイベント時点の内容またはそれを再構成できる履歴を保存すると説明します。実験では業務行と未送信行、受信IDと効果件数を停止前後でassertします。これらの状態を追えたら、Outboxは「送ったことにする仕組み」ではなく、未完了の配送を失わず再開する仕組みとして理解できます。