同じ売上をいつまでに答えたいか
バッチとストリームは、単にデータ量が大きいか小さいかの違いではありません。バッチは、ある境界で区切った入力をまとめて処理し、ストリームは継続して届く入力へ状態を更新する方式として比較します。前提はストリームの時刻のガイドです。同じ売上集合を使い、結果をいつ出し、いつ訂正し、何を最終と呼ぶかを揃えます。大量の入力をストリームで扱う場合も、少数データをバッチで処理する場合もあります。方式名より要求する遅延と完全性が判断の軸です。
例は10:01の100、10:04の200、10:02の40、10:04の4という四売上です。全部を含む集計は344ですが、後半二つは遅れて届くとします。即時の画面には最初300、次に340、後で344という訂正があり得ます。日次バッチは締切まで受け付けた集合から一つの結果を出せますが、締切後の入力をどう扱うかはやはり必要です。「バッチだから全世界の全データを知っている」とは言えません。処理対象の集合を定義する切り口を明示します。
有限の入力と継続する状態を比べる
バッチは、ファイルの一覧やある時点のsnapshotなどを入力の範囲にできます。入力を再現できれば、同じ規則で再計算しやすくなります。ただし外部APIや変わる現在行を途中で読むなら、入力が固定とは限りません。ストリームは、入力位置と集計状態を継続して保持し、停止後にどこから戻るかを管理します。どちらも実行したコードの版と入力の識別を残す必要があり、方式を選んだだけで再現可能になるわけではありません。
小さな時間ごとに入力を区切って処理するmicro-batchもあります。一回の処理は有限でも、利用者へは継続した更新を見せられます。バッチとストリームを完全に排他的な二択とせず、どの境界で何を確定するかを読みます。最初の表示に数秒を許すなら、複雑な連続処理を避けられる場合があります。反対に数秒も待てない制御なら、窓の幅だけを短くした方式が必要な遅延へ届くかを実測します。
遅延データと訂正を同じ要件へ置く
ストリームではEvent time、watermark、許容遅延、保持した窓の状態を使い、遅れて届く40を300へ足して340にできます。さらに遅い4が状態の保持後に来るなら、別出力と後日の訂正を使うなどの方針が必要です。バッチでも締切後の4を次の実行で含めるか、過去日の訂正として再計算するかを決めます。二つを比較するとき、片方だけ全ての遅延を捨てる条件へして、完全な方より速いと評価しないでください。
同じ窓の合計を上書きするのか、差分を送るのかも揃えます。300と340を別々の売上として足す受信側なら、どちらの方式でも誤った結果を作れます。版付きの合計、取消しと再送、冪等な出力など、利用する保存先に合う契約が必要です。画面で暫定と最終を区別する場合も、その最終がどの締切と入力集合を指すかを説明します。入力を後から修正する権利があるなら、最終の後に訂正される版の扱いも業務として定めます。
| 同じ要件で比較する軸 | バッチ | ストリーム |
|---|---|---|
| 入力の境界 | ファイル集合・snapshotなど | 継続到着と入力位置 |
| 最初の結果 | 実行単位の完了後など | 逐次・窓の発火など |
| 遅延データ | 次の実行・過去分訂正 | 保持内訂正・別出力など |
| 障害後 | 固定入力から再計算など | 状態と位置の復旧など |
| 共通の責務 | 入力・版・出力の冪等性 | 入力・版・出力の冪等性 |
再実行で同じ効果を二回作らない
バッチの途中で停止して全体を再実行する場合、既に保存した結果を追記で二回作る危険があります。ストリームでも、復旧位置から入力を再生すれば同じ出力が再び生じます。状態と入力位置の整合、出力先のトランザクションや同じIDへの置換を検証します。片方にexactly-onceという説明があっても、対象の境界を確認してください。外部へ送ったメールや実決済が、集計状態と同じ原子性へ入るとは限りません。
再計算を速くするcheckpointやsnapshotも、それがどの入力位置と対応するかが必要です。snapshotの値だけ新しく位置が古ければ二重計算し、逆なら入力を飛ばす可能性があります。入力が保存されていない方式では、後で一から計算し直したくても材料がないことがあります。状態を継続する費用と、原入力を保持して再計算する費用を比較します。正常時の処理量だけでなく、復旧時間とその間に許す表示も選択へ含めます。
同じサービス水準で運用の費用を比べる
日次の請求や監査向けの集計で、朝までの完了と再計算が重要なら、境界を固定したバッチが候補です。監視画面や秒単位の変化を追う機能なら、継続更新が候補になります。いずれも最終的なデータの完全性が必要な場合があり、遅延と完全性を一方だけへ要求しないようにします。処理量、最初と最終の遅延、訂正の件数、状態量、再計算時間、運用の複雑さを同じ要件で比較します。
ストリームの暫定結果を日次バッチで照合する組合せもあります。二つの計算規則が違うと差分が永久に残るので、イベントの意味、切捨て、丸め、時刻、重複の扱いを揃えます。差が出たとき、どちらを正本とするかと訂正の流れも決めます。この教材の売上数列は手計算の例で、特定製品の速度や本番のパイプラインを測った記録ではありません。採用実装を決めるときに、固定入力と遅延、停止位置を使った検証へつなぎます。
入力の締切と出力の版を、両方の方式で同じ言葉へ揃えます。
344をいつ必要とするかの課題
課題は、最初の結果を一秒以内に見たい一方、遅れたイベントも含む344を翌朝までに確定したい場合です。解答は、一方だけが常に正しいという結論ではなく、暫定の継続結果と翌朝の照合を組み合わせる案などを、共通のイベント規則と版付き出力で設計すると説明します。日次の344だけで一秒の要件を満たしたとは言えません。逆に早い300だけで完全な売上の要件を満たしたとも言えません。
追加課題は、再実行で同じ窓の結果を追記するだけでよいかです。解答は、重複して下流へ加算される可能性があるので、窓IDと版、置換または差分の契約が必要です。量が大きいかだけで方式を選ばず、入力の境界、時刻、訂正、復旧、最終性の五つを説明できれば到達点です。