遅い依存先から別の機能を守る
注文サービスが在庫照会と通知送信に共通の接続枠を使うとします。通知先が応答しなくなり、通知の仕事が枠を全て保持すると、在庫側は正常でも新しい照会を始められません。Bulkheadは、故障の影響が広がる資源を複数の枠へ分け、一部の停止が全体を塞ぐのを抑える設計です。前提は同時実行数、待ち列、部分障害です。サービスを別の関数へ分けただけでは、共通のプールが残ることがあります。何を隔離するかを実際の資源から決めます。
説明用に全体の枠を10とし、在庫へ6、通知へ4を割り当てます。通知4件が待ち続けても、在庫の6枠は通知へ渡しません。これで守れるのはこのプールの競合です。CPU、DB、ネットワーク、親のスレッドなどを共有し続ければ、別の経路から影響が届きます。隔離の境界と、まだ共有している資源を同じ表へ書きます。「Bulkheadを使ったので全ての障害が独立」という説明にはしません。
共通枠と分割枠の履歴を比べる
共通10枠へ通知10件が先に入る履歴では、その後の在庫要求が待つ可能性があります。6対4へ分けた構成では、通知の5件目は通知側の待ち列か拒否へ進み、在庫側へ入ることはありません。待ち列も分けて上限を付けます。実行枠だけ分け、待ち列を無制限にすれば、通知の待ちだけでメモリを使い切る場合があります。受付時、実行開始時、終了時にどの枠を持ち、いつ返すかを履歴へ書いてください。
反対に通知が0件で在庫が10件来たら、厳密な分割では在庫が同時に使えるのは6枠です。残る4枠は空いていても利用できません。隔離のための余裕が、通常時の利用率を下げる交換条件です。空きを貸し借りする設計もありますが、貸した枠をいつ戻すか、通知が戻ったときに予約容量を守れるかを決めます。貸出しによって全体が再び共通枠と同じ振舞いにならないか、停止時の履歴で確かめます。
| 到着の履歴 | 共通10枠 | 在庫6・通知4 |
|---|---|---|
| 通知10件→在庫 | 在庫が全枠待ちになり得る | 在庫6枠は残る |
| 在庫10件のみ | 最大10件を実行 | 最大6件を実行 |
| 通知が停止 | 共通枠を保持し得る | 通知の枠内へ限定 |
枠を取る順序と解放を揃える
一つの要求が親の枠を持ったまま子の枠を待つと、資源を分けても待ちが連鎖します。通知専用プールを作ったのに、通知待ちの親要求が共通の全スレッドを占める場合が反例です。ブロッキングする場所、非同期に待つ場所、下流の接続枠を整理します。複数の枠が必要なら取得順序を決め、循環する待ちを作らないようにします。隔離を増やした結果、資源取得の順序が複雑になったことも検証対象です。
正常終了だけでなく、例外、期限、取消し、呼出し開始前の拒否でも枠を返す必要があります。finallyなど、必ず解放する境界を実装で確認します。枠が一つずつ漏れると、低い負荷でも長時間後に停止します。再送は同じ枠を保持したままか、いったん返してからかを決め、待機中に予約した資源の意味を明確にします。単にsemaphoreを追加したというコードの形ではなく、失敗を含む全経路で保持数が上限内へ戻ることを確かめます。
依存先単位と利用者単位を選ぶ
枠は依存サービスごと、機能ごと、利用者の群ごとなどへ分けられます。大口の一利用者が全枠を使うなら、依存先だけの分割では公平性を守れません。一方、利用者ごとに独立した巨大なプールを作れば、全体の枠数が増え過ぎます。予約を合計した値と実際の物理容量を照合し、全体の上限も必要かを決めます。分割の単位は、誰から誰への影響を抑えたいかという障害の履歴に合わせます。
枠が満ちたときの応答はLoad sheddingとつなぎ、期限内に待てる場合だけ有界キューへ入れます。Circuit breakerは失敗の続く下流への呼出しを抑えますが、失敗率が低くても極端に遅い呼出しで枠が埋まる場合があります。Bulkheadは件数の隔離、breakerは状態に応じた呼出し抑制で、互いの代わりではありません。採用した全ての機構の取得順と観測値を整理し、どの理由で拒否されたかを区別できるようにします。
隔離が効いたかを故障中に検証する
検証では通知先を制御点で止め、通知の保持数、在庫の完了、待ち件数、共通資源を確認します。負荷を下げた後に枠が戻るか、停止を解いた後に通知が回復するかも調べます。任意のsleepを入れて「たぶん止まった」とせず、受付や枠取得を観測してから次の要求を送ります。成功した在庫の最速値だけではなく、拒否、待ち、完了件数を揃えます。この記事の6対4は設計模型で、本番の最適な分割比の実測ではありません。
機能が少なく負荷が低いなら、共通の小さなプールと厳しい期限で足りる場合もあります。分割は設定、監視、予備容量の費用を増やします。障害がどこへ伝播しているかの証拠がある場所へ適用し、効果を確認して範囲を広げます。物理的な隔離が必要なら、プロセスやノードを分ける選択もありますが、共有DBが残るなど境界は再点検します。名前や配置図だけでは、使い切られる資源を特定したことにはならない点を覚えてください。
枠の数を物理容量へ対応させる
在庫6枠、通知4枠へ分けても、一つの呼出しが内部で10接続を開けば、総接続数は10には収まりません。予約枠が何を一単位と数えるかを確認します。worker数、要求数、DB接続数は同じではありません。多段の処理で一要求が保持する資源を表にし、最悪時の合計が保存先の上限と合うかを確かめてください。
余った枠を説明する課題
課題は在庫6・通知4の分割で、通知0、在庫10件が同時に来る場合です。解答は、厳密な予約なら在庫6件まで実行し、残り4件は在庫側の待ちか拒否です。空いた通知枠へ自動で流すとは限りません。この利用率の費用と、通知停止時の在庫保護を対にして説明します。比率を8対2へ変えるなら、在庫に有利になる一方、通知の並行能力が変わることも記録します。正常時の一回の測定だけで比率を決めません。
追加課題は、通知専用枠で待つ親が共通10スレッドを全て握る場合です。解答は、分割した下流の枠だけでは在庫の入口を守れない、です。親の待ち方か共通枠の境界も変更する必要があります。どこで止まり、何を保持するかを矢印へ書けば、この反例が見えます。隔離した資源、共有した資源、拒否、解放の四つを追えることが、このパターンを採用する前の確認です。