使い回す接続と、借りる権利を分ける
接続プールは、毎回新しく接続を作る費用を減らし、同時に使う数を制限するための仕組みです。ただし、プールへ要求を出した時点と接続を借りられた時点は別です。取得待ち、接続確立、使用、返却を分け、どこで時間を使ったかを追います。既存の接続漏れの記事を前提に、この章では一つのプールの上限と、プロセス全体・下流全体の容量を組み合わせて設計します。
今回の実行例は、八つの許可を持つsemaphoreへ十六スレッドが参加するものです。実DB接続を張らず、貸出権の取得と返却を実スレッドで検査します。接続を模した枠と、実際のソケットやDBセッションを区別して説明します。枠が八つだからDBも八接続が確立した、と記録しません。上限の会計を小さく観察し、その後に実サービスへ必要な接続の状態を考えるための構成です。
平均の使用時間から、必要な数を見積もる
要求が接続を持つ期間は、SQLがサーバーで計算する時間だけとは限りません。結果を読み終えるまで、トランザクションを確定するまで、あるいはアプリが別の処理を挟む間も保持する場合があります。取得と返却の境界を記録し、一件のSQL時間と貸出期間を同じものへしません。長い処理が一つ入ると、他の利用者の取得待ちが増える場合があります。
平均の到着率と平均の保持期間から必要な占有数を考えるのは、安定した対象範囲を揃えるための出発点です。集中する要求、長い尾、複数問い合わせの連鎖、取消し、接続の故障も関係するため、平均だけで全要求の待ち時間を保証しません。上限を決めるときは、許容する待機時間、拒否の方針、下流の容量と予約枠も併記します。数字だけを大きくして待ちを別の場所へ移した結果を、容量そのものが増えたと説明しないでください。
各プロセスの上限を足す
一プロセスの上限8を三プロセスへ設定すると、最大24の貸出候補になります。DB側の許容接続が16で、管理や別の仕事へ2を残したいなら、アプリに使える合計は14です。各プロセスの設定だけ見れば8で小さく見えても、全体では予約を守れません。均等な三プロセスなら各4で合計12など、余裕を含む候補を作れますが、負荷が偏る場合は別の配分も検討します。
オートスケールでプロセスやインスタンスが増えると、同じ一台の設定値でも下流への合計が変わります。複数サービスが同じDBを使う場合も、それぞれ独立に下流の全枠を使えるとは見積もりません。管理、復旧、移行、別アプリの枠を含めて予算を作ります。今回の合計は上限の会計例で、常に全接続が確立されるという予測ではありません。最小接続数、遅延生成、切断と再接続の規則も実プールでは別に確認します。
| 項目 | 接続数 |
|---|---|
| 三プロセス各8の候補 | 24 |
| DB上限 | 16 |
| 別用途の予約 | 2 |
| アプリ全体の予算 | 14 |
待つ期限と、残りの仕事の期限を揃える
全体の残り時間が100msしかないのに、接続取得で100ms待った後、SQLへ新しい100msを与えると、入口の期限を守れません。取得待ち、接続確立、SQL、結果処理、後始末へ時間を配分し、どの時点で断るかを決めます。プールの取得タイムアウトは、DB側の文のタイムアウトやトランザクションの寿命と同じ設定ではありません。どれがどこを止めるかを確認します。
取得待ちで取り消された要求が、後から渡された枠を返さず捨てる競合も考えます。実行中のSQLを待つ側が諦めても、SQLやトランザクションが続き接続を占有している場合があります。接続の再利用前には、その状態が次の利用者へ漏れないかを確認します。第3段階の期限伝播と、非同期取消しの章の資源所有の境界を合わせて読み、単にタイムアウトを短くすれば全ての後始末が済むとは説明しません。
十六スレッドで貸出上限を確かめる
コードは開始Eventで十六スレッドをまとめて進め、八つが枠を持った時点でfullを通知します。親はその段階を待ってからreleaseを出し、各スレッドはfinallyでactiveを減らします。全員を期限付きjoinで回収し、ピーク8、終了時0、完了16をassertします。固定sleepの長さに依存して最大占有を偶然観測する試験ではありません。
この検査で確認するのはsemaphoreの枠と自分で管理するactiveの関係です。接続の確立、TLS、DB側のセッションやSQLの実行はありません。出力にも許可は貸出を表すと書きます。実接続版へ進む場合、接続を返すfinallyだけでなく、異常な接続を廃棄する条件、未確定トランザクションの扱い、初期状態への復帰を検査します。枠を戻せたことと、同じ物理接続を安全に再利用できることを分けます。
from threading import BoundedSemaphore,Event,Lock,Thread
pool=BoundedSemaphore(8);start=Event();release=Event();full=Event();lock=Lock();active=0;peak=0;completed=0
def work():
global active,peak,completed
assert start.wait(5)
with pool:
with lock:
active+=1;peak=max(peak,active)
if active==8:full.set()
try:assert release.wait(5)
finally:
with lock:active-=1;completed+=1
threads=[Thread(target=work,daemon=True) for _ in range(16)]
for t in threads:t.start()
start.set()
try:assert full.wait(5)
finally:release.set()
for t in threads:t.join(5);assert not t.is_alive()
assert active==0 and peak==8 and completed==16
print('requests=16 peak_leases=8 active_after=0 completed=16; permits represent leases, not database connections')
接続の健全性と返却を判断する
例外が起きた接続をそのままプールへ戻してよいかは、失敗の段階と対象のドライバへ依存します。トランザクションが失敗したまま、セッション変数が変わったまま、結果を読み残したままなら、次の利用者へ問題を引き継ぐ可能性があります。返却前のロールバックや状態のリセット、壊れた接続の廃棄などを、採用するライブラリの契約へ従って行います。
健全性確認にも費用があります。毎回の確認が必要か、アイドル中の切断をどこで見つけるか、長い寿命の接続をいつ作り直すかを考えます。ただし接続を更新するために全員を同時に切ると、再接続が集中する場合もあります。接続の使い回し、保護する上限、障害時の再作成という別の役割を分けます。今回の枠だけの模型は接続の健全性を検証したわけではないため、実接続での安全性を判断するには別の検査が必要です。
観測する四つの時刻を保存する
要求受付、貸出開始、使用終了、返却完了の時刻を分けると、長い取得待ちと、長く保持した利用者を区別できます。新規接続の生成が取得の中へ入る実装なら、その時間も分けて記録します。平均だけでなく分位点や拒否、取消し、現在の待機数と使用数を合わせて読みます。枯渇の原因が接続漏れか、下流が遅いだけか、単に上限が小さいかは、一つの空き数では分かりません。
実験の対象期間にスケールや接続再生成があれば、そのイベントも残します。利用者IDなど不要な個人情報をログへ入れる必要はありません。要求を対応付ける試験用IDと段階の記録で、所有の流れを追えます。性能を比較する場合は、同じ要求列と下流の条件を揃え、成功した短い要求だけを抽出しないでください。枠の上限が守れたこと、全員が返却したこと、必要な期限を守れたことを、それぞれの項目として評価します。
借りる単位がセッションかトランザクションか
アプリの接続オブジェクトと、DB側の物理セッションが常に一対一とは限りません。中間のプールがトランザクション単位でサーバー接続を貸す方式では、同じアプリ接続の次のトランザクションが別のサーバーセッションへ割り当てられる場合があります。接続を持ち続けているという見た目だけで、セッション状態が継続すると仮定しないようにします。
前の処理で設定した状態へ次の処理が依存するなら、採用するプール方式と対応機能を確認します。一時表やセッション設定などの機能は、製品や設定によって扱いが異なります。どんなプールでも使える、あるいはすべて禁止されると一括して覚えず、必要な状態の寿命と、貸出の寿命を対応させます。
この違いは上限の数え方にも関係します。入口のクライアント数と、DBへ実際に張られる接続数は同じ値とは限りません。二つの段へプールがあるなら、どこで待ち、どの上限を消費しているかを別に記録します。掲載セマフォ例には一段の枠しかなく、この多重化は検査していません。実際のドライバとプールで学ぶ際に、最初に確認する契約の一つです。
全体の予算を答える課題
課題は三プロセスが各8、DB上限16、他用途へ2を予約する場合、最大のアプリ候補数と利用可能枠を求めることです。解答は候補24、アプリ予算14で、設定の合計は超えています。三つへ各4なら12になり一つの候補ですが、負荷や接続の最低数を確認せず唯一の正解とはしません。各プロセスの表示が小さいことと全体の余裕を区別します。
追加課題は、貸出枠をfinallyで返したがトランザクションが失敗状態のままという接続を、そのまま次へ渡してよいかです。解答は、採用ドライバの契約へ従ってロールバックやリセット、必要なら廃棄を判断することです。枠0へ戻ったassertだけでは実接続の健全性を確認できません。最後に、今回の十六スレッドの試験で実DBへ何接続したかを答えます。答えは接続していません。模型の枠と実資源を正しい名称で説明できることが到達点です。