体系ガイド · 基礎から応用へ

WAL・チェックポイント・再起動後の可視性を追う

専用クラスタを即時停止して復旧し、確定行と未確定行、同期設定、同一領域の回復とバックアップ復元を分けます。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 確定するたびに全ページを書かない理由
  2. ログ位置とデータページを時系列へ置く
  3. チェックポイントは復旧の出発点を助ける
  4. 一時クラスタの実行境界を確認する
  5. 再起動で何を観測したかを読む
  6. redoと業務上の取消しは同じでない
  7. バックアップとログの保持を別に確かめる
  8. 確定と応答の間で接続が失われる場合
  9. 確定と未確定の状態を答える課題
  10. この記事をロゲイアに質問する理解を確かめる

確定するたびに全ページを書かない理由

DBの更新では、変更した行を含む全データページを毎回すぐ書き出す代わりに、先に必要なログを保存して復旧へ使う方式があります。WALは、対応するログが耐久化する前に変更済みデータページだけを先へ保存しないという順序を扱います。ログの生成、ログの同期、データページの書戻し、コミットの応答を別の出来事として追うと、更新の速さと復旧の関係を説明できます。

ここではPostgreSQLの専用クラスタを一時領域へ作り、確定した行1と未確定の行2を含む状態から、DBプロセスを即時停止して再起動します。OSや媒体への電源断は起こしません。再起動後に行1が見え、行2が見えないことと、復旧ログを確認します。ファイルがあるだけで復旧を完了したとしない一方、この小例が全ての故障やバックアップからの復元を検証したとも説明しません。

ログ位置とデータページを時系列へ置く

ある変更のログを生成しても、それがまだメモリ上にある段階では、耐久化の条件を満たしているとは限りません。必要な位置までログを同期し、変更済みページを後で書けるようにします。データページが未書戻しでも、ログから再適用できる構成が、コミットごとに全ページを同期する費用を避ける助けになります。ただしどこまで同期してから成功と返すかは、採用する設定と保証へ依存します。

今回はfsyncとsynchronous_commitを有効にした専用クラスタを使います。設定を緩めた場合の応答と障害後の状態を、同じ保証として引用しません。また、ログがローカルへ残ることと、別ホストや媒体喪失に備えた複製・アーカイブがあることも別です。ログの数値上の位置が進んだだけで、必要な全保存先へ到達したと判断しないでください。どの位置の、どこへの同期を確認したかを、設定と一緒に説明します。

チェックポイントは復旧の出発点を助ける

チェックポイントは、復旧で参照する位置や必要な書戻しを管理する仕組みです。「チェックポイントがあるから、以後の全ログをすぐ捨ててよい」という意味ではありません。複製、バックアップ、アーカイブなどが必要とするログの範囲は別の条件も持ちます。今回の例では表を作った後にCHECKPOINTを実行し、その後の確定行と未確定行を用意します。復旧ログのredoの開始と完了を読むために、段階を分けています。

チェックポイントの頻度を増やすと、復旧時の仕事や平常時の書込みへ影響しますが、この小例は最適な頻度を測定していません。設定を一つ動かせば常に性能が良くなると勧めず、復旧所要時間、書込みの山、保存領域などの要件から評価します。既存のWALとスナップショットの比較へ戻り、基礎状態、変更ログ、可視性のsnapshotという異なる概念を同じチェックポイントという語へまとめないでください。

一時クラスタの実行境界を確認する

Pythonコードを一般ユーザーとして実行します。PostgreSQL 18のinitdb、pg_ctl、psqlが使える環境を用意し、配置が違う場合はLAVACS_LAB_PGBINで明示します。TemporaryDirectoryの中だけへデータとUnixソケットを作り、listen_addressesを空にしてTCPを待ち受けません。認証trustはこの使い捨ての局所クラスタだけで、既存サービスの設定を変えません。既存のDBデータディレクトリを引数へ渡す構成ではありません。

起動はpg_ctlの待機を使い、SQLで表とチェックポイントを作ります。行1のINSERTは確定する別呼出しで実行し、行2はpsqlの開いたBEGINの中へ置きます。UNCOMMITTED_READYの印を読んでから停止するので、固定sleepで未確定の段階を推定しません。コードの即時停止はこの新しいデータディレクトリだけを指定します。実行条件と停止対象を確認してから、自分の大切なDBがある環境と分離して実習します。

python
import os,pathlib,subprocess,tempfile
pgbin=pathlib.Path(os.environ.get('LAVACS_LAB_PGBIN','/usr/lib/postgresql/18/bin'))
with tempfile.TemporaryDirectory(prefix='wal-lab-') as directory:
    root=pathlib.Path(directory);data=root/'data';log=root/'server.log';running=False;session=None
    def run(tool,*args):return subprocess.check_output([str(pgbin/tool),*map(str,args)],text=True,stderr=subprocess.STDOUT)
    def control(action,*args):return run('pg_ctl','-D',data,'-w',*args,action)
    def query(sql):return run('psql','-X','-At','-v','ON_ERROR_STOP=1','-h',root,'-p','6544','-d','postgres','-c',sql).strip()
    try:
        run('initdb','-D',data,'--auth=trust','--no-locale')
        control('start','-l',log,'-o',"-k "+str(root)+" -p 6544 -c listen_addresses='' -c fsync=on -c synchronous_commit=on")
        running=True
        query('CREATE TABLE recovery_lab(id int PRIMARY KEY);CHECKPOINT;')
        query('INSERT INTO recovery_lab VALUES(1);')
        session=subprocess.Popen([str(pgbin/'psql'),'-X','-q','-At','-h',str(root),'-p','6544','-d','postgres'],stdin=subprocess.PIPE,stdout=subprocess.PIPE,stderr=subprocess.PIPE,text=True,bufsize=1)
        session.stdin.write('BEGIN;INSERT INTO recovery_lab VALUES(2);\n\\echo UNCOMMITTED_READY\n');session.stdin.flush()
        assert session.stdout.readline().strip()=='UNCOMMITTED_READY'
        control('stop','-m','immediate');running=False;session.communicate(timeout=5)
        control('start','-l',log,'-o',"-k "+str(root)+" -p 6544 -c listen_addresses='' -c fsync=on -c synchronous_commit=on");running=True
        rows=query('SELECT id FROM recovery_lab ORDER BY id;');assert rows=='1'
        print('after immediate stop: committed1 visible; uncommitted2 invisible')
        print(log.read_text())
    finally:
        if session is not None and session.poll() is None:session.kill();session.communicate()
        if running:control('stop','-m','fast')

再起動で何を観測したかを読む

今回のPostgreSQL 18.6のログには、正常終了していない状態の検出、自動復旧、redo開始と完了、復旧後のチェックポイント、接続受付の再開が記録されました。SELECTで見えるidは1だけでした。確定した行1が残り、未確定の行2が可視でないことをassertしています。未確定行がストレージのどこにも物理的に存在しない、と検査したわけではありません。DBから見える結果と内部の領域を区別します。

ログの終端付近に出るレコード長のメッセージなどは、前後の復旧完了と起動の状態を含めて読みます。文字列のERRORの有無だけで全ての成功を判定するのでも、ログを無条件に無視するのでもありません。今回の最終状態と終了コードを合わせて確認します。復旧ログを保存することで、単に新しいクラスタを作り直して初期値を見た試験と、同じデータディレクトリから復旧した試験を区別できます。

行停止前再起動後のSELECT
1INSERT確定済み見える
2BEGIN内で未確定見えない

redoと業務上の取消しは同じでない

復旧は、DBが確定した更新を再び利用できる状態へ戻すための処理です。間違った注文をコミットしていたなら、その注文も確定した変更として残る場合があります。WALがあるから業務上正しい更新だけを選んで戻してくれるわけではありません。誤更新より前へ戻す時点回復や、業務の補償、監査と再適用の判断は別に設計します。

また、DBのクラッシュ復旧ができても、DB外へ送った通知やファイルの整合性まで自動的に同じ境界へ揃うとは限りません。第3段階のOutboxと同じく、どの情報を同じトランザクションへ置き、外へ出る処理をどう照会・再送するかが必要です。今回の二行の試験はその複数資源の回復を含みません。復旧という言葉を使うときは、プロセス再起動、DBの可視状態、アプリの業務状態、外部の効果を別の段階として説明します。

バックアップとログの保持を別に確かめる

この実験は同じ一時領域のデータとWALからDBを再起動しました。領域そのものを失った場合に戻す基礎バックアップや、別媒体のアーカイブから復元した試験ではありません。ローカルのクラッシュ回復と媒体喪失からの復元は、必要な情報も操作も異なります。WALが同じ壊れた媒体にしかなければ、その存在だけで独立した備えにはならない場合があります。

復元を学ぶ次の実習では、基礎状態と連続するログ、設定や必要な拡張、権限などを含め、別の場所へ戻して読書きまで確かめます。取得ジョブが成功した、ファイルがある、復旧できる、要求する時間内にアプリが使えるという四段階を分けます。今回確認したのは、専用クラスタの即時停止と同一領域での復旧です。教材の範囲を明確にすることで、次に何を検証すべきかも分かります。

確定と応答の間で接続が失われる場合

DBが必要なログを同期して変更を確定した後、成功応答が利用者へ届く前に接続が失われたとします。利用者は成功を受け取っていませんが、再起動後に行が残る場合があります。呼出し側のタイムアウトは、DBが必ずロールバックしたという証拠ではありません。ログ上の確定と、呼出し元が結果を知った時点を分けます。

この状態で同じ注文を新しい注文番号として無条件に挿入し直すと、注文が二件になる可能性があります。要求を識別するキーを持ち、元の試行の結果を確かめる設計へつなぎます。再接続して行が見えなかった場合にも、どのDBを、どの時点の視点で読んだかが必要です。遅れた複製の読取りを、確定がなかったという証明へ使いません。

今回のコードは行1の確定を同期した後に停止するため、この応答消失を注入していません。演習では、ログ同期、確定、応答送信、受信の四段階を紙に並べ、どこで止まると呼出し側が結果を知らないかを答えます。復旧の正しさと、利用者が一度だけ注文できることを別の問いとして説明できれば、WALと冪等性の役割を混同せずに済みます。

確定と未確定の状態を答える課題

課題は行1のINSERTが確定し、行2がBEGIN内で未確定のまま即時停止した後、今回の再起動で何を確認したかです。解答はSELECTで1だけが見え、ログに自動復旧の経過があることです。2の領域が物理的に全て消去された、外部の通知も戻った、媒体喪失から復元できた、という主張はこの試験へ足せません。観測した範囲の言葉で答えてください。

追加課題ではsynchronous_commitを変えた別の条件を試す案を考えます。解答では、変更前と同じ成功応答の耐久性を無条件に引き継げず、設定と障害の位置を新しい条件として記録する必要があります。最後にCHECKPOINTがあるから全WALを消せるかも確認します。複製やバックアップなどの保持条件が別にあるため、その判断には不十分です。ログ生成、同期、書戻し、チェックポイント、復旧後の可視性を別々に説明できれば到達点です。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

サーバーの中で起きていること · STEP 13

学習コースから次を選ぶ