システム・プロトコル図鑑 · 基礎から応用へ

PostgreSQL WAL:データより先に変更を記録する

コミット、データページ、REDOの関係からクラッシュ回復を理解します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 先に永続化するもの
  2. コミット直後に落ちたら
  3. チェックポイントとの関係
  4. WALとバックアップは別物
  5. ログが残りページが遅れる場合を時系列で追う
  6. コミットの待ち先を設定と対応させる
  7. LSNを進捗の位置として読む
  8. 復元試験で欠けたWALを見つける
  9. この記事をロゲイアに質問する理解を確かめる

先に永続化するもの

WALはWrite-Ahead Loggingの略で、データページの変更を永続化する前に、その変更を再現するためのログを永続化する考え方です。データファイルの全ページをコミットごとに書き出す必要を減らしつつ、クラッシュ後の回復を可能にします。

ログに書いたという表現でも、メモリ上のバッファへ入れた段階と、障害後にも残るようにフラッシュした段階は異なります。通常の耐久性の設定を前提に、どの時点で完了を返すかを確認します。

コミット直後に落ちたら

ある行の更新がコミットされた直後、まだ変更後のデータページがディスクへ書かれていない時点で障害が起きたとします。必要なWALが残っていれば、回復時に変更を再適用して、データページをコミット済みの状態へ戻せます。これがREDOの役割です。

「データファイルへまだ反映されていないからコミットは無効だった」と単純には判断できません。耐久性を決める際には、データページとログのどちらがどこまで永続化されたかを分けます。

チェックポイントとの関係

チェックポイントは、それ以前からの変更済みページを書き進め、回復の開始点を管理するために使われます。WALを不要にするものでも、アプリの全要求を止めて毎回完全バックアップするものでもありません。

更新が多い処理ではWAL生成量や書込み待ちが性能に影響します。ただし設定値を変えて速度を測る際は、耐久性の条件が変わっていないかを確認します。別の保証で得た測定値を、同じ条件の高速化として比較してはいけません。

WALとバックアップは別物

WALはクラッシュ回復やレプリケーションなどに使われますが、ログだけを残せばあらゆる障害から復旧できるわけではありません。物理的な復元には対応する基礎バックアップなども必要です。保存期間、欠落、復元手順を含めて確認します。

ディスク故障、誤削除、誤った更新はそれぞれ条件が異なります。WALがあるから安心とせず、検証環境へ実際に復元する試験を行います。ページの回復と、業務上どの時点へ戻すかという判断も分けて設計します。

ログが残りページが遅れる場合を時系列で追う

通常の耐久性設定で、残高を100から90へ更新するトランザクションを考えます。まずメモリ上のページとWALバッファに変更が現れ、コミットに必要なWALが永続化されてから完了を返します。その直後にクラッシュし、データファイル側のページにはまだ100が残っていても、回復で必要なWALをREDOできれば、コミット済みの90を再現できます。反対に、ログバッファへ追加しただけで停電した場合まで同じ保証があるとは言えません。この例の各段階は仕組みの説明であり、実測したクラッシュ試験の結果ではありません。

データページを先に永続化して対応ログを失えば、回復に必要な根拠を欠くため、write-aheadの順序が重要です。一方、耐久性のためにコミットごとに関連する全データページまで書き戻す必要はありません。チェックポイントは変更済みページの書込みと回復の開始点を管理し、基礎バックアップと連続したWALの保存は物理復元や時点回復に使います。コミット応答、ログの永続化、データページの永続化、バックアップの四つを記録し分けると、「成功応答後の停止」「媒体の喪失」「誤ったコミット」のどこまでを想定した構成か説明できます。

段階残る情報・意味
変更をバッファへ追加まだ永続化とは限らない
必要なWALを永続化通常設定のコミット応答の根拠
データページが未反映で停止残ったWALからREDOできる
媒体そのものを喪失別途の復元用データと手順が必要

コミットの待ち先を設定と対応させる

ここでいう通常の耐久性は、WALを安定した記憶装置へ書き出すまでコミット完了を待ち、記憶装置側も書込み完了の約束を守ることが前提です。synchronous_commitをoffにすると、最近成功と応答した取引がクラッシュ後に失われる可能性があります。これは不正なページを残すことと同じではなく、どこまでの成功を耐久と約束するかの違いです。また、ローカルの永続化と、別サーバーへの転送・書込み・適用も別の地点です。レプリカがあるだけで自動的にすべての地点を待つわけではありません。性能を比較するときは設定名だけでなく、完了時にどの障害へ耐えられる条件だったかを書き添えます。

LSNを進捗の位置として読む

WALの位置を示すLSNは、ログ内のどこまで処理したかを表す手掛かりです。生成、送信、書込み、フラッシュ、再生は同じ進捗ではありません。仮にレプリカの受信位置が進んでいても、再生が追い付かなければ、そのデータを問合せで読めるとは限りません。位置の差をバイト量として捉えることはできますが、それだけを一定の秒数へ変換すると、更新量や適用速度の変化を見落とします。長い取引、I/O、待機なども合わせて調べます。LSNの比較例は構成と同じ時間軸で記録し、通信がつながったという一つの指標だけで複製の鮮度を判断しないようにします。

復元試験で欠けたWALを見つける

時点回復では、適切に取得した基礎バックアップと、そこから目標地点まで必要なWALの連続性が重要です。途中のセグメントが一つ欠けても、その先のログが大量にあれば必ず補えるわけではありません。バックアップファイルの存在確認だけでなく、別の検証環境で復元を開始し、想定した時点で必要な行が読めるかを確かめます。アーカイブ先の容量、保存期間、暗号鍵や権限、復元にかかる時間も運用条件です。WALディレクトリの容量を空けるために管理中のファイルを手作業で消すと、回復やレプリカに必要な情報を失い得ます。容量増加の原因と保持の必要性を先に調べます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

サーバーの中で起きていること · STEP 13

学習コースから次を選ぶ