見え方と、障害後に残ることを分ける
設定ファイルを新しい内容へ更新するとき、読者が途中の半分だけを見ることと、再起動後に更新が消えることは別の失敗です。前者は名前と内容がいつ切り替わって見えるか、後者はどこまで保存されたかに関係します。この教材では同じディレクトリへ一時ファイルを書き、同期して名前を置き換え、ディレクトリを同期する順序を考えます。原子的な名前の切替と、障害後の耐久性を同じ保証として扱いません。
実行するコードは通常終了時のAPIと可視性を確かめる小例です。OSの強制停止や電源断は注入していません。そのため、実媒体の耐久性を測ったと説明しません。設計で予定した障害実験については、この環境では正常な同期手順と状態模型による学習目標へ限定しています。実際のクラッシュ後の保証は、対象ファイルシステム、マウント設定、デバイスとその同期の契約を合わせて確認する必要があります。
バッファの層を順にたどる
アプリのwriteが返っても、そのデータがプロセスのバッファやOSのキャッシュを経て保存されるまでには複数の段階があります。Pythonのファイルへwriteした後のflushは、言語側のバッファから下の層へ進める操作です。それだけで媒体上の耐久性へ到達したとは言えません。ファイル記述子へos.fsyncを呼び、返り値や例外を確認します。どの操作を呼んだかだけでなく、成功したかを記録することが重要です。
closeしたらどんな設定でも必ず全てが耐久化する、と仮定しないでください。また、データを同期しただけで、新しいファイル名を格納するディレクトリエントリまで同じ範囲で同期したと考えないようにします。名前が既存ファイルを指す関係と、そのファイルのデータを別の状態として追います。Linuxのfsyncの説明へ戻り、対象記述子がファイルかディレクトリかを明示して、コードの各行がどの境界へ対応するかを確認します。
| 操作 | 確かめる境界 |
|---|---|
| 一時ファイルへ書込み | 新内容を別名で準備 |
| 一時ファイルをfsync | 対象ファイルの同期API |
| 同一ファイルシステムでreplace | 名前の原子的な置換 |
| 親ディレクトリをfsync | 名前変更を含むディレクトリの同期 |
一時ファイルを同じ場所で作る
元のconfigへ直接少しずつ上書きすれば、同時に読む相手が途中の内容を見る可能性があります。そこでnextへ全ての新内容を書き、言語のflushとファイルのfsyncを済ませてから、configの名前へ置き換えます。一時ファイルを同じディレクトリへ作ることで、別ファイルシステムをまたぐ移動と混ぜない構成にします。os.replaceが成功した後、新しく名前を開く読者は新しい内容へ到達することを確認します。
既に旧ファイルを開いていた読者が、新しい名前の切替と同時に必ず新内容へ変わるわけではありません。ファイル記述子が参照する対象と、名前から新しく探す対象は別です。設定の再読込みを実装するなら、どの時点で開き直すか、以前の内容を使い続けてよい期間も決めます。置換一回で、アプリ内に保持された全てのコピーまで一斉に更新されるとは説明しません。名前の原子性と利用者のキャッシュも別の境界です。
ディレクトリを同期し、結果を確認する
名前を置き換えた後、親ディレクトリをO_DIRECTORYで開き、その記述子へfsyncを呼びます。finallyでディレクトリ記述子を閉じ、TemporaryDirectoryで一時領域を片付けます。最後のassertはconfigがnewを返し、nextという名前が残っていないことです。二つの名前の同時更新や複数ファイル間のトランザクションを実装したわけではありません。対象は同じディレクトリの一つの設定の置換です。
実行が成功したなら、write、flush、ファイルfsync、置換、ディレクトリfsyncがこの環境で正常に戻ったことと、通常の可視性を確認できます。しかし直後の電源断でどのデバイスが何を保証したかは観測していません。実行出力にもこの限界を付けます。再現記録にはOS、Python版、終了コードと全出力を残し、クラッシュを注入していない記録へ「クラッシュ試験成功」という名前を付けないようにします。
import os,tempfile
from pathlib import Path
with tempfile.TemporaryDirectory() as d:
directory=Path(d);target=directory/'config';target.write_bytes(b'old')
with open(directory/'next','wb') as f:
f.write(b'new');f.flush();os.fsync(f.fileno())
os.replace(directory/'next',target)
fd=os.open(directory,os.O_RDONLY|os.O_DIRECTORY)
try:os.fsync(fd)
finally:os.close(fd)
assert target.read_bytes()==b'new' and not (directory/'next').exists()
print('write, flush, file fsync, replace, directory fsync returned; visible=new')
print('normal execution only; no OS crash or power-loss injection')
停止位置ごとに期待を限定する
状態表には、一時ファイルへ書く前、書いた後で同期前、ファイル同期後で置換前、置換後でディレクトリ同期前、全手順後という位置を並べます。通常実行で名前を調べる観測と、障害後の可能な状態を別の列へ置きます。たとえばファイル同期後でもまだ置換していなければ、configの名前は旧内容を指すままです。新しいデータが保存されたことだけで、公開する名前が切り替わったとは言えません。
障害後の列は、対象環境の保証がなければ、特定の結果を唯一の期待値として決めません。プロセスだけをkillしてもOSのキャッシュは残るため、再起動後に読めたことを電源断の耐久性へ広げられません。媒体全体を消した場合のバックアップ復元も別です。図や表では停止する対象を、プロセス、OS、媒体として明記します。異なる故障を一つのcrashという単語で混ぜないことが、状態を正しく比較する条件です。
複数ファイルやメタデータの条件を考える
設定が二つのファイルへ分かれていて、両方を同じ版として読みたい場合、一方ずつ名前を置き換えるだけでは新旧が混ざる窓が残ります。manifestや世代ディレクトリなど、読者が一つの版を選ぶ規則を設計する必要があります。ファイルの所有者、権限、拡張属性などを維持したい場合も、新しい一時ファイルへ何を設定し、いつ確認するかが加わります。今回のoldとnewという内容だけのassertへ、その全てを含めません。
書込み途中で容量不足やI/Oエラーが起きた場合は、次の段階へ進む前に止めます。成功の返り値を確認せず置換すると、完全でない新ファイルを公開する危険があります。旧ファイルが残るから何でも失敗を無視してよいわけでもありません。ログや利用者へ更新が成功したと応答する境界を決め、要求する耐久性へ対応する同期の後に置きます。可視性、メタデータ、成功応答の意味を組み合わせて設計してください。
置換済みの名前と開いた参照を比べる
置換前にconfigを開いた読み手R1と、置換後に名前から開いた読み手R2を分けます。R1が旧対象への記述子を持つ場合、R2が新しい内容を読めてもR1の読み方まで同時に切り替わったとは限りません。原子的な名前置換が定めるのは、どの観測の境界かを明示します。アプリが設定をメモリへ取り込んでいれば、さらに読み直しの段階が加わります。
この違いを調べる追加実験では、読み手の準備と置換をPipeやEventで揃え、読んだ名前、開いた時点、得た内容を記録します。今回掲載した通常実行の小コードは一つの新規読取りだけを確認しており、二読み手の同時試験を済ませたものではありません。既存の結果へ新しい観測を想像で足さず、追加した検査を別の証跡として残します。見える切替と全読者の移行完了を分けることは、キャッシュや分散した配置変更の設計にも通じます。
成功応答を返す位置を決める
設定更新のAPIがどの段階で成功を返すかを、利用者が期待する保証へ対応させます。新内容をメモリへ受け取っただけ、ファイルへ書いた、名前を切り替えた、必要な同期が成功した、という段階は同じ応答の意味ではありません。後の段階で失敗したとき、以前に成功と伝えた保証を守れるかを確認します。成功の時刻を早める最適化には、この契約の変更が含まれる場合があります。
失敗時には旧版がまだ見えるか、新版が見えるが耐久性が不明か、一時ファイルが残ったかを分けて記録します。同じ操作を再実行するなら、どの名前と世代を対象とするかも決めます。今回のfinallyは自分の一時領域を片付けますが、実製品で証拠や旧版をいつ消してよいかまで定めたものではありません。回復のために必要な情報と、利用者への返答を同じ状態機械へ対応させることで、単なるファイル書込みから更新プロトコルへ進めます。
どの境界を確認したか答える課題
課題は一時ファイルをfsyncした直後、置換前で停止したとき、通常の名前configを読む相手は新内容を見るか、という問いです。解答は、まだ名前を置き換えていないので旧内容を指す、です。次の課題は置換後に新内容を読めたことから、OSが突然停止しても必ず同じ内容が残ると言えるかです。解答は、その観測だけでは言えません。ディレクトリの同期と対象環境の保証、実際の故障試験を分けて考えます。
追加課題は、同じ一時ファイルを別のファイルシステムへ置く案です。解答では、ここで想定した同一ディレクトリ内の名前置換と同じ操作ではなくなり、失敗やコピーを含む別の契約になり得ることを説明します。最後に、今回の実行記録から言えることを列挙します。正常な同期APIの成功、newという可視内容、一時名の消失は確認済みですが、OS停止、電源断、全媒体喪失からの回復は未検証です。境界を正確な言葉で述べることが到達点です。