体系ガイド · 入門

ファイルI/Oを、名前・記述子・保存の境界から理解する

ファイルのパスと開いた状態を区別し、部分的な読み書き、ページキャッシュ、永続化を考えます。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. パス名と、開いたファイルは同じではない
  2. 要求した長さと、実際に読めた長さを分ける
  3. 書き込み成功と、電源断後に残ることを区別する
  4. 読み書きのモデルを、実装条件と結び付ける
  5. この記事をロゲイアに質問する理解を確かめる

パス名と、開いたファイルは同じではない

パスは、ディレクトリをたどって対象を見つけるための名前です。Linuxなどでopenが成功すると、プロセスはファイル記述子という整数を受け取ります。その後のreadやwriteでは、この記述子を使って開いた対象を指定します。毎回同じ文字列のパスを探索し直す、と考える必要はありません。

ファイル記述子は、プロセスが持つ参照の入口です。開いた状態には読み書きの位置やフラグなどが関係します。同じパスを二度開く場合と、dupなどで記述子を複製する場合では、オフセットを共有するかどうかも異なります。名前の文字列が同じだから、すべての状態が一つになるわけではありません。

要求した長さと、実際に読めた長さを分ける

readで100バイトを要求しても、戻り値が100になるとは限りません。終端の近く、パイプ、ソケット、割り込みなどの条件によって、より短い読み出しも起こります。返されたバイト数を確認し、残りを読む必要があるなら、その分だけ位置を進めて繰り返す設計が必要です。

正の長さを要求した通常のファイル読み出しで0が返れば、終端に達したことを表します。一方、負のエラー値は終端とは区別します。ノンブロッキングI/Oで現在データがない場合や、シグナルによる中断などの扱いも、一つの「読めなかった」にまとめてはいけません。ライブラリがどこまで再試行を代行しているかも確認します。

書き込み成功と、電源断後に残ることを区別する

アプリケーションのバッファ、OSのキャッシュ、ストレージの状態は、それぞれ別の境界です。writeが成功しても、その時点ですべてのデータが必要な耐久性を満たして保存されたとは限りません。ファイルの永続化が要求される処理では、同期のAPI、戻り値、利用するファイルシステムの保証を確認します。

例えば、設定ファイルを一時ファイルへ書き、必要な同期を行い、元の名前へ置き換える設計を考えられます。ただし、名前の置換が原子的に見えることと、電源断後にも新しい名前と内容が残ることは別です。Linuxではファイル本体のfsyncに加え、ディレクトリエントリの永続化にディレクトリ側の同期が必要になる点も検討します。

読み書きのモデルを、実装条件と結び付ける

小さなログを頻繁に同期する場合と、大きな画像をまとめて転送する場合では、待ち時間やI/Oの回数に関する要件が異なります。バッファリングで呼び出し回数を減らせても、クラッシュ時に失ってよいデータの範囲は別に定義しなければなりません。速さだけを見て同期を外すと、要求する保存の意味が変わります。

ここではLinuxの通常のファイルI/Oを中心に説明しました。ネットワークファイルシステム、デバイス、直接I/O、別のOSでは、保証や制約が変わる場合があります。また、読み出しが速い理由がキャッシュである場合もあります。測定時にはデータ量、バッファ、キャッシュ、同期条件を記録し、観測した数字と保存の保証を混同しないようにしましょう。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

サーバーの中で起きていること · STEP 14

学習コースから次を選ぶ