比較・疑問解決 · 基礎から応用へ

mmapとread

同じファイルを読む二つの入口を比較し、ページキャッシュ、コピー、フォルト、並行更新と障害の扱いを整理します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. ファイルをバッファへ読むか、アドレスへ写像するか
  2. 同じ領域を繰り返し読む例
  3. コピーが減っても費用が消えるわけではない
  4. 短いreadとアクセス時の障害
  5. 変更の共有と保存を分けて選ぶ
  6. この記事をロゲイアに質問する理解を確かめる

ファイルをバッファへ読むか、アドレスへ写像するか

readは、指定した記述子から読み出し、呼び出し元が渡したバッファへデータを入れる入口です。mmapは、ファイルなどをプロセスの仮想アドレス空間へ対応付け、その後のメモリアクセスで内容を使う入口です。両者はデータを利用する形と失敗を受け取る場所が異なります。「readはディスク、mmapはメモリ」という対比ではありません。通常のファイルでは、どちらもページキャッシュ等の影響を受け得ます。比較する対象は通常のローカルファイルとし、デバイス、直接I/O、ネットワークファイルシステムの違いは別に確認します。

観点readmmap
利用の入口利用者バッファへ読む仮想アドレス空間へ写像する
失敗の観測返り値やエラーを検査作成後のアクセスでも失敗し得る
ファイルの変更同時変更の契約が必要写像方式と寿命の契約が必要

同じ領域を繰り返し読む例

1MiBのファイルの一部を何度も参照するとします。readでは、必要な範囲をバッファへ読み、そのバッファを再利用する設計が可能です。mmapでは、領域を対応付けて必要な位置を読みますが、最初に触れた時点でフォルト処理やページの取得が発生する場合があります。どちらも一度取得した内容を後で再利用できるため、「繰り返すなら必ずmmapが速い」とは決まりません。比較には、対応付けを作る費用、初回アクセス、繰り返しの参照、解除までを含めます。処理するバイト数と参照順序も同じにしておく必要があります。

コピーが減っても費用が消えるわけではない

mmapは、通常のreadで必要になるページキャッシュから利用者バッファへのコピーを避けられる場合があります。ただし、対応を作る処理、ページ表、TLB、フォルト処理、アクセスする内容の取得は残ります。小さな処理ごとに写像と解除を繰り返せば、その管理費用が大きくなる場合もあります。また、MAP_PRIVATEへ書き込む場合にはコピーオンライトが関わり、変更がファイルへそのまま保存されるわけではありません。「ゼロコピー」という語を見るときは、どの区間のコピーを省いたのかを確認します。全システムの転送や待ち時間までゼロになったと解釈してはいけません。

短いreadとアクセス時の障害

readは、要求した長さより少ないバイト数を返す場合があるため、結果の長さ、EOF、エラーを区別して処理します。mmapの作成が成功しても、後のアクセスが常に成功する保証ではありません。例えば、他の処理がファイルを短くし、もはや有効でない範囲へアクセスすると、LinuxではSIGBUSなどの問題が生じ得ます。入口で返るエラーだけを確認する設計では、こうした後発の失敗を見落とします。並行更新を許すのか、読み取り中のサイズを固定するのか、失敗をどの境界で扱うのかを、ファイルの所有者との契約として決めてください。

変更の共有と保存を分けて選ぶ

MAP_SHAREDとMAP_PRIVATEは変更の可視性が異なります。前者で共有される変更と、ストレージへ必要な順序で永続化されたことは同じ意味ではありません。後者で自分に見える書き込みも、元のファイルを変更する操作としては扱えません。読み取り中心ならアクセスの局所性、領域の大きさ、再利用、メモリ圧力を比較します。書き込みも行うなら、同期、クラッシュ時の整合性、ファイルサイズの管理も条件に加えます。どちらを選んでも、入出力とメモリ管理が不要になるわけではなく、その責任をどの形で持つかが変わると理解してください。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 6

AI基盤へ進む · STEP 6

学習コースから次を選ぶ