メモリの更新からファイルへ
RocksDBは組込みのkey-valueストアで、LSM系の構造を使います。更新をメモリのmemtableへ取り込み、通常はWALにも記録してから、後でソート済みのSSTファイルへ書き出します。設定によってWALや同期の扱いは変わるため、戻り値が成功した時点の永続化保証を明示します。memtableがあるからメモリだけのストアというわけでも、SSTがあるから毎更新で全ファイルを書き換えるわけでもありません。データの通り道を段階に分けると、障害時に何から回復するかも考えやすくなります。
同じキーに新しい値を書く例
キーkに値10を入れ、後で20へ更新した場合、古い値があるSSTのその位置を直接上書きする方式とは限りません。新しい版を別の場所へ追加し、読込みではどの版が有効かを解決します。削除も、直ちに全ファイルから消す代わりにtombstoneで表せます。スナップショットなどが古い版を必要とする間は、単純に過去の値を全部捨てられません。このため論理的なデータ量と、現在のファイルが占める物理領域の量に差が出ることがあります。
compactionが引き受ける仕事
複数のソート済みファイルを読み、重なる範囲や古い版を整理して新しいファイルへまとめる処理がcompactionです。読込みで探す候補を減らす一方、既存データを再び読んで書く負荷が生まれます。利用者が1MiB書いたときに装置へ何MiB書くかという書込み増幅と、読込み時に何か所調べるかという読込み増幅は別です。レベル方式などの方針で、領域、読込み、書込みのトレードオフが変わります。整理を止めて目先の書込みだけを速くしても、後で滞留や領域不足を招く場合があります。
フィルターと測定の限界
Bloomフィルターは、対象のキーが存在しないファイルを調べずに済む可能性を増やしますが、偽陽性があり、存在する値の取り出しを代替するわけではありません。ブロックキャッシュ、圧縮、キーの分布、範囲走査か点検索かでも性能は変わります。比較ではデータがメモリに収まるか、compactionが落ち着いているか、同期保証が同じかを確認します。ストレージエンジン単体の保証と、その上のアプリケーションのトランザクションや複製の保証を混同しないようにします。