待つ対象は準備状態
epollはLinuxで複数のファイル記述子のI/O準備状態を監視する仕組みです。登録するinterest listと、準備ができた対象を示すready listを区別します。epoll_waitが返した通知は、アプリケーションのメッセージが一つ完成したという意味ではありません。readが今なら進められそうだという情報と、実際にreadして得たバイト列は別です。EOFやエラーのような状態も処理対象になります。接続数が多い場合でも、すべての接続を毎回アプリ側で順番に読み試す構成から切り離せます。
levelとedgeの違いを追う
ソケットに100バイトがあり、最初のreadで40バイトだけ読む例を考えます。level-triggeredでは、読み出し可能な状態が続けば再び通知され得ます。edge-triggeredでは、状態の変化に着目するため、残り60バイトがあるのに新しい通知を待ち続ける設計は危険です。通常はnonblockingにして、EAGAINなどで今はこれ以上進まないと分かるまで読みます。ただし無限に読み続けて他の接続を飢餓状態にしないよう、アプリ内部の作業キューや公平性の設計も必要です。
通知後にも結果を確認する
通知を受けた後、別の処理が先にデータを消費するなど、実際に操作する時点で状態が変わっている可能性があります。nonblockingのreadがEAGAINになる場合も正常な競合として扱える必要があります。正のバイト数、EOF、エラーは区別して処理します。HTTPなどのメッセージ境界は、その上位プロトコルの規則から組み立てます。epollはTCPのバイト列へメッセージの区切りを追加しないため、一通知、一read、一要求を同じ単位にしてしまうと分割受信や連続受信で破綻します。
登録と接続の寿命を管理する
接続を閉じた後に同じ番号のファイル記述子が再利用されることも考慮します。番号だけを長期間保存して、以前の接続の状態だと思い込むと誤った対象を扱います。イベントに結び付けるアプリ側の識別や、登録解除、オブジェクトの寿命を設計します。EPOLLONESHOTを使う場合は再有効化が必要になることも理解します。性能を測るときは接続総数だけでなく、同時に準備できる接続数や一回の処理量を揃え、通知方式の名前だけからCPU使用率を決め付けません。