全体は進んでいてもよい
飢餓状態では、他の処理が進む一方で、一部の処理が必要な資源を得られず待ち続けます。全員が循環して止まるデッドロックとは異なります。サービス全体の処理件数が増えていても、特定の要求が取り残されることがあります。
そのため平均待ち時間だけでなく、最長待ちや要求ごとの滞留時間を見る必要があります。新しい要求ばかりが先に処理されると、全体の平均が良くても古い要求が終わらないという結果になり得ます。
取得の速い処理が勝ち続ける
ロック解放後、直前まで走っていたスレッドがすぐ再取得し、待っていた別スレッドが何度も負ける例を考えます。ロックが排他的で正しく共有データを守っていても、公平な取得順序を保証しているとは限りません。
同様に、優先度の高い仕事が継続的に入る待ち行列では、低優先度の仕事がいつまでも選ばれない場合があります。優先度を設けるなら、最大待ちや予約した処理枠についても設計します。
公平性の対策と費用
待ち順を明示する、公平性を備えた同期機構を選ぶ、待った時間に応じて優先度を上げるなどが対策候補です。ただし順序の厳密化でスループットが下がったり、先頭の遅い仕事が後続を止めたりする場合があります。
「最も速い設定」だけでなく、どの程度の待ちを許すかを基準に選びます。公平性が必要な範囲が、すべてのスレッドなのか、同じ利用者の要求なのか、業務上重要な分類なのかも明示します。
再現と検証の観点
検証では、同時実行数や優先度を変えながら、各要求が何回追い越されたか、何秒待ったかを記録します。短い試験で全件終わったことは参考になりますが、あらゆる実行で飢餓がないという証明にはなりません。
タイムアウトで要求を消すと、待ち時間の集計から失敗が抜け落ちることがあります。完了した要求だけで指標を作らず、期限切れやキャンセルも含めます。公平性の改善が、エラーを見えなくしただけにならないようにします。