障害・アンチパターン図鑑 · 基礎から応用へ

OOM kill:メモリ不足によるプロセス終了

ホスト全体とcgroup内の不足を分け、終了コードだけで原因を決めません。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. どの範囲で不足したのか
  2. 137だけでは原因を確定しない
  3. 一度に読む量を減らす例
  4. リークとピークを分けて直す
  5. この記事をロゲイアに質問する理解を確かめる

どの範囲で不足したのか

Linuxではメモリ不足の状況でOOM killerがプロセスを終了させる場合があります。ホスト全体の不足だけでなく、cgroupの制限内で不足する場合もあります。物理メモリがまだ空いているように見えても、対象の使用可能量が足りないことはあり得ます。

まず対象プロセス、終了時刻、所属cgroup、設定上限を対応付けます。別の時刻のfreeの結果だけを見て、メモリが原因ではないと結論を出さないようにします。障害時点と観測対象の範囲が重要です。

137だけでは原因を確定しない

コンテナで終了コード137を見ると、一般にはSIGKILLとの関係が考えられます。しかしSIGKILLは管理者や別の仕組みでも送れるため、それだけでOOMと断定できません。カーネルやコンテナ実行環境の記録を照合します。

cgroup v2ではmemory.eventsなどの変化が手掛かりになります。値が累積回数なら、対象の試験前後で増えたかを見る必要があります。過去の事象が残っているだけの値を、今回の終了の直接証拠と扱わないようにします。

一度に読む量を減らす例

例えば大きなファイルを全件メモリへ読み、変換後の配列も同時に保持すると、元データより大きなピークが生まれる場合があります。ファイルサイズだけから必要メモリを見積もらず、展開後の表現と重複保持を数えます。

ストリーム処理、分割、同時実行数の制限が対策候補です。一件なら動く処理でも、同時に複数走れば使用量が重なります。最大要求サイズや入力の偏りも含めて、上限内に収まる条件を検証します。

リークとピークを分けて直す

負荷が終われば戻る大きなピークと、処理を重ねるほど残り続けるリークでは対策が違います。メモリ上限を増やすだけでは、いずれ再び終了する可能性があります。時間に沿った使用量と処理内容を記録します。

終了した処理を自動再起動する場合も、入力や負荷が同じなら失敗を繰り返すことがあります。再起動回数、未完了の仕事、再試行の負荷を確認し、回復処理が障害を増幅していないかも調べます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 16

サーバーの中で起きていること · STEP 6

AI基盤へ進む · STEP 6

学習コースから次を選ぶ