どの範囲で不足したのか
Linuxではメモリ不足の状況でOOM killerがプロセスを終了させる場合があります。ホスト全体の不足だけでなく、cgroupの制限内で不足する場合もあります。物理メモリがまだ空いているように見えても、対象の使用可能量が足りないことはあり得ます。
まず対象プロセス、終了時刻、所属cgroup、設定上限を対応付けます。別の時刻のfreeの結果だけを見て、メモリが原因ではないと結論を出さないようにします。障害時点と観測対象の範囲が重要です。
137だけでは原因を確定しない
コンテナで終了コード137を見ると、一般にはSIGKILLとの関係が考えられます。しかしSIGKILLは管理者や別の仕組みでも送れるため、それだけでOOMと断定できません。カーネルやコンテナ実行環境の記録を照合します。
cgroup v2ではmemory.eventsなどの変化が手掛かりになります。値が累積回数なら、対象の試験前後で増えたかを見る必要があります。過去の事象が残っているだけの値を、今回の終了の直接証拠と扱わないようにします。
一度に読む量を減らす例
例えば大きなファイルを全件メモリへ読み、変換後の配列も同時に保持すると、元データより大きなピークが生まれる場合があります。ファイルサイズだけから必要メモリを見積もらず、展開後の表現と重複保持を数えます。
ストリーム処理、分割、同時実行数の制限が対策候補です。一件なら動く処理でも、同時に複数走れば使用量が重なります。最大要求サイズや入力の偏りも含めて、上限内に収まる条件を検証します。
リークとピークを分けて直す
負荷が終われば戻る大きなピークと、処理を重ねるほど残り続けるリークでは対策が違います。メモリ上限を増やすだけでは、いずれ再び終了する可能性があります。時間に沿った使用量と処理内容を記録します。
終了した処理を自動再起動する場合も、入力や負荷が同じなら失敗を繰り返すことがあります。再起動回数、未完了の仕事、再試行の負荷を確認し、回復処理が障害を増幅していないかも調べます。