報告の対象と時間窓を決める
vmstatは、Linuxホストのプロセス状態、メモリ、swap、ブロックI/O、CPU時間などをまとめて読むコマンドです。一つのサービスだけの応答時間を測る道具ではありません。まず日時、ホスト、論理CPU数、仮想化やコンテナの有無を記録します。vmstat 1 5では、通常、最初の報告に起動以来の平均が含まれ、その後が一秒区間の報告です。一方、プロセス数やメモリ量は同じ初回でも瞬間の状態を示すため、最初の行をすべて「起動以来の累積値」と呼んでも誤りです。初回を除外するオプションの有無は導入済みprocpsの版で確認します。異常が起きた一秒と、長い稼働時間の平均をそのまま比較しないことが、変化を見落とさない前提です。
一行の中でも量と速度を分ける
swpdやfreeは量の情報で、siとsoは区間内のswapへの出入りを読むための速度です。swapへ退避されたページが残っていても、今も継続して読み書きしているとは限りません。ページを追い出した過去のメモリ圧迫と、今の要求の遅延を分けます。freeが小さくてもファイルキャッシュなどが利用可能な場合があるため、/proc/meminfoのMemAvailableなどを合わせます。表示の単位はオプションと項目によって異なり、メモリ表示を変更する指定がI/Oの全項目も同じ単位へ変えるとは限りません。比較の記録には列名と単位を残します。量の大きな値と速度の大きな値を同じ「メモリが多い」という説明でまとめると、次に確認すべきことが変わってしまいます。
実行待ちと割込み不能な待機を読む
rは実行可能な仕事、bは割込み不能な待機状態の仕事を考える手掛かりです。rがCPU数より多い観測が続けば、実行する機会を待つ仕事があるという仮説を立てます。ただしアプリが利用可能なCPUは、ホストの論理CPU数より少ないかもしれません。CPU affinityやcpuset、CPU quotaを確認せずにCPUの増設だけを解決策としないようにします。bが増えた場合も、直ちに故障したディスクとは言えません。I/Oを含むカーネル側の待機の種類をさらに調べます。短いスパイクと持続的な待機では影響が違い、単一のサンプル数だけから全要求の遅さを説明することはできません。pidstatやプロセスの状態へ対象を絞っていきます。
vmstat 1 5
getconf _NPROCESSORS_ONLN
# Record the affected service and its CPU/cgroup limits separately.CPUの内訳を遅延の仮説へつなぐ
us、sy、id、wa、stはCPU時間の異なる区分を表します。usが高いなら利用者空間の計算を、syが増えたならシステムコールやカーネル側の仕事を調べる入口になりますが、原因はそれだけでは確定しません。waを一件のI/O要求のサービス時間と解釈してはいけません。複数CPUでの集計や、他の実行可能な仕事の有無によって見え方が変わります。stは仮想化環境で他の仮想CPU実行などにより使えなかった時間の手掛かりですが、アプリの全遅延の説明ではありません。CPUカテゴリの比率と、要求単位の待ち時間は単位も母集団も異なります。疑う区間をそろえ、I/Oやスケジューラの追加観測で機構を確認します。
三つの仮の時系列を比較する
説明用に三つの状況を比べます。第一はswpdが大きいままsiとsoがほぼ動かず、要求遅延も安定する状態です。過去の退避が残る可能性があり、現在の激しい交換とは断定しません。第二はsiとsoが継続して増え、利用可能メモリが減り、同時に要求が遅くなる状態です。メモリ圧迫を疑いますが、作業集合とI/Oを調べます。第三はホスト全体のidが高いのに、一つのコンテナだけ遅い状態です。CPU quotaによる抑制や、単一スレッドの上限などを確認します。これは数値を実測した障害事例ではなく、異なる仮説を立てるための比較です。同じswpdやidの値だけで三つを同じ原因へまとめないようにします。
プロセスと制限へ調査を絞る
全体像が分かったら、CPUならpidstatやプロファイル、装置ならiostat、メモリならプロセス別の利用量や圧力情報へ進みます。コンテナの問題ではcgroupの統計と上限を実際の対象に対応させます。ホストの平均が低いことから、制限されたサービスにも余力があるとは言えません。逆にホストの高い使用率だけで、対象サービスが原因とも言えません。アプリの到着要求数、完了数、エラー、遅延の分布を同じ時間で観察し、どの資源の変化が処理経路と結び付くかを確認します。細かい観測を全プロセスへ無制限に追加すると監視負荷も増えるため、見つかった仮説に合わせて範囲を絞る方が有効です。
条件を記録して変更を評価する
変更後の評価では、入力の量と種類、同時実行数、CPUとメモリの制限、観測間隔をそろえます。swapを消す操作でswpdが小さくなっても、要求の成功率や遅延が改善したとは限りません。CPUの使用率が下がった理由が受付拒否や仕事の欠落なら、資源の効率化とは別です。記録には初回報告の扱い、コマンドの版、単位、対象の制限、追加観測と最終的な業務指標を残します。vmstatは複数資源の変化を短く比較できる入口ですが、一列の閾値でサービス全体の健全性を自動的に判定するものではありません。観測から立てた仮説と、検証して分かった機構を区別して説明します。