一つのメモリ使用率へまとめない
サーバーのCPU使用率が低いのに、利用者は長く待っています。このときCPUの容量だけを増やしてよいのでしょうか。資源の会計値を読むには、誰の、どの期間の、何を数えた値かを明確にします。CPU時間、経過時間、常駐量、読み書きしたバイト、待ち時間は、それぞれ異なる量です。「使用率が高い」「メモリが多い」という形容だけでは、変えるべき設定までたどれません。
この教材では親から二つの短い子プログラムを順に実行し、子の累積CPU会計値の差分と、親が観測した経過時間を並べます。メモリのピークも表示しますが、差分を取る対象にはしません。実行結果の表を読み、累積カウンタ、現在量、過去の最大値の違いを確認します。実測の値は実行環境で揺れるため、CPUを使うケースが常に何倍遅い、といった順位は固定の期待値にしません。
CPU時間と経過時間の開始点を揃える
経過時間は、親が子の起動直前から終了待ちの完了までを単調時計で測ります。起動や待合せも含む区間です。CPU時間は子がユーザーモードとカーネルモードで使った会計値で、今回の単一スレッドの小例では経過時間と別に並べます。待つために眠っている時間を、そのままCPUで計算した時間に加えません。複数CPUを使う仕事では、CPU時間の合計が経過時間より大きくなる場合もあります。
同じCPUパーセントという表示でも、1コアを100%とするか、ホスト全体や割当て枠を100%とするかで値が違います。コンテナの割当てが小さい場合、ホスト全体の空きと、その仕事が使える枠の空きも一致しません。観測ツールの分母と正規化の規則を確認してください。期間の長さ、単位、対象スレッド・子の含め方を揃えた後で初めて、仕事の量や待ちを比較できます。
| 指標 | 表すもの | 混同しないもの |
|---|---|---|
| CPU時間 | 対象がCPUを使った累積時間 | 経過時間 |
| 経過時間 | 測定開始から終了まで | CPU占有だけの時間 |
| ピークRSS | 対象範囲の常駐量の最大値 | 現在量、累積割当量 |
| 親子の値 | APIで定めた対象範囲 | 全体の単純な足し算 |
累積カウンタは差分、ピークは別の読み方
RUSAGE_CHILDRENのuserとsystemは、それまでに回収した子の累積のCPU時間です。二つ目の仕事を測るときは、実行前と実行後の差を取ります。二つ目の後の値をそのまま二つ目だけのCPU使用量にすると、一つ目の仕事も含めてしまいます。今回の親は他の子を同時に起動しないので、差分の対象を小さく保てます。一般のサーバーでは同じ期間に別の子が終了して混ざる可能性を考えます。
ru_maxrssは過去のピークで、同じように引けば一仕事の常駐量になる値ではありません。以前に大きな子を走らせた後なら、次の子が小さくてもピークが変わらない場合があります。現在のRSSを読むAPIや、独立した子でその子自身のピークを取る方式とは区別します。今回の出力はchildren_peak_rss_KiBと名付け、現在量や二番目だけの値と誤解しないようにします。量の種類によって許される算術が違います。
CPU仕事と待ち仕事を実行する
コードは整数の二乗和を計算する子と、0.05秒眠る子を順に走らせます。後者のsleepは同期の推定ではなく、待つ時間そのものを作るためです。子の完了はsubprocess.runで待ちます。前後の累積CPU時間と、親のperf_counterから二つの差分を出し、負でないことを確認します。起動の費用があるため、眠る子のCPU時間も厳密な0になるとは要求しません。
標準ライブラリだけのPython例ですが、ru_maxrssの単位はLinuxを前提にKiBと表示します。別OSへ移すならドキュメントを確認してラベルを変えます。保存した実行記録にはPython版、OS、全出力を含めます。この測定だけでスケジューラ待ち、ストレージ待ち、ロック待ちの内訳を全て判別したとは言いません。まず、経過時間とCPU時間が別の量であること、対象と期間を限定した差分を取れることを確かめます。
import json,resource,subprocess,sys,time
programs={'cpu':'x=sum(i*i for i in range(2000000));assert x>0','wait':'import time;time.sleep(0.05)'}
for name,program in programs.items():
before=resource.getrusage(resource.RUSAGE_CHILDREN);start=time.perf_counter()
subprocess.run([sys.executable,'-c',program],check=True)
elapsed=time.perf_counter()-start;after=resource.getrusage(resource.RUSAGE_CHILDREN)
result={'case':name,'wall_seconds':elapsed,'child_user_delta':after.ru_utime-before.ru_utime,'child_system_delta':after.ru_stime-before.ru_stime,'children_peak_rss_KiB':after.ru_maxrss}
assert elapsed>0 and result['child_user_delta']>=0 and result['child_system_delta']>=0
print(json.dumps(result))
print('child CPU counters are cumulative; peak RSS is not subtracted')
共有とキャッシュで足し算が変わる
プロセスごとのRSSを足すと、共有される物理ページを複数回含む場合があります。一方で、仮想サイズへ割り当てた全領域が常駐しているとは限りません。ファイルキャッシュを含むホストの使用量と、プロセスの匿名ページだけの量も同じではありません。どの値が大きいかだけでメモリリークと判断せず、対象の寿命、共有の条件、計測の定義を確認します。ワーキングセットの記事と同様に、アドレス空間の数字を物理共有の証拠にしません。
cgroupの会計では、対象グループに何を請求するかという規則を読みます。ホスト、グループ、親、子の値を足し合わせると、包含関係にある値を重ねて数えるおそれがあります。逆に一つのプロセスだけを見て、他の子やカーネル側の費用を見落とす場合もあります。比較表には対象の階層と、含む資源の種類を書き、同じ仕事について異なる会計境界の値を同列へ並べたときは、その違いを説明してください。
I/O量と待ち時間を対応させる
アプリがreadへ要求したバイト数、実際に返ったバイト数、ストレージへ発生したI/Oの量は一致するとは限りません。短いread、キャッシュヒット、先読みなどが関係します。書込みが返った時刻と、耐久性の要件を満たした時刻も別です。ファイルシステムの章で扱うflushやfsyncの境界へつなぎ、書いたバイトのカウンタだけで保存の完了を判断しないでください。
I/O待ちが多いように見える場合も、平均的なデバイス値だけで一要求の遅延を説明できるとは限りません。要求ID、開始と完了、待つ資源、キューの位置などを可能な範囲で結び付けます。カウンタの差分から活動量を知ることと、どの要求がどこで遅れたかを知ることは別の観測です。今回は実ディスクへ負荷をかけるベンチマークを行っていないため、表示したCPUとRSSからI/O帯域や媒体の性能順位を推測しません。
カウンタのリセットも差分へ影響する
長期間の監視では、対象プロセスの再起動やカウンタのリセットをまたいで差分を取らないようにします。PIDが同じ数字へ再利用された場合も、同じ仕事の累積値が続いたとは限りません。開始時刻や対象の識別情報を合わせて記録します。負の差分が出たら、単に0へ丸めて正常値として保存する前に、リセットか対象変更かを確認してください。
今回の短い親プログラムは一つの実行の中で子を順に回収するので、その境界を限定できます。監視サービスへ広げると、収集周期のずれや欠測も関係します。CPU時間の増分を経過区間で割った率へ直す場合、実際の区間長を使う必要があります。固定周期で呼ぶ予定だったという設定値を、そのまま毎回の観測時間へ置き換えないでください。累積値、対象の寿命、測定時刻を一緒に保存して初めて、差分の系列を正しく読めます。
測定のための仕事も範囲へ入る
今回のCPU時間には子のPython起動や終了の仕事も含まれ、二乗和の計算だけを完全に切り出した量ではありません。ごく短い仕事では準備の割合が大きくなる場合があります。起動を含む要求全体を調べたいのか、既に起動した処理系の計算区間だけを調べたいのかを選びます。同じ実行結果でも、目的によって適切な計測の境界は違います。
観測のコードを大量に追加すれば、ログ出力や同期も新しい仕事になります。表示を計測区間の外へ置く、基準の空処理を別に測るなどの工夫を使う場合、その条件も記録します。ただし、基準値を無条件に引けば全ての費用が正確に分離できるとは限りません。今回の例は資源会計の読み方を確認するもので、純粋な演算性能の校正を完了した試験ではありません。何を含む値かを名前と説明へ残します。
差分を取れる値を選ぶ課題
課題は、子の累積user時間が実行前2.0秒、実行後2.3秒、累積systemが0.4秒から0.5秒へ変わった場合のCPU時間です。解答はuser0.3秒とsystem0.1秒、合計0.4秒です。同じ期間の経過が1.0秒でも矛盾ではありません。残りを全てディスク待ちと決める根拠はなく、起動、実行待ち、眠る時間など別の要因もあり得ます。
追加課題では子のピークRSSが前後とも30,000KiBだった場合、今回の子のメモリ量は0かと問います。解答は、その差からは分からない、です。以前の最大を越えなかっただけかもしれません。最後に、親の現在量と子を含むグループ全体の現在量を足してよいかも説明します。包含の重複を確認する必要があります。対象、期間、単位、累積か現在かピークかの四点を、各出力へ添えられることが到達点です。