一回目を何と呼ぶか決める
同じ関数を繰り返すと、最初と後の時間が違うことがあります。ページの利用、命令やデータのキャッシュ、動的な初期化、周波数、実行待ちなど、候補は複数あります。この実験ではCの連続配列の合計を11回測り、初回を含む全標本と、何もしない計測区間を保存します。キャッシュと性能測定の前提を読んだうえで、都合のよい一回だけを採用しない記録を作ります。初回が遅いときの原因を全てウォームアップという一語へ押し込まないことも目的です。
入力は1,048,576個のuint32_tで全て1です。確保と初期化は最初の計測前に終えます。この時点で既に配列のページへ触れているため、r=0を「何も準備していないコールド実行」と呼びません。準備後の最初の呼出しです。今回のCコードにはJITはないので、観測した差をJITコンパイルの時間とも説明できません。どの状態を作り、どの作業を先に行ったかを書けば、初回という言葉の意味を他の読者も追えます。
区間の内と外をコードで区切る
コードをwarm.cへ保存し、gcc -O2 -std=c11 -fno-ipa-pure-const warm.c -o warmでコンパイルし、./warmを実行します。LinuxのCLOCK_MONOTONICを使い、時刻の差をナノ秒へ変換します。日付が補正される壁時計ではなく、経過時間を測る時計を選びます。配列を合計するwalkの前後を測定し、その後に答えがnであることをassertします。sinkで結果を利用し、測定後のprintfへ渡す情報を作ります。割当て、初期化、照合、出力を測った区間へ混ぜません。
-fno-ipa-pure-constは、この実験で関数を繰り返し実行する条件を確認しやすくする設定です。noinlineだけで計算の削除や移動が全て防げるとは考えず、逆アセンブルでも呼出しと読取りを確認します。コンパイラ版は今回GCC 13.3で、CPUは仮想化されたEPYC表示です。再現ではOS、CPU、設定、要素数、反復数も保存します。測定を始める前の別の重い仕事が影響しそうなら、その状態も記録し、後から都合よく標本を消して合わせないでください。
空の計測も同じ時計で保存する
各反復では、まずnsを連続で二回呼び、その差をemptyとして出します。続いてwalkの区間を測り、walkとして出します。空の区間には時計を呼ぶ費用などが含まれます。0になった場合も、仕事が完全に無時間であったと断定せず、時計の分解能や呼出し条件を考えます。walkとの差を比較し、測定対象が時計の費用と同程度に短すぎないかを確認します。emptyの一回だけを全てから差し引く処理は、このコードには入れていません。
空区間の費用は全ての計測で一定とは限りません。単純な差引きで負の時間や大きな誤差を作る場合があります。差引きが必要な追加分析では、分布と誤差の扱いを明示してください。短い関数をまとめて何度も実行して一つの区間にする方法もありますが、同じ配列を再利用した効果が増えます。一回の遅延を測る問いと、定常的な処理量を測る問いは違うため、反復を増やしただけで同じ測定の精度が上がったと説明しないようにします。
#define _POSIX_C_SOURCE 200809L
#include <assert.h>
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
static volatile uint64_t sink;
static uint64_t ns(void) { struct timespec t; assert(!clock_gettime(CLOCK_MONOTONIC,&t)); return (uint64_t)t.tv_sec*1000000000u+t.tv_nsec; }
__attribute__((noinline)) static uint64_t walk(const uint32_t *a,size_t n) {uint64_t sum=0;for(size_t i=0;i<n;i++)sum+=a[i];return sum;}
int main(void) {
size_t n=1048576;uint32_t *a=malloc(n*sizeof(*a));assert(a);for(size_t i=0;i<n;i++)a[i]=1;
for(int r=0;r<11;r++) {uint64_t begin=ns(),end=ns();printf("empty,%d,%llu\n",r,(unsigned long long)(end-begin));
begin=ns();uint64_t sum=walk(a,n);end=ns();assert(sum==n);sink=sum;printf("walk,%d,%llu\n",r,(unsigned long long)(end-begin));
}free(a);return 0;
}
全標本から二つの要約を作る
正常ならemptyとwalkが各11行出ます。walkの合計は毎回nです。まずr=0から10までの全てについて、中央値、下位と上位の分位点を計算します。次に「準備後の最初の呼出し」と「r=1〜10の繰り返し」を分けた要約を追加できます。どちらも元の標本を残し、初回を外した理由を明記します。最初を必ず遅い値とみなすassertはありません。環境によって後の回が遅いこともあり、順番だけで外れ値と決めることはできません。
例えば説明用の列10、4、5、4、6 nsなら、全体の中央値は5で、初回を外した4、5、4、6の中央値は4.5です。この小さな数列は計算の例で、このプログラムの実測値ではありません。要約の選び方だけで見え方が変わることを確認します。分位点は定義によって小標本の値が変わるので、使った方法も保存します。11回で機械の長期的なばらつきを全て把握したとはせず、その回の標本を再計算できることを優先します。
差があっても原因を増やして書かない
今回の実行で検証したのは、掲載コードの正常終了、結果、区間、時間と生成命令です。PMUを取得していないため、初回のキャッシュミス数やTLBミス数は未測定です。ページを初期化しているという事実もあるので、初回が遅かったら必ずページフォールトだという説明は成り立ちません。CPUの周波数や実行待ちも候補です。原因を確かめたいときは、その原因に対応するカウンタ、トレース、条件変更を追加し、別の証拠として残します。
別プロセスから新しく起動する実験と、同じプロセスで同じ配列を11回読む実験も、同じ状態を繰り返していません。JITを使う言語のウォームアップを調べるなら、コンパイルや最適化の診断を加える必要があります。このC実験の時間だけをJVMやブラウザの挙動へ広げないでください。また本番の利用者が一回だけ操作するなら、定常状態の最速値より初回を含めた遅延が関係する場合があります。測定方法は、採用判断で答えたい問いに合わせて選びます。
測定順を記録に含める
emptyの直後にwalkを測る順序も、この実験の条件です。別版で全emptyを先、全walkを後へ並べたら、同じ時計でも順番による環境変化が加わります。元のCSVへ反復番号があるので、値を大きさ順へ並べて集計するときも元の実行順は捨てません。中央値の再計算と、時間に沿った変動の検査を両方できる形で残します。
要約の計算課題と解答
課題は説明用の標本20、8、10、9、8について、全体と初回除外後の中央値を求めることです。解答は、並べ替えた8、8、9、10、20の中央が9、初回除外後の8、8、9、10の中央二つの平均が8.5です。最速値8だけを書くと、それがどの頻度で出たかを失います。全体9と繰り返し8.5のどちらかを唯一の正解とするのでなく、答える問いと使った規則を併記してください。実測のCSVでも同じ計算を行います。
追加課題は、walkを呼ばず、最後に期待するnを出力する変更が妥当かです。答えは妥当ではありません。出力は合っても、測りたい読取りと加算がありません。assertだけで性能実験の成立を確認できない理由です。終わったら、全標本、集計の方法、コンパイラ設定、逆アセンブルを保存します。確保した領域はfreeで解放され、外部サービスやサーバーは使いません。この方法を他の性能実験へ適用するときも、準備と仕事の意味を各実験に合わせて定義し直します。