実験・実装 · 基礎から応用へ

ループのSIMD命令と端数を読む

同じCコードから二つのビルドを作り、最適化診断・逆アセンブル・端数を含む出力を対応させます。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 同じ加算から二つのバイナリを作る
  2. 設定と実行ファイルを分けて保存する
  3. add関数の主ループと端数を追う
  4. 加算と照合の時間を混ぜない
  5. 依存と丸めの条件を保つ
  6. nの単位をAPIの契約へ戻す
  7. 長さを変える課題と解答
  8. この記事をロゲイアに質問する理解を確かめる

同じ加算から二つのバイナリを作る

この実験では、floatの二つの配列を足し、別の出力配列へ保存します。要素数は1,048,579で、4では割り切れません。GCCのベクトル化を許す版と止める版を作り、同じ入力の全要素が一致することを確認します。前提はSIMDのガイドです。目的は速度の倍率を先に決めることではなく、コンパイラの報告、実際の命令、端数の出力を対応させることです。CPUのレジスタ名だけで、複数要素を扱っていると判断しない練習にもなります。

入力a[i]はi mod 32をfloatへ変えた値、b[i]は2です。この範囲なら期待する加算を正確に表せるため、各要素を直接比較します。出力全体を読んでチェックサムへ使うので、配列を作っただけで終わりません。restrictを付けた三つのポインタは、それぞれ別のmallocで確保した領域へ向けます。重なった範囲を渡して速さを試す実験ではありません。確保失敗時には停止し、必要な出力が全て計算できたかを時間より先に確認します。

設定と実行ファイルを分けて保存する

コードをsimd.cへ保存します。x86-64のGCCではgcc -O3 -std=c11 -march=x86-64 -fopt-info-vec-optimized simd.c -o simd-vectorと、gcc -O3 -std=c11 -march=x86-64 -fno-tree-vectorize simd.c -o simd-scalarを別々に実行します。最適化診断は標準エラーへ出るので、端末表示を保存してください。続いて両方を実行し、各9行のCSVを別名へ残します。実験で使ったGCCは13.3で、別の版では報告やコードが変わり得ます。

-march=x86-64は、この例で観察する命令セットの条件です。別のCPUへ転送して使えない命令が混ざる設定を、説明なしに選ばないでください。arm64なら対応するコンパイラとISAの設定へ変え、命令名も読み替えます。ベクトル版とスカラ版はソースが同じでも生成コードが違います。片方を上書きせず、全設定、診断、逆アセンブル、CSVを対応させて保存します。ここでのscalarという名前は、この加算ループのベクトル化を止めた意味で、バイナリ全体のSIMDレジスタ不使用を保証しません。

add関数の主ループと端数を追う

objdump -d simd-vectorとスカラ版の結果を保存します。addの呼出し先を開き、入力のロード、加算、出力のストア、アドレスの更新を読みます。今回のベクトル版ではaddpsが複数のfloatを加え、主ループは16バイトずつ進みます。4バイト要素四つに対応します。端数の部分には、より小さい組とaddssによる一要素の加算が現れます。命令の並びをソースのiへ戻し、どこまで処理済みかを説明してください。

スカラ版では一要素の加算を探し、同じnを処理していることを確認します。診断に「vectorized」と出ただけで、測定したaddが使われたとは限りません。mainが呼ぶ実体を照合します。nを4の倍数へ変えると端数の経路を通らない場合があるため、元の長さも残して検証します。全てのケースを一つの命令名の有無だけで判定せず、主ループ、残り、呼出し、出力の対応を一緒に読みます。掲載コードは二言語で同じものを使っています。

c
#define _POSIX_C_SOURCE 200809L
#include <assert.h>
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
static volatile uint64_t sink;
static uint64_t ns(void) { struct timespec t; assert(!clock_gettime(CLOCK_MONOTONIC,&t)); return (uint64_t)t.tv_sec*1000000000u+t.tv_nsec; }
__attribute__((noinline)) void add(float * restrict out,const float * restrict a,const float * restrict b,size_t n) {
 for(size_t i=0;i<n;i++) out[i]=a[i]+b[i];
}
int main(void) {
 size_t n=1048579;float *a=malloc(n*4),*b=malloc(n*4),*out=malloc(n*4);assert(a&&b&&out);
 for(size_t i=0;i<n;i++){a[i]=(float)(i%32);b[i]=2;}
 for(int r=0;r<9;r++){uint64_t start=ns();add(out,a,b,n);uint64_t elapsed=ns()-start;uint64_t sum=0;
  for(size_t i=0;i<n;i++){assert(out[i]==a[i]+2);sum+=(uint64_t)out[i];}sink=sum;printf("%d,%llu,%llu\n",r,(unsigned long long)elapsed,(unsigned long long)sum);
 }
 free(a);free(b);free(out);return 0;
}

加算と照合の時間を混ぜない

計測するのはaddの一回の呼出しです。入力の作成、出力の全要素のassert、チェックサム、printfは区間の外です。r=0から8までの標本を全て保存し、各版で中央値と分位点を求めます。最初の呼出しでは出力領域のページに初めて書く費用などが入る可能性があります。それを「キャッシュが全て空だから」と一つの理由へ決めず、初回という条件を残します。後の回だけを使う要約を追加する場合も、除外規則と元の標本を残します。

同じ要素数なので全体時間を比較できますが、SIMDの幅から4倍をassertしません。メモリを運ぶ費用、ループ以外の固定費、実行待ちなどもあります。仮想CPUでのこの観測は、対象の命令が実行可能で、結果が正しいことと、指定区間の時間を示します。専有した実機の最高性能や、命令のサイクル数を校正した記録ではありません。PMUも未取得です。時間の順位が別の環境で変わっても、命令と結果を照合する目的は維持できます。

依存と丸めの条件を保つ

このコードをsumへ全要素を足す集約へ変えると、反復間の依存と丸め順が変わります。独立したoutの計算と同じ結果の契約ではありません。-ffast-mathを追加して集約が速くなった場合も、許された変換を説明し、NaNや無限大、許容誤差を確認します。元の要素ごとの実験で得た命令の事実を、集約全般の保証へ広げないでください。bをoutの一部へ重ねる変更も、restrictの契約を再検討する必要があり、単に追加の性能ケースとは扱えません。

実アプリの採用判断では、同じ配列へ整えるコピーや型変換の費用も含めます。ループだけが速くても、前後の変換が増えれば全体は遅くなる可能性があります。配列が非常に小さい場合には、関数呼出しや端数の割合も変わります。大きい入力と小さい入力を混ぜて平均するのではなく、要求するサイズごとに判断します。前提、出力、命令、時間の四つを同じ行に対応させると、測定対象から結論までを他の読者も追える記録になります。

nの単位をAPIの契約へ戻す

addへ渡すnはバイト数ではなく要素数です。nを配列のバイト数へ置き換えると、末尾を越えて読み書きするため、速さを調べる前に契約が壊れます。4バイトのfloatという前提もsizeofで確認する拡張ができます。ベクトル幅のバイトと要素数を換算するとき、入力領域、出力領域、端数を同じ単位へ揃えてください。

長さを変える課題と解答

課題はn=7、4要素ずつの主ループなら何が残るかです。解答は、最初の0〜3を処理した後に4〜6の三要素が残ります。コンパイラが二要素と一要素に分ける場合も、三つともスカラで処理する場合もあります。どの方式でも、正しい範囲の全出力を照合します。次にn=8へ変えれば主ループで二組になりますが、それだけを検証して端数の正しさを保証することはできません。少なくとも0、1、幅未満、幅の倍数、倍数に端数を足した長さを別の試験候補にします。

追加課題は、入力をa[i]=a[i−1]+1の更新へ変えることです。解答では、前の反復が作る値を必要とするため、元の独立加算と同じベクトル化の条件ではないと説明します。アルゴリズムを変えるなら、意味と結果を改めて確かめます。終了時には両バイナリと診断、逆アセンブル、CSVを整理し、割当てはfreeで解放されます。外部サービスは使いません。SIMDを使うかの判断を、命令名だけで終えず実際の入力条件へ戻すことが最後の確認です。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 7

AI基盤へ進む · STEP 4

学習コースから次を選ぶ