1行ごとの制御費用を減らす
ベクトル化実行では、データを1件ずつ受け渡す代わりに、小さな塊として演算子へ渡します。DBで100万行を走査するとき、行ごとに関数呼び出しや型判定を繰り返すと、実際の計算以外の費用が増えます。例えば1024行ずつ扱えば呼び出し回数を減らせます。このベクトルは処理上のバッチであり、CPUの1命令で1024行を処理できるという意味ではありません。
フィルタ後の位置を表す
値[3,8,1,9]に対して5より大きい値を残すなら、選択位置[1,3]を作れます。後続の演算子は元の配列と選択位置を参照するか、選択済みの値[8,9]を詰め直して使います。選択ベクトルは不要なコピーを避けられますが、間接アクセスが増えます。NULLの有無を別のビット列で持つ実装では、その状態も値と位置に対応させなければなりません。値だけを並べ替えると正しさが失われます。
SIMDを使える条件を調べる
同じ型の連続した値をまとめて扱うと、コンパイラや実装がSIMD命令を使いやすくなる場合があります。それでも、可変長文字列、分岐の多い関数、依存する更新には別の費用がかかります。浮動小数点の集約順序を変えると丸め誤差の結果も変わり得ます。ベクトル化実行、SIMD、マルチスレッド並列化は別の軸です。一つを導入しただけで他の二つまで実現したと考えないでください。
塊を大きくしすぎない
バッチを大きくすれば呼び出し費用はさらに薄まりますが、中間データがキャッシュを超えたり、最初の結果を返すまでの時間が増えたりします。1024という数も普遍的な最適値ではありません。列幅、同時実行数、演算子の状態で適切な大きさは変わります。比較では同じ結果を得ることを確認し、完了時間だけでなく最初の行までの時間や中間メモリも測ります。少ない入力では従来の行処理の方が単純で有利な場合もあります。
結果を部分的に返す演算子では、バッチの途中で利用者が中止する場合もあります。残りを無条件に計算し続けると資源を浪費します。バッチ間でキャンセルを確認するなど、制御費用を減らす設計と応答性を保つ設計の両方を考えます。