次の命令を待たずに取り込む
条件分岐の結果を待ってから次の命令を取り込むだけでは、パイプラインが空いてしまう場合があります。分岐予測器は過去の履歴などを使って進みそうな経路を選び、CPUが先の仕事を始められるようにします。予測した経路を実行することと、その結果をプログラム上の確定した結果として扱うことは別です。正しい結果は本来の命令順とアーキテクチャの規約に従う必要があり、予測が外れた場合は誤った経路の仕事を取り消します。
規則的な入力と不規則な入力
ループの分岐が1000回中999回は継続し、最後だけ終了するとします。過去の動作を利用できる予測器なら、繰り返しの大部分を先へ進める可能性があります。一方、同じ分岐でも、入力に応じて真偽が不規則に変われば難しさが変わります。ただし、真偽が半々であるだけで予測不能とは言えません。交互に変わるなどの規則を学習できる予測器もあります。分岐命令の見た目ではなく、実際の結果列とCPUの方式を合わせて考えます。
分岐を消すと別の費用が出る
分岐を条件付き選択やマスク演算へ置き換えると、予測失敗を減らせる場合があります。その代わり、元は実行しなかった計算を両方行ったり、依存鎖を長くしたりすることがあります。配列の範囲外アクセスや副作用を含む式を、条件が偽のときも評価してよいとは限りません。高速化の変換では、例外や整数のオーバーフローなど言語の規約も守る必要があります。分岐の数を減らすことと、正しい処理を速く終えることは同じ目標ではありません。
予測失敗は実機と入力に依存する
分岐数と予測失敗数、実行時間を同じ入力で比べます。失敗一回あたりの費用を全CPUで同じ定数とみなすことはできず、命令の依存や同時に進む仕事にも左右されます。また、投機実行のマイクロアーキテクチャ上の痕跡は、命令の結果を取り消す話とは別のセキュリティ課題です。速度の評価で得た規則を、そのまま機密情報を扱うコードの安全性へ一般化しません。性能と機密性では、確認すべき観測の範囲が異なります。