一件あたりの固定費を分ける
処理には一件ごとの作業だけでなく、通信や実行準備などの固定費があります。仮に一回の呼び出しの固定費が2ms、一件の処理が1msという単純なモデルなら、10件を別々に呼ぶ時間は30ms、まとめた一回は12msです。これは説明用の計算で実測値ではありません。また実際の機器ではバッチサイズに対して処理時間が直線的に増えるとは限りません。
待ち時間が増える理由
バッチを満たすまで待つ方式では、最初に来た要求ほど待ちます。毎秒1件しか来ないのに10件がそろうまで待てば、最初の要求は長く滞留します。最大件数に加えて最大待機時間を設けると、低負荷時にも処理が進みます。利用者の締切が近い要求を一緒に扱う場合は、もっと短い待機が必要かもしれません。
処理量だけで評価しない
バッチ化後に毎秒処理件数が増えても、個々の要求の応答が遅くなれば対話用途では困ります。キューで待つ時間、バッチ実行時間、結果を返す時間を分けて観測します。平均だけでなく上位の待ち時間も確認し、長い入力を混ぜたときに短い要求が引きずられないか調べます。目的が夜間の集計なのか対話応答なのかでも適切な設定は変わります。
失敗をどの単位で扱うか
まとめた一件の入力が不正な場合、全件を失敗させるか、その一件だけ拒否するかをAPIで定めます。バッチ全体を再送する場合は、すでに成功した要素の重複実行を防ぐ必要があります。順序が意味を持つ更新は、独立な推論要求のように自由に並べ替えられません。結果と入力の対応を失わない識別子も必要です。
資源上限を守る
大きなバッチはメモリや送信サイズの上限に達することがあります。最大件数だけでなく、入力の合計バイト数やトークン数など、実際の資源を表す指標で上限を設けます。バッチを小さく分けることと、同時に多数のバッチを走らせることは別です。複数の設定で負荷を与え、処理量、待ち時間、メモリの組合せを比較して選びます。