実機測定ではなく待ち行列模型を作る
要求が時刻0、2、4、6msに到着する四件だけの模型を考えます。サーバーは一度に一バッチを処理し、処理時間を2msの固定費+バッチ件数×1msと仮定します。これは説明用の関数で、実際の推論サービスの性能値ではありません。各要求の長さは等しく、転送、prefill、decodeの違いも今回はまとめています。入力や出力の長さで処理が大きく変わる現実の状況は含めず、バッチをそろえる待ちと固定費の関係だけを取り出します。
待ち時間をどこから測るか決める
バッチサイズを1、2、4で比較します。各バッチは必要な要求が全て到着し、前バッチの処理が終わった時点で開始します。最後の不足分があればその件数で処理する規則です。要求の遅延は完了時刻−到着時刻とし、処理そのものの時間とバッチ形成の待ちを含みます。待ちの上限や動的な追加投入は実装せず、固定した到着列を順番に分けます。Python 3だけで実行でき、外部サービスやデータは不要です。コードをbatch.pyへ保存して実行してください。
完了時刻と個別の遅延を出す
サイズ1の完了時刻は12ms、遅延は[3,4,5,6]です。サイズ2では完了10ms、遅延[6,4,6,4]になります。処理全体は早く終わっても、最初の要求はバッチがそろうまで待つため遅くなります。サイズ4では完了12ms、遅延[12,10,8,6]です。コードのassertはこの時間線を検算します。出力の最後の値は四件を最終完了時刻で割った有限の仕事集合の処理率であり、定常状態のサービス能力や一般的なtoken/sの測定ではありません。
arrivals = [0, 2, 4, 6]
def simulate(size):
available, latencies = 0, []
for i in range(0, len(arrivals), size):
batch = arrivals[i:i+size]
start = max(available, batch[-1])
finish = start + 2 + len(batch)
latencies.extend(finish-a for a in batch)
available = finish
return available, latencies
for size in [1, 2, 4]:
finish, latencies = simulate(size)
print(size, finish, latencies, sum(latencies)/len(latencies), len(arrivals)/finish)
assert simulate(1) == (12, [3,4,5,6])
assert simulate(2) == (10, [6,4,6,4])
assert simulate(4) == (12, [12,10,8,6])
平均だけでは最初の待ちを隠す
平均遅延はサイズ1で4.5ms、サイズ2で5ms、サイズ4で9msです。サイズ2の処理完了が早いことと、平均遅延がサイズ1より大きいことは矛盾しません。処理率と個々の体験の指標が違うからです。四件だけから安定したp99を推定することもできません。ここでは全件の遅延をそのまま示す方が明確です。実機で多数の要求を扱う場合は、分布、完了率、拒否、期限超過も併記し、良い平均だけを選んで改善と呼ばないようにします。
到着列を変えて仮説を試す
到着を全て0へするとバッチ形成の待ちが消え、固定費削減がより直接に見えます。逆に間隔を大きくすると、最後の要求を待つ費用が増えます。待ち時間の上限を追加するなら、満杯になる前に処理する規則も必要です。連続バッチングでは完了した要求と新しい要求の入替えを考えますが、今回の模型には入っていません。課題を拡張するときは、変更した到着列と規則を書き、固定費や一件当たりの時間まで同時に変えないことで、結果の原因を追えるようにします。
SLOに合わせて結論を述べる
課題は三つの設定について、完了時刻、平均遅延、全要求の遅延、有限集合の処理率を表にすることです。最初の要求を5ms以内に返す仮の目標なら、元の到着列ではどの設定が満たすかも確認してください。合格の観点は、何を速くしたいかを定め、処理量と待ち時間を混同しないことです。実サービスへ適用するときは入力長・出力長、キャッシュ容量、装置、負荷を記録して別に測定します。この模型の数字を、そのままGPU性能や推奨バッチサイズと呼ばないようにします。