利用者が待つ区間を定める
推論APIでは、要求を受け付けてから最初の出力が見えるまでと、出力が始まってから最後までの時間を分けます。最初のトークンが速くても、途中が止まれば読みにくくなります。逆に生成中の速度が高くても、最初に長く待つ場合があります。どの区間を利用者の体験として改善したいかを明示し、その測定の始点と終点を定めます。サーバー内部のGPU実行時間だけでは、通信、認証、検索、待ち行列を含む利用者の待ちを表しません。ストリーミングの開始と、要求をすべて完了できたことも別の成功条件です。
指標と目標と契約を分ける
SLIは測る指標、SLOは望む目標、SLAは約束と対応を含む合意として区別します。例えば「対象期間の有効な要求の95%が、最初の出力を2秒以内に受け取る」という目標なら、期間、有効な要求の定義、測定位置が必要です。ここでの95%や2秒は説明用の設定例であり、すべての推論サービスに適した推奨値ではありません。短文応答と長い文書生成、無料の体験と重要な業務処理でも要求は違います。目標を置く前に、利用者の用途と失敗時に困ることを確認します。
平均だけで長い待ちを隠さない
要求時間が1秒のものが九件、11秒のものが一件なら、平均は2秒です。しかし一件の利用者は11秒待っています。この小さな例だけで安定したp99を推定できるわけではありませんが、平均が体験のばらつきを隠すことは分かります。入力長、出力長、検索の有無、モデル、優先度で分けた分布も確認します。異なる条件を一つへ混ぜると、利用者構成が変わっただけでサービスが遅くなったように見える場合があります。集約期間と標本数を示し、パーセンタイルを平均して全体のパーセンタイルとする計算も避けます。
受け入れ量と処理量をそろえる
単純化して毎秒50件の要求が来るのに、同じ条件で毎秒40件しか処理できない状態が続くなら、待ち行列は毎秒10件ずつ増えます。これは仕組みの計算例で、実測した推論性能ではありません。キューを大きくするだけでは、継続する不足を解決できません。上限、要求の期限、過負荷時の拒否や後送りを設計します。実際の処理能力は入出力の長さや同時実行で変わるため、一つの固定件数だけで判断しません。また、拒否した要求を指標からすべて除けば、残った要求の遅延だけを良く見せられるため、受け入れ失敗も別に追います。
バッチ化の利点と待ちを比較する
複数要求をまとめるバッチ化は、装置の利用効率を上げる場合があります。一方、バッチがそろうのを待つ時間や、長い要求と短い要求を組み合わせる影響もあります。固定のバッチサイズだけでなく、待ち時間の上限、連続バッチング、KVキャッシュの容量、キャンセル後の資源回収を考えます。スループットが増えても、対話用途の最初の出力が遅くなるなら、同じ評価軸で改善したとは言えません。同じ入力・出力の分布と負荷で、最初の出力、生成中の間隔、完了率を合わせて比べます。
目標を運用上の判断へつなげる
SLOを置いたら、対象期間でどれだけ目標を外したかを追い、変更や障害調査の判断に使います。平均値のダッシュボードだけでなく、要求ごとに待ち、検索、prefill、decodeなどの区間を対応付けると、どこが変化したかを調べやすくなります。計測のために入力全文や秘密情報を無制限に保存する必要はありません。識別情報を必要最小限にし、長さや区間、成否など用途に合うデータを選びます。設定を変えた後は同じ条件で再評価し、改善が一部の要求を飢餓状態へ追いやっていないかも確認します。