体系ガイド · 基礎から応用へ

量子化誤差と推論性能

量子化の尺度と丸め・飽和を分け、外れ値、層ごとの違い、実行形式が品質と性能へ与える影響を確認します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 格子へ丸める操作を定義する
  2. 丸めの誤差と飽和の誤差を分ける
  3. 外れ値が尺度を支配する場合を調べる
  4. テンソル単位とチャネル単位を区別する
  5. 数値誤差とタスク品質を両方測る
  6. 容量削減から速度を推論しすぎない
  7. この記事をロゲイアに質問する理解を確かめる

格子へ丸める操作を定義する

量子化は、連続的または高精度の値を、限られた値の集合へ対応させる処理です。単純なaffine量子化ではq=clip(round(x/s)+z)、復元値x̂=s(q−z)と書けます。sは正の尺度、zはゼロ点で、整数の範囲も別に定めます。量子化した整数qそのものを元の実数xとして使うわけではありません。丸め規則、clipの範囲、sとzを一緒に保存しなければ、同じ整数列から元の尺度を解釈できません。今回は仕組みを理解するための一様な格子を考えます。

丸めの誤差と飽和の誤差を分ける

ゼロ点0、整数範囲−7から7、s=1/7とすると、−1から1を含む格子を作れます。飽和せず最近傍へ丸めるなら誤差は最大s/2程度ですが、範囲外の2を入れると復元は1となり、誤差1です。格子内の丸め誤差の上限を、clipした値へもそのまま当ててはいけません。ゼロが正確に表現されるかも設定に依存します。4ビットの全パターンを必ず等しく使うわけではなく、この対称な例では15段階を使っていることを明示します。

外れ値が尺度を支配する場合を調べる

値が[−0.1,0,0.1,10]なら、最大絶対値10に合わせたs=10/7では小さい三値が同じ0へ丸められやすくなります。外れ値を残すための広い範囲が、多数の小さい値を粗く扱う例です。clipの範囲を狭めると小さい値の分解能は上がっても10の誤差が増えます。どちらが良いかは値の頻度と下流の役割に依存します。校正用データの選び方も必要で、評価時にしか出ない外れ値を無視した設定が、利用時にも良いとは限りません。最大誤差と平均誤差を併記します。

テンソル単位とチャネル単位を区別する

テンソル全体で一つのsを使う方法と、出力チャネルや小さなグループごとにsを使う方法があります。尺度を細かくすれば分布の違いへ対応しやすくなる場合がありますが、尺度などの追加保存と計算処理も増えます。重みだけ、活性も含む、KVキャッシュも含む、といった対象の違いも重要です。「4ビット化した」という一言だけでは、全てのテンソルが4ビットで保存・計算されたとは分かりません。対象、粒度、復元のタイミング、蓄積に使う型まで分けて確認します。

数値誤差とタスク品質を両方測る

復元値の平均二乗誤差が小さくても、分類境界や重要な生成候補の順位を変える場合があります。逆に一部の数値誤差が大きくても、対象タスクの指標はほとんど変わらない場合があります。固定した評価データで、元モデルと変更後の損失、正解、生成の制約などを比較します。尺度を調整するデータと、最終評価に使うデータは分けます。特定の層だけを高精度に残すなどの方法もありますが、どこを例外にしたかを記録してください。復元誤差だけで品質が保証されたとは言いません。

容量削減から速度を推論しすぎない

整数をPythonの通常の整数リストへ入れるだけでは、4ビットずつ詰めたGPU形式にはなりません。実際の速度は対応カーネル、復元、転送、バッチ、装置の条件で変わります。課題では対応する小さな量子化実験を実行し、尺度と外れ値を変えた誤差を説明します。そこで計算した誤差を実モデルの品質やGPU性能の測定と呼ばないことが合格の観点です。量子化と枝刈りの比較へ進み、何を減らす操作かを区別したうえで、実機ではメモリと待ち時間を別に確認します。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 18

学習コースから次を選ぶ