実験・実装 · 基礎から応用へ

量子化による誤差を測る

一様な整数格子で復元誤差を測り、刻み幅、外れ値、範囲外の飽和をそれぞれ変更して比較します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 丸めと復元の規則を固定する
  2. CPUだけで数値誤差を比較する
  3. 格子幅の半分という上限を確かめる
  4. 外れ値で小さい値が消える例を見る
  5. 範囲外では半刻みの保証を使わない
  6. 表現と計算の主張を分けて報告する
  7. この記事をロゲイアに質問する理解を確かめる

丸めと復元の規則を固定する

値[−1,−0.3,0,0.2,1]へ対称な整数格子を当てます。整数の上限をm、下限を−mとし、尺度s=max|x|/m、整数q=clip(round(x/s))、復元値q×sと定義します。ゼロ点は0です。m=7は15段階、m=127は255段階を使う模型で、実際の保存形式の全ビットパターンを説明しているわけではありません。Pythonのroundはちょうど半分で偶数へ丸める規則なので、他実装と比較するときは丸め規則も一致させます。まず格子と範囲を書いてから実行します。

CPUだけで数値誤差を比較する

標準のPython 3だけで実行できます。quantize.pyへ保存して実行し、尺度、整数列、復元列、最大絶対誤差を観察します。Pythonの整数リストは4ビットや8ビットへ詰めて保存されるわけではありません。GPUのメモリ削減や速度の実験ではなく、数値写像の実験です。モデルの取得、ネットワーク、追加パッケージは使いません。元の値はコード内にあり、外部データを変更しません。実行後は必要に応じてスクリプトを削除すればよく、装置やサービスの設定を戻す作業はありません。

格子幅の半分という上限を確かめる

元の最大絶対値を範囲に合わせるため、最初の二つの設定では範囲外の値はありません。最近傍丸めなら最大誤差はs/2以下になることを、許容誤差付きassertで確認します。mを大きくすると刻みが細かくなりますが、各要素の誤差が厳密に同じ比で減るとは限りません。格子点へ偶然一致する値もあるからです。最大誤差だけでなく、必要なら平均二乗誤差も追加して比べます。誤差0の一要素を見つけても、テンソル全体の誤差が0とは結論しません。

python
def quantize(values, limit):
    scale = max(abs(x) for x in values)/limit or 1.0
    integers = [max(-limit, min(limit, round(x/scale))) for x in values]
    restored = [q*scale for q in integers]
    errors = [abs(a-b) for a,b in zip(values, restored)]
    return scale, integers, restored, errors
values = [-1.0, -0.3, 0.0, 0.2, 1.0]
for limit in [7, 127]:
    s, q, restored, errors = quantize(values, limit)
    print(limit, s, q, restored, 'max error', max(errors))
    assert max(errors) <= s/2 + 1e-12
s, q, restored, errors = quantize([-0.1, 0.0, 0.1, 10.0], 7)
assert q[:3] == [0,0,0]
print('outlier scale', s, 'integers', q, 'errors', errors)
scale = 1/7
clipped = min(7, max(-7, round(2.0/scale))) * scale
assert clipped == 1.0
print('clipped input2 restored', clipped)

外れ値で小さい値が消える例を見る

次の値[−0.1,0,0.1,10]では、10に合わせた尺度10/7が小さい三値を全て整数0へ丸めます。0.1の符号の違いまで失われます。この例では外れ値に範囲を合わせることと、小さい値を区別することが競合しています。範囲を狭めたり、グループごとに尺度を作ったりする方法を考えられますが、追加情報や飽和誤差も必要です。小さい値が実際のタスクで重要かどうかは、この格子の実験だけでは分かりません。数値の消失と下流の正解率を別の段階で評価します。

範囲外では半刻みの保証を使わない

最後に尺度を1/7へ固定し、入力2を整数上限7へ飽和させます。復元値は1で、誤差は1です。これは半刻み1/14よりずっと大きく、範囲外の値へ丸め誤差の上限を適用できないことを示します。範囲を元標本から決め、別の標本へ適用する場合にも同じ状況が起き得ます。尺度を選ぶためのデータと評価用データを分け、範囲外の割合も記録してください。clipした事実を隠して平均誤差だけを小さく見せないことが重要です。

表現と計算の主張を分けて報告する

課題は、二つのmの尺度と最大誤差、外れ値を入れた場合の整数列、範囲外の復元値を表にすることです。合格の観点は、細かい刻みと範囲の広さ、丸めと飽和を区別して説明できることです。実モデルへ適用する場合は重みだけか活性もか、尺度の粒度、蓄積型、使用するカーネルまで記録します。今回のリストのサイズやPythonの実行時間を、圧縮されたGPU形式の効率として報告してはいけません。量子化と枝刈りの比較から、別の削減方法との違いも確認できます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 18

学習コースから次を選ぶ