丸めと復元の規則を固定する
値[−1,−0.3,0,0.2,1]へ対称な整数格子を当てます。整数の上限をm、下限を−mとし、尺度s=max|x|/m、整数q=clip(round(x/s))、復元値q×sと定義します。ゼロ点は0です。m=7は15段階、m=127は255段階を使う模型で、実際の保存形式の全ビットパターンを説明しているわけではありません。Pythonのroundはちょうど半分で偶数へ丸める規則なので、他実装と比較するときは丸め規則も一致させます。まず格子と範囲を書いてから実行します。
CPUだけで数値誤差を比較する
標準のPython 3だけで実行できます。quantize.pyへ保存して実行し、尺度、整数列、復元列、最大絶対誤差を観察します。Pythonの整数リストは4ビットや8ビットへ詰めて保存されるわけではありません。GPUのメモリ削減や速度の実験ではなく、数値写像の実験です。モデルの取得、ネットワーク、追加パッケージは使いません。元の値はコード内にあり、外部データを変更しません。実行後は必要に応じてスクリプトを削除すればよく、装置やサービスの設定を戻す作業はありません。
格子幅の半分という上限を確かめる
元の最大絶対値を範囲に合わせるため、最初の二つの設定では範囲外の値はありません。最近傍丸めなら最大誤差はs/2以下になることを、許容誤差付きassertで確認します。mを大きくすると刻みが細かくなりますが、各要素の誤差が厳密に同じ比で減るとは限りません。格子点へ偶然一致する値もあるからです。最大誤差だけでなく、必要なら平均二乗誤差も追加して比べます。誤差0の一要素を見つけても、テンソル全体の誤差が0とは結論しません。
def quantize(values, limit):
scale = max(abs(x) for x in values)/limit or 1.0
integers = [max(-limit, min(limit, round(x/scale))) for x in values]
restored = [q*scale for q in integers]
errors = [abs(a-b) for a,b in zip(values, restored)]
return scale, integers, restored, errors
values = [-1.0, -0.3, 0.0, 0.2, 1.0]
for limit in [7, 127]:
s, q, restored, errors = quantize(values, limit)
print(limit, s, q, restored, 'max error', max(errors))
assert max(errors) <= s/2 + 1e-12
s, q, restored, errors = quantize([-0.1, 0.0, 0.1, 10.0], 7)
assert q[:3] == [0,0,0]
print('outlier scale', s, 'integers', q, 'errors', errors)
scale = 1/7
clipped = min(7, max(-7, round(2.0/scale))) * scale
assert clipped == 1.0
print('clipped input2 restored', clipped)
外れ値で小さい値が消える例を見る
次の値[−0.1,0,0.1,10]では、10に合わせた尺度10/7が小さい三値を全て整数0へ丸めます。0.1の符号の違いまで失われます。この例では外れ値に範囲を合わせることと、小さい値を区別することが競合しています。範囲を狭めたり、グループごとに尺度を作ったりする方法を考えられますが、追加情報や飽和誤差も必要です。小さい値が実際のタスクで重要かどうかは、この格子の実験だけでは分かりません。数値の消失と下流の正解率を別の段階で評価します。
範囲外では半刻みの保証を使わない
最後に尺度を1/7へ固定し、入力2を整数上限7へ飽和させます。復元値は1で、誤差は1です。これは半刻み1/14よりずっと大きく、範囲外の値へ丸め誤差の上限を適用できないことを示します。範囲を元標本から決め、別の標本へ適用する場合にも同じ状況が起き得ます。尺度を選ぶためのデータと評価用データを分け、範囲外の割合も記録してください。clipした事実を隠して平均誤差だけを小さく見せないことが重要です。
表現と計算の主張を分けて報告する
課題は、二つのmの尺度と最大誤差、外れ値を入れた場合の整数列、範囲外の復元値を表にすることです。合格の観点は、細かい刻みと範囲の広さ、丸めと飽和を区別して説明できることです。実モデルへ適用する場合は重みだけか活性もか、尺度の粒度、蓄積型、使用するカーネルまで記録します。今回のリストのサイズやPythonの実行時間を、圧縮されたGPU形式の効率として報告してはいけません。量子化と枝刈りの比較から、別の削減方法との違いも確認できます。