何を減らす操作かを分ける
量子化は重みや活性などを限られた値の集合へ対応させ、表現の精度を変えます。枝刈りは一部の重みやチャネルなどを不要と判断して除く方法です。個々の値を0へする非構造的な方法と、行・チャネル・headなどの構造を減らす方法では、実行形式への影響も違います。同じ「モデルを小さくする」目的でも、何を保存し、何を計算しなくなるのかを分けます。どちらも精度や品質を無条件に保つ方法ではなく、対象タスクで検証する必要があります。
密な4ビット表現を算術で見積もる
4×4の行列には16要素あり、float32の本体は16×4=64バイトです。全てを4ビットずつ詰める理想的な表現なら本体は8バイトですが、尺度、ゼロ点、整列などの追加情報は別です。Pythonの整数16個を並べただけでは8バイトになるわけではありません。また計算時に高精度へ復元したり、蓄積を別の型で行ったりする実装もあります。保存ビット数、演算型、蓄積型を区別し、理想的な本体サイズを実測のメモリ削減量と同じものとして報告しないようにします。
ゼロの保存方法で疎な容量が変わる
同じ4×4の行列で非ゼロを四個残しても、密なfloat32配列のままなら本体64バイトは変わりません。単純なCOO形式で各非ゼロに値4バイトと行・列の整数を各4バイト保存するなら、四個で48バイトです。これは小例の一形式で、他の疎形式や添字幅なら変わります。0が多いから値の個数に比例してそのまま小さくなるとは限りません。疎な構造の情報も含めて見積もり、元の密行列と同じ演算結果を表せるかを検算します。
構造の削減は次の層へも影響する
四行のうち二行を除いて2×4へ本当に縮めれば、float32の本体は32バイトになります。ただし出力の次元が変わるため、次の層や残差接続などとの整合も必要です。Attentionのheadを減らす場合も、対応する射影や配置をどう変えるかを考えます。構造を削ることと、元の大きな行列へゼロを置くだけの操作を混同しません。削除の基準、再学習や補正の有無、変更後のテンソル形状を記録し、読み込めることだけでモデルの機能が保たれたと判断しないようにします。
実行カーネルと評価を合わせる
非構造的な疎さを高速化へ使うには、それを利用するカーネルや対応する形式が必要です。特定のパターンの疎さだけを支援する装置もあり、0の個数だけでは速度は決まりません。量子化でも同じく、対象の型や形状に対応する実装が必要です。同じ質問集合や検証データで、品質、失敗する群、メモリ、待ち時間、処理量を比較します。変更の選択に使ったデータと最終評価も分けます。平均の精度が保たれても、安全上重要な少数の条件が悪化していないかを確認します。
併用しても検証は省かない
量子化と枝刈りは併用できますが、順序や尺度の再調整、構造の変更で相互に影響する可能性があります。課題は、例の密float32、理想4ビット、COO四非ゼロ、行削減の四つについて、本体と追加情報を分けて表にすることです。合格の観点は、64、8、48、32バイトという計算の前提と、そこから実行速度を断定できない理由を説明できることです。数値誤差の確認は量子化実験へ、性能の制約はメモリ帯域のガイドへ進み、同じ変更を別の軸から評価します。