Quantizationの意味

Quantizationは、機械学習モデルのパラメータやデータを、より少ないビット数で表現する方法です。Googleの機械学習用語集は、モデルのパラメータを32-bit浮動小数点から4、8、16-bitなどへ変換する例を示し、計算、メモリ、ディスク、通信、推論時間の削減につながる一方、予測の正しさが低下する場合もあると説明しています。学習後のモデルを変換するPost-training Quantizationと、学習中に量子化を考慮する方法など、実装の種類があります。量子化による効果は、ビット幅、重みだけか活性値も対象か、ハードウェア、カーネル、モデル構造、評価データによって変わります。ファイルサイズが小さくなったことと、実際のレイテンシや消費電力が改善することは同じではありません。重要な用途では、量子化前後の品質、長文、ツール呼び出し、安全性、異なる入力形式を評価します。評価は実際のハードウェアと代表的な入力で行います。

Quantizationは、モデルの重みや計算をより少ないビット幅で表し、推論時の計算量やメモリを抑えるための最適化です。

大きなモデルを限られたGPUメモリやエッジ環境で動かす選択肢になりますが、精度との交換条件があります。

現在は量子化方式、校正データ、対応演算子、ハードウェア、品質評価を組み合わせて採用可否を判断します。