OAC

OAC: Output-adaptive Calibration for Accurate Post-training Quantization阅读笔记

motivation

现有的逐层最小化量化后权重更新方法本质是“输出不可知的”，因为其只考虑了单层的输出而没有考虑模型整体的输出，因此本文提出了一种输出自适应的Hessian估计方法，其目的从对齐层量化前后的输出到了对齐模型的输出。

创新点：输出自适应Hessian思想

将模型所有层的所有权重展平 量化后可视作 ，因此量化损失可视作：

Hessian表达式为：

因为模型已充分训练所以梯度为可视作0，Hessian矩阵被用于如下的量化后权重更新（类OPTQ）：

与显著权重判定：

Hessian高效率计算

通过假定跨层独立性可将原始Hessian矩阵简化为以层权重为块单位的块对角矩阵，将非同层权重间元素视为0；

通过假定权重每行独立，可将层Hessian矩阵简化为以行权重为单位的块对角矩阵，不同行权重间元素视为0，即：

为了减少内存使用，将逐行权重的Hessian求和为 ，损失函数变为：

计算时使用Fisher信息矩阵进行估算，即：

图像表示：

其它

使用了按列更新权重和冻结关键权重的方法，整体流程：