训练好后的神经网络如何快速定点化?
如何把浮点权重快速定点化后使用在嵌入式设备中
tensorflow模型的定点化
如何量化和量化意义?
网络参数是按层组织,每层数值都在同一数量级,即范围相差不大,如[-6.0,4.0],有大量论文研究表明确认值最大和最小后每层数据使用8bit定点化量化已可以很好满足推断计算。
量化最直接结果是参数存储空间要求变小,经验值是减少约3/4;减少内存读取数据量,节省带宽;使用simd进行计算加速,如果有dsp进行8bit加速计算节能,使得移动设备上进行推断计算变得更强大有效。
怎么量化模型?
需要使用tensorflow提供的量化工具,使用示例如下......
基于pytorch的三种模型定点化方法
dynamic qu,Post-training static quantization,Quantization-aware training (QAT)
Simulink是有定点化工具(fixed-point tool)