当前位置: 代码迷 >> 综合 >> 训练好后的神经网络如何快速定点化?
  详细解决方案

训练好后的神经网络如何快速定点化?

热度:78   发布时间:2024-02-08 14:17:23.0

训练好后的神经网络如何快速定点化?

如何把浮点权重快速定点化后使用在嵌入式设备中

 

tensorflow模型的定点化

如何量化和量化意义?
网络参数是按层组织,每层数值都在同一数量级,即范围相差不大,如[-6.0,4.0],有大量论文研究表明确认值最大和最小后每层数据使用8bit定点化量化已可以很好满足推断计算。
量化最直接结果是参数存储空间要求变小,经验值是减少约3/4;减少内存读取数据量,节省带宽;使用simd进行计算加速,如果有dsp进行8bit加速计算节能,使得移动设备上进行推断计算变得更强大有效。

怎么量化模型?

需要使用tensorflow提供的量化工具,使用示例如下......

 

 

基于pytorch的三种模型定点化方法

dynamic qu,Post-training static quantization,Quantization-aware training (QAT) 

 

 

Simulink是有定点化工具(fixed-point tool)