当前位置: 代码迷 >> 综合 >> 【神经网络压缩加速之量化一】And the Bit Goes Down: Revisiting the Quantization of Neural Networks
  详细解决方案

【神经网络压缩加速之量化一】And the Bit Goes Down: Revisiting the Quantization of Neural Networks

热度:100   发布时间:2023-11-21 01:13:01.0

摘要:

在本文中,我们解决了减少ResNet类卷积网络架构的内存占用问题。我们引入了一种矢量量化(Vector Quantization)方法,旨在保持网络输出的重建质量而不是其权重。 我们的方法的优点是它最小化了域内输入(in-domain inputs)的损失重建误差,并且不需要任何标记数据。 我们还使用字节对齐的码本(byte-aligned codebooks t)来生成压缩网络,并对CPU进行有效推断。我们通过将高性能的ResNet-50模型量化为5MB(20x压缩因子)的内存大小来验证我们的方法,同时在ImageNet对象分类和压缩Mask RCNN上保持精度为76%,大小约为6 MB。

Introduction

 

 

 

 

 

  相关解决方案