基于剪枝与量化的卷积神经网络压缩算法

随着深度学习的发展，卷积神经网络作为其重要算法被广泛应用到计算机视觉、自然语言处理及语音处理等各个领域，并取得了比传统算法更为优秀的成绩。但是，卷积神经网络结构复杂，参数量和计算量巨大，使得很多算法必须在GPU上实现，导致卷积神经网络难以应用在资源不足且实时性要求很高的移动端。为了解决上述问题，文中提出通过同时优化卷积神经网络的结构和参数来对卷积神经网络进行压缩，以使网络模型尺寸变小。首先，根据权重对网络模型结果的影响程度来对权重进行剪枝，保证在去除网络结构冗余信息的冋时保留模型的重要连接;然后通过量化感知（ quanTIκaτion- awareτraining）对卷积神经网络的浮点型权重和激活值进行完全量化，将浮点运算转换成定点运算，在降低网络模型计算量的冋时减少网络模型的尺寸。文中选用 tensorflow深度学习框架，在 Ubuntu16.04操作系统中使用 Spyder编译器对所提算法进行验证实验结果表眀，该算法使结枃简单的 Lenet模型从l.64M压缩至θ.36M，压缩比达到η8%，准确率只下降了了0.016;使轻量级网络 Mobilenet模型从16.9M压缩至3.1M，压缩比达到81%，准确率下降0.03。实验数据说明，在对卷积神经网络权重剪枝与参数量化辶后，该算法可以做到在准确率损失较小的情况下，对模型进行冇α压缩，解决了卷积神经网络模型难以部署到移动端的问题。