High computational complexity hinders the widespread usage of Convolutional Neural Networks (CNNs), especially in mobile devices. Hardware accelerators are arguably the most promising approach for reducing both execution time and power consumption. One of the most important steps in accelerator development is hardware-oriented model approximation. In this paper we present Ristretto, a model approximation framework that analyzes a given CNN with respect to numerical resolution used in representing weights and outputs of convolutional and fully connected layers. Ristretto can condense models by using fixed point arithmetic and representation instead of floating point. Moreover, Ristretto fine-tunes the resulting fixed point network. Given a maximum error tolerance of 1%, Ristretto can successfully condense CaffeNet and SqueezeNet to 8-bit. The code for Ristretto is available. Comments: 8 pages, 4 figures, Accepted as a workshop contribution at ICLR 2016. Updated comparison to other works Subjects: Computer Vision and Pattern Recognition (cs.CV)

目标的检测与跟踪技术在计算机视觉领域有着广泛的应用，比如在视频监控，无人驾驶，机器人等领域都有着举足轻重的价值。随着深度学习算法与技术的飞速发展，更是带动了该技术在性能、速度等方面取得了质的飞跃。然而随着社会的发展，需求的不断提高，我们在研究算法高效性的同时还要考虑算法所训练出的模型在实际应用上的性能与速度。本篇文章主要研究基于深度学习的目标检测与跟踪技术，该技术主要包括一个离线训练的检测模型，一个优化的跟踪器，以及一个学习模块来组成在线跟踪系统。通过研究出一种更快、性能更好的算法以及模型的压缩来达到使其训练出的模型在手机等嵌入式设备上实时运行的目的。

李宏毅 MACHINE LEARNING 2020 SPRING中，模型压缩那一节，助教使用的PPT。网站上无法下载，这个可以

这篇文章利用知识蒸馏方式对PSPNet进行了模型压缩，包含传统logits蒸馏和logits与特征混合蒸馏两种方式。 Teacher：PSPNet model of ResNet18 backbone Student： PSPNet model of ResNet50 backbone. Dataset: PASCAL-VOC2012

在这个综述中，我们讨论了六种不同类型的方法(剪枝、量化、知识蒸馏、参数共享、张量分解和基于线性变压器的方法)来压缩这些模型，使它们能够在实际的工业NLP项目中部署。

神经网络模型压缩方法综述_曹文龙

2深度神经网络模型压缩综述_耿丽丽.caj

自己整理的模型压缩综述类论文合集自己整理的模型压缩综述类论文合集自己整理的模型压缩综述类论文合集自己整理的模型压缩综述类论文合集自己整理的模型压缩综述类论文合集自己整理的模型压缩综述类论文合集自己整理的模型压缩综述类论文合集

自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集

百度“深度学习”训练营——《PaddleSlim模型压缩实践》课程的讲解文档。 百度“深度学习”训练营——《PaddleSlim模型压缩实践》课程的讲解文档。 百度“深度学习”训练营——《PaddleSlim模型压缩实践》课程的讲解文档。