二值神经网络（Binary Neural Networks）最新综述.md

知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。在阅读基础上，做了.md的笔记。
摘要如下：
神经网络二值化能够**最大程度地降低模型的存储占用和模型的计算量**，将神经网络中**原本 32 位浮点数参数量化至 1 位定点数**，**降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程**。但二值化会不可避免地导致**严重的信息损失**，其**量化函数不连续性也给深度网络的优化带来了困难**。

近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为**直接量化的朴素二值化方法**，以及使用**最小化量化误差**、**改善网络损失函数和减小梯度误差**等技术的**改进二值化方法**。

本文还调研了二值神经网络的**其他实用方面**，例如**硬件友好的设计和训练技巧**。然后，我们对**图像分类，目标检测和语义分割**等不同任务进行了**评估和讨论**。最后，本文展望了**未来研究可能面临的挑战**。