在当前的深度学习领域，轻量化模型已经成为了一个重要的研究方向，尤其在移动设备和嵌入式系统的应用中。本文将探讨轻量化网络的背景、设计思路以及以MobileNet为例的具体实现，来阐述这一领域的核心概念。 首先，让我们理解为什么需要轻量化网络。神经网络的发展历程见证了模型从简单的前馈网络到复杂的深度结构的演变，如AlexNet、VGG、GoogLeNet、ResNet等。这些模型虽然在准确率上取得了显著的进步，但它们的计算量和参数数量巨大，对硬件资源的要求较高，这限制了它们在资源受限的环境（如智能手机、无人机、物联网设备）中的应用。因此，轻量化网络的必要性应运而生，旨在在保持一定性能的前提下，降低模型的计算复杂度和内存占用，以适应这些边缘计算场景。 实现轻量化网络的主要思路有多种。一种方法是压缩已经训练好的模型，通过知识蒸馏、权值量化、剪枝和注意力迁移等技术减小模型规模。另一种是直接设计轻量化架构，例如SqueezeNet、MobileNet、ShuffleNet和EfficientNet，它们通过创新的卷积结构来减少计算量。此外，还可以通过优化卷积运算，如使用Im2col+CEMM、Winograd算法或低秩分解来提高运算效率。硬件层面的支持也不可忽视，例如TensorRT、Jetson、Tensorflow-lite和Openvino等工具可以加速模型在不同平台上的部署。 MobileNet系列作为轻量化模型的代表，尤其是其深度可分离卷积的设计，极大地降低了计算成本。传统卷积涉及到大量的乘加运算，而深度可分离卷积将卷积过程分为两步：先进行深度卷积（即按通道的卷积），然后进行逐点卷积。这样，深度可分离卷积的计算量仅为标准卷积的很小一部分，同时减少了参数量。以MobileNet V1为例，尽管其参数量远小于其他大型网络，但在没有残差连接和ReLU激活函数的低精度问题下，其性能仍有所局限。为了解决这些问题，MobileNet V2引入了倒置残差块，增强了特征流动，提高了模型性能。 总结来说，轻量化网络的发展是深度学习在有限资源环境应用的关键。通过深入理解神经网络的结构，设计创新的卷积操作，结合模型压缩技术和硬件优化，我们能够构建出在保持高效率的同时兼顾准确性的模型。MobileNet的成功实践为未来轻量化模型的设计提供了宝贵的启示，进一步推动了深度学习在边缘计算领域的广泛应用。

CNN的成功依赖于其两个固有的归纳偏置，即平移不变性和局部相关性，而视觉Transformer结构通常缺少这种特性，导致通常需要大量数据才能超越CNN的表现，CNN在小数据集上的表现通常比纯Transformer结构要好。 CNN感受野有限导致很难捕获全局信息，而Transformer可以捕获长距离依赖关系，因此ViT出现之后有许多工作尝试将CNN和Transformer结合，使得网络结构能够继承CNN和Transformer的优点，并且最大程度保留全局和局部特征。 Transformer是一种基于注意力的编码器-解码器结构，最初应用于自然语言处理领域，一些研究最近尝试将Transformer应用到计算机视觉领域。 在Transformer应用到视觉之前，卷积神经网络是主要研究内容。受到自注意力在NLP领域的影响，一些基于CNN的结构尝试通过加入自注意力层捕获长距离依赖关系，也有另外一些工作直接尝试用自注意力模块替代卷积，但是纯注意力模块结构仍然没有最先进的CNN结构表现好。

基于微信小程序的BIM轻量化模型浏览系统的设计与实现.pdf

可方便的浏览 Autodesk Forge 轻量化模型，无需架设 Web Server，支持 svf, f2d, glTF, glb 等格式 功能描述: 快捷预览轻量化模型，省去部署模型到 Web Server 的麻烦。 目前支持以下格式: Autodesk Forge SVF (三维) or F2D (二维) 3D Tiles (for Cesium) glTF/glb 更多格式持续增加中... 使用方法： 双击 BimAngle Browser 快捷方式运行, 在弹出的对话框中选中要预览的轻量化模型文件即可； 安装环境: Windows 7/8/10/Server 2012/Server 2016

轻量化模型之ShuffleNet v2 onnx 文件 用来学习模型架构

深度学习部署必备库

BimAngle Browser - 好用而且免费的轻量化模型浏览器 功能描述: 快捷预览轻量化模型，省去部署模型到 Web Server 的麻烦。 目前支持以下格式: Autodesk Forge SVF (三维) or F2D (二维) 3D Tiles (for Cesium) glTF/glb 更多格式持续增加中... 使用方法： 双击 BimAngle Browser 快捷方式运行, 在弹出的对话框中选中要预览的轻量化模型文件即可； 安装环境: Windows 7/8/10/Server 2012/Server 2016

1. 原名称为 iBIM+ Viewer, 为与本公司其它产品命名规则统一, 本软件正式改名为 BimAngle Forge Browser, 但仍然保持完全免费! 2. 在原集成 Forge Viewer v2.15.3 的基础上增加 v3.1.1 作为默认选项; 3. 再次提高了运行效率, 实测可正常浏览 55W 构件, 原数据量高达 9GB 的模型;