简单的预实验，教师模型4个隐藏层，学生模型2个隐藏层。另外可视化知识蒸馏的温度系数T的大小对知识蒸馏的影响。

常减压蒸馏装置与设备分析

本文介绍了带蒸汽喷射压缩器的低温多效蒸馏海水淡化装置(TVC-MED)装置的工作原理,分析了TVC-MED海水淡化装置主要工艺参数的选择和主要工艺设计原则,并提出了今后低温多效蒸馏海水淡化工艺设计的优化方向。

yolov3 yolov4 channel and layer pruning, Knowledge Distillation 层剪枝，通道剪枝，知识蒸馏 yolov3-channel-and-layer-pruning 本项目以ultralytics/yolov3为基础实现，根据论文Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017)原理基于bn层Gmma系数进行通道剪枝，下面引用了几种不同的通道剪枝策略，并对原策略进行了改进，提高了剪枝率和精度；在这些工作基础上，又衍生出了层剪枝，本身通道剪枝已经大大减小了模型参数和计算量，降低了模型对资源的占用，而层剪枝可以进一步减小了计算量，并大大提高了模型推理速度；通过层剪枝和通道剪枝结合，可以压缩模型的深度和宽度，某种意义上实现了针对不同数据集的小模型搜索。 项目的基本工作流程是，使用yolov3训练自己数据集，达到理想精度后进行稀疏训练，稀疏训练是重中之重，对需要剪枝的层对应的bn gamma系数进行大幅压缩，理想的压缩情况如下图，

知识蒸馏 知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算资源使用。 目录结构 1.参考 (Hinton et al., 2015), 在cifar10数据上的复现，提供一个对Knowledge Distillation的基本认识，具体内容请查阅： 2.利用BERT-12 作为Teacher，BERT-3作为student，同时学习ground truth 和 soften labels，性能与Teacher 相当甚至更优，具体内容请查阅： 主要参考论文： 3.利用模块替换的思路，来进行Knowledge Distillation，具体内容请查阅： 论文： Blog: repo: 4.利用不同样本预测的难易

一、DistilBert for Chinese 海量中文预训练蒸馏Bert模型 拟于12月16日发布 target to release on Dec 16th. 拟发布内容 Contents： 1.1 可下载的蒸馏模型，已经训练过 a pretrained chinese DistilBert, others can use it directly or trained again on their own corpus; 1.2 可用于下游任务的例子和代码，包括3个ChineseGLUE(CLUE)的任务 fine tuning examples and codes using DistilBert on three ChineseGLUE(CLUE) tasks; 1.3 小模型基准测评 performance comparsion with albert_tiny, ernie

毫米波检测器 该项目基于mmdetection（v-2.9.0），所有用法与相同，包括培训，测试等。 蒸馏器动物园 安装 设置新的conda环境： conda create -n distiller python=3.7 安装pytorch 安装mmdetection-distiller git clone https://github.com/pppppM/mmdetection-distiller.git cd mmdetection-distiller pip install -r requirements/build.txt pip install -v -e . 火车 #single GPU python tools/train.py configs/distillers/cwd/cwd_retina_rx101_64x4d_distill_retina_r50_fpn_2

知识蒸馏TPU 使用ResNet和简单的ConvNet进行的卫星图像分类器知识蒸馏。 这些模型在TPU上进行了训练。

PPO-RND 通过在 Tensorflow 2 和 Pytorch 中使用近端策略优化和随机网络蒸馏来演示深度强化学习的简单代码 版本 2 和其他进展 版本 2 将带来代码质量和性能的改进。 我重构了代码，以便它遵循 OpenAI 基线上 PPO 实现中的算法。 我还使用了称为 Truly PPO 的更新版本的 PPO，它比 OpenAI 的 PPO 具有更高的样本效率和性能。 目前，我专注于如何在更困难的环境（Atari 游戏、MuJoCo 等）中实施这个项目。 使用 Pytorch 和 Tensorflow 2 清理代码 使用真正的 PPO 添加更复杂的环境 添加更多说明 入门 该项目使用 Pytorch 和 Tensorflow 2 作为深度学习框架，使用 Gym 作为强化学习环境。 虽然不是必需的，但我建议在具有 GPU 和 8 GB 内存的 PC 上运行此项目 先决

蒸馏法海水淡化工程设计规范.zip