基于BERT的蒸馏实验 参考论文《从BERT提取任务特定的知识到简单神经网络》 分别采用keras和pytorch基于textcnn和bilstm（gru）进行了实验 实验数据分割成1（有标签训练）：8（无标签训练）：1（测试） 在情感2分类服装的数据集上初步结果如下： 小模型（textcnn＆bilstm）准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91 蒸馏模型准确率在0.87〜0.88 实验结果与论文某些基本一致，与预期相符 后续将尝试其他更有效的蒸馏方案 使用方法 首先finetune BERT python ptbert.py 然后把BERT的知识蒸馏到小模型里

常减压蒸馏装置与设备专题讲解PPT课件.rar

人脸识别蒸馏代码

石油化工过程系统概论PPT课件-西南石油大学 原油电脱盐、常减压蒸馏装置与设备 催化裂化装置、延迟焦化装置 催化重整装置、制氢装置英文 加氢裂化装置、加氢精制装置、脱硫装置 更多下： http://download.csdn.net/user/gouyue

pytorch_classification 利用pytorch实现图像分类，其中包含的密集网，resnext，mobilenet，efficiencynet，resnet等图像分类网络，可以根据需要再行利用torchvision扩展其他的分类算法 实现功能 基础功能利用pytorch实现图像分类 包含带有warmup的cosine学习率调整 warmup的step学习率优调整 多模型融合预测，修正与投票融合 利用flask实现模型云端api部署 使用tta测试时增强进行预测 添加label smooth的pytorch实现（标签平滑） 添加使用cnn提取特征，并使用SVM，RF，MLP，KN

知识蒸馏 knowledge distillation入门小demo GitHub链接：https://github.com/cv-ape/knowledge_distill-pytorch-demo-about-mnist

移动式yolov5修剪蒸馏 mobilev2-yolov5s的通道修剪和蒸馏。超轻但性能更好！ TensorRT版本===> Android版本===> 背景 yolov5s在640x640分辨率下的计算量和参数量分别为8.39G和7.07M。在速度上仍然有提升空间，通过替换backbone（mobilenetv2），通道剪枝对模型进行压缩。 。本项目以工程化为基础，主要是模型端的优化。实现了常用的剪枝和蒸馏算法，并完成了一个简单的介绍和评估。将工程可用模型转换成对应的部署版本。 基准线 数据集采用Pascal VOC，训练集= train2007 + train2012 + val2007 + val2012，测试集= test2007，基线采用mobile-yolo（imagenet预训练），如果没有特别说明，第一个模块采用重点如果特定特殊说明则可以使用替换参数，batchsize

Tools and Methods for the Distillation of Entanglement in Continuous Variable Quantum Optics

本资源是知识蒸馏的相关代码：老师模型+学生模型，以及学生模型需要用到的KDLoss