Pytorch实现的各种知识蒸馏方法
Knowledge-Distillation-Zoo Pytorch 实现各种知识蒸馏 (KD) 方法。
本知识库是一个简单的参考资料,主要侧重于基础知识蒸馏/转移方法。
因此没有考虑许多技巧和变化,例如逐步训练、迭代训练、教师集成、KD 方法集成、无数据、自蒸馏、量化等。
希望它对您的项目或研究有用。
我将使用新的 KD 方法定期更新此 repo。
如果我遗漏了一些基本方法,请与我联系。
Lists Name Method Paper Link Code Link Baseline basic model with softmax loss — code Logits通过回归logits模拟学习论文代码ST软目标论文代码AT注意力转移论文代码Fitnet提示薄深度网络论文代码NST神经选择性转移论文代码PKT概率知识转移论文代码 FSP 求解流程过程论文代码 FT 因子转移论文代码 RKD 关系知识蒸馏论文代码 AB 激活边界论文代码 SP 相似性保存论文代码 Sobolev sobolev/jacobian 匹配论文代码 BSS 边
2021-06-30 11:04:58
48KB
机器学习
1