KnowledgeDistillation:Knowledge distillation in text classification with pytorch. 知识蒸馏，中文文本分类，教师模型BERT、XLNET，学生模型biLSTM-源码

知识蒸馏在文本方向上的应用 模型相关等内容在有具体介绍。 目录 更新日志 2020.08.28 整理代码结构，抛弃借鉴的Bert模型，增加xlnet模型，预训练xlnet模型效果较差，可以在模型基础上再进行预训练，因此添加了模型预训练代码。 2020.07.15 修复bug，添加textGCN模型（单独训练，模型效果较差）。 2020.07.06 移除模型介绍＆部分模型实现，增加使用说明及运行环境。 2020.05.28 增加了直接使用学生模型训练代码，并使用公开测试集完成测试。 运行环境 python 3.7 pytorch 1.1 （BERT模型参考Bert-Chinese-Text-Classification-Pytorch，有较多改动） transformers 3.0.2 torch 1.5.0 使用说明 下载Wikipedia_zh 中文维基百科 预训练词向量放入Knowl