BERT和知识提炼的问题解答
该存储库包含必要的代码，以便微调SQuAD 2.0数据集上的BERT。 此外，的技术是通过微调施加使用BERT作为教师模型小队2.0数据集。 使用Google Colab的1个Tesla V100 GPU获得了所有结果。
1.什么是SQuAD？
斯坦福问答数据集（SQuAD）是一种阅读理解数据集，由人群工作人员在一组Wikipedia文章上提出的问题组成，其中每个问题的答案是对应阅读段落或问题的一段文本或跨度可能无法回答。
SQuAD 2.0将SQuAD 1.1中的100,000个问题与超过50,000个由对抗性工作者对抗性编写的问题相结合，看起来类似于可回答的问题。 为了在SQuAD 2.0上取得出色的成绩，系统不仅必须在可能的情况下回答问题，而且还必须确定该段落何时不支持任何答案并放弃回答。 有关SQuAD数据集和当前排行榜的更多信息，您可以访问以下。
2021-10-22 11:08:27
806KB
1
持续学习
这是以下论文中描述的持续学习实验的PyTorch实现：
三种持续学习的方案（）
具有反馈连接的生成性重放是持续学习的通用策略（）
要求
当前版本的代码已经过测试：
pytorch 1.1.0
torchvision 0.2.2
运行实验
可以使用main.py运行单个实验。 主要选项有：
--experiment ：哪个任务协议？ （ splitMNIST | permMNIST ）
--scenario ：根据哪种情况？ （ task | domain | class ）
--tasks ：多少个任务？
要运行特定方法，请使用以下命令：
上下文相关门（XdG）：
2021-10-11 10:46:00
68KB
1
知识蒸馏在文本方向上的应用
模型相关等内容在有具体介绍。
目录
更新日志
2020.08.28
整理代码结构，抛弃借鉴的Bert模型，增加xlnet模型，预训练xlnet模型效果较差，可以在模型基础上再进行预训练，因此添加了模型预训练代码。
2020.07.15
修复bug，添加textGCN模型（单独训练，模型效果较差）。
2020.07.06
移除模型介绍＆部分模型实现，增加使用说明及运行环境。
2020.05.28
增加了直接使用学生模型训练代码，并使用公开测试集完成测试。
运行环境
python 3.7
pytorch 1.1 （BERT模型参考Bert-Chinese-Text-Classification-Pytorch，有较多改动）
transformers 3.0.2
torch 1.5.0
使用说明
下载Wikipedia_zh 中文维基百科 预训练词向量放入Knowl
2021-10-03 16:16:24
1.11MB
1
对比表示蒸馏（CRD），以及最新知识蒸馏方法的基准RepDistiller此回购协议：（1）涵盖以下ICLR 2020论文的实施：“对比表示蒸馏”（CRD）。
纸，项目页。
（2）在PyTorch中对12种最先进的知识提炼方法进行了基准测试，包括：（KD）-在神经网络中提炼知识（FitNet）-Fitnets：细深网的提示（AT）-更加关注注意：通过注意转移（SP）改善卷积神经网络的性能-相似性保留
2021-09-07 15:36:28
48KB
1
这篇文章利用知识蒸馏方式对PSPNet进行了模型压缩，包含传统logits蒸馏和logits与特征混合蒸馏两种方式。
Teacher：PSPNet model of ResNet18 backbone
Student： PSPNet model of ResNet50 backbone.
Dataset: PASCAL-VOC2012
2021-09-03 18:12:40
1022KB