COCO LM预训练（WIP）
在Pytorch中实现 ，纠正和对比文本序列以进行语言模型预训练。 他们能够以自我监督的方式进行对比学习，以进行语言模型预训练。 似乎是Electra的坚实后继者。
安装
$ pip install coco-lm-pytorch
用法
使用x-transformers库的示例
$ pip install x-transformers
然后
import torch
from torch import nn
from x_transformers import TransformerWrapper , Encoder
from coco_lm_pytorch import COCO
# (1) instantiate the generator and discriminator, making sure that the generator is ro
2022-11-29 23:50:20
117KB
1
语言模型预训练已经显示出可以捕获数量惊人的世界知识，这对于NLP任务(例如问题
解答)至关重要。但是，此知识隐式存储在神经网络的参数中，需要更大的网络才能
覆盖更多的事实。
为了以更模块化和可解释的方式捕获知识，我们使用潜在的知识检索器增强了语言模
型的预训练，检索器使模型可以从预训练、微调和推理期间使用的大型语料库(如
Wikipedia)中检索并使用文档。首次，我们展示了如何使用蒙版语言建模作为学习信
号并通过考虑数百万个文档的检索步骤进行反向传播，从而以无监督的方式对这种知
识检索器进行预训练。
我们通过微调开放域问答(Open-QA)的挑战性任务，证明了检索增强语言模型预训练
(REALM)的有效性。我们在三个流行的Open-QA基准测试中与最先进(SOTA)的显式和隐
式知识存储模型进行了比较，发现我们在性能上优于所有以前的方法(绝对精度为
4-16％)，同时还提供了定性优势，例如可解释性和模块化。
2022-10-14 00:25:44
727KB
1
NLP领域取得最重大突破！谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
2022-05-26 23:37:46
717KB
1
伊莱克特拉-火炬
详细介绍了一种用于快速训练语言模型的简单工作包装。 与普通的屏蔽语言建模相比，它可以将训练速度提高4倍，并且如果训练时间更长，最终可以达到更好的性能。 特别感谢抽出时间为GLUE复制了结果。
安装
$ pip install electra-pytorch
用法
以下示例使用了reformer-pytorch ，可以通过pip安装。
import torch
from torch import nn
from reformer_pytorch import ReformerLM
from electra_pytorch import Electra
# (1) instantiate the generator and discriminator, making sure that the generator is roughly a quarter to a half
2021-12-11 21:45:15
63KB
1
2020-Rethinking Pre-training and Self-training.pdf
2021-08-15 13:16:31
332KB
1