lectra-pytorch：Electra的一种简单有效的实现，这是在Pytorch中从头开始预训练语言模型的最快方法-源码

伊莱克特拉-火炬 详细介绍了一种用于快速训练语言模型的简单工作包装。 与普通的屏蔽语言建模相比，它可以将训练速度提高4倍，并且如果训练时间更长，最终可以达到更好的性能。 特别感谢抽出时间为GLUE复制了结果。 安装 $ pip install electra-pytorch 用法 以下示例使用了reformer-pytorch ，可以通过pip安装。 import torch from torch import nn from reformer_pytorch import ReformerLM from electra_pytorch import Electra # (1) instantiate the generator and discriminator, making sure that the generator is roughly a quarter to a half