COCO LM预训练(WIP)
在Pytorch中实现 ,纠正和对比文本序列以进行语言模型预训练。 他们能够以自我监督的方式进行对比学习,以进行语言模型预训练。 似乎是Electra的坚实后继者。
安装
$ pip install coco-lm-pytorch
用法
使用x-transformers库的示例
$ pip install x-transformers
然后
import torch
from torch import nn
from x_transformers import TransformerWrapper , Encoder
from coco_lm_pytorch import COCO
# (1) instantiate the generator and discriminator, making sure that the generator is ro
1