ELECTRA
中文 预训练 ELECTREA 模型: 基于对抗学习 pretrain Chinese Model
code Repost from google official code:
具体使用说明:参考 官方链接
Electra Chinese tiny模型路径
google drive
electra-tiny
baidu drive
electra-tiny
code:rs99
模型说明
与 tinyBERT 的 配置相同
generator 为 discriminator的 1/4
How to use official code
Steps
修改 configure_pretraining.py 里面的 数据路径、tpu、gpu 配置
修改 model_size:可在 code/util/training_utils.py 里面 自行定义模型大小
数据输入格式:原始的
1