pytorch-performer:使用pytorch的Performer简单实现-源码

演员 pytorch Performer的简单实现。 模型 表演者使用随机特征图来近似内核。内核期望取代Transformer的“点积自关注”。 Softmax内核 kernel_transformation=softmax_kernel_transformation. 鲁鲁内核 kernel_transformation=relu_kernel_transformation 测试与范例 语言模型 动力总成 预训练屏蔽语言模型。 预训练文件： /example/train_mlm.py 。 配置文件： /example/config.json 用法 ①准备要训练的数据集和词汇②检查config.json中的配置③运行/example/train_mlm.py 精读 去做 表演者绩效测试 编写测试示例 适用于语言模型 评估语言模型 参考