旋转变压器
Rotary Transformer,简称RoFormer,是我们自研的语言模型之一,主要是为Transformer结构设计了新的旋转式位置编码(Rotary Position Embedding,RoPE)。RoPE具有良好的理论性质,并且是目前唯一一种可以应用到线性注意的绝对位置编码,目前来看实验结果也颇为不错。
详细介绍: :
依赖
bert4keras 0.10.4
参考配置:在24G显存的3090上,跑maxlen = 1024,batch_size能跑到8以上。
下载
(提取码:xy9x)
引用
Bibtex:
@techreport{zhuiyiroformer,
title={RoFormer: Transformer with Rotary Position Embeddings - ZhuiyiAI},
author={Jianlin Su}
2021-03-25 13:07:39
5KB
Python
1