roformer:旋转变压器-源码

旋转变压器 Rotary Transformer，简称RoFormer，是我们自研的语言模型之一，主要是为Transformer结构设计了新的旋转式位置编码（Rotary Position Embedding，RoPE）。RoPE具有良好的理论性质，并且是目前唯一一种可以应用到线性注意的绝对位置编码，目前来看实验结果也颇为不错。 详细介绍： : 依赖 bert4keras 0.10.4 参考配置：在24G显存的3090上，跑maxlen = 1024，batch_size能跑到8以上。 下载 （提取码：xy9x） 引用 Bibtex： @techreport{zhuiyiroformer, title={RoFormer: Transformer with Rotary Position Embeddings - ZhuiyiAI}, author={Jianlin Su}