fast-transformers:Pytorch库用于快速实现变压器-源码

快速变形金刚 变压器是非常成功的模型，可以在许多自然语言任务中达到最先进的性能。但是，由于自我注意的二次缩放，很难将它们缩放为长序列。 该库是为我们对变压器快速关注的研究而开发的。您可以找到我们的论文清单，以及相关的论文和已实施的论文。 快速开始 以下代码构建了一个具有softmax注意和一个线性注意的变压器，并比较了每个变压器编码1000个元素所需的时间。 import torch from fast_transformers . builders import TransformerEncoderBuilder # Create the builder for our transformers builder = TransformerEncoderBuilder . from_kwargs ( n_layers = 8 , n_heads = 8 , que