Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。Transformer是：“首个完全抛弃RNN的recurrence，CNN的convolution，仅用attention来做特征抽取的模型。“ 本文简介了Transformer模型。

注意就是您所需要的：Pytorch实现 这是“”中的变压器模型的PyTorch实现（Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan N.Gomez，Lukasz Kaiser，Illia Polosukhin，arxiv，2017年）。 一种新颖的序列到序列框架利用自我注意机制，而不是卷积运算或递归结构，在WMT 2014英德翻译任务上实现了最先进的表现。 （2017/06/12） 官方Tensorflow实现可在以下位置找到： 。 要了解有关自我注意机制的更多信息，您可以阅读“”。 该项目现在支持使用训练有素的模型进行培训和翻译。 请注意，该项目仍在进行中。 BPE相关部件尚未经过全面测试。 如果有任何建议或错误，请随时提出问题以通知我。 :) 需求 python 3.4+ pytorch 1.3.1 火炬文字0.4.0 Spacy 2.2.2+ tqdm 莳萝 麻木 用法 WMT'16多式联运翻译：de-en WMT'16多模式翻译任务的培训示例（ ）。

时间序列转换器 Transformer 模型的实现（最初来自 ）应用于时间序列（由提供支持）。 变压器型号 Transformer 是基于注意力的神经网络，旨在解决 NLP 任务。 它们的主要特点是： 特征向量维度的线性复杂度； 序列计算的并行化，而不是顺序计算； 长期记忆，因为我们可以直接查看任何输入时间序列步骤。 这个 repo 将专注于它们在时间序列中的应用。 数据集和应用作为元模型 我们的用例是为建筑能耗预测建模一个数字模拟器。 为此，我们通过对随机输入（建筑特征和使用情况、天气等）进行采样创建了一个数据集，并获得了模拟输出。 然后我们以时间序列格式转换这些变量，并将其提供给转换器。 时间序列的改编 为了在时间序列上表现良好，必须进行一些调整： 嵌入层被通用线性层取代； 原始位置编码被删除。 可以改用“常规”版本，更好地匹配输入序列日/夜模式； 在注意力图上应用一个

本文主要讲解了抛弃之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用Attention。希望对您的学习有所帮助。本文来自网络，由火龙果软件刘琛编辑推荐AttentionIsAllYouNeed这篇论文主要介绍了一种新的机器翻译模型，该模型开创性的使用了很多全新的计算模式和模型结构。综合分析了现有的主流的nlp翻译模型的即基于CNN的可并行对其文本翻译和基于RNN的LSTM门控长短期记忆时序翻译模型，总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer，transformer模型没有使用CNN和RNN的方法和模块，开创性的将注

贝特维兹 BertViz是用于可视化Transformer模型中注意力的工具，支持库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了的以及的库。 资源资源 :joystick_selector: :writing_hand_selector: :open_book: 总览 正面图 头部视图可视化给定转换器层中一个或多个注意头产生的注意模式。 它基于出色的。 尝试此 其中已预加载了头部视图。 头部视图支持Transformers库中的所有模型，包括： BERT： GPT-2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 模型视图 模型视图提供了对模型所有层和头部的关注的鸟瞰图。 试用此 其中已预加载了模型视图。 模型视图支持Transformers库中的所有模型，包括： BERT： GPT2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 神经元视图 神经元视图将查询和键向量中的单个神经元可视化，并

tensorflow2.0版本 Transformer模型 中英翻译

小白总结的Transformer