Transformer 在自然语言处理、计算机视觉、音频处理等许多人工智能领域都取得了巨大的成功，也吸引了学术界和行业研究人员的大量兴趣。到目前为止，已经有各种各样的 Transformer 变体（又名 X-former）被提出，但是，关于这些 Transformer 变体的系统而全面的文献综述仍然缺失。这篇综述对各种 X-former 进行了全面介绍。

贝特维兹 BertViz是用于可视化Transformer模型中注意力的工具，支持库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了的以及的库。 资源资源 :joystick_selector: :writing_hand_selector: :open_book: 总览 正面图 头部视图可视化给定转换器层中一个或多个注意头产生的注意模式。 它基于出色的。 尝试此 其中已预加载了头部视图。 头部视图支持Transformers库中的所有模型，包括： BERT： GPT-2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 模型视图 模型视图提供了对模型所有层和头部的关注的鸟瞰图。 试用此 其中已预加载了模型视图。 模型视图支持Transformers库中的所有模型，包括： BERT： GPT2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 神经元视图 神经元视图将查询和键向量中的单个神经元可视化，并

图解Transformer

复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme

尚未训练过据说可以达到5.6 非干净数据也就是有噪声数据

斯坦福-李飞飞《Attention and Transformer》总结

综述

新增一个直接可以通过预训练模型训练任何的数据集的代码叫traindecoder 这样就可以任何的数据集都可以使用任何的数据集的预训练模型，节约训练时间

Speech-Transformer.rar 150轮的模型和代码

此应用程序将通过更改颜色来转换位图图像文件。 使用“节点index.js”运行文件（或使用./js在命令行中运行文件），后跟要编辑的位图文件的名称作为第一个命令行参数。 该文件必须已经在img目录中！ 否则，请从img目录指定相对路径。 例如../orignal.bmp将在与index.js相同的目录中找到original.bmp。 输入第二个参数的文件名。 默认情况下，创建的新文件将保存到img目录。 从此处指定相对路径以保存到其他位置。 例如../transformed.bmp会将transfomred.bmp保存在与index.js相同的目录中