介绍之前的模型和法欢迎来到Transformer的时代1. VQA任务简介VQA 介于图像理解（CV）和然语处理（NLP）的交集。VQA 任务的的是开发出种系统

包括机器学习基本算法+数学原理、transformer及bert流程图

这个数据集有两万多条平行语料，适合学习seq2seq或者transformer的时候练习用。里面有统计好的该语料的词典，使用python pickle.load查看

变压器-TTS Pytorch实现 与众所周知的saco2seq模型（如tacotron）相比，该模型的训练速度快约3至4倍，并且合成语音的质量几乎相同。 通过实验确认，每步花费约0.5秒。 我没有使用波网声码器，而是使用tacotron的CBHG模型学习了后网络，并使用griffin-lim算法将频谱图转换为原始波。 要求 安装python 3 安装pytorch == 0.4.0 安装要求： pip install -r requirements.txt 数据 我使用了LJSpeech数据集，该数据集由成对的文本脚本和wav文件组成。 完整的数据集（13,100对）可在下载。 我将和用作预处理代码。 预训练模型 您可以 下载预训练的模型（AR模型为160K，Postnet为100K） 在检查点/目录中找到预训练的模型。 注意图 约15k步后出现对角线对齐。 以下注意图以16

VIT(vision transformer)实现图像分类，是将transformer首次应用于CV(计算机视觉)领域，该资源包含所有源代码，拿走技能运行跑通，包含数据集和训练好的权重，分类精度高达99%以上。

PyTorch实现基于Transformer的神经机器翻译

李宏毅深度学习2019讲义。19年最新的课程，Attact, Mete learning, GAN, Bert, Transformer

Meta Graph Transformer: A Novel Framework for Spatial–Temporal Traffic Prediction的解析代码 代码解说见：https://blog.csdn.net/panbaoran913/article/details/125316113

该代码采用多线程技术、swin transformer检测算法对图片或者视频进行人脸识别，并通过pyqt5进行界面设计，使其更加方便。

本文来自于segmentfault，文章介绍了Transformer的整体结构、attention计算过程等相关内容。上图是经典的双向RNN模型，我们知道该模型是通过递归的方式运行，虽然适合对序列数据建模，但是缺点也很明显“它无法并行执行”也就无法利用GPU强大的并行能力（这里插句题外话，正因为GPU强大的并行能力，所以batch_size等于1和等于200运算时间基本差不多），再加上各种门控机制，运行速度很慢。一般而言，编码器输出编码向量C作为解码器输入，但是由于编码向量C中所有的编码器输入值贡献相同，导致序列数据越长信息丢失越多。CNN网络相比RNN网络，它虽然可以并行执行，但是无法一次捕