Transformers 为数以千计的预训练模型奠定了基础（包括我们熟知的Bert、GPT、GPT-2、XLM等），支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨就是让最先进的 NLP 技术人人易用。Transformer还提供了便于快速下载和使用的API，让你可以把预训练模型用于给定文本上，在自己的数据集上对它们进行微调，然后通过modle hub与社区共享它们。此外，Transformer由三个最热门的深度学习库——Jax、PyTorch和TensorFlow支持，它们之间可以无缝整合。

DETR- End-to-End Object Detection with Transformers (Paper Explained)，来自需要你懂得的网站视频，生肉版本。

DETR学习分享：内含PPT分享

Transformers 正在成为许多神经网络架构的核心部分，被广泛应用于诸如NLP、语音识别、时间序列和计算机视觉等领域。Transformers 经历了许多改编和改造，从而产生了新的技术和方法。《Transformers 机器学习:深度探究》是第一本全面介绍Transformers的书。

AGBT-分子表示-组会PPT

Transformer自然语言处理，Natural Language Processing with Transformers: Building Language Applications with Hugging Face

Transformer自然语言处理，Natural Language Processing with Transformers: Building Language Applications with Hugging Face

Vision Transformers组内汇报PPT

We present a new method, called MEsh TRansfOrmer (METRO), to reconstruct 3D human pose and mesh vertices from a single image. Our method uses a transformer encoder to jointly model vertex-vertex and vertex-joint interactions, and outputs 3D joint coordinates and mesh vertices simultaneously. Compared to existing techniques that regress pose and shape parameters, METRO does not rely on any parametric mesh models like SMPL, thus it can be easily extended to other objects such as hands. We further

快速变形金刚 变压器是非常成功的模型，可以在许多自然语言任务中达到最先进的性能。但是，由于自我注意的二次缩放，很难将它们缩放为长序列。 该库是为我们对变压器快速关注的研究而开发的。您可以找到我们的论文清单，以及相关的论文和已实施的论文。 快速开始 以下代码构建了一个具有softmax注意和一个线性注意的变压器，并比较了每个变压器编码1000个元素所需的时间。 import torch from fast_transformers . builders import TransformerEncoderBuilder # Create the builder for our transformers builder = TransformerEncoderBuilder . from_kwargs ( n_layers = 8 , n_heads = 8 , que