VIT(vision transformer)实现图像分类，是将transformer首次应用于CV(计算机视觉)领域，该资源包含所有源代码，拿走技能运行跑通，包含数据集和训练好的权重，分类精度高达99%以上。

第八次组会的PPT，讲解的内容为Vision Transformer 1.全文翻译：http://t.csdn.cn/P5i1H 2.知识点总结：深入浅出一文图解Vision in Transformer http://t.csdn.cn/NlVDJ

ViT的全文翻译，结构同原文保持一致。 1.全文翻译的markdown原文件 2.ViT的原文 3.参考博客http://t.csdn.cn/PLzkf

可直接运行

本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用pytorch版本的VIT图像分类模型实现分类任务。 通过本文你和学到： 1、如何构建VIT模型？ 2、如何生成数据集？ 3、如何使用Cutout数据增强？ 4、如何使用Mixup数据增强。 5、如何实现训练和验证。 6、如何使用余弦退火调整学习率？ 7、预测的两种写法。 这篇文章的代码没有做过多的修饰，比较简单，容易理解。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/123049220

1.Transformer原文 2.ViT原文 3.Transformer综述 4.博客：ViT 简单理解 Vision Transformer 地址：https://blog.csdn.net/weixin_43312117/article/details/122922513?spm=1001.2014.3001.5501

变形的ViT 将可变形的多头注意力应用于ViT架构 待办事项清单： 完成日志记录代码和wandb日志记录 实施timm版本（用于224x224 16补丁尺寸图像的执行器和变压器） 代码和测试变形注意 变压器 演员 编码和测试本地感知的初始化 变压器 演员 编码和测试DeBERTa注意 变压器 演员 用法 结果 用法 链接 （可变形的多尺度注意） cp pc注意） （可识别位置的初始化） （执行器tensorflow实现） 库） 日志记录）

ViT PyTorch 快速开始 使用pip install pytorch_pretrained_vit安装，并使用以下命令加载经过预训练的ViT： from pytorch_pretrained_vit import ViT model = ViT ( 'B_16_imagenet1k' , pretrained = True ) 或找到Google Colab示例。 概述 该存储库包含来自的架构的按需PyTorch重新实现，以及预训练的模型和示例。 此实现的目标是简单，高度可扩展且易于集成到您自己的项目中。 目前，您可以轻松地： 加载预训练的ViT模型 评估ImageNet或您自己的数据 在您自己的数据集上微调ViT （即将推出的功能）即将推出： 在ImageNet（1K）上从头训练ViT 导出到ONNX以进行有效推理 目录 关于ViT 视觉变压器（ViT）是在图像

在PyTorch中实现Vi（sual）T（transformer） 大家好，新年快乐！ 今天，我们将要实现著名的Vi （双） T （变压器），该产品在“。 代码在这里，可以从下载本文的交互式版本。 ViT将很快在我称为新计算机视觉库中提供 这是一个技术教程，而不是您在普通的中级文章中找到的使您变得富有的前5个最重要的熊猫功能。 因此，在开始之前，我强烈建议您： 看看惊人的网站 观看 阅读文档 因此，ViT使用在图像上工作的普通变压器（“提出的一种变压器）。 但是，如何？ 下图显示了ViT的体系结构 输入图像被分解为16x16展平的小块（图像未按比例绘制）。 然后使用普通的完全连接层将它们嵌入，在它们前面添加特殊的cls令牌，并对positional encoding求和。 生成的张量首先传递到标准Transformer，然后传递到分类头。 就是这样。 本文的结构分为以下几节

视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用型号 我们提供，这些是从原始jax / flax wieghts转换而来的。 您可以下载它们并将文件放在“ weights / pytorch”下以使用它们。 否则，您可以下载，并将这些帧放在“ weights / jax”下以使用它们。 我们将在线为您转换权重。 数据集 当前支持三个数据集：ImageNet2012，CI