视觉变压器
Pytorch重新实现了针对随论文 ,Alexey Dosovitskiy,Lucas Beyer,Alexander Kolesnikov,Dirk Weissenborn,翟小华,Thomas Unterthiner,Mostafa Dehghani一起发布, Matthias Minderer,Georg Heigold,Sylvain Gelly,Jakob Uszkoreit和Neil Houlsby。
本文表明,将Transformers直接应用于图像补丁并在大型数据集上进行预训练,在图像识别任务上确实能很好地工作。
Vision Transformer使用标准的Transformer编码器和固定大小的补丁程序,可以实现图像识别任务中的最新技术。为了执行分类,作者使用了在序列中添加一个额外的可学习的“分类令牌”的标准方法。
用法
1.下载经过预先训练的模型(
1