视觉问题回答项目，具有最先进的单一模型性能

介绍之前的模型和法欢迎来到Transformer的时代1. VQA任务简介VQA 介于图像理解（CV）和然语处理（NLP）的交集。VQA 任务的的是开发出种系统

VQA VQA项目

vqa_dict.json

基于Tensorflow的视觉问答系统VQA

奥斯卡：针对视觉和语言任务的对象语义对齐预训练 VinVL：重新研究视觉语言模型中的视觉表示 更新 月28日：已发布有关下游任务的模型，请检查 。 2020年5月15日：发布了用于下游任务微调的预训练模型，数据集和代码。 01/13/2021：我们的新工作提出了OSCAR +，这是OSCAR的改进版本，并提供了更好的对象属性检测模型来提取V + L任务的特征。 VinVL的工作在这里的所有七个V + L任务中都达到了SOTA性能。请继续关注模型和代码发布。 20年3月8日：发布了Oscar +预培训代码，请检查的最后一部分。 VinVL中的所有图像功能和模型检查点也已发布。请检查以获取详细信息。 介绍 该存储库包含重现《提出的结果所必需的源代码。我们提出了一种新的交叉模式预训练方法Oscar （对象语义对齐的预训练）。它利用在图像中检测到的对象标签作为锚点，从而大大简化了图像-文本对齐方

变形金刚 对VQA任务进行下行趋势化的预训练V + L模型的实现。 现在支持：Linux和上的VisualBERT，LXMERT和 。 笔记： 这只是一个测试版，如果遇到任何错误，请随时提出问题。 我们的实现基于的大型。 如果您采用V + L模型的预训练权重，请考虑引用其原始工作。 如果您发现我们的实施有帮助，请考虑引用以下内容：） @inproceedings{li2020comparison, title={A comparison of pre-trained vision-and-language models for multimodal representation learning across medical images and reports}, author={Li, Yikuan and Wang, Hanyin and Luo, Yuan},

VQA演示 已更新为可与Keras 2.0，TF 1.2和Spacy 2.0一起使用。此代码用于教育，因此重点在于简单性而不是速度。 这是一个简单的视觉问题演示演示，它使用预先训练的模型（请参阅models / CNN和models / VQA）来回答有关给定图像的给定问题。 相依性 Keras版本2.0+ 基于python的模块化深度学习库 Tensorflow 1.2+（可能也可以与Theano一起使用。最近提交后我还没有测试过Theano，请为Theano使用提交0f89007） scikit学习 python的经典机器库 Spacy版本2.0+ 用于加载手套矢量（word2vec） 升级和安装手套矢量python -m spacy下载en_vectors_web_lg OpenCV OpenCV仅用于调整图像大小和更改颜色通道， 您可以使用其他库，只要您可以传递224

视觉问题回答的关系感知图注意力网络 该存储库是的。 该存储库基于@ hengyuan-hu的和@ Jin-Hwa Kim的，并受其启发。 我们衷心感谢您分享代码。 先决条件 您可能需要一台具有4个GPU（每个GPU具有16GB内存）的计算机，以及用于Python 3的PyTorch v1.0.1。 使用CUDA10.0和Python 3.7安装 。 安装 。 安装 。 如果您使用的是miniconda，则可以使用tools/environment.yml安装所有必备组件。 数据 我们的实现使用了的预训练功能，每个图像具有10-100个自适应功能。 除此之外，还有GloVe载体和Visual Genome问题答案对。 为了方便起见，以下脚本可帮助您下载预处理的数据。 source tools/download.sh 除了数据之外，此脚本还下载了一些预训练的模型。 最后，应按如下

主要是看过的20年之前的相关论文整理