可参看博客:https://blog.csdn.net/luolan9611/article/details/88578720
视觉问题回答(VQA)需要联合图像和自然语言问题,其中许多问题不能直接或清楚地从视觉内容中得到,而是需要从结构化人类知识推理并从视觉内容中得到证实。该论文提出了视觉知识记忆网络(VKMN)来解决这个问题,它将结构化的人类知识和深层视觉特征无缝融入端到端学习框架中的记忆网络中。与现有的利用外部知识支持VQA的方法相比,本文更多地强调了两种缺失的机制。首先是将视觉内容与知识事实相结合的机制。 VKMN通过将知识三元组(主体,关系,目标)和深层视觉特征联合嵌入到视觉知识特征中来处理这个问题。其次是处理从问题和答案对中扩展出多个知识事实的机制。VKMN使用键值对结构在记忆网络中存储联合嵌入,以便易于处理多个事实。实验表明,该方法在VQA v1.0和v2.0基准测试中取得了可喜的成果,同时在知识推理相关问题上优于最先进的方法。
1