上传者: 38621897
|
上传时间: 2022-05-09 20:57:13
|
文件大小: 795KB
|
文件类型: PDF
1. Abstract
协同注意力机制在最近几年广泛用于 VQA 领域,以往的协同注意力多是先计算各模态的注意力分布信息,再建立不同模态间的相关性,这样忽略了模态内的相关性。本篇论文在 Self-Attention 机制的基础上,应用 Transformer 设计 MCA 模块,通过级联的方式搭建深层模块化网络 MCAN
2. Model
2.1 MCA
Self-Attention (SA) 用于发掘模块内的关系,Guided-Attention (GA) 用于发掘模块间的关联,模块的设计遵循 Transformer 一文中的 scaled dot-product attention 模块