用于可见红外人员重新识别的动态双注意力聚合学习

可见红外行人重新识别 (VI-ReID) 是一个具有挑战性的跨模态行人检索问题。 由于较大的类内变化和具有大量样本噪声的跨模态差异，很难学习有区别的部分特征。 相反，现有的 VI-ReID 方法倾向于学习全局表示，这些表示具有有限的可识别性和对噪声图像的弱鲁棒性。 在本文中，我们通过挖掘 VI-ReID 的模态内部分级和跨模态图级上下文线索，提出了一种新颖的动态双注意力聚合 (DDAG) 学习方法。 我们提出了一个模态内加权部分注意模块，通过将领域知识强加于部分关系挖掘来提取区分原生部分聚合特征。 为了增强对嘈杂样本的鲁棒性，我们引入了跨模态图结构化注意力，以增强具有跨两种模态关系的上下文关系的表示。 我们还开发了一种无参数动态对偶聚合学习策略，以渐进式联合训练的方式自适应地集成这两个组件。 大量实验表明，DDAG 在各种设置下都优于最先进的方法。 关键词：人员重新识别，图注意，跨模态