简单实现跨模态检索（pycharm运行）

跨模态检索指的是：根据一个模态的查询样本，在另一个模态上搜索相关的样本。 例如，给出一张图像，去检索包含相同对象或主题的文本描述；或是给出一段文本，去检索带有其描述对象的图片。 但由于各模态之间具有不同的数据表现形式，所以不同模态的样本间并不能直接进行相似性比较。 以Pascal Sentence数据集为实力，用pytorch写一个demo 文章链接：https://blog.csdn.net/zzpl139/article/details/128372023

单模态和跨模态检索任务 依存关系 我们建议对以下软件包使用Anaconda：Python 2.7， （> 0.1.12）， （> 1.12.1）， 朋克句子分词器： import nltk nltk . download () > d punkt 下载资料 在此示例中，我们使用MSCOCO图像标题作为数据集，对于单个模型（图像或文本），您只能使用图像/文本作为训练数据，皮质模态检索与单个模态检索共享相同的框架。 您可以从MSCOCO图像字幕网站下载数据，或从和下载预先计算的图像功能。 要使用完整的图像编码器，请在，和从其原始来源下载图像。 wget http://www.cs.toronto.edu/~faghri/vsepp/vocab.tar wget http://www.cs.toronto.edu/~faghri/vsepp/data.tar wget http:/

跨模态中心损失

随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生。跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量。

近年来，由于多模态数据的快速增长，跨模态检索受到了研究者的广泛关注，它将一种模态的数据作为查询去检索其它模态的数据。

Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval(CVPR2018)