人类通过多种感觉器官接触世界，例如眼睛、耳朵、触觉。多模态机器学习(Multimodal Machine Learning)研究包含不同模态数据的机器学习问题。常见的模态包括：视觉、文字、声音。

疾病知识图谱是一种连接、组织和访问有关疾病的不同信息的方式，对人工智能(AI)有许多好处。为了创建知识图谱，需要以疾病概念之间关系的形式从多模态数据集中提取知识，并对概念和关系类型进行规范化。我们介绍一种用于疾病关系提取和分类的多模式方法REMAP。REMAP机器学习方法将局部、不完全知识图谱和医学语言数据集嵌入到紧凑的潜向量空间中，然后对齐多模态嵌入以提取最佳疾病关系。应用REMAP方法构建了一个疾病知识图谱，关联关系为96,913个，文本数据集为124万句。在人类专家标注的数据集上，REMAP通过融合疾病知识图和文本信息，将基于文本的疾病关系提取提高了10.0%(准确率)和17.2% (F1-score)。此外，REMAP利用文本信息推荐知识图谱中的新关系，比基于图的方法高出8.4%(准确性)和10.4% (F1-score)。系统化的知识正在成为人工智能的支柱，创造了将语义注入人工智能并将其充分整合到机器学习算法中的机会。虽然先前的语义知识可以帮助从文本中提取疾病关系，现有的方法不能充分利用多模态数据集。REMAP是一种融合结构化知识和文本信息的多模式疾病关系提取和分类方法。RE

爱马仕 动画的注意力多模态学习。