内容概要：本文档是一份面向零基础的学习笔记，详细介绍了多模态模型的基础理论和技术要点，主要包括以下几个方面：初识Transformer和NLP基础，深入讲解Vision Transformer (ViT)的工作原理及其代码实现；详细介绍CLIP模型，涵盖模型架构、代码结构和训练过程；解析BLIP、BLIP2、Flamingo、MiniCPM-V等多个先进的多模态模型，涵盖预训练、图文对比学习、图文匹配、文本生成等方面的技术细节。此外，文档还提供了动手实验指南，帮助读者在实践中加深理解。 适合人群：初学者，尤其是对多模态模型感兴趣的科研人员、开发者。 使用场景及目标：适用于希望快速入门多模态模型领域的学习者。通过对这些模型的理解和实践，读者能够掌握多模态模型的基本原理和实际应用，为进一步研究和开发打下坚实的基础。 其他说明：文档不仅包含理论讲解，还提供了具体的代码示例和实践经验，适合结合代码进行学习。

人类通过多种感觉器官接触世界，例如眼睛、耳朵、触觉。多模态机器学习(Multimodal Machine Learning)研究包含不同模态数据的机器学习问题。常见的模态包括：视觉、文字、声音。

疾病知识图谱是一种连接、组织和访问有关疾病的不同信息的方式，对人工智能(AI)有许多好处。为了创建知识图谱，需要以疾病概念之间关系的形式从多模态数据集中提取知识，并对概念和关系类型进行规范化。我们介绍一种用于疾病关系提取和分类的多模式方法REMAP。REMAP机器学习方法将局部、不完全知识图谱和医学语言数据集嵌入到紧凑的潜向量空间中，然后对齐多模态嵌入以提取最佳疾病关系。应用REMAP方法构建了一个疾病知识图谱，关联关系为96,913个，文本数据集为124万句。在人类专家标注的数据集上，REMAP通过融合疾病知识图和文本信息，将基于文本的疾病关系提取提高了10.0%(准确率)和17.2% (F1-score)。此外，REMAP利用文本信息推荐知识图谱中的新关系，比基于图的方法高出8.4%(准确性)和10.4% (F1-score)。系统化的知识正在成为人工智能的支柱，创造了将语义注入人工智能并将其充分整合到机器学习算法中的机会。虽然先前的语义知识可以帮助从文本中提取疾病关系，现有的方法不能充分利用多模态数据集。REMAP是一种融合结构化知识和文本信息的多模式疾病关系提取和分类方法。RE

爱马仕 动画的注意力多模态学习。