多模态学习的普遍性和深度学习的热度赋予了多模态深度学习鲜活的生命力和发展潜力。旨在多模态深度学习的发展前期，总结当前的多模态深度学习，发现在不同的多模态组合和学习目标下，多模态深度学习实现过程中的共有问题，并对共有问题进行分类，叙述解决各类问题的方法。

多模态医学图像配准技术的研究，林晓梅，魏巍，多模态医学图像配准近年来成为了医学图像处理领域的热点与难点。尽管这方面的研究已经开展有了一些成果，但目前的所应用的主要方

跨模态学习 NLPCC2020 讲习班内容 清华大学 Cui Peng，Zhang Ziwei 分享，相关ppt

ＧＡＮ 和 ＶＡＥ 结合深度学习网络进行基于音乐理论规则的智能音乐生成ꎬ探索智能生成音乐的算 法ꎮ 与传统的算法作曲不同ꎬ不需要手动的添加复杂的规则ꎬ而是通过训练初始音乐集、对乐曲集进行评估筛选ꎬ 最后通过 ＲＶＡＥ － ＧＡＮ 神经网络生成音乐ꎮ 通过适应度函数计算乐曲一系列特征的加权和ꎬ如音高和节奏的分 布ꎬ也可以计算与特定乐曲集之间的距离等一系列乐理理论规则ꎮ 在此基础上ꎬ采用半监督算法形成和弦结构模 型ꎬ结合乐曲的特征提取ꎬ研究并提出基于 ＧＡＮ 对抗生成网络和 ＶＡＥ 网络结合音乐理论规则的智能生成音乐对于 现代流行音乐的创作和实现艺术的大众化和量产化具有重要的理论和实际意义ꎮ

快速鲁棒的多模态遥感自动配准系统，匹配性能全面超越目前的遥感商业软件ERDAS和ENVI，并提供了测试数据和说明书，可支持大尺度图像(如大于20000*20000个像素）

在临床介入手术中，由于CT对人体的辐射较大，不适合用于术中导航，而超声的图像分辨率又相对不足，这些因素使得术中导航的精度受到限制。为了解决这一问题，我们开发了基于DICOM图像的多模态（CT或MR、超声）影像融合系统，该系统具备三维重建、多模态影像对比及多模态影像融合功能。通过多模态影像实时对比及影像融合显示，可以使医生更好的熟悉超声影像，从而有效地提高手术导航的精准性和安全性。该系统同样适用于医学院学生或科研工作者。

LOGO数据集

针对混凝过程难于数学建模实施精准控制,探讨了基于仿人智能的多模态加注投药控制策略.剖析了混凝过程的控制论特性与投药加注过程的控制难点,研究了加注投药的控制策略,结合原水净化站工程实践,提出了多模态的仿人智能控制算法.以二阶时滞过程加注投药控制为例,仿真实验验证了该策略在响应快速性、过程调节时间、稳态控制精度与超调性能等方面的优秀控制品质.仿真研究表明了多模态控制的可行、合理与可用性.

深度多模态子空间聚类的发展重要的几篇论文，这一方法对聚类增加了深度学习的方法，值得学习与研究

DMSC(深度多模态子空间聚类基于Pytorch的实现)，融合方式为亲和融合，空间融合很容易也可以实现。