随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受 到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态 信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期 自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结 构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨 模态预训练模型的最新进展。
2022-06-25 20:05:31
4.44MB
1
基于transformers+bert预训练模型在语义相似度任务上的finetune
2022-06-21 01:23:44
429.65MB
1
基于pytorch平台的，用于图像超分辨率的深度学习模型：SRCNN。
其中包含网络模型，训练代码，测试代码，评估代码，预训练权重。
评估代码可以计算在RGB和ＹＣｒＣｂ空间下的峰值信噪比PSNR和结构相似度。
2022-06-15 21:05:24
2.39MB
1
基于pytorch平台的，用于图像超分辨率的深度学习模型：ＦSRCNN。
其中包含网络模型，训练代码，测试代码，评估代码，预训练权重。
评估代码可以计算在RGB和ＹＣｒＣｂ空间下的峰值信噪比PSNR和结构相似度。
2022-06-15 21:05:23
12.24MB
1