红外和可见光图像融合算法的研究进展

来自众多资源的信息协作称为融合。 红外图像无法显示面部识别所需的最精确功能。 但是，红外图像和可见图像中的信息是独立且互补的。 因此，将红外和可见信息合并为孤立图像对自动面部识别很有帮助。 本文基于对融合方法，算法和数据集以及基于小波，基于特征和基于局部二进制模式的融合工具的研究，对融合方法进行了划分，包括每种方法的优缺点和准确性。 本文还讨论了红外面部图像特征提取中的挑战。

2022新整理红外热图像目标检测数据集（9500多张图像，及其对应可见光图像，COCO标签，80类），全套共13.4G

针对同一场景的红外和可见光图像间一致特征难以提取和匹配的难题, 提出了一种在多尺度空间中基于边缘最优映
射的自动配准算法. 在由粗至细的尺度空间中, 算法分别采用仿射模型和投影模型作为参考图像和待配准图像间的空间变换
模型. 在每个尺度层上, 首先基于相位一致性方法提取两幅图像的边缘结构, 并在相应的空间变换模型下将在待配准图像中提
取的二值边缘映射到参考图像的边缘强度图上; 接着采用并行遗传算法寻找一组全局最优的模型参数, 使两幅图像间的结构
相似度最大. 在各层的寻优结束之后, 使用Powell 算法对全局寻优后的模型参数进行局部精化. 实验结果表明, 该算法能够充
分利用图像间的视觉相似结构, 有效地实现红外和可见光图像的自动配准.

SAR和可见光图像成像机理不同,图像差异较大,较难取得良好的融合效果。本文面向目标识别,通过分析图像的成像机理,首先在NSCT融合框架下,将SAR图像中重要的目标信息加入到可见光图像中,并尽可能多的保留源图像的边缘细节信息;再结合数学形态学和多尺度空间理论,提取源图像的亮、暗细节特征,进行特征级融合,得到亮、暗细节特征显著增强的融合图像。实验结果表明,本文算法有效的融合了SAR图像的目标信息,并增强了源图像的细节特征,达到了较好的视觉效果,提高了图像的目标检测和识别能力。

（信号处理2020） 红外和可见光图像的贝叶斯融合

针对现有的红外与可见光图像融合算法存在融合图像的对比度与清晰度降低和细节纹理信息丢失等问题,提出将鲁棒主成分分析(RPCA)、压缩感知(CS)和非下采样轮廓波变换(NSCT)相结合的融合算法。首先对两幅源图像分别进行预增强处理,应用RPCA分解得到相应的稀疏分量和低秩分量;然后对稀疏矩阵利用结构随机矩阵压缩采样,利用高斯梯度-信息反差对比度(GG-DCI)压缩融合,经正交匹配追踪法(OMP)重构;接着对低秩矩阵采用NSCT分解成低频子带和高频子带,低频子带选用区域能量-直觉模糊集(RE-IFS)融合,最高频子带利用最大绝对值规则融合,其他高频子带选用自适应高斯区域方差融合;最后将融合后的稀疏分量和低秩分量叠加得到融合图像。实验结果表明,本文算法相比其他算法能够更好地提高融合图像的对比度和清晰度,保留了丰富的细节纹理信息,客观评价指标也总体优于现有算法,有效提升了红外与可见光图像的融合效果。

malab的红外与可见光图像配准完整代码

小太阳能电池板损伤检测可见光图像数据集（1k多张，voc标签）

（MATLAB版代码）红外与可见光图像配准算法