"多模态特征融合的遥感图像语义分割网络"
本文介绍了一种多模态特征融合的遥感图像语义分割网络,称为MMFNet。该网络能够融合 IRRG(Infrared、Red、Green)图像和 DSM(Digital Surface Model)图像,提取融合后的特征,并使用残差解码块(Residual Decoding Block, RDB)和复合空洞空间金字塔(Complex Atrous Spatial Pyramid Pooling, CASPP)模块提取跳跃连接的多尺度特征。
MMFNet 网络的架构主要包含以下几个部分:
1. 编码器:使用双输入流的方式同时提取 IRRG 图像的光谱特征和 DSM 图像的高度特征。
2. 解码器:使用残差解码块(Residual Decoding Block, RDB)提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。
3. 复合空洞空间金字塔(Complex Atrous Spatial Pyramid Pooling, CASPP)模块:提取跳跃连接的多尺度特征。
实验结果表明,MMFNet 网络在国际摄影测量与遥感学会(International Society for Photogrammetry and Remote Sensing, ISPRS)提供的 Vaihingen 和 Potsdam 数据集上取得了 90.44%和 90.70%的全局精确度,相比较与 DeepLabV3+、OCRNet 等通用分割网络和 CEVO、UFMG_4 等同数据集专用分割网络具有更高的分割精确度。
本文的贡献在于:
1. 提出了多模态特征融合的遥感图像语义分割网络,能够融合 IRRG 图像和 DSM 图像,提高了遥感图像语义分割的精确度。
2. 引入了残差解码块(Residual Decoding Block, RDB)和复合空洞空间金字塔(Complex Atrous Spatial Pyramid Pooling, CASPP)模块,提高了网络的表达能力和泛化能力。
本文提出了一个多模态特征融合的遥感图像语义分割网络,能够提高遥感图像语义分割的精确度和泛化能力,有助于国土资源规划、智慧城市等领域的应用。
2024-07-01 16:47:59
1.49MB
1