多模态特征融合的遥感图像语义分割网络_孙汉淇.pdf

"多模态特征融合的遥感图像语义分割网络" 本文介绍了一种多模态特征融合的遥感图像语义分割网络，称为MMFNet。该网络能够融合 IRRG(Infrared、Red、Green)图像和 DSM(Digital Surface Model)图像，提取融合后的特征，并使用残差解码块(Residual Decoding Block, RDB)和复合空洞空间金字塔(Complex Atrous Spatial Pyramid Pooling, CASPP)模块提取跳跃连接的多尺度特征。 MMFNet 网络的架构主要包含以下几个部分： 1. 编码器：使用双输入流的方式同时提取 IRRG 图像的光谱特征和 DSM 图像的高度特征。 2. 解码器：使用残差解码块(Residual Decoding Block, RDB)提取融合后的特征，并使用密集连接的方式加强特征的传播和复用。 3. 复合空洞空间金字塔(Complex Atrous Spatial Pyramid Pooling, CASPP)模块：提取跳跃连接的多尺度特征。 实验结果表明，MMFNet 网络在国际摄影测量与遥感学会(International Society for Photogrammetry and Remote Sensing, ISPRS)提供的 Vaihingen 和 Potsdam 数据集上取得了 90.44%和 90.70%的全局精确度，相比较与 DeepLabV3+、OCRNet 等通用分割网络和 CEVO、UFMG_4 等同数据集专用分割网络具有更高的分割精确度。 本文的贡献在于： 1. 提出了多模态特征融合的遥感图像语义分割网络，能够融合 IRRG 图像和 DSM 图像，提高了遥感图像语义分割的精确度。 2. 引入了残差解码块(Residual Decoding Block, RDB)和复合空洞空间金字塔(Complex Atrous Spatial Pyramid Pooling, CASPP)模块，提高了网络的表达能力和泛化能力。 本文提出了一个多模态特征融合的遥感图像语义分割网络，能够提高遥感图像语义分割的精确度和泛化能力，有助于国土资源规划、智慧城市等领域的应用。