基于多维特征融合的双目立体匹配算法研究

大部分基于卷积神经网络的双目立体匹配算法往往将双目图像对的像素级别特征作为匹配代价进行计算,缺乏将全局特征信息结合到立体匹配算法的能力,导致不适定区域(如弱纹理区域、反光表面、细长结构、视差不连续区域等)的匹配精度差,进而影响整体立体匹配精度。针对这个问题,提出一种基于多维特征融合(MDFF)的立体匹配算法,该算法主要由三个模块组成:残差开端(Inception-ResNet)模块、空间金字塔池化(SPP)模块和堆叠沙漏网络(SHN)模块。Inception-ResNet模块主要提取图像对局部特征信息;SPP模块主要提取图像对全局特征信息,构建匹配代价卷;SHN模块用来规则化匹配代价卷。在KITTI2012和KITTI2015数据集上进行验证,可得本文算法的三像素平均误匹配率为1.62%和1.78%,超过了国内外大部分先进算法;此外,本文提出的立体匹配算法在Apollo数据集和Middlebury数据集上也表现较好。