大部分基于卷积神经网络的双目立体匹配算法往往将双目图像对的像素级别特征作为匹配代价进行计算,缺乏将全局特征信息结合到立体匹配算法的能力,导致不适定区域(如弱纹理区域、反光表面、细长结构、视差不连续区域等)的匹配精度差,进而影响整体立体匹配精度。针对这个问题,提出一种基于多维特征融合(MDFF)的立体匹配算法,该算法主要由三个模块组成:残差开端(Inception-ResNet)模块、空间金字塔池化(SPP)模块和堆叠沙漏网络(SHN)模块。Inception-ResNet模块主要提取图像对局部特征信息;SPP模块主要提取图像对全局特征信息,构建匹配代价卷;SHN模块用来规则化匹配代价卷。在KITTI2012和KITTI2015数据集上进行验证,可得本文算法的三像素平均误匹配率为1.62%和1.78%,超过了国内外大部分先进算法;此外,本文提出的立体匹配算法在Apollo数据集和Middlebury数据集上也表现较好。

SGM算法在KITTI2015数据集上测评结果 开发环境：python=3.6、numpy=1.19.5、opencv-python=4.5.5.64 操作系统：Ubuntu20.04LTS 处理器：Intel(R) Core(TM) i7-9700 CPU @ 3.00GHz 实验记录： 1、WTA、SSD策略，disparity=190，radius=3，视差<=3精度：0.5611，运行时间：7.4344s 2、WTA、SSD策略，disparity=64，radius=3，视差<=3精度：0.5611，运行时间：2.7495s 3、SGM、SSD策略，disparity=64，radius=3，视差<=3精度：0.8161，运行时间：22.7137s 4、SGM、NCC策略，disparity=64，radius=3，视差<=3精度：0.8119，运行时间：28.0640s 5、SGM、SAD策略，disparity=64，radius=3，视差<=3精度：0.6681，运行时间：22.3349

基于C++平台通过第三方库opencv和ceres，利用SFM原理实现的多目视觉三维重建，结果通过bundle adjustment最小化重投影误差来优化结果

计算机视觉方向，单目/双目相机的详细标定原理以及图解，双目测距、三维重建 （世界坐标系到像素坐标系的转换，单目相机内外参数畸变系数的求解，单应性矩阵，双目标定，立体标定，立体校正，立体匹配，视差计算等）

基于matlab的双目结构光实现三维重建

利用SGBM算法进行双目测距

基于yolov5的目标检测和双目测距源码 包括： 1.yolov5 +sgbm算法集成 2. C++实现sgbm 3.python 实现sgbm 4. jetson tensort 部署 项目参考博客：https://blog.csdn.net/weixin_38346042/article/details/126807379?spm=1001.2014.3001.5501

一、 双目测距原理 二、 立体视觉模型 三、 立体校正

书名：Close-Range Photogrammetry and 3D Imaging - 3rd Edition 作者: Thomas Luhmann,Stuart Robson,Stephen Kyle,Jan Boehm 简介：《近景摄影测量与三维成像》，书中对双目立体视觉系统做了精度分析。在一个三维测量项目中，如果采用立体视觉方案，首先，要根据测量需求（精度、测量范围、速度等），确定立体视觉的硬件方案。Thomas Luhmann在他的《Close-Range Photogrammetry and 3D Imaging》（2014）中，给出立体视觉系统的简化分析方法。

使用zed摄像头 和yolo进行测距,需要你从官网上下载zed sdk然后进行配置，配置过程可能由于numpy版本问题导致不可以调用import pyzed.sl as sl