立体匹配是立体视觉从图像生成三维点云的常规手段。立体匹配算法主要是通过建立一个能量代价函数，通过此能量代价函数最小化来估计像素点视差值。立体匹配算法的实质就是一个最优化求解问题，通过建立合理的能量函数，增加一些约束，采用最优化理论的方法进行方程求解，这也是所有的病态问题求解方法。 双目立体匹配可划分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。 匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。匹配代价计算的方法有很多，本课设使用灰度绝对值差（AD，Absolute Differences）。 代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。 视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优

经典的极线校正程序Fusiello_epipolarcode MATLAB完整源代码

包含20余篇立体匹配领域的经典论文，都是近五年深度学习与立体匹配相结合的顶会文章，可以结合博客里的论文阅读笔记学习。

关于立体匹配的算法，配有测试的图片，通过插值的方法获得比较稠密的视差效果。

立体匹配的标准图及其视差图sawtooth

Matlab rms函数代码立体配对项目 一个Matlab项目，实现了具有自适应窗口形状的Kanade立体匹配算法。 文件索引： Benchmark1.m-关于9种以上窗口形状的初始工作 Benchmark3.m-我们算法的主要实现。 它使用以下功能： 不确定度.m：在给定窗口内计算不确定度估计值的函数。 crementDisp.m：一个函数，用于在我们扩展窗口之后计算视差增量。 initialDisparity.m：将基准1的结果重构为一个函数，该函数会生成视差图的初始估计 originalLab.m-包含运行算法的代码，该算法通过简单地改变所有差异来计算SSD。 这段代码还会生成我们的RMS与窗口大小图 NewWindow.m-一个包装类，用于提供有关我们在其上进行计算的窗口的信息 StereoImage.m-另一个包装类，包含一组立体图像的各个方面 运行：要查看我们的Kanade和Okutomi算法最终实现的结果，请运行Benchmark3。 立体声图像输入可以更改为任何图像。

双目立体视觉中的核心部分，利用AD-census算法实现立体匹配

针对AD-Census变换采用固定权重将AD变换代价与Census变换代价合成的双目立体匹配代价无法体现像素点区域特征的问题，提出一种基于自适应权重AD-Census变换的双目立体匹配算法。算法首先通过增加相邻像素点的灰度差阈值条件改善十字支撑自适应窗口；然后以每个像素点的十字支撑自适应窗口的最短臂长为自变量，利用指数形式的函数，进行AD变换代价与Census变换代价合成权重的自适应设置。由于像素点十字支撑自适应窗口的最短臂长能够反映像素点的区域特性，因此自适应设置的权重大小与像素点的区域特性直接相关，计算图像边缘区域像素点的匹配代价时，AD变换的权重大；计算平滑区域像素点的匹配代价时，Census变换的权重大。Middlebury第3代双目立体匹配评估平台的结果显示，基于自适应权重AD-Census变换的双目立体匹配性能与基于AD-Census变换的双目立体匹配性能相比，所有图像集的全部像素点的视差平均误差减小了25%，非遮挡像素点的视差平均误差减小了20%，性能得到了提升；平台上包括Adir在内的多个图像集的匹配结果表明基于自 适应权重AD-Census变换的双目立体匹配更适合含纹理丰富、存在重复区域的图像。

通过配置OpenCV，在VC6.0下实现双目立体匹配，包括基于稀疏点、密集点的匹配及其重建。

匹配窗口大小和形状是影响区域立体匹配算法效果的关键因素之一。根据相位一致性能反映灰度变化快慢情况和抗干扰能力较强的特点,对图像进行相位一致性检测,再根据监测的值确定像素的特性,然后按不同特性采用不同窗口进行匹配,并结合非参量测度和灰度值构成复合费用函数值,得到最终的视差图。实验结果表明,本算法有较好的匹配效果。