计算机视觉方向，单目/双目相机的详细标定原理以及图解，双目测距、三维重建 （世界坐标系到像素坐标系的转换，单目相机内外参数畸变系数的求解，单应性矩阵，双目标定，立体标定，立体校正，立体匹配，视差计算等）

一、 双目测距原理 二、 立体视觉模型 三、 立体校正

相机标定,对于远距离的标定而言,很难使用棋盘格标定发进行标定,本文是针对于远距离标定时,在已经知道相机的内参标定的时候,提出的一种新的标定方法

精确标定能够发挥出聚焦型光场相机在场景重建和非接触测量等方面的作用。而标定精度提升的关键之一在于精确的特征提取算法。为了提升特征检测的精度和效率,提出一种基于原始图的棋盘格角点检测算法。利用稳健的角点检测算子对原始图角点进行检测,并利用二维角点与三维光场圆域特征的对应关系进行角点筛选。然后,利用图像一致性对角点进行亚像素优化。进行了仿真角点检测实验和仿真标定实验,并基于R29聚焦型光场相机得到的重建角点进行了距离测量实验。实验结果表明,所提角点检测算法的精度高于现有算法,并证明了基于所提角点检测方法的标定算法能够得到更加精准的结果。

我在算法公司实习完成的一个项目介绍ppt，可以搭配yolo等算法做到测车距。

基于多相机标定的全景实时拼接算法研究

基于HALCON的模版匹配与相机标定.pdf

针对TASI两步法相机标定过程无法求解相机主点位置的问题，引入灭点几何约束进行改进，推导并建立了平面格网上两组正交直线透视投影形成的双灭点与相机内参数以及TASI两步法相机标定过程参数间的严格数学关系，详细阐述了综合运用双灭点与径向准直约束计算相机内参数的迭代过程，并以此为基础，给出了相机外方位参数以及径向畸变参数的求解步骤。实验结果验证了该改进方法的有效性。

针对相机标定结果易受外界因素干扰的问题，为了提高标定准确度，利用已有的摄像机针孔成像模型，采用自适应角点检测算法提取靶标图像中的特征点，标定结果以重投影横纵像素误差的平均值作为性能指标，对均匀光源的照度、标定图片数量以及标定靶标上棋盘格尺寸3个影响因子做了相应的分组对比实验。研究结果表明，选择亮度高的光源提升标定准确度达到38%以上；特征点数目156个时，仅需18张～22张标定图片；相对较小的棋盘格尺寸可以使得标定准确度提高50%。以上结果充分说明了光源、图片数量和棋盘格尺寸对于提高相机标定准确度具有重要

matlab 相机标定代码 摄像机标定(Camera calibration)简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程。 [1]基本的坐标系： 世界坐标系； 相机坐标系； 成像平面坐标系； 像素坐标系 [2]一般来说，标定的过程分为两个部分： 第一步是从世界坐标系转为相机坐标系，这一步是三维点到三维点的转换，包括R，t（相机外参，确定了相机在某个三维空间中的位置和朝向）等参数； 第二部是从相机坐标系转为成像平面坐标系（像素坐标系），这一步是三维点到二维点的转换，包括K（相机内参,是对相机物理特性的近似）等参数； 投影矩阵 ： P=K [ R | t ] 是一个3×4矩阵，混合了内参和外参而成。 P=K[Rt] 二.基本知识介绍及 1、摄像机模型 Pinhole Camera模型如下图所示： 摄像机模型与标定 - 小企鹅 - 企鹅的博客 是一个小孔成像的模型，其中： [1]O点表示camera centre，即相机的中心点，也是相机坐标系的中心点； [2]z轴表示principal axis，即相机的主轴； [3]q点所在的平面表示image plane，即相机的像平面，也就是图片坐标系所在的二维平面； [4]O1点表示principal point，即主点，主轴与像平面相交的点； [5]O点到O1点的距离，也就是右边图中的f,即相机的焦距； [6]像平面上的x和y坐标轴是与相机坐标系上的X和Y坐标轴互相平行的； [7]相机坐标系是以X,Y,Z（大写）三个轴组成的且原点在O点，度量值为米（m）； [8]像平面坐标系是以x,y（小写）两个轴组成的且原点在O1点，度量值为米（m）； [9]像素坐标系一般指图片相对坐标系，在这里可以认为和像平面坐标系在一个平面上，不过原点是在图片的角上，而且度量值为像素的个数（pixel）； 2、相机坐标系→成像平面坐标系 [1]以O点为原点建立摄像机坐标系。点Q(X,Y,Z)为摄像机坐标系空间中的一点，该点被光线投影到图像平面上的q(x,y,f)点。 图像平面与光轴z轴垂直，和投影中心距离为f （f是相机的焦距）。按照三角比例关系可以得出： x/f = X/Z y/f = Y/Z ，即 x = fX/Z y = fY/Z 以图像平面的左上角或左下角为原点建立坐标系。假设像平面坐标系原点位于图像左下角，水平向右为u轴，垂直向上为v轴，均以像素为单位。 以图像平面与光轴的交点O1 为原点建立坐标系，水平向右为x轴，垂直向上为y轴。原点O1一般位于图像中心处，O1在以像素为单位的图像坐标系中的坐标为(u0, v0)。 像平面坐标系和像素坐标系虽然在同一个平面上，但是原点并不是同一个。 摄像机模型与标定 - 小企鹅 - 企鹅的博客 设每个像素的物理尺寸大小为 dx * dy (mm) ( 由于单个像素点投影在图像平面上是矩形而不是正方形，因此可能dx != dy)， 图像平面上某点在成像平面坐标系中的坐标为(x, y)，在像素坐标系中的坐标为(u, v)，则二者满足如下关系：[即(x, y)→(u, v)] u = x / dx + u0 v = y / dy + v0 用齐次坐标与矩阵形式表示为： 摄像机模型与标定 - 小企鹅 - 企鹅的博客 将等式两边都乘以点Q(X,Y,Z)坐标中的Z可得： 摄像机模型与标定 - 小企鹅 - 企鹅的博客 将摄像机坐标系中的（1）式代入上式可得： 则右边第一个矩阵和第二个矩阵的乘积亦为摄像机的内参数矩阵（单位为像素），相乘后可得： （2） 和（1）式相比，此内参数矩阵中f/dx, f/dy, cx/dx+u0, cy/dy+v0 的单位均为像素。令内参数矩阵为K，则上式可写成： 摄像机模型与标定 - 小企鹅 - 企鹅的博客 （3） 三.相机内参K（与棋盘所在空间的3D几何相关） 在计算机视觉中，摄像机内参数矩阵 其中 f 为摄像机的焦距，单位一般是mm;dx,dy 为像元尺寸;u0,v0 为图像中心。 fx = f/dx, fy = f/dy,分别称为x轴和y轴上的归一化焦距. 为更好的理解，举个实例： 现以NiKon D700相机为例进行求解其内参数矩阵： 就算大家身边没有这款相机也无所谓，可以在网上百度一下，很方便的就知道其一些参数—— 焦距 f = 35mm 最高分辨率：4256×2832 传感器尺寸：36.0×23.9 mm 根据以上定义可以有： u0= 4256/2 = 2128 v0= 2832/2 = 1416 dx = 36.0/4256 dy = 23.9/2832 fx = f/dx = 4137.8 fy = f/dy = 4147.3 分辨率可以从显示分辨率与图像分辨率两个方向来分类。 [1]显示分辨率（屏幕分辨率）是屏幕图像的精密度，是指显示器所能显示的像素有多少。由于屏幕上的点、线和面都是由像素组成的， 显示器可显示的像素越多，画面就越精细，同样的屏幕区域内能显示的信息也越多，所以分辨率是个非常重要的性能指标之一。 可以把整个图像想象成是一个大型的棋盘，而分辨率的表示方式就是所有经线和纬线交叉点的数目。 显示分辨率一定的情况下，显示屏越小图像越清晰，反之，显示屏大小固定时，显示分辨率越高图像越清晰。 [2]图像分辨率则是单位英寸中所包含的像素点数，其定义更趋近于分辨率本身的定义。 四.畸变参数（与点集如何畸变的2D几何相关。） 采用理想针孔模型，由于通过针孔的光线少，摄像机曝光太慢，在实际使用中均采用透镜，可以使图像生成迅速，但代价是引入了畸变。 有两种畸变对投影图像影响较大： 径向畸变和切向畸变。 1、径向畸变 对某些透镜，光线在远离透镜中心的地方比靠近中心的地方更加弯曲，产生“筒形”或“鱼眼”现象，称为径向畸变。 一般来讲，成像仪中心的径向畸变为0，越向边缘移动，畸变越严重。不过径向畸变可以通过下面的泰勒级数展开式来校正： xcorrected = x(1+k1r2+k2r4+k3r6) ycorrected = y(1+k1r2+k2r4+k3r6) 这里（x, y）是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离，（xcorrected ，ycorrected ）是校正后的新位置。 对于一般的摄像机校正，通常使用泰勒级数中的前两项k1和k2就够了；对畸变很大的摄像机，比如鱼眼透镜，可以使用第三径向畸变项k3 2、切向畸变 当成像仪被粘贴在摄像机的时候，会存在一定的误差，使得图像平面和透镜不完全平行，从而产生切向畸变。也就是说，如果一个矩形被投影到成像仪上时， 可能会变成一个梯形。切向畸变可以通过如下公式来校正： xcorrected = x + [ 2p1y + p2 (r2 + 2x2) ] ycorrected = y + [ 2p2x + p1 (r2 + 2y2) ] 这里（x, y）是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离，（xcorrected ，ycorrected ）是校正后的新位置。 五.摄像机的外参数 旋转向量（大小为1×3的矢量或旋转矩阵3×3）和平移向量（tx,ty,tz）。 旋转向量:旋转向量是旋转矩阵紧凑的变现形式，旋转向量为1×3的行矢量。 r就是旋转向量，旋转向量的方向是旋转轴 ,旋转向量的模为围绕旋转轴旋转的角度。 通过上面的公式，我们就可以求解出旋转矩阵R。同样的已知旋转矩阵，我们也可以通过下面的公式求解得到旋转向量： 。