双目深度算法

1. 图像深度的国内外估计图像深度的方法

国内外图像深度估计的方法主要分为单y深度估计的方法和双目深度估计的方法，单目是基于一个镜头，而双目是基于两个镜头，基于它们有许多深度估计的方法，下面分别给予介绍。 单目是基于一幅图像来估计它的深度信息，相对于双目深度估计的方法，-有一定的难度，许多学者提出了大量的基于单目来深度估计的方法，有基于图像内容理解，基于聚焦，基于散焦，基于明暗变化等，下面简要介绍其中的两种方法。
(1)基于图像内容理解的深度估计方法 图像内容理解的深度估计方法主要是通过对图像中的各个景物分块进行分类，然后对每个类别的景物分别用各自适用的方法估计它们的深度信息。
（2）描于聚焦的深度估计方法 聚焦深度测量(depth from focus, DIT)就足使摄像机相对于被测点处于聚热位货，然)根据透镜成像公式可求得被测点相对于摄像机的距离。 国内外比较成熟且应用广泛的双目深度估计的方法是越于双E1视差的深度估计方法，它是用两个摄像头成像，因为两个摄像头之叫存在一定的距离，所以同一景物通过两个镜头所成的像有一?定的差别，既视差，因为视差信息的存在，可以由于来估计出景物的大体深度信息。

2. 双目视觉测距原理

单目测距原理：

先通过图像匹配进行目标识别（各种车型、行人、物体等），再通过目标在图像中的大小去估算目标距离。这就要求在估算距离之前首先对目标进行准确识别，是汽车还是行人，是货车、SUV还是小轿车。准确识别是准确估算距离的第一步。要做到这一点，就需要建立并不断维护一个庞大的样本特征数据库，保证这个数据库包含待识别目标的全部特征数据。比如在一些特殊地区，为了专门检测大型动物，必须先行建立大型动物的数据库；而对于另外某些区域存在一些非常规车型，也要先将这些车型的特征数据加入到数据库中。如果缺乏待识别目标的特征数据，就会导致系统无法对这些车型、物体、障碍物进行识别，从而也就无法准确估算这些目标的距离。

单/双目方案的优点与难点

从上面的介绍，单目系统的优势在于成本较低，对计算资源的要求不高，系统结构相对简单；缺点是：（1）需要不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率；（2）无法对非标准障碍物进行判断；（3）距离并非真正意义上的测量，准确度较低。

双目检测原理：

通过对两幅图像视差的计算，直接对前方景物（图像所拍摄到的范围）进行距离测量，而无需判断前方出现的是什么类型的障碍物。所以对于任何类型的障碍物，都能根据距离信息的变化，进行必要的预警或制动。双目摄像头的原理与人眼相似。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3D电影能够使人有立体层次感知的原因。

上图中的人和椰子树，人在前，椰子树在后，最下方是双目相机中的成像。其中，右侧相机成像中人在树的左侧，左侧相机成像中人在树的右侧，这是因为双目的角度不一样。再通过对比两幅图像就可以知道人眼观察树的时候视差小，而观察人时视差大。因为树的距离远，人的距离近。这就是双目三角测距的原理。双目系统对目标物体距离感知是一种绝对的测量，而非估算。

理想双目相机成像模型

根据三角形相似定律：

根据上述推导，要求得空间点P离相机的距离（深度）z，必须知道：
1、相机焦距f，左右相机基线b（可以通过先验信息或者相机标定得到）。
2、视差 ：，即左相机像素点(xl, yl)和右相机中对应点(xr, yr)的关系，这是双目视觉的核心问题。

重点来看一下视差（disparity），视差是同一个空间点在两个相机成像中对应的x坐标的差值，它可以通过编码成灰度图来反映出距离的远近，离镜头越近的灰度越亮；

极线约束

对于左图中的一个像素点，如何确定该点在右图中的位置？需要在整个图像中地毯式搜索吗？当然不用，此时需要用到极线约束。

如上图所示。O1，O2是两个相机，P是空间中的一个点，P和两个相机中心点O1、O2形成了三维空间中的一个平面PO1O2，称为极平面（Epipolar plane）。极平面和两幅图像相交于两条直线，这两条直线称为极线(Epipolar line)。

P在相机O1中的成像点是P1，在相机O2中的成像点是P2，但是P的位置是未知的。我们的目标是：对于左图的P1点，寻找它在右图中的对应点P2，这样就能确定P点的空间位置。

极线约束（Epipolar Constraint）是指当空间点在两幅图像上分别成像时，已知左图投影点p1，那么对应右图投影点p2一定在相对于p1的极线上，这样可以极大的缩小匹配范围。即P2一定在对应极线上，所以只需要沿着极线搜索便可以找到P1的对应点P2。

3. 双目立体视觉中，得到视差点后怎样得出视差图得到深度信息后怎样获得深度图

双目摄像头是怎么放的，视差可以直接得出，深度计算有推导的公式计算，不过还需要摄像机的一些参数

4. 怎么区别是双目红外识别还是结构光识别

摘要 双目红外识别定义基于双目摄像头的人脸识别解决方案 该方案采用双目摄像头，即一个摄像头采集可见光照片，一个摄像头采集近外光照片，捕获到的人脸进行识别，针对眼耳鼻等一些关键特征点进行精确识别定位，计算出各种诸如瞳距、鼻子高度，眼睛到嘴到耳的距离等空间信息，其计算误差小于1mm，可有效抵御照片、视频等欺诈，精准检测是否为“活人”、“真人”，确保活体检测的准确率。

5. 如何确定双目图像已知区域的深度信息

图像深度是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。
图像深度是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。图像深度确定彩色图像的每个像素可能有的颜色[1] 数，或者确定灰度图像的每个像素可能有的灰度级数.它决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。比如一幅单色图像,若每个像素有8位[2] ，则最大灰度数目为2的8次方,即256。一幅彩色图像RGB3个分量的像素位数分别为4,4,2,则最大颜色数目为2的4+4+2次方，即1024,就是说像素的深度为10位，每个像素可以是1024种颜色中的一种。

6. 计算机双目视觉系统 得到深度信息，这个系统的基线长度如何选择选择为多少比较好

从最终的结果看，两摄像头的间距越大，能测到的Z轴越远精度越高，但这只是一个基本常量，还有十多个参数要确定，有的还是非线性，你才刚入门，这里水深着呢

7. matlab双目测距中怎样把摄像机标定后的内外参数和视差图结合起来计算深度距离

你用的是双面立体相机配置吗？如果是，你需要标定左右两个相机的内部参数，即焦距，像素物理尺寸，还有两个相机间的三维平移，旋转量。如果你不做三维重建的话，就不需要得到外部参数。得到相机内部参数，就可以矫正左右两幅图像对，然后使用立体匹配算法得到目标的视差图像，然后用你得到的，fc,cc参数，用三角法则计算出目标点到相机平面的距离。三角法则：z=f*b/d。f是焦距，b是两相机间的横向距离，d是立体匹配得到的视差值，即目标像素点在左右两相机平面x方向的坐标差值。