雙目深度演算法

1. 圖像深度的國內外估計圖像深度的方法

國內外圖像深度估計的方法主要分為單y深度估計的方法和雙目深度估計的方法，單目是基於一個鏡頭，而雙目是基於兩個鏡頭，基於它們有許多深度估計的方法，下面分別給予介紹。 單目是基於一幅圖像來估計它的深度信息，相對於雙目深度估計的方法，-有一定的難度，許多學者提出了大量的基於單目來深度估計的方法，有基於圖像內容理解，基於聚焦，基於散焦，基於明暗變化等，下面簡要介紹其中的兩種方法。
(1)基於圖像內容理解的深度估計方法 圖像內容理解的深度估計方法主要是通過對圖像中的各個景物分塊進行分類，然後對每個類別的景物分別用各自適用的方法估計它們的深度信息。
（2）描於聚焦的深度估計方法 聚焦深度測量(depth from focus, DIT)就足使攝像機相對於被測點處於聚熱位貨，然)根據透鏡成像公式可求得被測點相對於攝像機的距離。 國內外比較成熟且應用廣泛的雙目深度估計的方法是越於雙E1視差的深度估計方法，它是用兩個攝像頭成像，因為兩個攝像頭之叫存在一定的距離，所以同一景物通過兩個鏡頭所成的像有一?定的差別，既視差，因為視差信息的存在，可以由於來估計出景物的大體深度信息。

2. 雙目視覺測距原理

單目測距原理：

先通過圖像匹配進行目標識別（各種車型、行人、物體等），再通過目標在圖像中的大小去估算目標距離。這就要求在估算距離之前首先對目標進行准確識別，是汽車還是行人，是貨車、SUV還是小轎車。准確識別是准確估算距離的第一步。要做到這一點，就需要建立並不斷維護一個龐大的樣本特徵資料庫，保證這個資料庫包含待識別目標的全部特徵數據。比如在一些特殊地區，為了專門檢測大型動物，必須先行建立大型動物的資料庫；而對於另外某些區域存在一些非常規車型，也要先將這些車型的特徵數據加入到資料庫中。如果缺乏待識別目標的特徵數據，就會導致系統無法對這些車型、物體、障礙物進行識別，從而也就無法准確估算這些目標的距離。

單/雙目方案的優點與難點

從上面的介紹，單目系統的優勢在於成本較低，對計算資源的要求不高，系統結構相對簡單；缺點是：（1）需要不斷更新和維護一個龐大的樣本資料庫，才能保證系統達到較高的識別率；（2）無法對非標准障礙物進行判斷；（3）距離並非真正意義上的測量，准確度較低。

雙目檢測原理：

通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進行距離測量，而無需判斷前方出現的是什麼類型的障礙物。所以對於任何類型的障礙物，都能根據距離信息的變化，進行必要的預警或制動。雙目攝像頭的原理與人眼相似。人眼能夠感知物體的遠近，是由於兩隻眼睛對同一個物體呈現的圖像存在差異，也稱「視差」。物體距離越遠，視差越小；反之，視差越大。視差的大小對應著物體與眼睛之間距離的遠近，這也是3D電影能夠使人有立體層次感知的原因。

上圖中的人和椰子樹，人在前，椰子樹在後，最下方是雙目相機中的成像。其中，右側相機成像中人在樹的左側，左側相機成像中人在樹的右側，這是因為雙目的角度不一樣。再通過對比兩幅圖像就可以知道人眼觀察樹的時候視差小，而觀察人時視差大。因為樹的距離遠，人的距離近。這就是雙目三角測距的原理。雙目系統對目標物體距離感知是一種絕對的測量，而非估算。

理想雙目相機成像模型

根據三角形相似定律：

根據上述推導，要求得空間點P離相機的距離（深度）z，必須知道：
1、相機焦距f，左右相機基線b（可以通過先驗信息或者相機標定得到）。
2、視差 ：，即左相機像素點(xl, yl)和右相機中對應點(xr, yr)的關系，這是雙目視覺的核心問題。

重點來看一下視差（disparity），視差是同一個空間點在兩個相機成像中對應的x坐標的差值，它可以通過編碼成灰度圖來反映出距離的遠近，離鏡頭越近的灰度越亮；

極線約束

對於左圖中的一個像素點，如何確定該點在右圖中的位置？需要在整個圖像中地毯式搜索嗎？當然不用，此時需要用到極線約束。

如上圖所示。O1，O2是兩個相機，P是空間中的一個點，P和兩個相機中心點O1、O2形成了三維空間中的一個平面PO1O2，稱為極平面（Epipolar plane）。極平面和兩幅圖像相交於兩條直線，這兩條直線稱為極線(Epipolar line)。

P在相機O1中的成像點是P1，在相機O2中的成像點是P2，但是P的位置是未知的。我們的目標是：對於左圖的P1點，尋找它在右圖中的對應點P2，這樣就能確定P點的空間位置。

極線約束（Epipolar Constraint）是指當空間點在兩幅圖像上分別成像時，已知左圖投影點p1，那麼對應右圖投影點p2一定在相對於p1的極線上，這樣可以極大的縮小匹配范圍。即P2一定在對應極線上，所以只需要沿著極線搜索便可以找到P1的對應點P2。

3. 雙目立體視覺中，得到視差點後怎樣得出視差圖得到深度信息後怎樣獲得深度圖

雙目攝像頭是怎麼放的，視差可以直接得出，深度計算有推導的公式計算，不過還需要攝像機的一些參數

4. 怎麼區別是雙目紅外識別還是結構光識別

摘要 雙目紅外識別定義基於雙目攝像頭的人臉識別解決方案 該方案採用雙目攝像頭，即一個攝像頭採集可見光照片，一個攝像頭採集近外光照片，捕獲到的人臉進行識別，針對眼耳鼻等一些關鍵特徵點進行精確識別定位，計算出各種諸如瞳距、鼻子高度，眼睛到嘴到耳的距離等空間信息，其計算誤差小於1mm，可有效抵禦照片、視頻等欺詐，精準檢測是否為「活人」、「真人」，確保活體檢測的准確率。

5. 如何確定雙目圖像已知區域的深度信息

圖像深度是指存儲每個像素所用的位數，也用於量度圖像的色彩解析度。
圖像深度是指存儲每個像素所用的位數，也用於量度圖像的色彩解析度。圖像深度確定彩色圖像的每個像素可能有的顏色[1] 數，或者確定灰度圖像的每個像素可能有的灰度級數.它決定了彩色圖像中可出現的最多顏色數，或灰度圖像中的最大灰度等級。比如一幅單色圖像,若每個像素有8位[2] ，則最大灰度數目為2的8次方,即256。一幅彩色圖像RGB3個分量的像素位數分別為4,4,2,則最大顏色數目為2的4+4+2次方，即1024,就是說像素的深度為10位，每個像素可以是1024種顏色中的一種。

6. 計算機雙目視覺系統 得到深度信息，這個系統的基線長度如何選擇選擇為多少比較好

從最終的結果看，兩攝像頭的間距越大，能測到的Z軸越遠精度越高，但這只是一個基本常量，還有十多個參數要確定，有的還是非線性，你才剛入門，這里水深著呢

7. matlab雙目測距中怎樣把攝像機標定後的內外參數和視差圖結合起來計算深度距離

你用的是雙面立體相機配置嗎？如果是，你需要標定左右兩個相機的內部參數，即焦距，像素物理尺寸，還有兩個相機間的三維平移，旋轉量。如果你不做三維重建的話，就不需要得到外部參數。得到相機內部參數，就可以矯正左右兩幅圖像對，然後使用立體匹配演算法得到目標的視差圖像，然後用你得到的，fc,cc參數，用三角法則計算出目標點到相機平面的距離。三角法則：z=f*b/d。f是焦距，b是兩相機間的橫向距離，d是立體匹配得到的視差值，即目標像素點在左右兩相機平面x方向的坐標差值。