基於陣列攝像機的深度圖實時獲取算法的製作方法

2023-12-08 09:53:11 1

專利名稱：基於陣列攝像機的深度圖實時獲取算法的製作方法
技術領域：
本發明涉及一種三維深度信息獲取系統，特別涉及一種基於陣列攝像機的 深度圖獲取算法。
背景技術：
近年來，三維深度信息的獲取已經成為計算機視覺領域一個非常熱門的研 究方向，國內外的許多機構和專家已經做了大量相關的工作，提出一些方法和 技術。但是，這些方法和技術都存在著各自的缺點，尚沒有一個方法或者技術 能夠滿足各方面的應用，所以在深度信息的獲取方面仍然存在著很多挑戰。
傳統的基於可見光攝像機陣列的立體匹配方法，雖然在理論上是完美的， 但是在實際應用中，因為無法找到準確的匹配點，該方法對於無紋理的平面區 域、漸變的曲面無能為力。再加上傳統的深度信息獲取傳感器是逐點掃描的， 無法達到實時的要求，這導致該項技術只能用於靜態的場景。因此，立體匹配 方法和傳統的深度信息獲取傳感器在應用方面受到了極大的限制。
隨著新的傳感器技術的發展，使實時獲取動態場景的深度信息成為可能，
例如Time-of-Flight。這些新的傳感器技術採用極其快速的快門，通過向整個 場景中每一點發送脈衝式光波，並檢測其反射回來的光波，來計算這兩種光波 之間的時延來估算場景中每一點和傳感器之間的距離。這種傳感器目前已經得 到了一定的應用，但它也有如下不足之處在邊緣的地方深度信息不準，對噪 聲、物體的材料敏感，不容易被標定，以及解析度低等。
由於傳統的立體匹配在紋理豐富的區域可以求到準確的深度值，而3D攝 像機可以在平坦的顏色均一的區域提供準確的深度數據，利用3D攝像機和可 見光攝像機一起來獲得深度信息成為一種趨勢。已有的技術中，採用雙邊濾波器或者馬爾可夫隨機場的方法，來得到高解析度的深度圖，這些方法是建立在 深度的不連續性和顏色的不連續性基本一致的假設的基礎上。它們對高解析度
深度圖中的每一點都進行處理，這往往會破環平坦區域的3D原始數據，並且
在具有近似相同深度值但處於紋理豐富區域的那些點上無法得到好的效果，會 形成不必要的深度突變。而且，它對高解析度深度圖的每個點都進行處理，也 很難滿足實時的要求。

發明內容
本發明的目的在於提供一種可以實時地獲得普通攝像機視野下的高分辨 率深度圖的方法，它可以滿足立體電視、虛擬實境等多方面應用的需求。
為此，本發明提出一種基於陣列攝像機的深度圖獲取算法，其攝像機陣列
包含一個3D攝像機和若干個可見光攝像機，本算法根據3D攝像機提供的低 解析度深度圖，來得到每個可見光攝像機視點上的高解析度深度圖，本算法步 驟為首先，對攝像機陣列進行標定，將3D攝像機深度圖投影到每個可見光 攝像機視野下，得到可見光攝像機視野下的初始深度圖；然後，用本算法中定 義的新的融合了顏色信息和初始深度信息的能量函數，以可見光攝像機彩色圖 或者灰度圖為參考，迭代的修正初始深度圖，得到最終的高解析度深度圖。
所述高解析度深度圖的解析度高於3D攝像機提供的深度圖。優選為，所 述所述高解析度深度圖的解析度為3D攝像機提供的深度圖的2倍。
在進行可見光攝像機視野下深度圖的獲取之前，要對每個可見光攝像機和 3D攝像機進行標定，得到將3D攝像機低解析度深度圖投影到每個可見光攝
V"l 「一 ,一
*1 。2 '13
像機視野下的參數，即平移矩陣7=《和旋轉矩陣i 二《《《。
formula see original document page 5
在標定以後，用本發明中提出的算法來生成每個可見光攝像機視野下的高 解析度的深度圖。對於每個可見光攝像機，算法只用到了該可見光攝像機視野
和旋轉矩陣^二
____下的高解析度彩色圖或灰度圖以及3D攝像機的深度圖。
首先，利用標定時得到的參數將3D攝像機的低解析度深度圖投影到可見 光攝像機視野下，得到每個可見光攝像機視點上的初始高解析度深度圖。進一 步的，用離每個無深度值的點最近的有深度值的點的深度值，對初始高解析度 深度圖中的那些無深度值的點進行填充，得到完整的初始深度圖。
然後，定義了一個融合了顏色信息和初始深度信息的能量函數，以對應的 可見光攝像機的高解析度彩色圖或者灰度圖為參考，對每個初始高解析度深度 圖進行迭代修正。
在每次迭代中，首先，根據深度圖中的像素點和其四個相鄰像素點之間深 度值之差的最大值，將上一次迭代後得到的深度圖中的像素點分為可靠點和不 可靠點兩類；然後，針對這些不可靠點，用能量函數來修正這些點的深度值；
能量函數定義為
formula see original document page 6
其中
—，h" = {L2 '艮" 若以可見光攝像機彩色圖為參考formula see original document page 6
以可見光攝像機灰度圖為參考
formula see original document page 6
(U')為可見光攝像機視野下深度圖中的一點，Z,(/，力為第t次迭代中要計算的 該點的深度值，4_1(/ + ^ +力為點(/ + "，7' +力經過"1次迭代後得到的深度值，
RGB是可見光攝像機彩色圖的三個顏色通道，/為可見光攝像機灰度圖的灰
度值，Anax是點G' + "，y + V)和其相鄰的四個像素點深度值之差的最大值，MXN 是以點("力為中心的窗口的大小，6和7是常數。以能量函數最小為原則，對那些不可靠點的深度值進行修正，在每個可見 光攝像機視點上，該迭代過程持續到最終高解析度深度圖無明顯變化為止。 本發明的優點是-
1、 提出了一種基於陣列攝像機的深度圖實時獲取算法，該算法能根據3D 攝像機得到的低解析度深度圖，得到陣列中每個可見光攝像機視點上的高分辨 率深度圖。
2、 本發明中的算法速度快，能得到255級高解析度深度圖，且實現簡單， 整個過程自動完成。


圖1為本發明的一種基於陣列攝像機的深度圖實時獲取算法實施例的總 流程圖2為圖1中的投影模塊流程圖3為圖1中的迭代修正模塊流程圖。
具體實施例方式
下面，結合附圖和具體實施例對本發明作進一步說明。 該實施例中用到的可見光攝像機採用CCD傳感器，可以提供解析度為768 X576的彩色圖或者灰度圖，用到的3D攝像機為Swiss Ranger 3000 (TOF攝 像機)，可以提供解析度為176X144的深度圖和灰度圖。
攝像機陣列具體的標定方法是首先，對每個CCD攝像機的灰度圖進行 下採樣，使其解析度為384X288，並對TOF攝像機的灰度圖進行上採樣，使 其解析度達到352X288;然後，採用傳統的平板攝像機的標定方法對每個CCD 攝像機和TOF攝像機進行標定(張正友平板攝像機標定法)，得到從TOF攝
像機投影到每個CCD攝像機的參數平移矩陣formula see original document page 7和旋轉矩陣本實施例算法的總流程圖見圖1，具體做法分為以下三步第一步通過投 影得到CCD攝像機視野下的初始高解析度深度圖，投影部分的流程圖見圖2; 第二步和第三步屬於迭代模塊，通過對初始深度圖的迭代修正來得到最終的高 解析度深度圖，迭代模塊的流程圖見圖3。
第一步由於標定是在384X288的灰度圖和352X288的深度圖之間完成
的，所以將TOF深度圖上採樣到354X288;然後利用標定時得到的參數T^
和及=
為:
將上採樣過的TOF深度圖投影到普通攝像機視野下，公式
"，Ld為TOF深度圖中的一點，( A，z,)為CCD攝像機視野下的投影點。這 樣就得到了解析度為384X288的初始深度圖。由於遮擋和解析度不同，該初 始深度圖中存在著一些沒有深度值的點，通過將離這些點最近的有深度值的點 的深度值賦給這些點來得到完整的初始深度圖。
第二步:定義一個分類器將初始深度圖中的像素點分為可靠點和不可靠點 兩類，分類器定義如下-
'不可靠點 Dmax(U)^ 、可靠點 ds6
其中Ana^'，力是點(Z'，力和與其相鄰的四個點的深度值之差的最大值，^為一常第三步針對第二步得到的那些不可靠點，定義了一個融合了顏色數據和
深度數據的能量函數，來迭代的修正這些點。能量函數定義如下
慮 m
w一+ 鄰，力-2^(/化y+v))2
其中
,.丄.丄、z/Z)ma、< 7 <3(z + w,_y + v) = "j
〔0,2 es/e
若以可見光攝像機彩色圖為參考
C(Z+"+v)4(j鄧+M,y'+v)-艱川+l印+"')+v)-印,7l+l鄰+"，./'+v)—鄰，力)
以可見光攝像機灰度圖為參考
C(/ + w, + v) = |/(/ + "， _/ + v) - /(f,力| (")為可見光攝像機視野下深度圖中的一點，Z,(/,力為第t次迭代中要計算的 該點的深度值，Z,—1(/ + ^ + "為點(/ + "，;' + "經過1-1次迭代後得到的深度值， RGB是可見光攝像機彩色圖的三個顏色通道，/為可見光攝像機灰度圖的灰 度值，^_是點(/ + " +力和其相鄰的四個像素點深度值之差的最大值，MXN 是以點(U')為中心的窗口的大小，6和7是常數。
在每次迭代過程中以能量函數最小為原則，得到那些不可靠點的迭代公 式，對其深度值進行修正。
第二步和第三步是一個循環迭代的過程，在每次的迭代過程中，總是先找 出上一次迭代得到的高解析度深度圖中那些不可靠的點，然後用能量函數來修 正這些點，直至高解析度深度圖沒有明顯的變化為止。
運用該算法，可以得到攝像機陣列中每個CCD攝像機視點上的解析度為 384X288，深度等級為255的深度圖。
權利要求
1、一種基於陣列攝像機的深度圖的實時獲取算法，所述攝像機陣列包含一個3D攝像機和若干個可見光攝像機，本算法根據3D攝像機提供的低解析度深度圖，來得到每個可見光攝像機視點上的高解析度深度圖，其特徵在於，本算法的步驟為首先，對攝像機陣列進行標定，將3D攝像機深度圖投影到每個可見光攝像機視野下，得到可見光攝像機視野下的初始深度圖；其次，用本算法中定義的新的融合了顏色信息和初始深度信息的能量函數，以可見光攝像機彩色圖或灰度圖為參考，迭代的修正初始深度圖，得到最終的高解析度深度圖。
2、 如權利要求l所述的基於陣列攝像機的深度圖的實時獲取算法，其特 徵在於其得到可見光攝像機視野下初始深度圖的步驟為首先，對3D攝像機 和每個可見光攝像機進行標定，得到每個可見光攝像機和3D攝像機之間轉換的平移矩陣^ =;其次，利用這兩個矩陣將3D攝像機得到的低解析度深度圖投影到每個可見光攝像機視野下，得到初始的 高解析度深度圖。
3、 如權利要求2所述的基於陣列攝像機的深度圖的實時獲取算法，其特 徵在於，在得到每個可見光攝像機視野下的初始深度圖後，用離每個無深度 值的點最近的有深度值的點的深度值，對這些無深度值的點進行填充，得到 完整的初始深度圖。
4、 如權利要求l-3任一項所述的基於陣列攝像機的深度圖的實時獲取算 法，其特徵在於所述可見光攝像機視野下的高解析度深度圖的生成算法中， 融合了顏色信息和初始深度信息的能量函數定義如下和旋轉矩陣* =formula see original document page 3其中-廣丄.丄、J1'2 ^D咖x〈" [_0.2 es7e若以可見光攝像機彩色圖為參考formula see original document page 3以可見光攝像機灰度圖為參考formula see original document page 3("')為可見光攝像機視野下深度圖中的一點，z力',y)為第t次迭代中要計算的 該點的深度值，Zw(/化y+"為點(i+"j+v)經過t-l次迭代後得到的深度值， RGB是可見光攝像機彩色圖的三個顏色通道，/為可見光攝像機灰度圖的灰度 值，A^是點G'+"，y+v)和其相鄰的四個像素點深度值之差的最大值，MXN是 以點G'，刀為中心的窗口的大小，6和7是常數。
5、 如權利要求l-3任一項所述的基於陣列攝像機的深度圖的實時獲取算 法，其特徵在於在每次迭代中，若點(W)和其相鄰的四個像素點深度值之差的最小值大於r ，則用該能量函數對該點的深度值進行調整。
6、 如權利要求4所述的基於陣列攝像機的深度圖的實時獲取算法，其特徵在於在每次迭代中，若點("力和其相鄰的四個像素點深度值之差的最小值大於r，則用該能量函數對該點的深度值進行調整。
全文摘要
本發明公開了一種基於陣列攝像機的深度圖實時獲取算法，其攝像機陣列包含一個3D攝像機和若干個可見光攝像機，本算法根據3D攝像機提供的低解析度深度圖，來得到每個可見光攝像機視點上的高解析度深度圖，本算法的步驟為首先，對攝像機陣列進行標定，將3D攝像機深度圖投影到每個可見光攝像機視野下，得到可見光攝像機視野下的初始深度圖；其次，用本算法中定義的新的融合了顏色信息和初始深度信息的能量函數，以可見光攝像機彩色圖或灰度圖為參考，迭代的修正初始深度圖，得到最終的高解析度深度圖。本算法是一種能實時地獲得普通攝像機視野下的高解析度深度圖的方法，它可以滿足立體電視、虛擬實境等多方面應用的需求。
文檔編號G06T7/00GK101556696SQ200910098790
公開日2009年10月14日 申請日期2009年5月14日 優先權日2009年5月14日
發明者于慧敏, 嘉 吳, 穎 周 申請人:浙江大學