一種基於全局和局部算法的計算機雙目視覺匹配方法

2023-09-16 16:00:20

專利名稱：一種基於全局和局部算法的計算機雙目視覺匹配方法
技術領域：
本發明涉及圖像處理、計算機視覺、計算方法、數學、數值方法 領域，尤其是計算機視覺的雙目圖像匹配方法。
背景技術：
. '
目前，立體視覺匹配問題的研究己經取得了很大的進展。特別 是基於全局優化的匹配算法，已經成為了解決匹配問題的主要方法， 得到了廣泛的運用。其能得到如此關注的原因是因為匹配問題可以很
好地被建模為一個馬爾可夫隨機場(MRF)或條件隨機場(CRF)的 優化問題。這類問題在許多學科中都有設計，由此產生的很多算法都 可以運用到匹配問題的解決當中來，比如圖割法(Graph Cuts) (1、 Y. Boykov, 0. Veksler, and R. Zabih, "Fast approximate energy minimization via graph cuts", IEEE Transaction on Pattern Analysis and Machine Intelligence, 2001， 23(11): pp. 1222-1239.博依科夫，範克斯 勒，扎比，"使用圖割算法的快速能量最小化估計"，美國電氣電子工 程師學會模式識別與智能機器學報，2001， 23 (11):頁1222—1239 2、 V. Kolmogorov and R. Zabih, "What energy functions can be minimized via graph cuts ", European Conf. on Computer Vision, 2002， pp. 65-81. 科爾莫格洛夫，扎比，"圖割算法可以最小化什麼形式的能量函數？" 歐洲計算機視覺會議，2002，頁65 — 81)，置信度擴散法(Belief Propagation) (1、 P. Felzenszwalb and D. Huttenlocher, "Efficient belief propagation for early vision", Int. J. of Computer Vision, 2006, 70(1), pp.41-54.費爾贊茨沃，赫頓洛契，"底層視覺中的高效置信度擴散算法"，
計算機視覺國際期刊，2006， 70(1)，頁41—54 2、 J. Sun, Y. Li, S. Kang, and H. Y, Shum, "Symmetric stereo matching for occlusion handling", In Proc. IEEE Computer Vision and Pattern Recognition, 2005, 2, pp. 399-406.孫，李，康，舒姆，"使用對稱匹配的遮擋剔除算法"，美國 電氣電子工程師學會計算機視覺與模式識別會議，2005， 2，頁399 —406 )， 二次多項式偽二值優化法(Quadratic Pseudo Boolean Optimization) (1、 O. J. Woodford, P. H. S. Torr， I. D. Reid and A. W. Fitzgibbon, "Global stereo reconstruction under second order smoothness priors", IEEE Computer Vision and Pattern Recognition, 2008, 1-12, pp. 2570-2577.伍德福德，託爾，雷德，斐茨格本，"基於二次光滑假設的 全局重建算法"，美國電氣電子工程師學會計算機視覺與模式識別會 議，2008， 1 — 12，頁2570 — 2577 2、 C. Rother, V. Kolmogorov, V. Lempitsky, and M. Szummer, "Optimizing binary MRFs via extended roof duality", In Proc. IEEE Computer Vision and Pattern Recognition, 2007, 1-8, pp. 1784-1791.羅瑟，科爾莫格洛夫，蘭皮茨基，舒莫，"基於擴 展的頂對偶方法的二值馬爾可夫隨機場模型的優化算法"，美國電氣電 子工程師學會計算機視覺與模式識別會議會報，2007， l一8，頁1784 一1791)等。這些方法都使用一個能量函數來表徵多幅圖像見的關係， 並且假設該能量函數的最小值對應於最佳匹配。然而，事實是這樣的 能量函數越複雜，這個假設才越正確。在實際應用中，為了使問題可 以得到有效解決，通常都採用比較簡單的能量函數，這些能量函數會 使得最終結果失去很多細節特徵，但從另外一個方面來看， 一些經典 的全局匹配算法可以結合這種比較簡單的能量函數得到一個比較準確的分層匹配結果，同時，這些方法可以結合對稱可見性檢測和非對稱 可見性檢測使得結果更為準確。這種分層的結果提供了一個很好的粗 匹配結果，並在很大程度上減小了再優化的搜索空間。
目前，許多研究者主要在兩個方面優化分層匹配結果。 一個方面， 通過改造優化算法，使其可以適應更複雜的能量函數；另一個方面， 通過採用一些預先定義的表面模型來消除分層現象。 一般來說，有兩 種表面模型最多被採用， 一種是平面模型，該模型假設場景是由許許 多多的不同朝向，不同形狀的平面組成。這種假設使得在處理一些特 定測試數據時顯示出良好的結果，但在實際應用中的結果往往不是很
理想；另一種是樣條曲面，通常使用的三階B樣條曲面可以描述絕大 多數物體的表面，但是對於這類表面假設， 一般沒有比較高效的優化 算法。Lin (M. H. Lin, and C. Tomasi， "Surfaces with occlusions from layered stereo", IEEE Transaction on Pattern Analysis and Machine Intelligence, 2004, 26(8), pp. 1073-1078.林，託馬西，"基於分層匹配的 帶遮擋檢測的表面重建算法"，美國電氣電子工程師學會模式識別與智 能機器學報，2004， 26 (8)，頁1073 — 1078)提出了一種採用這種表 面假設的優化算法，對於一般的測試圖像對，需要進行幾個小時的優 化，而在一些尖角處仍會留有比較大的錯誤。
局部匹配算法也存在著許多問題。像經典的基於窗口的贏家通吃 (winner-takes-all)算法，因為缺少更多的信息，匹配局限在一個小的 局部，往往會導致結果的不準確。所以，對於局部匹配算法的改進， 往往需要增大其搜索空間。但當搜索空間太大時，場景的幾何結構所 產生的影響就會增大，從而影響到結果的準確性。為了減小這種幾何 結構的影響，Li和Zucker(G. Li and S. W. Zucker, "Differential geometricconsistency extends stereo to curved surfaces", In Proc. European Conference on Computer Vision, 2006， 3(3953), pp. 44-57.李，促克，"一
種滿足微分幾何連續性的從匹配結果擴展到曲面的方法"，歐洲計算機 視覺會議會報，2006， 3 (3953)，頁44一57)提出了一種可變窗口的 SSD匹配算法。該算法將場景幾何結構在窗口中的投影和窗口的形變 之間建立了一種聯繫，雖然這種方法可以極大地減少錯誤匹配，但其 算法複雜度卻從O(")上升到了 (9("3)，效率下降明顯。
當全局匹配結果經過局部匹配算法的優化後，由於局部算法的局 部性，其結果還需要進行再優化。Li和Zucker (G. Li and S. W. Zucker, "Differential geometric consistency extends stereo to curved surfaces", In Proc. European Conference on Computer Vision, 2006， 3(3953), pp. 44-57. 李，促克，"一種滿足微分幾何連續性的從匹配結果擴展到曲面的方 法"，歐洲計算機視覺會議會報，2006， 3 (3953)，頁44一57)提出 了一種融合多個局部匹配結果得到一個光滑的結果的算法，但由於其 沒有考慮遮擋區域的問題，使得最後的結果在物體邊緣處產生很多的 錯誤匹配。而物體遮擋在全局匹配算法中有著相當廣泛的討論，而這 種情況在真實場景中也是普遍存在的。

發明內容
為了克服已有的計算機雙目立體視覺匹配方法的不能兼顧全局最 優和局部特徵、匹配結果不精確的不足，本發明提供一種能夠兼顧全 局最優和局部特徵、得到更精確的匹配結果的基於全局和局部算法的 計算機雙目立體視覺匹配方法。
本發明解決其技術問題所採用的技術方案是
一種基於全局和局部算法的計算機雙目立體視覺匹配方法，所述計算機雙目立體視覺匹配方法包括以下步驟
(1 )、對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一 個分層的匹配結果；
(2) 、使用不同窗口大小的窗口匹配法在全局匹配結果的一個小的領
域裡獲得多個不同的局部匹配結果；
(3) 、將這多個局部匹配結果置於一個帶有二階光滑能量函數(O. J. Woodford, P. H. S. Torr， I. D. Reid and A. W. Fitzgibbon, "Global stereo reconstruction under second order smoothness priors", IEEE Computer Vision and Pattern Recognition, 2008, 1-12, pp. 2570-2577.伍德福德，託 爾，雷德，斐茨格本，"基於二次光滑假設的全局重建算法"，美國電 氣電子工程師學會計算機視覺與模式識別會議，2008， 1一12，頁2570 一2577)的馬爾可夫隨機場中使用二次多項式偽二值優化法(QPBO) 進行迭代優化，得到匹配結果。
進一步，在所述步驟(1)中，將雙目立體視覺傳感器獲得的左右 兩幅圖像進行匹配的問題，描述為如下能量函數，即該能量函數的最 小值對應於最優匹配
formula see original document page 9 (1)
其中
(D) = Z1W -D(x)))l (2) 五訓^(D)-義'Z min(r,|DW —D(力l) (3)
其中，W表示4鄰域集合，r表示最大的懲罰值，Ii和Iw表示左右 兩幅圖像；D表示視差圖，視差圖D將和^聯繫，而Iw將作為參考 圖像，左圖上的一個像素點表示為Ii(x)，其在右圖上的視差值為"的匹配點表示為《X, J);
使用a-expansion算法進行匹配得到一個分層的匹配結果。 再進一步，在所述步驟(2)中，將分層的匹配結果作為一個表面
約束，每個層次被看成一個連續的表面，首先給出的是一個路徑連通
性的遞歸定義
.固0) = 1 . (4)
、iDW-D(力卜t7,(x,;);)eW
(5)
其中c表示一種連接範圍，E^此？^^+表面使用路徑連通性定義如
下
5W/(x, S) = W V> e S, co"(x,力=1} (6)
其中S是定義域，它總是被表示成一個矩形窗口； Surf(x,S)表示一 個以X為中心，定義在S上的表面； .〃
根據所述表面定義，步驟(1)中得到的全局匹配結果被分為幾個 連續的表面，局部匹配算法以這些連續表面為約束，使得同時跨越多 個表面的窗口被分割成幾個不同的小部分，各自在其所屬的表面進行
匹配，約束條件真實的視差值和分層結果的誤差不超過0.5個像素，
即求解範圍被限定在分層匹配結果的士0.5像素的鄰域裡，使用經典的
窗口匹配算法，其定義如下所示
D(x) = arg min朋g/e(v(Swr/ (x, S))， v(5Wr/0: +《S))) (7) 其中v(x)表示原點在X處的窗口中所有灰度值為元素所組成的一維
向量，angle(x,力表示向量x和y的夾角； 每一種窗口大小得到一個局部匹配結果。
更進一步，在所述步驟(3)中，將步驟(2)得到的一系列局部匹配結果兩兩置於一個馬爾可夫隨機場模型中使用QPBO算法進行迭
代優化，如下所示
D(x) = D〔argmin￡((l —B).D(x) + B.D,0c))), z.s[2，A:] (9)
其中B是一個二值矩陣，當B(x"O時，取值D(x)，否貝U，取值D,(x)。 D,(x)表示第/個局部匹配結果； . 採用帶有二階光滑項的能量函數表示如下
￡(D) = A。,。(D) + A,,A(D) (1)
其中
KD) Ifl(;r(x， DW))| (2) 二階光滑項使用鄰接的3個像素來定義表面的光滑性，能量函數 的數據項將保持不變，但光滑項定義為如下形式
A(D)= Z |D(x)-2D(力+ D(z)卜 GO) 採用二次多項式偽二值優化法來進行優化，得到匹配結果。 再進一步，在所述步驟(1)中，採用不帶遮擋檢測方法。
在所述步驟(2)中，使用小的視差步長，在進行匹配時使用線性
插值計算小數單位像素的灰度值。
本發明的技術構思為為了利用全局匹配和局部匹配算法各自的 優點，同時克服他們各自的缺點，本支提出了一種融合全局與局部特 點的新算法。該算法主要分為三步首先，使用圖割法獲得一個分層 的匹配結果；然後，使用不同窗口大小的窗口匹配法在全局匹配結果 的一個小的領域裡獲得多個不同的局部匹配結果；最後，將這多個局
部匹配結果置於一個帶有二階光滑能量函數的馬爾可夫隨機場中進行迭代優化。
本發明的有益效果主要表現在能夠兼顧全局最優和局部特徵、 得到更精確的匹配結果。


圖1是對於Venus測試數據的結果分析的示意圖，其中Error threshold(pixel):誤差容許範圍(像素)，即橫坐標表示的含義；Bad pixds(°/。)錯誤率(％)，即縱坐標表示的含義；Layered result:分層 匹配結果；Several local results:多個局部匹配結果；Final result:最終結果。
具體實施例方式
下面結合附圖對本發明作進一步描述。
參照圖1， 一種基於全局和局部算法的計算機雙目立體視覺匹配
方法，所述計算機雙目立體視覺匹配方法包括以下步驟
(1 )、對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一 個分層的匹配結果；
(2) 、使用不同窗口大小的窗口匹配法在全局匹配結果的一個小的領 域裡獲得多個不同的局部匹配結果；
(3) 、將這多個局部匹配結果置於一個帶有二階光滑能量函數的馬爾
可夫隨機場中使用QPBO算法進行迭代優化，得到匹配結果。
全局匹配過程 一個好的全局匹配結果是後續優化算法的基礎。
在本文所述算法中，全局匹配是對整個場景的一個基本估計，在後續
的優化中都將保持不變，這個估計滿足的假設是它和真實結果的差不
超過0.5個像素，所以這個全局匹配結果必須相對光滑，並且在物體
邊緣處能夠保持足夠的準確性。基於圖割法的算法，比如a-expansion，在處理帶有滿足正則條件 (regularity condition)能量函數的馬爾可夫隨機場的優化問題中表現 得非常高效。本文採用的能量函數是在使用^expansion算法進行匹配
時最常用到的能量函數，如下所示
，)U)"JD) (1)
其中
五"D) = Z|I々)—IJ;r(x， DW))| (2) 五一,"D)=義.Z min(r,|D(x) —D(力l) (3)
其中，表示4鄰域集合r表示最大的懲罰值。L和iw表示左
右兩幅圖像；D表示視差圖。考慮到效率，這裡我們採用非對稱的模 型，因此，視差圖D將和L聯繫，而Iw將作為參考圖像。左圖上的 一個像素點表示為I工(x)，其在右圖上的視差值為J的匹配點表示為鹼x，
^r這裡我們沒有引入遮擋檢測，這是因為在這個階段的匹配結果如
果帶有噪聲，那麼這種噪聲將會帶到後續的優化中去，影響最後的匹 配結果。而一些比較高效的遮擋檢測算法，比如Wei和Quan (Y Wei and L. Quan, "Asymmetrical occlusion handling using graph cut for multi-view stereo", In Proc. IEEE Computer Vision and Pattern Recognition, 2005, 2, pp. 902-909.魏，全，"使用圖割法的多視圖非對 稱遮擋剔除算法"，美國電氣電子工程師學會計算機視覺與模式識別會 議會報，2005， 2，頁902—909)提出的非對稱遮擋檢測算法會在結 果中引入一些噪聲，所以我們這裡採用不帶遮擋檢測的圖割算法來產 生全局匹配結果。圖1顯示了帶遮擋檢測和不帶遮擋檢測的全局匹配 結果的比較，其中圖的構造和文獻中所提出的方法類似，其優化過程 是採用QPBO-P方法(C. Rother， V. Kolmogorov, V. Lempitsky， and M.Szummer, "Optimizing binary MRFs via extended roof duality", In Proc. IEEE Computer Vision and Pattern Recognition, 2007, 1-8, pp. 1784-1791
羅瑟，科爾莫格洛夫，蘭皮茨基，舒莫，"基於擴展的頂對偶方法的二
值馬爾可夫隨機場模型的優化算法"，美國電氣電子工程師學會計算機
視覺與模式識別會議會報，2007， 1_8，頁1784_1791)，右圖是由
中定義直接獲得的結果。
局部匹配在得到全局匹配的分層結果後，將分層結果作為一個
表面約束，運用基於亞像素的局部匹配算法可以得到一個更為精確的
匹配結果。其中，每一個層次被看成是一個連續的表面，其更準確的
定義將在後面給出。
首先給出的是一個路徑連通性的遞歸定義
畫O) = l (4)
帶可見性檢測的全局匹配結果和不帶可見性檢測的全局匹配結果
'1 lDO)-D(力卜o",(x,力eW
COW(JC,力=
0 o;tenv/se
(5)
其中O"表示一種連接範圍。由此， 一個表面可以使用路徑連通性定 義如下
S) = W Yy e S， c。"0,力=1} (6)
其中，S是定義域，它總是被表示成一個矩形窗口。Surf(x,S)表 示一個以x為中心，定義在S上的表面。根據這個表面定義，之前得 到的全局匹配結果可以被分為幾個連續的表面，由此，局部匹配算法 作用於這些連續的表面上，將避免對深度不連續處產生影響。
因為先前給出的約束條件的成立，即真實的視差值和分層結果的 誤差不超過0.5個像素，則我們可以使用局部算法得到更精確的結果。考慮到算法的效率，我們使用經典的窗口匹配算法，其定義如下所示:
D(x) = arg min a"gfe(v(5W/(x, S)), v(5W/(jc + d, S))) (7)
其中表示原點在x處的窗口中所有灰度值為元素所組成的一維
向量，angle(x,力表示向量x和y的夾角。為了得到更精確的匹配， 這裡將使用更小的視差步長，由於像素點都是整數步長，所以在進行 匹配時，就必須進行差值計算。出於效率考慮，這裡將使用線性插值 計算小數單位像素的灰度值。 '
因為採用了更小步長的視差值，並且其搜索範圍被限制在全局匹 配結果的一個小鄰域中，使得得到的匹配結果會更精確，新的方法具 有明顯的優越性。
在傳統的窗口匹配算法中，噪聲是不可避免的，但使用本文提出 的方法，噪聲被明顯抑制。另一方面，由於採用了亞像素級的局部匹 配算法，全局匹配結果中存在的分層現象被明顯消除"J 。
當更加近距離地觀察匹配結果，亞像素級的光滑性還是比較差 的，。這是由局部匹配算法的獨立性決定的。每個窗口的匹配都是各自 獨立的，和其他的匹配窗口無關。儘管進行了亞像素級的匹配，但這 種獨立性還是存在的。所以為了使得結果更光滑，還需要進行再優化。
局部匹配結果的優化為了優化前面得到的一系列局部匹配結果， 本文提出的方法是將它們兩兩置於一個馬爾可夫模型中進行迭代優 化，如下所示
dw = d,w (8)
D(Jc) = D「argmin￡((l —B)'D(x) + B-D,(x))), '.e[2,A:] (9)
其中，B是一個二值矩陣，當B(x^0時，取值D(x)，否則，取 值D,(x)。 D,(jc)表示第/個局部匹配結果這裡我們採用形如式(1)的能量函數。考慮到先前採用的能量函 數會產生比較明顯的分層效果，這裡將採用更為複雜一點的能量函數， 即帶有二階光滑項的能量函數。二階光滑項使用鄰接的3個像素來定 義表面的光滑性，可以在一定程度上抑制分層現象的產生。產生的結 果會好於傳統的帶有一階光滑項的能量函數。
因為全局的分層結果已經被分成了一系列的連續表面，現階段的
優化也將分別在這些連續表面上進行。所以這裡我們不需要考慮可見
性的問題，從而可以簡化優化的過程。這裡我們採用的能量函數的數
據項將保持不變，但光滑項定義為如下形式
UD)= Z |D(x)-2DO0 + D(Z)|. (10)
這樣的光滑項可以被證明不符合正則條件(V. Kolmogorov and R. Zabih， "What energy functions can be minimized via graph cuts ", European Conf. on Computer Vision, 2002, pp. 65-81.禾鬥爾莫格洛夫，扎 比，"圖割算法可以最小化什麼形式的能量函數？"歐洲計算機視覺會 議，2002，頁65_81)，所以我們無法使用"-expansion算法來對其進 行優化。作為一種替代，這裡將採用二次多項式偽二值優化法 (Quadratic Pseudo Boolean Optimization)來進行優化。這種優化算法 在處理不滿足正則條件的函數的優化問題時，將得到一個部分最優的 解。為了估計其餘部分解的合理性， 一般採用估計的方法。這裡，我 們採用QPBO-P算法。該算法和眾多的同類算法相比，可以得到較好 的結果，但其效率不高。由於本階段優化中所採用的能量函數相對比 較簡單，同時也為了得到更好的結果，我們還是採用了該方法來進行 優化。
經過本階段的優化，我們可以得到一個在視覺上比較好的結果。
16如圖4所示，大部分的噪聲影響已經被消除，並且也沒有產生和明顯 的分層效應。
我們將使用Middlebury(D. Scharstein and R. Szeliski. "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, 2002, 47(1), pp. 742.沙斯坦， 切利斯基，"一種對雙目密集點匹配算法的分類和評價"，計算機視覺 國際期刊，2002， 47 (1)，頁7—42)的測試數據集來測試所提出的 算法。為了使得實驗結果更客觀，在所有的實驗中，我們使用一組同 樣的參數r=2，；i=10,o=l。同時，在第二階段的優化中，我們分別使 用邊長為3, 5， 7, 9， 11, 13, 15, 17, 19和21的窗口來獲得10組局部匹 配結果。當窗口比較小時，更多的細節信息可以得到保持，當窗口比 較大時， 一些大尺度的幾何信息將顯現出來。
圖1顯示了對於Venus測試數據的結果分析。從圖中可以明顯 看出，紅色線條表示的全局匹配得到的分層結果在0.1像素的誤差分 辨率下具有很高的錯誤率。在接下來的局部匹配中，處於高解析度處 的錯誤率明顯下降，但另一方面， 一些低解析度處的錯誤率卻出現了 升高。在最後的優化過程後，如圖中藍色線條表示，處於低解析度和 高解析度處的錯誤率都得到了明顯的下降。換一個角度來說，最後階 段的優化得到的是一系列局部匹配結果的最優組合。
權利要求
1、一種基於全局和局部算法的計算機雙目視覺匹配方法，所述計算機雙目視覺匹配方法包括以下步驟(1)、對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一個分層的匹配結果；(2)、使用不同窗口大小的窗口匹配法在分層結果的一個小的領域裡獲得多個不同的局部匹配結果；(3)、將這多個局部匹配結果置於一個帶有二階光滑能量函數的馬爾可夫隨機場中使用二次多項式偽二值優化法進行兩兩迭代優化，得到匹配結果。
2、 如權利要求1所述的一種基於全局和局部算法的計算機雙目視覺匹 配方法，其特徵在於在所述步驟(1)中，將雙目立體視覺傳感器獲 得的左右兩幅圖像進行匹配的問題，描述為如下能量函數，即該能量 函數的最小值對應於最優匹配formula see original document page 2其中formula see original document page 2其中，iv表示4鄰域集合r表示最大的懲罰值，ii和iw表示左右兩幅圖像；D表示視差圖，視差圖D將和^聯繫，而Iw將作為參考圖 像，左圖上的一個像素點表示為Ii(x)，其在右圖上的視差值為J的匹 酉己點表示為；z(x, J);使用"-expansion算法進行匹配得到一個分層的匹配結果。
3、如權利要求1或2所述的一種基於全局和局部算法的計算機雙目視 覺匹配方法，其特徵在於在所述步驟(2)中，將分層的匹配結果作 為一個表面約束，每個層次被看成一個連續的表面，首先給出的是一 個路徑連通性的遞歸定義co"(x) = l (4) —1 |D(x) —D(力l〈c7,(x,力eW。、co"(x,力= { 1 3z, com(x， z) = cow(_y, z) = 、 乂其中O"表示一種連接範圍，由^，"^個^面使用路徑連通性定義如下5W/(jc， S) =I Yy e S,謹(x，力=1} (6)其中S是定義域，它總是被表示成一個矩形窗口； Surf(x, S)表示一 個以X為中心，定義在S上的表面；根據所述表面定義，步驟(1)中得到的全局匹配結果被分為幾個 連續的表面，局部匹配算法以這些連續表面為約束，使得同時跨越多 個表面的窗口被分割成幾個不同的小部分，各自在其所屬的表面進行匹配，約束條件真實的視差值和分層結果的誤差不超過0.5個像素，即求解範圍被限定在分層匹配結果的士0.5像素的鄰域裡，使用經典的窗口匹配算法，其定義如下所示D(jc) = arg min呵fe(v(SM/"/(X S)), v(5W/(x + d, S))) (7)其中表示原點在x處的窗口中所有灰度值為元素所組成的一維向 量，angle(x,力表示向量x和y的夾角；每一種窗口大小得到一 局部匹配結果。
4、 如權利要求3所述的一種基於全局和局部算法的計算機雙目視覺匹 配方法，其特徵在於在所述步驟(3)中，將步驟(2)得到的一系列局部匹配結果兩兩置於一個馬爾可夫隨機場模型中使用QPBO算法進行迭代優化，如下所示formula see original document page 4其中B是一個二值矩陣，當B(x"0時，取值D(x)，否則，取值D,(x)。 D,<x)表示第/個局部匹配結果；採用帶有二階光滑項的能量函數表示如下￡(D) = ￡rf。,。(D) + JB_rt(D) (1)其中五"D) = ")-"(;r" D(x)))i (2)二階光滑項使用鄰接的3個像素來定義表面的光滑性，光滑項定 義為如下形式U= Z IDW-2D(力+ D(z)卜 (10) 採用二次多項式偽二值優化法來進行優化，得到匹配結果。
5、 如權利要求2所迷的一種基於全局和局部算法的計算機雙目視覺匹 配方法，其特徵在於在所述步驟(1)中，採用不帶遮擋檢測方法。
6、 如權利要求3所述的一種基於全局和局部算法的計算機雙目視覺匹配方法，其特徵在於在所述步驟(2)中，使用小的視差步長，在進行匹配時使用線性插值計算小數單位像素的灰度值。
全文摘要
一種基於全局和局部算法的計算機雙目視覺匹配方法，包括以下步驟(1)對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一個分層的匹配結果；(2)使用不同窗口大小的窗口匹配法在全局匹配結果的一個小的領域裡獲得多個不同的局部匹配結果；(3)將這多個局部匹配結果置於一個帶有二階光滑能量函數的馬爾可夫隨機場中進行迭代優化，得到匹配結果。本發明提供一種能夠兼顧全局最優和局部特徵、得到更精確的匹配結果的基於全局和局部算法的計算機雙目視覺匹配方法。
文檔編號G06T7/00GK101625761SQ20091010151
公開日2010年1月13日 申請日期2009年8月6日 優先權日2009年8月6日
發明者盛 劉, 毛國紅, 王中傑, 秋 管, 陳勝勇 申請人:浙江工業大學