一種基於自適應分水嶺的圖割的雙目立體匹配方法
2023-04-24 09:43:01
專利名稱：一種基於自適應分水嶺的圖割的雙目立體匹配方法
技術領域：
本發明涉及一種雙目數字圖像的處理方法，特別涉及一種基於自適應分水嶺的圖割的雙目立體匹配方法。
背景技術：
隨著多媒體技術的不斷發展，圖像和視頻技術也由二維向三維發展，交互性將成為未來多媒體技術的一個主要特徵。交互式三維視頻系統的關鍵技術之一就是虛擬視點繪製合成。虛擬視點繪製合成是所有立體顯示系統終端不可缺少的模塊，在遠程視頻會議、自由視點立體電視等高端多媒體領域中也具有至關重要的作用。為了使用戶可以在場景中漫遊，實現「連續的環視」，在多視點視頻採集的過程中，攝像機的數量應儘可能多，但由於放置無限個攝像機以實現視點無縫切換的不現實性，為了顯示任意視點的視圖，必須在客戶端進行虛擬視點的合成，通過對已有視點的分析，合成用戶所要觀察的視點。因此，虛擬視點合成技術是多媒體領域一項非常重要的新興技術。首先需要有精確的立體匹配方法獲得視差圖或深度圖才能完成虛擬視點合成技術。與灰度圖像相比，深度圖像具有物體三維特徵信息，即深度信息。由於深度圖像不受光源照射方向及物體表面的發射特性的影響，而且不存在影響，可以得到三維物體更可靠的幾何信息，所以更準確地表現物體目標表面的三維深度信息。深度圖在視頻編碼中的作用很大，可以有效的提高多視像傳輸和多視圖視頻傳輸的編碼效率。正因為如此，深度圖像分析越來越受到計算機視覺、圖像分析等研究領域的重視，在工業領域特別是在機器人視覺、自動導航、工業零件的自動檢測和自動裝配等領域，得到了越來越廣泛的應用。對於深度圖的獲取方面，圖割作為一種基於圖論的組合優化技術，在用來最小化計算機視覺中的能量函數問題上被眾多研究者所使用，目前已有許多新技術應用於該領域。RichardSzeliski等人把當前常用的幾種能量函數最小化方法在解的質量和運行時間等方面進行了比較，發現與傳統的8種方法(模擬退火方法、M-估計法等)相比，圖割方法不僅總體精度高，而且在不連續區域和低紋理區域的精度也比其它方法都高° (參見 D Scharstein, R Szelisk1. Ataxonomy and evaluation of densetwo-frame stereo correspondence algorithms[J]·InternationalJournal ofComputer Vision, 2002，47 (I) : 7-42.)。不僅如此，即使有些方法(如模擬退化方法)的精度和圖割方法的精度接近，但圖割方法在優化過程中收斂更快(參見R Szelisk, IR Zabih. An experimental comparison of stereo algorithms[A].Proceedings ofthe International Workshop onVision Algorithms:Theory and Practice[C].Springer-Verlag London, UK. Lecture Notes inComputer Science, 2000，1883:1-19)。利用圖割方法最小化能量方程函數可以將圖像映射為網絡圖，圖像的特徵就可以用圖論的方法進行處理，在優化能量函數時，運用圖割的方法在二值標號問題中可以得到能量函數的全局最小；在多標號問題中可以得到帶有很強特徵的局部最小，圖割方法還可以保證能量函數的解收斂到全局最小，且實際效率較高，得到的數值解有很強的魯棒性。
在Middlebury網站中幾乎所有的這些好的方法在立體匹配時都使用圖像分割。基於分割的立體匹配方法能夠很好實現平坦區域的重建。這些方法的出現有一個潛在的問題就是在應用在動態視頻序列中。圖像分割在視頻幀間是相互矛盾的，深度估計的結果常常呈現不連續的跳躍現象。例如，Hai Tao, Harpreet S，Sawhney I, Rakesh Kumar提出了將3D場景通過圖像分割將顏色或分為不同平面，他們假設同一顏色的圖像區域與三維表面一致。這個想法鼓舞了很多現有的有關立體匹配的研究。這種模型使用一個遞增方程來進行估計。這個方程能夠優化與空間顏色相關的一致性和平滑項的能量方程(參見 H. Tao, H. S. Sawhney, R. Kumar. Dynamic depth recovery from multiple synchronizedvideo streams. CVPR, 2001. ) 0. J. Woodford, P. H. S. Torr,1. D. Reid, A. ff. Fitzgibbon 提出基於「QPB0」方法的擴展法來有效的優化能量方程，但是這會帶來三倍於二階約束項的計算量。然而這種方法對於平坦區域能夠有很好的效果，對於處理紋理表面比如有摺疊在不同方向上有不同紋理區域效果並不好(參見0. J. Woodford, P. H. S. Torr,1. D. Reid, A.ff. Fitzgibbon. Global stereo reconstruction under secondorder smoothness priors.CVPR, 2008.)。又如Tsin的方法核心是使用3D點作為無參數平滑約束。但是，沒有提出 全局方法來最小化它們的能量方程。相反，他們使用每個像素「winner-take-alI 」的估計策略，其對初始深度估計敏感(參見 Y. Tsin. Kernel Correlation as anaffinity measurein point-sampled vision problems. PhD thesis, Robotics Institute, CarnegieMellonUniversity, September 2003·)。王年，範益政,鮑文霞等提出一種基於圖割的匹配方法。相對於以往的基於圖割的方法該方法不需要攝像機的位置信息以及運動信息，並把標號從一維推廣到二維，從而使本方法適用於更一般情形下的匹配問題，此外，為了更利於網絡的構造和方法的實現，此文獻中通過用像素的梯度向量的距離來代替平滑項(參見王年，範益政，鮑文霞等.基於圖割的圖像匹配方法.電子學報，2006，34(2) :232-235.)。張令濤，曲道奎，徐方提出了一種基於圖割的改進立體匹配方法，方法通過區域匹配方法得到每個像素的初始視差值，然後只保留完整網格圖的部分可能的視差值，去除其餘大部分的節點和邊緣，建立簡化的網格圖，該方法大大縮減了網格圖的容量，縮短匹配所用的時間，並且能夠選用更大的視差範圍(參見張令濤，曲道奎，徐方.一種基於圖割的改進立體匹配方法.機器人，2010，32 (I): 104-108.)。朱程輝，任冉冉提出一種快速立體匹配方法，把圖像分割成顏色單一的不同區域；計算初始視差圖，利用可靠點求取各分割區域的平面模板參數，對模板參數相同的相鄰區域進行融合；構造全局能量方程，採用圖割方法求取全局能量最小的視差最優分配。該方法對低紋理區域和遮擋區域有較好的匹配結果(參見朱程輝，任冉冉.一種基於圖割理論的快速立體匹配方法.微型機與應用，2010，10:35-38.)。本發明對 Middlebury 平臺中，Yang Q, Yang R, DavisJ, Nister D 的方法 Double BP(參見 Yang Q, Yang R, Davis J, Nister D. Stereo matchingwithcolor-weighted correlation, hierarchical belief propagation and occlusionhandling[J] · PatternAnalysis and Machine Intelligence, 2009, 31 (3):492-504.)；Klaus A, Sormann M, Karner K 的方法 AdaptBP (參見 Klaus A, Sormann M, KarnerK. Segment based stereo matching using beliefpropagation and a self adaptingdissimilarity measure[A]. Proceedings of the 18th InternationalConference onPattern Recognition (ICPR 2006) [C]，2006:15-18.);伍春洪，付國亮的方法 K-均值分割(參見伍春洪，付國亮.一種基於圖像分割及鄰域限制與放鬆的立體匹配方[J].計算機學報· 2011，34(4) :755-760. ) ;Sang Hwa Lee, Siddharth Sharma 的 SAD 方法(Sang HwaLee, Siddharth Sharma. Real-time disparity estimation algorithm for stereo camerasystems [J].1EEETransactions on Consumer Electronics, 2011，57 (3) : 1018-1026.)的相關數據來進行比較，詳見表I。虛擬視點繪製中立體匹配技術還有諸多環節和關鍵方法上存在較大的改進空間。基於分割的立體匹配方法能夠很好地實現平坦區域的重建。這些方法應用在動態視頻序列中就不能解決視頻幀間相互矛盾的問題，深度估計的結果常常呈現不連續的跳躍現象。
發明內容
本發明要解決的技術問題是為克服現有技術的不足，本發明提供一種基於自適應分水嶺的圖割的雙目立體匹配方法，實現一種在稀疏圖下的像素匹配，使不連續的邊界保留得很好而不需要圖像分割作為預處理項。本發明避免了預處理中使用分割，並且在動態視頻序列中能夠恢復實時穩定的深度值，在每一幀單獨處理時也能得到很好的效果。本發明的約束項模型是大領域無參數的。無參數模型將圖像特徵用深度值表示時不需要使用明確的固定階的約束項，這樣計算量就大大降低。大鄰域能夠使本發明更靈活地獲得更好的目標邊界，在不連續的邊界和高摺疊紋理區域都得到很好的效果。在不影響合成視圖質量的同時解決了靜態圖像和動態視頻序列的矛盾性，深度估計的結果不會呈現不連續的跳躍現象。實驗結果表明通過Middlebury平臺對本發明方法定量評估得出在所有區域誤匹配、非遮擋區域以及深度不連續區域的誤匹配率都控制在8. 5%以內，在Middlebury平臺135組數據中排名第19位。本發明具有穩定可靠、精度高、抗幹擾能力強的優點。另外，通過對表I對比，可以得出本發明屬於全局優化方法，與局部優化方法K-均值分割和SAD方法相比較,從表I不同類方法錯誤百分比的數據比較中可以看出，本發明的各項錯誤率均明顯低於局部優化方法。而同類方法中，本發明的錯誤百分比略高於平臺上最優方法AdaptBP，但低於平臺上最優方法Doub IeBP。本發明解決其技術問題所採用的技術方案包括一種基於自適應分水嶺的圖割的雙目立體匹配方法，其特徵在於包括以下步驟(I)輸入拍攝自同一場景，同一時刻的兩幅圖像，這兩幅圖像在拍攝視角上和平行度上都可以存在差異；(2)判斷兩幅輸入圖像與攝像機個數是否匹配，若不同，提示錯誤並跳出；若相同，讀取相關數據，加載圖像並執行步驟(3)；(3) —種自適應分水嶺方法，提出了新的自適應局部閾值方法，並將其應用於分水嶺結合Prim算法的區域融合中。具體是這個方法包括兩個主要步驟首先，使用分水嶺分割方法將圖像分割成大量的區域；第二步是一個重複的過程，在此區域被融合且達到局部閾值停止融合。融合過程的順序參照Prim最小生成樹方法，在圖表中找出最小值生長樹的方法，在融合過程中我們追蹤每個區域的變化並將變化的特徵保存下來；(4)根據步驟(3)中求出的融合區域作為標號，建立能量方程，使用大領域無參數深度平滑模型來建立圖割的能量方程的立體匹配方法；
(5)為一種能量函數最小化的方法即立體匹配的方法，具體是對於步驟(4)中的能量方程進行最小化過程。使用優化的α-擴展法，尋找匹配點時不需要對整幅圖進行搜索，而是利用最小生成樹的區域中像素範圍來搜索，在範圍內搜索區域像素，尋找匹配點，否則不搜索。上述所述步驟(3)中的基於自適應分水嶺建立標號，採用以下步驟實現( i )對加載的圖像應用Canny邊緣檢測算子來得到梯度度量的圖像；(ii)經過分水嶺分割，並使其投影到彩色圖像，輸出即是將Iwateleft, Iwaterright分別分割成η個不重疊的過分割的區域圖像；(iii)使用Prim方法來生成最小生成樹，令G=(V，E)為RAG結構，表示對圖像 Iwaterleft的初始分割，其中e(i，j)的權值為函數/(<,0的值。產生MST的過程即融合區域的過程；(iv) —般的融合方法都是只設置單個閾值，達到這個值就停止融合，但是這樣容易造成不必要的誤差，本發明提出一種自動計算局部閾值(即自適應局部閾值)，這樣經過Prim算法後得到的每個區域由於閾值不同所以大小是不同的，並且可以根據所需精度進行調整。由於融合不同區域時，區域的同一性質就會產生比較大的變化，本發明利用這個變化來確定局部閾值，簡單來說就是融合過程中，一旦融合的區域不同就停止融合；(v)通過(i ) - (iv)步驟獲得一個T樹。繼續使用Prim方法和自適應局部閾值方法得到最小生成樹來完成估計最初密集圖。從原始圖排除樹邊界，剩餘圖仍然很密集。為了更好的估計，在剩餘圖的第二個樹仍然使用Prim方法。此外，反覆尋找T樹，並且合併所有這些樹去合成稀疏圖以估計原始密集圖，這樣一個稀疏圖Gs至多有T(L-1)個邊界。上述所述步驟(4)中，基於步驟(3)建立能量方程，方法如下( i )圖的一致項￡_ (°!，Dr) = He- [dP^dCl)，其中 Clp=D1 (P)是
圖1l 中像素 P 的視
差，Q=P+D1是圖1r■中P的相對應的像素，dq=Dr(q)是Ir^中q的視差。( ii )選用的平滑項如下
權利要求
1.一種基於自適應分水嶺的圖割的雙目立體匹配方法，其特徵在於包括以下步驟 (1)輸入拍攝自同一場景，同一時刻的兩幅圖像，這兩幅圖像在拍攝視角上和平行度上都可以存在差異； (2)判斷兩幅輸入圖像與攝像機個數是否匹配，若不同，提示錯誤並跳出；若相同，讀取相關數據，加載圖像並執行步驟(3)； (3)—種自適應分水嶺方法，提出了新的自適應局部閾值方法，並將其應用於分水嶺結合Prim算法的區域融合中。具體這個方法包括兩個主要步驟首先，使用分水嶺分割方法將圖像分割成大量的區域；第二步是一個重複的過程，在此區域被融合且達到局部閾值停止融合。融合過程的順序參照Prim最小生成樹方法，在圖表中找出最小值生長樹的方法，在融合過程中我們追蹤每個區域的變化並將變化的特徵保存下來； (4)根據步驟(3)中求出的融合區域作為標號，建立能量方程，使用大領域無參數深度平滑模型來建立圖割的能量方程的立體匹配方法； (5)—種能量函數最小化的方法即立體匹配的方法，具體是對於步驟(4)中的能量方程進行最小化。使用優化的α-擴展法，尋找匹配點時不需要對整幅圖進行搜索，而是利用最小生成樹的區域中像素範圍來搜索，在範圍內搜索區域像素，尋找匹配點，否則不搜索。
2.根據權利要求1所述的一種基於自適應分水嶺和圖割的雙目立體匹配方法，其特徵在於所述步驟(3)中的基於自適應分水嶺建立標號，採用以下步驟實現 (i )對加載的圖像應用Canny邊緣檢測算子來得到梯度度量的圖像； (ii)經過分水嶺分割，並使其投影到彩色圖像，輸出即是將IwatOTlrft，Iwatmigh分別分割成η個不重疊的過分割的區域圖像； (iii)經典最小生成樹方法有Kruskal方法和Prim方法。通過比較，兩者都屬於貪心方法，而運行時間上，Prim方法優於Kruskal方法。本發明使用Prim方法來生成最小生成樹，令G=(V, E)為相鄰區域曲線圖(RAG:Region Adjacency Graph)結構,表示對圖像Iwaterleft的初始分割，其中
3.根據權利要求1所述的一種基於自適應分水嶺和圖割的雙目立體匹配方法，其特徵在於所述步驟(4)中基於步驟(3)建立能量方程，方法如下 (i )圖的一致
4.根據權利要求1所述的一種基於自適應分水嶺和圖割的雙目立體匹配方法，其特徵在於所述步驟(5)中在能量方程最小化的方法即優化後的α-擴展方法實現為(i )初始化能量函數的值為O，根據視差範圍設置緩衝區的個數，並初始化迭代次數為O ；(ii)產生標號的隨機排列，依次選擇標號進行α-擴展操作，利用最小生成樹的區域中像素範圍來搜索，在範圍內搜索區域像素，尋找匹配點，否則匹配點不在該區域內，不進行搜索；(iii)標號集中的標號循環一次後輸出一個能量值，迭代次數增加1，重複(ii)的操作；(iv)直到迭代次數達到最大值或者緩衝區個數減為O時，方法結束；(V)根據步驟(i ) - (iv)完成能量函數最小化的過程之後，根據得到的視差分布最終得到深度圖1ui, Ied。
全文摘要
本發明提出一種基於自適應分水嶺的圖割的雙目立體匹配方法，本發明提出了新的自適應局部閾值方法，並將其應用於分水嶺結合Prim方法的區域融合中。使用自適應分水嶺對圖像進行處理，使圖中像素以一定關係將圖像分割成不同的區域並分配標號來建立能量方程，並提出新的大領域無參數的平滑約束模型。最後通過優化的α-擴展法，利用最小生成樹的區域中像素範圍來搜索，在範圍內搜索區域像素，尋找匹配點，否則不搜索。大鄰域能夠使本發明更靈活地獲得更好的目標邊界，在不連續的邊界和高摺疊紋理區域都得到很好的效果。在不影響合成視圖質量的同時解決了靜態圖像和動態視頻序列的矛盾性，深度估計的結果不會呈現不連續的跳躍現象。
文檔編號G06T7/00GK103020964SQ20121050178
公開日2013年4月3日 申請日期2012年11月29日 優先權日2012年11月29日
發明者祝世平, 楊柳 申請人:北京航空航天大學