一種用於立體視覺系統的雙目立體匹配方法
2023-09-16 16:05:30
專利名稱：一種用於立體視覺系統的雙目立體匹配方法
技術領域：
本發明涉及計算機立體視覺領域，具體涉及一種用於立體視覺系統的雙目立體匹配方法。
背景技術：
在計算機立體視覺領域，雙目立體匹配主要是通過找出每對圖像間的對應關係，根據三角測量原理，得到視差圖；在獲得了視差信息後，根據投影模型很容易地可以得到原始圖像的深度信息和三維信息。雙目立體匹配技術被普遍認為是立體視覺中最困難也是最關鍵的問題。每年都有許多新的雙目立體匹配算法被提出來。但是由於該問題本身就是一個病態問題，這使得雙目立體匹配成為一個較難解決的問題。現有的雙目立體匹配算法分為兩大類，全局立體匹配算法和局部立體匹配算法，但很難有一種算法能解決所有的實際問題。雙目立體匹配算法的一般流程為，左右視圖的獲取，視圖的校正，立體匹配。視圖校正以後，使得匹配點尋找可以在一維搜索空間實現。局部立體匹配算法大都建立支持窗口，實現匹配點在極線上一維搜素，算法複雜度小，但匹配精確度差。相比而言，全局立體匹配算法利用整幅圖像的信息，構造具有數據項和平滑項的能量函數，數據項表徵圖像像素點相似程度，而平滑項表徵圖像的結構信息，所以全局立體匹配算法獲取的視差圖是全局優化的結果，匹配精度較高，相應的其算法複雜度較大。
發明內容
為了解決現有技術中全局立體匹配算法計算複雜度較高的問題，本發明提供了以下的技術方案一種用於立 體視覺系統的雙目立體匹配方法，包括以下步驟A計算左右視圖的初始視差圖並確定GCP點(ground control points路徑控制點地面控制點)；B確定圖像每個GCP點的控制區，並估計控制區非遮擋點的視差範圍；C對GCP區非遮擋點，構造能量函數，求取能量函數極小值，獲得非遮擋點的可信視差值；D利用局部信息對視差圖進行後處理，得到優化視差圖；優選的，所述步驟B包括以下步驟BI確定GCP點的控制區。對於GCP點，考慮其水平方向上左邊和右邊的點，當其周圍的點和該GCP點的測地距離大於某一個閾值的時候，即找到GCP點控制區的左右邊界。邊界所界定的區域即為該GCP點的控制區域。根據以下公式計算GCP點的控制區域。DX_GCP〈 Xdistance其中Dx_ot代表GCP左右點到GCP點的測地距離。測地距離表示當前點和GCP點的色彩差異，但是要保證當前點到GCP點的水平路徑上沒有色彩的階躍變化。
λ distance代表測地距離的閾值。若測地距離足夠小則表示該點屬於GCP點的控制區。反之，不屬於該點的控制區。若當前點同時滿足兩個GCP點的控制區域要求，則選擇測地距離較小所對應的那個GCP點。若當前點沒有被分配到GCP控制區，則暫時不處理。B2估計GCP點控制區非遮擋點的視差值。左右圖中相匹配的GCP點都有一個相應的控制區域，得到兩個控制區域以後，利用其控制區域的邊界點坐標，估計GCP控制區內像素點的視差範圍。實現方法如下。假設P·，P·分別代表左右圖中匹配的GCP點，兩個控制區域的坐標差值有一個變化範圍，這個變化範圍作為當前GCP控制區像素點的視差範圍，還可以再加上一個浮動範圍山構成了 GCP控制區的彈性視差範圍。優選的，所述步驟C包括以下步驟Cl構造能量函數的數據項部分。能量函數的數據項部分是GCP控制區內以每個像素點為中心生成的測地距離區域的匹配代價和。構建的匹配代價方法如下對左圖中GCP的控制區域，在視差估計的範圍內，選取一個視差值，找到其在右圖中的匹配點，以這兩個匹配對點建立測地距離區域，將測地區域內像素點的色彩差異作為匹配代價。C2構造能量函數的平滑項部分。獲取全局GCP點的拓撲結構，轉化為對每一個像素點位置進行定位的結構信息。結構信息的差異構成了平滑項。具體實現方法如下對於GCP控制區域的每一個點，其相對於全局GCP點的位置是唯一的。這樣統計控制區域中一個點在各個方向 上GCP點的數目，結果可以作為該點的特徵。同樣的方法找到右圖中匹配點GCP分布特徵。這兩個特徵的差異即為平滑項的一部分。C3利用GC優化方法求解構造的能量函數，獲取GCP控制區點的可信視差值。GC優化算法為控制區域內的所有點整體分配合適的視差值。本發明的有益效果是本發明，提出一種基於GCP控制區的半全局優化立體匹配算法，利用局部立體匹配算法的結果，得到視差值可信的GCP點，結合全局立體匹配算法的思想，合理地利用局部數據信息和全局結構信息對每一個GCP控制區域構造新的能量優化函數，完成多GCP控制區域像素點的視差值分配。本發明很好的融合了兩種算法的特點，既減小了算法的複雜度，又保證了算法的精確度。有效解決了局部立體匹配算法精度低的和全局算法複雜度高的問題。
圖1是本發明具體實施例的流程圖。圖2是圖1實施例的步驟結構流程圖。圖3是圖2初始視差圖獲取及GCP點確定的流程圖。圖4是圖2 GCP點控制區獲取以及控制區內非遮擋點視差估計流程圖。圖5是圖2基於GCP控制區半全局優化算法的流程圖。圖6是圖2視差圖後處理流程圖。
圖7是測地生成區域示意圖。圖8是全局GCP信息統計示意圖。
具體實施例方式以下結 合附圖對本發明作進一步詳細的說明。如圖1所示，用於立體視覺系統的雙目立體匹配方法的一個實施例包括以下步驟A計算左右視圖的初始視差圖並獲取圖像的的GCP點；B確定圖像每個GCP點的控制區，並估計控制區像素點視差範圍；C對GCP區內像素點，構造能量函數，求取能量函數極小值，使得控制區內像素點獲取可/[目視差值；D利用局部信息對視差圖進行後處理，得到優化視差圖；更具體的，如圖2所示，本發明的實施例中包括以下四個處理步驟100獲取初始視差圖，標記圖像GCP點；200確定圖像每個GCP點的控制區，並估計控制區非遮擋點的視差範圍步驟；300對GCP區非遮擋點，構造能量函數,求取能量函數極小值，獲得非遮擋點的可視差值步驟；400利用局部信息對視差圖進行後處理，得到優化視差圖步驟；100計算左右視圖的初始視差圖並確定GCP點步驟101犾取左右視圖的初始視差圖。以左圖為參考圖，利用基於SAD的局部立體匹配算法(該算法可參考例如文獻T. Kanade. Development of a video-rate stereomachine.1n Image Understanding Workshop, pages 549 - 557, Monterey, CA, 1994.Morgan Kaufmann Publishers.)計算右圖的初始視差值。同理以右圖為參考圖,利用局部立體匹配算法計算左圖的視差圖。這樣得到左右圖的初始視差圖。102對左右初始視差圖進行左右一致性檢測，不滿足左右一致性檢測的點被標記為遮擋點。假設初始左右視差圖分別為Du De, xl表示為左視差圖中的一像素點，如公式(I)所示Dl (xl) =De (xl+Dl (xl) ) (I)左視差圖中的像素點&若等於右視差圖中與其匹配的像素點的視差值，則表示左視差圖中該點滿足左右一致性檢測。同樣，對於右時差圖中的一像素點xK，如公式(2)所示
權利要求
1.一種用於立體視覺系統的雙目立體匹配方法，其特徵在於包括以下步驟 A.獲取左右視圖的初始視差圖並確定圖像的GCP點； B.確定圖像每個GCP點的控制區，並估計控制區非遮擋點的視差範圍； C.對GCP區非遮擋點，構造能量函數，求取能量函數極小值，獲得非遮擋點的可信視差值; D.利用局部信息對視差圖進行後處理，得到優化視差圖；利用優化視差圖，實現立體匹配。
2.如權利要求1所述的用於立體視覺系統的雙目立體匹配方法，其特徵在於所述步驟B包括以下步驟 B1.確定GCP點的控制區對於GCP點，考慮其水平方向上左邊和右邊的點，當其周圍的點和該GCP點的測地距離大於閾值的時候，即找到GCP點控制區的左右邊界；邊界所界定的區域即為該GCP點的控制區域；即根據以下公式計算GCP點的控制區域 Dx-GCP〈 X distance 其中Dx-ecP代表GCP左右點到GCP點的測地距離，測地距離表示當前點和GCP點的色彩差異，但是要保證當前點到GCP點的水平路徑上沒有色彩的階躍變化；若在路徑上碰到階躍，階躍點位置即為控制區域的邊界；其中X —代表測地距離的閾值；若測地距離足夠小則表示該點屬於GCP點的控制區，反之，不屬於該點的控制區；若當前點同時滿足兩個GCP點的控制區域要求，則選擇測地距離較小所對應的那個GCP點。若當前點沒有被分配到GCP控制區，則暫時不處理。
3.如權利要求1或2所述的用於立體視覺系統的雙目立體匹配方法，其特徵在於所述步驟B還包括包括以下步驟 B2.估計GCP點控制區非遮擋點的視差值得到左右圖中相匹配的GCP點相應的控制區域以後，利用其控制區域的邊界點坐標，估計GCP控制區內像素點的視差範圍，實現方法如下 兩個控制區域的坐標差值的變化範圍作為當前GCP控制區像素點的視差範圍。
4.如權利要求3所述的用於立體視覺系統的雙目立體匹配方法，其特徵在於所述步驟B2中還包括再加上一個浮動範圍d,構成GCP控制區的彈性視差範圍。
5.如權利要求1中所述的所述的用於立體視覺系統的雙目立體匹配方法，其特徵在於所述C步驟包括以下步驟 Cl構造能量函數的數據項部分能量函數的數據項部分是GCP控制區內以每個像素點為中心生成的測地距離區域的匹配代價和； C2構造能量函數的平滑項部分獲取全局GCP點的拓撲結構，轉化為對每一個像素點位置進行定位的結構信息，該結構信息的差異構成了平滑項； C3利用GC優化方法求解構造的能量函數，獲取GCP控制區點的可信視差值；所述GC優化方法為控制區域內的所有點整體分配合適的視差值。
6.如權利要求5中所述的所述的用於立體視覺系統的雙目立體匹配方法，其特徵在於所述C步驟包括以下步驟步驟Cl中構建的匹配代價方法如下 對左圖中GCP的控制區域，在視差估計的範圍內，選取一個視差值，找到其在右圖中的匹配點，以這兩個匹配對點建立測地距離區域，將測地區域內像素點的色彩差異作為匹配代價。
7.如權利要求5或6中所述的所述的用於立體視覺系統的雙目立體匹配方法，其特徵在於步驟C2具體實現方法如下 對於GCP控制區域的每一個點，其相對於全局GCP點的位置是唯一的。這樣統計控制區域中一個點在各個方向上GCP點的數目，結果可以作為該點的特徵。同樣的方法找到右圖中匹配點GCP分布特徵。這兩個特徵的差異即為平滑項的一部分。
全文摘要
本發明公開了一種用於立體視覺系統的雙目立體匹配方法，包括計算左右視圖的初始視差圖並獲取圖像的GCP點；確定圖像GCP點的控制區域，並估計控制區域內非遮擋點的視差範圍；對每個GCP控制區域，構造能量函數，利用GC求取能量函數極小值，獲取非遮擋點的可信視差值；利用局部信息對視差圖進行後處理，得到優化的視差圖。本發明通過尋找視差圖像的GCP點，利用GCP點估計其控制區像素點的視差範圍，利用GC優化方法求解能量函數的極值問題，為GCP控制區像素點分配合理的視差值，最後用局部信息對視差圖進行後處理。本發明提出一種利用GCP點進行半全局優化求取視差圖的算法，可以獲取質量較好的結果。
文檔編號G06T7/00GK103049903SQ20121047692
公開日2013年4月17日 申請日期2012年11月21日 優先權日2012年11月21日
發明者王好謙, 吳勉, 張永兵, 戴瓊海 申請人:清華大學深圳研究生院