基於圖像分割的大面積低紋理區立體匹配算法的製作方法
2023-07-22 08:07:51
專利名稱：基於圖像分割的大面積低紋理區立體匹配算法的製作方法
技術領域：
本發明涉及計算機視覺、數字圖像處理和圖像分割領域，特別是涉及一種基於圖像分割的大面積低紋理區立體匹配算法。
背景技術：
立體視覺在實質上是從左右圖片恢復被拍照物體三維信息的過程。立體視覺中的立體匹配環節，一直是制約立體視覺發展的瓶頸，也是立體視覺中研究領域的熱點問題。近年來，隨著計算機科學、人工智慧、以及機器人技術等其它相關領域學科的發展，隨著攝像機和計算晶片性能的提高，立體視覺技術正在更加廣泛地應用於各個方面。立體視覺在車輛導航，工業檢測，地圖繪製，物體三維重構等多方面有十分廣闊的應用。多尺度分析是正確認識事物和現象的重要方法之一。研究者們在劃分圖像的邊緣和紋理時，發現圖像的邊緣和紋理的識別依賴於圖像分析的尺度，於是產生了在不同的尺 度下檢測圖像特徵的方法。目前，很多文獻提到採用多尺度的圖像處理方法，其核心內容是建立圖像金字塔，把圖像信息分層次的表現出來隨著採樣尺度的大小不同，得到的圖像解析度也不同。這種方法的優勢非常明顯，在某種解析度下不能注意到的圖像特徵在另一種解析度下就可以很容易的發現了。需要從較小的尺度來觀察圖像的細節信息，從較大尺度來觀察圖像的整體特徵。利用低通濾波構建多解析度金字塔的方法實現簡單，時空複雜度較低。通過這種方式，把立體匹配過程嵌入到「由粗到精」的離散尺度空間當中，粗解析度下的匹配結果作為進一步精匹配的指導。這種方法在一定程度上能提高匹配精度，加快匹配速度。圖像分割把一幅圖像中具有相似特性的不同區域分別劃分出來。而正確、有效的圖像分割能夠為進一步目標識別和圖像分析奠定良好的基礎。Mean Shift的最初含義就是偏移的均值向量，但隨著Mean Shift理論的發展,一般情況下提到Mean Shift算法,是指一個迭代至收斂的過程。Comaniciu等人把Mean Shift理論引入數字圖像處理領域,在解決圖像平滑和圖像分割很有效。算法的過程就是先找出當前點的偏移均值，然後把該點移動到其偏移均值，再把這個結果作為新的起始點，迭代計算並移動直到滿足約束條件的過程。而利用Mean Shift算法進行圖像分割，就是把收斂到相同點的像素都歸類，然後把不同類別記錄下來，區分標示。在實際工作中，為了獲得更好的圖像分割結果，有時還需要把含較少象素點的類歸併。目前的匹配算法有全局匹配和局部匹配兩大類，全局匹配有動態規劃、圖切、模擬退火和置信傳播等算法，這類算法通過在全局中計算最優解來求取視差圖，得到的視差圖在整體上有很好的效果，但是匹配速度非常慢，基於全局的立體匹配算法，會把待匹配點的周圍信息儘可能多的引入，起到擴大鄰域的作用，此時可以在某種程度上解決非紋理區匹配的問題。這類方法儘管時空複雜度都高一些，但是獲得的視差圖更加準確。然而，對於大片非紋理區，全局算法並不能獲得完美的效果，它只能是把靠近紋理區的視差計算出來。而傳統的基於圖像灰度的局部立體匹配方法，對於紋理區的匹配效果都比較好，而對於非紋理區匹配效果往往不盡人意。尤其是對於大片的非紋理區域，按照局部匹配算法計算的視差基本失效。
發明內容
本發明的目的在於提供一種克服常規算法不能處理低紋理區匹配的不足的基於圖像分割的大面積低紋理區立體匹配算法。本發明的目的是這樣實現的基於圖像分割的大面積低紋理區立體匹配算法包括下列步驟步驟一根據實際需求對立體像對進行預處理；步驟二 把經過預處理的立體像對按照三個方向進行處理，分三個支路支路I: 利用mean shift算法對基準圖進行圖像分割，積累窗口的形狀為圖像後每個聚類的形狀，生成視差圖disp_seg ；支路2:利用多窗口算法,在多尺度空間內計算視差圖disp_Mutiscales ；支路3:在基準圖像劃分紋理區及非紋理區表示結果為Texture_Picture ；步驟三根據步驟二中3個支路產生的結果，合成視差圖；支路3生成的Texture_Picture圖像標明了圖像紋理區和非紋理區；支路2所生成的視差圖disp_Mutiscales在紋理區是準確的，而在大片的非紋理區中，支路I生成的視差圖disp_seg在劃分好聚類的區域是準確的；因此能按Texture_Picture的標記,綜合disp_Mutiscales、disp_seg 的結果，合成準確的視差圖為Texture_compose ；步驟四對生成的視差圖進行後期處理。本發明的方法的主要特點如下I、本發明嵌入多尺度的匹配方法，利用上層視差的結果指導下層計算，有助於提高匹配速度和準確程度。2、本發明在多尺度空間的每一層中都使用多窗口算法進行立體匹配，保證了最大限度的引入了紋理區信息，使得紋理區以及非紋理區中靠近邊界的區域匹配結果準確。3、本發明利用了 mean shift的聚類功能，把非紋理區待匹配的像素最大化地和周圍聯繫起來，把圖像分割的結果作為積累窗口的形態，這一針對大面積非紋理區的立體匹配方法有很好的效果。4、本發明根據對紋理區和非紋理區的劃分結果，綜合兩種視差圖生成最終結果，保證了最終視差圖的準確性和稠密性的要求。
圖I為視差圖求解流程圖；圖2為建立多尺度圖像金字塔示意圖；圖3a_i為多窗口的匹配窗口示意圖；圖4a為第一組原始立體像對左圖4b為第一組原始立體像對右圖；圖5a第一組原始實驗數據多窗口匹配結果的差圖；圖5b第一組原始實驗數據SSD匹配結果的差圖；圖6為第一組原始實驗數據的大面積存在的非紋理區；圖7為本發明算法的第一組原始實驗數據生成的視差圖；圖8a為第二組原始立體像對左圖；圖8b為第二組原始立體像對右圖；圖9a第一組原始實驗數據多窗口匹配結果的差圖；
圖9b第一組原始實驗數據SSD匹配結果的差圖；圖10為第二組原始實驗數據的大面積存在的非紋理區；圖11為本發明算法的第二組原始實驗數據生成的視差圖；圖12a為第三組原始立體像對左圖；圖12b為第三組原始立體像對右圖；圖13a第一組原始實驗數據多窗口匹配結果的差圖；圖13b第一組原始實驗數據SSD匹配結果的差圖；圖14為第三組原始實驗數據的大面積存在的非紋理區；圖15為本發明算法的第三組原始實驗數據生成的視差圖；圖16a為第四組原始立體像對左圖；圖16b為第四組原始立體像對右圖；圖17a第一組原始實驗數據多窗口匹配結果的差圖；圖17b第一組原始實驗數據SSD匹配結果的差圖；圖18為第四組原始實驗數據的大面積存在的非紋理區；圖19為本發明算法的第四組原始實驗數據生成的視差具體實施例方式下面結合附圖舉例對本發明做更詳細的描述結合圖I到圖3。本算法總共分為四個大步驟圖像預處理，生成視差圖，合成視差圖，視差圖後期處理。預處理的過程可以使用極線校正、平滑濾波過程或高斯濾波過程實現。I.極線校正在實際匹配過程中，如果採用非平行式立體視覺系統，極線不與坐標軸平行，搜索過程就要在斜線上進行，計算費時，不利於計算機實現。極線校正能使搜索方向與坐標軸平行，搜索僅僅沿同名行搜索即可。2.平滑濾波過程平滑線性濾波器的輸出是包含在濾波掩膜鄰域內像素的簡單平均值，可消除某些過亮或者過暗點的存在，典型的隨機噪聲由灰度級別的尖銳變化造成，因此平滑線性濾波器有減弱噪聲的作用。平滑線性濾波器為一個mXn大小的窗口，對應著1/mn的歸一化常數。用公式可以表示為
權利要求
1.一種基於圖像分割的大面積低紋理區立體匹配算法，包括下列步驟 步驟一對立體像對進行預處理； 步驟二 把經過預處理的立體像對按照三個方向進行處理，分三個支路 支路I : 利用mean shift算法對基準圖進行圖像分割，積累窗口的形狀為圖像後每個聚類的形狀，生成視差圖disp_seg ； 支路2 : 利用多窗口算法，在多尺度空間內計算視差圖disp_Mutiscales ； 支路3 : 在基準圖像劃分紋理區及非紋理區表示結果為Texture_Picture ； 步驟三根據步驟二中3個支路產生的結果，合成視差圖； 支路3生成的Texture_Picture圖像標明了圖像紋理區和非紋理區；支路2所生成的視差圖disp_MUtiSCaleS在紋理區是準確的，而在大片的非紋理區中，支路I生成的視差圖disp_seg在劃分好聚類的區域是準確的；因此能按Texture_Picture的標記，綜合disp_Mutiscales、disp_seg 的結果，合成準確的視差圖為Texture_compose ； 步驟四對生成的視差圖進行後期處理。
全文摘要
本發明的目的在於提供一種基於圖像分割的大面積低紋理區立體匹配算法，其步驟是第一步，根據實際需求對立體像對進行預處理；第二步，把經過預處理的立體像對按照三個方向進行處理，分三個支路；第三步，根據步驟二中3個支路產生的結果，合成視差圖；第四步，對生成的視差圖進行後期處理，本發明所提出的算法基於圖像分割和圖像多尺度空間技術，克服了常規算法不能處理低紋理區匹配的不足，可以得到較為準確的視差圖。
文檔編號G06T7/00GK102903111SQ20121037440
公開日2013年1月30日 申請日期2012年9月27日 優先權日2012年9月27日
發明者門朝光, 尚方, 田澤宇, 閆定 申請人:哈爾濱工程大學