立體匹配方法和系統的製作方法
2023-07-16 11:09:51 1
立體匹配方法和系統的製作方法
【專利摘要】公開了一種立體匹配方法和系統。該立體匹配方法包括：通過分別對左圖像和右圖像迭代地進行縮放處理，生成相同層級數目的左圖像金字塔和右圖像金字塔；通過對左圖像金字塔中處於最高層級的左變換圖像和右圖像金字塔中處於最高層級的右變換圖像進行匹配來獲取最高層級的左/右變換圖像的視差圖，並且通過對最高層級的左/右變換圖像的視差圖迭代地進行縮放和匹配處理來獲取左圖像/右圖像的視差圖，其中左圖像金字塔和右圖像金字塔中的最高層級是指左圖像金字塔和右圖像金子塔中尺寸最小的變換圖像所在的層級；以及對左圖像/右圖像的視差圖進行優化。
【專利說明】立體匹配方法和系統【技術領域】
[0001]本發明涉及圖像處理領域，更具體地涉及立體匹配方法和系統。
【背景技術】
[0002]立體匹配是對某一場景拍攝兩個以上圖像，通過精確地找出圖像間的匹配像素來估計該場景的三維(3D)模型，並且將這些圖像間的匹配像素的二維(2D)位置轉換為3D深度的處理。在例如兩隻眼睛或兩個相機向前直視的簡單的成像配置中，兩隻眼睛或兩個相機之間的視差與該兩隻眼睛或兩個相機與觀察對象之間的距離(即，觀察對象在所拍攝的圖像中的立體深度)成反比。所以，視差圖通常被用來描述所拍攝圖像中的像素的立體深度。 [0003]在傳統的用於立體匹配的算法中，通常將分別由兩個眼睛或兩個相機獲取的兩個圖像中的一個圖像作為參考圖像、另一個圖像作為目標圖像，並且輸出目標圖像相對於參考圖像的視差圖。
[0004]用於立體匹配的方法大致可以分為全局型方法和局部型方法。一般的局部型方法通常需要對開銷容積的每個部分中的像素窗口中的開銷進行聚集。局部型方法的計算簡單且快速，但是問題也比較明顯。首先，局部型方法隱含地假設支持窗口中的像素具有恆定的視差，這導致重建正面平行表面的傾向，並且在傾斜表面中存在問題。其次，由於局部開銷聚集的原因，局部型方法不能處理較大的無紋理的區域。
[0005]全局型方法通過對全局能量函數進行最小化來找出最佳的視差，其克服了局部型方法的一些缺陷。但是，諸如圖割(graph-cut)優化之類的找出全局能量的最小值的處理通常比較複雜，且速度較慢。並且，較簡單的解決方案不能得到令人滿意的結果，例如動態規劃和掃描行優化算法會受到計算出的視差圖中的橫條的不良影響。另一個問題是，一半的全局型優化不能保留不連續性。
【發明內容】
[0006]鑑於以上所述的問題，本發明提供了一種新穎的立體匹配方法和系統。
[0007]根據本發明實施例的立體匹配方法，包括:通過分別對左圖像和右圖像迭代地進行縮放處理，生成相同層級數目的左圖像金字塔和右圖像金字塔；通過對左圖像金字塔中處於最高層級的左變換圖像和右圖像金字塔中處於最高層級的右變換圖像進行匹配來獲取最高層級的左/右變換圖像的視差圖，並且通過對最高層級的左/右變換圖像的視差圖迭代地進行縮放和匹配處理來獲取左圖像/右圖像的視差圖，其中左圖像金字塔和右圖像金字塔中的最高層級是指左圖像金字塔和右圖像金子塔中尺寸最小的變換圖像所在的層級；以及對左圖像/右圖像的視差圖進行優化。
[0008]根據本發明實施例的立體匹配系統，包括:金字塔生成單元，用於通過分別對左圖像和右圖像迭代地進行縮放處理，生成相同層級數目的左圖像金字塔和右圖像金字塔；視差圖獲取單元，用於通過對左圖像金字塔中處於最高層級的左變換圖像和右圖像金字塔中處於最高層級的右變換圖像進行匹配來獲取最高層級的左/右變換圖像的視差圖，並且通過對最高層級的左/右變換圖像的視差圖迭代地進行縮放和匹配處理來獲取左圖像/右圖像的視差圖，其中左圖像金字塔和右圖像金字塔中的最高層級是指左圖像金字塔和右圖像金子塔中尺寸最小的變換圖像所在的層級；以及視差圖優化單元，用於對左圖像/右圖像的視差圖進行優化。
[0009]比較現有的立體匹配的方法和系統，本發明通過金字塔式的視差圖計算架構，可以更好地處理無材質區域和避免視差在求解中因陷入局部收斂而得到錯誤值；通過在每一層對來自上一層的粗略視差圖的修正，可以自然地得到子像素精度的視差圖和更好地的保留邊界；通過對視差圖的優化後處理，標識並處理錯誤的視差值。
【專利附圖】
【附圖說明】
[0010]從下面結合附圖對本發明的【具體實施方式】的描述中可以更好地理解本發明，其中:
[0011]圖1示出了根據本發明實施例的立體匹配系統的框圖；
[0012]圖2示出了根據本發明實施例的立體匹配方法的流程圖；
[0013]圖3示出了獲取左圖像/右圖像的視差圖的過程的示意圖；
[0014]圖4示出了找出左圖像(或其視差圖)中被遮擋的像素的過程；
[0015]圖5示出了找出左圖像中孤立深度的像素的過程。
【具體實施方式】
[0016]下面將詳細描述本發明各個方面的特徵和示例性實施例。下面的描述涵蓋了許多具體細節，以便提供對本發明的全面理解。但是，對於本領域技術人員來說顯而易見的是，本發明可以在不需要這些具體細節中的一些細節的情況下實施。下面對實施例的描述僅僅是為了通過示出本發明的示例來提供對本發明更清楚的理解。本發明絕不限於下面所提出的任何具體配置和算法，而是在不脫離本發明的精神的前提下覆蓋了相關元素、部件和算法的任何修改、替換和改進。
[0017]本發明提出的方法是一種全局型的立體匹配方法和系統。具體地，該立體匹配方法和系統以增量式光流框架為基礎，可以獲得平滑的子像素視差，並且對於無紋理的區域的處理效果很好。在根據本發明實施例的立體匹配方法和系統中視差圖是通過求解線性等式計算出來的，所以根據本發明實施例的立體匹配方法和系統比一般的全局型方法更容易實現。另外，根據本發明實施例的立體匹配方法和系統重新設計的平滑項保證了不連續性保留的特性，並且包括新穎的異步遮擋檢測處理。
[0018]圖1示出了根據本發明實施例的立體匹配系統的框圖。圖2示出了根據本發明實施例的立體匹配方法的流程圖。下面，結合附圖詳細描述根據本發明實施例的立體匹配系統和方法。
[0019]如圖1中所示，根據本發明實施例的立體匹配系統包括金字塔生成單元102、視差圖獲取單元104、以及視差圖優化單元106。其中，金字塔生成單元102通過分別對左圖像和右圖像迭代地進行縮放處理，生成相同層級數目的左圖像金字塔和右圖像金字塔(即，執行步驟S202);視差圖獲取單元104通過對左圖像金字塔中處於最高層級的左變換圖像和右圖像金字塔中處於最高層級的右變換圖像進行匹配來獲取最高層級的左/右變換圖像的視差圖，並且通過對最高層級的左/右變換圖像的視差圖迭代地進行縮放和匹配處理來獲取左圖像/右圖像的視差圖(即，執行步驟S204);視差圖優化單元106對左圖像/右圖像的視差圖進行優化(即，執行步驟S206)。[0020]下面，結合圖3至圖5描述由根據本發明實施例的立體匹配系統中包括的上述各個單元實現的根據本發明實施例的立體匹配方法的以下步驟。
[0021]S202，生成圖像金字塔。
[0022]在根據本發明實施例的立體匹配方法中，分別對左圖像和右圖像進行縮放處理以生成左圖像金字塔和右圖像金字塔。具體地，在左/右圖像金字塔中，將原始圖像記為I。，將第1層級的變換圖像記為Ii，將第2層級的變換圖像記為12，...，將第P層級的變換圖像記為Ip。這裡，為了描述方便，在左/右圖像金字塔中，可以將第P等級稱為最高等級(相應地，將原始圖像所在的等級稱為第0等級)，將第p-Ι等級稱為第p等級的上一個等級，並將第p+1等級稱為第p等級的下一個等級。其中，處于越高等級的變換圖像的尺寸越小，並且處於最高等級的變換圖像的尺寸最小。可以根據下面的等式從第P層級的變換圖像計算得出第P+1層級的變換圖像:
[0023]
【權利要求】
1.一種立體匹配方法,包括: 通過分別對左圖像和右圖像迭代地進行縮放處理，生成相同層級數目的左圖像金字塔和右圖像金字塔； 通過對所述左圖像金字塔中處於最高層級的左變換圖像和所述右圖像金字塔中處於最高層級的右變換圖像進行匹配來獲取所述最高層級的左/右變換圖像的視差圖，並且通過對所述最高層級的左/右變換圖像的視差圖迭代地進行縮放和匹配處理來獲取所述左圖像/右圖像的視差圖，其中所述左圖像金字塔和所述右圖像金字塔中的最高層級是指所述左圖像金字塔和所述右圖像金子塔中尺寸最小的變換圖像所在的層級；以及 對所述左圖像/右圖像的視差圖進行優化。
2.根據權利要求1所述的立體匹配方法，其特徵在於，通過分別對所述左圖像和所述右圖像迭代地進行高斯濾波和下採樣，來生成所述左圖像金字塔和所述右圖像金字塔。
3.根據權利要求1所述的立體匹配方法，其特徵在於，對於所述左/右圖像金字塔中的任意一個層級，即第P層級的左/右變換圖像: 通過對所述左/右圖像金字塔中的第P-1層級的左/右變換圖像的視差圖進行縮放，獲取所述第P層級的左/右變換圖像的粗略視差圖； 基於不連續性保留全局優化的層級立體匹配，利用所述左圖像金字塔中的第P層級的左變換圖像和所述右圖像金字塔中的第P層級的右變換圖像獲取所述第P層級的左/右變換圖像的修正視差圖；以及 通過將所述第P層級的左/右變換圖像的粗略視差圖與修正視差圖疊加，來獲取所述第P層級的左/右變換圖像的精確視差圖。
4.根據權利要求1所述的立體匹配方法，其特徵在於，對所述左圖像/右圖像的視差圖進行優化的處理包括: 通過多對一的像素對應不被接受、對應像素光強一致、和孤立深度的像素不被接受這三個原則找出所述左圖像/右圖像的視差圖中的被遮擋像素，並利用所述左圖像/右圖像的視差圖中除被遮擋像素以外的其他像素的像素值來獲取所述左圖像/右圖像的視差圖中的被遮擋像素的修正後的像素值，從而對所述左圖像/右圖像的視差圖進行優化。
5.根據權利要求3所述的立體匹配方法，其特徵在於，獲取所述第P層級的左/右變換圖像的修正視差圖的處理包括: 基於迭代調整權重的最小二乘法，利用當前的修正視差圖計算權重矩陣進而得到線性方程的係數矩陣，通過求解線性方程得到新的修正視差圖，重複這個過程直至該修正視差圖收斂或者系統達到預先定義的最大迭代次數。
6.—種立體匹配系統,包括: 金字塔生成單元，用於通過分別對左圖像和右圖像迭代地進行縮放處理，生成相同層級數目的左圖像金字塔和右圖像金字塔； 視差圖獲取單元，用於通過對所述左圖像金字塔中處於最高層級的左變換圖像和所述右圖像金字塔中處於最高層級的右變換圖像進行匹配來獲取所述最高層級的左/右變換圖像的視差圖，並且通過對所述最高層級的左/右變換圖像的視差圖迭代地進行縮放和匹配處理來獲取所述左圖像/右圖像的視差圖，其中所述左圖像金字塔和所述右圖像金字塔中的最高層級是指所述左圖像金字塔和所述右圖像金子塔中尺寸最小的變換圖像所在的層級；以及視差圖優化單元，用於對所述左圖像/右圖像的視差圖進行優化。
7.根據權利要求6所述的立體匹配系統，其特徵在於，所述金字塔生成單元通過分別對所述左圖像和所述右圖像迭代地進行高斯濾波和下採樣，來生成所述左圖像金字塔和所述右圖像金字塔。
8.根據權利要求6所述的立體匹配系統，其特徵在於，對於所述左/右圖像金字塔中的任意一個層級，即第P層級的左/右變換圖像，所述視差圖獲取單元通過以下處理來獲取所述第P層級的左/右變換圖像的最佳視差圖:通過對所述左/右圖像金字塔中的第P-1層級的左/右變換圖像的視差圖進行縮放，獲取所述第P層級的左/右變換圖像的粗略視差圖；基於不連續性保留全局優化的層級立體匹配，利用所述左圖像金字塔中的第P層級的左變換圖像和所述右圖像金字塔中的第P層級的右變換圖像獲取所述第P層級的左/右變換圖像的修正視差圖；以及通過將所述第P層級的左/右變換圖像的粗略視差圖與修正視差圖疊加，來獲取所述第P層級的左/右變換圖像的最佳視差圖。
9.根據權利要求6所述的立體匹配系統，其特徵在於，所述視差圖優化單元通過以下處理對所述左圖像/右圖像 的視差圖進行優化:通過多對一的像素對應不被接受、對應像素光強一致、和孤立深度的像素不被接受這三個原則找出所述左圖像/右圖像的視差圖中的被遮擋像素，並利用所述左圖像/右圖像的視差圖中除被遮擋像素以外的其他像素的像素值來獲取所述左圖像/右圖像的視差圖中的被遮擋像素的修正後的像素值，從而對所述左圖像/右圖像的視差圖進行優化。
10.根據權利要求8所述的立體匹配系統，其特徵在於，所述視差圖獲取單元通過以下處理來獲取所述第p層級的左/右變換圖像的修正視差圖:基於迭代調整權重的最小二乘法，利用當前的修正視差圖計算權重矩陣進而得到線性方程的係數矩陣，通過求解線性方程得到新的修正視差圖，重複這個過程直至該修正視差圖收斂或者系統達到預先定義的最大迭代次數。
【文檔編號】G06T7/00GK103679680SQ201210321155
【公開日】2014年3月26日 申請日期:2012年8月31日 優先權日:2012年8月31日
【發明者】王炳融, 白向暉, 王寰宇, 譚志明 申請人:富士通株式會社