一種基於圖像分割和運動估計的雙目視頻深度圖求取方法
2023-05-20 09:30:16
專利名稱：一種基於圖像分割和運動估計的雙目視頻深度圖求取方法
技術領域：
本發明涉及計算機多媒體技術領域，特別涉及一種基於圖像分割和運動估計的雙目視頻深度圖求取方法。
背景技術：
立體視頻是一種能夠使人產生立體感的新型視頻技術，它可以使人通過視頻看到與真實世界幾乎完全一樣的景象，產生真實感和臨場感，所以必將成為未來多媒體技術的發展方向。目前，通常採用的立體視頻體系結構為同時傳輸兩段視頻，其中一段是待轉換的平面視頻序列，另一段是相對應的深度圖序列，其包含了各幀中每個像素的深度信息，通過DIBR (Depth Image Based Rendering,基於深度圖渲染)技術,獲得真實世界場景在一個或多個方向上的虛擬視角，最終合成立體視頻。
這種使用DIBR技術的立體視頻體系結構，最重要的和最困難的一步就是深度圖的獲取，目前，一種獲取方法是通過軟體算法，由一對從不同視角拍攝到的場景圖像恢復出場景的深度圖，還有一種方法是通過對平面圖像進行手工或半自動地處理，得到偽深度圖。但是，上述獲取雙目視頻深度圖的方法存在很多缺陷，例如邊緣不夠準確，在遮擋部分得不到理想效果，準確性和實時性無法兼顧，深度圖不能夠較真實的反映場景物體的遠近關係等。
發明內容
本發明旨在至少解決現有技術中存在的技術問題，特別創新地提出了一種基於圖像分割和運動估計的雙目視頻深度圖求取方法。為了實現本發明的上述目的，本發明提供了一種基於圖像分割和運動估計的雙目視頻深度圖求取方法，其包括如下步驟SI :對兩幅圖像分別進行單幀圖像分割；S2 :利用基於圖像分割的立體匹配算法進行深度計算；S3 :利用運動估計修正深度提取的結果。本發明的基於圖像分割和運動估計的雙目視頻深度圖求取方法提取的深度圖邊緣準確，在遮擋部分也能夠得到理想效果，能夠兼顧準確性和實時性，真實地反映出場景物體的遠近關係。在本發明的優選實施例中，採用自適應grabcut算法對兩幅圖像分別進行分割。該自適應grabcut算法為假設前景為一個圓形，先對圖片進行hough變換尋找前景,再進行grabcut算法進行分割。本發明的圖像分割方法充分利用彩色圖像的彩色信息將圖像分割成不同區域，有效克服了視差圖邊界模糊問題，能較好處理大的低紋理區域。在本發明的另一優選實施例中，計算初始匹配點的方法為計算各像素在不同視差的疊加匹配代價時採用改進的SSD算法，窗口選取為3*3，在分析和利用計算圖像每個窗口的SSD值時的模板在水平方向和豎直方向上具有的平移特性，以及前後上下窗口模板的相互關係，利用已計算的值，來計算新的窗口的SSD值。本發明改進了 grabcut和SSD算法，提出了新的能量函數和評價函數，得到了較好的深度圖效果。在本發明的另一優選實施例中，進行深度計算的方法時引入模板優化和模板分配。該模板優化和模板分配的方法為將不同時刻的同一不可靠區域的模板作為不同階段，此時對應的全局能量函數值即為此階段的狀態，每次改變一個不可靠區域的模板，而同時其他區域模板均不作改變，採用自底向上的方式計算最優值，最不同時刻的值依次計算，計算完成後，計算臨近幀能量函數值相差最小的一條最優軌跡，同時，更新這些幀的模板區域分配，下一幀使用更新後的結果。本發明區域模板及模板優化的弓I入使得整個算法具有更好的魯棒性。本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。
本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中圖I是本發明基於圖像分割和運動估計的雙目視頻深度圖求取方法的流程圖；圖2是本發明一個優選實施例中提供的單幀場景圖像對；圖3是圖2中所示單幀場景圖像對利用基於圖像分割的立體匹配算法進行深度計算後的深度圖；圖4是圖3中所示圖像利用運動估計進行修正後的深度圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能理解為對本發明的限制。圖I是本發明基於圖像分割和運動估計的雙目視頻深度圖求取方法的流程圖，從圖中可見，該基於圖像分割和運動估計的雙目視頻深度圖求取方法包括如下步驟SI :對兩幅圖像分別進行單幀圖像分割；S2 :利用基於圖像分割的立體匹配算法進行深度計算；S3 :利用運動估計修正深度提取的結果。在本實施方式中，步驟SI中採用自適應grabcut算法對兩幅圖像分別進行分割。該自適應grabcut算法為假設前景為一個圓形，先對圖片進行hough變換尋找前景,再進行grabcut算法進行分割。對圖片進行hough變換尋找前景的方法為先在2維平面的每個切面上檢測圓形，將每個切片圓心的累計值加到同一個二維累計數組中，最終累計數組最大值所在位置就是二維平面上的球心，利用這個球心在每個切片上估計圓的半徑，在第三維和半徑平面上進行累計，取最大值即可得到球心在第三維位置和半徑。具體地，採用grabcut算法需要首先在圖像上人工通過筆畫標定前景和背景，為了達到自適應grabcut算法的效果，第一步需要標定前景位置，為了處理方便，將物體的前景假設為圓形，採用hough變化確定位置。首先在xyz三維景物上做平行於xy平面的各個切片的採樣，並在這些平面上檢測圓形，先將所有檢測到的所有邊界標記下來，將所有不過同一直線的邊界上3個點的組合看作一個圓形，計算這個圓形的圓心，將每個切片的圓心位置統計下來，將這些圓心的累計值都加到一個二維數組中，將數組中每個圓心對應位置記為1，最終累計數組中最大值的所在位置就作為球心在xy平面上的投影位置，利用這個坐標，可以得到關於這個坐標在每個切片上圓半徑的估計值，利用這些值再關於z軸和球半徑r做累計，得到的累計最大值就作為球的半徑。估計出球心位置和半徑之後，可以得到在z軸上的起始和終止位置，將能量函數定義為
權利要求
1.一種基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，包括如下步驟 Si:對兩幅圖像分別進行單幀圖像分割； 52:利用基於圖像分割的立體匹配算法進行深度計算； 53:利用運動估計修正深度提取的結果。
2.如權利要求I所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，採用自適應grabcut算法對兩幅圖像分別進行分割。
3.如權利要求2所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，所述自適應grabcut算法為假設前景為一個圓形，先對圖片進行hough變換尋找前景，再進行grabcut算法進行分割。
4.如權利要求3所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，所述對圖片進行hough變換尋找前景的方法為先在2維平面的每個切面上檢測圓形，將每個切片圓心的累計值加到同一個二維累計數組中，最終累計數組最大值所在位置就是二維平面上的球心，利用這個球心在每個切片上估計圓的半徑，在第三維和半徑平面上進行累計，取最大值即可得到球心在第三維位置和半徑。
5.如權利要求I所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，所述利用基於圖像分割的立體匹配算法進行深度計算的方法為先計算初始匹配點，然後計算模板和不同區域的合併，最後進行模板優化和模板分配。
6.如權利要求5所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，所述計算初始匹配點的方法為計算各像素在不同視差的疊加匹配代價時採用改進的SSD算法，窗口選取為3*3，在分析和利用計算圖像每個窗口的SSD值時的模板在水平方向和豎直方向上具有的平移特性，以及前後上下窗口模板的相互關係，利用已計算的值，來計算新的窗口的SSD值。
7.如權利要求5所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，所述計算模板和不同區域的合併的方法為利用加權最小二乘法計算可靠區域的模板參數，對於不可靠區域，利用相同或相近的可靠區域模板代替，取可靠區域模板集合中相似度匹配代價最小的模板作為該區域的初始模板。
8.如權利要求5所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，所述模板優化和模板分配的方法為將不同時刻的同一不可靠區域的模板作為不同階段，此時對應的全局能量函數值即為此階段的狀態，每次改變一個不可靠區域的模板，而同時其他區域模板均不作改變，採用自底向上的方式計算最優值，最不同時刻的值依次計算，計算完成後，計算臨近幀的能量函數值相差最小的一條最優軌跡，同時，更新這些幀的模板區域分配，下一幀使用更新後的結果。
9.如權利要求I所述的基於圖像分割和運動估計的雙目視頻深度圖求取方法，其特徵在於，所述利用運動估計修正深度提取的結果的方法為首先利用光流法進行運動估計，利用同一鏡頭內其他幀的信息提高預測精度，即提取出當前幀前後的多個幀，用當前幀和所有提取出來的幀之間尋找最優匹配塊進行運動補償，利用BP算法求解融入時間項後的能量函數。
全文摘要
本發明提出了一種基於圖像分割和運動估計的雙目視頻深度圖求取方法，其包括如下步驟對兩幅圖像分別進行單幀圖像分割；利用基於圖像分割的立體匹配算法進行深度計算；利用運動估計修正深度提取的結果。該基於圖像分割和運動估計的雙目視頻深度圖求取方法提取的深度圖邊緣準確，在遮擋部分也能夠得到理想效果，能夠兼顧準確性和實時性，真實地反映出場景物體的遠近關係。
文檔編號H04N13/00GK102750711SQ20121018165
公開日2012年10月24日 申請日期2012年6月4日 優先權日2012年6月4日
發明者戴瓊海, 曹汛, 王好謙, 馬瀟 申請人:清華大學