一種雙目立體視頻序列的深度圖獲取方法與系統的製作方法

2023-06-14 08:28:26 3

專利名稱：一種雙目立體視頻序列的深度圖獲取方法與系統的製作方法
技術領域：
本發明屬於計算機圖像處理領域，特別涉及一種雙目立體視頻序列的深度圖獲取方法與系統。
背景技術：
隨著當前社會的飛速發展，人文娛樂欣賞需求也日益增多，對於電視電影觀看的要求，不僅僅是高清彩色，觀影者需要更加真實的三維效果，立體視頻相關研究和應用成為當前熱點問題，立體視頻相關的技術問題也認為亟待解決的問題。立體視頻分為傳統的雙目立體視頻和多視點視頻，雙目立體視頻是由兩路視頻序列組成，雖然能給人們帶來立體效果，但效果比較呆板，必須佩戴相應的眼睛才能觀看，並且視點單一，與真實生活當中的立體感受相距甚遠。而多視點視頻則可以適應裸眼現實的需求，可以滿足人們裸眼觀看視頻的需求，同時，由於多視點視頻的原因，可以使得人們從不同角度觀看到的視頻序列對不相同，進而觀測到的場景角度也不相同，後者更接近真實的三維感受。儘管多視點視頻具備雙目立體視頻多不具備的優勢，但是多視點視頻的採集難度也更大，如何獲取高質量的多視點視頻成為一個關鍵研究問題。目前可以從2d視頻直接轉換為多視點視頻，但是由於信息嚴重缺失，得到的多視點視頻序列的深度感極差。而相對來說雙目視頻的採集比較簡單，信息量也相對充裕，雙目轉多目成為一個有效的途徑。雙目立體視頻轉多目的基本思路:首先通過雙目視頻獲取深度信息，然後根據獲取的深度圖採用虛擬視點合成的方法得到多路視頻序列。其中最關鍵的就是如何得到準確的深度信息。現階段的主要方法就是立體匹配，通過搜索同一時刻左右兩路視頻對應圖像間的像素點的偏移(視差)來獲取深度信息，深度是與視差成反比的關係。
·
立體匹配算法主要分為兩類，全局立體匹配算法和局部立體匹配算法，兩種算法有一個共同的問題就是，對於遮擋等天然信息缺失的情況，很難解決。

發明內容
本發明所要解決的技術問題是，提供一種雙目立體視頻序列的深度圖獲取方法與系統，在保證準確性的同時降低獲取過程的複雜度。本發明的技術方案通過以下技術手段予以解決:如

圖1所示，一種雙目立體視頻序列的深度圖獲取方法，包括以下步驟:S100)預處理步驟:讀入同一時間點的兩幅圖像，對其中的第一幅圖像進行聚類處理；然後採用區域生長的方式將各個聚類轉化為連通的區域，記錄各個區域的平均五維坐標和區域間的相鄰信息。由於同一時間點的兩幅圖像具有很強的相關性，對圖像的分割操作，只需左右兩幅圖像之一進行處理即可，另一幅圖作為後續立體匹配算法的參考圖，本步驟中的第一圖像可以是左圖也可以是右圖。
S200)前景提取步驟:包括:S210)權值計算步驟:接收操作者輸入的用於標記第一幅圖像的前景和背景的人工標記，計算代表區域之間連通性的區域連接權值以及各區域與人工標記間相關性的標記權值；S220)圖像分割步驟:將所述區域連接權值和標記權值作為輸入，調用GrpahCut算法對第一幅圖像進行前景部分與背景部分的分割。S300)深度圖獲取步驟:以所述兩幅圖像中的第二幅圖像作為參考圖像，根據前景提取步驟的分割結果，基於局部自適應權值立體匹配算法計算前景部分的視差圖，基於Rank變換立體匹配算法計算背景部分的視差圖，然後將前景部分的視差圖和背景部分的視差圖轉換為深度圖。優選地，還包括:S400)後處理步驟:對前景部分的像素點，採用以下步驟進行深度值校正:選取深度圖校正窗口，並根據預處理步驟的處理結果，以將校正窗口中所有與待校正像素屬於同一區域的像素點的平均深度值更新待校正像素點的深度值。優選地，所述預處理步驟中所述聚類處理包括以下步驟:SI 10)對待處理的圖像進行去噪處理；S120)採用K-means聚類算法，根據五維空間坐標的相似程度對所述第一幅圖像進行聚類，將像素點歸於與其五維空間距離最小的聚類中心所屬的類別。優選地，所述步驟S210)包括以下步驟:S211)根據步驟S100)獲得的區域間的相鄰信息，對於不相鄰的區域，設其區域連接權值為0，對於任意相鄰的區域a與區域b，其區域連接權值
權利要求
1.一種雙目立體視頻序列的深度圖獲取方法，其特徵在於，包括以下步驟: S100)預處理步驟:讀入同一時間點的兩幅圖像，對其中的第一幅圖像進行聚類處理；然後採用區域生長的方式將各個聚類轉化為連通的區域，記錄各個區域的平均五維坐標和區域間的相鄰信息； S200)前景提取步驟:包括:S210)權值計算步驟:接收操作者輸入的用於標記第一幅圖像的前景和背景的人工標記，計算代表區域之間連通性的區域連接權值以及各區域與人工標記間相關性的標記權值；S220)圖像分割步驟:將所述區域連接權值和標記權值作為輸入，調用GrpahCut算法對第一幅圖像進行前景部分與背景部分的分割； S300)深度圖獲取步驟:以所述兩幅圖像中的第二幅圖像作為參考圖像，根據前景提取步驟的分割結果，基於局部自適應權值立體匹配算法計算前景部分的視差圖，基於Rank變換立體匹配算法計算背景部分的視差圖，然後將前景部分的視差圖和背景部分的視差圖轉換為深度圖。
2.根據權利要求1所述的雙目立體視頻序列的深度圖獲取方法，其特徵在於，還包括: S400)後處理步驟:對前景部分的像素點，採用以下步驟進行深度值校正:選取深度圖校正窗口，並根據預處理步驟的處理結果，以將校正窗口中所有與待校正像素屬於同一區域的像素點的平均深度值更新待校正像素點的深度值。
3.根據權利要求1或2所述的雙目立體視頻序列的深度圖獲取方法，其特徵在於，所述預處理步驟中所述聚類處理包括以下步驟: SI 10)對待處理的圖像進行去噪處理； S120)採用K-means聚·類算法，根據五維空間坐標的相似程度對所述第一幅圖像進行聚類，將像素點歸於與其五維空間距離最小的聚類中心所屬的類別。
4.根據權利要求1或2所述的雙目立體視頻序列的深度圖獲取方法，其特徵在於，所述步驟S210)包括以下步驟: 5211)根據步驟S100)獲得的區域間的相鄰信息，對於不相鄰的區域，設其區域連接權值為0，對於任意相鄰的區域a與區域b，其區域連接權值，其中，Dab =^iRa-^Y +((1.-CnY +(B0 -Bb)2 』 (Ra, Ga, Ba)和(Rb，Gb，Bb)分別為區域 a 和區域 b的各像素在RGB顏色空間各分量的平均值； 5212)接收操作者輸入的的前景標記點s和背景標記點t； 5213)對於圖像的每個區域k,計算其前景標記權值foreWks和背景標記權值backWkt,其中: JoreWks = -— , foreDks為區域k和前景標記點s的最小五維空間距離； MeDksI baCkWki =-, backDkt為區域k和背景標記點t的最小五維空間距離。 OackDkl
5.根據權利要求2所述的雙目立體視頻序列的深度圖獲取方法，其特徵在於，所述步驟S400)包括以下步驟:5401)讀取當前像素點； 5402)判斷當前像素點是否屬於前景部分，若不是，則返回步驟S401)進行下一像素點的處理，否則進行下一步驟； 5403)選取以當前像素點為中心的矩陣作為深度圖校正窗口，根據預處理步驟處理結果，將校正窗口中與當前像素點不屬於同一區域的像素點定義為無效像素點，其餘像素點定義為有效像素點； 5404)更新當前像素點的深度值為深度圖校正窗口中所有有效像素點的深度值的平均值； 5405)檢查所有像素點是否校正完畢，若否，則進入下一像素點處理；若是，則結束校正。
6.一種雙目立體視頻序列的深度圖獲取系統，其特徵在於，包括: 預處理模塊(201)，包括聚類模塊和區域生長模塊，所述聚類模塊用於讀入同一時間點的兩幅圖像，對其中的第一幅圖像進行聚類處理；所述區域生長模塊用於採用區域生長的方式將各個聚類轉化為連通的區域，記錄各個區域的平均五維坐標和區域間的相鄰信息；前景提取模塊(202):包權值計算模塊和圖像分割模塊，所述權值計算模塊用於接收操作者輸入的用於標記第一幅圖像 的前景和背景的人工標記，計算代表區域之間連通性的區域連接權值以及各區域與人工標記間相關性的標記權值；所述圖像分割模塊用於將所述區域連接權值和標記權值作為輸入，調用GrpahCut算法對第一幅圖像進行前景部分與背景部分的分割； 深度獲取模塊(203):用於以所述兩幅圖像中的第二幅圖像作為參考圖像，根據前景提取步驟的分割結果，基於局部自適應權值立體匹配算法計算前景部分的視差圖，基於Rank變換立體匹配算法計算背景部分的視差圖，然後將前景部分的視差圖和背景部分的視差圖轉換為深度圖。
7.根據權利要求6所述的雙目立體視頻序列的深度圖獲取系統，其特徵在於，還包括: 後處理模塊(204):用於對前景部分的像素點，採用以下步驟進行深度值校正:選取深度圖校正窗口，並根據預處理步驟的處理結果，以將校正窗口中所有與待校正像素屬於同一區域的像素點的平均深度值更新待校正像素點的深度值。
8.根據權利要求6或7所述的雙目立體視頻序列的深度圖獲取系統，其特徵在於，所述聚類模塊包括: 去噪處理模塊:用於對待處理的圖像進行去噪處理； K-means模塊:用於採用K-means聚類算法，根據五維空間坐標的相似程度對所述第一幅圖像進行聚類，將像素點歸於與其五維空間距離最小的聚類中心所屬的類別。
9.根據權利要求6或7所述的雙目立體視頻序列的深度圖獲取系統，其特徵在於，所述權值計算模塊包括: 區域連接權值計算模塊:用於根據預處理模塊獲得的區域間的相鄰信息，對於不相鄰的區域，設其區域連接權值為0，對於任意相鄰的區域a與區域b，其區域連接權值1=$，其中，』 (K, Ga, Ba)和(Rb, Gb, Bb)分別為區域a和區域b的各像素在RGB顏色空間各分量的平均值；標記輸入模塊:用於接收操作者輸入的的前景標記點S和背景標記點t ; 標記權值計算模塊:用於對於圖像的每個區域k，計算其前景標記權值foreWks和背景標記權值backWkt ,其中:
10.根據權利要求7所述的雙目立體視頻序列的深度圖獲取系統，其特徵在於，所述後處理模塊包括: 讀取模塊:用於讀取當前像素點； 判斷模塊:用於 判斷當前像素點是否屬於前景部分，若不是，則讀取模塊進行下一像素點的處理，否則進行下一模塊進行處理； 有效像素選取模塊:用於選取以當前像素點為中心的矩陣作為深度圖校正窗口，根據預處理步驟處理結果，將校正窗口中與當前像素點不屬於同一區域的像素點定義為無效像素點，其餘像素點定義為有效像素點； 深度值更新模塊:用於更新當前像素點的深度值為深度圖校正窗口中所有有效像素點的深度值的平均值； 終止判斷模塊:用於檢查所有像素點是否校正完畢，若否，則進入下一像素點處理；若是，則結束校正。
全文摘要
本發明公開了一種雙目立體視頻序列的深度圖獲取方法和系統，方法包括對兩幅圖像的第一幅圖像進行聚類，區域生長將聚類轉化為連通的區域，記錄各個區域的平均五維坐標和區域間的相鄰信息；接收操作者輸入的用於標記第一幅圖像的前景和背景的人工標記，計算區域連接權值及標記權值；將區域連接權值和標記權值作為輸入，調用GrpahCut算法對第一幅圖像進行前景與背景的分割；以兩幅圖像中的第二幅圖像作為參考圖像，根據分割結果，基於局部自適應權值立體匹配算法計算前景的視差圖，基於Rank變換立體匹配算法計算背景的視差圖，然後將視差圖轉換為深度圖。系統為執行上述方法的系統。本發明具有結果準確，複雜度低的有益效果。
文檔編號H04N13/00GK103248906SQ20131013471
公開日2013年8月14日 申請日期2013年4月17日 優先權日2013年4月17日
發明者王好謙, 杜成立, 張永兵, 戴瓊海 申請人:清華大學深圳研究生院