深度圖像後處理的方法
2023-06-10 19:02:26 1
專利名稱：深度圖像後處理的方法
技術領域：
本發明涉及圖像處理方法，尤其涉及一種深度圖像後處理的方法。
背景技術：
真實世界中物體是三維的，而一般的攝影技術只能將空間物體以二維的形式記錄下來，從而丟失了物體的深度信息。隨著計算機技術、多媒體技術的發展，更多的應用需要利用場景的深度信息將客觀世界真實再現，給人們帶來立體感受。目前，裸眼自由立體電視蓬勃發展，它可以擺脫眼鏡的限制，在任意視點裸眼觀看到3D立體效果。常見的自由立體顯示技術利用深度信息，在重構顯示端採用DIBR(D印th-Image-Based Rendering)算法生成多路虛擬視點圖像，最後合成立體圖像進行顯示。因此，對深度圖像的獲取這一技術的研究具有重要的意義。常見的深度圖像產生方法有立體匹配算法，分為局部立體匹配算法和全局立體匹配算法。局部立體匹配算法大多基於窗口實現，它的複雜度低，易於實時實現。然而局部立體匹配算法產生的深度圖像在低紋理區域以及遮擋區域存在較多的錯誤點。全局立體匹配算法通過引入平滑項優化深度圖像，雖然可以彌補局部立體匹配算法的固有缺陷，但是它會造成圖像中物體邊緣不準確的現象。同時，全局立體匹配算法的複雜度較高，不易實現。傳統的圖像後處理方法包括中值濾波、高斯濾波、雙邊濾波等等。但是這些濾波方法都局限在一個固定窗口內，且無法分辨圖像中的正確點與錯誤點，易造成錯誤點擴散，同時會模糊圖像中物體的邊緣。
發明內容
本發明的目的是克服現有技術的缺陷和不足，提出了一種深度圖像後處理的方法。深度圖像後處理的方法包括以下步驟(1)對待處理的左右視點立體圖像以及對應的左右視點深度圖像，以其中一幅視點圖像為主視點，另一視點圖像為輔助視點，檢測主視點深度圖像中的可信點和不可信佔.
^ ≤ (2)根據濾波窗口的基準尺寸，確定處理主視點深度圖像需要的濾波尺度範圍；(3)利用主視點圖像以及主視點深度圖像中每個像素的可信度，對主視點深度圖像進行多尺度濾波，保留可信點，逐步修正不可信點，多尺度濾波結束後，即可得到最終的主視點深度圖像。所述的對待處理的左右視點立體圖像以及對應的左右視點深度圖像，以其中一幅視點圖像為主視點，另一視點圖像為輔助視點，檢測主視點深度圖像中的可信點和不可信點的步驟為(a)以左視點圖像込、左視點深度圖像^為主視點，以右視點圖像Ik、右視點深度圖像Dk為輔助視點，根據主視點圖像坐標系中每一個像素點Upy1)的深度值i\(Xl，yi)，將( , Y1)映射至輔助視點圖像坐標系，映射點的坐標為(x1K，y1K)，檢測映射點(χ1κ，y1K)的深度值與Upy1)的深度值是否相等，獲取主視點的可信度標記圖ConfV，表示公式如下
權利要求
1.一種深度圖像後處理的方法，其特徵在於它的步驟如下(1)對待處理的左右視點立體圖像以及對應的左右視點深度圖像，以其中一幅視點圖像為主視點，另一視點圖像為輔助視點，檢測主視點深度圖像中的可信點和不可信點；(2)根據濾波窗口的基準尺寸，確定處理主視點深度圖像需要的濾波尺度範圍；(3)利用主視點圖像以及主視點深度圖像中每個像素的可信度，對主視點深度圖像進行多尺度濾波，保留可信點，逐步修正不可信點，多尺度濾波結束後，即可得到最終的主視點深度圖像。
2.根據權利要求1所述的一種深度圖像後處理的方法，其特徵在於所述的對待處理的左右視點立體圖像以及對應的左右視點深度圖像，以其中一幅視點圖像為主視點，另一視點圖像為輔助視點，檢測主視點深度圖像中的可信點和不可信點的步驟為(a)以左視點圖像l·、左視點深度圖像^為主視點，以右視點圖像Ik、右視點深度圖像 Dk為輔助視點，根據主視點圖像坐標系中每一個像素點(Xl，yi)的深度值I\(Xl，yi)，將(Xl， Y1)映射至輔助視點圖像坐標系，映射點的坐標為(x1K，y1K)，檢測映射點(χ1κ，y1K)的深度值與(Xl，yi)的深度值是否相等，獲取主視點的可信度標記圖ConfV，表示公式如下Dl (X1, Yi) -De (x1e, y1E) I ^ η LE其中，&表示主視點圖像像素點水平方向上的坐標，力表示主視點圖像像素點垂直方向上的坐標，X1的取值為X1 = 0,1,2,..., W-Ly1的取值為yi = 0，1，2，. . .，H-l，x1E表示 (Xpy1)映射在輔助視點中的像素點水平方向上的坐標，y1K表示(Xl，yi)映射在輔助視點中的像素點垂直方向上的坐標，X1e的取值為x1K = 0，1，2，. . .，W-l，y1E的取值為y1K = 0,1, 2，...，H-l，W表示左右視點圖像的水平解析度，H表示左右視點圖像的垂直解析度，Dl (χι; yi),DE(x1E,y1E)分別表示(Xl，yi)、U1K，&K)的深度值，Ilui表示左右一致性檢測誤差閾值。若主視點圖像中像素點(Xl，Y1)不滿足上式，則被判定為不可信點，標記為ConfJx1, Y1) = 0;(b)對主視點圖像中滿足公式IDlU1,yi)-DE(x1E, y1E) I彡IUk的像素點( , Y1)，進行代價計算，獲取每個像素點(Xl，Y1)的最優代價值，乂)和次優代價值qmm2(x,,>o，表示公式如下Cl(X1, Y1, d) = Diff (IL(xi; Y1), IE(xlr(d), ylr (d)))Crl(x1,y1) = CL(x1,y1,Dl(X1^1))crha)=樹哪，力⑷其中，DMax表示主視點圖像中的最大深度值，d表示主視點圖像中像素點(Xl，yi)的深度，它的取值為(1 = 0，1，2，.. .，DMax，込(Xl，yi)表示主視點圖像中像素點(X1^1)的色彩值， 在深度為d時，將(xi; Y1)映射到輔助視點中，映射點的坐標為(xlr(d),ylr(d)), IE(xlr(d), ylr(d))表示輔助視點中映射點的色彩值，Diff (·)表示代價計算函數，CJx1, yi，d)表示主視點圖像中每一個像素點(Xl，Y1)在深度為d時的代價值；(c)根據步驟(b)計算出的最優代價值qmml(、>0和次優代價值qmm2(%>o，進行唯一性檢測，獲得主視點圖像中滿足公式|DjXl，yi)-DK(XlK，y1K)|彡Jlui的像素點(Xl，yi)的深度值的可信度，表示公式如下
3.根據權利要求1所述的一種深度圖像後處理的方法，其特徵在於所述的根據濾波窗口的基準尺寸，確定處理主視點深度圖像需要的濾波尺度範圍的步驟為(d)計算濾波尺度範圍N，保證主視點圖像中的每個像素點都被濾波器處理，表示公式如下,
4.根據權利要求1所述的一種深度圖像後處理的方法，其特徵在於所述的依據主視點圖像以及主視點深度圖像中每個像素的可信度，對主視點深度圖像進行多尺度濾波，保留可信點，逐步修正不可信點，多尺度濾波結束後，即可得到最終的主視點深度圖像的步驟為(e)設定濾波尺度i的初始值為N；(f)計算劃分塊的大小S，表示公式如下S = 21將主視點圖像l·及其對應的深度圖像劃分成多個大小為SXS的塊，提取每個塊中左上角的像素點；(g)計算當前濾波尺度i下的濾波窗口尺寸巧，表示公式如下
全文摘要
本發明公開了一種深度圖像後處理的方法，包括以下步驟(1)對待處理的左右視點立體圖像以及對應的左右視點深度圖像，以其中一幅視點圖像為主視點，另一視點圖像為輔助視點，檢測主視點深度圖像中的可信點和不可信點；(2)根據濾波窗口的基準尺寸，確定處理主視點深度圖像需要的濾波尺度範圍；(3)利用主視點圖像以及主視點深度圖像中每個像素的可信度，對主視點深度圖像進行多尺度濾波，保留可信點，逐步修正不可信點。本發明針對立體匹配算法產生的深度圖像，可以快速有效地修復深度圖像中遮擋區域、低紋理區域的不可信點，並且有效地保持物體的邊緣，獲取精確平滑的深度圖像。
文檔編號G06T5/00GK102542541SQ20111046015
公開日2012年7月4日 申請日期2011年12月31日 優先權日2011年12月31日
發明者張明, 張靜, 李東曉, 楊青青, 王梁昊 申請人:浙江大學