一種視差估計快速算法的製作方法
2023-08-04 09:21:06 1
專利名稱：一種視差估計快速算法的製作方法
技術領域：
本發明涉及視頻編碼領域的多視點視頻編碼技術，尤其是涉及一種視差估計快速算法。
背景技術：
多視點視頻編碼是立體視頻應用的關鍵技術，相比傳統的雙目立體視頻，它提供了多個視點，為觀察者在不同角度欣賞立體視頻成為可能，也增強了立體視頻的真實性。多視點視頻序列包括多個攝像機在同一時間拍攝的多路視頻，因此，多視點視頻序列包含極大地數據量，這就給多視點視頻序列的應用帶來了諸多不便，高效的多視點視頻壓縮技術成為亟待解決的問題。目前，多視點視頻編碼技術已經有一定的研究成果，在相關的編碼標準中也有一定程度的應用。最直接的編碼方案是將各路視頻單獨編碼，這種方案雖然簡單，但是沒有充分利用多視點序列視點間的相關性，即不能降低視點間冗餘，壓縮效率並不理想。為了充分利用視點間相關性，基於視差估計的視差補償是一個不錯的選擇。鑑於此，對於多視點視頻序列的壓縮，一方面類似普通2D視頻，通過運動補償(MCP)的方式降低時域冗餘以減少多視點視頻序列的數據量，另一方面，通過視差補償(DCP)的方法降低視點間冗餘。為了提高估計的精度，運動向量和視差向量的精度都提高到了分數精度，同時運算量也進一步增加， 並且很大程度上限制了編碼效率的提升。為了降低運算量，現有的解決方法主要集中在快速塊匹配搜索算法，例如，優化的搜索路徑(三步搜索等)，分層搜索，根據運動特性自適應調整搜索中心和範圍等。這些方法基本思想都是減少搜索點來降低運算量，雖然簡便易行，但同樣存在一些不足之處，例如， 環境條件假設不盡合理，忽略了環境噪聲的存在和影響，快速搜索算法僅能得到局部最優結果。
發明內容
本發明所要解決的技術問題是提供一種利用Kalman濾波優化的視差估計方法， 充分利用多視點視頻序列視點間的相關性，保證運算量在可接受的範圍內，且儘可能的提高視差估計的精度。本發明的技術問題通過以下技術手段予以解決
一種利用Kalman濾波優化的視差估計方法，包括以下步驟
A)以待估計的第一視點視頻序列各幀作為錨定幀，第二視點視頻序列各幀作為預測幀，其中第一視點視頻序列的第η幀記為Plru第二視點視頻序列的第η幀記為ftn ；並將第一視點視頻序列和第二視點視頻序列的各幀分成預定大小的多個宏塊；
B)對於首幀Pll和1^1，採用全搜索塊匹配算法確定Prl各個宏塊在Pll中的最佳匹配塊，進而得到各個宏塊的視差向量&1 (r, s)，其中，r、s分別用於標識該宏塊位於該幀的第r列，第s行；C)對於首幀圖像以外的第η(η > 1)幀，分別進行如下處理
C-I)計算預測幀各個宏塊與錨定幀對應宏塊之間灰度值的平均絕對誤差值，通過排序算法將各宏塊的平均絕對誤差值由大到小進行排序，將排在預定位置的宏塊的平均絕對誤差值設為閾值T ；
C-2)對預測幀ftn的每一宏塊，採用快速塊匹配算法依次在錨定幀Pln的預定搜索區域確定其最佳匹配塊，進而得到相應的視差向量(r, s)；
C-3)計算預測幀Prn的每一宏塊與其最佳匹配塊之間灰度值的平均絕對誤差Tn，若Tn <!~則將步驟C-2)計算得到的視差向量ftii (r, s)作為最終的視差向量；否則執行步驟 D)；
D)將預測幀Prn每一宏塊的視差向量)(rn(r，s)視為與前一幀對應塊的視差向量&·η-1 (r，s)僅相差一個噪聲信號fen (r，s)，從而構建Kalman濾波的系統狀態方程；將ftn (r， s)視為被噪聲V rn(r, s)汙染的觀測結果從而構建Kalman濾波的觀測方程；設定噪聲信號^11 (r，s)和V rn(r, s)的值進行Kalman濾波從而得到最終的分數級視差向量)(rn (r，S)。與現有技術相比，本發明的上述方案，僅僅對待估計序列的第一幀採用全搜索的方法得到較精確的視差向量，為其他各幀的Kalman濾波提供準確的參考，由於僅是第一幀採用全搜索方法，所以對視差估計的整體運算量而言，其影響可以忽略不計；對於第一幀以外的其他各幀，採用快速匹配算法確定匹配塊，並計算出相應的視差向量，通過錨定幀與預測幀對應宏塊灰度值的MAD (Mean Absolute Deviation平均絕對誤差)判斷圖像的複雜程度，對於簡單的宏塊，由於快速搜索算法計算得到的視差向量已經接近全局最優，則不進行濾波處理，從而降低了濾波帶來的計算量；對於複雜的宏塊(即MAD大於閾值的宏塊)，利用其與前一時刻對應塊的相關性進行Kalman濾波處理得到分數級的視差向量，而避免了傳統的分數精度搜索所帶來的插值運算及搜索次數增加。優選地，所述步驟D)中，噪聲信號Wrn (r，s)的方差取0. 375T，Vrn (r, s)的方差取 0.125Τ0優選地，所述步驟C-1)中，所述閾值T的取值範圍為排在609Γ80%的某一宏塊的平均絕對誤差值。視差主要是由於攝像頭擺放位置差異造成的，故而所有的宏塊都存在視差，而且由於內容的不同MAD無法設定為固定的，所以採用自適應的方式，對MAD由大到小的前6(Γ80%進行濾波處理，將MAD排序得到相應閾值Τ，大於閾值的濾波，其他宏塊則選擇跳過，同時兼顧計算精度和計算量。優選地，所述步驟C-2)中，所述快速塊匹配算法採用三步搜索法或菱形搜索法。優選地，所述步驟C-2)中快速塊匹配算法的搜索半徑為15像素。
圖1是本發明具體實施方式
構建AR模型的對應塊示意圖； 圖2是本發明具體實施方式
的流程圖3是本發明具體實施方式
的當前幀處理流程圖。
具體實施方式
下面對照附圖，以多視點視頻序列任意兩路相鄰序列獲取視差向量為例對本發明作進一步說明。1)對於待處理的兩路視頻序列，左路第η幀，記為Pln，右路第η幀，記為ftn，其中 n=l，2，3…….，左路相應各幀作為錨定幀，右路各幀作為預測幀。具體實現時，將各幀分成若干個預定大小的宏塊，例如16x16像素大小。2)首幀Pll和ft~l，作為第一組沒有可以參考的前兩幀的視差向量，故而可以採用全搜索的方法確定Prl各個宏塊在Pll中的最佳匹配塊，進而得到較精確的視差向量)(rl (r，s)(其中，r、s分別用於標識該宏塊位於該幀的第r列，第s行)為後面幀參考提供較準確的依據，由於僅是第一幀採用全搜索，所以對算法的總體運算量來說，其影響可以忽略不計
3)對於首幀圖像以外的第η(η > 1)幀，分別進行如下處理
3-1)計算當前預測幀各個宏塊與錨定幀對應宏塊之間灰度值的平均絕對誤差值 (MAD)，通過排序算法將各宏塊的平均絕對誤差值由大到小進行排序，將排在預定位置的某一宏塊的平均絕對誤差值設為閾值Τ，該閾值T可以根據實際需要取排在第609Γ80%中任一位置的宏塊的MAD值，本實施例選擇80%位置的宏塊的MAD值為閾值。3-2)對預測幀ftn的每一宏塊，採用快速塊匹配算法依次在錨定幀Pln的預定搜索區域確定其最佳匹配塊，進而得到相應的視差向量％·η (r，s);所述預定搜索區域可以根據實際需要進行選擇，本實施方式選擇搜索半徑為15像素的區域為預定搜索區域。3-3)計算預測幀ftn的當前宏塊與其最佳匹配塊之間灰度值的平均絕對誤差Tn， 若Tn < T則將步驟3-2)計算得到的視差向量ftii (r，s)作為最終的視差向量；否則執行步驟4)；
4)將預測幀Prn每一宏塊的視差向量)(rn(r，s)視為與前一幀對應塊的視差向量&·η-1 (r，s)僅相差一個噪聲信號fen (r，s)，從而構建Kalman濾波的系統狀態方程；將ftn (r， s)視為被噪聲V rn(r, s)汙染的觀測結果從而構建Kalman濾波的觀測方程；設定噪聲信號fen (r，s)和V rn(r, s)的值進行Kalman濾波從而得到最終的分數級視差向量)(rn (r， S)。即
4-1)選擇前一時刻兩幀視差場對應塊，如圖1，此時可以構建簡化的一維AR模型如下 Xrn (r, s) = a Xrn-I (r, s) + Wrn (r, s)，其中Wrn (r, s)為噪聲信號，a是構造的線性模型的參數，即當前變量和參考變量呈線性關係，本實施方式a=l。4-2)將Yrn (r，s)視為被噪聲V rn (r，s)汙染的觀測結果，即Yrn (r, s) = h Xrn (r, s) + V rn(r，s)，其中，V rn(r, s)為噪聲信號，h為觀測參數，本實施方式h=l。4-3)根據上述兩個等式可以得到 系統的狀態方程x(k) = ax(k-l) + w(k) 觀測方程y(k) = hx(k) + v(k)
選擇合適的噪聲信號的均值和方差，經Kalman濾波得到分數級別的視差向量。其中， 噪聲信號為W和V，假設二者都為高斯分布的噪聲信號，且均值為0。噪聲信號W方差選取 0. 375T，V選擇0. 125T。T為前述的閾值，噪聲信號方差的選取跟閾值是有相關性的，且比較小，故而採用T乘以係數的方式選取，而系統方程中噪聲一般大於觀測方程。5)檢查當前幀所有宏塊是否處理完成，若沒有則重複前述步驟3)、4)對下一宏塊進行處理，若完成則執行步驟6)。6)處理第N+1幀，直至處理完所有幀。以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的技術人員來說，在不脫離本發明構思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應當視為屬於本發明的保護範圍。
權利要求
1.一種利用Kalman濾波優化的視差估計方法，其特徵在於，包括以下步驟A)以待估計的第一視點視頻序列各幀作為錨定幀，第二視點視頻序列各幀作為預測幀，其中第一視點視頻序列的第η幀記為Plru第二視點視頻序列的第η幀記為ftn ；並將第一視點視頻序列和第二視點視頻序列的各幀分成預定大小的多個宏塊；B)對於首幀Pll和1^1，採用全搜索塊匹配算法確定Prl各個宏塊在Pll中的最佳匹配塊，進而得到各個宏塊的視差向量&1 (r, s)，其中，r、s分別用於標識該宏塊位於該幀的第r列，第s行；C)對於首幀圖像以外的第η(η > 1)幀，分別進行如下處理C-I)計算預測幀各個宏塊與錨定幀對應宏塊之間灰度值的平均絕對誤差值，通過排序算法將各宏塊的平均絕對誤差值由大到小進行排序，將排在預定位置的宏塊的平均絕對誤差值設為閾值T ；C-2)對預測幀ftn的每一宏塊，採用快速塊匹配算法依次在錨定幀Pln的預定搜索區域確定其最佳匹配塊，進而得到相應的視差向量(r, s)；C-3)計算預測幀Prn的每一宏塊與其最佳匹配塊之間灰度值的平均絕對誤差Tn，若Tn <!~則將步驟C-2)計算得到的視差向量ftii (r, s)作為最終的視差向量；否則執行步驟 D)；D)將預測幀Prn每一宏塊的視差向量)(rn(r，s)視為與前一幀對應塊的視差向量)(rn-l (r，s)僅相差一個噪聲信號fen (r，s)，從而構建Kalman濾波的系統狀態方程；將ftn (r， s)視為被噪聲Vrn (r，s)汙染的觀測結果從而構建Kalman濾波的觀測方程；設定噪聲信號 Wrn (r，s)和V rn (r, s)的值進行Kalman濾波從而得到最終的分數級視差向量ftii (r，S)。
2.根據權利要求1所述利用Kalman濾波優化的視差估計方法，其特徵在於所述步驟 D)中，噪聲信號Wrn (r，s)的方差取0. 375T，Vrn(r，s)的方差取0. 125T。
3.根據權利要求1所述的利用Kalman濾波優化的視差估計方法，其特徵在於所述步驟C-I)中，所述閾值T的取值範圍為排在609Γ80%的宏塊的平均絕對誤差值。
4.根據權利要求1所述的利用Kalman濾波優化的視差估計方法，其特徵在於所述步驟C-2)中，所述快速塊匹配算法採用三步搜索法或菱形搜索法。
5.根據權利要求4所述的利用Kalman濾波優化的視差估計方法，其特徵在於所述步驟C-2)中快速塊匹配算法的搜索半徑為15像素。
全文摘要
本發明公開了一種利用Kalman濾波優化的視差估計方法，在視差估計時，先利用傳統的快速塊匹配算法得到視差向量，對視差向量的結果進行kalman濾波，使其更接近全搜索算法得到的結果，同時經過kalman濾波優化處理，視差向量精確度能提高到分數級別，且避免了傳統的分數精度搜索所帶來的插值運算及搜索次數增加。
文檔編號H04N7/26GK102378009SQ20111035951
公開日2012年3月14日 申請日期2011年11月14日 優先權日2011年11月14日
發明者戴瓊海, 杜成立, 王好謙 申請人:清華大學深圳研究生院