空間遙操作環境下立體視頻編碼優化方法
2023-06-15 14:23:36
專利名稱：空間遙操作環境下立體視頻編碼優化方法
技術領域：
本發明涉及一種編碼方法，具體是一種立體視頻編碼的優化方法。
背景技術：
隨著三維技術的日趨成熟，由多視點攝像系統採集的立體視頻信號的應用正在迅速發展，視頻顯示技術在未來的發展方向必定由單純的平面顯示向立體顯示轉變。和普通的單通道視頻相比，立體視頻增加了景物的深度信息，增強視覺的現實感和逼真感。立體視頻信號將是未來多媒體通信的重要內容，將被廣泛應用於數位電視、遠程教育、遠程工業控制、三維視頻會議系統和虛擬實境系統等多個方面，但是與普通的單通道視頻相比，立體視頻傳輸和存儲的數據量至少增加一倍以上；而在空間遙操作環境下，由於通訊帶寬有限， 為了對立體視頻數據進行有效的存儲和傳輸，必須充分利用空間、時間和兩個通道之間的信息冗餘，採用運動補償預測技術和視差補償預測技術來對立體圖像視頻數據進行有效壓縮。
立體視頻是由相距65mm左右的兩個平行光軸攝像機同時對一個場景進行拍攝得到，因此圖像對之間有很強的雙目視相關性。
立體視頻總體框架如圖I所示，採集部分採用多通道數據採集技術，利用兩個攝像頭，對現場的立體景象進行實時數據採集，並且同步傳輸給視頻數據編碼器，編碼器對採集的視頻數據進行實時壓縮，並且進行存儲或者傳輸，視頻數據解碼器根據接收到的碼流進行解碼處理，解碼後的圖像分為左右兩路後再進行立體顯示。
該系統攝取的視頻包括左右兩個通道，兩個通道的圖像對之間有很強的雙目相關性，H. 264是一種高效的單通道視頻編碼標準，但是對於立體視頻編碼而言，並不是對左右通道分別採用高效的單通道視頻編碼，就可以達到很好的壓縮效果。這是由於立體視頻編碼中除了要考慮每個通道幀內圖像的空間冗餘度和幀間圖像之間的時間冗餘度外，還要考慮左右通道圖像之間的空間冗餘度。發明內容
本發明要解決的技術問題是提供一種具有良好壓縮效果的的空間遙操作環境下立體視頻編碼優化方法。
本發明採用以下技術方案解決上述技術問題的在兩路視頻信號中，將左路視頻作為參考圖像，使用經典的基於運動補償預測的視頻編碼方法進行編碼，去除圖像之間的空間相關性和時間相關性，將右路視頻作為目標圖像，採用視差估計/補償技術消除圖像對之間的冗餘。這裡的視差是指立體圖像對之間的幾何差異。
具體的，本發明是基於H. 264編碼技術，提出下面的立體視頻編碼方案考慮左右通道相關性和右通道視差預測的殘差，左通道採用H. 264編碼，右通道採用基於左通道的 DCP (視差補償預測)編碼，右通道視差預測的殘差也採用H. 264方式進行編碼，在進行H.264編碼過程中，結合實際需要，並對該編碼進行了部分優化。4
本發明進一步具體為在左通道採用的H. 264編碼中，對幀內預測算法和運動估計算法做了優化；
對幀內預測算法優化的方法為利用周圍宏塊的已知信息，對當前編碼宏塊的可能預測模式按照概率進行排序，然後依次計算各個模式的SATD值，如果SATD值低於設置的閾值，那麼停止計算剩餘模式的SATD值，色差分量和亮度分量均採用此算法；
對運動估計算法優化的方法為使用三步搜索法進行運動估計，三步搜索法的實現步驟如下
①以「I」點為中心，步長為4，搜索其±4範圍內9個標記為「I」的點，依據評測準則函數，從這9個像素中找到具有最小MSE或最小均方絕對差的點，作為該步驟的最佳匹配像素點；
②圍繞在步驟①中被選擇作為最佳匹配的像素點，選擇步長為2，搜索其±2 範圍內所選擇的8個標記為「2」的點，與步驟①相類同，依據準則函數找到一個最佳匹配像素點；
③選擇步長為1，在步驟②的最佳匹配點±1範圍內搜索，得到的最佳匹配像素點將作為三步搜索的最終結果。
優化的，在運動估計算法的運動搜索過程中，使用的率失真方程如下
J(m\ AmottJ = SA/|.v,c(m))+AiiwiJR{m-p)
在幀間和幀內編碼模式選擇時，使用下面的率失真方程式 /(.V，c·, palleni ( )1\ ) = SSlc, pallen)
+ U W。山I
其中，J(m| Amotion)是於選擇運動矢量的衡量標準，使得該值最小的運動矢量被選擇，J (s，c, pattern | QP, λ mode)用於模式選擇的衡量標準，使得該值最小的編碼模式被選擇， SAD是源視頻數據和目標視頻數據之間差值的絕對值之和，SSD是源視頻數據和目標視頻數據之間差值的絕對值平方之和，Xmotion和λπ_是拉格朗日參數。
本發明的優化方法還可以對右路視頻的壓縮編碼通進行優化，或者在對左路視頻的壓縮編碼進行優化的基礎上同時對右路視頻的壓縮編碼進行優化，對右路視頻的壓縮編碼的步驟為對右路視頻進行視差估計，編碼單位可以選擇是16x16的宏塊，首先當前編碼的右路圖像中的宏塊在時間同步的左路圖像中搜索最匹配的圖像塊，得到相應的視差矢量，對視差矢量進行無失真編碼，同時，當前的編碼塊和搜索得到的最匹配塊進行相減，得到視差估計殘差，然後再對其進行變換編碼，視察估計的快速算法包括以下一個或三個
首先，根據視差的偏振約束特性，搜索時只沿偏振線進行，在平行相機系統中只需沿水平方向進行搜索；其次根據方向性約束，搜索時優先向一個方向搜索，考慮到左通道圖像作為基本層編碼，右通道圖像作為增強層編碼，視差估計時優先向右進行搜索；利用時域相關性或空域相關性，在進行視差估計時，用前一幀圖像的對應視差矢量作為搜索起始點。
本發明的優點在於結合最新的H. 264高效編碼壓縮技術特點，根據壓縮率和實時性要求，對H. 264編碼算法進行了優化處理，保證壓縮率的基礎上減少了運算量，主要對幀內預測算法和運動估計算法進行了優化，試驗結果表明，優化後的效果明顯，系統的實時性得到改善。
圖I是立體視頻總體框架圖。
圖2是H. 264算法流程圖。
具體實施方式
I、左路視頻的壓縮編碼
首先對立體視頻中的左路視頻使用最新的國際視頻標準H. 264進行壓縮。
H. 264是由ITU-T視頻專家小組VCEG和IS0/IEC運動圖像專家組聯合推出的最新視頻編碼標準，和以前的編碼標準相比，H. 264的編碼性能取得了前所未有的提高，採用了一些新的算法，如預測方法，整數變換，4x4塊的運動估計/運動補償，環路濾波，新的熵編碼方法，率失真優化技術RDO (rate distortion optimization)等,但H. 264在性能提高的同時，編碼器的複雜度也大幅度增加，很難滿足空間遙操作中實時性要求，根據壓縮率和實時性的要求，本文只使用了 H. 264標準的基本檔次(baseline prof ile)部分，並對H. 264 的編碼進行了優化處理。H. 264算法流程圖如圖2所示。
I. I算法的優化處理
算法優化是在保證壓縮率的基礎上減少運算量，在圖2中，我們主要對幀內預測算法和運動估計算法做了優化。視頻數據中主要存在兩種形式的冗餘，即幀內的空間冗餘和幀間的時間冗餘，幀內預測主要消除幀內像素之間的空間冗餘，用編碼塊周圍的重建像素值來預測當前編碼塊，由於有多種編碼模式可選，在編碼的過程中，需要進行窮盡搜索， 計算複雜度比較大。而運動估計模塊，消除的是幀間的時間冗餘，用當前編碼幀中的宏塊在前一幀中搜索最優匹配塊，然後對匹配殘差和運動矢量進行編碼，這裡搜索過程的複雜度同樣也很高。
I. I. I快速幀內預測編碼
在幀內預測中，為了確定一個宏塊的幀內預測模式，需要計算所有可能模式的 SATD值(Sum of Absolute Transform Difference,殘差變換絕對值和)，然後選擇具有最小SATD的模式作為最終的預測模式。在H. 264中，是基於16x16的幀內預測模式，色差分量的預測模式和亮度分量類似。為了減少幀內預測中計算SATD值的次數，我們利用周圍宏塊的已知信息，對當前編碼宏塊的可能預測模式按照概率進行排序，然後依次計算各個模式的SATD值，如果SATD值低於我們設置的閾值，那麼停止計算剩餘模式的SATD值，色差分量和亮度分量均採用此算法，從而有效的降低計算複雜度。
I. I. 2快速幀間預測編碼
為了消除圖像幀間的冗餘，H. 264中採用了基於塊匹配的運動估計算法，其基本思想是將圖像劃分成許多互不重疊的子塊，並且認為塊內所有像素的位移量都相同。全搜索算法是塊匹配算法中研究和應用最廣泛的一種技術，但是由於計算量相當大。為了減少計算量，在本項目中我們使用三步搜索算法進行運動估計，三步搜索算法的實現示意圖如圖3 所示。
三步搜索算法的實現步驟如下
①以「I」點為中心，步長為4，搜索其±4範圍內9個標記為「I」的點，依據評測準則函數，從這9個像素中找到具有最小MSE或最小均方絕對差的點，作為該步驟的最佳匹配像素點。
②圍繞在步驟①中被選擇作為最佳匹配的像素點，選擇步長為2，搜索其±2 範圍內所選擇的8個標記為「2」的點，與步驟①相類同，依據準則函數找到一個最佳匹配像素點。
③選擇步長為1，在步驟②的最佳匹配點±1範圍內搜索，得到的最佳匹配像素點將作為三步搜索的最終結果。
1.1.3率失真優化算法
率失真優化算法是指在有限帶寬的條件下，如何獲得最優的圖像質量，本方案使用一個簡單的方程表達式將碼率和失真聯繫起來，從而在碼率和失真度之間取得一個的平衡點，從而保證在給定的碼率條件下取得最優的圖像質量。
在運動搜索的過程中，使用的率失真方程如下
./(ot| AmoljJ = SAlMm))+ .mo Κφι-ρ)
在幀間和幀內編碼模式選擇時，使用下面的率失真方程式 /(\ C, pa"en\ ( )l\ Ain^,) = SSIJs, c\ patieri)
+ /U,*/《wock,K」/)
其中，J(m| Amotion)是用於選擇運動矢量的衡量標準，使得該值最小的運動矢量被選擇。J (s，c，pattern I QP，Amode)是用於模式選擇的衡量標準，使得該值最小的編碼模式被選擇。
SAD (Sum of Absolute Difference,絕對差值和)是衡量失真度的尺度，由源視頻數據和目標視頻數據之間差值的絕對值之和。SSD (Sum of Squared Difference，差值平方和)也是用來衡量失真的另一尺度，由源視頻數據和目標視頻數據之間差值的絕對值平方之和。
Amotion是拉格朗日參數，它的大小決定碼率和失真對於運動矢量選擇的影響， λ motion大則碼率對模式選擇的影響更大，λ motion小則模式選擇對失真更為敏感。
Amode是拉格朗日參數，它的大小決定碼率和失真對模式選擇的影響大小，大則碼率對模式選擇的影響大，λπ_小則模式選擇對失真更為敏感。
使用上述的方法能夠獲得在指定帶寬條件下的最優圖像質量。
2右路視頻的壓縮編碼
對右路視頻進行視差估計，編碼單位也是16x16的宏塊。首先當前編碼的右路圖像中的宏塊在時間同步的左路圖像中搜索最匹配的圖像塊，得到相應的視差矢量，對視差矢量進行無失真編碼，同時，當前的編碼塊和搜索得到的最匹配塊進行相減，得到視差估計殘差，然後再對其進行變換編碼。
塊匹配法是常用的視差估計方法，其基本思想是將圖像分割成固定尺寸的塊，塊內部像素的視差值假定是相同的，在參考圖像中按照一定的匹配準則尋找最佳匹配塊。但是視差矢量的分布受到一定的約束，一幀圖像內前後圖像塊的視差矢量之間，相鄰幀圖像對應塊的視差矢量之間都存在相關性，我們將使用這些特性來進行快速的視差估計。
2. I偏振約束
對於一個給定的景物點，其在左右圖像平面上的圖像點總是出現在對應的左右偏振線上，因此在進行視差搜索時只需要沿著偏振線搜索即可。在平行相機系統中，偏振線和圖像的水平掃描線是平行的，所以搜索只要沿著右圖像所在的水平線即可。
2. 2方向性約束
在平行相機系統中，視差矢量只有水平分量，對於同一個景物，其透視投影左圖像相對於右圖像局部地向右移動，在搜索右圖像在左圖像中的匹配塊時，可以優先向右搜索。
2. 3視差矢量的空域相關性和時間相關性
視差是深度的函數，深度相同的像素點具有相同的視差。深度就是物體表面到相機光心的距離，雖然實際景物表面一般是不連續的，但在局部區域內有可能看作是連續變化的，因為空間景物總是由若干物體構成，有些物體表面可近似看作是光滑的或局部光滑的。對於光滑表面，其視差值變化應該是連續的，而連續變化視差場中的視差矢量有很強的相關性，即同一幀內視差矢量之間存在相關性。
對於相鄰兩幀圖像，僅有少數像素發生了運動，多數像素的位置並沒有變化。對於位置不變的像素來說，其視差基本不變。所以在進行視差估計時，可以用前一幀圖像的對應視差矢量作為搜索起始點進行小範圍內的搜索，從而快速找到實際視差矢量。
2. 4視差估計的快速算法
基於上述視差分布約束和相關性分析，視差估計快速算法描述如下首先，根據視差的偏振約束特性，搜索時只沿偏振線進行，在平行相機系統中，偏振線和掃描線是平行的，左右像素的匹配點位於同一水平線上，因此，只需沿水平方向進行搜索即可。其次根據方向性約束，搜索時優先向一個方向搜索.考慮到左通道圖像作為基本層編碼，右通道圖像作為增強層編碼，視差估計是搜索右通道圖像中的圖像塊在左通道圖像中的匹配塊，由方向性約束分析可知，視差估計時可優先向右進行搜索。此外，利用時域相關性或空域相關性能確定視差估計的起始值。對於空域相關性，由於不同區域其相關性不同，平坦區域相關性要強一些，非平坦區域相對弱一些，所以在搜索時，平坦區域的搜索範圍可以取得小一些， 而非平坦區域的搜索範圍可以大一些。
在試驗中，使用Miss的CIF立體圖像對進行仿真試驗，均以左圖像為參考圖像，右圖像為目標圖像，分別採用基於H. 264和本發明的基於H. 264改進算法進行重建右圖像的質量和壓縮比，並對上對上述兩種算法進行比較。
從試驗結果圖可以得出以下結論在壓縮參數相同的情況下，通過改進後的算法重建的圖像明顯好於原算法，塊效應得到明顯的改善。
同時我們以峰值信噪比(PSNR)表示圖像的客觀質量上進行比較。比較結果如表一所示
表一實驗數據對比
權利要求
1.一種空間遙操作環境下立體視頻編碼優化方法，其特徵在於該方法是基於H. 264 編碼技術，採用下面的立體視頻編碼方案考慮左右通道相關性和右通道視差預測的殘差， 左通道採用H. 264編碼，右通道採用基於左通道的視差補償預測編碼，右通道視差預測的殘差也採用H. 264方式進行編碼。
2.如權利要求I所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於在左通道採用的H. 264編碼中，對幀內預測算法做了優化，對幀內預測算法優化的方法為利用周圍宏塊的已知信息，對當前編碼宏塊的可能預測模式按照概率進行排序，然後依次計算各個模式的SATD值，如果SATD值低於設置的閾值，那麼停止計算剩餘模式的SATD值，色差分量和亮度分量均採用此算法。
3.如權利要求2所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於在左通道採用的H. 264編碼中，對運動估計算法做了優化，對運動估計算法優化的方法為使用三步搜索法進行運動估計，三步搜索法的實現步驟如下①以「I」點為中心，步長為4，搜索其±4範圍內9個標記為「I」的點，依據評測準則函數，從這9個像素中找到具有最小MSE或最小均方絕對差的點，作為該步驟的最佳匹配像素點；②圍繞在步驟①中被選擇作為最佳匹配的像素點，選擇步長為2，搜索其±2範圍內所選擇的8個標記為「2」的點，與步驟①相類同，依據準則函數找到一個最佳匹配像素佔.③選擇步長為1，在步驟②的最佳匹配點±1範圍內搜索，得到的最佳匹配像素點將作為三步搜索的最終結果。
4.如權利要求3所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於在運動估計算法的運動搜索過程中，使用的率失真方程如下I = SA Φ0)+KlnllJ I^m-P)其中，J(m| Amotion)是於選擇運動矢量的衡量標準，最小的運動矢量被選擇，SAD是源視頻數據和目標視頻數據之間差值的絕對值之和，λ motion是拉格朗日參數。
5.如權利要求4所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於在幀間和幀內編碼模式選擇時，使用下面的率失真方程式 /(『V，c\ paltcn\ 0I\ ) = SSl 叉s, c\ patterf)+ 人,x"(Wock,K」/)其中，J(s，C，pattern|QP，Amode)用於模式選擇的衡量標準，最小的編碼模式被選擇， SSD是源視頻數據和目標視頻數據之間差值的絕對值平方之和，λπ_是拉格朗日參數。
6.如權利要求I至5任一項所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於對右路視頻的壓縮編碼的步驟為對右路視頻進行視差估計，首先當前編碼的右路圖像中的宏塊在時間同步的左路圖像中搜索最匹配的圖像塊，得到相應的視差矢量，對視差矢量進行無失真編碼，同時，當前的編碼塊和搜索得到的最匹配塊進行相減，得到視差估計殘差，然後再對其進行變換編碼。
7.如權利要求6所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於所述對右路視頻進行視差估計的快速算法包括根據視差的偏振約束特性，搜索時只沿偏振線進行。
8.如權利要求7所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於所述對右路視頻進行視差估計的快速算法還包括根據方向性約束，搜索時優先向一個方向搜索，考慮到左通道圖像作為基本層編碼，右通道圖像作為增強層編碼，視差估計時優先向右進行搜索。
9.如權利要求8所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於所述對右路視頻進行視差估計的快速算法還包括利用時域相關性或空域相關性，在進行視差估計時，用前一幀圖像的對應視差矢量作為搜索起始點。
10.如權利要求6所述的空間遙操作環境下立體視頻編碼優化方法，其特徵在於對右路視頻進行視差估計的編碼單位是16x16的宏塊。
全文摘要
本發明提出了一種空間遙操作環境下立體視頻編碼優化方法，該方法是基於H.264編碼技術，採用下面的立體視頻編碼方案考慮左右通道相關性和右通道視差預測的殘差，左通道採用H.264編碼，右通道採用基於左通道的視差補償預測編碼，右通道視差預測的殘差也採用H.264方式進行編碼。在進行H.264編碼過程中，結合實際需要，並對該編碼進行了部分優化。本發明的優點在於結合最新的H.264高效編碼壓縮技術特點，根據壓縮率和實時性要求，對H.264編碼算法進行了優化處理，保證壓縮率的基礎上減少了運算量，試驗結果表明，優化後的效果明顯，系統的實時性得到改善。
文檔編號H04N7/26GK102917233SQ20121045729
公開日2013年2月6日 申請日期2012年11月14日 優先權日2012年11月14日
發明者沈威, 董戴 申請人:中航華東光電有限公司