一種立體視頻編碼方法
2023-05-19 15:58:01 3
專利名稱：一種立體視頻編碼方法
技術領域：
本發明涉及一種視頻信號的編碼壓縮方法，尤其是涉及一種立體視頻編碼方法。
背景技術：
與二維(2D， Two Dimensional)視頻顯示相比，立體/三維(3D， Three Dimensional)
視頻顯示與人的視覺更加匹配，它使人們在屏幕上觀看圖像時富有立體感和浸沉感。近些年來，美、歐、日、韓等政府紛紛投入巨額資金進行立體電視/三維電視GDTV， ThreeDimensional Television)的研究和開發，包括美國國家自然科學基金會、美國海軍研究能源部、美國先進的可視技術中心、歐盟第六框架協議的3DTV計劃、歐盟ESPRIT計劃、歐洲信息技術計劃、德聯邦政府教育研究科學技術部以及英國工程與自然科學研究委員會等，日本和韓國各自正在發展集獲取、編碼、傳輸以及立體顯示於一體的3DTV系統或具有立體視覺感的3D遠程通信。國際標準組織ISO/正CMPEG與ITU-T VCEG也開展了立體視頻壓縮應用標準制定的有關工作。
立體視頻攝取系統常用的攝取方法是從左右兩個視角對同一景物進行拍攝，立體視頻攝取系統攝取得到的立體視頻包括左右兩個視點，兩個視點的圖像對之間存在很強的雙目相關性。針對立體視頻，國際標準組織MPEG-3DAV提出了四種立體視頻編碼方案第一種，左右視點均採用獨立的MPEG-4編碼；第二種，考慮左右視點相關性而不考慮右視點視差預測的殘差；第三種，考慮左右視點相關性和右視點視差預測的殘差；第四種，利用MPEG-4時域分級編碼。應用於立體視頻編碼過程中的相關信號處理技術包括快速視差與運動估計、視差場與運動場的關聯性等等，在近年來都取得了一定的進展。
現有的立體視頻編碼的研究更多地考慮了壓縮效率問題，但對於立體視頻流的網絡傳輸及用戶的立體顯示終端的要求等方面，缺乏足夠的重視。立體視頻流的網絡傳輸包括網絡帶寬的被動、立體視頻流傳輸協議及傳輸錯誤控制等；用戶的立體顯示終端的要求，如許多類型的自動立體顯示器要求有多視點視頻信號產生，即需要在終端進行快速、低複雜度的多個視點圖像合成。另一方面，對基於人類立體感知的立體視頻壓縮、以及立體圖像質量評價分析等，也缺乏足夠的重視。
發明內容
本發明所要解決的技術問題是提供一種具有較好的網絡帶寬適應性，並能夠降低立體顯示設備的虛擬視點合成複雜度的立體視頻編碼方法。
本發明解決上述技術問題所採用的技術方案為 一種立體視頻編碼方法，包括以下具體步驟-
① 將外部視頻捕獲工具捕獲的未經處理的視頻定義為原始立體視頻，原始立體視頻
包括左視點原始視頻和右視點原始視頻；
② 利用現有的失真編碼方法並取編碼量化參數為QP1，以長度為N的圖像組(GOP，Group of Picture)為編碼單位按照設定的編碼過程對左視點原始視頻的各個圖像組中的各個幀進行編碼得到左視點基本層碼流；然後採用相同的編碼量化參數QP1按照設定的編碼過程對右視點原始視頻的各個圖像組中的各個幀進行編碼得到右視點基本層碼流；其中，QP1為4 38之間的正整數，N為圖像組中包含的幀的數量；
③ 對左視點基本層碼流進行解碼重建得到左視點重建視頻，將左視點重建視頻與左視點原始視頻作差運算得到左視點殘差視頻；對右視點基本層碼流進行解碼重建得到右視點重建視頻，將右視點重建視頻與右視點原始視頻作差運算得到右視點殘差視頻；
④ 利用現有的失真編碼方法並取編碼量化參數為QP2，以長度為N的圖像組為編碼單位按照設定的編碼過程對左視點殘差視頻的各個圖像組中的各個幀進行編碼得到左視點增強層碼流，採用相同的編碼量化參數QP2按照設定的編碼過程對右視點殘差視頻的各個圖像組中的各個幀進行編碼得到右視點增強層碼流，其中，QP2< QP1， QP2為4 32之間的正整數，N為圖像組中包含的幀的數量；
⑤ 採用經典的塊匹配法計算左視點原始視頻中每一幀圖像和右視點原始視頻中對應時刻的幀圖像之間的視差圖像，然後對每個時刻的視差圖像進行無失真熵編碼得到每個時刻的視差場碼流；
⑥ 按照設定的編碼過程逐幀輸出左視點基本層碼流、左視點增強層碼流、右視點基本層碼流、右視點增強層碼流及視差場碼流得到最終編碼碼流。
所述的步驟②中按照設定的編碼過程對左視點原始視頻的各個圖像組中的各個幀和對右視點原始視頻的各個圖像組中的各個幀進行編碼，該設定的編碼過程為
②-l、在左視點原始視頻中，定義當前正在處理的圖像組為當前左圖像組，如果當前左圖像組為左視點原始視頻的第1個圖像組，則對當前左圖像組的第1幀進行編碼，
並繼續執行步驟②-2;否則，直接執行步驟②-2;
②-2、對當前左圖像組的下一個圖像組的第1幀進行編碼；
②-3、依次對當前左圖像組的剩餘N-l個幀進行編碼得到N-l個B幀，各個B幀的
5參考幀為當前左圖像組的第1幀和下一個圖像組的第1幀；
②4、將下一個圖像組作為當前左圖像組重複執行步驟②-l至②-3，直至左視點原
始視頻中所有的圖像組處理完畢；
②-5、按照步驟②-l至②-4的編碼順序逐幀輸出編碼結果得到左視點基本層碼流；②-6、在右視點原始視頻中，定義當前正在處理的圖像組為當前右圖像組，如果當
前右圖像組為右視點原始視頻的第1個圖像組，則對當前右圖像組的第1幀進行編碼，
並繼續執行步驟②-7;否則，則直接執行步驟②-7;
②-7、對當前右圖像組的下一個圖像組的第1幀進行編碼；
②-8、依次對當前右圖像組的剩餘N-1個幀進行編碼得到N-1個B幀，各個B幀的
參考幀為當前右圖像組的第1幀和下一個圖像組的第1幀；
②-9、將下一個圖像組作為當前右圖像組重複執行步驟②-6至②-8，直至右視點原
始視頻中所有的圖像組處理完畢；
②-10、按照步驟②-6至②-9的編碼順序逐幀輸出編碼結果得到右視點基本層碼流。所述的步驟⑤中對視差圖像進行無失真熵編碼過程中，採用現有的CABAC無失真編碼技術進行編碼壓縮。
與現有技術相比，本發明的優點在於通過改變量化參數來改變圖像的編碼質量，從而改變圖像的碼率，以適應網絡傳輸帶寬的變化，在高帶寬條件下同時傳輸左視點基本層碼流、左視點增強層碼流、右視點基本層碼流及右視點增強層碼流而獲得高質量的視頻，而在低帶寬條件下僅傳輸左視點基本層碼流和右視點基本層碼流，用戶端也能正常解碼，獲得低質量的視頻，從而使得本發明方法的網絡適應性良好；由於自動立體顯示設備能在視角發生變化時通過已有的視點視頻合成出對應當前視角的視頻，即虛擬視點合成，本發明方法通過向用戶端提供視差場碼流信息，使得用戶自動立體顯示終端能夠快速、低複雜度地實現多視點圖像的虛擬合成，以滿足實時自動立體顯示的要求；本發明方法與現有的視頻編碼標準有很好的兼容性；本發明方法由於在對左視點原始視頻進行編碼時，不使用右視點原始視頻中的幀圖像進行預測，而是使用左視點原始視頻中附近的幀進行運動補償的幀間預測，從而使得本發明方法與現有的單視點網絡電視系統有很好的兼容性，用戶端只需將接收到的編碼碼流中的與右視點相關的碼流丟棄掉，保留左視點相關的碼流就可進行單視點顯示；在對右視點原始視頻進行編碼時，每個圖像組的第一幀採用聯合時間和空間的預測方法，結合運動補償和視差補償進行幀間預測，降低了右視點編碼碼率；此外，本發明方法尤其適用於面向網絡立體視頻系統和自動立體顯示設備的立體視頻編碼。
圖1為本發明方法的編碼碼流產生示意圖2a為立體視頻序列"soccer2"的左視點原始視頻中的一幀圖像；圖2b為立體視頻序列"soccer2"的右視點原始視頻中對應於圖2a時刻的幀圖像;圖2c為圖2a所示的幀圖像的基本層碼流解碼重建後得到的重建圖像；圖2d為圖2b所示的幀圖像的基本層碼流解碼重建後得到的重建圖像；圖2e為圖2a所示的幀圖像的增強層碼流解碼重建後得到的重建圖像；圖2f為圖2b所示的幀圖像的增強層碼流解碼重建後得到的重建圖像。
具體實施例方式
以下結合附圖實施例對本發明作進一步詳細描述。
一種立體視頻編碼方法，包括以下具體步驟
① 將外部視頻捕獲工具捕獲的未經處理的視頻定義為原始立體視頻，在空域上，原始立體視頻包括左視點原始視頻和右視點原始視頻。在本實施例中直接採用了由韓國
ETRI研究所提供的立體視頻序列"soccer2"作為原始立體視頻，ETRI研究所的"soccer2"立體視頻序列解析度為720x480，幀率為30幀每秒，即30 fps，是ISO/MPEG所推薦的標準測試序列，是在立體視頻研究領域廣泛採用的實驗測試序列，圖2a給出了序列"soccer2"的左視點原始視頻中的一幀圖像，圖2b給出了序列"soccer2"的右視點原始視頻中對應於圖2a時刻的幀圖像。
② 利用現有的失真編碼方法如H.264/AVC( Advanced Video Coding,先進視頻編碼)，並取編碼量化參數為QP1，以長度為N的圖像組GOP為編碼單位按照設定的編碼過程對左視點原始視頻的各個圖像組中的各個幀進行編碼得到左視點基本層碼流，然後採用相同的編碼量化參數QPl按照設定的編碼過程對右視點原始視頻的各個圖像組中的各個幀進行編碼得到右視點基本層碼流。編碼量化參數是失真編碼方法中信息壓縮環節的一個參數，編碼量化參數值的大小決定了信息壓縮的比率，編碼量化參數值越大壓縮比率就越大，在此，編碼量化參數QPl的取值範圍可為4 38之間的正整數，但當QPl較大時，編碼失真就越大、得到的左視點基本層碼流和右視點基本層碼流就越小；反之，當QPl較小時，編碼失真就越小、得到的左視點基本層碼流和右視點基本層碼流就越大。而在本實施例中QPl取值為38，這樣左視點基本層碼流和右視點基本層碼流解碼重建後得到的重建視頻的質量相對較差，但能保證基本的視頻視覺質量。
圖像組(GOP)的長度N即為圖像組中所包含的幀的數量，圖像組的長度可以根據實際需要選取，但如果長度太大時會引起延時過長，因此在實際編碼過程中一般選取1 20之間的正整數，而在本實施例中長度N取4。在左視點原始視頻中，圖像組的第一幀編碼為I幀或者為P幀，如果當前正在處理的圖像組為左視點原始視頻中的第Mxi+1
7個圖像組，則該當前正在處理的圖像組的第1幀編碼為I幀，否則該當前正在處理的圖像組的第1幀編碼為P幀，該P幀的參考圖像為上一個圖像組第1幀的重建圖像，其中，i=0，l，2,3，...， M為幀內預測刷新周期。M越大，則I幀數量減少而碼率較低，但是隨機訪問性能降低，並且容易增大預測誤差。本實施例中M選取為4。在右視點原始視頻中，各個圖像組的第1幀的類型與左視點原始視頻中對應圖像組的第1幀的類型有關。如果左視點原始視頻中的某一圖像組的第1幀編碼為I幀，則右視點原始視頻中與左視點原始視頻中的某一圖像組對應的圖像組第1幀編碼為P幀，該P幀的參考圖像為左視點對應圖像組第1幀的重建圖像;如果左視點原始視頻中的某一圖像組的第1幀編碼為P幀，則對應右視點原始視頻中的圖像組的第1幀編碼為B幀，該B幀的參考圖像為左視點對應圖像組第1幀的重建圖像和右視點上一個圖像組第1幀的重建圖像。從圖1中可以看出左視點原始視頻的第1個圖像組的第1幀編碼為I幀，而右視點原始視頻的第1個圖像組的第1幀編碼為P幀，該P幀的參考圖像為左視點第1幀的重建圖像；左視點原始視頻的第2個圖像組的第1幀(即左視點原始視頻的第5幀)編碼為P幀，該P幀的參考圖像為左視點第1幀的重建圖像，而右視點原始視頻的第2個圖像組的第1幀(即右視點原始視頻的第5幀)編碼為B幀，該B幀的參考圖像為左視點第5幀的重建圖像和右視點第1幀的重建圖像。
對左視點原始視頻和右視點原始視頻按照圖1所示的預測結構以長度為4的圖像組為單位按照設定的編碼過程對左視點原始視頻的各個圖像組中的各個幀和對右視點原始視頻的各個圖像組中的各個幀進行編碼，對左視點原始視頻的各個圖像組中的各個幀進行編碼時，不使用右視點原始視頻中的幀圖像進行預測，而是使用左視點原始視頻中附近的幀進行運動補償的幀間預測，從而使得本發明方法與現有的單視點網絡電視系統有很好的兼容性，用戶端只需將接收到的編碼碼流中的與右視點相關的碼流丟棄掉，保留左視點相關的碼流就可進行單視點顯示。
按照設定的編碼過程對左視點原始視頻的各個圖像組中的各個幀和對右視點原始視頻的各個圖像組中的各個幀進行編碼，該設定的編碼過程為
②-l、在左視點原始視頻中，定義當前正在處理的圖像組為當前左圖像組，如果當前左圖像組為左視點原始視頻的第1個圖像組，則對當前左圖像組的第1幀進行編碼，
並繼續執行步驟②-2;否則，直接執行步驟②-2;
②-2、對當前左圖像組的下一個圖像組的第1幀進行編碼；
②-3、依次對當前左圖像組的剩餘N-1個幀進行編碼得到N-1個B幀，各個B幀的參考幀為當前左圖像組的第1幀和下一個圖像組的第1幀；假設當前左圖像組為第1個圖像組，如圖1中，左視點原始視頻的第2幀、第3幀和第4幀編碼為B幀；
②-4、將下一個圖像組作為當前左圖像組重複執行步驟②-l至②-3，直至左視點原始視頻中所有的圖像組處理完畢；
8②-5、按照步驟②-l至②-4的編碼順序逐幀輸出編碼結果得到左視點基本層碼流， 如圖1中得到的Sa。如果當前左圖像組為左視點原始視頻的第1個圖像組，則輸出順 序為當前左圖像組的第l幀、下一個圖像組的第l幀、當前左圖像組的第2幀、…、當 前左圖像組第N幀。如果當前左圖像組不為左視點原始視頻的第1個圖像組，則輸出順 序為下一個圖像組的第l幀、當前左圖像組的第2幀、…、當前左圖像組的第N幀。
②-6、在右視點原始視頻中，定義當前正在處理的圖像組為當前右圖像組，如果當 前右圖像組為右視點原始視頻的第1個圖像組，則對當前右圖像組的第1幀進行編碼， 並繼續執行步驟②-7;否則，則直接執行步驟②-7;
②-7、對當前右圖像組的下一個圖像組的第1幀進行編碼；
②-8、依次對當前右圖像組的剩餘N-l個幀進行編碼得到N-l個B幀，各個B幀的 參考幀為當前右圖像組的第1幀和下一個圖像組的第1幀；
②-9、將下一個圖像組作為當前右圖像組重複執行步驟②-6至②-8，直至右視點原 始視頻中所有的圖像組處理完畢；
② -10、按照步驟②-6至②-9的編碼順序逐幀輸出編碼結果得到右視點基本層碼流， 如圖1中得到的S^。如果當前右圖像組為右視點原始視頻的第1個圖像組，則輸出順 序為當前右圖像組的第l幀、下一個圖像組的第l幀、當前右圖像組的第2幀、…、當 前右圖像組第N幀。如果當前右圖像組不為右視點原始視頻的第1個圖像組，則輸出順 序為下一個圖像組的第1幀、當前右圖像組的第2幀、…、當前右圖像組的第N幀。
③ 對左視點基本層碼流進行解碼重建得到左視點重建視頻，將左視點重建視頻與左 視點原始視頻進行視頻作差運算得到左視點殘差視頻；對右視點基本層碼流進行解碼重 建得到右視點重建視頻，將右視點重建視頻與右視點原始視頻進行視頻作差運算得到右 視點殘差視頻。圖2c給出了圖2a所示的幀圖像的基本層碼流解碼重建後得到的重建圖 像，圖2d給出了圖2b所示的幀圖像的基本層碼流解碼重建後得到的重建圖像，由於在 編碼過程中所取的編碼量化參數QP1的值較大，因此重建圖像的質量較差，從圖2c和 圖2d中可以看出。
④ 利用現有的失真編碼方法如H.264/AVC( Advanced Video Coding,先進視頻編碼)， 並取編碼量化參數為QP2，以長度為N的圖像組為編碼單位按照設定的編碼過程對左視 點殘差視頻的各個圖像組中的各個幀進行編碼得到左視點增強層碼流，如圖1中得到的 Sl2，採用相同的編碼量化參數QP2按照設定的編碼過程對右視點殘差視頻的各個圖像 組中的各個幀進行編碼得到右視點增強層碼流，如圖1中得到的Sr2，其中，QP2<QP1。 得到左視點增強層碼流和右視點增強層碼流的過程中所採用的編碼採用與步驟②得到 左視點基本層碼流和右視點基本層碼流的過程中所採用的編碼相同的預測方式，但是其 輸入視頻序列為步驟③中得到的左視點殘差視頻和右視點殘差視頻，並且採用的量化參 數比對左視點原始視頻和右視頻原始視頻進行編碼時採用的量化參數小，以保證由左視
9點增強層碼流進行解碼重建後得到的重建視頻的視頻質量優於由左視點基本層碼流進 行解碼重建後得到的左視點重建視頻的視頻質量和由右視點增強層碼流進行解碼重建 後得到的重建視頻的視頻質量優於由右視點基本層碼流進行解碼重建後得到的右視點 重建視頻的視頻質量。編碼量化參數QP2的取值範圍可為4 32之間的正整數，當QP2 較大時，編碼失真就越大、得到的左視點增強層碼流和右視點增強層碼流就越小；反之， 當QP2較小時，編碼失真就越小、得到的左視點增強層碼流和右視點增強層碼流就越大。 而在本實施例中QP2取值為32， QP2的值小於QP1的值，這樣通過改變編碼量化參數 的值實現一個質量分級，使得左視點增強層碼流和右視點增強層碼流解碼後重建的視頻 質量較好，如圖2e給出的由圖2a所示的幀圖像的增強層碼流解碼重建後得到的重建圖 像，及圖2f給出的由圖2b所示的幀圖像的增強層碼流解碼重建後得到的重建圖像。
在此處，左視點殘差視頻和右視點殘差視頻採取的編碼過程與左視點原始視頻和右 視點原始視頻採用的設定的編碼過程相同，不同的只是在此處編碼的對象是左視點殘差 視頻和右視點殘差視頻。編碼得到的左視點增強層碼流及右視點增強層碼流的輸出順序 採用左視點基本層碼流相同的輸出順序。
⑤ 採用經典的塊匹配法計算左視點原始視頻中每一幀圖像和右視點原始視頻中對 應時刻的幀圖像之間的視差圖像，其基本思想是將圖像分成小塊，對左視點原始視頻的 圖像中的每一塊，在右視點原始視頻的圖像中尋找相關性最大的塊，兩個塊之間的空間 位移量就是視差。然後對每個時刻的視差圖像採用現有的基於上下文的自適應二進位算 術熵編碼技術(CABAC， Context-based Adaptive Binary Arithmetic Coding)進行無損編碼 得到每個時刻的視差場碼流，如圖1中得到的D。視差場碼流的輸出順序採用左視點基 本層碼流相同的輸出順序。
⑥ 按照設定的編碼過程逐幀輸出左視點基本層碼流、左視點增強層碼流、右視點基 本層碼流、右視點增強層碼流及視差場碼流得到最終編碼碼流，即將左視點基本層碼流、 左視點增強層碼流、右視點基本層碼流、右視點增強層碼流及視差場碼流中的各個幀對 應起來，按照設定的編碼過程逐幀輸出。以圖1為例說明輸出的最終編碼碼流的輸出順 序，先依次輸出左視點原始視頻第1個圖像組的第1幀編碼得到的碼流、左視點殘差視 頻第1個圖像組的第1幀編碼得到的碼流、右視點原始視頻第1個圖像組的第1幀編碼 得到的碼流、右視點殘差視頻第1個圖像組的第1幀編碼得到的碼流和此時刻的視差場 碼流，然後依次輸出左視點原始視頻第2個圖像組的第1幀(即左視點原始視頻的第5 幀)編碼得到的碼流、左視點殘差視頻第2個圖像組的第1幀(即左視點殘差視頻的第 5幀)編碼得到的碼流、右視點原始視頻第2個圖像組的第1幀(即右視點原始視頻的 第5幀)編碼得到的碼流、右視點殘差視頻第2個圖像組的第1幀(即右視點殘差視頻 的第5幀)編碼得到的碼流和此時刻的視差場碼流，再依次輸出左視點原始視頻第1個 圖像組的第2幀編碼得到的碼流、左視點殘差視頻第1個圖像組的第2幀編碼得到的碼流、右視點原始視頻第1個圖像組的第2幀編碼得到的碼流、右視點殘差視頻第1個圖 像組的第2幀編碼得到的碼流和此時刻的視差場碼流，左視點原始視頻第1個圖像組的 第3幀編碼得到的碼流、左視點殘差視頻第1個圖像組的第3幀編碼得到的碼流、右視 點原始視頻第1個圖像組的第3幀編碼得到的碼流、右視點殘差視頻第1個圖像組的第 3幀編碼得到的碼流和此時刻的視差場碼流，左視點原始視頻第1個圖像組的第4幀編 碼得到的碼流、左視點殘差視頻第1個圖像組的第4幀編碼得到的碼流、右視點原始視 頻第I個圖像組的第4幀編碼得到的碼流、右視點殘差視頻第1個圖像組的第4幀編碼 得到的碼流和此時刻的視差場碼流。左視點相關數據、右視點相關數據及視差場相關數 據相互之間的關係可通過H.264/AVC中的SEI信息技術來說明，這樣輸出的編碼碼流能 夠很好的兼容單視點網絡電視系統。
表l給出了通過對立體視頻序列"soccer2"的測試，得到的編碼性能指標。 表1對立體視頻序列"soccer2"的測試，得到的編碼性能指標
解析度
720x480
幀率
30fj)s
視差場碼率
434 kbps
左視點基本層碼流編碼量化參數38
碼率532 kbps
峰值信噪比PSNR34.2 dB
增強層碼流編碼量化參數32
碼率937 kbps
峰值信噪比PSNR37.6 dB
右視點基本層碼流編碼量化參數38
碼率529 kbps
峰值信噪比PSNR33.9 dB
增強層碼流編碼量化參數32
碼率960 kbps
峰值信噪比PSNR37.2 dB
總碼率
3392 kbps
低質量單視點視頻碼率
532 kbps
高質量單視點視頻碼率
1469 kbps
低質量立體視頻碼率
1035 kbps
高質量立體視頻碼率
2958 kbps
使用本發明的編碼方法，可以為不同終端要求及不同帶寬要求提供不同碼率的碼 流。在本實施例中，從表l可以看出，僅需要532kbps帶寬就能為單通道視頻系統提供 低質量的視頻，或者使用1469kbps帶寬為單通道視頻系統提供高質量的視頻；低質量 的立體視頻需要使用1035kbps帶寬，而高質量的立體視頻需要使用2958kbps帶寬；對於自動立體顯示設備，434kbps的視差場碼流可以幫助快速進行虛擬視點的合成; 3392kbps帶寬可以滿足高質量的立體視頻系統以及自動立體顯示設備的要求。
權利要求
1、一種立體視頻編碼方法，其特徵在於包括以下具體步驟①將外部視頻捕獲工具捕獲的未經處理的視頻定義為原始立體視頻，原始立體視頻包括左視點原始視頻和右視點原始視頻；②利用現有的失真編碼方法並取編碼量化參數為QP1，以長度為N的圖像組為編碼單位按照設定的編碼過程對左視點原始視頻的各個圖像組中的各個幀進行編碼得到左視點基本層碼流；然後採用相同的編碼量化參數QP1按照設定的編碼過程對右視點原始視頻的各個圖像組中的各個幀進行編碼得到右視點基本層碼流；其中，QP1為4～38之間的正整數，N為圖像組中包含的幀的數量；③對左視點基本層碼流進行解碼重建得到左視點重建視頻，將左視點重建視頻與左視點原始視頻作差運算得到左視點殘差視頻；對右視點基本層碼流進行解碼重建得到右視點重建視頻，將右視點重建視頻與右視點原始視頻作差運算得到右視點殘差視頻；④利用現有的失真編碼方法並取編碼量化參數為QP2，以長度為N的圖像組為編碼單位按照設定的編碼過程對左視點殘差視頻的各個圖像組中的各個幀進行編碼得到左視點增強層碼流，採用相同的編碼量化參數QP2按照設定的編碼過程對右視點殘差視頻的各個圖像組中的各個幀進行編碼得到右視點增強層碼流，其中，QP2<QP1，QP2為4～32之間的正整數，N為圖像組中包含的幀的數量；⑤採用經典的塊匹配法計算左視點原始視頻中每一幀圖像和右視點原始視頻中對應時刻的幀圖像之間的視差圖像，然後對每個時刻的視差圖像進行無失真熵編碼得到每個時刻的視差場碼流；⑥按照設定的編碼過程逐幀輸出左視點基本層碼流、左視點增強層碼流、右視點基本層碼流、右視點增強層碼流及視差場碼流得到最終編碼碼流。
2、 根據權利要求1所述的一種立體視頻編碼方法，其特徵在於所述的步驟②中按 照設定的編碼過程對左視點原始視頻的各個圖像組中的各個幀和對右視點原始視頻的 各個圖像組中的各個幀進行編碼，該設定的編碼過程為②-l、在左視點原始視頻中，定義當前正在處理的圖像組為當前左圖像組，如果當 前左圖像組為左視點原始視頻的第1個圖像組，則對當前左圖像組的第1幀進行編碼， 並繼續執行步驟②-2;否則，直接執行步驟②-2;②-2、對當前左圖像組的下一個圖像組的第1幀進行編碼；②-3、依次對當前左圖像組的剩餘N-1個幀進行編碼得到N-1個B幀，各個B幀的 參考幀為當前左圖像組的第1幀和下一個圖像組的第1幀；②-4、將下一個圖像組作為當前左圖像組重複執行步驟②-l至②-3，直至左視點原始視頻中所有的圖像組處理完畢；②-5、按照步驟②-l至②-4的編碼順序逐幀輸出編碼結果得到左視點基本層碼流； ②-6、在右視點原始視頻中，定義當前正在處理的圖像組為當前右圖像組，如果當前右圖像組為右視點原始視頻的第1個圖像組，則對當前右圖像組的第1幀進行編碼，並繼續執行步驟②-7;否則，則直接執行步驟②-7;②-7、對當前右圖像組的下一個圖像組的第1幀進行編碼；②-8、依次對當前右圖像組的剩餘N-l個幀進行編碼得到N-l個B幀，各個B幀的 參考幀為當前右圖像組的第1幀和下一個圖像組的第1幀；②-9、將下一個圖像組作為當前右圖像組重複執行步驟②-6至②-8，直至右視點原 始視頻中所有的圖像組處理完畢；②-10、按照步驟②-6至②-9的編碼順序逐幀輸出編碼結果得到右視點基本層碼流。
3、根據權利要求1所述的一種立體視頻編碼方法，其特徵在於所述的步驟⑤中對 視差圖像進行無失真熵編碼過程中，採用現有的CABAC無失真編碼技術進行編碼壓縮。
全文摘要
本發明公開了一種立體視頻編碼方法，優點在於通過改變量化參數來改變圖像的編碼質量，從而改變圖像的碼率，以適應網絡傳輸帶寬的變化，在高帶寬條件下同時傳輸左視點基本層碼流、左視點增強層碼流、右視點基本層碼流及右視點增強層碼流而獲得高質量的視頻，而在低帶寬條件下僅傳輸左視點基本層碼流和右視點基本層碼流，用戶端也能正常解碼，獲得低質量的視頻，從而使得本發明方法的網絡適應性良好；由於自動立體顯示設備能在視角發生變化時通過已有的視點視頻合成出對應當前視角的視頻，即虛擬視點合成，本方法通過向用戶端提供視差場碼流，使用戶自動立體顯示終端能夠快速、低複雜度的實現多視點圖像的虛擬合成，以滿足實時自動立體顯示的要求。
文檔編號H04N7/26GK101466038SQ20081016380
公開日2009年6月24日 申請日期2008年12月17日 優先權日2008年12月17日
發明者劉尉悅, 鈾 楊, 蔣剛毅, 蔣志迪 申請人:寧波大學