一種視頻編碼中的運動圖像處理方法
2023-09-23 09:08:40 2
專利名稱：一種視頻編碼中的運動圖像處理方法
技術領域：
本發明涉及實時視頻編碼技術領域，更確切地說是涉及一種視頻編碼中的運動圖像處理方法。
背景技術：
目前，實時視頻編碼技術已經廣泛應用於可視電話、網絡視頻聊天、視頻會議等場合。在視頻編碼時，一幀圖像可以分成若干個宏塊，圖像編碼需要對每個宏塊分別進行編碼。視頻編碼主要包括幀內預測編碼以及幀間預測編碼兩種編碼模式，幀內預測編碼即為I幀編碼，幀間編碼即為P幀編碼。I幀編碼主要是利用本幀圖像的相鄰宏塊來預測當前宏塊，P幀編碼則主要是利用前一幀圖像來預測當前宏塊。
在通常情況下，圖像序列中幀與幀之間的相關性比較大，對於運動小的圖像來說尤其如此，因此P幀編碼的壓縮效果比較好。目前的視頻編碼大都採用這種編碼方式。
但是，在目前採用P幀編碼進行視頻壓縮的情況下，如果輸入的圖像是運動圖像，則編碼器的編碼效率會降低，而且壓縮比下降，輸出碼流增加。如果編碼器的編碼效率太低，則會導致計算機無法將輸入的圖像實時編碼並傳輸出去，這就影響了視頻編碼技術在實時場合中的應用。如果輸出碼流太大，則在帶寬有限的情況下，輸出的碼流往往無法及時通過網絡傳輸到對方，從而使得實時視頻應用出現延遲、堵塞等問題，這就會降低用戶對圖像的體驗效果，甚至使得實時視頻完全無法應用。
發明內容
有鑑於此，本發明所要解決的主要問題在於提供一種視頻編碼中的運動圖像處理方法，以在圖像發生運動時，能夠保證碼流的相對穩定。
本發明同時還提供了另一種視頻編碼中的運動圖像處理方法，以提高圖像進入場景切換狀態時的編碼效率。
本發明的一種視頻編碼中的運動圖像處理方法，所述視頻編碼採用P幀編碼方式，該方法包括以下步驟a.確定圖像當前幀的運動速度；b.根據當前幀的運動速度調整下一幀的量化係數，且在當前幀的運動速度增大時，增大下一幀的量化係數；c.根據步驟b所確定的量化係數，對下一幀進行編碼。
所述步驟a中，所述圖像當前幀的運動速度根據當前幀的平均運動矢量確定。
所述當前幀的平均運動矢量mv通過公式mv=1NnN-1mvn]]>計算，其中，N為一幀的宏塊數目，mvn為宏塊n的運動矢量。
所述步驟b之前進一步包括設置運動速度與量化係數的對應關係，且運動速度越高，對應的量化係數越高；所述步驟b包括根據所述對應關係確定當前幀的運動速度所對應的量化係數，並將所確定的量化係數作為下一幀的量化係數。
所述步驟b之前進一步包括設置運動速度與運動程度等級的對應關係，以及運動程度等級與量化係數的對應關係；所述步驟b包括根據運動速度與運動程度等級的對應關係確定步驟a所確定的運動速度相應的運動程度等級，並根據運動程度等級與量化係數的對應關係確定當前確定的運動程度等級所對應的量化係數，之後將所確定的量化係數作為下一幀的量化係數。
該方法在執行步驟b之前，進一步包括根據當前幀的運動速度判斷當前是否處於場景切換狀態，如果是，則改用I幀編碼方式對一個或一個以上的後續幀進行編碼，之後再採用P幀編碼方式進行編碼；否則，繼續執行步驟b。
在改用I幀編碼方式進行編碼時，進一步包括根據當前幀的運動速度調整需要採用I幀編碼方式進行編碼的後續幀的量化係數，並根據調整後的量化係數對所述的後續幀進行I幀編碼。
本發明的另一種視頻編碼中的運動圖像處理方法，所述視頻編碼採用P幀編碼方式，該方法包括以下步驟A.確定圖像當前幀的運動速度；B.根據當前幀的運動速度判斷當前是否處於場景切換狀態，如果是，則改用I幀編碼方式對一個或一個以上的後續幀進行編碼，之後再採用P幀編碼方式進行編碼；否則，繼續採用P幀編碼方式處理後續幀圖像，並針對後續幀圖像再次執行步驟A。
對於上述兩種運動圖像處理方法來說，所述根據當前幀的運動速度判斷當前是否處於場景切換狀態為判斷當前幀的運動速度是否大於預先設置的場景切換閾值，如果是，則處於場景切換狀態；否則，不處於場景切換狀態。
所述在確定處於場景切換狀態之前，進一步包括確定下一幀的運動速度，並判斷下一幀的運動速度是否大於預先設置的場景切換閾值，如果是，則確定處於場景切換狀態；否則，確定不處於場景切換狀態。
對於上述兩種運動圖像處理方法來說，還可以進一步包括設置運動速度與運動程度等級的對應關係；所述根據當前幀的運動速度判斷當前是否處於場景切換狀態為根據所述對應關係確定當前幀的運動速度所對應的運動程度等級，並判斷該運動程度等級是否為最大運動程度等級，如果是，則確定處於場景切換狀態；否則，確定不處於場景切換狀態。
所述在確定處於場景切換狀態之前，進一步包括確定下一幀的運動速度，並根據所述運動速度與運動程度等級的對應關係確定該下一幀的運動速度所對應的運動程度等級，判斷該運動程度等級是否為最大運動程度等級，如果是，則確定處於場景切換狀態；否則，確定不處於場景切換狀態。
本發明方案根據當前幀的運動速度對下一幀的量化係數進行調整，在當前幀圖像運動加劇時，提高下一幀的量化係數，並根據調整後的量化係數對下一幀進行編碼，從而增大了對下一幀的編碼壓縮比，進而降低了碼流輸出。
本發明還提供了根據當前幀的運動速度確定當前是否處於場景切換狀態，並在確定當前處於場景切換狀態時，對後續一個或一個以上的幀圖像採用幀內預測編碼的I幀編碼方式的圖像處理方案。相比於幀間預測編碼的P幀編碼方式，對處於場景切換狀態的若干個幀採用I幀編碼方式，提高了對運動圖像的編碼效率。
本發明還提供了同時採用上述兩種方案的運動圖像處理方案，從而在實現了碼流輸出穩定的同時，還能進一步提高對運動圖像的編碼效率。
圖1為本發明通過調整量化係數QP進行圖像處理的流程圖；圖2為本發明通過調整編碼方式進行圖像處理的流程圖。
具體實施例方式
由於P幀編碼方式中預測殘差的編碼包括DCT變換、量化及編碼這幾個步驟，而量化係數QP直接影響編碼的壓縮比，因此，本發明主要是提供了根據當前圖像的運動程度對量化係數QP進行調整的方案，並根據調整後的量化係數QP對下一幀進行編碼，從而調整了編碼的壓縮比，進而達到降低圖像劇烈運動情況下的輸出碼流、保持碼流相對穩定的目的。
下面結合附圖及具體實施例對本發明方案作進一步詳細的說明。
本發明中調整量化係數QP的方案如圖1所示，對應以下步驟
步驟101、確定圖像當前幀的運動速度。
圖像當前幀的運動速度可以根據當前幀的平均運動矢量mv來衡量，mv則可以採用下述公式進行計算mv=1NnN-1mvn]]>其中，N為一幀的宏塊數目，當宏塊n為Inter宏塊時，mvn為宏塊運動估計得到的運動矢量值；當n為Intra宏塊時，mvn為最大搜索半徑對應的運動矢量值。
步驟102、根據步驟101所確定的運動速度確定下一幀的量化係數QP。
具體來說，本發明方案可以設置不同運動速度所對應的量化係數QP，設置原則是運動速度越高，對應的量化係數越高。由於運動速度非常多，直接設置運動速度與QP的對應關係比較複雜，為簡化處理，可以根據運動速度確定相應的運動程度等級，並設置每個運動程度等級所對應的量化係數QP。
下面以設置運動程度等級與QP的對應關係為例。首先，為根據mv的值來確定圖像當前幀的運動程度等級，可以設置多個運動程度等級，並設置不同等級所對應的閾值，從而可以根據所設置的閾值確定當前幀的運動程度。比如，將運動程度分為I、II、III和IV四個等級，並設置如下的閾值判斷關係mv＜m1， 圖像平穩，運動很小，無運動 (1)m1≤mv＜m2圖像有較小的運動，為I級運動(2)m2≤mv＜m3圖像有較大的運動，為II級運動 (3)m3≤mv＜m4圖像運動很大，為III級運動 (4)mv≥m4圖像劇烈運動，為IV級運動 (5)其中，m1、m2、m3和m4可以根據需要設置，比如，設置為m1＝3、m2＝10、m3＝17、m4＝24。
在根據mv的值確定了圖像當前幀的運動程度後，可以認為下一幀也是該運動程度，因此可以根據該當前幀的運動程度等級來確定下一幀的量化係數QP，並以此來調整下一幀的量化係數QP。
其中，在設置不同運動程度所對應的量化係數QP時，可以是先設置一個基本的幀量化係數QP0，該QP0即為無運動情況下的量化係數，並設置不同運動程度等級所需增加的增加量，比如，可以作如下設置I級運動圖像QP＝QP0+Δ1(6)II級運動圖像 QP＝QP0+Δ2(7)III級運動圖像 QP＝QP0+Δ3(8)IV級運動圖像 QP＝QP0+Δ4(9)其中，Δ1，Δ2，Δ3，Δ4的具體選值可以根據需要設置，比如，可以設置Δ1＝1、Δ2＝2、Δ3＝3、Δ4＝4。
通過上述步驟，即可實現根據當前幀對下一幀量化係數QP的調整。比如，根據步驟101確定當前幀處於II級運動程度，則將下一幀的量化係數設置為QP0+Δ2。
步驟103、將步驟102所確定的量化係數QP作為下一幀的量化係數QP，對下一幀進行編碼。
通過上述步驟即實現了對運動圖像的處理。
另外，視頻編碼所採用的P幀編碼方式充分利用了圖像的時域相關性，通常能夠獲得更高的壓縮比，但在處於場景切換狀態時，採用P幀編碼的壓縮效果並不比I幀編碼的壓縮效果好。這是因為在場景切換時，圖像的時域相關性非常小，並且場景切換時圖像的劇烈運動導致了運動估計的效率很低，從而造成編碼效率很低。而I幀編碼由於是幀內預測，因此不會因圖像的劇烈運動而導致編碼效率降低，並且在這種情況下的壓縮效果往往和P幀編碼的壓縮效果相差無幾。
基於上述原因，為提高編碼效率，本發明進一步提出了在場景切換時採用I幀編碼方式的方案。當然，要實現編碼方式的轉換，首先要確定何時為場景切換。由於圖1所示方案中已經能夠確定圖像的不同運動程度，因此可以在確定當前幀的運動程度為最大級別時，確定當前處於場景切換狀態。也可以是設置一個場景切換閾值，如果當前幀的運動速度大於該閾值，則確定當前處於場景切換狀態。其中，為確保場景切換狀態的判斷準確性，還可以在確定連續兩幀或兩幀以上圖像的運動程度為最大級別，或相應的運動速度大於所設置的場景切換閾值時，表明圖像進入場景切換狀態。
在確定當前處於場景切換狀態後，即可直接對編碼方式進行改變，具體來說，可以將接下來的M幀看作是場景切換過渡幀，對這M幀採用I幀編碼，在對這M幀採用I幀編碼方式處理完成後，再採用P幀編碼方式對後面的幀進行編碼處理。其中，這M幀的具體幀數可以根據需要設置。當然，在採用I幀編碼時，還可以同時對量化係數QP進行調整，並根據調整後的量化係數QP進行I幀編碼，以增加壓縮比，降低輸出碼流。
另外，在重新採用P幀編碼方式後，還可以按照上述方案繼續進行量化係數調整以及後續的場景切換等處理。
以上所描述的方案主要是基於對幀量化係數的調整，並進一步增加了在場景切換狀態時的處理，在實際處理中，為簡化處理，還可以不對量化係數進行調整，只是判斷當前幀是否處於場景切換狀態，如果當前不處於場景切換狀態，則繼續採用P幀編碼方式進行編碼處理；如果處於場景切換狀態，則將當前所採用的P幀編碼方式更改為I幀編碼方式，即採用I幀編碼方式對M個幀進行編碼處理，在對這M個幀編碼完畢後，即認為場景切換完畢，再重新採用P幀編碼方式進行編碼。當然，在重新採用P幀編碼方式後，還可以繼續通過判斷當前是否處於場景切換狀態而確定是否改變編碼方式。該實現流程如圖2所示。基於圖2所示處理，其場景切換狀態的具體判斷方式與前述方式相同，因此不再贅述。
以上所述僅為本發明方案的較佳實施例，並不用以限定本發明的保護範圍。
權利要求
1.一種視頻編碼中的運動圖像處理方法，所述視頻編碼採用P幀編碼方式，其特徵在於，該方法包括以下步驟a.確定圖像當前幀的運動速度；b.根據當前幀的運動速度調整下一幀的量化係數，且在當前幀的運動速度增大時，增大下一幀的量化係數；c.根據步驟b所確定的量化係數，對下一幀進行編碼。
2.根據權利要求1所述的方法，其特徵在於所述步驟a中，所述圖像當前幀的運動速度根據當前幀的平均運動矢量確定。
3.根據權利要求2所述的方法，其特徵在於，所述當前幀的平均運動矢量mv通過公式mv=1NnN-1mvn]]>計算，其中，N為一幀的宏塊數目，mvn為宏塊n的運動矢量。
4.根據權利要求1所述的方法，其特徵在於，所述步驟b之前進一步包括設置運動速度與量化係數的對應關係，且運動速度越高，對應的量化係數越高；所述步驟b包括根據所述對應關係確定當前幀的運動速度所對應的量化係數，並將所確定的量化係數作為下一幀的量化係數。
5.根據權利要求1所述的方法，其特徵在於，所述步驟b之前進一步包括設置運動速度與運動程度等級的對應關係，以及運動程度等級與量化係數的對應關係；所述步驟b包括根據運動速度與運動程度等級的對應關係確定步驟a所確定的運動速度相應的運動程度等級，並根據運動程度等級與量化係數的對應關係確定當前確定的運動程度等級所對應的量化係數，之後將所確定的量化係數作為下一幀的量化係數。
6.根據權利要求1所述的方法，其特徵在於，該方法在執行步驟b之前，進一步包括根據當前幀的運動速度判斷當前是否處於場景切換狀態，如果是，則改用I幀編碼方式對一個或一個以上的後續幀進行編碼，之後再採用P幀編碼方式進行編碼；否則，繼續執行步驟b。
7.根據權利要求6所述的方法，其特徵在於，在改用I幀編碼方式進行編碼時，進一步包括根據當前幀的運動速度調整需要採用I幀編碼方式進行編碼的後續幀的量化係數，並根據調整後的量化係數對所述的後續幀進行I幀編碼。
8.一種視頻編碼中的運動圖像處理方法，所述視頻編碼採用P幀編碼方式，其特徵在於，該方法包括以下步驟A.確定圖像當前幀的運動速度；B.根據當前幀的運動速度判斷當前是否處於場景切換狀態，如果是，則改用I幀編碼方式對一個或一個以上的後續幀進行編碼，之後再採用P幀編碼方式進行編碼；否則，繼續採用P幀編碼方式處理後續幀圖像，並針對後續幀圖像再次執行步驟A。
9.根據權利要求6或8所述的方法，其特徵在於，所述根據當前幀的運動速度判斷當前是否處於場景切換狀態為判斷當前幀的運動速度是否大於預先設置的場景切換閾值，如果是，則處於場景切換狀態；否則，不處於場景切換狀態。
10.根據權利要求9所述的方法，其特徵在於，所述在確定處於場景切換狀態之前，進一步包括確定下一幀的運動速度，並判斷下一幀的運動速度是否大於預先設置的場景切換閾值，如果是，則確定處於場景切換狀態；否則，確定不處於場景切換狀態。
11.根據權利要求6或8所述的方法，其特徵在於，該方法進一步包括設置運動速度與運動程度等級的對應關係；所述根據當前幀的運動速度判斷當前是否處於場景切換狀態為根據所述對應關係確定當前幀的運動速度所對應的運動程度等級，並判斷該運動程度等級是否為最大運動程度等級，如果是，則確定處於場景切換狀態；否則，確定不處於場景切換狀態。
12.根據權利要求11所述的方法，其特徵在於，所述在確定處於場景切換狀態之前，進一步包括確定下一幀的運動速度，並根據所述運動速度與運動程度等級的對應關係確定該下一幀的運動速度所對應的運動程度等級，判斷該運動程度等級是否為最大運動程度等級，如果是，則確定處於場景切換狀態；否則，確定不處於場景切換狀態。
全文摘要
本發明公開了一種視頻編碼中的運動圖像處理方法，所述視頻編碼採用P幀編碼方式，該方法首先確定圖像當前幀的運動速度；並根據當前幀的運動速度調整下一幀的量化係數，且在當前幀的運動速度增大時，增大下一幀的量化係數；之後再根據所確定的量化係數，對下一幀進行編碼。本發明同時還公開了另一種視頻編碼中的運動圖像處理方法。本發明方案通過根據當前幀的運動速度對下一幀的量化係數進行調整，在當前幀圖像運動加劇時，提高下一幀的量化係數，並根據調整後的量化係數對下一幀進行編碼，從而增大了對下一幀的編碼壓縮比，進而降低了碼流輸出。
文檔編號H04N7/26GK1842162SQ20051005688
公開日2006年10月4日 申請日期2005年3月28日 優先權日2005年3月28日
發明者劉奇勇, 梁柱 申請人:騰訊科技(深圳)有限公司