一種具有主動式緩存管理和複雜度控制功能的視頻解碼方法
2023-06-29 18:27:51
專利名稱：一種具有主動式緩存管理和複雜度控制功能的視頻解碼方法
技術領域：
本發明屬於多媒體通信技術領域，特別涉及一種具有主動式緩存管理和複雜度控制功 能的視頻解碼方法。
背景技術：
隨著移動通信技術的不斷升級，蘊含著巨大商機的無線多媒體業務，如手機電視、視 頻點播等，越來越受到人們的青睞，而其技術基礎就是MPEG-4、 H.264等國際視頻編碼 標準。這些標準均定義了I幀(Intraframe,幀內幀)、P幀(Predictedframe,單向預測幀) 和B幀(Bi-predicted frame,雙向預測幀)這三種幀類型。通常，在一個圖片組(Group of Picture, GOP)中不同類型幀的重要性、同類型但是不同位置的視頻幀的重要性具有差異， 即是說(a) I幀最重要，它是一個GOP中所有幀解碼的基礎。如果I幀沒有被正確解碼，則 P幀和B幀都不能被正確解碼，將導致整個GOP都失真。(b) P幀次重要。當前P幀之後的所有P幀和B幀均與之有依存關係，所以一個P 幀在GOP中的位置越是靠前，其重要性越大。(c) B幀重要性相對最小。它依賴於相鄰的P幀或I幀，若不能被正確解碼，其影響 也僅局限於本幀，並無差錯傳遞。另一方面，解碼I幀、P幀和B幀所需計算複雜度依次遞增，恰好與I幀、P幀和B 幀重要性依次遞減相對應。在視頻通信中，還存在一種叫差錯隱藏的技術來儘可能減少視頻數據缺失對視頻質量 重建的影響。它屬於視頻後處理的範疇，即通過視頻內容在時域和空域上的相關性，盡可 能地估計出當前缺失的宏塊數據，並直接將估計數據作為當前宏塊的近似數據。差錯隱藏 的計算複雜度相對很小，幾乎可以忽略。目前，大多數無線流媒體服務系統基本上還不能支持可伸縮性編碼，輸出的碼流是固 定解析度和幀率的。但是，用於解碼的移動終端卻始終不可避免地存在多樣性。 一些低端 手持設備可能由於解碼能力有限而不能及時解碼到達的視頻幀，導致數據在解碼緩存中過 多累積而溢出，不能接收新的視頻幀，同時某些幀也會由於解碼延時過大而失去時效性。 申請號為01803526.4的專利申請案公開了一種針對國際視頻編碼標準MPEG-2的比例縮放 解碼器中複雜度的動態適配方法。該方法通過迭代選擇不同調節解碼複雜度閾值，直到其 收斂，然後採用前一 GOP的比例縮放複雜度作為當前GOP解碼器所需複雜度。
發明內容
本發明的目的是為克服已有技術的不足之處，提出一種具有主動式緩存管理和複雜度 控制功能的視頻解碼方法；本方法簡單適用，不需要反饋信道和編碼端的配合，解碼端僅 通過檢測接收到的固定碼流，實現解碼複雜度的控制；且適用面廣，可使行動裝置能根據 解碼緩存佔用量和解碼能力，在四種解碼模式間進行自適應的切換，從而獲得連續的視頻 解碼播放。
本發明提出了一種具有主動式緩存管理和複雜度控制功能的視頻解碼方法。其特徵在 於，解碼端通過檢測接收幀率/_、最大解碼能力C^、當前預計的所需解碼能力C和解 碼緩存佔用量^參數，判斷解碼端所處狀態，並對不同狀態分別採用正常解碼模式、緩衝 -觸發模式、選擇性幀丟棄補償模式、綜合緩存管理和複雜度控制模式之一種模式進行自適 應地解碼視頻流，具體包括以下步驟
1) 檢測解碼端所處的狀態，分別為
11) 如果(K，,)門(c^c^)，則判定解碼端處於狀態一'其中，/，,為解碼
端和編碼端事先約定的期望發送幀率，符號門表示其兩邊的條件需同時滿足；
12) 如果(/_</，,;)門("0^)，則判定解碼端處於狀態二；
13) 如果(K，,)n(c〉cj，則判定解碼端處於狀態三；
14) 如果(/,〈義一jn(c〉cj，則判定解碼端處於狀態四；
2) 如果解碼端處於狀態一，採用正常解碼模式解碼視頻流；
3) 如果解碼端處於狀態二，採用緩衝-觸發模式解碼視頻流，具體包括以下步驟
31) 暫停解碼，使接收到的視頻幀在緩存中累積；
32) 如果檢測到解碼緩存大於期望的累積容量，則觸發正常解碼模式解碼視頻流；
33) 如果檢測到解碼緩存小於期望的積累容量，跳轉到步驟31);
4) 如果解碼端處於狀態三，採用選擇性幀丟棄補償模式解碼視頻流；
5) 如果解碼端處於狀態四，判斷當前緩存佔用量5,所處的取值範圍，採用綜合緩存 管理和複雜度控制模式，使視頻解碼和視頻到達速率儘量相匹配；具體包括以下步驟
51) 如果^SA^^2，解碼端則採用正常解碼模式解碼視頻流；其中，Aw和^^為 解碼緩存管理的下溢和上溢的警戒線；
52) 如果B,〈Aw，解碼端則採用緩衝-觸發模式解碼視頻流；
53) 如果萬,〉Aw，解碼端則採用選擇性幀丟棄補償模式解碼視頻流；
6) 當前周期結束，跳轉到步驟l)。 本發明的特點
(a)本發明核心思想在於，若全力解碼都不能及時完成解碼任務，不如退而求其次， 有選擇性地放棄一些相對不重要卻有較大複雜度的視頻幀，故意不解碼，僅僅藉助計算復 雜度極低的差錯隱藏技術來近似這些幀，以有效地降低期望的解碼幀率。這就是本發明中 選擇性幀丟棄補償模式解碼視頻流的根本之所在。(b) 本發明方法與已公開專利01803526.4不同之處在於，不是在GOP級進行迭代的 測試，而是在一個GOP之內，對組成GOP的每一個幀進行計算複雜度的分配，從而實現 更精細的解碼複雜度控制。(c) 本發明解碼方法聯合考慮了反映無線信道狀況的期望幀率和接收幀率的關係，能 使解碼端面對到來的不具伸縮性的"硬碼流"，自適應地判斷解碼端所處狀態，主動地採 取相應措施來管理解碼緩存和控制解碼複雜度，從而保持較高的視頻重構質量。本發明的優點(a) 適用面廣，對定義了I、 P和B幀概念的視頻編碼標準均有效；(b) 簡單適用，不需要反饋信道和編碼端的配合，解碼端僅通過檢測接收到的固定碼 流，就能實現解碼複雜度的控制；(c) 自適應性好，行動裝置能根據解碼緩存佔用量和解碼能力，在四種解碼模式間進 行切換，從而獲得較好的視頻解碼播放效果。
圖1為不同幀類型間的依賴性有向圖。圖2為本發明的視頻解碼方法的總流程框圖。圖3為在狀態二下的緩衝-觸發模式的流禾呈框圖。圖4為在狀態三下的選擇性幀丟棄補償模式的流程框圖。圖5為在狀態四下的綜合緩存管理和複雜度控制模式的流程框圖。
具體實施方式
本發明提出的一種具有主動式緩存管理和複雜度控制功能的視頻解碼方法，結合附圖及實施例詳細說明如下本發明的方法為解碼端通過檢測接收幀率/_、最大解碼能力Q^、當前預計的所 需解碼能力C (取上一個GOP解碼複雜度的平均值)和解碼緩存佔用量^參數，判斷解 碼端所處狀態，並對不同狀態分別採用正常解碼模式、緩衝-觸發模式、選擇性幀丟棄補償 模式、綜合緩存管理和複雜度控制模式之一種模式進行自適應地解碼視頻流，總體流程如 圖2所示，包括以下步驟1)檢測解碼端所處的狀態；其中，本發明涉及的狀態共四種，分別為11) 如果(/_=/—)n("c腿)，則判定解碼端處於狀態一，其中，/一為解碼端和編碼端事先約定的期望發送幀率(一般設10 3o幀/秒)，符號n表示其兩邊的條件需同時滿足；12) 如果(/，〈/e一)門(C《Cj，則判定解碼端處於狀態二；13) 如果(/_=,—)n(c>c_)，則判定解碼端處於狀態三；14) 如果(/，〈/，,j門(C〉Cj，則判定解碼端處於狀態四；2) 如果解碼端處於狀態一，採用正常解碼模式解碼視頻流(按照視頻標準直接解碼， 無需任何額外的緩存管理和複雜度控制)；3) 如果解碼,處於狀態二，採用緩衝-觸發模式解碼視頻流，具體包括以下步驟31) 暫停解碼，使接收到的視頻幀在緩存中累積；32) 如果檢測到解碼緩存大於期望的累積容量(一般取10 50個視頻幀對應的容量)， 則觸發正常解碼模式解碼視頻流；33) 如果檢測到解碼緩存小於期望的累積容量，則跳轉到步驟31);4) 如果解碼端處於狀態三，採用選擇性幀丟棄補償模式解碼視頻流；5) 如果解碼端處於狀態四，判斷當前緩存佔用量^所處的取值範圍，採用綜合緩存 管理和複雜度控制模式，使視頻解碼和視頻到達速率儘量相匹配；具體包括以下步驟51) 如果Aw^^^Am，解碼端則採用正常解碼模式解碼視頻流；其中，A,和5^ 為解碼緩存管理的下溢(當解碼端的顯示緩存需要數據時，解碼緩存卻無數據可以填充過 去)和上溢(需要累積的解碼緩存量超過解碼緩存最大容量，不能接收新的視頻幀數據) 的警戒線(通常分別取解碼緩存最大容量的1/20和19/20);52) 如果^〈Aw，解碼端則採用緩衝-觸發模式解碼視頻流；53) 如果^〉A"解碼端則採用選擇性幀丟棄補償模式解碼視頻流；6) 當前周期結束-(例如播放5個圖像組(GOP)的時間段)，跳轉到步驟l)。 上述步驟4)中的選擇性幀丟棄補償模式，包括以下步驟設變量C,為解碼端在當前階段能提供的總計算能力(算法首次運行時初始化為0)， 變量(^雙為當前階段檢測到的最大解碼能力，常量&為差錯隱藏的計算複雜度(對於同一 解析度的視頻格式和同一種具體的差錯隱藏方式取相同值)；設本步驟的循環階段為一個圖像組GOP (共L幀)，其中I幀(幀內幀)、P幀(單向 預測幀)、B幀(雙向預測幀)各佔的比例分別為^、 ^和^，相應的解碼複雜度變量記 為C,、 Cp和(^;對於視頻片段來說，相同量化係數和幀類型下，編碼生成的碼流解碼復 雜度大致具有連續性，取上一個GOP中的同類型視頻幀的解碼複雜度平均值作為當前GOP 的I幀、P幀和B幀的解碼複雜度，即五[C,卜/v五[C,卜a， ￡[Q] = /v其中，符號 五[.]表示取平均值；41) 檢測相關參數和更新可提供的總計算能力c;檢測在顯示緩存中的視頻幀數4;檢測I、 P和B幀的解碼複雜度C,、 Cp和Q;檢 測最大解碼能力<^_ ;更新解碼端在一個GOP時間內可提供的總計算能力cr=cr+vcmax即上一個GOP循環階段中剩餘的可提供的總計算能力Cf與本GOP循環階段中可新增的預 期計算能力之和；42) 根據總計算能力C;,對I幀做解碼複雜度分配和關聯視頻幀的解碼，並更新計算 能力餘量C,，具體包括以下步驟(421) 比較解碼I幀所需計算能力與可提供的總計算能力C,;
(422) 如果formula see original document page 8，則直接丟棄I幀和與之相關聯的所有P幀和B幀，並採用差錯 隱藏方法來近似這些丟棄幀；為下個循環階段保留的計算能力餘量為
跳轉到步驟41);
(423) 如果formula see original document page 8，則解碼當前I幀，並更新計算能力餘量
formula see original document page 8
43)根據計算能力餘量C,，對P幀做解碼複雜度分配和關聯視頻幀的解碼，並更新計 算能力餘量C一具體包括以下步驟-
(431)計算能解碼的P幀數目formula see original document page 8其中，符號卜」為下取整運算符;
(432) 如果；，則解碼前4個P幀；直接丟棄剩餘的;v^-4個P幀和全部的 B幀，並採用差錯隱藏方法來近似這些丟棄幀；為下個循環階段保留的計算能力餘量為
formula see original document page 8
跳轉到步驟41);
(433) 如果；2&￡，則直接解碼所有的P幀；更新計算能力餘量
formula see original document page 8
44)根據計算能力餘量C,，對B幀做解碼複雜度分配和解碼，並更新計算能力餘量C,， 具體包括如下步驟
(441)計算能解碼的B幀數目formula see original document page 8
(442) 如果"<^1,則等間隔地丟棄^丄-4個B幀，並採用差錯隱藏方法來近似 這些丟棄幀；解碼餘下的^個B幀；更新計算能力餘量為
formula see original document page 8
跳轉到步驟41);
(443) 如果丄s2^丄，則解碼所有B幀，更新計算能力餘量為
跳轉到步驟41)。 實施例
本實施例的條件如下
(a) 視頻編解碼設置採用國際視頻編碼標準H.264參考軟體(JM)以及1/4標準化 圖像格式(QCIF， 176x144)的Foreman測試序列；量化參數(QP)固定為24;採用的熵 編碼方式是CABAC;運動搜索參考幀數為2，運動搜索範圍為16象素；GOP編碼結構為 IBBP...IBBP..., I幀間隔為9。
(b) 網絡和緩存設置發送幀率/，^為10幀/秒；解碼緩存最大容量為60000位元組；最初在顯示緩存中的視頻幀數^為10幀(一個GOP的長度)。
圖1顯示了不同幀類型和同類型不同位置幀的依賴性有向圖。其中，io個視頻幀組成 一個GOP，方框內的字母代表視頻幀的類型，方框外的數字代表該幀在此GOP內的幀號；
實線箭頭指向的視頻幀依賴於其發源端連接的視頻幀，要正確解碼當前幀，其依賴幀也必
須被提前正確解碼。比如，第6 (B幀)、7幀(B幀)要能解碼，那麼第l (I幀)、2 (P 幀)、5 (Pf)J貞)幀也必須被提前正確解碼。
本實施例的總體流程如圖2所示，其中，解碼端通過檢測接收幀率(SlO幀/秒)、 最大解碼能力C^、當前預計的所需解碼能力C (取上一個GOP解碼複雜度的平均值) 和解碼緩存佔用量5, (0S^S60000位元組)參數，判斷解碼端所處狀態，並對不同狀態 分別採用正常解碼模式、緩衝-觸發模式、選擇性幀丟棄補償模式、綜合緩存管理和複雜度 控制模式之一種模式進行自適應地解碼視頻流，具體包括以下步驟
1) 檢測解碼端所處的狀態；
解碼端統計並估計當前所需的解碼複雜度C 、移動終端軟硬體限制下的最大解碼能力 Cmax、接收到的視頻幀率/ ;
11) 如果(/，-10)門(C^C^)，則判定解碼端處於狀態一，即接收幀率等於期望幀 率並且所需解碼複雜度小於等於最大解碼能力，表徵視頻流到達速度與期望的解碼速度匹 配，緩存填充率基本穩定，不存在解碼緩存上溢和下溢的風險；
12) 如果(/^〈10)n(CSC自)，則判定解碼端處於狀態二，即接收幀率小於期望幀 率並且所需解碼複雜度小於等於最大解碼能力，表徵解碼速度快於視頻流到達速度，但是 到達速度卻不夠，解碼產生的視頻幀不足以填補顯示緩存，解碼緩存可能有下溢的風險；
13) 如果(/^-io)門(c〉c^;)，則判定解碼端處於狀態三，即接收幀率等於期望幀
率並且所需解碼複雜度大於等於最大解碼能力，表徵解碼速度慢於視頻流到達速度，視頻 幀不能及時解碼，在緩衝區中累積得越來越多，解碼緩存可能有上溢的風險；
14) 如果(/^dO)門(OC^),則判定解碼端處於狀態四，即接收幀率小於期望幀 率並且所需解碼複雜度大於等於最大解碼能力，表徵解碼緩存可能有上溢或下溢的風險。
2) 如果解碼端處於狀態一，採用正常解碼模式解碼視頻流(按照視頻標準直接解碼， 無需任何額外的緩存管理和複雜度控制)；
3) 如果解碼端處於狀態二，採用緩衝-觸發模式解碼視頻流；
4) 如果解碼端處於狀態三，採用選擇性幀丟棄補償模式解碼視頻流；
5) 如果解碼端處於狀態四，判斷當前緩存佔用量5,所處的取值範圍，採用綜合緩存 管理和複雜度控制模式，使視頻解碼和視頻到達速率儘量相匹配；
6) 當前周期結束(播放3個GOP的時間段，即3秒鐘)，跳轉到步驟l)。 上述解碼端的步驟3)的工作流程如圖3所示，解碼端採用緩衝-觸發模式解碼視頻流，
具體包括以下步驟
31)暫停解碼，使接收到的視頻幀在緩存中累積；32) 如果檢測到解碼緩存大於期望的累積容量30幀，則觸發正常解碼模式解碼視頻流；
33) 如果檢測到解碼緩存小於期望的累積容量30幀，則跳轉到步驟31);
上述解碼端的步驟4)的工作流程如圖4所示，解碼端採用選擇性幀丟棄補償模式解
碼視頻流，其包括以下步驟-
設變量Cr為解碼端在當前階段能提供的總計算能力(算法首次運行時初始化為0)，
變量Q^為當前階段檢測到的最大解碼能力，常量c;為幀拷貝(眾多差錯隱藏方法中的一
個例子)的計算複雜度；
設本步驟的循環階段為一個圖像組GOP (共10幀)，其中I、 P、 B幀數分別為l、 3、 6幀，相應的解碼複雜度變量記為C,、 Cp和C,;對於視頻片段來說，相同量化係數和幀 類型下，編碼生成的碼流解碼複雜度大致具有連續性，取上一個GOP中的同類型視頻幀 的解碼複雜度平均值作為當前GOP的1、P、B幀的解碼複雜度，即五[C,卜^ ，五[CV卜^ ， 五[Q卜/v其中，符號￡[.]表示取平均值；
41) 檢測相關參數和更新可提供的總計算能力c;
檢測在顯示緩存中的視頻幀數^;檢測I、 P和B幀的解碼複雜度C,、 CV和C^;檢 測最大解碼能力<^_;更新解碼端在1秒內(在本實施例中等效於一個GOP周期)可提 供的總計算能力
即上一秒鐘內剩餘的可提供的總計算能力c,與本秒內可新增的預期計算能力之和。
42) 根據總計算能力C,，對I幀做解碼複雜度分配和關聯視頻幀的解碼，並更新計算 能力餘量Cf，具體包括以下步驟
(421) 比較解碼I幀所需計算能力a與可提供的總計算能力c,;
(422) 如果(^<//,，則直接丟棄I幀和與之相關聯的所有P幀和B幀，依次採用幀拷 貝差錯隱藏方法來近似所有的這些丟棄幀；為本方法的下一秒鐘的新循環階段保留的計算 能力餘量為
Cr =Cr-10Cc
跳轉到步驟41);其中，幀拷貝差錯隱藏方法為將丟失幀直接由上一個正確解碼幀來替代； 如果有多個連續幀丟失，則這些幀都會被之前最後一個接收並正確解碼的幀來代替。
(423) 如果Cf2/i,，即解碼當前I幀，並更新計算能力餘量
43) 根據計算能力餘量C;，對P幀做解碼複雜度分配和關聯視頻幀的解碼，並更新計
算能力餘量C"其中又包括以下步驟
(431)計算能解碼的P幀數目丄p二
其中，符號Ld為下取整運算符;
//屍
(432)如果^<3，則解碼前^個P幀；直接丟棄剩餘的3-;個P幀和全部的B幀， 並採用幀拷貝的差錯隱藏方法來近似這些丟棄幀；為算法的下一秒鐘的新循環階段保留的 計算能力餘量為formula see original document page 11
跳轉到步驟41);
(433)如果Zp23，則直接解碼所有的P幀；更新計算能力餘量
formula see original document page 11；
44)根據計算能力餘量c;，對b幀做解碼複雜度分配和解碼，並更新計算能力餘量c;，
具體包括如下步驟
(441)計算能解碼的B幀數目￡B
(442) 如果丄^<6,則等間隔地丟棄6-^個B幀(以最大可能的減少差錯隱藏在時域 上對視頻連續性的影響)，並採用幀拷貝差錯隱藏方法來近似這些丟棄幀；餘下的；個B 幀正常解碼；更新計算能力餘量為
formula see original document page 11
跳轉到步驟41);
(443) 如果i^26，則解碼所有B幀，更新計算能力餘量為
跳轉到步驟41);
上述解碼端的步驟'5)的工作流程如圖5所示，解碼端判斷當前緩存佔用量^所處的
取值範圍，採用綜合緩存管理和複雜度控制模式，使視頻解碼和視頻到達速率儘量相匹配； 具體其包括以下步驟
51) 如果解碼緩存佔用量5,位於上溢和下溢門限之內，即3000 2 5,2 57000 (單位為
字節)，解碼端則採用正常解碼模式解碼視頻流；其中，萬,w和S,M為解碼緩存管理的下溢 和上溢的警戒線；
52) 如果解碼緩存佔用量^〈3000位元組，解碼端則採用緩衝-觸發模式解碼視頻流；
53) 如果解碼緩存佔用量^〉57000位元組，解碼端則採用選擇性幀丟棄補償模式解碼 視頻流。
儘管本發明已參照具體實施方式
進行描述和舉例說明，但是並不意味著本發明限於這 些描述的實施方式。本領域技術人員可採用除幀拷貝差錯隱藏方法之外的相對更複雜、但 效果更好的基於運動預測的幀重建算法；本領域技術人員也可在本發明思想下對本發明進 行更多的修改，但凡依本發明權利要求書範圍所做的同等的變化及修飾，均屬於專利保護 範疇。
權利要求
1. 一種具有主動式緩存管理和複雜度控制功能的視頻解碼方法，其特徵在於，解碼端通過檢測接收幀率frecv、最大解碼能力Cmax、當前預計的所需解碼能力C和解碼緩存佔用量Bf參數，判斷解碼端所處狀態，並對不同狀態分別採用正常解碼模式、緩衝-觸發模式、選擇性幀丟棄補償模式、綜合緩存管理和複雜度控制模式之一種模式進行自適應地解碼視頻流，具體包括以下步驟1)檢測解碼端所處的狀態，分別為11)如果(frecv＝fexp ect)∩(C≤Cmax)，則判定解碼端處於狀態一，其中，fexp ect為解碼端和編碼端事先約定的期望發送幀率，符號∩表示其兩邊的條件需同時滿足；12)如果(frecv＜fexp ect)∩(C≤Cmax)，則判定解碼端處於狀態二；13)如果(frecv＝fexp ect)∩(C＞Cmax)，則判定解碼端處於狀態三；14)如果(frecv＜fexp ect)∩(C＞Cmax)，則判定解碼端處於狀態四；2)如果解碼端處於狀態一，採用正常解碼模式解碼視頻流；3)如果解碼端處於狀態二，採用緩衝-觸發模式解碼視頻流，具體包括以下步驟31)暫停解碼，使接收到的視頻幀在緩存中累積；32)如果檢測到解碼緩存大於期望的累積容量，則觸發正常解碼模式解碼視頻流；33)如果檢測到解碼緩存小於期望的累積容量，跳轉到步驟31)；4)如果解碼端處於狀態三，採用選擇性幀丟棄補償模式解碼視頻流；5)如果解碼端處於狀態四，判斷當前緩存佔用量Bf所處的取值範圍，採用綜合緩存管理和複雜度控制模式，使視頻解碼和視頻到達速率儘量相匹配；具體包括以下步驟51)如果Bth1≤Bf≤Bth2，解碼端則採用正常解碼模式解碼視頻流；其中，Bth1和Bth2為解碼緩存管理的下溢和上溢的警戒線；52)如果Bf＜Bth1，解碼端則採用緩衝-觸發模式解碼視頻流；53)如果Bf＞Bth1，解碼端則採用選擇性幀丟棄補償模式解碼視頻流；6)當前周期結束，跳轉到步驟1)。
2. 如權利要求l所述方法，其特徵在於，所述步驟4)中解碼端採用選擇性幀丟棄補 償模式解碼視頻流，具體包括以下步驟設變量c;為解碼端在當前階段能提供的總計算能力，c;初始化為o，變量c皿為當 前階段檢測到的最大解碼能力，常量c;為差錯隱藏的計算複雜度；設本步驟的循環階段為一個圖像組GOP，其中， 一個GOP共包含丄個視頻幀，丄為正 整數，I幀、P幀和B幀各佔的比例分別為r,、 ？^和 V相應的解碼複雜度變量分別為C,、 Cp和C^;取上一個GOP中的同類型視頻幀的解碼複雜度平均值作為當前GOP的I幀、P 幀和B幀的解碼複雜度，即五[C,卜a， ￡[CP;] = //P，五[C^卜/^，其中，符號￡[」表示 取平均值；41) 檢測相關參數和更新可提供的總計算能力c;檢測在顯示緩存中的視頻幀數^;檢測I、 P和B幀的解碼複雜度C,、 Cp和C^;檢 測最大解碼能力C^M;更新解碼端在一個GOP時間內可提供的總計算能力即上一個GOP循環階段中剩餘的可提供的總計算能力C;與本GOP循環階段中可新增的預 期計算能力之和；42) 根據總計算能力Cf，對I幀做解碼複雜度分配和關聯視頻幀的解碼，並更新計算 能力餘量C,，具體包括以下步驟(421) 比較解碼i幀所需計算能力a與可提供的總計算能力c;;(422) 如果(^<//,，則直接丟棄I幀和與之相關聯的所有P幀和B幀，並採用差錯 隱藏方法來近似這些丟棄幀；為下個循環階段保留的計算能力餘量為cr = c,-z-cc跳轉到步驟41);(423) 如果C;^/i,，則解碼當前I幀，並更新計算能力餘量為43) 根據計算能力餘量c;，對P幀做解碼複雜度分配和關聯視頻幀的解碼，並更新計 算能力餘量c;，具體,括以下步驟-(431) 計算能解碼的P幀數目一二 ^ ，其中，符號Ld為下取整運算符；—A屍_(432) 如果；<^丄，則解碼前；個P幀；直接丟棄剩餘的&丄-；個P幀和全部的B幀，並採用差錯隱藏方法來近似這些丟棄幀；為下個循環階段保留的計算能力餘量為Cr = Cr _— (;k屍Z _丄p +Cc跳轉到步驟41);(433) 如果鬥2&Z，則直接解碼所有的P幀；更新計算能力餘量為Cr = Cr 一 ;r屍丄■ //屍；44) 根據計算能力餘量C,，對B幀做解碼複雜度分配和解碼，並更新計算能力餘量Cf ， 具體包括如下步驟(441)計算能解碼的B幀數目4(442) 如果^〈 vL,則等間隔地丟棄&丄-；個B幀，並採用差錯隱藏方法來近似 這些丟棄幀；解碼餘下的"個B幀；更新計算能力餘量為跳轉到步驟41); .(443) 如果i^2&Z，則解碼所有B幀，更新計算能力餘量為 跳轉到步驟41)。
全文摘要
本發明涉及一種具有主動式緩存管理和複雜度控制功能的視頻解碼方法，屬於多媒體通信技術領域；本方法包括解碼端周期性地檢測接收幀率frecv、最大解碼能力Cmax、當前預計的所需解碼能力C和解碼緩存佔用量Bf參數，判斷解碼端所處狀態，並對不同狀態分別採用正常解碼模式、緩衝-觸發模式、選擇性幀丟棄補償模式、綜合緩存管理和複雜度控制模式之一種模式進行自適應地解碼視頻流，從而獲得連續的、較高質量的視頻播放效果；本發明簡單實用，對定義了I幀(幀內幀)、P幀(單向預測幀)和B幀(雙向預測幀)概念的視頻編碼標準均有效，而且解碼端無需編碼端的配合就可以實現解碼緩存管理和複雜度控制。
文檔編號H04N7/26GK101287122SQ200810112628
公開日2008年10月15日 申請日期2008年5月23日 優先權日2008年5月23日
發明者戴瓊海, 肖紅江, 政 黎 申請人:清華大學