基於多層調整編碼的可分級比特流的裝置和方法
2023-06-15 10:54:46 1
專利名稱：基於多層調整編碼的可分級比特流的裝置和方法
技術領域：
與本發明一致的裝置和方法涉及視頻壓縮。更具體地說，本發明涉及用於在視頻流伺服器中實現信噪比(SNR)分級以在可變網絡環境中發送視頻流的方法和裝置。
背景技術：
諸如網際網路的通信技術的發展已經使得除了文本和語音通信之外的視頻通信增長。然而，消費者並不滿意現有的基於文本的通信方案。為了滿足各種消費者的需要，已經逐漸提供包含文本、圖像、音樂等的多媒體數據的服務。多媒體數據通常數據量巨大，並且需要大容量存儲介質。此外，需要很寬的帶寬來傳輸多媒體數據。例如，對具有640×480的解析度的24位真彩色圖像的一幀進行數位化需要640×480×24比特，也就是7.37兆比特(Mbit)。因此，需要大約221M比特每秒的帶寬來以每秒30幀的速率來傳輸該數據，並且需要大約1,200吉比特(Gbit)的存儲空間來存儲90分鐘的電影。考慮到這種情況，當傳輸多媒體數據時，需要使用壓縮的編碼方案。
數據壓縮的基本原理是消除數據中的冗餘。三種類型的數據冗餘是空間冗餘、時間冗餘和感知-視覺冗餘。空間冗餘指的是圖像中的相同顏色或對象的副本，時間冗餘指的是在音頻中相同聲音的連續重複或運動圖像中的鄰近的幀之間的改變很小或沒有改變，感知-視覺冗餘指的是人類視覺的局限性和無法聽到的高頻率。通過消除這些冗餘，可以壓縮數據。數據壓縮類型可分為取決於信源數據是否損失的有損/無損壓縮，取決於是否相對於每一幀獨立地壓縮數據的幀內/幀間壓縮，以及取決於是否將相同量的時間用於壓縮和解壓縮的對稱/不對稱壓縮。此外，當用於壓縮和解壓縮的總共的端到端延遲時間不超過50ms時，將其稱為實時壓縮。當幀具有多種解析度時，將其稱為可分級壓縮。無損壓縮主要用於壓縮文本數據和醫學數據，有損壓縮主要用於壓縮多媒體數據。幀內壓縮通常用於消除空間冗餘，幀間壓縮用於消除時間冗餘。
傳輸多媒體數據的傳輸介質具有不同的性能。當前使用的傳輸介質具有多種傳輸速率，覆蓋能夠以幾十Mbit/s的速率傳輸數據的甚高速通信網絡、具有384kbit/s的傳輸速率的移動通信網絡等。在傳統視頻編碼算法中，例如MPGE-1、MPGE-2、MPGE-4、H.263和H.264(先進視頻編碼)，通過運動補償來消除時間冗餘，通過空間變換來消除空間冗餘。這些方案在壓縮中具有良好的性能，但是它們對於真正的可分級比特流的靈活性較差，因為這些方案的主要算法採用遞歸逼近。
為此，近來的研究關注於基於小波的可分級視頻編碼。可分級視頻編碼指的是在空域(即就解析度而言)具有分級的視頻編碼。分級具有這樣的屬性使得壓縮的比特流能夠被部分地或預先地解碼，從而可播放具有多種解析度的視頻。
術語「分級」在此用於共同表示控制視頻的解析度的空間分級、控制視頻質量的信噪比(SNR)分級、以及控制視頻的幀率的時間分級及其組合。
如上所述，可基於小波變換來實現空間分級。此外，使用運動補償時間濾波(MCTF)和非受限MCTF(UMCTF)來實現時間分級。基於考慮空間相關的嵌入式量化編碼方案或用於MPEG系列編解碼器的精細粒度分級(FGS)編碼方案來實現SNR分級。
圖1示出支持分級的視頻編碼系統的整個結構。視頻編碼器45通過時間濾波、空間變換和量化來編碼輸入的視頻10，從而生成比特流20。預解碼器50可通過截斷或提取從視頻編碼器45接收的一部分比特流20來以簡單的方式實現相對於紋理數據的各種分級。對於截斷，可考慮圖像質量、解析度或幀率。通過截斷一部分比特流來實現分級的過程稱為「預解碼」。
視頻解碼器60通過相反地執行由視頻編碼器45進行的過程而從預解碼的比特流25重構輸出視頻30。預解碼器50並非必須進行根據預解碼條件的比特流的預解碼。當因為視頻編碼器60的處理容量不足而難以實時處理在視頻編碼器45側生成的比特流20的整個視頻時，可在視頻解碼器60側預解碼比特流。
關於支持分級的視頻編碼技術的標準在運動圖像專家組-21(MPGE-21)PART-13中正在開發。特別地，已經進行了實現多層化的視頻編碼方法的許多嘗試。多層可包括基層、第一增強層和第二增強層，每一層具有不同解析度(QCIF、CIF2CIF)或不同幀率。
圖2示出使用多層結構的可分級視頻編解碼器的示例。以具有15Hz的幀率的四分之一公共中間格式(QCIF)定義基層，以具有30Hz的幀率的公共中間格式(CIF)定義第一增強層，以具有60Hz的幀率的標準清晰度(SD)來定義第二增強層。當需要CIF0.5M的流時，可預解碼第一增強層([email protected])的比特流。按照該方式，可實現時間、空間、SNR分級。由於每一層的運動矢量和紋理之間存在相似性，因此通常當編碼多個層時移除每一層的冗餘。然而，存在具有相同解析度但具有不同幀率或具有相同幀率但具有不同解析度的層。
圖3示出在預解碼器50側實現SNR分級的傳統方法。由視頻編碼器生成的比特流20包括多個圖像組(GOP)，每一GOP包括多個幀信息。幀信息40包括運動分量41和紋理分量42。預解碼器50根據連接到解碼器側的網絡的帶寬來確定可傳輸的比特率，並基於確定的比特率來截斷一部分原始紋理分量42。在截斷原始紋理分量42之後留下的紋理分量(也就是基於SNR預解碼的紋理分量43)和運動分量41被發送到視頻解碼器側。
由於通過支持SNR分級的方法來編碼所述紋理分量，因此可通過向後截斷一部分紋理分量的簡單操作來實現SNR分級。支持SNR分級的編碼方法為用於MPEG系列的編解碼器的精細粒度分級(FGS)以及用於小波系列的編解碼器的嵌入式量化編碼。通過嵌入式量化而生成的比特流具有附加的優點其可比由FGS編碼生成的比特流更精細地預解碼。
發明內容
技術問題然而，因為由於多層化視頻編碼的結構問題和運動信息而導致過載，所以當層中的SNR改變時，比特流可能不逼近用戶所期望的目標比特率。在此情況下，如果因為數據的過度截斷而導致圖像質量惡化或由於不存在將要進一步截斷的比特而因此發送比特流，則可能導致實時流傳輸中的網絡延遲。因此，需要預解碼方法來解決這個問題。
技術方案已經提出本發明來解決上述問題，本發明的目的在於提供一種能夠與可變網絡環境自適應地進行處理的預解碼方法和裝置。
本發明的另一目的在於解決僅通過在當前層中截斷幀的紋理信息，比特流不能逼近目標傳輸比特率的問題。
根據本發明一方面，提供一種使得基於多層的編碼的可分級比特流的比特率適用於可變網絡環境的裝置，包括比特流解析單元，解析輸入的比特流；預解碼條件確定單元，根據可變網絡環境確定目標傳輸比特率；預解碼單元，根據確定的目標傳輸比特率跳過包括在解析的比特流中的至少一幀；以及比特流發送單元，將由於幀跳過而重構的比特流發送到客戶機設備。
根據本發明另一方面，提供一種基於多層的視頻解碼器，包括跳過確認單元，通過從輸入的比特流中讀出指示當前幀的紋理數據大小的欄位的值來確認當前幀的跳過；基層解碼器，當所述值指示幀跳過時，恢復具有與當前幀相同的時間位置的基層幀；以及上採樣單元，將恢復的較低層幀上採樣為增強層的解析度。
根據本發明另一方面，提供一種基於多層的編碼的可分級比特流的比特率適用於可變網絡環境的方法，包括以下步驟解析輸入的比特流；根據可變網絡環境確定目標傳輸比特率；根據確定的目標傳輸比特率跳過包括在解析的比特流中的至少一幀；以及將在幀跳過之後重構的比特流發送到客戶機設備。
根據本發明另一方面，提供一種基於多層的視頻解碼方法，包括通過從輸入的比特流中讀出指示當前幀的紋理數據大小的欄位的值來確認當前幀的跳過；當所述值指示幀跳過時，恢復具有與當前幀相同的時間位置的基層幀；以及將恢復的較低層幀上採樣為增強層的解析度。
通過下面結合附圖進行的對本發明優選實施例的詳細描述，本發明的上述和其他特徵和優點將會變得更加清楚，其中圖1示出支持分級的視頻編碼系統的整個結構；圖2示出使用多層化的結構的可分級視頻編解碼器的幀陣列的示例；圖3示出SNR分級的傳統實現；圖4至7示出根據本發明示例性實施例的幀跳過；圖8示出根據本發明示例性實施例的多層視頻編碼器的結構；圖9示出差分係數的離散餘弦變換(DCT)轉換的示例；
圖10示出閾值比特率；圖11至14示出根據本發明示例性實施例的比特流的結構；圖15示出根據本發明示例性實施例的預解碼器的結構；圖16是示出每一幀的預解碼的示例的框圖；圖17是示出每一幀的預解碼的示例的框圖；圖18是示出根據本發明示例性實施例的在預解碼器中進行的操作的流程圖；圖19是示出與通過閉環機制編碼的比特流有關的預解碼器中進行的操作的流程圖；圖20是示出根據本發明示例性實施例的在預解碼器中進行的操作的流程圖；圖21示出通過幀跳過截斷紋理數據之後的結果；圖22示出通過幀跳過截斷運動信息之後的結果；以及圖23示出根據本發明示例性實施例的多層化的視頻解碼器的結構。
具體實施例方式
以下參照附圖來說明本發明的示例性實施例。通過參照以下示例性實施例的詳細描述和附圖，本發明的優點和特點以及實現本發明的方法可變得更容易理解。然而，本發明可實施為多種不同的形式，並且不應理解為受限於在此闡述的實施例。此外，提供這些實施例從而該公開將是徹底和完整的，並將把本發明的構思全面傳達給本領域技術人員，本發明僅由權利要求定義。在整個說明書中，相同的標號表示相同的元件。
在本發明中，當即使通過截斷使用多層編碼的比特流的紋理分量，比特流在預解碼器側也不能到達目標傳輸比特率時，特殊方法用於實現SNR分級。在此情況下，預解碼器跳過當前層中的幀，解碼器使用與當前層的幀對應的基層的幀來恢復當前層的幀。該技術擴展了分級的範圍，節省了跳過的幀的比特，並提供高於可視化質量的視頻幀，而不是由於不充足的比特率而恢復一部分當前層幀。
將參照圖4至圖7描述本發明中使用的幀跳過。假定存在包括多個基層幀(A1至A4)以及多個增強層幀(F1至F8)的比特流。即使一部分增強層幀(即F1)被截斷，也可通過在解碼器側在相同的時間位置上採樣基層幀(即A1)來恢復所述增強層幀。在圖4的示例中，截斷幀F1、F3、F5和F7。當通過對比特流預解碼，比特流不能到達目標傳輸比特率時，預解碼器可跳過一部分或整個增強層幀，在所述增強層幀中，基層幀出現在相同位置。跳過的順序按照相反的方式從當前預解碼單元的最後的幀開始。在圖5中，當需要跳過兩幀時，跳過圖4的F7和F5，視頻解碼器可用通過上採樣A3和A4生成的幀(A3u和A4u)來替換增強層幀F5和F7。
圖6通過示例示出存在基層幀(A1至A8)和增強層幀(F1至F8)的情況。在此情況下，可從增強層幀首先截斷幀。然而，不期望從以閉環編碼方法所編碼的幀中截斷內部圖像(I-圖像)和預測圖像(P-圖像)，它們用作其它幀的參考幀。在圖6中，當假定F1為I-圖像，F5是P-圖像並且其它間接的幀(oblique frame)是雙向圖像(B-圖像)時，以及當需要對幀進行截斷時，可從較後的時幀間開始僅截斷B-圖像。
在以諸如MCTF的開環編碼方法所編碼的比特流中，可以截斷幀而不將幀分類為高通幀和低通幀。在開環編碼中，由於誤差分布在高通幀和低通幀之間，因此與閉環編碼相比，參照圖像質量稍低的低通幀的高通幀的圖像的質量沒有顯著降低。
在圖6中，當需要截斷兩幀時，截斷在時間上較晚的兩幀(F8和F7)。截斷在時間上較晚的兩幀的原因在於減少由於幀之間的圖像質量改變而導致的閃爍。如圖7，當截斷F3和F7並且以A3和A7的上採樣的幀(A3u和A7u)來替代它們時，閃爍產生四次。在本發明中，為了減少閃爍，從鄰近幀中選擇將要截斷的那些幀。為此，在多個幀中，連續截斷時間上較晚的幀。
圖8示出根據本發明示例性實施例的多層化視頻編碼器100。在該示例性實施例中，通過示例使用單個基層和單個增強層。視頻編碼器100包括下採樣器110、運動估計單元121和131、時間變換單元122和132、空間變換單元123和133、量化單元124和134、解碼單元135、熵編碼單元150以及圖像質量比較單元160。
下採樣器110下採樣具有適配於每一層的幀率和解析度的輸入視頻。如圖2所示，當使用QCIF@15Hz的基層以及CIF@30Hz的增強層時，將原始輸入視頻分別下採樣為QCIF和CIF，並且以幀率15Hz和30Hz分別再次下採樣得到的視頻。可通過MPEG下採樣器或小波下採樣器進行解析度的下採樣，並且可通過幀跳過或幀插入來進行幀率的下採樣。
運動估計單元121執行關於增強層幀的運動估計，並獲得基層幀的運動矢量。運動估計是在參考幀中搜索與當前幀的塊最相似的塊(也就是具有最小誤差的塊)的塊的過程。此時，可使用諸如固定大小塊匹配或等級可變大小塊匹配(HVSBM)的多種方法。在此情況下，可通過使用由運動估計單元131獲得的基層幀的運動矢量來最有效地表示消除了冗餘的增強層的運動矢量分量。
時間變換單元122使用由運動估計單元121獲得的運動矢量以及在時間上不同於當前幀的位置處的幀來構建預測幀，並獲得當前幀和預測幀之間的差，從而減少時間冗餘。結果，生成殘差幀。在當前幀是沒有參照不同的幀編碼的內部幀時，不需要運動矢量，並且還可省略使用預測幀的時間變換。在這些時間變換方法中，可將MCTF或UMCTF用於支持時間分級。
當增強層幀是內部幀時，可使用通過使用在對應的位置處的基層幀移除層之間的紋理的冗餘的方法。在此情況下，通過在解碼單元135中再次解碼得到的幀來恢復已經通過量化單元134的基層幀，從而可可通過使用恢復的(當需要時被上採樣的)基層幀來有效預測對應的位置上的增強層幀，這被稱為「B-幀內預測」。
空間變換單元123通過對由時間變換單元122生成的殘差幀或原始輸入幀執行空間變換來生成變換係數。在此，將DCT或小波空間變換用於空間變換方法。當使用DCT時，變換係數是DCT係數，當使用小波變換時，變換係數是小波係數。
量化單元124量化由空間變換單元123生成的變換係數，從而生成量化係數。此時，量化單元124格式化量化係數以支持SNR分級。作為支持SNR分級的方法，可使用FGS編碼或嵌入式量化。
首先將描述FGS編碼。獲得原始輸入幀和解碼的基層幀之間的差，將獲得的差分解為多個比特面。例如，假定DCT塊的差係數如圖9所示(在8×8塊中，省略的部分全部由「0」來表示)，當使用鋸齒形掃描時，可將差係數排列為{+13，-11，0，0，+17，0，0，0，-3，0，0，...}，並可將其分解為表1中的五個比特面。比特面的值表示為二進位係數。
表1
格式化為上述分解的比特面的增強層從第4比特面(最高階)開始，並由每一比特面單元連續排列到第0比特面(最低階)。為了在預解碼器中調整比特面，首先截斷具有最低的差的比特面，從而實現SNR分級。在已經截斷其它比特面之後，當留下第4比特面和第3比特面時，將數組{+8，-8，0，0，16，0，0，0，0，...}發送到解碼器側。
嵌入式量化適用於基於小波的編解碼器。例如，僅編碼大於第一閾值的值，並且僅編碼大於通過對第一閾值折半而生成的新的閾值的值，其中，所述新的閾值被再次折半，並重複這些操作。與FGS不同的是，使用空間相關來進行嵌入式量化。嵌入式量化方法包括嵌入式零樹小波算法(EZW)、嵌入式零塊編碼(EZBC)以及等級樹集劃分(SPIHT)。
當將FGS編碼或嵌入式量化應用於幀的紋理數據時，用戶可根據情況從時間上較晚的幀任意截斷紋理數據，以實現SNR分級。
參照圖8，與增強層幀相同，基層幀經歷運動估計單元131的運動估計、時間變換單元132的時間變換、空間變換單元133的空間變換以及量化單元134的量化。
熵編碼單元150通過對由基層的量化單元134和增強層的量化單元124生成的量化係數、由基層的運動估計單元131生成的基層的運動矢量以及由運動估計單元121生成的增強層的運動矢量分量進行無損編碼(或熵編碼)來生成輸出比特流。為了進行無損編碼，可使用諸如Hufaman編碼、算術編碼或可變長度編碼的各種編碼方法。
當通過這些過程生成可分級比特流時，預解碼器可根據網絡條件通過從當前幀的較晚部分開始截斷當前幀的比特流來控制傳輸比特率。然而，當因為網絡條件惡化而截斷大量比特流時，得到的視頻的圖像質量將很糟糕。在極端的情況下，隨著當前幀的比特流被截斷，可截斷除了運動分量之外的整個紋理分量。因此，當根據圖10所示的網絡條件截斷比特流時，如果目標傳輸比特率低於特定閾值比特率，則如果丟棄當前幀的整個比特流並通過在視頻解碼器中上採樣與當前幀對應的較低層幀來恢復當前幀，則可產生較好的結果。問題在於如何找到這樣的閾值比特率。由於因為不存在原始輸入幀而導致預解碼器不能確定哪裡的圖像質量較優或較差，因此必須由視頻編碼器100確定並發送閾值信息。
為此，視頻編碼器100還包括圖像質量比較單元160。圖像質量比較單元160比較通過解碼由熵編碼單元150生成的比特流中一部分被截斷的增強層幀的紋理分量而恢復的增強層幀和通過解碼在時間上與增強層幀對應的基層幀並將其上採樣為增強層的解析度而生成的幀。對於質量比較，可比較原始幀和幀之間的差的和，或可比較基於原始幀獲得的峰值SNR(PSNR)。結果，如果恢復的增強層幀的圖像質量優於對應的基層幀的圖像質量，則進一步截斷增強層幀的紋理分量並對其解碼，然後執行另一比較。通過重複這些過程，可找到使得兩種幀在圖像質量上等同的閾值比特率(如圖10所示)。圖像質量比較單元160可將找到的閾值比特率記錄為由熵編碼單元150生成的比特流中的標記比特。
圖11至14示出根據本發明示例性實施例的圖8所示的比特流300的結構。具體地說，圖11示意性示出比特流300的整個結構。
比特流300包括序列頭欄位310和數據欄位320。數據欄位320可包括一個或多個GOP欄位，所述多個GOP欄位包括330、340和350。
在序列頭欄位310中記錄視頻的屬性，例如幀的寬度大小(2位元組)和長度大小(2位元組)、GOP的大小(1位元組)、幀率(1位元組)、運動精度(1位元組)以及其它屬性。
圖12示出每一GOP欄位330的詳細結構。GOP欄位330可包括GOP頭360、T(0)欄位370、MV欄位380和「其它T」欄位390，在T(0)欄位370中記錄有關於基於第一時間濾波序列的第一幀(幀內)的信息，在MV欄位380中記錄有一組運動矢量，在「其它T」欄位390中記錄有關於除了第一幀之外的其它幀(幀間)的信息。
與序列頭欄位310不同的是，屬於當前GOP的幀的屬性，而非整個幀的屬性，記錄在GOP頭360中。
圖13示出記錄有運動矢量的MV欄位380的詳細結構。每一運動矢量欄位包括大小欄位381，用於表示運動矢量的大小；以及數據欄位382，用於在其中記錄運動矢量的實際數據。數據欄位382可包括包含關於熵編碼的信息的欄位(未示出)以及包含實際運動矢量信息的二進位流欄位(未示出)。
圖14示出「其它T」欄位390的詳細結構。例如，可在該欄位390中記錄關於比幀的數量小1的幀間的信息。
關於每一幀間的信息包括幀頭欄位391；數據Y欄位393，用於記錄相關的幀間的亮度分量；數據U欄位，用於記錄藍色色差分量；以及數據V欄位397，用於記錄紅色色差分量。大小欄位392、394和396附屬在欄位393、395和396的每一個的前面，以表示每一分量的大小。在幀頭欄位391中，記錄有限制為相關的幀的視頻的屬性，這與序列頭欄位310和GOP頭360不同。
當單個幀包括多個彩色分量(包括亮度(Y)分量)時，可進行對每一色彩分量的預解碼，可用相同的百分比來預解碼構成幀的每一彩色分量。可將參照圖10描述的閾值比特率記錄在幀頭欄位391中，並將其發送到預解碼器。可將所述閾值比特率指示為基於彩色分量的單獨的標記比特，而不是在幀頭欄位391中記錄閾值比特數。
圖15示出根據本發明示例性實施例的預解碼器200的結構。預解碼器200預解碼從視頻編碼器100提供的比特流300，並控制比特流300的比特率或SNR。預解碼涉及通過提取或截斷一部分比特流來控制解析度、幀率和SNR。然而，由於本發明關注實現SNR分級，因此可理解，下文中預解碼指的是控制比特流的SNR。在實際實現中，預解碼器200可理解為視頻流伺服器，用於發送適用於可變網絡環境的可分級視頻流。
預解碼器200包括比特流解析單元210、預解碼條件確定單元240、預解碼單元220和比特流發送單元230。
比特流解析單元210解析從視頻編碼器100提供的比特流300。在此情況下，其讀出包括在比特流300中的基於幀的信息，例如「其它T」欄位390的幀頭欄位391、每一彩色分量的數據大小信息392、394和396以及圖14的紋理信息393、395和397。
根據用戶的輸入，預解碼條件確定單元240確定服從可變網絡情況的預解碼條件，即目標傳輸比特率。作為確定預解碼條件的示例，從接收自預解碼器200發送的比特流的視頻解碼器反饋當前可用的反饋信息，基於此來確定目標傳輸比特率。在此，視頻解碼器是用於恢復視頻流的裝置，這可通過參照用於接收視頻流傳輸服務的客戶機設備來理解。
預解碼單元220根據確定的目標傳輸比特率預解碼解析的比特流。在本發明中，將描述基於幀的比特流的預解碼的第一示例性實施例和預解碼一組預定數量的幀(也就是基於單元的預解碼)的第二示例性實施例。預解碼單元可以和GOP單元相同，也可以和GOP單元不同。
基於幀的預解碼適配於幀，從而每一幀具有根據可變網絡情況的可變比特率。圖16是示出基於幀的預解碼的示圖，其中，F1至F4中的每一個表示比特流中的幀分量，陰影部分表示通過預解碼從每一幀截斷的部分。
基於單元的預解碼確定多個幀的傳輸比特率。圖17是示出基於單元的預解碼的示圖。當預解碼單元包括四個幀時，將與圖16的可變預解碼結果相同數量的比特作為整體來截斷。在此情況下，與基於幀的傳輸相比，加長了反映網絡情況的改變的周期。相應地加長了從視頻解碼器側接收的反饋周期。
例如，足夠截斷與圖16的陰影部分的和相同數量的比特。為此，可進行圖17的均勻截斷，或可跳過預解碼單元中的幀。
根據本發明第一示例性實施例，圖18的流程圖示出由預解碼單元220進行的操作。首先確定幀是否出現在當前幀的較低層(S10)。如果未出現(S10中的「否」)，則根據由預解碼條件確定單元240確定的目標傳輸比特率或預解碼條件預解碼當前幀(S50)。在此情況下，由於不能跳過當前幀，因此儘可能多地截斷當前幀的紋理分量，以調整SNR。在本發明中，當前幀指的是當前將由預解碼器發送的幀。
通過在用於指示紋理數據大小的欄位中記錄在截斷之後留下的紋理數據的大小，解碼器側稍後可得知所述大小(S60)。預解碼器200可基於圖14所示的彩色分量(Y、U和V)進行當前幀的預解碼，並在預解碼之後在彩色分量大小欄位392、394和396中記錄改變的紋理數據的大小。在此情況下，可根據網絡情況以可變速率或相同速率基於彩色分量進行預解碼。
在操作S10，當幀出現在當前幀的較低層中時(S10中的「是」)，檢查由預解碼條件確定單元240確定的目標傳輸比特率是否小於預定閾值比特率(S20)。
作為S20中檢查操作的結果，如果目標傳輸比特率小於閾值比特率(S20中的「是」)，則預解碼器200跳過當前幀來代替截斷一部分紋理分量(S30)。其後，在用於指示紋理數據大小的欄位中記錄「0」，從而其指示沒有特定紋理數據存在(S40)。然而，如果操作S20中的檢查結果相反，則重複步驟S50。
當前幀的跳過可表示僅跳過當前幀的紋理數據或跳過紋理數據和運動數據兩者。在前者的情況下，視頻解碼器通過上採樣與當前幀對應的基層的紋理數據來恢復當前幀的紋理數據，而使用當前幀的運動矢量作為用於逆時間變換的運動矢量。在後者的情況下，視頻解碼器上採樣基層幀的紋理數據和運動數據，並恢復當前幀的紋理數據和運動數據。
在第一示例性實施例中，可由視頻解碼器的圖像質量比較單元160確定閾值比特率。但是，可由任意單元對其進行確定。例如，預解碼器確定關於幀的運動信息和紋理信息之間的特定比率，並截斷紋理信息，從而當紋理信息對運動信息的比率達到特定比率時的比特率可被設置為閾值比特率。可用本領域技術人員所知的各種方式確定閾值比特率。
當視頻編碼器100採用閉環編碼時，可按圖19所示的順序執行預解碼。圖19與圖18的不同之處在於，它還包括確定操作S25。在操作S25中，噹噹前幀是沒有被用作其它幀的參考幀的B-圖像時(S25中的「是」)，可在S30和S40中執行當前幀的跳過。然而，在操作S25，在當前幀是用作另一幀的參考幀的I-圖像或P-圖像時(S25中的「否」)，不能跳過當前幀(S50和S60)。如果可接受某種程度的圖像質量惡化，則當出現較低層幀時，可使用圖18的方法，無論是不是開環編碼方法，也不管幀是I-圖像，B-圖像還是P-圖像。
根據本發明第二示例性實施例，圖20示出由預解碼單元220進行的操作。當由預解碼條件確定單元240確定的目標傳輸比特率小於閾值比特率時(S110中的「是」)，預解碼屬於預解碼單元的幀，以具有閾值比特率(S120)。在用於指示每一幀的紋理數據大小的欄位中記錄改變的比特數量(S130)。由於在預解碼之後閾值比特率仍舊超過目標傳輸比特率，因此其後可進行幀跳過。
控制閾值比特率，從而在屬於當前預解碼單元的幀中通過按相反順序跳過出現較低層的幀來接近目標傳輸比特率(S140)。在此，當前預解碼單元指的是預解碼器200當前發送的預解碼單元。
其後，在用於指示跳過的幀的紋理數據大小的欄位中記錄「0」(S150)。雖然跳過幀，但沒有移除幀頭欄位391和根據彩色分量的大小欄位392、394和396。當在圖14中跳過第一幀時，該幀的T(1)欄位僅包括幀頭391和根據分量的大小欄位392、394和396，如圖21所示。在此情況下，在根據分量的大小欄位392、394和395中記錄「0」。
當跳過幀和運動矢量時，包含關於圖13中的第一幀的運動信息的MV(1)欄位僅包括圖22所示的用於指示運動矢量的大小的欄位381。在此情況下，以「0」寫入欄位381。
作為操作S110的確定結果，當確定的目標傳輸比特率不小於閾值比特率時(S110中的「否」)，預解碼單元根據目標傳輸比特率進行預解碼(S160)。如參照圖16所述，無需按均勻方式截斷所有幀。甚至只要滿足目標傳輸比特率就無需截斷所有幀。在各個幀的大小欄位中記錄改變的比特數(S170)。
返回圖15，比特流發送單元230將通過使其比特率由預解碼單元220來調整而重構的比特流(也就是預解碼的比特流)發送到視頻解碼器側，並從視頻解碼器接收反饋信息。反饋信息包括隨著視頻解碼器接收比特流而測量的當前可用比特率的信息。
圖23示出根據本發明示例性實施例的多層化視頻解碼器400的結構。視頻解碼器400包括熵解碼單元410、基層解碼器420、增強層解碼器430、跳過確認單元440和上採樣單元450。
熵解碼單元410進行逆熵編碼操作，也就是說，它從輸入的比特流中提取增強層的數據和基層的數據。增強層幀和基層幀的每一數據包括紋理數據和運動數據。
跳過確認單元440讀取指示增強層幀中的當前幀的紋理數據的大小的欄位。當值為「0」時(指示幀跳過)，將當前跳過的幀的編號提供給基層解碼器420。當值不為「0」時，將當前幀的編號提供給增強層解碼器430。本發明的視頻解碼器400中的當前幀指的是當前恢復的層的幀。
當值指示幀跳過時，基層解碼器420恢復與具有提供的幀編號的當前幀具有相同時間位置的較低層幀。當值不指示幀跳過時，增強層解碼器430從等於該值的紋理數據中恢復當前幀。
增強層解碼器430包括逆量化單元431、逆空間變換單元432和逆時間變換單元433。逆量化單元431逆量化從跳過確認單元440提供的紋理數據。這種逆量化是視頻編碼器100中進行的量化的逆過程。在這樣的逆量化中，也一如既往地使用在量化中採用的量化表，以恢復變換係數。可以從編碼器側發送量化表，或可由編碼器和解碼器預先確定量化表。
逆空間變換單元432對逆量化的結果執行逆空間變換。逆空間變換與視頻編碼器100中進行的空間變換對應。具體地說，可使用逆DCT變換或逆小波變換。
逆時間變換單元433從逆空間變換的結果恢復視頻序列。在此情況下，通過使用已經恢復的視頻幀和由熵解碼單元410提供的增強層的運動矢量來生成估計幀，並通過將逆空間變換結果和生成的估計幀相加來恢復當前幀。自然地，沒有由編碼器在時間上變換的幀內無需通過逆時間變換。
然而，根據編碼方法，幀內還可通過當編碼時使用基層來移除增強層的紋理的冗餘。在此情況下，逆時間變換單元433可通過使用恢復的基層幀來恢復作為幀內的當前幀。
同樣地，可通過經過逆量化單元421、逆空間變換單元422和逆時間變換單元423來將基層的紋理數據恢復到基層幀。已經描述了基層解碼器420和增強層解碼器430在邏輯上分離。然而，本領域技術人員易知，可將單個解碼模塊實現為恢復增強層和基層。
關於與從跳過確認單元440提供的跳過的幀的編號對應的幀，上採樣單元450以增強層的解析度上採樣恢復的基層幀。根據上採樣結果而生成的幀變為具有相關的幀的編號的增強層幀。當基層的解析度和增強層的解析度不同的時候，可進行這樣的上採樣，但當兩者相同時可將其刪除。
已經參照幀具有單個基層和單個增強層的情況描述了本發明的所有示例性實施例。然而，本領域技術人員可從上面的描述充分了解添加許多層的情況。在多層包括基層、第一增強層和第二增強層的情況下，在基層和第一增強層之間使用的算法將同樣應用於第一增強層和第二增強層之間。
圖8、15和23所示的所有元件可以表示軟體單元或硬體單元，例如現場可編程門陣列(FPGA)或專用集成電路(ASIC)。然而，這些元件不限於此，並且它們可處於可尋址存儲介質中，或可執行一個或多個處理器。由這些元件固有地提供的這些功能可進一步拆分，或者用於執行特定功能的單個元件可通過集成多個元件來實現。
產業上的可利用性根據本發明，當進行預解碼時能夠對可變網絡情況進行自適應反應。
當僅截斷層的幀的紋理信息使得不能接近目標傳輸比特率時，也可使用本發明。
本領域技術人員應理解，在不脫離由權利要求定義的本發明的範圍和精神的情況下，可在形式和細節上進行各種替換、修改和改變。因此，應理解，上面描述的實施例僅是示例性的，而不應理解為本發明的限制。
權利要求
1.一種使得基於多層的編碼的可分級比特流的比特率適用於可變網絡環境的裝置，包括比特流解析單元，解析輸入的比特流；預解碼條件確定單元，根據可變網絡環境確定目標傳輸比特率；預解碼單元，根據確定的目標傳輸比特率跳過包括在解析的比特流中的至少一幀；以及比特流發送單元，將由於幀跳過而重構的比特流發送到客戶機設備。
2.如權利要求1所述的裝置，其中，所述預解碼條件確定單元基於從所述客戶機設備反饋到所述預解碼條件確定單元的當前可用比特率信息來確定所述目標傳輸比特率。
3.如權利要求1所述的裝置，其中，當所述目標傳輸比特率小於預定閾值比特率時進行幀跳過。
4.如權利要求3所述的裝置，其中，從生成輸入的比特流的視頻解碼器來提供所述閾值比特率。
5.如權利要求4所述的裝置，其中，所述視頻解碼器比較增強層幀與基層幀，從而當所述兩種幀都具有相同圖像質量時搜索閾值比特率，所述增強層幀通過對一部分被截斷的增強層幀的紋理分量解碼而被解碼，所述基層幀與增強層幀在時間上對應，並且以增強層的解析度而被解碼和上採樣。
6.如權利要求4所述的裝置，其中，所述閾值比特率指的是當紋理信息對運動信息的大小比率是根據紋理信息的截斷的特定值時的比特率。
7.如權利要求3所述的裝置，其中，當在包括在解析的比特流中的幀中的當前幀的較低層中出現幀時，所述預解碼單元跳過當前幀。
8.如權利要求7所述的裝置，其中，當將要發送的幀沒有用作另一幀的參考幀時，所述預解碼單元跳過將要發送的所述幀。
9.如權利要求1所述的裝置，其中，所述預解碼單元將「0」記錄在用於指示跳過的幀的紋理數據的大小的欄位中。
10.如權利要求3所述的裝置，其中，所述預解碼單元按從較晚的幀開始的相反順序跳過包括在解析的比特流中的當前預解碼單元的幀。
11.一種基於多層的視頻解碼器，包括跳過確認單元，通過從輸入的比特流中讀出指示當前幀的紋理數據大小的欄位的值來確認當前幀的跳過；基層解碼器，當所述值指示幀跳過時，恢復具有與當前幀相同的時間位置的基層幀；以及上採樣單元，將恢復的較低層幀上採樣為增強層的解析度。
12.如權利要求11所述的視頻解碼器，還包括增強層解碼器，當所述值沒有表示幀跳過時，從與所述值對應的紋理數據恢復當前幀。
13.如權利要求11所述的視頻解碼器，其中，指示幀跳過的值是「0」。
14.一種使得基於多層的編碼的可分級比特流的比特率適用於可變網絡環境的方法，包括以下步驟(a)解析輸入的比特流；(b)根據可變網絡環境確定目標傳輸比特率；(c)根據確定的目標傳輸比特率跳過包括在解析的比特流中的至少一幀；以及(d)將在幀跳過之後重構的比特流發送到客戶機設備。
15.如權利要求14所述的方法，其中，當所述目標傳輸比特率小於預定閾值比特率時進行幀跳過。
16.如權利要求15所述的方法，其中，從生成輸入的比特流的視頻編碼器來提供所述閾值比特率。
17.如權利要求16所述的方法，其中，在包括在解析的比特流中的幀中，當幀出現在當前幀的較低層時，相對於當前幀進行所述幀跳過。
18.一種基於多層的視頻解碼方法，包括通過從輸入的比特流中讀出指示當前幀的紋理數據大小的欄位的值來確認當前幀的跳過；當所述值指示幀跳過時，恢復具有與當前幀相同的時間位置的基層幀；以及將恢復的較低層幀上採樣為增強層的解析度。
19.如權利要求18所述的方法，還包括當所述值不指示幀跳過時，從與所述值對應的紋理數據恢復當前幀。
20.如權利要求18所述的方法，其中，指示幀跳過的值是「0」。
全文摘要
公開了一種用於在視頻流伺服器中實現信噪比(SNR)分級以在可變網絡環境中發送視頻流的方法和裝置。一種使得基於多層的編碼的可分級比特流的比特率適用於可變網絡環境的裝置，包括比特流解析單元，解析輸入的比特流；預解碼條件確定單元，根據可變網絡環境確定目標傳輸比特率；預解碼單元，根據確定的目標傳輸比特率跳過包括在解析的比特流中的至少一幀；以及比特流發送單元，將由於幀跳過而重構的比特流發送到客戶機設備。
文檔編號H04N7/24GK101027908SQ200580032195
公開日2007年8月29日 申請日期2005年9月28日 優先權日2004年10月18日
發明者韓宇鎮, 李教赫, 車尚昌, 河昊振, 李培根, 李宰榮 申請人:三星電子株式會社