對包括基本層的比特流預解碼和解碼的方法和設備的製作方法
2023-05-06 21:36:41 3
專利名稱：對包括基本層的比特流預解碼和解碼的方法和設備的製作方法
技術領域：
與本發明一致的設備和方法涉及一種對包括基本層的比特流預解碼和解碼的方法和設備，更具體地說，涉及通過在預解碼器中以基本層幀代替特定幀為給定的比特率提取較高品質的視頻流。
背景技術：
隨著包括網際網路的信息通信技術的發展，視頻通信和文本、語音通信都已急劇地增加。傳統的文本通信不能滿足各種用戶的需要，因而能提供例如文本、圖片和音樂等各種類型的信息的多媒體服務業已增加。因為多媒體數據的量通常相對於其他類型數據較大，所以多媒體數據需要大容量的存儲介質和用於傳輸的寬的帶寬。因此，壓縮編碼方法是傳輸包括文本、視頻和音頻的多媒體數據所需要的。例如，具有640×480解析度的24位的真彩色圖像每幀需要640×480×24位的容量，即大約7.37兆位的數據。當像這樣的圖像以每秒30幀的速度被傳輸時，需要221兆位/秒的帶寬。當基於這樣的圖像的90分鐘的電影被存儲時，需要1200千兆位的存儲空間。因此，壓縮編碼的方法是傳輸包括文本、視頻和音頻的多媒體數據所需的。
在這樣壓縮編碼方法中，數據壓縮的基本原理在於去除數據冗餘。數據冗餘一般被定義為相同的顏色或對象在圖像中重複的空間冗餘、在運動的圖像相鄰幀之間幾乎沒有改變或在音頻中同樣的聲音被重複的時間冗餘、或考慮到人類視力和對高頻感知的遲鈍的心理的視覺冗餘。通過去除這樣的數據冗餘，數據能被壓縮。數據壓縮主要根據源數據是否被損失分為有損/無損壓縮，根據各個的幀是否被獨立地壓縮分為幀內/幀間壓縮，根據壓縮所需要的時間與恢復所需要的時間是否相同分為對稱壓縮/非對稱壓縮。另外，當壓縮/恢復時間延遲不超過50ms時，數據壓縮被定義為實時壓縮，當幀具有不同解析度時，數據壓縮被定義為可伸縮(scalable)壓縮。作為例子，對於文本和媒體數據，無損壓縮通常被使用。對於多媒體數據，有損壓縮通常被使用。同時，幀間壓縮通常被使用以去除空間冗餘，幀內壓縮通常被使用以去除時間冗餘。
傳輸性能依賴於傳輸介質而有所不同。當前使用的傳輸介質具有各種傳輸速率。例如，超高速通信網絡能夠每秒傳輸幾十兆位的數據，然而移動通信網絡具有每秒384千位的傳輸速率。在相關領域視頻編碼方法例如運動圖像專家組(MPEG)-1、MPEG-2、H.263、H.264等中，時間冗餘通過基於運動估計與補償的運動補償被去除，空間冗餘通過變換編碼被去除。這些方法具有滿意的壓縮率，但是因為它們在主要算法上使用自反方法，所以它們不具有真正可伸縮比特流的靈活性。因此，近年來，小波視頻編碼已被積極地研究。可伸縮性(scalability)指對單個壓縮比特流部分解碼的能力，也就是說，是指再現各種類型的視頻的能力。
可伸縮性包括指示視頻解析度的空間可伸縮性、指示視頻品質水平的信噪比(SNR)可伸縮性、指示幀速率的時間可伸縮性、及其組合。
空間可伸縮性和SNR可伸縮性能分別使用小波變換和量化來實現。時間可伸縮性使用運動補償時間濾波(MCTF)或者無約束的MCTF(UMCTF)來被實現。
圖1顯示了傳統的支持上述提到的可伸縮性的視頻編碼系統的整個構造。參照圖1，編碼器40通過執行時間濾波、空間變換和量化來將輸入視頻10編碼成比特流20。預解碼器50截去從編碼器40接收到的比特流20的一部分或者根據提取條件例如由考慮到通信環境和解碼器60的性能而確定的品質、解析度、或幀速率等提取比特流25，因此以簡單的方式實現紋理數據(texture data)的可伸縮性。
解碼器60對提取的比特流25進行編碼器40的逆操作並產生輸出視頻30。當解碼器60的處理能力不足以支持由編碼器40產生的整個比特流20的實時編碼時，解碼器60可提取比特流25。當然，該提取可被預解碼器50和解碼器60兩者執行。
可伸縮視頻編碼允許比特率、解析度和幀速率被預解碼器50改變，並且以高比特率提供相當高的壓縮比。但是，由於幾種原因，視頻編碼與傳統的編碼方案例如MPEG-4和H.264相比在不足比特率中展現相當低的性能。
降低的性能主要由在低解析度展現比離散餘弦變換(DCT)更低的下降的小波變換的特性產生。另一個重要的原因是在支持各種比特率的可伸縮視頻編碼中，對於特定比特率編碼被最佳化，而在其它比特率編碼性能被降低。
因此，有必要開發用於減少品質、解析度或幀速率降低的有效的預解碼方法。
發明內容
說明性的、非限制的本發明實施例克服了上面的缺點或其他沒有在上面描述的缺點。另外，本發明不需要克服上述的缺點，說明性的、非限制的本發明的示例性實施例可以不克服上述問題。
本發明提供了一種既在低比特率又在高比特率提供高性能的可伸縮視頻編碼方法。
本發明也提供了一種用於將通過高效地預解碼保留的位分配給另一幀的方法。
根據本發明的一方面，提供了一種用於對包含基本層的比特流預解碼的方法，其包括在位於基本層存在的位置的幀中根據預定的標準確定將被跳過的幀；和根據確定的幀和提取條件提取比特流的一部分。
該標準可以是基於連接到解碼器的網絡的傳輸條件確定的可傳輸比特率。
確定將被跳過的幀的步驟包括當比特率低於第一閾值時，確定所有位於基本層位置的幀可被跳過。
確定將被跳過的幀的步驟包括當比特率在第一和第二閾值之間時，確定在位於基本層的位置的幀中高通幀可被跳過。
根據本發明的另一方面，提供了一種用於對包含基本層和具有一些跳過的幀的比特流解碼的方法，該方法包括通過將預定的編碼解碼器應用於關於比特流中的基本層的信息來重構基本層；通過使用除比特流中的基本層之外的信息跳過一些幀產生殘餘幀；將基本層插入到跳過的幀的位置；和對插入的基本層和殘餘幀執行逆時間濾波並重構視頻序列。
產生殘餘幀的步驟可包括對比特流中除基本層之外的紋理信息執行逆量化並輸出變換係數；以及將變換係數逆變換為空間域中的變換係數。
基本層在被上採樣到殘餘幀的解析度後可被插入。
通過當差分編碼被用於產生殘餘幀時計算基本層和殘餘幀的和，並且通過當時間預測編碼用於產生殘餘幀時計算殘餘幀和使用參考幀標號以及運動矢量獲得的預測幀的和，來執行逆時間濾波。
預定的編碼解碼器可以是H.264(先進的視頻編碼)編碼解碼器。可使用逆小波變換來執行上採樣。
根據本發明的另一方面，提供了一種用於提取包含基本層的比特流的一部分的預解碼器，其包括模式選擇模塊，用於在位於基本層存在的位置上的幀中根據預定的標準確定將被跳過的幀；和比特流提取模塊，用於根據選擇的模式和提取條件提取比特流的一部分。
根據本發明的另一方面，提供了一種用於對包含基本層和一些跳過的幀的比特流解碼的視頻解碼器，該視頻解碼器包括基本層解碼器，用於通過將預定的編碼解碼器應用於關於比特流中的基本層的信息來重構基本層；逆空間變換模塊，用於通過使用除比特流中的基本層之外的信息跳過一些幀產生殘餘幀；和逆時間濾波模塊，用於將基本層插入到被跳過的幀的位置，並且為了重構視頻序列對插入的基本層和殘餘幀執行逆時間濾波。
通過參考附圖詳細地描述示例性實施例，本發明的上面和其他方面將變得更加清楚，其中圖1顯示了傳統的視頻編碼系統的整個構造；圖2是根據本發明實施例的可伸縮視頻編碼器的示圖；圖3是用於解釋根據本發明示例性實施例的編碼器執行的時間濾波處理的示圖；圖4顯示一個實例，其中在最高時間級別的高通幀中每一塊根據代價函數(cost function)以不同的方式被編碼；圖5示出了通過小波變換將輸入圖像分解為子帶的處理的實例；圖6是根據本發明示例性實施例的預解碼器的示圖；圖7示出了從編碼器接收到的比特流的結構；圖8示意性地表示可伸縮比特流的結構；圖9表示畫面組(GOP)欄位的詳細結構；圖10是解釋根據目標比特率應用不同模式的處理的示圖；圖11顯示比特流提取模塊的操作的一個實例；圖12顯示比特流提取模塊的操作的另一實例；圖13表示GOP欄位在根據由比特流提取模塊執行的提取處理被改變之前的結構；圖14表示根據在模式3下被比特流提取模塊執行的提取處理被修改的GOP欄位的結構；圖15表示根據在模式2下被比特流提取模塊執行的提取處理被改變的GOP欄位的結構；圖16根據本發明示例性實施例的可伸縮的視頻解碼器的示圖；圖17表示根據如圖14中所示的模式3在一些幀被預解碼器跳過之後剩餘的GOP欄位中幀的運動信息和紋理信息；圖18是用於解釋使用基本層重構如圖17中所示的被跳過的幀的處理；和圖19是移動序列的峰值信噪比(PSNR)對比特率的圖形。
具體實施例方式
現在將參照附圖來更全面地描述本發明，示例性實施例在附圖中被示出。參照下面的本發明實施例和附圖的詳細描述，本發明的不同方面和實現其的方法將被更容易的理解。但是，本發明可以很多不同的形式被實現，不應該被解釋為限於在這裡闡述的示例性實施例。相反地，這些示例性實施例被提供，以便對本領域的技術人員來說，本公開是徹底完全的，並充分表達本發明的原理，並且本發明僅由所附的權利要求限定。在整個說明書中相同的標號始終表示相同部件。
在整個說明書中，基本層指的是具有比在由可伸縮視頻編碼器實際產生的比特流中可用的最高解析度和幀速率低的幀速率和解析度的視頻序列。在本發明示例性實施例中，基本層具有如在下文中將描述的最低幀速率和解析度，儘管不是必要的。
在說明書中，最低幀速率、最低解析度、或者最高解析度基於實際產生的比特流被確定，並且與由可伸縮視頻編碼器支持的相應物加以區別。
參照圖2，根據本發明示例性實施例的可伸縮視頻編碼器100包括基本層產生模塊110、時間濾波模塊120、運動估計模塊130、空間變換模塊150、量化模塊160、比特流產生模塊170和上採樣模塊180。
視頻序列被輸入到基本層產生模塊110和時間濾波模塊120中。基本層產生模塊110將輸入視頻序列下採樣到最低幀速率和最低解析度以產生基本層，使用預定的編碼解碼器對基本層進行編碼，並將編碼的基本層提供給比特流產生模塊170。基本層產生模塊110將產生的基本層提供給上採樣模塊180。這裡，下採樣可以不同的方式被執行。具體地講，解析度中的下採樣可使用小波變換被執行。
在時間和空間上被下採樣的視頻序列，即基本層，可被直接發送到上採樣模塊180。或者，使用相同的編碼解碼器被編碼然後被解碼的基本層被提供給上採樣模塊180，以避免與解碼器重構的基本層不匹配。也就是說，在時間和空間上被下採樣的視頻序列或被編碼和解碼的視頻序列將被提供給上採樣模塊180，它們都共同地被稱為「基本層」。
編碼解碼器可以是在低比特率提供優良品質的非基於小波的H.263或MPEG-4編碼解碼器。提供「優良的品質」指得是壓縮後重構的圖像與原始圖像相比幾乎沒有失真。峰值信噪比(PSNR)通常被用作圖像品質的度量。
上採樣模塊180對由基本層產生模塊110產生的基本層上採樣到與將經歷時間濾波的幀的解析度相等的解析度。上採樣可通過小波逆變換來執行。
時間濾波模塊120在時間軸的方向上把幀分解成低通和高通幀以去除存在於幀中的冗餘。在本發明中，時間濾波模塊120執行時間軸的方向上的濾波以及使用基本層的上採樣的版本與幀之間的差的濾波。時間軸方向上的濾波被稱為時間殘餘編碼，使用來自基本層的上採樣的版本的差的濾波被稱為差分編碼。
運動估計模塊130使用參考幀來執行運動估計。時間濾波模塊120使運動估計模塊在需要時執行運動估計並將運動估計的結果返回給時間濾波模塊120。作為時間濾波算法，MCFT或UMCFT可被使用。
圖3表示在MCTF(使用5/3濾波器)中的時間分解處理。這裡，一個GOP包括8個幀，來自前一個或下一個GOP的幀被用作參考。參照圖3，首先，在時間級別1，8個幀被分解為4個低通幀(L幀)和4個高通幀(H幀)。使用左側或右側或兩側的參考幀來預測H幀。然後，使用兩側的H幀來更新L幀。在更新步驟中，L幀不是原始幀，而是使用H幀被更新以使集中於H幀中的誤差均勻地分布在幀中。但是，由於更新步驟不是本發明的實質的特徵，所以將在以下描述L幀是沒有被更新的原始幀。
接下來，在時間級別2，4個L幀被分解為2個L幀和2個H幀。最後，在時間級別3，在時間級別2的2個L幀被分解為1個L幀60和1個H幀70。然後，在最高時間級別的1個L幀和7個H幀被編碼以用於傳輸。
與在最高時間級別具有最低幀速率的幀相應的間隔以不同於簡單的時間殘餘編碼的方式經歷濾波。也就是說，在當前GOP之內的時間級別3的L幀60和H幀使用差分編碼被濾除。可使用時間相關的幀作為參考通過時間殘餘編碼將H幀70濾除。通過為塊選擇時間殘餘編碼和差分編碼的較好的技術，來對具有預定像素大小的每一塊執行濾波。
速率失真(R-D)最佳化被用來選擇最佳的編碼模式。由於時間殘餘編碼允許使用前向、後向、雙向預測模式，從前向編碼、後向編碼、雙向編碼和差分編碼中為每一塊確定將代價函數減到最小的編碼模式。
當Eb、Ef、Ebi、和Ei分別表示當使用基本層作為參考的後向預測模式、前向預測模式、雙向預測模式、B-intra預測模式被使用時計算的平均絕對差(MAD)時，Bb、Bf、Bbi、和Bi分別表示另外分配給各個編碼模式的位，λ表示拉格朗日係數，對各個編碼模式的代價函數被等式(1)定義
在Bb、Bf、和Bbi分別代表向後、向前、雙向壓縮包括運動矢量和參考幀的運動信息而分配的位時，因為運動矢量對幀內編碼沒有被使用，所以Bi是很小的可以忽略的值。拉格朗日係數λ是根據壓縮率確定的常量。
模式選擇模塊(沒有示出)選擇使代價函數減少到最小的一種模式，以便於確定在最高時間級別的H幀的編碼中的最好的模式。在等式(1)中，希臘字符α表示代表B-intra模式的選擇頻率的常量。當α＝1時，B-intra模式以和其他的編碼模式一樣的選擇頻率被選擇。隨著α的增加，B-intra模式的選擇的頻率減少。隨著α的減少，B-intra模式的選擇的頻率增加。
圖4顯示了一個實例，其中在最高時間級別的H幀中的每一塊根據代價函數以不同的方法被編碼。一幀被分解為16塊。MB表示一塊，F、B、Bi、Bintra分別表示以前向預測模式、後向預測模式、雙向預測模式、B-intra預測模式濾波。
參照圖4，因為代價函數Cf是代價函數Cb、Cf、Cbi、和Ci中的最小值，所以塊MB0使用前向預測模式被濾波。因為代價函數Ci是最小值，所以塊MB15使用B-intra預測模式被濾波。
返回到圖2，運動估計模塊130使用由時間濾波模塊120確定的參考幀被時間濾波模塊120調用以對當前幀執行運動估計功能，並確定運動矢量。塊匹配算法通常用於運動估計。在塊匹配算法中，當前塊中的像素與參考幀中的搜索區域的像素相比較，以獲得具有最小誤差的最佳匹配塊，並且從參考幀中的最佳匹配塊相對於當前塊的位移被確定為運動矢量。儘管固定大小的塊匹配用於如圖4所示的運動估計，但是分級的可變大小的塊匹配(HVSBM)可被使用。運動估計模塊130向比特流產生模塊170提供包括根據運動估計的結果而獲得的塊大小、運動矢量、參考幀的標號的運動信息。
空間變換模塊150使用支持空間可伸縮性的空間變換，以從時間冗餘已經被時間濾波模塊120去除的幀中去除空間冗餘。小波變換通常用於空間變換。由空間變換得到的係數被稱作變換係數。
更詳細地講，空間變換模塊150使用小波變換以將時間冗餘已經被去除的幀分解為低通和高通子帶，並為低通和高通子帶產生小波係數。
圖5示出通過小波變換將輸入的圖像或幀分解為兩個級別的子帶的例子。參照圖5，在級別1，小波變換被執行以將輸入的圖像或幀分解為一個低通子帶和三個水平、垂直和對角高通子帶。在水平和垂直方向都為低頻的低通子帶被稱為「LL」，而在水平、垂直和既在水平又在垂直的方向上的高通子帶被分別稱為「LH」、「HL」、「HH」。低通子帶能進一步被反覆地分解。括號中的數字表示小波變換的級別。
量化模塊160量化由空間變換模塊150產生的變換係數。量化是通過由預定數量的塊劃分變換係數將由任意實數代表的變換係數轉換為離散值並且將這些離散值與預定的索引相匹配的處理。具體地講，當小波變換用於空間變換時，嵌入的量化能經常被使用。這樣的嵌入的量化算法的實例可包括嵌入式零樹小波(EZW)、多級樹集合分裂(SPIHT)、嵌入式零塊編碼(EZBC)。
比特流產生模塊170無損地將來自基本層產生模塊110的編碼的基本層數據、被量化模塊量化的變換係數、和由運動估計模塊130產生的運動估計信息編碼為輸出比特流。對於無損編碼，各種技術例如算術編碼和可變長編碼可被使用。
圖6是根據本發明示例性實施例的預解碼器200的示圖。預解碼器200也被稱為代碼轉換器或提取器。類似地，通過根據提取條件例如品質、解析度或幀速率提取從編碼器(圖2的100)接收的比特流的一部分改變品質、解析度或幀速率，即實現品質、解析度或幀速率方面的可伸縮性，被稱為預解碼、代碼轉換或提取。
參照圖6，預解碼器200包括比特流接收模塊210、模式確定模塊220、比特流提取模塊230和比特流發送模塊240。
比特流接收模塊210經由任何類型的網絡接收由編碼器100產生的比特流。
圖7表示從編碼器100接收的比特流400的結構。參照圖7，比特流400包括通過無損地對編碼的基本層編碼得到的基本層比特流450和通過無損地對從量化模塊(圖2的160)發送的變換係數編碼得到的時間和空間可伸縮比特流500。
圖8示意性地表示可伸縮比特流500的結構。參照圖8，可伸縮比特流500由序列頭欄位510和包含至少一個GOP欄位530到550的數據欄位520組成。序列頭欄位510指定了圖像屬性，例如幀寬度(2位元組)和高度(2位元組)、GOP大小(1位元組)、幀速率(1位元組)。數據欄位520指定了表示圖像和重構圖像所需的其他信息(運動信息)的圖像數據。
圖9表示每個GOP欄位550的詳細的結構。參照圖9，GOP欄位550由GOP頭551、指定關於沒有參照另一幀而被時間編碼的幀的信息的T(0)欄位552、指定運動信息和模式信息的運動信息MV欄位553和指定關於參考另一幀被編碼的幀的信息的「其他T」欄位554組成。運動信息包括塊的大小、與塊相關聯的運動矢量和表示被用來計算運動矢量的參考幀的標號。參考幀的標號可是一個表示時間上相關的幀之一的標號或者是當差分編碼被使用時表示基本層幀的標號(不被用來表示其他幀的標號)。這樣，對於由差分編碼創建的塊，有參考幀但是沒有運動矢量。
MV欄位553由與幀相應的MV(1)到MV(n-1)欄位組成。其他T欄位554包括對幀指定圖像的數據的T(1)欄位到T(n-1)欄位。這裡，n表示GOP的大小。雖然參考圖9描述了GOP以一個低通幀開始，但是兩個或多個低通幀根據在解碼器(圖2的100)中選擇的時間估計模式可存在或可位於不同的位置而不是GOP的開始。
再參照圖6，模式確定模塊220確定在發送的比特流400中提取可伸縮比特流500的一部分期間將被跳過的幀。幀跳過技術被定義為「增強的跳過模式」。增強的跳過模式的基本的思想是編碼器使用時間預測或使用基本層預測對視頻信號編碼。
預解碼器200以低目標比特率跳過所有的與相應於基本層幀相關聯的紋理信息和運動信息。紋理信息是由時間殘餘編碼或差分編碼產生的幀。運動信息包括運動矢量、參考幀標號和塊的大小。
增強的跳過模式被分成三種模式在目標比特率是足夠的模式1中，所有的幀沒有被跳過而被發送。在目標比特率低於閾值的模式3中，所有的具有相應的基本層的幀被跳過。在以中間比特率操作的模式2中，高通幀從具有相應的基本層的幀中被跳過，而包含實質信息的低通幀不被跳過。
根據各種標準，這種增強的跳過模式可被分為這三種模式。例如，這種增強的跳過模式可根據基於關於連接到解碼器的網絡的傳輸條件的信息確定的傳輸比特率，即，目標比特率，而被分類。
圖10是用於解釋根據目標比特率確定模式的處理的示圖。參照圖10，第一閾值θ1和第二閾值θ2為目標比特率而設置。當比特率被確定為超過基於對解碼器的傳輸條件的第一閾值θ1時，模式1被應用。當目標比特率小於第二閾值θ2時，模式3被應用。當目標比特率在第一閾值θ1和第二閾值θ2之間時，模式2被應用。
返回到圖6，比特流提取模塊230根據由模式確定模塊220確定的增強的跳過模式和提取條件來提取比特流400中的可伸縮比特流500的一部分，並產生將被發送到解碼器的比特流。這裡，提取條件包括品質、解析度或幀速率，並且可以基於用戶輸入或關於從比特流發送模塊240獲得的傳輸比特率信息被確定。
在本發明中，可伸縮比特流500的一部分根據確定的增強的跳過模式和提取條件被提取。也就是說，當增強的跳過模式被應用以跳過一些幀時，剩餘的幀根據提取條件被提取。因而，由被跳過的幀保留的位被分配給剩餘的幀，由此改進編碼性能。
圖11顯示了比特流提取模塊230的操作的實例。這裡，F0、F1、......、和F8表示順序編號的幀，B表示基本層。F0和F8是使用基本層B經歷差分編碼的低通幀。
當模式1被模式確定模塊220確定時，比特流提取模塊230不考慮基本層而將原始紋理信息或紋理信息和運動信息發送到比特流發送模塊240。當模式3被確定時，和具有相應的基本層B0、B4和B8的幀F0、F4和F8相關聯的紋理信息或紋理信息和運動信息都被跳過並且不被發送到比特流發送模塊240。可以使用關於與基本層相關聯的幀標號和幀速率的有關信息來檢查幀是否具有相應的基本層。該信息可被記錄在基本層比特流450的一部分中。
當模式2被模式確定模塊220確定時，比特流提取模塊230跳過與在幀F0、F4和F8中的高通幀F4相關聯的紋理信息和運動信息，同時將與低通幀F0和F8相關聯的紋理信息發送到比特流發送模塊240。這裡，儘管上面描述具有相應的基本層的一個低通幀和一個高通幀存在於一個GOP內，但對本領域普通的技術人員很明顯的是，不同數量的低通幀和高通幀可取決於在編碼器(圖2的100)中產生基本層的方法而存在於不同的位置。
圖12顯示了比特流提取模塊230的操作的另一實例，考慮到增強的跳過模式和提取條件，僅示出了只有從原始可伸縮比特流500中提取的時間級別2的幀。可以以降低的解析度和圖像品質提取特定時間級別的幀或所有幀。
在一些幀被跳過的模式2和模式3中，為了增加用於幀的幀速率、解析度或品質，由跳過的幀保留的位能被分配到其他幀。
圖13表示GOP欄位550在根據圖11表示的由比特流提取模塊230執行的提取處理被修改之前的結構。儘管在模式1中沒有幀被跳過(根據幀速率一些幀可被跳過)，但是在模式3中，與幀F0相關聯的紋理信息T(0)和運動信息MV(4)以及與幀F4相關聯的紋理信息T(4)被跳過。幀F8在圖13中沒有顯示，是因為圖13隻顯示在一個GOP中的幀。指定在陰影信息根據模式3被省略後所剩餘的信息的修改的GOP欄位650的結構在圖14中被顯示。
同時，在只有關於在具有相應的基本層的幀中的高通幀的信息被跳過的模式2中，運動信息MV(4)和與幀F4相關聯的紋理信息T(4)被省略。指定在關於高通幀的信息被省略後剩餘的信息的修改的GOP欄位550的結構在圖15中被表示。
如上所述，比特流提取模塊230根據模式信息對每個GOP跳過一些幀以便修改可伸縮比特流500，提取新比特流，並將該比特流發送到比特流發送模塊240。比特流發送模塊240將通過比特流提取模塊230提取的比特流經由有線/無線網絡發送到解碼器。
圖16是根據本發明的示例性實施例的可伸縮視頻解碼器300的示圖。可伸縮的視頻解碼器300包括比特流解釋模塊310、逆量化模塊320、逆空間變換模塊330、逆時間濾波模塊340、上採樣模塊350和基本層解碼器360。
參照圖16，比特流解釋模塊310通過解釋輸入的比特流並從其他層中單獨提取關於基本層的信息來執行熵編碼的逆操作。關於基本層的信息被提供給基本層解碼器360。關於其他層的信息中的紋理信息被發送到反量子變換模塊320，同時運動信息和增強的跳過模式信息被發送到逆時間濾波模塊340。
基本層解碼器360使用預定的編碼解碼器對關於從比特流解釋模塊310接收到的基本層的信息解碼。該預定的編碼解碼器是對應於用於編碼的編碼解碼器，例如以低比特率提供極好的性能的H.264或MPEG-4編碼解碼器。
上採樣模塊350將由基本層解碼器360重構的基本層幀上採樣至與將經歷逆時間濾波的幀相等的解析度。上採樣操作可以各種方法被執行。上採樣模塊350可執行在編碼器(圖2的100)中被執行的解析度下採樣的逆操作。例如，如果降低採樣在編碼器100中使用小波變換被執行，那麼上採樣則使用逆小波變換被執行。由於不是實質的部件，所以當基本層的解析度等於將經歷逆時間濾波的幀的解析度時，上採樣模塊350可不操作。
逆量化模塊320將逆量化應用於從比特流解釋模塊310接收的紋理信息並輸出變換係數。逆量化是從匹配從編碼器100接收的量化索引得到量化的係數的處理。索引與量化的係數之間的映射表可從編碼器100被接收，或在編碼器100和解碼器300之間被預先確定。
逆空間變換模塊330執行逆空間變換以將變換係數逆變換為空間域中的變換係數。例如，對小波變換，變換係數從小波域被逆變換到空間域。
逆時間濾波模塊340使用從比特流解釋模塊310接收的運動信息和增強的跳過信息以及從基本層解碼器360接收的基本層，對空間域的變換係數，即殘餘幀，執行逆時間濾波，並重構構成視頻序列的幀。
逆時間濾波模塊340在用相應於被跳過的幀的基本層代替被跳過的幀之後根據增強的跳過模式對被跳過的幀執行逆時間濾波。
圖17表示根據如圖14所示的模式3被預解碼器200跳過的一些幀之後剩餘的GOP中的幀的運動信息和紋理信息。也就是說，幀F0和F4被跳過並且不存在於GOP中。因而，在執行逆時間濾波之前，被跳過的幀應該被重構。
圖18是解釋使用基本層重構如圖17中所示的被跳過的幀的處理的示圖。
被基本層解碼器360重構的基本層可直接被輸出為具有最低幀速率和解析度的視頻序列。重構的基本層也被發送到逆時間濾波模塊340以重構除基本層之外的幀。
參照圖18，被跳過的幀F0、F4和F8使用由基本層解碼器360重構的基本層B0、B4和B8。基本層B0、B4和B8的位置(0、4和8)使用與包含在基本層比特流450中的基本層相關聯的幀標號或幀速率能被識別。當重構的基本層具有與將經歷逆時間濾波的相關的幀不同的解析度時，基本層被上採樣模塊350上採樣並被插入到幀的位置。使用基本層幀B0、B4和B8重構的幀F0、F4和F8不是殘餘幀而是完全的低通幀。因而，與在編碼器(圖2的100)中被執行的時間濾波中的相同，剩餘的高通幀F1、F2、F3、F5、F6、和F7將使用用基本層重構的低通幀F0、F4和F8和作為參考的其他預先重構的幀被逆時間濾波。所有重構的幀組成一個視頻序列。
這裡，逆時間濾波是與在編碼器100中執行的時間濾波相逆的操作。當差分編碼用於時間濾波時，逆時間濾波通過計算殘餘幀和相應的基本層的和被執行。另一方面，當時間殘餘編碼用於時間濾波時，逆時間濾波通過計算殘餘幀和使用參考幀標號以及運動矢量獲得的預測的幀之和被執行。
以上已經參照圖17和圖18描述了根據模式3使用基本層重構被跳過的幀。當模式2被應用以跳過高通幀時，跳過的高通幀可使用基本層被重構。對沒有幀被跳過的模式1，逆時間濾波模塊340不需要使用基本層。
如在此使用的，術語「模塊」指的是，但並不限於，執行特定任務的軟體或硬體成分，例如現場可編程門陣列(FPGA)或專用集成電路(ASIC)。模塊可方便地被配置以駐留在可尋址存儲介質上和被配置以在一個或多個處理器上執行。因而，模塊可包括舉例來說，組件，例如軟體組件、面向對象的軟體組件、類組件和任務組件、進程、函數、屬性、過程、子例程、程序代碼的片斷、驅動程序、固件、微碼、電路、數據、資料庫、數據結構、表、數組和變量。在成分和模塊中設置的功能性可被組合成更少的成分和模塊，或者進一步分為另外的成分和模塊。另外，成分和模塊可被實現以便他們在通信系統中運行一個或更多的計算機。
圖19是移動序列的PSNR對比特率的圖形。如在圖19中那樣明顯，根據本發明的編碼方法在高比特率展現與傳統的可伸縮視頻編碼(SVC)相似的性能，但是在低比特率展現了比其高得多的性能。當α＝1(時間殘餘編碼或差分編碼被使用)時的編碼性能在高比特率稍高於但在低比特率稍低於當α＝0(只有差分編碼被使用)時的性能。但是，在最低比特率(48Kbps)前者與後者相等。
當α＝0和增強的跳過模式3被使用時，編碼性能與在低比特率當α＝0時的編碼性能和在高比特率當α＝1時的編碼性能相似。也就是說，增強的跳過模式另外被使用以既在低比特率又在高比特率得到極好的性能。
根據本發明示例性實施例的可伸縮視頻編碼既在低比特率又在高比特率提供了高的性能。
另外，根據本發明示例性實施例，重構的視頻序列的品質在預解碼和將位分配給其他幀期間可通過跳過一些幀的位被改進。
儘管本發明的某些特定示例性實施例已經被詳細地描述，但是對本領域的技術人員明顯的是，上述的示例性實施例僅作為說明的目的而被提供，並不被解釋為本發明的限制。因此，本發明的範圍由所附的權利要求給定，而非前面的描述，並且落入權利要求範圍內的所有的改變和等同物被確定為包含在其中。
權利要求
1.一種用於對包含至少一個基本層的比特流預解碼的方法，所述方法包括在位於該至少一個基本層存在的位置上的幀中根據預定的標準確定至少一個將被跳過的幀；和根據該確定的至少一幀和至少一個提取條件來提取比特流的一部分。
2.如權利要求1所述的方法，其中，預定的標準是基於連接到解碼器的網絡的傳輸條件確定的可傳輸比特率。
3.如權利要求2所述的方法，其中，確定至少一個將被跳過的幀的步驟包括如果比特率低於第一閾值，則確定所有位於該至少一個基本層的位置的幀被跳過。
4.如權利要求2所述的方法，其中，確定至少一個將被跳過的幀的步驟包括如果比特率在第一和第二閾值之間，則確定在位於該至少一個基本層的位置的幀中至少一個高通幀被跳過。
5.一種用於對包含至少一個基本層和至少一個跳過的幀的比特流解碼的方法，該方法包括通過將預定的編碼解碼器應用於關於比特流中的該至少一個基本層的信息來重構該至少一個基本層；通過使用除比特流中的該至少一個基本層之外的信息跳過至少一幀來產生至少一個殘餘幀；將該至少一個基本層插入到該至少一個跳過的幀的至少一個各自位置；和對插入的該至少一個基本層和該至少一個殘餘幀執行逆時間濾波並重構視頻序列。
6.如權利要求5所述的方法，其中，產生至少一個殘餘幀的步驟包括對比特流中除該至少一個基本層之外的紋理信息執行逆量化並輸出至少一個第一變換係數；和將該至少一個第一變換係數逆變換為空間域中的至少一個第二變換係數。
7.如權利要求5所述的方法，其中，該至少一個基本層在被上採樣到相應於殘餘幀的解析度後被插入。
8.如權利要求5所述的方法，其中，通過當差分編碼用於產生相應的殘餘幀時計算該至少一個基本層和相應的殘餘幀的第一和，並且通過當時間預測編碼用於產生相應的殘餘幀時計算相應的殘餘幀和使用參考幀標號以及運動矢量獲得的預測幀的第二和，來執行逆時間濾波。
9.如權利要求5所述的方法，其中，預定的編碼解碼器是H.264(先進的視頻編碼)編碼解碼器。
10.如權利要求7所述的方法，其中，使用逆小波變換來執行上採樣。
11.一種用於提取包含至少一個基本層的比特流的一部分的預解碼器，該預解碼器包括模式選擇模塊，用於在位於該至少一個基本層存在位置上的幀中根據預定的標準確定至少一個將被跳過的幀；和比特流提取模塊，被配置為根據選擇的模式和至少一個提取條件來提取比特流的一部分。
12.如權利要求11所述的預解碼器，其中，預定的標準是基於連接到解碼器的網絡的傳輸條件確定的可傳輸比特率。
13.如權利要求12所述的預解碼器，其中，如果比特率低於第一閾值，則模式選擇模塊確定跳過位於該至少一個基本層的至少一個各自位置的所有幀。
14.如權利要求12所述的預解碼器，其中，如果比特率在第一和第二閾值之間，模式選擇模塊確定在位於該至少一個基本層的至少一個各自位置的幀中跳過至少一個高通幀。
15.一種用於對包含至少一個基本層和至少一個先前跳過的幀的比特流解碼的視頻解碼器，該視頻解碼器包括基本層解碼器，用於通過將預定的編碼解碼器應用於關於比特流中的該至少一個基本層的信息來重構該至少一個基本層；逆空間變換模塊，通過使用除比特流中的該至少一個基本層之外的信息跳過至少一幀來產生至少一個殘餘幀；和逆時間濾波模塊，用於將該至少一個基本層插入到該至少一個跳過的幀的各自的位置，並且為了重構視頻序列對插入的基本層和至少一個殘餘幀執行逆時間濾波。
16.如權利要求15所述的視頻解碼器，其中，該至少一個基本層在被上採樣到至少一個殘餘幀的解析度後被插入。
17.如權利要求15所述的視頻解碼器，其中，逆時間濾波模塊當差分編碼用於產生該至少一個殘餘幀時，計算該至少一個基本層和該至少一個殘餘幀的和並且當時間的預測的編碼用於產生該至少一個殘餘幀時，計算該至少一個殘餘幀和使用參考幀標號以及運動矢量獲得的預測幀的和。
18.一種在其中記錄有計算機可讀程序的記錄介質，該程序用於執行對包含至少一個基本層的比特流預解碼的方法，所述方法包括從位於該至少一個基本層存在的位置上的幀中根據預定的標準確定至少一個將被跳過的幀；和根據該確定的至少一幀和至少一個提取條件來提取比特流的一部分。
全文摘要
提供了一種用於通過在預解碼器以基本層代替特定幀來對給定的比特率提取較高品質的視頻流的方法和設備。被預解碼器執行的預解碼的方法包括通過在位於基本層存在的位置上的幀中根據預定的標準確定將被跳過的幀來選擇模式，並根據選擇的模式和提取條件來提取比特流的一部分。
文檔編號H04N7/24GK1722831SQ200510083190
公開日2006年1月18日 申請日期2005年7月13日 優先權日2004年7月15日
發明者韓宇鎮 申請人:三星電子株式會社