使用較高質量的參考幀改進效率的fgst結構的製作方法
2023-05-08 01:27:56
專利名稱：使用較高質量的參考幀改進效率的fgst結構的製作方法
技術領域：
本發明涉及精細顆粒可分級性(fine granular scalability)(FGS)視頻編碼，更加具體地說，涉及FGS編碼方案，其中從較高質量的參考幀預測出雙向和/或單向預測的FGS時間(FGST)幀的多個層，所說的參考幀包括基本層信息和至少一部分增強層信息。
背景技術：
在網際網路協議(IP)網絡上的視頻流已使多媒體應用範圍變得很寬。網際網路視頻流提供連續的媒體內容的實時傳送和顯示，同時還對在網際網路上缺乏「服務質量(QoS)」保證進行補償。由於在IP網絡上帶寬和其它性能參數(如包丟失率)的變化和不可預見性，在一般情況下，大多數所建議的流解決方案都是基於某種類型的分層的(可分級(scalable))視頻編碼方案。
圖1A和1B表示一種類型的可分級視頻編碼方案的典型可分級性結構10A、10B，稱之為混合的時間-SNR精細顆粒可分級性(FGS HS)，在共同轉讓的、共同待審查的美國專利申請序列號No.09/590825中詳細描述了這個編碼方案。每個FGS HS結構10A、10B都包括一個基本層11A、11B(BL)和一個增強層12A、12B(EL)。可分級的視頻流的基本層部分在一般情況下代表解碼這個流所需的最小數據量。可分級的視頻流的增強層部分代表附加信息，即，FGS SNR幀或圖像和FGS時間幀或圖像(記為FGST)，當通過接收器解碼時，用於加強視頻信號的表示。具體來說，引入附加的時間幀是為了獲得更高的幀速率。MPEG-4 FGS標準支持圖1A的雙向預測的FGST圖像類型和圖1B的前向預測的FGST圖像類型。
圖2表示在美國專利申請序列號為No.09/590825中描述的一個典型的FGS HS視頻編碼器100的功能結構。編碼操作基於DCT變換，當然還可以使用其它的變換(如小波變換)。這個視頻編碼器100能夠產生圖1A和1B的FGS HS結構。視頻編碼器100包括基本層編碼器110和增強層編碼器130。視頻編碼器100接收原始的視頻信號，所說的視頻信號通過基本層編碼器110被處理成I和P幀的基本層比特流，並且通過增強層編碼器130處理成FGS SNR I和P幀和/或P和B FGST幀的增強層比特流。
在圖1A和1B的FGS HS結構中，從存儲在幀存儲器模塊中的低質量基本層參考幀中預測FGST幀。因此，產生的運動補償的殘餘誤差很大，於是需要大量的比特來補償這些幀。因而，向較高的幀速率的過渡或者在低的比特率下進行，或者在極高的比特率下進行。
因此需要一種技術來降低在FGS HS視頻編碼方案中引入FGST幀所需的帶寬。
發明內容
本發明的第一個方面涉及視頻編碼。這一方面涉及從至少部分的第一電平的運動補償的殘餘圖像幀構造運動補償的可擴展的參考幀。從運動補償的可擴展的參考幀和視頻預測第二電平的運動補償的殘餘圖像幀。將第二電平的運動補償的殘餘圖像幀按照精細顆粒可分級的方式編碼成時間幀的數據流。
本發明的第二方面涉及視頻解碼。這一方面涉及從至少部分的第一電平的運動補償的殘餘圖像幀來構造運動補償的可擴展的參考幀。將增強層數據流的第二電平的時間幀部分按照精細顆粒可擴展的方式進行解碼，以構成第二電平的運動補償的殘餘幀。運動補償的可擴展的參考幀與第二電平的運動補償的殘餘幀進行組合，以構成第二電平的時間幀。
在結合附圖考慮從現在開始詳細描述的實施例，本發明的優點、本質、和各種附加的特徵都將變得更加清楚，這裡，所有附圖中相同的附圖標記表示相同的元件。
圖1A和1B是示意圖，表示一個可分級性視頻編碼方案的典型可擴展結構，稱之為混合時間-SNR精細顆粒可擴展性；圖2是示意圖，表示典型的FGS混合時間-SNR視頻編碼器的功能結構，它能夠產生圖1A和1B的可分級性結構；圖3是示意圖，表示按照本發明的第一實施例的基於FGS的混合時間-SNR可分級性結構；圖3B是示意圖，表示按照本發明的第二實施例的基於FGS的混合時間-SNR可分級性結構；圖4是示意圖，表示按照本發明的典型實施例的FGS混合時間-SNR視頻編碼器的功能結構；圖5是示意圖，表示按照本發明的典型實施例的FGS混合時間-SNR視頻解碼器的功能結構；圖6表示可用於實施本發明的原理的一個系統的典型實施例。
具體實施例方式
圖3A表示按照本發明的第一實施例的基於FGS的混合時間-SNR可分級性結構(FGS HS結構30A)。FGS HS結構30A包括利用I和P幀編碼的基本層31A、以及利用剩餘的SNR I及P幀33A和至少第一和第二電平的運動補償的殘餘的或時間的(FGST)雙向預測的(B)幀34、35A及35B進行FGS編碼的單個增強層32A。
第一電平的FGST幀34是從高質量「擴展的」基本層參考幀雙向預測的，每個參考幀都是從一個完整的基本層幀和至少部分的增強層幀構成的，至少部分的增強層幀即增強層幀的一個或多個位面或者部分位面。第二電平的FGST幀35A可以從高質量擴展的基本層參考幀和高質量的「擴展的」FGST參考幀、即FGST幀34的一個或多個位面或者部分位面雙向預測出。第二電平的FGST幀35B可以從至少部分的兩個不同的高質量擴展的FGST參考幀雙向預測出。
圖3B表示按照本發明的第二實施例的FGS混合時間-SNR可分級性結構(FGS HS結構30B)。FGS HS結構30B包括利用I和P幀編碼的基本層31B、以及利用剩餘的SNR I及P幀33B和至少第一和第二電平的運動補償的殘餘的或時間的(FGST)單向預測的(B)幀36、37及38進行FGS編碼的單個增強層32B。
第一電平的FGST幀36是從高質量擴展的基本層參考幀單向預測的，所說的參考幀是從至少部分的SNR幀33B導出的。第二電平的FGST幀37也是從至少部分的這個高質量擴展的基本層參考幀單向預測的。第二電平的FGST幀38是從高質量擴展的FGST參考幀、即第一電平的FGST幀36的至少一部分單向預測的。
由於這些擴展的參考幀具有很高的質量，所以在FGST幀內編碼的剩餘運動補償誤差要比圖1A和1B的FGS HS結構的FGST幀中小得多。因此，本發明的FGST幀能夠用較少的比特更加有效地發送。本發明的高編碼效率對於無線應用尤其有用，因為無線應用必須有高的編碼效率增益。
圖4表示按照本發明的典型實施例的一個FGS HS視頻編碼器200的功能結構。這個視頻編碼器200能夠按照圖3A、3B的FGS HS結構30A、30B編碼視頻信號。視頻編碼器200包括基本層編碼器210和增強層編碼器230。視頻編碼器200接收原始視頻信號，原始視頻信號通過基本層編碼器210處理成I和P幀的基本層比特流，並且通過增強層編碼器230處理成FGS SNR I和P幀和/或P和B FGST幀的增強層比特流。雖然圖4的編碼器200是基於離散餘弦變換，但也可以使用其它的變換，如小波變換。
基本層編碼器210包括第一視頻信號處理分支，第一視頻信號處理分支包括運動估算器211、運動補償器212、離散餘弦變換(DCT)213、量化器214、和熵編碼器215，用於產生基本層比特流。基本層編碼器210還包括第二視頻信號處理分支，第二視頻信號處理分支包括反向量化器216、逆向離散餘弦變換(IDCT)217、和幀存儲器218。
幀存儲器218用於存儲標準基本層參考幀、擴展的基本層參考幀、和FGS參考幀。運動估算器211接收原始視頻信號並且估算在幀存儲器218中存儲的參考幀和在原始視頻信號中的視頻幀之間的運動量，這個運動量由像素特性的變化表示，而且產生運動信息信號，這個運動信息信號包含基本層運動矢量和預測模式(基本層參考幀)、或增強層運動矢量、和預測模式(擴展的基本層參考幀和FGST參考幀)。將運動信息信號加到運動補償器212和第一數據流控制器219。
運動補償器212使用標準基本層參考幀信號、基本層運動矢量、和預測模式信號來產生運動補償參考幀信號，運動補償參考幀信號用於預測標準基本層P幀。運動補償器212利用擴展的基本層參考幀信號、FGST參考幀信號、和FGST幀的增強層運動信息信號來產生運動補償的擴展的基本層參考幀信號和運動補償的FGST參考幀信號，這兩個信號用於預測第一和第二電平的FGST幀。
在第一減法器220中，通過從原始視頻信號中扣除標準的運動補償的基本層參考幀信號，產生運動補償的剩餘基本層P幀信號。在第一減法器220中，通過從原始視頻信號中扣除運動補償的擴展的基本層參考幀信號，產生運動補償的剩餘FGST幀信號，以用於產生第一電平的FGST幀。在第一減法器220中，通過從原始視頻信號中扣除運動補償的擴展的基本層參考幀和運動補償的擴展的FGST參考幀信號的組合信號，產生運動補償的剩餘FGST幀信號，以用於產生圖3A的第二電平的FGST幀35A。在第一減法器220中，通過從原始視頻信號中扣除組合的運動補償的擴展的FGST參考幀信號，產生運動補償的剩餘FGST幀信號，以用於產生圖3A的第二電平的FGST幀35B，所說的組合的運動補償的擴展的FGST參考幀信號由兩個不同的運動補償的擴展的FGST參考幀組成。
在第一減法器220中，通過從原始視頻信號中扣除運動補償的擴展的基本層參考幀信號，產生運動補償的剩餘FGST幀信號，以用於產生圖3B的第二電平的FGST幀37。在第一減法器220，通過從原始視頻信號中扣除運動補償的FGST參考幀信號，產生運動補償的剩餘FGST幀信號，以用於產生圖3B的第二電平的FGST幀38。
離散餘弦變換213通過按常規方式將運動補償的剩餘FGST和基本層P幀信號中的空間信息變換到頻率域內來實現壓縮。在原始視頻信號中的基本層I幀也由離散餘弦變換213按照這種方式進行壓縮。在適當的時間，第二數據流控制器221向量化器214傳遞在離散餘弦變換213的輸出端產生的基本層I和P幀的離散餘弦變換的位面信號以便進一步壓縮。
熵編碼器215使用常規的可變長度編碼等技術進一步壓縮在量化器214的輸出端上的量化的經過離散餘弦變換的位面信號。第一復用器222利用從運動估算器經過第一數據流控制器219路由到第一復用器222的基本層運動信息信號多路復用在熵編碼器215的輸出端上的信號，以產生I和P幀的基本層比特流。
反向量化器216使量化器214的輸出去量化，以產生代表輸入到量化器214的變換的信號。這個信號表示的是重構的基本層離散餘弦變換係數。逆向離散餘弦變換(IDCT)217解碼重構的基本層離散餘弦變換係數以產生一個信號，這個信號提供經過變換和量化過程修改的原始視頻信號的基本層I和P幀表示。第一加法器223從逆向離散餘弦變換217的輸出端上的信號以及運動補償器212的輸出端的適當的參考幀信號重構基本層I和P幀。這些重構的基本層I和P幀被存儲在幀存儲器218中並被用作標準的基本層參考幀，用於預測另外的基本層P參考幀和第一電平的FGST幀。
增強層編碼器230包括第一視頻信號處理分支，第一視頻信號處理分支包括離散餘弦變換剩餘圖像存儲器231、自適應量化器232、和FGS編碼器235。增強層編碼器230還包括第二視頻信號處理分支，第二視頻信號處理分支包括第一位面選擇器236、第二逆向離散餘弦變換(IDCT)217、第二位面選擇器244、和第三逆向離散餘弦變換246。
在增強層編碼器230中的第二減法器238從量化器214的輸出端上的量化的基本層離散餘弦變換位面信號中扣除在離散餘弦變換213的輸出端上的基本層離散餘弦變換位面信號，以產生SNR離散餘弦變換位面剩餘圖像。在適當的時候，第三數據流控制器239將在第二減法器238的輸出端上的SNR離散餘弦變換位面剩餘圖像信號(SNR剩餘信號)或者通過第二數據流控制器221路由的運動補償的第一和第二電平的FGST離散餘弦變換位面剩餘信號(FGST剩餘信號)施加到離散餘弦變換剩餘圖像存儲器231以進行存儲。
自適應量化器232是公知的編碼工具，它對變換編碼的視頻的視覺質量有所改進。自適應量化器232包括一個已知的選擇性的加強工具233，用於通過在剩餘圖像幀中經過移位選擇的宏模塊對SNR和FGST剩餘信號進行選擇性的加強；和一個任選的已知的頻率加權工具，用於加權經過比特移動選擇的係數。
FGS編碼器235使用位面離散餘弦變換掃描和熵編碼壓縮在自適應量化器232的輸出端上的SNR剩餘信號，由此產生FGS SNR比特流。第四數據流控制器240在適當的時間向第三復用器243發送FGS SNR比特流。FGS編碼器235還要使用位面離散餘弦變換掃描和熵編碼壓縮在自適應量化器232的輸出端上的FGST剩餘信號。在FGS編碼器235的輸出端上的經過壓縮的FGST剩餘信號在適當的時間由第四數據流控制器240發送到第二復用器241，第二復用器241多路復用經過壓縮的FGST剩餘信號經過第一數據流控制器219路由的增強層運動信息信號，由此產生FGST比特流。SNR FGS增強層比特流和時間FGS比特流可以經過第三復用器243多路復用以產生單個增強層比特流(它由SNR幀和第一及第二電平的時間FGS幀組成)，或者以兩個分開的流存儲/發送。
第一位面選擇器或者掩碼設備236選擇SNR剩餘圖像信號的至少一部分位面，即，一部分位面、一個或多個完整的位面、或者完整的和部分的位面的任意組合。這個數據信號與在第二加法器242的基本層編碼器210的逆向離散餘弦變換216的輸出端上的它的對應的基本層幀信號進行組合，以構成擴展的基本層參考幀。第二逆向離散餘弦變換237解碼擴展的基本層參考幀的離散餘弦變換係數。第三加法器224組合在第二逆向離散餘弦變換237的輸出端上的擴展的基本層幀信號和在運動補償器212的輸出端上的適當的參考幀信號。在幀存儲器218中存儲在第三加法器224構成的擴展的基本層幀，並且將其用作擴展的基本層參考幀，用於預測FGST幀。
第二位面選擇器244、第四和第五加法器245、247、以及第三逆向離散餘弦變換246產生用於預測第二電平的FGST幀的FGST參考幀。在圖3A的第二電平的FGST幀35A的情況下，第二位面選擇器244選擇至少一部分參考FGST離散餘弦變換位面剩餘圖像34和至少一部分參考SNR離散餘弦變換位面剩餘圖像33A。這個數據信號與第四加法器245的基本層編碼器210的逆向離散餘弦變換216的輸出端上的一個對應的基本層離散餘弦變換剩餘幀信號組合，構成一個FGST參考幀信號，用於雙向預測圖3A的FGST幀35A。然後，將這個數據信號加到第三逆向離散餘弦變換246。
在圖3A的第二電平的FGST幀35B的情況下，第二位面選擇器244選擇每個參考FGST離散餘弦變換位面剩餘圖像34的至少一部分。這個數據信號包括用於雙向預測圖3A的FGST幀35B的FGST參考幀信號。這個數據信號不由第四加法器245處理，因此被加到第三逆向離散餘弦變換246上。
在圖3B的第二電平的FGST幀37的情況下，第二位面選擇器244選擇參考SNR離散餘弦變換位面剩餘圖像33B的至少一部分。這個數據信號與第四加法器245的基本層編碼器210的逆向離散餘弦變換216的輸出端上的一個對應的基本層離散餘弦變換剩餘幀信號組合，以構成FGST參考幀信號，用於單向預測圖3B的第二電平的FGST幀37。然後這個數據被加到第三逆向離散餘弦變換246上。
在圖3B的另外的第二電平的FGST幀38的情況下，第二位面選擇器244選擇參考FGST離散餘弦變換位面剩餘圖像36的至少一部分。這個數據信號包括用於單向預測圖3B的FGST幀38的FGST參考幀信號。這個數據信號不由第四加法器245處理，因此被加到第三逆向離散餘弦變換246上。
第三逆向離散餘弦變換246解碼以上的參考幀信號的離散餘弦變換係數。第五加法器247組合在第三逆向離散餘弦變換246的輸出端上的信號和在運動補償器218的輸出端上的適當的參考幀信號。在幀存儲器218中存儲在第五加法器247構成的擴展的FGST幀(即，從圖3A的第一電平的FGST參考幀34和SNR參考幀33A以及圖3B的第一電平的FGST參考幀36導出的幀)和擴展的基本層參考幀(即，從圖3B的第一電平的SNR參考幀33B導出的幀)，並將其用作預測第二電平的FGST幀的參考幀。
圖5表示按照本發明的典型實施例的一個FGS HS視頻解碼器300的功能結構。這個視頻解碼器300能夠解碼由圖4的視頻編碼器200產生的基本層和增強層的比特流。
視頻解碼器300包括基本層解碼器310和增強層解碼器330。基本層解碼器包括基本層可變長度解碼器(VLD)311、反向量化器311、和第一逆向離散餘弦變換313、基本層幀存儲器314、和運動補償器315。
增強層解碼器330包括FGS位面解碼器331、第一位面選擇器332、第二逆向離散餘弦變換333、增強層幀存儲器334、第二位面選擇器343、和第三逆向離散餘弦變換344。增強層解碼器330與基本層解碼器310共享運動補償器315。
基本層比特流由基本層解碼器310接收並且經過第一去復用器316去復用，從而將編碼的基本層信息信號從基本層運動信息信號中分離出來。基本層可變長度解碼器311接收基本層信息信號，並且逆轉(reverse)來自基本層編碼器210的熵編碼過程，從而產生量化的基本層離散餘弦變換係數信號。通過反向量化器312反向量化所說的量化的基本層信息信號，以便重構基本層離散餘弦變換係數信號。第一逆向離散餘弦變換313對基本層離散餘弦變換係數進行逆向餘弦變換。在第一逆向離散餘弦變換313的輸出端上的信號的基本層I幀部分不需要任何進一步的處理。因此，在基本層幀存儲器314中存儲在第一加法器319中的基本層I幀。
運動補償器315在適當時候接收由第一數據流控制器317控制的基本層運動信息信號。然後，運動補償器315使用存儲在基本層幀存儲器314中的基本層運動信息和基本層I和P參考幀來重構運動補償的基本層參考幀，其被用於預測基本層P幀。
在適當的時間通過第二數據流控制器318將在運動補償器315的輸出端上的運動補償的基本層參考幀信號加到第一加法器319上。第一加法器組合這個信號與在第一逆向離散餘弦變換313的輸出端上的這個信號的其餘部分，以重構基本層P幀，基本層P幀然後被存儲在基本層幀存儲器314中。在第一加法器319的輸出端產生的基本層幀信號可以任選地作為基本層視頻進行輸出。
增強層比特流由增強層解碼器330接收，並且通過第二去復用器335去復用，從而將編碼的FGS SNR信號從編碼的FGST信號分離出來。在適當時間，經過第三數據流控制器337向FGS位面解碼器331輸入編碼的FGS SNR信號，所說解碼器331通過執行可變長度解碼、去移位、和逆向離散餘弦變換操作解碼已經編碼的FGS SNR信號的位面。第二加法器340在適當時間經過第四數據流控制器338組合在FGS位面解碼器331的輸出端上的已經解碼的FGS I和P SNR幀信號與在第一加法器319的輸出端上的已經解碼的基本層I和P幀信號。第五數據流控制器341選擇一個適當的時間，以用於在第一加法器319的輸出端上輸出組合的基本層和SNR幀信號，以此作為加強的視頻。
第一位面選擇器332輸入在逆向離散餘弦變換之前正由FGS位面解碼器331處理的FGS SNR剩餘圖像或幀信號，並且選擇先前已經選擇過的參考位面、部分位面等的數目，這些位面曾被用於在編碼期間預測第一電平的FGST幀。第二逆向離散餘弦變換333對所選的部分解碼的參考FGS SNR位面進行逆向餘弦變換。第三加法器342組合在第二逆向離散餘弦變換333的輸出端上的所有已經解碼的參考FGSSNR剩餘圖像或幀部分與存儲在基本層幀存儲器314中的對應的基本層幀，以重構擴展的基本層參考幀。在增強層幀存儲器334中存儲擴展的基本層參考幀，用於後來的第一電平的FGST幀的重構的過程中。
第三去復用器336使FGST信息信號去復用，以使已經編碼的FGST剩餘圖像或幀信號從增強層運動信息信號中分離出來。在適當的時刻由FGS位面解碼器331經過第三數據流控制器337接收已經編碼的FGST剩餘圖像或幀信號並且對其進行處理，下面馬上對此進行說明。
對於圖3A的雙向預測的FGST幀35A，第二位面選擇器332輸入在逆向離散餘弦變換之前正由FGS位面解碼器331處理的FGS SNR和FGST剩餘圖像或幀信號，並且選擇先前選擇過的、曾在編碼期間用於預測第二電平的FGST幀35A的參考位面、部分位面等的數目。第三逆向離散餘弦變換344對所選的部分解碼的參考FGS SNR和FGST位面進行逆向餘弦變換。在FGS SNR位面的情況下，第四加法器345組合在第三逆向離散餘弦變換344的輸出端上的全部解碼的參考FGSSNR剩餘圖像或幀部分與存儲在基本層幀存儲器314中的對應的基本層幀，以重構擴展的基本層參考幀，用於第二電平的FGST幀35A。將這些擴展的基本層參考幀存儲在增強層幀存儲器334中。在FGST位面的情況下，第四加法器不起任何作用，因此，在第三逆向離散餘弦變換344的輸出端上的完全解碼的擴展的FGST參考幀和它們的對應的擴展的基本層參考幀一起存儲在增強層幀存儲器334中，以便後面重構第二電平的FGST幀35A時使用。
對於圖3A的雙向預測的FGST幀35B，第二位面選擇器332隻輸入在逆向離散餘弦變換之前正由FGS位面解碼器331處理的FGST剩餘圖像或幀信號，並且選擇先前選擇過的、曾在編碼期間用於預測第二電平的FGST幀35B的參考位面、部分位面等的數目。第三逆向離散餘弦變換344對所選的部分解碼的參考FGST位面進行逆向餘弦變換。在FGST位面的情況下，第四加法器不起任何作用，因此，在第三逆向離散餘弦變換344的輸出端上的完全解碼的擴展的FGST參考幀被存儲在增強層幀存儲器334中，以便後面用於重構第二電平的FGST幀35B。
對於圖3B的單向預測的FGST幀37，第二位面選擇器332輸入在逆向離散餘弦變換之前正由FGS位面解碼器331處理的FGS SNR剩餘圖像或幀信號，並且選擇先前選擇過的、曾在編碼期間用於預測第二電平FGST幀37的參考位面、部分位面等的數目。第三逆向離散餘弦變換344對所選的部分解碼的參考FGS SNR位面進行逆向餘弦變換。第四加法器345組合在第三逆向離散餘弦變換344的輸出端上的完全解碼的參考FGS SNR剩餘圖像或幀部分和基本層幀存儲器314中存儲的對應的基本層幀，以重構擴展的基本層參考幀，用於第二電平的FGST幀37。在增強層幀存儲器334中存儲這些擴展的基本層參考幀，以便後面用於重構第二電平FGST幀37。
對於圖3B的單向預測的FGST幀38，第二位面選擇器332隻輸入在逆向離散餘弦變換之前正由FGS位面解碼器331處理的FGS剩餘圖像或幀信號，並且選擇先前選擇過的、曾在編碼期間用於預測第二電平FGST幀38的參考位面、部分位面等的數目。第三逆向離散餘弦變換344對所選的部分解碼的參考FGS位面進行逆向餘弦變換。第四加法器345在FGST位面的情況下不起任何作用，因此，在第三逆向離散餘弦變換344的輸出端上的完全解碼的擴展的FGST參考圖像或幀部分被存儲在增強層幀存儲器334中，以便後面用於重構第二電平的FGST幀38。
在適當的時刻，運動補償器315經過第一數據流控制器317接收增強層運動信息信號。運動補償器使用在增強層幀存儲器中存儲的增強層運動信息和擴展的基本層和FGST參考幀來重構運動補償的擴展的基本層和FGST參考幀。
第五加法器339組合在運動補償器315的輸出端上的運動補償的擴展的基本層和FGST參考幀信號與在FGS解碼器331的輸出端上的已經解碼的FGST剩餘幀信號。這個功能的定時關係由第四數據流控制器338控制。第五數據流控制器341在適當時間輸出在第五加法器339的輸出端上的重構的FGST幀信號，以此作為加強的視頻。
圖6表示可用於實施本發明的原理的一個系統400的典型實施例。系統400可代表電視、機頂盒、臺式、膝上、和掌上計算機、個人數字助理(PDA)、視頻/圖像存儲設備，例如盒式錄像機(VCR)、數字視頻記錄器(DVR)、TiVO設備等，以及這些設備和其它設備的部分或組合。系統400包括一個或多個視頻/圖像源401、一個或多個輸入/輸出設備402、一個處理器403、和一個存儲器404。視頻/圖像源(一個或多個)401例如可代表電視接收機、VCR、或其它的視頻/圖像存儲設備。視頻/圖像源(一個或多個)401按另一種方式還可代表一個或多個網絡連接，用於例如通過一個全球計算機通信網絡從一個或多個伺服器接收視頻，所說的網絡例如有網際網路、寬域網、都市區域網、區域網、地面廣播系統、有線網絡、衛星網絡、無線網絡、或電話網絡、以及這些和其它類型網絡的一些部分或組合。
輸入/輸出設備402、處理器403、和存儲器404可以通過通信媒介405進行通信。通信媒介405例如可以代表總線、通信網絡、電路的一個或多個內部連接、電路卡、或其它設備、以及這些和其它的通信媒介的一些部分和組合。按照存儲在存儲器404中的並由處理器403執行的一個或多個軟體程序處理來自源(一個或多個)401的輸入視頻數據，以產生提供給顯示設備406的輸出視頻/圖像。
在優選實施例中，可通過由系統執行的計算機可讀代碼來實現使用本發明的原理的編碼和解碼。所說的代碼可存儲在存儲器404中，或從諸如CD-ROM或軟盤之類的存儲介質讀出/下載。在另外的實施例中，可使用硬體電路來代替軟體指令來實施本發明，或者硬體電路與軟體指令組合起來實施本發明。例如，在圖4或圖5中所示的功能部件還可以實施為分立的硬體元件。
雖然以上結合特定的實施例描述了本發明，但應該理解，本發明不限於這裡公開的實施例。例如，可以使用除離散餘弦變換以外的其它變換，其中包括但不限於小波變換或匹配追蹤。這些和所有其它的這種改進和變化都被認為是落在所附的權利要求書的範圍內。
權利要求
1.一種編碼視頻的方法，包括如下步驟-從第一電平的運動補償的剩餘圖像幀的至少一部分構成運動補償的擴展的參考幀；-從運動補償的擴展的參考幀和視頻來預測第二電平的運動補償的剩餘圖像幀；和-將第二電平的運動補償的剩餘圖像幀按照精細顆粒可分級編碼成時間幀的數據流。
2.根據權利要求1所述的編碼視頻的方法，進一步還包括如下步驟-將視頻編碼成基本層幀的數據流；-從基本層幀計算剩餘圖像幀；以及-將剩餘圖像幀按照精細顆粒可分級編碼成SNR質量幀的數據流。
3.根據權利要求2所述的編碼視頻的方法，進一步還包括如下步驟-從基本層幀和至少部分剩餘圖像幀構成運動補償的擴展的基本層參考幀；-從運動補償的擴展的基本層參考幀和視頻來預測第一電平的運動補償的剩餘圖像幀；-將第一電平的運動補償的剩餘圖像幀按照精細顆粒可分級編碼成時間幀的數據流。
4.根據權利要求3所述的編碼視頻的方法，進一步還包括如下步驟組合時間幀的數據流與SNR質量幀的數據流以構成時間幀和SNR質量幀的單個數據流。
5.根據權利要求2所述的編碼視頻的方法，進一步還包括如下步驟組合時間幀的數據流與SNR質量幀的數據流以構成時間幀和SNR質量幀的單個數據流。
6.一種編碼視頻信號的方法，包括如下步驟-從至少部分的第一電平的運動補償的剩餘圖像幀構成運動補償的擴展的參考幀；-從運動補償的擴展的參考幀和視頻預測第二電平的運動補償的剩餘圖像幀；和-將第二電平的運動補償的剩餘圖像幀按照精細顆粒可分級編碼成時間幀的數據流。
7.一種用於編碼視頻的設備，包括-用於從至少部分的第一電平的運動補償的剩餘圖像幀構成運動補償的擴展的參考幀的裝置(244)；-用於從運動補償的擴展的參考幀和視頻預測第二電平的運動補償的剩餘圖像幀的裝置(247)；和-用於將第二電平的運動補償的剩餘圖像幀按照精細顆粒可分級編碼成時間幀的數據流的裝置(235)。
8.一種用於編碼視頻的存儲介質，包括-用於從至少部分的第一電平的運動補償的剩餘圖像幀構成運動補償的擴展的參考幀的代碼(244)；-用於從運動補償的擴展的參考幀和視頻預測第二電平的運動補償的剩餘圖像幀的代碼(247)；和-用於將第二電平的運動補償的剩餘圖像幀按照精細顆粒可分級編碼成時間幀的數據流的代碼(235)。
9.一種用於解碼合起來表示視頻的基本層數據流和增強層數據流的方法，包括如下步驟-從至少部分的第一電平的運動補償的剩餘圖像幀構成運動補償的擴展的參考幀；-按照精細顆粒可分級解碼增強層數據流的第二電平時間幀部分，以構成第二電平的運動補償的剩餘幀；-組合運動補償的擴展的參考幀與第二電平的運動補償的剩餘幀，以構成第二電平的時間幀。
10.根據權利要求9所述的解碼方法，進一步還包括如下步驟-解碼基本層數據流以構成基本層幀；-按照精細顆粒可分級解碼增強層數據流的SNR質量幀部分以構成SNR質量幀；-從基本層幀和至少部分SNR質量幀構成運動補償的擴展的基本層參考幀；-按照精細顆粒可分級性解碼增強層數據流的時間幀部分以構成第一電平的運動補償的剩餘幀；-組合運動補償的擴展的基本層參考幀與第一電平的運動補償的剩餘幀以構成第一電平的時間幀。
11.根據權利要求10所述的解碼方法，進一步還包括如下步驟將基本層幀和SNR質量幀組合成加強的視頻。
12.根據權利要求10所述的解碼方法，進一步還包括如下步驟將基本層幀、SNR質量幀、和第一及第二電平的時間幀組合成加強的視頻。
13.一種用於解碼合起來表示視頻的基本層數據流和增強層數據流的設備，包括-從至少部分的第一電平的運動補償的剩餘圖像幀構成運動補償的擴展的參考幀的裝置(343)；-按照精細顆粒可分級解碼增強層數據流的第二電平時間幀部分以構成第二電平的運動補償的剩餘幀的裝置(331)；-組合運動補償的擴展的參考幀與第二電平的運動補償的剩餘幀以構成第二電平的時間幀的裝置(339)。
14.一種用於解碼合起來表示視頻的基本層數據流和增強層數據流的存儲介質，包括-從至少部分的第一電平的運動補償的剩餘圖像幀構成運動補償的擴展的參考幀的代碼(343)；-按照精細顆粒可分級解碼增強層數據流的第二電平時間幀部分以構成第二電平的運動補償的剩餘幀的代碼(331)；-組合運動補償的擴展的參考幀與第二電平的運動補償的剩餘幀以構成第二電平的時間幀的代碼(339)。
全文摘要
一種用於編碼視頻的方法(200、300)和設備，包括從至少部分的時間剩餘圖像幀構成運動補償的擴展的參考幀。運動補償的擴展的參考幀用於雙向預測和/或單向預測FGS運動補償的剩餘圖像幀或時間幀的附加電平。
文檔編號H04N7/26GK1656816SQ03812298
公開日2005年8月17日 申請日期2003年5月27日 優先權日2002年5月28日
發明者M·范德沙爾 申請人:皇家飛利浦電子股份有限公司