用於小波編碼的基於多參考幀的運動補償時間過濾的製作方法
2023-06-07 09:26:21
專利名稱：用於小波編碼的基於多參考幀的運動補償時間過濾的製作方法
技術領域：
本發明總地來說涉及視頻壓縮，並且更具體地講，涉及利用用於運動補償時間過濾的多個參考幀進行的基於小波的編碼。
很多當前的視頻編碼算法是在運動補償預測編碼的基礎上進行的，它們稱為混合方案。在這些混合方案中，利用運動補償使時間冗餘度得到了降低，而空間冗餘度是通過對運動補償的剩餘產物進行變換編碼來降低的。通常使用的變換包括離散餘弦變換(DCT)或次頻段/小波分解。不過，在提供真正的可伸縮位流方面，這些方案缺乏靈活性。
另一種類型的稱為基於3D次頻段/小波(下文中稱為「3D小波」)的編碼的方案已經得到了普及，尤其是在當前在各種不同的網絡上進行的視頻傳輸的方案中得到了廣泛應用。這些方案在這種應用中是比較理想的，因為它們實現了非常靈活的可伸縮位流和較高的出錯復原能力。在3D小波編碼中，一次同時對整個幀進行變換，而不是象基於DCT的編碼那樣一塊一塊地進行變換。
3D小波方案的一個要件是運動補償時間過濾(MCTF)，進行運動補償時間過濾的目的在於降低時間冗餘度。MCTF的一個例子在標題為《視頻的運動補償3-D次頻段編碼(Motion-Compensated 3-DSubband Coding of Video)》(IEEE Transactions On ImageProcessing)，1999年2月，第2期，第8卷)的文章中進行了介紹，該文章作者為Seung-Jong Choi和John Woods，後面將把該文章稱為「Woods」。
在Woods中，在進行空間分解之前，在運動方向上對幀進行時間過濾。在時間過濾期間，由於畫面中運動的性質和物體的遮擋/顯現，會造成某些像素未得到參考或得到多次參考。這些像素稱為不連貫像素，並且需要特殊處理，這會導致編碼效率的降低。在附
圖1中示出了不連貫和連貫像素的例子，該附圖摘自Woods。
本發明涉及一種對一組視頻幀進行編碼的方法和裝置。按照本發明，將所述組中的至少一個幀中的區域與多個參考幀中的區域進行匹配。計算所述至少一個幀中的區域的像素值與所述多個參考幀中的區域的像素值之間的差值。將該差值變換為小波係數。
本發明還涉及一種對包含一組編碼視頻幀的位流進行解碼的方法和裝置。按照本發明，對位流進行熵解碼，以產生小波係數。對小波係數進行變換，以產生部分解碼幀。使用多個參考幀對至少一個部分解碼幀進行逆向時間過濾。
在一個例子中，所述逆向時間過濾包括從多個先前與至少一個部分解碼幀中的區域相匹配的參考幀中取回的區域，以及加到所述至少一個部分解碼幀中的區域的像素值上的多個參考幀中的區域的像素值。
現在所參照的附圖中，相同的附圖標記通篇表示相應的部分附圖1是表示公知的運動補償時間過濾技術的特徵的示意圖；附圖2是按照本發明的編碼器的一個例子的框圖；附圖3是表示2D小波變換的一個例子的框圖；附圖4是表示按照本發明的運動估計的一個例子的示意圖；附圖5是表示按照本發明的時間過濾的一個例子的示意圖；附圖6是表示按照本發明的時間過濾的另一個例子的示意圖；附圖7是按照本發明的解碼器的一個例子；和附圖8是按照本發明的系統的一個例子。
如前面所述，3D小波方案的一個要件是運動補償時間過濾(MCTF)，進行MCTF是為了降低時間冗餘度。在MCTF期間，不連貫像素可能會造成需要特殊處理，這樣會降低編碼效率。本發明涉及一種新的MCTF方案，該方案在運動估計和時間過濾期間使用多個參考幀，以顯著提高匹配的質量並且同時減少不連貫像素的數量。因此，這種新的方案通過改善最佳匹配並且同時減少不連貫像素的數量而提供提高的編碼效率。
附圖2中給出了一個按照本發明的編碼器的例子。從圖中可以看到，該編碼器包括一個分割單元2，該分割單元2將輸入視頻劃分為一組圖像(GOP)，這些圖像將編碼為一個單元。按照本發明，分割單元2工作的結果是，使得GOP包括預定數量的幀，或者在工作期間根據諸如帶寬、編碼效率和視頻內容之類的參數動態地確定GOP。例如，如果視頻是由快速場景變換和高速運動構成的，那麼具有較短的GOP將會效率更高，而如果視頻主要是由靜態物體構成的，那麼具有較長的GOP將會效率更高。
從圖中可以看到，還包含一個MCTF單元4，該單元由一個運動估計單元6和一個時間過濾單元8組成。在工作期間，運動估計單元6對每個GOP中的幀進行運動估計。如前文所述，對每個GOP進行的運動估計是在多個參考幀的基礎上進行的。因此，GOP的幀中的像素組或區域將會與同一GOP內的其它幀中的類似的像素組或區域匹配。因此，對於每個處理過的幀而言，GOP中的其它幀都是參考幀。
在一個例子中，運動估計單元6將進行後向預測。這樣，GOP內一個或多個幀中的像素組或區域將會與同一GOP內的在前幀中的類似像素組或區域匹配。在這個例子中，GOP內的在前幀是每個處理過的幀的參考幀。由於每個GOP作為一個單元進行處理，所以第一幀可能無法加以處理，這是因為沒有在前幀可以利用。不過，可替換地，在另一個例子對該第一幀可以進行前向預測。
在另一個例子中，運動估計單元6會進行前向預測。這樣，GOP內的一個或多個幀中的像素組或區域將會與同一GOP內的後續幀中的類似像素組或區域匹配。在這個例子中，GOP內的後續幀是每個處理過的幀的參考幀。由於每個GOP作為一個單元進行處理，最後幀可能無法加以處理，因為沒有任何在前幀可以利用。不過，可替換地，可以在另外一個例子中對該最後幀進行後向預測。
在另外一個例子中，運動估計單元6將進行雙向預測。這樣，GOP內的一個或多個幀中的像素組或區域可以與同一GOP內的在前和後續幀中的類似的像素組或區域匹配。在這個例子中，GOP內的在前和後續幀都是每個處理過的幀的參考幀。由於每個GOP是作為一個單元進行處理的，因此GOP的第一幀和最後幀將無法得到雙向處理。因此，在這個例子中，第一幀或最後幀可能無法由運動估計單元6加以處理，而另一個會得到前向或後向預測。
作為上述匹配的結果，運動估計單元6提供一個運動向量MV和當前正在處理的幀中加以匹配的每個區域的幀號碼。在某些情況下，僅有一個與當前正在處理的幀中的每個區域相關的運動向量MV和幀號碼。不過，如果使用了雙向預測，可以有兩個與每個區域相關的運動向量MV和幀號碼。每個運動向量和幀號碼將指示位置和該GOP內包含與每個處理過的幀中的區域相匹配的類似區域的其它幀。
在工作期間，時間過濾單元8依照由運動估計單元6提供的運動向量MV和幀號碼消除各個GOP的幀之間的時間冗餘度。如從附圖1所見，Woods的MCTF取得兩個幀並且將這些幀變換到兩個次頻段，包括一個低次頻段和一個高次頻段。低次頻段對應於兩個幀中相應像素的(經縮放的)平均值，而高邊帶對應於兩個幀中相應像素之間的(經縮放的)差值。
相反，本發明的時間過濾單元8僅產生一個與每個幀相對應的次頻段或幀。如前文中關於附圖2所述的，取決於使用後向、前向或雙向預測，GOP的第一幀或最後幀可能無法由運動估計單元6進行處理。這樣，時間過濾單元8將無法對GOP的第一幀或最後幀進行任何過濾，把這樣的幀定義為A幀。此外，GOP內剩下的幀將通過僅僅求得每個幀的區域與在GOP內的其它幀中找到的類似區域之間的差值進行時間過濾，把這樣的幀定義為H幀。
特別是，時間過濾單元8將會通過首先取回與每個H幀中的區域匹配過的類似區域來對H幀進行過濾。這將會依照由運動估計單元6提供的運動向量和幀參考號碼來完成。如前文所述，每個H幀中的區域要與同一GOP內的其它幀中的類似區域相匹配。在取回所述類似區域之後，時間過濾單元8隨後會計算所述類似區域中的像素值與被匹配區域中的像素值之間差值。此外，時間過濾單元8優選地能夠將這一差值除以某個縮放因子。
按照本發明，上述的MCTF方案得出了提高的編碼效率，這是因為最佳匹配的質量得到了明顯的提高並且不連貫像素的數量也得到了減少。具體來講，仿真表明，對於每個幀，不連貫像素的數量從百分之三十四(34％)減小到了百分之二十二(22％)。不過，本發明的MCTF方案仍然會產生一些不連貫像素。因此，時間過濾單元8將會按照Woods所述的方式對這些不連貫像素進行處理。
如附圖中所見，包含一個空間分解單元10，用以減少由MCTF單元4提供的幀中的空間冗餘度。在工作期間，按照2D小波變換方式將從MCTF單元4接收到的幀變換為小波係數。現有許多不同類型的過濾器和小波變換實現方式。
附圖3中給出了一個適當的2D小波變換的例子。如圖中所見，使用小波過濾器將一個幀分解到低頻和高頻次頻段。由於這是一個2D變換，從而有三個高頻次頻段(水平、垂直和對角線)。將低頻次頻段標為LL次頻段(水平和垂直頻率全部都低)。將這些高頻次頻段標為LH、HL和HH，對應於水平高頻、垂直高頻以及水平和垂直同為高頻。可以採用遞歸方式對低頻次頻段進行進一步分解。在附圖3中，WT代表小波變換。其它一些公知的小波變換方案在由Stephane Mallat所著的名為《信號處理的小波轉換(A Wavelet Tour of SignalProcessing)》(1997，Academic Press)的書中進行了介紹。
回過頭來參照附圖2，編碼器還可以包含一個重要性編碼單元12，用於依據重要性信息對空間分解單元10的輸出進行編碼。在這個例子中，重要性可以意味著小波係數的大小，其中較大的係數比較小的係數更重要。在這個例子中，重要性編碼單元10會查看從空間分解單元10接收到的小波係數，然後依照大小對小波係數進行記錄。這樣，具有最大大小的小波係數將會首先得以發送。重要性編碼的一個例子是層次樹的集劃分(Set Partitioning In Hierarchical Trees)(SPIHT)。這種編碼技術在A.Said和W.Pearlman所作的標題為《一種新的基於層次樹的集劃分的快速有效的圖像編解碼(A New Fast andEfficient Image Codec Based on Set Partitioning inHierarchical Tress)》(IEEE Transactions on Circuit and Systemfor Video Technology，1996年6月，第6卷)中做出了介紹。
從附圖2中可以看出，所包含的虛線代表某些操作過程之間的相關性。在一種情況下，運動估計6依賴於重要性編碼12的性質。例如，由運動估計產生的運動向量可用於確定哪些小波係數重要性更高。在另一種情況下，空間分解8還可能依賴於重要性編碼12的類型。例如小波分解的級數可能與重要係數的數量相關。
進一步可以看出，包含有一個熵編碼單元14，用以產生輸出位流。在工作期間，應用了熵編碼技術，來將小波係數編碼為輸出位流。也對由運動估計單元6提供的運動向量和幀號碼應用熵編碼技術。這個信息包含在輸出位流中，以便使解碼能夠得以進行。適當的熵編碼技術的實例包括可變長度編碼和算術編碼。
在附圖4中給出了一個按照本發明的運動估計的實例。如前文所述，按照本發明的運動估計利用多個參考幀。從附圖4中可以看出，在這個實例中使用了後向預測。這樣，來自正在處理的當前幀的不同的塊與在前幀中的類似塊進行匹配。在這個例子中，顯示了兩個參考幀，不過在編碼過程中，參考幀的數量既可以是固定的，也可以是適應性選取的。還應當注意到，在這個例子中，採用的是基於塊的運動估計技術。此外，策略是分層次的並且考慮了可變的塊大小。
附圖5中給出了一個按照本發明的時間過濾的例子。如圖中所見，舊的方案位於左側，而按照本發明的新方案位於右側。在舊的方案中，過濾是對來自當前幀的像素和來自單一參考幀的像素一起進行的，以產生對應的H和L幀。相反，在新的時間過濾方案中，過濾是對來自當前幀的像素和來自多個參考幀的像素一同進行的。在這個例子中，採用了後向預測，因此參考幀是在前幀。
而且，由於在新的時間過濾方案中採用了來自多個參考幀的區域或像素組，因此不需要產生對應的L幀。而是，除了稱為A幀的第一幀之外，產生對應於GOP內的每個幀的H幀。所述H幀是通過對來自當前幀的每個像素連同在前幀中它的匹配項一起進行過濾而產生的。
從附圖5的右側可以進一步看出，將來自幀2的像素與幀1中的像素進行匹配，將來自幀3的像素與幀1和2中的像素進行匹配，並且將來自幀4的像素與幀1、2和3中的像素進行匹配。將來自幀2的像素連同對應的匹配項一起進行時間過濾，以產生相應的H幀。類似地，將來自幀3和4的像素連同對應的匹配項一起進行時間過濾，以產生相應的H幀。從附圖5右側可以進一步看出，來自幀1的像素沒有得到過濾，從而無變化地通過。如前文所述，將這種類型的幀定義為A幀。
在附圖6中示出了另一個按照本發明的時間過濾的例子。在這個例子中，採用了雙向預測。如前文所述，在雙向預測中，每個正在處理的幀中的區域可以同時與在前和後續幀中的區域進行匹配。然後對這些區域連同其在在前和後續幀中的匹配項一起進行時間過濾。雙向過濾是非常理想的，因為它明顯提高了跨越場景變化的幀或具有很多在場景中移動的物體而引起遮擋的幀的性能。存在與對第二組運動向量進行編碼相關的額外開銷，不過與編碼效率的收益比較起來，這種額外開銷是微不足道的。
從附圖6中可以看出，並不是所有的幀都是雙向過濾的。例如，幀1並沒有得到過濾，因為在該組中沒有在前幀可以用作參考幀。這樣，幀1得以無變化地通過，並且將其定義為A幀。此外，對幀3進行了處理，以產生一個H幀。不過，由於在該組中沒有可用的後續幀用作參考幀，故而無法使用雙向過濾。替代地，使用在前幀對幀3進行時間過濾。這意味著會使用後向預測來找出在前幀中的匹配項，以便進行時間過濾。在時間過濾的另一個例子中，GOP中的第一幀可以是一個單向H幀，而最後幀可以是A幀。在這個例子中，為了進行時間過濾，會使用前向預測來找出後續幀中的匹配項。
如從圖中所見，幀2是一個經雙向過濾的H幀。不過，並非幀2中的所有的區域都可以得到雙向過濾。例如，一個區域可能僅與在前幀中的區域進行匹配。於是，這樣的區域會使用後向預測基於在前幀中的匹配項進行過濾。類似地，僅與後續幀中的區域匹配的區域會相應地使用前向預測進行過濾。
在一個區域既與在前幀又與後續幀中的區域進行匹配的情況下，雙向過濾得以進行。這樣，在前和後續幀中的區域的對應像素取平均。然後將正在過濾的幀(在這個例子中是幀2)中的對應像素減掉該平均值。如前文所述，這一差值優選地除以某個縮放因子。為了簡化解碼過程，優選的是不使用雙向H幀作為參考幀。這是因為要解碼雙向幀，就必須首先解碼在前和後續幀。因此，在其它的例子中，其中在GOP中包含有多個雙向幀，就需要包括多個其它的單向H幀。
在附圖7中給出了按照本發明的解碼器的一個例子。如前面關於附圖2所述的，將輸入視頻劃分成多個GOP並且將每個GOP作為一個單元進行編碼。這樣，輸入位流可能包括一個或多個將作為一個單元進行解碼的GOP。該位流還將包括與GOP中的每個預先經過了運動補償時間過濾的幀相對應的多個運動向量MV和幀號碼。運動向量和幀號碼表示預先與已經經過時間過濾的每個幀中的區域相匹配過的同一GOP內的其它幀中的區域。
如圖中所見，該解碼器包括一個用於對輸入位流進行解碼的熵解碼單元16。在工作期間，將按照在編碼端進行的熵編碼技術的逆過程對輸入位流進行解碼。這一熵解碼將會產生與每個GOP對應的小波係數。此外，該熵解碼還產生稍後將要用到的多個運動向量和幀號碼。
包括一個重要性解碼單元18，以便依照重要性信息對來自熵解碼單元16的小波係數進行解碼。因此，在工作期間，通過使用在編碼器端使用過的技術的逆過程按照正確的空間順序對小波係數進行排序。從圖中可以進一步看出，還包括一個空間重組單元20，用於將來自重要性解碼單元18的小波係數變換為部分解碼幀。在工作期間，按照在編碼器端執行過的2D小波變換的逆過程對與每個GOP對應的小波係數進行變換。這樣會產生經過按照本發明的運動補償時間過濾的部分解碼幀。
如前文所述，按照本發明的運動補償時間過濾得出了由多個H幀和一個A幀表示的各個GOP，H幀是GOP內每個幀與同一GOP內的其它幀之間的差，而A幀是沒有在編碼器端由運動補償和時間過濾進行過處理的第一幀或最後幀。根據執行了何種類型的預測，A幀可以代表GOP中的第一幀或最後幀。
包含一個逆向時間過濾單元22，用以通過執行編碼器端所執行的時間過濾的逆過程重構包含在來自空間分解單元20的每個GOP中的H幀。首先，如果H幀在編碼器端除以了某個縮放因子，那麼來自空間分解單元20的幀就要乘以同樣的因子。此外，時間過濾單元22隨後根據熵解碼單元16提供的運動向量MV和幀號碼重構包含在每個GOP中的H幀。
為了重構H幀，首先確定A幀位於每個GOP中的什麼位置。如果在編碼器端使用了後向運動估計，則在這個例子中A幀就應當是GOP中的第一幀。這樣，逆向時間過濾單元22將開始重構GOP中的第二幀。具體講，通過依據為該特定幀提供的運動向量和幀號碼來取回像素值而重構所述第二幀。在這種情況下，運動向量將指向第一幀中的區域，該第一幀是A幀。然後逆向時間過濾單元22將取回的像素值加到第二幀中的相應區域上，並且從而將差值轉換為實際的像素值。然後使用第一幀和第二幀作為參考幀類似地重構下一幀，如此重複，直到GOP內所有的幀都得到了重構。
如果在編碼器端使用了前向運動估計，那麼在這個例子中A幀就是GOP內的最後幀。這樣，逆向過濾單元22將開始重構GOP內的倒數第二幀。通過依據為該特定幀提供的運動向量和幀號碼取回像素值來重構倒數第二幀。在這種情況下，運動向量指向最後幀中的區域，該最後幀是A幀。逆向時間過濾單元22然後將所取回的像素值加到倒數第二幀中相應的區域上，從而將差值轉換為實際的像素值。然後使用最後和倒數第二幀作為參考幀來類似地重構下一幀，並且如此重複，直到GOP內的所有的幀都得到了重構。
如果在編碼器端使用了雙向運動估計，那麼取決於實現了哪一個例子，A幀就會是第一幀或最後幀。這樣，逆向過濾單元22將會開始重構GOP內的第二幀或倒數第二幀。類似地，通過依據為特定幀提供的運動向量和幀號碼取回像素值來重構這一幀。
如前文所述，雙向H幀可以包括基於來自在前幀、後續幀或二者的匹配項進行過濾的區域。對於僅來自在前或後續幀的匹配項，只取回像素值並且將其加到正在處理的當前幀中相應的區域上。對於來自它們二者的匹配項，取回來自在前和後續幀二者的值，並且對它們求平均。然後將這一平均值加到正在處理的當前幀中的相應區域上。
如前所述，如果GOP包括其它的雙向H幀，也會重構這些幀。如前文針對雙向時間過濾所述的，還可能與雙向H幀一起包含有單向H幀，為了重構單向幀，將會根據在編碼器端進行的是後向預測還是前向預測，對在前或後續幀進行逆向時間過濾。
在附圖8中給出了可以實現按照本發明的用於運動補償時間過濾的採用多個參考幀進行的基於小波的編碼的系統的一個例子。通過舉例，該系統可以表示電視、機頂盒、臺式計算機、膝上型計算機或掌上型計算機、個人數字助理(PDA)、諸如視頻盒式磁帶記錄器(VCR)、數字視頻記錄器(DVR)、TiVO裝置之類的視頻/圖像存儲裝置、以及這些裝置和其它裝置的部分或組合。該系統包括一個或多個視頻源26、一個或多個輸入/輸出裝置34、一個處理器28、一個存儲器30和一個顯示裝置36。
視頻/圖像源26可以代表，例如，電視接收機、VCR或其它視頻/圖像存儲裝置。可替換地，源26也可以代表一個或多個用於從一個伺服器或多個伺服器接收視頻的網絡連接，例如，諸如網際網路這樣的全球計算機通信網絡、廣域網、城域網、區域網、地面廣播網、有線網、衛星網、無線網或電話網，以及這些網絡和其它類型的網絡的部分或組合。
輸入/輸出裝置34、處理器28和存儲器30通過通信介質32進行通信。通信介質32可以代表，例如，總線、通信網絡、電路的一個或多個內部連接、電路卡或其它裝置，以及這些介質和其它通信介質的部分和組合。來自源26的輸入視頻數據依照存儲在存儲器30中並由處理器28執行的一個或多個軟體程序進行處理，以便產生供應給顯示裝置36的輸出視頻/圖像。
具體來說，存儲在存儲器30上的軟體程序包括用於運動補償時間過濾的採用多個參考幀進行的基於小波的編碼，如前面就附圖2和7所介紹的。在本實施例中，用於運動補償時間過濾的採用多個參考幀進行的基於小波的編碼藉助由該系統執行的計算機可讀代碼來實現。該代碼可以存儲在存儲器30中或從諸如CD-ROM或軟盤之類的存儲介質中讀取/下載。在其它的實施例中，可以使用硬體電路來替代軟體指令或與軟體指令結合使用以實現本發明。
雖然上面依據特定的實例對本發明進行了介紹，但是應當明白，本發明並非意欲由本文所公開的實例來加以約束或限制。因此，本發明意欲囊括包含在所附的權利要求書的思想和範圍之內的其各種不同的結構和修改方案。
權利要求
1.一種對一組視頻幀進行編碼的方法，包括步驟將所述組內的至少一個幀中的區域與多個參考幀中的區域進行匹配；計算所述至少一個幀中的所述區域的像素值與所述多個參考幀中的所述區域的像素值之間的差值；將所述差值變換為小波係數。
2.按照權利要求1所述的方法，其中所述多個參考幀是所述組中的在前幀。
3.按照權利要求1所述的方法，其中所述多個參考幀是所述組中的後續幀。
4.按照權利要求1所述的方法，其中所述多個參考幀是所述組中的在前幀和後續幀。
5.按照權利要求1所述的方法，還包括將所述至少一個幀中的區域內的像素與所述多個參照幀中的區域內的像素之間的差值除以一個縮放因子。
6.按照權利要求1所述的方法，還包括依據重要性信息對小波係數進行編碼。
7.按照權利要求1所述的方法，還包括對小波係數進行熵編碼。
8.一種包含用於對一組視頻幀進行編碼的代碼的存儲介質，所述代碼包括用於將所述組內的至少一個幀中的區域與多個參考幀中的區域進行匹配的代碼；用於計算所述至少一個幀中的所述區域的像素值與所述多個參考幀中的所述區域的像素值之間的差值的代碼；用於將所述差值變換為小波係數的代碼。
9.一種用於對視頻序列進行編碼的裝置，包括分割單元，用於將所述視頻序列劃分為幀組；用於使用多個參考幀對每個組內的至少一個幀進行運動補償時間過濾的單元；空間分解單元，用於將每個組變換為小波係數。
10.按照權利要求9所述的裝置，其中所述運動補償時間過濾單元包括運動估計單元，用於將至少一個幀中的區域與多個參考幀中的區域進行匹配；時間過濾單元，用於計算所述至少一個幀中的所述區域的像素值與所述多個參考幀中的所述區域的像素值之間的差值。
11.按照權利要求9所述的裝置，其中所述多個參考幀是同一組中的在前幀。
12.按照權利要求9所述的裝置，其中所述多個參考幀是同一組中的後續幀。
13.按照權利要求9所述的裝置，其中所述多個參考幀是同一組中的在前幀和後續幀。
14.按照權利要求10所述的裝置，其中所述時間過濾單元將所述至少一個幀中的區域內的像素與所述多個參考幀中的區域內的像素之間的差除以一個縮放因子。
15.按照權利要求9所述的裝置，還包括依據重要性信息對小波係數進行編碼的單元。
16.按照權利要求9所述的裝置，還包括熵編碼單元，用於將小波係數編碼為位流。
17.一種對包含一組編碼視頻幀的位流進行解碼的方法，包括步驟對所述位流進行熵解碼，以產生小波係數；將所述小波係數變換為部分解碼幀；和使用多個參考幀對至少一個部分解碼幀進行逆向時間過濾。
18.按照權利要求17所述的方法，其中所述逆向時間過濾包括從所述多個參考幀中取回先前與所述至少一個部分解碼幀中的區域相匹配的區域；和將所述多個參考幀中的區域的像素值加到所述至少一個部分解碼幀中的區域的像素值上。
19.按照權利要求18所述的方法，其中從多個參考幀中取回區域的步驟是依據包含在所述位流中的運動向量和幀號碼進行的。
20.按照權利要求17所述的方法，其中所述多個參考幀是所述組中的在前幀。
21.按照權利要求17所述的方法，其中所述多個參考幀是所述組中的後續幀。
22.按照權利要求17所述的方法，其中所述多個參考幀是所述組中的在前幀和後續幀。
23.按照權利要求17所述的方法，還包括將至少一個解碼幀乘以一個縮放因子。
24.按照權利要求17所述的方法，還包括依據重要性信息對小波係數進行解碼。
25.一種包含用於對包含一組編碼視頻幀的位流進行解碼的代碼的存儲介質，所述代碼包括用於對所述位流進行熵解碼以產生小波係數的代碼；用於將所述小波係數變換為部分解碼幀的代碼；和用於使用多個參考幀對至少一個部分解碼幀進行逆向時間過濾的代碼。
26.一種用於對包含一組編碼視頻幀的位流進行解碼的裝置，包括熵解碼單元，用於將所述位流解碼為小波係數；空間重組單元，用於將所述小波係數變換為部分解碼幀；和逆向時間過濾單元，用於從所述多個參考幀中取回先前與所述至少一個部分解碼幀中的區域相匹配的區域，並且將所述多個參考幀中的區域的像素值加到所述至少一個部分解碼幀中的區域的像素值上。
27.按照權利要求26所述的裝置，其中所述從多個參考幀中取回區域是依照包含在位流中的運動向量和幀號碼進行的。
28.按照權利要求26所述的裝置，其中所述逆向時間過濾單元將至少一個解碼幀乘以一個縮放因子。
29.按照權利要求26所述的裝置，其中還包括重要性解碼單元，用於依據重要性信息對小波係數進行解碼。
全文摘要
本發明涉及一種用於對一組視頻幀進行編碼的方法和裝置。按照本發明，將所述組內的至少一個幀中的區域與多個參考幀中的區域進行匹配。計算所述至少一個幀中的區域的像素值與所述多個參考幀中的區域的像素值之間的差值。將所述差值變換為小波係數。本發明還涉及一種用於通過執行上述編碼的逆向過程對一組幀進行解碼的方法和裝置。
文檔編號H04N7/30GK1650633SQ03809516
公開日2005年8月3日 申請日期2003年4月23日 優先權日2002年4月29日
發明者D·圖拉加, M·范德沙爾 申請人:皇家飛利浦電子股份有限公司