使用自適應運動補償時間濾波的完全可分級3－d過完整小波視頻編碼的製作方法

2023-07-06 22:23:16 1

專利名稱：使用自適應運動補償時間濾波的完全可分級3－d過完整小波視頻編碼的製作方法
此申請要求2002年10月16日提交的U.S.臨時申請序列號60/418,961根據35 USC 119(e)的權益，並在此將其結合以供參考。
本發明涉及視頻壓縮，並且更具體地涉及使用自適應運動補償時間濾波的過完整小波視頻編碼。
當前的視頻編碼算法主要基於帶有運動補償預測編碼的混合編碼方案。在這種混合方案中，使用運動補償來降低時間冗餘度，並通過變換編碼運動補償的剩餘量來降低空間解析度。但是，這些混合編碼方案易於產生錯誤傳播，並且對於提供真正的可分級比特流缺乏靈活性，即缺乏由同一壓縮比特流解壓縮為不同質量、解析度和幀速率的層的能力。
相反，3D子帶/小波編碼能夠提供非常靈活的可分級比特流和較高的錯誤恢復力.就所允許的不同可分級類型來說，基於小波的可分級視頻編碼方案允許很大的靈活性。因此，對於經不同的無線和有線網絡將視頻傳輸至各種具有不同性能的裝置，它們特別有用。
目前，有兩種基於小波的視頻編碼方案過完整小波和幀間小波。在過完整(OW)小波視頻編碼中，首先對每幀執行空間小波變換，隨後是通過預測小波係數值或通過在熵編碼中定義時間上下文來利用幀間冗餘度。在幀間小波視頻編碼中，小波濾波沿時間軸執行，隨後是2D空間小波變換。
目前的幀間小波視頻編碼方案使用運動補償時間濾波(MCTF)來降低時間冗餘度。在執行空間分解之前沿運動的時間方向執行MCTF。這種視頻編碼方案在這裡稱為空間域MCTF(SDMCTF)。但是，由運動估計算法提供的匹配質量固有地限制了SDMCTF視頻編碼方案。例如，有些幀間小波編碼序列看起來有輕微的模糊，因為不完全的運動估計造成幀細節移動到時間高頻子帶中，並從其移動到空間高頻子帶中。這些人為失真降低了未量化和空間分級的序列的視覺性能。進一步的測試已經表明，降低時間分解等級的數目能夠減少人為失真。
在目前的OW視頻編碼方案中，小波濾波用於將每個視頻幀在空間上分解為多個子帶，並且使用運動估計去除每個子帶的時間相關性。
已經有許多嘗試來在小波域中通過運動補償預測小波係數。但是，小波域中的運動補償高度地依賴於信號和為分析而選擇的分立網格的對準。在原始圖像和平移一個像素的圖像的小波係數之間有很大差別。此平移變化特性經常在圖像邊緣附近發生，所以小波係數的運動補償很困難。
現有的OW視頻編碼方案通過在預測中還利用奇相位小波係數克服了小波域中運動估計的低效率。獲得奇相位係數的便利方法是執行帶移。因為解碼的先前幀也可在解碼器處得到，所以從過完整擴展的預測不需要任何附加的開銷。此外，就分數像素精度來說，在小波域中搜索最佳相位和運動向量的計算複雜度與空間域中的傳統運動估計的計算複雜度相當。
但是，由於運動估計/補償的原因，所以傳統OW結構受到漂移的影響，導致SNR可分級中的性能損失。此外，僅有限範圍的時間可分級能夠使用B幀實現。
因此，需要具有改善的SNR和時間可分級的基於小波的視頻編碼方案。
本發明致力於一種用於編碼視頻的方法和裝置。按照本發明的第一方面，視頻信號被空間分解為至少兩個不同頻率子帶的信號。對每個子帶信號應用個性化運動補償時間濾波方案。然後對每個運動補償時間濾波的子帶信號應用紋理編碼。按照本發明的第二方面，一個包括了視頻信號的至少兩個編碼運動補償時間濾波的、不同頻率子帶信號的信號被解碼。對解碼的至少兩個子帶信號的每一個，獨立地應用逆運動補償時間濾波。該至少兩個子帶信號被空間重組，並且從該至少兩個空間重組子帶信號的至少一個中重建視頻信號。


圖1是按照本發明示例性實施例的可用於執行本發明的IBMCTF方法的3-D過完整小波視頻編碼器的框圖。
圖2是在本發明中使用的自適應高階內插濾波器的框圖。
圖3說明了從小波係數的過完整擴展產生按照本發明用於運動估計的擴展參考幀的過程。
圖4A說明了產生模糊圖像的傳統MCTF的分解方案。
圖4B說明了在本發明中使用的分解方案。
圖5是按照本發明示例性實施例的3-D過完整小波視頻解碼器的框圖。
圖6示出了對兩級分解使用LBS算法的過完整小波擴展。
圖7是使用LBS方法獲得的2級過完整小波變換的視頻。
圖8說明了對於一級分解的1-D情況的本發明的交織方案。
圖9示出了執行本發明的交織過程以後的圖7視頻第一幀的過完整小波係數。
圖10是LBS算法形成的小波塊。
圖11示出了說明時間高子帶幀的小波域中的MAD的表。
圖12-17繪出了對於整數和1/8像素精度運動估計的幾個測試序列的本發明的IBMCTF視頻編碼方案和SDMCTF的速率失真性能。
圖18是可以用於實施本發明原理的系統的示例性實施例。
本發明是一種完全可分級三維(3-D)過完整小波視頻編碼方案，它利用新穎的帶內運動補償時間濾波(IBMCTF)方法。本發明的IBMCTF克服了先前IBMCTF編碼方法的缺點，並且顯示出與利用空間域運動補償時間濾波的傳統幀間小波編碼方法相當的或更優於它的編碼效率。
圖1是按照本發明示例性實施例的可用於執行本發明的IBMCTF方法的3-D過完整小波視頻編碼器的框圖。視頻編碼器100包括3-D小波變換單元110，它使用傳統3-D過完整小波濾波過程來將輸入視頻的每個視頻幀空間分解為任意希望數目的多個子帶1、2、…和N。
視頻編碼器100進一步包括用於由小波變換單元110產生的每個子帶的分割單元120a、120b、120c。每個分割單元120a、120b、120c將其關聯的子帶的小波係數劃分為幀組(GOF)，以作為組進行編碼。
視頻編碼器100還包括用於每個子帶的運動補償時間濾波(MCTF)單元130a、130b、130c，其包含運動估計器131a、131b、131c和時間濾波器132a、132b、132c。每個MCTF 130a、130b、130c使用運動補償時間濾波(MCTF)過程分別從每個子帶的GOF去除時間相關性或冗餘度。按照本發明，每個子帶的分立MCTF單元的使用使得運動補償時間濾波過程適合於每個子帶而與其它子帶無關。此外，為特定子帶選擇的時間濾波過程可以基於不同的標準。
此外，編碼器還包括用於每個子帶的紋理編碼器140a、140b、140c，其允許使用任何最佳紋理編碼過程對由每個子帶的MCTF單元130a、130b、130c產生的剩餘信號和運動信息(運動向量)獨立地進行紋理編碼。紋理編碼的剩餘信號和運動信息然後由多路復用器150合併為一個單個的比特流。另一個紋理編碼的實施例是實際大小的剩餘幀的整體變換，這在由每個子帶的MCTF單元130a、130b、130c產生的所有剩餘信號和運動信息都被合併以產生實際大小的剩餘幀以後進行應用。
正如本領域普通技術人員認識到的，已知IBMCTF方法中的臨界取樣小波分解僅是周期性地平移不變的。因此，在小波域中執行運動估計和補償是低效率的，並且會導致編碼損失。為了解決此問題，每個運動補償濾波單元130a、130b、130c利用如圖2所示的自適應高階內插濾波器200來最大化運動估計器131a、131b、131c的性能。本發明的內插濾波器200包括執行低頻帶平移的低頻帶平移(LBS)單元210、執行過完整小波係數交織的交織單元220和內插單元230。LBS過程在LBS單元210中以一個或多個已知LBS算法實施，該算法有效地產生原始小波係數的過完整表示，它現在是平移不變量。LBS使用一個或多個類似LBS算法有利地在編碼器和解碼器處產生原始小波係數的過完整擴展，因此，與傳統幀間小波編碼方案相比，不需要編碼和傳輸附加信息。
由交織單元220執行的交織過程合併由過完整小波係數提供的不同相位信息來產生擴展參考幀。因此，不需要象在以前的基於IBMCTF的視頻編碼方法中一樣分別編碼相位信息。由於本發明的交織過程，所以相位信息作為高精度運動向量的一部分被固有地編碼。
內插單元230從擴展參考幀產生分數像素，例如1/2、1/4、1/8、1/16像素，它被運動估計器131a、131b、131c用於運動估計。內插可以以傳統一維內插濾波器實施。為了最大化運動估計和MCTF的性能，可以對每個子帶使用具有不同抽頭的獨立優化內插濾波器。圖3說明了從小波係數的過完整擴展產生按照本發明用於運動估計的擴展參考幀的過程。為了在HH子帶過完整擴展300中實現運動估計的高階內插，例如通過以(1，0)、(0，1)和(1，1)的量平移低子帶來從原始小波係數310產生小波係數的另外三個相位。然後，小波係數的四個相位310、320、330、340交織，以產生擴展參考幀350。
本發明的基於IBMCTF的3-D過完整小波視頻編碼方法，與已知的基於空間域運動補償時間濾波(SDMCTF)的視頻編碼方法相比，提供了改善的空間可分級性能。這是因為對每個子帶(解析度)都執行時間濾波，因此，更精細解析度的子帶的信息損失不會在時間方向導致任何平移。
如前所述，對每個子帶使用分立MCTF單元130a、130b、130c使得可以在不同的解析度使用不同的時間濾波技術。例如，在一個實施例中，雙向時間濾波技術可以用於低解析度子帶，而前向時間濾波技術可以用於高解析度子帶。時間濾波技術可以根據最小化失真或複雜度測量(例如低解析度子帶具有較少的像素，因此可以採用雙向和多參考時間濾波，而對於具有較大量像素的高解析度子帶，僅執行前向估計)來選擇。這種靈活的時間濾波選項的選擇使本發明脫離了如MCTF所執行的嚴格1D+2D分解方案，而趨向更普遍的在整個時間級別都降低了空間尺寸的3-D分解方案，其中從較長期時間濾波中省略了較高的空間頻率子帶。
對每個子帶使用分立分割單元120a、120b、120c使得能夠對每個子帶自適應地確定GOF。例如，LL子帶可能有很大的GOF，而H子帶可以使用有限的GOF。GOF的尺寸可以根據序列特性、複雜度或恢復力要求來改變。如前所述，傳統MCTF的分解方案，如圖4A所示，產生模糊圖像，但是，不同時間分解等級和GOF尺寸的使用使得本發明的3-D小波可分級視頻編碼方案能夠克服這種缺點。如圖4B所示，LL LH(HL)和HH的GOF尺寸可以分別是8、4和2幀，其分別允許3、2和1的最大分解等級。這樣，從較長期時間濾波中省略了較高的空間頻率子帶。
不同子帶的時間分解等級數目可以根據內容或減少特定失真度量或者僅根據希望的每個解析度中的時間可分級來確定。例如，如果在CIF(352×288)尺寸的解析度時希望30、15和7.5Hz幀速率，而在SD(704×576)尺寸解析度時僅希望30和15，則對於LL空間子帶使用三級時間分解，而對於LH、HL和HH子帶僅能應用兩級時間分解。
而且如前所述，對每個子帶使用分立紋理編碼單元140a、140b、140c允許不同空間子帶的自適應紋理編碼。例如，可以使用小波或基於DCT的紋理編碼方案。如果使用基於DCT的紋理編碼，則幀內編碼塊可以有利地插入GOF內的任何地方以有效地處理覆蓋和未覆蓋情況。而且能夠容易地利用MPEG-4/H.26L的「自適應幀內刷新」概念來提供改善的恢復力，並且可以對不同的子帶使用不同的刷新速率來獲得不同的恢復力。這特別有利，因為低解析度子帶可以用於隱藏高解析度子帶，因而它們的恢復力更重要。
本發明的另一優點涉及解碼器的複雜度可分級。如果有許多具有不同計算能力和表現的解碼器，通過SNR/空間/時間可分級，同一可分級比特流可用於支持所有這些解碼器。例如，由本發明的編碼器產生的可分級比特流可以用低複雜度的解碼器解碼，該解碼器僅能解碼低解析度的空時分解等級，這導致僅有很小的計算負擔。類似地，由本發明的編碼器產生的可分級比特流也能用具有複雜解碼能力的解碼器解碼，該解碼器能夠解碼整個比特流，以實現完全的空時解析度。
圖5是按照本發明示例性實施例的3-D過完整小波視頻解碼器的框圖。解碼器可以用於解碼由本發明的編碼器產生的比特流。視頻解碼器400可以包括解復用器410，它處理比特流以從運動信息分離編碼的小波係數。
第一紋理解碼器420按照在編碼器側執行的紋理編碼技術的相反方式將小波係數解碼為它們各自分開的子帶1、2、…和N。由第一紋理解碼器420產生的子帶小波係數對應於該子帶的每個GOF。運動向量解碼器430按照在編碼器側執行的紋理編碼技術的相反方式解碼每個子帶的運動信息。使用解碼的運動向量和剩餘紋理信息，由MCTF單元440a、440b、440c對每個子帶獨立應用逆MCTF，並且逆小波變換單元450空間重組每個子帶，以重建低、中和高級圖像。低頻帶平移塊讀取重組的子帶圖像以組合實際尺寸的圖像，然後應用低頻帶平移小波分解來為逆MCTF單元440a、440b、440c提供擴展參考幀。根據顯示解析度，一個視頻重建單元(未示出)可以使用子帶之一來產生低解析度視頻，或者使用兩個子帶來產生中解析度視頻，或者使用所有子帶來產生高解析度、完全質量的視頻。
現在將在下面更詳細地說明在本發明的視頻方案中利用的各種過程。
過完整小波域中的運動估計和補償1.低頻帶平移方法(LBS)在小波變換中執行的抽取(decimation)過程產生不再是平移不變的小波係數。因此，空間域中的平移運動不能根據小波係數精確地估計，其進而又產生編碼效率的明顯的損失。在本發明中利用的LBS算法提供了一種克服小波變換的平移變化特性的方法。在第一級，原始和平移信號被分解為低子帶和高子帶信號。隨後，低子帶信號以與第一級相同的方式進一步被分解。
圖6示出了對兩級分解使用LBS算法的過完整小波擴展。一維(1-D)表示可以很容易地擴展為具有多級的小波分解以及也擴展為二維(2-D)圖像信號。一個對(m，n)表示該子帶內的小波係數分別通過x方向的m像素和y方向的n像素平移來產生。LBS算法對輸入子帶的所有可能平移產生整組的小波係數。因此，這種表示精確地傳達了空間域中的任意平移。如將進一步討論的，在特定空間位置處對應於同一分解等級的不同平移的小波係數被稱為「交叉相位」小波係數。
圖7是使用LBS方法獲得的2級過完整小波變換的視頻。注意，對於n級分解，過完整小波表示需要原始圖像的3n+1倍的存儲空間。
2.小波係數的交織本發明新穎的交織方案以與圖6和7所述的方式不同地來存儲過完整小波係數。如說明了一級分解的1-D情況的本發明交織方案的圖8所示，係數的平移交織被執行，從而過完整域中的新坐標對應於原始空間域中的相關平移。
交織方案可以在每個分解級遞歸地使用，並且可以直接對2-D信號擴展。圖9示出了執行本發明的交織過程以後的圖7視頻第一幀的過完整小波係數。如可從圖9看到的，交織低子帶信號是使用過完整小波低通濾波器的原始幀的低通濾波形式。本發明的交織過程使本發明的IBMCTF方法能夠提供子像素精度的運動估計和補償。先前提出的IBMCTF方案不能提供最佳子像素精度的運動估計和補償，因為它們沒有考慮鄰近小波係數之間的交叉相位依賴關係。此外，交織過程使得本發明的IBMCTF方法能夠使用分級可變尺寸塊匹配、後向運動補償和塊內的自適應插入。
小波塊的產生如本領域眾所周知的，在小波分解中，除了最高頻率子帶中的那些外，給定等級的每個係數都與更精細等級的相同取向的一組係數有關。在許多小波編碼器中，該關係通過將係數表示為稱作小波樹的數據結構來利用。在LBS算法中，固定在最低子帶中的每個小波樹的係數被重新排列以形成小波塊，如圖10所示。小波塊的目的是提供小波係數和它們在圖像中空間上表示的內容之間的直接關聯。所有等級和取向的相關係數都包括在每個決中。
運動估計的結構在空間域中，基於塊的運動估計通常將圖像劃分為小塊，然後尋找能使當前幀的每個塊的平均絕對差(MAD)最小化的參考幀的塊。LBS算法的運動估計尋找一個在當前小波塊和參考小波塊之間產生最小MAD的運動向量(dx，dy)。例如，如果輸入圖像被分解直至第三級(即輸入圖像可以分解為總共十個子帶)，並且位移向量是(dx，dy)，則圖10中第k個小波塊的MAD如下計算MADk(dx,dy)=i=13xi=x1,kxi,k+M/2iyi=y1,kyi,k+N/2i{]]> 其中xi，k＝x0，k/2i，而yi，k＝y0，k/2i；以及(x0，k，y0，k)表示空間域中的第k個小波塊的初始位置，如圖10所示，而 表示不超過x的最大整數。這裡，例如，參考幀的第i級HL子帶由HLref(i)(m，n；x，y)表示，其中(m，n)表示空間域中沿x和y方向平移的數目，而(x，y)是子帶信號的位置。運動估計的最佳標準現在是尋找能使此MAD最小化的最佳(dx，dy)。注意，在原始LBS算法中，對於(dx，dy)的非整數值不可能使用上述公式計算MAD。更具體地，傳統IBMCTF視頻編碼方案中的MAD僅基於相同相位的小波係數，並且所得的子像素精度運動估計和補償不是最佳的。
但是，在本發明的IBMCTF方法中，交織過程使得MAD計算能夠象SDMCTF視頻編碼方案一樣地執行，甚至對於子像素精度也如此。更具體地，本發明的IBMCTF方法的位移向量(dx，dy)的MAD如下計算MADk(dx,dy)=i=13xi=xi,kxi,k+M/2iyi=yi,kyi,k+N/2i{]]>|HLcur(i)(xi,yi)-LBS_HLref(i)(2ixi+dx,2iyi+dy)|+|LHcur(i)(xi,yi)-LBS_LHref(i)(2ixi+dx,2iyi+dy)|]]>+|HHcur(i)(xi,yi)-LBS_HHref(i)(2ixi+dx,2iyi+dy)|}]]>+xi=xi,kxi,k+M/2iyi=yi,kyi,k+N/2I|LLcur(i)(xi,yi)-LBS_LLref(i)(2ixi+dx,2iyi+dy)|]]>其中，例如LBS_HLref(i)(x，y)表示使用本發明的交織過程的參考幀的擴展HL子帶。注意，即使(dx，dy)是非整數值，與SDMCTF使用的相同的內插技術也可以容易地用於每個擴展子帶從而產生非整數偏移的MAD。因此，與現有的IBMCTF編碼方案相比，本發明的IBMCTF視頻編碼方案提供更有效和實際上最佳的子像素運動估計。而且，在具有小波塊結構的本發明的IBMCTF視頻編碼方案中不會導致任何運動向量開銷，因為要編碼的運動向量的數目和SDMCTF的一樣。由於運動估計與剩餘編碼緊密匹配，所以可以使用更複雜的運動估計標準(例如剩餘信號的熵)來改善編碼性能。
仿真結果為了檢驗在過完整小波域中按照本發明的運動估計和運動補償在小波域產生低殘餘能量，使用一級時間分解，並對IBMCTF和SDMCTF計算MAD。注意，在幀間小波編碼中，MAD在空間域中被計算，但是實際需要被最小化的是小波域中的殘餘能量。圖11示出了說明時間高子帶幀的小波域中的MAD的表。MAD值對時間高子帶的前50幀進行平均。對於SDMCTF的情況，小波域中的相應MAD值在剩餘信號的小波變換後被計算。注意，IBMCTF的MAD總是小於SDMCTF的MAD，這表明本發明的IBMCTF視頻編碼方案的可能編碼增益超過SDMCTF的可能編碼增益。
圖12-17繪出了對整數和1/8像素精度運動估計的幾個測試序列的本發明的IBMCTF視頻編碼方案和SDMCTF的速率失真性能。MCTF的帶內結構用由Daubechies 9/7濾波器執行的兩級空間分解來計算，而對於時間方向則使用四級分解。用在S.T.Hsiaug等人的標題為Invertible Three-Dimensional Analysis/Synthesis System ForVideo Coding With Half-Pixel Accurate Motion Compensation(用於帶半像素精度運動補償的視頻編碼的可逆三維分析/合成系統)，VCIP 1999，SPIE Vol.3653，pp.537-546的文章中描述的EZBC算法執行紋理編碼。與SDMCTF類似，使用1/8像素的子像素運動估計很大地改善了IBMCTF的編碼性能。IBMCTF和SDMCTF的整個編碼性能相當。但是，有些序列，例如「Coastguard」、「Silent」和「Stefan」呈現高達0.5dB的性能增益，而對於「Mobile」序列可以觀察到0.3dB的性能下降。可見，本發明的IBMCTF算法不受運動估計的塊失真的影響，因為運動估計和濾波在每個子帶中執行，並且使用小波重組濾波器濾除了運動的邊界。
圖18是可以用於實施本發明原理的系統500的示例性實施例。系統500可以代表電視、機頂盒、桌上、膝上和掌上電腦、個人數字助理(PDA)、視頻/圖像存儲裝置，例如盒式錄像機(VCR)、數字錄像機(DVR)、TiVO裝置等，以及這些和其它裝置的部分和組合。系統500包括一個或多個視頻/圖像源501、一個或多個輸入/輸出裝置502、處理器503和存儲器504。視頻/圖像源501可以代表例如電視接收機、VCR或其它視頻/圖像存儲裝置。源501可替代地代表一個或多個網絡連接，用於經例如諸如網際網路之類的全球計算機通信網絡、廣域網、城域網、區域網、地面廣播系統、有線網、衛星網、無線網或電話網以及這些和其它類型網絡的部分或組合來從伺服器接收視頻。
輸入/輸出裝置502、處理器503和存儲器504可以經通信介質505通信。通信介質505可以代表例如總線、通信網絡、一個或多個電路、電路卡或其它裝置的內部連接以及這些和其它通信介質的部分和組合。按照存儲器504中存儲的並由處理器503執行的一個或多個軟體程序處理來自源501的輸入視頻數據，以便產生提供給顯示裝置506的輸出視頻/圖像。
在優選實施例中，本發明的編碼和解碼原理可以通過由系統執行的計算機可讀代碼來實現。代碼可以存儲在存儲器504中，或從諸如CD-ROM或軟盤之類的存儲介質讀取/下載。在其它實施例中，可以使用硬體電路代替或組合軟體指令來實現發明。例如，圖1、2和5所示的功能單元也可以以分立硬體單元實施。
雖然以上已經就特定實施例描述了本發明，但是應當理解，本發明不限於這裡公開的實施例。例如，除了DCT，還可以使用其它變換，包括但不限於小波或匹配跟蹤。這些和所有其它這類修改和變化被認為在所附權利要求書的範圍內。
權利要求
1.一種編碼視頻的方法，該方法包括下列步驟提供視頻信號；將視頻信號空間分解(110)為至少兩個不同頻率子帶的信號；對每個子帶信號應用個性化運動補償時間濾波方案(130a、130b、130c)；以及紋理編碼(140a、140b、140c)每個運動補償時間濾波子帶信號。
2.按照權利要求1的方法，其中空間分解步驟(110)通過小波濾波執行。
3.按照權利要求1的方法，其中視頻信號規定了多個幀，空間分解步驟(110)包括將每幀視頻信號空間分解為至少兩個不同頻率子帶的信號。
4.按照權利要求1的方法，其中在應用運動補償時間濾波方案(130a、130b、130c)的步驟(130a、130b、130c)之前，進一步包括下述步驟將每個子帶信號分成一個表示一組具有一定內容的時間幀的信號。
5.按照權利要求4的方法，其中對每個子帶信號所應用的個性化運動補償時間濾波方案(130a、130b、130c)是按照幀組的內容而被個性化的。
6.按照權利要求1的方法，其中在應用運動補償時間濾波方案的步驟之前，進一步包括下述步驟將每個子帶信號分成一個表示一組幀(120a、120b、120c)的信號，在至少一個幀信號組中的幀數目是自適應地確定的。
7.按照權利要求1的方法，其中對每個子帶信號所應用的個性化運動補償時間濾波方案(130a、130b、130c)是按照子帶信號的空間解析度而被個性化的。
8.按照權利要求1的方法，其中對每個子帶信號應用個性化運動補償時間濾波方案(130a、130b、130c)的步驟是通過使用取決於信號內容的可變精度運動估計來執行的。
9.按照權利要求1的方法，其中對每個子帶信號所應用的個性化運動補償時間濾波方案(130a、130b、130c)是按照子帶信號的時間相關性而被個性化的。
10.按照權利要求1的方法，其中對每個子帶信號應用個性化運動補償時間濾波方案(130a、130b、130c)的步驟是通過使用個性化內插濾波器(200)來最大化運動估計性能而執行的。
11.按照權利要求1的方法，其中對每個子帶信號應用的個性化運動補償時間濾波方案(130a、130b、130c)是按照子帶信號的特性而被個性化的。
12.按照權利要求1的方法，其中對每個子帶信號所應用個性化運動補償時間濾波方案(130a、130b、130c)的步驟是通過使用從由多方向時間濾波器和單方向時間濾波器組成的組中選擇的一個時間濾波器來執行的。
13.按照權利要求1的方法，其中對每個子帶信號應用個性化運動補償時間濾波方案(130a、130b、130c)的步驟包括下列步驟平移(210)子帶信號至少三次，以產生小波係數的三個附加相位，該子帶信號來自在空間分解步驟中產生的小波係數的一個相位；交織(220)小波係數的所述四個相位以產生擴展參考幀；以及使用擴展參考幀來估計運動(131a、131b、131c)。
14.按照權利要求13的方法，其中執行空間分解步驟(110)來提供多個分解等級，每個分解等級包括不同頻率子帶，並且其中通過執行平移(210)、交織(220)和估計步驟(131a、131b、131c)來應用個性化運動補償時間濾波方案(130a、130b、130c)的步驟被遞歸地應用於每個分解等級。
15.按照權利要求1的方法，其中對每個子帶信號應用個性化運動補償時間濾波方案(130a、130b、130c)的步驟包括下列步驟平移(210)子帶信號至少三次，以產生小波係數的三個附加相位，該子帶信號來自在空間分解步驟中產生的小波係數的一個相位；組合(220)小波係數的所述四個相位以產生擴展參考幀；從擴展幀中產生分數像素(230)；以及按照分數像素來估計運動(131a、131b、131c)。
16.按照權利要求14的方法，其中執行空間分解步驟(110)來提供多個分解等級，每個分解等級包括不同頻率子帶，並且其中通過執行平移(210)、組合(220)、產生(230)和估計步驟(131a、131b、131c)來應用個性化運動補償時間濾波方案(130a、130b、130c)的步驟被遞歸地應用於每個分解等級。
17.一種用於編碼視頻的存儲介質，該存儲介質包括用於將視頻信號空間分解(110)為至少兩個不同頻率子帶信號的代碼；用於對每個子帶信號應用個性化運動補償時間濾波方案(130a、130b、130c)的代碼；以及用於紋理編碼(140a、140b、140c)每個運動補償時間濾波子帶信號的代碼。
18.一種用於編碼視頻的裝置，該裝置包括小波變換單元(110)，用於將視頻信號空間分解為至少兩個不同頻率子帶的信號；用於至少兩個子帶信號中每一個的運動補償時間濾波單元(130a、130b、130c)，每個運動補償時間濾波單元對其關聯的子帶信號應用個性化運動補償時間濾波方案；以及用於至少兩個子帶信號中每一個的紋理編碼單元(140a、140b、140c)，每個紋理編碼單元紋理編碼其關聯的運動補償時間濾波子帶信號。
19.按照權利要求18的裝置，進一步包括用於每個子帶信號的分割單元(120a、120b、120c)，每個分割單元將其關聯的子帶信號分成表示具有一定內容的一組時間幀的信號。
20.按照權利要求18的裝置，其中每個運動補償時間濾波單元(130a、130b、130c)包括低頻帶平移單元(210)，用於平移其關聯的子帶信號至少三次，以產生小波係數的三個附加相位，該子帶信號來自小波係數的一個相位；和交織單元(220)，用於交織小波係數的所述四個相位，以產生擴展參考幀。
21.按照權利要求20的裝置，其中每個運動補償時間濾波單元(130a、130b、130c)進一步包括一個內插單元(230)，用於從擴展幀中產生分數像素。
22.按照權利要求21的裝置，其中每個運動補償時間濾波單元(130a、130b、130c)進一步包括一個運動估計單元(131a、131b、131c)，用於按照分數像素來估計運動。
23.一種解碼視頻的方法，該方法包括下列步驟解碼(420)一個包括視頻信號的至少兩個編碼運動補償時間濾波的不同頻率子帶信號的信號；對解碼的至少兩個子帶信號中的每個獨立地應用逆運動補償時間濾波(440a、440b、440c)；空間重組(450)至少兩個子帶信號；以及從該至少兩個空間重組子帶信號中的至少一個重建視頻信號。
24.按照權利要求23的方法，其中視頻信號從所有的該至少兩個空間重組的子帶信號來進行重建。
25.一種用於解碼視頻的存儲介質，該存儲介質包括用於解碼一個包括視頻信號的至少兩個編碼運動補償時間濾波的不同頻率子帶信號的信號(420)的代碼；用於對解碼的至少兩個子帶信號中的每個獨立地應用逆運動補償時間濾波(440a、440b、440c)的代碼；用於空間重組(450)至少兩個子帶信號的代碼；以及用於從至少兩個空間重組子帶信號中的至少一個重建視頻信號的代碼。
26.一種用於解碼視頻的裝置，該裝置包括紋理解碼單元(420)，用於解碼一個包括視頻信號的至少兩個編碼運動補償時間濾波的不同頻率子帶信號的信號；用於該至少兩個子帶信號的每一個的逆運動補償時間濾波單元(440a、440b、440c)，每個逆運動補償時間濾波單元對其關聯的解碼的至少兩個子帶信號獨立地應用逆運動補償時間濾波；逆小波變換單元(450)，用於空間重組至少兩個子帶信號；以及視頻重建單元，用於從該至少兩個空間重組子帶信號中的至少一個重建視頻信號。
全文摘要
一種用於編碼視頻的方法和裝置，其中視頻信號被空間分解為至少兩個不同頻率子帶的信號，按照信號內容自適應地對每個子帶信號應用個性化運動補償時間濾波方案，並按照信號內容自適應地對每個運動補償時間濾波的子帶信號應用紋理編碼。
文檔編號H04N7/26GK1706197SQ200380101519
公開日2005年12月7日 申請日期2003年10月8日 優先權日2002年10月16日
發明者J·C·葉, M·范德沙爾 申請人:皇家飛利浦電子股份有限公司