一種具有類框架小波結構的小波域運動估計方案的製作方法

2023-05-23 11:22:01

專利名稱：一種具有類框架小波結構的小波域運動估計方案的製作方法
技術領域：
本發明提出適用於視頻編碼領域的一種具有類框架小波結構的小波域運動估計方案，這種方案採用兩個新的方法雙通道高通濾波方法(2-Channel High-Pass Filtering，簡稱TCHPF)和子帶自適應中心搜索點預測方法(Subband-Adapted Central Searching Point Prediction，簡稱SACSPP)。本算法不僅提高了小波域運動估計的精度，而且有效的降低了計算複雜度。
背景技術：
自從1989年S.G Mallat將小波變換用於多解析度圖像描述以來，小波變換(DiscreteWavelet Transform簡稱DWT)就以其所具有的多解析度分析特性和對人類視覺系統的適應性受到越來越廣泛的重視，已經成為一種重要的圖像、視頻編碼方法，取得了很好的效果。
在視頻序列編碼過程中，通常採用運動估計(ME)降低時間相關性。然而在小波視頻編碼器中，小波分解過程存在下採樣(Down-Sampling)和像素濾波處理，使得小波係數存在位移可變性(Shift-Variance)，這種特性嚴重影響了ME精度，降低了編碼器性能。因此，小波視頻編碼中高效運動估計算法的研究是一項具有挑戰性的研究課題。
近年來，研究者提出了多種小波域運動估計方法。1992年Y.Zhang等提出了小波域多解析度運動估計方法(Multi-Resolution Motion Estimation，簡稱MRME)(Motion-compensatedwavelet transform coding for color video compression.IEEE Trans.Circuit and System on VideoTechnology，Sept.1992，3(3)285-296)。但是這種方法沒有消除DWT的位移可變性，使得運動估計精度較低，影響了編碼效率。
2000年H.Park等提出了低頻子帶平移(Low-Band-Shift，簡稱LBS)方法(Wavelet-basedmoving-picture coding using shift-invariant motion estimation in wavelet domain.SignalProcessingImage Communication，Apr.2001，16(7)669-679)。LBS方法消除了下採樣的影響，避免了位移可變性，因而提高了運動估計和補償的精度。然而由於LBS方法需要大量的小波分解、運動矢量搜索及係數平移，導致計算量過高，所需存儲單元過多。例如3級變換時，LBS要10幀存儲單元，而MRME僅需要1幀，限制了LBS方法的實時應用。
此外運動估計過程中，通常使用全搜索方法(Full-Search，簡稱FS)搜索最佳匹配塊，FS方法可以得到特定失真準則下的最優解，但是計算量大。為此研究者提出了多種快速搜索方法，預測搜索方法(Prediction Searching，簡稱PS)和三步搜索方法(Three-Step-Searching，簡稱3SS)(Tabatabai A J，Jasinschi R S，Naveen T.Motion estimation methods for video compression-areview，J.Franklin Inst.，Nov.1998，335(8)1411-1441)就是兩種有效的方法。然而，在小波域運動估計中，不同頻率、方向、變換級的小波信號具有不同的特點，如果使用相同的預測方法，會影響預測的精確性。

發明內容
為了滿足視頻編碼中對運動估計精度和計算複雜度的要求，本發明提出了一種具有類框架小波結構的小波域運動估計方案，這種方案採用兩個新的方法雙通道高通濾波方法(TCHPF)和子帶自適應中心搜索點預測方法(SACSPP)。其中TCHPF方法建立了一種具有類似於框架小波的變換結構，採用雙通道高頻濾波消除下採樣的影響，有效地降低了高頻信號上的位移可變性，提高了小波域運動估計的精度。而SACSPP方法將充分挖掘係數間的相關性，在分析不同頻率、不同子帶小波係數的特點的基礎上，針對低頻子帶和高頻子帶，採用不同的搜索點預測方法，從而減少計算量，實現快速運動估計。
有益效果以一維信號為例證明本算法的有效性。設信號x1[n]和一個像素平移信號x2[n]＝x1[n-1]，使用DWT對x1[n]進行分解，而使用TCHPF方法對x2[n]進行分解，分別得到圖1所示高頻信號。對比相應的高頻信號，dx1，0(1)和dx2，1(1)以及dx1，0(2)和dx2，1(2)具有較強的相似性，說明TCHPF可以降低位移可變性對高頻係數的影響。
採用TCHPF和SACSPP方法，同MRME和LBS方法進行實驗比較。實驗中小波變換採用雙正交(9，7)小波基，2級小波變換。子帶塊的尺寸將隨小波變換級作相應的改變。實驗中設第j級子帶塊尺寸為(16/2j)×(16/2j)。為了直接比較各種運動估計算法的性能，將原始序列作為參考幀，進行運動估計，將預測幀的峰值信噪比(PSNR)和計算量作為性能衡量參數。
實驗1，比較了TCHPF，MRME和LBS三種方法得到的預測幀的PSNR。實驗結果TCHPF方法部分消除了位移可變性，因此預測幀PSNR介於其他兩種方法之間，比MRME方法平均高1.22dB，但比LBS方法低0.46dB。
實驗2，比較了SACSPP，PS和3SS方法快速搜索的性能。應用快速搜索方法後，相應的預測幀峰值信噪比比用FS方法時下降了0.08dB-0.8dB，對於大部分測試序列，SACSPP方法得到的預測幀質量比PS方法和3SS方法得到的預測幀質量高0.1dB-0.5dB。說明SACSPP方法比其他快速運動估計方法更有效。
通過理論計算，可以比較不同方法的計算量。一般小波域運動估計的計算量主要集中在兩大部分小波變換和搜索。以兩級小波變換為例，TCHPF方法所需小波變換過程的計算量僅為LBS方法的31.45％。搜索匹配過程中，SACSPP方法的計算量僅為FS方法計算量的9.3％左右。綜合考慮小波變換和搜索兩個過程，本發明所提出方法的計算量比LBS方法減少了93.45％。
圖2是「Football」序列前50幀編碼結果。圖3是「Football」視頻序列第20幀採用不同運動估計算法得到的預測幀。可以看到，新算法保持了較好的主觀質量。


下面結合附圖對本發明專利進一步說明圖1原始信號和一像素平移信號小波分解後高頻信號比較。
圖中(a)x1[n]第一級高頻信號dx1，0(1)；(b)x1[n]第二級高頻信號dx1，0(2)；(c)x2[n]第一級高頻信號dx2，0(1)，dx2，1(1)；(d)x2[n]第二級高頻信號dx2，0(2)，dx2，1(2)。
圖2「Football」序列前50幀編碼結果。
圖3具有類框架結構的TCHPF方法框圖。
圖中x[n]表示一維輸入信號，H0表示低通濾波器，H1，0和H1，1表示所設計的兩個高通濾波器，-2表示2倍下採樣，cx(j)和dx，n(j)表示x信號第j級低頻係數、n方式下第j級高頻信號。
圖4具有類框架小波結構的的小波域運動估計方案框圖。
圖中1.參考幀，2.當前幀，3.基於TCHPF方法的變換，4.離散小波變換，5.參考幀低頻子帶，6.當前幀低頻子帶，7.塊運動估計，8.參考幀高頻子帶，9.當前幀高頻子帶，10.塊運動估計，11.低頻塊運動矢量預測相應位置高頻塊運動矢量。
圖5圖像兩級小波分解。
圖中(a)當前幀使用DWT分解；(b)參考幀使用TCHPF方法分解。
圖中『L』表示低通濾波器、『H』表示DWT中的高通濾波器、『H0』和『H1』表示TCHPF方法中的兩個高通濾波器，每一個方框內的標註表示該子帶是由相應的濾波器濾波得到的，如LL表示由低通濾波器得到的低頻子帶，H0H0表示水平、豎直方向由H0濾波器濾波得到的子帶。
圖6低頻子帶子帶塊中心搜索點預測。
圖中灰色塊表示參考塊，白色塊表示當前估計塊，0-3表示4個與當前塊有運動關係的參考塊。
圖7位於不同高頻子帶的子帶塊運動矢量預測模式。
圖中灰度塊表示與當前塊運動相關性較高的鄰居塊，白色塊表示當前塊，LH、HL、HH分別表示豎直、水平和傾斜方向的子帶。
圖8高頻子帶子帶塊中心搜索點預測。
圖中(a)CHS預測方式；(b)FHS預測方式。其中灰色塊表示參考塊，白色塊表示當前塊。(a)圖中0-3表示與當前塊運動相關性高的參考塊，(b)圖中0-4表示與當前塊運動相關性高的參考塊。
具體實施例方式
1.TCHPF方法TCHPF採用一種類似於框架小波的結構，包含兩個具有一定關係的高通濾波器，它們形成一種互補關係，其中一個通道所得到的高頻係數正是另一個通道由於下採樣過程所丟棄的係數。因此TCHPF方法消除了下採樣過程對高頻係數的影響，從而減少了高頻信號的位移可變性。使得利用TCHF方法的運動估計可以在小波域內更精確地進行。
具有類框架結構的TCHPF方法框圖如圖3所示，每一級變換將包括雙通道高通濾波過程。H0表示分析低通濾波器(Analysis Low-Pass Filter)，H1，0和H1，1表示兩組分析高通濾波器(Analysis High-Pass Filter)。H1，1應滿足H1，1(ω)＝e-iω·H1，0(ω) (1)經過TCHPF處理，每一級得到三個小波信號，低頻信號cx(j)、高頻信號dx，0(j)和dx，1(j)。可以發現，dx，1(j)正是H1，0濾波通道由於下採樣所丟棄的係數。因此經過雙通道高通濾波，TCHF方法消除了下採樣對高頻信號的影響。從而降低了高頻信號部分的位移可變性。實際應用中，H0和H1，0可以由相應的DWT分析濾波器構成(H0為分析低通濾波器，H1，0為分析高通濾波器)，而H1，1相當於H1，0的平移。
如圖4所示，利用TCHF方法的小波域運動估計和補償方案按以下步驟進行1)使用DWT(4)對當前幀(2)進行分解，使用TCHPF(3)對參考幀(1)進行分解，分別得到圖5所示的小波子帶；2)稱運動估計的塊為子帶塊，對低頻、高頻子帶進行塊運動估計，子帶塊的尺寸按小波變換級而相應的調整。利用塊運動估計(7)直接對低頻子帶(5、6)進行運動估計；3)對高頻子帶(8、9)進行運動估計(10)時，當前幀內每一個高頻子帶對應多個參考子帶，如LH對應LH0和LH1，HL對應HL0和HL1，HH對應H0H0、H0H1、H1H0、H1H1。
使用平均絕對誤差函數(MAD)作為運動估計中的代價函數，則對於高頻子帶進行運動估計時的代價函數可以表示如下
MAD(x,y)(dx,dy,i)=1MNm=0M-1n=0N-1|Ic(x+m,y+n)-Ir(i)(x+m-dx,y+n-dy)|---(2)]]>其中(x，y)表示子帶塊在子帶中的位置；M×N表示子帶塊大小；Ic和Ir(i)表示當前高頻子帶和第i個參考高頻子帶。通過計算每一個參考子帶中每一個搜索位置的MAD，比較得到最小值，相應的(dx，dy，i)作為當前高頻子帶塊的運動信息，其中dx、dy表示水平和豎直方向位移，i表示運動矢量來自於哪一個參考子帶。
高頻塊運動估計時，可以使用低頻塊運動矢量進行預測；4)利用運動矢量和相應的參考子帶預測當前幀小波係數，然後得到殘差係數，並對這些係數進行量化、編碼；5)運動補償時，使用TCHPF方法對參考幀進行分解，得到低頻和高頻子帶，利用運動矢量預測當前幀小波係數，加上殘差係數後進行小波反變換，得到重構圖像，並將這一重構圖像作為下一幀的參考幀。
2.SACSPP方法利用全搜索算法可以得到特定失真準則下的最優解，但是要消耗編碼器大部分運算時間。現有的快速運動估計算法一般都是針對空域運動估計提出的，然而，不同頻率、方向、變換級的小波係數具有各自的特點。傳統的空域快速運動估計算法並不滿足不同小波子帶的特點，直接使用不能達到很好的效果。提出一種適應於小波域運動估計的子帶自適應中心搜索點預測算法(SACSPP)，針對低頻子帶和高頻子帶採用不同的搜索點預測方式。
1)低頻子帶中心搜索點預測對於低頻子帶塊，存在空間—時間相關性，利用前一幀相同空間位置子帶塊和同一幀中相鄰子帶塊運動矢量加權後的平均值預測當前子帶塊的搜索中心(即初始運動矢量)。圖6是搜索中心預測示意圖。按圖中參考子帶塊標號0至3的順序，相應的加權係數為0.15，0.3，0.3，0.25。
2)高頻子帶中心搜索點預測由於受位移可變性的影響，相鄰幀高頻子帶的運動相關性很低。因此不能利用相鄰幀相同空間位置的高頻子帶塊的運動矢量預測當前子帶塊運動矢量。
高頻子帶可以分成兩類，一類是較精細級高頻子帶(Finer High-Frequency SubbandFHS)，另一類是最粗糙級高頻子帶(Coarsest High-Frequency SubbandCHS)。對於J級小波變換，則1～J-1級高頻子帶屬於FHS。第J級小波變換高頻子帶屬於CHS。由於子帶塊的方向性特點，具有較高運動相關性的鄰居子帶塊位置也不相同，如圖7所示。
對於CHS子帶塊，由於不存在更粗糙級高頻子帶，僅利用低頻子帶中相應空間位置子帶塊和鄰居子帶塊的運動矢量的加權平均值預測當前子帶塊初始運動矢量。如圖8(a)所示，按圖中標號0-3順序，相應的加權係數分別為1/3，1/6，1/3，1/6。
對於FHS子帶塊，當前子帶塊運動矢量的初始值利用低頻子帶相同空間位置子帶塊(對於J級小波變換，如果當前子帶塊處於第j級，相應低頻子帶塊運動矢量的2J-j倍作為預測值)、上一級相應位置子帶塊(相應運動矢量的2倍作為預測值)、鄰居子帶塊的運動矢量進行預測。如圖8(b)所示，按圖中標號0-4順序，相應的加權係數分別為1/3，1/6，1/6，1/6，1/6。
結合TCHPF方法和SCASPP方法可以構建高效的小波域運動估計方案。
權利要求
1.一種具有類框架小波結構的小波域運動估計方案，其特徵是具有類框架小波結構，採用雙通道高通濾波方法，通過增加冗餘信息消除離散小波變換的位移可變性，提高小波域運動估計的精度；採用子帶自適應中心搜索點預測方法(SACSPP)，減少計算量，實現快速運動估計。
2.根據權利要求1所述的具有類框架小波結構的小波域運動估計方案，其特徵是雙通道高通濾波方法包含兩個具有一定關係的高通濾波器，它們形成一種互補關係，其中一個通道所得到的高頻係數正是另一個通道由於下採樣過程所丟棄的係數，因此減少了離散小波信號存在的混疊效應，消除了離散小波變換所存在的位移可變性，提高小波域運動估計的精度。
3.根據權利要求1所述的具有類框架小波結構的小波域運動估計方案，其特徵是子帶自適應中心搜索點預測方法通過一種子帶自適應中心搜索點預測算法，針對不同頻率、不同子帶小波係數採用不同的搜索點預測方法，從而減少計算量，實現快速運動估計。
4.根據權利要求1、3所述的具有類框架小波結構的小波域運動估計方案，其特徵是子帶自適應中心搜索點預測算法對低頻子帶利用前一幀相同空間位置子帶塊和同一幀中相鄰子帶塊運動矢量加權後的平均值預測當前子帶塊的搜索中心；對高頻子帶則分成兩類一類是較精細級高頻子帶，另一類是最粗糙級高頻子帶，前一類利用低頻子帶中相應空間位置子帶塊和鄰居子帶塊的運動矢量的加權平均值預測當前子帶塊初始運動矢量，後一類利用低頻子帶相同空間位置子帶塊、上一級相應位置子帶塊、鄰居子帶塊的運動矢量進行預測。
全文摘要
本發明提出了適用於視頻編碼領域的一種具有類框架小波結構的小波域運動估計方案，這種方案採用兩個新的方法雙通道高通濾波方法(2－Channel High－Pass Filtering，TCHPF)和子帶自適應中心搜索點預測方法(Subband－Adapted Central Searching Point Prediction，SACSPP)。其中TCHPF方法建立了一種具有類似於框架小波的變換結構，採用雙通道高頻濾波消除下採樣的影響，有效地降低了高頻信號上的位移可變性，提高了小波域運動估計的精度。而SACSPP方法將充分挖掘係數間的相關性，在分析小波不同子帶係數的特點的基礎上，針對低頻子帶和高頻子帶採用不同的搜索點預測方法，從而減少計算量，實現快速運動估計。
文檔編號G06T9/00GK1794813SQ20051011475
公開日2006年6月28日 申請日期2005年10月27日 優先權日2005年10月27日
發明者凃國防, 張磊, 張燦 申請人:中國科學院研究生院