純三維全相位濾波方法

2023-07-07 05:02:21

專利名稱：純三維全相位濾波方法
技術領域：
本發明屬於三維圖像處理技術領域，具體而言，涉及一種三維數位訊號的濾波方法。
背景技術：
目前靜態圖像和視頻圖像國際編碼標準JPEG和MPEG2，MPEG4-AVC(H.264)以及我國視頻編碼標準AVS均以離散餘弦變換(DCT)作為去除空間相關性的核心技術，由於DCT變換的分塊處理特性，導致了解壓圖像或視頻圖像的方塊化效應，這是以DCT變換為核心技術的編碼方案的固有缺陷。而以小波變換為核心技術的靜態圖像和視頻編碼可以有效地解決方塊化效應，如靜態圖像編碼國際標準JPEG2000不論在壓縮率還是在恢復圖像質量方面都遠遠超過JPEG標準，在國際化標準組織徵集的新一代可分級視頻編碼標準中有2/3是基於小波變換的提案，其中5/6的提案是以三維小波變換作為去除數據時空相關性的核心技術，可以預見，以三維小波變換為核心技術的視頻編碼標準是未來視頻編碼的主流。提案中的三維小波變換是通過張量積構造的可分離三維小波變換，即對時間維、空間行和空間列分別進行一維小波變換，雖然保持了一維小波變換在運算量方面的優點但是導致了一個嚴重的缺陷，子帶分解與人類視覺特性相違背，這對編碼是極為不利的。事實上，處理三維信號用純三維方法更為合理，而通過變換方法把一維濾波器組或純二維濾波器組轉化成的純三維濾波器組的子帶分解仍與人類視覺特性不符。本發明基於全相位變換理論，設計一類完全重建純三維小波濾波器組，深入挖掘全相位理論在數據壓縮方面的潛能。本發明的支持基金為天津高等學校科技發展基金項目(No20051209)。

發明內容
本發明的目的是克服現有技術的上述不足，提供一種完全重建的純三維小波濾波方法，從而使三維視頻信號的處理更接近人類視覺特性，可以用於子帶濾波、去噪以及信噪比和時/空解析度同時可分級的視頻編碼等場合。
為此，本發明採用如下的技術方案一種利用純三維全相位濾波器組實現的純三維小波濾波方法，包括下列步驟(1)根據下列公式，構造純三維全相位半帶濾波器Q(m，n，l)沿坐標軸正方向的濾波係數，其他方向的係數通過對稱延拓得到Q(m，n，l)＝(G(m，n)F(m，n，l)GT(m，n))GT′(m，n)，0≤m，n，l ≤N-1式中，F(m，n，l)為純三維列率響應向量，G(m，n)為全相位列率變換矩陣，″T″表示轉置；(2)再根據純三維全相位半帶濾波器Q沿構造預測算子(P)和更新算子(U)；
(3)利用移位算子將數字視頻信號的幀組沿時間方向移位，再利用抽取器(M)，對原幀組和移位後的幀組進行空間五株抽取處理。
(4)利用由純三維全相位半帶濾波器構造的預測算子P和更新算子U進行預測和更新，實現對三維數位訊號的純三維子帶分解，每一級分解把頻域空間劃分為純三維低頻和純三維高頻兩個子帶。
在上述的技術方案中，通過預測算子P和更新算子U的旋轉內插濾波可以實現對三維數位訊號的純三維多級分解。
下面給出作為全相位列率變換矩陣G(m，n)的幾個具體形式。
一種是令C為DFT正交矩陣，且C(m，n)＝e-j2πmn/N，(m，n＝0，1，…，N-1)，則G(m，n)＝[w(m，n)][C*(m，n)]，0≤m，n≤N-1式中w(m,n)=diag[N,N-1,,1]1NN.]]>另一種是G(m,n)=1/Nm=0,0nN-1N-m+2-1N2cosm(2n+1)2N1mN-1,0nN-1.]]>第三種是G(m，n)＝[Sk×k][Vk×k]，0≤m，n≤N-1，N＝2k式中，Vkk=1m=g(n)0others,]]>g(n)表示對n的二進碼進行格雷-倒序運算，S(k+1)(k+1)=14(2Ik,k+Kk,k)Skk(2Ik,k-Kk,k)SkkSkk-Skk,]]>S0×0＝1，Ik，k為單位陣，倒序矩陣Kkk(m,n)=1m+n=N0other.]]>本發明提供的純三維全相位濾波方法，或稱之為純三維小波濾波方法，具有完全重建性，純三維子帶分解更適合人類的視覺特性，子帶數和分解級數n的關係為n+1，即數據結構為2叉樹，與傳統的可分離三維子帶分解的8叉樹數據結構完全不同，2叉樹數據結構簡單，理論成熟，有利於變換域數據的壓縮編碼。其提升格式實現，以及算子環上的係數特徵可以使運算量大大減小。純三維全相位濾波器組不僅具有可分離三維小波濾波器組在緊支撐、線性相位、消失矩等方面的優點，還具有更適合人類視覺特性的頻譜分解，消除了DCT方法中的塊效應，P算子和U算子係數的對稱性使運算量大幅度減小。利用本發明提供的濾波方法實現的視頻編碼方案，適用於高清晰電視(HDTV)，多媒體網絡視頻。與目前具有裡程碑標誌的H.264視頻編碼器相比將具有相當的競爭力。


圖1當N＝2時，點Z(0，0，0)的全相位空間的三維空間表示(圖中小立方體的中心為數據所在的空間位置)。圖1(a)為Z0，0，0，圖1(b)為Z0，0，1，圖1(C)為Z1，1，1。
圖2純三維全相位濾波結構，圖2(a)為提升格式的濾波實現示意圖，圖2(b)為提升格式的完全重建實現示意圖。
圖3空間五株採樣結構。
圖4尺寸為3×3×3的P算子濾波或U算子濾波實現示意圖。
圖5一級三維可分離子帶分解頻域剖分圖。
圖6一級純三維子帶分解頻域剖分圖。
具體實施例方式
下面通過附圖和實施例對本發明做進一步詳述。
首先對純三維全相位半帶濾波器的結構做介紹。數字視頻信號中的點可以表示為Z(m，n，l)，l表示幀，當l取定某一值時，m，n分別表示在這一幀上的行方向和列方向。對於點Z(m，n，l)，存在包含該點的N3個尺寸為N×N×N的不同的三維數據塊，即 0≤i，j，k≤N-1式中，分塊矩陣從上到下的順序表示幀序號由大變小，是三維數據的二維表達。這些數據塊組成包含該點的全相位空間。
例如，對三維數位訊號中的點Z(0，0，0)，當N＝2時，包含點Z(0，0，0)的全相位空間由8個尺寸為2×2×2的三維數據塊構成。圖1為數據塊相對應的三維空間表示。
Z0,0,0=[x(-1,-1,0)x(-1,0,0)x(0,-1,0)x(0,0,0)x(-1,-1,-1)x(-1,0,-1)x(0,-1,-1)x(0,0,-1)]]]>Z0,0,1=[x(-1,-1,1)x(-1,0,1)x(0,-1,1)x(0,0,1)x(-1,-1,0)x(-1,0,0)x(0,-1,0)x(0,0,0)]]]>…Z1,1,1=[x(0,0,1)x(0,1,1)x(1,0,1)x(1,1,1)x(0,0,0)x(0,1,0)x(1,0,0)x(1,1,0)]]]>
對每個數據塊Zi，j，k進行三維列率濾波，輸出矩陣Yi，j，k為Yi，j，k＝{[C*[[F]·(([C][Zi，j，k][C*])[C*]′)][C]}[C]′(1)式中，C為正交變換矩陣，F為純三維列率響應向量，″*″表示共軛轉置，″·″表示純三維矩陣對應元素相乘，″，″表示在l方向上對數據塊進行處理。
對應同一點Z(m，n，l)存在N3個可能的濾波值Yi，j， k(N-1-i，N-1-j，N-1-k)，0≤i，j，k≤N-1。為消除截取相位不同對濾波值的影響，取這些可能的濾波值的均值做為Z(m，n，l)的全相位濾波響應，記為Y(m，n，l)。點Z(m，n，l)的全相位濾波也可在時域中用傳統的FIR濾波器的卷積形式實現，即Y(m，n，l)＝Q(m，n，l)*Z(m，n，l)(2)式中Q即為純三維FIR全相位濾波器，它具有零相位特性，其沿坐標軸正方向的係數為Q(m，n，l)＝(G(m，n)F(m，n，l)GT(m，n))GT′(m，n)，0≤m，n，l≤N-1(3)式中，G(m，n)為全相位列率變換矩陣，″T″表示轉置，″，″表示同上文。Q(m，n，l)的其它係數可以通過對稱延拓得到，對應不同正交變換的G(m，n)解析表達式見下文。
①當C為DFT正交矩陣時，即C(m，n)＝e-j2πmn/N，(m，n＝0，1，…，N-1)時，G(m，n)＝[w(m，n)][C*(m，n)]，0≤m，n≤N-1式中w(m,n)=diag[N,N-1,,1]1NN]]>②當C為為IDCT正交矩陣，即CT(m,n)=1Nn=0,0mN-12Ncosj(2i+1)2N1nN-1,0mN-1]]>時，G(m,n)=1/Nm=0,0nN-1N-m+2-1N2cosm(2n+1)2N1mN-1,0nN-1]]>③當C為DWT正交矩陣為DWT時，C的遞歸表示公式為C(k)=C(k-1)C(k-1)C(k-1)-C(k-1),]]>k＝1，2，…，n，C(0)＝1，n＝log2NG(m，n)＝[Sk×k][Vk×k]，0≤m，n≤N-1，N＝2k
式中，Vkk=1m=g(n)0others,]]>g(n)表示對n的二進碼進行格雷-倒序運算，S(k+1)(k+1)=14(2Ik,k+Kk,k)Skk(2Ik,k-Kk,k)SkkSkk-Skk,]]>S0×0＝1，Ik，k為單位陣，倒序矩陣Kkk(m,n)=1m+n=N0other.]]>下面參見圖2對本發明的三維數位訊號純三維濾波方法所採用的基於提升格式構造的純三維濾波結構(純三維濾波器組)進行說明，圖中ejω3和e-jω3為移位算子，↓M和↑M為空間五株抽取和內插因子，對幀組的空間五株採樣結構如圖3所示。預測算子P和更新算子U可以由不同尺寸、不同種類的純三維全相位半帶濾波器構造而得。
空間五株採樣結構從二維圖像五株採樣結構引申而來，先將幀組沿時間方向移位，利用提升格式中的抽取器M，例如M=101-1-110-10,]]>對原幀組和移位後的幀組進行抽取，都只保留圖3中黑色位置處的值(即只保留幀組中的點Z(m，n，l)，其中m+n+l為偶數)，抽取後兩通道的數據量各為原始幀組數據量的一半，因而保持了數據總量不變。
再經過P算子的預測和U算子的更新，可以去除幀組數據的時空相關性，使高頻子帶係數大部分都為零，低頻子帶的頻率特性更加平滑，這樣有利於壓縮編碼。歸一化係數K0＝K1＝可以使純三維全相位濾波器對應的小波和對偶小波形成標準雙正交基；K0＝1，K1＝1/2時則可用於無損壓縮。如此反覆進行這種預測與更新過程，即提升與對偶提升，便可得到多級子帶分解。幀組數據的重構就是預測與更新的逆過程。這種提升結構可以保證重構後的數據與原始幀組數據完全相同。
P算子的構造方法見下文。
令三維列率響應向量F為F(m,n,0)=1111111111101100]]>F(m,n,1)=1111111011001000]]>F(m,n,2)=1110110010000000]]>F(m,n,3)=1100100000000000]]>0≤m，n≤3當正交變換矩陣為DWT時，可以得出純三維全相位半帶器的單位脈衝響應Q(m，n，l)
Q(m,n,0)=110240-80480-80-80-240-240-80-2402720-24048027210242720480-2402720-240-80-240-240-80-80480-80]]>Q(m,n,1)=1102410-50-5010200-240200-50-550-550-50-2402720-240-50-550-550-50200-24020010-50-501]]>Q(m,n,2)=110240-40-80-40-40200200-40200-240200-80-240-240-80200-240200-40200200-40-40-80-40]]>Q(m,n,3)=1102430101030-40-80-4010-50-5010-80480-8010-50-5010-40-80-403010103]]>按照上述抽取方式，根據上述Q值構造出的P算子如下。通過類似的方法可以得到U算子。
P(m,0,n)=11024-8-848-24-2448-8-24272272-24-8-8-24272272-24-848-24-2448-8-8]]>P(m,1,n)=110241-520-5-5-24-55-24-5120-55272-55201-5-24-55-24-5-520-51]]>P(m,2,n)=11024-4-4-82020-8-420-24-2420-4-420-24-2420-4-82020-8-4-4]]>P(m,3,n)=1102431-411-8-5-813-4-548-5-431-8-5-811-413]]>利用P算子和U算子進行預測更新的硬體或軟體實現方法如圖4所示，網格的交叉點表示數字視頻信號的像素值，空心圈表示P算子的值，兩者做乘法，把所有的乘積再做加法，得到的值作為實心圈位置處的值，(即為對三維數位訊號做卷積運算)。
本發明提供的純三維全相位濾波方法，基於全相位變換理論，有關該理論的完善和應用研究方面的國內外文獻和專利申請已經多有報導。本領域的普通技術人員根據本專利申請所公開的內容，完全可以用計算機軟體或用DSP編程實現，也可以利用加法器、乘法器等硬體實現。
純三維的子帶分解與傳統的可分離子帶分解完全不同，二者一級子帶分解頻域剖分分別如圖5，6所示。仿真試驗顯示三級子帶分解後，僅用低頻子帶係數恢復的視頻圖像與原始幀組的視覺效果相當，可見純三維全相位濾波器組在去除數據相關性方面有相當的優越性，再配以適合人類視覺特性的子帶量化方法、最佳率失真編碼(ECBOT)方法、信噪比和時/空完全可分級編碼方法而形成的實用視頻編碼方案與現有的視頻編碼方案相比將會有相當的競爭力。
權利要求
1.一種純三維全相位濾波方法，包括下列步驟(1)根據下列公式，構造純三維全相位半帶濾波器Q(m，n，l)沿坐標軸正方向的濾波係數，其他方向的係數通過對稱延拓得到Q(m，n，l)＝(G(m，n)F(m，n，l)GT(m，n))GT′(m，n)，0≤m，n，l≤N-1式中，F(m，n，l)為純三維列率響應向量，G(m，n)為全相位列率變換矩陣，″T″表示轉置；(2)再根據純三維全相位半帶濾波器Q構造預測算子(P)和更新算子(U)；(3)利用移位算子將數字視頻信號的幀組沿時間方向移位，再利用抽取器(M)，對原幀組和移位後的幀組進行空間五株抽取處理。(4)利用由純三維全相位半帶濾波器構造的預測算子P和更新算子U進行預測和更新，實現對三維數位訊號的純三維子帶分解，每一級分解把頻域空間劃分為純三維低頻和純三維高頻兩個子帶。
2.根據權利要求1所述的純三維全相位濾波方法，其特徵在於，通過預測算子P和更新算子U的旋轉內插濾波實現對三維數位訊號的純三維多級分解。
3.根據權利要求1所述的純全相位濾波方法，其特徵在於，令C為DFT正交矩陣，C(m，n)＝e-j2πmn/N，(m，n＝0，1，…，N-1)，則G(m，n)＝[w(m，n)][C*(m，n)]，0≤m，n≤N-1式中w(m,n)=diag[N,N-1,,1]1NN.]]>
4.根據權利要求1所述的純三維全相位濾波方法，其特徵在於，G(m,n)=1/Nm=0,0nN-1N-m+2-1N2cosm(2n+1)2N1mN-1,0nN-1.]]>
5.根據權利要求1所述的純三維全相位濾波方法，其特徵在於，G(m，n)＝[Sk×k][Vk×k]，0≤m，n≤N-1，N＝2k式中，Vkk=1m=g(n)0others,]]>g(n)表示對n的二進碼進行格雷-倒序運算，S(k+1)(k+1)=14(2Ik,k+Kk,k)Skk(2Ik,k-Kk,k)SkkSkk-Skk,]]>S0×0＝1，Ik，k為單位陣，倒序矩陣Kkk(m,n)=1m+n=N0other.]]>
全文摘要
本發明屬於三維圖像處理技術領域，提供一種純三維全相位濾波方法，該方法基於全相位半帶濾波器、提升格式和空間五株抽取和內插器實現，可以實現對三維數位訊號的純三維子帶分解，每一級分解把頻域空間劃分為純三維低頻和純三維高頻兩個子帶，通過預測算子和更新算子的旋轉內插濾波可以實現對三維數位訊號的純三維多級子帶分解。其優點是該方法是完全重建的，純三維子帶分解更適合人類的視覺特性。
文檔編號H04N7/30GK101035283SQ20071005696
公開日2007年9月12日 申請日期2007年3月21日 優先權日2007年3月21日
發明者徐妮妮, 王麗寧, 王兆華 申請人:天津工業大學