基於視覺注意的宏塊層比特分配優化方法
2023-11-03 05:58:02
基於視覺注意的宏塊層比特分配優化方法【專利摘要】本發明提供了基於視覺注意的宏塊層比特分配優化方法，其包括以下步驟：步驟1、判斷宏塊屬於前景區域還是背景區域，檢測出運動區域；步驟2、使用梯度來檢測結構紋理區域；步驟3、宏塊層目標比特分配。本發明分析了HVS視覺注意特性的基礎上，首先通過參考幀中宏塊的運動矢量，結合幀間差分法及當前宏塊的位置，提取圖像中引起視覺注意的運動區域，然後採用平均梯度檢測紋理區域，根據圖像中宏塊所在區域，優化宏塊的目標比特分配。本文提出的算法取得了與JVT-G012算法相當的編碼圖像質量，減少了視頻序列PSNR的波動，使編碼圖像整體保持了穩定的客觀質量，同時也取得較好的編碼圖像主觀質量。【專利說明】基於視覺注意的宏塊層比特分配優化方法【
技術領域：
】[0001]本發明屬於視頻處理【
技術領域：
】，提供了基於視覺注意的宏塊層比特分配優化方法。【
背景技術：
】[0002]在H.264/AVC中，通常以客觀標準(如峰值信噪比，PSNR)來評價壓縮後的視頻質量，客觀質量評定方法具有速度快、易實行的特點，但其結果往往不太符合人眼的主觀視覺感受，只能反應視頻大體上的質量情況。視覺心理學研究表明，人類視覺系統（HVS)對圖像和視頻的主觀感知受到亮度、對比度、顏色、紋理、運動和位置等多種因素影響，並存在空間、時間和彩色的掩蓋效應。在一個複雜的視覺場景中，人眼的注意力迅速被場景中感興趣的區域所吸引，並優先處理這些信息，這個過程稱為視覺注意。對視覺注意機制的研究表明，人眼在觀看視頻圖像時，視覺注意力往往不是均勻分布在整幅圖像中，而是集中在其中的某些部分，對這部分的圖像失真也更加敏感。因此在視頻編碼過程中，可以結合HVS的視覺注意機制，對人眼注意力集中的區域分配較多的目標比特，以獲得更好的視頻質量，而對人眼處理優先級較低，不容易引起注意的區域分配較少的目標比特，提高視頻編碼效率。[0003]目前已有一些基於HVS特性的視頻編碼技術，這些編碼方法利用視覺心理學和生理學領域取得的成果，通過優化吸引人眼注意力分布區域中宏塊的目標比特，提高了編碼效率並取得了較好的主觀視覺質量。文獻H.Li,Ζ·B.Wang,H.J.Cui,K.Tang,AnimprovedROI-basedratecontrolalgorithmforH.264/AVC,IEEEICSP2(2006)16-20.；Y.Liu,Z.G.Li,Y.C.Soh,Μ.H.Loke,ConversationalvideocommunicationofH.264/AVCwithregionofinterestconcern.IEEEICIP(2006)3129-3132.基於感興趣區域（regionofinterest，R0I)進行視頻編碼，通過對視頻圖像中對象的膚色、人臉、手部進行檢測和跟蹤來提取R0I，由於這些方法中的R0I是對特定的視頻內容進行提取得到的，其應用場景受到限制。文獻ChenZZ,HanJW，NganKN(2006)Dynamicbitallocationformultiplevideoobjectcoding.IEEETransMultimed8(6):1117-1124.YangL,ZhangL,MaS,ZhaoD(2009)AR0Iqualityadjustableratecontrolschemeforlowbitratevideocoding.PictureCodingSymposium,Chicago,USA,May.06-08.根據視頻序列中不同的對象分配目標比特，這種基於對象的編碼方法比基於R0I的方法更加靈活，但是要有效地區分並提取視頻序列中的不同對象，需要很高的計算複雜度，不適合實時視頻編碼傳輸。本章通過分析影響視覺注意的主要因素，提出快速檢測視覺注意區域的方法，通過優化在不同區域中宏塊的目標比特分配，提高編碼圖像的主客觀質量。【
發明內容】[0004]本發明的目的在於提供一種H.264/AVC視頻編碼中基於視覺注意的宏塊層比特分配優化方法[0005]為了實現上述目的本發明採用以下技術方案：[0006]基於視覺注意的宏塊層比特分配優化方法，其特徵在於包括以下步驟：[0007]步驟1、判斷宏塊屬於前景區域還是背景區域，檢測出運動區域；[0008]步驟2、使用梯度來檢測結構紋理區域；[0009]步驟3、宏塊層目標比特分配。[0010]上述技術方案中步驟1具體為：[0011]將視頻序列一巾貞中包含ΜN個宏塊，第t巾貞中位置坐標為（i，j)的宏塊表不為MB(i，j)，其中i=0…M-l，j=0…N-1;由攝像機動作引起的背景運動具有很強的時間連續性，因此背景區域中宏塊的運動與前一幀中相同位置宏塊接近，而相鄰幀中前景區域中宏塊的運動明顯不同。當宏塊的運動注意強度MAI超過視覺注意強度閾THm時，該宏塊就被視為屬於前景區域，反之則屬於背景區域；[0012]即運動區域可通過式檢測得到：「π.、fl,ifMAItiuj)>THm[0013]MR{uj)^\[0,otherwise[0014]THm為視覺注意強度閾值：1M-\N-\_5]mSS興(i，y)[0016]宏塊的運動注意強度：【權利要求】1.基於視覺注意的宏塊層比特分配優化方法，其特徵在於包括以下步驟：步驟1、判斷宏塊屬於前景區域還是背景區域，檢測出運動區域；步驟2、使用梯度來檢測結構紋理區域；步驟3、宏塊層目標比特分配。2.根據權利要求1所述的基於視覺注意的宏塊層比特分配優化方法，其特徵在於步驟1具體為：將視頻序列一巾貞中包含MxN個宏塊，第t巾貞中位置坐標為（i，j)的宏塊表不為MB(i，j)，其中i=〇…M-l，j=0…N-l;當宏塊的運動注意強度MAI超過視覺注意強度閾THm時，該宏塊就被視為屬於前景區域，反之則屬於背景區域；即運動區域可通過式檢測得到：(1,ifMAIiiJ)>THm順/、/)=，Λm[0,otherwiseTHm為視覺注意強度閾值：宏塊的運動注意強度：上式中PIt(i，j)為宏塊的位置強度，式中，（xmc；，ym。）為當前宏塊中心像素的坐標，（xpc；，yp。）為當前幀中心像素的坐標，max為圖像邊緣到中心的最大距離；MIt(i，ii)為宏塊的運動強度：式中，MVxh(i，j)，MVyH(i，j)分別為前一幀中第（i，j)個宏塊的運動向量的水平和垂直分量；MI_為宏塊的平均運動強度：式中，It(m，n)和/_(瓜/7)分別為當前幀和前一幀中相同位置宏塊中，坐標為（m，η)像素的亮度值；1Λ/"_1Λ_1MSEave為宏塊的亮度平均差值：。3.根據權利要求1所述的基於視覺注意的宏塊層比特分配優化方法，其特徵在於步驟2具體為：當宏塊平均水平垂直梯度值Grad(i，j)大於閾值1?時，則將該宏塊作為結構紋理區域的宏塊，紋理區域通過式得到：宏塊平均水平垂直梯度表不為：式中，（i，j)為宏塊的位置坐標，表示宏塊中坐標為（m，n)的像素亮度值；〇4.根據權利要求1所述的基於視覺注意的宏塊層比特分配優化方法，其特徵在於，對宏塊層目標比特分配改進如下：式中，Ta(Uust(i，j)為當前宏塊調整後的目標比特數，Nmb為當前幀中宏塊的數量，Wi為宏塊的視覺注意權重因子，【文檔編號】H04N19/142GK104065962SQ201310514378【公開日】2014年9月24日申請日期:2013年10月28日優先權日:2013年10月28日【發明者】餘諒申請人:四川大學