一種基於時域預測的關注度提取方法
2023-08-07 02:43:11 2
專利名稱：一種基於時域預測的關注度提取方法
技術領域：
本發明屬於視頻分析領域，特別是涉及利用圖像特徵的關注度提取方法。
背景技術：
人類的視覺系統既要求有處理大量輸入信息的能力，又要求具有實時反應能力， 視覺心理學研究表明，在分析複雜的輸入景象時，人類視覺系統採取了一種串行的計算策 略，即利用選擇性注意機制，根據圖像的局部特徵，選取景象的特定區域，並通過快速的眼 動掃描，將該區域移到具有高解析度的視網膜中央凹區，實現對該區的注意，以便對其進行 更精細的觀察與分析。選擇性注意機制是人類從外界輸入的大量信息中選擇特定信息的一 個關鍵技術。如果能將這種注意機制引入視頻編碼中，提前標註出容易引起觀察者注意的 區域，則為感興趣區域編碼提供重要的支撐。 Itti等人提出的關注度圖(Saliency M即)方法充分利用了神經生理學中感受
野，側抑制神經網絡等研究成果，模擬了人的視覺注意力機制，認為像素與背景的對比是吸
引人注意的重要因素，並把這種對比定義為該點的關注值(saliency)。綜合考慮亮度、顏
色、方向、運動等多種特徵的關注值就得到視頻圖像的關注度圖。由於這種方法綜合了多種
視覺特徵，所以選取的注視點和人觀察圖像時的實際注視點比較吻合。 關注度圖(Saliency M即)是一幅表明圖像各點的關注性的二維圖像，關注度圖中
的點和輸入圖像的像素有拓撲上的對應關係。可以認為不同視覺特徵(如顏色、方向等)
對關注性有不同的貢獻，但它們之間沒有相互作用。對於視覺注意來說重要的是特徵的對
比，而不是特徵的局部的絕對值。使用不同尺度的高斯差函數(Difference of Gaussians)
對圖像的不同特徵濾波，把得到的各個特徵的響應求和，作為圖像中該點的關注值。 獲取關注度圖涉及亮度、顏色、方向、運動等多種特徵的關注度子圖的提取及合
並，現有的關注度提取方法的複雜度高，不能針對視頻編碼實時應用。
發明內容
為了解決現有的關注度提取方法的複雜度高，不能針對視頻編碼的實時應用的問 題，本發明提供一種基於時域預測的關注度提取方法。 本發明解決其技術問題提供的技術方案為根據當前幀及相鄰的至少一幀先前幀 圖形的關注度圖預測下一幀圖像的關注度圖，包括以下步驟， 步驟l，特徵提取，即提取當前幀及相鄰的至少一幀先前幀圖像，把每幀圖像表示 為高斯金字塔，從高斯金字塔每層中提取各種紋理視覺特徵得到紋理參數特徵圖，從高斯 金字塔每層中提取運動參數特徵得到運動參數特徵圖； 步驟2，關注度子圖生成，即針對紋理參數特徵圖提取關注值得到紋理關注度子 圖，針對運動參數特徵圖提取關注值得到運動關注度子圖； 步驟3，關注度子圖預測，即用當前幀及相鄰的至少一幀先前幀圖像的紋理關注度 子圖預測下一幀圖像的紋理關注度子圖，用當前幀及相鄰的至少一幀先前幀圖像的運動關注度子圖預測下一幀圖像的運動關注度子圖； 步驟4，關注度預測圖生成，即合併步驟3預測所得下一幀圖像的紋理關注度子圖 和運動關注度子圖，作為下一幀圖像的關注度預測圖。 而且，所述紋理視覺特徵包括亮度特徵、顏色特徵和方向特徵；提取亮度特徵得到 亮度特徵圖，對亮度特徵圖提取關注值得到亮度關注度子圖；提取顏色特徵得到顏色特徵 圖，對顏色特徵圖提取關注值得到顏色關注度子圖；提取方向特徵得到方向特徵圖，對方向 特徵圖提取關注值得到方向關注度子圖。 本發明採用時域預測方式支持感興趣區域編碼中的感興趣區域提取，從當前幀及 相鄰的至少一幀先前幀的關注度圖預測出下一幀關注度預測圖，用預測出的下一幀關注度 預測圖代替計算的關注度圖，以減少計算複雜度。從而解決了感興趣區域編碼中感興趣區 域提取實時性的問題；克服了現有的關注度提取方法的計算複雜度高，不能針對視頻編碼 的實時應用的缺陷。應用本發明所提供技術方案，可以在實時視頻編碼的準確性和實時性 中達到平衡。
圖1為實施例的關注度提取原理圖；
圖2為預測中涉及的三種像素點示意圖
具體實施例方式
本發明公開了一種基於時域預測的關注度提取方法，其基本原理是利用關注區域 的紋理視覺特徵和運動參數特徵的時域相關性，根據當前幀及相鄰的至少一幀先前幀的關 注度圖推算出下一幀的關注度預測圖，以減少計算複雜度。 以下參考
發明的實施例。通過對結合附圖的實施例的詳細描述，本發明 的優點和特徵，及其實現方法對本領域技術人員來講更加清楚，然而，本發明的範圍不局限 於說明書中所公開的實施例，並且本發明也可以其他形式來實現。紋理視覺特徵可以包括 多種特徵，實施例選擇考察其中的亮度特徵、顏色特徵和方向特徵。具體實施時，可以在精 確度要求不高的情況下，只考察其中兩種特徵，這樣實現更簡便。參見附圖1，時域預測綜合 當前幀圖像、與當前幀相鄰的至少一幀先前幀圖像的特徵進行預測，可標識為第n幀到第 n-i幀，i取l或以上的整數。針對當前的輸入圖像(第n幀)，分別提取當前幀圖像(第n 幀)和先前幀圖像(第n-l幀至第n-i)的紋理特徵(亮度、顏色及方向)和運動特徵，分 別進行紋理特徵預測和運動特徵預測，預測下一幀(第n+l幀)的相應特徵信息，最後特徵 合併得到下一幀的關注度預測圖。最簡單的情況是i取1，即只用當前幀和先前一幀預測的 情況。具體實施時，本領域技術人員可以根據需要設定i值。本發明分成特徵提取，關注度 子圖生成，關注度子圖預測，關注度預測圖生成4個步驟，實施例中每個步驟說明如下
1.特徵提取 提取當前幀及相鄰的至少一幀先前幀圖像，把每幀圖像表示為9層的高斯金字 塔。其中第0層是輸入圖像，1到8層分別是用5x5的高斯濾波器對輸入圖像進行濾波和 採樣形成的，大小為輸入圖像的1/2， 1/4， 1/8， 1/16， 1/32， 1/64， 1/128， 1/256。然後對高斯 金字塔的每一層分別提取各種紋理視覺特徵亮度、顏色(分為紅色、綠色、藍色、黃色)、方向，形成亮度金字塔I(o)，色度金字塔R(o)， G(o)， B(o)， Y(o)和方向金字塔O(o ，9)。色度金字塔R(o)，G(o)，B(o)，Y(o)分別與紅色、綠色、藍色、黃色相應。o取值為0到8，分別代表9個不同尺度。
各個特徵的提取方法如下
( — )亮度特徵 設r， g， b分別為圖像中紅、綠、藍三個分量，並且歸一化到(O，l)。可由公式(1)求得亮度特徵I I = (r+g+b)/3 (1)
( 二 )顏色特徵 將圖像在紅色、綠色、藍色、黃色四個通道上的分量來計算其顏色特徵，得到紅色通道顏色特徵R、綠色通道顏色特徵G、藍色通道顏色特徵B、黃色通道顏色特徵Y :
g + 6、
2
r+ 6、
"g、
(2)
(3)
(4)
_6
(5)
2 2
(三)方向特徵 方向金字塔0( o ， e )是對亮度特徵I在尺度o上用方向9的Gabor函數濾波得到的Gabor金字塔。其中，o G
， e G {0° ，45° ，90° ，135° }。
(四)運動特徵 設(mvx， mvy)為圖像幀中當前塊的運動矢量，maxMV為該圖像最大的運動矢量數
值，可由公式(6)求得運動參數特徵MV
經:
,x +歸>>
(6)
maxMV 通過以上(一 )、(二 )、(三)部份的計算，從金字塔每層中提取各種紋理視覺特徵得到各層的紋理參數特徵圖，可以將紋理參數特徵表示為9個特徵金字塔亮度1個，色度4個，方向4個。受視網膜中感受野信息處理方式的影響，吸引視覺注意的是特徵的對比而不是特徵的絕對值。本發明對各種紋理參數特徵分別在特徵金字塔的不同尺度間作差，來模擬感受野的中心-外周拮抗的結構。感受野的中心對應於尺度c的特徵圖的一個點(cG {2，3，4})，感受野的外周對應於尺度8的特徵圖中的對應點(s = c+S， S G {3，4})。由於不同尺寸的特徵圖大小不同，在做差時需要把大尺寸s下的特徵圖插值，得到和小尺寸c下的特徵圖一樣大小的圖像。然後逐點作差。這個過程用 表示。做差得到的是中心(尺度c)和外周(尺度c+ S )的特徵的對比
5
I(c， s) = |l(c) I(s) I (7)RG(c， s) = I (R(c)-G(c)) (G(s)-R(s)) | (8)BY(c， s) = I (B(c)-Y(c)) (Y(s)-B(s)) | (9)
o(c， s， e) = |o(c， e) o(s， e) | (10)
由於中心尺度c和外周尺度s之間有3x2 = 6種組合，所以上面的(7) ， (8) ， (9)，(10)式一共可以得到42個不同尺度的特徵圖，分別是6個亮度特徵圖，12個顏色特徵圖，24個方向特徵圖。其中公式(7)計算亮度特徵圖I(c， s)，公式(8)計算紅綠色的顏色特徵圖RG(c， s)， (9)計算藍黃色的顏色特徵圖BY(c， s)，公式(10)計算方向特徵圖O(c， s，e)。 由於運動參數MV的絕對值已經代表了關注度模型的運動參數的對比，故不考慮用特徵金字塔來模擬運動參數的感受野的中心-外周拮抗的結構，僅用圖像幀當前塊的運
動參數特徵MF二V附狄組成唯一一幅運動參數特徵圖。maxMV由此得到僅用圖像幀當前塊的運動參數特徵jyy = >vx2 + fflV>;2組成唯一一幅運
maxMV
動參數特徵圖和42幅不同尺度的紋理參數特徵圖。
2.關注度子圖生成 計算關注度子圖需要將上面得到的42幅紋理參數特徵圖和1幅運動參數特徵圖綜合起來，由於這些特徵圖由不同的計算方法得到，各圖的取值範圍不同，很可能在綜合之後將某些圖中很關注的區域掩蓋掉。因此，實施例在計算之前將特徵圖進行標準化，方法如下 1)將各圖中各點的值標準化到一個固定的區間[O，M]中。
2)找到圖中全局最大值M，然後計算其他局部極大值的平均值m。
3)圖中所有的點的值乘(M-m)2。 這種標準化方法使每個特徵圖只保留少數幾個關注值，而且特徵不是很明顯的關注度子圖會被抑制，從而在疊加多個關注度子圖時能把同時有多種顯著特徵的點突現出來。本發明把這種標準化方法定義為N。 為了簡化計算，本發明實施例把特徵圖進行合併。分別把每一類(亮度、顏色、方
向)歸一化後的特徵圖在第四等級尺度上(o=4)相加，得到對應三類特徵的關注度子
圖
formula see original document page 6
formula see original document page 6
MV = N(MV) (14) 其中@表示特徵圖之間的求和運算。求和時先把紋理參數特徵圖下採樣到第4級，再逐點求和。這樣就分別得到了 1個亮度關注度子圖I， 1個顏色關注度子圖C， 1個方向關注度子圖0。對於運動關注度子圖MV，在進行N操作前把運動參數特徵圖同樣採樣到第4級，這樣就得到了 1個運動關注度子圖。
3.關注度子圖預測 本發明實施例需要對上面得到的亮度關注度子圖，顏色關注度子圖，方向關注度子圖，運動關注度子圖作預測。實施例所用的是一種運動估計(MVE)方法，通過對至少2幀圖像的關注度子圖做運動估計，得到關注度子圖之間的運動矢量(MV)信息，並以此計算下一幀關注度子圖和已有的關注度子圖間的MV信息，最後利用MV信息預測計算下一幀的關注度子圖。 以亮度關注度子圖I來舉例說明。利用當前兩幀亮度關注度子圖In—2和的亮度特徵矩陣預測出第n幀亮度關注度子圖In。此過程包括以下步驟
(1)求In中每個4x4的塊的MVm(B^)禾P MVa (B^) 根據In—2和In—:得到In—:的運動矢量，再根據現有的光流法可得到在In上的運動矢量，可推得In—i中的塊對應於In的外推塊。對於In上的一個4x4塊來說，可能有多個In—工上的4x4塊投影到此塊上，每個In—工上的4x4塊都有一個運動矢量。此時，本發明需要求解In上每一個4x4塊可能存在的兩種運動矢量MVm(Bni)和MVJBJ 。 MVjBj是具有最大的權重 "的外推塊的運動矢量，MVa(B』)是和預測塊有重疊的所有外推塊的運動矢量的加權平均。如圖2所示，In上的當前待預測4x4塊有4個塊投影到其上，S卩外推塊l、外推塊2、外推塊3、外推塊4。
重疊區域的像素個數可以用來計算出預測的權重w」'J'。
《=Z,乂如)'i = 1，2……，M;j = 1，2……，M (15)
Pe《
其中M表示一幀亮度關注度子圖中4x4塊的數量
其中，EBnj表示用來預測In的參考幀上的第j個4x4外推塊，Bni表示In上的第i
={1' p《
個4x4預測塊 NV邁(BnO由(15)求得:
其中，/ = arg max {w二' MVa(Bni)由(16)求得
(16)
1，2.
'，M;j = 1，2.
'，M 其中，MV (EBnj)表示EBnj的MV 。 另外，如果塊Bj沒有被任何外推塊覆蓋，則B』塊的MV為空。[(Km ] (2)求In中的每個像素點的MV集合MVSp (Pnx'y)。
7
(17)
Pnx'y表示In中坐標為(x， y)的像素點。MVE方法將預測幀In上的每個點(在這裡稱為像素)分成三類 A類至少被一個4x4外推塊覆蓋的像素點。如圖2所示，預測塊的4x4個像素點標識為1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16。預測塊1中屬於A類的像素包括{1，2，3，4，5，6，7，9， 13， 14， 15}，這些像素點分別被外推塊1、外推塊2、外推塊3、外推塊4覆蓋。
B類沒有被任何一個4x4外推塊覆蓋的像素點，但該像素所屬的4x4塊和某些外推塊有重疊。如圖2所示，預測塊1中屬於B類的像素包括{8， 10， 11， 12， 16}。
C類沒有被任何一個4x4外推塊覆蓋的像素點，且該像素所屬的4x4塊和任何外推塊都沒有重疊。如圖2所示，預測塊2的像素點屬於C類。 A類中的像素點至少有一個的In—J卜推塊覆蓋其上，因此這些像素點的MVSp(P/'0包括所有覆蓋該點的外推塊的MV， B類和C類中的像素點MVSp(Pnx'0為空。
綜合考慮塊運動向量MVm(Bni) ，MVa(Bni)以及像素運動向量MVS。 (Pnx'y)，該像素點的MV集合MVS (Pnx'y)可歸納如下 對A類的像素點，formula see original document page 8
其中formula see original document page 8
對b類的像素點，formula see original document page 8 對C類的像素點，MK5(if"—MF(/^》 其中MV(P『廣50表示前一幀相同位置像素的MV 最後可以求得每一個像素的MV為MVS(Pnx'y)中個分量的平均值。
(3)預測出下一幀圖像的亮度關注度子圖 根據MV信息，預測關注度子圖的點A時可以找到前一幀關注度子圖的對應位置B，並將B的值賦給A，從而得到亮度關注度子圖Su(Pnx'y)。
formula see original document page 8
同理可得色度、方向、運動的關注度子圖。 大於兩幀的關注度子圖預測，可以兩幀的預測為基礎，以得出的運動矢量加權的形式來實現。本技術領域技術人員可參考實施例實現大於兩幀的關注度子圖預測，本發明不予贅述。 4.關注度預測圖生成 綜合所有特徵的關注性，將所有預測出的子圖合併，就得到對應輸入圖像的關注度預測圖S
formula see original document page 8 其中，Su(I)為預測所得的亮度關注度子圖(為了便於標識各種類關注度子圖，此處將求取過程中的亮度關注度子圖標識Su(P/'y)改為Su(I))，Su(C)為預測所得的顏色關注度子圖，Su(O)為預測所得的方向關注度子圖，Su(MV)為預測所得的運動關注度子圖。本實施例採用的這種求平均值的合併生成方式簡便易行，具體實施時，也可對各種類關注度子圖分別設置權值進行合併，加重較重要種類的權值可以更好地反映關注度。
權利要求
一種基於時域預測的關注度提取方法，其特徵在於根據當前幀及相鄰的至少一幀先前幀圖形的關注度圖預測下一幀圖像的關注度圖，包括以下步驟，步驟1，特徵提取，即提取當前幀及相鄰的至少一幀先前幀圖像，把每幀圖像表示為高斯金字塔，從高斯金字塔每層中提取各種紋理視覺特徵得到紋理參數特徵圖，從高斯金字塔每層中提取運動參數特徵得到運動參數特徵圖；步驟2，關注度子圖生成，即針對紋理參數特徵圖提取關注值得到紋理關注度子圖，針對運動參數特徵圖提取關注值得到運動關注度子圖；步驟3，關注度子圖預測，即用當前幀及相鄰的至少一幀先前幀圖像的紋理關注度子圖預測下一幀圖像的紋理關注度子圖，用當前幀及相鄰的至少一幀先前幀圖像的運動關注度子圖預測下一幀圖像的運動關注度子圖；步驟4，關注度預測圖生成，即合併步驟3預測所得下一幀圖像的紋理關注度子圖和運動關注度子圖，作為下一幀圖像的關注度預測圖。
2. 根據權利要求1所述的關注度提取方法，其特徵在於所述紋理視覺特徵包括亮度 特徵、顏色特徵和方向特徵；提取亮度特徵得到亮度特徵圖，對亮度特徵圖提取關注值得到 亮度關注度子圖；提取顏色特徵得到顏色特徵圖，對顏色特徵圖提取關注值得到顏色關注 度子圖；提取方向特徵得到方向特徵圖，對方向特徵圖提取關注值得到方向關注度子圖。
全文摘要
本發明公開了一種基於時域預測的關注度提取方法，其方法利用關注度圖存在的時域相關性，從當前幀及相鄰的至少一幀先前幀的關注度圖預測下一幀關注度圖。本發明先提取特徵和關注度得到關注度子圖，然後對關注度子圖進行時域預測，最後合併預測出的關注度子圖，得到下一幀圖像的關注度預測圖。本發明通過關注度區域預測技術，大幅降低關注度模型的計算複雜度，解決現有的關注度提取方法的計算複雜度高而不能針對視頻編碼的實時應用的難題。
文檔編號H04N7/36GK101697593SQ200910063890
公開日2010年4月21日 申請日期2009年9月8日 優先權日2009年9月8日
發明者夏洋, 張巋, 毛丹, 汪歡, 王中元, 王啟軍, 胡瑞敏, 鍾睿, 陳皓 申請人:武漢大學;