一種自底向上的注意信息提取方法

2023-12-08 04:41:51

專利名稱：一種自底向上的注意信息提取方法
技術領域：
本發明涉及一種自底向上的注意信息提取方法，屬於計算機應用技術 領域。
技術背景注意作為心理活動的狀態，在近代心理學發展的初期就已受到重視。 視覺注意的作用是將人類注意快速指向感興趣的目標。用於選擇的注意機 制既使用來自圖像的自底向上的信息，也使用來自高層視覺結構組織的自 頂向下的信息。當整幅圖像是某個目標的特寫鏡頭時，目標在圖像中佔主要部分。只 用自底向上的注意就可以完成目標檢測。但是，當場景環境在圖像中佔主 要部分時，完成目標檢測首先要通過自頂向下的注意過濾環境信息，然後 再與自底向上的注意信息相結合。因此，不論在哪種情況，選擇怎樣的信 息作為自底向上的注意信息，對建立計算機模擬人類視覺感知機制的模型 尤為重要。本發明集中研究自底向上的注意信息的提取算法，為構建視覺 注意感知模型提供重要基礎。現有的自底向上的注意信息通常來自多通道多尺度濾波器組對圖像濾波的結果。三類典型的濾波器是Gaussian及Gaussian函數的各種變換形 式濾波器，基於一階微分的濾波器和基於二階微分的濾波器。在實際應用 中，可以根據具體的圖像特性和視覺任務選擇合適的濾波器。如果要提取 自然圖像中對朝向敏感的初級視覺特徵，通常採用Gabor濾波器。Gabor 濾波器是對Gaussian函數的正弦或餘弦調製，它可以模擬不同位置、不同尺度的感受野，因而被廣泛應用於自底向上注意信息的提取算法中。Rybak 在《Vision Research》(《視覺研究》，2387-2400頁)上發表的文章"A model of attention-guided visual perception and recognition"("注意弓I導的視覺感失口 和識別模型")中提出提取自底向上的注意信息時，先對自然圖像中的每一 點進行類高斯巻積的遞歸計算，將原始圖像變換成視網膜圖像。然後，採 用Gaussian差分濾波器進行自底向上注意信息的提取。在"Face recognition by dynamic link matching"("基於動態連接匹配的人臉識別")模型中，Wiskott 採用了基於Gabor變換的小波濾波器。鄒琪在《電子學報》上發表的文章"利用多尺度分析和編組的基於目標的注意計算模型"中，提出將Gaussian 濾波器的濾波結果用於多尺度分析，以獲取圖像在某一尺度下的重要邊緣。 如果要提取用於邊緣檢測的初級視覺特徵，還可以選擇基於一階或二階微 分的濾波器。常用的基於一階微分的濾波器有Roberts, Sobd, Prewitt和 Harris濾波器。最典型的基於二階微分的濾波器是Laplacian濾波器。還有 一種LOG (Laplacian-of-Gaussian)濾波器，濾波時先對圖像進行平滑處理， 然後進行二階微分。也可以將其看成是對Gaussian函數的拉普拉斯變換。 Lindeberg在《International Journal of Computer Vision》(《計算機視覺》， 79-116頁)上發表的文章"Feature detection with automatic scale selection"("具有自動尺度選擇的特徵檢測")中，就採用了 LOG濾波器來提取底層 信息。這些由不同濾波器得到的自底向上的注意信息都具有原始圖像的某種 特定形態特性。這些形態特性與所採用的濾波器的特性密切相關。例如單 個Gabor濾波器具有特定的頻率和朝向，當圖像在對應頻率和朝向上有最 明顯的特徵時，這個Gabor濾波器就會有最大響應。如果濾波器本身存在 一些缺點，那麼提取的注意信息也會有類似的不足。例如，雖然Harris濾波器具有很強的噪聲和光照條件變化不變性，但它對圖像尺度的變化非常敏感。所以，由Harris濾波器得到的注意信息不能很好地完成變尺度圖像 匹配任務。Laplacian濾波器雖然具有精確定位特性，但是對噪聲敏感，從 而使得注意信息同樣對噪聲敏感。為了克服這些不足，研究者們提出一些 其它方法來提取自底向上的注意信息。相位一致和相關局部熵方法根據傅 裡葉分量的相位相干性來定義特徵，但是該方法僅適用於提取一維或兩維 具有特定幾何形狀的特徵，不能廣泛用於提取各種類型的特徵。還有一些 方法根據圖像的全局統計特性來定義圖像的顯著性，得到的注意信息將會 受到圖像全局變換的影響。 發明內容為了克服現有技術結構的不足，本發明提供一種自底向上的注意信息提 取方法。本發明解決其技術問題所採用的技術方案是一種自底向上的注意信息提取方法，自底向上的注意信息由圖像中每個 點對應區域的顯著性構成，區域的尺度自適應於局部特徵的複雜度，綜合 考慮了三方面特性來定義顯著性根據特徵空間中的不可預測性來衡量特 徵的複雜度；在尺度空間中衡量特徵的統計不相似特性；同時考慮特徵空 間和尺度空間，衡量特徵的一些初級視覺特性；包含以下步驟；有計算局部複雜度顯著性的步驟；有計算統計不相似顯著性的步驟；有計算初級視覺特徵顯著性的步驟；有計算圖像區域顯著性的步驟；有提取自底向上的注意信息的步驟。步驟l.計算局部複雜度顯著性；對於圖像/(w)中的每個像素位置"(w)的每個尺度,c ，"自-(1) /'(w)表示圖像/(w)中以Hw)點為中心，以^為半徑的圖像區域對 應的亮度信息；(2) 用亮度直方圖估計/'(w)的局部概率密度函數p(^,/) (p(屮c,/)表示在 /'(w)對應圖像區域內，亮度信息取值為&的概率)；(3) 根據局部概率密度函數p(,e,，/)計算局部熵H(^)的值； H(sc,/) = - Z p(/e,sc，/)log2; (i-e，sc，/)步驟2.計算統計不相似顯著性；對於每個滿足條件H^-U^H^^H—+ 的w ，根據熵H^,/)計算統計不相似性度量s4w/)闢c,/) = ^^(H(sc,/) - H(化-1,/))JT 一 1 、步驟3.計算初級視覺特徵顯著性；(1) 用4個朝向、4個頻率的Gabor濾波器對圖像/(w)濾波,力表示 Gabor濾波器)v(x, >>) = /Cx,力* 一 - W - A )形成16幅朝向、頻率特徵圖(一，力,hU,K,16"x4);(2) 用全局加強法合併16幅特徵圖，形成一幅初級視覺特徵顯著圖w(/);步驟4.計算圖像區域顯著性；對於圖像/(w)中的每個像素位置/=(w)的每個滿足條件H(sc -1，/) H(sc +1,(1) wa)表示圖像/(w)中以/"^)點為中心，以^為半徑的圖像區域對 應的初級視覺特徵顯著性；(2) 根據局部熵H(W)、統計不相似性度量S斧c,/)和初級視覺特徵顯著性W(w)，計算圖像顯著性度量標準SA—，/) SA(化,/) = H(w，/) x闢c，/)x W'(/)(3) 以點"(w)為中心，以尺度"為半徑的圖像區域的顯著值定義為SC f=i屍i步驟5.提取自底向上的注意信息；(1) 對於圖像/(w)中的每個像素位置"(w)，比較不同尺度^下的顯著值。用最大的顯著值SS(SC,/) (SCwgmax(刮K,/)))作為以"(;c,"點為中 心，以SC為半徑的圖像區域對應的自底向上的注意信息；(2) 圖像/(w)中所有的點對應區域的顯著值刮SC,/)就構成了整幅圖像的自底向上的注意信息。本發明的有益效果；提出了一種新的自底向上的注意信息提取算法 (L0CEV)。通過將該算法應用於多幅自然圖像的實驗證實，該算法是一種 行之有效的自底向上的注意信息提取方法，並具有旋轉、平移、比例縮放 不變性和一定的抗噪能力，從而使得該算法適用於多種視覺任務，如目標 跟蹤、匹配和識別等。同時，該算法還存在有待改進之處。因為採用了圓形的採樣窗，所以 LOCEV算法傾向於尋找具有各向同性的顯著特徵。下一步的工作將研究提取 具有各向異性的顯著特徵。需要指出的一點是，圓形的採樣窗只需要一個 尺度參數(半徑)和中心點的位置坐標就可以完全確定下來。而用於提取 具有各向異性的特徵的採樣窗則需要更多的參數，這無疑會使計算量大幅 增加。也就是說，算法的複雜度和計算效率是無法同時滿足的，要力圖在 兩者之間尋求最佳折中方案。 一個可以考慮的方法是根據自頂向下的注意 提供的指導，對於不同的任務選取不同的採樣窗，並確定採樣窗的部分參數。


圖l (a)視覺顯著性示例； 圖l (b)視覺顯著性示例； 圖2統計不相似特性A.;(a)原始圖像；(al)將(a)圖的熵看成是尺度的函數，畫出對應的 熵函數圖；(a2) (a)圖部分尺度下的熵值變化直方圖；(b)原始圖像以圖 像的中心點為起始點、 一條半徑為起始邊的旋轉放射梯度亮度排列；(bl) 將(b)圖的熵看成是尺度的函數，畫出對應的熵函數圖；(b2) (b)圖部 分尺度下的熵值變化直方圖；(c)原始圖像以圖像中心點為起始點的放射 梯度亮度排列；(cl)將(c)圖的熵看成是尺度的函數，畫出對應的熵函數圖；(C2) (C)圖部分尺度下的熵值變化直方圖；(d)原始圖像按嬰兒臉圖像亮度分布排列；(d 1)將(d)圖的熵看成是尺度的函數，畫出對應的 熵函數圖；(d2) (d)圖部分尺度下的熵值變化直方圖； 圖3統計不相似特性B;(a)將圖2 (c)看成子圖，把它鑲嵌在一個白色的大圖中；(al)將 (a)圖的熵看成是尺度的函數，畫出對應的熵函數圖；(a 2) (a)圖部分 尺度下的熵值變化直方圖；(b)將圖2 (d)看成子圖，把它鑲嵌在一個白 色的大圖中；(bl)將(b)圖的熵看成是尺度的函數，畫出對應的熵函數 圖；(b2) (b)圖部分尺度下的熵值變化直方圖；圖4 LOCEV算法的旋轉、平移和比例縮放不變性；(a)原始圖像；(b)旋轉、平移的圖像；(c) 0.5倍採樣的圖像； 圖5顯著區域檢測結果；(al)原始圖像；(bl)本發明實驗結果；(cl) Itti實驗結果； (a2)原始圖像；(b2)本發明實驗結果；(c2) Itti實驗結果； 圖6 LOCEV算法的步驟流程圖。下面結合附圖和實施例對發明進一步說明。
具體實施方式
實施例l:根據視覺顯著性，基於局部複雜度和初級視覺特徵，提出了一種新的自底向上的注意信息提取算法LOCEV (Integration of local complexity and early visual features )。與現有技術相比，本發明具有以下幾 個突出的特點第一，LOCEV算法基於圖像的局部信息，並採用圓形採樣 窗，所以圖像的全局變換，如旋轉、比例縮放等對提取的注意信息幾乎沒 有影響。第二，儘管用來定義局部複雜度的函數不具有平移不變性，但是 LOCEV算法將圖像中像素點的位置當作變量，從而使得算法具有了平移不 變性。第三，LOCEV算法用區域的顯著性代替點的顯著性，並通過在尺度 空間中衡量特徵的統計不相似特性使得提取的注意信息不易受噪聲幹擾。 這樣，即使顯著區域中的單個像素會受到噪聲的影響，用LOCEV算法得到 的整個區域的顯著性並不會有太大改變。第四，顯著區域的尺度根據區域 的局部複雜程度自適應地變化，而且尺度大小的確定與區域顯著性的計算 同時進行，提高了計算效率，也更符合人類視覺感知的特點。第五，LOCEV 算法通過對區域的初級視覺特徵顯著性度量，將圖像的形態特性引入了注 意信息中。第六，LOCEV算法在定義顯著性時，同時考慮了特徵空間和尺 度空間，得到的顯著區域在兩個空間中同時具有最高的顯著性。 視覺顯著性分析；視覺顯著性使場景中的特定區域被預先注意到，並在人類視覺系統的 初級階段產生特定形式的重要視覺刺激。 一般認為顯著性就是稀有性，如圖1所示，那些具有與相鄰區域不同特性的區域更顯著並能夠吸引注意。Gilles在他的博士論文"Robust description and matching of images" ("圖像的魯棒描述和匹配")中研究提出用局部特徵的Shannon熵定義顯 著性。但是用這種基於局部信號不可預測性的方法來定義視覺顯著性還存 在問題。如果採用具有很高區分度的特徵，所有的區域都趨向稀有。如果 選擇區分度很低的特徵，那麼所有的區域都不再顯著。決定特徵區分度的 一個關鍵因素是尺度，選擇不同尺度的特徵就會產生不同的顯著區域。這就涉及到一個問題，在提取自底向上的注意信息時，到底是選擇在 多個尺度下都存在的特徵？還是選擇在不同尺度下出現得少的特徵？在鄒 琪的"利用多尺度分析和編組的基於目標的注意計算模型"中，那些在多 個尺度下都存在的邊緣被定義為重要的邊緣，具有更高的顯著性。在本發 明中，想要提取的顯著特徵基於圖像區域的局部複雜度。區域的顯著性與 邊緣的顯著性不同。邊緣的尺度特性僅體現在垂直邊緣朝向的方向上，沿 邊緣的正切方向，並不存在尺度特性。而區域的尺度特性體現在各個方向 上，那些在不同尺度下都顯著的特徵往往屬於具有自相似特性的區域。也 就是說，這些圖像區域是由相似的特徵(如不規則的幾何碎片)拼接而成 的。通常認為這樣的圖像區域不是顯著區域。所以，在提取自底向上的注 意信息時傾向於選擇在不同尺度下出現得少的特徵。基於局部複雜度和初級視覺特徵的自底向上注意信息提取； 根據視覺顯著性分析，基於局部複雜度和初級視覺特徵的自底向上注 意信息提取算法(LOCEV)算法綜合考慮了三方面特性來定義顯著性第一， 根據特徵空間中的不可預測性來衡量特徵的複雜度；第二，在尺度空間中 衡量特徵的統計不相似特性；第三，同時考慮特徵空間和尺度空間，衡量 特徵的一些初級視覺特性。下面分別進行詳細介紹。局部複雜度顯著性；最早提出用局部複雜度作為顯著性度量的是Gilles。給定一個點/ = (W)，它的局部鄰域碼，和某個特定的描述特徵,e (取值範圍假設為=卜.e,"'e2,…， p，局部Shannon熵定義為formula see original document page 13其中，pfe,叫)表示在點/的局部鄰域碼內，描述特徵取值為,e,的概率。但是，僅用局部複雜度來衡量顯著性是不能滿足要求的。在統計意義 下估計特徵顯著性，熵只能統計局部鄰域內的信號複雜度或不可預測性， 所有的結構和空間信息都丟失了。因此，會有顯著特徵在不同尺度下的自 相似問題，這就需要在尺度空間中對特徵的不可預測性進行分析。 統計不相似顯著性；本節在尺度空間中衡量特徵的統計不相似特性。知道，將一幅圖像經 過任意像素置換後得到另一幅圖像，這兩幅圖像的熵值相同。按局部複雜 度算法的定義，這兩幅圖像具有相同的顯著性。圖2中有四幅圖像。其中，圖2 (a)是一幅人臉圖像的子圖(大小為65x65的8bits灰度圖)，將(a) 圖經過不同的像素置換可以到圖2 (b)、 (c)和(d)。得到圖2 (b)和(c)的像素置換分別是以圖像的中心點為起始點、 一條半徑為起始邊的旋轉放射梯度亮度排列，和以圖像中心點為起始點的放射梯度亮度排列。以一幅嬰兒臉圖像的亮度分布為索引，將圖2 (a)的所有像素重新排列，就得 到了圖2 (d)。在本發明的實驗中，用圖像的亮度信息作為描述特徵。因為圖像是8bitS灰度圖，所以描述特徵,e的取值範圍為0:255 。四幅圖像的熵值相同，均為6.7986，但是很明顯它們的顯著性是不同的。將每一幅圖像 的熵看成是尺度的函數，可以畫出對應的熵函數圖，如圖2 (al)、 (bl)、(Cl)和(dl)所示。每幅圖像的中心點,-(33,33)就是採樣窗的中心，鄰域的半徑大小從1到32。為了可以清楚地看出熵值隨尺度的變化情況，圖2 中還給出了每幅圖像部分尺度下的熵值變化直方圖，如圖2 (a2)、 (b2)、 (c2)和(d2)所示。從圖2中可以看出，雖然各幅圖像的熵值相同，但是隨尺度變化得到的 熵值的曲線形狀差別很大。在圖2 (al)中，曲線在尺度25出現峰值；在圖 2 (dl)中，曲線在尺度17和29出現峰值(局部極大值點)；而在圖2 (bl) 和(cl)中都不存在峰值。圖2 (bl)中曲線的形狀相對比較平坦，熵值隨 尺度變化只有微量增加。這是因為在這幅圖像中不同尺度的採樣區域具有 很強的自相似特性，而具有自相似性的區域不是顯著區域。所以，用峰值 處熵函數的形狀變化來表示圖像特徵的自相似程度&/(/￡，^,/) = ^"^11(/￡, ;,/) —H(/￡, :-U》 (2)其中，s4/i^，0為圖像的統計不相似顯著性度量，^為尺度參數，熵H是尺 度^的函數。根據公式(2)，當採樣區域的大小(M表示區域的半徑)變化時，如果H(ffi^,/)的變化比較大，那麼對應的統計不相似顯著性^ffi,M也會 比較大。在圖2 (cl)中，雖然熵值隨尺度變化有比較大的變化，但是在變化的 過程中不存在峰值，所以這幅圖像並不顯著。但是，如果將圖2 (c)和2 (d) 都看成子圖，把它們分別鑲嵌在一個白色的大圖中，構成圖3 (a)禾口3 (b)， 那麼兩幅新圖的熵函數曲線都會出現峰值(在圖3 (al)中，曲線在尺度32 出現峰值；在圖3 (bl)中，曲線在尺度17和29出現峰值)。而且，按照公 式(2)的定義，圖3 (a)在峰值處的熵函數值與鄰近尺度的熵函數值相比 變化更大，也就是說圖3 (a)比圖3 (b)更顯著，但事實並非如此。因為 圖3 (a)缺乏一定的形態結構特性，所以它不是一幅具有實際意義的顯著 圖像。也就是說，通過局部複雜度及其統計不相似特性定義的顯著性與特徵的形態特性相互獨立。根據近代神經解剖學和心理學中有關視覺系統的 研究成果，大多數初級視皮層細胞感受野都具有選擇特性。也就是說，人 們會更'喜歡'某種特定形態的顯著特徵。因此，有必要將圖像的形態結 構特性引入顯著性的定義中。 初級視覺特徵顯著性；根據人類視覺感知系統的初級視覺特性，視覺信息的處理過程都是從視網膜開始，經過側膝體(LGN)，最先到達初級視皮層區域(V1)。作為第 一個進行視覺處理的區域，初級視皮層區域主要負責提取圖像的顏色、朝 向和亮度等多方面的信息。它具有局部性、方向性和帶通性。因為Gabor 濾波器與簡單細胞的感受野性質相似，對於類似於線段的刺激具有最大響 應，所以選擇Gabor濾波器提取顯著性度量中的初級視覺特徵。這種初級 視覺特徵具有一定頻率、朝向和位置特性。二維Gabor濾波器的時域公式 如下(3)(4)其中ww)和Ww)分別表示偶對稱和奇對稱的Gabor濾波器，w，力為高斯函數，這裡的/"cos"一(9 ， / = -xsin(9 +戶s(9 ， g(;c，力- exp(--~。
6是Gabor濾2 波器的朝向，/。是中心頻率。參數A和 是在空域V， /方向的高斯方差。 使用的濾波器包括4個朝向"—/^/2,3龍/4}和4個頻率/。￡ {0.1,0.2,0.3,0.4}。圖像 /(W)經過濾波後的輸出可以表示為V(W)"h"力]2+[V。"力]2 (5)其中，Ve(;c,力"(;c,力化"-;c。,y-y。) ， v。"力=/(x,力*y。) ， "j。)為感受野中心位置，*表示巻積。每個Gabor濾波器相當於一個神經元，對原始輸入圖像/(w)在某個頻率和朝向上給出響應，從而得出16幅朝向、頻率特徵圖 h(W),"!,2，K,^4一 。變量A表示不同空間頻率和朝向的濾波器。然後用全局加強法，將各個特徵圖的特徵值歸一化到0 1後，找出每 一幅特徵圖的全局極大A/和除此全局極大之外的其它局部極大的平均值^ 給每一幅特徵圖乘以加強因子(M-^，這就是每幅特徵圖的權。最終的顯著 圖W是各個特徵顯著圖的加權和，用它來衡量原始圖像的初級視覺特徵顯著 性。L0CEV算法；基於上述分析，提出了一種新的自底向上的注意信息提取算法L0CEV (Integration of local complexity and early visual features)。 算 法的具體步驟如下如圖6LOCEV算法的步驟流程圖所示；1. 計算局部複雜度顯著性對於圖像/(w)中的每個像素位置/ = (w)的每個尺度^ ， wmi ^"^i:(1) /'o^)表示圖像/(x,力中以"Oc，w點為中心，以"為半徑的圖像區域對應的亮度信息；(2) 用亮度直方圖估計/'(w)的局部概率密度函數p(^w (/^具/)表示在 /'(W對應圖像區域內，亮度信息取值為,e的概率)；(3) 根據局部概率密度函數;^^,o計算局部熵H^,/)的值(在本發明的實 驗中，圖像為8bits灰度圖，所以&的取值範圍/￡ = {。,1,2,...，255})H(sc，/)--Z / ('e,sc,/)log2/>0e，sc,/) (6)2. 計算統計不相似顯著性；對於每個滿足條件H^ —1，0H^ + l，/)的w ，根據熵H^，/)計算統計不相似性度量&/^,0 闢c,/) = ^"(H(",/) - H(sc _ ( 7 )3. 計算初級視覺特徵顯著性；(1) 用4個朝向、4個頻率的Gabor濾波器對圖像+，力濾波(v^,力表示 Gabor濾波器)v(w) = /(jc，y)，(xui) (8) 形成16幅朝向、頻率特徵圖h^),"l,2,K，16-4,;(2) 用全局加強法合併16幅特徵圖，形成一幅初級視覺特徵顯著圖w(/);4. 計算圖像區域顯著性；對於圖像/(w)中的每個像素位置的每個滿足條件H(jc-l,/卜H(sc,/)〉H(sc + l,/)的m(1) ^(0表示圖像/0^)中以/=0^)點為中心，以"為半徑的圖像區域對應 的初級視覺特徵顯著性；(2) 根據局部熵H—,/卜統計不相似性度量w^,/)和初級視覺特徵顯著性W'(w)，計算圖像顯著性度量標準SA(^) SA(sc，/) = H(^,/)x&/( 7,/)x W'(/) ( 9 )(3) 以點"(w)為中心，以尺度^為半徑的圖像區域的顯著值定義為= (10)5. 提取自底向上的注意信息；G)對於圖像/(w)中的每個像素位置"(w)，比較不同尺度^下的顯著值。用最大的顯著值幼(sc,O ( SC = argmax (闢c,/)))作為以/ = (w)點為中心， 以sc為半徑的圖像區域對應的自底向上的注意信息；(2)圖像/(x,"中所有的點對應區域的顯著值M(SCJ)就構成了整幅圖像的 自底向上的注意信息。 基於LOCEV算法的注意模型；通過L0CEV算法，得到了圖像中以每個象素點為中心的大小不同的區 域的顯著性信息。視覺顯著區域是按照顯著性由強到弱的順序排列的一組 圖像區域。所以，為了獲取原始圖像中的視覺顯著區域，先按照顯著值刮^) 的大小將所有區域進行排序。然後，確定顯著值最大的區域為第一個當前 顯著區域。其它的區域都是顯著區域轉移的潛在目標。在顯著區域轉移之 前，計算其它所有圖像區域與當前顯著區域中心點之間的距離formula see original document page 18(ID其中，^(W。)為當前顯著區域的中心點位置，/,+,^為其它任一區域的中 心點位置。^和S^分別表示這兩個區域的半徑，如果formula see original document page 18 (12)就從顯著區域轉移的潛在目標集合中去掉該區域。這是因為滿足不等式 (12)的以~=^,力)為中心的區域會完全落在當前顯著區域中。剩餘的所有 的潛在顯著區域都試圖將注視區吸引到它自己所在的位置。根據勝者為王 (winner-take-all)的競爭機制，這種吸引效果是相互抑制的，具有最強吸 引力的目標將成為下一個顯著區域。考慮到人眼注視焦點移動的兩個特點 第一，距離優先(proximity)，人眼傾向於優先選擇與當前顯著區域距離近的 顯著區域；第二，禁止返回(inhibition of return),焦點轉移時抑制返回已被 選擇過的顯著區域。在顯著區域轉移時要綜合考慮顯著性、距離優先性和 禁止返回的影響，計算潛在顯著區域的吸引力。有關吸引力的詳細定義可 以參考本發明作者的另一篇論文。這個過程將會循環進行，在每次顯著區 域轉移的過程中，潛在顯著區域的吸引力隨著當前顯著區域的不同需要重 新計算。如此多次循環，就可以得到原始圖像中一系列顯著區域。實驗結果及分析；實驗環境是PentiumlV2.4GHz CPU， 256M內存的計算機，測試圖像包括室內、室外場景中各種類型的真實圖像。實驗中訓練圖像的大小從65x65到512x5i2不等，灰度級為0 255。為了驗證上述算法的有效性，將LOCEV算法 應用到下面幾類視覺應用中。圖4中的測試圖像來自Karl-Wilhdm-Strafie交通序列圖。其中，圖4 (a)和4 (b)是視頻中的兩幀，大小均為384x384 。圖4 (c)是圖4 (a)經過0.5倍採樣得到的，大小為i92xi92。在實驗中，對 於圖4(a)和4(b),參數 m"o， 、=3o。對於圖4(c)，參數 =5， Mmax = i5。 實驗結果給出了每幅圖像中顯著性最高的前20個圖像區域。圖4 (b)與圖4 (a)相比，場景沒有發生變化，不同之處是圖像中的幾輛汽車發生了程度 不同平移和旋轉。圖4 (c)與圖4 (a)相比，不同之處是圖像尺度縮小了一 半。可以看出，三幅圖像中的顯著區域之間有很強的對應性。這些實驗結 果可以證明LOCEV算法具有旋轉、平移和比例縮放不變性。這是因為，首 先，LOCEV算法將尺度和位置都當作變量，這樣，即使圖像中的目標發生 平移或比例縮放，該算法也會在新的位置或尺度下對它的顯著性進行度量。 其次，LOCEV算法在定義顯著性標準時用圓形的採樣窗獲取圖像的局部信 息，而圖像或目標的旋轉不會改變這些局部信息，從而使得算法具有了旋 轉不變性。圖像庫DatabaseofCars and Faces in Context。該資料庫由2500多 幅圖像組成，從中選擇50幅室外圖像和50幅室內圖像進行測試。實驗中測 試圖像的大小均為256x256 。圖5 (al)和(a2)的兩幅原始圖像分別屬於室 外圖像和室內圖像，圖像中包含了建築物、人、家具等多種類型的目標。 圖5 (bl)和(b2)的兩幅圖像顯示了由的注意模型獲取的多個顯著區域。在 實驗中，第一幅圖像的尺度參數的取值範圍是4 20，第二幅圖像的尺度參 數的取值範圍是4 32。圖5 (cl)和(c2)給出了對應的Itti算法的實驗結果。從圖5 (bl)和(b2)可以看出，LOCEV算法更傾向於發現那些具有各向同性 的顯著區域，那些大的顯著值對應的採樣區域邊緣通常就是有意義的圖像 邊緣。與Itti的實驗結果相比，的顯著區域的尺寸是變化的，而且由於引入 了區域中心點距離限制和注視焦點移動特性因子，的顯著區域轉移路線比 較規整，從而使得算法的檢測結果更加符合人類視覺感知。在LOCEV算法 中，顯著區域尺度大小的確定與區域顯著性的計算同時進行，從而提高了 計算效率。
權利要求
1.一種自底向上的注意信息提取方法，自底向上的注意信息由圖像中每個點對應區域的顯著性構成，區域的尺度自適應於局部特徵的複雜度，綜合考慮了三方面特性來定義顯著性根據特徵空間中的不可預測性來衡量特徵的複雜度；在尺度空間中衡量特徵的統計不相似特性；同時考慮特徵空間和尺度空間，衡量特徵的一些初級視覺特性；其特徵是包含以下步驟；有計算局部複雜度顯著性的步驟；有計算統計不相似顯著性的步驟；有計算初級視覺特徵顯著性的步驟；有計算圖像區域顯著性的步驟；有提取自底向上的注意信息的步驟。
2. 根據權利要求l所述的一種自底向上的注意信息提取方法，其特徵是包 含以下步驟；步驟1.計算局部複雜度顯著性；對於圖像/(w)中的每個像素位置/ = (^)的每個尺度^ ， m q"k皿(1) /(w)表示圖像/(w)中以"(w)點為中心，以^為半徑的圖像區域對應的 亮度信息；(2) 用亮度直方圖估計/'(w)的局部概率密度函數瘋w) U吵,/)表示在/(w) 對應圖像區域內，亮度信息取值為&的概率)；(3 )根據局部概率密度函數;Hb")計算局部熵h(w)的值；H (sc, 0 = - Z P('e， "， Z) log2 sc, 0步驟2.計算統計不相似顯著性；對於每個滿足條件H^ — U)H— + U)的^ ，根據熵H^，/)計算統計不相似性度量闢c，/)formula see original document page 3步驟3.計算初級視覺特徵顯著性；(1) 用4個朝向、4個頻率的Gabor濾波器對圖像/(x,"濾波(嶺,力表示Gabor濾波器)formula see original document page 3形成16幅朝向、頻率特徵圖b"力,"l,2,K,^4x4);(2) 用全局加強法合併16幅特徵圖，形成一幅初級視覺特徵顯著圖w卩)； 步驟4.計算圖像區域顯著性；對於圖像/(W)中的每個像素位置"(W)的每個滿足條件H(H小叫c小H—+的w(1) W(0表示圖像/(w)中以/";c,力點為中心，以w為半徑的圖像區域對應的初級視覺特徵顯著性；(2) 根據局部熵H^，/)、統計不相似性度量w(W)和初級視覺特徵顯著性W'0c,力，計算圖像顯著性度量標準SA(W) SA( ;,/) = H( ;,/) x S+J) x F/'(/)(3) 以點"(w)為中心，以尺度^為半徑的圖像區域的顯著值定義為步驟5.提取自底向上的注意信息； (1)對於圖像/(w)中的每個像素位置"(w)，比較不同尺度"下的顯著值。用最大的顯著值SS(SC,O (SC = argmax(SS(K,/)))作為以/ = (^，力點為中心，以SC為半徑的圖像區域對應的自底向上的注意信息；(2)圖像/(w)中所有的點對應區域的顯著值刮SC,/)就構成了整幅圖像的 自底向上的注意信息。
3.根據權利要求1或2所述的一種自底向上的注意信息提取方法，其特徵是:基於圖像的局部信息，並採用圓形採樣窗； 將圖像中像素點的位置當作變量；用區域的顯著性代替點的顯著性，通過在尺度空間中衡量特徵的統計不相 似特性。
4.根據權利要求l或2所述的一種自底向上的注意信息提取方法，其特徵 是顯著區域的尺度根據區域的局部複雜程度自適應地變化，而且尺度大小的 確定與區域顯著性的計算同時進行，通過對區域的初級視覺特徵顯著性度量， 將圖像的形態特性引入了注意信息中。
5.根據權利要求1或2所述的一種自底向上的注意信息提取方法，其特徵 是在定義顯著性時，同時考慮了特徵空間和尺度空間，得到的顯著區域在兩個空間中同時具有最高的顯著性。
全文摘要
一種借鑑心理學中有關視覺注意的研究成果，提出了一種自底向上的注意信息提取方法。自底向上的注意信息由圖像中每個點對應區域的顯著性構成，區域的尺度自適應於局部特徵的複雜度。新的顯著性度量標準綜合考慮了局部複雜度、統計不相似和初級視覺特徵這三個方面的特性。顯著區域在特徵空間和尺度空間中同時顯著。獲取的自底向上的注意信息具有旋轉、平移、比例縮放不變性和一定的抗噪能力。基於這種算法開發出了一個注意模型，將其應用於多幅自然圖像的實驗證明了算法的有效性。
文檔編號A61B5/16GK101334834SQ20071011816
公開日2008年12月31日 申請日期2007年6月29日 優先權日2007年6月29日
發明者娟 田, 羅四維 申請人:北京交通大學