基於區域顯著性的顯著對象提取方法

2023-09-20 09:38:00

專利名稱：基於區域顯著性的顯著對象提取方法
技術領域：
本發明涉及一種計算機圖像處理的方法，具體地說是涉及一種圖象分割方法。

背景技術：
圖像分割是圖像分析、模式識別和計算機視覺領域的一個重要問題，同時也是一個難點問題，圖像分割的最終目的是能分割出具有特定現實意義的物體，即語義對象。有的方法使用可識別的高級信息(例如人臉和文本)和圖像顯著性定位圖像中的顯著對象。但是由於一些圖像不存在可識別的高級信息，或者即使存在可識別的高級信息也很難自動的提取出來，所以它的使用是有限的。圖像顯著性總是可用的，可是它不能為定位圖像中的顯著對象提供足夠的信息。低級的空域特徵不一定很好的匹配顯著對象。例如，圖像區域之間的某些高對比度的邊緣通常是引人注目的，將被識別為顯著對象，而實際上並不是正確的顯著對象。此外，現存的圖像顯著性檢測方法不能識別在不同的圖像尺度上出現的顯著圖像特徵。不解決圖像尺度不變的顯著性問題，會失去在一些圖像尺度上的顯著特徵，導致圖像分割效果不盡如人意。


發明內容
本發明的目的在於克服現有技術中存在的不足提供一種基於區域顯著性的顯著對象提取方法，該方法能準確的提取出多個顯著對象，提高圖像分割的準確性，使分割結果滿足人眼視覺要求。
為解決上述技術問題，本發明所採用的技術方案是上述基於區域顯著性的顯著對象提取方法，首先，通過計算輸入圖像的多解析度對比度特徵，建立一個尺度不變的顯著性圖像，用非參數核密度估計方法把輸入圖像分割成不同的區域；然後，計算每個區域組合與其補集的區域顯著性的比值；最後，通過取這個比值的最大值而提取出顯著對象，具體步驟如下 1、輸入圖像，建立尺度不變的顯著性圖像 ①、把輸入圖像轉換成L*a*b彩色空間； ②、使用公式(1)，建立高斯圖像金字塔 式中，0<l<N，0≤i<Cl，0≤j<Rl，高斯圖像金字塔的級數N＝log2(min(W，H)/10)，W和H分別是原始圖像的寬和高，Cl和Rl分別是第l級的圖像尺寸，w(m，n)是權重； ③、使用公式(2)、(3)，通過在每個圖像尺度上計算對比度圖像從而建立對比度圖像金字塔，在圖像尺度l上的對比度值Ci，j，l被定義為在尺度l上的像素(i，j)和它的鄰域像素之間的差的加權和，即 wi，j，l＝1-ri，j，l/rl，max(3) 式中，Θ是在尺度l上的像素(i，j)的鄰域像素集合，pi，j，l是在尺度l上的像素(i，j)的顏色，pq是pi，j，l的鄰域像素集合的像素的顏色，D是使用歐幾裡得距離的顏色差。權重因數wi，j，l用於說明一個圖像的中心通常在視覺上是更顯著的。ri，j，l是從(i，j)到圖像中心的距離，rl，max是到圖像中心的最大距離； ④、使用公式(4)把所有尺度上的對比度圖像調整到和原始圖像一樣的大小，然後把它們相加以建立顯著性圖像， 式中0<l<N，0≤k，0≤i<Cl-k，0≤j<Rl-k，Il，k(i，j)是把Il擴大k倍的結果。
2、輸入圖像，實現圖像分割 首先，將輸入的圖像，使用公式(5)、(6)，利用圖像本身信息，獲得具有代表性的種子點，並使用種子點量化圖像，接著，根據區域的面積對量化圖中較多的噪聲進行去除和使用公式(7)、(8)對顯著性低的區域進行區域合併，實現圖像的區域分割，下面是非參數密度估計的公式 密度f(x)值是特徵點集與核函數的卷積值。U是圖像中的所有像素點個數。K(x)為核函數，其中x是所要計算的特徵點。σ是頻寬。
區域的顯著性指標用來表示圖像中各個區域引起人眼關注的概率大小。利用每個區域的面積在具有相同的種子點顏色區域中所佔的比例和此區域在整幅圖像所佔的比例得到區域的顯著性指標。如果某個區域在所有相同顏色區域中所佔的比例較小，那麼該區域的顯著性指標就較低。區域的顯著性指標公式定義為 式中

表示第i個種子點顏色中第j個區域，

為

的顯著性指標，

為

的像素個數，

為第i個種子點顏色中所有區域的像素個數總和，

為圖像中所有像素的個數總和。
獲得了區域的顯著性指標後，需要去除一些非顯著的區域。如圖5所示，如果非顯著區域只與一個區域相鄰，則可以被相鄰區域合併。如果被去除的區域位於幾個區域的交匯處，則需計算區域之間的作用力進行處理，見式(8)所示 Fij＝kijA(Ri)A(Rj) (8) 式中kij為作用力因數，A(Ri)，A(Rj)分別為各個區域的面積，Fij為i和j兩個區域之間的引力，可以進一步將其分為兩個部分，即Fi←j和Fj←i，其中Fi←j為i區域的相鄰區域j對其作用力的貢獻度，反之Fj←i為j區域的相鄰區域i對其作用力的貢獻度。兩個方向的作用力因kij的不同而不同。
一個顯著對象可能是區域分割圖中的一個單獨的區域也可能是幾個區域的集合，假設E為圖像中所有區域的集合，如果圖像中有V個區域，則E中的候選的潛在對象的個數為2V。但是不是每個子集都能成為顯著對象，通常一個顯著對象是一個整體，整幅圖像不作為一個顯著對象，顯著對象也不能為空。假設C∈E是一個顯著對象，它必須滿足以下三個條件 ①C≠{}； ②C≠{1，2，3...，V}； ③C如果包含不止一個區域，那麼這些區域必須相互連接，提取的對象必須是一個整體。得到C，也即可得到其補集C。補集中的區域必須與C中對應區域相鄰。
3、顯著對象提取 獲得上述區域組合及其補集後，使用公式(9)、(10)和(11)計算它們的顯著性值和比值。當對象區域和其周圍區域的差異大時，可以認為該對象是顯著的，於是，提取一個顯著對象的問題歸結為找到一個有效的區域組合Ci，它使Tdiv(C)達到最大值。
計算區域組合及其補集的顯著性值的公式 T(C)＝S(C)/A(C) (9) T(C)＝S(C)/A(C) (10) 式中S(C)和S(C)分別是C和C的所有像素的顯著性值的和，A(C)和A(C)分別是C和C的面積；當對象區域和其周圍區域的差異大時，則認為該對象是顯著的， 計算T(C)和T(C)的比值 Tdiv(C)＝T(C)/T(C) (11) 於是，提取一個顯著對象的問題歸結為找到一個有效的區域組合Ci，它使Tdiv(C)達到最大值，即 Ci＝arg max[Tdiv(C)](12) 顯著對象提取步驟如下 (1)計算每個區域組合及其補集的顯著性值T(C)和T(C)，以及它們的比值Tdiv(C)。找到一個使Tdiv(C)達到最大值的區域組合； (2)如果不滿足終止條件，提取Ci作為顯著對象，然後刪除Ci，執行步驟(1)；否則執行步驟(3)； (3)如果滿足任何一個終止條件，終止程序， 終止條件有 ①A(C)<λA，式中A是原始圖像的面積， ②cpt(C)<μ， cpt(C)＝A(C)/(H(C)*W(C)) (13) 式中cpt(C)是區域組合C的緊密度，H(C)和W(C)分別是C的高和寬。
③只剩餘一個區域， 否則，執行步驟(2)。
本發明的基於區域顯著性的顯著對象提取方法與現有的技術相比較具有如下優點該方法結合區域顯著性，不僅能準確的提取出單個顯著對象，而且能準確的提取出多個顯著對象，使提取的顯著對象滿足人眼視覺要求，而且能提高分割的準確性。



圖1是本發明的基於區域顯著性的顯著對象提取的流程圖； 圖2是圖像分割的流程圖； 圖3是量化後區域圖； 圖4是淘汰小區域後圖； 圖5是合併後的區域圖； 圖6是區域合併流程圖； 圖7是對圖像的提取圖示，並給出步驟的結果示意圖； 圖8是其它類型圖像的提取結果圖示。

具體實施例方式 下面將結合附圖對本發明基於區域顯著性的顯著對象提取方法的實施例作進一步詳細說明。
圖1是本發明的流程圖，首先，通過建立輸入圖像的高斯圖像金字塔和對比度圖像金字塔獲得一個尺度不變的顯著性圖像，用非參數核密度估計方法把輸入圖像分割成不同的區域；然後計算每個區域組合與其補集的區域顯著性的比值；最後通過取這個比值的最大值而提取出顯著對象。具體實現過程如下 1、輸入圖像，建立尺度不變的顯著性圖像 ①、把輸入圖像轉換成L*a*b彩色空間； ②、使用公式(1)建立高斯圖像金字塔； ③、使用公式(2)、(3)在每個圖像尺度上計算對比度圖像從而建立對比度圖像金字塔； ④、使用公式(4)把所有尺度上的對比度圖像調整到和原始圖像一樣的大小，然後把它們相加以建立顯著性圖像。
2、輸入圖像，實現圖像分割 如圖2所示，首先，通過計算輸入的原始圖像，使用公式(5)、(6)，獲得具有代表性的種子點，並使用種子點量化圖像，接著，根據區域的面積對量化圖中較多的噪聲進行去除和使用公式(7)、(8)對顯著性低的區域進行區域合併，實現圖像的區域分割。
(1)圖像量化 如圖2所示，首先，通過計算將輸入的原始圖像轉換成L*a*b色彩空間，並統計三個顏色通道的像素數量；接著，使用公式(5)、(6)，對統計量進行核估計的概率密度計算，得到三個通道的灰度級概率密度值，便於隨後使用梯度上升法獲得三個通道的局部極值，再利用排列組合得到種子點，將圖像中的每個像素值與種子點做顏色距離計算，選擇最接近的種子點替換原始像素值，完成圖像的量化。
量化圖中出現了很多零散的噪聲，如圖3所示，根據區域顯著性，這些零散的小區域不滿足顯著對象應具有的顯著性和完整性的要求，所以必須將其淘汰。這裡主要利用了區域的面積來判定，若區域的面積小於某個臨界值則是將要被淘汰的區域。根據經驗設定臨界值為總面積的0.5％。區域面積小於這個值則被淘汰，即將此區域合併到鄰近的區域，如圖4所示，經過上述的步驟就可以淘汰上述圖像上小面積的噪聲區域。但是分割後的區域仍然不能完全與顯著區域的條件吻合，因此接下來需要進行區域合併以使顯著區域更為完整。
(2)區域合併 區域合併流程見圖6。將上述量化圖像中的較小噪聲區域去除後，圖像中往往會出現多處有相同的種子點顏色值的區域。在視覺上人眼很難對一幅圖像中出現的多處顏色相似的區域都表示出相同的關注度，所以需要處理這個問題。如圖4所示，圖像中有區域1、2、3、4、5，其中出現了區域3、區域5兩個具有相同顏色的區域，而在整幅圖像中，因為區域3對人眼的吸引力明顯較低所以將其淘汰，下面利用區域的顯著性指標對各個區域是否被淘汰作出判斷。
區域的顯著性指標用來表示圖像中各個區域引起人眼關注的概率大小。利用每個區域的面積在具有相同的種子點顏色區域中所佔的比例和此區域在整幅圖像所佔的比例得到區域的顯著性指標。如果某個區域在所有相同顏色區域中所佔的比例較小，那麼該區域的顯著性指標就較低。區域的顯著性指標公式如(7)所示。
使用一個可以調整的臨界值來去除具有較小顯著性指標的區域，臨界值設定為顯著性指標的最大值乘上一定的比例，這裡選取的比例為0.6％。
獲得了區域的顯著性指標後，需要去除一些非顯著的區域。如圖5所示，如果非顯著區域只與一個區域相鄰，則可以被相鄰區域合併。如果被去除的區域位於幾個區域的交匯處，則需計算區域之間的作用力進行處理，見式(8)所示。
在計算區域之間的引力時，相鄰的區域面積愈大引力也就愈大，反之則愈小。若區域面積較大但是顏色相異程度高則無法產生足夠的引力。對於應該被哪個區域合併取決於引力最大的區域。反覆計算直到所有區域的顯著性指標大於臨界值，從而得到最終的圖像的區域分割圖。
一個顯著對象可能是區域分割圖中的一個單獨的區域也可能是幾個區域的集合，假設E為圖像中所有區域的集合，如果圖像中有V個區域，則E中的候選的潛在對象的個數為2V。如V＝3，則E中有8個子集 {}，{1}，{1，2}，{1，2，3}，{1，3}，{2}，{2，3}，{3} 但是不是每個子集都能成為顯著對象，通常一個顯著對象是一個整體，整幅圖像不作為一個顯著對象，顯著對象也不能為空。假設C∈E是一個顯著對象，它必須滿足以下三個條件 ①C≠{}； ②C≠{1，2，3...，V}； ③C如果包含不止一個區域，那麼這些區域必須相互連接，提取的對象必須是一個整體。
得到C，也即可得到其補集C。補集中的區域必須與C中對應區域相鄰。
3、顯著對象提取 獲得了區域組合及其補集後，使用公式(9)、(10)和(11)計算它們的區域顯著性值和比值。當對象區域和其周圍區域的差異大時，可以認為該對象是顯著的，於是，提取一個顯著對象的問題歸結為找到一個有效的區域組合Ci，它使Tdiv(C)達到最大值。
顯著對象提取步驟如下 (1)計算每個區域組合及其補集的顯著性值T(C)和T(C)，以及它們的比值Tdiv(C)。找到一個使Tdiv(C)達到最大值的區域組合Ci； (2)如果不滿足終止條件，提取Ci作為顯著對象，然後刪除Ci，執行步驟(1)；否則執行步驟(3)； (3)如果滿足任何一個終止條件，終止程序， 終止條件有 ①A(C)<λA，②cpt(C)<μ，③只剩餘一個區域， 否則，執行步驟(2)。
設定λ和μ分別為0.01和0.2。
本發明進行仿真實驗，如圖7和圖8所示，它們是在CPU為2.0GHz、內存512M的PC測試平臺上編程實現，其中，圖7給出的實驗結果圖包含了算法中的幾個重要步驟，(a)是原始圖像，其中的一朵紅花是顯著對象；(b)—(f)是步驟1的實驗結果，(b)—(e)分別是在從細尺度到粗尺度的四個不同圖像尺度上的顯著性圖像，在較細的圖像尺度上，(b)中有紅花和部分綠葉的輪廓，而在較粗的圖像尺度上，(e)中基本只有紅花，(f)是尺度不變的顯著性圖像；(g)是合併後的區域分割圖，是步驟2的實驗結果，紅花和綠葉等被分割成不同的區域；(h)是最終的顯著對象提取圖，是步驟3的實驗結果，紅花作為顯著對象被準確的提取出來。
而圖8則是給出其餘類型的實驗結果，用以說明本發明的實用性和算法的準確性。其中如圖8所示，該圖有動物3幅，車1幅，景觀1幅和花1幅，分成6行四列排列，第一列是原始圖像，第二列、第三列和第四列分別是從第一列的原始圖像提取的第一個、第二個和第三個顯著對象的圖像。
從上述實施例的結果可以看出，本發明不僅能準確的提取出單個顯著對象，而且能準確的提取出多個顯著對象，同時滿足人眼的視覺要求。
權利要求
1、一種基於區域顯著性的顯著對象提取方法，其特徵在於首先，通過計算輸入圖像的多解析度對比度特徵，建立一個尺度不變的顯著性圖像，用非參數核密度估計方法把輸入圖像分割成不同的區域；然後，計算每個區域組合與其補集的區域顯著性的比值；最後，通過取這個比值的最大值而提取出顯著對象，其具體步驟如下
(1)、輸入圖像，建立尺度不變的顯著性圖像；
(2)、輸入圖像，實現圖像分割；
(3)、顯著對象提取。
2、根據權利要求1所述的基於區域顯著性的顯著對象提取方法，其特徵在於上述步驟(1)輸入圖像，建立尺度不變的顯著性圖像的步驟包括
①、把輸入圖像轉換成L*a*b彩色空間；
②、使用公式(1)，建立高斯圖像金字塔
式中，0<l<N，0≤i<Cl，0≤j<Rl，高斯圖像金字塔的級數N＝log2(min(W，H)/10)，W和H分別是原始圖像的寬和高，Cl和Rl分別是第l級的圖像尺寸，w(m，n)是權重；
③、使用公式(2)、(3)，通過在每個圖像尺度上計算對比度圖像從而建立對比度圖像金字塔，在圖像尺度l上的對比度值Ci，j，l被定義為在尺度l上的像素(i，j)和它的鄰域像素之間的差的加權和，即
wi，j，l＝1-ri，j，l/rl，max (3)
式中，Θ是在尺度l上的像素(i，j)的鄰域像素集合，pi，j，l是在尺度l上的像素(i，j)的顏色，pq是pi，j，l的鄰域像素集合的像素的顏色，D是使用歐幾裡得距離的顏色差，權重因數wi，j，l用於說明一個圖像的中心通常在視覺上是更顯著的，ri，j，l是從(i，j)到圖像中心的距離，rl，max是到圖像中心的最大距離；
④、使用公式(4)把所有尺度上的對比度圖像調整到和原始圖像一樣的大小，然後把它們相加以建立顯著性圖像，
式中0<l<N，0≤k，0≤i<Cl-k，0≤j<Rl-k，Il，k(i，j)是把Il擴大k倍的結果。
3、根據權利要求1所述的基於區域顯著性的顯著對象提取方法，其特徵在於上述(2)輸入圖像，實現圖像分割的步驟包括首先，將輸入的圖像，使用公式(5)、(6)，利用圖像本身信息，獲得具有代表性的種子點，並使用種子點量化圖像，接著，根據區域的面積對量化圖中較多的噪聲進行去除和使用公式(7)、(8)對顯著性低的區域進行區域合併，實現圖像的區域分割，下面是非參數密度估計的公式
密度f(x)值是特徵點集與核函數的卷積值，U是圖像中的所有像素點個數，K(x)為核函數，其中x是所要計算的特徵點，σ是頻寬，區域的顯著性指標公式為
式中
表示第i個種子點顏色中第j個區域，
為
的顯著性指標，
為
的像素個數，
為第i個種子點顏色中所有區域的像素個數總和，
為圖像中所有像素的個數總和，見式(8)所示
Fij＝kijA(Ri)A(Rj) (8)
式中kij為作用力因數，A(Ri)，A(Rj)分別為各個區域的面積，Fij為i和j兩個區域之間的引力，可以進一步將其分為兩個部分，即Fi←j和Fj←i，其中Fi←j為i區域的相鄰區域j對其作用力的貢獻度，反之Fj←i為j區域的相鄰區域i對其作用力的貢獻度，兩個方向的作用力因kij的不同而不同，反覆計算直到所有區域的顯著性指標大於臨界值，從而得到最終的圖像的區域分割圖。
4、根據權利要求1所述的基於區域顯著性的顯著對象提取方法，其特徵在於所述(3)顯著對象提取步驟獲得上述區域組合及其補集後，使用公式(9)、(10)和(11)計算它們的顯著性值和比值，提取一個顯著對象的問題歸結為找到一個有效的區域組合Ci，它使Tdiv(C)達到最大值，計算區域組合及其補集的顯著性值的公式
T(C)＝S(C)/A(C)(9)
T(C)＝S(C)/A(C) (10)
式中S(C)和S(C)分別是C和C的所有像素的顯著性值的和，A(C)和A(C)分別是C和C的面積；計算T(C)和T(C)的比值
Tdiv(C)＝T(C)/T(C) (11)
提取一個顯著對象的問題歸結為找到一個有效的區域組合Ci，它使Tdiv(C)達到最大值，即
Ci＝argmax[Tdiv(C)] (12)
顯著對象提取步驟如下
(1)、計算每個區域組合及其補集的顯著性值T(C)和T(C)，以及它們的比值Tdiv(C)，找到一個使Tdiv(C)達到最大值的區域組合Ci；
(2)、如果不滿足終止條件，提取Ci作為顯著對象，然後刪除Ci，執行步驟(1)；否則執行步驟(3)；
(3)、如果滿足任何一個終止條件，終止程序，終止條件有
①A(C)<λA，式中A是原始圖像的面積；
②cpt(C)<μ，
cpt(C)＝A(C)/(H(C)*W(C)) (13)
式中cpt(C)是區域組合C的緊密度，H(C)和W(C)分別是C的高和寬；
③只剩餘一個區域，否則，執行步驟(2)。
全文摘要
本發明公開了一種基於區域顯著性的顯著對象提取方法，該方法是首先，通過計算輸入圖像的多解析度對比度特徵，建立一個尺度不變的顯著性圖像，用非參數核密度估計方法把輸入圖像分割成不同的區域；然後，計算每個區域組合與其補集的區域顯著性的比值；最後，通過取這個比值的最大值而提取出顯著對象，其具體步驟如下(1)輸入圖像，建立尺度不變的顯著性圖像；(2)輸入圖像，實現圖像分割；(3)顯著對象提取。該方法結合區域顯著性，不僅能準確的提取出單個顯著對象，而且能準確的提取出多個顯著對象，使提取的顯著對象滿足人眼視覺要求，而且能提高分割的準確性。
文檔編號G06K9/46GK101520894SQ20091004627
公開日2009年9月2日 申請日期2009年2月18日 優先權日2009年2月18日
發明者韓忠民, 志 劉, 顏紅波, 李偉偉, 張兆楊 申請人:上海大學