基於智能計算的多粒度圖像檢索方法

2023-05-25 00:24:21

專利名稱：基於智能計算的多粒度圖像檢索方法
技術領域：
本發明涉及一種基於智能計算的多粒度圖像檢索方法，屬於圖像處理、模式識別、 人工智慧、檢索技術和資料庫等多個技術領域。
背景技術：
人類對物質世界的感知過程中，大部分的信息來源於視覺圖像。圖像作為一種重 要的信息載體，具有形象直觀、內容豐富等特點。如果沒有對圖像及視頻數據的自動和有效 的描述，大量信息將淹沒在信息的海洋之中，無法在需要時被檢索出來。因此，如何快速有 效地存儲，瀏覽，檢索圖像信息成為目前迫切需要解決的問題。由於圖像不同於文本，文本 本身就可以說明其內容，而圖像則要靠人們各自的理解來說明其含義，因而圖像檢索比起 文本要困難很多，圖像檢索的研究也成為信息檢索領域的研究熱點。基於內容的圖像檢索 技術(Content-Based Image Retrieval,CBIR)也就應運而生，涉及計算機視覺、圖像處理、 圖像理解、人工智慧、機器學習、統計學、資料庫及心理學等眾多領域的技術，是具有廣闊發 展前途的研究方向，而且CBIR技術的研究必將推動相關領域技術的發展。哥倫比亞大學和 麻省理工大學分別研製出了圖像檢索系統VisualSEEK和photobook，IBM也研製了一個典 型的圖像管理系統QBIC。我國的數字圖書館工程現階段只是解決了信息的數位化、數據的 壓縮與存儲、中文全文檢索系統平臺和搜尋引擎問題。基於內容的圖像檢索技術的基本思想是根據圖像所包含的顏色、紋理、形狀及對 象的空間關係等信息，建立圖像的特徵矢量，這樣一幅圖像可以用一個高維特徵向量來表 示，然後可以根據圖像的多維特徵矢量進行相似性匹配。由於目前圖像認知的局限性，提取 的視覺特徵與人的理解仍然有很大距離，也就是計算機所能識別的圖像低層內容特徵並不 能有效地描述人類對圖像的高層語義的認知。而且，隨著應用越來越複雜，特徵比較單一的 分析方法越發顯示出其局域性。這些已有的圖像檢索方法只能對圖像進行簡單分析，提取 一些低層次的特徵，如顏色、紋理、形狀等。這些方法基本上都是針對圖像的某一特徵的某 一側面進行分析和考慮的，並沒有全面有效地利用圖像自身所提供的全部信息，而要實現 有效的圖像檢索需要更高層次、全面的、不同角度的內容特徵，這也符合人類對事物的認識 過程。為了全面有效的反應圖像的自身信息進而達到理想的圖像檢索效果，本發明專利 將智能計算理論引入到圖像檢索領域，提出了基於內容的多粒度圖像檢索技術；提出了可 用於圖像檢索領域的多目標粒子群優化算法、微分進化算法、模糊神經網絡等優化技術。

發明內容
本發明需要解決的問題是應用智能計算計算理論，研究多粒度下的基於內容的圖 像檢索，從而提出一種能有效地提高系統的查全率和查準率的圖像檢索方法。本發明的結 構示意圖見圖1。智能計算理論是從若干個不同的側面來獲得目標事物的信息，再將所獲得的信息經過一定的邏輯或者豐富的想像綜合起來得到完整的概念。目前已有的圖像檢索算法基本 上都是針對圖像的某一特徵的某一側面進行分析和考慮的，並沒有全面有效的利用圖像自 身所提供的所有信息。本發明對圖像進行合理的多粒度劃分，針對圖像在不同粒度下的表 現得到不同粒度下的特徵，獲得不同的粒度表現，然後根據智能計算理論對已得到的不同 特徵進行綜合處理，進而以合成後的屬性函數來完成圖像檢索。主要包括圖像的多粒度劃 分；圖像多粒度特徵的選取；智能計算理論下多粒度特徵的合成；多粒度特徵合成中的智 能自適應參數優化；構建智能化的自適應的圖像檢索系統。與採用單一屬性特徵的圖像檢 索方法相比，基於智能計算理論的圖像檢索方法能夠更大程度上的利用圖像自身所提供的 信息，實現圖像內容的全面表達。


圖1為本發明的流程圖。具體實施方法1.圖像的多粒度劃分對一個圖像處理問題可以用(X，f，Τ)這樣一個三元組來表示。當(X，f，Τ)和一 個等價關係R給定之後，可以得到(X，f，T)對應於等價關係R的粒度表示([X]，[f]，[T])， 其中R對應於一定的粒度。也就是，對於圖像檢索問題而言，在某個粒度下，如果X為圖像 中的像素，T為像素間的相似關係結構，f為圖像在該粒度下的特徵屬性函數，則圖像在該 特徵粒度下對應的粒度表現為([X]，[f]，[Τ])。其定義如下[X]定義[X]為對應於等價關係R的商集。[Τ]設 T 是拓撲，則定義商拓撲[T] =(U)p-1 (u) e T,U e [X]},p :X — [X]是自然投影。[f]設屬性函數 f:X —Y，定義[f] :[X] — Y。2.圖像多粒度特徵的選取在圖像檢索領域中，粒度的選擇和等價關係的構造關鍵在於對屬性函數f取不同 的粒度來實現顆粒化，即圖像的特徵提取算法的設計和選擇。本發明針對圖像檢索的實際 應用問題，提出不同粒度空間下的特徵提取算法。(1)針對圖像的局部顏色粒度空間，提出在子塊分割和區域劃分的基礎上，利用快 速離散餘弦變換(DCT)和特殊奇異值分解(SVD)對圖像進行特徵提取的算法。(2)針對圖像自相似粒度，提出圖像的自相似特徵提取算法，並構造該粒度下的等 價關係。其具體做法為①值域塊和定義域塊的劃分以大小為MXNX3的RGB彩色圖像P為例.首先對彩色圖像P進行值域塊的劃 分，將其分割成η個互不相交的值域塊風KL1, η = (MXN)/(LXL)，每個值域塊的大小為
LXLX3，則圖像戶= 代,且Ri η Rj= φ,i≠j.再將圖像P劃分為大小相同的可以相互交 /=1
錯的定義域塊{AHm = (M-L+l) (N-L+1)，其大小也為LXLX3.②自相似特徵編碼對於任意值域塊Ri,在所有的定義域塊中尋找除自身以外與其最相似的定義域塊Dj.這種映射關係用一個三元組(AXi，Ayi, ni)標記，其中(Axi，Ayi)為Dj相對於Ri的 左上角相對坐標，Hi為旋轉、反射變換的編號.設值域塊Ri中各像素點的RGB分量分別為& = (rrl,rr2, -rrk)T,rg = (rgl，rg2，… rgk)T, rb = (rbl，rb2，"^Jt，定義域塊Dj中各像素點的RGB分量分別為dr = (drl, dr2,… drk)T，dg = (dgl，dg2，-dgk)T, db = (dbl, db2, .··(! /，定義評測指標 E 為E (Ri, Dj) = Il dr-rr Il ^ Il dg-rg Il ^ Il db-rb Il ！其中Il · Il 向量的1-範數.這裡對Ri和Dj的操作都是三維的，即對於子塊的 RGB分量看作一個整體同時進行操作。對於每個Ri根據評測指標E搜索具有最小E值的定 義域塊Dj，這樣就得到了彩色圖像P的自相似特徵編碼，記為{ ,}!,，COi = (Axi, AyijHi), 這將作為對彩色圖像P進行自相似特徵提取的依據。③中心擴散算法塊匹配的計算量是驚人的，對於每一個值域塊Ri,其要進行的定義域塊的匹配次 數為m，則η個值域塊的匹配次數為mXn次.對於一幅256X256的圖像來說，若取L = 4， 則要完成的匹配次數為262180864.對於傳統的灰度圖像分形編碼來說，圖像中的許多子 塊具有「近距自相似性」，據此，對於彩色圖像和本文提出的自相似特徵編碼方法，提出中心 擴散算法來減少計算量。中心擴散算法能夠在保證一定匹配誤差的基礎上使匹配速度得到 顯著提高。與局部搜索不同的是，當全圖中沒有滿足誤差條件的匹配塊時，算法返回的是具 有最小誤差的匹配塊，即最優匹配塊，而對於滿足誤差條件的D塊，則在寬泛的誤差下完成 匹配，這對檢索效果幾乎沒有影響。④基於自相似特徵編碼的特徵提取本發明提出對自相似特徵編碼進行特殊奇異值分解(SVD)來提取特徵向量的方 法，對圖像P按照如下算法進行特徵向量的提取(a)將圖像P 的自相似特徵編碼泣= KK^n= (MXN)/(LXL), ω = (Axyi, Ayi, Hi)中的Axi，Ayi分量按照R塊的劃分方法分別組成矩陣X，Y;(b)對X，Y分別進行奇異值分解得到奇異值向量Cx，Cy,並將Cx，Cy首尾相接組成 特徵向量[…,crc丨」,cf，…,Cf，其中⑶為奇異值向量Cx的第k個分量，k = 1,2,…，L，C )同理。3.智能計算屬性合成最優準則函數的設計對於已獲得的不同粒度下的屬性函數，要結合圖像檢索問題本身進行最優準則函 數的設計和選擇，屬性函數合成必須滿足如下合成原則設已知(X1, f\，T1)和(X2, f2，T2)，求其合成粒度(X3, f3，T3)，即要求屬性函數滿足 如下條件 Pif3 = 4，i = 1，2Pi (X3, f3, T3) — (Xi, fi Ti)是投影，i = 1，2 ；②設D (f，fi; f2)是某一給定的最優判別準則，則有D(f3, f1 f2) = minD(f, f1 f2)或=maxD(f，f\，f2)其中min(max)是對一切滿足上式的X3上的一切屬性函數f取的。對於更一般的情況，即所得信息有誤差的情況，令Yi是Xi上一切屬性函數組成的函數空間，並設Yi上有一距離Cli，使(Ypdi)是一距離空間，i = 1，2，3，則D(f3, f1 f2) = minD(f, f1 f2)= min ((I1 (P1Ff1) 2+d2 (p2f-f2)2)其中min是對Y3上一切函數f取的。4.採用多目標優化算法對多粒度表現進行參數優化在獲得圖像不同粒度下的表現後，如何構造並優化參數使最優準則函數達到最 優，最終將歸結為多目標優化問題。本發明針對多粒度下的不同表現，提出粒子群多目標優 化算法、微分進化算法，將多個粒度表示作為目標進行參數優化，充分發揮不同粒度下的最 大優勢，在最大程度上體現圖像的內容特徵，以實現更優的圖像檢索效果。5.多粒度特徵的最優化整合利用模糊神經網絡對多粒度特徵描述進行最優化整合，不同的特徵整合方法將在 不同場景發揮各自的優勢，根據各種不同場景的需求，利用模糊神經網絡對多粒度特徵描 述進行最優化整合，是實現最終檢索結果的重要環節，需要根據不同的場景優化不同的參 數，從而達到最優的檢索效果。本發明將個體多粒度特徵的模糊空間劃分及其生成的模糊 規則庫轉換成等價的神經網絡形式。本發明從解釋性角度出發，選擇包含變量選擇的網格 劃分方法進行輸入輸出模糊空間劃分，同時將改進的Mamdani模糊推理法即廣義模糊加權 推理法轉換成等價的神經網絡形式。兩者通過模糊規則生成策略構建的初始模糊系統是一 個新穎的模型，為模糊系統精確性和解釋性折中問題的研究搭建了一個很好的平臺。
權利要求
基於智能計算的多粒度圖像檢索方法，包括如下步驟步驟1對圖像進行多粒度劃分步驟2圖像多粒度特徵的選取步驟3設計多粒度屬性合成中的最優準則函數步驟4採用多目標優化算法對多粒度進行參數優化步驟5利用模糊神經網絡對多粒度特徵進行描述進行最優化整合
2.根據權利要求1所述的基於智能計算的多粒度圖像檢索方法，其特徵在於將粒計 算應用於圖像檢索領域，全面有效地更大程度上的利用圖像自身所提供的信息，實現有效 的圖像檢索需要更高層次、全面的、不同角度的內容特徵，完成圖像內容的全面表達，進而 達到理想的圖像檢索效果。
3.根據權利要求1所述的不同粒度下的特徵提取算法，其特徵如下針對圖像的局部 顏色粒度，提出在子塊分割和區域劃分的基礎上，利用快速離散餘弦變換(DCT)和特殊奇 異值分解(SVD)對圖像進行特徵提取的算法，從而構造該粒度下的等價關係；針對圖像自相似粒度表現，提出圖像的自相似特徵提取算法，並構造該粒度下的等價 關係，其具體做法是步驟一值域塊和定義域塊的劃分，以大小為MXNX3的RGB彩色圖像P為例.首先 對彩色圖像P進行值域塊的劃分，將其分割成η個互不相交的值域塊怵KL1,η = (MXN)/(LXL)，每個值域塊的大小為LXLX3，貝丨J圖像屍= 代,且Ri η Rj = Φ , i ^ j.再將圖j=l J像P劃分為大小相同的可以相互交錯的定義域塊{A，m = (M-L+l) (N-L+1)，其大小也為 LXLX3；步驟二 自相似特徵編碼對於任意值域塊Ri,在所有的定義域塊中尋找除自身以外 與其最相似的定義域塊Dj.這種映射關係用一個三元組(AXi，Ayi, η,)標記，其中(AXi， Ayi)為Dj相對於Ri的左上角相對坐標，Hi為旋轉、反射變換的編號.設值域塊Ri中各像素點的RGB分量分別為& = (rrl, rr2, -rrk)T, rg = (rgl，rg2,… rgk)T, rb = (rbl，rb2，"^Jt，定義域塊Dj中各像素點的RGB分量分別為dr = (drl, dr2,… drk)T，dg = (dgl，dg2，-dgk)T, db = (dbl, db2, .··(! /，定義評測指標 E 為E (Ri, Dj) = Il dr-rr Il ^ Il dg-rg Il ^ Il db-rb Il !其中Il · Il1為向量的1-範數.這裡對Di和A的操作都是三維的，即對於子塊的RGB 分量看作一個整體同時進行操作。對於每個Ri根據評測指標E搜索具有最小E值的定義 域塊Dj，這樣就得到了彩色圖像P的自相似特徵編碼，記為^KL1，ω i = ( Δ Xi，Δ yi，ni)，這 將作為對彩色圖像P進行自相似特徵提取的依據；步驟三中心擴散算法塊匹配的計算量是驚人的，對於每一個值域塊Ri,其要進行的 定義域塊的匹配次數為m，則η個值域塊的匹配次數為mXn次.對於一幅256X256的圖 像來說，若取L = 4，則要完成的匹配次數為262180864.對於傳統的灰度圖像分形編碼來 說，圖像中的許多子塊具有「近距自相似性」，據此，對於彩色圖像和本文提出的自相似特徵 編碼方法，提出中心擴散算法來減少計算量。中心擴散算法能夠在保證一定匹配誤差的基 礎上使匹配速度得到顯著提高。與局部搜索不同的是，當全圖中沒有滿足誤差條件的匹配 塊時，算法返回的是具有最小誤差的匹配塊，即最優匹配塊，而對於滿足誤差條件的D塊，則在寬泛的誤差下完成匹配，這對檢索效果幾乎沒有影響；步驟四基於自相似特徵編碼的特徵提取本發明提出對自相似特徵編碼進行奇異值 分解(SVD)來提取特徵向量的方法，對圖像P按照如下算法進行特徵向量的提取(a)將圖像P 的自相似特徵編碼CT = 二，η = (MXN)/(LXL), ω, = (Axi, AyijHi) 中的Axi，Ayi分量按照R塊的劃分方法分別組成矩陣X，Y;(b)對X，Y分別進行奇異值分解得到奇異值向量Cx，Cy，並將Cx，Cy首尾相接組成 特徵向量(，其中C 為奇異值向量Cx的第k個分量， * = 1,2，…,1，邙>同理。使用這些特徵向量作為圖像的自相似特徵，得到圖像的自相似特徵 粒度。
4.根據權利要求1所述的多利多屬性合成中的最優準則函數，其特徵在於對於已獲 得的不同粒度的屬性函數，要結合圖像檢索問題本身進行最優準則函數的設計和選擇，屬 性函數合成必須滿足如下合成原則設已知(X1, T1)和(X2, f2，T2)，求其合成粒度(X3, f3，T3)，即要求屬性函數滿足如下 條件① Pif3 = i = 1,2Pi (X3, f3，T3) — (Xi，Ti)是投影，i = 1,2 ； ②設D(f，fi; f2)是某一給定的最優判別準則，則有 D(f3, f1 f2) = minD(f, f1 f2) 或=maxD(f, f1 f2)其中min(max)是對一切滿足上式的X3上的一切屬性函數f取的。 對於更一般的情況，即所得信息有誤差的情況，令Yi是Xi上一切屬性函數組成的函數 空間，並設Yi上有一距離Cli，使(Ypdi)是一距離空間，i = 1，2，3，則 D(f3, f1 f2) = minD(f, f1 f2)=minWi (P1H1)^d2 (p2f-f2)2) 其中min是對Y3上一切函數f取的。
5.根據權利要求1所述的採用多目標優化算法對多粒度進行參數優化，其特徵在於 採用了粒子群多目標優化算法、微分進化算法，將多個粒度作為多目標進行參數優化，充分 發揮不同粒度下的最大優勢，在最大程度上體現圖像的內容特點，以實現更優的圖像檢索 效果。
6.根據權利要求5所述的多粒度特徵描述的最優化整合，其特徵在於從解釋性角度 出發，選擇包含變量選擇的網格劃分法進行輸入輸出模糊空間劃分，同時改進的Mamdani 模糊推論法即廣義模糊加權推論法轉換成等價的神經網絡形式。
全文摘要
本發明涉及一種基於智能計算的多粒度圖像檢索方法，屬於圖像處理、模式識別、人工智慧、檢索技術和資料庫等多個技術領域。本發明對圖像進行合理的多粒度劃分，針對圖像在不同粒度下的表現得到不同粒度下的特徵，獲得不同的粒度表現，然後應用智能計算理論對已得到的不同特徵進行綜合處理，進而以合成後的屬性函數來完成圖像檢索。主要包括圖像的多粒度劃分；圖像多粒度特徵的選取；智能計算下多粒度特徵的合成；多粒度特徵合成中的智能自適應參數優化；構建智能化的自適應的圖像檢索系統。與採用單一屬性特徵的圖像檢索方法相比，基於智能計算多粒度合成的圖像檢索方法能夠更大程度上的利用圖像自身所提供的信息，實現圖像內容的全面表達。
文檔編號G06N3/02GK101930452SQ20101021613
公開日2010年12月29日 申請日期2010年7月2日 優先權日2010年7月2日
發明者周春光, 張利彪, 許相莉 申請人:吉林大學