基於提升稀疏約束雙線性模型的圖像分類方法
2023-05-15 05:48:36
專利名稱：基於提升稀疏約束雙線性模型的圖像分類方法
技術領域：
本發明屬於圖像處理領域，涉及一種基於提升稀疏約束雙線性模型的圖像分類方 法。
背景技術：
隨著多媒體數據的爆炸性增漲，人工對圖像進行分類越來越困難，基於圖像內容 的自動分類越來越受到重視。自動的圖像分類技術能夠通過對圖像本身內容進行處理分 析，從而預測圖像的類別，避免了大量人工處理。然而由於圖像中各種物體形態各異，出現 位置也不固定，而且還有可能存在遮擋的現象，自動的學習一個魯棒的圖像特徵表示和預 測模型仍然是一個很有挑戰的問題。傳統的圖像分類方法大都是基於詞袋模型。這種方法首先在圖像上提取局部特 徵，對局部特徵進行量化，生成碼本，然後通過尋找最近鄰的方法將局部特徵量化到每個視 覺詞，並將圖像表示成一個視覺詞的直方圖分布，最後通過訓練分類器的方式來預測圖像 的類別。這種方法在一定程度上克服了全局特徵的缺陷，但是，這種方法忽略了圖像局部特 徵的空間位置信息和相互聯繫。為了在一定程度上考慮空間信息，一般採用空間金字塔的 方式對圖像進行劃分。但是，這種方法劃分金字塔的方式是一種經驗性的，事先無法取得最 有效地劃分。另一方面，每個視覺詞對於分類性能的影響是不同的，給予每個視覺詞同樣的 權重也不利於最終的分類。
發明內容
為了解決吸納有技術的問題，本發明的目的是對快速有效的圖像分類，提出一個 更有效的圖像特徵表示和分類模型，為此本發明提供一種基於提升稀疏約束雙線性模型的 圖像分類方法。為達成所述目的，本發明提供一種基於提升稀疏約束雙線性模型的圖像分類方 法，該方法的圖像分類步驟如下步驟Sl 在圖像上提取圖像的局部特徵；步驟S2 從圖像上密集的提取多個部件；步驟S3 將各個部件用視覺詞的直方圖作為部件的特徵表示，並將每個部件的特 徵表示按順序排列起來，用一個矩陣的形式來表示圖像；步驟S4 使用提升稀疏約束雙線性模型模擬視覺詞到部件、部件到圖像類別之間 的關係，從而達到對圖像分類的目的。優選實施例，基於部件的圖像表示，綜合考慮局部特徵的空間信息；考慮部件本身 的空間信息，用於增強部件表示方式的判別力。優選實施例，設每個部件都對圖像的類別預測有貢獻，採用線性模型去擬合每個 部件都對圖像的類別預測的這種聯繫；同時，設每個部件中的每個視覺詞對所述部件的類 別也有貢獻，也採用線性模型來擬合每個部件中的每個視覺詞對所述部件的類別的這種聯繫，從而將圖像類別預測問題轉化為學習一個雙線性模型的問題。優選實施例，為了選擇最有判別力的視覺詞和部件，從而更好的進行圖像分類，對 雙線性模型的兩個係數向量施加稀疏性的約束，並通過組合多個雙線性模型來增強圖像分 類的魯棒性。優選實施例，在學習單個稀疏約束的雙線性模型時，採用交替優化的策略，先固定 視覺詞到部件的模型係數，去學習部件到圖像類別的模型的係數；然後固定部件到圖像類 別的模型的係數，去學習視覺詞到部件的模型係數。優選實施例，所述優化的策略採用加權的係數符號搜索算法實現。本發明的有益效果本發明提出一種基於提升稀疏約束雙線性模型對圖像進行分 類。通過部件來融合圖像的空間信息，並通過雙線性模型來進行圖像分類，利用稀疏約束進 行最有判別力的部件和視覺詞的選擇，並利用提升的方法來提高算法的性能和魯棒性。本 發明在三個資料庫上的實驗，證明了本發明的方法有更高的分類性能。
圖1提升稀疏約束雙線性模型進行圖像分類框圖；圖2基於部件的圖像表示示意圖；圖3基於提升稀疏約束雙線性模型的混淆矩陣；圖4提升稀疏約束雙線性模型在Caltech-IOl資料庫上的分類準確率；圖5提升稀疏約束雙線性模型在Caltech-256資料庫上的分類準確率。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照 附圖，對本發明進一步詳細說明。本發明利用圖像分塊和稀疏約束，提出了一個行之有效的圖像分類方法。圖1示 出本發明的系統提升稀疏約束雙線性模型進行圖像分類框架，包括圖像局部特徵提取、基 於部件的圖像表示、提升稀疏約束雙線性模型，以及圖像分類。本發明主要包括兩個部分基於部件的圖像表示和提升稀疏約束雙線性模型。(一 )、基於部件的圖像表示圖像表示部分採用基於部件的表示方式，圖2示出描述了基於部件的圖像表示方 法，這種方法同時考慮了局部特徵的空間信息和部件之間的空間信息，從而可以得到有判 別力的圖像特徵表示，為下一步的分類器訓練提供便利。本發明中，採用視覺詞直方圖來表示每個部件。先用k均值聚類方法獲得1000個 聚類中心，每個聚類中心對應一個視覺詞；採用尋找最近鄰的方法對圖像局部特徵的空間 信息進行視覺詞的量化。我們密集地抽取部件，在每幅圖上抽取20X 15個部件，每個部件 是一個64X64像素的正方形區域。用部件內的視覺詞的直方圖來表示部件，將每個部件直 方圖的定義為hj = Di1, j，Ii2, ...Ct (1)其中，N代表視覺詞的個數，、是一個NXl的向量，其中每一維的元素hM，i = 1， 2，…，N正比於第i個視覺詞在第j個部件裡面出現的次數，j = 1，2，…，M，M代表部件的個數。並滿足Σ二 =1。在把每個部件用直方圖表示以後，將各個部件hp j = 1，2，…，M按順序排列起來， 將第k個圖像表示成一個NXM的矩陣Hk Hk = [h1 h2, ...，hM] (2)這樣，我們就得到了最終的基於部件的圖像表示，k = 1，2，…，K。K代表訓練圖 像的個數。( 二)、提升稀疏約束雙線性模型在將圖像用部件表示後，我們用提升稀疏約束雙線性模型來進行圖像類別的預 測。首先，我們認為圖像的每個部件都對圖像的類別預測有貢獻，我們採用線性模型去模 擬；同時，對於每個部件，其中的每個視覺詞對這個部件的類別也有貢獻，本發明也採用線 性模型來模擬，從而將圖像類別預測問題轉化為學習一個雙線性模型的問題，即學習α， β，使得f(Hk) =yk= α THk^(3)其中，yk代表對第k個圖像的預測值。F(Hk) = Q1Hk^代表要學習的雙線性模型。 α是一個NXl維的係數向量，β是一個MXl維的係數向量。為了選擇最有判別力的視覺詞和部件，從而更好的進行圖像分類，對於雙線性模 型的兩個係數向量α，β施加稀疏性的約束。同時，通過組合多個雙線性模型來增強本發 明方法的魯棒性。這是通過優化以下的目標函數實現Ft (H) = arg min exp[-/ xFT (Hk )] + C1 Σ: IKI1 +|Α I ( 4 )
Ft(H)其中，巧(好)=I^1 (好),(好)= Γ孖A。T代表雙線性模型的個數，K代表訓
練圖像的個數。C1, C2是兩個控制稀疏程度的係數。H代表訓練圖像ft (H)代表要學習 的第t個雙線性模型，α t和β t是第t個雙線性模型對應的參數，α J代表α t的轉置。
巧(//) = 2^/,(灼代表要學習的提升稀疏約束的雙線性模型，它是由T個雙線性模型組成。我們採用提升的思想，通過T次循環，每次學習一個稀疏約束的雙線性模型。本發 明的算法如表1所示表(1)提升稀疏約束雙線性模型算法1.設定圖像初始權重Wk,。，k=l, 2，…，K，稀疏約束係數C1, c2。
2.重複t=l，2，…，T輪
Ca)通過交替優化(Xt, I學習第t個雙線性模型((XtJt)。 (b)令 ft(H)=atTH^t。
(c )設置第t輪、第k個圖像的權重wk, t=wk, t l X exp (-ykft (Hk))， 其中，Ih代表第t_l輪、第k個圖像的權重。並歸一化， 使得Σ>,1。
3.輸出最終的分類器Ft(H) = Y^ft(H)在算法的步驟2. (a)，我們的目標函數⑷可以簡化為(oct Jt) = argmin^^kj χexp[—/ Xft(Hk)] + C1 ㈣I1 + C2( 5 )在本發明中採用交替優化的方法，通過先固定β t來求解α t，然後固定Cit來求解 β t。當固定β t來求解α t時，目標函數(5)可進一步簡化為
權利要求
1.一種基於提升稀疏約束雙線性模型的圖像分類方法，其特徵在於，該方法圖像分類 的步驟如下步驟Sl 在圖像上提取圖像的局部特徵；步驟S2 從圖像上密集的提取多個部件；步驟S3 將各個部件用視覺詞的直方圖作為部件的特徵表示，並將每個部件的特徵表 示按順序排列起來，用一個矩陣的形式來表示圖像；步驟S4 使用提升稀疏約束雙線性模型模擬視覺詞到部件、部件到圖像類別之間的關 系，從而達到對圖像分類的目的。
2.根據權利要求1所述的基於提升稀疏約束雙線性模型的圖像分類方法，其特徵在 於，基於部件的圖像表示，綜合考慮局部特徵的空間信息；考慮部件本身的空間信息，用於 增強部件表示方式的判別力。
3.根據權利要求1所述的基於提升稀疏約束雙線性模型的圖像分類方法，其特徵在 於，設每個部件都對圖像的類別預測有貢獻，採用線性模型去擬合每個部件都對圖像的類 別預測的這種聯繫；同時，設每個部件中的每個視覺詞對所述部件的類別也有貢獻，也採用 線性模型來擬合每個部件中的每個視覺詞對所述部件的類別的這種聯繫，從而將圖像類別 預測問題轉化為學習一個雙線性模型的問題。
4.根據權利要求1所述的基於提升稀疏約束雙線性模型的圖像分類方法，其特徵在 於，為了選擇最有判別力的視覺詞和部件，從而更好的進行圖像分類，對雙線性模型的兩個 係數向量施加稀疏性的約束，並通過組合多個雙線性模型來增強圖像分類的魯棒性。
5.根據權利要求1所述的基於提升稀疏約束雙線性模型的圖像分類方法，其特徵在 於，在學習單個稀疏約束的雙線性模型時，採用交替優化的策略，先固定視覺詞到部件的模 型係數，去學習部件到圖像類別的模型的係數；然後固定部件到圖像類別的模型的係數，去 學習視覺詞到部件的模型係數。
6.根據權利要求1所述的基於提升稀疏約束雙線性模型的圖像分類方法，其特徵在 於，所述優化的策略採用加權的係數符號搜索算法實現。
全文摘要
本發明提出一種基於提升稀疏約束雙線性模型的圖像進行分類方法，該方法的圖像分類步驟如下步驟S1在圖像上提取圖像的局部特徵；步驟S2從圖像上密集的提取多個部件；步驟S3將各個部件用視覺詞的直方圖作為部件的特徵表示，並將每個部件的特徵表示按順序排列起來，用一個矩陣的形式來表示圖像；步驟S4使用提升稀疏約束雙線性模型模擬視覺詞到部件、部件到圖像類別之間的關係，從而達到對圖像分類的目的。為了提高方法的判別力，我們加入了稀疏性的約束，並採用提升的策略來提高方法的魯棒性。在三個資料庫上的實驗結果，證實了我們的方法的有效性。
文檔編號G06K9/62GK102122358SQ201110081240
公開日2011年7月13日 申請日期2011年3月31日 優先權日2011年3月31日
發明者劉靜, 盧漢清, 張淳傑 申請人:中國科學院自動化研究所