基於泛化視覺詞典圖的物體識別方法
2023-12-08 17:48:51 2
專利名稱：基於泛化視覺詞典圖的物體識別方法
技術領域：
本發明涉及模式識別領域，特別涉及一種基於泛化視覺詞典圖的物體識別方法。
背景技術：
近年來，在物體識別領域中，關於目標特徵表達的一個非常重要方法就是採用視覺詞典來編碼圖像特徵。這一類方法被統稱為「基於視覺詞典的物體識別方法」。這類方法在當前幾乎所有的物體分類資料庫和競賽中都取得了最好的成績，是當前物體識別研究中佔有統治地位的方法。在基於視覺詞典的物體識別方法中，研究得最多的部分就是目標特徵編碼技術。 自從2009年開始，短短的兩年時間裡，已經有十餘種編碼技術被公開發表在國際主流會議和期刊上。歸納起來，這些編碼方法包括1)基於硬投票的編碼方法；2)基於軟投票的編碼方法。硬投票編碼只在每個局部特徵的最近單詞上有響應，而軟投票編碼可以在每個局部特徵的最近的多個單詞上有響應。以上這些編碼方法只考慮了特徵和詞典的關係來表徵局部特徵。實際上視覺詞典中的每個單詞並不是獨立的，而與其他單詞有著密切的聯繫，這種視覺詞典中的單詞關係構成視覺詞典圖。結合上述兩種編碼方法，利用視覺詞典圖可以更好的表徵局部特徵。而現有的視覺詞典圖技術僅僅適用於硬編碼方法，使得視覺詞典圖技術在應用上受到了很大的限制。
發明內容
為了解決現有技術存在的問題，本發明提供一種基於泛化視覺詞典圖的物體識別方法。本發明提出一種基於泛化視覺詞典圖的物體識別方法，其特徵在於，該方法包括以下步驟步驟1，採集多個訓練圖像，對多個訓練圖像分別進行局部採樣並在得到的局部採樣塊上提取尺度不變特徵變換SIFT特徵，得到訓練圖像的SIFT特徵集合；步驟2，對得到的SIFT特徵集合進行聚類生成多個聚類中心，以聚類中心為視覺單詞組成視覺詞典；步驟3，根據視覺詞典中視覺單詞之間的關係構建視覺詞典圖；步驟4，用視覺詞典圖對提取出來的SIFT特徵進行泛化編碼，得到一個維度為視覺詞典圖大小的泛化編碼結果向量；步驟5，對泛化編碼結果向量進行最大聚集操作，生成視覺詞典圖響應，S卩訓練圖像的最終特徵表達；步驟6，將所有訓練圖像的最終特徵表達送入分類器進行訓練，生成訓練模型；步驟7，輸入待識別圖像，根據步驟I提取待識別圖像的SIFT特徵；步驟8，使用步驟3得到的視覺詞典圖對提取出的SIFT特徵進行泛化編碼；
步驟9，對步驟8得到的泛化編碼結果進行最大聚集操作生成視覺詞典圖響應；步驟10，將步驟9得到的視覺詞典圖響應送入步驟6生成的訓練模型進行測試，從而得到待識別圖像中目標類別的識別結果。根據本發明的方法，圖像目標在複雜的情況下，仍然可以魯棒地達到識別的目的。 在智能視覺監控系統中，能夠利用本發明幫助監控系統識別場景中目標的類別，使得監控系統能真正理解場景中正在發生什麼，而且可以根據不同的目標類別採取不同的安全級別控制。本發明還能夠對多媒體數字內容分析中的目標進行分析，判斷目標的類別。
圖I是基於泛化視覺詞典圖的物體識別方法的流程圖。圖2是SIFT特徵示意圖。圖3是根據本發明的視覺詞典圖示意圖。圖4是泛化視覺詞典圖編碼示意圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。圖I為基於泛化視覺詞典圖的物體識別方法的流程圖，如圖I所示，本發明所提出的基於泛化視覺詞典圖的物體識別方法包括以下步驟步驟1，採集多個訓練圖像，對多個訓練圖像分別進行局部採樣並在得到的局部採樣塊上提取尺度不變特徵變換(Scale Invariant Feature Transform, SIFT)特徵，得到訓練圖像的SIFT特徵集合；所述步驟I中提取尺度不變特徵變化(SIFT)特徵進一步包括以下步驟步驟I. 1，對於一訓練圖像，以多個關鍵點為中心找到該訓練圖像的多個局部採樣塊；關鍵點可以任選圖像中的多個點，本發明中，關鍵點取為對每一行像素進行 4採樣得到的採樣點；局部採樣塊可為小於訓練圖像尺寸的任意尺寸，本發明中取為 16(4X4)。步驟I. 2，對每個局部採樣塊進行梯度濾波，得到梯度響應圖；本發明中所使用的
梯度濾波函數為其中，O為高斯平滑係數，(x,y)為採樣點坐標。 2πσ步驟I. 3，根據梯度響應圖統計每個局部採樣塊內各像素點的梯度方向和幅度，即在各局部採樣塊內統計各方向梯度的信息，得到該訓練圖像的SIFT特徵；SIFT特徵表示形式如圖2所示，圖2左圖表示某個採樣點的各個子區域的梯度方向，右圖表示在每個4X4的局部採樣塊進行8個梯度方向的幅值統計。本發明設定取8個梯度方向，取16個(4X4)局部採樣塊，最終構成128(8X16) 維的特徵向量。步驟I. 4，重複步驟I. 1-1. 3，得到所有訓練圖像的SIFT特徵，組成SIFT特徵集合
步驟2，對得到的SIFT特徵集合進行聚類生成多個聚類中心，以聚類中心為視覺單詞組成視覺詞典；傳統的視覺詞典生成主要是通過聚類。聚類，顧名思義就是把相似的數據聚在一起，使得數據類內儘可能相似，類間儘可能不相似。本發明對提取到的128維SIFT特徵向量進行聚類，即在128維的特徵空間中進行聚類。最常用的聚類算法是K均值算法(K-means)， 聚類後形成了多個子空間區域，每個區域的中心就是區域中所有數據點的均值，稱為聚類中心,也被稱為視覺單詞。K均值聚類算法的基本過程如下所描述首先從η個數據樣本點中任意選擇k個對象作為初始聚類中心；而對於所剩下其它對象，則根據它們與這些聚類中心的相似度 (距離)，分別將它們分配給與其最相似的(聚類中心所代表的)聚類；然後再計算每個所獲新聚類的聚類中心(該聚類中所有對象的均值)；不斷重複這一過程直到新的聚類中心與老的聚類中心之間的差異收斂為止。步驟3，根據視覺詞典中視覺單詞之間的關係構建視覺詞典圖；把每個視覺單詞視為頂點，而兩個視覺單詞的連接視為一條邊，由此形成的圖稱為視覺詞典圖。特別的，對於某個視覺單詞，本發明只考慮其與附近幾個視覺單詞之間的連接，根據本發明所生成的視覺詞典圖示意圖如圖3所示。步驟4，用視覺詞典圖對每個提取出來的SIFT特徵進行泛化編碼，得到一個維度為視覺詞典圖大小的泛化編碼結果向量，此向量表示為P = ^11... ，…，rMl... 其中的字母含義將在下文給出。所述泛化編碼方法示意圖如圖4所示。本發明採用如下的泛化準則來表徵每個SIFT特徵，即對SIFT特徵進行泛化編碼riq = TiX Ψ [g(x, Ci, ciq)](I)其中，i= I, , M, q = I, ... , Qi在公式(I)和圖4中，X代表一個SIFT特徵；Ci (i = 1，. . .，M)集合代表視覺詞典， M為視覺詞典中視覺單詞的個數，Ci代表視覺詞典中的一個視覺單詞；ciq(q= 1，...，Qi) 是與視覺單詞Ci相關聯的視覺單詞，Qi是相關聯的視覺單詞的個數是X在Ci上的編碼響應，而ri(1是X在Citl上的編碼響應,此處的響應反映了兩元素經過編碼之後的關係，響應值決定於所採用的編碼策略，當前廣泛採用的三種編碼策略可以分為基於距離的編碼，基於重構的編碼和基於顯著度的編碼。例如，當採用基於距離的編碼時，對於某個SIFT特徵， 與它距離最近的視覺單詞賦予響應1，而其餘視覺單詞響應均為O ;g( ·)是度量函數，度量的是兩個物理量的相似度，例如在式(I)中，本發明採用的物理量是兩個向量之間的角度，
/ xe c c \
度量函數為arcco八iVq Y，其中，〈·>表示兩個向量的內積，I · I表示向量的模；Ψ(·)
Fi I'IciqCi I
是任意形式的函數，在本發明中，可以是最小值函數argmin或指數函數exp。此外，圖4中的實線代表每對視覺單詞之間的關係，而虛線所夾的區域代表每對視覺單詞關係的作用區域。
SIFT特徵的泛化編碼可分為單詞投票編碼和單詞關係投票編碼兩種方式，即圖4 中的層I和層2。而每種編碼方式又可進一步分為硬投票和軟投票方式，也就是說，存在以下四種編碼方式(I)單詞硬投票；(2)單詞軟投票；(3)單詞關係硬投票；(4)單詞關係軟投票，這四種編碼方式均為上文提出的泛化模型的特例。下面分別對這四種編碼方式進行說明I.單詞硬投票當Ψ [g(x, Ci, ciq)] = I, Qi = I, M = I時,公式⑴轉換為如下的單詞硬投票編riq = T1(2)s. t. i = I, q = I2.單詞軟投票當Ψ [g(x, Ci, ciq)] = I, Qi = I, I < K彡M時,公式⑴轉換為如下的單詞軟投票編碼方法riq = T1(3)s. t. i = I, · · , K, q = I3.單詞關係硬投票當W=argmin,g = Θ (Xci, CiqCi), I < K < M時,公式(I)轉換為如下的單詞關係硬投票編碼方法riq = T1s. t. q = argmin Θ (Xci, CiqCi)(4)i = I, . . . , K, q = I, . . . , Qi
權利要求
1.一種基於泛化視覺詞典圖的物體識別方法，其特徵在於，該方法包括以下步驟步驟1，採集多個訓練圖像，對多個訓練圖像分別進行局部採樣並在得到的局部採樣塊上提取尺度不變特徵變換SIFT特徵，得到訓練圖像的SIFT特徵集合；步驟2，對得到的SIFT特徵集合進行聚類生成多個聚類中心，以聚類中心為視覺單詞組成視覺詞典；步驟3，根據視覺詞典中視覺單詞之間的關係構建視覺詞典圖；步驟4，用視覺詞典圖對提取出來的SIFT特徵進行泛化編碼，得到一個維度為視覺詞典圖大小的泛化編碼結果向量；步驟5，對泛化編碼結果向量進行最大聚集操作，生成視覺詞典圖響應，S卩訓練圖像的最終特徵表達；步驟6，將所有訓練圖像的最終特徵表達送入分類器進行訓練，生成訓練模型；步驟7，輸入待識別圖像，根據步驟I提取待識別圖像的SIFT特徵；步驟8，使用步驟3得到的視覺詞典圖對提取出的SIFT特徵進行泛化編碼；步驟9，對步驟8得到的泛化編碼結果進行最大聚集操作生成視覺詞典圖響應；步驟10，將步驟9得到的視覺詞典圖響應送入步驟6生成的訓練模型進行測試，從而得到待識別圖像中目標類別的識別結果。
2.根據權利要求I所述的方法，其特徵在於，所述步驟I中提取尺度不變特徵變化 SIFT特徵進一步包括以下步驟步驟I. 1，對於一訓練圖像，以多個關鍵點為中心找到該訓練圖像的多個局部採樣塊； 步驟I. 2，對每個局部採樣塊進行梯度濾波，得到梯度響應圖；步驟I. 3，根據梯度響應圖統計每個局部採樣塊內各像素點的梯度方向和幅度，即在各局部採樣塊內統計各方向梯度的信息，得到該訓練圖像的SIFT特徵；步驟I. 4，重複步驟I. 1-1. 3，得到所有訓練圖像的SIFT特徵，組成SIFT特徵集合。
3.根據權利要求2所述的方法，其特徵在於，所述關鍵點取為對所述訓練圖像每一行像素進行4採樣得到的採樣點。
4.根據權利要求2所述的方法，其特徵在於，所述步驟I.2中使用的梯度濾波函數為(ι2」2)/2σ2)，其中，σ為高斯平滑係數，(x,y)為採樣點坐標。2πσ
5.根據權利要求I所述的方法，其特徵在於，所述步驟2中使用K均值算法對得到的 SIFT特徵集合進行聚類。
6.根據權利要求I所述的方法，其特徵在於，構建所述視覺詞典圖時，把每個視覺單詞視為頂點，把兩個視覺單詞的連接視為一條邊。
7.根據權利要求I所述的方法，其特徵在於，所述步驟4中，使用下式對SIFT特徵進行泛化編碼riq = TiX Ψ [g(x, Ci, ciq)],其中，X代表一個SIFT特徵；Ci (i = I, ... ,Μ)集合代表視覺詞典，M為視覺詞典中視覺單詞的個數，Ci代表視覺詞典中的一個視覺單詞；ciq(q= 1，...，Qi)是與視覺單詞Ci相關聯的視覺單詞，Qi是相關聯的視覺單詞的個數是X在Ci上的編碼響應，而riq是X在 Ciq上的編碼響應，所述響應反映了兩元素經過編碼之後的關係；g( ·)是度量函數；Ψ ( ·)是任意形式的函數。
8.根據權利要求7所述的方法，其特徵在於，所述泛化編碼分為單詞投票編碼和單詞關係投票編碼兩種方式。
9.根據權利要求8所述的方法，其特徵在於，所述泛化編碼進一步為層次化的泛化編碼首先，進行單詞投票編碼，所述單詞投票編碼包括單詞硬投票編碼和單詞軟投票編碼；然後，基於單詞投票編碼結果再進行單詞關係編碼，所述單詞關係編碼包括單詞關係硬投票和單詞關係軟投票。
10.根據權利要求9所述的方法，其特徵在於，所述單詞硬投票編碼為ri(i= ri，其中，i= I, q = I ;所述單詞軟投票為ri(1 = η,其中，i = I, . . . , K, q = I, I < K ^ M ；所述單詞關係硬投票為I Ergmin^(XCi9CiqCi) 』其中』 i = I』…』 K』 Q = 1』…』Qi, I < K彡M, XCi和CiqCi分別是X和Ciq到Ci的向量，Θ (XCi, CiqCi)是這兩個向量之間的角度；所述單詞關係軟投票為riq = Γ Χθχρ[-β SEX Θ (xci； CiqCi)2],其中，i = I, . . . , K, q =1，. . .，Qi, I < K彡Μ，β SK是類高斯函數的平滑係數。
11.根據權利要求I所述的方法，其特徵在於，所述步驟5進一步包括以下步驟步驟5. 1，使用SIFT特徵在視覺詞典圖上的泛化編碼結果對每個SIFT特徵進行描述； 步驟5. 2，取視覺詞典圖中每個單詞關係上所有SIFT特徵響應的最大值，組成一個維度為視覺詞典圖大小的向量，作為訓練圖像的最終特徵表達。
12.根據權利要求I所述的方法，其特徵在於，所述步驟6中的分類器為線型SVM分類器。
13.根據權利要求I所述的方法，其特徵在於，所述步驟6中的SVM分類器為f(w)= sgn {(w · x)+b}，其中，sgn是0，I符號函數，x是訓練樣本，b是偏置項，w是訓練得到的模型。
全文摘要
本發明公開了一種基於泛化視覺詞典圖編碼的目標識別方法，包括以下步驟對已經標好類別的目標圖像進行特徵提取，對提取的特徵在視覺詞典圖上進行泛化編碼，對編碼結果進行訓練並建模；對未知類別的圖像進行特徵提取，將提取的特徵在視覺詞典圖上進行泛化編碼，將編碼結果輸入到訓練得到的模型，獲得圖像中目標的類別。該方法採用基於泛化視覺詞典圖的編碼技術來提高分類精度，可用於智能視覺監控系統，使得監控系統能真正理解場景；可用於多媒體數字內容分析中的目標分析，判斷目標的類別；可用於分析顧客對特定產品或者特定娛樂項目喜好。
文檔編號G06K9/66GK102609732SQ20121002181
公開日2012年7月25日 申請日期2012年1月31日 優先權日2012年1月31日
發明者王衝, 譚鐵牛, 黃凱奇, 黃永禎 申請人:中國科學院自動化研究所