基於尺度選擇的自頂向下的視覺顯著性提取方法
2023-06-23 03:54:26
專利名稱：基於尺度選擇的自頂向下的視覺顯著性提取方法
技術領域：
本發明涉及的是一種視覺顯著性的計算方法，特別涉及一種基於尺度選擇的自頂向下的視覺顯著性提取方法，屬於視覺顯著性領域。
背景技術：
視覺注意是幫助人類視覺系統準確有效的識別場景的一種重要機制。獲取圖像中的顯著區域是計算機視覺領域的一個重要的研究課題。它可以幫助圖像處理系統在後續處理步驟中合理的分配計算資源。視覺顯著區域提取被廣泛的應用於很多計算機視覺應用當中，如感興趣物體分割、物體識別、自適應圖像壓縮、內容敏感的圖像縮放、圖像檢索等。關於視覺顯著性的檢測分為兩類快速的、與任務無關的、數據驅動的自底向上的顯著性檢測和較慢的、與任務相關的、目標驅動的自頂向下的顯著性檢測。現有的視覺顯著性檢測方法大都是屬於前一類的，通過計算各種形式的圖像內容和場景的對比度來獲得視覺顯著性。本發明所涉及的是後一類。運用機器學習的方法學習模型來提取目標相關的顯著區域，該方法可以應用於物體檢測、物體識別等領域。自頂向下的視覺顯著性檢測方法主要有基於特徵融合的方法和基於信息最大化原則的方法。基於特徵融合的方法主要是通過調整不同特徵通道的權重值來獲得自頂向下的顯著性。Frintrop等人於2005年Pattern Recognition中提出了 VOQJS系統「Goal-directed search with a top-down modulated computational attention system，，(Frintrop, S.，Backer, G.，Rome, E. :Goal-directed search with a top-downmodulated computational attention system.1n:Patter Recognition, Proceedings.LNCS, vol. 3663，pp. 117-124 (2005))。在自頂向下模塊裡，學習階段通過樣本圖片學習得到不同特徵通道的權重值。在預測階段，將不同特徵加權得到最終的顯著值。基於信息最大化原則的方法主要是通過判別式的方法突出來自目標的特徵。Gao Dashan等人於 2009 年 IEEE Transactions on Pattern Analysis and Machine Intelligence 中提出 了 「Discriminant Saliency, the Detection of Suspicious Coincidences, andApplications to Visual Recognition，，(Gao, D.，Han, S.，Vasconcelos, N. :DiscriminantSaliency, the Detection of Suspicious Coincidences, and Applications to VisualRecognition.1EEE Transactions on Pattern Analysis and Machine Intelligence, vol.31，pp. 989-1005(2009))，將自頂向下的顯著性檢測定義為一個二分類的問題。本方法同樣將自頂向下的顯著性檢測定義為一個二分類的問題。傳統的基於局部特徵的物體檢測方法需要大量的掃窗，其掃窗的數量可能達到採窗數量的幾倍甚至幾十倍。如何有效地提取與目標相關的顯著區域，並將之運用於物體檢測，正是本發明要解決的問題。
發明內容
針對現有技術中的缺陷，本發明的目的是提供一種基於尺度選擇的自頂向下的視覺顯著性提取方法，該方法基於編碼的圖像分類框架進行視覺顯著性提取，並且考慮了多尺度的上下文信息，避免了大量重複性的掃描，從而減小了時間複雜度。為實現上述目的，本發明採用了以下技術方案現有的大部分方法都是自底向上的，只與圖像本身有關，而與人的意圖無關。本發明提出的方法充分考慮人的意圖，而且利用多尺度的上下文關係，能有效地提取出與人的意圖相關的視覺顯著的區域，並可以應用於物體檢測等領域。本方法包括兩個階段，每階段四步。訓練階段學習得到非線性模型，並找到多尺度合併中的最佳的尺度，用於顯著值的計算。顯著值計算階段根據訓練階段得到的最佳尺度和非線性模型來提取顯著圖。具體的，一種基於尺度選擇的自頂向下的視覺顯著性提取方法，包括兩個階段，每階段四個步驟，即第一階段訓練階段S1:對每幅圖像進行稠密採窗，對每個窗提取特徵描述符，特徵描述符不限定於哪種特徵，可以是顏色特徵描述符，也可以是形狀特徵描述符。S2:根據訓練集圖像得到的特徵描述符構建視覺詞典，然後用某一種編碼方法將訓練集圖像的特徵描述符映射為編碼向量。S3:將每一個窗作為中心窗，將之與周邊的窗的編碼向量做多尺度的合併，每個窗都生成新的特徵向量。由於做了多尺度的融合，所以每個窗會對應多個特徵向量。多尺度向量融合的方法如下定義在尺度η的周邊窗K為
權利要求
1.一種基於尺度選擇的自頂向下的視覺顯著性提取方法，其特徵在於，包括以下兩個階段，每個階段四個步驟第一階段訓練階段Si對每幅圖像進行稠密採窗，對每個窗提取特徵描述符；S2:根據訓練集圖像得到的特徵描述符構建視覺詞典，然後用某一種編碼方法將訓練集圖像的特徵描述符映射為編碼向量；S3:將每一個窗作為中心窗,將之與周邊的窗的編碼向量做多尺度的合併,每個窗都生成新的特徵向量，由於做了多尺度的融合，所以每個窗會對應多個特徵向量；S4:將不同尺度的特徵向量和真實標註分別輸入到支撐向量機訓練，得到不同尺度的非線性模型，用於預測顯著值，將預測得到的結果和真實標註用KLD做評價，取KLD值最小的尺度作為最佳尺度；第二階段顯著值計算階段S1:和訓練階段的SI相同，對每幅圖像進行稠密採窗，並提取相同的特徵描述符；S2:根據已有的詞典，用與訓練階段S2相同的編碼方法將每幅圖像每個窗內提取的特徵描述符映射為編碼向量；S3 :根據訓練階段S4得到的最佳尺度，將中心窗和周邊窗在最佳尺度上合併，生成新的特徵向量；S4:用訓練階段得到的非線性模型對最佳尺度上的特徵向量做預測得到最終的顯著值。
2.根據權利要求1所述的基於尺度選擇的自頂向下的視覺顯著性提取方法，其特徵在於，所述訓練階段中步驟S3中的多尺度向量融合的方法如下定義在尺度η的周邊窗為An= Q1 U Ω2...υ Ωη，Ωη = {cjn)\i = 1,2,…,8n}為尺度η上的邊緣窗集合，Cf1) = (C^1 C^1…代表在尺度η上的第i個邊緣窗上的K維編碼向量；1蟲合後的特徵向ii1.:為= maxj cy . s. t. Cj e An其中表示f(n)的第k個分量，cJ代表周邊窗上的第j個編碼向量，代表Cj的第k個分量。
3.根據權利要求1所述的基於尺度選擇的自頂向下的視覺顯著性提取方法，其特徵在於，所述訓練階段中步驟S4中的KLD作為選擇最佳尺度的方法，其計算公式如下1..dkl(^!I^) - _ (IIgx-1}Cx)^O9sX + 丄{如=。}(X)IOg (I —sx)其中，Sx代表在位置X處的顯著值，gx代表在位置X處真實標註的值，即X 屬於目標物體，gx 為 I，^lgx = Ij — I, Ifgx=Oj — O;X 不屬於目標物體，gx 為 O, l{gY=o} — 1,— O;N代表真實標註圖像裡的像素數目；KLD的值越小，代表預測出的顯著圖越接近於真實標註。
4.根據權利要求1-3之一所述的基於尺度選擇的自頂向下的視覺顯著性提取方法，其特徵在於，所述特徵描述符是顏色特徵描述符，或是形狀特徵描述符。
全文摘要
本發明公開了一種基於尺度選擇的自頂向下的視覺顯著性提取方法，包括兩個階段，訓練階段學習得到非線性模型，並找到多尺度合併中的最佳的尺度，用於顯著值的計算。顯著值計算階段根據訓練階段得到的最佳尺度和非線性模型來提取顯著圖。本發明提出的方法充分考慮人的意圖，而且利用多尺度的上下文關係，能有效地提取出與人的意圖相關的視覺顯著的區域，並可以應用於物體檢測等領域。
文檔編號G06K9/62GK102999763SQ20121042565
公開日2013年3月27日 申請日期2012年10月30日 優先權日2012年10月30日
發明者張瑞, 仇媛媛, 朱俊, 付賽男, 鄒維嘉, 朱玉琨 申請人:上海交通大學