基於公共字典對和類依賴字典對的細粒度圖像分類方法與流程
2023-05-12 05:43:51
本發明屬於數字圖像處理領域，具體涉及一種基於公共字典對和類依賴字典對的細粒度圖像分類方法。
背景技術：
：傳統的圖像分類主要是指粗粒度圖像分類，此時是對語義差別比較大的不同種類的圖像進行分類。例如Caltech-101圖像庫中102類不同種類的圖像，其中包括人造工具、動物、植物等，這些圖像間的差異性較明顯因此分類較容易，圖1(a)所示是鴿子和海馬的對比圖。近年來細粒度圖像分類在計算機視覺研究中的意義越來越明顯，與粗粒度圖像分類相比，它採用的圖像庫往往包含多種語義近似的物體圖像，例如StanfordDogs圖像庫包含了120種不同種類的狗的圖片，OxfordFlower-17圖像庫包含了17種不同種類的花的圖片，圖1(b)所示是向日葵和蒲公英的對比圖。細粒度圖像分類的圖像間差異性較弱，因此對細粒度圖像進行分類更加具有挑戰性。隨著稀疏表示技術的發展，研究者們逐漸發現字典性能的好壞直接關係到最後的分類結果。在基於稀疏表示的分類方法中字典既要被用來對樣本進行稀疏編碼，又要被用於執行最後的分類判別，因此本文將重點討論如何從訓練樣本中學習到一個同時具有良好的表示能力和判別能力的字典。技術實現要素：為克服現有技術的不足，本發明旨在實現字典具有更強的判別性，避免對標準稀疏編碼問題的求解，大大縮短分類用時，使係數具有一定的判別性。為此，本發明採用的技術方案是，基於公共字典對和類依賴字典對的細粒度圖像分類方法，步驟如下：(1)提取圖像庫訓練樣本的SIFT特徵矩陣，然後通過K-奇異值分解方法K-SVD得到初始化字典；(2)建立基於公共字典對和類依賴字典對的字典學習模型，字典學習模型中包含數據保真項，字典判別性約束項和係數判別性約束項，通過以上各項使字典具有更好的判別性；(3)採用迭代方法求解第2步中建立的字典模型，得到綜合字典D和解析字典P，然後通過解析字典求解測試樣本的稀疏表示矩陣；(4)根據最小化重建誤差的方法確定圖像所屬類別。步驟1，提取數據集中圖像的SIFT特徵具體是：(1.1)將每幅圖像以6像素為間隔，劃分為16×16的圖像塊，提取出圖像的原始稠密SIFT特徵；(1.2)然後對原始特徵在1×1、2×2、4×4三種尺度下進行空間金字塔最大池化，得到SIFT池化特徵；(1.3)通過K-means方法對池化特徵進行稀疏編碼，對每幅圖像的所有稀疏編碼運用空間金字塔最大化池方法，得到21個1024維的稀疏編碼的池化特徵，連接這21個稀疏編碼的池化特徵得到一個21504維的圖像描述向量；(1.4)通過PCA降維得到3000維的特徵。步驟(2)建立字典學習模型具體是，字典模型的目標函數J(D,P,X)表示為下式，其中r(Yi,Di,Pi,Xi)是數據保真項，h(Di,Pi)是字典判別性約束項，f(Xi)是係數判別性約束項；其中D、P、X分別是綜合字典、解析字典和樣本的稀疏係數矩陣，Yi是第i類樣本的特徵矩陣，Xi是第i類樣本對應的稀疏係數矩陣，K是樣本的類別數，τ、ω是各項的權重係數；將每類的綜合字典分成兩部分其中D0是公共字典，是類依賴字典，最後得到K類的結構化綜合字典為將每類的解析字典也分成兩部分結構化解析字典為Xi是樣本的稀疏係數矩陣；(2.1)採用結構化表示的重建誤差項：(2.2)求取模型的字典判別性約束項，通過訓練得到每類的子字典對{Di,Pi}，將最小化作為解析字典Pi的判別性約束項，上式寫成其中是在Y中刪除第i類樣本Yi後的剩餘矩陣；(2.3)對係數添加Fisher判別性約束項，最後獲得的字典模型為：其中μ、τ、ω、σ是各項的權重係數；dj是綜合字典中第j個字典原子；t是每類的字典原子個數，即j的取值是j＝1,…,t；設單位列向量n是每類樣本的個數，則mi＝Xi·1/n；Mi＝mi·1T；M＝m·1T。步驟3，採用迭代優化的方法求解字典學習模型，具體是將優化求解分為固定字典對{D,P}更新係數X和固定係數X更新字典對{D,P}兩個子問題。步驟4，根據最小化重建誤差的方法確定圖像所屬類別。上步求解字典模型後可以得到公共字典對{D0,P0}、第i類的類依賴字典對第i類的綜合字典第i類的解析字典以及每個類別對應的字典對{Di,Pi}，其中第i類解析型子字典只對與它同類別的樣本具有很好的表示能力，同時第i類的綜合型子字典Di可以根據編碼係數PiYi對第i類的樣本進行重構，測試階段如果待分類樣本y屬於第i類，得到根據重構誤差確定測試樣本的類別具體表示為：步驟3具體過程為：(3.1)固定字典對{D,P}更新係數X，此時字典模型簡化為：上式為標準最小二乘問題，通過解析方法求得其閉式解；(3.2)固定係數X更新解析字典此時字典模型簡化為：上式也是標準最小二乘問題，通過解析方法求得其閉式解；(3.3)固定係數X更新綜合字典此時字典模型簡化為：上式採用交替方向乘子法進行求解。本發明的特點及有益效果是：1.本文方法中通過樣本在解析字典P上的映射直接求解稀疏係數矩陣，避免了對標準稀疏編碼問題的求解，大大減少了計算複雜度。2.本文方法對綜合字典和解析字典均採用兩部分的表示方式，即字典由公共字典原子和類依賴字典原子兩部分組成，這種方法更加適用於對相似性較強的細粒度圖像進行分類。3.本文方法在對字典採用判別約束的基礎上，還採用Fisher判別準則編碼係數使係數也具有一定的判別性。附圖說明：圖1是兩種圖像分類的示例圖；(a)是粗粒度圖像分類，(b)是細粒度圖像分類。圖2是本發明基於公共字典對和類依賴字典對的圖像分類方法的流程圖。圖3是本發明實驗資料庫的部分圖像及其公共特徵和類依賴特徵。具體實施方式傳統的圖像分類方法在細粒度圖像分類問題中效果很差，主要原因在於細粒度圖像的類間差異較小，傳統圖像分類方法的特徵分辨力不夠；其次是各個子類的圖像在語義上相近，往往具有共同的結構特徵有待挖掘。為了解決上述問題，本文提出了以下解決方法：一是將字典分成兩部分進行學習的思路：由公共字典原子組成公共字典和由類依賴字典原子組成類依賴字典，公共字典和類依賴字典分別用於學習各類圖像間的公共特徵和類依賴特徵，這樣使得學到的字典具有更強的判別性；二是採用字典對學習模型，聯合學習結構化綜合字典對和結構化解析字典對，通過樣本在解析字典上的映射直接求解稀疏係數矩陣，避免了對標準稀疏編碼問題的求解，大大縮短了分類用時；三是採用Fisher判別準則編碼係數使係數具有一定的判別性。本發明提出了一種基於公共字典對和類依賴字典對的細粒度圖像分類方法，本方法的基本思路是：將字典分成公共字典對和類依賴字典對兩部分進行學習，同時採用Fisher判別準則編碼係數使係數具有一定的判別性。具體的方法步驟如下：(1)提取圖像庫訓練樣本的SIFT特徵矩陣，然後通過K-奇異值分解方法得到初始化字典。(2)建立基於公共字典對和類依賴字典對的字典學習模型，字典學習模型中包含數據保真項，字典判別性約束項和係數判別性約束項，通過以上各項使字典具有更好的判別性。(3)採用迭代方法求解第2步中建立的字典模型，得到綜合字典D和解析字典P，然後通過解析字典求解測試樣本的稀疏表示矩陣。(4)根據最小化重建誤差準則確定圖像所屬類別。本文實驗採用OxfordFlower-17圖像庫，圖像庫中包含17類花，每類80張圖像。每類隨機選擇60張圖像作為訓練樣本，剩餘圖像作為測試樣本，實驗數據為多次實驗結果的平均值。用本文方法與其他方法在OxfordFlower-17圖像庫上的結果進行對比如表1所示。表1本文方法與其他方法在OxfordFlower-17數據集上比較結果採用方法分類準確率(％)字典訓練階段用時(s)分類階段用時(s)ScSPM52.356394.274259.51LC-KSVD61.0156.18296.27FDDL66.1915167.2314641.94本文方法70.45558.421.48衡量分類模型性能好壞時既要考慮其分類準確率又要考慮其時間消耗，因此對比內容包括在不同分類方法下的分類準確率、字典訓練階段用時和分類階段用時。在同樣的實驗設置下為了證明本文算法的有效性，首先比較分類準確率，本文方法在OxfordFlower-17圖像庫上的分類準確率比ScSPM、LC-KSCD、FDDL方法分別高出18.1％、9.44％、4.26％；然後比較時間消耗，從表中數據可以看出不論是字典訓練階段還是分類階段，本文方法在時間消耗方面佔有明顯的優勢。分析上述結果的原因主要有以下幾點：一是本文方法不僅對字典添加了判別性約束項，而且對係數也添加了Fisher判別性約束項，因此通過本文方法學到的字典具有更強的判別性；二是本文中對將字典分成公共字典和類依賴字典兩部分，因此在對相似性很強的圖像庫如OxfordFlower-17圖像庫進行分類時能夠獲得明顯的提高；三是本文中採用字典對的表示方法，即最終獲得的結構化字典由公共字典對和類依賴字典對組成，樣本在字典對的解析字典上的映射可以用來直接求解稀疏係數，避免了對標準稀疏編碼問題的求解，使得模型的時間消耗大大減少。本方法不僅在分類準確率方面得到了提升，而且大大縮短了分類問題的時間消耗，說明了本方法的有效性和可行性。為了使本方法的方案及優點更加清楚明白，對本方法進行具體的說明：步驟1，提取數據集中圖像的SIFT特徵。(1.1)將每幅圖像以6像素為間隔，劃分為16×16的圖像塊，提取出圖像的原始稠密SIFT特徵；(1.2)然後對原始特徵在1×1、2×2、4×4三種尺度下進行空間金字塔最大池化，得到SIFT池化特徵；(1.3)通過K-means方法對池化特徵進行稀疏編碼，其中k設置為1024，對每幅圖像的所有稀疏編碼運用空間金字塔最大化池方法，得到21個1024維的稀疏編碼的池化特徵，連接這21個稀疏編碼的池化特徵得到一個21504維的圖像描述向量；(1.4)通過PCA降維得到3000維的特徵。步驟2，建立字典學習模型。字典模型可以表示為下式：其中r(Yi,Di,Pi,Xi)是數據保真項，h(Di,Pi)是字典判別性約束項，f(Xi)是係數判別性約束項。其中Yi是第i類的訓練樣本，Xi是該類樣本對應的稀疏係數矩陣，D，P分別是綜合字典和解析字典，K是樣本的類別數；將每類的綜合字典分成兩部分其中D0是公共字典，是類依賴字典，最後得到的結構化綜合字典為將每類的解析字典也分成兩部分結構化解析字典為(2.1)採用結構化表示的重建誤差項：(2.2)求取模型的字典判別性約束項。通過訓練得到每類的子字典對{Di,Pi}，因此解析子字典Pi對第i類的訓練樣本有很好的表示能力，而對不是第i類的訓練樣本表示能力則較差，即PiYi＜＜PiYj(j≠i)，因此可以將最小化作為解析字典Pi的判別性約束項。因為所以上式也可以寫成(2.3)求取模型的係數判別性約束項。採用Fisher約束來衡量不同類別信號間的相似性信息，具體是通過最小化類內散度SW(X)和最大化類間散度SB(X)來實現的。綜上所述最後獲得的字典模型為：其中μ、τ、ω、σ是各項的權重係數；dj是綜合字典中第j個字典原子；t是每類的字典原子個數，即j的取值可以是j＝1,…,t；設單位列向量n是每類樣本的個數。則mi＝Xi·1/n；Mi＝mi·1T；M＝m·1T；步驟3，求解字典學習模型。可以採用迭代優化的方法，將優化求解分為固定字典對{D,P}更新係數X和固定係數X更新字典對{D,P}兩個子問題。具體步驟為：(3.1)固定字典對{D,P}更新係數X，此時字典模型簡化為：上式為標準最小二乘問題，可以通過解析方法求得其閉式解。(3.2)固定係數X更新解析字典此時字典模型簡化為：上式為標準最小二乘問題，可以通過解析方法求得其閉式解。(3.3)固定係數X更新綜合字典此時字典模型簡化為：上式可以採用交替方向乘子法進行求解。步驟4，根據最小化重建誤差的方法確定圖像所屬類別。上步求解字典模型得到公共字典對{D0,P0}、第i類的類依賴字典對第i類的綜合字典第i類的解析字典以及每個類別對應的字典對{Di,Pi}。其中第i類解析型子字典只對與它同類別的樣本具有很好的表示能力，同時第i類的綜合型子字典Di可以根據編碼係數PiYi對第i類的樣本進行重構，此時的重構誤差較小，但當j≠i時的值較大，因此第i類的字典對第k類樣本的重構誤差將遠大於對第i類樣本的重構誤差。在測試階段如果待測試樣本y屬於第i類，根據上述分析可以得到顯然根據重構誤差可以用來確定測試樣本的類別，具體表示為：當前第1頁1 2 3