主動學習和鄰域信息相結合的高光譜圖像分類方法
2023-04-28 20:21:36
主動學習和鄰域信息相結合的高光譜圖像分類方法
【專利摘要】本發明公開了一種主動學習和鄰域信息相結合的高光譜圖像分類方法。針對高光譜圖像中標籤樣本的建立需要實地考察及傳統方法只考慮單一的光譜信息問題。其實現步驟是：(1)用初始已標記樣本集Xl訓練SVM分類器；(2)用SVM分類器從未標註樣本集Xu中挑選信息量最大的q個樣本由專家標註；(3)將專家標註後的q個樣本放入Xl中；(4)用更新後Xl重新訓練SVM分類器；(5)根據停止準則判斷是否退出循環；(6)迭代完成後用訓練好的SVM分類器對測試樣本集進行測試；(7)利用Xl中每個樣本的鄰域信息對測試結果進行修正，得到最終分類結果。本發明實現了高光譜圖像的空譜結合，相比其他同類方法，可以得到更好的分類結果。
【專利說明】主動學習和鄰域信息相結合的高光譜圖像分類方法
【技術領域】
[0001]本發明屬於高光譜圖像處理方法與應用【技術領域】，涉及一種同時利用主動學習和鄰域信息的高光譜圖像分類方法，可用於地圖製圖、植被調查、海洋遙感、農業遙感、大氣研究、環境監測等領域。
【背景技術】
[0002]遙感是20世紀60年代發展起來的對地觀測綜合性技術，是指在不直接接觸的情況下，對目標或自然現象遠距離探測和感知的一種技術。遙感作為一門新興的綜合性探測技術科學，其發展還不到50年，而高光譜解析度遙感就更年輕了，至今還不到30年的歷史。但他們由於建立在現代物理學、電子計算機技術、數學方法和地學規律基礎上，發展迅猛，已在地理學、地質學、生態學、環境科學、大氣科學和海洋學等學科領域得到廣泛的研究和應用。近年來，高光譜遙感正由航空遙感為主轉向航空和航天遙感相結合的階段，成為地圖製圖、植被調查、海洋遙感、農業遙感、大氣研究、環境監測等領域的有效技術手段。
[0003]高光譜遙感是將成像技術和光譜技術相結合的多維信息獲取技術，同時探測目標的二維幾何空間與一維光譜信息，獲取高解析度的連續、窄波段的圖像數據。一般認為，光譜解析度在10_4數量級範圍內的遙感稱為多光譜遙感，光譜解析度在10_2λ數量級範圍內的遙感稱為高光譜遙感，光譜解析度在ιο_3λ數量級範圍內的遙感稱為超光譜遙感。高光譜遙感數據的光譜解析度高達ιο_2λ數量級，在可見光到短波紅外波段範圍內光譜解析度為納米(nm)級，光譜波段數多達數十個甚至數百個以上，各光譜波段之間通常是連續的，因此高光譜遙感通常又被稱為成像光譜遙感。
[0004]高光譜圖像分類是基於圖像像元的光譜與空間特性，對每個像元所代表的不同類別地物進行類別屬性的確定和標註。經過科技工作者多年的研究和探索，高光譜圖像分類技術取得了巨大的發展，形成了一系列針對高光譜圖像特點的地物分類算法。歸納起來，這些算法主要從兩個方面進行考慮:分別是基於光譜特徵空間的分類方法和基於數據統計特性的分類方法。
[0005]基於光譜特徵空間的高光譜圖像分類，是一類基於圖像光譜特徵的分類方法，該方法建立在對高光譜圖像光譜特徵提取和變換的基礎上，利用基於地物物理光學性質的光譜曲線來進行地物識別。
[0006]基於統計特徵的分類策略，通常可分為無監督和監督分類兩種方法，無監督分類方法不需要先驗知識，可以直接對原始高光譜遙感圖像進行分類，雖然分類精度往往有所欠缺，但容易實現，也是常用的分類方法之一，例如K均值聚類。監督分類策略需要一定的先驗知識，首先要經過學習、訓練得到分類器，並利用得到的分類器對未標籤的樣本進行分類。而半監督分類在學習過程中融合了標籤樣本和未標籤樣本的信息，利用海量未標籤樣本所含信息來改進分類器，提高分類精度。
[0007]現有的高光譜圖像分類方法有K均值聚類、決策樹方法、Naive Bayesian學習方法、人工神經網絡、K近鄰法(K nearest neighbor, KNN)、支持向量機(Support VectorMachines, SVM)等等。在機器學習領域，目如基於結構風險最小化原理的支持向量機在理論研究和算法實現上都取得了很大進展，與傳統分類器相比較取得了較好的分類效果，成為解決「維數災難」和「過學習」問題的有力手段。相對於傳統地物分類方法，SVM於高光譜分類具有比較好的效果，因為支持向量機應用於分類時具有適用於高維特徵空間、小樣本統計學習等特點，這些特點降低了高光譜圖像分類中Hughes現象的影響，目前SVM在高光譜分類中已經有了很多成功的應用。
[0008]然而，傳統的SVM方法的不足在於，訓練分類器時需要大量已經標註好的樣本參與訓練，但是，標註樣本並不是越多越好，過多的標註樣本會產生冗餘，增加計算的工作量；而且，大量的已標註樣本中並不是每個樣本都是對分類器的訓練有用的。因此，在進行樣本標註時，除了要保證一定的數量外，還應保證標註樣本的質量，這樣不但能提高分類器的分類性能，而且能減少人工標註的工作量。
【發明內容】
[0009]本發明的目的在於針對上述已有技術的不足，提出一種主動學習和鄰域信息相結合的高光譜圖像分類方法，以在訓練樣本數量很少的情況下，提高分類效果。
[0010]為實現上述目的，本發明的實現步驟包括如下:
[0011](I)把大小為mXn的待分類高光譜圖像中的所有像元作為總樣本集X，在總樣本集X中隨機選擇I %的樣本進行專家標記，作為已標記樣本集X1,將其餘樣本集Xu作為未標記樣本集，並用已標記樣本集X1對初始的SVM分類器進行訓練，設置最大迭代次數T，T>0,並開始第一次迭代；
[0012](2)用訓練後的SVM分類器根據主動學習的採樣策略從未標記樣本集Xu中挑選出信息含量最大的q個樣本，由專家進行標記，其中q〈Xu ;
[0013](3)將專家標記後的q個樣本放入已標記樣本集X1中，並將該q個樣本從未標記樣本集Xu中移除，得到更新後的已標記樣本集X1,和未標記樣本集xu』，令已標記樣本集X1=X1,,未標記樣本集Xu = xu』 ；
[0014](4)用已標記樣本集X1重新對SVM分類器進行訓練，完成一次迭代；
[0015](5)根據停止準則判斷是否退出迭代:如果達到最大迭代次數，則退出迭代，繼續下一步驟，否則返回步驟2，進行下一次迭代，並使迭代次數加一；
[0016](6)利用步驟⑷中訓練好的SVM分類器對未標記樣本集Xu進行測試得到初始測試結果；
[0017](7)應用已標記樣本集X1中每個樣本的鄰域信息對步驟(6)中的測試結果進行修正，得到最終分類結果:
[0018](7a)對於已標記樣本集X1中的一個樣本(Xli，yii)，判斷與其相鄰的四個樣本Xl1- n) Xl1-1，Xli+1，Xli+n疋否在未丨不記樣本集Xu中:如果在，分力U求樣本Χχ? - η，Χχ? -1，Xli+1，Xli+n與Xli的光譜相關係數Sli _n，Sl1-1； Sli+1, Sli+n ;如果不在，則初始測試結果中樣本Xl1-n, Xl1-1, xli+1，Xli+I^應的標籤不變，其中，Xli為樣本的特徵向量，Yli為樣本的標籤，I1C1,η為待分類高光譜圖像的列數；
[0019](7b)將光譜相關係數Sli _n，Sl1.!, Sli+1, Sli+n分別與設定的閾值ω進行大小比較，根據比較的結果對初始測試結果中對應樣本的標籤進行修正，其中0.95〈ω〈1 ；
[0020](7c)重複步驟(7a)和(7b)對已標記樣本集X1中所有的樣本進行修正，得到的修正結果則為最終的分類結果。
[0021]本發明與現有技術相比具有以下優點:
[0022]1.本發明採用基於支持向量機的主動學習方法來選擇訓練樣本集，主動學習在學習過程中選擇最有利於分類器性能的樣本來進一步訓練分類器，與傳統的有監督分類方法相比，它最大的優點是當仔細、合理地選擇訓練樣本後，需要的實際訓練樣本數量將大大減少，這就意味著人工標註的工作量也將隨之減少，同時，分類器的性能也將有所提高。
[0023]2.本發明應用已標註樣本集中樣本的鄰域信息對初始測試結果進行修正這一步，不僅在主動學習中利用到了高光譜圖像的光譜信息，而且在對初始測試結果進行修正的過程中利用了高光譜圖像的空間信息，達到了空-譜結合的目的，也使分類正確率有了很大的提升。
【專利附圖】
【附圖說明】
[0024]圖1是本發明的實現流程圖；
[0025]圖2是本發明中用SVM分類器從未標註樣本集Xu中挑選信息含量最大的q個樣本的流程圖；
[0026]圖3是應用已標註樣本集X1中每個樣本的鄰域信息對初始測試結果進行修正的流程圖；
[0027]圖4是本發明所採用的高光譜圖像的真實16類地物標籤圖；
[0028]圖5是用本發明和對比方法對高光譜圖像進行分類的結果圖；
【具體實施方式】
[0029]參照圖1，本發明的具體步驟如下:
[0030]步驟1，用已標記樣本集X1對初始的SVM分類器進行訓練。
[0031]將圖4中大小為mXn的待分類高光譜圖像中的所有像元作為總樣本集X，在總樣本集X中隨機選擇I %的樣本進行專家標記，作為已標記樣本集X1,將其餘樣本集Xu作為未標記樣本集，並用已標記樣本集X1對初始的SVM分類器進行訓練，設置最大迭代次數T，T>0，並準備第一次迭代；
[0032]SVM方法是從線性可分情況下的最優分類面提出的，它是實現統計學習理論思想的方法。所謂最優分類面就是要求分類面不但能將兩類無錯誤地分開，而且要使兩類的分類間隔最大。SVM的決策函數可以表達為:
[0033]f (X) = ωΤΦ (X)+bI)
[0034]ω和b分別表不權值向量和偏斜量。Φ (X)是非線性映射函數,用於將低維空間線性不可分的樣本映射到高維空間，使得樣本在高維空間中線性可分。f(x) = ωτΦ (x)+b=O所表示的超平面即為SVM的分類面，f (X) = ωτΦ (x)+b = ±1所表示的超平面稱為SVM分類器的邊界(margin)。
[0035]對於兩類分類問題，設在d維空間中有一組訓練樣本Xi e Rd，i = 1，...，N，樣本的類別標籤為yie {+1，-1}。SVM就是要尋找一個最優分類面，使得該分類面既能最大化分類間隔★又能正確分類訓練樣本Xi e Rd，i = 1，...，N。具體可以表述為:
「? Γη?η1?Γ?+ΓΣ^
[0036]2i=i2) subject to + /:>) > 1- > 0,/ ^ I,..., N
[0037]其中，ξ 表鬆弛變量。C是懲罰因子，用來控制對鬆弛變量ξ i的懲罰程度。通過拉格朗日乘子法求解公式(2)中的優化問題可得:
[0038]^ = Ci ν,ΦΙ ν,.)3)
/=1
[0039]其中d是拉格朗日乘子。公式(3)中有相當多的值會等於0，而那些S1值不等於O的樣本被稱之為支持向量。將(3)式代入(I)式後可將SVM的決策函數重寫為:
M
[0040]/(V) = 0)丨φ(..ν) + ^ = X(V』/dH..':.V Φ( ν) + b4)
/=1
[0041]其中，M表示支持向量的個數。Φ (χ)τΦ (X)的值可以通過核函數k(Xi, X)=φ (Xi)1O(X)求得，而不需要知道映射函數Φ(.)的顯示表達式。本發明中的核函數採用的是徑向基核函數，即:
[0042]k (XpX) = exp (—Y | X1-X |2)5)
[0043]對於任一測試樣本X，將其代入SVM分類器，則樣本的分類標籤I可由下式得到:
[0044]y = sgn (f (X)) 06)
[0045]即f (X) >0，則樣本X屬於+1類，f (X)〈O，則樣本屬於-1類。
[0046]步驟2，用訓練後的SVM分類器根據主動學習的採樣策略從未標記樣本集Xu中挑選出信息含量最大的q個樣本，由專家進行標記，其中q〈Xu。
[0047]根據步驟I中訓練得到的SVM分類器，採用一種採樣算法從未標註樣本集Xu中選擇信息含量最大即最有利於分類器性能的q個樣本。在這個過程中，採取何種採樣算法是關鍵，如何選擇新的樣本進行評價直接關係到整個算法的性能。根據樣本到當前SVM分類面的距離對樣本進行採樣的MS方法是主動學習中比較流行的採樣方法之一，它的原理是抽取那些最難分類的樣本進行標註。對SVM分類器來說，越靠近分類面的樣本，越難確定它們的類別，而且也越有可能成為支持向量，所以，最靠近分類面的樣本被認為是信息含量最大的樣本，在下一次迭代中選擇最靠近當前分類面的q個樣本進行標註。
[0048]參照圖2，本步驟的具體實現如下:
[0049](2a)對於未標記樣本集Xu= {xul，xu2，…，XuJ，分別計算每個樣本xul，xu2，…，Xun與上一次迭代過程中訓練得到的SVM分類器的分類面之間的距離，記做If(Xul) |，|f(Xu2) |，…
f (X J I ；
[0050](2b)對該un個距離值| f (xul) |，| f (xu2) I，…I f (Xun) I進行從小到大的排序;
[0051](2c)選擇前q個距離最小的未標記樣本進行標記。
[0052]步驟3，用標註後的q個樣本更新已標記樣本集X1和未標記樣本集Xu。
[0053]將專家標記後的q個樣本放入已標記樣本集X1中，並將該q個樣本從未標記樣本集Xu中移除，得到更新後的已標記樣本集X/和未標記樣本集Xu』，令已標記樣本集X1 =X1 』，未標記樣本集Xu = xu』。
[0054]步驟4，用已標記樣本集X1重新對SVM分類器進行訓練，完成一次迭代。
[0055]步驟5，判斷是否退出迭代。
[0056]根據停止準則判斷是否退出迭代:如果達到最大迭代次數，則退出迭代，繼續下一步驟，否則返回步驟2，進行下一次迭代，並使迭代次數加一。
[0057]最大迭代次數的設置，可以根據專家對標註工作量的接受程度來定，假設標註專家在主動學習的迭代過程中最多願意標註q個樣本，則最大迭代次數的取值即設定為I。
[0058]步驟6，利用步驟(4)中訓練好的SVM分類器對未標記樣本集Xu進行測試，得到初始測試結果。
[0059]步驟7，應用已標記樣本集X1中每個樣本的鄰域信息對步驟￠)中的測試結果進行修正，得到最終分類結果。
[0060]參照圖3，本步驟的具體實現如下:
[0061](7a)對於已標記樣本集X1中的一個樣本(Xli，yii)，判斷與其相鄰的四個樣本Xl1- n) Xl1-1，Xli+1，Xli+n疋否在未丨不記樣本集Xu中:如果在，分力U求樣本Χχ? - η，Χχ? -1，Xli+i，Xli+n與Xli的光譜相關係數Sli _n，Sl1-1； Sli+1, Sli+n ;如果不在，則初始測試結果中樣本Xi1-n, Xi1-1, xli+1，Xli+I^應的標籤不變，其中，Xli為樣本的特徵向量，Yli為樣本的標籤，I1C1,η為待分類高光譜圖像的列數；
[0062](7b)將光譜相關係數Sli _n，Sl1.!, Sli+1, Sli+n分別與設定的閾值ω進行大小比較，根據比較的結果對初始測試結果中對應樣本的標籤進行修正，其中0.95〈ω〈1，其中，修正的步驟按如下規則進行:
[0063]如果Sl1-Jco,則把初始測試結果中樣本Xli_n對應的標籤修正為yu ;如果Sli _n彡ω，則初始測試結果中樣本Xli ?的標籤不變；
[0064]如果Sl1-Aco,則把初始測試結果中樣本Xli_i對應的標籤修正為yu ;如果S1^1 ^ ω，則初始測試結果中樣本Xl1.?的標籤不變；
[0065]如果Sli+1> ω，則把初始測試結果中樣本xli+1對應的標籤修正為；如果Sli+1 ( ω，則初始測試結果中樣本Xli+1的標籤不變；
[0066]如果Sli+n> ω，則把初始測試結果中樣本xli+n對應的標籤修正為；如果Sli+n ( ω，則初始測試結果中樣本xli+n的標籤不變；
[0067](7c)重複步驟(7a)和(7b)對已標記樣本集X1中所有的樣本進行修正，得到的修正結果則為最終的分類結果。
[0068]本發明的效果可以通過以下仿真結果進一步說明:
[0069]1.實驗條件
[0070]實驗環境為:windowsXP, SPI, CPU Pentium(R) 4，基本頻率 2.4GHZ，軟體平臺為MatlabR2010a。
[0071]本發明所用的數據集AVIRIS Indiana Pines是高光譜分類實驗中一個常用的數據，它是由美國國家航天局的機載可見/紅外成像光譜儀(AVIRIS)對美國Indiana州西北部印第安遙感實驗區的成像，於1992年獲取。它包含了農作物、草地及森林植被的混合區，共十六類地物。整幅圖像大小為145 X 145像素，空間解析度20mX 20m，去掉20個雜波波段後剩餘200個波段，波長範圍為400?2500nm。
[0072]光譜相關係數的閾值設置為0.96。設置初始已標註訓練樣本為50個，包含16類，q為50，即每次選擇50個信息含量最大的樣本進行標註後加入到已標註樣本集中，迭代次數為19，即標註專家在主動學習的迭代過程中總共標註950個樣本，也就是說，總訓練樣本數為1000個,剩餘的都為測試樣本。
[0073]2.實驗內容
[0074]用本發明方法和現有的兩種分類方法對以上數據集進行分類，這兩種分類方法分別為:基於隨機採樣RS的主動學習方法和基於樣本到當前SVM分類面的距離對樣本進行採樣MS主動學習方法，這兩種方法都沒有結合圖像的鄰域信息。三種方法所用的分類器都是SVM分類器，實驗中採用網格搜索法對SVM分類器的參數C和Y進行自動尋優，實驗結果如圖5所示，其中:
[0075]圖5 (a)是採用基於隨機採樣RS的主動學習方法對待分類高光譜圖像進行分類的結果圖；
[0076]圖5(b)是採用基於樣本到當前SVM分類面的距離對樣本進行採樣MS主動學習方法對待分類高光譜圖像進行分類的結果圖；
[0077]圖5(c)是採用本發明方法對待分類高光譜圖像進行分類的結果圖。
[0078]根據上述實驗，得到三種方法對圖像分類的數值統計結果，如表I所示。
[0079]表I分類結果的數值統計
[0080]
【權利要求】
1.一種主動學習和鄰域信息相結合的高光譜圖像分類方法，包括如下步驟: (1)把大小為mXn的待分類高光譜圖像中的所有像元作為總樣本集X，在總樣本集X中隨機選擇I %的樣本進行專家標記，作為已標記樣本集X1，將其餘樣本集Xu作為未標記樣本集，並用已標記樣本集X1對初始的SVM分類器進行訓練，設置最大迭代次數T，T>0，並開始第一次迭代； (2)用訓練後的SVM分類器根據主動學習的採樣策略從未標記樣本集Xu中挑選出信息含量最大的q個樣本，由專家進行標記，其中q〈Xu ; (3)將專家標記後的q個樣本放入已標記樣本集X1中，並將該q個樣本從未標記樣本集Xu中移除，得到更新後的已標記樣本集X1,和未標記樣本集Xu』，令已標記樣本集X1 = X1'未標記樣本集Xu = xu』 ； (4)用已標記樣本集X1重新對SVM分類器進行訓練，完成一次迭代； (5)根據停止準則判斷是否退出迭代:如果達到最大迭代次數，則退出迭代，繼續下一步驟，否則返回步驟2，進行下一次迭代，並使迭代次數加一； (6)利用步驟(4)中訓練好的SVM分類器對未標記樣本集Xu進行測試得到初始測試結果; (7)應用已標記樣本集X1中每個樣本的鄰域信息對步驟(6)中的測試結果進行修正，得到最終分類結果: (7a)對於已標記樣本集X1中的一個樣本(Xli, Yli),判斷與其相鄰的四個樣本Xl1-n, Xl1-PXmuXmn是否在未標記樣本集Xu中:如果在，分別求樣本 ■^-l1-nJ -^-li+lJ -^li+n與Xli的光譜相關係數Sli, Sli+ Sli+1, Sli+n ;如果不在，則初始測試結果中樣本Xl1-n, Xl1-1, Xli+1, Xli+I^應的標籤不變，其中，Xli為樣本的特徵向量，Yli為樣本的標籤，I1C1,η為待分類高光譜圖像的列數； (7b)將光譜相關係數Su_n，Sli+ Sli+1，Sli+n分別與設定的閾值ω進行大小比較，根據比較的結果對初始測試結果中對應樣本的標籤進行修正，其中0.95〈ω〈1 ； (7c)重複步驟(7a)和(7b)對已標記樣本集X1中所有的樣本進行修正，得到的修正結果則為最終的分類結果。
2.根據權利要求1中所述的方法，其中步驟(2)所述的用訓練後的SVM分類器根據主動學習的採樣策略從未標記樣本集Xu中挑選出信息含量最大的q個樣本，由專家進行標記，其步驟如下: (2a)對於未標記樣本集Xu = {xul, Xu2,…，XuJ ,分別計算每個樣本xul, xu2, "'Xun與上一次迭代過程中訓練得到的SVM分類器的分類面之間的距離，記做|f(Xul) |，|f(Xu2) |，…f (X J I ； (2b)對該un個距離值I f (Xul) I，I f (Xu2) I，…I f (Xun) I進行從小到大的排序； (2c)選擇前q個距離最小的未標記樣本進行標記。
3.根據權利要求1中所述的方法，其中步驟(7b)所述的將光譜相關係數Sli^n, Sli+ Sli+1, Sli+n分別與設定的閾值ω進行大小比較，根據比較結果對初始測試結果中對應樣本的標籤進行修正，按如下規則進行: 如果Su_n> ω，則把初始測試結果中樣本Xli_n對應的標籤修正為;如果Su_n ( ω，則初始測試結果中樣本Xtn的標籤不變； 如果Sm〉ω，則把初始測試結果中樣本Xu對應的標籤修正為yu ;如果S1H ( ω，則初始測試結果中樣本X1H的標籤不變； 如果Sli+1> ω，則把初始測試結果中樣本xli+1對應的標籤修正為yu ;如果Sli+1 ( ω，則初始測試結果中樣本xli+1的標籤不變； 如果Sli+n> ω，則把初始測試結果中樣本xli+n對應的標籤修正為;如果Sli+n ( ω，則初始測試結果中樣本xli+n的標籤不變。
【文檔編號】G06K9/62GK104182767SQ201410453096
【公開日】2014年12月3日 申請日期:2014年9月5日 優先權日:2014年9月5日
【發明者】慕彩紅, 焦李成, 王依萍, 劉紅英, 熊濤, 馬文萍, 馬晶晶, 田小林, 雲智強 申請人:西安電子科技大學