一種基於超像素和場景預測的小型無人機目標檢測方法與流程
2023-07-21 14:16:41 3
本發明屬於圖像處理和無人機檢測技術領域，涉及一種基於超像素和場景預測的小型無人機目標檢測方法。
背景技術：
隨著無人機技術的不斷成熟和相關產品價格的大幅下降，各類型無人機已被應用於不同領域。但由於針對無人機的監管控制措施的缺失，無人機違規飛行現象日趨嚴重，甚至成為不法分子的低成本犯罪手段之一。面對此類目標的威脅，目前尚無有效的探測與發現手段。
基於上述需求，目前急需研製針對小型無人飛行機目標的探測與發現技術。利用高清光學攝像頭獲取小型無人機目標的圖像與視頻，並可以充分利用到無人機的亮度、對比度等各個特徵信息，通過對光學圖像或視頻進行目標檢測等處理，達到對小型無人機目標的快速發現與定位，是實現小型無人機目標自動實時監測的重要技術手段。該技術在軍事警戒、公共安保等方面有重要的應用價值，具有顯著的經濟效益與社會效益。
由於小型無人機目標具有尺寸小、飛行環境複雜等特點，使得光學圖像或視頻中小型無人機目標的檢測成為典型的複雜環境弱目標檢測問題，是基於光學傳感器小型無人機目標探測的難點技術問題。傳統的Itti視覺注意機制的主要技術為：金字塔模型、視覺特徵提取、中央周邊差算法、勝者全贏機制以及返回抑制操作，由於待檢測的無人機圖像中每個小型無人機目標像素點要比一般光學圖像中描述顯著物體的像素點少很多，其尺寸更小。這就導致隨著金字塔層數的增加，所有目標像素點強度降低，並且很快與背景近似，使得目標信息幾乎丟失，目標存在區域顯著性低，同時在背景中出現大量的虛警，出現這些虛警的原因是由於目標像素點強度過低，背景中起伏的斑點噪聲中較強的部分也與其近似。
另外，傳統算法忽略掉場景的一些顯著信息，未能充分利用圖像特徵，應用範圍和有效性受到限制，如何高效精確實現無人機檢測，是本發明要解決的問題。
技術實現要素：
本發明所要解決的，就是針對上述現有技術的不足和局限性，提出一種利用超像素和場景預測的光學圖像小型無人機目標檢測方法，並提出改進的基於SVD的視覺注意模型，使用該方法避免了小目標隨解析度降低會變得模糊並且很快消失的問題，另外充分地利用了場景信息，預測目標存在的可能性，能夠大幅度提高小型無人機目標的檢測精度，同時也大大提高了圖像的處理效率。
本發明的技術方案是：一種基於超像素和場景預測的小型無人機目標檢測方法，其特徵在於，包括以下步驟：
a.預處理：將待檢測光學圖像進行超像素生成和場景分類，獲得基於超像素的場景分類圖像；
b.無人機目標概率估計：分別估算步驟a獲得的分類圖像中每一個場景的顯著性深度值，計算每個場景存在無人機目標的概率；
c.無人機檢測：提取待檢測圖像的特徵，採用基於SVD的多層金字塔結構獲得特徵顯著圖，對不同特徵顯著圖加權獲得總顯著圖，載入步驟a中獲得的超像素分類圖像，根據步驟b中獲得的概率加入不同場景區域的權重，採用勝者全贏和抑制返回機制，獲得小型無人機的目標檢測結果。
本發明總的技術方案，與傳統的技術相比，本發明一方面充分利用到場景信息，通過計算不同場景的初始顯著深度值和預測顯著深度值，利用兩者的差異，估計不同場景存在目標的可能性，為後面目標檢測時的場景分類賦予權重，具有提高目標檢測精確度，縮短檢測時間的優點。另一方面，算法提出基於奇異值分解的視覺注意檢測模型，避免了小目標隨解析度降低會變得模糊並且很快消失的問題，大大地降低了虛警率。
進一步的，所述步驟a的具體方法是：
a1.假設待檢測圖像為光學圖像I，場景數為i，對每個場景進行兩次區域採樣獲得像素分類樣本信息，將像素分類樣本信息保存為具有對應場景數標籤的圖像數據；
a2.對光學圖像I進行超像素生成，獲得含K個超像素塊的圖像；
a3.採用支持向量機對步驟a1中獲得的像素樣本進行訓練，並對整幅光學圖像I根據場景數i進行分類，同時將步驟a2中獲得的超像素圖像與像素圖像進行對應，對應的原則是：每個超像素塊的場景數標籤為該超像素中包含的所有像素點所具有場景數標籤類型數量最多的那一類場景數標籤，得到基於超像素的分類圖像。
進一步的，步驟a還包括以下步驟：
a4.對步驟a3得到的超像素分類結果圖，依次對每一類場景圖像進行形態學處理；所述形態學處理方式包括腐蝕、膨脹、重構開運算和重構閉運算，得到各類場景形態學處理結果圖；
a5.採用掩膜覆蓋方法合併處理步驟a4得到的各類場景形態學分類結果圖，即得到基於所有場景的超像素分類結果圖。
上述方案為對超像素分類結果圖的進一步優化。
進一步的，所述步驟b的具體方法是：
b1.採用離群值檢測算法測出場景中潛在的目標超像素，採用如下公式1計算所有超像素的自信息值：
公式1中，圖像包含i類場景si，變量P(SPij)為場景si中第j個超像素SPij的概率，變量R為超像素SPij中像素點的數量，通過如下公式2判定離群超像素值：
公式2中，變量t為常數，變量μi和δi是場景si中所有超像素自信息值計算得到的均值和方差；
b2.獲取場景的初始顯著深度值，假設由步驟b1判斷有q個離群超像素，首先計算閾值Thi＝t·δi+μi，則場景的初始顯著深度值是所有離群超像素值與閾值之間距離的三階矩，然後去除所有離群超像素，仍利用公式1計算此時各場景的顯著性深度，記為預測顯著性深度值，預測顯著性深度值表示場景沒有目標存在情況下的顯著性深度；
b3.假設初始顯著性深度值為IDep1，計算IDep1-IDep2i，其中IDep2i為步驟b2中場景si的預測顯著性深度值，最終得到的差值表示了場景中存在目標的可能性，當初始值明顯超過預測值的時候，該場景被認為存在目標，差值大小表示目標存在可能性大小。
上述方案為通過計算不同場景待檢測小型無人機目標圖像中超像素的自信息值，得到不同場景的初始顯著深度值和預測顯著深度值；利用兩種顯著深度值得差異，估計不同場景存在目標的可能性，差異值大的場景被認為具有較高的可能性存在目標，充分利用場景信息提高檢測性能。
進一步的，步驟c中所述提取待檢測圖像的特徵獲得特徵顯著圖的具體方法為：
c1.假設光學圖像I的尺寸為m×n，奇異值分解得到如下結果:Im×n＝Um×mΣm×nVn×nT，Um×m與Vn×n均為酉矩陣；
c2.計算對角矩陣Σm×n中的非零元素個數，並對其按一定順序排列，形成新的對角矩陣Σ(1)，設其中的非零元素數量為k1；
c3.減少Σ(1)中的對角元素，只保留k1中一些較大對角元素，形成新的對角陣Σ(2)，將對角矩陣Σ(2)帶入步驟c1中的奇異值分解公式，獲得新的SAR圖像I(2)；
c4.重複步驟c3，直到新的對角矩陣Σ(q)中的非零對角元素個數少於預先設好的閾值T，通過保留不同數量的特徵值，由不同的矩陣Σ(p)構成的低階近似圖像I(p)，可以通過如下公式3-公式5計算：
Im×n(p)＝Um×mΣm×n(p)Vn×nT，p∈[1,min(m,n)] (公式3)
Σm×n(p+1)＝Σm×n(p)×Hn×n(p+1) (公式4)
變量kp是矩陣Σ(p)中剩餘特徵值的數量，變量的初始值設置為：I(1)＝I，Σ(1)＝Σ，k1＝Rank(I)，變量f為低階近似的程度；
c5.提取光學圖像I的方向特徵，具體為通過Gabor濾波器對圖像的亮度特徵圖進行多個方向濾波得到；濾波器的計算為如下公式6：
其中，變量α和β分別為高斯函數在x，y軸上的方差，變量λ分別表示正弦波的波長，變量和通過如下公式7計算：
c6.提取光學圖像I的一致性特徵，首先，通過如下公式8計算光學圖像I的結構張量矩陣S：
其中，變量變量gh和gv分別是水平方向和垂直方向的梯度，矩陣S的特徵值λ1和λ2通過如下公式9計算：
最後，圖像的一致性Cons＝λ1-λ2；
c7.對各層提取不同的特徵獲得相應特徵顯著圖之後，進行中央周邊差操作，對於方向特徵和一致性特徵的對比映射圖的計算公式如下公式10和公式11所示：
Fori(c,s,θ)＝|O(c,θ)ΘO(s,θ)|,θ∈{θ1,θ2,θ3,θ4,…} (公式10)
Fstd(c,s)＝|S(c)ΘS(s)| (公式11)
其中，變量c為選取的中央層，周邊層為c+s，變量s為中央周邊擴展範圍，變量O(·)和C(·)分別是多層結構中某層的方向特徵圖和一致性特徵圖，符號Θ為中央周邊差操作符號，是將兩個不同層的圖像中對應位置的顯著值相減，變量Fori(c,s,θ)和Fcons(c,s)分別是圖像的方向特徵對比映射圖和一致性特徵對比映射圖，採用全局非線性放大算子N(·)對所有對比映射圖F進行歸一化，如下公式12所示：
N(F)＝(M-m)2·FN (公式12)
其中變量M為FN中的最大幅度值，m為FN中除了M以外所有幅度值的均值；
c8.各特徵內部的所有歸一化對比映射圖需要進行合併，生成特徵顯著圖如下公式13和公式14所示：
兩種特徵顯著圖取相應的權重，得到總顯著圖。
上述方案提出了改進的基於SVD的視覺注意檢測模型得到的顯著性的算法，避免了無人機這種小目標隨解析度降低會變得模糊並且很快消失的問題，更好的保存了目標的完整信息，降低虛警率。
進一步的，步驟c中所述獲得小型無人機的目標檢測結果的具體方法為：
c9.根據步驟a和步驟b，最終獲得的基於K個超像素分類結果圖，以及初始顯著性深度與預測初始顯著性深度的差值IDep1-IDep2i；在步驟c8獲得圖像總顯著圖之後，需要根據總顯著圖檢測小型無人機目標；其判定依據是總顯著圖中幅度值最高的超像素及以該超像素為中心的局部鄰域範圍被當做圖像中的最顯著區域；局部鄰域的尺寸由圖像解析度和目標大小決定；
c10.採用勝者全贏和抑制返回相結合的焦點獲取機制：首先，勝者全贏是找出總顯著圖中幅度值最大的像素點及其鄰域，將其作為勝利者並抑制其他像素點；然後，利用返回抑制將已經獲勝的區域進行抑制，並進行新一輪的基於勝者全贏的尋找最大幅度值像素點及其鄰域的過程；這樣的焦點獲取機制可以有效的保證每次獲取的注意焦點都是當時最顯著的區域，同時又避免重複選取顯著區域；最終提取出待檢測圖像I的小型無人機目標。
本發明的有益效果為，本發明與傳統技術相比，對檢測硬體要求不高，且大大提高了檢測效率，目標檢測的精確度更高，避免了虛警的產生。
附圖說明
圖1所示為本發明的整體流程圖；
圖2為待檢測圖像各個場景兩次採樣結果，其中圖(a)為採樣區域邊緣顯示，圖(b)為採樣區域，兩次採樣填充線條不同；
圖3(a)為場景1的自信息值分布圖，(b)為去除離群值後場景1的自信息分布圖；
圖4為本發明進行小型無人機目標檢測的結果圖；
圖5為傳統的方法下沒有加入場景預測和超像素檢測時的結果。
具體實施方式
下面結合附圖和實施例，詳細描述本發明的技術方案：
參照圖1及發明內容中的實現方法，本實例的具體實現步驟如下：
步驟一，輸入待檢測光學圖像，將多個場景轉化為具有不同場景標籤的超像素集合。
(1.1)輸入一幅尺寸為1080*1920的待檢測的含有小型無人機目標的光學圖像plane.jpg，設定場景數目為2，如圖2所示，對每個場景進行兩次區域採樣，保存對應生成的像素樣本信息為Image_SampleMask，即具有場景標籤label＝1、label＝2的圖像數據；
(1.2)輸入plane.jpg，引用SLIC算法進行超像素生成，使得超像素塊邊緣儘可能優的包裹目標邊緣,保存超像素圖像Image_MPFeatureSp；
(1.3)採用支持向量機(SVM)方法對前面得到的Image_SampleMask圖像樣本數據訓練，並對整幅圖像進行分類，同時載入Image_MPFeatureSp的數據，將超像素塊與像素圖像對應，超像素的標籤為該超像素中包含的所有像素點所具有標籤類型數量最多的那一類標籤，得到超像素圖像場景分類結果；
(1.4)如發明內容中描述，利用形態學操作，獲取密度紋理特徵，優化超像素分類結果；
步驟二，估計模塊，對於每一個分類後的場景，估計其存在無人機目標的概率：
(2.1)採用離群值檢測算法檢測出場景中潛在的目標超像素：計算所有超像素的自信息值：
變量P(SPij)為場景si中第j個超像素SPij的概率，變量R為超像素SPij中像素點的數量，目標超像素的計算公式為：
其中，變量t為常數，變量μi和δi是場景si中所有超像素自信息值計算得到的均值和方差；
(2.2)計算初始顯著深度值，即場景的顯著深度值，它是離群值與閾值之間距離的三階矩：變量q為檢測出的離群值的數量，閾值Thi＝t·δi+μi，經計算，兩個場景的顯著性深度值為：IDep天空≈81.1536；IDep樹木≈26.5419，然後找出離群值位置，去除離群值，再計算場景的顯著性深度，可以得到預測顯著性深度值，它表示場景沒有目標存在情況下的顯著性深度：其中，變量為場景，α是預測係數，如圖3所示；
(2.3)計算初始顯著性深度值和預測顯著性深度值之間的差值，得到各個場景存在目標的可能性，當初始值明顯超過預測值的時候，該場景被認為存在目標，由差值大小給不同背景區域賦權重，表示目標存在可能性大小，因含有目標的天空場景顯著深度值前後差異大，即存在目標可能性大，在檢測模塊將賦予大的權重。
步驟三，檢測模塊，對完成上述兩個模塊的具有場景預測的圖像，利用改進的基於超像素和SVD分解的視覺注意模型處理方法，得到最終的小型無人機目標檢測結果：
(3.1)對於原圖像plane.jpg，採用基於SVD的多層結構模型來獲取圖像的顯著圖，以改進傳統的Itti模型中，通過將圖像進行降解析度得到的高斯金字塔模型，避免了小目標隨解析度降低會變得模糊並且很快消失的問題；
(3.2)提取圖像的方向特徵和一致性特徵，得到特徵顯著圖，通過對SVD多層結構金字塔模型進行中央周邊差和歸一化操作，圖像中的目標信息會被加強，最終獲得總顯著圖；
(3.3)載入前面步驟獲取的超像素分類結果圖，加入不同背景區域的權重，並將特徵圖的顯著性從點向超像素斑塊變化，超像素的顯著性Sij可以通過超像素SPij中的所有像素點Sij(r)的平均計算得到：
利用公式進行基於加權信息熵的感興趣區域篩選，其中，變量p(s)為圖像中強度值為s的超像素出現的概率，為圖像中所有超像素強度值的均值，採用勝者全贏和抑制返回機制，最終檢測出小型無人機目標。
從圖4最終的檢測結果來看，通過四次超像素的勝者全贏和抑制返回機制的運行，小型無人機目標被很好的檢測出來；圖5顯示了沒有加入場景預測和超像素時檢測的結果，前兩次都將背景邊界作為了目標結果，第三次才檢測到無人機目標。
本發明目前可以精確地檢測簡單場景的目標，創新點在於利用了圖像超像素的自信息，同時提出了基於SVD的視覺注意算法得到超像素顯著性，並將其顯著性與其所屬場景存在目標可能性相結合，使得存在目標可能性大的場景中目標的顯著性增強，從而使該算法能夠高效地檢測無人機目標。