一種針對多類水下目標的圖像識別方法與流程
2024-04-15 08:38:05 1
1.本發明涉及水下圖像識別技術領域，特別是涉及一種針對多類水下目標的圖像識別方法。
背景技術：
2.水下圖像目標識別目前在實際生產和科研中運用越來越廣泛，通常使用multi-svm手段進行水下圖像目標識別可以通過對有限數量的圖像樣本進行學習，來獲得較好的目標識別效果。但由於multi-svm分類準確率會隨著目標種類的增加而降低，在目標種類繁多的情況下很難獲得良好的識別率，會降低識別效果。tsvm是非常典型的直推式半監督學習方法，只需要對訓練集中的少量樣本做標記就可以利用tsvm進行學習訓練，得到想要的分類器，並且對未標記樣本進行分類。為了使圖像目標識別能克服目標種類繁多造成準確率下降的困難，同時又不需要增加過多的成本，滿足實際應用需求，如果能使用tsvm和multi-svm互相結合生成新的水下圖像目標識別方法就能夠保證當目標種類繁多時可獲得較高的識別率，更加符合實際需求。
技術實現要素：
3.為解決上述問題，本發明提供了一種針對多類水下目標的圖像識別方法，為了在待識別目標種類繁多的情況下，首先利用tsvm構建的分類器根據目標幾何性質進行初步分類，確定目標所屬的集合(該集合是樣本集中的一個子集，由幾何性質相似的多類樣本組成)，然後使用該集合相對應的multi-svm分類器根據目標的紋理特徵進行分類，確認目標具體類別，實現目標識別。具體的，本發明的目的是這樣實現的：
4.一種針對多類水下目標的圖像識別方法，包括以下步驟：
5.s1，預處理；對獲得的圖片進行歸一化、統一視覺效果；然後消除圖片中的椒鹽噪聲；最後增強圖片的對比度和清晰度；
6.s2，提取紋理特徵向量；根據s1處理後的圖片，利用滑框和單元塊提取hog特徵，作為紋理特徵向量；
7.s3，邊緣檢測；找出經過s1預處理後圖片上目標的整體輪廓；
8.s4，提取幾何特徵向量；通過簡單形狀描述符提取，以邊緣檢測的結果為依據，計算五個簡單形狀描述符放入一個1
×
5的向量中，作為幾何特徵向量；
9.s5，構建第一層分類器；對樣本集中具有典型幾何特徵的幾類樣本添加標記，結合s4中得到的幾何特徵向量，利用tsvm進行學習訓練和分類，得到由幾何性質相似的多類樣本組成的樣本子集；
10.s6，構建第二層分類器；根據s5中得出的樣本子集建立multi-svm分類器模型，結合s2中得出的紋理特徵向量訓練屬於自己的多分類器；
11.s7，圖像識別；將幾何特徵向量代入s5構建的第一層分類器對目標進行分類，再將紋理特徵向量代入s6構建的二層分類器完成識別。
12.進一步地，所述步驟s1預處理首先首先將圖片轉化為灰度圖片，然後使用gamma變換處理圖片以此對獲得的圖片進行歸一化、統一視覺效果；然後使用中值濾波技術，將圖片中孤立噪聲點進行消除，減少椒鹽噪聲；最後使用直方圖均衡化的方式對圖片進行強化，增強圖片對比度和清晰度。
13.進一步地，所述步驟s2利用滑框和單元塊提取hog特徵，一個單元塊由m
×
m個像素組成，一個滑框是由4個單元塊組成，滑框的滑動步長為m；設置方形梯度直方圖的方向為9個方向，使用滑框遍歷整張圖片，計算出每個滑框內的hog，然後將他們串聯起來，得到一個1
×
n維的特徵向量，作為紋理特徵向量。
14.進一步地，所述步驟s3邊緣檢測的具體方法如下：首先使用高斯濾波進行圖片降噪，使圖像平滑的同時加大邊緣的寬度，然後計算每個像素點的梯度值g(x,y)和梯度方向θ(x,y)，根據梯度大小選擇灰度變化明顯的點作為可能邊緣集合，然後選取在梯度方向上的梯度值是最大的像素點保留下來，將多個像素寬的邊緣變成一個單像素寬的邊緣；最後置兩個閥值max和min，其中大於max的都被檢測為邊緣，而小於min的都被檢測為非邊緣；中間部分的像素點中與確定為邊緣的像素點鄰接的則判定為邊緣，否則為非邊緣。
15.進一步地，所述步驟s4中所述簡單形狀描述符包括：
16.凹凸性：假設輪廓的周長為l1和輪廓凸包，所述凸包為所有凸起的覆蓋輪廓，周長為l2，凹凸性為l2/l1；
17.主軸之間比例：即過輪廓所包圍的圖形質心的正交軸比例，通過輪廓的協方差矩陣來計算；
18.緻密性：輪廓區域等面積圓的周長與輪廓周長之比；
19.差異性：假設o是用於擬合輪廓形狀的圓，圓心為輪廓質心，差異性為輪廓邊緣與o的比例均方誤差；
20.橢圓差異性：假設oe是用於擬合輪廓形狀的橢圓，橢圓中心為輪廓質心，橢圓差異性為輪廓邊緣與oe的比例均方誤差。
21.進一步地，所述步驟s5中先通過宏觀了解，觀察各類樣本的幾何形狀，假設可以確定樣本大致分為s種幾何形狀，然後分別從每一類幾何形狀中選出一類具有典型代表性的樣本，對它們進行標記以區分幾何形狀；
22.採用「一對一」結構建立tsvm的多類分類器，首先建立s個普通svm基礎模型，採用高斯核函數和hinge損失函數，先對s類已經標註的樣本進行學習，得到一個多分類器，對其餘未標註的樣本指派一個偽標籤；規定第q類樣本中的t個樣本被分類到x種幾何形狀，我們依據如下公式確定第q類樣本的偽標籤：
23.t＝t1+t2+
…
+t
x
ꢀꢀ
(1)
24.其中t1，t2，
···
，t
x
為該類樣本分入x種幾何形狀中的數量，設
25.ti＝max(t1,t2,
···
,t
x
)
ꢀꢀ
(2)
26.則第q類樣本屬於第i類幾何形狀，其中每個樣本都標記為第i類幾何形狀；
27.當所有樣本都有了幾何形狀標記後，在優化目標方程式中添加對應於偽標記樣本的鬆弛變量和對應係數：
[0028][0029]
其中ch，ξi對應的是人為標記的樣本，c
nh
，ξj對應的是偽標記的樣本，為偽標記，初始設置時ch遠大於c
nh
；tsvm將採用局部搜索來迭代的尋求式(3)中的最優解，首先要找到可能標記錯誤的類，根據式(2)，給出公式(4)如下：
[0030]
tj＝max(t1,t2,
···
,t
i-1
,t
i+1
t
x
)
ꢀꢀ
(4)
[0031]
當tj與tj的差小於一個較小的整數：
[0032]
||t
j-ti||≤e
ꢀꢀ
(5)
[0033]
此時認為該類樣本可能標記錯誤，於是將該類樣本幾何形狀標記為j，然後再次帶入式(3)尋求最優解，如此循環迭代的進行tsvm訓練，在迭代過程中逐漸增大c
nh
，直到c
nh
＝ch，停止迭代；構建得到第一層分類器。
[0034]
進一步地，所述步驟s6首先建立採用「一對一」的結構建立multi-svm分類器模型；然後所有子集的支持向量機模型均採用高斯核函數和hinge損失函數，為它們的參數γ和懲罰係數c賦予相同初值，接著依次使用每個子集中包含樣本的hog特徵訓練與該子集對應的multi-svm分類器，訓練中使用k-fold交叉摺疊的方法，對支持向量機參數進行優化，使每一個分類器達到性能最優；構建得到第二層分類器。
[0035]
本發明工作原理如下：
[0036]
首先對水下圖像進行預處理，對圖像進行歸一化，統一圖片視覺效果，降低圖片噪聲，並對圖片進行強化突出細節；其次利用canny邊緣檢測，找出目標的整體輪廓，並以此為依據計算圖像的幾何特徵，然後提取圖像的方向梯度直方圖(histogram of oriented gradient,hog)特徵；然後利用tsvm和multi-svm建立一個雙層的目標識別系統，如圖4所示。在第一層中：首先為擁有典型幾何特徵的幾類樣本添加幾何類型標記，然後利用tsvm對所有樣本的幾何特徵學習，根據幾何性質將所有樣本分為幾個樣本子集。在第二層中使用multi-svm對圖像紋理特徵進行學習，為第一層中所得的每個樣本子集建立多類分類器。
[0037]
由於顏色特徵會降低運算速度，增大計算量，所以本方法中圖像預處理部分首先直接將圖片都轉化為灰度圖像，由於光照條件變化導致不同圖片的色溫、曝光度等不相同，這可能會對同一類樣本特徵提取造成誤差，影響後續機器學習算法的訓練，所以使用gamma變換進行歸一化預處理。水下圖片存在較多椒鹽噪聲，我們使用處理椒鹽噪聲效果最好的中值濾波來消除噪聲。最後使用直方圖均衡化來強化圖片。
[0038]
canny算法是圖像邊緣檢測算法中比較經典、先進的算法之一，被廣泛運用於各個領域，我們使用canny求出圖像中目標的最外側輪廓，然後根據所得的輪廓求得目標的簡單形狀描述符：凹凸性、主軸之間的比例、緻密性、差異性、橢圓差異性，用上述各項作為目標組合為1
×
5維的幾何特徵向量。
[0039]
方向梯度直方圖(hog)與svm在實際應用中結合使用獲得了很好的效果，因此，我們選擇方向梯度直方圖作為水下圖像目標識別所使用的紋理特徵，最終得到的是一個1
×n維的特徵向量，n為特徵的個數。
[0040]
tsvm是非常典型的直推式半監督學習方法，如圖3所示，只需要對訓練集中的少量樣本做標記就可以利用tsvm進行學習訓練，得到想要的分類器，並且對未標記樣本進行分類。由於tsvm和普通svm一樣屬於二分類方法，所以我們同樣利用「一對一」的多分類方式構建基於tsvm的多分類器。本方法需要為樣本集中具有典型幾何特徵的幾類樣本添加標記，然後利用tsvm進行學習和分類，得到由幾何性質相似的多類樣本組成的樣本子集。通過使用第一層的tsvm分類器，將目標的範圍縮小到具體某一個樣本子集中，避免了直接使用multi-svm分類器在整個樣本集中進行訓練，減少了multi-svm的分類種類。
[0041]
最後，利用「一對一」的多分類結構建立multi-svm分類器模型，然後使用上一步所得的樣本子集分別訓練屬於自己的多分類器。通過使用第二層的multi-svm分類器，對目標進行分類，得出目標的具體類別，完成識別。
[0042]
本發明有益效果如下：
[0043]
與現有技術相比，本發明利用雙層分類結構，能夠很好處理待識別目標種類繁多的情況，保證了使用svm進行多類水下圖像目標識別的識別率。減少了multi-svm中二分類支持向量機的數量，很大程度上克服了目標種類數量越高，multi-svm分類準確率越低的困難；因此更具有實際運用的意義和價值。此外，本方法使用tsvm也在一定程度上減少了人為進行樣本標註所需的時間和精力，節約了成本。
附圖說明
[0044]
圖1為本發明實施例所述識別方法訓練流程圖；
[0045]
圖2為本發明實施例所述識別方法流程圖；
[0046]
圖3為本發明實施例所述tsvm學習概念圖；
[0047]
圖4為本發明實施例所述雙層目標識別系統結構圖。
具體實施方式
[0048]
為了使本發明實現的技術手段、創造特徵、達成目的易於明白了解，下面結合本發明給出的一種針對多類水下目標的圖像識別方法的其中一種實施例以及具體實施方式對本發明的技術方案作更進一步地說明。
[0049]
如圖1-4所示，本方法主要步驟包括：水下目標圖像預處理、方向梯度直方圖特徵(hog)提取、canny邊緣檢測、簡單形狀描述符提取、基於tsvm的第一層分類器訓練、基於multi-svm的第二層分類器訓練、使用所得雙層分類系統進行目標檢測。具體實施方案如下：
[0050]
圖像預處理；首先使用特點設備獲取水下目標圖像；為了對圖像進行歸一化，統一圖片視覺效果，首先將圖片轉化為灰度圖片，然後使用gamma變換處理圖片，統一圖片的視覺效果，改善了光照不足或光照過量對圖片檢測帶來的不利影響。然後使用中值濾波技術，將圖片中孤立噪聲點進行消除，大大減少了水下圖片上的椒鹽噪聲，提高了圖像的質量。最後使用直方圖均衡化的方式對圖片進行強化，增強圖片對比度和清晰度。
[0051]
提取紋理特徵向量；我們不需要使用傳統方向梯度直方圖特徵提取中的滑窗，只用了滑框和單元塊來提取hog特徵，一個單元塊由m
×
m個像素組成，一個滑框是由4個單元
塊組成，滑框的滑動步長為m。設置方形梯度直方圖的方向為9個方向，使用滑框遍歷整張圖片，計算出每個滑框內的hog，然後將他們串聯起來，得到一個1
×
n維的特徵向量，作為紋理特徵向量。
[0052]
邊緣檢測；canny邊緣檢測的具體方法是首先使用高斯濾波進行圖片降噪，使圖像平滑，同時加大邊緣的寬度，然後計算每個像素點的梯度值g(x,y)和梯度方向θ(x,y)，根據梯度大小，選擇灰度變化明顯的點作為可能邊緣集合，然後選取在梯度方向上的梯度值是最大的像素點保留下來，將多個像素寬的邊緣變成一個單像素寬的邊緣。最後置兩個閥值max和min，其中大於max的都被檢測為邊緣，而低於min的都被檢測為非邊緣，對於中間的像素點，如果與確定為邊緣的像素點鄰接，則判定為邊緣，否則為非邊緣。
[0053]
提取幾何特徵向量；目標的簡單形狀描述符包括：
[0054]
(1)凹凸性：假設輪廓的周長為l1和輪廓凸包(所有凸起的覆蓋輪廓稱為凸包)周長為l2，凹凸性為l2/l1；
[0055]
(2)主軸之間比例：即過輪廓所包圍的圖形質心的正交軸比例，通過輪廓的協方差矩陣來計算；
[0056]
(3)緻密性：輪廓區域等面積圓的周長與輪廓周長之比；
[0057]
(4)差異性：假設o是用於擬合輪廓形狀的圓，圓心為輪廓質心，差異性為輪廓邊緣與o的比例均方誤差；
[0058]
(5)橢圓差異性：假設oe是用於擬合輪廓形狀的橢圓，橢圓中心為輪廓質心，橢圓差異性為輪廓邊緣與oe的比例均方誤差。
[0059]
根據簡單形狀描述符的定義，使用上一步中所得的目標輪廓，計算5個簡單形狀描述符放入一個1
×
5的向量中，作為幾何特徵向量。
[0060]
基於如圖3所示tsvm學習概念圖，構建第一層分類器；我們通過宏觀了解，觀察各類樣本的幾何形狀，假設可以確定樣本大致分為s種幾何形狀，然後分別從每一類幾何形狀中選出一類具有典型代表性的樣本，對它們進行標記以區分幾何形狀。
[0061]
由於這不是一個簡單二分類的問題，必須在傳統tsvm的基礎上建立多類分類器，但因為s並不會太大，我們採用「一對一」結構建立tsvm的多類分類器。首先建立s個普通svm基礎模型，採用高斯核函數和hinge損失函數，先對s類已經標註的樣本進行學習，得到一個多分類器後，對其餘未標註的樣本指派一個偽標籤，由於我們一個類的樣本應該是具有統一的幾何性質，所以規定第q類樣本中的t個樣本被分類到x種幾何形狀，我們依據如下公式確定第q類樣本的偽標籤：
[0062]
t＝t1+t2+
…
+t
x
ꢀꢀ
(1)
[0063]
其中t1，t2，
…
，t
x
為該類樣本分入x種幾何形狀中的數量，設
[0064]
ti＝max(t1,t2,
···
,t
x
)
ꢀꢀ
(2)
[0065]
則第q類樣本屬於第i類幾何形狀，其中每個樣本都標記為第i類幾何形狀。
[0066]
當所有樣本都有了幾何形狀標記後，在優化目標方程式中添加對應於偽標記樣本的鬆弛變量和對應係數：
[0067][0068]
其中ch，ξi對應的是人為標記的樣本，c
nh
，ξj對應的是偽標記的樣本，為偽標記，初始設置時ch遠大於c
nh
。tsvm將採用局部搜索來迭代的尋求式(3)中的最優解，首先要找到可能標記錯誤的類，根據式(2)，給出公式(4)如下：
[0069]
tj＝max(t1,t2,
···
,t
i-1
,t
i+1
t
x
)
ꢀꢀ
(4)
[0070]
當tj與tj的差小於一個較小的整數：
[0071]
||t
j-ti||≤e
ꢀꢀ
(5)
[0072]
此時認為該類樣本可能標記錯誤，於是將該類樣本幾何形狀標記為j，然後再次帶入式(3)尋求最優解，如此循環迭代的進行tsvm訓練，在迭代過程中逐漸增大c
nh
，直到c
nh
＝ch，停止迭代。通過本步驟得到第一層分類器。
[0073]
構建第二層分類器；從上一步得到s個樣本子集之後，本方法基於multi-svm為每一個樣本子集建立一一對應的多類分類器。首先建立初始模型，我們採用「一對一」的結構建立multi-svm分類器，首先所有子集的支持向量機模型均採用高斯核函數和hinge損失函數，為它們的參數γ和懲罰係數c賦予相同初值，然後依次使用每個子集中包含樣本的hog特徵訓練與該子集對應的multi-svm分類器，訓練中使用k-fold交叉摺疊的方法，對支持向量機參數進行優化，使我們的每一個分類器達到性能最優。通過本步驟得到第二層分類器，如圖4所示。
[0074]
圖像識別；將幾何特徵向量和紋理特徵向量分別代入第一層分類器和第二層分類器中，對目標進行識別。
[0075]
應當理解的是，本發明的上述具體實施方式僅僅用於示例性說明或解釋本發明的原理，而不構成對本發明的限制。因此，在不偏離本發明的精神和範圍的情況下所做的任何修改、等同替換均應包含在本發明的保護範圍之內。此外，本發明所附權利要求旨在涵蓋落入所附權利要求範圍和邊界、或者這種範圍和邊界的等同形式內的全部變化和修改例。