一種基於對比學習的飛行目標跟蹤方法和系統

2024-04-16 13:09:05

1.本發明屬於計算機視覺技術領域，尤其涉及一種基於對比學習的飛行目標跟蹤方法和系統。


背景技術：

2.目標跟蹤技術作為計算機視覺領域的基礎研究內容，在視頻監控、機器人和視線追蹤等實際應用領域得到了大幅發展。為了實現對以天空背景圖像的長時目標跟蹤，目標跟蹤算法除了需要解決的存在著目標運動模糊、遮擋和背景幹擾等因素之外，還要解決受到氣象、光照變化等多種因素造成的背景變化複雜等問題。由於在極端惡劣的雨雪天氣難以實現運動目標的準確檢測，使得以卡爾曼濾波器為代表的傳統貝葉斯後驗估計方法難以勝任長時目標跟蹤。
3.現有的kcf、struck和tld等直接利用目標在當前視頻序列中的圖像表徵進行跟蹤的方法，但很難處理相對複雜的背景變化情況。基於深度學習的端到端(end-to-end)跟蹤模型，採用從海量視頻序列中提取目標深度特徵訓練深度網絡實現目標，以孿生網絡(siamese cnn)為代表的深度跟蹤器採用有監督學習方法，對海量有標籤的視頻序列依次進行訓練、建模，但上述有監督學習方法需要人為海量數據集進行樣本標註，耗時耗力。基於半監督學習的跟蹤方法在採集少量、部分目標樣本的前提下，根據度量圖像相似性或者目標運動一致、顯著特徵，實現目標跟蹤，但對視頻的質量和視頻內容中運動目標類別有指定限制。


技術實現要素：

4.本發明的目的之一，在於提供一種基於對比學習的飛行目標跟蹤方法，該飛行目標跟蹤方法能夠準確地區分運動目標和天空背景，保證了飛行目標的跟蹤定位的準確性，且無需對飛行目標數據進行標註處理，不受圖像質量和飛行目標類別的限制，適用性強。
5.本發明的目的之二，在於提供一種基於對比學習的飛行目標跟蹤系統。
6.為了達到上述目的之一，本發明採用如下技術方案實現：
7.一種基於對比學習的飛行目標跟蹤方法，所述飛行目標跟蹤方法包括：
8.步驟s1、獲取不同氣候和光照條件下的飛行目標圖像序列；
9.步驟s2、從所述飛行目標圖像序列中提取每個飛行目標圖像的有效運動目標圖像和背景圖像；並將每個有效運動目標圖像對應的背景圖像集作為負樣本圖像集；
10.步驟s3、將每個有效運動目標圖像進行數據增強處理後作為正樣本圖像集；並將每個有效運動目標圖像作為錨點樣本；
11.步驟s4、採用結構相同的三個主幹網絡，構建一個三重孿生網絡；並將所述錨點樣本、對應的正樣本圖像集和負樣本圖像集輸入所述三重孿生網絡中進行參數調整，並將參數調整後的其中一個主幹網絡作為飛行目標深度特徵提取器；
12.步驟s5、獲取待檢測飛行目標圖像序列；並對所述待檢測飛行目標圖像序列中的
初始待檢測飛行目標圖像進行目標圖像和背景圖像識別，以獲取所述初始待檢測飛行目標圖像中的飛行目標模板圖像及其位置和鄰近背景區域圖像；
13.步驟s6、將所述飛行目標模板圖像和鄰近背景區域圖像輸入所述飛行目標深度特徵提取器中，以獲取所述飛行目標模板圖像和鄰近背景區域圖像各自對應的飛行目標深度特徵；
14.步驟s7、將所述飛行目標模板圖像和鄰近背景區域圖像對應的飛行目標深度特徵輸入在線分類器中進行分類訓練；
15.步驟s8、根據所述待檢測飛行目標圖像序列中剩餘待檢測飛行目標圖像、飛行目標模板圖像的位置、飛行目標深度特徵提取器和訓練後的在線分類器，進行飛行目標在線分類，以獲取所述待檢測飛行目標的運動軌跡。
16.進一步的，在所述步驟s2中，所述提取的具體過程包括：
17.步驟s21、對所述飛行目標圖像序列中起始階段的相鄰飛行目標圖像分別依次進行運動像素點檢測和尺度不變位置特徵點檢測後進行位置匹配，得到位置特徵點對集；
18.步驟s22、計算所述位置特徵點對集中每對位置特徵點對的像素位置的歐式距離，以確定屬於目標運動區域中的位置特徵點；
19.步驟s23、根據屬於目標運動區域中的位置特徵點，確定飛行目標在飛行目標圖像中的有效運動區域模板；
20.步驟s24、根據所述飛行目標在飛行目標圖像中的運動區域模板，對後續的飛行目標圖像依次進行運動區域模板匹配和尺度變換處理，以獲取各個飛行目標圖像中的有效運動目標圖像；
21.步驟s25、從每個飛行目標圖像中隨機選取非有效運動目標區域並進行尺度變換處理，以獲取各個飛行目標圖像中的背景圖像。
22.進一步的，在步驟s3中，所述數據增強包括色彩變換、仿射變換、尺度變換、旋轉變換、銳化、模糊處理和形態學處理的一種或幾種組合；所述形態學處理的具體過程包括：
23.步驟s31、將每個有效運動目標圖像處理成黑白圖像後分別進行水平方向卷積運算和豎直方向卷積運算，得到各個有效運動目標圖像中飛行目標輪廓梯度；
24.步驟s32、計算所述各個有效運動目標圖像中飛行目標輪廓梯度的最大外接矩形；
25.步驟s33、對每個最大外接矩形中的所有像素點是否屬於飛行目標輪廓進行判斷，以獲取各個外接矩陣；
26.步驟s34、對各個外接矩陣進行奇異分解，得到各個外接矩陣的最大特徵值對應的切向量方向和法向量方向；
27.步驟s35、確定所述各個外接矩陣的最大特徵值對應的切向量方向和法向量方向，以對各個飛行目標輪廓進行分割；
28.步驟s36、對每個飛行目標輪廓依次進行腐蝕/膨脹和邊緣卷積處理。
29.進一步的，所述三重孿生網絡包括並聯的三個主幹網絡和三元對比損失模塊；所述三元對比損失模塊的輸入端與所述三個主幹網絡的輸出端連接；
30.所述三個主幹網絡，用於對各自接收到的圖像進行圖像深度特徵提取後輸入到所述三元對比損失模塊；
31.所述三元對比損失模塊，用於採用三元損失函數，對所述三個主幹網絡輸出的圖
像深度特徵進行相似度比較；並根據相似度比較結構，對所述三重孿生網絡進行主幹網絡參數調整。
32.進一步的，在所述步驟s8中，所述飛行目標在線分類的具體實現過程包括：
33.步驟s81、根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
34.步驟s82、將所述各個採樣區域的飛行目標深度特徵輸入到所述在線分類器，以獲得所述飛行目標模板圖像在對應的剩餘待檢測飛行目標圖像中的相似度響應圖譜；
35.步驟s83、對每個相似性響應圖譜進行噪聲抑制處理；
36.步驟s84、從噪聲抑制處理後的每個相似度響應圖譜中選取最大峰值所在位置作為飛行目標在對應的待檢測飛行目標圖像中的跟蹤位置；
37.步驟s85、判斷所有的剩餘待檢測飛行目標圖像是否均完成分類，如是，則輸出所有的剩餘待檢測飛行目標圖像中的跟蹤位置，結束；如否，則將所述跟蹤位置所在的區域作為新的飛行目標模板圖像，進入步驟s86；
38.步驟s86、根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
39.步驟s87、將所述各個採樣區域的飛行目標深度特徵輸入所述在線分類器中進行更新，返回步驟s82。
40.為了達到上述目的之二，本發明採用如下技術方案實現：
41.一種基於對比學習的飛行目標跟蹤系統，所述飛行目標跟蹤系統包括：
42.第一獲取模塊，用於獲取不同氣候和光照條件下的飛行目標圖像序列；
43.提取模塊，用於從所述飛行目標圖像序列中提取每個飛行目標圖像的有效運動目標圖像和背景圖像；並將每個有效運動目標圖像對應的背景圖像集作為負樣本圖像集；
44.數據增強處理模塊，用於將每個有效運動目標圖像進行數據增強處理後作為正樣本圖像集；並將每個有效運動目標圖像作為錨點樣本；
45.參數調整模塊，用於採用結構相同的三個主幹網絡，構建一個三重孿生網絡；並將所述錨點樣本、對應的正樣本圖像集和負樣本圖像集輸入所述三重孿生網絡中進行參數調整，並將參數調整後的其中一個主幹網絡作為飛行目標深度特徵提取器；
46.識別模塊，用於獲取待檢測飛行目標圖像序列；並對所述待檢測飛行目標圖像序列中的初始待檢測飛行目標圖像進行目標圖像和背景圖像識別，以獲取所述初始待檢測飛行目標圖像中的飛行目標模板圖像及其位置和鄰近背景區域圖像；
47.第二獲取模塊，用於將所述飛行目標模板圖像和鄰近背景區域圖像輸入所述飛行目標深度特徵提取器中，以獲取所述飛行目標模板圖像和鄰近背景區域圖像各自對應的飛行目標深度特徵；
48.分類訓練模塊，用於將所述飛行目標模板圖像和鄰近背景區域圖像各自對應的飛行目標深度特徵輸入在線分類器中進行分類訓練；
49.飛行目標在線分類模塊，用於根據所述待檢測飛行目標圖像序列中剩餘待檢測飛行目標圖像、飛行目標模板圖像的位置、飛行目標深度特徵提取器和訓練後的在線分類器，
進行飛行目標在線分類，以獲取所述待檢測飛行目標的運動軌跡。
50.進一步的，所述提取模塊包括：
51.位置匹配子模塊，用於對所述飛行目標圖像序列中起始階段的相鄰飛行目標圖像分別依次進行運動像素點檢測和尺度不變位置特徵點檢測後進行位置匹配，得到位置特徵點對集；
52.第一計算子模塊，用於計算所述位置特徵點對集中每對位置特徵點對的像素位置的歐式距離，以確定屬於目標運動區域中的位置特徵點；
53.確定子模塊，用於根據屬於目標運動區域中的位置特徵點，確定飛行目標在飛行目標圖像中的有效運動區域模板；
54.第一尺度變換處理子模塊，用於根據所述飛行目標在飛行目標圖像中的運動區域模板，對後續的飛行目標圖像依次進行運動區域模板匹配和尺度變換處理，以獲取各個飛行目標圖像中的有效運動目標圖像；
55.第二尺度變換處理子模塊，用於從每個飛行目標圖像中隨機選取非有效運動目標區域並進行尺度變換處理，以獲取各個飛行目標圖像中的背景圖像。
56.進一步的，所述數據增強處理模塊包括：
57.第一卷積運算子模塊，用於將每個有效運動目標圖像處理成黑白圖像後分別進行水平方向卷積運算和豎直方向卷積運算，得到各個有效運動目標圖像中飛行目標輪廓梯度；
58.第二計算子模塊，用於計算所述各個有效運動目標圖像中飛行目標輪廓梯度的最大外接矩形；
59.判斷子模塊，用於對每個最大外接矩形中的所有像素點是否屬於飛行目標輪廓進行判斷，以獲取各個外接矩陣；
60.奇異分解子模塊，用於對各個外接矩陣進行奇異分解，得到各個外接矩陣的最大特徵值對應的切向量方向和法向量方向；
61.分割子模塊，用於確定所述各個外接矩陣的最大特徵值對應的切向量方向和法向量方向，以對各個飛行目標輪廓進行分割；
62.邊緣卷積處理子模塊，用於對每個飛行目標輪廓依次進行腐蝕/膨脹和邊緣卷積處理。
63.進一步的，所述飛行目標在線分類模塊包括：
64.第一採樣子模塊，用於根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
65.獲取子模塊，用於將所述各個採樣區域的飛行目標深度特徵輸入到所述在線分類器，以獲取所述飛行目標模板圖像在對應的剩餘待檢測飛行目標圖像中的相似度響應圖譜；
66.噪聲抑制處理子模塊，用於對每個相似性響應圖譜進行噪聲抑制處理；
67.選取子模塊，用於從噪聲抑制處理後的每個相似度響應圖譜中選取最大峰值所在位置作為飛行目標在對應的待檢測飛行目標圖像中的跟蹤位置；
68.判斷子模塊，用於判斷所有的剩餘待檢測飛行目標圖像是否均完成分類，如是，則
輸出所有的剩餘待檢測飛行目標圖像中的跟蹤位置，結束；如否，則將所述跟蹤位置所在的區域作為新的飛行目標模板圖像，並傳輸給第二採樣子模塊；
69.第二採樣子模塊，用於根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
70.更新子模塊，用於將所述各個採樣區域的飛行目標深度特徵輸入所述在線分類器中進行更新，並將更新後的在線分類器傳輸給獲取子模塊。
71.綜上，本發明提出的方案具備如下技術效果：
72.本發明通過構建三重孿生網絡，並將每個飛行目標圖像對應的有效運動目標圖像、數據增強處理後的有效運動目標圖像以及背景圖像集，構成錨點樣本、正樣本和負樣本集；通過錨點樣本、正樣本和負樣本集，實現了三重孿生網絡的參數訓練，進而得到飛行目標深度特徵提取器，保證了飛行目標深度特徵提取器能夠準確地區分運動目標和天空背景，實現了運動目標和天空背景在指定判據下空間距離最大化，充分降低了運動目標與天空背景的相似度，具有泛化性；針對運動目標尺寸小及運動模糊的情況，通過樣本增強，使得樣本數據更加多樣性，獲得網絡模型更加魯棒；通過初始待檢測飛行目標圖像中的飛行目標模板圖像、鄰近背景區域圖像以及剩餘待檢測飛行目標圖像，實現了分類器的訓練，保證了在線分類器的分類結果的準確性，保證了飛行目標的跟蹤定位的準確性，且無需海量數據，不受圖像質量和飛行目標類別，適用性強。
附圖說明
73.為了更清楚地說明本發明具體實施方式或現有技術中的技術方案，下面將對具體實施方式或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施方式，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
74.圖1為本發明的基於對比學習的飛行目標跟蹤方法流程示意圖；
75.圖2為本發明的三重孿生網絡結構示意圖；
76.圖3為本發明的主幹網絡結構示意圖。
具體實施方式
77.為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例只是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
78.本實施例給出了一種基於對比學習的飛行目標跟蹤方法，如圖1所示，該飛行目標跟蹤方法包括：
79.s1、獲取不同氣候和光照條件下的飛行目標圖像序列。
80.為適應運動目標所處背景的複雜性，本實施例採集大量不同氣候和光照條件下的飛行目標圖像序列。
81.s2、從所述飛行目標圖像序列中提取每個飛行目標圖像的有效運動目標圖像和背
景圖像；並將每個有效運動目標圖像對應的背景圖像集作為負樣本圖像集。
82.為克服相機抖動和光照變化帶來的幹擾，本實施例獲取各個飛行目標圖像中的有效運動目標圖像和背景圖像的具體實現過程包括：
83.步驟s21、對所述飛行目標圖像序列中起始階段的相鄰飛行目標圖像分別依次進行運動像素點檢測和尺度不變位置特徵點檢測後進行位置匹配，得到位置特徵點對集。
84.本實施例採用稠密光流方法，進行運動像素點檢測，採用尺度不變特徵點方法(surf，speeded up robust features.)，對相鄰的飛行目標圖像中的運動像素點進行尺度不變位置特徵點檢測，得到兩組位置特徵點集。採用隨機抽樣一致方法(ransac random sample consensus)，對兩組位置特徵點集進行位置特徵點匹配，得到位置特徵點對集。
85.步驟s22、計算所述位置特徵點對集中每對位置特徵點對的像素位置的歐式距離，以確定屬於目標運動區域中的位置特徵點。
86.當歐式距離大於閾值時，則大於閾值的歐式距離對應的位置特徵點對屬於目標運動區域；否則，則小於閾值的歐式距離對應的位置特徵點對不屬於目標運動區域，小於閾值的歐式距離對應的位置特徵點對之間的像素位置是由於相機抖動造成的。
87.步驟s23、根據屬於目標運動區域中的位置特徵點，確定飛行目標在飛行目標圖像中的有效運動區域模板；
88.步驟s24、根據所述飛行目標在飛行目標圖像中的運動區域模板，對後續的飛行目標圖像依次進行運動區域模板匹配和尺度變換處理，以獲取各個飛行目標圖像中的有效運動目標圖像；
89.步驟s25、從每個飛行目標圖像中隨機選取非有效運動目標區域並進行尺度變換處理，以獲取各個飛行目標圖像中的背景圖像。
90.s3、將每個有效運動目標圖像進行數據增強處理後作為正樣本圖像集；並將每個有效運動目標圖像作為錨點樣本。
91.本實施例對有效運動目標圖像進行數據增強處理，保證在保持運動目標的基本圖像特徵屬性的前提下，實現對運動目標的圖像特徵屬性進行適當的變異操作，提高了運動目標深度特徵的魯棒性，達到了運動目標的深度特徵與其經過圖像變換後的深度特徵能夠保持一致似或近似的效果。
92.本實施例的數據增強包括色彩變換、仿射變換、尺度變換、旋轉變換、銳化、模糊處理和形態學處理的單個處理或組合處理。形態學處理目的實現對飛行目標圖像的運動模糊模擬。形態學處理的具體過程包括：
93.步驟s31、將每個有效運動目標圖像處理成黑白圖像後分別進行水平方向卷積運算和豎直方向卷積運算，得到各個有效運動目標圖像中飛行目標輪廓梯度。
94.對飛行目標圖像a進行自適應閾值處理成黑白圖像a
binary
，之後分別採用3*3的兩種梯度卷積核s函數算子，分別對黑白圖像在水平和豎直兩個方向進行卷積操作，得到飛行動目標的輪廓梯度。
95.a
binary
＝255if a》threshold or a
binary
＝0a《threshold；
[0096][0097]
步驟s32、計算所述各個有效運動目標圖像中飛行目標輪廓梯度的最大外接矩形。
[0098]
本實施例的最大外接矩形按照如下公式計算：
[0099]
ra＝convex(s*a
binary
)； (2)
[0100]
其中，ra為最大外接矩形。
[0101]
步驟s33、對每個最大外接矩形中的所有像素點是否屬於飛行目標輪廓進行判斷，以獲取各個外接矩陣。
[0102]
遍歷最大外接矩形中的全部像素，對屬於飛行目標輪廓的像素值則置1，否則置0，得到外接矩陣。
[0103]
步驟s34、對各個外接矩陣進行奇異分解，得到各個外接矩陣的最大特徵值對應的切向量方向和法向量方向。
[0104]
步驟s35、確定所述各個外接矩陣的最大特徵值對應的切向量方向和法向量方向，以對各個飛行目標輪廓進行分割。
[0105]
根據最大特徵值對應的向量的切向量所對應的方向(即切向量方向)與該向量的法向量對應的方向(法向量方向)，對飛行目標輪廓進行分割。當然，也可根據飛行目標輪廓的外接矩形中心位置，對飛行目標輪廓進行分割。
[0106]
步驟s36、對每個飛行目標輪廓依次進行腐蝕/膨脹和邊緣卷積處理。
[0107]
使用形態學操作的腐蝕/膨脹操作對輪廓進行處理，使得輪廓厚度改變，之後於輪廓分割線兩側分別使用3*3的銳化卷積核或3*3的高斯卷積核對飛行目標邊緣進行卷積，用以實現模擬運動目標的運動模糊效果，銳化卷積核分和高斯卷積核分別為：
[0108][0109]
最後與常用的裁剪、色彩變換、仿射變換與旋轉變換等數據操作進行隨機組合，用以保證深度特徵提取器獲得的飛行目的深度特徵能夠適應仿射、尺度、色彩變換和運動模糊等情況。
[0110]
s4、採用結構相同的三個主幹網絡，構建一個三重孿生網絡；並將所述錨點樣本、對應的正樣本圖像集和負樣本圖像集輸入所述三重孿生網絡中進行參數調整，並將參數調整後的其中一個主幹網絡作為飛行目標深度特徵提取器。
[0111]
構建三重孿生網絡的目的在於生成能夠較好區分的飛行目標區域和背景區域的飛行目標深度特徵提取器該三重孿生網絡包括三個結構相同、參數共享的卷積神經網絡分枝構成。其中三個卷積神經網路分支採用resnet-50作為主幹網絡(該網絡結構可有效解決梯度爆炸、網絡退化等問題)，其平均池化層的輸出結果作為飛行目標圖像的深度圖像信息(即圖像深度特徵)，以向量形式表示。參考圖2，本三重孿生網絡包括並聯的三個主幹網絡和三元對比損失模塊；所述三元對比損失模塊的輸入端與所述三個主幹網絡的輸出
端連接。三個主幹網絡，用於對各自接收到的圖像進行圖像深度特徵提取後輸入到所述三元對比損失模塊。本實施例的主幹網絡採用50層殘差網絡，其結構參考圖3。三元對比損失模塊，用於採用三元損失函數，對所述三個主幹網絡輸出的圖像深度特徵進行相似度比較；並根據相似度比較結構，對所述三重孿生網絡進行主幹網絡參數調整。
[0112]
對於該三重孿生網絡，其三個分支的輸入分別為有效運動目標圖像u、增強有效運動目標圖像v
+
及背景圖像v-，輸出為這三種圖像的由向量表示的深度特徵。該三重孿生網絡的訓練過程包括：
[0113]
1、初始化主幹網絡參數，並選取某一有效運動目標圖像作為錨點，將該有效運動目標圖像對應的數據增強圖像作為正樣本，之後選取若干背景圖像作為負樣本，將三者共同構成一個訓練批次數據，對訓練批次中的每張圖像採用去均值後代入主幹網絡。
[0114]
2、在主幹網絡的第0階段，對輸入圖像進行尺度處理：將全部圖像樣本(包括錨點、正樣本和負樣本)解析度處理為寬度和高度均為224像素，在卷積層中將歸一化結果輸入64個不同卷積通道處理，分別採用不同的7*7的卷積核對圖像進行步幅為2的卷積處理，並按照relu激活函數對卷積結果進行處理。在最大池化層採用3*3的滑動窗口，按照步幅為2，對激活計算結果進行滑動處理，選取每次滑動窗口中最大元素，輸出的深度信息是64*56*56的第一矩陣形式。
[0115]
3、在主幹網絡的第1階段，根據將第0階段輸出的維度為(64，56，56)深度信息x輸入卷積單元1中。卷積單元1的工作過程包括：
[0116]
根據輸入數據通道c、輸入數據高度/寬度w、卷積層中的卷積通道c1和卷積步幅s，確定兩組卷積序列；左側的卷積操作序列，對輸入數據的計算表示為f(x)，輸入數據分別經過三次卷積核大小為1*1、3*3和1*1、通道長度為64的卷積操作及相應涉及的bn歸一化(batch normalization)和relu激活操作，其中在最後一次卷積後，由於卷積步幅為4*c1，輸出的深度信息的通道數擴大4倍，並保持寬度和高度不變；同時，為保持輸入深度信息的維度與輸出深度信息維度一致，使得輸入信息可以與輸出信息進行恆聯映射操作，在右側卷積操作中，將輸入深度信息的通道數目進行拉伸，與左側卷積序列保持一致，該計算過程表示為函數g(x)；之後將f(x)進行relu的結構輸入到後續的3個卷積單元2中；最後改卷積單元的結果作為階段2的輸入數據。
[0117]
4、在主幹網絡的第2-4階段中，輸入數據為了與輸出數據構成恆聯映射，首先經過卷積階段1，之後再次經過若干個卷積單元2後，最終在第4階段中，輸出的深度信息維度數(2048*7*7)，之後經過滑動窗口大小為7*7的平均池化操作，生成維度為2048的輸入圖像深度特徵向量。
[0118]
5、分別將飛行目標圖像u、正樣本v
+
和負樣本v-分別經過主幹網絡得到的圖像深度特徵代入三元損失函數公式(4)中，計算三者之間的差異。公式(4)中w表示網路參數，超參m表示相似判定裕度，超參λ是表示權值衰減效率；餘弦距離d用於判定兩組深度特徵向量的相似性，所輸入向量u與v越近似則d的取值越趨近於0，相反u與v區別越大則d的取值越接近1。這樣使得不僅在一個訓練批次的n個樣本中，不僅當飛行目標圖像和對應的數據增強結果的所對應的深度特徵距離小於該飛行目標與背景圖像所對應的深度特徵距離時，即d(u,v
+
)《d(u,v-)時主幹網絡需要優化，而且d(u,v
+
)《d(u,v-)《d(u,v
+
)+m時，主幹網絡參數仍然會得到優化，直至d(u,v
+
)+m《d(u,v-)，主幹網絡訓練到收斂，此時飛行目標與背景圖像的深
度特徵差異遠大於該飛行目標與其對應的數據增強解僱的深度特徵差異。
[0119][0120]
為了保證更多的複雜背景圖像參與到訓練過程且對模型的訓練、更新過程更有影響，參照困難負樣本挖掘(hard negative mining)方法，在每個訓練批次中選取k個(k＝6)與飛行目標區域圖像及其數據增強結果的深度特徵向量差異最大的背景樣本圖像深度特徵向量，將這6個損失函數進行平均後作為該訓練批次數據的損失函數。在對損失函數進行最小化處理過程中，使用lars和ranger結合的優化算法，根據當前網絡參數作為初值對損失函數進行優化，並根據損失函數收斂到極小值時的網絡參數進行反向傳播，對網絡參數進行更新。
[0121]
s5、獲取待檢測飛行目標圖像序列；並對所述待檢測飛行目標圖像序列中的初始待檢測飛行目標圖像進行目標圖像和背景圖像識別，以獲取所述初始待檢測飛行目標圖像中的飛行目標模板圖像及其位置和鄰近背景區域圖像。
[0122]
s6、將所述飛行目標模板圖像和鄰近背景區域圖像輸入所述飛行目標深度特徵提取器中，以獲取所述飛行目標模板圖像和鄰近背景區域圖像各自對應的飛行目標深度特徵。
[0123]
s7、將所述飛行目標模板圖像和鄰近背景區域圖像各自對應的飛行目標深度特徵輸入在線分類器中進行分類訓練。
[0124]
s8、根據所述待檢測飛行目標圖像序列中剩餘待檢測飛行目標圖像、飛行目標模板圖像的位置、飛行目標深度特徵提取器和訓練後的在線分類器，進行飛行目標在線分類，以獲取所述待檢測飛行目標的運動軌跡。
[0125]
根據飛行目標x提取網絡對於飛行目標模板和待檢測圖像i進行處理後，分別根據該網絡的第4階段輸出結果得到兩個深度特徵，維度分別為w*h*c和w*h*c；之後將飛行目標模板(即飛行目標模板圖像)對應的深度特徵作為卷積核對待檢測圖像的深度特徵進行卷積，得到一個維度為(w-w+1)*(h-h+1)*1、元素取值在0～1之間的向量，並對該計算結果按照三次樣條插值方法進行多次上採樣到待檢測圖像i的大小後，獲得飛行目標模板在該圖像中的相似度響應圖譜，如公式5所示：
[0126][0127]
其中，*表示對輸入圖像與飛行目標模板兩者經過的卷積運算，b表示截距，響應圖譜m是二維矩陣，其權值最高的位置對應運動目標的跟蹤位置。
[0128]
本實施例採用支持向量機(svm support vector machine)作為二元分類器f(
·
)，以判定飛行目標模板圖像在待檢測飛行目標圖像中的位置，且採用循環矩陣運算方法，對待檢測飛行目標圖像進行搜索，根據循環矩陣方式，將飛行目標模板圖像進行平移和平滑處理，以提高運算效率。這樣二元分類器f(
·
)，一方面可以獲得與深度向量卷積同樣的效果，另一方面分類器的參數，可以根據跟蹤過程進行調整和適配，具體包括：
[0129]
1、在初始待檢測飛行目標圖i0中，根據飛行目標模板圖像x及其鄰域進行隨機正負採樣(即飛行目標子圖像和背景圖像)，正樣本圖像為飛行目標子圖像(包括完整或大部
分的飛行目標)，負樣本則不含有或含有少部分飛行目標的背景圖像。根據飛行目標深度特徵提取器計算得到兩組樣本的圖像深度特徵，將兩組正負樣本的深度特徵採用高斯核函數、多項式核函數等非線性運算方法進一步將兩組深度特徵映射到更高維度的線性可分空間後，與其對應的標籤作為svm的訓練樣本，經過訓練處理得到一個在線分類器f(
·
)；
[0130]
2、在後續t時刻的待檢測飛行目標圖i
t
中，將待檢測飛行目標圖i
t
與飛行目標模板圖像輸入到在線分類器f(
·
)中，得到飛行目標模板圖像在待檢測飛行目標圖i
t
中的相似度響應圖譜m，並選定最大值所在位置作為飛行目標在待檢測飛行目標圖i
t
的位置。
[0131]
重新對該飛行目標區域周圍的背景區域進行重新採樣，分別計算兩組目標與背景的深度特徵對在線分類器f(
·
)進行更新。
[0132]
3、對全部後續待處理的待檢測飛行目標圖序列依次經過在線分類處理後，即可得到該飛行目標的運動軌跡。
[0133]
異常處理是在線分類方法出現目標跟蹤錯誤或跟蹤漂移時的糾錯處理過程。為了保證長時間對運動目標的跟蹤準確性，消除由於飛行目標的外形改變、背景幹擾和光照變化等因素對飛行目標進行長時跟蹤的影響，採用對運動噪聲建模的方法，提高對相似性響應圖譜m的判定概率，進而提高飛行目標的跟蹤魯棒性。真實獲得的運動目標估計位置表示為：
[0134][0135]
其中，y為飛行目標的真實圖像位置，隨機跟蹤誤差ε服從標準正態分布的情況下，此時飛行目標模板圖像x對應的相似性響應圖譜m的條件概率密度函數p(m|ε)，採用伯努利分布來描述，即為：
[0136]
p(m|ε)＝∏f(x)m(x)(1-f(x))(1-m(x))； (7)
[0137]
在線分類器f(
·
)的取值範圍在0到1之間，將條件概率密度p(m|ε)取對數，得到：
[0138]
g(ε)＝log(p(m|ε))； (8)
[0139]
則根據條件概率公式，對跟蹤誤差ε進行積分，即可獲得相似性響應圖譜p(m)的概率密度：
[0140][0141]
由於該積分沒有閉合區間形式，故而根據泰勒公式對e
g(ε)
進行二階泰勒展開得到上述相似性響應圖譜的概率密度近似表示為：
[0142][0143]
在計算g(ε)及其期望的過程中，為方便起見，設置m1(x)＝m(x)，m0(x)＝1-m(x)，h1(x)＝log(f(x))和h0(x)＝log(1-f(x))，則：
[0144][0145]
其中，相似性響應圖譜的均值(一階矩)的表達形式為：
[0146]
[0147]
與之對應的相似性響應圖譜的概率密度近似表達式中的二階期望(二階矩)可表示為：
[0148]eε
[g(ε)2]＝∑hb(x)v
b,b'
(x,x')h
b'
(x'),v
b,b'
(x,x')＝e[mb(x)m
b'
(x')]； (13)
[0149]
在計算和v
b,b'
的過程中，二者的數值均可由對根據ε的分布進行多次隨機採樣近似獲得，之後將eε[g(ε)]與eε[g(ε)2]帶入公式(10)中，相似性響應圖譜的對數近似表達式中並根據對數函數在該區間的單調遞增性質消掉對數因子後，即可對實際運動目標在相似性響應圖譜中的概率分布p(m)進行最大化修正，且這個過程的優化目標表示為：
[0150][0151]
當該損失函數達到最小時，即可求取飛行目標響應圖譜的概率p(m)最大值，即可保證在跟蹤過程對運動噪聲進行了有效抑制。
[0152]
綜上，本實施例中飛行目標在線分類的具體實現過程包括：
[0153]
步驟s81、根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
[0154]
步驟s82、將所述各個採樣區域的飛行目標深度特徵輸入到所述在線分類器，以獲得所述飛行目標模板圖像在對應的剩餘待檢測飛行目標圖像中的相似度響應圖譜；
[0155]
步驟s83、對每個相似性響應圖譜進行噪聲抑制處理；
[0156]
步驟s84、從噪聲抑制處理後的每個相似度響應圖譜中選取最大峰值所在位置作為飛行目標在對應的待檢測飛行目標圖像中的跟蹤位置；
[0157]
步驟s85、判斷所有的剩餘待檢測飛行目標圖像是否均完成分類，如是，則輸出所有的剩餘待檢測飛行目標圖像中的跟蹤位置，結束；如否，則將所述跟蹤位置所在的區域作為新的飛行目標模板圖像，進入步驟s86；
[0158]
步驟s86、根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
[0159]
步驟s87、將所述各個採樣區域的飛行目標深度特徵輸入所述在線分類器中進行更新，返回步驟s82。
[0160]
本實施例通過構建三重孿生網絡，並將每個飛行目標圖像對應的有效運動目標圖像、數據增強處理後的有效運動目標圖像以及背景圖像集，構成錨點樣本、正樣本和負樣本集；通過錨點樣本、正樣本和負樣本集，實現了三重孿生網絡的參數訓練，進而得到飛行目標深度特徵提取器，保證了飛行目標深度特徵提取器能夠準確地區分運動目標和天空背景，實現了運動目標和天空背景在指定判據空間距離最大化，充分降低了運動目標與天空背景的相似度，具有泛化性；針對運動目標尺寸小及運動模糊的情況，通過樣本增強，使得樣本數據更加多樣性，獲得網絡模型更加魯棒；通過初始待檢測飛行目標圖像中的飛行目標模板圖像、鄰近背景區域圖像以及剩餘待檢測飛行目標圖像，實現了分類器的訓練，保證了在線分類器的分類結果的準確性，實現了飛行目標的跟蹤定位。
[0161]
上述實施例可採用如下實施例給出的基於對比學習的飛行目標跟蹤系統實現：
[0162]
另一實施例給出了一種基於對比學習的飛行目標跟蹤系統，該所述飛行目標跟蹤系統包括：
[0163]
第一獲取模塊，用於獲取不同氣候和光照條件下的飛行目標圖像序列；
[0164]
提取模塊，用於從所述飛行目標圖像序列中提取每個飛行目標圖像的有效運動目標圖像和背景圖像；並將每個有效運動目標圖像對應的背景圖像集作為負樣本圖像集；
[0165]
數據增強處理模塊，用於將每個有效運動目標圖像進行數據增強處理後作為正樣本圖像集；並將每個有效運動目標圖像作為錨點樣本；
[0166]
參數調整模塊，用於採用結構相同的三個主幹網絡，構建一個三重孿生網絡；並將所述錨點樣本、對應的正樣本圖像集和負樣本圖像集輸入所述三重孿生網絡中進行參數調整，並將參數調整後的其中一個主幹網絡作為飛行目標深度特徵提取器；
[0167]
識別模塊，用於獲取待檢測飛行目標圖像序列；並對所述待檢測飛行目標圖像序列中的初始待檢測飛行目標圖像進行目標圖像和背景圖像識別，以獲取所述初始待檢測飛行目標圖像中的飛行目標模板圖像及其位置和鄰近背景區域圖像；
[0168]
第二獲取模塊，用於將所述飛行目標模板圖像和鄰近背景區域圖像輸入所述飛行目標深度特徵提取器中，以獲取所述飛行目標模板圖像和鄰近背景區域圖像各自對應的飛行目標深度特徵；
[0169]
分類訓練模塊，用於將所述飛行目標模板圖像和鄰近背景區域圖像各自對應的飛行目標深度特徵輸入在線分類器中進行分類訓練；
[0170]
第三獲取模塊，用於根據所述待檢測飛行目標圖像序列中剩餘待檢測飛行目標圖像、飛行目標模板圖像的位置、飛行目標深度特徵提取器和訓練後的在線分類器，進行飛行目標在線分類，以獲取所述待檢測飛行目標的運動軌跡。
[0171]
進一步的，所述提取模塊包括：
[0172]
位置匹配子模塊，用於對所述飛行目標圖像序列中起始階段的相鄰飛行目標圖像分別依次進行運動像素點檢測和尺度不變位置特徵點檢測後進行位置匹配，得到位置特徵點對集；
[0173]
第一計算子模塊，用於計算所述位置特徵點對集中每對位置特徵點對的像素位置的歐式距離，以確定屬於目標運動區域中的位置特徵點；
[0174]
確定子模塊，用於根據屬於目標運動區域中的位置特徵點，確定飛行目標在飛行目標圖像中的有效運動區域模板；
[0175]
第一尺度變換處理子模塊，用於根據所述飛行目標在飛行目標圖像中的運動區域模板，對後續的飛行目標圖像依次進行運動區域模板匹配和尺度變換處理，以獲取各個飛行目標圖像中的有效運動目標圖像；
[0176]
第二尺度變換處理子模塊，用於從每個飛行目標圖像中隨機選取非有效運動目標區域並進行尺度變換處理，以獲取各個飛行目標圖像中的背景圖像。
[0177]
進一步的，所述數據增強處理模塊包括：
[0178]
第一卷積運算子模塊，用於將每個有效運動目標圖像處理成黑白圖像後分別進行水平方向卷積運算和豎直方向卷積運算，得到各個有效運動目標圖像中飛行目標輪廓梯度；
[0179]
第二計算子模塊，用於計算所述各個有效運動目標圖像中飛行目標輪廓梯度的最
大外接矩形；
[0180]
判斷子模塊，用於對每個最大外接矩形中的所有像素點是否屬於飛行目標輪廓進行判斷，以獲取各個外接矩陣；
[0181]
奇異分解子模塊，用於對各個外接矩陣進行奇異分解，得到各個外接矩陣的最大特徵值對應的切向量方向和法向量方向；
[0182]
分割子模塊，用於確定所述各個外接矩陣的最大特徵值對應的切向量方向和法向量方向，以對各個飛行目標輪廓進行分割；
[0183]
邊緣卷積處理子模塊，用於對每個飛行目標輪廓依次進行腐蝕/膨脹和邊緣卷積處理。
[0184]
進一步的，所述飛行目標在線分類模塊包括：
[0185]
第一採樣子模塊，用於根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
[0186]
獲取子模塊，用於將所述各個採樣區域的飛行目標深度特徵輸入到所述在線分類器，以獲取所述飛行目標模板圖像在對應的剩餘待檢測飛行目標圖像中的相似度響應圖譜；
[0187]
噪聲抑制處理子模塊，用於對每個相似性響應圖譜進行噪聲抑制處理；
[0188]
選取子模塊，用於從噪聲抑制處理後的每個相似度響應圖譜中選取最大峰值所在位置作為飛行目標在對應的待檢測飛行目標圖像中的跟蹤位置；
[0189]
判斷子模塊，用於判斷所有的剩餘待檢測飛行目標圖像是否均完成分類，如是，則輸出所有的剩餘待檢測飛行目標圖像中的跟蹤位置，結束；如否，則將所述跟蹤位置所在的區域作為新的飛行目標模板圖像，並傳輸給第二採樣子模塊；
[0190]
第二採樣子模塊，用於根據所述飛行目標模板圖像的位置，按照循環矩陣方式，對所述剩餘待檢測飛行目標圖像進行採樣後，輸入到所述飛行目標深度特徵提取器中，得到各個採樣區域的飛行目標深度特徵；
[0191]
更新子模塊，用於將所述各個採樣區域的飛行目標深度特徵輸入所述在線分類器中進行更新，並將更新後的在線分類器傳輸給獲取子模塊。上述實施例所涉及到的原理、公式和參數定義，均可適用，這裡不再一一贅述。
[0192]
請注意，以上實施例的各技術特徵可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特徵所有可能的組合都進行描述，然而，只要這些技術特徵的組合不存在矛盾，都應當認為是本說明書記載的範圍。以上實施例僅表達了本技術的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本技術構思的前提下，還可以做出若干變形和改進，這些都屬於本技術的保護範圍。因此，本技術專利的保護範圍應以所附權利要求為準。