一種自適應運動目標跟蹤方法及無人機跟蹤系統與流程
2023-09-20 21:54:50 4
本發明涉及一種自適應的無人機運動目標檢測與跟蹤方法及系統。
背景技術：
：運動目標檢測與跟蹤在計算機視覺、模式識別等領域一直都是研究的核心技術問題，尤其將這種技術與無人機相結合，更是巨大推動了運動目標檢測與跟蹤技術的發展，拓寬了目標檢測與跟蹤技術的運用前景。運動目標檢測與跟蹤的關鍵就在於利用計算機視覺技術、模式識別分類方法檢測出視頻序列圖像中的運動目標，並對目標區域進行有效、穩定跟蹤。將目標檢測與跟蹤技術與無人機相結合在智能交通監控、大氣環境監測、自然災害救援、地域輪廓描繪等領域有著重要的應用價值。在無人機飛行過程中，動態背景不斷變化，經常存在目標相似物、目標被部分遮擋甚至完全消失、光照發生變化以及目標發生旋轉等複雜因素，從視頻序列圖像中精確檢測目標以及實現有效、穩定跟蹤目標還面臨著諸多技術性上的難題。目前，在國內外發表的文獻中未見有一種方法能夠適應各種複雜因素下的運動目標檢測與跟蹤。傳統的連續自適應均值移動跟蹤方法以目標顏色為關鍵信息，固定了視頻序列圖像中目標搜索窗口的位置和大小，因而不能適應複雜因素下的運動目標檢測與跟蹤。技術實現要素：本發明的目的是提供一種運動目標跟蹤方法，以實現對運動目標進行自適應跟蹤。為了解決上述技術問題，本發明提供了一種運動目標跟蹤方法，包括如下步驟：步驟S1，確定前一幀與當前幀圖像中目標區域質心的移動方向；以及步驟S2，在當前幀圖像中，使目標搜索窗口中心跟蹤目標區域質心。進一步，所述步驟S1中獲得目標區域質心的方法包括如下步驟：步驟S11，提取前一幀圖像的目標特徵，並對目標特徵進行降維；步驟S12，建立目標特徵庫；以及步驟S13，確定當前幀圖像的目標區域，並獲得目標區域質心。進一步，所述步驟S11中提取前一幀圖像的目標特徵，並對目標特徵進行降維包括：在前一幀圖像中選取目標區域，根據ASIFT算法提取目標區域的矢量特徵集，即F＝{f1,f2,…,fn}；其中，所述目標區域為橢圓區域；以及根據目標區域質心，通過馬氏距離對矢量特徵集F＝{f1,f2,…,fn}中各特徵進行降維，生成特徵維數與馬氏距離成反比的PCA-ASIFT特徵庫，即FPCA-ASIFT＝{Fp1,Fp2,…,FpN}。進一步，所述步驟S12中建立目標特徵庫的方法包括：根據隱馬爾可夫模型訓練特徵並建立目標特徵庫，即根據所述隱馬爾可夫模型在相應複雜因素下建立PCA-ASIFT特徵庫的訓練參數，且根據訓練參數訓練PCA-ASIFT特徵庫中各特徵；將在所述前一幀圖像中建立目標PCA-ASIFT特徵庫，以作為當前圖像特徵分類的標準。進一步，所述步驟S13中確定當前幀圖像的目標區域，並獲得目標區域質心的方法包括：當前幀圖像採用與前一幀圖像相同的目標特徵提取方法，並且根據前一幀圖像的目標PCA-ASIFT特徵庫中對當前幀圖像進行特徵分類，剔除非目標區域特徵，以得到分類結果，確定目標區域；以及根據當前幀圖像分類出的PCA-ASIFT特徵庫中各特徵所處位置的最大值和最小值，以描述當前幀圖像對應的目標區域，並計算該目標區域質心。進一步，步驟S1中計算目標區域質心的移動方向的方法包括：根據所述目標PCA-ASIFT特徵庫中各特徵的矢量對應方向，計算目標區域質心的移動方向，以作為當前幀圖像中目標搜索窗口的移動方向即Fp=Fp1+Fp2+...+FpN.]]>進一步，設前一幀圖像為Ip，且建立的二維坐標，則該幀圖像Ip的目標搜索窗口中心Ip(xp0,yp0)和目標區域質心Ip(xpc,ypc)的計算公式分別為：所述目標搜索窗口中心Ip(xp0,yp0)計算公式為：xp0=ΣxWp(x,y)Ip(x,y)yp0=ΣyWp(x,y)Ip(x,y);]]>其中，Ip(x,y)表示前一幀圖像Ip的目標搜索窗口所包含像素；Wp(x,y)表示為每個像素賦予相應加權係數；以及所述目標區域質心Ip(xpc,ypc)計算公式為J00=ΣxΣyIp(x,y)J01=ΣxΣyxIp(x,y)J10=ΣxΣyyIp(x,y)xpc=J10/J00,ypc=J01/J00.]]>進一步，所述步驟S2中在當前幀圖像中，使目標搜索窗口中心跟蹤目標區域質心的方法包括：自適應更新當前幀圖像的目標搜索窗口和下一幀圖像中目標搜索窗口的移動方向，即若|xp0+1-xpc|＜ε，且|yp0+1-ypc|＜ε，則Ip+1(xp0+1,yp0+1)為當前幀圖像Ip+1中目標搜索窗口中心，即目標搜索窗口不更新，以完成對當前幀圖像中的目標進行跟蹤；反之，則將當前幀圖像的目標搜索窗口中心置換為目標區域質心；其中，ε為目標搜索窗口移動判斷閾值；以及同時使目標搜索窗口大小置換為目標區域的最小外接矩形。又一方面，本發明還提供了一種無人機跟蹤系統，其通過運動目標跟蹤方法實現對目標進行自適應跟蹤。所述無人機跟蹤系統包括：無人機、與該無人機進行無線通訊的地面控制站。進一步，所述無人機包括：機載數據處理及控制模塊和攝像機；其中所述攝像機通過視頻採集模塊與機載數據處理及控制模塊相連，且該機載數據處理及控制模塊通過運動目標跟蹤方法實現對攝像機拍攝的圖像中的目標進行跟蹤。本發明的有益效果是，本發明能始終保持目標位於目標搜索窗口中心，並據此對下一幀圖像中的目標進行跟蹤，並根據目標區域質心方法計算下一幀圖像中的目標區域質心；將當前幀圖像中的目標搜索窗口中心按當前幀圖像的目標PCA-ASIFT特徵庫中各特徵的主方向朝著所述下一幀圖像中目標區域質心移動，據此始終保持目標位於目標搜索窗口中心並完成對下一幀圖像中的目標跟蹤。附圖說明下面結合附圖和實施例對本發明進一步說明。圖1是本發明的運動目標跟蹤方法的方法流程圖；圖2是本發明的目標區域質心的方法流程圖；圖3是本發明中前一幀、當前幀和下一幀圖像中目標搜索窗口中心跟隨目標區域質心示意圖；圖4是本發明的無人機跟蹤系統的原理框圖。圖中：目標區域1、目標搜索窗口2。具體實施方式現在結合附圖對本發明作進一步詳細的說明。這些附圖均為簡化的示意圖，僅以示意方式說明本發明的基本結構，因此其僅顯示與本發明有關的構成。實施例1如圖1所示，本發明提供了一種運動目標跟蹤方法，包括如下步驟：步驟S1，確定前一幀與當前幀圖像中目標區域質心的移動方向；以及步驟S2，在當前幀圖像中，使目標搜索窗口中心跟蹤目標區域質心。本發明所述的圖像具體為按照幀排列的視頻序列圖像。如圖2所示，可選的，所述步驟S1中獲得目標區域質心的方法包括如下步驟：步驟S11，提取前一幀圖像的目標特徵，並對目標特徵進行降維；步驟S12，建立目標特徵庫；以及步驟S13，確定當前幀圖像的目標區域，並獲得目標區域質心。可選的，所述步驟S11中提取前一幀圖像的目標特徵，並對目標特徵進行降維包括：在前一幀圖像中選取目標區域，根據ASIFT算法(即抗視角變化的尺度不變特徵變換)提取目標區域的矢量特徵集，即F＝{f1,f2,…,fn}；其中，所述目標區域為橢圓區域；其中，若前一幀圖像為首幀圖像，則人為選擇視頻序列圖像中的運動目標，即目標搜索窗口。根據目標區域質心，通過馬氏距離對矢量特徵集F＝{f1,f2,…,fn}中各特徵進行降維，生成特徵維數與馬氏距離成反比的PCA-ASIFT特徵庫(經降維的可抗視角變化的尺度不變特徵變換抗)，即FPCA-ASIFT＝{Fp1,Fp2,…,FpN}，以保留特徵包含的關鍵信息和大幅降低方法運算量。降維的具體步驟為：利用ASIFT算法獲得的特徵描述目標，距離目標區域質心越近的特徵包含的信息越能描述目標，其中，該距離定義為馬氏距離。因此，矢量特徵集F＝{f1,f2,…,fn}中某兩個特徵子集分別為fa＝(fa1,fa2,…,fam)、fb＝(fb1,fb2,…,fbm)，即兩個特徵子集對應的馬氏距離為：可選的，所述步驟S12中建立目標特徵庫的方法包括：根據隱馬爾可夫模型(HMM)訓練特徵並建立目標特徵庫，即根據所述隱馬爾可夫模型在相應複雜因素下建立PCA-ASIFT特徵庫的訓練參數(HMM參數)，且根據訓練參數訓練PCA-ASIFT特徵庫中各特徵；將在所述前一幀圖像中建立目標PCA-ASIFT特徵庫，以作為當前圖像特徵分類的標準。根據HMM在不同複雜因素下建立所述目標PCA-ASIFT特徵庫的訓練參數，例如但不限於在光照變化、遮擋、目標相似物、目標旋轉等不同複雜因素下利用HMM分別建立相應訓練參數，建立HMM參數主要包括左右形式的隱馬爾可夫模型狀態個數和每個狀態包含的高斯函數個數；優選的，在光照變化、遮擋、目標相似物、目標旋轉複雜因素下根據實際實驗效果取得的最優參數分別為光照變化的訓練參數4、2(其中，隱馬爾可夫模型狀態個數為4，高斯函數個數為2，以下訓練參數類似)；遮擋4、6；目標相似物6、8；目標旋轉6、4。可選的，所述步驟S13中確定當前幀圖像的目標區域，並獲得目標區域質心的方法包括：當前幀圖像採用與前一幀圖像相同的目標特徵提取方法，並且根據前一幀圖像的目標PCA-ASIFT特徵庫中對當前幀圖像進行特徵分類，剔除非目標區域特徵，以得到分類結果，確定目標區域；以及根據當前幀圖像分類出的PCA-ASIFT特徵庫中各特徵所處位置的最大值和最小值，以描述當前幀圖像對應的目標區域，並計算該目標區域質心。其中，各特徵所處位置為特徵在視頻序列圖像中的二維坐標，即通過各特徵所處位置的最大值和最小值分別定義橢圓的長軸和短軸位置，以描述當前幀圖像對應的目標區域(橢圓區域)；且目標區域質心為經過加權後的目標區域幾何中心；以及步驟S1中計算目標區域質心的移動方向的方法包括：根據所述目標PCA-ASIFT特徵庫中各特徵的矢量對應方向，計算目標區域質心的移動方向(各特徵的主方向)，以作為當前幀圖像中目標搜索窗口的移動方向即並且根據計算特徵所處位置的最大值和最小值描述的目標區域和所述目標PCA-ASIFT特徵庫中各特徵的主方向，分別自適應更新所述當前幀圖像的目標搜索窗口和下一幀圖像中目標搜索窗口的移動方向。具體的，設前一幀圖像為Ip，且建立的二維坐標，則該幀圖像Ip的目標搜索窗口中心Ip(xp0,yp0)和目標區域質心Ip(xpc,ypc)的計算公式分別為：所述目標搜索窗口中心Ip(xp0,yp0)計算公式為：xp0=ΣxWp(x,y)Ip(x,y)yp0=ΣyWp(x,y)Ip(x,y);]]>其中，Ip(x,y)表示前一幀圖像Ip的目標搜索窗口所包含像素；Wp(x,y)表示為每個像素賦予相應加權係數；以及所述目標區域質心Ip(xpc,ypc)計算公式為J00=ΣxΣyIp(x,y)J01=ΣxΣyxIp(x,y)J10=ΣxΣyyIp(x,y)xpc=J10/J00,ypc=J01/J00.]]>以及所述步驟S2中在當前幀圖像中，使目標搜索窗口中心跟蹤目標區域質心的方法包括：自適應更新當前幀圖像的目標搜索窗口和下一幀圖像中目標搜索窗口的移動方向，即若|xp0+1-xpc|＜ε，且|yp0+1-ypc|＜ε，則Ip+1(xp0+1,yp0+1)為當前幀圖像Ip+1中目標搜索窗口中心，即目標搜索窗口不更新，以完成對當前幀圖像中的目標進行跟蹤；反之，則將當前幀圖像的目標搜索窗口中心置換為目標區域質心以完成跟蹤；其中，ε為目標搜索窗口移動判斷閾值；以及同時使目標搜索窗口大小置換為目標區域的最小外接矩形，繼而對下一幀圖像Ip+2中的目標進行跟蹤。始終保持目標位於目標搜索窗口中心，並據此對下一幀圖像中的目標進行跟蹤，具體地，根據上述目標區域質心計算公式計算下一幀圖像中的目標區域質心；將當前幀中的目標搜索窗口中心按該幀圖像的目標PCA-ASIFT特徵庫中各特徵的主方向朝著下一幀圖像中目標區域質心移動，據此始終保持目標位於目標搜索窗口中心並完成對下一幀圖像中的目標跟蹤，其中，移動以歐式距離為標準；根據自適應更新目標搜索窗口和移動方向完成後續視頻序列圖像中的目標跟蹤。進一步，定義下一幀圖像Ip+1，則該幀圖像Ip+1的目標搜索窗口中心Ip+1(xp0+1,yp0+1)，目標區域質心Ip+1(xpc+1,ypc+1)，目標搜索窗口移動方向將當前幀圖像的目標區域質心Ip(xpc,ypc)按的方向朝著下一幀圖像目標搜索窗口的中心Ip+1(xp0+1,yp0+1)移動，如果|xp0+1-xpc|＜ε，且|yp0+1-ypc|＜ε，完成目標跟蹤，否則，將下一幀圖像目標搜索窗口中心Ip+1(xp0+1,yp0+1)置換為Ip+1(xpc+1,ypc+1)，繼而完成後續視頻序列圖像中的目標跟蹤。實施例2在實施例1基礎上，本發明還提供了一種無人機跟蹤系統。如圖4所示，所述無人機跟蹤系統包括：無人機、與該無人機進行無線通訊的地面控制站。所述無人機包括：機載數據處理及控制模塊和攝像機；其中所述攝像機通過視頻採集模塊與機載數據處理及控制模塊相連，且該機載數據處理及控制模塊通過如實施例1所述的運動目標跟蹤方法實現對攝像機拍攝的圖像中的目標進行跟蹤。並且，所述地面控制站還包括用於接收無人機信號的無線通訊模塊，與該無線通訊模塊相連的地面數據處理模塊，以及地面控制模塊，進而實現對無人機的控制，例如控制起降。其中所述機載數據處理及控制模塊和地面數據處理模塊例如但不限於採用嵌入式處理器。所述運動目標跟蹤方法中涉及的各幀圖像均通過攝像機拍攝並通過視頻採集模塊進行採集。因此，本無人機跟蹤系統能夠在光照變化、遮擋、目標相似物、目標旋轉等複雜因素下精確地檢測出運動目標且穩定跟蹤目標。由於本發明實例針對動態場景下的地面運動目標；因此，本發明實例可應用於不同的場景需求，本發明的實例具有實時性好、適應光照變化、遮擋、目標相似物、目標旋轉等各種複雜因素、可擴展性好、目標檢測精確度高、跟蹤性能穩定的特點。以上述依據本發明的理想實施例為啟示，通過上述的說明內容，相關工作人員完全可以在不偏離本項發明技術思想的範圍內，進行多樣的變更以及修改。本項發明的技術性範圍並不局限於說明書上的內容，必須要根據權利要求範圍來確定其技術性範圍。當前第1頁1 2 3