基於視覺的無人直升機目標跟蹤系統的製作方法

2023-09-16 15:51:55

專利名稱：基於視覺的無人直升機目標跟蹤系統的製作方法
技術領域：
本發明涉及智能控制和機器視覺技術領域，是用於無人旋翼直升機的 基於視覺的目標識別與跟蹤系統，可通過視覺，提高無人直升機自主執行 任務的能力，實現局部的智能飛行，以及實現對地面或空中指定目標的跟3示。
背景技術：
本發明基於兩大
背景技術：
微小型直升機控制技術和計算機視覺技 術。微小型直升機控制技術是利用控制理論和傳感器技術來實現微小型直 升機的自主飛行，計算機視覺技術是利用成像技術對目標進行識別和測量 目標位置、運動狀態信息的技術。目前圍繞微小型直升機控制技術和計算機視覺技術分別展開了很多 研究，但是把計算機視覺技術和微小型直升機控制技術集成到一個大系統 中，實現無人機自主識別目標並跟蹤的功能，提高無人直升機的智能化水 平的應用目前還沒有。本發明解決了這兩大技術的集成，極大地提高了無 人直升機的智能化水平。發明內容本發明的目的是為微小型直升機提供一種可實現視覺跟蹤與局部視 覺導航的系統，以實現微小型直升機的自動駕駛控制和自主目標跟蹤，支 持遙控駕駛和自動駕駛之間的自由切換，實現微小型直升機的智能控制。 該系統可適用於各種遙控航模直升機的局部視覺導航與跟蹤，實現微小型 直升機、旋翼機的自動目標識別與跟蹤，在人為可控制或可限制的範圍內， 自動識別操作員指定的目標，在視覺系統捕捉到目標後，保證地面或者空 中目標處於機載相機的視野範圍之內，完成自主跟蹤的任務。為達到上述目的，本發明的技術解決方案是提供一種基於視覺的無人直升機目標跟蹤系統，其包括地面控制中心，和空中飛行載體兩部分；地 面控制中心包括控制計算機、無線通訊模塊、手動遙控器，控制計算機與 無線通訊模塊之間為電器連接；空中飛行載體包括無人直升機、中心處理 單元、視覺單元、GPS單元和陀螺儀慣性導航單元、無線通訊裝置和電池 組，各部分之間電連接；其中，中心處理單元包括嵌入式計算機系統，為機載控制中心；PGS 接收機和航空天線，慣性導航單元，高度計傳感器，及傳感器設備採集的 數據全部進入到嵌入式控制中心中，由控制中心進行數據處理，並實現自 動導航；無人直升機的遙控迴路中設有一個多路切換裝置，該切換裝置能夠通 過地面控制計算機或遙控器的一個通道實現自動導航和手動駕駛之間的 切換；視覺單元設有攝像頭和圖像處理裝置，圖像處理裝置與中心處理單元 電器連接；各部件固裝於無人直升機的起落架上；地面部分和空中飛行載體部分之間為無線通訊連接，無線通訊部分包 括無人直升機的手動駕駛遙控器和接收器，自動導航系統提供的無線通訊 模塊建立的無線鏈路，以及無線視頻傳輸鏈路。所述的目標跟蹤系統，其所述地面控制中心的無線通訊模塊和手動遙 控器的無線通訊分別在兩個頻段上，這兩個頻段不為倍頻關係，以保證二 者之間的通訊不受幹擾，無線視頻鏈路的通訊頻率為1. 2G或2. 4G。所述的目標跟蹤系統，其所述無人直升機，是在現有的遙控直升機基 礎上改造而成，起落架換成自製的起落架，增加了起落架的高度和強度， 以便安裝各種電器、電子裝置。所述的目標跟蹤系統，其所述視覺單元與標準攝像機連接後，具有圖 像採集和處理功能，通過圖像處理算法，能夠獲取目標圖像的空間位置。所述的目標跟蹤系統，其所述中心處理單元，以ARM9.0為中央控制 器，以便實現導航控制、數據採集、數據處理和無線通訊的功能，並將攝 像頭採集的圖像傳回到地面控制計算機顯示。所述的目標跟蹤系統，其所述GPS單元包括GPS接收器和高精度GPS5天線，在同時鎖定4顆以上衛星的情況下，以1HZ的速率更新定位數據。 所述的目標跟蹤系統，其所述慣性導航單元，結合了三個方向角速率陀螺儀，三向加速度計，三軸磁強計，在三軸360度的運動狀態下，能夠提供角度在歐拉角和矩陣格式的數據。本發明的突出特點是利用嵌入式計算機系統作為機載控制中心，在原 有的遙控模型直升機上進行必要的電器和機械改造，使得遙控模型直升機具有自主導航飛行、視覺跟蹤的功能。進行的機械改造包括將遙控直升 機原有的起落架去掉，更換為適合安裝自動導航設備的起落架。電器改造 包括在原有的遙控迴路中增加了一個多路切換裝置，該切換裝置能夠通 過地面控制計算機或遙控器的一個通道實現自動導航和手動駕駛之間的 切換；在遙控直升機上，安裝了多種傳感器設備，包括PGS接收機和航空天線，慣性導航設備，高度計傳感器，這些傳感器設備採集的數據全部進入到嵌入式控制中心中，由控制中心進行數據處理，並實現自動導航；在 遙控直升機上，安裝了CCD攝像頭和基於DSP的視覺處理板，從而實現直 升機的視覺跟蹤和視覺導航。本發明所述的系統，能夠適用於各種遙控航模直升機的自動導航需要。


圖l (a)、圖l (b)為本發明的無人直升機視覺導航系統示意圖；其 中圖1 (a)是直升機和機載設備；圖1 (b)是地面控制站； 圖2為本發明的視覺跟蹤與目標鎖定系統結構框圖。
具體實施方式
請參閱圖1 (a)、圖1 (b)，為本發明的無人直升機視覺導航系統， 本發明的系統由兩部分組成 一部分是直升機和機載設備，參見圖1 (a); 另一部分是地面控制站，參見圖1 (b)。其中，直升機和機載設備，包括 微型直升機l，設備外殼2，起落架3，柔性連接4，設備託盤5，高度計6，嵌入式控制器(包含多路開關)7，無線通訊模塊8， GPS接收機9，慣 性導航單元10，電池組11， GPS接收天線12，視覺單元和無線視頻發送 模塊13，攝像頭和陀螺鎖定裝置14，無線通訊模塊15;地面控制站，包 括地面控制計算機16，地面操作員17，模型直升機遙控器18，無線視頻 接收模塊19，視頻轉換模塊20。在直升機和機載設備中，微小型直升機1的起落架3為特製的裝置， 尺寸比原有的起落架大，以便適合安裝機載自動導航設備和視覺處理單 元。機載自動導航設備和視覺處理設備包括高度計6，嵌入式控制器(ARM) 7，無線通訊模塊8、 GPS接收機9和GPS天線12，慣性導航裝置10，視 覺處理單元13，以及為這些設備提供電能的電池組ll。其中高度計6、嵌 入式控制器(ARM) 7、無線通訊模塊8、 GPS接收機9、慣性導航裝置10、 電池組11、視覺處理單元13集中安裝在一個鋁製的外殼2內，外殼2在 受到外力衝擊的時候起到保護內部設備的作用。起落架3通過固定螺絲與 直升機1連接，起落架下部帶有一個設備託盤5，用於支撐機載導航設備。 託盤5通過四個柔性連接4連接在起落架3上的固定環上，柔性連接4為 橡膠帶，目的是減小直升機飛行過程中的高頻震動對自動導航設備的影 響。高度計6，無線通訊模塊8， GPS接收機9以及慣性導航裝置10分別 通過串行接口與嵌入式控制器(A固9) 7連接，電池組11分別為上述設備 提供電源。地面控制站主要由地面控制計算機16、無線通訊模塊15、無線視頻 接收模塊19、視頻轉換模塊20、模型直升機遙控器18和地面操作員17 組成。其中無線通訊模塊15通過串口與地面控制計算機16連接，地面操 作員直接操作地面控制計算機16和遙控器18，以切換直升機的導航與駕 駛方式手動遙控駕駛或自動導航駕駛，無線視頻接收模塊19通過視頻 轉換模塊20與地面控制計算機16相連，地面控制計算機16為筆記本電 腦，把機載攝像頭和陀螺鎖定裝置14的攝像頭採集的視頻輸入到筆記本 電腦中，供地面站操作員17監控。 本發明的工作原理使用本發明系統進行直升機自動導航時，首先，由地面操作員啟動地 面控制計算機和機載導航裝置，建立無線通訊模塊的通訊連接，機載嵌入式控制器採集高度計、GPS，慣性導航設備的數據，使GPS至少鎖定4個 衛星。以當前GPS的經緯度作為慣性導航單元的初始值。然後操作員通過 地面控制計算機的鍵盤和人機界面，將直升機的駕駛方式設定為手動遙控 駕駛方式，使用遙控器手動駕駛模型直升機啟動並進入正常飛行狀態。在 手動遙控駕駛過程中，機載的自動導航設備不間斷地記錄下直升機的飛行 路徑和姿態，並通過無線通訊模塊將數據發送到地面控制計算機中。接下 來，操作員可通過地面控制計算機的鍵盤按鍵切換到自動導航狀態，機載 的導航設備進入自動導航控制方式。此時嵌入式控制器一邊監聽地面站的 指令， 一邊是直升機處於懸停狀態，當接收到地面控制站給定的目標點之 後，嵌入式控制器以當前直升機的位置和姿態為起始點，以接收到的目標 點為終點，通過計算規劃出直升機的運動方向和速度，並控制直升機到達 目標點。直升機到達目標點之後，進入懸停狀態，等待地面站的指令。
使用本發明系統進行直升機視覺跟蹤時，首先是直升機處於懸停待命 狀態，然後通過地面站給直升機發視覺跟蹤的命令，此時系統中視覺處理 單元啟動，監測機載攝像機的視野中是否有感興趣的目標出現，如果沒有 出現，直升機保持懸停狀態，如果目標出現，直升機將跟隨目標運動。在 直升機跟蹤目標的同時，把機載攝像機採集的圖像通過無線頻道發回到地 面站，供地面操作人員監測。
本實施例中，遙控模型直升機採用了美國產的雷虎90型混合燃料直 升機，遙控器為9通道，頻率設定為27腿Z，遙控距離為半徑1500米，GPS 設備為美國產superstar接收機和航空天線，嵌入式系統選用了基於ARM9 系列AT91脂9200晶片的恆頤高科的H9200F ARM板，慣性制導單元為 3DM-GX1複合慣性導航單元，視覺處理系統採用基於TI函642 DSP處理器 的realtime公司的ICETEK DM642-B嵌入式DSP板，。地面控制計算機為 IBM-51R系列筆記本電腦，無線通訊模塊為SRWF 506，其通訊距離2000 米，頻率430MHZ，功率0.5瓦，電壓5伏。無線視頻模塊為柏通公司的無 線影音專家，使用1.2GHZ頻段，電壓12伏，功率400毫瓦。機載電池組 選用了 2組鋰電池[其中無線模塊和攝像頭使用12V， DSP和ARM系統為 5V]。
使用本發明系統，採用實現實例的配置，通過實驗驗證了本發明系統的有效性。
本發明中系統的工作過程如下首先由操作員將模型直升機啟動並使 用遙控器是直升機處於正常平穩飛行狀態，然後通過地面控制計算機或遙 控器上的切換按鈕，將控制方式切換至自主導航狀態，此時直升機為空中 懸停狀態，機載的嵌入式控制中心將GPS採集的位置信息通過無線通訊連 路傳輸的地面控制計算機中，並顯示在顯示器上。此時操作員可通過地面 控制計算機輸入目標點的坐標位置和期望的運動速度，直升機將以當前位 置作為起點，以操作員輸入的速度沿著直線軌跡向目標點運動，到達目標 點之後仍然處於懸停狀態。然後啟動視覺單元，如果有感興趣的目標出現 在機載攝像機的視野中，直升機就跟蹤目標運動，如果沒有感興趣的目標 出現在機載攝像機的視野中，直升機仍舊保持懸停狀態。
權利要求
1、一種基於視覺的無人直升機目標跟蹤系統，其特徵在於包括地面控制中心，和空中飛行載體兩部分；地面控制中心包括控制計算機、無線通訊模塊、手動遙控器，控制計算機與無線通訊模塊之間為電器連接；空中飛行載體包括無人直升機、中心處理單元、視覺單元、GPS單元和陀螺儀慣性導航單元、無線通訊裝置和電池組，各部分之間電連接；其中，中心處理單元包括嵌入式計算機系統，為機載控制中心；PGS接收機和航空天線，慣性導航單元，高度計傳感器，及傳感器設備採集的數據全部進入到嵌入式控制中心中，由控制中心進行數據處理，並實現自動導航；無人直升機的遙控迴路中設有一個多路切換裝置，該切換裝置能夠通過地面控制計算機或遙控器的一個通道實現自動導航和手動駕駛之間的切換；視覺單元設有攝像頭和圖像處理裝置，圖像處理裝置與中心處理單元電器連接；各部件固裝於無人直升機的起落架上；地面部分和空中飛行載體部分之間為無線通訊連接，無線通訊部分包括無人直升機的手動駕駛遙控器和接收器，自動導航系統提供的無線通訊模塊建立的無線鏈路，以及無線視頻傳輸鏈路。
2、 如權利要求1所述的目標跟蹤系統，其特徵在於，所述地面控制 中心的無線通訊模塊和手動遙控器的無線通訊分別在兩個頻段上，這兩個 頻段不為倍頻關係，以保證二者之間的通訊不受幹擾，無線視頻鏈路的通 訊頻率為1.2G或2.4G。
3、 如權利要求1所述的目標跟蹤系統，其特徵在於，所述無人直升 機，是在現有的遙控直升機基礎上改造而成，起落架換成自製的起落架， 增加了起落架的高度和強度，以便安裝各種電器、電子裝置。
4、 如權利要求1所述的目標跟蹤系統，其特徵在於，所述視覺單元 與標準攝像機連接後，具有圖像採集和處理功能，通過圖像處理算法，能 夠獲取目標圖像的空間位置。
5、 如權利要求1所述的目標跟蹤系統，其特徵在於，所述中心處理單元，以A脂9.0為中央控制器，以便實現導航控制、數據採集、數據處 理和無線通訊的功能，並將攝像頭採集的圖像傳回到地面控制計算機顯 示。
6、 如權利要求1所述的目標跟蹤系統，其特徵在於，所述GPS單元 包括GPS接收器和高精度GPS天線，在同時鎖定4顆以上衛星的情況下， 以1HZ的速率更新定位數據。
7、 如權利要求1所述的目標跟蹤系統，其特徵在於，所述慣性導航 單元，結合了三個方向角速率陀螺儀，三向加速度計，三軸磁強計，在三 軸360度的運動狀態下，能夠提供角度在歐拉角和矩陣格式的數據。
全文摘要
本發明一種基於視覺的無人直升機目標跟蹤系統，涉及智能控制技術，由無人直升機、視覺採集和處理單元，中心處理單元、GPS單元和陀螺儀慣性導航單元組成。無人直升機由遙控航模賽直升機雷虎90改造而成，能夠在自動駕駛和手動駕駛模式之間切換；視覺採集和處理單元由realtime公司的ICETEK DM642-B嵌入式DSP板組成；中心處理單元由恆頤高科的H9200F ARM板組成；GPS單元由美國產superstar接收機和天線組成；慣性導航單元由MicroStrain公司的3DM-GX1組成。本發明的基於視覺的無人直升機目標跟蹤系統，實現了無人直升機在局部範圍內的視覺導航控制和跟蹤目標的功能。
文檔編號G05B19/418GK101667032SQ20081011958
公開日2010年3月10日 申請日期2008年9月3日 優先權日2008年9月3日
發明者侯增廣, 超 周, 曹志強, 猛 柏, 王曉東, 胡勇強, 民 譚, 趙曉光, 鄧海波 申請人:中國科學院自動化研究所