一種基於多目復用的全景無人機系統的製作方法
2023-05-12 21:22:57 2
本發明涉及無人機領域，尤其涉及一種基於多目復用的全景無人機系統。
背景技術：
隨著科學技術的提高以及越來越大的市場需求，無人機越來越受到用戶的偏愛，其應用的領域主要有：國家生態環境保護、礦產資源勘探、海洋環境檢測、土地利用調查、水資源開發、農作物長勢檢測與估產、農業作業、自然災害檢測與評估、城市規劃與市政管理、森林病蟲害防護與檢測、公共安全、國防事業、數字地球以及廣告攝影等。然而，現有的無人機具有的功能較少，由於其體積及重力及現有技術的限制無法兼具多種功能，如視覺受限無法在小範圍的空間自動飛行，需要用戶手動遙控，以防無人機撞壁破損。
技術實現要素：
針對現有的無人機存在的上述問題，現提供一種旨在實現集測距、重建、懸停及避障為一體的基於多目復用的全景無人機系統。
具體技術方案如下：
一種基於多目復用的全景無人機系統，應用於無人機中，包括：
一視覺單元，包括複數個相機，複數個所述相機設置於所述無人機上，用於攝取以所述無人機為視覺中心360度視角的全景拼接圖像，位置相鄰的兩個所述相機的部分視角重疊；
一測距單元，連接所述視覺單元，採用雙目立體視覺測量法獲取所述無人機距離目標物體的距離；
一重建單元，連接所述視覺單元，用以對所述全景拼接圖像進行預處理，獲取三維點雲數據以根據所述三維點雲數據進行地形重建；
一懸停單元，提供一三維空間坐標，所述懸停單元用以控制所述無人機懸停於與所述三維空間坐標匹配的空間位置；
一避障單元，提供一飛行路線及安全閾值，用以定時檢測在所述飛行路線上距離所述無人機的障礙物是否達到所述安全閾值，當達到所述安全閾值時生成障礙信息，並輸出；
一控制單元，分別連接所述視覺單元、所述測距單元、所述重建單元、所述懸停單元和所述避障單元，根據所述避障信息修正所述飛行路線，並生成所述三維空間坐標，控制所述懸停單元根據所述三維空間坐標執行懸停操作。
優選的，所述視覺單元包括：
一標定模塊，用以分別對複數個所述相機進行標定，以獲取每個所述相機的內部參數和外部參數，以獲取每個所述相機獲取的圖像在世界坐標系中的坐標與圖像坐標系中的坐標的映射關係；
一處理模塊，連接所述標定模塊，分別對每幅所述圖像進行去噪處理，並將所有的所述圖像投影到統一的坐標系下，採用圖像插值對所述圖像進行處理，對進處理後的圖像進行匹配拼接以獲取所述全景拼接圖像。
優選的，所述測距單元包括：
一獲取模塊，用以獲取所述目標物體的位置坐標；
一定位模塊，用以獲取所述無人機當前的位置坐標；
一計算模塊，分別連接所述獲取模塊和所述定位模塊，用以根據所述目標物體的位置坐標和所述無人機當前的位置坐標計算以獲取所述無人機距離所述目標物體的距離。
優選的，所述獲取模塊通過控制所述視覺單元中的任一兩個位置相鄰的所述相機以進行雙目立體視覺測量，以獲取所述目標物體的位置坐標。
優選的，所述重建單元在所述全景拼接圖像進行預處理後，提取連續的兩幅所述全景拼接圖像中的特徵點對圖形進行兩兩匹配，以獲取對應點對，根據所述對應點採用三角化方法獲取所述三維點雲數據，以根據所述三維點雲數據進行地形重建。
優選的，所述預處理包括對所述全景拼接圖像進行去噪和/或輻射校正。
優選的，所述懸停單元包括：
一檢測模塊，用於以預定時間間隔根據所述全景拼接圖像進行特徵點檢測，以獲取有效特徵點，根據所述特徵點在所述全景拼接圖像中位置及世界坐標系中的位置，獲取所述無人機的三維坐標；
一判斷模塊，連接所述檢測模塊，用以判斷連續獲取的兩個所述無人機的三維坐標之差是否大於預設閾值，若超出預設閾值，輸出修正指令；
一修正模塊，連接所述判斷模塊，用以根據所述修正指令修正所述無人機的當前空間位置。
優選的，還包括：
一跟蹤單元，連接所述控制單元，用以對運動目標進行檢測，根據檢測結果生成跟蹤路徑，根據所述跟蹤路徑對所述運動目標進行跟蹤。
上述技術方案的有益效果：
本技術方案通過視覺單元可使無人機在飛行時無死角的獲取全景拼接圖像，以讓遙控操作用戶的直觀的掌控飛行狀況；通過測距單元可測量目標物體距離無人機的距離；利用重建單元可對地表物體或地形進行重建；採用懸停單元可控制無人機懸停於空中以便拍攝全景圖像測距等操作；採用避障單元可對在無人機飛行過程避開障礙，利用控制單元修正飛行路線以保證無人機飛行的安全性。
附圖說明
圖1為本發明所述的基於多目復用的全景無人機系統的一種實施例的模塊圖；
圖2為雙目立體視覺測量的原理圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
需要說明的是，在不衝突的情況下，本發明中的實施例及實施例中的特徵可以相互組合。
下面結合附圖和具體實施例對本發明作進一步說明，但不作為本發明的限定。
如圖1所示，一種基於多目復用的全景無人機系統，應用於無人機中，包括：
一視覺單元，包括複數個相機，複數個相機設置於無人機上，用於攝取以無人機為視覺中心360度視角的全景拼接圖像，位置相鄰的兩個相機的部分視角重疊；
一測距單元，連接視覺單元，採用雙目立體視覺測量法獲取無人機距離目標物體的距離；
一重建單元，連接視覺單元，用以對全景拼接圖像進行預處理，獲取三維點雲數據以根據三維點雲數據進行地形重建；
一懸停單元，提供一三維空間坐標，懸停單元用以控制無人機懸停於與三維空間坐標匹配的空間位置；
一避障單元，提供一飛行路線及安全閾值，用以定時檢測在飛行路線上距離無人機的障礙物是否達到安全閾值，當達到安全閾值時生成障礙信息，並輸出；
一控制單元，分別連接視覺單元、測距單元、重建單元、懸停單元和避障單元，根據避障信息修正飛行路線，並生成三維空間坐標，控制懸停單元根據三維空間坐標執行懸停操作。
本實施例集測距、重建、懸停及避障為一體具有多種功能，為無人機的飛行提供了多種功能。通過視覺單元可使無人機在飛行時無死角的獲取全景拼接圖像，以讓遙控操作用戶的直觀的掌控飛行狀況；通過測距單元可測量目標物體距離無人機的距離；利用重建單元可對地表物體或地形進行重建；採用懸停單元可控制無人機懸停於空中以便拍攝全景圖像測距等操作；採用避障單元可對在無人機飛行過程避開障礙，利用控制單元修正飛行路線以保證無人機飛行的安全性。
在優選的實施例中，視覺單元包括：
一標定模塊，用以分別對複數個相機進行標定，以獲取每個相機的內部參數和外部參數，以獲取每個相機獲取的圖像在世界坐標系中的坐標與圖像坐標系中的坐標的映射關係；
一處理模塊，連接標定模塊，分別對每幅圖像進行去噪處理，並將所有的圖像投影到統一的坐標系下，採用圖像插值對圖像進行處理，對進處理後的圖像進行匹配拼接以獲取全景拼接圖像。
在本實施例中，複數個相機分別設置於無機人的頂部、側部及底部，以獲取具有一定重疊度的圖像，將經過預處理後的多幅圖像拼接成全景拼接圖像，以實現在圖像比例尺不變、清晰度不變的條件下獲取更大拍攝面積，減少無人機飛行次數。通過標定模塊對相機進行標定，求出相機的內部參數和外部參數，從而得到世界坐標系中坐標與圖像坐標系中坐標的一一映射關係。利用處理模塊對圖像進行去噪等預處理，然後將圖像投影到統一的坐標系下，在圖像插值操作後進行圖像匹配等操作，最後得到無縫的全景拼接圖像。
在優選的實施例中，測距單元包括：
一獲取模塊，用以獲取目標物體的位置坐標；
一定位模塊，用以獲取無人機當前的位置坐標；
一計算模塊，分別連接獲取模塊和定位模塊，用以根據目標物體的位置坐標和無人機當前的位置坐標計算以獲取無人機距離目標物體的距離。
進一步地，獲取模塊通過控制視覺單元中的任一兩個位置相鄰的相機以進行雙目立體視覺測量，以獲取目標物體的位置坐標。
在本實施例中，獲取模塊控制任一兩個相鄰的相機，從而建立雙目立體視覺測量，獲取目標物體的位置坐標。
雙目立體視覺測量的原理如下：
以圖2為中的圖像A和圖像B為例：點P是空間中觀測目標上的一點，在左相機坐標系中的三維坐標為(XC, YC, ZC)，在兩幅圖像上的成像位置分別為Pa(x1, y1)、Pb(x2, y2)，通過相似三角形的幾何關係可得：
其中，x1、y1、x2、y2是平面圖像中的物理坐標，BC是相機的外部參數（基線距），f相機的內部參數（焦距），||為視差，即點P在兩副圖像中的位置偏移。由於相機在垂直方向上處於同一平面，故y=y1=y2，則視差為|x1- x2|。
根據相機的內部參數以及鏡頭的畸變參數，獲取雙目立體視覺測量中涉及到的相機在當前角度下的姿態參數（即外部參數），測量目標物體的位置坐標，並且根據定位模塊獲取無人機當前的位置坐標，然後求得目標物體距離無人機的距離。
在優選的實施例中，重建單元在全景拼接圖像進行預處理後，提取連續的兩幅全景拼接圖像中的特徵點對圖形進行兩兩匹配，以獲取對應點對，根據對應點採用三角化方法獲取三維點雲數據，以根據三維點雲數據進行地形重建。
進一步地，預處理包括對全景拼接圖像進行去噪和/或輻射校正。
在本實施例中，重建單元對全景拼接圖像進行去噪、輻射矯正等處理，提取圖像特徵點，並基於特徵點對圖像進行兩兩匹配，刪除錯誤匹配對，得到較精確的對應點。有了標定的圖像和對應的圖像特徵點，對於配準結果便可通過三角化方法獲取三維點雲坐標，對圖像進行三角化，得到三維點雲數據，對三維點雲數據進行網格化處理並進行紋理映射，從而完成地形重建。
在優選的實施例中，懸停單元包括：
一檢測模塊，用於以預定時間間隔根據全景拼接圖像進行特徵點檢測，以獲取有效特徵點，根據特徵點在全景拼接圖像中位置及世界坐標系中的位置，獲取無人機的三維坐標；
一判斷模塊，連接檢測模塊，用以判斷連續獲取的兩個無人機的三維坐標之差是否大於預設閾值，若超出預設閾值，輸出修正指令；
一修正模塊，連接判斷模塊，用以根據修正指令修正無人機的當前空間位置。
在本實施例中，懸停單元是為了將無人機固定在預設的高度位置與水平位置上，即將無人機固定在一組三維坐標上。在懸停操作時，需利用多個相機對周圍場景進行拍照，然後對圖像進行特徵點檢測，找到有效的特徵點。並對每幅圖像中的特徵點進行匹配，找到對應的特徵點對。根據雙目視覺原理，通過特徵點對在圖像和世界坐標系中的位置，反算出攝像機的三維坐標。隔一定時間再拍攝一組圖像，若所得到的三維坐標與上一次得到的三維坐標的差異大於預設閾值，則通過修正模塊對無人機的當前空間位置進行修正。重複上述操作，直至結束懸停操作為止。
在優選的實施例中，還包括：
一跟蹤單元，連接控制單元，用以對運動目標進行檢測，根據檢測結果生成跟蹤路徑，根據跟蹤路徑對運動目標進行跟蹤。
在本實施例中，對運動目標進行跟蹤的具體過程為：
1）運動估計（全局運動補償）：考慮到背景的位移估計即全局運動補償，需移除背景的影響，消除誤差，為後續的運動目標檢測與跟蹤奠定基礎；採用旋轉平移的三參數模型來估計由相機運動產生的影像背景位移；
2）目標檢測：利用背景差分法檢測運動目標。運動目標的提取可通過對當前圖像和背景圖像的差值來獲得。當相機靜止時，當前圖像為Ik+1(r,t)，背景圖像為uk+1(r,t)，圖像中各像素值的變化信息為D k+1(r,t)；
D k+1(r,t)=| Ik+1(r,t)- uk+1(r,t)|
其中，Ik+1(r,t)和uk+1(r,t)可以是圖像的某一像素值，如亮度，也可以是圖像的某些特徵，如顏色。當D k+1(r,t)達到一預設閾值時，則可以認為是運動目標。
3）目標跟蹤：在完成目標檢測後，從圖像中得到運動目標的位置、大小和形狀等信息，將運動目標作為一個模板，從圖像中獲取一塊區域，計算這塊區域與模板之間對應像素的相關係數，從而實現對目標的跟蹤。
於上述技術方案基礎上，進一步的，無人機在空中飛行時，一般都是按照預先規劃好的路線進行飛行的。當無人機在飛行過程中遇到障礙物時（比如大樓、大樹等），可通過避障單元繞過障礙物並重新回到初始規劃路線上繼續飛行。當無人機在低空飛行時，利用視覺單元控制打開多個飛行方向相機。利用所重建的地形圖，對無人機的飛行路線做一個規劃。根據無人機的性能設定安全閾值（即安全距離）。利用測距單元對前方目標進行測距，判斷目標與無人機之間的距離是否小於安全距離；若小於，則利用通過控制單元控制懸停單元執行懸停操作將讓無人機懸停，並繞過障礙物，最後重新回到規劃好的飛行路線上繼續飛行。
本發明可利用無人機，獲取多個角度的大比例尺清晰的全景拼接圖像；通過無人機的測距、懸停、避障、重建等功能，使無人機在飛行時有更大的靈活性和更高的安全性。還可實現無人機對運動目標的跟蹤，使得無人機的用途更加豐富。本發明集成了拼接、測距、懸停、避障、地形重建、跟蹤等多種功能，充分利用了無人機上配置的多個相機。
以上所述僅為本發明較佳的實施例，並非因此限制本發明的實施方式及保護範圍，對於本領域技術人員而言，應當能夠意識到凡運用本發明說明書及圖示內容所作出的等同替換和顯而易見的變化所得到的方案，均應當包含在本發明的保護範圍內。