一種基於多圖像的四旋翼飛行器增穩系統與方法與流程

2023-08-13 09:27:31

本發明涉及飛行器及無人機在農田小區域作業時位置穩定的技術應用，特別涉及一種基於多圖像的四旋翼飛行器增穩系統與方法。

背景技術：
隨著現代農業的發展，飛行器以及無人機在監測農田病蟲害、農作物生長情況和農田水利情況上的應用愈加廣泛，在其採集農田信息的基礎上，做到準確施肥和噴灑農藥，降低成本、增加可靠性。而要實現這些要求，便需要飛行器在作業過程中保持高度和姿態的穩定。目前，增穩系統在小型飛行器的控制系統中起到越來越重要的作用。小型飛行器的增穩系統除了增穩算法外，還要求物理系統的體積小、重量輕。目前數字式增穩系統應用較多，數字式增穩系統的構成主要是單片機和外圍電路，外圍電路採用mpu6050等三軸陀螺儀傳感器，增穩系統主要是靠算法來處理指令信號和傳感器返回的反饋信號，並向飛行器相應的執行單元發送控制信號，使得飛行器能夠在穩定狀態下飛行。但是，對於數字增穩系統，其電路搭建有時過於複雜，且傳感器信號容易受外界幹擾，算法較為複雜，處理層次過多時易引起信號誤差較大。而對於多相機增穩系統，現可利用圖像來確定飛行器的姿態，減小採樣和控制誤差，以提高控制精度。

技術實現要素：
為了克服上述現有技術的缺點，本發明的目的在於提供一種基於多圖像的四旋翼飛行器增穩系統與方法，採用多相機以實現飛行器周圍環境的採樣，圖像處理後比較分析得出飛行器位置及姿態變化進而發出相應的調整指令，以此實現飛行器的增穩。為了實現上述目的，本發明採用的技術方案是：一種基於多圖像的四旋翼飛行器增穩系統，包括：分別布置在飛行器前側、左側和右側的帶有紅外接收器的三個可控相機，在飛行器到達需求高度時，各個相機利用紅外接收器接收遙控器的命令按照設定周期進行圖像採集；設置在飛行器上的與所述三個可控相機連接的圖像處理器，圖像處理器對各個相機採集的圖像進行提取，每幅圖像中在固定坐標位置選定目標物，圖像處理器基於MeanShift算法分別跟蹤每個相機中所規定的目標物；設置在飛行器上的與所述圖像處理器連接的單片機，單片機接收所述圖像處理器的計算結果，以各個相機第一次拍攝的圖像為基準，其後各個相機每個周期內拍攝的圖像的目標物均與相應的原始目標物的坐標位置進行比較，通過每一側不同拍攝周期的圖像對比，進行飛行器的姿態和位置判斷，並根據判斷結果輸出信號控制飛行器的調整，達到姿態、位置反饋，反覆此過程進而實現飛行器的增穩。本發明還提供了一種基於多圖像的四旋翼飛行器增穩方法，包括如下步驟：步驟1：在飛行器前側、左側和右側分別布置一個帶有紅外接收器的可控相機，在飛行器到達需求高度時，各個相機利用紅外接收器接收遙控器的命令按照設定周期進行圖像採集；步驟2：每次採集的圖像傳輸至設置在飛行器上的圖像處理器，在每幅圖像中建立二維直角坐標系，並在固定坐標位置選定三個目標物，採用MeanShift算法來跟蹤每幅圖像中選定區域的目標物；步驟3：以各個相機第一次拍攝的圖像為基準，其後各個相機每個周期內拍攝的圖像的目標物均與相應的原始目標物的坐標位置進行比較，如果各幅圖像中三個目標物的坐標變化不超過預設的誤差值，則認為飛行器穩定懸停，即姿態未變化，如果某一幅圖像或多幅圖像中的三個目標物的坐標同時變化，則認為飛行器姿態發生變化，通過前後圖片的目標物的位置差值，從而計算出飛行器姿態調整所需的控制量，以控制飛行器的姿態，保證飛行器穩定；步驟4：根據步驟3的判斷結果，對飛行器進行姿態控制，多相機與圖像處理反覆工作使飛行器不斷進行姿態調整，直到當前狀態圖像上的目標物與各個基準圖像上的目標物滿足偏離誤差要求。所述步驟2中，應用基於MeanShift的目標跟蹤算法，在每幅圖像中建立二維直角坐標系，並在固定坐標位置選定三個目標物，提取幀圖像的多種特徵，得到顯著圖，即一幅和原始圖像大小相同的二維圖像，其中的每個像素值表示原圖像對應點的顯著性大小，在此基礎上建立目標模型的直方圖，然後運用MeanShift算法進行跟蹤。所述步驟2中，分別在每個相機所捕獲的初始幀圖像中選取三個坐標固定的目標物，坐標分別為(x1，y1)、(x2，y2)和(x3，y3)，假設目標物初始位置在坐標中心，通過分別比較三組視頻序列中目標物坐標位置的偏移量，從而判別飛行器的狀態。與現有技術相比，本發明的有益效果是：(1)提高穩定精度，圖像採集方法的增穩精度為像素級，而現有電子式增穩系統受電磁幹擾、傳感器精度等影響精度為分米級，且受傳感器限制，速度較慢的自身漂移無法監測和矯正。(2)通過安裝多相機進行圖像採集，處理器進行圖像處理與飛行器控制，避免了對多種複雜電路的設計與使用。(3)採用算法進行飛行器控制，增加使用期限，減小因硬體損壞導致控制作用無法運行的可能。(4)使用多相機不會對原始周圍環境的採集有所影響，減小因圖像等外界誤差導致的飛行器誤操作。(5)器件種類少，數據傳輸可靠，精度較高，可適用於較複雜的環境。附圖說明圖1是本發明的飛行器及相機固定位置示意圖。圖2是本發明選取圖片時坐標軸建立示意圖。圖3是本發明選取的基準圖片，固定選區，三個框分別對應左、前、右三個相機的圖像。圖4是本發明選取的姿態圖片1，追蹤選區，三個框分別對應左、前、右三個相機的圖像。圖5是本發明選取的姿態圖片2，追蹤選區，三個框分別對應左、前、右三個相機的圖像。圖6是本發明Meanshift算法流程示意圖。具體實施方式下面結合附圖和實施例詳細說明本發明的實施方式。如圖1所示，本發明所述四旋翼飛行器包括四軸飛行器、處理器、三臺相機和其他控制器。器件除相機外集中在飛行器中心4，相機A、5裝在飛行器的前端，相機B、6裝在飛行器的左側，相機C、7裝在飛行器的右側。四軸飛行器四軸在結構上採用了四個旋翼1為飛行的基本動力源，四個旋翼1通過支架3連接在飛行器中心4。同時四個旋翼1兩兩對稱分布於機身的前後和左右四個方向，四個旋翼1位於同一水平高度，並且各個旋翼1的半徑和結構都一樣，一組相對的旋翼1逆時針方向旋轉，另一組相對的旋翼1順時針方向旋轉，四個無刷電機2對稱分布於飛行器支架的末端，支架的中央交叉空間可以安放飛行姿態控制處理器、和傳感器及其它外部拓展的設備。由於兩組旋翼1以相反方向旋轉，因此當飛行器平衡飛行時，產生的空氣動力扭矩效應以及陀螺效應均被相互抵消，因此，四軸飛行器能夠抵抗一定的外部幹擾，保證自身的穩定及受遙控器的控制。從上述結構和原理可以看出，四軸飛行器及其多相機的機械結構簡單直觀，可靈活控制，是用於增穩的最佳設備。本發明所述基於四軸飛行器的多相機增穩系統由三個小型可控相機組成。多相機的圖像採集能力是本系統的必要條件，同時也是本系統的顯著特徵。本系統利用現有的兩軸舵機雲臺來支撐和調節本發明所述系統。當飛行器需要位置保持時，遙控器發出信號，各個相機接受指令開始進行拍攝。且相機設定有拍攝周期，採集到的圖像傳輸到處理器中，進行每張圖像的處理並利用MeanShift算法跟蹤出每張圖像中所規定的目標物。第一次拍攝後，左、右、前側圖像傳輸到圖像處理器中進行處理得到顯著圖並規定坐標系，每個相機顯著圖的坐標設定如圖2所示。分別在每個相機所捕獲的某幀圖像中從左到右選取現實中的三個目標物，每個相機的圖像的坐標分別為(x1,y1)，(x2,y2)，(x3,y3)，在此後每次拍攝後對初始目標物進行跟蹤得到新的三個目標物坐標。將同一相機所捕獲的目標物前後坐標信息進行比較，從而判斷飛行器的位置變化。如圖3所示，該圖為初始圖像。與圖4對比，三個相機的圖像中的三個目標物的坐標y值均增大，結果說明整個飛行器水平高度增加了。與圖5對比，左側相機中的三個目標物的坐標y值均增大，前方相機的三個目標物從左到右坐標y值依次增大，不變，減小，右側相機的三個目標物坐標y值均減小，結果說明飛行器左側升高，右側降低，即飛行器發生向右的傾斜。根據比較結果控制器發出命令對飛行器進行調整，如發生圖4結果時，控制飛行器的四個旋翼轉速同時降低，保證在高度降低的同時不發生偏轉。如發生圖5結果時，控制飛行器左側相機處的旋翼轉速降低，右側相機處的旋翼轉速升高，前後旋翼轉速保持，從而調節飛行器的傾斜。在調整過程同時多相機實時採集圖像信息並進行處理，反覆調節，直至飛行器姿態穩定。本發明增穩方法，包括如下步驟：步驟1：在飛行器前側、左側和右側分別布置一個帶有紅外接收器的可控相機，在飛行器到達需求高度時，各個相機利用紅外接收器接收遙控器的命令按照設定周期進行外界圖像採集；步驟2：每次採集的圖像傳輸至設置在飛行器上的圖像處理器，在每幅圖像中建立二維直角坐標系，並在固定坐標位置選定三個目標物，採用MeanShift算法來跟蹤每幅圖像中選定區域的目標物；如何實現對目標物的跟蹤，具體實現如下：(1)視覺模型構建:本發明選取Itti視覺模型，它在特徵提取階段，採用多個低層視覺特徵，如顏色、強度、邊緣等，這些特徵通過高斯濾波和Center-Surround算子(中心——周圍差分)形成各個特徵的關注圖；然後將這些特徵合成一幅顯著圖。(2)顯著圖的獲取：獲取Itti顯著圖的步驟是：a，提取顏色、強度和邊緣特徵；b，用高斯濾波器對顏色、亮度和邊緣特徵圖像進行濾波；c，「中心——周圍」差分(Centersurrounddifference)和歸一化，獲取顏色、強度和邊緣特徵圖；d，對特徵圖進行融合及歸一化後，合成視覺顯著圖。為了滿足實時性的要求，本文主要採用顏色、強度和邊緣特徵。(3)視覺特徵提取：a，獲取顏色特徵圖HSV模型可以把彩色信息表示為三種屬性：色調(H)、飽和度(S)、亮度(V)，其中H表示顏色信息，即所處的光譜顏色的位置。通過顏色分量(H)可以提取出顏色特徵，公式如下：H(c,s)＝|H(c)ΘH(s)|(1)其中：c∈[2,3],s＝c+δ,δ∈[3,4]c是中心標度δ是中心—周圍差標度s是周圍標度Θ為操作算子H(c)第c級高斯顏色特徵圖H(s)第s級高斯顏色特徵圖H代表圖像中的色調，即色彩信息H(c,s)表示顏色特徵圖b，獲取強度特徵圖強度可以區分白色和黑色的邊緣，能夠增強兩者之間的顯著性，公式如下：I(c,s)＝|I(c)ΘI(s)|(2)其中：c∈[2,3],s＝c+δ,δ∈[3,4]c是中心標度δ是中心—周圍差標度s是周圍標度Θ為操作算子I(c)第c級高斯強度特徵圖I(s)第s級高斯強度特徵圖I代表圖像中的亮度，即強度信息I(c,s)表示強度特徵圖c，獲取邊緣特徵圖邊緣特徵是圖像的重要屬性之一，能夠勾劃出目標的輪廓。構造邊緣特徵圖是構造目標模型的重要步驟之一，由如下公式求出：E(c,s)＝|E(c)ΘE(s)|(3)其中：c∈[2,3],s＝c+δ,δ∈[3,4]c是中心標度δ是中心—周圍差標度s是周圍標度Θ為操作算子E(c)第c級高斯邊緣特徵圖E(s)第s級高斯邊緣特徵圖E代表圖像中的邊緣信息E(c,s)表示邊緣特徵圖(4)生成視覺顯著圖：令顯著圖的標度δ＝4,由式(1)、式(2)和式(3)分別獲得的顏色、強度和邊緣三個方面12張特徵圖，將每個方面的4個特徵圖組合成特徵顯著圖，分別為顏色特徵顯著圖強度特徵顯著圖邊緣特徵顯著圖Itti在模型中定義了歸一化算子N(·)，來對每組特徵圖進行歸一化，分別由如下公式求得：<![CDATA[H=c=23s=c+3c+4N(H(c,s))]]><![CDATA[I=c=23s=c+3c+4N(I(c,s))]]><![CDATA[E=c=23s=c+3c+4N(E(c,s))]]>式中：表示多個尺度下相應的特徵顯著圖經線性插值調整到同一大小後相加，N為Itti模型中定義的歸一化算子，分別將各個顯著圖的顯著值標準歸一化到(0,1)區間；然後將線性組合成視覺顯著圖。(5)目標直方圖的建立及跟蹤原理：建立直方圖便於對捕捉到的圖像進一步分析，相機獲取視頻後，在將初始幀圖像處理為顯著圖後選中視頻起始幀的跟蹤目標，建立概率模型，在顯著圖計算中，減少了背景的幹擾，更真實的反映跟蹤目標的直方圖特性。公式如下：<![CDATA[quΛ=CΣnk(||x1-x0h||)δb(x1)-u,u=1,......,m]]>其中：k為核函數，m為特徵空間中特徵值的個數，δ為Kronecker函數，b(x1)為像素x1對應的特徵值，n為採樣點的個數，C為歸一化係數，h為核函數的帶寬，x0為目標中心；偏移目標y描述為：<![CDATA[pu^=CΣi=1nk(||x1-yh||2)δb(x1)-u]]>因此跟蹤目標物的過程可以等效為尋找最優的y，使得和最相似，它們之間的相似性用Bhattacharyya係數來度量，即為了更加逼近運動的目標物，採用迭代算法進行計算，公式如下：式中為新的目標中心位置，其中wi為特徵權值<![CDATA[wi=Σu=1mqu^pu^(y0^)δb(xi)-u]]>迭代過程就是不斷計算直至Bhattacharyya係數最大即定位為目標的最終中心位置停止迭代；在每個控制周期內進行迭代，當停止迭代時，即三個相機的每幅圖像都追蹤到了目標物的新坐標，通過計算每幅圖像的每個選定區的坐標的的偏移量，判斷出飛行器的姿態狀態，從而計算給出對飛行器的姿態控制的調整量，以保證飛行器的增穩。步驟3：以各個相機第一次拍攝的圖像為基準，其後各個相機每個周期內拍攝的圖像的目標物均與相應的原始目標物的坐標位置進行比較，如果各幅圖像中三個目標物的坐標變化不超過預設的誤差值，則認為飛行器穩定懸停，即姿態未變化，如果某一幅圖像或多幅圖像中的三個目標物的坐標同時變化，則認為飛行器姿態發生變化，通過前後圖片的目標物的位置差值，從而計算出飛行器姿態調整所需的控制量，以控制飛行器的姿態，保證飛行器穩定；步驟4：根據步驟3的判斷結果，單片機接收處理器的判斷結果後對利用相應算法對飛行器進行姿態控制，多相機與圖像處理反覆工作使飛行器不斷進行姿態調整，直到當前狀態圖像上的目標物與各個基準圖像上的目標物滿足偏離誤差要求。本發明需要將所得第一周期圖像作為基準，其他均與其作比較分析，進而判斷飛行器位置變化。本發明通過各個控制處理設備的多次運行工作進行飛行器位置的不斷調整。即通過反覆調整後實現飛行器的增穩。需要說明的是，本方法是基於多相機，對相機的基本要求為：可以在兩軸平臺的輔助下完成對圖像的準確採集，其各個指標根據不同用途會有所不同。以上描述了本發明的基本原理、基本特徵和基本的實施方案，並且這裡通過了說明而不是限制的方式進行了闡述。對於本領域內的技術人員來說，很顯然的是，在本質上不脫離所附權利要求書限定的發明精神和範圍的前提下，可以做出許多其他實施案例。