一種無人機視頻數據處理方法

2023-06-06 11:29:01 1

專利名稱：一種無人機視頻數據處理方法
技術領域：
本發明涉及一種無人機視頻數據處理方法，可以用於無人機特別是微小型無人機平臺，用於提高無人機視頻數據與遙測數據同步精度與數據處理精度。
背景技術：
目前，無人機平臺作為偵查、打擊的空中平臺。其數據處理與相關決策由地面操作人員進行。處理的主要是無人機偵查目標、打擊目標的具體位置，可能是地理位置或相對於打擊火力的相對位置；這就需要通過數據處理算法獲得無人機偵查目標的位置信息。而通過處理算法獲得的目標位置精度決定了偵查、打擊的效果。提高無人機偵查目標的定位解算精度是地面數據處理的關鍵。現有技術中對無人機視頻數據處理通常採用兩種處理方式 I非同幀數據方式，也即是視頻數據與遙測數據採用不同的信道傳輸到地面進行處理；這種方式完全沒有考慮數據的同步問題，地面數據處理也是按照視頻數據與遙測數據的獲得時刻進行同步化處理；這種處理方式會產生較大誤差，因為沒有考慮視頻產生、壓縮、解壓、鏈路傳輸延時等因素。2同幀數據方式，也即是在機載端根據視頻數據與遙測數據發送給機載處理機的時刻進行打包處理；比非同幀方法其同步性有較大改善。地面數據處理是按照同步包內的視頻數據與遙測數據進行同步匹配；但是該方法沒有考慮視頻解壓所需要的時間，也沒有充分利用視頻數據信息。

發明內容
本發明的技術解決問題是克服現有技術的不足，提供了一種無人機視頻數據處理方法，使得無人機視頻數據與遙測數據的同步性、精度都有所提高，提升了數據質量。本發明的技術解決方案是一種無人機視頻數據處理方法，無人機下傳的數據包括視頻數據和遙測數據，遙測數據包括無人機姿態數據和載荷姿態數據，所述無人機視頻數據處理方法的步驟如下(I)對無人機下傳的視頻數據進行解壓得到影像數據，對每一幀影像數據進行特徵點提取；(2)對前後幀影像數據提取出來的特徵點進行匹配；(3)根據匹配之後的特徵點解算前後幀影像的相對姿態；(4)對無人機下傳遙測數據中的無人機姿態數據和載荷姿態數據進行複合；(5)對步驟(4)中得到的複合之後的數據進行濾波，(6)將步驟(3)中得到的相對姿態和步驟(5)中濾波之後的數據進行相關配準；(7)根據相關配準之後的結果，通過步驟(3)中得到的相對姿態對步驟(5)中濾波之後的數據進行更新處理。所述步驟(2)中對前後幀影像數據提取出來的特徵點進行匹配具體為將前後幀影像數據中的表示同一個目標的特徵點匹配組成特徵點對，剔除匹配錯誤的特徵點對。剔除匹配錯誤的特徵點對可以通過最小二乘估計法或者隨機採樣一致性估計法實現。所述步驟(3)中根據匹配之後的特徵點解算前後幀影像的相對姿態通過相對定向算法實現。所述步驟(4)中對無人機下傳遙測數據中的無人機姿態數據和載荷姿態數據進行複合具體為採用三維空間坐標變換的方式，將無人機姿態數據表示為旋轉矩陣，將載荷姿態數據也表示為旋轉矩陣，再將無人機旋轉矩陣左乘載荷旋轉矩陣得到的結果矩陣即為無人 機姿態數據和載荷姿態數據的複合結果。所述步驟￠)中將相對姿態和濾波之後的數據進行相關配準具體為先將步驟(5)中濾波之後的數據進行差分處理，之後根據相關係數法對所述差分處理之後的結果和步驟(3)中的相對姿態進行相關配準。所述步驟(7)進行更新處理即為通過步驟(6)中相關配準的結果，根據相對姿態對步驟(5)中濾波之後的數據進行平差處理。本發明與現有技術相比的有益效果是本發明方法完全採用地面處理的方式對相關數據進行處理，對無人機特別是微小型無人機提高數據處理精度有極大的改善作用。其從圖像處理出發進行處理並對遙測數據進行改善，提高影像與遙測同步性以及遙測數據的觀測精度；相比較與不採用同步處理或者採用簡單同步處理方式數據質量有著明顯的改善；也凸顯了本發明的特點與優勢。


圖I為本發明數據處理流程圖；圖2為平差處理示意圖。
具體實施例方式本發明提供了一種無人機視頻數據處理方法，無人機下傳的數據包括視頻數據和遙測數據，遙測數據包括無人機姿態數據和載荷姿態數據，如圖I所示，本發明無人機視頻數據處理方法的步驟如下(I)對無人機下傳的視頻數據進行解壓得到影像數據，對每一幀影像數據進行特徵點提取；數字影像採用一系列的數字表示影像上每個像素點顏色的深淺。影像上的明暗、紋理不同都是由不同的數字值表示出的。而像素值變化劇烈的地方在影像上表現為邊緣或角點；這些影像特徵由目標本身的幾何或色彩屬性決定。所以同一個目標在臨近幾張視頻影像中的表現是相近的，只是由於成像角度不同而導致的目標的幾何形變不同。所以邊緣或角點是對影像的一種描述，用於描述影像的特徵。(2)對前後幀影像數據提取出來的特徵點進行匹配，具體為將前後幀影像數據中的表示同一個目標的特徵點匹配組成特徵點對，在組成特徵點對的過程既是特徵點對匹配的過程，按照特徵點特徵值進行兩兩比較，如果特徵值的差值小於給定閾值可以認為特徵點配對成功，否則匹配失敗。在匹配的過程中會出現錯誤的匹配，剔除匹配錯誤的特徵點為粗差剔除過程。剔除匹配錯誤的特徵點對可以通過最小二乘估計法或者隨機採樣一致性估計法實現。(3)根據匹配之後的特徵點解算前後幀影像的相對姿態，通過相對定向算法實現。相對定向算法是攝影測量中的基本算法，其思想為通過匹配後的特徵點對反算影像成像時刻姿態的變化量，也即是相對的姿態變化。整個過程稱為相對定向。(4)對無人機下傳遙測數據中的無人 機姿態數據和載荷姿態數據進行複合採用三維空間坐標變換的方式，將無人機姿態數據表示為旋轉矩陣，將載荷姿態數據也表示為旋轉矩陣，再將無人機旋轉矩陣左乘載荷旋轉矩陣得到的結果矩陣即為無人機姿態數據和載荷姿態數據的複合結果。整個過程也即是空間坐標轉換的過程，將無人機平臺姿態數據與載荷姿態數據對成像影像複合成一個姿態數據，也即是說複合後的數據既是影像成像時刻的姿態數據。(5)對步驟(4)中得到的複合之後的數據進行濾波，採用卡爾曼濾波將出現的隨機誤差濾除。(6)將步驟(3)中得到的相對姿態和步驟(5)中濾波之後的數據進行相關配準先將步驟(5)中濾波之後的數據進行差分處理，之後根據相關係數法對所述差分處理之後的結果和步驟⑶中的相對姿態進行相關配準。相關係數法為評判兩個數據之間相關性或相識性的度量方法，最簡單的可以採用兩個數據相減，求取相減所得差值的和，對差值的和設定一個閾值，當大於給定閾值可以認為兩個數據是相關的否則認為數據不相關。(7)根據相關配準之後的結果，通過步驟(3)中得到的相對姿態對步驟(5)中濾波之後的數據進行更新處理，即為通過步驟出)中相關配準的結果，根據相對姿態對步驟
(5)中濾波之後的數據進行平差處理。平差處理是系統誤差平均化的過程，也即是說將測量過程中引入的系統誤差和偶然誤差由各個觀測值均勻分擔的過程。該過程常見於測量學中，通過平差處理提高數據整體的觀測精度。具體平差過程為複合數據濾波結果為絕對數據值，也即是說複合數據表示了具體的數據值，如複合數據為0. 8度既是姿態數據為0. 8度。相對定向數據為相對數據值，即是說影像之間的相對姿態值，如相對定向為0. 2度表示後一幀影像與前一幀影像的差為0. 2度。平差結果數據為絕對數據值，如平差結果為0. 9度即是說姿態數據為0. 8度。相對定向姿態數據由相對定向解算獲取精度較高；複合數據精度較低，通過將複合數據間的差值數據與相對定向數據進行誤差平均，對誤差較大的複合數據進行修改，以取得複合數據間的差值與相對定向數據間的高度相關。這樣也即是說複合數據間的相對值與相對定向數據值具有一致性，這樣就是把複合數據間的誤差進行平均，提高了複合數據的整體觀測精度。通過圖2可以看出複合數據濾波結果為數據序列(1)0. 5,0. 6,0. 8，I. 1,0. 8,0. 6,0. 8，I. 1，I. 0相對定向姿態數據序列為(2)0. 1,0. 1,0. 2,0. 1,0. 2，-0. 2，-0. 1,0. 1,0. 2平差過程為複合數據進行差分處理得到結果如下
(3)0. 1,0. 2,0. 3，_0. 3，_0. 2,0. 2,0. 3，_0. I相對定向姿態數據與複合數據差分結果進行相關配準如下(4)0. 1,0. 1,0. 2,0. 1,0. 2，-0. 2，-0. 1,0. 1,0. 20. 1,0. 2,0. 3，-0. 3，-0. 2,0. 2,0. 3，-0. I相關配準後用相對定向數據更新複合數據濾波結果如下(5)0. 5,0. 6,0. 8，I. 1,0. 8,0. 6,0. 8，I. I0. 1,0. 2,0. 3，-0. 3，-0. 2,0. 2,0. 3，-0. I (6)0. 5,0. 6,0. 7,0. 9，I. 0,0. 7,0. 5,0. 7。
權利要求
1.一種無人機視頻數據處理方法，其特徵在於無人機下傳的數據包括視頻數據和遙測數據，遙測數據包括無人機姿態數據和載荷姿態數據，所述無人機視頻數據處理方法的步驟如下 (1)對無人機下傳的視頻數據進行解壓得到影像數據，對每一幀影像數據進行特徵點提取； (2)對前後幀影像數據提取出來的特徵點進行匹配； (3)根據匹配之後的特徵點解算前後幀影像的相對姿態； (4)對無人機下傳遙測數據中的無人機姿態數據和載荷姿態數據進行複合； (5)對步驟(4)中得到的複合之後的數據進行濾波， (6)將步驟(3)中得到的相對姿態和步驟(5)中濾波之後的數據進行相關配準； (7)根據相關配準之後的結果，通過步驟(3)中得到的相對姿態對步驟(5)中濾波之後的數據進行更新處理。
2.根據權利要求I所述的一種無人機視頻數據處理方法，其特徵在於所述步驟(2)中對前後幀影像數據提取出來的特徵點進行匹配具體為將前後幀影像數據中的表示同一個目標的特徵點匹配組成特徵點對，剔除匹配錯誤的特徵點對。
3.根據權利要求2所述的一種無人機視頻數據處理方法，其特徵在於剔除匹配錯誤的特徵點對可以通過最小二乘估計法或者隨機採樣一致性估計法實現。
4.根據權利要求I所述的一種無人機視頻數據處理方法，其特徵在於所述步驟(3)中根據匹配之後的特徵點解算前後幀影像的相對姿態通過相對定向算法實現。
5.根據權利要求I所述的一種無人機視頻數據處理方法，其特徵在於所述步驟(4)中對無人機下傳遙測數據中的無人機姿態數據和載荷姿態數據進行複合具體為 採用三維空間坐標變換的方式，將無人機姿態數據表示為旋轉矩陣，將載荷姿態數據也表示為旋轉矩陣，再將無人機旋轉矩陣左乘載荷旋轉矩陣得到的結果矩陣即為無人機姿態數據和載荷姿態數據的複合結果。
6.根據權利要求I所述的一種無人機視頻數據處理方法，其特徵在於所述步驟(6)中將相對姿態和濾波之後的數據進行相關配準具體為 先將步驟(5)中濾波之後的數據進行差分處理，之後根據相關係數法對所述差分處理之後的結果和步驟(3)中的相對姿態進行相關配準。
7.根據權利要求I所述的一種無人機視頻數據處理方法，其特徵在於所述步驟(7)進行更新處理即為通過步驟出)中相關配準的結果，根據相對姿態對步驟(5)中濾波之後的數據進行平差處理。
全文摘要
一種無人機視頻數據處理方法，通過對無人機視頻數據與遙測數據分別處理，並對分別處理的結果進行匹配與融合的方法。該方法能夠在無人機特別是微小型無人機平臺上解決地面視頻數據與遙測數據同步問題、通過匹配相關處理提高視頻數據與遙測數據同步精度及觀測精度；使用該方法有效改善了由於視頻與遙測數據不同步造成後期處理誤差。
文檔編號G06F17/30GK102799665SQ20121024329
公開日2012年11月28日 申請日期2012年7月13日 優先權日2012年7月13日
發明者周乃恩, 樊自偉 申請人:中國航天空氣動力技術研究院