飛行器狀態實時修正的方法和裝置製造方法
2023-10-25 20:39:37 1
飛行器狀態實時修正的方法和裝置製造方法
【專利摘要】本發明公開了一種飛行器狀態實時修正的方法和裝置。該方法包括獲取攝像單元的一歷史狀態信息、攝像單元拍攝的當前圖像和當前圖像之前的一歷史圖像、以及至少一種傳感器感測當前測量的外部信息或內部信息；根據歷史狀態信息預測與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點，並由匹配特徵點計算當前攝像單元的外部信息或內部信息；根據預先標定的至少一種傳感器相對於攝像單元的位置關係計算攝像單元的外部信息與至少一種傳感器的外部信息之間或者攝像單元的內部信息與至少一種傳感器的內部信息之間的相對比例關係；利用相對比例關係修正由歷史狀態信息估計得到的攝像單元的當前狀態信息。實施本發明修正飛行器的狀態信息，減小偏差。
【專利說明】飛行器狀態實時修正的方法和裝置
【技術領域】
[0001]本發明涉及無人飛行控制領域，特別是涉及一種飛行器狀態實時修正的方法，還涉及一種飛行器狀態實時修正的裝置。
【背景技術】
[0002]近年來，攜帶攝像設備的無人駕駛的飛行器(例如固定翼飛機、旋翼飛行器包括直升機)在監控、偵測、搜救等應用領域扮演著十分重要的作用。對於這些飛行器的操縱通常由用戶通過遙控器來實現。
[0003]操控者在遙控飛信器過程中，由於操控者視距有限，在飛行器飛遠或被阻礙視線的情況下操控者很難觀察出飛行器的狀態，如果飛行器沒有輔助飛行手段，那麼飛行器極容易飛丟或者撞擊障礙物。因此，具備輔助飛行手段的飛行器應運而生。現有的飛行器通常藉助於攝像設備進行視覺導航，從而估計自身的狀態信息。然而，估計的狀態信息與實際的狀態信息之間存在著偏差，當視覺導航時間越長，偏差發散越大，從而降低了視覺導航的可靠性。
【發明內容】
[0004]本發明的主要目的是提供一種飛行器狀態實時修正的方法和裝置，能夠修正飛行器的狀態信息，減小偏差。
[0005]為解決上述技術問題，本發明採用的一個技術方案是:提供一種飛行器狀態實時修正的方法，包括:獲取攝像單元的一歷史狀態信息、所述攝像單元拍攝的當前圖像和所述當前圖像之前的一歷史圖像、以及至少一種傳感器感測當前測量的外部信息或內部信息；根據所述歷史狀態信息預測與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點，並由所述匹配特徵點計算當前所述攝像單元的外部信息或內部信息；根據預先標定的所述至少一種傳感器相對於所述攝像單元的位置關係計算所述攝像單元的外部信息與所述至少一種傳感器的外部信息之間或者所述攝像單元的內部信息與所述至少一種傳感器的內部信息之間的相對比例關係；利用所述相對比例關係修正由所述歷史狀態信息估計得到的所述攝像單元的當前狀態信息。
[0006]其中，所述利用所述相對比例關係修正由所述歷史狀態信息估計得到的所述攝像單元的當前狀態信息的步驟包括:根據預先建立的狀態模型和測量模型對所述歷史狀態信息採用卡爾曼濾波器進行濾波，得到所述攝像單元的當前狀態信息；將所述相對比例關係與所述當前狀態信息進行積運算。
[0007]其中，所述根據所述歷史狀態信息預測與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點的步驟包括:根據所述歷史狀態信息預測所述歷史圖像中的目標特徵點在所述當前圖像中的坐標位置；選擇離所述坐標位置最近的特徵點作為與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點。
[0008]其中，所述攝像單兀包括單目攝像頭。[0009]其中，所述單目攝像頭為全景攝像頭，所述攝像單元還包括反射鏡，用於將外部光線反射至所述單目攝像頭，則在所述獲取所述攝像單元拍攝的當前圖像的步驟之後，所述方法還包括:根據預先建立的與所述反射鏡對應的校正模型獲取外部空間中任一點與所述攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用所述坐標映射關係對所述攝像單元拍攝的當前圖像進行校正。
[0010]其中，所述狀態信息包括攝像單元的姿態、位置、速度、方向和周圍的環境信息。
[0011]其中，所述外部信息包括相對於外部對象的距離信息，所述內部信息包括加速度Ih息、方向息、角速度息、速度息或裡程息中的一種或幾種。
[0012]為解決上述技術問題，本發明採用的另一個技術方案是:提供一種飛行器狀態實時修正的裝置，所述飛行器包括攝像單元和至少一個傳感器，所述裝置包括:獲取模塊，用於獲取所述攝像單元的一歷史狀態信息、所述攝像單元拍攝的當前圖像和所述當前圖像之前的一歷史圖像、以及所述至少一種傳感器感測當前測量的外部信息或內部信息；匹配模塊，用於根據所述歷史狀態信息預測與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點，並由所述匹配特徵點計算當前所述攝像單元的外部信息或內部信息；計算模塊，用於根據預先標定的所述至少一種傳感器相對於所述攝像單元的位置關係計算所述攝像單元的外部信息與所述至少一種傳感器的外部信息之間或者所述攝像單元的內部信息與所述至少一種傳感器的內部信息之間的相對比例關係；修正模塊，用於利用所述相對比例關係修正由所述歷史狀態信息估計得到的所述攝像單元的當前狀態信息。
[0013]其中，所述修正模塊包括濾波器單元和修正單元，其中，所述濾波器單元用於根據預先建立的狀態模型和測量模型對所述歷史狀態信息採用卡爾曼濾波器進行濾波，得到所述攝像單元的當前狀態信息；所述修正單元用於將所述相對比例關係與所述當前狀態信息進行積運算。
[0014]其中，所述匹配模塊具體用於根據所述歷史狀態信息預測所述歷史圖像中的目標特徵點在所述當前圖像中的坐標位置，並選擇離所述坐標位置最近的特徵點作為與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點。
[0015]其中，所述攝像單兀包括單目攝像頭。
[0016]其中，所述單目攝像頭為全景攝像頭，所述攝像單元還包括反射鏡，用於將外部光線反射至所述單目攝像頭，所述裝置還包括校正模塊，所述校正模塊用於在所述獲取模塊獲取所述攝像單元拍攝的當前圖像之後，根據預先建立的與所述反射鏡對應的校正模型獲取外部空間中任一點與所述攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用所述坐標映射關係對所述攝像單元拍攝的當前圖像進行校正。
[0017]其中，所述狀態信息包括攝像單元的姿態、位置、速度、方向和周圍的環境信息。
[0018]其中，所述外部信息包括相對於外部對象的距離信息，所述內部信息包括加速度Ih息、方向息、角速度息、速度息或裡程息中的一種或幾種。
[0019]本發明的有益效果是:區別於現有技術的情況，本發明提供的飛行器狀態實時修正的方法和裝置，通過歷史狀態信息以及攝像單元拍攝的歷史圖像和當前圖像中的特徵點，計算攝像單元的外部信息或內部信息，再結合至少一種傳感器的外部信息或內部信息得到兩個外部信息或內部信息之間的相對比例關係，利用相對比例關係來修正基於歷史狀態信息得到的當前狀態信息，從而能夠達到修正飛行器的狀態信息的目的，可以減小狀態信息的偏差，提高準確性和可靠性。
【專利附圖】
【附圖說明】
[0020]圖1是本發明飛行器狀態實時修正的方法一實施例的流程示意圖；
[0021]圖2是本發明飛行器狀態實時修正的方法中圖像校正前和校正後的對比示意圖；
[0022]圖3是圖1所示的飛行器狀態實時修正的方法在具體應用場景中的流程示意圖；
[0023]圖4是本發明飛行器狀態實時修正的裝置一實施例的結構示意圖。
【具體實施方式】
[0024]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明的一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本發明保護的範圍。
[0025]圖1所示為本發明飛行器狀態實時修正的方法一實施例的流程示意圖，該方法包括:
[0026]SlOl:獲取攝像單元的一歷史狀態信息、攝像單元拍攝的當前圖像和當前圖像之前的一歷史圖像、以及至少一種傳感器感測當前測量的外部信息或內部信息。
[0027]其中，在飛行器起飛時刻的狀態信息的信息量為0，起飛之後每個單位時刻的狀態信息都與前一單位時刻的狀態信息有關。由於攝像單元是固定在飛行器上的，飛行器的狀態信息可視為攝像單元的狀態信息。在本實施例中，狀態信息至少包括攝像單元的姿態、位置、速度、方向和周圍的環境信息等。在本實施例中，攝像單元包括單目攝像頭。
[0028]如果每個單位時刻之間間隔較長，則歷史狀態信息可以優選為前一單位時刻的狀態信息，歷史圖像優選為前一單位時刻的圖像；如果每個單位時刻間隔較短，則歷史狀態信息可以為間隔多個單位時刻的狀態信息，歷史圖像為間隔多個單位時刻的圖像。
[0029]在本實施例中，外部信息包括相對於外部對象的距離信息，內部信息包括加速度信息、方向信息、角速度信息、速度信息或裡程信息中的一種或幾種。在具體實施時，可以採用雷射傳感器、超聲波傳感器等外部傳感器測量相對於外部對象的距離，採用加速度傳感器、方向傳感器、裡程器等內部傳感器測量加速度、方向、裡程等內部信息。
[0030]S102:根據歷史狀態信息預測與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點，並由匹配特徵點計算當前攝像單元的外部信息或內部信息。
[0031]具體來說，攝像單元拍攝的圖像中包含很多物體信息，例如樹木、建築物等，這些物體的邊緣角點均可以作為目標特徵點。由於歷史狀態信息包括方向、速度等表徵運動向量的信息，當選取歷史圖像中的目標特徵點後，根據歷史狀態信息中的方向和速度就可以推斷出與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點。
[0032]攝像單元的外部信息或內部信息與傳感器測量的外部信息或內部信息屬於不同的測量結果。攝像單元的外部信息或內部信息均可以由匹配特徵點計算得到，例如當計算相對於外部對象的距離信息時，通過當前特徵點的坐標值計算攝像單元與匹配特徵點的距離，當計算速度信息時，通過當前特徵點的坐標值、目標特徵點的坐標值以及間隔的單位時刻計算攝像單元的速度。[0033]作為本實施例的一種優選的方案，根據歷史狀態信息預測與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點的步驟具體可以包括:根據歷史狀態信息預測歷史圖像中的目標特徵點在當前圖像中的坐標位置；選擇離坐標位置最近的特徵點作為與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點。
[0034]其中，通過歷史狀態信息可以得到目標特徵點所處坐標位置的位移，從而確定目標特徵點在當前圖像中的坐標位置，該過程可以採用光流法、基於特徵描述符的匹配法等方法。當然，飛行器的狀態信息可能存在變化，目標特徵點在當前圖像中的坐標位置上可能並沒有坐標點，所以可以尋找離該坐標位置最近的特徵點作為匹配特徵點。
[0035]S103:根據預先標定的至少一種傳感器相對於攝像單元的位置關係計算攝像單元的外部信息與至少一種傳感器的外部信息之間或者攝像單元的內部信息與至少一種傳感器的內部信息之間的相對比例關係。
[0036]其中，飛行器上傳感器與攝像單元之間的位置關係是通過預先標定得到的，為已知量。位置關係包括傳感器與攝像單元之間的距離。根據位置關係、傳感器的外部信息或內部信息、攝像單元的外部信息或內部信息，就可以得到兩個外部信息之間或兩個內部信息之間的相對比例關係。
[0037]S104:利用相對比例關係修正由歷史狀態信息估計得到的攝像單元的當前狀態信
肩、O
[0038]作為本實施例的一種優選的方案，S104具體包括:根據預先建立的狀態模型和測量模型對歷史狀態信息採用卡爾曼濾波器進行濾波，得到攝像單元的當前狀態信息；將相對比例關係與當前狀態信息進行積運算。
[0039]其中，狀態模型和測量模型都是預先建立的，是已知的。採用卡爾曼濾波器得到的當前狀態信息與實際狀態信息存在比例關係，通過將相對比例關係與當前狀態信息進行積運算可以讓當前狀態信息進一步接近實際狀態信息，甚至等於實際狀態信息，從而達到修正目的。
[0040]需要說明的是，本實施例除了採用卡爾曼濾波器之外，還可以採用其它濾波器，例如EKF (Extended Kalman Filter,擴展卡爾曼濾波器)。
[0041]在更多實施例中，考慮到攝像單元的攝像範圍，單目攝像頭採用全景攝像頭，並且攝像單元還包括反射鏡，反射鏡用於將外部光線反射至單目攝像頭。則在獲取攝像單元拍攝的當前圖像的步驟之後，該方法還包括:根據預先建立的與反射鏡對應的校正模型獲取外部空間中任一點與攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用坐標映射關係對攝像單元拍攝的當前圖像進行校正。
[0042]其中，反射鏡的曲面通常為拋物線或雙曲線。以拋物線為例，單目攝像頭的成像點位於拋物線的準線上，並且拋物線的焦點到成像點的連線與準線垂直。由於拋物線上任一點到準線的距離與到焦點的距離相等，則可以根據這個性質建立校正模型，從而根據校正模型可以得到外部空間中任一點與攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用坐標映射關係在展開單目攝像頭的當前圖像時進行校正，如圖2所示，校正前的當前圖像由於反射鏡的影響即便較嚴重，經過柱形展開校正後可以得到正確的圖像。
[0043]圖3所示為圖1所示的飛行器狀態實時修正的方法在具體應用場景中的流程示意圖，在本實施例中，攝像單元包括反射鏡和單目攝像頭，傳感器採用雷射傳感器。該方法包括:
[0044]S201:進行初始化，獲取預先標定的攝像單元與至少一種傳感器之間的位置關係、預先建立的狀態模型和測量模型、預先建立的與反射鏡對應的校正模型、以及攝像機的初始狀態信息。
[0045]其中，狀態模型的方程為:
[0046]X (k I k~l) =Ax (k_l | k_l) +BU (k) +w (k)
[0047]其中，k為時間係數，x(k|k-l)為當前狀態信息預測值，x(k-l |k-l)為上一狀態信息估算值，U (k)為已知的輸入量，w為過程噪聲，A、B均為狀態參數。
[0048]測量模型的方程為:
[0049]Z (k) =Hx (k I k-l)+v (k)
[0050]其中，Z(k)為匹配特徵點測量值，V為過程噪聲，H為測量參數。
[0051]S202:根據上一狀態信息和狀態模型預測得到系統的當前狀態信息預測值。
[0052]S203:獲取攝像單元拍攝的當前圖像和當前圖像之前的上一圖像以及雷射傳感器測量的世界坐標系下的特徵點。
[0053]S204:根據校正模型獲取外部空間中任一點與當前圖像中的對應點的坐標映射關係，利用坐標映射關係對當前圖像進行校正。
[0054]S205:根據上一狀態信息預測與上一圖像中的目標特徵點對應的校正後的當前圖像中的匹配特徵點，根據預設的測量模型和匹配特徵點得到匹配特徵點測量值。
[0055]其中，在測量模型的方程中，x(k|k-l)為目標特徵點，是當前狀態信息預測值中的
一項參數。
[0056]S206:對當前狀態信息預測值和匹配特徵點測量值採用卡爾曼濾波器進行濾波，得到攝像單元的當前狀態信息估算值。
[0057]其中，卡爾曼濾波器的時間更新方程為:
[0058]X (k I k) =x (k I k-1) +kg (k) (Z (k) -Hx (k I k-1))
[0059]kg(k)=P(k|k-l)H，/(HP(k|k-l))H/ +R)
[0060]其中，x(k|k)為當前狀態信息估算值,kg(k)為卡爾曼增益,P(k| k_l)為x(k|k_l)對應的協方差，R為V的協方差，H'為H的轉置矩陣。
[0061]S207:計算雷射傳感器到與世界坐標系下的特徵點的第一距離以及攝像單元到匹配特徵點測量值的第二距離，並根據位置關係計算第一距離與第二距離之間的相對比例關係O
[0062]其中，雷射傳感器發出的雷射束上如果沒有特徵點，那麼將選定離雷射束最近的特徵點。
[0063]S208:將相對比例關係與當前狀態信息估算值進行積運算。
[0064]其中，進行積運算之後，可以利用當前狀態信息以及外部信息，例如外部標識點雲建立局部地圖，通過該局部地圖可以識別障礙物空間位置，從而飛行器在操控者視野之外時可以進行避障和導航。
[0065]圖4所示為本發明飛行器狀態實時修正的裝置一實施例的結構示意圖。飛行器包括攝像單元和至少一個傳感器，該裝置包括獲取模塊10、匹配模塊20、計算模塊30和修正模塊40。[0066]獲取模塊10用於獲取攝像單元的一歷史狀態信息、攝像單元拍攝的當前圖像和當前圖像之前的一歷史圖像、以及至少一種傳感器感測當前測量的外部信息或內部信息。
[0067]其中，在飛行器起飛時刻的狀態信息的信息量為0，起飛之後每個單位時刻的狀態信息都與前一單位時刻的狀態信息有關。由於攝像單元是固定在飛行器上的，飛行器的狀態信息可視為攝像單元的狀態信息。在本實施例中，狀態信息至少包括攝像單元的姿態、位置、速度、方向和周圍的環境信息等。在本實施例中，攝像單元包括單目攝像頭。
[0068]如果每個單位時刻之間間隔較長，則歷史狀態信息可以優選為前一單位時刻的狀態信息，歷史圖像優選為前一單位時刻的圖像；如果每個單位時刻間隔較短，則歷史狀態信息可以為間隔多個單位時刻的狀態信息，歷史圖像為間隔多個單位時刻的圖像。
[0069]在本實施例中，外部信息包括相對於外部對象的距離信息，內部信息包括加速度信息、方向信息、角速度信息、速度信息或裡程信息中的一種或幾種。在具體實施時，可以採用雷射傳感器、超聲波傳感器等外部傳感器測量相對於外部對象的距離，採用加速度傳感器、方向傳感器、裡程器等內部傳感器測量加速度、方向、裡程等內部信息。
[0070]匹配模塊20用於根據歷史狀態信息預測與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點，並由匹配特徵點計算當前攝像單元的外部信息或內部信息。
[0071]其中，具體來說，攝像單元拍攝的圖像中包含很多物體信息，例如樹木、建築物等，這些物體的邊緣角點均可以作為目標特徵點。由於歷史狀態信息包括方向、速度等表徵運動向量的信息，當選取歷史圖像中的目標特徵點後，根據歷史狀態信息中的方向和速度就可以推斷出與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點。
[0072]攝像單元的外部信息或內部信息與傳感器測量的外部信息或內部信息屬於不同的測量結果。攝像單元的外部信息或內部信息均可以由匹配特徵點計算得到，例如當計算相對於外部對象的距離信息時，通過當前特徵點的坐標值計算攝像單元與匹配特徵點的距離，當計算速度信息時，通過當前特徵點的坐標值、目標特徵點的坐標值以及間隔的單位時刻計算攝像單元的速度。
[0073]作為本實施例的一種優選的方案，匹配模塊20具體用於根據歷史狀態信息預測歷史圖像中的目標特徵點在當前圖像中的坐標位置，選擇離坐標位置最近的特徵點作為與歷史圖像中的目標特徵點對應的當前圖像中的匹配特徵點。
[0074]其中，通過歷史狀態信息可以得到目標特徵點所處坐標位置的位移，從而確定目標特徵點在當前圖像中的坐標位置，該過程可以採用光流法、基於特徵描述符的匹配法等方法。當然，飛行器的狀態信息可能存在變化，目標特徵點在當前圖像中的坐標位置上可能並沒有坐標點，所以可以尋找離該坐標位置最近的特徵點作為匹配特徵點。
[0075]計算模塊30用於根據預先標定的至少一種傳感器相對於攝像單元的位置關係計算攝像單元的外部信息與至少一種傳感器的外部信息之間或者攝像單元的內部信息與至少一種傳感器的內部信息之間的相對比例關係。
[0076]其中，飛行器上傳感器與攝像單元之間的位置關係是通過預先標定得到的，為已知量。位置關係包括傳感器與攝像單元之間的距離。根據位置關係、傳感器的外部信息或內部信息、攝像單元的外部信息或內部信息，就可以得到兩個外部信息之間或兩個內部信息之間的相對比例關係。
[0077]修正模塊40用於利用相對比例關係修正由歷史狀態信息估計得到的攝像單元的當前狀態信息。
[0078]其中，作為本實施例的一種優選的方案，修正模塊40包括濾波器單元410和修正單元420。濾波器單元410用於根據預先建立的狀態模型和測量模型對歷史狀態信息採用卡爾曼濾波器進行濾波，得到攝像單元的當前狀態信息。修正單元420用於將相對比例關係與當前狀態信息進行積運算。
[0079]其中，狀態模型和測量模型都是預先建立的，是已知的。採用卡爾曼濾波器得到的當前狀態信息與實際狀態信息存在比例關係，通過將相對比例關係與當前狀態信息進行積運算可以讓當前狀態信息進一步接近實際狀態信息，甚至等於實際狀態信息，從而達到修正目的。
[0080]需要說明的是，本實施例除了採用卡爾曼濾波器之外，還可以採用其它濾波器，例如 EKF。
[0081]在更多實施例中，考慮到攝像單元的攝像範圍，單目攝像頭採用全景攝像頭，並且攝像單元還包括反射鏡，反射鏡用於將外部光線反射至單目攝像頭。則該裝置還可以包括校正模塊50。校正模塊50用於在獲取模塊10獲取攝像單元拍攝的當前圖像之後，根據預先建立的與反射鏡對應的校正模型獲取外部空間中任一點與攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用坐標映射關係對攝像單元拍攝的當前圖像進行校正。
[0082]其中，反射鏡的曲面通常為拋物線或雙曲線。以拋物線為例，單目攝像頭的成像點位於拋物線的準線上，並且拋物線的焦點到成像點的連線與準線垂直。由於拋物線上任一點到準線的距離與到焦點的距離相等，則可以根據這個性質建立校正模型，從而根據校正模型可以得到外部空間中任一點與攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用坐標映射關係在展開單目攝像頭的當前圖像時進行校正。
[0083]本發明實施例還提供一種飛行器，包括上述實施例的裝置，飛行棋的其它結構請參照現有技術，此處不再詳述。
[0084]通過上述方式，本發明的飛行器狀態實時修正的方法和裝置，通過歷史狀態信息以及攝像單元拍攝的歷史圖像和當前圖像中的特徵點，計算攝像單元的外部信息或內部信息，再結合至少一種傳感器的外部信息或內部信息得到兩個外部信息或內部信息之間的相對比例關係，利用相對比例關係來修正基於歷史狀態信息得到的當前狀態信息，從而能夠達到修正飛行器的狀態信息的目的，可以減小狀態信息的偏差，提高準確性和可靠性，避免飛行器飛丟，豐富操控者的飛行體驗。
[0085]以上所述僅為本發明的實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其它相關的【技術領域】，均同理包括在本發明的專利保護範圍內。
【權利要求】
1.一種飛行器狀態實時修正的方法，其特徵在於，包括: 獲取攝像單元的一歷史狀態信息、所述攝像單元拍攝的當前圖像和所述當前圖像之前的一歷史圖像、以及至少一種傳感器感測當前測量的外部信息或內部信息； 根據所述歷史狀態信息預測與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點，並由所述匹配特徵點計算當前所述攝像單元的外部信息或內部信息； 根據預先標定的所述至少一種傳感器相對於所述攝像單元的位置關係計算所述攝像單元的外部信息與所述至少一種傳感器的外部信息之間或者所述攝像單元的內部信息與所述至少一種傳感器的內部信息之間的相對比例關係； 利用所述相對比例關係修正由所述歷史狀態信息估計得到的所述攝像單元的當前狀態息。
2.根據權利要求1所述的方法，其特徵在於，所述利用所述相對比例關係修正由所述歷史狀態信息估計得到的所述攝像單元的當前狀態信息的步驟包括: 根據預先建立的狀態模型和測量模型對所述歷史狀態信息採用卡爾曼濾波器進行濾波，得到所述攝像單元的當前狀態信息； 將所述相對比例關係與所述當前狀態信息進行積運算。
3.根據權利要求1所述的方法，其特徵在於，所述根據所述歷史狀態信息預測與所述歷史圖像中的目標特徵 點對應的所述當前圖像中的匹配特徵點的步驟包括: 根據所述歷史狀態信息預測所述歷史圖像中的目標特徵點在所述當前圖像中的坐標位置； 選擇離所述坐標位置最近的特徵點作為與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點。
4.根據權利要求1所述的方法，其特徵在於，所述攝像單元包括單目攝像頭。
5.根據權利要求4所述的方法，其特徵在於，所述單目攝像頭為全景攝像頭，所述攝像單元還包括反射鏡，用於將外部光線反射至所述單目攝像頭，則在所述獲取所述攝像單元拍攝的當前圖像的步驟之後，所述方法還包括: 根據預先建立的與所述反射鏡對應的校正模型獲取外部空間中任一點與所述攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用所述坐標映射關係對所述攝像單元拍攝的當前圖像進行校正。
6.根據權利要求1所述的方法，其特徵在於，所述狀態信息包括攝像單元的姿態、位置、速度、方向和周圍的環境信息。
7.根據權利要求1至6任一項所述的方法，其特徵在於，所述外部信息包括相對於外部對象的距離信息，所述內部信息包括加速度信息、方向信息、角速度信息、速度信息或裡程信息中的一種或幾種。
8.一種飛行器狀態實時修正的裝置，其特徵在於，所述飛行器包括攝像單元和至少一個傳感器，所述裝置包括: 獲取模塊，用於獲取所述攝像單元的一歷史狀態信息、所述攝像單元拍攝的當前圖像和所述當前圖像之前的一歷史圖像、以及所述至少一種傳感器感測當前測量的外部信息或內部信息； 匹配模塊，用於根據所述歷史狀態信息預測與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點，並由所述匹配特徵點計算當前所述攝像單元的外部信息或內部信息； 計算模塊，用於根據預先標定的所述至少一種傳感器相對於所述攝像單元的位置關係計算所述攝像單元的外部信息與所述至少一種傳感器的外部信息之間或者所述攝像單元的內部信息與所述至少一種傳感器的內部信息之間的相對比例關係； 修正模塊，用於利用所述相對比例關係修正由所述歷史狀態信息估計得到的所述攝像單元的當前狀態信息。
9.根據權利要求8所述的裝置，其特徵在於，所述修正模塊包括濾波器單元和修正單元，其中， 所述濾波器單元用於根據預先建立的狀態模型和測量模型對所述歷史狀態信息採用卡爾曼濾波器進行濾波，得到所述攝像單元的當前狀態信息； 所述修正單元用於將所述相對比例關係與所述當前狀態信息進行積運算。
10.根據權利要求8所述的裝置，其特徵在於，所述匹配模塊具體用於根據所述歷史狀態信息預測所述歷史圖像中的目標特徵點在所述當前圖像中的坐標位置，並選擇離所述坐標位置最近的特徵點作為與所述歷史圖像中的目標特徵點對應的所述當前圖像中的匹配特徵點。
11.根據權利要求8所述的裝置，其特徵在於，所述攝像單元包括單目攝像頭。
12.根據權利要求11所述的裝置，其特徵在於，所述單目攝像頭為全景攝像頭，所述攝像單元還包括反射鏡，用於將外部光線反射至所述單目攝像頭，所述裝置還包括校正模塊，所述校正模塊用於在所述獲取模塊獲取所述攝像單元拍攝的當前圖像之後，根據預先建立的與所述反射鏡對應的校正模型獲取外部空間中任一點與所述攝像單元拍攝的當前圖像中的對應點的坐標映射關係，利用所述坐標映射關係對所述攝像單元拍攝的當前圖像進行校正。
13.根據權利要求5所述的裝置，其特徵在於，所述狀態信息包括攝像單元的姿態、位置、速度、方向和周圍的環境信息。
14.根據權利要求8至13任一項所述的裝置，其特徵在於，所述外部信息包括相對於外部對象的距離信息，所述內部信息包括加速度信息、方向信息、角速度信息、速度信息或裡程信息中的一種或幾種。
【文檔編號】G05D1/00GK103914065SQ201410112714
【公開日】2014年7月9日 申請日期:2014年3月24日 優先權日:2014年3月24日
【發明者】周谷越, 楊碩, 劉昂 申請人:深圳市大疆創新科技有限公司