無人飛行載具的圖像處理系統及方法

2023-10-05 17:08:34 1

專利名稱：無人飛行載具的圖像處理系統及方法
技術領域：
本發明屬於圖像處理的技術領域，特別指一種無人飛行載具的圖像處理系統及方法
背景技術：
無人飛行載具(unmanned aerial vehicle, UAV)是一種可通過遠程控制,或基於預先設定的飛行航線或基於更複雜的自動化系統自動航行的飛機。相較於一般航空運輸或航天運輸平臺，無人飛行載具提供一種遠程偵測的全新方法，可更加便宜、安全、富有彈性地部署於數至數十平方公裡的小範圍區域。由於近年來科技的躍進與價格的陡降，具有競爭力的低價無人飛行載具業已在商業上實現。由於自無人飛行載具取得的照片或資料必須具備其地理參照(geo-referenced)信息,始可產生進一步的應用，故發展出一種快速、可靠的方法以捕捉這些照片或資料的地理相關信息，遂成為使低價無人飛行載具普及於市場·的重要關鍵。由於航空攝影測量(photogrammetry)技術與位置/姿態偵測器(position/attitude sensors)的進步，捕捉自無人飛行載具取得的照片或資料的地理相關信息的嚴謹方法業已具有可行性。從而，這些平臺可定期(on a regular basis)提供具有標準化地理相關信息的資料輸出。然而，對於低價無人飛行載具而言，當其處於飛航途中，如何準確捕捉位置姿態資料，成為本技術領域的極大困難。由於已知的姿態偵測器既笨重又昂貴，低價無人飛行載具僅可定性應用於搜集缺乏地理相關信息的照片上。無人飛行載具的另一特性在於其攝影機或偵測器未必是固定在隨時受到最佳視線校準的穩固平臺上。為保持其機動性及彈性，攝影機或偵測器模塊總是在實地組裝，並在飛行任務完成後予以拆除。再者，無人飛行載具的全部機身並不如航空運輸平臺或航天運輸平臺的機身般穩固。因此，對於無人飛行載具而言，不可再將攝影機框架與姿態偵測器框架間的視軸矩陣(boresightmatrix，即方位偏移量)視為常量。在低價無人飛行載具定位系統中，對於每一張相片，必須分別將其外部方位參數納入估計，始可取得精確的視軸矩陣以進行高精密度的平面測量定位。是故，我們冀求一種進步的無人飛行載具的圖像處理系統與方法，其可降低甚至排除上述各種問題。

發明內容
本發明的主要目的是在提供一種無人飛行載具的圖像處理系統與方法，以便能解決已知技術的缺點。依據本發明的一特色，本發明是提出一種無人飛行載具圖像處理系統，其包括一數字相機，是裝設於一無人飛行載具上；一自動飛航控制器，是安裝於該無人飛行載具中，且其預先載入一飛行檔案，該飛行檔案是由一其上繪製有一目標多邊形的基圖所產生，其中，該自動飛航控制器是設置以規劃一飛行路徑為一系列的割草機圖案的任務滯後，以覆蓋該基圖上的目標多邊形，而控制該無人飛行載具執行一飛行任務來沿著該飛行路徑飛行，於該飛行任務中，該自動飛航控制器紀錄多個全球定位系統/慣性導航系統資料及觸發數字相機多次以拍攝多張照片，該多張照片更依據該數字相機的校正參數來校正以產生分別對應至該多個全球定位系統/慣性導航系統資料的多張校正照片；以及一計算機裝置，是用於接收該多張校正照片及該多個全球定位系統/慣性導航系統資料，並處理該多張校正照片，以使用該對應的全球定位系統/慣性導航系統資料而分別產生多張投射照片，且通過一照片編結程序來編結該多張投射照片以形成一鑲嵌影像。依據本發明的另一特色，本發明是提出一種圖像處理方法，是用於一無人飛行載具圖像處理系統，該無人飛行載具圖像處理系統包括裝設於一無人飛行載具上的一數字相機、安裝於該無人飛行載具中的一自動飛航控制器、及一計算機裝置，該方法包括步驟(A)設置該自動飛航控制器，其中該自動飛航控制器預先加載一飛行檔案，該飛行檔案是由一其上繪製有一目標多邊形的基圖所產生，該自動飛航控制器是設置以規劃一飛行路徑為一 系列的割草機圖案的任務滯後，以覆蓋該基圖上的目標多邊形，而控制該無人飛行載具執行一飛行任務來沿著該飛行路徑飛行，於該飛行任務中，該自動飛航控制器紀錄多個全球定位系統/慣性導航系統資料及觸發數字相機多次以拍攝多張照片，該多張照片更依據該數字相機的校正參數來校正以產生分別對應至該多個全球定位系統/慣性導航系統資料的多張校正照片；(B)下載該多張校正照片及該多個全球定位系統/慣性導航系統資料至該計算機裝置中，並處理該多張校正照片，以使用該對應的全球定位系統/慣性導航系統資料而分別產生多張投射照片；以及(C)通過一照片編結程序來編結該多張投射照片以形成一鑲嵌影像。


為了詳細說明本發明的構造及特點所在，以下結合較佳實施例並配合

如後，其中圖I是本發明的無人飛行載具圖像處理系統的示意圖，其中圖Ia是圖像處理系統圖，圖Ib是圖像處理系統處理的圖。圖2是本發明的飛行路徑的規劃。圖3是本發明的無人飛行載具圖像處理的一流程。圖4是本發明的無人飛行載具圖像處理的另一流程。圖5是本發明的無人飛行載具圖像處理的再一流程。
具體實施例方式圖I是顯示本發明一實施例的無人飛行載具圖像處理系統的示意圖，其中圖Ia是圖像處理系統圖，圖Ib是圖像處理系統處理的圖。該無人飛行載具圖像處理系統包括裝設於一無人飛行載具(unmanned aerial vehicle) 11上的一數字相機111、安裝於該無人飛行載具11中的一自動飛航(autopilot)控制器112、及一計算機裝置12，該自動飛航控制器112是可設置以控制該無人飛行載具11執行至少一飛行任務(flight mission)，該數字相機111於該飛行任務中用以拍攝一調查區域(study) 15的相片，該計算機裝置12用以處理於該飛行任務中所拍攝的相片，以產生一目標區域的影像。
為規劃該無人飛行載具11的飛行任務，該自動飛航控制器112加載有一飛行檔案16,該飛行檔案16是由風向(wind direction)、調查區域15的基圖(base image)等資料所產生，且基圖上繪製有一目標多邊形(polygon)151以作為拍攝照片的目標區域，該數字相機111較佳連接有一存儲卡113，存儲卡113是儲存數字相機111所拍攝的相片。該無人飛行載具11較佳為一固定翼滑翔機(fixed-wing glider),例如目前市場上所具有的低價CropCam0如圖2所示，為有效利用該飛行任務的期間，該自動飛航控制器112是設置以通過默認多個路徑點(waypoint) 213於一飛行路徑(flight path) 21上，以規劃該飛行路徑(flight path)21為一系列的割草機圖案(Iawnmower)的任務滯後(mission lag)211,以覆蓋該基圖上的目標多邊形151，而控制該無人飛行載具11執行一飛行任務來沿著該飛行路徑21飛行。此外，由於該無人飛行載具11通常為一輕量的平臺而可能容易受到切風(cross wind)的影響，該自動飛航控制器112是規劃該飛行路徑21以使其航線與風向平行，而避免切風的影響，據此確保無人飛行載具11 一貫地沿著該規劃的飛行路徑21飛行，且每一張拍攝的相片是儘量靠近默認的路徑點213。 所有在飛行任務中拍攝的相片需要被鑲嵌(mosaic)為一大的平面測量(planimetric)影像以供後續處理,為確保鑲嵌(mosaic)的成功，該數字相機111是控制來拍攝照片且所拍攝的多張照片是保持一定程度的重迭，在50%重迭的情況下，於調查區域15的每一調查點可由四張不同的相片所覆蓋，需注意的是，較高的重迭程度將增加拍攝相片的總數，而非總覆蓋區域。該無人飛行載具11通常需要一定數值的迴轉半徑以作一 U形轉彎，但具有50 %重迭兩相鄰的滯後211對無人飛行載具11而言可能過於靠近而無法作一完整的U形轉彎，因此，該自動飛航控制器112是設置以增加額外的路徑點213於該飛行路徑21上，以確保該無人飛行載具11在一新的滯後211開始前可進行一完整的U形轉彎，如圖2所示，在每一滯後211的尾端增加五個額外的路徑點213後，實際的飛行軌跡將非常接近規劃的路徑，且所有的滯後211將良好地互相平行。因此，以本發明的無人飛行載具圖像處理系統及方法，只需要在調查區域15的基圖上繪製該目標多邊形151並指定風向，即可製作一考慮有足夠的重迭及迴轉半徑的詳細飛行計劃，並自動產生對應的飛行檔案16以立即上傳至該無人飛行載具11來進行飛行。於該無人飛行載具11沿著飛行路徑21飛行的飛行任務中，該自動飛航控制器112操作以紀錄多個全球定位系統/慣性導航系統(GPS/INS)資料及觸發該數字相機111多次以拍攝分別對應至該多個GPS/INS資料的多張照片，較佳地，於該飛行任務中，該自動飛航控制器112是以4Hz的頻率來維持詳細的GPS/INS資料的日誌(log)，該GPS/INS資料報含三個GPS坐標(x,y,z)、三個姿態(pitch, roll, yaw)、三軸加速度、三軸轉動、目前速度、伺服模式、及計劃的坐標、計劃的姿態與計劃的速度，由於該數字相機111是由該自動飛航控制器112的伺服的近紅外線訊號所驅動，故可通過檢視伺服模式而識別每一 GPS/INS資料對應至每一相片。而一旦飛行任務完成，於整個飛行任務中所紀錄的包含有多個GPS/INS資料的GPS/INS資料日誌即可下載至該計算機裝置12，而於飛行任務中所拍攝的多張相片則已儲存於記憶卡113中，該多張相片即可複製至計算機裝置12中以作進一步處理。該數字相機111是一存在市場上的不昂貴但卻輕量的相機，其可擷取在單一相片中具有千萬畫素的高質量影像，為作為量測的相機，該數字相機111須要被校正，特別是依據該數字相機111的鏡頭變形(lens distortion)校正參數來對每一張相片來進行鏡頭變形的修正，例如，可採用一自我校正的方案，以依據下述的方程式來計算所拍攝的一相片的
每一畫素的變形量
權利要求
1.一種無人飛行載具圖像處理系統，包括 一數字相機，裝設於一無人飛行載具上； 一自動飛航控制器，安裝於該無人飛行載具中，且其預先載入一飛行檔案，該飛行檔案由一其上繪製有一目標多邊形的基圖所產生，其中，該自動飛航控制器設置以規劃一飛行路徑為一系列的割草機圖案的任務滯後，以覆蓋該基圖上的目標多邊形，而控制該無人飛行載具執行一飛行任務來沿著該飛行路徑飛行，於該飛行任務中，該自動飛航控制器紀錄多個全球定位系統/慣性導航系統資料及觸發數字相機多次以拍攝多張照片，該多張照片還依據該數字相機的校正參數來校正以產生分別對應至該多個全球定位系統/慣性導航系統資料的多張校正照片；以及 一計算機裝置，用於接收該多張校正照片及該多個全球定位系統/慣性導航系統資料，並處理該多張校正照片，以使用該對應的全球定位系統/慣性導航系統資料而分別產生多張投射照片，且通過一照片編結程序來編結該多張投射照片以形成一鑲嵌影像。
2.如權利要求I所述的無人飛行載具圖像處理系統，其中該計算機裝置還通過指定參照該基圖的三點坐標，以地理參照該鑲嵌影像。
3.如權利要求I所述的無人飛行載具圖像處理系統，其中該飛行路徑是規劃以使其航線與風向平行。
4.如權利要求3所述的無人飛行載具圖像處理系統，其中該飛行路徑是規劃以增加額外的路徑點於該飛行路徑上，以確保該無人飛行載具可進行一完整的U形轉彎。
5.如權利要求I所述的無人飛行載具圖像處理系統，其中該多張照片保持一定程度的重迭。
6.如權利要求I所述的無人飛行載具圖像處理系統，其中每張於飛行任務中拍攝的照片以鏡頭變形的校正參數予以校正。
7.如權利要求I所述的無人飛行載具圖像處理系統，其中該基圖是切割成分別對應於該多張於飛行任務中所拍攝的照片的多張參考影像，且該計算機裝置比較每張投射照片與其相對應的參考影像以生成一旋轉尺度轉移修正的全球定位系統/慣性導航系統資料，並應用旋轉尺度轉移變換以使用該旋轉尺度轉移修正的全球定位系統/慣性導航系統資料來地理參照該對應的校正照片，從而產生一旋轉尺度轉移照片，且通過一照片編結程序來編結所有旋轉尺度轉移照片為一鑲嵌影像。
8.如權利要求7所述的無人飛行載具圖像處理系統，其中每個旋轉尺度轉移修正的全球定位系統/慣性導航系統資料通過選擇三對共軛點進行一重複計算而產生。
9.如權利要求I所述的無人飛行載具圖像處理系統，其中該基圖的一數值地形模型切割成分別對應於該多張於飛行任務中所拍攝的照片的多個參考數值地形模型，且該計算機裝置以一相對應的參考數值地形模型及三對共軛點來決定每張於飛行任務中所拍攝的照片的每一像素的詳細高差位移，並基於該相對應照片的詳細高差位移以正射調整每張校正照片至一正射照片，且通過一照片編結程序來編結所有正射照片為一鑲嵌影像。
10.一種圖像處理方法，用於一無人飛行載具圖像處理系統，該無人飛行載具圖像處理系統包括裝設於一無人飛行載具上的一數字相機、安裝於該無人飛行載具中的一自動飛航控制器、及一計算機裝置，該方法包括步驟 (A)設置該自動飛航控制器，其中該自動飛航控制器預先加載一飛行檔案，該飛行檔案由一其上繪製有一目標多邊形的基圖所產生，該自動飛航控制器設置以規劃一飛行路徑為一系列的割草機圖案的任務滯後，以覆蓋該基圖上的目標多邊形，而控制該無人飛行載具執行一飛行任務來沿著該飛行路徑飛行，於該飛行任務中，該自動飛航控制器紀錄多個全球定位系統/慣性導航系統資料及觸發數字相機多次以拍攝多張照片，該多張照片還依據該數字相機的校正參數來校正以產生分別對應至該多個全球定位系統/慣性導航系統資料的多張校正照片； (B)下載該多張校正照片及該多個全球定位系統/慣性導航系統資料至該計算機裝置中，並處理該多張校正照片，以使用該對應的全球定位系統/慣性導航系統資料而分別產生多張投射照片；以及 (C)通過一照片編結程序來編結該多張投射照片以形成一鑲嵌影像。
11.如權利要求10所述的圖像處理方法，還包括通過指定參照該基圖的三點坐標，以地理參照該鑲嵌影像。
12.如權利要求10所述的圖像處理方法，其中該飛行路徑是規劃以使其航線與風向平行。
13.如權利要求12所述的圖像處理方法，其中該飛行路徑是規劃以增加額外的路徑點於該飛行路徑上，以確保該無人飛行載具可進行一完整的U形轉彎。
14.如權利要求10所述的圖像處理方法，其中該多張照片保持一定程度的重迭。
15.如權利要求10所述的圖像處理方法，其中每張於飛行任務中拍攝的照片以鏡頭變形的校正參數予以校正。
16.如權利要求10所述的圖像處理方法，其中該基圖切割成分別對應於該多張於飛行任務中所拍攝的照片的多張參考影像，且該計算機裝置比較每張投射照片與其相對應的參考影像以生成一旋轉尺度轉移修正的全球定位系統/慣性導航系統資料，並應用旋轉尺度轉移變換以使用該旋轉尺度轉移修正的全球定位系統/慣性導航系統資料來地理參照該對應的校正照片，從而產生一旋轉尺度轉移照片，且通過一照片編結程序來編結所有旋轉尺度轉移照片為一鑲嵌影像。
17.如權利要求10所述的圖像處理方法，其中每個旋轉尺度轉移修正的全球定位系統/慣性導航系統資料通過選擇三對共軛點進行一重複計算而產生。
18.如權利要求16所述的圖像處理方法，其中該基圖的一數值地形模型切割成分別對應於該多張於飛行任務中所拍攝的照片的多個參考數值地形模型，且該計算機裝置以一相對應的參考數值地形模型及三對共軛點來決定每張於飛行任務中所拍攝的照片的每一像素的詳細高差位移，並基於該相對應照片的詳細高差位移以正射調整每張校正照片至一正射照片，且通過一照片編結程序來編結所有正射照片為一鑲嵌影像。
全文摘要
一種無人飛行載具圖像處理系統，包括裝設於一無人飛行載具上的一數字相機、安裝於無人飛行載具中的一自動飛航控制器、及一計算機裝置，自動飛航控制器預先加載一飛行檔案，飛行檔案由一其上繪製有一目標多邊形的基圖所產生，自動飛航控制器設置以規劃一飛行路徑為一系列的割草機圖案的任務滯後，以覆蓋基圖上的目標多邊形，而控制無人飛行載具執行一飛行任務，於飛行任務中，自動飛航控制器紀錄多個GPS/INS資料及觸發數字相機多次以拍攝多張照片，該多張照片依據數字相機的校正參數來校正以產生分別對應至多個GPS/INS資料的多張校正照片；計算機裝置接收多張校正照片及多個GPS/INS資料，並處理多張校正照片，以使用對應的GPS/INS資料而分別產生多張投射照片，且通過一照片編結程序來編結該多張投射照片以形成一鑲嵌影像。
文檔編號G06T7/00GK102829762SQ201210197728
公開日2012年12月19日 申請日期2012年6月15日 優先權日2011年6月17日
發明者劉正千 申請人:劉正千