無人飛行載具控制系統及方法
2023-10-05 17:02:59 3
專利名稱：無人飛行載具控制系統及方法
技術領域：
本發明涉及一種無人飛行載具控制系統及方法。
背景技術：
無人飛行載具(Unmanned Aerial Vehicle，UAV)，例如遙控飛機，被越來越多地用作玩具、航模，或者是民用或軍用進行安全監控。傳統的無人飛行載具是通過專用遙控器控制無人飛行載具的飛行動作。在飛行控制過程中，用戶通過目視無人飛行載具、或監控主機顯示的無人飛行載具利用內建攝影機拍攝的監控場景的二維影像，作為調整無人飛行載具飛行動作的參考依據。由於無人飛行載具內建攝影機拍攝方向會隨著無人飛行載具的飛行方向不時變動，當無人飛行載具超出用戶目視範圍時，用戶容易誤判無人飛行載具的飛行方向。由於飛行方向判斷錯誤，所以容易導致用戶對無人飛行載具飛行動作的調整操作出現錯誤。
發明內容
鑑於以上內容，有必要提供一種無人飛行載具控制系統及方法，可以利用手持式電子裝置及時、準確地掌握無人飛行載具的飛行狀況，直觀地控制無人飛行載具的飛行動作。一種無人飛行載具控制系統，應用於手持式裝置。該系統包括顯示模塊、飛行控制模塊、飛行資料接收模塊及調整模塊。顯示模塊，用於在手持式裝置的顯示屏幕上顯示監控場景的三維虛擬場景，在顯示屏幕的預設位置顯示無人飛行載具的示意圖標。飛行控制模塊，用於將用戶對顯示屏幕上操作區域的操作信號轉換為控制信號發送至無人飛行載具。飛行資料接收模塊，用於接收無人飛行載具傳送的飛行資料，包括無人飛行載具當前所在位置、飛行方向、飛行高度及監控場景的實時影像。顯示模塊，還用於在顯示屏幕相應顯示區域顯示無人飛行載具當前所在位置、飛行方向、飛行高度及監控場景的實時影像。調整模塊，用於根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景的內容的移動方向，使得無人飛行載具的示意圖標始終位於顯示屏幕的預設位置，及用於根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景內容的顯示方向，使得用戶觀察三維虛擬場景的視線方向始終與無人飛行載具的飛行方向保持一致。一種無人飛行載具控制方法，應用於手持式裝置。該方法包括以下步驟(A)在手持式裝置的顯示屏幕上顯示監控場景的三維虛擬場景，在顯示屏幕的預設位置顯示無人飛行載具的示意圖標；(B)將用戶對顯示屏幕上操作區域的操作信號轉換為控制信號發送至無人飛行載具；(C)接收無人飛行載具傳送的飛行資料，包括無人飛行載具當前所在位置、 飛行方向、飛行高度及監控場景的實時影像；(D)在顯示屏幕相應顯示區域顯示無人飛行載具當前所在位置、飛行方向、飛行高度及監控場景的實時影像；及(E)根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景的內容的移動方向，使得無人飛行載具的示意圖標始終位於顯示屏幕的預設位置；及(F)根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景內容的顯示方向，使得用戶觀察三維虛擬場景的視線方向始終與無人飛行載具的飛行方向保持一致。相較於現有技術，本發明提供的無人飛行載具控制系統及方法，可以利用三維虛擬場景及時、準確地掌握遠端無人飛行載具的實時位置、飛行方向、高度等資料，並且可以直觀地利用手持式裝置控制無人飛行載具的飛行動作。
圖1是本發明無人飛行載具控制系統較佳實施例的應用環境圖。圖2是本發明無人飛行載具較佳實施例的功能模塊圖。圖3是圖1中無人飛行載具控制系統較佳實施例的功能模塊圖。圖4是圖1中手持式裝置顯示屏幕的功能模塊圖。圖5是圖4中操作區域的功能模塊圖。圖6A及圖6B是本發明無人飛行載具控制方法較佳實施例的流程圖。圖7及圖8是顯示屏幕上顯示的無人飛行載具的監控區域的3D虛擬場景圖。主要元件符號說明
手持式裝置100無人飛行載具控制系統10顯示模塊11飛行控制模塊12飛行資料接收模塊13調整模塊14提示模塊15顯示屏幕203D虛擬場景顯示區域21影像顯示區域22數據顯示區域23操作區域24方向控制器圖標241高度及速度控制器圖標242
5
遙控信號發射器30存儲器40處理器50無人飛行載具200遙控信號接收器210全球定位系統220影像捕獲單元230電子羅盤240
具體實施例方式圖1是本發明無人飛行載具控制系統10較佳實施例的應用環境圖。該無人飛行載具控制系統10應用於手持式裝置100。該手持式裝置100可以為手機、個人數字助理、掌上型遊樂器等。參閱圖1所示，該手持式裝置100還包括顯示屏幕20、遙控信號發射器30、 存儲器40及處理器50。在本實施例中，所述顯示屏幕20為觸控式顯示屏幕。所述無人飛行載具控制系統 10包括一系列功能模塊(如圖3所示)，利用這些功能模塊，無人飛行載具控制系統10在顯示屏幕20上顯示無人飛行載具(如圖2所示的無人飛行載具200)飛行範圍內監控區域的三維(three-dimensional，3D)虛擬場景，向無人飛行載具200發送控制信號控制無人飛行載具200的飛行動作。此外，無人飛行載具控制系統10接收無人飛行載具200傳送的飛行資料，在顯示屏幕20上顯示該飛行資料，並根據該飛行資料調整3D虛擬場景的顯示內容及顯示方向，使得用戶及時、準確地掌握無人飛行載具的飛行狀況，直觀地控制無人飛行載具的飛行動作。遙控信號發射器30向無人飛行載具200發送所述控制信號。存儲器40用於存儲所述無人飛行載具控制系統10的功能模塊的程序化代碼。處理器50執行所述程序化代碼，提供無人飛行載具控制系統10的上述功能。圖2是本發明無人飛行載具200較佳實施例的功能模塊圖。在本實施例中，該無人飛行載具200包括遙控信號接收器210、全球定位系統220、影像捕獲單元230及電子羅盤M0。在其它實施例中，該無人飛行載具200還可以包括存儲裝置。遙控信號接收器210接收手持式裝置100發送的所述控制信號。全球定位系統220偵測無人飛行載具200的飛行高度、經度及緯度。影像捕獲單元230拍攝監控場景的影像。在本實施例中，該影像捕獲單元230為照相機。電子羅盤240偵測無人飛行載具200的飛行方向。該電子羅盤MO同普通羅盤一
6樣，可通過感應地球磁場來識別南極和北極，本實施例中，該電子羅盤MO以應用霍爾效應的磁阻傳感器取代普通羅盤中的磁針，由於洛倫茲力會造成通過電子羅盤MO的電流中電子的偏移。故電子羅盤240由該偏移可計算出電壓變化的數據，從而得知無人飛行載具200 的飛行方向。圖3是圖1中無人飛行載具控制系統10較佳實施例的功能模塊圖。在本實施例中，該無人飛行載具控制系統10包括顯示模塊11、飛行控制模塊12、飛行資料接收模塊13、 調整模塊14及提示模塊15。顯示模塊11用於在手持式裝置100的顯示屏幕20上顯示監控場景的3D虛擬場景，在顯示屏幕20的預設位置顯示無人飛行載具200的示意圖標。如圖7所示，為顯示屏幕20上顯示的一個監控場景的某一時刻的3D虛擬場景。圖7中所示的一個圓圈及一個雙箭頭組成無人飛行載具200的示意圖標，該示意圖標位於顯示屏幕20的中心位置。顯示屏幕20中的箭頭表示無人飛行載具200的飛行方向(例如N)，顯示屏幕20外的箭頭表示手持式裝置100的用戶的視線方向。由於顯示屏幕20的尺寸限制，監控場景的3D虛擬場景無法完整地顯示在顯示屏幕20上，一次只能顯示3D虛擬場景的一部分內容。該3D虛擬場景是在無人飛行載具200及無人飛行載具控制系統10使用前，利用3D繪圖軟體(如Google SketchUp, Maya等)繪製的監控區域的影像。該3D虛擬場景存儲在手持式裝置100的存儲器40中。飛行控制模塊12用於將用戶對顯示屏幕20上操作區域M的操作信號轉換為控制信號發送至無人飛行載具200。如圖4所示，顯示屏幕20包括3D虛擬場景顯示區域21、 影像顯示區域22、數據顯示區域23及操作區域對。在本實施例中，操作區域M位於3D虛擬場景顯示區域21的正下方。在其它實施例中，操作區域M也可以位於顯示屏幕20的其它位置，例如3D虛擬場景顯示區域21中的某一個區域。如圖5所示，該操作區域M顯示方向控制器圖標Ml、高度及速度控制器圖標 2420飛行控制模塊12將用戶對方向控制器圖標241的操作信號轉換為控制無人飛行載具 200的飛行方向的控制信號。例如，假設無人飛行載具200當前飛行方向為圖7所示的正北方(N)，當用戶想變更飛行方向為正西方(W)時候，可以利用手指從方向控制器圖標241的正前方示意方向滑向正左方示意方向(如圖5中的弧形箭頭所示)。飛行控制模塊12還將用戶對高度及速度控制器圖標242的操作信號轉換為控制無人飛行載具200的飛行高度及速度的控制信號。例如，用戶手指在代表高度控制器的縱軸上向上滑行代表提高無人飛行載具200的飛行高度、向下滑行代表降低無人飛行載具200的飛行高度，用戶手指在代表速度控制器的橫軸上向右滑行代表加快無人飛行載具200的飛行速度、向左滑行代表減慢無人飛行載具200的飛行速度。飛行資料接收模塊13用於接收無人飛行載具200傳送的飛行資料，包括無人飛行載具200當前所在位置、飛行方向、飛行高度及監控場景的實時影像。顯示模塊11還用於在顯示屏幕20相應顯示區域顯示無人飛行載具200當前所在位置、飛行方向、飛行高度及監控場景的實時影像。例如，顯示模塊11在顯示屏幕20的數據顯示區域23顯示無人飛行載具200當前所在位置(包括經度及緯度)、飛行方向及飛行高度，在影像顯示區域22顯示監控場景的實時影像。如圖5所示，在本實施例中，3D虛擬場景顯示區域21在顯示屏幕20上全屏顯示，影像顯示區域22及數據顯示區域23位於3D虛擬場景顯示區域21的某一部分。在其它實施例中，3D虛擬場景顯示區域21也可以不全屏顯示，影像顯示區域22及數據顯示區域23位於3D虛擬場景顯示區域21之外的區域。調整模塊14用於根據無人飛行載具200的飛行方向調整顯示屏幕20上3D虛擬場景的內容的移動方向，使得無人飛行載具200的示意圖標始終位於顯示屏幕20的預設位置。如圖7所示，當無人飛行載具200飛行方向不變(即一直向正北方飛行)，則調整模塊 14控制3D虛擬場景的內容向顯示屏幕20的正下方移動，以保持無人飛行載具200的示意圖標始終位於顯示屏幕20的中心位置。調整模塊14還用於根據無人飛行載具200的飛行方向調整顯示屏幕20上3D虛擬場景內容的顯示方向，使得用戶觀察3D虛擬場景的視線方向始終與無人飛行載具200的飛行方向保持一致。例如，當無人飛行載具200的飛行方向由圖7所示的正北方N變更為正西方W時，調整模塊14將3D虛擬場景內容的顯示方向向右旋轉90度，使得用戶觀察3D 虛擬場景的視線方向始終與無人飛行載具200的飛行方向保持一致(如圖8所示)。也就是說，在無人飛行載具200的飛行過程中，用戶在顯示屏幕20上觀察到的3D 虛擬場景中無人飛行載具200的示意圖標一直保持靜止狀態，變化的是3D虛擬場景的內容。提示模塊15用於根據監控場景的實時影像是否出現異常判斷是否需要提示用戶向無人飛行載具200下達新的控制指令。所述異常可以定義為監控場景的實時影像中出現監控場景的初始圖像中沒有的人、物，或是監控場景的實時影像顯示出現監控場景的邊緣地帶或監控場景之外的區域。在本實施例中，當監控場景的實時影像顯示出現監控場景的邊緣地帶或監控場景之外的區域時，表示無人飛行載具200即將飛出監控場景。當監控場景的實時影像出現異常時，提示模塊15在顯示屏幕20上彈出一個提示框，通過文字提示用戶向無人飛行載具200下達新的控制指令。在其它實施例中，提示模塊15也可以通過其它方式，例如語音提示用戶向無人飛行載具200下達新的控制指令。圖6A及圖6B是本發明無人飛行載具控制方法較佳實施例的流程圖。應當理解為， 該流程圖中各步驟的出現順序並非完全等同於這些步驟的執行順序，一些步驟的執行順序是可以改變的，例如S113與S115。步驟SlOl，顯示模塊11在手持式裝置100的顯示屏幕20上顯示監控場景的3D虛擬場景，在顯示屏幕20的預設位置顯示無人飛行載具200的示意圖標。如圖7所示，為顯示屏幕20上顯示的一個監控場景某一時刻的3D虛擬場景，該監控場景包括多個貨櫃。由於顯示屏幕20的尺寸限制，監控場景的整3D虛擬場景無法完整地顯示在顯示屏幕20，一次只能顯示3D虛擬場景的一部分內容。在圖7中，無人飛行載具200的示意圖標由一個圓圈及一個雙箭頭組成，該示意圖標位於顯示屏幕20的中心位置。顯示屏幕20中的箭頭表示無人飛行載具200的飛行方向(例如N)，顯示屏幕20外的箭頭表示手持式裝置100的用戶的視線方向。步驟S103，飛行控制模塊12將用戶對顯示屏幕20上操作區域M的操作信號轉換為控制信號發送至無人飛行載具200。如圖5所示，該操作區域M顯示方向控制器圖標 Ml、高度及速度控制器圖標對2。飛行控制模塊12將用戶對方向控制器圖標241的操作信號轉換為控制無人飛行載具200的飛行方向的控制信號，將用戶對高度及速度控制器圖標 242的操作信號轉換為控制無人飛行載具200的飛行高度及速度的控制信號。例如，假設無人飛行載具200當前飛行方向為圖7所示的正北方(N)，當飛行控制模塊12探測到用戶手指在方向控制器圖標241上執行從正前方示意方向滑向正左方示意方向的操作(如圖5 中的弧形箭頭所示)時，飛行控制模塊12將該操作信號轉換為變更飛行方向為正西方(W) 的控制信號。當飛行控制模塊12探測到用戶手指在高度及速度控制器圖標242上的代表高度控制器的縱軸上執行向上滑行的操作時，飛行控制模塊12將該操作信號轉換為提高無人飛行載具200的飛行高度的控制信號。當飛行控制模塊12探測到用戶手指在高度及速度控制器圖標242上的代表速度控制器的橫軸上向右滑行時，飛行控制模塊12將該操作信號轉換為加快無人飛行載具200的飛行速度的控制信號。步驟S105，無人飛行載具200利用遙控信號接收器210接收手持式裝置100發送的所述控制信號，並根據該控制信號執行相應的飛行動作。例如，當接收到變更飛行方向為正西方(W)的控制信號時，無人飛行載具200變更飛行方向為正西方(W)。步驟S107，無人飛行載具200利用電子羅盤240偵測飛行方向、利用全球定位系統220偵測飛行高度及所在位置、利用影像捕獲單元230拍攝監控場景的實時影像等飛行資料，並將該飛行資料傳送至手持式裝置100。其中，無人飛行載具200的所在位置由經度及緯度決定。步驟S109，飛行資料接收模塊13接收無人飛行載具200傳送的飛行資料，包括無人飛行載具200當前所在位置、飛行方向、飛行高度及監控場景的實時影像。步驟S111，顯示模塊11在顯示屏幕20相應顯示區域顯示無人飛行載具200當前所在位置、飛行方向、飛行高度及監控場景的實時影像。在本實施例中，如圖5所示，顯示模塊11數據顯示區域23顯示無人飛行載具200當前所在位置(包括經度及緯度)、飛行方向及飛行高度，在影像顯示區域22顯示監控場景的實時影像。步驟Sl 13，調整模塊14根據無人飛行載具200的飛行方向調整顯示屏幕20上3D 虛擬場景內容的移動方向，使得無人飛行載具200的示意圖標始終位於顯示屏幕20的預設位置。如圖7所示，當無人飛行載具200飛行方向不變(即一直向正北方飛行)，則調整模塊143控制3D虛擬場景的內容向顯示屏幕20的正下方移動，以保持無人飛行載具200的示意圖標始終位於顯示屏幕20的中心位置。步驟Sl 15，調整模塊14根據無人飛行載具200的飛行方向調整顯示屏幕20上3D 虛擬場景內容的顯示方向，使得用戶觀察3D虛擬場景的視線方向始終與無人飛行載具200 的飛行方向保持一致。例如，當無人飛行載具200的飛行方向由圖7所示的正北方N變更為正西方W時，調整模塊14將3D虛擬場景內容的顯示方向向右旋轉90度，使得用戶觀察3D 虛擬場景的視線方向始終與無人飛行載具200的飛行方向保持一致(如圖8所示)。通過步驟S113及S115的調整操作，在無人飛行載具200的飛行過程中，用戶在顯示屏幕20上觀察到的3D虛擬場景中無人飛行載具200的示意圖標一直保持靜止狀態，變化的是3D虛擬場景的內容。步驟S117，提示模塊15根據監控場景的實時影像是否出現異常判斷是否需要提示用戶向無人飛行載具200下達新的控制指令。所述異常可以定義為監控場景的實時影像中出現監控場景的初始圖像中沒有的人、物，或是監控場景的實時影像顯示出現監控場景的邊緣地帶或監控場景之外的區域。在本實施例中，當監控場景的實時影像顯示出現監控場景的邊緣地帶或監控場景之外的區域時，表示無人飛行載具200即將飛出監控場景。當監控場景的實時影像未出現異常時，流程結束。當監控場景的實時影像出現異常時，流程進入步驟S119，提示模塊15在顯示屏幕20上彈出一個提示框，提示用戶向無人飛行載具200 下達新的控制指令。之後，流程返回步驟S103。 最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。
權利要求
1.一種無人飛行載具控制系統，應用於手持式裝置，其特徵在於，該系統包括顯示模塊，用於在手持式裝置的顯示屏幕上顯示監控場景的三維虛擬場景，在顯示屏幕的預設位置顯示無人飛行載具的示意圖標；飛行控制模塊，用於將用戶對顯示屏幕上操作區域的操作信號轉換為控制信號發送至無人飛行載具；飛行資料接收模塊，用於接收無人飛行載具傳送的飛行資料，包括無人飛行載具當前所在位置、飛行方向、飛行高度及監控場景的實時影像；顯示模塊，還用於在顯示屏幕相應顯示區域顯示無人飛行載具當前所在位置、飛行方向、飛行高度及監控場景的實時影像；及調整模塊，用於根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景內容的移動方向，使得無人飛行載具的示意圖標始終位於顯示屏幕的預設位置，及用於根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景內容的顯示方向，使得用戶觀察三維虛擬場景的視線方向始終與無人飛行載具的飛行方向保持一致。
2.如權利要求1所述的無人飛行載具控制系統，其特徵在於，該系統還包括提示模塊， 用於當監控場景的實時影像出現異常時，提示用戶向無人飛行載具下達新的控制指令。
3.如權利要求1所述的無人飛行載具控制系統，其特徵在於，所述顯示屏幕上操作區域顯示方向控制器圖標、高度及速度控制器圖標，所述飛行控制模塊將用戶對方向控制器圖標的操作信號轉換為控制無人飛行載具的飛行方向的控制信號，將用戶對高度及速度控制器圖標的操作信號轉換為控制無人飛行載具的飛行高度及速度的控制信號。
4.如權利要求2所述的無人飛行載具控制系統，其特徵在於，所述異常包括監控場景的實時影像中出現監控場景的初始圖像中沒有的人、物，或是監控場景的實時影像顯示出現監控場景的邊緣地帶或監控場景之外的區域。
5.如權利要求2所述的無人飛行載具控制系統，其特徵在於，所述提示方式包括文字提示及語音提示。
6.一種無人飛行載具控制方法，應用於手持式裝置，其特徵在於，該方法包括 第一顯示步驟在手持式裝置的顯示屏幕上顯示監控場景的三維虛擬場景，在顯示屏幕的預設位置顯示無人飛行載具的示意圖標；飛行控制步驟將用戶對顯示屏幕上操作區域的操作信號轉換為控制信號發送至無人飛行載具；飛行資料接收步驟接收無人飛行載具傳送的飛行資料，包括無人飛行載具當前所在位置、飛行方向、飛行高度及監控場景的實時影像；第二顯示步驟在顯示屏幕相應顯示區域顯示無人飛行載具當前所在位置、飛行方向、 飛行高度及監控場景的實時影像；及第一調整步驟根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景內容的移動方向，使得無人飛行載具的示意圖標始終位於顯示屏幕的預設位置；及第二調整步驟根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景內容的顯示方向，使得用戶觀察三維虛擬場景的視線方向始終與無人飛行載具的飛行方向保持一致。
7.如權利要求6所述的無人飛行載具控制方法，其特徵在於，該方法還包括提示步驟當監控場景的實時影像出現異常時，提示用戶向無人飛行載具下達新的控制指令。
8.如權利要求6所述的無人飛行載具控制方法，其特徵在於，所述顯示屏幕上操作區域顯示方向控制器圖標、高度及速度控制器圖標，所述飛行控制步驟將用戶對方向控制器圖標的操作信號轉換為控制無人飛行載具的飛行方向的控制信號，將用戶對高度及速度控制器圖標的操作信號轉換為控制無人飛行載具的飛行高度及速度的控制信號。
9.如權利要求7所述的無人飛行載具控制方法，其特徵在於，所述異常包括監控場景的實時影像中出現監控場景的初始圖像中沒有的人、物，或是監控場景的實時影像顯示出現監控場景的邊緣地帶或監控場景之外的區域。
10.如權利要求7所述的無人飛行載具控制方法，其特徵在於，所述提示方式包括文字提示及語音提示。
全文摘要
一種無人飛行載具控制系統，應用於手持式裝置。該系統包括一系列功能模塊。利用這些功能模塊，該系統在手持式裝置的顯示屏幕上顯示監控場景的三維虛擬場景，在顯示屏幕的預設位置顯示無人飛行載具的示意圖標。該系統還將用戶對顯示屏幕上操作區域的操作信號轉換為控制信號發送至無人飛行載具，接收無人飛行載具傳送的飛行資料，在顯示屏幕相應顯示區域顯示相應的飛行資料，並根據無人飛行載具的飛行方向調整顯示屏幕上三維虛擬場景的內容的移動方向及顯示方向，使得無人飛行載具的示意圖標始終位於顯示屏幕的預設位置且用戶觀察三維虛擬場景的視線方向始終與無人飛行載具的飛行方向保持一致。本發明還提供一種無人飛行載具控制方法。
文檔編號G05D1/10GK102445947SQ201010299009
公開日2012年5月9日 申請日期2010年10月6日 優先權日2010年10月6日
發明者李後賢, 李章榮, 羅治平 申請人:鴻富錦精密工業(深圳)有限公司, 鴻海精密工業股份有限公司