無人機跟拍方法及裝置與流程
2024-02-14 13:45:15
本發明涉及通信技術領域，尤其涉及一種無人機跟拍方法及裝置。
背景技術：
無人駕駛飛機簡稱無人機，一般是利用無線電遙控設備和無人機自身的程序控制裝置進行操縱。無人機廣泛應用於影視拍攝、街景拍攝、遙感測繪、快遞投遞、電力巡檢、農作物監測、環境監測、災後救援等領域。
隨著科技的發展，人們對無人機的飛行拍攝功能提出了更高的要求。現有技術中，需要通過人工控制無人機的飛行路徑，以實現對目標進行跟拍。然而，人工控制無人機進行跟拍的方式，需要人工參與，消耗人力成本，並且無人機跟拍路徑受限於人工對無人機的操控能力，易出現跟拍路徑不穩定的情況，從而導致跟拍畫面質量較差。
技術實現要素：
本發明的實施例提供一種無人機跟拍方法及裝置，能夠解決無人機跟拍路徑不穩定的問題。
為達到上述目的，本發明的實施例採用如下技術方案：
第一方面，本發明的實施例提供一種無人機跟拍方法，包括：
拍攝視頻圖像；
對所述視頻圖像進行目標對象檢測；
當檢測到所述目標對象時，獲取所述目標對象的運動軌跡；
基於所述目標對象的運動軌跡，生成無人機飛行線路。
結合第一方面，在第一方面的第一種可能的實現方式中，所述對所述視頻圖像進行目標對象檢測，包括：
基於深度神經網絡，對所述視頻圖像進行目標對象檢測；其中，所述目標對象包括：行人、動物、車輛中的任意一種或任意組合。
結合第一方面，在第一方面的第二種可能的實現方式中，所述基於所述目標對象的運動軌跡，生成無人機飛行線路，包括：
基於所述目標對象的運動軌跡，生成與所述目標對象的運動軌跡一致的無人機飛行線路。
結合第一方面，在第一方面的第三種可能的實現方式中，所述基於所述目標對象的運動軌跡，生成無人機飛行線路，包括：
獲取所述目標對象的實時地理位置及所述無人機的實時地理位置；
根據所述目標對象的實時地理位置及所述無人機的實時地理位置，計算所述目標對象相對於所述無人機的相對方向及相對距離；
基於深度神經網絡，根據所述視頻圖像對所述目標對象的運動軌跡進行預測，得到目標對象預測軌跡；
根據所述目標對象預測軌跡、所述相對方向及相對距離，生成所述無人機飛行線路。
結合第一方面的第三種可能的實現方式，在第一方面的第四種可能的實現方式中，所述根據所述目標對象預測軌跡、所述相對方向及相對距離，生成所述無人機飛行線路之後，還包括：
按照所述無人機飛行線路，控制所述無人機的飛行方向及飛行速度，所述飛行方向至少通過所述相對方向確定得到，所述飛行速度至少通過所述相對距離確定得到。
第二方面，本發明的實施例提供一種無人機跟拍裝置，包括：
拍攝模塊，用於拍攝視頻圖像；
檢測模塊，用於對所述視頻圖像進行目標對象檢測；
獲取模塊，用於當檢測到所述目標對象時，獲取所述目標對象的運動軌跡；
生成模塊，用於基於所述目標對象的運動軌跡，生成無人機飛行線路。
結合第二方面，在第二方面的第一種可能的實現方式中，所述檢測模塊，包括：
檢測子模塊，用於基於深度神經網絡，對所述視頻圖像進行目標對象檢測；其中，所述目標對象包括：行人、動物、車輛中的任意一種或任意組合。
結合第二方面，在第二方面的第二種可能的實現方式中，所述生成模塊，包括：
第一生成子模塊，用於基於所述目標對象的運動軌跡，生成與所述目標對象的運動軌跡一致的無人機飛行線路。
結合第二方面，在第二方面的第三種可能的實現方式中，所述生成模塊，包括：
獲取子模塊，用於獲取所述目標對象的實時地理位置及所述無人機的實時地理位置；
計算子模塊，用於根據所述目標對象的實時地理位置及所述無人機的實時地理位置，計算所述目標對象相對於所述無人機的相對方向及相對距離；
預測子模塊，用於基於深度神經網絡，根據所述視頻圖像對所述目標對象的運動軌跡進行預測，得到目標對象預測軌跡；
第二生成子模塊，用於根據所述目標對象預測軌跡、所述相對方向及相對距離，生成所述無人機飛行線路。
結合第二方面的第三種可能的實現方式，在第二方面的第四種可能的實現方式中，所述根裝置還包括：
控制模塊，用於按照所述無人機飛行線路，控制所述無人機的飛行方向及飛行速度，所述飛行方向至少通過所述相對方向確定得到，所述飛行速度至少通過所述相對距離確定得到。
本發明實施例提供的無人機跟拍方法及裝置，通過拍攝視頻圖像；對所述視頻圖像進行目標對象檢測；當檢測到所述目標對象時，獲取所述目標對象的運動軌跡；基於所述目標對象的運動軌跡，生成無人機飛行線路。能夠當在無人機飛行過程中進行拍攝時，實現在無需人工進行控制的同時，對待拍攝物體準確跟拍，跟拍路徑穩定，從而可以提高跟拍畫面質量。
附圖說明
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖。
圖1是本發明實施例的無人機跟拍方法的流程示意圖；
圖2是本發明實施例的無人機跟拍方法的另一流程示意圖；
圖3是本發明實施例的無人機跟拍裝置結構示意圖；
圖4是本發明實施例的檢測模塊的結構示意圖；
圖5是本發明實施例的生成模塊的結構示意圖；
圖6是本發明實施例的生成模塊的另一結構示意圖；
圖7是本發明實施例的無人機跟拍裝置的另一結構示意圖；
圖8是本發明實施例的無人機跟拍裝置800的結構示意圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本發明保護的範圍。
本發明一實施例提供一種無人機跟拍方法，如圖1所示，所述方法包括：
101、拍攝視頻圖像。
對於本發明實施例，可以通過無人機上集成的攝像模組或攝像裝置拍攝視頻圖像，也可以通過外接在無人機上的攝像裝置(例如，運動攝像頭)拍攝視頻圖像，並將該視頻圖像傳輸給無人機，本發明實施例不做限制。
102、對所述視頻圖像進行目標對象檢測。
對於本發明實施例，可以通過無人機上具有運算能力的處理晶片，對視頻圖像進行分析檢測，是否存在該目標對象；也可以在無人機發送給已建立連接的移動終端或伺服器後，由與無人機已建立連接的移動終端或伺服器對視頻圖像進行分析檢測，是否存在該目標對象，本發明實施例不做限制。
在本發明實施例中，具體可以通過深度學習網絡，在視頻圖像中進行特徵提取，獲取目標對象的各關鍵點信息，從而實現在視頻圖像中對目標對象的檢測。
103、當檢測到所述目標對象時，獲取所述目標對象的運動軌跡。
可選地，在檢測到目標對象的各視頻幀中，獲取目標對象的位置信息，以及該視頻幀對應的時間信息；並基於各位置信息及各時間信息，生成目標對象的運動軌跡。其中，位置信息可以是目標對象的實際地理位置信息；也可以是目標對象相對於無人機的位置信息(即：以無人機的中心為坐標原點來看，目標對象在該坐標系中的位置)；還可以是以檢測到目標對象的第一個視頻幀中目標對象的位置為中心，其他視頻幀中目標對象的位置相對於該中心的位置(即：以第一個視頻幀中目標對象的中心為坐標原點來看，其他視頻幀中的目標對象在該坐標系中的位置)。
104、基於所述目標對象的運動軌跡，生成無人機飛行線路。
對於本發明實施例，具體可以為：基於所述目標對象的運動軌跡，生成與所述目標對象的運動軌跡一致的無人機飛行線路。
在本發明實施例中，與目標對象的運動軌跡一致的無人機飛行線路是指，二者的運動軌跡完全相同，即二者的運動方向、運動速度、運動距離均完全相同。
通過生成與目標對象的運動軌跡一致的無人機飛行線路，能夠實現無人機對目標對象的穩定跟拍，即在無人機對目標對象的拍攝過程中，無人機在視頻畫面中的位置始終處於畫面的同一位置，可以提高無人機對目標對象拍攝的視頻畫面的穩定性。
可選地，在檢測到目標對象存在的第一幀視頻圖像時，無人機對視頻拍攝畫面的範圍及角度進行調整，以實現該目標對象在無人機拍攝的視頻圖像的正中間。
在本發明實施例中，通過在首次拍攝到目標對象時，將其調整至無人機拍攝的視頻圖像的正中間，在後續對目標對象的拍攝過程中，無人機始終保持與目標對象同步運動，能夠實現目標對象始終在無人機拍攝的視頻圖像的正中間，從而可以進一步提高無人機對目標對象進行跟拍的畫面質量。
對於本發明實施例，還可以獲取預設時間段範圍內的目標對象的運動軌跡，並基於此生成無人機的飛行線路。例如，獲取目標對象前2秒的運動軌跡，基於此生成無人機當前的飛行線路。
與現有技術相比，本發明實施例通過拍攝視頻圖像；對所述視頻圖像進行目標對象檢測；當檢測到所述目標對象時，獲取所述目標對象的運動軌跡；基於所述目標對象的運動軌跡，生成無人機飛行線路。能夠當在無人機飛行過程中進行拍攝時，實現在無需人工進行控制的同時，對待拍攝物體準確跟拍，跟拍路徑穩定，從而可以提高跟拍畫面質量。
本發明又一實施例提供一種無人機拍攝方法，如圖2所示，所述方法包括：
201、拍攝視頻圖像。
對於本發明實施例，可以通過無人機上集成的攝像模組或攝像裝置拍攝視頻圖像，也可以通過外接在無人機上的攝像裝置(例如，運動攝像頭)拍攝視頻圖像，並將該視頻圖像傳輸給無人機，本發明實施例不做限制。
202、基於深度神經網絡，對所述視頻圖像進行目標對象檢測。
其中，所述目標對象包括：行人、動物、車輛中的任意一種或任意組合。
對於本發明實施例，可以通過無人機上具有運算能力的處理晶片，對視頻圖像進行分析檢測，是否存在該目標對象；也可以在無人機發送給已建立連接的移動終端或伺服器後，由與無人機已建立連接的移動終端或伺服器對視頻圖像進行分析檢測，是否存在該目標對象，本發明實施例不做限制。
203、當檢測到所述目標對象時，獲取所述目標對象的運動軌跡。
可選地，在檢測到目標對象的各視頻幀中，獲取目標對象的位置信息，以及該視頻幀對應的時間信息；並基於各位置信息及各時間信息，生成目標對象的運動軌跡。其中，位置信息可以是目標對象的實際地理位置信息；也可以是目標對象相對於無人機的位置信息(即：以無人機的中心為坐標原點來看，目標對象在該坐標系中的位置)；還可以是以檢測到目標對象的第一個視頻幀中目標對象的位置為中心，其他視頻幀中目標對象的位置相對於該中心的位置(即：以第一個視頻幀中目標對象的中心為坐標原點來看，其他視頻幀中的目標對象在該坐標系中的位置)。
204、獲取所述目標對象的實時地理位置及所述無人機的實時地理位置。
在本發明實施例中，具體可以通過深度神經網絡，在視頻圖像中進行特徵提取，獲取目標對象的各關鍵點信息，從而實現在視頻圖像中對目標對象的檢測。
205、根據所述目標對象的實時地理位置及所述無人機的實時地理位置，計算所述目標對象相對於所述無人機的相對方向及相對距離。
可選地，步驟204-205也可以替換為：獲取所述目標對象相對於所述無人機的相對方向及相對距離，即：以無人機的中心為坐標原點來看，目標對象在該坐標系中的位置。
206、基於深度神經網絡，根據所述視頻圖像對所述目標對象的運動軌跡進行預測，得到目標對象預測軌跡。
207、根據所述目標對象預測軌跡、所述相對方向及相對距離，生成所述無人機飛行線路。
步驟204-207替換為：基於所述目標對象的運動軌跡，生成與所述目標對象的運動軌跡一致的無人機飛行線路。
在本發明實施例中，與目標對象的運動軌跡一致的無人機飛行線路是指，二者的運動軌跡完全相同，即二者的運動方向、運動速度、運動距離均完全相同。
通過生成與目標對象的運動軌跡一致的無人機飛行線路，能夠實現無人機對目標對象的穩定跟拍，即在無人機對目標對象的拍攝過程中，無人機在視頻畫面中的位置始終處於畫面的同一位置，可以提高無人機對目標對象拍攝的視頻畫面的穩定性。
可選地，在檢測到目標對象存在的第一幀視頻圖像時，無人機對視頻拍攝畫面的範圍及角度進行調整，以實現該目標對象在無人機拍攝的視頻圖像的正中間。
在本發明實施例中，通過在首次拍攝到目標對象時，將其調整至無人機拍攝的視頻圖像的正中間，在後續對目標對象的拍攝過程中，無人機始終保持與目標對象同步運動，能夠實現目標對象始終在無人機拍攝的視頻圖像的正中間，從而可以進一步提高無人機對目標對象進行跟拍的畫面質量。
對於本發明實施例，還可以獲取預設時間段範圍內的目標對象的運動軌跡，並基於此生成無人機的飛行線路。例如，獲取目標對象前2秒的運動軌跡，基於此生成無人機當前的飛行線路。
208、按照所述無人機飛行線路，控制所述無人機的飛行方向及飛行速度，所述飛行方向至少通過所述相對方向確定得到，所述飛行速度至少通過所述相對距離確定得到。
對於本發明實施例，通過相對方向控制飛行方向，通過相對距離控制飛行速度，能夠實現無人機對目標對象的準確跟拍。
與現有技術相比，本發明實施例通過拍攝視頻圖像；對所述視頻圖像進行目標對象檢測；當檢測到所述目標對象時，獲取所述目標對象的運動軌跡；基於所述目標對象的運動軌跡，生成無人機飛行線路。能夠當在無人機飛行過程中進行拍攝時，實現在無需人工進行控制的同時，對待拍攝物體準確跟拍，跟拍路徑穩定，從而可以提高跟拍畫面質量。
本發明又一實施例提供一種無人機跟拍裝置，如圖3所示，所述裝置包括：
拍攝模塊31，用於拍攝視頻圖像；
檢測模塊32，用於對所述視頻圖像進行目標對象檢測；
獲取模塊33，用於當檢測到所述目標對象時，獲取所述目標對象的運動軌跡；
生成模塊34，用於基於所述目標對象的運動軌跡，生成無人機飛行線路。
進一步的，如圖4所示，所述檢測模塊32，包括：
檢測子模塊321，用於基於深度神經網絡，對所述視頻圖像進行目標對象檢測；其中，所述目標對象包括：行人、動物、車輛中的任意一種或任意組合。
進一步的，如圖5所示，所述生成模塊34，包括：
第一生成子模塊341，用於基於所述目標對象的運動軌跡，生成與所述目標對象的運動軌跡一致的無人機飛行線路。
進一步的，如圖6所示，所述生成模塊34，包括：
獲取子模塊342，用於獲取所述目標對象的實時地理位置及所述無人機的實時地理位置；
計算子模塊343，用於根據所述目標對象的實時地理位置及所述無人機的實時地理位置，計算所述目標對象相對於所述無人機的相對方向及相對距離；
預測子模塊344，用於基於深度神經網絡，根據所述視頻圖像對所述目標對象的運動軌跡進行預測，得到目標對象預測軌跡；
第二生成子模塊345，用於根據所述目標對象預測軌跡、所述相對方向及相對距離，生成所述無人機飛行線路。
進一步的，如圖7所示，所述根裝置還包括：
控制模塊71，用於按照所述無人機飛行線路，控制所述無人機的飛行方向及飛行速度，所述飛行方向至少通過所述相對方向確定得到，所述飛行速度至少通過所述相對距離確定得到。
與現有技術相比，本發明實施例通過拍攝視頻圖像；對所述視頻圖像進行目標對象檢測；當檢測到所述目標對象時，獲取所述目標對象的運動軌跡；基於所述目標對象的運動軌跡，生成無人機飛行線路。能夠當在無人機飛行過程中進行拍攝時，實現在無需人工進行控制的同時，對待拍攝物體準確跟拍，跟拍路徑穩定，從而可以提高跟拍畫面質量。
本發明實施例提供的無人機跟拍裝置可以實現上述提供的方法實施例，具體功能實現請參見方法實施例中的說明，在此不再贅述。本發明實施例提供的無人機跟拍方法及裝置可以適用於控制無人機進行飛機，但不僅限於此。
如圖8所示，無人機跟拍裝置800可以是行動電話，計算機，數字廣播終端，消息收發設備，遊戲控制臺，平板設備，個人數字助理等。
參照圖8，無人機跟拍裝置800可以包括以下一個或多個組件：處理組件802，存儲器804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(i/o)的接口812，傳感器組件814，以及通信組件818。
處理組件802通常控制無人機跟拍裝置800的整體操作，諸如與顯示，電話呼叫，數據通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令。
此外，處理組件802可以包括一個或多個模塊，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模塊，以方便多媒體組件808和處理組件802之間的交互。
存儲器804被配置為存儲各種類型的數據以支持在無人機跟拍裝置800的操作。這些數據的示例包括用於在無人機跟拍裝置800上操作的任何應用程式或方法的指令，聯繫人數據，電話簿數據，消息，圖片，視頻等。存儲器804可以由任何類型的易失性或非易失性存儲設備或者它們的組合實現，如靜態隨機存取存儲器(sram)，電可擦除可編程只讀存儲器(eeprom)，可擦除可編程只讀存儲器(eprom)，可編程只讀存儲器(prom)，只讀存儲器(rom)，磁存儲器，快閃記憶體，磁碟或光碟。
電源組件806為無人機跟拍裝置800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為無人機跟拍裝置800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述無人機跟拍裝置800和用戶之間的提供一個輸出接口的屏幕。在一些實施例中，屏幕可以包括液晶顯示器(lcd)和觸摸面板(tp)。如果屏幕包括觸摸面板，屏幕可以被實現為觸控螢幕，以接收來自用戶的輸入信號。觸摸面板包括一個或多個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝像頭和/或後置攝像頭。當無人機跟拍裝置800處於操作模式，如拍攝模式或視頻模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體數據。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(mic)，當無人機跟拍裝置800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步存儲在存儲器804或經由通信組件818發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
i/o接口812為處理組件802和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
傳感器組件814包括一個或多個傳感器，用於為無人機跟拍裝置800提供各個方面的狀態評估。例如，傳感器組件814可以檢測到無人機跟拍裝置800的打開/關閉狀態，組件的相對定位，例如所述組件為無人機跟拍裝置800的顯示器和小鍵盤，傳感器組件814還可以檢測無人機跟拍裝置800或無人機跟拍裝置800一個組件的位置改變，用戶與無人機跟拍裝置800接觸的存在或不存在，無人機跟拍裝置800方位或加速/減速和無人機跟拍裝置800的溫度變化。傳感器組件814可以包括接近傳感器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。傳感器組件814還可以包括光傳感器，如cmos或ccd圖像傳感器，用於在成像應用中使用。在一些實施例中，該傳感器組件814還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。
通信組件818被配置為便於無人機跟拍裝置800和其他設備之間有線或無線方式的通信。無人機跟拍裝置800可以接入基於通信標準的無線網絡，如wifi，2g或3g，或它們的組合。在一個示例性實施例中，通信組件818經由廣播信道接收來自外部廣播管理系統的廣播信號或廣播相關信息。在一個示例性實施例中，所述通信組件818還包括近場通信(nfc)模塊，以促進短程通信。例如，在nfc模塊可基於射頻識別(rfid)技術，紅外數據協會(irda)技術，超寬帶(uwb)技術，藍牙(bt)技術和其他技術來實現。
在示例性實施例中，無人機跟拍裝置800可以被一個或多個應用專用集成電路(asic)、數位訊號處理器(dsp)、數位訊號處理設備(dspd)、可編程邏輯器件(pld)、現場可編程門陣列(fpga)、控制器、微控制器、微處理器或其他電子元件實現。
本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於設備實施例而言，由於其基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述的程序可存儲於一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質可為磁碟、光碟、只讀存儲記憶體(read-onlymemory，rom)或隨機存儲記憶體(randomaccessmemory，ram)等。
以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應該以權利要求的保護範圍為準。