檢測車輛控制設備、控制方法和電腦程式與流程

2023-06-28 19:35:16

本申請要求2014年10月17日提交的日本優先權專利申請JP 2014-212953的權益，其全部內容通過引用併入本文。

技術領域

本公開涉及控制設備、控制方法和電腦程式。

背景技術：

已經公開了與用於使用安裝在無線電可控飛行體中的相機捕獲照片的方法有關的技術(例如，參考專利文獻1)。使用安裝在這種飛行體中的相機，能夠從天空或三腳架難以設置的位置捕獲照片。使用安裝在飛行體中的相機進行捕獲帶來了各種優點，因為其可以抑制成本，並且與當使用真實的飛機或直升機時的情況相比，安全捕獲、在低海拔或狹窄地方捕獲、在目標附近捕獲等是可能的。

引用列表

專利文獻

PTL 1：JP 2006-27448A

技術實現要素：

技術問題

為了操作諸如可以是汽車、飛行體或配備有這種相機的機器人的車輛的移動對象，通常需要專用控制器。這裡，當用戶可以使用由移動對象捕獲的圖像簡單地向移動對象的指定移動指令時，即使不習慣移動對象的操作的用戶也被認為能夠容易地將移動對象移動到期望的位置。

在這點上，本公開提出了新穎的和改進的並且能夠使用通過捕獲移動對象而獲得的圖像來給出直觀地移動移動對象的指令的控制系統、控制方法和電腦程式。

問題的解決方案

根據本公開的一個方面，提供了一種車輛控制系統，包括：至少一個成像設備，附接到車輛並且被配置為捕獲多個圖像；以及控制電路，其被配置為從所述多個圖像生成合成圖像，並且在顯示單元上顯示所述合成圖像，其中所述車輛根據正在顯示所述合成圖像的顯示單元的一部分上的用戶操作來操作。

根據本公開的另一方面，提供了一種車輛控制方法，包括：經由附接到車輛的至少一個成像設備捕獲多個圖像；從所述多個圖像生成合成圖像，並且在顯示單元上顯示所述合成圖像；以及根據正在顯示所述合成圖像的所述顯示單元的一部分上的用戶操作來操作所述車輛。

根據本公開的另一方面，計算機系統包括：至少一個處理單元；和存儲器，所述存儲器包括存儲指令的非暫時性計算機可讀介質，所述指令在被所述至少一個處理單元執行時使得所述計算機系統使得附接到車輛的至少一個成像設備捕獲多個圖像，從所述多個圖像產生合成圖像，在顯示單元上顯示所述合成圖像，以及根據用戶對正在顯示所述合成圖像的顯示單元的一部分上的用戶操作來操作所述車輛。

發明效果

如上所述，根據本公開的實施例中的一個或多個，提供了新穎的和改進的並且能夠使用通過移動對象捕獲的圖像來給出直觀地移動移動對象的指令的控制系統、控制方法和電腦程式。

注意，上述效果不一定受到限制，並且與效果一起或代替效果，可以呈現期望在本說明書中引入的任何效果或可以從本說明書預期的其他效果。

附圖說明

[圖1]圖1是用於描述本公開的實施例的概要的說明圖。

[圖2]圖2是示出根據本公開的實施例的檢測系統10的示例性系統配置的說明圖。

[圖3]圖3是示出根據本公開的實施例的懸停相機100的示例性功能配置的說明圖。

[圖4]圖4是示出根據本公開的實施例的控制端子200的示例性功能配置的說明圖。

[圖5]圖5是示出根據本公開的實施例的檢測系統10的示例性操作的流程圖。

[圖6]圖6是示出在控制端子200的顯示單元210上顯示的示例性畫面的說明圖。

[圖7]圖7是示出在控制端子200的顯示單元210上顯示的示例性畫面的說明圖。

[圖8]圖8是示出在控制端子200的顯示單元210上顯示的示例性畫面的說明圖。

[圖9]圖9是概念性地示出通過懸停相機100捕獲橋1的底面的示例的說明圖。

[圖10]圖10是概念性地示出根據本公開的實施例的檢測系統10中的懸停相機100的操作的說明圖。

[圖11]圖11是概念性地示出根據本公開的實施例的檢測系統10中的懸停相機100的操作的說明圖。

[圖12]圖12是示出在控制端子200的顯示單元210上顯示的示例性畫面的說明圖。

[圖13]圖13是示出當檢測橋梁3的底面時的概要的說明圖。

[圖14]圖14是示出通過拼接由懸停相機100捕獲的靜止圖像而獲得的圖像20的示例的說明圖。

[圖15]圖15是示出根據本公開的實施例的信息處理設備300的示例性功能配置的說明圖。

[圖16]圖16是示出根據本公開的實施例的信息處理設備300的示例性操作的流程圖。

[圖17]圖17是示出根據本公開的實施例的控制端子200的示例性操作的流程圖。

[圖18]圖18是示出使得懸停相機100捕獲地面方向的示例的說明圖。

[圖19]圖19是示出使得用戶使用組合圖像指定懸停相機100的飛行路徑的示例的說明圖。

[圖20]圖20是示出使得懸停相機100捕獲向上方向(橋的背面)的示例的說明圖。

[圖21]圖21是示出使得用戶使用組合圖像指定懸停相機100的飛行路徑的示例的說明圖。

[圖22]圖22是示出控制端子200生成並顯示組合圖像的示例的說明圖。

[圖23]圖23是用於基於用戶對組合圖像的輸入來描述控制端子200的飛行路徑生成處理的說明圖。

[圖24]圖24是示出示例性組合圖像的說明圖。

[圖25]圖25是示出示例性組合圖像的說明圖。

[圖26]圖26是示出根據本公開的實施例的控制端子200的示例性操作的流程圖。

具體實施方式

在下文中，將參考附圖詳細描述本公開的優選實施例(一個或多個)。注意，在本說明書和附圖中，用相同的附圖標記表示具有基本相同的功能和結構的結構元件，並且省略對這些結構元件的重複說明。

將按照以下順序進行描述。

1.本公開的實施例

1.1.概述

1.2.示例性系統配置

1.3.示例性功能配置

1.4.示例性操作

1.5.示例性損壞數據生成

1.5.1.示例性功能配置

1.5.2.示例性操作

1.6.使用組合圖像的示例飛行指令

2.結論

(1.1.概述)

在本公開的實施例的具體實施方式中，將首先描述本公開的實施例的概述。

在諸如道路、橋、隧道或建築物的結構的操作和維護中，由人來檢查結構的狀態是不可缺少的。通常，為了視覺地檢查這種結構，通常，工人接近結構，並且在視覺上檢查在結構中是否發生諸如螺栓等的耦接構件的腐蝕或破裂或鬆動的損壞，或者執行錘擊測試以檢查這種異常的存在或不存在。

例如，對於橋梁，特別是混凝土橋梁的操作和維護，需要為執行對橋梁或橋墩的視覺檢測和錘擊測試的工人在橋墩或橋梁的背面部分處設置腳手架或者需要關閉一些車道或所有車道，以確保工人的安全或放置工作車輛。因此，檢測所需的成本，因道路關閉而放置道路引導人員所需的成本以及由於道路關閉而發生的繞道的交通堵塞可能是有問題的。

此外，例如，當在河流或海上進行建造時，存在不容易設置腳手架或者難以設置腳手架的橋。因此，考慮到這種情況，期望能夠以低成本且高安全性地實現結構檢測而不影響交通的技術。

因此，本申請的公開者已經審查了考慮到這種情況能夠以低成本且高安全性地實現結構檢測而不影響交通的技術。此外，本申請的公開者以提出了一種能夠使用配備有成像設備的飛行體(在下面的描述中，配備有成像設備的飛行體也被稱為「懸停相機」)來以低成本且高安全性地實現檢測而不影響交通的技術結束，這將在下面描述。

圖1是用於描述本公開的實施例的概要的說明圖。例如，圖1示意性地示出由混凝土構成的橋1。當檢測由混凝土構成的橋1時，在相關技術中，需要在橋墩2或橋梁3的背面部分處設置腳手架，以便工人視覺地檢測是否已發生諸如破裂或腐蝕的損壞，或者需要關閉一些車道或所有車道以確保工人的安全或放置工作車輛。

在本公開的實施例中，當檢測橋1時使用懸停相機100。懸停相機100是配備有成像設備的飛行體，其被配置為根據預先設置的飛行信息(在本實施例中包括飛行路徑和靜止圖像的成像位置的信息)來執行自動飛行。靜止圖像的成像位置的信息的示例包括執行成像處理的位置、成像方向和行進到執行下一成像處理的位置的時間。

例如，當檢測橋梁3的背面(底面)時，操作懸停相機100以執行自動飛行以捕獲橋梁3的背面。通過使得懸停相機100捕獲橋梁3的背面，不需要在橋墩2或橋梁3的背面部分處設置腳手架，以用於檢測橋梁3，車道關閉的頻率減小，或者不需要執行車道關閉。此外，例如，當檢測橋梁3的側面(側面)時，操作懸停相機100以執行自動飛行以捕獲橋梁3的側面。因此，通過使得懸停相機100執行自動飛行並使得懸停相機100捕獲橋梁3的背面或側面，能夠在確保工人的安全性而不影響交通的情況下以低成本檢測橋梁1。

為了使得懸停相機100執行自動飛行以捕獲橋梁3的背面，需要設置懸停相機100的飛行路徑和設置橋梁3的背面的位置處的靜止圖像的成像位置的信息。在本公開的實施例中，目的是使得能夠通過使用與與橋1的典型狀況有關的信息高效地創建要為懸停相機100設置的飛行信息來執行橋梁1的高效檢測。

以上已經描述了本公開的實施例的概述。接下來，將描述根據本公開的實施例的檢測系統的示例性配置。

(1.2.示例性系統配置)

圖2是示出根據本公開的實施例的檢測系統10的示例性系統配置的說明圖。根據圖2所示的本公開的實施例的檢測系統10是配置為高效地檢查例如橋1的結構的系統。下面將參考圖2描述根據本公開的實施例的檢測系統10的示例性系統配置。

如圖2所示，根據本公開的實施例的檢測系統10包括懸停相機100、控制端子200、信息處理設備300、無線中繼節點400、位置估計節點500、基站600、充電站700以及伺服器設備800。

懸停相機100是本公開的示例性成像設備，並且用作上述配備有成像設備的飛行體。懸停相機100是被配置為能夠基於指定的飛行路徑執行自動飛行並通過成像設備在指定的成像位置捕獲靜止圖像的飛行體。例如，懸停相機100可以通過四個轉子飛行，並且通過控制每個轉子的旋轉而在向上、向下或向前移動的同時飛行。當然，轉子的數量不限於相關示例。

例如，將從飛行開始位置到飛行結束位置的飛行路徑和為懸停相機100設置的成像位置設置為全球定位系統(GPS)的位置信息。因此，可以將從GPS衛星接收無線電波並計算當前位置的GPS接收器併入到懸停相機100中。可以使用緯度、經度和海拔中的全部作為GPS位置信息來設置為懸停相機100設置的飛行路徑，或者可以僅使用緯度和經度作為GPS位置信息來設置為懸停相機100設置的飛行路徑，並且例如，可以將將在下面描述的與基站600的相對高度設置為海拔。

控制端子200是本公開的示例性控制設備，並且用作執行與懸停相機100的飛行相關的控制的端子。例如，作為與懸停相機100的飛行相關的控制，控制端子200生成要發送到懸停相機100的飛行信息，向懸停相機100給出起飛指令，向將在下面描述的基站600給出返回指令，或者當懸停相機100由於某種原因不會自動飛行時駕駛懸停相機100。下面將詳細描述由控制端子200對懸停相機100的飛行信息的生成處理，但將在此簡要描述。

當生成懸停相機100的飛行信息時，控制端子200讀取與要檢測的橋1的典型狀況有關的信息(例如要檢查的橋1的典型狀況圖)，並且使得在屏幕上顯示所讀取的信息。橋1的典型狀況圖上的點與包括更詳細的GPS信息的地圖數據上的點相關聯。優選地通過至少兩組點來執行關聯。橋1的典型狀況圖預先與包括詳細的GPS信息的地圖數據上的點相關聯，並且因此將懸停相機100的飛行路徑定義為GPS值。然後，控制端子200基於橋1的典型狀況圖生成懸停相機100的飛行路徑。懸停相機100的飛行路徑以重疊方式顯示在典型狀況圖上，使得容易由用戶(結構檢測工人)理解。

控制端子200在生成懸停相機100的飛行信息時可以考慮要由懸停相機100捕獲的橋1或橋1的一部分的結構或尺寸。控制端子200在生成懸停相機100的飛行信息時可以生成飛行信息，以使得懸停相機100捕獲具體而言被認為可能被損壞的部分。

如上所述，設置到懸停相機100的飛行路徑可以使用緯度、經度和海拔中的全部作為GPS位置信息來設置，但是考慮在橋1的典型狀況圖中不包括海拔數據的情況。當在橋梁1的典型狀況圖中不包括海拔數據時，僅使用緯度和經度作為GPS位置信息來設置設置到懸停相機100的飛行路徑，並且例如，與基站600的相對高度可以被設置為海拔。

當為懸停相機100設置飛行信息時，控制端子200優選地生成飛行信息，使得當懸停相機100捕獲橋1時與成像目標面的距離變得恆定。由於飛行信息被生成為使得當懸停相機100捕獲橋1時，與成像目標面的距離變得恆定，因此控制端子200可以使得懸停相機100生成具有相同尺度的圖像。

控制端子200是諸如膝上型計算機或平板端子的可攜式設備，並且執行向/從懸停相機100的信息的無線發送和接收。控制端子200可以直接與懸停相機100進行與懸停相機100的無線通信，但是由於存在在檢測結構，特別是橋1時，懸停相機100飛越控制端子200的通信範圍的情況，因此控制端子200可以通過在檢測時安裝的無線中繼節點400進行與懸停相機100的無線通信。

控制端子200獲取在懸停相機100飛行時由成像設備捕獲的圖像，並且根據需要顯示所獲取的圖像。控制端子200可以在懸停相機100飛行的同時以流方式獲取由成像設備捕獲的運動圖像，並顯示所獲取的運動圖像。由於由成像設備捕獲的運動圖像被在懸停相機100飛行的同時以流方式獲取並顯示，因此控制端子200可以向用戶呈現懸停相機100正在飛行的位置。

信息處理設備300是處理各種信息的設備，並且可以是例如具有處理信息的功能的設備，諸如個人計算機(PC)、遊戲機等。在本實施例中，信息處理設備300是具有顯示特別是由懸停相機100捕獲的圖像的功能的設備並且使得用戶能夠檢查橋1的狀態。信息處理設備300具有根據由懸停相機100捕獲的圖像計算橋梁3的損壞的絕對位置並生成將在下面描述的損壞數據的功能。信息處理設備300可以具有將所生成的損壞數據發送到伺服器設備800的功能。此外，控制端子200可以具有根據由懸停相機100捕獲的圖像來計算橋梁3的損壞的絕對位置並生成將在下面描述的損壞數據的功能。

例如，信息處理設備300從控制端子200獲取由懸停相機100捕獲的圖像。通過信息處理設備300對由懸停相機100捕獲的圖像的獲取不限於特定時間，並且，例如，信息處理設備300可以在懸停相機100的一次飛行結束時從控制端子200獲取由懸停相機100捕獲的圖像。

無線中繼節點400是中繼在懸停相機100和控制端子200之間的無線通信的設備。如上所述，在檢測結構，特別是橋1時，懸停相機100可能飛越控制端子200的通信範圍。因此，可以通過在檢測結構時安裝的無線中繼節點400來執行懸停相機100和控制端子200之間的無線通信。無線中繼節點400的數量不限於1，並且可以根據橋1的檢測範圍安裝多個無線中繼節點400。因此，可以通過多個無線中繼節點400來執行懸停相機100和控制端子200之間的無線通信。懸停相機100可以根據無線電波的情況在控制端子200和無線中繼節點400之間切換通信目的地。

無線中繼節點400可以在檢測橋1時安裝在橋面上(優選地，人行道上)的適當位置處。無線中繼節點400可以被安裝為從以便從橋梁3的護欄懸掛。此外，檢測橋1之前，期望例如通過某種方法來使用控制端子200檢查無線中繼節點400是否正常操作。

位置估計節點500是使得懸停相機100估計當前位置的設備。如上所述，例如，使用GPS位置信息來設置懸停相機100的飛行路徑。此時，當來自GPS衛星的無線電波沒有被阻擋時，懸停相機100可以以高精度檢測當前位置。然而，當懸停相機100在橋梁3下方飛行並且因此來自GPS衛星的無線電波被橋梁3阻擋或者例如由於橋1的無線電波的反射而發生多路徑時，懸停相機100不可能以高精度檢測當前位置。

在這點上，在本實施例中，位置估計節點500被安裝在橋梁3下方，以使得懸停相機100能夠精確地獲取當前位置。例如，增強現實(AR)標記或GPS信號發送器可以用作位置估計節點500。

當使用AR標記作為位置估計節點500時，為了使懸停相機100能夠識別當前位置，例如，從橋1的兩端懸掛位置估計節點500，並且使懸停相機100捕獲位置估計節點500。此外，使已經捕獲了位置估計節點500的懸停相機100在指定的位置估計節點500之間飛行。例如，懸停相機100可以基於安裝在懸停相機100中的傳感器(例如，慣性測量單元(IMU)傳感器)的積分值以及從捕獲圖像計算出的到移動目的地的位置估計節點500的距離來檢測位置估計節點500之間的位置。因此，懸停相機100捕獲位置估計節點500，並且因此可以精確地獲取甚至在橋梁3下方的當前位置。

此外，當GPS信號發送器用作位置估計節點500時，為了使懸停相機100能夠識別當前位置，例如，將位置估計節點500安裝在橋1的相對角或四個角。懸停相機100接收從位置估計節點500發送的GPS信號，並且因此即使在橋梁3下方也可以精確地獲取當前位置。

基站600是為懸停相機100的起飛和著陸而安裝的設備。基站600包括GPS接收器，並且接收來自GPS衛星的無線電波並計算當前位置。由基站600計算的當前位置被發送到控制端子200。由於由基站600計算的當前位置被發送到控制端子200，因此控制端子200可以使得基站600的位置顯示在橋1的典型狀況圖上。

基站600可以具有檢查懸停相機100的操作的功能。由基站600執行的懸停相機100的操作檢查的示例包括通信功能檢查、成像功能檢查、飛行功能檢查和各種類型的傳感器的校準。此外，懸停相機100的傳感器的校準方法不限於使用基站600的方法。例如，作為懸停相機100的傳感器的校準方法，可以使用以專用校準固定懸停相機100，並通過沿俯仰方向或滾動方向旋轉懸停相機100來校正傳感器的方法。

充電站700對安裝在懸停相機100中的二次電池進行充電。懸停相機100使用電池作為電源，並且在飛行或捕獲期間消耗在電池中累積的電力。當安裝在懸停相機100中的電池是二次電池時，充電站700可以通過對電池充電來恢復由懸停相機100消耗的電力。充電站700可以通過將線纜等連接到懸停相機100並向懸停相機100提供電力來對懸停相機100充電，或者可以通過非接觸式電力傳輸方案向懸停相機100提供電力來對懸停相機100充電。

伺服器設備800是存儲各種類型的數據的設備。在本實施例中，伺服器設備800可以存儲由信息處理設備300生成的損壞數據。

根據本公開的實施例的檢測系統10具有圖2所示的配置，並且可以使得懸停相機100捕獲橋1並獲取橋1的圖像。由於使得懸停相機100捕獲橋1，因此在根據本公開的實施例的檢測系統10中，不需要在橋墩或橋梁處設置腳手架，減少了關閉一些車道或所有車道以確保工人安全的頻率，並且不需要關閉車道，因此能夠以低成本來高效地進行橋1的檢測。

上面已經描述了根據本公開的實施例的檢測系統10的示例性系統配置。接下來，將描述根據本公開的實施例的配置檢測系統10的懸停相機100和控制端子200的示例性功能配置。

(1.3.示例性功能配置)

首先將描述根據本公開的實施例的懸停相機100的示例性功能配置。圖3是示出根據本公開的實施例的懸停相機100的示例性功能配置的說明圖。下面將參考圖3描述根據本公開的實施例的懸停相機100的示例性功能配置。

如圖3所示，根據本公開的實施例的懸停相機100被配置為包括成像設備101、轉子104a至104d、電機108a至108d、控制單元110、通信單元120、傳感器單元130、位置信息獲取單元132、存儲單元140和電池150。

控制單元110控制懸停相機100的操作。例如，控制單元110可以控制經由調整電機108a至108d的旋轉速度來調整轉子104a至104d的旋轉速度、經由成像設備101的成像處理、通過通信單元120向/從其他設備(例如，控制端子200)的信息的發送和接收處理以及信息在存儲單元140中的存儲和從存儲單元140的讀取。

在本實施例中，控制單元110基於從控制端子200發送的飛行信息，控制其中調整電機108a至108d的旋轉速度的飛行和通過成像設備101的靜止圖像的成像處理的執行。控制單元110基於從控制端子200發送的飛行信息來控制電機108a至108d或成像設備101，並且因此可以基於控制端子200的請求向控制端子200提供圖像。

成像設備101配置有透鏡、諸如CCD圖像傳感器或CMOS圖像傳感器的圖像傳感器、閃光燈等。安裝在懸停相機100中的成像設備101根據來自控制端子200的控制捕獲靜止圖像或運動圖像。由成像設備101捕獲的圖像從通信單元120發送到控制端子200。在本實施例中，成像設備101基於從控制端子200發送的飛行信息中包括的靜止圖像的成像位置的信息來執行成像處理。通過成像設備101的成像處理獲得的圖像被存儲在存儲單元140或從通信單元120發送到控制端子200。當橋1的底側被懸停相機100捕獲時，由於太陽被橋1阻擋，而使得亮度被認為不足，因此當捕獲橋1的底側時，懸停相機100可以打開閃光燈。

例如，成像設備101可以通過來自控制單元110的控制將成像方向改變為任意方向。例如，當假設懸停相機的水平方向為0°時，可以在由±90°的範圍指示的成像方向上垂直地執行捕獲。當成像設備101改變成像方向時，懸停相機100可以捕獲特定方向上的圖像，並將捕獲的圖像提供給控制端子200。然後，控制單元110將當成像設備101捕獲靜止圖像時懸停相機100的位置信息(其可以包括通過使用GPS的位置測量或使用位置估計節點500的位置測量獲得的位置信息。下面將描述使用位置估計節點500的位置測量)、捕獲時的機身信息(例如，偏轉角、俯仰角、加速度和角速度)和作為靜止圖像的元數據的成像方向的信息相關聯。作為存儲相關聯的元數據的方法，可以將元數據添加到靜止圖像數據的附加信息區域(例如，Exif格式的特定區域)，或者可以將元數據記錄在圖像文件、單獨文件等中作為單獨數據。

轉子104a至104d通過從其旋轉產生舉升力而使懸停相機100飛行。轉子104a至104d的旋轉是由電機108a至108d的旋轉引起的。電機108a至108d使轉子104a至104d旋轉。電機108a至108d的旋轉可以由控制單元110控制。

通信單元120通過無線通信執行向/從控制端子200的信息的發送和接收處理。懸停相機100將由成像設備101捕獲的圖像從通信單元120發送到控制端子200。另外，懸停相機100使用通信單元120從控制端子200接收與飛行相關的指令。

傳感器單元130是獲取懸停相機100的狀態的一組設備，並且可以包括例如加速度傳感器、陀螺儀傳感器、超聲波傳感器、氣動傳感器、光流傳感器、雷射器範圍取景器等。傳感器單元130可以將獲取的懸停相機100的狀態轉換為預定信號，並且在必要時將該信號提供給控制單元110。位置信息獲取單元132使用例如GPS、視覺傳感器等獲取懸停相機100的當前位置的信息。當必要時，位置信息獲取單元132可以將獲取的懸停相機100的當前位置的信息提供給控制單元110。控制單元110使用由位置信息獲取單元132獲取的懸停相機100的當前位置的信息，基於從控制端子200接收的飛行信息來執行懸停相機100的飛行的控制。

傳感器單元130檢測在飛行時可能干擾飛行的障礙物。當傳感器單元130檢測到障礙物時，懸停相機100可以向控制端子200提供與檢測到的障礙物相關的信息。

存儲單元140存儲各種信息。存儲在存儲單元140中的信息的示例包括從控制端子200發送的懸停相機100的飛行信息和由成像設備101捕獲的圖像。

電池150累積用於操作懸停相機100的電力。電池150可以是僅能夠放電的一次電池，或者可以是也能夠充電的二次電池，但是當電池150是二次電池時，例如，可以從圖12所示的充電站700向電池150供應電力。

根據本公開的實施例的懸停相機100可以具有圖3所示的配置，從而可以基於從控制端子200發送的飛行信息中包括的飛行路徑來執行自動飛行，並且基於從控制端子200發送的飛行信息中包括的靜止圖像的成像位置的信息來執行成像處理。

以上已經參考圖3描述了根據本公開的實施例的懸停相機100的示例性功能配置。接下來，將描述根據本公開的實施例的控制端子200的示例性功能配置。

圖4是示出根據本公開的實施例的控制端子200的示例性功能配置的說明圖。下面將參考圖4描述根據本公開的實施例的控制端子200的示例性功能配置。

如圖4所示，根據本公開的實施例的控制端子200被配置為包括顯示單元210、通信單元220、控制單元230和存儲單元240。

顯示單元210包括平面顯示設備，例如液晶顯示設備、有機EL顯示設備等。顯示單元210可以顯示例如由成像設備101捕獲的圖像或用於控制懸停相機100的操作的信息。顯示單元210設置有觸摸面板，因此用戶可以通過用他或她的手指等觸摸顯示單元210來關於顯示在顯示單元210上的信息執行直接操作。

通信單元220通過無線通信向/從懸停相機100發送和接收信息。控制端子200使用通信單元220從懸停相機100接收由成像設備101捕獲的圖像。此外，控制端子200將與懸停相機100的飛行有關的指令從通信單元220發送到懸停相機100。與懸停相機100的飛行相關的命令可以由控制單元230生成。

控制單元230控制控制端子200的操作。例如，控制單元230可以控制在顯示單元210上顯示文本、圖形、圖像或其他信息的處理以及通過通信單元220向/從其他設備(例如，懸停相機100)的信息的發送和接收處理。控制單元230被配置為包括飛行信息生成單元232和顯示控制單元234。

飛行信息生成單元232生成要發送到懸停相機100的飛行信息。例如，在生成飛行信息時，飛行信息生成單元232使用與存儲在下面將描述的存儲單元240中的檢測目標的結構相關的信息。當生成飛行信息時，飛行信息生成單元232使得在懸停相機100起飛之前從通信單元220發送所生成的飛行信息。

下面將描述由飛行信息生成單元232進行的飛行信息生成處理，但將簡要描述由飛行信息生成單元232進行的飛行信息生成處理的示例。飛行信息生成單元232在生成懸停相機100的飛行信息時讀取要檢測的橋1的典型狀況圖。所讀取的橋1的典型狀況圖通過顯示控制單元234顯示在顯示單元210上。如上所述，橋1的典型狀況圖上的點與包括詳細的GPS信息的地圖數據上的點預先相關聯。優選地通過至少兩組點來執行關聯。橋1的典型狀況圖與包括詳細GPS信息的地圖數據上的點預先相關聯，因此，使用GPS值(緯度和經度的集合)定義懸停相機100的飛行路徑。

然後，飛行信息生成單元232基於橋1的典型狀況圖生成懸停相機100的飛行路徑。飛行信息生成單元232在生成懸停相機100的飛行路徑時使用與諸如橋1的施工方法、寬度和跨度長度相關的信息，懸停相機100的可用飛行時間段，以及橋1的檢測方法的信息。混凝土橋根據加固方法被分類為鋼筋混凝土(RC)和預應力混凝土(PC)，並且分類為例如RCT梁橋、PCT梁橋、PC中空板橋、RC箱梁橋、PC箱梁橋等等。因此，當作為檢測目標的橋1的施工方法已知時，飛行信息生成單元232可以生成適合橋1的施工方法的飛行路徑。然後，飛行信息生成單元232使懸停相機100的飛行路徑以重疊的方式顯示在橋1的典型狀況圖上。

飛行信息生成單元232使用如上所述的GPS值(緯度和經度的集合)定義懸停相機100的飛行路徑。當飛行信息生成單元232使用GPS值定義懸停相機100的飛行路徑時，懸停相機100可以基於GPS值確定在飛行時執行成像處理的位置。

顯示控制單元234控制文本、圖形、圖像和其他信息在顯示單元210上的顯示。假定在下面的描述中將參考的附圖中文本、圖形、符號、圖像和其他信息在顯示單元210上的顯示由顯示控制單元234控制。例如，當飛行信息生成單元232生成要發送到懸停相機100的飛行信息時，顯示控制單元234執行控制，使得在顯示單元210上顯示檢測目標的結構(橋1)的典型狀況圖和所生成的飛行信息。

存儲單元240存儲各種類型的信息。存儲在存儲單元240中的信息的示例包括與檢測目標的結構相關的信息。與檢測目標的結構相關的信息的示例包括檢測目標的結構(橋1)的典型狀況圖和檢測目標的結構的施工方法。此外，當預先知道被認為可能被損壞的檢測目標的結構的位置時，與檢測目標的結構相關的信息可以包括被認為可能被損壞的部分的信息。

此外，控制端子200即使在與檢測目標的結構(橋1)有關的信息沒有預先存儲在存儲單元240中的情況下，也可以例如在結構的檢查時從信息處理設備300接收與檢測目標的結構相關的信息。

根據本公開的實施例的控制端子200具有圖4所示的配置，並且可以基於與檢測目標的結構(橋1)相關的信息生成要發送到懸停相機100的飛行信息，並且獲取通過基於飛行信息飛行的懸停相機100基於飛行信息捕獲的圖像。

以上已經參考圖4描述了根據本公開的實施例的控制端子200的示例性功能配置。接下來，將描述根據本公開的實施例的檢測系統10的示例性操作。

(1.4.示例性操作)

圖5是示出根據本公開的實施例的檢測系統10的示例性操作的流程圖。圖5示出了當通過使得懸停相機100飛行並使得懸停相機100捕獲橋1來檢測橋1時根據本公開的實施例的檢測系統10的示例性操作。此外，當使用懸停相機100檢測橋1時，假設將無線中繼節點400或位置估計節點500預先安裝在橋1的適當位置處。下面將參考圖5描述根據本公開的實施例的檢測系統10的示例性操作。

生成懸停相機100的飛行信息的控制端子200讀取包括橋1(檢測目標)的典型狀態圖的與橋1相關的信息，並且使橋1的典型狀況圖顯示在顯示單元210上(步驟S101)。例如，通過飛行信息生成單元232執行與橋1相關的信息的讀取，並且例如通過顯示控制單元234執行橋1的典型狀況圖在顯示單元210上的顯示。其中橋1的典型狀況圖顯示在單元210上的控制端子200使得用戶能夠使用顯示在顯示單元210上的橋1的典型狀況圖來指定要檢測的橋1的區域(步驟S102)。例如，通過飛行信息生成單元232執行步驟S102中使用戶能夠指定的處理。

例如，當橋1的一部分被設置為檢查目標時，控制端子200使得用戶能夠在顯示單元210上顯示的橋1的典型狀況圖中指定檢測目標區域。此外，例如，當整個橋1被設置為檢測目標時，控制端子200使得用戶能夠在顯示單元210上顯示的橋1的典型狀況圖中指定橋1的所有區域。

圖6是示出在控制端子200的顯示單元210上顯示的示例性畫面的說明圖。圖6示出當在步驟S102中請求用戶指定要檢測的橋1的區域時在顯示單元210上顯示的示例性畫面。在圖6中，假設顯示當橋梁被指定為要檢測的橋1的區域時在顯示單元210上顯示的畫面。控制端子200可以包括例如作為輸入單元(未示出)的觸摸面板，並且使得用戶能夠通過使用戶能夠在屏幕上拖動或使用戶能夠選擇檢測目標的跨度來指定橋1的區域。當然，使用戶能夠指定要檢測的橋1的區域的方法不限於相關示例。此外，由用戶指定的區域的顯示不限於圖6所示的示例。

圖6示出了其中以重疊的方式在橋1的典型狀況圖上顯示指示基站600的位置的標記B1的示例。如上所述，基站600可以包括GPS接收器，並且接收來自GPS衛星的無線電波並計算當前位置。因此，控制端子200可以基於由基站600計算的當前位置的信息，以疊加的方式，使指示基站600的位置的標記B1顯示在橋1的典型狀況圖上。

當用戶指定了要檢查的橋1的區域時，控制端子200然後基於與橋1相關的信息在由用戶指定的檢測區域中生成懸停相機100的飛行信息(步驟S103)。例如，由飛行信息生成單元232執行步驟S103中的飛行信息生成處理。

控制端子200當在步驟S103中生成懸停相機100的飛行信息時使用與諸如橋梁1的施工方法、寬度和跨度長度的結構相關的信息，懸停相機100的可用飛行時間段，以及諸如橋1的檢測方法的信息，例如，當在橋1的施工方法中使用T梁時，控制端子200生成其中懸停相機100在橋1的底側處重複升降的飛行路徑作為飛行信息。此外，控制端子200當在步驟S103中生成懸停相機100的飛行信息時可以使用橋1的圖像目標面的信息。例如，當用戶選擇捕獲橋1的側面時，控制端子200，控制端子200生成沿橋1的側面的飛行路徑作為飛行信息，並且當用戶選擇捕獲橋1的底面時，控制端子200生成其中它在橋1的底側下來回行進的飛行路徑作為飛行信息。

將描述由控制端子200生成的飛行信息的示例。作為飛行信息，例如，可以以以下格式指定執行成像處理的位置的列表：

ID：(成像點的相對坐標、成像方向、成像時的速度、到下一成像點的行進時間等)

成像點的相對坐標由X軸、Y軸和Z軸的三個點指定。將X軸設定為緯度方向，將Y軸設定為經度方向，並且將Z軸設定為高度方向。此外，例如，可以包括用於控制特殊捕獲的信息作為其他信息。用於控制特殊捕獲的信息的示例包括用於在多個成像方向上捕獲相同位置的信息，與用於支架捕獲的參數相關的信息(其指示在相同位置和相同成像方向通過不同曝光、不同快門速度、不同ISO感光度等的捕獲)，以及關於捕獲時的紅外線的波長的信息。根據該格式，由控制端子200生成的飛行信息可以配置有以下各種值的以下列表：

0：(0,0,0,0,0,2,1.0)

1：(5,0,0,0,0,2,1.0)

2：(7,0,0,0,0,2,1.0)

3：(9,0,0,0,0,2,1.0)

例如，包括在由控制端子200生成的飛行信息中的成像點可以通過使用基站600的絕對坐標或諸如第一成像位置的任意位置的絕對坐標作為參考點來指定為距離參考點的相對坐標。懸停相機100可以將相對坐標從參考點的絕對坐標轉換成絕對坐標，並在飛行時參考轉換的坐標。此外，可以通過絕對坐標而不是相對坐標來指定包括在由控制端子200生成的飛行信息中的成像點。此外，可以將特定值存儲在包括在由端子200生成的飛行信息中的用於控制特殊捕獲的信息中。例如，諸如1：在多個成像方向上的捕獲)、2：支架捕獲(快門速度的變化)、3：支架捕獲(ISO感光度的變化)等的值可以存儲在用於控制特殊捕獲的信息中。控制端子200可以使得用於控制特殊捕獲的信息包括在飛行信息中，例如，用於被認為可能被損壞並存儲在存儲單元240中的橋3的位置。

控制端子200可以在步驟S103的飛行信息生成處理時生成用於使得懸停相機100以相等的間隔捕獲例如橋1的橋梁3的後面的飛行信息。因此，控制端子200可以生成飛行信息，使得靜止圖像的成像位置在步驟S103的飛行信息生成處理時是相等的間隔。

當預先將被認為可能被損壞的部分的信息存儲在存儲單元140中時，控制端子200當在步驟S103中生成懸停相機100的飛行信息時可以讀取所存儲的信息並生成飛行信息，使得該部分被詳細捕獲。當通過懸停相機100捕獲被認為可能被損壞的部分時，控制端子200可以使用於控制特殊捕獲的信息包括在飛行信息中。當然，被認為可能被損壞的部分的信息可以不被預先存儲在存儲單元140中，並且在這種情況下，被認為可能被損壞的部分的信息可以在檢測時由用戶輸入。

當使懸停相機100在待檢測的橋1的區域上飛行時，考慮根據懸停相機100的可用飛行時間段難以使懸停相機100在該區域上飛行一次的情況。懸停相機100的可用飛行時間段可以基於電池150的容量，用於驅動轉子104a至104d的電機108a至108d的功率消耗，成像設備101、控制單元110和通信單元120的功率消耗等來預先獲得。此外，當生成飛行信息時，還能夠基於從開始位置(例如，基站600)到第一成像點的預定行進時間、成像點之間的預定行進時間、從最後成像點到開始位置的預定行進時間等來估計用於懸停相機100的單次檢測飛行所需的時間段。因此，當懸停相機100不能在單次檢測飛行期間沿著待檢測的橋1的區域的整個飛行路徑飛行時，控制端子200可以將所生成的飛行路徑劃分為若干路徑。

此外，控制端子200當在步驟S103中生成懸停相機100的飛行信息時，可以生成多個飛行路徑，並且使所述多個飛行路徑顯示在顯示單元210上。圖7是示出顯示在控制端子200的顯示單元210上的示例性畫面的說明圖。圖7示出了當在步驟S103中生成懸停相機100的飛行信息時生成多個飛行路徑，並在顯示單元210上顯示飛行路徑R1和R2的狀態的示例。控制端子200使得多個飛行路徑顯示在顯示單元210上，並且使得用戶能夠選擇一個飛行路徑。控制端子200基於用戶選擇的飛行路徑生成飛行信息。

當在步驟S103中生成懸停相機100的飛行信息時，控制端子200然後將生成的飛行信息發送到懸停相機100，並向懸停相機100發送起飛指令(步驟S104)。例如，通過通信單元220來由飛行信息生成單元232執行生成的飛行信息的發送和起飛指令的發送。

圖8是示出在控制端子200的顯示單元210上顯示的示例性畫面的說明圖。圖8是當起飛指令被發送到懸停相機100時在控制端子200的顯示單元210上顯示的示例性畫面。用戶可以通過觸摸顯示在顯示單元210上的起飛指令按鈕211來使得將起飛指令從控制端子200發送到懸停相機100。此外，當從控制端子200向懸停相機100發送起飛指令時，可以在發送起飛指令之前將在步驟S103中生成的飛行信息從控制端子200發送到懸停相機100，但是可以在將起飛指令從控制端子200發送到懸停相機100之後，將在步驟S103中生成的飛行信息從控制端子200發送到懸停相機100。

已經從控制端子200接收到飛行信息和起飛指令，並且然後從基站600起飛的懸停相機100基於從控制端子200發送的飛行信息飛行，執行成像處理，並獲得靜止圖像(步驟S105)。懸停相機100獲取當執行獲取靜止圖像的成像處理是的位置信息或在成像處理時的機身信息，並且將獲取的信息與靜止圖像相關聯。例如，諸如偏航角、俯仰角、加速度或角速度的信息可以包括在成像處理時的機身信息中。此外，懸停相機100可以以流方式將在飛行期間正由成像設備101捕獲的運動圖像發送到控制端子200。當控制端子200獲取並顯示通過懸停相機100在飛行期間通過成像設備捕獲的運動圖像時，控制端子200可以向用戶呈現懸停相機100正在飛行的位置。

優選地，當執行成像處理時，懸停相機100在所有成像點處保持與圖像目標面(例如，橋梁3的側面或底面)的距離恆定。由於在所有成像點處與圖像目標面的距離保持恆定，因此懸停相機100可以獲得以相同尺寸捕獲的靜止圖像。

當被認為可能被損壞的部分包括在懸停相機100的飛行路徑中時，懸停相機100可以改變成像設備的成像方向，使用具有不同波長的紅外線，或者改變該部分的快門速度，以及然後捕獲多個靜止圖像。此外，當被認為可能被損壞的部分包括在懸停相機100的飛行路徑中時，懸停相機100可以將執行該部分的成像處理的位置的間隔縮小為小於其他部分。

圖9是概念性地示出根據本公開的實施例的檢測系統10中的懸停相機100的操作的說明圖。當懸停相機100基於飛行信息在橋1的底側下方飛行時，例如，懸停相機100在時間t1停止並捕獲橋1的底面，在成像之後飛行到並停止在待在時間t2執行捕獲的位置，在時間t2在不同位置捕獲橋1的底面，並且然後重複飛行、停止和捕獲直到時間tn。當懸停相機100重複飛行、停止和捕獲時，獲得橋1的底面的圖像。

當懸停相機100基於飛行信息飛行時，能夠在能夠無幹擾地接收來自GPS衛星的無線電波時精確地檢測當前位置。然而，懸停相機100難以在難以從諸如橋1下方的位置接收來自GPS衛星的無線電波的位置處精確地檢測當前位置。在這點上，在本實施例中，使用位置估計節點500，因此懸停相機100在難以從GPS衛星接收無線電波的位置處精確地檢測當前位置。

圖10是概念性地示出根據本公開的實施例的檢測系統10中的懸停相機100的操作的說明圖。例如，當圖10中從起點到終點的間隔被設置為懸停相機100飛行的路徑時，懸停相機100無幹擾地從GPS衛星30接收無線電波，並且在執行位置測量的GPS位置測量區40和其中例如使用視覺傳感器來估計當前位置的傳感器位置測量區50中前後移動。

在GPS位置測量區40中，懸停相機100使用從GPS衛星30接收的無線電波來檢測當前位置。在傳感器位置測量區50中，懸停相機100檢測位置估計節點500之間的位置，即，基於安裝在懸停相機100中的傳感器(例如，IMU傳感器)的積分值和當位置估計節點500是AR標記時從由成像設備101捕獲的圖像計算出的到移動目的地的位置估計節點500的距離的當前位置。當位置估計節點500是GPS信號發送器時，懸停相機100使用從位置估計節點500發送的信號來檢測當前位置。

使用如上所述的位置估計節點500，即使當懸停相機100移動到幾乎接收不到來自GPS衛星的無線電波的位置時，懸停相機100也可以檢測精確的當前位置。

當完成最後成像點處的成像處理時，懸停相機100自動飛向基站600，以返回到基站600(步驟S106)。然後，控制端子200從懸停相機100獲取由已經返回到基站600的懸停相機100捕獲的圖像(步驟S107)。如上所述可以在懸停相機100返回到基站600之後執行由懸停相機100捕獲的圖像的獲取，但是控制端子200可以在每次懸停相機100執行成像處理並獲取靜止圖像時順序地獲取靜止圖像。

當懸停相機100和控制端子200執行圖5所示的上述操作時，如圖5所示，根據本公開的實施例的檢測系統10可以通過控制端子200來基於與檢測目標的結構(橋1)相關的信息生成要發送到懸停相機100的飛行信息，通過基於飛行信息飛行的懸停相機100來基於飛行信息捕獲圖像，並通過控制端子200獲取由懸停相機100捕獲的圖像。

此外，假設用戶在懸停相機100飛行時在查看由懸停相機100捕獲的運動圖像之後已經找到希望被捕獲的部分。在這種情況下，例如，用戶可以操作控制端子200以停止懸停相機100的自動飛行，並且使得從控制端子200發送切換到手動操作的指令。

已經結合通過控制端子200生成飛行信息的過程描述了上述示例，懸停相機100基於所生成的飛行信息執行自動飛行並且執行成像處理。然而，還考慮在飛行路徑中存在橋梁1的典型狀況圖上未發現的障礙物的情況。

圖11是概念性地示出根據本公開的實施例的檢測系統10中的懸停相機100的操作的說明圖。圖11示出了樹4在橋梁3下方的示例。樹4是在橋1的典型狀況圖上未示出的障礙物，並且存在其中第一次在懸停相機100的飛行時發現樹的存在的情況。

因此，在本實施例中，可以通過使得懸停相機100基於由控制端子200生成的飛行信息執行一次測試飛行來檢查包括在飛行信息中的飛行路徑中是否存在障礙物。

當基於由控制端子200生成的飛行信息使得懸停相機100執行一次測試飛行時，控制端子200可以以流方式接收由懸停相機100捕獲的運動圖像，並且用戶可以在查看運動圖像的同時檢查包括在飛行信息中的飛行路徑中是否存在障礙物。可以通過懸停相機100的傳感器單元130檢測障礙物。當安裝立體相機作為懸停相機100的成像設備101，並且通過由立體相機執行的捕獲檢測到障礙物的距離，或者根據懸停相機100的方向指定障礙物的方向時可以檢測障礙物的詳細位置。此外，當使得懸停相機100執行測試飛行時，當飛行路徑中存在障礙物時，懸停相機100可以停止自動飛行，在懸停狀態下移動，並且可以等待來自用戶的操作或者可以自動返回到基站600。

當發現在飛行信息中包括的飛行路徑中存在障礙物時，控制端子200可以在橋1的典型狀況圖中登記障礙物的位置。障礙物的位置可以通過用戶手動輸入，並且當懸停相機100通過傳感器單元130檢測到障礙物時，可以從懸停相機100獲取檢測到的障礙物的位置，並且然後可以將障礙物的位置登記在橋1的典型狀況圖中。

圖12是示出在控制端子200的顯示單元210上顯示的示例性畫面的說明圖。圖12是當通過懸停相機100的測試飛行發現在飛行路徑中存在障礙物時在顯示單元210上顯示的示例性畫面。當通過懸停相機100的測試飛行發現在飛行路徑中存在障礙物時，控制端子200使得表示障礙物的位置的標記O1以疊加的方式顯示在橋1的典型狀況圖上。

當障礙物的位置已知時，控制端子200再生包括避開障礙物的位置的飛行路徑的飛行信息，並將生成的飛行信息發送到懸停相機100。懸停相機100基於由控制端子200再生的飛行信息飛行，並由此在避開障礙物(樹4)的同時執行飛行和成像處理。

使得懸停相機100飛行並且檢測障礙物的位置的方法不限於相關示例。例如，可以在通過成像設備101捕獲運動圖像的同時，使懸停相機100通過簡單的路徑沿著由控制端子200生成的飛行路徑的外周飛行，並且可以檢查橋梁3下是否存在障礙物。

(1.5.示例性損壞數據生成)

例如，可以通過使懸停相機100飛行並捕獲橋1來檢測諸如橋梁3的底面的不容易接近的位置。由懸停相機100捕獲的靜止圖像與例如捕獲靜止圖像的懸停相機100的位置信息(其可以包括通過使用GPS的位置測量或使用位置估計節點500的位置測量獲得的位置信息)、捕獲時的機身信息(例如，偏航角、俯仰角、加速度和角速度)以及成像方向的信息。此外，當懸停相機100在保持與圖像目標面的距離恆定的同時在所有成像點處執行捕獲時，檢測到圖像中發生損壞的位置的相對位置。因此，當由懸停相機100捕獲的靜止圖像包括橋梁3的損壞部分時，能夠檢測損壞部分的絕對位置。例如，通過將靜止圖像的中心設置為原點，計算損壞部分的相對值，並計算當圖像被捕獲時懸停相機100的位置信息的相對值，獲得損壞部分的位置信息。例如，以下數據可以被記錄為損壞部分的位置信息。

(1)靜止圖像的成像位置的信息被記錄為損壞部分的位置(未記錄相對值(偏移))。

(2)將與靜止圖像和損壞部分的成像位置的信息相對應的相對值(偏移)記錄為損壞部分的位置。

(3)用作參考的絕對值(例如，如下所述，被認為在位置信息中高度精確的四個角的靜止圖像的成像位置或者位置估計節點500的坐標)和相對值(偏移)被記錄為損壞部分的位置。

(4)將所計算的絕對值(例如，緯度、經度和高度)記錄為損壞部分的位置。

已知使用諸如透鏡的焦距、圖像傳感器的尺寸、到成像目標的距離等數值獲得成像範圍的物理尺寸的技術。因此，當檢測到損壞部分時，可以使用從懸停相機100到成像目標(例如，橋的後面或側面)的距離信息或成像設備101的視角信息來估計懸停相機100的成像範圍的物理尺寸。通過將捕獲圖像的中心位置(懸停相機100執行捕獲的位置)設置為原點、估計從原點到損壞部分的物理相對位置、以及將捕獲圖像的原點的位置坐標添加到相對位置來確定損壞部分的物理位置信息。此外，當可以在捕獲時通過安裝在懸停相機100中的傳感器獲取距離信息和視角信息時，可以使用與圖像相關聯地記錄的信息，並且可以使用為懸停相機100或成像設備101設置的值。此外，可以使用捕獲時的機身信息(例如，偏航角、俯仰角、加速度和角速度)和成像方向的信息而不是成像位置信息、距離信息和視角信息來計算損壞部分的位置信息。

基於由懸停相機100捕獲的靜止圖像的損壞部分的檢測可以由用戶可視地執行，但是可以通過例如信息處理設備300的成像處理自動執行。例如，當自動執行損壞部分的檢測時，可以使用諸如模式匹配的圖像處理技術。

損壞數據的數據配置例如以以下格式定義：

(圖像ID、損壞ID、損壞部分的位置信息、損壞部分在圖像上的坐標、損壞類型ID、損壞程度)

損壞類型ID是指分配給諸如破裂、剝離、漏水或游離石灰的損壞類型的ID。此外，數據的最大寬度、圖像中損壞部分的長度等可以記錄在損壞度欄位中。根據本實施例的檢測系統10可以從通過用戶的手動輸入或信息處理設備300的自動處理由懸停相機100捕獲的靜止圖像來根據上述格式生成損壞數據。此外，由根據本實施例的檢測系統10生成的損壞數據可以用於向維修橋1中發生的損壞的施工承包商下訂單的處理。

然而，懸停相機100在單次檢測飛行期間捕獲多個靜止圖像。因此，逐個檢查在飛行期間由懸停相機100捕獲的靜止圖像增加了用戶的負擔。

在這點上，通過拼接由懸停相機100捕獲的靜止圖像獲得一個圖像。例如，當拼接由懸停相機100捕獲的靜止圖像時，對應於一個跨度的橋梁3的底面的外觀作為一個圖像獲得。然後，通過檢查通過拼接由懸停相機100捕獲的靜止圖像而獲得的對應於一個跨度的橋梁3的底面的圖像，用戶可以檢查橋梁3的底面是否有損壞。靜止圖像拼接處理可以由控制端子200執行，或者可以由信息處理設備300執行。

圖13是示出當基於由懸停相機100捕獲的靜止圖像來檢測橋梁3的底面時的概述的說明圖。通過捕獲橋梁3的底面而獲得的一個圖像20是通過捕獲橋梁3的底面的某一部分(例如，橋梁3的對應於一個跨度長度的部分)，並拼接由懸停相機100捕獲的靜止圖像獲得的。附圖標記21表示在懸停相機100的單個成像過程中捕獲的圖像。

當基於通過拼接由懸停相機100捕獲的靜止圖像而獲得的圖像獲得損壞部分的絕對位置時，可以選擇拼接圖像中捕獲時作為相對高精度的位置信息的位置信息作為參考點。在捕獲時用作拼接圖像的基礎的四個角的靜止圖像的懸停相機100的位置信息可以用作參考點。用作拼接圖像的基礎的四個角的靜止圖像具有最小的失真，GPS位置測量區域在位置信息中具有小的誤差，並且認為期望使用位於GPS位置測量區域並且在捕獲時靠近GPS位置測量區域的四個角的位置信息作為參考點，並且因此能夠通過從對應於四個角的靜止圖像的懸停相機100的位置信息獲得損壞部分的絕對位置來更準確地獲得損壞部分的位置。此外，例如，GPS位置測量數據中的位置測量狀態信息(指示正在執行2D位置測量的狀態、正在執行3D位置測量的狀態、位置測量禁用狀態的信息或諸如接收衛星數的數據)可以用作位置信息的精度。

圖14是示出通過拼接由懸停相機100捕獲的靜止圖像而獲得的圖像20的示例的說明圖。用作圖像20的基礎的四個角的靜止圖像C1至C4的中心G1至G4中的每一個對應於捕獲每個靜止圖像時的懸停相機100的位置。在本實施例中，使用與四個角的靜止圖像C1至C4相對應的懸停相機100的位置信息來計算圖像20中的損壞部分的絕對位置。

當從拼接圖像生成損壞數據時，例如以下面的格式定義損壞數據的數據配置。換句話說，從損壞數據中刪除圖像ID。

(損壞ID、損壞部分的位置信息、損壞部分在圖像上的坐標、損壞類型ID、損壞程度)

此外，可以生成拼接圖像的圖像ID並將其包括在損壞數據中。根據本實施例的檢測系統10可以通過用戶的手動輸入或信息處理設備300的自動處理從拼接圖像根據上述格式生成損壞數據。

(1.5.1.示例性功能配置)

圖15是示出根據本公開的實施例的信息處理設備300的示例性功能配置的說明圖。圖15示出根據本公開的實施例的信息處理設備300的示例性功能配置，其具有從由懸停相機100捕獲的靜止圖像獲得橋梁3的損壞的絕對位置並生成損壞數據的功能。下面將參考圖15描述根據本公開的實施例的信息處理設備300的示例性功能配置。

如圖15所示，根據本公開的實施例的信息處理設備300包括顯示單元310、通信單元320、控制單元330和存儲單元340。

例如，顯示單元310配置有諸如液晶顯示(LCD)設備或有機EL顯示設備的平板顯示設備。例如，顯示單元310可以顯示由懸停相機100的成像設備101捕獲的圖像，與由通過成像設備101捕獲的圖像獲得的橋1的損壞有關的信息等。

例如，通信單元320通過無線通信執行向/從控制端子200的信息發送和接收。信息處理設備300通過通信單元320從控制端子200接收由懸停相機100捕獲的圖像連同圖像的絕對成像位置的信息。

控制單元330控制信息處理設備300的操作。例如，控制單元330可以控制在顯示單元210上顯示文本、圖形、圖像或其他信息的處理以及通過通信單元320向/從其他設備(例如，控制端子200)的信息發送和接收處理。控制單元330包括成像位置信息獲取單元332、損壞位置計算單元334、圖像組合單元336和損壞數據生成單元338。

成像位置信息獲取單元332獲取在懸停相機100捕獲橋1時由懸停相機100獲取的捕獲時的成像位置的信息。損壞位置計算單元334例如使用諸如模式匹配的圖像處理技術從由懸停相機100捕獲的圖像檢測橋1的損壞部分，並且使用由成像位置信息獲取單元332獲取的成像位置的信息來計算損壞部分的絕對位置。

圖像組合單元336執行對由懸停相機100捕獲的靜止圖像進行拼接並生成一個圖像的圖像處理。當拼接由懸停相機100捕獲的靜止圖像時，圖像組合單元336可以使用捕獲時靜止圖像的成像位置的信息。

在計算損壞位置時，損壞位置計算單元334可以使用用作由圖像組合單元336拼接的圖像基礎的捕獲圖像中的角的捕獲圖像(例如，四個角中的每一個)的成像位置的信息。如上所述，由於用作拼接圖像的基礎的捕獲圖像中的四個角的靜止圖像被認為在失真方面最小，因此損壞位置計算單元334可以使用用作拼接圖像的基礎的捕獲圖像中的四個角的靜止圖像的成像位置的信息獲得更準確的損壞位置。

損壞數據生成單元338使用由損壞位置計算單元334計算的橋1的損壞部分的絕對位置來生成損壞數據。損壞數據生成單元338可以以靜止圖像為單位生成損壞數據，或者可以生成關於由圖像組合單元336拼接的一個圖像的損壞數據。

存儲單元340存儲各種類型的信息。存儲在存儲單元340中的信息可以包括例如由懸停相機100的成像設備101捕獲的靜止圖像，當捕獲靜止圖像時懸停相機100的絕對成像位置的信息，以及由損壞數據生成單元338生成的損壞數據的信息。

根據本公開的實施例的信息處理設備300具有圖15所示的配置，並且可以從由懸停相機100捕獲的靜止圖像生成損壞數據，因此，根據本公開的實施例的信息處理設備300可以高效地生成用作檢測目標的結構的橋1的檢測結果。如上所述，損壞數據可以由控制端子200而不是信息處理設備300生成。因此，控制端子200可以具有圖15所示的信息處理設備300的控制單元330的配置。此外，用作檢測目標的結構的橋1的檢查結果可以積累在公共或私人資料庫中並使用。此外，如上所述，損壞數據可以由控制端子200而不是信息處理設備300生成。因此，控制端子200可以具有圖15所示的信息處理設備300的控制單元330的配置。

以上已經參考圖15描述了根據本公開的實施例的信息處理設備300的示例性功能配置。接下來，將描述根據本公開的實施例的信息處理設備300的示例性操作。

(1.5.2.示例性操作)

圖16是示出根據本公開的實施例的信息處理設備300的示例性操作的流程圖。圖16示出當從由懸停相機100捕獲的靜止圖像獲取橋梁3的損壞的絕對位置，並且生成損壞數據時，根據本公開的實施例的信息處理設備300的示例性操作。下面將參考圖16描述根據本公開的實施例的信息處理設備300的示例性操作。

首先，信息處理設備300獲取與成像位置的信息相關聯並且由在橋1的周圍飛過的懸停相機100捕獲的圖像(步驟S301)。當在步驟S301中獲取與成像位置的信息相關聯的圖像時，信息處理設備300然後例如使用諸如模式匹配的圖像處理技術從圖像中檢測損壞部分(步驟S302)。步驟S302的損壞部分檢測處理例如可以由損壞位置計算單元334執行。

當在步驟S302中從圖像檢測到損壞部分時，信息處理設備300然後計算損壞部分的絕對位置(步驟S303)。步驟S303的計算處理可以例如由損壞位置計算單元334執行。信息處理設備300基於由懸停相機100捕獲的靜止圖像的成像位置的信息，在步驟S303中執行損壞部分的絕對位置的計算。在計算損壞部分的絕對位置時，信息處理設備300可以基於從懸停相機100到成像目標(例如，橋梁3的背面或側面)的距離信息或成像設備101的視角信息來估計懸停相機100的成像範圍的物理尺寸。信息處理設備300可以通過估計從捕獲圖像的中心到損壞部分的物理相對位置，以及將用作原點的捕獲圖像的位置坐標添加到相對位置來確定損壞部分的物理位置信息。信息處理設備300生成包括損壞部分的絕對位置的損壞數據(步驟S304)。步驟S304的損壞數據生成處理可以例如由損壞數據生成單元338執行。

根據本公開的實施例的信息處理設備300可以通過執行圖15所示的操作來從由懸停相機100捕獲的靜止圖像生成損壞數據，並且因此，根據本公開的實施例的信息處理設備300可以高效地生成用作檢測目標的結構的橋1的檢測結果。此外，如上所述，損壞數據可以由控制端子200而不是信息處理設備300生成。因此，圖16所示的操作可以由控制端子200執行。

圖17是示出根據本公開的實施例的控制端子200的示例性操作的流程圖。圖17示出了由控制端子200使用由信息處理設備300生成的損壞數據的飛行信息生成處理的示例。下面將參考圖17描述根據本公開的實施例的控制端子200的示例性操作。

當在控制端子200上顯示由懸停相機100捕獲的靜止圖像，並且由用戶指定了靜止圖像上的損壞部分時(步驟S311)，控制端子200從由信息處理設備300生成的損壞數據獲取指定部分的損壞位置(步驟S312)。指定損壞部分的方法不受限制，例如，可以顯示靜止圖像，並且用戶可以通過用他/她的手指觸摸控制端子200的觸摸面板來指定損壞部分。

當從損壞數據獲取由用戶指定的部分的損壞位置時，控制端子200然後生成使得懸停相機100飛過從損壞數據獲取的損壞位置並捕獲損壞位置的飛行信息(步驟S313)。步驟S313的處理可以例如由飛行信息生成單元232執行。由於由控制端子200在步驟S313中生成的飛行信息被用於詳細地檢查損壞位置，因此可以使用指示懸停相機100將成像位置的間隔減小為小於上面參考圖5描述的由控制端子200生成的飛行信息中的間隔，或者在每個成像位置處執行特殊捕獲的飛行信息。

當在步驟S313中生成飛行信息時，控制端子200將生成的飛行信息發送到懸停相機100，並且懸停相機100基於如在圖5的步驟S104和S105中描述的飛行信息執行飛行和成像處理。然後，如在圖5的步驟S106和S107中所述，當最後成像點處的成像處理完成時，懸停相機100自動飛到基站600以便返回到基站600，並且控制端子200從懸停相機100獲取由懸停相機100捕獲的圖像。

根據本公開的實施例的控制端子200可以通過執行如圖17所示的操作來使用由信息處理設備300生成的損壞數據生成用於使懸停相機100捕獲橋梁3的損壞部分的飛行信息。

(1.6.使用組合圖像的示例性飛行指令)

雖然使用設置在飛行體上的懸停相機的示例來提供以下描述，但是本公開不限於此，並且可以應用於具有至少一個相機的任何車輛。例如，以下可以應用於諸如配備有至少一個成像設備的無人機，並且可以沿著二維或三維飛行路徑移動的懸停車輛。然而，以下也可以類似地應用於諸如配備有至少一個成像設備的汽車，並且可以沿著二維(基於地面的)驅動路徑移動的陸基車輛。因此，「懸停相機」的以下描述僅是說明性的而不是限制性的。另外，下面描述的控制端子可以生成用於車輛所遵循的非線性或折線飛行(驅動)路徑，而不是下面描述的線性路徑的飛行(驅動)信息。

當通過懸停相機100以特定間隔捕獲運動圖像或靜止圖像，並且然後將運動圖像或靜止圖像發送到控制端子200時，控制端子200可以實時執行以某些幀為單位組合由懸停相機100捕獲的運動圖像，或者組合以特定間隔捕獲的靜止圖像的處理(實時拼接處理)。這裡提到的實時是隨著時間順序地更新合成圖像(特別是組合圖像)的顯示的處理，並且包括其中由於處理延遲等導致的在捕獲時間和圖像組合處理或者圖像顯示時間之間存在時間差的處理。控制端子200可以使用戶使用組合圖像指定懸停相機100的目標位置。然後，控制端子200將用於飛行到由用戶指定的目標位置的飛行信息發送到懸停相機100。

控制端子200可以通過組合圖像、使得組合圖像顯示在顯示單元210上、並且生成用於飛行到包括組合圖像的顯示單元210的顯示畫面上指定的目標位置的飛行信息，來更直觀地為用戶生成懸停相機100的飛行路徑。此外，通過從由懸停相機100捕獲的運動圖像或靜止圖像生成組合圖像並且使組合圖像顯示在顯示單元210上，當難以獲得航空照片時，例如，即使對於諸如橋的背面的地方，控制端子200可以使用精細的圖像信息或通過地圖或航空照片難以獲得的當前情況來指定飛行路徑，並且不必訪問外部地圖信息資料庫等。此外，當控制端子200從由懸停相機100捕獲的運動圖像或靜止圖像生成組合圖像時，能夠在室內指定懸停相機100的飛行路徑。

圖18是示出使懸停相機100在地面方向上飛行和成像的示例的說明圖。圖19是示出組合由懸停相機100捕獲的圖像並且使用戶使用組合圖像指定懸停相機100的飛行路徑的示例的說明圖。

參考圖9，指示懸停相機100的當前位置的當前位置標記252顯示在作為從天空以重疊方式捕獲的結果獲得的組合圖像251上。控制端子200在生成如下所述的組合圖像251時使用例如特徵點匹配等。

例如，當用戶在合成圖像251上指定懸停相機100的目標位置253時，如圖19所示，控制端子200生成用於使懸停相機100沿著從當前位置標記252到目標位置253的飛行路徑254飛行的飛行信息，並將飛行信息發送到懸停相機100。懸停相機100基於從控制端子200發送的飛行信息執行飛行。

圖20是示出使懸停相機100在向上方向(橋的背面)上飛行並捕獲的示例的說明圖。圖21是示出組合由懸停相機100捕獲的圖像並且使用戶使用組合圖像指定懸停相機100的飛行路徑的示例的說明圖。

參考圖21，類似於圖19，指示懸停相機100的當前位置的當前位置標記262被顯示在作為以重疊方式捕獲橋的背面的結果而獲得的組合圖像261上。控制端子200在生成如下所述的組合圖像261時使用例如特徵點匹配。

例如，當用戶在合成圖像261上指定懸停相機100的目標位置263時，如圖21所示，控制端子200生成用於使懸停相機100沿著從當前位置標記262到目標位置263的飛行路徑264飛行的飛行信息，並將飛行信息發送到懸停相機100。懸停相機100基於從控制端子200發送的飛行信息執行飛行。

首先將描述通過控制端子200的組合圖像生成示例。圖22是示出組合圖像由控制端子200生成並顯示在顯示單元210上的示例的說明圖。以下處理可以例如由控制端子200的顯示控制單元234執行。因此，顯示控制單元234可以用作本公開的圖像處理單元的示例。

圖22示出了控制端子200例如使用在時間t-5到t-1捕獲的圖像組271和在時間t捕獲的圖像272生成組合圖像的示例。當在時間t捕獲的圖像272被發送到控制端子200時，控制端子200在圖像組271中執行在時間t捕獲的圖像272的特徵點與在時間t-1捕獲的圖像的特徵點之間的匹配。控制端子200執行在時間t捕獲的圖像272的特徵點與使用圖像組271預先組合的組合圖像的特徵點之間的匹配。

然後，控制端子200獲得特徵點的位置誤差中最小的旋轉×轉換參數(或仿射變換參數)。然後，控制端子200通過使用旋轉×變換參數(或仿射變換參數)的變換，基於新圖像272來組合到目前為止通過拼接處理生成的組合圖像(對其執行α混合)。控制端子200可以生成例如新的組合圖像，其中通過該組合，在時間t捕獲的圖像位於組合圖像的中心。然後，控制端子200顯示組合圖像，使得組合圖像的中心(即在時間t捕獲的圖像的中心273)是懸停相機100的位置。

接下來，將描述基於對如上所述生成的組合圖像的用戶輸入的控制端子200的飛行路徑生成處理。

圖23是用於基於用戶對組合圖像的用戶輸入來描述控制端子200的飛行路徑生成處理的說明圖。當用戶在由控制端子200生成的組合圖像275上指定目標位置276時，獲取從懸停相機100的當前位置到目標位置的方向。由於基於由懸停相機100捕獲的圖像來生成組合圖像，所以目標位置的方向表示來自懸停相機100的當前方向。當懸停相機100處於其中能夠通過GPS獲取位置信息的模式時，基於GPS位置信息執行自主飛行(自主飛行模式)。當檢測到GPS的異常時，關於懸停相機100的模式，執行切換到其中通過用戶操作指定目標位置並且使用組合圖像來估計位置的用戶操作飛行模式，並且基於目標位置信息和估計的位置信息執行自主飛行。GPS的異常是指懸停相機100難以穩定地接收來自GPS衛星的無線電波的狀態，例如，GPS信號電平低於閾值GPS位置信息急劇變化，或者從GPS衛星獲取的位置信息與加速度傳感器的值不同的狀態。在用戶操作飛行模式中，懸停相機100的控制單元110通過諸如同時定位與地圖創建(SLAM)的圖像識別處理來識別真實空間。隨後，控制單元110將真實空間與組合圖像上的坐標相關聯，並且因此能夠計算從當前位置查看的目標位置的方向和距離。在通過圖像識別處理的位置估計的情況下，可以通過控制單元110使用加速度傳感器和陀螺儀傳感器估計移動量，並在圖像識別處理中組合。在自主飛行模式和用戶操作飛行模式之間的切換由懸停相機100的控制單元110或控制端子200的控制單元控制。GPS的異常也由懸停相機100的控制單元110或控制端子200的控制單元檢測。

控制端子200可以使用戶適當地改變組合圖像的縮小比例。特別地，當用戶在組合圖像上輸入目標位置時，控制端子200可以通過使用戶改變組合圖像的縮小比例來設置更詳細的目標位置。此外，能夠將包括組合圖像的顯示單元210的顯示畫面上的任意部分指定為目標位置276。換句話說，除了組合圖像中的一部分之外，不被懸停相機100捕獲的部分(例如，除了圖25中的組合圖像275之外的顯示區域)可以由用戶指定。

例如，假設成像設備向下安裝在懸停相機100中，使得捕獲圖像的向上方向是懸停相機100的前方向，並且左方向是懸停相機100的左方向。因此，當用戶在圖23所示的組合圖像275上指定目標位置276時，當從懸停相機100的當前位置(即，中心273)查看時，目標位置276處於左後方向。

因此，控制端子200確定其中當從懸停相機100的當前位置查看時，懸停相機100在向左後方向飛行的飛行路徑277，生成用於執行沿著飛行路徑277的水平飛行的飛行信息，以及將所生成的飛行信息發送到懸停相機100。可以例如由飛行信息生成單元232執行飛行路徑277的確定和飛行信息的生成。懸停相機100基於從控制端子200發送的飛行信息來執行沿左後方向的水平飛行。飛行信息可以僅是到目標位置276的方向，或者可以包括到目標位置276的方向和距離。當只有到目標位置276的方向被用作飛行信息時，如果連續執行將航向引導向目的地的處理，則執行反饋，使得即使在到達之後懸停相機100仍停留在目標位置276，並且因此懸停相機100可以到達目的地。在這種情況下，不需要根據組合圖像的比例計算到目標位置的距離的處理，並且控制單元110的處理負荷減小。控制單元110可以使用圖像識別處理來確定懸停相機100是否已到達目的地。當使用圖像識別處理執行確定時，即使在難以接收GPS信息的環境中也可以確定到達目的地。當到目標位置276的方向和距離被用作飛行信息時，可以通過控制端子200向用戶給出指示懸停相機100已到達目的地附近的通知。例如，當從當前位置到目標位置的剩餘距離在組合圖像上低於5個像素時，可以通過控制端子200向用戶給出指示懸停相機100已到達目的地附近的通知。

然後，隨著懸停相機100的水平飛行的開始，控制端子200可以通過懸停相機100獲得新的捕獲圖像。控制端子200使用通過懸停相機100的移動獲得的新的捕獲圖像來更新組合圖像。控制端子200在更新組合圖像時，不僅更新圖像的方向或位置，而且更新目標位置。當更新圖像和目標位置的方向或位置時，目標位置與用戶指定的位置一起移動。圖24是示出使用通過懸停相機100的目標位置276的移動獲得的新捕獲圖像而更新的示例性組合圖像的說明圖。在圖24中，當與圖23相比時，中心273的位置基本上相同，並且目標位置276接近中心273。換句話說，從圖24看到的是目標位置276已經從其在圖23中示出的位置移動。

控制端子200通過執行反饋控制，使得目標位置276通過懸停相機100的新捕獲和組合圖像的更新而接近中心273一定距離或更小來生成飛行信息，並且將生成的飛行信息發送到懸停相機100。

在該示例中，已經描述了將懸停相機100移動到目標位置而沒有旋轉懸停相機100的方法，但是本公開不限於相關示例。當指定目標位置時，控制端子200可以首先生成用於使懸停相機100朝向目標位置旋轉的飛行信息，並且可以生成用於在旋轉懸停相機100之後朝向目標位置移動的飛行信息。即使當使得懸停相機100旋轉時，控制端子200也執行如上所述的特徵點匹配，並且因此能夠隨著懸停相機100的旋轉而旋轉組合圖像。

此外，根據將成像設備附接到懸停相機100的方法，圖像中的移動方向不同。因此，例如，當成像設備101向上附接到懸停相機100時，移動方向與當向下附接時的移動方向相反。此外，在本實施例中，除了懸停相機100在水平方向上的移動之外，控制端子200還可以控制懸停相機100在垂直方向上的移動。例如，當在水平移動之後操作懸停相機100以降落時，控制端子200在屏幕上顯示用於在垂直方向上移動的滑塊，並且用戶可以通過操作滑塊來執行使懸停相機100著陸的操作。

當然，成像設備101也可以沿橫向方向安裝在懸停相機100中。當沿橫向方向將成像設備101安裝在懸停相機100中時，懸停相機100的移動方向變為垂直方向和旋轉的組合或者垂直和水平方向的組合。圖25是示出當沿橫向方向將成像設備101安裝在懸停相機100中時的示例性組合圖像的說明圖。圖25示出了從由懸停相機100捕獲的圖像生成的組合圖像281。由附圖標記282包圍的部分指示由懸停相機100在當前位置捕獲的圖像。

將基於上述描述描述根據本公開的實施例的控制端子200的示例性操作。

圖26是示出根據本公開的實施例的控制端子200的示例性操作的流程圖。圖26示出了當從由懸停相機100捕獲的圖像生成組合圖像、基於組合圖像生成飛行信息、並且將飛行信息發送到懸停相機100時，控制端子200的示例性操作。

控制端子200首先通過顯示控制單元234執行初始化處理(步驟S401)。初始化處理是將從懸停相機100初始發送的捕獲圖像用作輸入圖像並將輸入圖像用作第一組合圖像的處理。

然後，控制端子200將由懸停相機100捕獲的圖像用作輸入圖像，並且通過顯示控制單元234提取輸入圖像和組合圖像的特徵點(步驟S402)。當提取特徵點時，控制端子200然後執行所提取的特徵點的匹配，並且通過顯示控制單元234計算特徵點之間的移動量或旋轉量(步驟S403)。

然後，控制端子200通過顯示控制單元234根據在步驟S403中獲得的特徵點之間的移動量或旋轉量來轉換組合圖像(步驟S404)。在轉換時，當已經指定了目標位置時，控制端子200通過顯示控制單元234根據甚至目標位置執行轉換。

然後，控制端子200將先前的組合圖像與輸入圖像組合以生成新的組合圖像，並且通過顯示控制單元234執行顯示組合圖像的處理(步驟S405)。

然後，控制端子200通過顯示控制單元234確定在正在顯示組合圖像的顯示單元210上是否存在用戶輸入(步驟S406)。例如，在正在顯示組合圖像的顯示單元210上的用戶輸入是在安裝在顯示單元210中的觸摸面板上的用戶輸入。此外，當在顯示單元210上安裝的觸摸面板上存在用戶輸入時，控制端子200例如通過顯示控制單元234檢測用戶輸入的圖像的坐標位置。當在組合圖像上存在用戶輸入時(步驟S406中的「是」)，控制端子200通過顯示控制單元234執行將用戶的觸摸位置登記為目標位置的處理(步驟S407)。當在組合圖像上沒有用戶輸入時(步驟S406中的「否」)，控制端子200跳過步驟S407的處理。

然後，控制端子200通過顯示控制單元234確定是否已經登記了目標位置(步驟S408)。當已經登記了目標位置時(步驟S408中為是)，控制端子200然後通過顯示控制單元234獲得目標位置距當前位置的方向(步驟S409)。

當獲得了目標位置距當前位置的方向時，控制端子200然後基於成像設備101(根據成像設備101的附接)的成像方向信息執行從圖像上的方向到懸停相機100的機身的移動方向的轉換)(步驟S410)。然後，控制端子200通過飛行信息生成單元232生成用於在轉換的移動方向上執行移動的命令作為飛行信息，並將所生成的飛行信息發送到懸停相機100(步驟S411)。

當飛行信息被發送到懸停相機100時，控制端子200返回到步驟S402的特徵點提取處理。

另一方面，當在步驟S408中確定還沒有登記目標位置(步驟S408中的「否」)時，控制端子200跳過步驟S409至S411的處理，並返回到步驟S402的特徵點提取處理。

根據本公開的實施例的控制端子200執行上述處理，並且因此可以根據需要組合由懸停相機100捕獲的圖像，生成組合圖像，生成用於飛行到在組合圖像上指定的位置，並將飛行信息發送到懸停相機100。

在上述示例中，控制端子200根據對組合圖像的觸摸處理生成用於控制懸停相機100的飛行的飛行信息，但是本公開不限於相關示例。

例如，控制端子200可以根據通過對組合圖像的縮進(pinch-in)操作的縮小處理，通過對組合圖像的擴大操作的放大處理，或者對組合圖像的旋轉操作生成用於控制懸停相機100的飛行的飛行信息。

換句話說，當執行對組合圖像的縮進操作(縮小組合圖像的操作)時，控制端子200可以生成用於使得懸停相機100遠離成像目標移動的飛行信息。此外，當執行對組合圖像的擴大操作(放大組合圖像的操作)時，控制端子200可以生成用於使得懸停相機100接近成像目標的飛行信息。具體地，執行控制，使得基於指示安裝在懸停相機100中的成像設備101的成像方向的信息來生成飛行信息。例如，在對組合圖像執行的縮小操作中，當成像方向是懸停相機的向下方向時，生成用於指示懸停相機的上升的飛行路徑信息，並且懸停相機移動遠離成像目標，並且當成像方向是懸停相機的向上方向時，生成用於指示懸停相機的下降的飛行路徑信息，並且懸停相機移動遠離成像目標。此外，當通過對組合圖像的觸摸操作執行旋轉操作時，控制端子200可以生成飛行信息，使得在懸停相機100的成像設備101面向成像目標的狀態下執行旋轉。

在上述示例中，雖然由控制端子200執行由懸停相機100捕獲的圖像的組合處理，並且將飛行指令從控制端子200發送到懸停相機100，但是本實施例的技術可以應用於例如所有移動對象(諸如配備有成像設備的機器人)的控制。

在上述示例中，由懸停相機100捕獲的圖像的組合處理由控制端子200執行，並且飛行指令從控制端子200發送到懸停相機100。在這種情況下，每次進行捕獲時將通過懸停相機100捕獲的圖像從懸停相機100發送到控制端子200，並且每次生成和更新飛行信息時將由控制端子200生成的飛行信息(即，用於使懸停相機100直接解釋移動方向的信息)從控制端子200發送到懸停相機100。

然而，本公開不限於相關示例。例如，懸停相機100可以執行通過對由懸停相機100捕獲的圖像的成像處理而進行的參數的提取和用於控制懸停相機100的飛行的命令的生成，並且控制端子200可以對由懸停相機100捕獲的圖像執行組合處理，且可以僅接收來自用戶的目標位置的輸入。在這種情況下，每當執行捕獲時，將由懸停相機100捕獲的圖像從懸停相機100發送到控制端子200，並且每當用戶指定目標位置時將由用戶指定的目標位置的信息從控制端子200發送到懸停相機100。

因為懸停相機100執行通過對由懸停相機100捕獲的圖像的成像處理而進行的參數的提取和用於控制懸停相機100的飛行的命令的生成，因此反饋控制僅在懸停相機100內完成。因此，即使當在控制端子200和懸停相機100之間的信息交換所必要的通信量減少或控制端子200和懸停相機100之間的通信斷開時，它也能夠使懸停相機100安全飛行。

此外，在上述示例中，生成組合圖像，使得由懸停相機100最近捕獲的圖像位於屏幕的中心，但是本公開不限於相關示例。換句話說，由懸停相機100捕獲的圖像可以在組合圖像的顯示位置固定的狀態下與組合圖像組合。當組合圖像的顯示位置固定時，目標位置是固定的，並且當更新組合圖像時移動懸停相機100的當前位置。此外，當組合圖像的顯示位置是固定的並且組合圖像通過組合圖像的更新到達屏幕的端部時，可以通過滾動整個組合圖像來更新當前位置和目標位置，使得最近捕獲的圖像適合在屏幕內。

成像設備101可以不附接到懸停相機100，使得成像方向是固定的，並且例如，成像設備101可以附接到懸停相機100，使得成像方向通過電機等改變。當成像設備101附接到懸停相機100使得成像方向改變時，例如，控制單元110可以檢測成像設備101的成像方向，並且可以根據由控制單元110檢測到的成像方向來執行指定懸停相機100的移動方向處理和組合圖像生成處理。

如上所述，根據本公開的實施例，設置了基於設置的飛行信息執行自動飛行並捕獲檢測目標的結構的懸停相機100以及能夠基於由懸停相機100捕獲的靜止圖像檢查結構的損壞狀態的檢測系統10。

根據本公開的實施例的檢測系統10在生成要發送到懸停相機100的飛行信息時，使用與檢測目標的結構相關的信息。使用與檢測目標的結構相關的信息，控制端子200可以生成用於使得懸停相機100飛行並且高效地檢測檢測目標的結構的飛行信息。

此外，根據本公開的實施例，設置了能夠從由懸停相機100捕獲的圖像生成組合圖像並且根據對組合圖像的輸入生成用於移動懸停相機100的飛行信息的控制端子200。根據本公開的實施例的控制端子200可以使用戶能夠通過從由懸停相機100捕獲的圖像生成組合圖像並且根據對組合圖像的輸入生成用於移動懸停相機100的飛行信息來直觀地操作懸停相機100。因此，根據本公開的實施例的控制端子200可以使得用戶能夠容易地操作懸停相機100，而不強迫用戶執行複雜的操作。

在上述實施例中，已經描述了其中由懸停相機100捕獲的圖像是靜止圖像，並且使用靜止圖像檢測橋1的損壞狀態的檢測系統10的示例，但是本公開不限於相關示例。懸停相機100可以在飛行時捕獲橋1的運動圖像，並且信息處理設備300可以使用由懸停相機100捕獲的運動圖像來生成損壞數據。懸停相機100在執行移動圖像成像處理時周期性地獲取位置信息，並且將運動圖像的成像時間與位置信息的獲取時間相關聯，並且因此信息處理設備300可以使用運動圖像來生成損壞數據。

不必按照在序列圖或流程圖中描述的時間順序執行由本說明書的每個設備執行的處理的每個步驟。例如，由每個設備執行的處理的每個步驟可以按照與作為流程圖描述的順序不同的順序執行，或者可以並行執行。

此外，還可以創建用於使安裝在每個設備中的諸如CPU、ROM和RAM的硬體展示與上述每個設備的等同功能的電腦程式。此外，還可以設置其中存儲這樣的電腦程式的存儲介質。另外，通過將功能框圖中所示的每個功能塊配置為硬體或硬體電路，還可以使用硬體或硬體電路來實現一系列處理。此外，在上述描述中使用的功能框圖中示出的一些或所有功能塊可以由經由諸如網際網路的網絡連接的伺服器設備實現。此外，在上述描述中使用的功能框圖中所示的功能塊的每個組件可以由單個設備實現，或者可以由多個設備彼此協作的系統來實現。多個設備彼此協作的系統的示例包括多個伺服器設備的組合以及伺服器設備和端子設備的組合。此外，該系統可以應用於汽車。例如，駕駛員可以觸摸合成圖像上的優選的停車空間。然後，汽車可以根據觸摸處理自動地移動到優選的停車空間。

本領域技術人員應當理解，根據設計要求和其他因素，可以進行各種修改，組合，子組合和替換，只要它們在隨附權利要求或其等同物的範圍內。

另外，本說明書中描述的效果僅僅是說明性和說明性的，而不是限制性的。換句話說，連同或者代替基於本說明書的效果，根據本公開的實施例的技術還可以呈現對於本領域技術人員顯而易見的其他效果。

本公開還可以採用以下配置。

(1)一種車輛控制系統，包括：至少一個成像設備，其附接到車輛並且被配置為捕獲多個圖像；以及控制電路，其被配置為從所述多個圖像生成合成圖像，並且在顯示單元上顯示所述合成圖像，其中所述車輛根據正在顯示所述合成圖像的顯示單元的一部分上的用戶操作來操作。

(2)根據(1)所述的車輛控制系統，其中，所述用戶操作是對所述合成圖像的操作。

(3)根據(1)或(2)所述的車輛控制系統，其中，所述顯示單元包括用於顯示所述合成圖像的第一顯示區域，所述用戶操作是在所述顯示單元的不同於第一顯示區域的第二顯示區域上的操作。

(4)根據(1)至(3)中任一項所述的車輛控制系統，其中，所述控制電路被配置為基於所述用戶操作在所述顯示單元上相對於顯示在所述顯示單元上的車輛位置的輸入位置來生成目標位置信息，所述輸入位置表示目標位置，以及

目標位置信息包括在真實坐標系中從車輛位置到目標位置的方向。

(5)根據(4)所述的車輛控制系統，其中，所述目標位置信息包括在所述真實坐標系中從所述車輛位置到所述目標位置的距離。

(6)根據(4)或(5)所述的車輛控制系統，其中，所述控制電路被配置為將所述目標位置信息發送到所述車輛。

(7)根據(4)至(6)中任一項所述的車輛控制系統，其中，所述控制電路被配置為顯示所述合成圖像，使得所述合成圖像上的車輛位置位於所述顯示單元的中心。

(8)根據(4)至(7)中任一項所述的車輛控制系統，其中，所述控制電路被配置為改變所述合成圖像的顯示，使得在車輛接近真實坐標系中的目標位置時所述顯示單元上的目標位置接近所述顯示單元的中心。

(9)根據(4)至(8)中任一項所述的車輛控制系統，其中，所述用戶操作是縮小操作，並且所述車輛被配置為響應於所述縮小操作來接近真實坐標系中的目標位置。

(10)根據(1)至(9)中任一項所述的車輛控制系統，其中，所述車輛是懸停機。

(11)根據(1)至(10)中任一項所述的車輛控制系統，其中，所述車輛是汽車。

(12)根據(1)至(11)中任一項所述的車輛控制系統，其中，所述合成圖像是拼接圖像。

(13)根據(10)所述的車輛控制系統，其中，所述控制電路被配置為在自主飛行模式和用戶操作飛行模式之間切換飛行模式，並且其中所述懸停機根據在用戶操作飛行模式中的用戶操作來操作。

(14)根據(13)所述的車輛控制系統，其中所述控制電路被配置為根據位置信息獲取電路的異常從自主飛行模式切換到用戶操作飛行模式。

(15)根據(14)所述的車輛控制系統，其中，所述位置信息獲取電路被配置為基於全球定位系統接收器信息獲取位置信息。

(16)一種車輛控制方法，包括：經由附接到車輛的至少一個成像設備捕獲多個圖像；從所述多個圖像生成合成圖像，並且在顯示單元上顯示所述合成圖像；以及根據正在顯示所述合成圖像的所述顯示單元的一部分上的用戶操作來操作所述車輛。

(17)根據(16)所述的車輛控制方法，其中，所述用戶操作是對所述合成圖像的操作。

(18)根據(16)或(17)所述的車輛控制方法，其中在所述顯示單元上顯示所述合成圖像包括在所述顯示單元的第一顯示區域上顯示所述合成圖像，並且所述用戶操作是所述顯示單元的不同於所述第一顯示區域的第二顯示區域上的操作。

(19)根據(16)至(18)中任一項所述的車輛控制方法，還包括：基於所述用戶操作在所述顯示單元上相對於在所述顯示單元上顯示的車輛位置的輸入位置生成目標位置，所述輸入位置表示目標位置，其中所述目標位置信息包括在真實坐標系中從所述車輛位置到所述目標位置的方向。

(20)根據(19)所述的車輛控制方法，其中，所述目標位置信息包括在所述真實坐標系中從所述車輛位置到所述目標位置的距離。

(21)根據(19)或(20)所述的車輛控制方法，還包括：將所述目標位置信息發送到所述車輛。

(22)根據(19)至(21)中任一項所述的車輛控制方法，還包括：顯示所述合成圖像，使得所述合成圖像上的車輛位置位於所述顯示單元的中心。

(23)根據(19)至(22)中任一項所述的車輛控制方法，還包括：改變所述合成圖像的顯示，使得當所述車輛接近真實坐標系中的目標位置時所述顯示單元上的目標位置接近所述顯示單元的中心。

(24)根據(19)至(23)中任一項所述的車輛控制方法，還包括：響應於所述用戶操作，使所述車輛接近真實坐標系中的目標位置，其中所述用戶操作是縮小操作。

(25)根據(16)至(24)中任一項所述的車輛控制方法，其中，所述車輛是懸停機。

(26)根據(16)至(24)中任一項所述的車輛控制方法，其中，所述車輛是汽車。

(27)根據(16)至(26)中任一項所述的車輛控制方法，其中，所述合成圖像是拼接圖像。

(28)一種計算機系統，包括：至少一個處理單元；以及存儲器，所述存儲器包括存儲指令的非暫時性計算機可讀介質，所述指令在被所述至少一個處理單元執行時使得所述計算機系統：使得附接到車輛的至少一個成像設備捕獲多個圖像，從所述多個圖像生成合成圖像，在顯示單元上顯示合成圖像，以及根據正在顯示合成圖像的顯示單元的一部分上的用戶操作來操作車輛。

(29)一種控制設備，包括：圖像處理單元，被配置為從配備有成像設備的移動對象捕獲的圖像生成組合圖像；以及移動信息生成單元，被配置為根據對由所述圖像處理單元生成的組合圖像的操作，生成用於移動所述移動對象的移動信息。

(30)根據(29)所述的控制設備，其中，所述移動信息生成單元基於在所述組合圖像上指定的指定位置，生成用於將所述移動對象移動到地點的移動信息。

(31)根據(30)所述的控制設備，其中，當生成所述移動信息時，所述移動信息生成單元基於所述成像設備在所述移動對象中的安裝狀態來確定所述移動對象的移動方向。

(32)根據(30)或(31)所述的控制設備，其中，當生成所述組合圖像時，所述圖像處理單元將在生成組合圖像之前所述組合圖像中的指定位置移動到在生成所述組合圖像之後所述組合圖像中的位置。

(33)根據(30)至(32)中任一項所述的控制設備，其中，所述移動信息生成單元生成用於在以移動對象的前面面向該地點的方式改變所述移動對象的方向之後將所述移動對象移動到基於指定位置的地點的移動信息。

(34)根據(29)至(33)中任一項所述的控制設備，其中，所述移動信息生成單元基於對組合圖像的放大處理生成用於以所述移動對象接近所述成像設備的成像目標的方式移動所述移動對象的移動信息。

(35)根據(29)至(33)中任一項所述的控制設備，其中，所述移動信息生成單元基於對組合圖像的縮小處理來生成用於以所述移動對象移動遠離所述成像的成像目標的方式移動所述移動對象的移動信息。

(36)根據(29)至(33)中任一項所述的控制設備，其中，所述移動信息生成單元基於對組合圖像的旋轉處理生成用於以所述移動對象在所述成像設備面向成像目標的狀態下旋轉的方式移動所述移動對象的移動信息。

(37)根據(29)至(36)中任一項所述的控制設備，其中，所述圖像處理單元以如下方式生成所述組合圖像：由所述移動對象最近捕獲的圖像的中心位於屏幕的中心。

(38)根據(29)至(37)中任一項所述的控制設備，其中所述移動對象是飛行設備。

(39)一種控制方法，包括：從配備有成像設備的移動對象捕獲的圖像生成組合圖像；以及根據對所生成的組合圖像的操作來生成用於移動所述移動對象的移動信息。

(40)一種電腦程式，使計算機執行：從配備有成像設備的移動對象捕獲的圖像生成組合圖像；以及根據對所生成的組合圖像的操作來生成用於移動所述移動對象的移動信息。

附圖標記說明：

10 檢測系統

100 懸停相機

101 成像設備

104a 至104d轉子

108a 至108d電機

110 控制單元

120 通信單元

130 傳感器單元

132 位置信息獲取單元

140 存儲單元

150 電池

200 控制端子

300 信息處理設備

400 無線中繼節點

500 位置估計節點

600 基站

700 充電站