用於增強導航的方法和系統的製作方法
2023-05-12 01:46:41 4
專利名稱：用於增強導航的方法和系統的製作方法
技術領域：
本公開的領域一般涉及導航裝置，尤其涉及用於增強導航的方法和系統。
背景技術：
在標準和極端兩種狀況的導航中存在增加情形認知(situational awareness)的持續需求，包括實時顯示周圍環境的信息。增強現實(augmented reality)是用於物理真實世界環境的現場(live)的直接或間接的視圖的術語。環境元素通過計算機產生的感覺輸入(例如聲音或圖像)被增強。 在增強現實系統中，當前的現實感知被增強。由這樣的系統所提供的增強通常是實時的並且在帶有環境元素的語義背景中。一個常見的例子是在體育賽事期間電視上運動成績的更新。通過添加計算機視覺和/或對象識別，關於用戶的周圍真實世界的信息成為交互式的和可使用的。
發明內容
在一方面，提供了一種導航裝置，其包括處理裝置；存儲器，其通信地耦合到所述處理裝置，所述存儲器包括地圖學導航地圖數據的資料庫；第一傳感器，其可操作來向所述處理裝置提供位置數據；顯示器，其操作地耦合到所述處理裝置；以及至少一個圖像採集裝置，其可操作地耦合到所述處理裝置。所述處理裝置被編程為當在第一操作模式中時， 使所述顯示器顯示一部分地圖學導航地圖數據，所顯示的部分是基於由所述處理裝置接收的位置數據。所述處理裝置還被配置為當在第二操作模式中時，使所述顯示器顯示由所述至少一個圖像採集裝置採集的圖像。圖像被一個或多個符號覆蓋，所述一個或多個符號指示地圖學導航地圖數據的資料庫中的感興趣的一個或多個點，基於由所述處理裝置接收的位置數據，所述一個或多個符號與採集的圖像相關聯。另一方面，提供了一種用於導航裝置的增強導航方法。方法包括確定導航裝置是處於地圖顯示模式還是採集圖像顯示模式，以及如果確定導航裝置處於地圖顯示模式，則所述方法包括確定導航裝置的位置，以及顯示與確定的位置關聯的一部分地圖學地圖。如果確定導航裝置處於採集圖像顯示模式，則所述方法包括確定導航裝置的位置，顯示採集的圖像，將採集的圖像與一部分地圖學地圖相關聯，該部分地圖學地圖與確定的位置關聯， 以及在採集的圖像上顯示感興趣的點的覆蓋圖，感興趣的點存儲在地圖學地圖數據中，覆蓋圖被相關聯為相對於採集的圖像處於正確的位置。再一方面，提供一種導航裝置，其包括處理裝置；存儲器，其通信地耦合到處理裝置，所述存儲器包括地圖學導航地圖數據的資料庫；GPS接收器，其可操作來向所述處理裝置提供位置數據；顯示器，其可操作地耦合到所述處理裝置；至少一個圖像採集裝置，其可操作地耦合到所述處理裝置；以及傳感器，其可操作用於確定所述導航裝置的方位。其中在第一確定的方位中，所述處理裝置被編程為使所述顯示器顯示一部分地圖學導航地圖數據，該部分地圖學導航地圖數據是基於由所述處理裝置接收的位置數據，以及其中在第一確定的方位中，所述處理裝置被編程為使所述顯示器顯示由所述至少一個圖像採集裝置採集的圖像，所述圖像由與所述地圖學導航地圖數據相關的一個或多個符號所覆蓋。所述導航裝置還包括至少一個陀螺儀，其中至少一個圖像採集裝置可操作來向所述處理裝置提供與所述至少一個圖像採集裝置關聯的鏡頭的視角和焦距；陀螺儀可操作來確定至少一個圖像採集裝置的鏡頭指向哪一個方向，所述處理裝置使用接收的陀螺儀數據計算出方向信息；以及所述處理裝置可以被編程為將所述視角、焦距以及方向信息與所述資料庫中的所述地圖數據相關聯，從而通過計算顯示器上每個符號相對於採集圖像的邊緣的位置，對顯示器上每個符號分配坐標。導航裝置還包括通信接口，其通信地耦合到所述處理裝置，所述通信接口可操作用於接收與遠離所述導航裝置部署的另一個導航裝置相關的數據。所述處理裝置可以被編程為使用從所述至少一個陀螺儀接收的數據來在顯示地圖學導航地圖數據與顯示由所述至少一個圖像採集裝置採集的圖像之間切換所述導航裝置。所述導航裝置還包括用戶輸入接口，所述接口可操作用於選擇在所述顯示器上顯示的覆蓋符號，所述處理裝置被編程為覆蓋與所述符號表示的感興趣的點相關的附加數據。所述導航裝置其中所述至少一個圖像採集裝置包括數位照相機、攝像機、紅外線照相機以及低光夜視照相機中的至少一個，其中的一個或多個可以遠離所述導航裝置。已經討論的特徵、功能以及優勢可以在各種實施例中獨立地實現或與其它實施例結合，參照接下來的說明和附圖可以看出實施例的進一步細節。
圖I是增強現實導航系統的方框圖。圖2是在圖I的導航裝置的顯示器上所呈現的地圖學地圖的圖示。圖3是由圖像採集裝置採集的並在圖I的導航裝置的顯示器上顯示的圖像的圖
/Jn ο圖4是圖解說明由圖I的導航裝置的至少一個實施例使用的方法的流程圖。
具體實施例方式所描述的實施例涉及導航裝置和方法，其中當在第一操作模式或默認位置(在此稱為地圖學(cartographic)或地圖顯示模式)時，導航裝置作為常規的地圖學導航工具進行操作，以及當在第二操作模式或非默認位置(在此稱為採集圖像顯示模式或現場模式 (因為與裝置關聯的顯示器正顯示由圖像採集裝置所採集的「現場」圖像))時，導航裝置作為增強現實裝置進行操作。在一個預期的實施例中，默認位置視為水平的，因為顯示器被水平定向，而非默認位置視為垂直的，因為顯示器被垂直定向。因此，雖然在此使用「水平方位」、「垂直方位」以及相似術語，但是應將它們視為非限制的例子。進一步地，雖然有時在此針對海上導航描述實施例，但是實施例不是這樣有限的，並能夠被解釋為包括陸地和/ 或空中導航的實施例。現在轉向圖1，根據說明性實施例描繪了增強現實導航裝置10的方框圖。導航裝置10包括處理器12，其通信地耦合到存儲器14、用戶輸入接口 16以及顯示器18。進一步地，方位傳感器20 (例如陀螺儀)通信地耦合到處理器12，使得處理器12基於在其上運行的程序能夠確定導航裝置10的方位。在一個具體的實施例中，方位傳感器20包括指南針和兩個陀螺儀。另外，GPS傳感器22通信地耦合到處理器12，使得處理器基於在其上運行的程序能夠確定導航裝置10的位置。在某些實施例中，顯示器18遠離導航裝置10。在一個實施例中，圖像採集裝置30位於導航裝置10的內部。在其它實施例中，圖像採集裝置30遠離導航裝置10。在一個例子中，圖像採集裝置30是安裝在船舶或輪船的船頭附近的照相機。在另一個實施例中，圖像採集裝置30可以安裝在船上的其它地方，例如，在桅杆或其它結構上。在各種實施例中，圖像採集裝置30是數位照相機、攝像機、紅外照相機、低光夜視照相機或任何其它實時採集裝置中的一個或多個。在海上應用中，圖像採集裝置30可以安裝在船舶或輪船的船身上。在一個實施例中，提供通信接口 32，使得導航裝置10的處理器12可以接收來源於一個或多個外部系統的數據。類似地，通信接口 32允許數據從導航裝置10經由處理器12 傳輸至外部系統，例如另一個導航系統10，如下進一步描述的。在實施例中，存儲器14包括與地圖相關的資料庫40，該地圖的一部分作為地圖學地圖100顯示在顯示器18上，如圖 2所示。在操作中，導航裝置10利用例如資料庫40的海上導航數據並產生地圖100，以便在顯示器18上顯示。波音公司的子公司Bppesen是這種海上導航數據的供應商，並且海上導航數據有時被稱為J印pesen海上導航數據。地圖100是航海地圖的一個例子，其圖解說明港口 102，該港口具有從海岸線108向外延伸進入水110中的第一碼頭104和第二碼頭106。地圖100還指示超過港口區域102的深水區域112。在地圖100中需要注意的是在碼頭104和106各自的末端附近的導航標誌120和122。圖3是由圖像採集裝置30採集的圖像150的圖示。在一個實施例中，當方位傳感器20感測到導航裝置10的方位變化時，導航裝置10從顯示地圖100切換至顯示圖像150。 在一個操作性例子中，當導航裝置10被水平定向時(例如在課桌或桌子上)顯示地圖100， 所顯示的地圖100對應於由GPS傳感器22所確定的導航裝置10的位置。當導航裝置被垂直定向時(例如，用於定向內部圖像採集裝置30的鏡頭從而採集圖像)顯示通過鏡頭採集的圖像。在其它實施例中，利用用戶輸入、開關或遠程控制來從顯示地圖改變至顯示所採集的圖像。當圖像採集裝置30遠離導航裝置10時，這類實施例尤其有用。特別地，當導航裝置10(在現場模式中)被垂直定向時，運行在導航裝置10的處理裝置12上的軟體應用程式利用以上所提及的在資料庫40內的海上導航數據，並且使用資料庫數據在所顯示的圖像150上產生實時的覆蓋圖(overlay)，所顯示的圖像150是通過圖像採集裝置30採集的。如圖3所示，覆蓋圖提供針對各種服務的位置的指示以及與導航相關的指示。特別針對圖3，覆蓋圖包括警察局指示符160、加油站指示符162、教堂指示符 164、機械指示符166、飯店指示符168以及釣魚包船(fishing charter)指示符170。在圖3中的覆蓋圖應該被理解僅僅為例子。由於相關數據併入地圖資料庫40中， 所以可以包括指示許多不同類型的地標、服務等的許多其它覆蓋圖，包括與離岸項目相關的覆蓋圖。導航需要注意的是固定的導航標誌指示符180和182 (與導航標誌120和122 相關聯)。同樣，指示符180和182僅僅是例子。如圖3所示的，實時覆蓋圖可以包括真實的數據190，例如港口 /碼頭名字、港口相關信息和服務、海上救助(naval-aids)以及任何其它以地理為參考的對象、與導航和相關活動有關的感興趣的點和地方標誌。另外，其它與導航相關的真實數據可以包括在這類覆蓋圖中，包括但不限於深度指示符、暗礁和任何已知的在周圍地區內的遇難船。
通過用戶選擇，可以獲得關於指示符的附加信息192。例如，在彈出類型窗口 194 中提供了關於固定導航標誌指示符180的附加信息192。具體地，彈出窗口 194包括導航標誌120的操作參數。在一個實施例中，因為所採集的圖像150是實時的，所以隨著所採集的圖像由於正在利用導航裝置10的平臺的移動而在顯示器18上「移動」，更新指示符的位置。為了在圖像150上提供覆蓋圖，導航裝置10被編程來將採集的圖像與存儲在資料庫40中的地圖數據相關聯。具體地，資料庫40包括關於通過使用指示符而被高亮顯示的地標的信息。具體地，當圖像採集裝置30正記錄輸入流(在此有時稱為現場視圖)時，圖像採集裝置30還能夠向處理器12提供與圖像採集裝置30關聯的鏡頭的視角和焦距，從而完成以上所述的地圖資料庫40和採集的圖像之間的相關聯。在實施例中，之前提及的指南針和陀螺儀被配置為確定圖像採集裝置的鏡頭指向哪一個方向。將來自圖像採集裝置、GPS 數據以及陀螺儀數據的信息與存儲在導航裝置10中的地圖數據結合，通過計算顯示器18 上每一個元素(覆蓋圖)相對採集圖像的邊緣的位置，允許對顯示器18上每一個元素正確地分配坐標。瞬息數據(例如由實時傳感器捕獲的瞬息數據(例如，天氣、風))可以包括在顯示器18上所顯示的圖像中。例如，可以提供關於其它船/人操作(例如出港)的相關和/ 或個人信息。在實施例中，實時提供這種來自放置在其它船上的傳感器並經由通信接口 32 接收到的信息。這種信息的例子包括但不限於關於輪船(也裝備有導航裝置10)停泊的附近位置的天氣信息。在另一個例子中，在賽船會環境中，導航裝置10可以接收與競賽船相關的速度和路線信息，或來自同一輪船的照相機的現場拍攝。熟悉導航的技術人員將理解， 存在許多將對船員有用的信息交換。本領域技術人員還將理解，在此所描述的系統和方法可以應用於各種商業平臺， 包括但不限於智慧型電話、個人導航裝置、移動計算平臺以及任何與實時攝像機連接的其它計算裝置，包括但不限於航海圖表繪圖儀和導航系統。得到的裝置是固定或移動帶有外部或嵌入的攝像機的地圖學圖表繪圖儀或導航系統。這種裝置提供可能對用戶有價值的信息以及增加在標準狀況和在極端狀況中導航時的情形認知，將信息層顯示在周圍環境的實時圖像上。圖4是圖解說明由導航裝置10的至少一個實施例使用的方法的流程圖200。在加電後，在202，導航裝置10確定其處於地圖顯示模式還是處於採集圖像顯示模式。如以上所述，顯示模式的確定是基於由方位傳感器20或開關的用戶輸入或其它用戶輸入(例如遠程控制)確定的導航裝置10的方位之一。在204，如果確定導航裝置10處於地圖顯示模式，則感測並計算導航裝置10的當前位置，並在導航裝置的顯示器上顯示存儲在資料庫中的接近當前位置的一部分地圖。在206，如果確定導航裝置10處於採集圖像顯示模式，則感測並計算導航裝置10 的當前位置並在顯示器上顯示採集的圖像。進一步地，將採集的圖像與資料庫中的地圖數據相關聯，並且在採集的圖像上覆蓋存儲在組成地圖資料庫的數據內的至少一個感興趣的點，感興趣的點被覆蓋為使得它們相對於採集的圖像正確定位。為說明和描述的目的，已經描述了不同的有利的實施例，並且無意對公開形式的實施例窮盡或限制。許多變化和改變對本領域技術人員是顯而易見的。進一步地，不同的有利的實施例可以提供與其它有利的實施例相比不同的優勢。選擇並描述所選的一個或多個實施例是為了更好地解釋實施例的原理、實際應用，並且使本領域技術人員能夠理解，具有各種變化的各種實施例的公開適於所考慮的特定用途。該書面的描述使用例子公開各種實施例(包括最佳實施例)，使本領域技術人員能夠實施這些實施例，包括製造和使用任何裝置或系統並執行任何所包括的方法。可授權範圍由權利要求限定，並且可以包括本領域技術人員想到的其它例子。如果這類其它例子具有並非不同於權利要求的文字語言的結構元件，或如果它們包括與權利要求的文字語言非實質差異的等效結構元件，則它們視為在權利要求的範圍內。
權利要求
1.一種導航裝置，包括處理裝置；存儲器，其通信地耦合到所述處理裝置上，所述存儲器包括地圖學導航地圖數據的資料庫；第一傳感器，其可操作來向所述處理裝置提供位置數據；顯示器，其可操作地耦合到所述處理裝置；以及至少一個圖像採集裝置，其可操作地耦合到所述處理裝置，所述處理裝置被編程為當在第一操作模式中時，使所述顯示器顯示一部分所述地圖學導航地圖數據，所顯示的一部分是基於由所述處理裝置接收的位置數據，並且所述處理裝置被配置為當在第二操作模式中時，使所述顯示器顯示由所述至少一個圖像採集裝置所採集的圖像，所述圖像被一個或多個符號覆蓋，所述一個或多個符號指示所述地圖學導航地圖數據的資料庫中的感興趣的一個或多個點，基於由所述處理裝置接收的位置數據，所述一個或多個符號與採集的圖像相關聯。
2.如權利要求I所述的導航裝置，還包括第二傳感器，由所述第二傳感器感測的所述導航裝置的方位可操作來用於在所述第一操作模式和所述第二操作模式之間切換所述導航裝置。
3.如權利要求2所述的導航裝置，其中所述第二傳感器包括陀螺儀。
4.如權利要求2所述的導航裝置，其中通過所述第二傳感器感測所述導航裝置處於水平位置而啟動所述第一操作模式，以及通過所述第二傳感器感測所述導航裝置處於垂直位置而啟動所述第二操作模式。
5.如權利要求I所述的導航裝置，其中所述顯示器和所述至少一個圖像採集裝置中的至少一個遠離所述導航裝置。
6.如權利要求I所述的導航裝置，還包括開關，所述開關可操作用於將所述處理裝置從第一操作模式切換到第二操作模式。
7.如權利要求I所述的導航裝置，還包括用戶輸入接口，所述接口可操作用於選擇在所述顯示器上顯示的感興趣的覆蓋點，所述處理裝置被編程為覆蓋與在所述顯示器上選擇的感興趣的點相關的附加數據。
8.如權利要求I所述的導航裝置，其中所述至少一個圖像採集裝置包括數位照相機、 攝像機、紅外線照相機以及低光夜視照相機中的至少一個。
9.如權利要求I所述的導航裝置，其中所述至少一個圖像採集裝置可操作來向所述處理裝置提供與所述至少一個圖像採集裝置關聯的鏡頭的視角和焦距；所述傳感器可操作來確定所述至少一個圖像採集裝置的鏡頭指向哪一個方向，並向所述處理裝置提供方向信息；以及所述處理裝置被編程為將所述視角、焦距以及方向信息與所述資料庫中的地圖數據相關聯，從而通過計算所述顯示器上每一個符號相對於採集圖像的邊緣的位置來對所述顯示器上每一個符號分配坐標。
10.如權利要求I所述的導航裝置，還包括通信接口，其通信地耦合到所述處理裝置， 所述通信接口可操作用於接收與遠離所述導航裝置部署的另一個所述導航裝置關聯的傳感器信息。
11.一種用於導航裝置的增強導航方法，包括確定所述導航裝置是處於地圖顯示模式還是採集圖像顯示模式；如果確定所述導航裝置處於地圖顯示模式，則確定所述導航裝置的位置，以及顯示與確定的位置關聯的一部分地圖學地圖；以及如果確定所述導航裝置處於採集圖像顯示模式，則確定所述導航裝置的位置，顯示採集的圖像，將所述採集的圖像與一部分地圖學地圖相關聯，該部分地圖學地圖與確定的位置關聯，以及在所述採集的圖像上顯示感興趣的點的覆蓋圖，所述感興趣的點存儲在地圖學地圖數據中，將所述覆蓋圖相關聯為相對於所述採集的圖像處於正確的位置。
12.如權利要求11所述的增強導航方法，其中確定所述導航裝置是處於地圖顯示模式還是採集圖像顯示模式包括接收來自所述導航裝置中的方位傳感器的數據；以及基於接收的數據將所述導航裝置置於所述地圖顯示模式或所述採集圖像顯示模式。
13.如權利要求11所述的增強導航方法，其中確定所述導航裝置是處於地圖顯示模式還是採集圖像顯示模式包括接收所述導航裝置中的外部輸入；以及基於接收的輸入將所述導航裝置置於所述地圖顯示模式或所述採集圖像顯示模式。
14.如權利要求11所述的增強導航方法，其中確定所述導航裝置的位置包括接收來自所述導航裝置中的GPS的位置數據。
15.如權利要求11所述的增強導航方法，還包括使用用戶接口來選擇所述覆蓋圖中的一個；以及覆蓋與所選的感興趣的點相關的附加數據。
全文摘要
本發明涉及用於增強導航的方法和系統。本發明描述了一種導航裝置，其包括處理裝置；存儲器，其通信地耦合到處理裝置上，存儲器包括地圖學導航地圖數據的資料庫；第一傳感器，其可操作來向處理裝置提供位置數據；顯示器，其可操作地耦合到處理裝置；以及圖像採集裝置，其可操作地耦合到處理裝置。處理裝置被編程為當在第一操作模式中時，使顯示器顯示一部分地圖學導航地圖數據，所顯示的一部分是基於由處理裝置接收的位置數據。處理裝置還被配置為當在第二操作模式中時，使顯示器顯示由圖像採集裝置採集的圖像，所述圖像被一個或多個符號覆蓋，一個或多個符號指示地圖學導航地圖數據的資料庫中的感興趣的一個或多個點，基於由處理裝置接收的位置數據，一個或多個符號與採集的圖像相關聯。
文檔編號G01C21/30GK102589542SQ20111043461
公開日2012年7月18日 申請日期2011年12月15日 優先權日2010年12月15日
發明者F·阿爾塔穆拉, S·科特西 申請人:波音公司