一種基於增強現實技術的智能導航方法和設備的製作方法

2023-05-12 01:40:26

專利名稱：一種基於增強現實技術的智能導航方法和設備的製作方法
技術領域：
本發明涉及導航領域，更具體的涉及一種基於增強現實技術的智能導航方法和設備。
背景技術：
目前廣泛使用的導航裝置中都預先設置地圖，以及GPS接收機，通過GPS接收機接收到GPS信息確定用戶當前地理位置，然後根據用戶指定的目的地以及所述當前地理位置，在預先設置的地圖上規劃出一條到達目的地的導航路線，通過顯示裝置顯示導航提示 fn息ο現有的導航地圖基本都是採用二維電子地圖，對於某些用戶來講，二維電子地圖與實景差別較大，用戶在關注電子地圖的同時可能會忽略實際路況特徵，對於汽車用戶而言，長時間不看路況發生危險的可能性會增大，不利於行車安全。現有部分三維導航地圖，是通過預先採集各個街道、路口的三維立體圖像，在導航時，將預先採集到的圖像顯示在顯示屏幕上，看起來比二維導航圖像更加直觀，但這種導航圖像的缺點在於，需要事先採集地圖上所有街道的立體三維圖，這樣形成的電子地圖需要很大的存儲空間進行存儲，並且事先採集到的圖像與實際導航過程中的路面情況可能有較大差別，無法進行實時更新，給用戶帶來不便。因此，急需一種能夠實時提示各種路況特徵的實景導航方法和設備，真正實現基於現實路況進行導航的目的。

發明內容
為實現上述目的，本發明提供一種基於增強現實技術的智能導航方法，通過圖像採集裝置實時採集路況圖像，對採集到的圖像進行處理，結合導航路線，根據實際情況實時發出導航提示信息。由於所述導航提示信息是在判斷了當前路況的情況下做出的，因而更加貼合實際，符合人們的需求。本發明提供的基於增強現實技術的智能導航方法包括實時採集用戶行進過程中用戶前方的道路信息；識別所述道路信息中的各種路況特徵；基於所述路況特徵和預先確定的導航路線來生成導航提示信息。所述導航方法還包括接收GPS定位信息，確定用戶當前位置；根據用戶指定的目的地以及所述用戶當前位置，確定導航路線。本發明提供的導航方法，通過實時採集行駛路線正前方的道路信息，並對所述道路信息進行分析處理，根據處理結果結合導航路線發出導航提示信息。可以在顯示所述道路信息的同時在顯示裝置上疊加顯示所述導航提示信息；並且/或者以語音的形式向用戶提供所述導航提示信息。
所述道路信息為圖像，通過對採集到的圖像進行分析判斷，可以進行危險預警，這是一般的導航方法所不能達到的功能。在行駛過程中，路況是很複雜的，通過識別行駛路線前方的行人、非機動車或者小動物，及時提醒用戶做出反應，可降低發生危險的可能性。本發明提供的導航方法中，根據實時採集到的圖像中識別用戶所在的車道，當導航路線中發現需要進行轉彎時，判斷用戶是否在轉彎車道上，如果不在則提醒用戶及時併入轉彎車道，以免多走冤枉路，提高了導航精準度。綜上，本發明提供的導航方法，在判斷了當前路況的基礎上結合導航路線發出導航提示信息，更加貼近現實，便於使用。本發明還提供一種基於增強現實技術的智能導航設備，所述導航設備包括圖像採集裝置，實時採集用戶行進過程中用戶前方的道路信息；數據處理裝置，接收來自圖像採集裝置的道路信息，識別所述道路信息中的各種路況特徵；並基於所述路況特徵和預先確定的導航路線來生成導航提示信息。其中，所述導航提示信息為語音提示信息或者圖像提示信息。所述導航設備還可以包括下列裝置中的一種或者幾種GPS接收裝置，其實時接收GPS定位信息，確定用戶當前位置；路線確定裝置，其根據用戶指定的目的地以及所述用戶當前位置，確定車輛行駛的導航路線；顯示裝置，用於顯示所述道路信息，其中所述道路信息上疊加所述導航提示信息；存儲裝置，用於存儲所採集的路況特徵，所存儲的格式為圖片或者視頻。本發明所述的路況特徵包括信號燈特徵、車道特徵、行人特徵、前方機動車特徵、 非機動車特徵中的一種或者幾種。其中，信號燈特徵包括前方信號燈顯示的顏色，車道特徵包括車道上的諸如車道線、表示轉彎、掉頭的標記，行人或非機動車特徵包括車道內出現的行人或非機動車，前方機動車特徵包括前方機動車的距離和速度變化。本發明所述的導航提示信息包括機動車轉彎信息、機動車併線信息、危險警告信息、目的地距離信息、道路名稱信息、設備狀態信息中的一種或者幾種。利用上述導航設備，可以實現實時街景導航功能，並且所述導航設備操作簡單，便於用戶使用。


圖1為本發明實施例提供的導航方法流程圖；圖2為本發明實施例提供的導航設備示意圖；圖3為本發明另一實施例提供的導航設備示意圖；圖4-1至圖4-5為本發明提供的導航設備顯示裝置的屏幕顯示示意圖。
具體實施例方式下面結合附圖對本發明的具體實施例進行說明。圖1所示為本發明提供的基於增強現實技術的智能導航方法的流程圖，所述導航方法包括以下步驟
101、由用戶輸入目的地。具體的，用戶可以通過導航設備輸入目的地，也可以選擇通過網絡連接到網絡側服務中心設置目的地。所述網絡可以為無線通訊網絡或者網際網路。 例如，用戶通過撥打網絡側呼叫中心，通過網絡側呼叫中心來遠程設置目的地。當用戶通過導航設備輸入目的地時，可以通過輸入文字信息來輸入目的地，也可以通過語音信息來輸入目的地。102、接收GPS衛星信號，確定用戶所處的地理學經緯度坐標信息；根據所述坐標信息確定用戶當前位置。103、根據步驟101中所述目的地以及步驟102中所述當前位置，確定導航路線。具體的，導航設備中預設了電子地圖時，可以由導航設備根據所述目的地和所述當前位置來規劃導航路線。還可以由網絡側服務中心規劃導航路線，並將導航路線通過所述網絡傳回導航設備。導航設備也可以不包括電子地圖，此時由網絡側服務中心規劃導航路線，並將導航路線傳回導航設備。104、採集當前道路信息。優選採集當前行駛路線正前方的路況圖像，更進一步的， 採集用戶在駕駛座位上看到的行駛路線正前方的視野範圍內的圖像。當然，還可以通過紅外探頭採集當前行駛路線正前方的紅外圖像，然後對所述紅外圖像進行分析處理。105、識別所述路況圖像中的路況特徵。通過對採集到的當前路況圖像進數據分析處理，獲取所需信息。具體的，所述路況特徵可以包括車道狀況、行人狀況、前方機動車行駛狀況、前方信號燈狀況等；還可以包括所述路況圖像中的導航附加信息，例如所述當前位置附近的標誌性建築物、地鐵站、餐飲娛樂服務點等。識別所述路況圖像中的各種路況特徵的方法有很多種，可以根據具體的路況特徵選擇不同的圖像識別算法。下面將以前方信號燈狀況為示例來說明本發明對各種道路特徵的識別。首先根據實際需要將所述當前路況圖像轉換成所需格式的數字圖像。例如，識別信號燈時需要HSV格式的數字圖像，而所述當前路況圖像為RGB格式或者YUV格式，則將所述RGB格式或者YUV格式的圖像轉換成HSV格式的圖像。其次，對所述HSV格式的數字圖像進行處理，獲得H、S、V三個分量。然後，篩選出滿足限制條件的像素點。所述限制條件即經過測試的經驗值，這裡對 H、S、V三個分量都有限制，能夠在不同的環境下最大限度的篩選出信號燈的像素點，優選限制條件如下紅燈限制條件為S> 0. 3，V > 0. 6，15 > H > = 0 和 360 > H > 340。綠燈限制條件為S> 0. 3，V > 0. 6，180 > H > = 130。根據篩選出來的像素點在所述數字圖像中位置，獲得一幅二值圖像，其中所述篩選出來的像素點對應的位置像素值為1，其餘位置像素值為0 ；當然也可以所述篩選出來的像素點對應的位置像素值為0，其餘位置像素值為1。所述篩選出來的像素點位置為信號燈和一些幹擾源。對所述二值圖像進行一些圖像預處理，去除明顯的幹擾源。然後設置感興趣的區域，即紅綠燈可能存在的區域。在實際處理過程中，紅綠燈一般位於所述圖像的右上方區域，因此將感興趣的區域設置為圖像的右上方的部分區域。在所述二值圖像的感興趣區域進行查找，找到具有合適輪廓的像素區域；
對查找到的像素區域進行進一步判斷，排除幹擾源。例如，在實際處理過程中，因為汽車尾燈在HSV空間中的屬性和信號燈的大致相同，因而根據前述的紅燈限制條件篩選時容易將汽車尾燈也篩選進來。進過觀察，紅色信號燈相對於其他紅燈相對孤立，即周圍再無其他紅色，而汽車尾燈常常是有多個紅色塊組成，根據該特點可以將幹擾源過濾掉，獲得所需的信號燈信息。如根據前述紅燈篩選條件獲得的二值圖像中找到的信號燈，則判斷是紅燈，如根據綠燈篩選條件獲得的二值圖像找到的信號燈，則判斷是綠燈。上述識別信號燈的過程僅為一種實施方式，還可以根據其他特徵來識別圖像中是否有信號燈以及所述信號燈是紅燈還是綠燈。106、根據所述路況特徵，結合導航路線，發出導航提示信息。還可以根據用戶需求提供導航附加信息。所述導航提示信息和/或導航附加信息可以是語音提示和/或圖像提
7J\ ο具體的，所述導航提示信息包括機動車轉彎信息、機動車併線信息、危險警告信息、目的地距離信息、道路名稱信息、設備狀態信息中的一種或者幾種。例如，通過識別當前路況圖像，發現用戶按照目前既定速度和方向繼續前行將會與前方行人相撞，則發出危險警告信息，提示用戶注意前方行人，避免發生危險。通過識別當前路況圖像，發現前方機動車行駛速度突然減慢，與用戶之間的距離小於安全距離時，發出危險警告信息，提示用戶注意前方機動車，適當減速，避免發生危險。根據導航路線，前方需要轉彎時，通過識別當前路況圖像，判斷用戶是否在轉彎車道上，如果不是，則發出左/右併線信息，提醒用戶變換車道到合適的轉向車道上。具體的，所述導航附加信息可以包括用戶所在當前位置附近的餐飲娛樂場所、地鐵站、火車站、飛機場、購物場所、其他標誌性建築等。其中，步驟101、102並無先後順序，其順序可調；步驟104與步驟101、102亦無先後順序，其順序可以是並列進行的；步驟103和步驟105也可以是並列進行的。更進一步的，所述導航方法還包括將導航提示信息和/或導航附加信息疊加在所述當前路況圖像上，並在顯示裝置中顯示疊加了導航提示信息和/或導航附加信息的所述當前路況圖像。例如，利用箭頭來指示轉向、左/右併線等提示信息；利用紅色圓圈將行人所在位置標識出來，提示用戶注意。在所述當前路況圖像上能夠找到地鐵站時，在地鐵站所在位置顯示明顯的地鐵站標識。將行駛路程中採集到的圖像進行存儲。可以選擇存儲為一張張的圖片，也可以選擇存儲成視頻格式，優選採用視頻格式來存儲行駛過程中採集到的圖像，方便用戶記錄自己走過的路線。同時，在存儲的圖像或者視頻上疊加當前的時空信息，所述當前的時空信息為地理學經緯度坐標以及當前時間。另外，還可以提供其他附加服務，例如通過無線通訊網絡或者網際網路將採集的路況圖像或者存儲的視頻傳送給其他人。如圖2所示為本發明提供的基於增強顯示技術的智能導航設備示意圖，其中導航設備包括GPS接收機201，實時接收來自衛星205的GPS定位信息，根據所述定位信息確定當前地理位置；
圖像採集裝置203，實時採集用戶行進過程中用戶前方的當前路況圖像，並將採集到的圖像傳輸給數據處理裝置202。所述圖像採集裝置203可以為攝像頭或者紅外攝像頭等；數據處理裝置202，其內部預設電子地圖，根據用戶指定的目的地，以及所述當前地理位置，規劃出合適的導航路線。數據處理裝置202接收所述當前路況圖像，對所述當前路況圖像進行識別，根據識別的結果，結合導航路線，發出導航提示信息。具體的，識別當前路況圖像中可能出現的危險狀況，對用戶進行提示。當根據導航路線進行判斷，發現前方需要轉向時，根據當前路況圖像識別出用戶所在車道，判斷是否需要變換車道，並發出相應提示。數據處理裝置202還可以根據用戶需求，結合所述電子地圖，識別所述當前地理位置附近的標誌性建築物、購物場所、餐飲娛樂場所、停車場、地鐵站、火車站等導航附加信肩、ο數據處理裝置202將導航提示信息疊加到所述當前路況圖像上，在顯示裝置204 上進行顯示。還可以根據用戶需求，將其識別到的導航附加信息疊加到當前路況圖像上，並在顯示裝置204上進行顯示。顯示裝置204，其顯示疊加了導航提示信息的當前路況圖像，並可根據用戶需求， 顯示數據處理裝置202識別到的導航附加信息。在上述實施例的一種變型中，可以用一個語音裝置替代所述顯示裝置204，通過該語音裝置將所述導航提示信息傳達給用戶。圖3為本發明提供的另一種基於增強現實技術的智能導航設備示意圖，所述導航設備包括通信裝置306、圖像採集裝置303、數據處理裝置302以及顯示裝置304。導航設備及網絡側服務中心301各部分的作用如下通信裝置306，實時接收來自衛星系統305的GPS定位信息，根據所述定位信息確定當前地理位置。通信裝置306還用於與網絡側服務中心301進行通信，並且將網絡側服務中心301傳回的信息傳送到數據處理裝置302。網絡側服務中心301，根據通信裝置306的請求，返回其所需信息。具體的，當用戶通過通信裝置306向網絡側服務中心301發送請求，請求設置目的地以及規劃導航路線，則網絡側服務中心301根據通信裝置306所處的當前地理位置以及用戶設置的目的地，規劃出合理的導航路線，並將此導航路線發送給通信裝置306。導航設備與網絡側服務中心301之間可以通過無線通訊網絡傳輸信息，也可以通過網際網路傳輸信息，優選採用無線通訊網絡傳輸信息。圖像採集裝置303，實時採集當前道路信息，優選採集用戶行進方向正前方的路況圖像，並將所採集到的圖像傳輸給數據處理裝置302以及顯示裝置304;具體的，可利用安裝在汽車前方的攝像頭來採集圖像，或者利用導航設備內置的攝像頭來採集圖像。數據處理裝置302，接收所述當前路況圖像，對所述當前路況圖像進行識別，根據識別的結果，結合導航路線，發出導航提示信息。具體的識別當前路況圖像中的危險特徵， 發出導航提示信息，對用戶進行提示；具體的，通過識別當前路況圖像，發現用戶按照目前既定速度和方向繼續前行將會與某個行人相撞，則發出危險警告信息，提示用戶注意前方行人，避免發生危險。通過識別當前路況圖像，發現前方機動車行駛速度突然減慢，與用戶之間的距離小於安全距離時，發出危險警告信息，提示用戶注意前方機動車，適當減速，避免發生危險。根據導航路線，前方需要轉彎時，通過識別當前路況圖像，判斷用戶是否在轉彎車道上，如果不是，則發出左/右併線提示，提醒用戶變換到合適的轉向車道上。數據處理裝置302還可以根據用戶需求，結合所述電子地圖，識別所述當前地理位置附近的標誌性建築物、購物場所、餐飲娛樂場所、停車場等導航附加信息。數據處理裝置302將導航提示信息疊加到所述當前路況圖像上，在顯示裝置304 上進行顯示。還可以根據用戶需求，將其識別到的導航附加信息疊加到當前路況圖像上，並在顯示裝置304上進行顯示。顯示裝置304，將圖像採集裝置303採集到的當前路況圖像進行顯示，並在所述當前路況圖像上疊加顯示由數據處理裝置302產生的導航提示信息。對於圖3所示的實例，還可以有不同變型。在一種變型中，數據處理裝置302還具有存儲功能，將行駛過程中拍攝的圖像進行存儲，存儲格式為圖片或者視頻，方便用戶實時記錄行駛過程，由於存儲的圖片或視頻疊加有時空信息，也可以將所存儲的圖片或者視頻作為呈堂證供使用。在另一種變型中，導航設備還包括存儲裝置，所述存儲裝置將行駛過程中拍攝的圖像進行存儲，存儲格式為圖片或者視頻。圖4-1至圖4-5所示為本發明提供的基於增強現實技術的智能導航設備顯示裝置的屏幕顯示示意圖，屏幕上顯示的是由導航設備圖像採集裝置採集到的當前路況圖像，在所述路況圖像上疊加了的導航提示信息以及導航附加信息。所述導航提示信息包括行駛方向信息，如圖4-1中所示的轉向箭頭；危險警告信息，例如圖4-2，圖4-3和圖4-4中所示的機動車提示信息、行人提示信息以及非機動車提示信息；紅綠燈信息，例如圖4-5中所示，提醒用戶注意紅燈，及時剎車；當前位置信息，如圖4中所示的「車公莊大街」，告知用戶其當前所處位置；所述導航附加信息可以根據用戶需求包括下列信息中的一種或者幾種標誌性建築，比如附近的地鐵站、百貨商場等；行駛速度信息，以更加醒目的方式顯示當前行駛速度，更便於用戶查看當前車速；當前位置到目的地的距離，如圖4中所示的「 1. 9公裡」；已經行駛的距離，是指從開始使用導航設備進行導航，到當前位置已經走過的路程距離，如圖4所示的「620米」；預期還需行駛的時間，是指從當前位置到達目的地還需耗費的時間長度，如圖4 中所示的「00:05小時」；剩餘電量信息，如圖4右上角所示的「100%」，表示導航設備剩餘電量百分比。對於圖4所示的實施例，可以有不同的變型，可以僅顯示所述導航提示信息和/或導航附加信息中的一種或者幾種組合。本發明提供的導航方法和設備，與現有技術相比，至少具有如下優點1、實時採集當前行駛路線正前方的圖像，使得司機用戶在關注導航設備上的圖像時，也能夠實時觀察到行駛路線正前方的路況，減少發生危險的可能性。
8
2、相比現有技術中的實景導航採用預先拍攝的圖像存儲在導航設備中，存儲量較大而且不易實時更新，本發明採用實時採集當前路況圖像，一方面節約了存儲空間，另一方面實時採集的圖像更加貼近現實。3、本發明基於實時採集到的當前路況圖像，結合導航路線，發出導航提示信息，相比現有技術僅能提供轉彎、直行等提示，本發明提供更加豐富的導航提示信息，不但能夠對行車路線進行導航，還能基於當前路況為用戶實時提供安全行車信息，更加智能化和人性化。
權利要求
1.一種基於增強現實技術的智能導航方法，包括實時採集用戶行進過程中用戶前方的道路信息；識別所述道路信息中的各種路況特徵；基於所述路況特徵和預先確定的導航路線生成導航提示信息。
2.根據權利要求1所述的智能導航方法，還包括接收GPS定位信息，確定用戶當前位置；根據用戶指定的目的地以及所述用戶當前位置，預先確定所述導航路線。
3.根據權利要求1或2所述的智能導航方法，所述導航提示信息為語音提示信息和/ 或圖像提示信息。
4.根據權利要求1或2所述的智能導航方法，所述路況特徵包括信號燈狀況、車道狀況、行人狀況、前方機動車狀況、非機動車狀況中的一種或者幾種。
5.根據權利要求1或2所述的智能導航方法，所述導航提示信息包括機動車轉彎信息、 機動車併線信息、危險警告信息、目的地距離信息、道路名稱信息、設備狀態信息中的一種或者幾種。
6.根據權利要求1至5之任一所述的智能導航方法，還包括存儲所述道路信息。
7.一種基於增強現實技術的智能導航設備，包括圖像採集裝置，實時採集用戶行進過程中用戶前方的道路信息；數據處理裝置，接收來自圖像採集裝置的道路信息，識別所述道路信息中的各種路況特徵；並基於所述路況特徵和預先確定的導航路線來生成導航提示信息。
8.根據權利要求7所述的智能導航設備，還包括GPS接收裝置，其實時接收GPS定位信息，確定用戶當前位置；路線確定裝置，其根據用戶指定的目的地以及所述用戶當前位置，預先確定所述導航路線。
9.根據權利要求7或8所述的智能導航設備，其中所述導航提示信息為語音提示信息和/或圖像提示信息。
10.根據權利要求7或8所述的智能導航設備，還包括存儲裝置，用於存儲所採集的道路信息，所存儲的格式為圖片或者視頻。
11.根據權利要求7或8所述的智能導航設備，其中所述路況特徵包括信號燈狀況、車道狀況、行人狀況、前方機動車狀況、非機動車狀況中的一種或者幾種。
12.根據權利要求7或8所述的智能導航設備，其中所述導航提示信息包括機動車轉彎信息、機動車併線信息、危險警告信息、目的地距離信息、道路名稱信息、設備狀態信息中的一種或者幾種。
全文摘要
本發明公開了一種基於增強現實技術的智能導航方法和設備，通過圖像採集裝置實時採集路況圖像，對採集到的圖像進行處理，提取各種路況特徵，並結合預先確定的導航路線，根據實際情況實時發出導航提示信息。由於所述導航提示信息是在判斷了當前路況的情況下做出的，因而更加貼合實際，符合人們的需求。
文檔編號G01C21/26GK102519475SQ201110412868
公開日2012年6月27日 申請日期2011年12月12日 優先權日2011年12月12日
發明者楊志遠 申請人:楊志遠