一種基於增強現實技術的交互方法與流程
2023-05-14 05:09:06 1
本發明涉及增強現實技術和圖形界面技術領域，具體地說，本發明涉及一種基於增強現實技術的交互方法。
背景技術：
當前移動智能設備運算能力已非常之高。可以在移動智能設備上無障礙的體驗增強現實技術。增強現實技術(Augmented Reality，簡稱AR)，是一種實時地計算影像的位置及角度並加上相應圖像的技術，這種技術的目標是在屏幕上把虛擬世界套在現實世界並進行互動。
基於二維底圖的增強現實互動方案是目前一種典型的增強現實技術，該方案中，提供一種具有增強現實效果的圖形信息的二維圖像(可稱為二維底圖)，該二維圖像通常顯示在大屏幕(例如智能電視)上。用戶用手機拍攝(也可稱為掃描)這個大屏幕上的二維圖像，手機屏幕上就會顯示對應的增強現實效果。這個增強現實效果可以是二維圖像的三維還原。具體地，當用戶用手機拍攝大屏幕上顯示的二維圖像後，手機從所拍攝圖像(該圖像可以是原始二維圖像的局部)中讀取其中的具有增強現實效果的圖形信息，然後基於既有算法將其還原成對應的三維圖形並顯示在手機屏幕上。這樣，用戶拍攝原始二維圖像的哪個位置，手機屏幕上就顯示出對應的局部三維圖形，從而為用戶提供更加立體生動的觀賞體驗。例如，大屏幕上顯示的是一副古建築的平面圖片，用戶使用手機攝像頭對該平面圖片進行取景，對準感興趣的位置，經過增強現實軟體的處理，手機上就會出現該位置的三維圖形。這樣用戶通過移動手機，就能夠從各個角度觀賞圖片中古建築的各個不同局部位置，形成虛擬世界與現實世界的互動，產生強烈的沉浸感，極大地提升了用戶的觀賞體驗。
上述基於二維底圖的增強現實互動方案理論上能夠產生很好的互動效果，然而，在實際應用中往往受到各方面的限制而大打折扣。首先，受設備限制，當行動裝置(例如智慧型手機)的攝像頭質量較差，會有對焦速度慢(部分設備的對焦時間需要7-8秒甚至更長)，圖像虛化的問題，這會導致手機無法讀出所拍攝圖片中攜帶的增強現實效果的圖形信息，增強現實效果將無法實現。另一方面，用戶使用行動裝置掃描底圖時，需要保持設備穩定，如果手持設備不穩定，則拍攝底圖容易虛化，將無法顯示增強現實效果。因此用戶在互動過程中往往要小心地操作手機，這種交互方式不夠隨意自然，可能會嚴重地破壞增強現實互動的沉浸感，導致用戶體驗不佳。除上述問題之外，現有技術還存在其他不足，例如移動智能設備屏幕尺寸過小，所顯示的增強現實效果不能滿足某些用戶的需求；當底圖較大時有時難以拍攝到想要全景。
綜上所述，當前迫切需要一種能夠提升用戶體驗的基於二維底圖的增強現實互動解決方案。
技術實現要素：
因此，本發明的任務是提供一種能夠提升用戶體驗的基於二維底圖的增強現實互動解決方案。
根據本發明的一個方面，提供了一種基於增強現實技術的交互方法，涉及被展示出的實體二維底圖和移動終端設備，包括下列步驟：
1)移動終端設備獲取與所述實體二維底圖一致的電子數據形式的二維底圖；
2)移動終端設備生成包含多個子集的二維底圖集，其中每個子集對應於一個特定的從移動終端設備到所述實體二維底圖的距離，每個子集均由子圖構成；每個距離所對應的子集中的子圖的尺寸與當前距離對應的手機攝像頭取景窗的尺寸一致，且同一子集內的相鄰子圖以預設的步長錯開，同一子集內的所有子圖能覆蓋整個二維底圖；
3)移動終端設備掃描所述實體二維底圖中的感興趣區域；其中，首次掃描前，移動終端設備可以通過用戶接口(例如圖形交互界面)提示用戶利用其攝像頭掃描所述實體二維底圖中的感興趣區域，然後再接收用戶所掃描的圖片；
4)將掃描圖片與所述二維底圖集中的各個子圖進行匹配，找出匹配的子圖，然後抽取該子圖中攜帶的增強現實效果圖形信息，還原出對應於該子圖的增強現實效果並將其顯示在移動終端的屏幕上。
上述方案中，當用戶改變掃描的感興趣區域時，基於步驟3)將得到新的掃描圖片，然後再次執行步驟4)，就可以在移動終端的屏幕上得到新的感興趣區域的增強現實效果。
其中，所述實體二維底圖是顯示在大屏設備上的二維底圖。
其中，所述步驟1)中，用所述移動終端設備拍攝所述實體二維底圖的全圖，從而得到所述的與所述實體二維底圖一致的電子數據形式的二維底圖。
其中，所述步驟2)中，每個距離所對應的子集中的子圖的生成方法如下：按比例計算當前距離對應的手機攝像頭取景窗的尺寸，然後以計算出的尺寸在二維底圖的全圖上生成虛擬取景窗，再以一定的步長滑動虛擬取景窗，虛擬取景窗每次所截取的圖片就是當前子集下的一副子圖，當遍歷整個二維底圖的全圖後，當前距離下的子集建立完畢，繼續處理下一個距離的子集，直到所有的子集均建立完畢。
其中，所述步驟2)還包括：將所述實體二維底圖的位置到手機能夠拍攝所述實體二維底圖全圖的位置作為距離的最大值，然後在最大值到零之間選擇若干個離散點作為預設的對應於每個子集的距離。
其中，所述步驟2)中，所述每個距離所對應的子集中的子圖的生成方法中，所述虛擬取景窗的滑動步長根據預設的當前子集的子圖數目得出。
其中，所述步驟4)中，基於以圖搜圖算法，對去除了增強現實效果的圖形信息的當前掃描圖片和各個子圖進行匹配，找出所述的匹配度最高的子圖。
其中，所述步驟3)還包括：移動終端設備獲得掃描圖片後，直接嘗試抽取該掃描圖片中攜帶的增強現實效果圖形信息並生成增強現實效果，如果成功則直接顯示該增強現實效果，如果失敗，則繼續執行步驟4)。
根據本發明的另一方面，還提供了一種基於增強現實技術的交互方法，涉及大屏設備和移動終端設備，包括下列步驟：
a)移動終端設備獲取電子數據形式的二維底圖；
b)移動終端設備生成包含多個子集的二維底圖集，其中每個子集對應於一個特定的移動終端設備到所述實體二維底圖的距離，每個子集均由子圖構成；每個距離所對應的子集中的子圖的尺寸與當前距離對應的手機攝像頭取景窗的尺寸一致，且同一子集內的相鄰子圖以預設的步長錯開，同一子集內的所有子圖能覆蓋整個二維底圖；
c)在移動終端設備上顯示所述二維底圖的全圖以及用於選取感興趣區域的虛擬取景窗，該虛擬取景窗能被用戶移動；
d)獲取被虛擬取景窗選定區域所對應的子圖，將子圖還原成增強顯示效果並將該增強顯示效果投射到所述大屏設備上。
其中，所述步驟c)中，移動終端設備還提供用於在預設距離集合中選擇距離的用戶接口，所述預設距離集合與所述步驟b)中各個子集所對應的距離的集合一致；在選定距離後，移動終端設備將所述虛擬取景框的尺寸調整為與所選定距離一致。
與現有技術相比，本發明具有下列技術效果：
1、本發明對行動裝置攝像頭的要求較低，有助於增強現實互動技術的推廣。
2、本發明對用戶的限制較少，對行動裝置掃描二維底圖時的不穩定和對焦不準的容忍度較高，對圖片的識別率高，從而達到更加連貫的互動效果。
3、本發明使用戶的操作更加舒適自然，例如更加便於單手操作。這樣，用戶可以全身心地投入到觀賞中，沉浸感強，用戶體驗好。
4、本發明的一個實施例中，不需要用戶移動手機位置即可從各個角度觀賞二維底圖的各個不同局部位置的增強現實效果，從而為用戶提供了更多的控制方式。
附圖說明
以下，結合附圖來詳細說明本發明的實施例，其中：
圖1示出了本發明一個實施例的增強現實互動方法的流程圖。
具體實施方式
根據本發明的一個實施例，提供了一種基於二維底圖的增強現實互動方法，該方法涉及移動智能設備與大屏設備，圖1示出了該實施例的增強現實互動方法的流程圖，參考圖1，該方法包括下列步驟：
步驟1：在大屏設備(下文中以電視為例進行說明)上顯示二維底圖。二維底圖是指增強現實效果的圖形信息的二維圖像。在一個例子中，二維底圖是融合了二維圖像和該二維圖像中各像素點的深度信息的圖片。二維底圖可以直接從網絡上下載，也可以使用深度相機製作。例如，利用深度相機拍攝目標物的平面圖片和深度圖片，再把深度信息插入到平面圖片中形成二維底圖。這些深度信息會以一定的規律以圖形編碼的方式隱含在二維底圖中，這些隱含的圖形編碼可被對應的客戶端軟體提取和還原。而另一方面，在肉眼看來，該二維底圖所呈現的是目標物的平面效果圖。
步驟2：在行動裝置(下文中以手機為例進行說明)上提示拍攝大屏幕上顯示的二維底圖的全圖。提示方式可以是文字，也可以是圖示，只要讓用戶明白需要拍攝大屏幕上顯示的二維底圖的全圖即可。
步驟3：行動裝置存儲所拍攝的二維底圖的全圖。本步驟中用戶需要拍攝具有較高清晰度的圖片，也就是說，用戶手持手機時應保持穩定並完成對焦。但需要指出的是，用戶只需要完成一次清晰拍攝即可，在後續步驟中，本實施例的方案能夠容忍掃描二維底圖時的不穩定和對焦不準等情況，從而使用戶的操作更加舒適自然。
步驟4：行動裝置基於二維底圖的全圖生成二維底圖集。該二維底圖集包含多個子集，每個子集對應於一個特定的行動裝置到大屏設備的距離。這個距離可以預先設置，在一個例子中，可以將手機能夠拍攝全圖的位置距大屏設備的位置作為距離的最大值，然後在最大值到零之間選擇若干個離散點作為預設的距離。當離散點較密時，本實施例的處理精度將相應提高。根據本發明的一個實施例，在本步驟中，距離離散點可以均勻地分布在最大值到零之間，即相鄰離散點的距離相等；也可以在不均勻地分布，例如在離大屏幕較遠處離散點分布較為稀疏，在離大屏幕較近時，離散點分布較為稠密。
除了最大距離外，每個距離所對應的子集中都包含多個子圖。子圖的生成方法如下：按比例計算當前距離對應的手機攝像頭取景窗的大小，然後以計算出的尺寸在底圖的全圖上生成取景窗，再以一定的步長滑動取景窗，取景窗每次所截取的圖片就是當前子集下的一副子圖，當遍歷整個底圖的全圖後，當前距離下的子集建立完畢，繼續處理下一個距離的子集，直到所有的子集均建立完畢。
本步驟中，取景窗的滑動步長可以預先設置，也可以根據預設的當前子集的子圖數目得出。例如，可以基於當前距離預設其所對應子集的子圖數目，通常來說，手機距大屏幕的距離越近，子圖數目越大，取景窗的滑動步長越小(此處步長以像素個數為單位，其中像素是指所拍攝的二維底圖的像素)。
步驟5：提示預處理完畢，可以開始增強現實互動。此時，用戶可以開始用手機攝像頭對大屏幕上圖片中感興趣的局部位置進行掃描。
步驟6：手機接收攝像頭掃描得到的圖片，此處稱為掃描圖片。將掃描圖片與預存的二維底圖集中的各個子圖進行匹配，找出匹配度最高的子圖，然後用匹配度最高的子圖，基於現有的增強現實還原算法，抽取該子圖中攜帶的增強現實效果圖形信息，進而還原出對應於該子圖的增強現實效果(例如該子圖所對應的局部區域三維圖像)。
步驟7：在手機屏幕上顯示步驟6所還原出的增強現實效果。
當用戶移動位置，掃描大屏幕上二維圖形的另一區域時，重新執行步驟6、7，顯示對應的局部區域的增強現實效果。這樣就形成了虛擬世界與現實世界的互動，產生強烈的沉浸感，極大地提升了用戶的觀賞體驗。並且，本實施例中，用戶在掃描所關注區域的圖像時，只需要大致取景即可，對所掃描圖片的清晰度沒有太高要求，對手機相對於大屏幕的傾角也有較高的容忍度(即手機不需要完全正對大屏幕)。這是因為本實施例中不再需要讀取所掃描圖片中攜帶的增強現實效果圖形信息(例如關聯像素的深度信息編碼)。在步驟6中，可以基於二維圖像的匹配方式查找出與所掃描圖像最接近的預存子圖，這樣就可以利用清晰的預存子圖來還原對應三維效果。因此，基於本實施例的方案，用戶的操作可以更加舒適自然，甚至可以單手操作。這樣，用戶就能全身心地投入到觀賞中，沉浸感極強，用戶體驗好。
進一步地，在一個優選實施例中，基於預存子圖的還原，手機上所顯示的三維圖形還可以增加轉動、放大、縮小等操作模式，從而進一步提升用戶體驗。
上述顯示在大屏設備上的二維底圖可以稱為實體二維底圖，而移動終端設備所拍攝的實體二維底圖的全圖實際上是與所述實體二維底圖一致的電子數據形式的二維底圖。移動終端設備獲取電子數據形式的二維底圖的形式並不限於此，例如，移動終端設備也可以在瀏覽網際網路網頁時，直接從網站上下載電子數據形式的二維底圖，只要該電子數據形式的二維底圖與大屏設備上顯示的實體二維底圖一致即可。另外，實體二維底圖也可以是列印出來的紙質或類紙質實體二維底圖，此時，移動終端設備同樣也可以通過拍攝全圖的方式獲得所需的電子數據形式的二維底圖。
進一步地，在一個實施例中，所述步驟6中可以先將掃描圖片中的增強現實效果的圖形信息去除，然後再與各個子圖匹配。這種匹配可以使用現有的針對平面圖片的以圖搜圖算法實現。由於在匹配時去除了圖片中攜帶的增強現實效果的圖形信息，因此可以排除這些隱含的圖形編碼對匹配算法的幹擾，有助於提高匹配的準確度。
進一步地，在一個實施例中，所述步驟5時，手機還可以在掃描過程進行測距，在步驟6中，先根據手機掃描過程的測距確定候選距離範圍，然後僅在對應距離在候選距離範圍內的子集中搜索與掃描圖片匹配度最高的子圖。這種做法可以提高搜索速度，使得對用戶掃描的響應更加快速，從而提升用戶體驗。
進一步地，在另一個優選實施例中，提供了一種將前述改進方案與現有方案相融合的增強現實效果生成方法，該方法步驟1至5與前述實施例一致。步驟6中，在接收到掃描圖片後，先調用增強現實還原算法直接對掃描圖片進行還原，如果還原成功，則直接使用掃描圖片所還原的增強現實效果；如果還原失敗，則執行前述步驟6的後續部分，即將掃描圖片與預存的二維底圖集中的各個子圖進行匹配，找出匹配度最高的子圖，然後用匹配度最高的子圖，基於現有的增強現實還原算法，抽取該子圖中攜帶的增強現實效果圖形信息，進而還原出對應於該子圖的增強現實效果。然後進入步驟7，步驟7與前述實施例完全一致。
另一方面，在另一個實施例中，利用預存的二維底圖集，還可以直接在手機屏幕上為用戶提供控制界面，並生成相應的增強現實效果。例如，可以在手機上顯示二維底圖的全圖，然後直接在手機屏幕上生成對應於距離的滑塊和滑道，當用戶滑動滑塊時，手機根據滑塊所處位置確定當前對應的距離(手機距大屏幕的距離，此時該距離是虛擬距離)。然後根據距離生成對應尺寸的取景窗並顯示在手機屏幕上，用戶可以拖動取景窗在二維底圖上選擇局部區域，在選定時(可以是停留數秒)，手機會將對應的子圖還原成增強顯示效果並顯示在手機上。當然，該增強顯示效果也可以投射到大屏幕上。這個投射可以通過DLNA協議或者AirPlay協議實現。在一個例子中，進將局部區域的增強顯示效果投射到大屏幕上，手機上的控制界面和二維底圖不進行投射。這樣，用戶可以通過大屏幕觀賞感興趣的局部區域三維效果。這種方案不受空間和場地的限制，操作較為便捷，有時能夠彌補使用手機掃描大屏幕的方案的不足。
上述手機上的控制界面並不是唯一的，在另一個實施例中，可以取消用於選擇距離的滑塊和滑道，進而在手機屏幕上顯示虛擬取景窗，且該虛擬取景窗大小可調。這種方案下，用戶同樣可以利用虛擬取景窗選出感興趣的局部區域，並生成對應的三維圖形。
前述實施例中，均通過拍攝大屏幕使手機獲得所需的二維底圖，這並不是唯一的方式。在其他實施例中，還可以通過瀏覽器尋找具有圖形信息的圖像(即二維底圖)，或者通過即時通訊應用相互傳輸具有圖形信息的圖像。進一步地，在一個實施例中，還提供了捕捉具有圖形信息圖像的方法：實時監測行動裝置屏幕活動，當監測到該屏幕上有攜帶增強現實效果圖形信息的二維底圖時，通過截圖的方式該二維底圖保存到設備中，保存到設備中之後，將該二維底圖導入到增強現實客戶端中，通過客戶端實現該二維底圖的增強現實效果。
進一步地，在大屏設備上展示增強效果，不僅可以展示底圖上全部內容的增強現實效果，還可以部分展示增強現實效果，在行動裝置的控制中心上，可以將增強現實底圖自定義拆分成多個部分，之後自定義某幾個部分保持原狀，某幾個部分在大屏設備上展示增強現實效果。這樣可以更生動形象地在教學、醫療等領域發揮作用。
最後應說明的是，以上實施例僅用以描述本發明的技術方案而不是對本技術方法進行限制，本發明在應用上可以延伸為其它的修改、變化、應用和實施例，並且因此認為所有這樣的修改、變化、應用、實施例都在本發明的精神和教導範圍內。