混合現實交互顯示裝置及方法與流程
2024-04-12 10:42:05
1.本發明涉及混合現實技術領域，尤其涉及一種混合現實交互顯示裝置及方法。
背景技術：
2.混合現實(mr)技術是虛擬實境技術的進一步發展，該技術通過在虛擬環境中引入現實場景信息，在虛擬世界、現實世界和用戶之間搭起一個交互反饋的信息迴路，以增強用戶體驗的真實感。混合現實(mr)的實現需要在一個能與現實世界各事物相互交互的環境中，其關鍵點就是與現實世界進行交互和信息的及時獲取。目前的mr頭戴均無法直接看到外部環境，同時，外部用戶也無法感受到佩戴者的視角，雖然可以投放到電視上，但外部用戶也只能看到佩戴者的視野內容，並根據看到的內容，通過語言文字的描述形式複述給佩戴者，無法通過觸控、信息傳遞等方式，給與佩戴者更加直觀的交互，極大的影響了mr的交互效果，如發生在工作場景，對問題的交流也造成了極大的阻礙，影響工作效率。
3.上述內容僅用於輔助理解本發明的技術方案，並不代表承認上述內容是現有技術。
技術實現要素：
4.本發明的主要目的在於提供一種混合現實交互顯示裝置及方法，旨在解決現有技術中mr用戶與外界的交互弱，外界用戶在知悉用戶視角的情況下，只能通過語言描述與佩戴者反饋信息，交流效率較低的技術問題。
5.為實現上述目的，本發明提供了一種混合現實交互顯示裝置，所述混合現實交互顯示裝置包括顯示模塊與外部觸控模塊，所述顯示模塊包括對內顯示模塊與對外顯示模塊，所述對內顯示模塊與對外顯示模塊背向設置，所述對外顯示模塊與所述外部觸控模塊連接；
6.所述對外顯示模塊，用於獲取所述對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面，以使所述交互用戶確定意圖信息；
7.所述外部觸控模塊，用於獲取所述交互用戶的意圖信息，並將所述意圖信息更新在所述對外顯示模塊展示的顯示畫面上；
8.所述對內顯示模塊，用於獲取具有所述意圖信息的顯示畫面，並向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息調整執行動作。
9.可選地，所述對內顯示模塊包括透鏡與對內顯示屏，所述對內顯示屏的顯示面與所述透鏡的反面相對設置，所述對內顯示屏的顯示面與所述透鏡的反面間隔預設距離；
10.所述對內顯示屏，用於提供所述顯示畫面；
11.所述透鏡，用於向所述佩戴用戶展示所述對內顯示屏的顯示畫面。
12.可選地，所述對外顯示模塊包括對外顯示屏，所述對外顯示屏與所述外部觸控模塊連接；
13.所述對外顯示屏，用於向所述交互用戶展示所述對內顯示屏的顯示畫面；
14.所述對外顯示屏，還用於向所述交互用戶展示所述意圖信息。
15.可選地，所述混合現實交互顯示裝置還包括內部控制模塊，所述內部控制模塊分別與所述對內顯示屏和對外顯示屏連接；
16.所述內部控制模塊，用於清除所述意圖信息，並根據所述執行動作調整所述對內顯示屏的顯示畫面。
17.可選地，所述內部控制模塊包括連接的控制單元與背光電路，所述控制單元與所述對內顯示屏和對外顯示屏連接，所述背光電路包括第一背光電路與第二背光電路；
18.所述第一背光電路，用於驅動所述對內顯示屏；
19.所述第二背光電路，用於驅動所述對外顯示屏；
20.所述控制單元，用於調整所述對內顯示屏與對外顯示屏的顯示畫面。
21.此外，為實現上述目的，本發明還提出一種混合現實交互顯示方法，所述混合現實交互顯示方法包括以下步驟：
22.對外顯示模塊獲取對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面，以使所述交互用戶確定意圖信息；
23.外部觸控模塊獲取所述交互用戶的意圖信息，並將所述意圖信息更新在所述對外顯示模塊展示的顯示畫面上；
24.所述對內顯示模塊獲取具有所述意圖信息的顯示畫面，並向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息調整執行動作。
25.可選地，所述對內顯示模塊獲取具有所述意圖信息的顯示畫面，並向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息調整執行動作之後，還包括：
26.內部控制模塊清除所述意圖信息，並根據所述執行動作調整所述對內顯示模塊的顯示畫面。
27.可選地，所述意圖信息包括標記信息、指示信息、繪畫信息，所述對外顯示模塊獲取對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面，以使所述交互用戶確定意圖信息，包括：
28.對外顯示模塊獲取對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面，以使所述交互用戶根據所述顯示畫面確定交互意圖，根據所述交互意圖在外部觸控模塊中生成意圖信息。
29.可選地，所述對內顯示模塊獲取具有所述意圖信息的顯示畫面，向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息調整執行動作，包括：
30.所述對內顯示模塊獲取所述對外顯示模塊展示的具有所述意圖信息的顯示畫面，向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息確定所述交互用戶的交互意圖，根據所述交互意圖調整執行動作。
31.可選地，所述對外顯示模塊獲取對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面之前，還包括：
32.內部控制模塊驅動所述對內顯示模塊與對外顯示模塊；
33.所述對內顯示模塊向所述佩戴者展示顯示畫面。
34.在本發明中，混合現實交互顯示裝置包括顯示模塊與外部觸控模塊，顯示模塊包括對內顯示模塊與對外顯示模塊，對內顯示模塊與對外顯示模塊背向設置，對外顯示模塊與外部觸控模塊連接，其中，對外顯示模塊用於獲取對內顯示模塊的顯示畫面，向交互用戶展對內顯示模塊的顯示畫面，以使交互用戶確定意圖信息，外部觸控模塊用於獲取交互用戶的意圖信息，將意圖信息更新在對外顯示模塊展示的顯示畫面上，對內顯示模塊用於獲取具有意圖信息的顯示畫面，向佩戴用戶展示具有意圖信息的顯示畫面，以使佩戴用戶根意圖信息調整執行動作。相較於將佩戴者的視野內容直接投放至電視進行交互，外部交互者只能通過語言描述與佩戴者反饋信息，這種交流方式效率極低，本發明可以讓外部交互者通過觸控、信息傳遞等方式，與佩戴者進行更加直觀的交互，極大地提升了真實空間與虛擬空間之間的交互效率，增加用戶的體驗感，提升mr交互性能。
附圖說明
35.圖1為本發明混合現實交互顯示裝置第一實施例的結構示意圖；
36.圖2為本發明混合現實交互顯示裝置一實施例的細化結構示意圖；
37.圖3為本發明混合現實交互顯示裝置第二實施例的結構示意圖；
38.圖4為本發明混合現實交互顯示裝置一實施例的整體結構示意圖；
39.圖5為本發明混合現實交互顯示方法第一實施例的流程示意圖；
40.圖6為本發明混合現實交互顯示方法一實施例的整體流程示意圖。
41.附圖標號說明：
42.標號名稱標號名稱10顯示模塊302背光電路20外部觸控模塊1011透鏡30內部控制模塊1012對內顯示屏101對內顯示模塊1021對外顯示屏102對外顯示模塊3021第一背光電路301控制單元3022第二背光電路
43.本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施方式
44.應當理解，此處所描述的具體實施例僅用以解釋本發明，並不用於限定本發明。
45.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明的一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
46.需要說明，本發明實施例中所有方向性指示(諸如上、下、左、右、前、後
……
)僅用於解釋在某一特定姿態(如附圖所示)下各部件之間的相對位置關係、運動情況等，如果該特定姿態發生改變時，則該方向性指示也相應地隨之改變。
47.另外，在本發明中涉及「第一」、「第二」等的描述僅用於描述目的，而不能理解為指示或暗示其相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有「第一」、「第
二」的特徵可以明示或者隱含地包括至少一個該特徵。另外，各個實施例之間的技術方案可以相互結合，但是必須是以本領域普通技術人員能夠實現為基礎，當技術方案的結合出現相互矛盾或無法實現時應當認為這種技術方案的結合不存在，也不在本發明要求的保護範圍之內。
48.參照圖1，圖1為本發明混合現實交互顯示裝置第一實施例的結構示意圖。
49.如圖1所示，所述混合現實交互顯示裝置包括顯示模塊10與外部觸控模塊20，所述顯示模塊10包括對內顯示模塊101與對外顯示模塊102，所述對內顯示模塊101與對外顯示模塊102背向設置，所述對外顯示模塊102與所述外部觸控模塊20連接。
50.需要說明的是，顯示模塊10用於向佩戴者和外部交互者(即佩戴用戶和交互用戶)展示畫面，以便佩戴者和外部交互者進行交互。對內顯示模塊101與對外顯示模塊102的顯示側是背向設置的，對內顯示模塊101對內展示畫面，佩戴用戶通過對內顯示模塊101進入元宇宙，對外顯示模塊102對外展示畫面，交互用戶通過外顯示模塊102了解佩戴者看到的實際畫面，與佩戴用戶產生互動。外部觸控模塊20設置在對外顯示模塊102顯示側，可以是相關的觸控部件，本實施例對此不做限制，交互用戶可以通過外部觸控模塊20將外界的想法在對外顯示模塊102上體現出來，進而體現在對內顯示模塊101上，使得佩戴用戶可以更直觀地感受到交互用戶的想法和意圖，增加交互性。
51.在具體實現中，所述對外顯示模塊102，用於獲取所述對內顯示模塊101的顯示畫面，並向交互用戶展示所述對內顯示模塊101的顯示畫面，以使所述交互用戶確定意圖信息，所述外部觸控模塊20，用於獲取所述交互用戶的意圖信息，並將所述意圖信息更新在所述對外顯示模塊102展示的顯示畫面上，所述對內顯示模塊101，用於獲取具有所述意圖信息的顯示畫面，並向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息調整執行動作。
52.可以理解的是，所述意圖信息指的是交互用戶的想法與意圖在顯示畫面中的體現，可以是多種形式，例如：標記、指示、繪畫，也可為其他形式，本實施例對此不做限制。
53.應當理解的是，對內顯示模塊101的顯示畫面與對外顯示模塊102的顯示畫面需要一致，才能使得真實環境中的交互用戶能夠感受到佩戴用戶看到的實際場景，並產生響應的互動，同時也能及時將交互用戶的意圖反饋至佩戴用戶，實現信息傳遞與交互。
54.進一步地，如圖2所示，所述對內顯示模塊101包括透鏡1011與對內顯示屏1012，所述對內顯示屏1012的顯示面與所述透鏡1011的反面相對設置，所述對內顯示屏1012的顯示面與所述透鏡1011的反面間隔預設距離。所述對外顯示模塊102包括對外顯示屏1021，所述對外顯示屏1021與所述外部觸控模塊20連接。
55.需要說明的是，由於人有明視距離，太近的東西看不清楚，一般大於25cm的距離才能看清楚，且mr顯示裝置通常為頭戴式，難以滿足25cm的明視距離，因此需要通過透鏡1011使得佩戴用戶能夠看清對內顯示屏1012上的顯示畫面。對內顯示屏1012與透鏡1011之間的預設距離可在實際生產過程中進行調整，本實施例對此不做限制。
56.可以理解的是，對內顯示屏1012與對外顯示屏1021既可以是180度彎折的單個屏幕，也可以是可同時驅動的正反兩塊屏幕，本實施例對此不做限制，可根據實際情況進行選擇。
57.在具體實現中，對內顯示屏1012可以提供顯示畫面，透鏡1011可以向佩戴用戶展
interface)連接至對內顯示屏1012和對外顯示屏1021，以避免一路mipi無法同時掛載兩個負載。
67.在本實施例中，混合現實交互顯示裝置還包括內部控制模塊30，所述內部控制模塊30分別與所述對內顯示屏1012和對外顯示屏1021連接，其中，內部控制模塊30，用於清除所述意圖信息，並根據所述執行動作調整所述對內顯示屏1012的顯示畫面。本實施例可以根據佩戴用戶對交互的響應調整顯示畫面，同時根據需求清除每次交互完成後的意圖信息，以保證下次交互的正常進行，保證外部交互者可以繼續通過觸控、信息傳遞等方式，與佩戴者進行更加直觀的交互，極大地提升了真實空間與虛擬空間之間的交互效率。
68.本發明實施例提供了一種混合現實交互顯示方法，參照圖5，圖5為本發明一種混合現實交互顯示方法第一實施例的流程示意圖。
69.本實施例中，所述混合現實交互顯示方法包括以下步驟：
70.步驟s10：對外顯示模塊獲取對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面，以使所述交互用戶確定意圖信息。
71.需要說明的是，本實施例的執行主體為上述混合現實交互顯示裝置，所述混合現實交互顯示裝置包括顯示模塊、外部觸控模塊與內部控制模塊，所述顯示模塊包括對內顯示模塊與對外顯示模塊。
72.可以理解的是，佩戴用戶是正在使用此混合現實交互顯示裝置的用戶，交互用戶是與佩戴用戶正在進行交互的外部用戶。對內顯示模塊向佩戴用戶展示其顯示畫面，對外顯示模塊向交互用戶展示其顯示畫面，對內顯示模塊與對外顯示模塊的顯示畫面需保持一致，使得交互用戶可以感受到佩戴用戶看到的實際場景，以便進行交互。
73.進一步地，所述步驟s10包括：對外顯示模塊獲取對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面，以使所述交互用戶根據所述顯示畫面確定交互意圖，根據所述交互意圖在外部觸控模塊中生成意圖信息。
74.應當理解的是，所述交互意圖指的是交互用戶根據顯示畫面產生的意圖與想法，例如：交互用戶想要佩戴用戶對某處進行調整/修改，所述意圖信息是交互意圖在顯示畫面中的體現，將意圖與想法表現出來，包括標記信息、指示信息、繪畫信息，即標記形式的體現、指示形式的體現、繪畫形式的體現，也可為其他形式，本實施例對此不做限制，需要通過外部觸控模塊完成。
75.在具體實現中，為保證交互用戶看到的畫面與佩戴用戶看到的實際畫面相同，對外顯示模塊會將對內顯示模塊的顯示畫面向交互用戶進行展示，交互用戶理解後，產生相關的想法與意圖與佩戴用戶進行交互。
76.進一步地，在步驟s10之前，還包括：內部控制模塊驅動所述對內顯示模塊與對外顯示模塊，所述對內顯示模塊向所述佩戴者展示顯示畫面。
77.在具體實現中，通過內部控制模塊驅動對內顯示模塊與對外顯示模塊，使得對內顯示模塊可以向佩戴者展示顯示畫面，對外顯示模塊可以獲取對內顯示模塊地顯示畫面。
78.步驟s20：外部觸控模塊獲取所述交互用戶的意圖信息，並將所述意圖信息更新在所述對外顯示模塊展示的顯示畫面上。
79.需要說明的是，交互用戶可以通過外部觸控模塊將交互意圖體現為意圖信息，增加佩戴用戶與交互用戶之間的交互性。
80.在具體實現中，交互用戶通過外部觸控模塊將交互意圖轉換為意圖信息，外部觸控模塊將意圖信息在對外顯示模塊展示的顯示畫面上展示出來。
81.步驟s30：所述對內顯示模塊獲取具有所述意圖信息的顯示畫面，並向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息調整執行動作。
82.可以理解的是，交互用戶在表達出意圖信息後，為保證佩戴用戶及時得到該意圖信息，對內顯示模塊會將對外顯示模塊的顯示畫面與意圖信息向佩戴用戶進行展示。
83.進一步地，所述步驟s30包括：所述對內顯示模塊獲取所述對外顯示模塊展示的具有所述意圖信息的顯示畫面，向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息確定所述交互用戶的交互意圖，根據所述交互意圖調整執行動作。
84.應當理解的是，所述執行動作指的是佩戴用戶執行的操作與動作。
85.在具體實現中，對內顯示模塊將對外顯示模塊中含有意圖信息的顯示畫面向佩戴用戶進行展示，佩戴用戶理解交互用戶的意圖信息後，可以根據意圖信息調整自身的操作/動作，實現佩戴用戶與交互用戶之間的交互。
86.進一步地，在所述步驟s30之後，還包括：內部控制模塊清除所述意圖信息，並根據所述執行動作調整所述對內顯示模塊的顯示畫面。
87.需要說明的是，顯示畫面中的意圖信息可能會影響下一次交互，因此在佩戴者做出相應回應後，需要將意圖信息清除，避免佩戴用戶在下一次交互中得到錯誤的信息，以保證下一次交互的順利進行。
88.如圖6所示的整體流程示意圖，佩戴用戶將需要分享的信息通過對外顯示模塊傳遞至外界，外部交互用戶接收並理解信息，交互用戶通過外部觸控模塊將自己的想法反映至顯示畫面，佩戴用戶接收並理解交互用戶的想法，執行相應的修改動作，內部控制模塊對佩戴用戶的修改動作進行回應(例如調整顯示畫面)，繼續進行下一次交互。
89.在本實施例中，通過對外顯示模塊獲取對內顯示模塊的顯示畫面，並向交互用戶展示所述對內顯示模塊的顯示畫面，以使所述交互用戶確定意圖信息，外部觸控模塊獲取所述交互用戶的意圖信息，並將所述意圖信息更新在所述對外顯示模塊展示的顯示畫面上，對內顯示模塊獲取具有所述意圖信息的顯示畫面，並向佩戴用戶展示所述具有所述意圖信息的顯示畫面，以使所述佩戴用戶根據所述意圖信息調整執行動作。本實施例可以讓外部交互者通過觸控、信息傳遞等方式，與佩戴者進行更加直觀的交互，極大地提升了真實空間與虛擬空間之間的交互效率，增加用戶的體驗感，提升mr交互性能。
90.應當理解的是，以上僅為舉例說明，對本發明的技術方案並不構成任何限定，在具體應用中，本領域的技術人員可以根據需要進行設置，本發明對此不做限制。
91.需要說明的是，以上所描述的工作流程僅僅是示意性的，並不對本發明的保護範圍構成限定，在實際應用中，本領域的技術人員可以根據實際的需要選擇其中的部分或者全部來實現本實施例方案的目的，此處不做限制。
92.另外，未在本實施例中詳盡描述的技術細節，可參見本發明任意實施例所提供的混合現實交互顯示方法，此處不再贅述。
93.此外，需要說明的是，在本文中，術語「包括」、「包含」或者其任何其他變體意在涵
蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者系統不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者系統所固有的要素。在沒有更多限制的情況下，由語句「包括一個
……」
限定的要素，並不排除在包括該要素的過程、方法、物品或者系統中還存在另外的相同要素。
94.上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
95.通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質(如只讀存儲器(read only memory，rom)/ram、磁碟、光碟)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述的方法。
96.以上僅為本發明的優選實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍內。