一種基於位置映射的增強現實平臺系統及應用方法
2023-06-15 09:12:26
專利名稱：一種基於位置映射的增強現實平臺系統及應用方法
技術領域：
本發明涉及增強現實、定位及傳感技術領域，具體為一種基於位置映射的增強現實平臺系統及應用方法。
背景技術：
現今的主流遊戲以及模擬系統主要都是基於桌面虛擬實境。雖然隨著圖像技術的發展，桌面可以呈現更加逼真的畫面，但是使用者仍然需要坐在電腦面前，並且僅限於用滑鼠、鍵盤等設備與虛擬場景或者別的使用者進行有限的交互。這類系統在用戶體驗上已不被使用者所滿足。因此對一種完全沉浸的，擁有視覺、聽覺、觸覺等更多交互的遊戲或模擬系統的需求正越來越強烈。增強現實技術特別是協同式增強現實技術為這種系統的實現提供了可能。
增強現實(Augmented Reality,簡稱AR)，也被稱之為混合現實，是近年來國外眾多知名大學和研究機構的研究熱點之一。它通過電腦技術，將虛擬的信息應用到真實世界， 真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在實現了虛擬信息對真實世界信息的補充、疊加，其主要應用領域包括醫療研究與解剖訓練、精密儀器製造和維修、軍用飛機導航、工程設計和遠程機器人控制等。增強現實主要用來增強使用者的視覺、 聽覺、觸覺等感官方面的效果，是對實際環境真實信息的補充以及擴展。加拿大麥吉爾大學 (McGill University)的研究人員開發出一種可模仿沙地、雪地、草地環境的地板磚系統， 該系統由一系列傳感器、投影、揚聲器和可震動盤子組成，其中，傳感器用於接收用戶信息， 投影、揚聲器、可震動盤子則分別用於增強用戶步入不同環境時在視覺、聽覺、觸覺方面的反饋。諸如上述的結合視覺、聽覺、觸覺的增強現實系統可以給用戶帶來較豐富的體驗，但是並不能滿足協同工作和娛樂的要求。由於網際網路的迅猛發展，增強現實與網絡技術的結合已經成為可能，事實上，協同式增強現實就是其中一個典型代表。
協同式增強現實技術(Collaborative Augmented Reality，簡稱CAR)是增強現實技術和網絡技術的結合，是增強現實技術的重要組成部分，它可以使多個用戶同時感受到虛擬對象與真實環境融合為一體的增強現實場景，並能夠在網絡通信平臺上進行各種交互操作和協同工作，共同完成預定任務。協同式增強現實技術目前已有日本增強現實系統實驗室Toshikazu Ohshima, Kiyohide Satoh等人研發的增強現實空氣曲棍球系統(AR2 Hockey)0該系統採用基於用戶的相對位置的無排斥交互動態註冊方法，兩個玩家可以通過共享的物理遊戲場、槌棒和虛擬曲棍球來實現一場曲棍球比賽，然而，受限於簡單的註冊算法，其存在的缺陷是系統的參與者需要在同一個真實環境中，且同時進行協同操作的用戶不能多於兩人。由此可見，協同式增強現實技術，特別是互動性較強的異地協同式增強現實技術對實時、準確的位置登記有較高要求。
因此，目前的協同式增強現實技術尚不能滿足處於不同物理空間的多用戶交互的協同操作要求，因而還不能解決現有主流遊戲及模擬系統存在的用戶交互體驗不能滿足要求的問題。發明內容
針對上述問題，本發明提供了一種基於位置映射的增強現實平臺系統，其能解決現有主流遊戲及模擬系統不能滿足處於不同物理空間的多用戶交互的協同操作要求的問題。為此，本發明還提供了基於位置映射的增強現實平臺系統的應用方法。
—種基於位置映射的增強現實平臺系統，其特徵在於其包括管理伺服器和至少一套用戶便攜設備，所述用戶便攜設備包括控制模塊、定位與輔助傳感器模塊、增強現實 (AR)模塊以及網絡傳輸模塊，所述控制模塊通過所述網絡傳輸模塊與所述管理伺服器進行 ^ternet連接，所述定位與輔助傳感器模塊與所述控制模塊之間通過無線網絡進行數據的通信，所述增強現實(AR)模塊與所述控制模塊通過無線或有線連接。
其進一步特徵在於所述管理伺服器包括前臺數據交互伺服器與數據計算存儲伺服器；所述前臺數據交互伺服器負責接收所述用戶便攜設備上報的用戶位置等傳感器感知的數據，並向用戶便攜設備提供控制數據；所述數據計算存儲伺服器負責存儲和管理目標場景狀態以及目標場景內的所有使用者的狀態；所述控制模塊為穿戴式計算機或其它滿足處理能力的微型可攜式電腦，如手錶型電腦，高度智能化的手機，PDA等，其主要負責採集定位和輔助傳感器模塊數據，如用戶位置和視線等、通過所述網絡傳輸模塊與管理伺服器通信、控制所述增強現實模塊數據輸入；所述定位與輔助傳感器模塊包括三維定位設備、用戶視線採集設備、語音採集設備；所述定位設備集成常用的定位晶片，包括在室外時使用的 GPS定位晶片和在室內環境中使用的集成WiFi、RFID和慣性傳感器的晶片；所述用戶視線採集設備為用戶頭盔顯示器內部的三維羅盤實現；所述語音採集設備為微型麥克風；所述增強現實模塊包括帶有視線跟蹤功能的光學透視式立體頭盔顯示器、數據手套、小型音箱， 所述頭盔顯示器用於向用戶提供視覺反饋，所述數據手套用於向用戶提供觸覺反饋，所述小型音箱用於向用戶提供聽覺反饋；所述網絡傳輸模塊採用蜂窩網或無線區域網方式與控制伺服器通信。
一種基於位置映射的增強現實平臺系統的應用方法，其特徵在於其包括以下步驟(1)目標場景構建通過建模軟體構建目標場景的三維模型，在數據計算存儲伺服器中生成目標場景三維模型的初始化數據；(2)初始位置映射用戶採用手動輸入的方式或者通過用戶便攜設備中的定位與輔助傳感器模塊獲取用戶所處現實物理空間的拓撲信息，該拓撲信息通過用戶便攜設備的無線通信模塊、採用無線通信方式傳輸到前臺數據交互伺服器，數據計算存儲伺服器根據前臺數據交互伺服器傳來的用戶信息初始化用戶狀態數據，其中用戶狀態數據包括當前用戶數量、用戶在目標場景內的初始位置、目標場景中的用戶人物模型，前臺數據交互伺服器根據初始化用戶狀態數據向用戶便攜設備提供控制數據，用戶便攜設備的頭盔顯示器呈現初始化目標場景；(3)用戶傳感器數據採集定位與輔助傳感模塊的三維定位設備計算出使用者在源場景內的相對位置變化，通過微型麥克風採集用戶語音、用戶頭盔顯示器內部的三維羅盤採集用戶視線角度變化，並將上述位置變化數據、語音數據以及視線角度變化數據等用戶狀態數據傳送給控制模塊，由控制模塊通過網絡傳輸模塊將上述用戶狀態數據上傳給前臺數據交互伺服器；(4)用戶狀態更新數據計算存儲伺服器接收前臺數據交互伺服器上傳的步驟(3)中的用戶狀態數據，並更新數據計算存儲伺服器中上述用戶狀態數據；(5)目標場景更新數據計算存儲伺服器根據步驟(4)中更新的用戶狀態數據，更新目標場景數據；(6)交互計算數據計算存儲伺服器根據更新後的目標場景，根據各用戶之間的位置拓撲關係和用戶視線數據，計算每個用戶便攜設備應提供給用戶的增強現實反饋，如聲音、用戶所應看到的三維數據、用戶觸覺反饋數據；(7)增強現實反饋前臺數據交互伺服器將增強現實反饋控制數據通過每個目標用戶便攜設備的網絡傳輸模塊交付控制模塊，控制模塊根據反饋控制數據，控制便攜設備中的增強現實模塊如數據手套、音箱、頭盔顯示器，向用戶提供觸覺、聲音、視覺上的增強現實反饋。
將本發明的基於位置映射的增強現實平臺系統應用於多交戶的遊戲或模擬系統， 其有益效果在於其應用增強現實技術，根據位置關係將處於不同物理空間的使用者映射到同一目標場景內，能夠給使用者提供完全沉浸的、擁有視覺、聽覺、觸覺的多交互的體驗， 從而滿足用戶的體驗要求。
圖1為本發明的一種基於位置映射的增強現實平臺系統內各模塊連接示意圖； 圖2為本發明的一種基於位置映射的增強現實平臺系統的系統構成圖；圖3為本發明的一種基於位置映射的增強現實平臺系統的運行流程圖。
具體實施方式
見圖1和圖2，一種基於位置映射的增強現實平臺系統，其包括管理伺服器1和至少一套用戶便攜設備，用戶便攜設備包括控制模塊4、定位與輔助傳感器模塊5、增強現實(AR)模塊3以及網絡傳輸模塊2，控制模塊4通過網絡傳輸模塊2與管理伺服器1進行 Internet通信連接，定位與輔助傳感器模塊5與控制模塊4之間通過無線網絡進行數據的通信，增強現實(AR)模塊3與控制模塊4通過無線或有線連接。管理伺服器1包括前臺數據交互伺服器與數據計算存儲伺服器；前臺數據交互伺服器負責接收用戶便攜設備上報的用戶位置等傳感器數據，並向用戶便攜設備提供控制數據；數據計算存儲伺服器負責存儲和管理目標場景狀態以及映射場景內的所有使用者的狀態；控制模塊4為穿戴式計算機或其它滿足處理能力的微型可攜式電腦，如手錶型電腦，高度智能化的手機，PDA等，其主要負責採集定位與輔助傳感器模塊數據，如用戶位置和視線等、通過網絡傳輸模塊與管理伺服器通信、控制增強現實模塊數據輸入；定位與輔助傳感器模塊5包括三維定位設備、用戶視線採集、語音採集設備；定位設備集成常用的定位晶片，包括在室外時使用的GPS定位晶片和在室內環境中使用的集成WiFi、RFID和慣性傳感器的晶片；用戶視線採集由用戶頭盔內部的三維羅盤實現；語音採集設備為微型麥克風；增強現實模塊3包括帶有視線跟蹤功能的光學透視式立體頭盔顯示器、數據手套、小型音箱，頭盔顯示器用於向用戶提供視覺反饋，數據手套用於向用戶提供觸覺反饋，小型音箱用於向用戶提供聽覺反饋；所述網絡傳輸模塊採用蜂窩網或無線區域網方式與管理伺服器1通信。
本發明是一種基於位置映射的增強現實平臺系統的應用方法其包括以下步驟， 見圖3 (1)目標場景構建通過建模軟體構建目標場景的三維模型，在數據計算存儲伺服器中生成目標場景三維模型的初始化數據；(2)初始位置映射用戶採用手動輸入的方式或者通過用戶便攜設備中的定位與輔助傳感器模塊獲取用戶所處現實物理空間的拓撲信息，該拓撲信息通過用戶便攜設備的無線通信模塊、採用無線通信方式傳輸到前臺數據交互伺服器，數據計算存儲伺服器根據前臺數據交互伺服器傳來的用戶信息初始化用戶狀態數據，其中用戶狀態數據包括當前用戶數量、用戶在目標場景內的初始位置、目標場景中的用戶人物模型，前臺數據交互伺服器根據初始化用戶狀態數據向用戶便攜設備提供控制數據，用戶便攜設備的頭盔顯示器呈現初始化目標場景；(3)用戶傳感器數據採集定位與輔助傳感器模塊的三維定位設備計算出使用者在源場景內的相對位置變化，通過微型麥克風採集用戶語音、用戶頭盔顯示器內部的三維羅盤採集用戶視線角度變化，並將上述位置變化數據、語音數據以及視線角度變化數據等用戶狀態數據傳送給控制模塊，由控制模塊通過網絡傳輸模塊將上述用戶狀態數據上傳給數據交互伺服器；(4)用戶狀態更新數據計算存儲伺服器接收數據交互伺服器上傳的步驟(3)中的用戶狀態數據，並更新數據計算存儲伺服器中上述用戶狀態數據；(5)目標場景更新數據計算存儲伺服器根據步驟(4)中更新的用戶狀態數據，更新目標場景數據；(6)交互計算數據計算存儲伺服器根據更新後的目標場景，根據各用戶之間的位置拓撲關係和用戶視線數據，計算每個用戶便攜設備應提供給用戶的增強現實反饋，如聲音、用戶所應看到的三維數據、用戶觸覺反饋數據；(7)增強現實反饋數據交互伺服器將增強現實反饋控制數據通過每個目標用戶便攜設備的網絡傳輸模塊交付控制模塊，控制模塊根據反饋控制數據，控制便攜設備中的增強現實模塊如數據手套、音箱、頭盔顯示器，向用戶提供觸覺、聲音、視覺上的增強現實反饋。
下面以構建虛擬迷宮遊戲為例，對本發明進行具體描述虛擬迷宮遊戲平臺，其包括管理伺服器和用戶便捷設備，其中管理伺服器包括前臺數據交互伺服器與數據計算存儲伺服器，用戶便攜設備包括控制模塊、定位與輔助傳感器模塊、增強現實(AR)模塊以及網絡傳輸模塊，其中控制模塊為穿戴式電腦，定位與輔助傳感器模塊為集成了加速度傳感器的移動定位設備、集成於頭盔顯示器的三維電子羅盤、以及麥克風，增強現實(AR)模塊為頭盔顯示器、可攜式小型音箱，網絡傳輸模塊為無線網卡，其集成於穿戴式電腦；下面具體描述一下虛擬迷宮遊戲平臺的構建與運行過程(1)迷宮構建通過3DMax構建虛擬三維迷宮地圖，在數據計算存儲伺服器中生成虛擬三維迷宮地圖的初始化數據，並將三維迷宮地圖載入至各玩家的穿戴式電腦；(2)初始位置映射玩家選擇一個大而空曠的房間，帶上頭盔顯示器，開啟系統，輸入房間的拓撲信息(如長，寬等)，或手動選取初始映射位置，各個玩家的輸入信息和通過定位與輔助傳感器模塊獲取到的其所處現實世界的拓撲信息通過無線通信方式傳輸到前臺數據交互伺服器；數據計算存儲伺服器根據前臺數據交互伺服器傳來的玩家信息初始化用戶狀態數據，其中用戶狀態數據包括玩家數量、玩家在目標空間的狀態；前臺數據交互伺服器根據初始化用戶狀態數據向玩家的便攜設備提供控制數據，頭盔顯示器將呈現迷宮地圖與房間疊加的場景，猶如玩家真的在迷宮的相應位置；(3)玩家傳感器數據採集每個玩家隨身攜帶集成了加速度傳感器的移動定位設備，當移動時，移動定位設備上的定位軟體通過加速度傳感器計算出相對位移，同時玩家所佩戴的頭盔顯示器集成的三維電子羅盤計算出玩家視線角度變化，相對位移數據、視線角度變化等用戶狀態數據通過無線通信方式傳輸到穿戴式電腦，並通過穿戴式電腦將相對位移、 視角變化等用戶狀態數據傳輸給前臺數據交互伺服器；(4)玩家狀態更新數據計算存儲伺服器接收並更新數據交互伺服器上傳的用戶狀態數據；(5)三維迷宮更新數據計算存儲伺服器根據已更新的用戶狀態數據更新三維迷宮數據；(6 )交互計算數據計算存儲伺服器根據更新後的三維迷宮，根據各玩家之間的位置拓撲關係和玩家視線數據，計算每個用戶便攜設備應提供給玩家的增強現實反饋，包括玩家所應看到的三維迷宮地圖和指定距離範圍內的其他玩家的語音數據；(7)增強現實反饋數據交互伺服器將增強現實反饋控制數據通過每個玩家的便攜設備的網絡傳輸模塊交付控制模塊，控制模塊根據反饋控制數據，控制頭盔顯示器向玩家提供當前應呈現的三維迷宮地圖，控制音箱向玩家提供指定距離範圍內的其他玩家的語音。
權利要求
1.一種基於位置映射的增強現實平臺系統，其特徵在於其包括管理伺服器和至少一套用戶便攜設備，所述用戶便攜設備包括控制模塊、定位與輔助傳感器模塊、增強現實 (AR)模塊以及網絡傳輸模塊，所述控制模塊通過所述網絡傳輸模塊與所述管理伺服器進行 ^ternet連接，所述定位與輔助傳感器模塊與所述控制模塊之間通過無線網絡進行數據的通信，所述增強現實(AR)模塊與所述控制模塊通過無線或有線連接。
2.根據權利要求1所述的一種基於位置映射的增強現實平臺系統，其特徵在於所述管理伺服器包括前臺數據交互伺服器與數據計算存儲伺服器；所述前臺數據交互伺服器負責接收所述用戶便攜設備上報的用戶位置等傳感器感知的數據，並向用戶便攜設備提供控制數據；所述數據計算存儲伺服器負責存儲和管理目標場景狀態以及目標場景內的所有使用者的狀態。
3.根據權利要求2所述的一種基於位置映射的增強現實平臺系統，其特徵在於所述控制模塊為穿戴式計算機或其它滿足處理能力的微型可攜式電腦，其主要負責採集定位和輔助傳感器模塊數據。
4.根據權利要求3所述的一種基於位置映射的增強現實平臺系統，其特徵在於所述定位與輔助傳感器模塊包括三維定位設備、用戶視線採集設備、語音採集設備；所述定位設備集成常用的定位晶片，包括在室外時使用的GPS定位晶片和在室內環境中使用的集成 WiFi、RFID和慣性傳感器的晶片；所述用戶視線採集設備為用戶頭盔顯示器內部的三維羅盤實現；所述語音採集設備為微型麥克風。
5.根據權利要求4所述的一種基於位置映射的增強現實平臺系統，其特徵在於所述增強現實模塊包括帶有視線跟蹤功能的光學透視式立體頭盔顯示器、數據手套、小型音箱， 所述頭盔顯示器用於向用戶提供視覺反饋，所述數據手套用於向用戶提供觸覺反饋，所述小型音箱用於向用戶提供聽覺反饋。
6.根據權利要求5所述的一種基於位置映射的增強現實平臺系統，其特徵在於所述網絡傳輸模塊採用蜂窩網或無線區域網方式與控制伺服器通信。
7.一種基於位置映射的增強現實平臺系統的應用方法，其特徵在於其包括以下步驟(1)目標場景構建通過建模軟體構建目標場景的三維模型，在數據計算存儲伺服器中生成目標場景三維模型的初始化數據；(2)初始位置映射用戶採用手動輸入的方式或者通過用戶便攜設備中的定位與輔助傳感器模塊獲取用戶所處現實物理空間的拓撲信息，該拓撲信息通過用戶便攜設備的無線通信模塊、採用無線通信方式傳輸到前臺數據交互伺服器，數據計算存儲伺服器根據前臺數據交互伺服器傳來的用戶信息初始化用戶狀態數據，其中用戶狀態數據包括當前用戶數量、用戶在目標場景內的初始位置、目標場景中的用戶人物模型，前臺數據交互伺服器根據初始化用戶狀態數據向用戶便攜設備提供控制數據，用戶便攜設備的頭盔顯示器呈現初始化目標場景；(3)用戶傳感器數據採集定位與輔助傳感模塊的三維定位設備計算出使用者在源場景內的相對位置變化，通過微型麥克風採集用戶語音、用戶頭盔顯示器內部的三維羅盤採集用戶視線角度變化，並將上述位置變化數據、語音數據以及視線角度變化數據等用戶狀態數據傳送給控制模塊，由控制模塊通過網絡傳輸模塊將上述用戶狀態數據上傳給前臺數據交互伺服器；(4)用戶狀態更新數據計算存儲伺服器接收前臺數據交互伺服器上傳的步驟(3)中的用戶狀態數據，並更新數據計算存儲伺服器中上述用戶狀態數據；(5)目標場景更新數據計算存儲伺服器根據步驟(4)中更新的用戶狀態數據，更新目標場景數據；(6)交互計算數據計算存儲伺服器根據更新後的目標場景，根據各用戶之間的位置拓撲關係和用戶視線數據，計算每個用戶便攜設備應提供給用戶的增強現實反饋，如聲音、用戶所應看到的三維數據、用戶觸覺反饋數據；(7)增強現實反饋前臺數據交互伺服器將增強現實反饋控制數據通過每個目標用戶便攜設備的網絡傳輸模塊交付控制模塊，控制模塊根據反饋控制數據，控制便攜設備中的增強現實模塊如數據手套、音箱、頭盔顯示器，向用戶提供觸覺、聲音、視覺上的增強現實反饋。
全文摘要
本發明提供了一種基於位置映射的增強現實平臺系統，其能解決現有主流遊戲及模擬系統不能滿足處於不同物理空間的多用戶交互的協同操作要求的問題。為此，本發明還提供了基於位置映射的增強現實平臺系統的應用方法。一種基於位置映射的增強現實平臺系統，其包括管理伺服器和至少一套用戶便攜設備，所述用戶便攜設備包括控制模塊、定位與輔助傳感器模塊、增強現實(AR)模塊以及網絡傳輸模塊，控制模塊通過網絡傳輸模塊與管理伺服器進行Internet連接，定位與輔助傳感器模塊與控制模塊之間通過無線網絡進行數據的通信，增強現實(AR)模塊與控制模塊通過無線或有線連接。一種基於位置映射的增強現實平臺系統的應用方法，其包括以下步驟(1)目標場景構建；(2)初始位置映射；(3)用戶傳感器數據採集；(4)用戶狀態更新；(5)目標場景更新；(6)交互計算；(7)增強現實反饋。
文檔編號H04L29/08GK102495959SQ201110397878
公開日2012年6月13日 申請日期2011年12月5日 優先權日2011年12月5日
發明者劉東輝, 宋崢, 熊永平, 馬建 申請人:無錫智感星際科技有限公司