虛擬與現實融合方法、系統和虛擬實境設備與流程

2023-07-21 14:16:36

本申請實施方式涉及虛擬實境(vr)領域，特別是涉及一種在虛擬實境顯示環境中疊加與現實元素相關的渲染內容的融合方法和系統。

背景技術：

當前前沿技術研究中，虛擬實境(vr)和增強現實(ar)是關注度很高的技術研究方向。vr是為用戶呈現的是完全虛擬的內容，用戶帶上一個頭戴式vr設備，沉浸在完全虛擬的世界中，可以看和聽，卻無法用嗅覺，味覺，觸覺感受到，和現實完全隔離。而增強現實(ar)則採用半透鏡的方式，讓用戶能夠看到真實的世界，同時在半透鏡上顯示虛擬內容的虛擬人物或物體，使虛擬融合到現實環境中，用戶看到的是真實世界中出現少量虛擬內容。

針對虛擬實境設備，現有頭戴式vr設備一般包括頭戴式顯示器和vr內容生成設備。

頭戴式顯示器可以穿戴在用戶頭部並向用戶提供虛擬場景的沉浸式視場。除此之外，頭戴式顯示器還包含用於頭部定位的傳感器。

vr內容生成設備包含計算模塊、存儲模塊、和頭部定位模塊。頭部定位模塊實時從頭戴式顯示器中的頭部定位傳感器獲得數據，經過傳感器融合相關算法處理，頭部定位模塊能夠得出當前用戶的頭部姿態。

vr內容生成設備從頭部定位模塊中獲得當前頭部姿態，從存儲模塊中獲得渲染虛擬場景所需的素材，經過計算模塊的處理，最終渲染出以當前用戶頭部姿態為視角的虛擬場景，並通過頭戴式顯示器顯示到用戶眼前。頭戴式顯示器與vr內容生成設備可以是嵌入式集成在一起(如vr移動一體機)，也可以是通過顯示數據線(如hdmi)連接在一起(如htcvive)。

然而，本申請的申請人發現：現有的頭戴式vr設備僅能特定的模式為用戶呈現虛擬的場景。而不能根據用戶的意願調整渲染的程度。因此，現有技術還有待於改進和發展。

技術實現要素：

本申請實施方式主要解決的技術問題是提供一種全新的虛擬實境體驗方法和系統，用以根據用戶的意願調整渲染的程度。該方法和系統實現了在虛擬實境系統的虛擬內容上可調節虛擬程度地疊加融合了用戶周圍環境的現實元素，帶給用戶全新的vr體驗。

為解決上述技術問題，本申請實施方式採用的一個技術方案是：提

供一種虛擬與現實融合方法，包括：

獲取用戶周圍現實環境的現實三維全景圖像；

根據用戶選擇的渲染虛擬程度，對該現實三維全景圖像進行渲染；

將渲染得到的結果輸出到虛擬實境顯示模組中。

為解決上述技術問題，本申請實施方式採用的另一個技術方案是：提供一種虛擬與現實融合系統，包括虛擬實境系統，用於為用戶展現虛擬三維場景，還包括現實融合模組，其中，該現實融合模組用於獲取用戶周圍現實環境的現實三維全景圖像；該虛擬實境系統用於根據用戶選擇的渲染虛擬程度，對該現實三維全景圖像進行渲染；該虛擬實境系統還用於將渲染得到的結果輸出到虛擬實境顯示模組中。

為解決上述技術問題，本申請實施例採用的再一個技術方案是：提供一種電子設備，包括：處理器模組，處理器模組連接的交互模塊和虛擬實境顯示模組；

處理器模組用於根據用戶周圍環境的圖像獲取現實三維全景圖像，並根據用戶在交互模塊選擇的渲染虛擬程度，對所述現實三維全景圖像進行渲染；

其中，所述處理器模組還用於將渲染得到的結果輸出到虛擬實境顯示模組中。

優選的，電子設備為虛擬實境頭戴設備，還包括頭盔和現實捕獲模組，

所述現實捕獲模組用於從多個角度捕獲用戶周圍環境的圖像。這樣當用戶帶上該虛擬實境頭戴設備後，能夠很好的沉浸到所營造的虛擬顯示環境中，提高用戶體現。

優選的，該交互模塊包括數量調節交互裝置，其中，該處理器模組還用於識別和提取該現實三維全景圖像中的現實元素；並從數量調節交互裝置獲取用戶選擇的第一渲染虛擬程度，該第一渲染虛擬程度用於指示用戶希望保留的現實元素的比例；以及用於根據獲取到的第一渲染虛擬程度對該現實三維全景圖像中的現實元素進行處理。

為了保證用戶使用安全，該現實元素包括安全性現實元素，其中，該處理器模組還用於在該第一渲染虛擬程度指示用戶希望保留的現實元素的比例為非0時，保留該現實三維全景圖像中的至少一部分安全性現實元素。

優選的，該交互模塊還包括渲染虛擬度交互裝置數量調節交互裝置，其中，該處理器模組還用於識別和提取該現實三維全景圖像中的現實元素；從渲染虛擬度交互裝置獲取用戶選擇的第二渲染虛擬程度，該第二渲染虛擬程度用於指示對各個現實元素的渲染程度，並根據獲取到的第二渲染虛擬程度對該現實三維全景圖像中的各個現實元素進行渲染。

為了提供沉浸式vr體驗，該處理器模組用於根據該安全性現實元素和該其它現實元素，確定虛擬三維場景對應的聲音渲染。

該現實捕獲模組包括多個攝像頭，該多個攝像頭設置在該頭盔的不同方位上。

作為一種實施方式，該交互模塊包括旋鈕和模數轉換裝置；該模數轉換裝置與該旋鈕和該處理器模組連接，用於根據旋鈕的旋轉角度生成對應的數位訊號並輸出到處理器模組。

本申請實施方式的有益效果是：能夠根據用戶選擇的渲染虛擬程度對周圍現實環境中的圖像進行渲染。使得用戶能夠對渲染虛擬程度進行選擇，有助於提升用戶體驗。

附圖說明

圖1是本申請實施方式的虛擬與現實融合系統的模塊圖；

圖2是本申請實施方式的虛擬與現實融合系統的立體圖；

圖3是本申請實施方式的虛擬與現實融合系統的立體後視圖；

圖4是本申請實施方式的虛擬與現實融合方法的其中一實施例的流程圖；

圖5是本申請實施例提供的虛擬與現實融合系統的硬體結構示意圖；以及

圖6是本申請實施例提供的虛擬與現實融合方法的電子設備的硬體結構示意圖。

具體實施方式

為使本申請實施例的目的、技術方案和優點更加清楚明白，下面結合附圖對本申請實施例做進一步詳細說明。在此，本申請的示意性實施例及其說明用於解釋本申請，但並不作為對本申請的限定。

圖1為所應用的一種實施環境的示意圖，可以應用於包含了處理器模組100、虛擬實境顯示模組200、能夠採集周圍現實環境的現實捕獲模組以及能夠實現與用戶交互從而確定用戶選擇的虛擬程度的交互模塊300的電子設備中，電子設備所包含的各個組件之間可以通過通信接口(比i/o接口相連)。

該現實捕獲模組可以是一個面向正方向或多個面向不同方向的可進行實時建模的三維圖像識別傳感器(市面上已經有類似的設備)。如只採用一個面向正方向的三維圖像識別傳感器，則對實時性要求極高，頭部轉動時需要基本無延時的建模和渲染，且對視角的要求極大；而如果是多個三維圖像識別傳感器拼接現實三維全景圖像，則相當於構建了一個空間模型，頭部轉動時也只是顯示空間中的另一部分而已。

請一併參考圖5，本實施例中的處理器模組可以包括中央處理器模塊(包括中央處理器cpu520以及與中央處理器相連的存儲介質530)，也可以還包括圖像處理模組(圖像處理模組可以包括圖形處理器gpu510以及與gpu510相連的存儲介質530)。圖1中示出的是後一種情況。本實施例的虛擬和現實融合系統可以為存儲於上述的處理器模組的存儲介質中的軟體系統。參見圖，該系統可以包括現實融合模組和虛擬實境系統。

其中，該現實融合模組獲取用戶周圍現實環境的現實三維全景圖像。比如在一些實施例中，現實融合模組可以預先的獲取由多個攝像機拍攝的用戶周圍現實環境的圖像。

該多個攝像頭之間基於同一立體坐標系拍攝以拼接出三維全景圖像。

該現實融合模組獲取用戶周圍現實環境的現實三維全景圖像；

該虛擬實境系統根據用戶選擇的渲染虛擬程度，對該現實三維全景圖像進行渲染；該虛擬實境系統將渲染得到的結果輸出到虛擬實境顯示模組中。

該虛擬實境系統識別和提取該現實三維全景圖像中的現實元素。

本申請實施例提供的虛擬實境系統可以應用於頭盔等裝置中，當用於頭盔之類的裝置中時，用戶可以戴著頭盔行走，虛擬實境系統實時的根據用戶所佩戴的頭盔對用戶前方的圖像進行渲染。對於這種情況，為了保證用戶的安全，在具體實施時：可以按照如下方式進行實施：

該虛擬實境系統在該第一渲染虛擬程度指示用戶希望保留的現實元素的比例為非0時，保留該現實三維全景圖像中的至少一部分安全性現實元素。為了對渲染對象做選擇數量，該第一渲染虛擬程度用於指示用戶希望保留的現實元素的比例。

根據獲取到的第一渲染虛擬程度對該現實三維全景圖像中的現實元素進行處理。

除了根據第一渲染虛擬程度進行渲染之外，還可以根據第二虛擬渲染程度(該第二渲染虛擬程度用於指示對各個現實元素的渲染程度)對(所保留的)各個現實元素的渲染程度的進行渲染。此時：相應的渲染過程可以包括：

識別和提取該現實三維全景圖像中的現實元素；

獲取用戶選擇的第二渲染虛擬程度；該第二渲染虛擬程度用於指示對各個現實元素的渲染程度；

根據獲取到的第二渲染虛擬程度對該現實三維全景圖像中的各個現實元素進行渲染。

這樣能夠使得用戶能夠自主的選擇各個現實元素的虛化程度。不難理解的是，在具體實施時，也可以僅按照第二虛擬渲染程度對各個現實元素進行渲染。

具體實施時，處理器模組獲取用戶選擇的第二渲染虛擬程度，該第二渲染虛擬程度用於指示對各個現實元素的渲染程度。圖像處理模組根據獲取到的第二渲染虛擬程度對該現實三維全景圖像中的各個現實元素進行渲染。

對本技術領域的一般技術人員來說，對現實元素的提取和渲染可以由中央處理模塊單獨完成，或者由圖像處理模組單獨完成，或者由中央處理模塊和圖像處理模塊以分布式處理完成。

傳統的虛擬實境系統包括中央處理模塊、渲染模塊、傳感器、交互模塊以及虛擬實境顯示模組。該虛擬實境顯示模組的實施例之一為vr成像眼鏡。其中，交互模塊匯集了所有傳感器的數據，用戶的行為和交互指令通過傳感器發送至交互模塊和中央處理模塊。該中央處理模塊根據用戶在交互模塊的指示，通過渲染模塊將虛擬內容渲染後三維顯示在vr成像眼鏡上。

vr成像眼鏡：兩個分立的顯示裝置，與傳統vr成像眼鏡相同。

傳感器：除傳統的動作傳感器外，也可包含其他各種類型的傳感器，取決於內容的需要。

本申請實施例中的虛擬實境系統進一步設置獲取用戶周圍環境的現實三維全景圖像的現實捕獲模組、實現與用戶交互的交互模塊以及獨特的圖像處理模組。

該現實融合模組包括獲取用戶周圍現實環境的現實三維全景圖像的若干現實捕獲模組、實現虛擬數量和虛擬度調節的交互模塊以及獨特的圖像處理模組。

該若干現實捕獲模組由視角彼此覆蓋的若干三維立體建模模塊同時拍攝圖像並拼接形成現實三維全景圖像，本實施例中，該現實捕獲模組為三維圖像識別傳感器540。為了實現現實元素的融合，該圖像處理模組包括現實元素提取模塊、融合匹配模塊、融合圖像的圖像處理模組以及融合聲音的聲音處理模組。

該交互模塊供用戶在虛擬實境頭戴設備上選擇對現實三維全景圖像或者現實元素的渲染虛擬程度。

請一併參考圖2和圖3，所示虛擬實境頭戴設備包括頭盔1、中央處理模塊2、耳機座3、數據線4、電源口5、以及5個現實捕獲模組6-10、麥克風20、渲染虛擬度交互裝置30以及現實元素數量交互裝置40。

中央處理模塊：接收所有現實捕獲模組6-10、傳感器540、外圍器件、渲染虛擬度交互裝置30和現實元素數量交互裝置40以及內容源的信號，並將處理完成的信號傳送給vr成像眼鏡550，耳機等輸出設備。如各個現實捕獲模組的圖像拼接處理，頭部轉動後顯示圖像的變化等。

現實捕獲模組6-10獲取用戶周圍現實環境的現實三維全景圖像；圖像處理模組根據用戶選擇的渲染虛擬程度，對該現實三維全景圖像進行渲染；其中，該中央處理模塊將渲染得到的結果輸出到虛擬實境顯示模組中。

該現實捕獲模組6-10識別和提取該現實三維全景圖像中的現實元素，也可以由中央處理模塊完成現實元素的識別和提取。

本申請實施例中，為了實現渲染對象的數量選擇，該交互模塊包括數量調節交互裝置，用戶通過該數量調節交互裝置實現對第一渲染虛擬程度的設置。該圖像處理模組在該第一渲染虛擬程度指示用戶希望保留的現實元素的比例為非0時，保留該現實三維全景圖像中的至少一部分安全性現實元素。

該交互模塊還包括渲染虛擬度交互裝置，用戶通過該渲染虛擬度交互裝置完成對第二渲染虛擬程度的設置。其中，該中央處理模塊從數量調節交互裝置獲取用戶選擇的第二渲染虛擬程度，該第二渲染虛擬程度用於指示對各個現實元素的渲染程度。

從沉浸式體驗考慮，該聲音處理模組還用於根據該安全性現實元素和該其它現實元素，確定虛擬三維場景對應的聲音渲染。

優選的，該第一渲染虛擬程度或者該第二渲染虛擬程度由用戶在交互界面上選擇的比例確定。

本實施例的現實捕獲模組6-10可測景深並實時構建三維立體模型，實際應用數量取決於單個現實捕獲模組的視角和處理能力。該現實捕獲模組的實施例以多個實時建模三維圖像識別傳感器為例，根據視角的覆蓋要求，分布設置頭盔1的頂部和前後左右五個方位上。

請一併參考圖1，作為本申請的一種具體實施方式，現實捕獲模組與圖像識別模塊連接。該圖像識別模塊識別拼接的現實三維全景圖的所有現實元素。該等現實元素的立體坐標與其在三維全景圖中的坐標保持一致。

該虛擬實境系統可為用戶展現虛擬三維場景，該現實融合模組的若干若干現實捕獲模組獲取用戶周圍現實環境的現實三維全景圖像，圖像識別模塊識別該現實三維全景圖像中所有的現實元素。

現實元素提取模塊從所有現實元素中提取出安全性現實元素。

該現實元素包括安全性現實元素和用戶選擇的其它現實元素。該現實融合模組的圖像處理模組根據該安全性現實元素以及用戶選擇的其它現實元素，在該虛擬實境系統的虛擬三維場景中融合和圖像渲染對應的安全性現實元素以及選取的其它現實元素。該現實融合模組還包括聲音處理模組。該聲音處理模組用於根據安全性現實元素和其它現實元素，確定虛擬三維場景對應的聲音渲染，實現融合聲音。

以下介紹第二渲染虛擬程度的設置。對安全性現實元素以及選取的其它現實元素的虛擬渲染是可以由用戶通過交互模塊設置。該交互模塊包括渲染虛擬度交互裝置30，該現實融合模組還用於根據用戶在渲染虛擬度交互裝置30選擇的現實元素渲染虛擬程度，在虛擬實境系統的虛擬三維場景中對所有選取的現實元素進行對應所選虛擬程度的圖像渲染。

該渲染虛擬度交互裝置30用於用戶自行調整融合的現實元素的渲染虛擬度/真實度。可以是硬體旋鈕也可以是軟體旋鈕，在軟體旋鈕實施例中，用戶通過交互模塊實現選擇。以下以硬體旋鈕例進行說明。

該渲染虛擬度交互裝置30設置若干現實元素數量檔位供用戶選取，其中，在調整到最虛擬狀態時，融合的現實元素的顯示和內容完全虛擬的形式來渲染，如一棟高樓渲染成一座城堡，天空渲染成宇宙等等，根據當前虛擬實境的內容源進行融合；在調整到最真實狀態時，直接在虛擬實境系統的虛擬三維場景中疊加該現實三維全景圖像或者則融合的現實元素的顯示完全真實。在該種情況下，會出現和虛擬內容無法融合現象，但用戶可以知道自己周圍的環境狀態，這種設置用戶實際使用的情況很少。中間檔位則調節現實元素顯示的真實度/虛擬度，如一輛行駛的普通轎車，在最虛擬情況下被渲染成一個奔跑的怪獸，而隨著往現實那一側旋轉，可能逐漸變成能融入虛擬內容風格的火車頭、坦克、裝甲車等。如一條河流，在最虛擬情況下河岸被渲染成懸崖，而隨著往現實那一側旋轉，可能逐漸變成能融入虛擬內容風格的瀑布、大海、湖泊等，注意，在現實元素渲染中應充分考慮到安全因素。

以下介紹第一渲染虛擬程度的設置。該現實元素數量交互裝置40用於用戶自行調整融合的其它現實元素的數量。本實施方式中，安全性現實元素是必須融合顯示在虛擬三維場景中的，從而保證用戶活動的安全性，防止碰撞和摔倒。該現實元素數量交互裝置40可以是硬體旋鈕也可以是軟體旋鈕，在軟體旋鈕實施例中，用戶通過交互模塊實現選擇。以下以硬體旋鈕例進行說明。

設置的0檔位表示不顯示和渲染現實元素，不會看到任何周圍現實環境存在的物體，在調整到0檔位時，則和現在的vr設備相同，不會看到任何周圍現實存在的物體；設置的100檔位表示在虛擬三維場景疊加顯示用戶周圍現實環境提取的所有現實元素；0-100的中間檔位則根據檔位所佔比例調節現實元素在虛擬三維場景的疊加顯示數量，中間檔位則調節現實元素在虛擬三維場景顯示中的多少，如可能把用戶周圍的椅子和沙發顯示出來，但卻不顯示電視，空調等設備。旋鈕只控制多少，具體顯示不顯示哪個現實元素則由中央處理模塊根據現實元素和虛擬三維內容的匹配融合度決定。

為了實現虛擬內容與現實元素疊加內容的融合，該現實融合模組的匹配融合模塊對除安全性現實元素以外的其它現實元素的匹配融合度進行排序，並根據現實元素在虛擬三維場景的匹配融合度來決定對應現實元素是否被疊加顯示在虛擬三維場景中。

設備工作流程如下：

中央處理模塊讀取要播放的虛擬內容或遊戲，形成內容的三維立體模型和表面渲染信息。如果該現實元素數量交互裝置40為0或者渲染真實程度旋鈕為完全真實，則內容直接播放或運行虛擬內容即可，不需要進行任何處理；

若干立體建模模塊6-10同時工作，此時該現實元素數量交互裝置40的設置不為0，得到用戶周圍各個方向上真實的三維全景圖像。中央處理模塊對多個立體建模模塊的各方向上的三維立體數據進行拼接，得到用戶周圍真實環境的現實三維全景圖像和模型。該圖像識別模塊根據現實三維全景圖像和模型提取所有現實元素。

該現實元素提取模塊提取安全性現實元素，確定用戶選擇的其它現實元素。

圖像處理模組確定前述安全性現實元素以及用戶選擇的其它現實元素的融合渲染信息。

圖像處理模組根據該現實元素數量交互裝置40的位置和當前虛擬內容的三維立體模型，依據該匹配融合模塊對所有現實元素的匹配融合度排序，判定和選取用戶選擇的其它現實元素中哪些現實元素從形狀結構模型上更能夠融入當前虛擬內容，比如，vr虛擬世界中可對現實元素的三維立體模型進行調整，如將一個大樓的模型修改為一個城堡，但儘量保證城堡的外圍尺寸和大樓基本相符。該匹配融合模塊具體可對各現實元素的三維模型進行可融入度排序，並根據該現實元素數量交互裝置40的位置選取前若干適合的現實元素的三維模型進行渲染。選取時需充分考慮用戶的安全性問題，如臺階、牆壁、河流等等所有可能對人身安全構成威脅的元素必須顯示。

根據該渲染虛擬度交互裝置30的位置以及當前虛擬內容的三維立體模型和渲染數據，將選定的各個現實元素進行能夠融入vr虛擬三維場景的表面渲染。如將一座大樓的現實元素的三維模型修改為底部外徑相同的城堡三維模型，此步驟中則將城堡三維模型進行融入虛擬內容的表面渲染，如風格，顏色，表面材質，新舊程度，太陽反光等等，同樣的，應充分考慮用戶安全性問題，如臺階，牆壁，河流等等可能對人身安全構成威脅的元素必須真實渲染，且必須比較真實的渲染。如下樓的臺階，可能根據虛擬中的場景渲染成布滿苔蘚的臺階，但不可渲染成下坡或者平路。

該融合聲音的聲音處理模組由中央處理模塊控制，配合不同的三維虛擬場景作不同的聲音渲染。比如用戶打開一扇門，vr虛擬三維世界中用戶正處於監獄場景，打開的門被渲染成鐵柵欄門，同時用戶在打開門的時候，聲音應該也對應渲染成打開鐵柵欄門的聲音。

在用戶運動中或頭部轉動中，根據傳感器540的數據，中央處理模塊實時處理同步虛擬內容以及周圍現實中的現實元素的顯示與渲染。

本申請的技術方案基於現有vr設備，提供完全不同的使用體驗。使得用戶戴上完全遮擋視線的vr頭盔任然可以行走和活動，可以說體驗是勝於vr虛擬體驗的，是虛擬與現實的融合。用戶在看到虛擬世界的同時，又能夠自主調節周圍現實環境在虛擬三維世界中顯示的現實元素多少和虛擬度，從視覺到聽覺，純虛擬體驗中增加了被虛擬化的現實，比如可以坐在由真實高臺階渲染出的長條凳上，虛擬與現實難辨，很容易讓用戶沉浸在這種全新的虛擬與現實融合的世界。另外，本實施例也打破了傳統vr僅運用在純虛擬環境的界限，同時在技術上也能夠保證用戶的安全使用戶可以四處走動，甚至可以走到大街上，可以隨時都佩戴，本實施例提供的虛擬和現實混合的世界，不再局限於純虛擬環境，是對vr設備應用的飛越。

本實施例還提供一種虛擬與現實融合方法，可以通過以上的電子設備的處理器模組執行，該方法可以包括，

獲取用戶周圍現實環境的現實三維全景圖像，識別和提取該現實三維全景圖像中的現實元素；

在虛擬實境系統的虛擬三維場景中融合該現實三維全景圖像或該現實元素；

根據用戶選擇的現實三維全景圖像或者現實元素渲染虛擬程度，在該虛擬實境系統的虛擬三維場景中圖像渲染該現實三維全景圖像或者圖像渲染選取的現實元素。

其中，該現實元素包括安全性現實元素；根據該安全性現實元素以及用戶選擇的其它現實元素，在虛擬實境系統的虛擬三維場景中融合和圖像渲染對應的安全性現實元素以及選取的其它現實元素；根據該安全性現實元素和該其它現實元素，確定虛擬三維場景對應的聲音渲染。

請參考圖4，所示為本實施方式虛擬與現實融合方法其中一個實施例的流程。其中，用戶啟動虛擬實境系統時，並不一定會同步啟動三維建模模塊6-10和融合渲染。當用戶選擇確定了現實元素融合數量和渲染虛擬度後，該現實融合模組開始工作。

步驟401：中央處理模塊通過vr成像眼鏡550為用戶呈現虛擬三維場景。

步驟402：判斷用戶是否啟動現實融合模組，沒有啟動則繼續在虛擬實境系統工作模式下為用戶呈現虛擬三維內容和場景；如果啟動則現實捕獲模組和融合渲染開始工作。

步驟403：若干現實捕獲模組6-10同時拍攝立體圖像並拼接形成現實三維全景圖像或模型。

步驟404：圖像識別模塊根據該現實三維全景圖像識別出所有的現實元素。

步驟406：現實元素提取模塊提取出具有融合優先級的安全性現實元素。

步驟407：判斷用戶是否選定現實元素融合數量，如果沒有選定則在虛擬實境系統工作模式下等待用戶選定；其中，用戶在選擇現實元素數量時從若干現實元素數量檔位選取，其中，設置的0檔位表示不顯示和渲染現實元素，不會看到任何周圍現實環境存在的物體；設置的100檔位表示在虛擬三維場景疊加顯示用戶周圍現實環境提取的所有現實元素；0-100的中間檔位則根據檔位所佔比例調節現實元素在虛擬三維場景的疊加顯示數量。

步驟408：融合匹配模塊在虛擬三維場景中融合該安全性現實元素以及選取的其它現實元素。

步驟409：判斷用戶是否選定渲染虛擬程度，如果沒有選定則在虛擬實境系統工作模式下等待用戶選定；如果選定了，則根據用戶選擇的現實元素渲染虛擬程度，在虛擬實境系統的虛擬三維場景中對所有選取的現實元素進行對應所選虛擬程度的圖像渲染。

步驟410：圖像和聲音處理模組根據渲染虛擬程度渲染該融合在虛擬三維場景中的安全性現實元素和其它現實元素。

本實施例的虛擬與現實融合方法和系統通過設置實時三維建模模塊和融合圖像處理模組，實現了vr虛擬三維世界中融入用戶周圍的現實元素或者基於該等現實元素作影像渲染，為用戶提供虛幻又超出現實的獨特體驗，並且現實元素是真實存在的，呈現在虛擬三維世界使得用戶戴著頭盔也可以感知身邊的現實世界。用戶通過自行設置虛擬三維世界中融入現實元素的比例、真實程度、渲染場景，使得用戶通過vr成像眼鏡550看到的融合視像可以和實際相同也可以不同。雖然ar也是虛擬和現實的混合，但主要場景還是真實的，虛擬部分只是其中的少量附加信息。而本實施例的技術方案，將虛擬與現實完美的融合在了一起，用戶可以設置虛擬與現實的比例，並通過vr成像眼鏡550可實實在在感受到現實元素的存在，從而為用戶提供一種全新的虛擬與現實體驗。

綜上所述，本申請提供了一種將虛擬和現實完美融合的方法和系統，讓用戶完全沉浸在虛擬與現實之間。並且，該方法和系統能夠在虛擬實境系統的虛擬內容上可調節虛擬程度地疊加融合用戶周圍環境的現實元素，使得用戶在戴上虛擬實境頭盔的同時也能行走活動和完成一定的動作，帶給用戶全新的vr體驗。用戶在看到虛擬世界的同時，又能夠從視覺到聽覺自主調節周圍現實世界在虛擬世界中顯示的元素多少和虛擬度，純虛擬體驗中增加了被虛擬化的現實，讓用戶沉浸於這種全新的虛擬和現實融合的世界。本申請實施例的方法和系統打破了傳統vr與現實隔離的界限，視像融合中優先融合安全現實元素，能夠充分保證用戶使用頭盔走動和動作的安全性。

本技術方案中：1、本申請通過優先在虛擬三維場景中融合安全性現實元素，使得用戶戴著vr頭盔也可以感知外部真實世界，實現安全的行走和活動；2、本申請設置現實元素渲染設置的交互裝置，由用戶選擇現實元素渲染虛擬/真實程度，實現按用戶意願渲染，提供最佳體驗；3、本申請通過若干現實捕獲模組實現現實三維全景圖像的捕獲和建模，由視角彼此覆蓋的若干現實捕獲模組同時拍攝現實三維圖像並拼接形成現實三維全景圖像；4、本申請還設置現實元素融合設置的交互裝置，通過設置若干現實元素數量檔位供用戶選取，實現按用戶意願融合，提供最佳體驗；5、本申請除了優先提取安全性現實元素，還對其它現實元素的匹配融合度進行排序，解決現實元素與虛擬三維場景的融合匹配問題。

圖6是本申請實施例提供的虛擬與現實融合方法的電子設備600的硬體結構示意圖，如圖6所示，該電子設備600包括：

一個或多個處理器610以及存儲器620，圖6中以一個處理器610為例。

處理器610和存儲器620可以通過總線或者其他方式連接，圖6中以通過總線連接為例。

存儲器620作為一種非易失性計算機可讀存儲介質，可用於存儲非易失性軟體程序、非易失性計算機可執行程序以及模塊，如本申請實施例中的虛擬與現實融合方法對應的程序指令/模塊(例如，附圖1所示的融合匹配模塊、現實元素提取模塊和圖像識別模塊)。處理器610通過運行存儲在存儲器620中的非易失性軟體程序、指令以及模塊，從而執行終端或者伺服器的各種功能應用以及數據處理，即實現上述方法實施例中的虛擬與現實融合方法。

存儲器620可以包括存儲程序區和存儲數據區，其中，存儲程序區可存儲作業系統、至少一個功能所需要的應用程式；存儲數據區可存儲根據虛擬與現實融合系統的使用所創建的數據等。此外，存儲器620可以包括高速隨機存取存儲器，還可以包括非易失性存儲器，例如至少一個磁碟存儲器件、快閃記憶體器件、或其他非易失性固態存儲器件。在一些實施例中，存儲器620可選包括相對於處理器610遠程設置的存儲器，這些遠程存儲器可以通過網絡連接至虛擬與現實融合系統。上述網絡的實例包括但不限於網際網路、企業內部網、區域網、移動通信網及其組合。

所述一個或者多個模塊存儲在所述存儲器620中，當被所述一個或者多個處理器610執行時，執行上述任意方法實施例中的虛擬與現實融合方法，例如，執行以上描述的圖4中的方法步驟403至步驟410，實現圖1中的融合匹配模塊、現實元素提取模塊和圖像識別模塊的功能。

上述產品可執行本申請實施例所提供的方法，具備執行方法相應的功能模塊和有益效果。未在本實施例中詳盡描述的技術細節，可參見本申請實施例所提供的方法。

本申請實施例的電子設備以多種形式存在，比如以其他具有數據交互功能的電子裝置。

本申請實施例提供了一種非易失性計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機可執行指令，該計算機可執行指令被一個或多個處理器執行，例如圖6中的一個處理器610，可使得上述一個或多個處理器可執行上述任意方法實施例中的虛擬與現實融合方法，例如，執行以上描述的圖4中的方法步驟403至步驟410，實現圖1中的融合匹配模塊、現實元素提取模塊和圖像識別模塊的功能。

以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。

通過以上的實施方式的描述，本領域普通技術人員可以清楚地了解到各實施方式可藉助軟體加通用硬體平臺的方式來實現，當然也可以通過硬體。本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程是可以通過電腦程式來指令相關的硬體來完成，所述的程序可存儲於一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質可為磁碟、光碟、只讀存儲記憶體(read-onlymemory,rom)或隨機存儲記憶體(randomaccessmemory,ram)等。

最後應說明的是：以上實施例僅用以說明本申請的技術方案，而非對其限制；在本申請的思路下，以上實施例或者不同實施例中的技術特徵之間也可以進行組合，步驟可以以任意順序實現，並存在如上所述的本申請的不同方面的許多其它變化，為了簡明，它們沒有在細節中提供；儘管參照前述實施例對本申請進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本申請各實施例技術方案的範圍。