虛擬實境圖像顯示方法、裝置及應用其的終端設備與流程

2023-07-08 08:01:16 2

本發明涉及虛擬實境技術(Virtual Reality，VR)和圖像技術，更具體地，涉及一種虛擬實境圖像顯示方法、裝置及應用其的終端設備。

背景技術：

隨著智能終端技術的發展，終端設備能夠承載越來越多的傳感器並具有越來越強大的數據處理能力，從而可以為用戶提供更加豐富的使用體驗。現有的智能終端設備(例如，移動通信終端或平板電腦)通常設置有鎖定狀態，在鎖定狀態下，用戶可以根據需要點亮屏幕以查看信息或進行解鎖操作。現有技術中，終端設備通常在點亮屏幕後顯示動態或靜態的圖像，這並不能滿足用戶日益增長的使用需要。

技術實現要素：

有鑑於此，本發明提供一種虛擬實境圖像顯示方法、裝置及應用其的終端設備，以進一步提升終端設備用戶的使用體驗。

第一方面，提供一種虛擬實境圖像顯示方法，應用於設置有姿態檢測裝置和顯示裝置的終端設備，所述方法包括：

獲取所述姿態檢測裝置檢測的姿態信息；

根據所述姿態信息在所述顯示裝置上渲染呈現虛擬實境圖像的對應部分。

優選地，所述方法還包括：

在所述終端設備鎖定的狀態下檢測到點亮顯示裝置的指令時，載入虛擬實境圖像數據；

所述虛擬實境圖像數據包括全景視角的靜態或動態圖像。

優選地，所述載入虛擬實境圖像數據包括：

隨機地或以預定方式從本地或遠程預定位置選擇虛擬實境圖像載入。

優選地，根據所述姿態信息在所述顯示裝置上渲染呈現虛擬實境圖像的對應部分包括：

根據所述姿態信息的連續變化以連續方式改變在所述顯示裝置上呈現的虛擬實境圖像的部分，以使得所顯示的對應部分與終端設備的預定觀察點的相對位置保持不變。

優選地，根據所述姿態信息的連續變化以連續方式改變在所述顯示裝置上呈現的虛擬實境圖像的部分包括：

響應於所述終端設備的俯仰角變化和/或偏航角變化，分別在所述顯示裝置上渲染呈現虛擬實境圖像上下和/或左右移動；以及，

響應於所述終端設備的滾轉角變化，在所述顯示裝置上渲染呈現虛擬實境圖像隨滾轉角變化而轉動。

優選地，所述姿態信息為所述終端設備以大地為參考的絕對姿態信息；

所述姿態信息為以檢測到點亮顯示裝置的指令時所述終端設備的姿態為參考的相對姿態信息。

7、根據權利要求2所述的虛擬實境圖像顯示方法，其特徵在於，所述虛擬實境圖像為預定圖像，所述方法還包括：

在所述顯示裝置上的預定位置渲染呈現至少一個標識，所述標識用於輔助確認所述終端設備的當前姿態；以及，

在檢測到所述標識與所述虛擬實境圖像的預定數量的不同部分按預定順序重合時，解鎖所述終端設備。

8、根據權利要求2所述的虛擬實境圖像顯示方法，其特徵在於，所述虛擬實境圖像為預定圖像，所述方法還包括：

在所述顯示裝置上的預定位置渲染呈現至少一個標識，所述標識用於輔助確認所述終端設備的當前姿態；

在根據所述姿態信息檢測到所述終端設備以預定順序達到至少兩個預定姿態時，解鎖所述終端設備。

9、一種虛擬實境圖像顯示裝置，應用於設置有姿態檢測裝置和顯 示裝置的終端設備，所述裝置包括：

姿態信息獲取單元，用於獲取所述姿態檢測裝置檢測的姿態信息；

渲染顯示單元，用於根據所述姿態信息在所述顯示裝置上渲染呈現虛擬實境圖像的對應部分。

10、一種終端設備，包括：

姿態檢測裝置；

顯示裝置；以及，

數據處理裝置，適於執行如權利要求1-8中任一項所述的方法。

通過利用現有的智能終端設備承載有姿態檢測裝置的特點，獲取終端設備的姿態信息，並基於所述姿態信息顯示虛擬實境圖像的對應部分。由此，在改變終端設備的姿態時，終端設備顯示的圖像也適應性地移動，使得用戶通過移動終端設備觀察到虛擬實境圖像的不同部分，模擬出用戶轉動頭部觀察到不同景色或場景，達到用戶身臨其境進行360度全景觀看的效果，提升用戶對智能終端設備的使用體驗。

附圖說明

通過以下參照附圖對本發明實施例的描述，本發明的上述以及其它目的、特徵和優點將更為清楚，在附圖中：

圖1是本發明實施例的虛擬實境圖像顯示方法的流程圖；

圖2是本發明的與終端設備綁定的物體坐標系的示意圖；

圖3A-3G是本發明實施例的終端設備在進行虛擬實境圖像顯示時的顯示效果示意圖；

圖4A是本發明實施例應用於鎖屏界面時的虛擬實境圖像顯示方法的流程圖；

圖4B是本發明實施例應用於鎖屏界面的界面效果示意圖；

圖5A是本發明實施例應用於解鎖操作時的流程圖；

圖5B是本發明實施例應用於解鎖操作的界面效果示意圖；

圖5C是本發明實施例應用於解鎖操作時的流程圖；

圖6是本發明實施例的虛擬實境圖像顯示裝置的示意圖；

圖7是本發明實施例的終端設備的示意圖。

具體實施方式

以下基於實施例對本發明進行描述，但是本發明並不僅僅限於這些實施例。在下文對本發明的細節描述中，詳盡描述了一些特定的細節部分。對本領域技術人員來說沒有這些細節部分的描述也可以完全理解本發明。為了避免混淆本發明的實質，公知的方法、過程、流程、元件和電路並沒有詳細敘述。

此外，本領域普通技術人員應當理解，在此提供的附圖都是為了說明的目的，並且附圖不一定是按比例繪製的。除非上下文明確要求，否則整個說明書和權利要求書中的「包括」、「包含」等類似詞語應當解釋為包含的含義而不是排他或窮舉的含義；也就是說，是「包括但不限於」的含義。在本發明的描述中，需要理解的是，術語「第一」、「第二」等僅用於描述目的，而不能理解為指示或暗示相對重要性。此外，在本發明的描述中，除非另有說明，「多個」的含義是兩個或兩個以上。

圖1是本發明實施例的虛擬實境圖像顯示方法的流程圖。本發明實施例的方法應用於設置有姿態檢測裝置和顯示裝置的終端設備。所述終端設備可以為智能移動終端或平板電腦等。所述姿態檢測裝置可以為姿態傳感器或陀螺儀與地磁感應器的組合或其它可以用於檢測姿態信息的裝置。所述顯示裝置可以為液晶顯示屏或有機發光二極體(OLED)等適於集成於終端設備的顯示裝置。

如圖1所示，所述方法包括：

步驟S100、獲取所述姿態檢測裝置檢測的姿態信息。

在被激活或啟動的狀態下，姿態檢測裝置可以實時檢測獲得終端設備以大地為參考的絕對姿態，從而獲取表徵該姿態的姿態信息。在本發明中，姿態(pose/attitude)標識物體在3D空間內朝向。在3D空間內，常用兩種坐標系，即世界坐標系和物體坐標系來輔助指明描述剛體的信息，其中，世界坐標系與大地綁定，而物體坐標系與要表徵的物體綁定。在剛體發生旋轉變化時，與其綁定的物體坐標系也會發生變化。物體坐標系的三個坐標軸與實際坐標系的三個坐標軸產生三個夾角，可以稱為俯仰角(pitch)、偏航角(yaw)和滾轉角(roll)，統稱為歐拉角。利 用歐拉角就可以描述剛體相對於世界坐標系的偏轉，從而描述其姿態。

圖2是本發明的與終端設備綁定的物體坐標系的示意圖。圖2以移動通信終端為例說明終端設備的物體坐標系。如圖2所示，移動通信終端通常被設置為扁平狀的長方體或類似形狀，顯示裝置1被設置於面積最大的一面以向用戶呈現圖像。物體坐標系的坐標軸分別與顯示裝置1所在平面的垂直方向(滾轉軸)、長度方向(偏航軸)以及寬度方向(俯仰軸)一致。在移動通信終端繞滾轉軸轉動改變姿態時，其滾轉角發生變化；繞偏航軸轉動改變姿態時，其偏航角發生變化；繞俯仰軸轉動改變姿態時，其俯仰角發生變化。應理解，終端設備所有的姿態變化都是上述三種角度變化的組合。

根據參考時刻的終端設備的絕對姿態和當前時刻的絕對姿態，也可以獲取到終端設備以參考時刻的姿態為參考的相對姿態信息。步驟S100所述的姿態信息可以是相對姿態信息也可以是絕對姿態信息。

步驟S200、根據所述姿態信息在所述顯示裝置上渲染呈現虛擬實境圖像的對應部分。也就是說，預先設置了虛擬實境圖像的不同位置與姿態信息的對應關係。該對應關係可以以例如公式的方式表徵，也可以以對應表的方式表徵。根據當前的姿態信息，將對應的部分渲染呈現於顯示裝置上。優選地，所述虛擬實境圖像為全景視角的靜態或動態圖像。由此，圖像中的不同部分對應於向不同方位觀察時可以觀察或拍攝到的景象，將此與終端設備的姿態建立對應關係，在終端設備的姿態與圖像對應部分的拍攝姿態或觀察角度基本相同時，可以模擬出用戶轉動頭部觀察到不同景色或場景，達到用戶身臨其境進行360度全景觀看的效果，提升用戶對智能終端設備的使用體驗。

進一步地，步驟S200中，渲染呈現虛擬實境圖像的對應部分根據姿態信息的變化而連續的變化，以模擬人在預定的觀察點轉動頭部觀察到不同方位的景象的效果。為了實現上述效果，需要根據所述姿態信息的變化改變在所述顯示裝置上呈現的虛擬實境圖像的部分，以使得所顯示的對應部分與終端設備的預定觀察點的相對位置保持不變。

具體地，可以響應於所述終端設備的俯仰角變化和/或偏航角變化，分別在所述顯示裝置上渲染呈現虛擬實境圖像上下和/或左右移動。由此， 可以模擬抬頭/低頭或左右轉動頭部觀察全景的效果。

同時，還可以響應於所述終端設備的滾轉角變化，在所述顯示裝置上渲染呈現虛擬實境圖像隨滾轉角變化而轉動。在終端設備的滾轉角變化時，顯示裝置延垂直於其法線的平面內轉動，由於觀察者通常的位置不變，由此，控制在所述顯示裝置上渲染呈現虛擬實境圖像隨滾轉角變化而轉動，使得顯示裝置上所顯示的圖像的方向相對於觀察者保持一致，由此，可以獲得更加真實的顯示效果。

應理解，上述處理可以根據俯仰角、偏航角和滾轉角的同時變化而同時進行。

圖3A-3G是本發明實施例的終端設備在進行虛擬實境圖像顯示時的顯示效果示意圖。在圖3A-3G中，以載入夕陽照耀下的大樓的全景圖像為例說明本發明實施例的顯示效果。在啟動進行虛擬實境圖像顯示時，獲取終端設備的姿態信息。優選地，姿態信息為絕對姿態信息，其包括方向信息，由此，不但可以獲知終端設備的歐拉角，而且可以獲得其朝向。在圖3A中，終端設備朝向西邊，由此，在顯示裝置1上渲染顯示的是虛擬實境圖像中正對夕陽的部分。同時，在圖3B-3C中，終端設備向左側稍稍轉動時，在顯示裝置上渲染顯示全景視角的圖像中南北兩側的部分，也即圖中所示的廣場和噴泉。在圖3D中，終端設備向上轉動，朝向天空，在顯示裝置上渲染顯示全景視角的圖像中天空的部分。在圖3E中，終端設備向下移動，朝向地面，在顯示裝置上渲染顯示全景視角的圖像中地面的部分。在圖3F中，終端設備轉向東側，由此，在顯示裝置上渲染顯示夕陽照耀下的建築物。在圖3G中，終端設備由垂直轉動到水平位置，通過渲染在顯示裝置上轉動虛擬實境圖像，使得天空和地面的方向相對於觀察者不變。可以看出，在圖3A-3F中，天空和地面的方向在顯示裝置較短的兩端，而轉動到水平位置後，天空和店面的方向在顯示裝置較長的側邊。由此，顯示裝置渲染獲得的顯示效果與用戶打開終端設備攝像裝置進行取景獲得的顯示效果基本相同，可以為用戶提供身臨其境的使用體驗。

同時，可以將本發明實施例的虛擬實境圖像顯示技術應用於智能終端設備的各種場景。例如，在終端設備鎖屏點亮的界面進行虛擬實境圖 像的顯示。圖4A是本發明實施例應用於鎖屏界面的流程圖。如圖4所示，所述方法包括：

步驟410、在所述終端設備鎖定的狀態下檢測到點亮顯示裝置的指令時，載入虛擬實境圖像數據。

具體地，所述虛擬實境圖像數據可以是預定的數據，也可以以隨機方式或預定的方式(例如按照預定的順序)從本地預定位置或通過網絡成遠程預定位置選擇虛擬實境圖像數據載入。虛擬實境圖像數據可以包括虛擬實境圖像和圖像不同部分對應的姿態信息。虛擬實境圖像數據也可以僅包括虛擬實境圖像，在圖像載入後，由終端設備計算獲得所述對應的姿態信息。

步驟420、獲取所述姿態檢測裝置檢測的姿態信息。

步驟430、根據所述姿態信息在所述顯示裝置上渲染呈現虛擬實境圖像的對應部分。

由此，可以實現在鎖屏狀態下點亮終端設備的屏幕時顯示虛擬實境圖像，給用戶提供更豐富的體驗。

優選地，在顯示虛擬實境圖像的同時，還可以在預定載入鎖屏狀態信息，並在所述顯示裝置的預定位置渲染顯示所述鎖屏狀態信息。由此，提供通常鎖屏界面所提供的信息。搜書鎖屏狀態信息可以包括當前時間、日期、天氣、未查看通知和信息等信息。圖4B是本發明實施例應用於鎖屏界面的界面效果示意圖。如圖4B所示，在用戶點亮鎖屏界面時，顯示裝置顯示虛擬實境圖像的通知，在顯示裝置的預定位置顯示當前的時間和日期，方便用戶查看。

進一步地，可以將終端設備解鎖與虛擬實境圖像的顯示結合，以提供一種體驗更佳的終端設備解鎖操作方式。如圖5A所示，所述方法包括：

步驟510、在所述終端設備鎖定的狀態下檢測到點亮顯示裝置的指令時，載入虛擬實境圖像數據。其中，所述虛擬實境圖像數據包括預定的虛擬實境圖像，基於該圖像可以進行解鎖操作。

步驟520、獲取所述姿態檢測裝置檢測的姿態信息。

步驟530、根據所述姿態信息在所述顯示裝置上渲染呈現虛擬實境圖像的對應部分，同時，在所述顯示裝置上的預定位置渲染呈現至少一 個標識。所述標識用於輔助確認所述終端設備的當前姿態。

由於移動終端設備使得其處於不同姿態時可以使得虛擬實境圖像的不同部分呈現於顯示裝置上，每次終端設備處於相同姿態時，顯示裝置顯示的圖像也是相同的。因此，可以通過在用戶移動終端設備使得虛擬實境圖像的預定部分與標識重合時，終端設備可以達到預定的姿態。可以基於這一特性來將終端設備不同姿態的序列作為解鎖的密碼來使用。

由於有標識的存在，用戶可以方便地通過對齊標識和虛擬實境圖像的預定位置以使得終端設備達到預定的姿態。例如，通過移動手機使得圖5B中的物體以預定的順序與標識重合，可以使得所述終端設備按順序達到多個姿態，從而實現對於終端設備的解鎖。

為了檢測終端設備是否被移動到預定姿態，可以採用如下兩種方式。

在步驟S540，在檢測到所述標識與所述虛擬實境圖像的至少兩個預定部分按預定順序重合時，解鎖所述終端設備。

或者，在步驟S540』(如圖5C所示)在根據所述姿態信息檢測到所述終端設備以預定順序達到至少兩個預定姿態時，解鎖所述終端設備。

由此，用戶在點亮鎖屏界面後，除了可以觀賞虛擬實境圖像，還可以通過移動視角來進行解鎖，進一步提升用戶使用體驗。

圖6是本發明實施例的虛擬實境圖像顯示裝置的示意圖。如圖6所示，所述虛擬實境圖像顯示裝置6包括姿態信息獲取單元61和渲染顯示單元62。其中，姿態信息獲取單元61用於獲取所述姿態檢測裝置檢測的姿態信息。渲染顯示單元62用於根據所述姿態信息在所述顯示裝置上渲染呈現虛擬實境圖像的對應部分。

優選地，渲染顯示單元62根據所述姿態信息的變化改變在所述顯示裝置上呈現的虛擬實境圖像的部分，以使得所顯示的對應部分與終端設備的預定觀察點的相對位置保持不變。其中，渲染顯示單元62響應於所述終端設備的俯仰角變化和/或偏航角變化，分別在所述顯示裝置上渲染呈現虛擬實境圖像上下和/或左右移動；以及，響應於所述終端設備的滾轉角變化，在所述顯示裝置上渲染呈現虛擬實境圖像隨滾轉角變化而轉動。

優選地，虛擬實境圖像顯示裝置6還可以包括載入單元63，用於在 所述終端設備鎖定的狀態下檢測到點亮顯示裝置的指令時，載入虛擬實境圖像數據。其中，虛擬實境圖像數據包括全景視角的靜態或動態圖像。進一步地，載入單元63隨機或以預定方式從本地或遠程預定位置選擇虛擬實境圖像載入。由此，可以實現每次載入不同的虛擬實境圖像，提升新鮮感。在應用於鎖屏界面時，所述姿態信息可以是以檢測到點亮顯示裝置的指令時所述終端設備的姿態為參考的相對姿態信息。更優選地，所述姿態信息也可以是以大地為參考的絕對姿態信息。

優選地，虛擬實境圖像顯示裝置6還可以包括鎖屏狀態信息載入單元64，其用於載入鎖屏狀態信息，並在所述顯示裝置的預定位置渲染顯示所述鎖屏狀態信息。

優選地，虛擬實境圖像顯示裝置6還可以包括標識渲染單元65和解鎖單元66。其中，標識渲染單元65用於在所述顯示裝置上的預定位置渲染呈現至少一個標識。所述標識用於輔助確認所述終端設備的當前姿態。解鎖單元66用於在檢測到所述標識與所述虛擬實境圖像的至少兩個預定部分按預定順序重合時，解鎖所述終端設備，或者，在根據所述姿態信息檢測到所述終端設備以預定順序達到至少兩個預定姿態時，解鎖所述終端設備。

本發明實施例通過利用現有的智能終端設備承載有姿態檢測裝置的特點，獲取終端設備的姿態信息，並基於所述姿態信息顯示虛擬實境圖像的對應部分。由此，在改變終端設備的姿態時，終端設備顯示的圖像也適應性地移動，使得用戶通過移動終端設備觀察到虛擬實境圖像的不同部分，模擬出用戶轉動頭部觀察到不同景色或場景，達到用戶身臨其境進行360度全景觀看的效果，提升用戶對智能終端設備的使用體驗。

以上參照根據本發明的實施方式的方法、設備(系統)和電腦程式產品的流程圖圖例和/或框圖描述了本發明的各個方面。將要理解的是，流程圖圖例和/或框圖的每個塊以及流程圖圖例和/或框圖中的塊的組合可以由電腦程式指令來實現。這些電腦程式指令可以被提供至通用計算機、專用計算機或其它可編程數據處理設備的處理器，以產生機器，使得(經由計算機或其它可編程數據處理設備的處理器執行的)指令創建用於實現流程圖和/或框圖塊或塊中指定的功能/動作的裝置。

圖7是本發明實施例的終端設備的示意圖。如圖7所示，所述終端設備7可以是任何通用數據處理設備，其包括姿態檢測裝置71、顯示裝置72和數據處理裝置73。同時，終端設備7還可以包括存儲器74、輸入裝置75(例如與顯示裝置集成為一體的觸控輸入裝置)、攝像裝置76、通信裝置77和天線78以及其它常用的裝置等。數據處理裝置73可以是CPU或通用數位訊號處理器，其通過載入存儲器74或自身存儲的程序執行以上實施例所述的方法流程或實現以上實施例所述的裝置的不同功能模塊的功能來實現在智能終端設備上顯示虛擬實境圖像。

還可以將這些電腦程式指令存儲在可以指導計算機、其它可編程數據處理設備或其它裝置以特定方式運行的計算機可讀介質中，使得在計算機可讀介質中存儲的指令產生包括實現在流程圖和/或框圖塊或塊中指定的功能/動作的指令的製品。

電腦程式指令還可以被加載至計算機、其它可編程數據處理設備或其它裝置上，以使在計算機、其它可編程設備或其它裝置上執行一系列可操作步驟來產生計算機實現的過程，使得在計算機或其它可編程設備上執行的指令提供用於實現在流程圖和/或框圖塊或塊中指定的功能/動作的過程。

以上所述僅為本發明的優選實施例，並不用於限制本發明，對於本領域技術人員而言，本發明可以有各種改動和變化。凡在本發明的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。