觀看視角的指示方法及裝置與流程

2023-05-01 22:48:11 3

本發明涉及虛擬實境技術，尤指一種觀看視角的指示方法及裝置。

背景技術：

隨著虛擬實境技術的不斷成熟，全景內容正在逐漸普及，並進入人們的生活，人們可以通過各種各樣的途徑接觸到種類繁多的全景內容。

全景內容是水平和垂直各360度的圖像。目前在播放全景視頻、全景圖片等全景內容的過程中，是由觀看者通過重力傳感器、加速度傳感器、陀螺儀傳感器等姿態傳感器調整全景視頻、全景圖片的觀看視角，或通過觀看者在屏幕上的手勢操作調整觀看視角。

上述方式下，觀看者在經過一系列的視角調整後，很難再意識到屏幕上當前呈現的畫面在全景內容中所處的位置，這就導致觀看者在觀看全景內容時缺乏方位感，長時間觀看後會感到混亂，降低用戶的體驗。

此外，觀看者在觀看全景內容時進行視角調整的隨意性很大，很容易因為觀看者的任意調整而錯過關鍵或精彩的畫面。

技術實現要素：

為了解決上述技術問題，本發明提供了一種觀看視角的指示方法及裝置，能夠向觀看者指示出當前的視角方向，方便觀看者進行視角的調整。

為了達到本申請目的，本申請提供了一種觀看視角的指示方法，包括：

在屏幕上展現全景內容時，同時展現一用於對全景內容進行渲染所採用的三維幾何形體的模型；

在展現全景內容的過程中，檢測觀看者觀看的實時視角方向；

將檢測得到的觀看者觀看的實時視角方向展現在所述三維幾何形體的模型中。

本申請還提供了一種觀看視角的指示裝置，包括：

一第一展現單元，用於在屏幕上展現全景內容時，同時展現一用於對全景內容進行渲染所採用的三維幾何形體的模型；

一檢測單元，用於在所述第一展現單元展現全景內容的過程中，檢測觀看者觀看的實時視角方向；

一第二展現單元，用於將所述檢測單元檢測得到的觀看者觀看的實時視角方向展現在所述三維幾何形體的模型中。。

與現有技術相比，本申請包括在屏幕上展現全景內容時，同時展現一用於對全景內容進行渲染所採用的三維幾何形體的模型；在展現全景內容的過程中，檢測觀看者觀看的實時視角方向；將檢測得到的觀看者觀看的實時視角方向展現在三維幾何形體的模型中。本申請通過展現一對全景內容進行渲染所採用的三維幾何形體的模型，將觀看者觀看的實時視角方向展現在三維幾何形體的模型中，使用戶能夠實時獲知當前所觀看的畫面在全景內容中所處的位置，一方面能夠使觀看者在觀看全景內容時獲得方向感，另一方面能夠方便觀看者調整觀看的視角方向，以便調整達到意欲觀看的視角方向。

本發明的其它特徵和優點將在隨後的說明書中闡述，並且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

附圖說明

附圖用來提供對本發明技術方案的進一步理解，並且構成說明書的一部分，與本申請的實施例一起用於解釋本發明的技術方案，並不構成對本發明技術方案的限制。

圖1為本申請一實施例提供的觀看視角的指示方法的流程圖；

圖2為本申請一實施例在屏幕上展現三維幾何形體的模型的示意圖；

圖3和圖4為本申請一實施例在三維幾何形體的模型中展現實時視角方向的示意圖；

圖5為本申請另一實施例在屏幕上展現三維幾何形體的模型的示意圖；

圖6和圖7為申請另一實施例在三維幾何形體的模型中展現實時視角方向和推薦視角方向的示意圖；

圖8為本申請又一實施例的觀看視角的指示裝置的架構圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合附圖對本發明的實施例進行詳細說明。需要說明的是，在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行。並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。

現有技術中，在播放全景內容時，觀看者可以通過姿態傳感器或通過在屏幕上進行手勢操作的方式調整全景內容的觀看視角。由於全景內容是360度範圍的圖像，因此，觀看者在觀看過程中進行一系列的視角調整後，很容易導致觀看者無法判斷出當前所觀看的畫面在全景內容中所處的位置，以致產生錯亂，失去方位感。並且，觀看者在觀看全景內容時，通常會先從整體上瀏覽一遍全景內容，再著重觀看自己感興趣的部分，而觀看者在經過毫無指引的任意視角調整後，由於既無法獲知當前所觀看部分在全景內容中的位置，又無法確定自己感興趣的部分在全景內容中的位置，導致難於再找到自己感興趣的部分，或者說是會錯過全景內容中最為精彩的部分或畫面，觀看者的觀看體驗會大大降低。

本申請中，考慮到全景內容不同於普通圖片或視頻，在播放全景內容時，通常是將全景內容渲染到以觀看者為中心的三維幾何形體上，如渲染到360度的球面上，然後根據用戶的屏幕操作或者播放設備本身的姿勢產生的姿態傳感器數據來控制觀看者的視角方向，從而決定全景內容的顯示區域，並將其投射到矩形屏幕上面，完成渲染顯示。因此，在將全景內容在屏幕上展示時，只能展現出全景內容在某個方向上的部分畫面。

為了讓觀看者能夠了解當前觀看的視角方向，方便進行視角調整等更多的操作，例如調整視角到希望關注的方向。本申請中在展現全景內容的同時，還在屏幕上展現一用於對全景內容進行渲染所採用的三維幾何形體的模型，在模型中展現出觀看者實時的視角方向，使觀看者了解自身現在的觀看視角在全景內容中的方向，從而在觀看的過程中保持方向感，並能夠方便的調整達到意欲觀看的視角方向。

以下結合附圖詳細說明本申請各實施例提供的技術方案。

如圖1所示，本申請一實施例提供的觀看視角的提示方法，包括：

步驟101：在屏幕上展現全景內容時，同時展現一用於對全景內容進行渲染所採用的三維幾何形體的模型；

步驟102：在展現全景內容的過程中，檢測觀看者觀看的實時視角方向；

步驟103：將檢測得到的觀看者觀看的實時視角方向展現在三維幾何形體的模型中。

本申請的觀看視角的指示方法可以應用於對全景視頻、全景圖片、全景動畫和由電腦程式生成的全景畫面等全景內容進行播放時，向觀看者實時指示視角方向，使觀看者實時獲知屏幕上當前展現的畫面在全景內容中所處的位置。

本申請中的全景內容可以是拍攝終端包含的多個圖像採集單元各拍攝超過180度範圍的圖像，再由拍攝終端進行拼接融合得到全景內容。例如可以是全景視頻、全景圖片等，也可以是全景動畫和由電腦程式實時生成的全景畫面等全景內容。

在對全景內容進行播放時，需要將全景內容渲染到三維幾何形體上，例如通常會渲染到球體上。將三維幾何形體的中心作為觀看者的設定位置，觀看者可以看向三維幾何形體上的任意區域，從而達到觀看全景的效果。在本申請中，在將全景內容渲染到三維幾何形體上後，在屏幕上展現全景內容時，為了能夠向觀看者展現出觀看者實時的觀看視角，在展現全景內容的同時還在屏幕上展現一在對全景內容進行渲染時所採用的三維幾何形體的模型。

如圖2所示，為了讓觀看者獲知當前視角展現的內容在全景內容中的方向，在屏幕上顯示用於展現觀看者的實時視角方向的三維幾何形體的模型。該三維幾何形體是對全景內容進行渲染時採用的三維幾何形體。例如，如果在採用球體對全景內容進行渲染時，則顯示一球體的模型。

在本申請的另一可選實施例中，如果採用立方體對全景內容進行渲染，則顯示一立方體的模型；如果採用三稜錐體進行渲染，則顯示一三稜錐體的模型。

需要說明的是，三維幾何形體的模型可以顯示在屏幕上不影響整體觀看效果的位置，如果邊角位置等。當然，也可以由觀看者自主選擇、設定模型的顯示位置。

本申請中顯示一個對全景內容進行渲染時採用的三維幾何形體的模型，並將三維幾何形體的模型與全景內容的渲染採用相同的坐標系，從而在檢測到觀看者觀看的實時視角方向後，根據坐標將視角方向準確的展現在模型中，模擬出觀看者觀看的畫面在全景內容中的方位，給觀看者以方向的指示。

三維幾何形體的模型會與全景內容同時顯示在屏幕上，在展現全景內容的過程中，由於觀看者會通過播放設備上的姿態傳感器或通過在屏幕上的手勢操作，隨時調整全景內容的展現視角，為了將觀看者的實時視角方向展現在三維幾何形體的模型中，在展現全景內容的過程中，需要對觀看者的視角方向進行實時檢測，以便得到觀看者的實時視角方式。

進一步的，在本申請的一可選實施例中，檢測觀看者觀看的實時視角方向，可以包括：

確定屏幕上當前展現的畫面在全景內容中的位置；

根據屏幕上當前展現的畫面在全景內容中的位置和觀看者在對全景內容中的設定位置，確定觀看者當前的視角方向。

展現在屏幕上的畫面是視界在全景內容中圈定範圍內的圖像，根據屏幕上展現的畫面的像素點的坐標即可確定當前展現的畫面在全景內容中的位置。在將全景內容渲染到三維幾何形體的表面上時，通常會將三維幾何形體的中心作為觀看者的設定位置，假設觀看者從該設定位置望向三維幾何形體的表面，觀看者望向的區域將會顯示在屏幕上。視界通常是指一長方形區域，以觀看者在設定位置為基準點，按照觀看者對視角的調整而轉動，在全景內容中圈定一個範圍，圈定範圍內的畫面被展現在屏幕上。

在確定屏幕上當前展示的畫面在全景內容中的位置後，再根據渲染時對觀看者在全景內容中的設定位置，即可確定觀看者當前的視角方向。例如，假設將渲染後的全景內容的中心作為觀看者的設定位置，在渲染後的全景內容中從當前展現的畫面兩側邊緣發出的光線在中心位置所成的夾角即為觀看者當前的視角。

在檢測得到觀看者的實時視角方向後，為了能夠使觀看者直觀的了解到自己觀看的畫面在全景內容中的位置，需要將檢測得到的觀看者觀看的實時視角方向展現在屏幕上與全景內容同時顯示的三維幾何形體的模型中。採用渲染時使用的三維幾何形體的模型展現觀看者的實時視角方向，並且將三維幾何形體的模型與全景內容的渲染採用相同的坐標系，可以完全相同的再現出屏幕上當前展現的畫面在全景內容中的位置，這種直觀的方式大大增強了觀看者觀看全景內容的體驗。

進一步的，在本申請的一可選實施例中，將檢測得到的觀看者觀看的實時視角方向展現在三維幾何形體的模型中，包括：

在三維幾何形體的模型中設定觀看者的位置；

根據檢測得到的觀看者當前的視角方向，以從觀看者在模型中的設定位置發出的一條或多條直線在展現在屏幕上的三維幾何形體的模型中標記出觀看者當前的視角方向。

如圖3所示，在本申請的一可選實施例中，可以採用觀看者觀看視角的角平分線在三維幾何形體的模型中展現出觀看者的實時視角方向。例如，觀看者的實時視角方向的角平分線從觀看者在模型中的設定位置發出，可以延伸到模型的表面，也可以不延伸的模型的表面。圖中的球心示意出觀看者在模型中的設定位置，射線表示視線的方向，如果射線延伸到模型的表面，還可以在模型中以點A(x，y，z)或者點A(θ、α、1)表示射線與360度球面的交點。觀看者操作改變視角方向時，圖中的射線方向也相應的按照視角方向的改變而改變在三維幾何形體的模型中的指向。

如圖4所示，在本申請的另一可選實施例中，可以採用多條直線在模型中標記出觀看者的實時視角方向。例如，通過從觀看者在模型中的設定位置發出的多條直線標記出視界的輪廓，也就是標記出屏幕上當前展現的畫面的位置。如通過四條直線，每條直線從觀看者在模型中的設定位置發出，並延伸到視界的一個頂點，從而標記出視界的頂點在模型表面上的位置，實現對觀看者當前視角方向的指示。

另外，還可以顯示出視界頂點之間的連線，通過從觀看者在模型中的設定位置到視界頂點之間的直線以及視界頂點之間的連線直觀而形象的展現出觀看者當前的視角方向。

由於觀看者的視角方向是隨時可能發生變化的，為了將這種變化的過程實時展現在三維幾何形體的模型中，實時檢測觀看者的視角方向發生的變化，通過上述視角的角平分線或視界的標記線沿觀看者設定位置的轉動，將變化後的視角方向展現在三維幾何形體的模型中。

值得說明的是，如圖5所示，在本申請的又一可選實施例中，在將檢測得到的觀看者觀看的實時視角方向展現在三維幾何形體的模型中時，還可以在三維幾何形體的模型中展現推薦視角方向；推薦視角方向是推薦觀看者觀看的視角方向。

由於全景內容是360度範圍的圖像，而在播放全景內容的過程中，觀看者會通過姿態傳感器或通過手勢的方式任意調整展現全景內容的視角。因此，觀看者在觀看過程中進行任意視角的調整會很容易錯過精彩畫面，導致觀看者無法觀看到全景內容中最為精彩的部分。本申請中，在為觀看者指示出實時視角方向的同時，為了使觀看者避免錯過精彩內容，還在三維幾何形體的模型中展現推薦視角方向。

進一步的，本申請中，在三維幾何形體的模型中展現推薦視角方向，可以包括：

獲取推薦視角信息，推薦視角信息用於指示出推薦視角方向；

在模型中設定觀看者的位置，根據推薦視角信息，以從觀看者在模型中的設定位置發出的一條或多條直線在模型中標記出推薦視角方向。

本申請中，為了能夠在模型中展現推薦視角方向，在製作全景內容時，可以為全景內容記錄推薦視角信息，將推薦視角信息復用到全景內容中或單獨進行傳輸，以便播放時，能夠根據推薦視角信息在三維幾何形體的模型中展現出推薦視角方向，從而使觀看者可以根據模型中展示的實時視角方向和推薦視角方向，通過操作使自己的視角方向接近並達到推薦視角方向，以便達到更好的觀看效果。

在本申請的一可選實施例中，推薦視角信息可以包含視角方向坐標和幀標識。

視角方向坐標是能夠表示推薦視角方向的坐標值。視角方向坐標可以採用直角坐標，也可以採用角坐標。

如果在三維幾何形體的模型中採用視角的角平分線指示視角方向，則可以採用角平分線上除原點外的任意一點的直角坐標作為視角方向坐標；或者，也可以採用能夠表示該角平分線的角坐標作為視角方向坐標。

如果在三維幾何形體的模型中採用多條直線標記出視界輪廓的方式指示觀看者的實時視角方向，則可以將視界的四個頂點的坐標作為視角方向坐標。

幀標識是能夠唯一表示推薦視角信息所屬幀的標識信息。全景視頻由幀序列組成，包含多幀圖像，由於每一幀圖像均有對應的推薦視角信息，因此，推薦視角信息中需要包含幀標識，用以匹配每一幀圖像與相應的視角方向坐標的匹配關係。

在本申請的一可選實施例中，幀標識可以採用幀號或者圖像幀對應的時間戳。在推薦視角信息中包含幀號或時間戳，以便在展示推薦視角方向時，根據幀號或時間戳為相應的圖像幀匹配對應的視角方向坐標。

在全景視頻播放時，通過解復用MP4或MPEG2-TS等格式的多媒體文件或通過分析通信應答內容(RTSP等)等方式可以獲取到全景內容以及該全景內容對應的推薦視角信息。

在本申請中，在完成全景內容的渲染後，為了能夠將推薦視角方向展現在模型中，還要根據每一幀圖像的推薦視角信息，確定每一幀圖像的推薦視角方向。每一幀圖像具有各自對應的推薦視角信息。在從多媒體文件解復用或解析通信應答內容得到的推薦視角信息中包括視角方向坐標和幀標識。視角方向坐標與幀標識具有對應關係，可以根據幀標識為每一幀圖像匹配到各自對應的視角方向坐標。

在得到相應圖像幀的視角方向坐標後，根據觀看者在模型中的設定位置和視角方向坐標，通過一條或多條直線在模型中標記出推薦視角方向。例如，如圖6所示，在通過角平分線指示推薦視角方向的方式中，視角方向坐標為角平分線上除原點外的一點的坐標。在得到視角方向坐標後，可以在模型中繪製出從原點(觀看者在模型中的設定位置)到視角方向坐標指示出的點的連線，以標記出推薦視角方向。

如圖7所示，在通過標記出視界輪廓指示推薦視角方向的方式中，視角方向坐標為視界的四個頂點的坐標。在得到視角方向坐標後，可以在模型中繪製出從觀看者在模型中的設定位置到視界的四個頂點的連線以及視界的四個頂點之間的連線，以標記出推薦視角方向。

本申請中，在屏幕上顯示全景內容的同時，還顯示一用於對全景內容進行渲染所採用的三維幾何形體的模型，在模型中同時展示出觀看者觀看的實時視角方向以及推薦視角方向，使觀看者能夠按照實時視角方向和推薦視角方向的指引，將當前的視角方向調整到推薦視角方向上，從而觀看者到全景內容中最為精彩的部分。

如圖8所示，本申請還提供一種觀看視角的指示裝置，包括：

一第一展現單元，用於在屏幕上展現全景內容時，同時展現一用於對全景內容進行渲染所採用的三維幾何形體的模型；

一檢測單元，用於在第一展現單元展現全景內容的過程中，檢測觀看者觀看的實時視角方向；

一第二展現單元，用於將檢測單元檢測得到的觀看者觀看的實時視角方向展現在三維幾何形體的模型中。

進一步，第二展現單元，還用於在將檢測單元檢測得到的觀看者觀看的實時視角方向展現在三維幾何形體的模型中時，還在三維幾何形體的模型中展現推薦視角方向；其中，推薦視角方向是推薦觀看者觀看的視角方向。

進一步，檢測單元檢測觀看者觀看的實時視角方向，包括：

確定屏幕上當前展現的畫面在全景內容中的位置；

根據屏幕上當前展現的畫面在全景內容中的位置和觀看者在全景內容中的設定位置，確定觀看者當前的視角方向。

進一步，第二展現單元將檢測單元檢測得到的觀看者觀看的實時視角方向展現在三維幾何形體的模型中，包括：

在模型中設定觀看者的位置；

根據觀看者當前的視角方向，以從觀看者在模型中的設定位置發出的一條或多條直線在模型中標記出觀看者當前的視角方向。

進一步，第二展現單元在三維幾何形體的模型中展現推薦視角方向，包括：

獲取推薦視角信息，推薦視角信息用於指示出推薦視角方向；

在模型中設定觀看者的位置，根據推薦視角信息，以從觀看者在模型中的設定位置發出的一條或多條直線在模型中標記出推薦視角方向。

雖然本發明所揭露的實施方式如上，但所述的內容僅為便於理解本發明而採用的實施方式，並非用以限定本發明。任何本發明所屬領域內的技術人員，在不脫離本發明所揭露的精神和範圍的前提下，可以在實施的形式及細節上進行任何的修改與變化，但本發明的專利保護範圍，仍須以所附的權利要求書所界定的範圍為準。