一種全景視頻信息交互方法及系統與流程

2023-09-15 18:15:00 1

本發明涉及虛擬實境領域，具體涉及全景視頻信息交互領域。

背景技術：

虛擬實境技術是一種計算機仿真系統，在該系統中可以創建和體驗虛擬世界。本質上，該系統利用計算機生成一種模擬環境，該模擬環境是一種多源信息融合的交互式的三維動態視景和對實體行為的系統仿真，可以達到沉浸式體驗。

虛擬實境涉及的多源信息包括實時三維計算機圖形技術、廣角(寬視野)立體顯示技術、對觀察者頭、眼和手的跟蹤技術，以及觸覺/力覺反饋、立體聲、網絡傳輸、語音輸入輸出技術等。除此之外，還涉及雙目立體視覺，雙目立體視覺起了較大的作用。在雙目立體視覺技術中，兩隻眼睛看到的不同圖像是分別產生的，分別顯示在兩個不同的顯示器上。另外，也有虛擬實境系統採用單個顯示器，但帶上特殊的眼鏡後，一隻眼睛只能看到奇數幀圖像，另一隻眼睛只能看到偶數幀圖像，由於奇、偶幀之間不同即存在視差，從而產生了立體感。

全景圖片和全景視頻是虛擬實境技術中常見的表現形式，尤其是全景視頻，由於其本身的動態特性，能夠給用戶帶來更加真實的沉浸式體驗，已經成為虛擬實境設備中常見的信息載體。很多廠家都已經拍攝或正在拍攝自己的全景視頻，從而通過全景視頻向用戶傳達更加豐富的信息，如全景視頻廣告、全景視頻旅遊宣傳片等等。但是目前而言，由於視頻時刻處於運動狀態，不像圖片那樣處於靜止狀態，用戶無法很好地實時跟蹤視頻中的信息載體，進而無法與其形成像全景圖片那樣的交互，故無法很好地獲取動態全景視頻上有用的信息。

比如全景視頻運動鞋廣告中所包含的運動鞋的相關信息。當用戶佩戴上虛擬實境設備(如VR眼鏡)，全景視頻在用戶面前動態展開，用戶沉浸在全景視頻中，此時，用戶想了解有關此運動鞋的信息(如售價、顏色、材質等)，於是凝視運動鞋，這時候光標對準運動鞋，但是由於視頻中的運動鞋處於不斷運動狀態，光標無法很好地實時跟蹤運動鞋，而要求用戶眼睛一直盯著運動鞋從而實現光標對運動鞋的實時跟蹤顯然是不太現實的。這樣一來，運動鞋的相關信息就無法通過光標和運動鞋的交互顯示出來，用戶便無法得知運動鞋的相關信息，這對於一些想通過全景視頻廣告來宣傳自己產品的經銷商是不利的。

技術實現要素：

針對上述存在的現實問題，本發明提供了一種全景視頻信息交互方法及系統，用以解決當前全景視頻中存在的無法實時跟蹤信息載體進而與其形成交互獲取信息載體上所包含信息的問題。

本發明提供了一種全景視頻信息交互方法，該方法步驟包括：

用戶上傳全景視頻；

採用OpenGL技術結合曲面函數、球面函數計算球體內表面的曲率，把全景視頻繪製到球體內表面；

將使用曲面函數、球面函數構造且完全適配球體內表面弧度的內嵌模塊框選全景視頻中的待框選運動目標；

採用TLD算法將內嵌模塊與已框選運動目標進行像素匹配，於視頻每一幀中判斷已框選運動目標像素位置，實現內嵌模塊對已框選運動目標的實時跟蹤；

於內嵌模塊中設置或選擇點擊事件命令；

將資源打包成APK映射到虛擬實境設備中；

激活點擊事件命令，針對點擊事件命令做出相應交互響應。

本發明提供的方法，首先用戶將拍攝的全景視頻上傳到Unity軟體或者瀏覽器中，Unity軟體採用OpenGL技術結合曲面函數、球面函數計算球體內表面的曲率，將用戶上傳的全景視頻繪製到球體內表面；此後用戶於球體內的全景視頻中拖入若干完全適配球體內表面弧度的內嵌模塊，用於框選待框選運動目標。被內嵌模塊框選後的運動目標此時為已框選運動目標，由於已框選運動目標處於不間斷的運動狀態中，而內嵌模塊仍處於靜止狀態，無法對運動目標進行跟蹤從而實現交互，所以採用TLD算法將內嵌模塊與已框選運動目標進行像素匹配，於視頻每一幀中判斷已框選運動目標像素位置，從而實現內嵌模塊對已框選運動目標的實時跟蹤，這樣便可以在內嵌模塊中設置或者選擇點擊事件命令，從而對全景視頻中的運動目標進行信息交互。此後將資源打包成APK映射到需擬現實設備中，用戶佩戴上虛擬實境設備，在需擬現實設備中激活所設置或選擇的點擊事件命令，需擬現實設備針對用戶所激活的點擊事件命令給出相應的交互響應。

本發明還提供了一種全景視頻交互系統，包括全景視頻還原系統、目標跟蹤系統和全景視頻顯示系統，其中所述全景視頻還原系統包括：

視頻接收單元，用於接收、存儲全景視頻；

視頻繪製單元，用於將全景視頻繪製與球體內表面；

命令設置單元，用於儲存用戶設置或選擇的點擊事件命令；

所述目標跟蹤系統包括：

目標框選單元，用於框選全景視頻中需要交互的信息載體；

像素匹配單元，用於匹配播放中的全景視頻信息載體的移動位置，進行像素匹配和跟蹤；

所述全景視頻顯示系統包括：

命令判斷單元，用於判斷用戶激發的點擊事件命令；

顯示單元，用於顯示用戶激發的點擊事件命令相應的交互響應。

本發明提供的系統，包括全景視頻還原系統、目標跟蹤系統和全景視頻顯示系統，其中全景視頻還原系統包括視頻接收單元、視頻繪製單元和命令設置單元，目標跟蹤系統包括目標框選單元和像素匹配單元，全景視頻顯示系統包括命令判斷單元和顯示單元。全景視頻還原系統用於將全景視頻在Unity軟體中還原，視頻接收單元接收並儲存用戶上傳的全景視頻，視頻繪製單元將全景視頻繪製於球體內表面，然後命令設置單元保存用戶設置或選擇的點擊事件命令。目標跟蹤系統用於實現內嵌模塊對運動目標的實時跟蹤，從而可以實現對運動目標的信息交互，目標框選單元可以實現內嵌模塊對待框選運動目標的框選，使其成為已框選運動目標，像素匹配單元可以實現對動態運動目標的實時跟蹤。全景視頻顯示系統用於將Unity軟體中還原的全景視頻在虛擬實境設備中呈現給用戶，並顯示用戶於內嵌模塊中設置或選擇的交互信息。因為虛擬實境設備中已經儲存有用戶所設置或選擇的點擊事件命令，此時用戶佩戴上虛擬實境設備，命令判斷單元可以判斷用戶激發的點擊事件命令，顯示單元可以顯示用戶激發的點擊事件命令相應的交互響應，從而用戶可以感受到Unity軟體中所設置或選擇的點擊事件命令在眼前所給出的相應的點擊事件命令交互響應，進而可以獲取信息載體上的相應信息。

附圖說明

圖1是本發明提供的一種全景視頻信息交互方法流程圖。

圖2是本發明提供的一種全景視頻信息交互系統結構圖。

圖3是本發明提供的一種全景視頻信息交互應用場景圖。

具體實施方式

為了使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步的詳細描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域的普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

圖1為本發明提供的一種全景視頻信息交互方法流程圖，該方法步驟包括：

步驟S101：用戶上傳全景視頻；

步驟S102：採用OpenGL技術結合曲面函數、球面函數計算球體內表面的曲率，把全景視頻繪製到球體內表面；

步驟S103：將使用曲面函數、球面函數構造且完全適配球體內表面弧度的內嵌模塊框選全景視頻中的待框選運動目標；

步驟S104：採用TLD算法將內嵌模塊與已框選運動目標進行像素匹配，於視頻每一幀中判斷已框選運動目標像素位置，實現內嵌模塊對已框選運動目標的實時跟蹤；

步驟S105：於內嵌模塊中設置或選擇點擊事件命令；

步驟S106：將資源打包成APK映射到虛擬實境設備中；

步驟S107：激活點擊事件命令，針對點擊事件命令做出相應交互響應。

本發明實施例中，在步驟S101中，用戶將自己採用全景拍攝設備拍攝的全景視頻上傳到Unity軟體中，Unity軟體接收此全景視頻並保存。

在步驟S102中，Unity軟體採用OpenGL技術，結合全面函數、球面函數計算出球體內表面的曲率，把接收並保存的全景視頻繪製到球體內表面。這樣一來，用戶在使用全景拍攝設備進行拍攝時的立體影像就完全還原在Unity軟體中的球體內表面上。試想一下，當用戶處於Unity軟體中的球體球心處，他可以完全體驗到其拍攝全景視頻時候的場景.

在步驟S103中，用戶對Unity軟體中的全景視頻設置若干內嵌模塊，這些內嵌模塊使用同樣的曲面函數和球面函數，可以完全適配Unity軟體球體內表面的弧度。同時，用戶用這些若干內嵌模塊對全景視頻中的若干待框選運動目標進行框選選中，這些運動目標成為已框選運動目標。

在步驟S104中，由於已框選運動目標處於實時運動狀態下，需要採用TLD算法將內嵌模塊與已框選運動目標進行像素匹配，於視頻每一幀中判斷已框選運動目標像素位置，從而實現內嵌模塊對已框選運動目標的實時跟蹤。

在步驟S105中，用戶於內嵌模塊中設置點擊事件命令，比如可以設置激活此內嵌模塊時候讀取內嵌模塊所框選的運動目標的信息。

在步驟S106中，將上述Unity軟體中的資源打包成APK映射到虛擬實境設備中，各種命令操作設置也隨著資源打包到虛擬實境設備中。

當然，將APK映射到虛擬實境設備中的方式有多種，如傳統的使用數據線進行數據傳輸。或者將APK上傳到網際網路，虛擬實境設備可以連結到包含此APK的網址進行下載，或者通過掃描包含此APK網址連結的二維碼進行下載。當然，目前還有一些資源共享雲應用也可以實現對此APK映射到虛擬實境設備中，如百度雲、有道雲筆記等，此APK可以上傳到網絡版的百度雲中，然後虛擬實境設備可以通過在手機版的百度雲中進行資源共享獲取從而得以下載，實現在虛擬實境設備中的重現。

在步驟S107中，此時用戶可以佩戴虛擬實境設備，在虛擬實境設備中進行命令設置操作，激活在Unity軟體中所設置的點擊事件命令，虛擬實境設備針對用戶所激活的點擊事件命令做出相應的交互響應，從而可以與全景視頻中的運動目標進行信息交互。

圖2為本發明提供的一種全景視頻信息交互系統結構示意圖，其中201為全景視頻還原系統，202為目標跟蹤系統，203為全景視頻顯示系統，204為視頻接收單元，205為視頻繪製單元，206為命令設置單元，207為目標框選單元，208為像素匹配單元，209為命令判斷單元，210為顯示單元。

下面結合圖1提出的方法和圖2提出的系統對本發明進行詳細描述。在全景視頻還原系統201中，視頻接收單元204接收並存儲全景視頻拍攝設備拍攝的全景視頻，視頻繪製單元205採用OpenGL技術結合曲面函數、球面函數計算球體內表面的曲率，把視頻接收單元204中的全景視頻繪製到球體內表面，命令設置單元206儲存用戶設置或者選擇的點擊事件命令，全景視頻的還原和相應的點擊事件命令在全景視頻還原系統201中完成。在目標跟蹤系統202中，目標框選單元207可以框選全景視頻中需要交互的信息載體，像素匹配單元208可以匹配播放中的全景視頻信息載體的移動位置，對信息載體進行像素匹配和實時跟蹤。在全景視頻顯示系統203中，命令判斷單元209判斷用戶激活的點擊事件命令，顯示單元210可以顯示根據命令判斷單元209的判斷結果所做出的相應的點擊事件命令交互響應結果。

圖3是本發明提供的一種全景視頻信息交互應用場景圖，即為一段全景視頻運動鞋廣告，其中301為全景視頻廣告，302為運動鞋，303為內嵌模塊，304為信息交互結果，「+」為光標。下面結合圖3對本發明的應用場景作說明。

在全景視頻廣告301中，運動鞋302為本實施例中的運動目標，內嵌模塊303框選此運動鞋302，將其從待框選運動目標狀態轉變成已框選運動目標狀態。用戶可以在內嵌模塊303中設置或選擇點擊事件命令，本實施例中，點擊事件命令設置為：當運動鞋302被光標擊中，則會在運動鞋302附近的適當位置顯示此運動鞋的相關信息，包括價格、顏色、產地等。運動鞋302上的「+」表示光標，意味著運動鞋302被擊中，此時點擊事件命令被激活，信息交互結果304顯示運動鞋302的相關信息。

最後應說明的是：以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。