用於將頭戴式顯示器（HMD）內容與第二屏幕社交分享的方法和系統與流程

2023-10-26 22:03:47

1.技術領域

本發明涉及用於將遊戲玩法分享到第二屏幕的方法和系統。

2.相關技術描述

多年來，視頻遊戲行業已發生很多變化。隨著計算能力擴展，視頻遊戲的開發者同樣已經創建了利用這些增加的計算能力的遊戲軟體。為此，視頻遊戲開發者一直在編碼併入有複雜操作和數學運算的遊戲，以產生非常逼真的遊戲體驗。

示例遊戲服務和系統可包括由Sony提供的那些，它們當前作為遊戲控制臺、可攜式遊戲裝置出售並且作為雲上的服務提供。眾所周知，遊戲控制臺被設計成連接到監視器(通常是電視機)，並且通過手持式控制器實現用戶交互。遊戲控制臺被設計成帶有專用處理硬體，包括CPU、用於處理密集圖形運算的圖形處理器、用於執行幾何變換的矢量單元，以及其他膠合硬體、固件和軟體。遊戲控制臺還被設計成帶有光碟託盤，以用於接收遊戲光碟，從而通過遊戲控制臺進行本地遊戲。在線遊戲也是可能的，其中用戶可通過網際網路與其他用戶交互對抗或一起玩遊戲。由於遊戲複雜性持續激起玩家的興趣，因此，遊戲和硬體廠商繼續創新以實現額外的交互並且創新電腦程式。

計算機遊戲行業逐漸興起的趨勢就是開發能增加用戶與遊戲系統之間的交互的遊戲。實現更豐富的交互體驗的一種方式便是使用無線遊戲控制器，通過遊戲系統跟蹤無線遊戲控制器的移動，以便跟蹤玩家的移動並且將這些移動用作遊戲的輸入。一般而言，手勢輸入指的是讓諸如計算系統、視頻遊戲控制臺、智能家電等電子裝置對玩家作出並且被電子裝置捕捉到的一些手勢作出反應。

實現更沉浸式交互體驗的另一方式是使用頭戴式顯示器。頭戴式顯示器由用戶佩戴並且可被配置來呈現各種圖形，諸如虛擬空間的視圖。呈現在頭戴式顯示器上的圖形可以覆蓋用戶視野的大部分或甚至全部。因此，頭戴式顯示器可以為用戶提供沉浸式體驗。然而，沉浸式體驗是佩戴HMD的用戶的個人體驗。因此，在佩戴HMD的用戶附近的其他人無法分享這種體驗。

正是在這樣的情景下提出了本發明的實施方案。

技術實現要素：

本發明的實施方案提供用於使得頭戴式顯示器(HMD)能夠將遊戲玩打或可視內容分享到第二屏幕的方法和系統。在一些實例中，第二屏幕與HMD在同一位置，而在其他實例中，第二屏幕在遠程。應了解，可採用多種方式實施本發明，諸如計算機可讀介質上的過程、設備、系統、裝置或方法。下文描述本發明的若干發明實施方案。

在一個實施方案中，提供一種系統，其用於處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統包括：客戶端系統，其具有處理器，所述處理器用於響應於使用HMD的視頻遊戲的交互遊戲玩打而生成視頻幀。生成的視頻幀包括：帶內區域，其包括將要顯示在HMD上的視頻遊戲內容(VGC)；以及帶外(OOB)區域。所述系統還包括片上系統(SOC)處理器，所述SOC處理器具有用於接收生成的視頻幀的輸入接口。SOC處理器包括用於將接收的幀格式化的格式化模塊。還包括圖形處理器單元(GPU)，其用於選擇生成的視頻幀的一部分並且進行格式化，以便顯示在第二屏幕上。生成的視頻幀的格式化部分被提供到SOC處理器的第一輸出接口。生成的視頻幀的所述部分被提供到第二屏幕，以便實質上實時地大體鏡射HMD上呈現的視頻幀。所述系統包括直通(pass-through)接口，用於在輸入接口到SOC處理器的第二輸出接口之間傳送生成的視頻幀。SOC處理器的第一輸出接口可連接到第二屏幕，並且SOC處理的第二輸出接口可連接到HMD。

在另一實施方案中，公開一種方法，其用於處理針對顯示在頭戴式顯示器(HMD)上而生成的視頻幀。所述方法包括接收針對顯示在HMD上而格式化的視頻幀，以及在將視頻幀傳遞到HMD時，從視頻幀中選擇內容的一部分並且處理所述內容的所述部分以便輸出到第二屏幕。在HMD中觀看的視頻幀是針對在HMD上觀看而執行的交互玩打的結果。第二屏幕被配置來呈現HMD上的交互玩打的無失真視圖。在實例中，所述方法和系統使得附加內容能夠呈現在第二屏幕上(例如，第二屏幕內容(SSC))。

在又一實施方案中，提供一種系統，其用於處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統包括：客戶端系統，其具有處理器，所述處理器用於響應於使用HMD的視頻遊戲的交互遊戲玩打而生成視頻幀。生成的視頻幀包括：帶內區域，其包括將要顯示在HMD上的視頻遊戲內容(VGC)；以及帶外(OOB)區域，其包括第二屏幕內容(SSC)。所述系統還具有片上系統(SOC)處理器，所述SOC處理器具有用於接收生成的視頻幀的輸入接口。SOC處理器包括：提取邏輯，其用於從帶外區域中提取SSC；以及圖形處理器單元(GPU)，其用於選擇生成的視頻幀的一部分並且進行格式化以便顯示在第二屏幕上。提取的SSC和生成的視頻幀的所述部分被提供到SOC處理器的第一輸出接口。經由輸入接口接收的生成的視頻幀作為直通(pass-through)被提供到SOC處理器的第二輸出接口。SOC處理器的第一輸出接口可連接到第二屏幕，並且SOC處理的第二輸出接口可連接到HMD。

在又一實施方案中，提供一種系統，其用於處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統包括：客戶端系統，其具有處理器，所述處理器用於響應於使用HMD的視頻遊戲的交互遊戲玩打而生成視頻幀。生成的視頻幀包括：帶內區域，其包括將要顯示在HMD上的視頻遊戲內容(VGC)。所述系統還包括片上系統(SOC)處理器，所述SOC處理器具有用於接收生成的視頻幀的輸入接口。SOC處理器包括用於接收包括第二屏幕內容(SSC)的視頻幀的USB輸入，以及用於從視頻幀中提取SSC的提取邏輯。所述系統還具有編解碼器單元，所述編解碼器單元被配置來接收視頻幀和提取的SSC。包括圖形處理器單元(GPU)，其用於選擇生成的視頻幀的一部分並且進行格式化，以便顯示在第二屏幕上。提取的SSC和生成的視頻幀的所述部分被提供到SOC處理器的第一輸出接口。經由輸入接口接收的生成的視頻幀作為直通被提供到SOC處理器的第二輸出接口。SOC處理器的第一輸出接口可連接到第二屏幕，並且SOC處理的第二輸出接口可連接到HMD。

根據下文詳細描述並結合附圖，本發明的其他方面將變得明顯，以舉例的方式示出本發明的原理。

附圖簡述

參考下文描述並結合附圖，可以最佳地理解本發明。

圖1A示出根據本發明的一個實施方案的視頻遊戲的交互遊戲玩法的系統。

圖1B示出根據本發明的一個實施方案的頭戴式顯示器(HMD)。

圖1C示出根據本發明的一個實施方案的HMD玩家將內容分享到第二屏幕和另一玩家經由第二屏幕來參與遊戲玩打的示例。

圖2A到2C示出根據本發明的一個實施方案的HMD玩打和第二屏幕分享以及分享到第二屏幕和HMD的第二屏幕內容的生成的示例。

圖2D到2F示出顯示在第二屏幕上的整合在HMD的遊戲玩打中的第二屏幕內容的示例。

圖3示出根據本發明的一個實施方案的在視頻幀上執行處理的示例，以便將第二屏幕內容整合到視頻幀中(在一個實施方案中)，以及用於接收視頻幀並且輸出到HMD和第二屏幕兩者的系統。

圖4示出根據本發明的一個實施方案的由系統執行的示例處理，以使得能夠將HMD內容分享到第二屏幕。

圖5是根據本發明的一個實施方案的其中呈現在第二屏幕上的第二屏幕內容(SSC)(例如，在此示例中是VGC)僅僅是圖像數據和音頻數據的一個實施方案，所述數據鏡射出呈現在HMD中的內容。

圖6示出根據本發明的一個實施方案的一個示例，其中帶外(OOB)數據被預先處理並且嵌入到由客戶端系統產生的圖像幀中，以使得SSC可以連同VGC一起顯示在第二屏幕上。

圖7示出根據本發明的一個實施方案的SOC處理器的替代實施方案，其中添加到第二屏幕上所示的視頻遊戲內容(VGC)的第二屏幕內容(SSC)經由USB模塊傳遞。

圖8包括根據本發明的一個實施方案的又一實施方案，其中在USB模塊處以HTML數據的形式接收SSC。

圖9是根據本發明的一個實施方案的示出頭戴式顯示器102的示例部件的圖解。

圖10示出根據本發明的一個實施方案的頭戴式顯示器的部件。

具體實施方式

在一個實施方案中，本文中描述的系統和方法提供允許可能正在玩遊戲或觀看內容的頭戴式顯示器(HMD)的用戶在第二屏幕上分享體驗的方式。在一些實施方案中，第二屏幕與HMD在同一位置，而在其他實施方案中，第二屏幕在遠程。然而，對於所屬領域的技術人員將明顯的是本發明可以在沒有這些具體細節中的一些或全部的情況下進行實踐。在其他情況下，沒有詳細地描述眾所周知的過程操作，以免不必要地使本發明變得模糊。

將遊戲玩打的HMD視頻分享到第二屏幕將允許其他用戶和/或觀眾社交互動並且更好地體驗佩戴HMD的玩家所體驗的遊戲事件和/或動作。在一個實施方案中，在HMD中觀看的內容是豐富且沉浸式3D環境。在一個實施方案中，生成並且發送到HMD以供顯示的視頻流可以被分離並且處理，以便實質上同時顯示在第二屏幕上。

在一個實施方案中，例如，第二屏幕可以是可臨近佩戴HMD的用戶的電視顯示器。因此，在一個實施方案，可能在同一位置或遠程的其他人也可以在第二屏幕上觀看HMD中示出的動作。遠程用戶可以是能夠玩遊戲、評論遊戲或者以某種方式社交參與遊戲玩打的任何數量的用戶。因此，很多遠程用戶可能能夠訪問和/或玩HMD上呈現的遊戲。例如，通過訪問他們的遊戲帳戶或會話以及通過網絡(例如，諸如經由網際網路)參與，遠程用戶可以獲得對遊戲的訪問。在一個實施方案中，遠程用戶可以在實時流模式下訪問遊戲，其中HMD的客戶端系統呈現遊戲並且將遊戲流式傳送到其他用戶。在又一實施方案中，HMD用戶還連同任何數量的遠程用戶一起訪問遊戲的雲流版本。

在一個示例中，HMD用戶的第一人稱3D視角可以用2D或3D實時流式傳送到UStream/Twitch/Gaikai等，並且被很多用戶(公共廣播)或好友(選擇廣播)觀看。在一個實施方案中，觀看的用戶可以參與遊戲玩打和/或評論或者彼此交流。

如本文中使用，第二屏幕可以包括具有顯示器的任何類型的裝置。顯示器可以是連接到遊戲控制臺(本地或遠程)、個人計算機、膝上型計算機、平板計算機、移動裝置、蜂窩電話、瘦客戶端、機頂盒、媒體流裝置、佩戴式裝置、投影裝置等的顯示器。

在一個實施方案中，針對HMD生成的視頻內容可以被分離和/或攔截並且處理，以便顯示在第二屏幕上。例如，第二屏幕上的顯示可以是2D的，而HMD中的內容是以3D示出的。在一些實施方案中，第二屏幕上示出的內容也可以採用3D格式。在一個示例中，觀看第二屏幕上的內容的用戶還可以任選地與遊戲玩打交互，諸如通過加入遊戲作為玩家、通過移動遊戲中的角色和/或物體、通過提供文本評論、通過在場景中畫線、輪廓、標記和/或標籤，和/或直接競賽/參與佩戴HMD的用戶正在玩的相同遊戲。

如果佩戴HMD的用戶在觀看一些多媒體內容(例如，電影、視頻剪輯、廣告、比賽、遊戲、社交媒體內容(例如，貼文、消息、媒體流、好友事件和/或遊戲玩打)視頻部分和/或音頻)，那麼觀看第二屏幕的用戶也可以與HMD用戶交互。在一個示例中，觀看第二屏幕的用戶可以決定何時是打斷、提出問題、發送消息或參與體驗的好時機。在沒有這種第二屏幕觀看的情況下，用戶通常無法看到或體驗HMD用戶正在體驗的事物，這減少與可能想要促成HMD用戶的沉浸式體驗的其他用戶進行社交的機會。

因此，通過提供這種功能和系統，使用HMD的遊戲玩打可以更便於社交，從而改善對HMD類型遊戲的興趣。在另外的其他實施方案中，計算機/控制臺可以包括邏輯，以使得能夠由呈現HMD遊戲的相同計算機處理不同內容，而將不同內容傳遞到第二屏幕。僅舉例來說，系統將允許計算裝置處理HMD遊戲並且也呈現來自在線媒體內容提供商的流電影。在一個示例中，計算機本身可以包括用於處理內容傳遞的分離的邏輯，或者所述邏輯可以設置在單獨的硬體裝置中。

在下文描述的示例中，計算機106可以由客戶端系統106a(例如，遊戲控制臺)和片上系統(SOC)處理器106b(例如，帶有I/O連接器的硬體裝置)定義。SOC處理器可以包括邏輯和電路，其用於對接/接收客戶端系統106a的輸出以及處理所述輸出以便傳遞(a)HMD 3D視頻流和(b)提供到第二屏幕107的視頻流。在一個實施方案中，SOC處理器106b可以包括接收客戶端系統106a的視頻輸出的I/O連接器。SOC處理器106b將包括硬體和/或邏輯，其經過處理來得到從客戶端系統106a接收的視頻輸入並且處理視頻輸入，以便將用於第二屏幕的視頻輸出格式化，所述第二屏幕可以插接到SOC處理器106b中。SOC處理器106b也將包括用於將視頻輸入直通到HMD 102的邏輯和/或硬體。

在一個實施方案中，SOC處理器106b將用於第二屏幕107的視頻輸出格式化，以使得可以提供2D格式用於顯示。在一個實施方案中，當客戶端系統106a的輸出產生3D格式的視頻輸出，所述3D格式進行格式化以顯示在HMD 102上時，執行這個處理。因此，在一個實施方案中，SOC處理器106b可以包括連接到客戶端系統106a的輸入I/O以及分別連接到HMD 102和第二屏幕107的至少兩個輸出I/O。在一個實施方案中，連接到HMD 102的輸出I/O是有線的或者可以是無線的。然而，應理解，如有需要，客戶端系統106a和SOC處理器106b可以一起集成在一個系統中。

圖1A示出根據本發明的一個實施方案的視頻遊戲的交互遊戲玩法的系統。所示用戶100佩戴頭戴式顯示器(HMD)102。HMD 102的佩戴方式類似於眼鏡、護目鏡或頭盔，並且被配置來將視頻遊戲或其他內容顯示給用戶100。由於它在與用戶眼睛很靠近的地方提供顯示機構和傳遞到HMD的內容格式，HMD 102被配置來向用戶提供沉浸式體驗。在一個示例中，HMD 102可以將顯示區域提供到用戶的每隻眼，所述顯示區域佔據用戶視野的大部分或甚至全部。

在一個實施方案中，HMD 102可以連接到計算機106。到計算機106的連接可以是有線或無線的。計算機106可以是任何通用或專用計算機，包括但不限於，遊戲控制臺、個人計算機、膝上型計算機、平板計算機、移動裝置、蜂窩電話、平板電腦、瘦客戶端、機頂盒、媒體流裝置等。在一些實施方案中，HMD 102可以直接連接到網際網路，從而可允許在不需要單獨本地計算機的情況下進行雲遊戲。在一個實施方案中，計算機106可以被配置來執行視頻遊戲(和其他數字內容)，並且從視頻遊戲中輸出視頻和音頻，以便由HMD 102呈現。計算機106在本文中也稱為客戶端系統106a，在一個示例中，所述客戶端系統是視頻遊戲控制臺。

在一些實施方案中，計算機可以是本地或遠程計算機，並且計算機可以運行仿真軟體。在雲遊戲實施方案中，計算機是遠程的，並且可以由可在數據中心中虛擬化的多個計算服務表示，其中遊戲系統/邏輯可以被虛擬化並且通過網絡分配給用戶。

用戶100可操作控制器104以提供視頻遊戲的輸入。在一個示例中，相機108可以被配置來捕捉用戶100所在的交互環境的圖像。這些捕捉圖像可以被分析以確定用戶100、HMD 102和控制器104的位置和移動。在一個實施方案中，控制器104包括一個燈(或多個燈)，所述燈可以被跟蹤以確定它的位置和取向。此外，如下文進一步詳細描述，HMD 102可包括一個或多個燈，所述燈可以被跟蹤以在遊戲玩打期間實質上實時地確定HMD 102的位置和取向。

相機108可以包括一個或多個麥克風，以捕捉來自交互環境的聲音。由麥克風陣列捕捉的聲音可經過處理以識別聲源的位置。可以選擇性地利用或處理來自識別位置的聲音，以排除不是來自該識別位置的其他聲音。此外，可以將相機108定義成包括多個圖像捕捉裝置(例如，一對立體照相機)、IR相機、深度相機以及它們的組合。

在一些實施方案中，計算機106可以在計算機106的處理硬體上本地執行遊戲。可以以任何形式，諸如物理介質形式(例如，數字光碟、磁帶、卡、拇指驅動器、固態晶片或卡等)或通過經由網絡110從網際網路下載的方式來獲取遊戲或內容。在另一實施方案中，計算機106用作通過網絡與雲遊戲提供商112通信的客戶端。雲遊戲提供商112可維持並執行用戶102在玩的視頻遊戲。計算機106將來自HMD102、控制器104和相機108的輸入傳輸到雲遊戲提供商，所述雲遊戲提供商處理所述輸入以影響執行視頻遊戲的遊戲狀態。來自執行視頻遊戲的輸出，諸如視頻數據、音頻數據和觸覺反饋數據，傳輸到計算機106。計算機106可在傳輸之前進一步處理數據，或者可以直接將數據傳輸到相關裝置。例如，將視頻和音頻流提供到HMD 102，而將振動反饋命令提供到控制器104。

在一個實施方案中，HMD 102、控制器104和相機108本身可以是連接到網絡110以便與雲遊戲提供商112通信的聯網裝置。例如，計算機106可以是不另外執行視頻遊戲處理而是促進通路網絡流量的本地網絡裝置，諸如路由器。HMD 102、控制器104和相機108到網絡的連接可以是有線或無線的。在一些實施方案中，可以從任何內容源120獲取在HMD 102上執行或可顯示在顯示器107上的內容。例如，示例內容源可以包括提供可下載內容和/或流內容的網際網路網站。在一些示例中，所述內容可以包括任何類型的多媒體內容，諸如電影、遊戲、靜態/動態內容、圖片、社交媒體內容、社交媒體網站等。

如下文將更詳細地描述，玩家100可正在HMD 102上玩遊戲，其中此類內容是沉浸式3D內容。當玩家正在玩時，HMD 102上的內容可以分享到顯示器107。在一個實施方案中，分享到顯示器107的內容可以允許臨近玩家100或遠程的其他用戶一起觀看用戶的玩打。在另外的實施方案中，在顯示器107上觀看玩家100的遊戲玩打的另一玩家可以與玩家100交互的方式參與。例如，在顯示器107上觀看遊戲玩打的用戶可以控制遊戲場景中的角色、提供反饋、提供社交互動和/或提供評論(經由文本、經由語音、經由動作、經由手勢等)，從而使得沒有佩戴HMD 102的用戶能夠與玩家100、遊戲玩打或HMD 102中呈現的內容社交互動。

圖1B示出根據本發明的一個實施方案的頭戴式顯示器(HMD)。如圖所示，HMD 102包括多個燈200A到200H、200J和200K。這些燈中的每個燈可被配置來具有具體形狀和/或位置，並且可以被配置來具有相同或不同顏色。燈200A、200B、200C和200D布置在HMD102的前表面上。燈200E和200F布置在HMD 102的側表面上。以及燈200G和200H布置在HMD 102的拐角處，以跨過HMD 102的前表面和側表面。將了解，可以在用戶使用HMD 102的交互環境的捕捉圖像中識別燈。基於燈的識別和跟蹤，可以確定交互環境中的HMD 102的位置和取向。還將了解，根據HMD 102相對於圖像捕捉裝置的特定取向，燈中的一些可見或不可見。另外，根據HMD 102相對於圖像捕捉裝置的取向，不同部分的燈(例如，燈200G和200H)可以暴露以便進行圖像捕捉。在一些實施方案中，將慣性傳感器設置在HMD 102中，所述慣性傳感器在不需要燈的情況下提供有關位置的反饋。在一些實施方案中，燈和慣性傳感器共同工作，以使得能夠混合和選擇位置/運動數據。

在一個實施方案中，燈可以被配置來向附近的其他人指示HMD的當前狀態。例如，燈中的一些或全部可被配置來具有一定顏色布置、密度布置、被配置來閃爍、具有一定開/關配置，或者指示HMD 102的當前狀態的其他布置。例如，燈可以被配置來在視頻遊戲的有效遊戲玩打期間(通常在有效時間線期間或在遊戲場景內進行遊戲玩打)與視頻遊戲的其他非有效遊戲玩打方面，諸如導航菜單界面或配置遊戲設置(在此期間遊戲時間線或場景可以不活動或暫停)，顯示不同配置。燈還可能被配置來指示遊戲玩打的相對強度水平。例如，當遊戲玩打的強度增加時，燈的強度或閃爍的頻率可以增加。

HMD 102可以額外地包括一個或多個麥克風。在所示實施方案中，HMD 102包括界定在HMD 102的前表面上的麥克風204A和204B，以及界定在HMD 102的側表面上的麥克風204C。通過利用麥克風陣列，來自每個麥克風的聲音可以經過處理以確定聲音來源的位置。可以採用各種方式利用這個信息，包括排除不需要的聲源、將聲源與視覺識別相關聯等。

HMD 102還可以包括一個或多個圖像捕捉裝置。在所示實施方案中，將HMD 102圖示為包括圖像捕捉裝置202A和202B。通過利用立體對的圖像捕捉裝置，可以從HMD 102的角度捕捉環境的三維(3D)圖像和視頻。此類視頻可以呈現給用戶，以便使用戶在佩戴HMD 102時具有「視頻透視」的能力。也就是說，儘管在嚴格意義上用戶無法看透HMD 102，但由圖像捕捉裝置202A和202B捕捉的視頻可以提供功能對等，使看HMD 102的外部環境能夠像透過HMD102看的一樣。

此類視頻可以通過虛擬元素進行增強以提供增強現實體驗，或者可以採用其他方式與虛擬元素組合或融合。儘管在所示實施方案中，HMD 102的前表面上示出兩個相機，但將了解，可在HMD 102上安裝在任何方向上取向、任何數量的面向外部的相機。例如，在另一實施方案中，相機可安裝在HMD 102的側面上，以提供環境的附加全景圖像捕捉。

圖1C示出HMD 102用戶與客戶端系統106對接並且客戶端系統106將內容提供到第二屏幕顯示器的一個示例，所述第二屏幕顯示器被稱為第二屏幕107。如下文將描述，客戶端系統106可包括用於處理將內容從HMD 102分享到第二屏幕107的集成電子設備。其他實施方案可包括將對接在客戶端系統與HMD 102和第二屏幕107中的每者之間的單獨裝置、模塊、連接器。在此一般示例中，用戶100佩戴HMD 102並且在使用控制器104玩視頻遊戲。用戶100的交互玩打將產生視頻遊戲內容(VGC)，所述VGC交互顯示到HMD 102。

在一個實施方案中，將顯示在HMD 102中的內容分享到第二屏幕107。在一個示例中，觀看第二屏幕107的人可以觀看用戶100在HMD 102中交互地玩打的內容。在另一實施方案中，另一用戶(例如，玩家2)可以與客戶端系統106交互，以產生第二屏幕內容(SSC)。由也與控制器104交互的玩家產生的第二屏幕內容(或者任何類型的用戶界面、手勢、語音或輸入)可以產生為客戶端系統106的SSC，所述SSC可以連同從HMD 102接收到的VGC一起顯示在第二屏幕107上。

因此，對於HMD用戶和可在第二屏幕107上觀看HMD用戶玩的內容的用戶而言，可與HMD用戶在同一位置或遠程的其他用戶的交互可以是社交、交互和更沉浸的。如圖所示，客戶端系統106可以連接到網際網路110。網際網路也可以為客戶端系統106提供對來自各種內容源120的內容的訪問。內容源120可以包括可通過網際網路訪問的任何類型的內容。

此類內容可以包括視頻內容、電影內容、流內容、社交媒體內容、新聞內容、好友內容、廣告內容等，但不限於此。在一個實施方案中，客戶端系統106可以用來為HMD用戶同時處理內容，從而使得HMD具有與遊戲玩打期間的交互性相關聯的多媒體內容。客戶端系統106隨後還可以將可與視頻遊戲內容無關的其他內容提供到第二屏幕。在一個實施方案中，客戶端系統106可以接收來自內容源120中的一個、或來自本地用戶或者遠程用戶的第二屏幕內容。

圖2A示出使用客戶端系統106的遊戲玩打的一個示例，所述客戶端系統能夠將視頻遊戲內容呈現到用戶100的HMD 102，並且也將遊戲玩打的視頻內容分享到第二屏幕107。在此圖示中，提供到HMD的遊戲內容是在豐富的交互3-D空間中。應理解，所述內容將不可自動顯示在二維顯示器上。因此，客戶端系統106被配置來處理得自HMD用戶的遊戲玩打的三維交互內容，並且隨後以無失真格式在第二屏幕107上顯示視頻內容。

通過這種方式，可與HMD用戶在同一位置中的任何人都可以在第二屏幕107上觀看HMV用戶在玩的內容。通過將內容分享到同一位置的人，HMD用戶的沉浸式交互活動體驗可以分享給其他人，從而將改善HMD用戶與位於HMD用戶附近的任何其他人之間的社交互動交流。如上文所述，雲遊戲服務112也可以提供對各種遊戲130的訪問，所述遊戲可以由HMD 102的用戶訪問，以便在客戶端系統106上玩打。遊戲內容可以下載到客戶端系統106，或者在一個實施方案中，可以由雲處理系統執行所述遊戲內容。雲遊戲服務112還可以包括用戶資料庫140，所述用戶資料庫被允許訪問特定遊戲、被特定遊戲訪問、與其他好友分享體驗、發表評論以及管理帳戶信息。

雲遊戲服務還可以為具體用戶存儲遊戲數據150，所述遊戲數據可在遊戲玩打期間、將來的遊戲玩打期間可用、用於分享到社交媒體網絡，或者用於存儲獎盃、獎勵、等級等。社交數據160也可以由雲遊戲服務112管理。社交數據可以由單獨的社交媒體網絡管理，所述社交媒體網絡可以通過網際網路100與雲遊戲服務112對接。通過網際網路100，可以連接任何數量的客戶端系統106，以便訪問內容並且與其他用戶交互。

繼續圖2A的示例，在HMD中觀看的三維交互場景可以包括遊戲玩打，諸如在3-D視圖中示出的角色。一個角色，例如，P1可以由佩戴HMD 102的用戶100控制。這個示例示出2個玩家之間的戰鬥場景，其中HMD用戶100在與3-D視圖中的另一角色戰鬥。另一角色可以是遊戲的AI(人工智慧)角色，或者可以由另一玩家或多個玩家(Pn)控制。

在一個實施方案中，提供到第二屏幕107的分享2-D視圖可以包括經由HMD 102提供的視圖中的更多或更少。在一些示例中，歸因於呈現2-D視圖所需的格式化，即，從針對HMD 102生成而提供的原始2-D視圖中提取、削減和/或無失真，提供更少的視圖。

圖2B示出一個示例，其中客戶端系統106可以被配置來將獨立內容呈現到第二屏幕107。例如，獨立內容可以獨立於由佩戴HMD102的用戶100的遊戲玩打內容體驗。客戶端系統106可以被配置來處理傳送到HMD 102的內容，並且也處理提供到第二屏幕107的內容，所述內容可從任何內容源120獲取。在此示例中，在同一位置的用戶可以選擇利用客戶端系統106也來觀看電影，這與HMD 102中呈現的視頻遊戲玩打不相關。

在一個示例中，可以動態切換在第二屏幕107中觀看的內容。例如，同一位置的人可以在第二屏幕107上觀看電影，並且在某一時間點，同樣用HMD 102玩遊戲的用戶100可以決定分享使用HMD 102玩過的內容中的一些或全部。例如，分享的內容可以是HMD用戶剛才玩過的交互視頻場景的一部分。在一個示例中，用戶可以決定分享戰鬥場景的剪輯、有趣的交互操縱、進入的地域、獲勝事件等。

可由選擇控制器104上的分享按鈕而觸發的分享隨後可以將第二屏幕107轉變到示出場景的視頻，從而將中斷示出電影的獨立視圖。當在第二屏幕107上觀看分享的交互場景時，可以暫停電影的獨立觀看，並且隨後根據用戶輸入，可以繼續或結束電影。

圖2C示出玩家與佩戴HMD 102的玩家100在同一位置的示例。在HMD 102上的遊戲玩法期間，客戶端系統也可以使得另一用戶能夠在遊戲中玩或者在佩戴HMD 102的用戶玩的遊戲中交互。在示例戰鬥場景中，第二玩家P2可以操縱在與玩家P1的角色的戰鬥場景中的角色中的一個。如下文將描述，第二玩家的交互內容和社交互動由客戶端系統106接收並且整合到第二屏幕107中所顯示的視頻內容中。交互內容也可以分享回到在HMD 102觀看的場景。

圖2D示出第二玩家可以與HMD用戶觀看的場景交互的示例。第二玩家可以引入新的角色或動作或者與視頻遊戲相連接。例如，這個整合可以包括添加角色或物體，並且角色物體可以顯示在HMD102中所呈現並且也呈現在第二屏幕107中的場景中並與之整合。由現在正在HMD用戶100觀看和玩打的場景中交互的第二玩家產生的交互內容、玩家、數據或動作表示為第二屏幕內容(SSC)。第二屏幕內容是附加數據，所述附加數據是經由HMD 102觀看並且與之交互的內容或者允許與所述內容進行社交互動。

圖2E示出第二屏幕內容是由另一用戶，諸如與HMD用戶在同一位置的用戶提供的文本消息的示例。在此示例中，HMD用戶正在控制角色用劍，並且另一玩家可以與在第二屏幕107上顯示的遊戲玩打社交互動。在此示例中，與HMD玩家交互的另一玩家提供消息，所述消息覆蓋到HMD用戶的遊戲屏幕中並且也(任選地)在第二屏幕107上。

這個示例示出用戶與HMD用戶進行社交交流，諸如提供有關遊戲玩打的信息。這個信息示為將有關另一玩家或AI角色的位置的消息提供到HMD用戶。消息是「當心！！他躲在樹後」。當然，這僅僅是示例，並且可作為第二屏幕內容的任何類型的消息、文本、圖標、表情符號、圖形、它們的組合可以在第二屏幕107上觀看並且也在HMD 102上所呈現的圖像上。

圖2F示出第二屏幕107可以包括分屏功能的示例。它的屏幕功能可以允許在第二屏幕的一部分中動態呈現HMD內容(示出視頻遊戲內容(VGC))，並且在屏幕的另一部分上呈現不同的內容。不同的內容可以包括從任何內容源120獲取的內容，或者從與佩戴HMD 102的用戶社交互動的其他用戶獲取的內容。佩戴HMD 102的用戶也可以與觀看第二屏幕的用戶社交交流。

例如，佩戴HMD 102的用戶也可以提供文本消息、評論、音頻、語音或者顯示在第二屏幕上的某一類型的交互或內容。在一個實施方案中，不同類型的內容可以包括其他遊戲、電影、網際網路內容、電視廣播等。在一個實施方案中，從HMD 102接收的內容與其他內容之間的動態移動可以在第二屏幕107上轉變。示例轉變可以包括滑動條，所述滑動條將暴露來自HMD 102的第二屏幕內容或者來自另一來源的不同內容。用於將內容顯示在第二屏幕上的各種格式是可能的，包括畫中畫窗口、縮略圖、覆蓋等。

圖3示出客戶端系統106的示例，其中客戶端系統106由客戶端系統106a和片上系統(SOC)處理器106b定義。在一個示例中，客戶端系統106a可以是計算機。在另一示例中，客戶端系統106b可以是遊戲控制臺。在一個示例中，SOC處理器106b可以由單獨的模塊或裝置定義。例如，SOC 106b可以由具有I/O插頭/連接器和電路的裝置定義，所述電路用於處理從客戶端系統106a接收並且為了傳送到HMD 102和第二屏幕而分開的內容。在一個實施方案中，I/O插頭/連接器可以包括各種類型的HDMI連接器、USB連接器、電源連接器，或者專用連接器。

SOC 106b的電路可以由一個或多個晶片定義，所述晶片可包括處理器。在一些實施方案中，電路可以由體現在一個或多個晶片中的固件定義。在一個實施方案中，處理器和存儲器具有處理指令、幀數據、提取、幀處理、視頻處理等。在一些實施方案中，SOC 106b可以由一個或多個電路定義，所述電路可以處理圖像數據、音頻數據、編碼數據、解碼數據、壓縮數據、解壓縮數據、處理圖形(例如，使用一個或多個圖形處理器(GPU))。

因此，應理解，SOC處理器106b可以體現為接收來自客戶端系統106a的輸出並且將輸出提供到第二屏幕107和HMD 102的單獨裝置。在另一實施方案中，SOC處理器106b可以完全集成到客戶端系統106a中。在下列的示例中，將參考作為單獨裝置的SOC處理器106b來定義配置。

繼續圖3的描述，客戶端系統106a被配置來執行遊戲應用302，所述遊戲應用可包括用於處理第二屏幕內容304的代碼或邏輯。在一個示例中，第二屏幕輸出代碼304是與遊戲應用302整合的代碼，以在遊戲玩打期間允許第二屏幕交互，並且也將第二屏幕內容整合到視頻幀中。因此，遊戲應用可以更改成包括第二屏幕輸出代碼304，或者可以與允許處理第二屏幕輸出代碼304的附加代碼或模塊對接。

在一個實施方案中，將遊戲應用302產生的視頻幀提供到HMD庫模塊306。HMD庫模塊306被配置來處理視頻幀以生成包括第二屏幕內容(SSC)的視頻幀，所述SSC整合到視頻幀的帶外(OOB)數據中。如圖所示，遊戲應用302的第二屏幕輸出代碼304被配置來生成壓縮流，在一個實施方案中，使用H.264標準來壓縮所述壓縮流。當然，可以利用用於壓縮或編碼的其他標準。隨後將壓縮流提供到HMD庫模塊306，所述HMD庫模塊被配置來將壓縮的第二屏幕內容(SSC)整合到包括視頻遊戲內容(VGC)的視頻幀中。

在一個實施方案中，將視頻遊戲內容格式化，以便採用左眼和右眼格式呈現在視頻幀上。左眼和右眼格式包括視頻遊戲內容，而帶外(OOB)數據優選整合到視頻幀的邊緣。如下文將描述，由於內容可能無法在HMD 102上顯示或觀看，視頻幀的邊緣被視作帶外。因此，這在視頻幀中提供可以在客戶端系統106處用第二屏幕內容進行編碼的區域。在另一實施方案中，視頻流應用308可以提供編碼到視頻幀的第二屏幕內容中的內容。

視頻流應用308可從內容源120獲取，所述內容源可通過網際網路100獲取。在一個實施方案中，當使用在線流功能執行遊戲應用時，從雲遊戲112可獲取遊戲應用302。在又一實施方案中，由客戶端系統106a執行的內容也可保存到存儲器，諸如以允許遊戲玩法的記錄310。遊戲玩法的記錄可以緩衝的格式發生，以便允許與另一用戶分享遊戲玩法的部分或全部。

如本文所述，通過任何輸入可觸發分享。通過選擇控制器上的分享按鈕、通過語音輸入、通過手勢輸入或者通過到達應用或遊戲場景中的某一點，可觸發分享。視頻幀320現在將包括視頻遊戲內容(VGC)和第二屏幕內容(SSC)，所述SSC被壓縮並且整合到視頻幀320的帶外(OOB)區域。此時，客戶端系統106a的輸出將包括由SOC處理器106b接收的幀320的流。SOC處理器106b被配置來接收幀320，並且處理所述幀，以使得視頻遊戲內容可呈現到HMD102，以及連同第二屏幕內容(SSC)(如果有的話)一起將視頻遊戲內容(VGC)提供到第二屏幕107。如圖所示，一些實施方案將包括將實時(或錄製的)視頻流提供到遠程位置，因而另一人可以玩打或觀看流遊戲內容。下文將參考圖5到圖8更詳細地描述由SOC處理器106b執行的處理和用於處理幀的部件。

圖4示出由客戶端系統106a和SOC處理器106b執行的處理的一個示例。在一個實施方案中，示例處理、所述方法操作可由系統執行，以將交互的沉浸式內容提供到HMD 102並且將內容分享到第二屏幕107。在此示例中，客戶端系統106a與網際網路110對接。在一個實施方案中，不需要連接到網際網路。當存在網際網路連接110時，內容源120可被客戶端系統106a以及雲遊戲112訪問。

在一個示例中，客戶端系統106a可允許用戶使用HMD選擇350再次玩打，以便呈現三維內容。遊戲的選擇可包括允許HMD用戶從菜單中、從顯示屏中、從列表中、從伺服器可用的遊戲中和/或本地存儲或物理介質中可用的遊戲中選擇一個或多個遊戲。為了允許第二屏幕分享，HMD利用的遊戲可包括第二屏幕輸出代碼，從而將允許處理第二屏幕內容以便整合到視頻幀320中。在其他實施方案中，不需要更改遊戲應用302，並且使得能夠顯示第二屏幕內容的其他代碼可由客戶端系統106a和/或SOC處理器106b處理。

在操作352中，執行遊戲並且將生成增益內容。呈現並且生成增益內容，以使得用戶的每隻眼將看到不同的幀數據，從而使得幀數據可呈現可通過HMD觀看的沉浸式3-D格式。在一個實施方案中，遊戲的執行可包括屏幕輸出代碼304的處理，所述處理生成第二屏幕內容，所述第二屏幕內容可與視頻遊戲的執行所產生的內容整合。在操作354中，確定遊戲玩打是否應分享到第二顯示器。

在一些實施方案中，用戶可能不希望將HMD 102的內容分享到第二屏幕。在一些實施方案中，用戶可決定只針對具體場景、事件或剪輯將內容分享到第二屏幕。當用戶決定分享到第二屏幕時，將內容發送到SOC處理器106b。內容發送到分離輸入358，所述分離輸入會將視頻幀的輸入分離，以使得3-D格式的視頻遊戲內容可直通到HMD，操作356。提供分離輸入358以定義分離內容的邏輯操作，但不必是物理分離器。

因此，分離輸入358將傳送到操作360，其中邏輯將訪問幀流，以識別HMD的單眼的內容以及識別可出現在幀的帶外(OOB)數據中的任何第二屏幕內容，以產生第二屏幕內容。在操作362中，將用於單眼的內容(視頻遊戲內容)格式化，以便連同任何整合的第二屏幕內容一起以2-D表示呈現。具有第二屏幕內容的格式化視頻流隨後提供到第二屏幕，所述第二屏幕在操作364中是HMD。這個內容隨後可顯示在顯示屏107上。因此，SOC處理器106b將用作邏輯分離器，所述邏輯分離器接收來自客戶端系統106a的輸出並且將內容提供到HMD 102和第二屏幕107兩者。

在一個實施方案中，參考圖5，提供一種系統，其用於處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統包括客戶端系統106a，其具有處理器，所述處理器用於響應於使用HMD的視頻遊戲的交互遊戲玩打而生成視頻幀，例如，320，見圖3。生成的視頻幀包括：帶內區域，其包括將要顯示在HMD上的視頻遊戲內容(VGC)；以及帶外(OOB)區域，其包括第二屏幕內容(SSC)。所述系統可包括片上系統(SOC)處理器(106b)，其具有用於接收生成的視頻幀的輸入接口。SOC處理器包括用於從帶外區域中提取SSC的提取邏輯430。還包括圖形處理器單元(GPU)410，所述GPU用於選擇生成的視頻幀的一部分並且進行格式化，以便顯示在第二屏幕上。提取的SSC和生成的視頻幀的所述部分被提供到SOC處理器的第一輸出接口405。經由輸入接口接收的生成的視頻幀作為直通被提供到SOC處理器的第二輸出接口414。SOC處理器的第一輸出接口可連接到第二屏幕107，並且SOC處理的第二輸出接口可連接到HMD 102。

在一些實施方式中，SOC處理器包括用於對提取邏輯提取的SSC進行解碼的編解碼器模塊。在一些實施方式中，由GPU選擇的生成的視頻幀的部分包括預定義在HMD的顯示器中顯示給一隻眼的視頻遊戲內容(VGC)，所述部分還排除OOB區域。

在一些實施方式中，GPU進行的格式化包括對該部分中的VGC執行無失真功能，無失真功能消除對於顯示在HMD中而言是本地的圖形效果。GPU進行的格式化包括修剪功能和縮放功能。修剪功能和縮放功能經過處理以適應第二屏幕的本地顯示格式，該本地顯示格式不同於HMD的本地格式。在一些實施方案中，SOC處理器還包括在輸入接口402與第一輸出接口405之間通信的音頻直通404。

在一些實施方式中，SOC處理器還包括用於與客戶端系統連接的USB模塊輸入。USB模塊被配置成將從HMD獲取的音頻和輸出動作數據接收回到客戶端系統。在一個示例中，USB模塊將來自客戶端系統的接收音頻傳送到3D音頻呈現模塊，以用於傳送到HMD。3D音頻呈現模塊還被配置有用於接收來自輸入接口的音頻的輸入。

在一些實施方式中，SOC處理器還包括用於接收來自HMD的運動數據的傳感器直通模塊。運動數據傳送到USB模塊，以用於傳送到客戶端系統。運動數據識別或是用於HMD的運動的數據，所述數據由客戶端系統用來更改視頻遊戲的交互遊戲玩打(例如，如從HMD的角度看出)。

在一些實施方式中，系統包括由客戶端系統106接收的相機108輸入。相機輸入被配置來捕捉包括HMD的場景(例如，見圖1A)的圖像數據。捕捉的圖像數據由客戶端系統用來更改或不更改(基於遊戲邏輯)視頻遊戲的交互遊戲玩打。提供SOC處理器106b中的用於接收來自HMD 102的運動數據的運動直通模塊418。如果遊戲邏輯確定需要更改的話，那麼運動數據由客戶端系統用來進一步更改視頻遊戲的交互遊戲玩打。交互遊戲玩打中的更改呈現在由客戶端系統產生的視頻幀中。視頻幀直通SOC處理器到達HMD，並且由SOC處理器處理，以經由SOC處理器分享到第二屏幕。在一些實施方式中，其中提取邏輯對從輸入接口接收的視頻幀進行操作，例如，如圖6所示，430。

圖5示出根據一個實施方案的一個示例實施方案，其中片上系統(SOC)處理器106b實施處理以便呈現用於第二屏幕107的內容，以及用於HMD 102的內容。在此示例中，客戶端系統106a將來自幀緩衝器的輸出視頻幀提供到HDMI(高清晰度多媒體接口)輸入402。實施方案預想其他類型的連接器/接口也是可能的，並且不應對HDMI的使用進行限制。在一個實施方案中，視頻格式被配置來以60幀每秒或30幀每秒或者以任何所需幀每秒的速率(這可根據實施方式改變)呈現1080p品質圖像。在一些實施方案中，除了1080p之外，其他格式可包括以各種幀速率(60hz、75hz、90hz、100h、120hz等)的1080i、720p、480p、480i、1440p(2560x1440)WQHD、4K(3840x2160)。儘管這些格式證實為示例，但根據所需實施方式，其他格式也是可能的。在一個實施方案中，多於或少於60幀輸出到顯示器(例如，30幀每秒(或者更多或更少))。在一個實施方案中，從HDMI輸入402接收的圖像幀的格式具有標準YUV422。應理解，也可使用其他標準格式，並且這個標準格式只是一個示例。

第二屏幕107的音頻成分經由404傳遞到HDMI輸出405。視頻成分傳遞到圖像處理器408部件，所述圖像處理器部件被配置來在將圖像數據傳遞到圖形處理單元410之前處理從HDMI輸入402接收的幀數據。在一個實施方案中，圖像處理器408部件被配置來執行分區，從而將圖像數據的線性輸入集群到塊簇中。通過將圖像數據分區成塊簇，GPU 410能夠更有效地訪問存儲器和處理圖像數據，以便輸出到HDMI輸出405。在一個實施方案中，GPU 410處理用於選擇由HDMI輸入402接收並且從圖像處理器408獲取的圖像的子集進行處理的指令。例如，圖像的子集的選擇可包括選擇圖像的一部分，這部分包括經由HMD 102用戶的左眼(或右眼)將看到的東西。在一個實施方案中，GPU 410可執行圖像幀的修剪，以從接收的幀中選擇單眼的圖像數據。在一個實施方案中，GPU 410還被配置來處理使所選擇的圖像數據無失真的指令，以使得數據可以非3D格式顯示在第二屏幕107上。無失真操作可包括過濾掉帶外(OOB)數據，以及消除最初針對HMD 102添加和/或設計的圖像扭曲。

HMD 410還可執行提供縮放的指令，所述縮放將使得能夠顯示在具體第二屏幕上。例如，縮放對於預期屏幕尺寸或格式可以是自動的、可以由用戶自定義設置，和/或可以被SOC處理器106b或客戶端系統106a檢測到。通過由GPU 410處理這個額外處理，可能在第二屏幕107上呈現平坦圖像，就好像圖像是針對第二屏幕107故意設計的一樣。在一個實施方案中，GPU 410的輸出可以採用標準視頻格式，諸如YUV422，或者最適合將用作第二屏幕的顯示裝置的另一標準。

在一個實施方案中，由HMDI輸入402接收的視頻幀直通到輸出，諸如LVDS(低電壓差分信號)輸出414以及LVDS HML連接器。在一個示例中，HMD 102由導線連接到LVDS HML連接器。在另一實施方案中，可用無線通信電路替換輸出414，所述無線通信電路可通過無線連接而與HMD 102對接。在另外的實施方案中，到HMD的輸出可以使用其他類型的連接器或電纜，不限於LVDS的示例。

在一個實施方案中，客戶端系統106a可連接到雙向鏈路到USB模塊404。來自客戶端系統106a的音頻輸入傳遞到USB模塊404，隨後傳遞到3D音頻呈現模塊416。3D音頻呈現模塊416被配置來合成將傳遞到HMD 102的音頻，以使得可以參考HMD 102中顯示的3D環境來呈現音頻。在一個實施方案中，呈現在HMD 102上的主要音頻經由USB 404直接從客戶端系統106a接收。在另一實施方案中，呈現在HMD 102上的音頻還可包括從HDMI輸入402中接收的音頻中的一些或全部。如圖所示，例如，來自HMD 102的反饋可包括來自慣性傳感器的運動數據。當用戶佩戴HMD 102並且在遊戲玩打期間四處移動時，用戶頭部的運動可提供由HMD呈現的3D空間中的不同透視圖。

運動數據隨後傳遞到傳感器直通418，接著再傳送到USB模塊404。運動數據隨後傳送回到客戶端系統106a，所述客戶端系統可使用運動信息來調整視頻的呈現，例如，基於用戶經由HMD 102觀看/玩打的交互場景。如上文所述，用戶位置/移動的其他反饋可由客戶端系統106a接收。例如，可捕捉用戶的圖像數據(例如，如圖1A所示)，並且該數據圖像可連同運動/慣性數據一起用來在交互遊戲玩打期間影響、改變和更改呈現在HMD上的視頻的內容。

在圖5的示例中，呈現在第二屏幕107上的第二屏幕內容(SSC)只是圖像數據和音頻數據，所述數據鏡射出呈現在HMD 102中的內容。在此示例中，類似於圖2A，遊戲玩打附近的其他人可在第二屏幕上觀看HMD用戶的沉浸式體驗。

圖6示出一個示例，其中預先處理帶外(OOB)數據並將其嵌入到客戶端系統106a產生的圖像幀中。OOB數據可包括其他用戶的遊戲玩打、消息、遊戲玩打的參與、角色的移動、內容的改變、與在HMD上玩打的主用戶的角色的交流、文本消息的分享、遊戲相關數據的分享、遊戲指標的分享、分享社交內容、有關聊天消息傳送的內容、文本消息傳送、視頻消息傳送，或者其他非遊戲相關內容。

如上文所述，客戶端系統106a被配置來處理第二屏幕內容(SSC)，以便整合到視頻幀中，作為壓縮OOB數據(例如，在視頻幀的邊緣中提供的壓縮數據)。本文中使用術語OOB數據來描述通常不呈現在HMD的顯示器上的數據。當呈現在HMD中時，用戶通常不可見圖像幀的邊緣，並且因此，幀數據中的這個空間可以用來存儲壓縮(或未壓縮)第二屏幕內容。在一些實施方案中，音頻內容也存儲或整合在圖像幀的OOB數據中。

繼續圖6的示例，HDMI輸入402示為傳遞到模塊430，所述模塊被配置來接收圖像數據並且也提取OOB數據。在一個實施方案中，嵌入在OOB數據中的內容流可在90兆位每秒(或更大)的範圍內，從而可允許第二屏幕107上的豐富沉浸式體驗。

如上文所述，在一個實施方案中，當OOB數據整合在圖像幀邊緣中時，OOB數據可由客戶端系統106a壓縮。在一個實施方案中，使用編碼器採用H.264編碼格式對壓縮/編碼OOB數據進行編碼。因此，提取的OOB數據示為傳遞到圖像處理器/H.264編解碼器432的H.264流。在此示例中，H.264編解碼器被配置來針對第二屏幕內容(SSC)對視頻流進行解碼。SSC隨後由圖像處理器處理進行處理。如上文參考圖5所述，圖像處理器處理也處理接收的圖像數據(例如，包括視頻遊戲內容的左和右圖像數據的圖像數據)。如上文所述，圖像處理器處理被配置來將圖像數據分區在塊簇中，從而使得GPU 410的圖像處理更有效。如在圖5中，GPU 410執行無失真、修剪以及縮放。

修剪可包括移除任何邊緣內容(OOB數據)，如果存在的話，以及選擇圖像的一部分(例如，左眼圖像幀內容)。通過這種方式，採用無失真形式的左眼圖像內容可輸出到第二屏幕107。此外，在此實施方案中，從OOB數據中提取的SSC可與第二屏幕107上所示的呈現圖像整合。例如，除了在第二屏幕107上示出左眼視頻的內容之外，可連同來自HMD的圖像數據一起呈現整合到圖像幀的邊緣中的額外內容。

上述圖2C到圖2E描述這個特徵，該特徵可使得其他人能夠與佩戴HMD的用戶社交互動。例如，在OOB數據中，可在HMD數據期間並且與之一起呈現用戶交互命令、數據、角色、通信等。除了在第二屏幕107上呈現從OOB數據獲取的SSC之外，內容可呈現回到HMD中顯示的圖像內容。因此，觀看第二屏幕107的用戶(例如，圖2C)可以與佩戴HMD 102的用戶玩遊戲、交互、社交、講話、發簡訊等。

圖7示出SOC處理器106b的替代實施方案。在此實施方案中，經由USB 404模塊傳遞添加到第二屏幕107上示出的視頻遊戲內容(VGC)的第二屏幕內容(SSC)。這代替將壓縮SSC數據整合到視頻幀中，如參考圖6所述。在一些實施方案總，預想圖6和圖7的實施方案的混合。

繼續圖7的實施方案，USB模塊404被配置來直接從客戶端系統106a接收第二屏幕內容(SSC)。在模塊440中提取SSC的視頻。在一個實施方案中，使用H.264協議對提供SSC的視頻進行壓縮/編碼。採用H.264格式的提取視頻流傳遞到圖像處理器/H.264編解碼器432。在此模塊中，視頻首先被H.264編解碼器解碼，並且隨後經過處理以產生分區的視頻塊數據，從而由GPU 410更有效地處理。GPU410隨後輸出用於視頻遊戲內容(VGC)的2D格式的視頻流，連同在模塊440中提取的SSC內容。因此，提供到第二屏幕107的HDMI輸出405的輸出包括與在HMD 102中觀看的內容一致的視頻，以及SSC(例如，社交內容、交互遊戲內容、社交通信數據等)。

圖8包括又一實施方案，其中在USB 404模塊處以HTML數據的形式接收SSC。眾所周知，HTML數據是適合呈現web內容(例如，圖像、文本、格式化、視頻等)的格式。因此，模塊440將接收不同於HMD 102上呈現的圖像幀的數據流。然而，數據流可包括可能與遊戲玩打相關的數據，或者可在第二屏幕107上分享的數據。分享到第二屏幕107的數據也可分享到HMD 102。因此，在圖7的示例中，第二屏幕107可提供web內容，諸如指標、統計，或者可能與用戶有關的其他信息。

如上文所述，其他示例也可包括在HMD用戶玩遊戲時，SOC處理器106b呈現來自其他源的內容(例如，移動、視頻、圖像、數據)的能力。例如，其他源可採用類似於提供SSC數據的方式整合數據。例如，SSC數據(來自其他源的數據，例如，移動或者其他web/存儲內容)可整合到圖像幀中，作為OOB數據(例如，如在圖6中)，或者經由單獨USB埠管線/流(例如，如在圖7和圖8中)。在另一些實施方案中，SOC處理器可被配置來簡單地將HMD中觀看到的內容分享到第二屏幕，以便由用戶或同一位置的人被動觀看(例如，如在圖5中)。

參考圖9，圖解示出根據本發明的一個實施方案的頭戴式顯示器102的示例部件。應理解，根據支持的配置和功能，HMD 102中可包括或排除更多或更少的部件。頭戴式顯示器102可包括用於執行程序指令的處理器500。存儲器502用於存儲目的，並且可包括易失性和非易失性存儲器。包括顯示器504，該顯示器提供用戶可觀看的可視界面。顯示器504可由一個單個顯示器定義，或採用用於每隻眼的單獨顯示屏的形式。當提供兩個顯示屏時，可能分別提供左眼和右眼視頻內容。例如，每隻眼的視頻內容的單獨呈現可對三維(3D)內容提供更好的沉浸式控制。如上文所述，在一個實施方案中，通過使用一隻眼的輸出並且隨後將內容格式化以便以2D格式顯示，第二屏幕107被提供HMD 102的第二屏幕內容。在一個實施方案中，一隻眼可以是左眼視頻饋送，但在其他實施方案中，可以是右眼視頻饋送。

電池506可用作頭戴式顯示器102的電源。在其他實施方案中，電源可包括與電力的輸出連接。在其他實施方案中，可以提供與電力和電池506的輸出連接。運動檢測模塊508可包括各種運動敏感硬體中的任一個，諸如磁強計510、加速計512以及陀螺儀514。

加速計是用於測量加速度和重力引發的反作用力的裝置。單軸和多軸(例如，六軸)模型能夠檢測不同方向上的加速度的大小和方向。加速計用來感測傾斜、振動和衝擊。在一個實施方案中，三個加速計512用來提供重力的方向，從而給出針對兩個角(世界空間俯仰角和世界空間側傾角)的絕對參照。

磁強計測量頭戴式顯示器附近的磁場的強度和方向。在一個實施方案中，頭戴式顯示器內使用三個磁強計510，從而確保針對世界空間偏航角的絕對參照。在一個實施方案中，磁強計被設計為跨過地磁場，所述地磁場是±80微特斯拉。磁強計受金屬影響，並且提供隨實際偏航單調變化的偏航測量。由於環境中的金屬，磁場可扭曲，從而導致偏航測量扭曲。如果需要，使用來自諸如陀螺儀或相機之類的其他傳感器的信息可以校準這個扭曲。在一個實施方案中，加速計512與磁強計510一起用來獲取頭戴式顯示器102的傾斜和方位。

陀螺儀是用於基於角動量的原理來測量或維持取向的裝置。在一個實施方案中，基於慣性感測，三個陀螺儀514提供有關相應軸線(x、y和z)上的移動的信息。陀螺儀有助於檢測快速旋轉。然而，在不存在絕對參照的情況下，隨著時間的推移，陀螺儀可漂移。這需要定期重置陀螺儀，這可使用其他可用信息來完成，諸如基於物體、加速計、磁強計等的視覺跟蹤的位置/取向確定。

提供相機516用於捕捉真實環境的圖像和圖像流。頭戴式顯示器102可包括不止一個相機(任選地)，包括後置的相機(當用戶在觀看頭戴式顯示器102的顯示器時指向遠離用戶)，以及前置的相機(當用戶在觀看頭戴式顯示器102的顯示器時指向用戶)。此外，頭戴式顯示器102中可包括深度相機518，以用於感測真實環境中的物體的深度信息。

頭戴式顯示器102包括用於提供音頻輸出的揚聲器520。此外，可包括麥克風522，以用於捕捉來自真實環境的音頻，包括來自周圍環境的聲音、用戶發出的語音等。頭戴式顯示器102包括用於將觸覺反饋提供給用戶的觸覺反饋模塊524。在一個實施方案中，觸覺反饋模塊524能夠致使頭戴式顯示器102移動和/或振動，以便將觸覺反饋提供給用戶。

提供LED 526作為頭戴式顯示器102的狀態的視覺指示器。例如，LED可指示電池電量、電源接通等。提供讀卡器528以使得頭戴式顯示器102能夠從存儲卡中讀取信息和將信息寫入存儲卡。包括USB接口530作為用於實現外圍裝置的連接或者到其他裝置(諸如其他可攜式裝置、計算機等)的連接的接口的一個示例。在頭戴式顯示器102的各種實施方案中，可包括各種接口中的任一接口，以使得頭戴式顯示器102能夠具有更好的連接性。

可包括WiFi模塊532，以使得能夠經由無線聯網技術連接到網際網路。此外，頭戴式顯示器102可包括用於使得能夠無線連接到其他裝置的藍牙模塊534。還可包括通信鏈路536，以用於連接到其他裝置。在一個實施方案中，通信鏈路536將紅外傳輸用於無線通信。在其他實施方案中，通信鏈路536可將各種無線或有線傳輸協議中的任一協議用於與其他裝置的通信。

包括輸入按鈕/傳感器538以便為用戶提供輸入接口。可包括各種輸入接口中的任一個，諸如按鈕、觸摸板、操縱杆、跟蹤球等。超聲通信模塊540可被包括在頭戴式顯示器102中，以促進經由超聲技術與其他裝置通信。

包括生物傳感器542以使得能夠檢測來自用戶的生理數據。在一個實施方案中，生物傳感器542包括一個或多個乾電極，以用於通過用戶的皮膚、聲音檢測、眼睛視網膜檢測來檢測用戶的生物電信號，以便識別用戶/輪廓等。

頭戴式顯示器102的上述部件僅描述為可被包括在頭戴式顯示器102中的示例性部件。在本發明的各種實施方案中，頭戴式顯示器102可以或可不包括各種上述部件中的一些。出於促進如本文所述的本發明的方面的目的，頭戴式顯示器102的實施方案可額外包括目前未描述但本領域已知的其他部件。

所屬領域的那些技術人員將了解，在本發明的各種實施方案中，上述手持式裝置可與顯示在顯示器上的交互應用結合使用，以提供各種交互功能。本文中描述的示例性實施方案僅以示例的方式提供，而不意圖限制。

在一個實施方案中，本文中所稱的客戶端和/或客戶端裝置可包括頭戴式顯示器(HMD)、終端、個人計算機、遊戲控制臺、平板計算機、電話、機頂盒、一體機、無線裝置、數字板、獨立裝置、手持式遊戲玩打裝置和/或諸如此類。通常，客戶端被配置來接收編碼視頻流、對視頻流進行解碼以及將得到的視頻呈現給用戶，例如，遊戲的玩家。接收編碼視頻流和/或對視頻流進行解碼的過程通常包括將個別視頻幀存儲在客戶端的接收緩衝器中。視頻流可在集成到客戶端的顯示器上呈現給用戶，或者在單獨裝置，諸如監視器或電視機上呈現給用戶。

客戶端任選地被配置來支持不止一個遊戲玩家。例如，遊戲控制臺可被配置來支持兩個、三個、四個或更多的同時玩家(例如，P1、P2……Pn)。這些玩家中的每個可接收或分享視頻流，或者單個視頻流可包括專門針對每個玩家生成的幀的區域，例如，基於每個玩家的視角生成的幀的區域。任意數量的客戶端可以是本地的(例如，在同一位置)，或者在地理上分散。遊戲系統中包括的客戶端的數量可以從一個或兩個廣泛變化到數千、數萬或更多。本文中使用的術語「遊戲玩家」是指玩遊戲的人，並且術語「遊戲玩打裝置」是指用來玩遊戲的裝置。在一些實施方案中，遊戲玩打裝置可以指協作以向用戶傳遞遊戲體驗的多個計算裝置。

例如，遊戲控制臺和HMD可與視頻伺服器系統協作，以傳遞通過HMD觀看的遊戲。在一個實施方案中，遊戲控制臺從視頻伺服器系統接收視頻流，並且遊戲控制臺將視頻流或者視頻流的更新轉發到HMD和/或電視機，以用於呈現。

客戶端還可以(但不需要)包括被配置來更改接收到的視頻的系統。例如，客戶端可被配置來執行進一步呈現、將一個視頻圖像覆蓋在另一視頻圖像上、修剪視頻圖像和/或諸如此類。例如，客戶端可被配置來接收各種類型的視頻幀，諸如I幀、P幀和B幀，以及將這些幀處理成圖像，以顯示給用戶。在一些實施方案中，客戶端的成員被配置來對視頻流執行進一步呈現、陰影、轉換成3-D、轉換成2D、失真消除、調整尺寸或類似操作。客戶端的成員任選地被配置來接收一個以上音頻或視頻流。

例如，客戶端的輸入裝置可包括單手遊戲控制器、雙手遊戲控制器、手勢識別系統、凝視識別系統、語音識別系統、鍵盤、操縱杆、定點裝置、力反饋裝置、運動和/或位置感測裝置、滑鼠、觸控螢幕、神經接口、相機、待開發的輸入裝置，和/或諸如此類。

視頻源可包括呈現邏輯，例如，存儲在計算機可讀介質(諸如存儲設備)上的硬體、固件和/或軟體。這個呈現邏輯被配置來基於遊戲狀態來創建視頻流的視頻幀。呈現邏輯的全部或部分任選地設置在一個或多個圖形處理單元(GPU)內。呈現邏輯通常包括處理階段，其被配置來確定物體之間的三維空間關係和/或基於遊戲狀態和視角來施加適當的紋理等。呈現邏輯可產生原始視頻，所述原始視頻被編碼。例如，原始視頻可根據下列項進行編碼：Adobe標準、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x、Xvid、FFmpeg、x264、VP6-8、realvideo、mp3等等。編碼過程產生視頻流，所述視頻流任選地被封裝，以傳遞到裝置上的解碼器。所述視頻流的特徵在於幀大小和幀速率。典型的幀大小包括800x 600、1280x 720(例如，720p)、1024x 768、1080p，但也可使用任何其他幀大小。幀速率是每秒的視頻幀數量。視頻流可包括不同類型的視頻幀。例如，H.264標準包括「P」幀和「I」幀。I-幀包括刷新顯示裝置上的所有宏塊/像素的信息，而P-幀包括刷新其子集的信息。P-幀的數據量通常小於I-幀。本文中使用的術語「幀大小」是指幀內的像素數量。術語「幀數據量」是指存儲幀所需的字節數量。

在一些實施方案中，客戶端可以是通用計算機、專用計算機、遊戲控制臺、個人計算機、膝上型計算機、平板計算機、移動計算裝置、可攜式遊戲裝置、蜂窩電話、機頂盒、流媒體接口/裝置、智能電視或聯網顯示器，或者能夠被配置來實現如本文中定義的客戶端的功能的任何其他計算裝置。在一個實施方案中，雲遊戲伺服器被配置來檢測用戶使用的客戶端裝置的類型，並且提供適合用戶的客戶端裝置的雲遊戲體驗。例如，可針對用戶的客戶端裝置優化圖像設置、音頻設置和其他類型的設置。

圖10示出信息服務提供商架構的一個實施方案。信息服務提供商(ISP)670將大量信息服務傳送到在地理上分散並且經由網絡686連接的用戶682。ISP可以只傳送一種類型的服務，諸如股票價格更新，或者多種服務，諸如廣播媒體、新聞、體育、遊戲等。此外，每個ISP提供的服務是動態的，也就是說，可在任何時間點添加或解除服務。因此，將特定類型的服務提供到特定個人的ISP可隨著時間的變化而改變。例如，當用戶在她的家鄉時，用戶可由該用戶附近的ISP提供服務，而當用戶旅行到不同城市時，用戶可由不同的ISP提供服務。家鄉ISP會將所需信息和數據傳輸到新ISP，從而使得用戶信息「跟隨」用戶到新的城市，以使得數據更靠近用戶並且更易於訪問。在另一實施方案中，可在管理用戶的信息的主ISP與在主ISP的控制下直接與用戶對接的伺服器ISP之間建立主-伺服器關係。在另一實施方案中，當客戶端在世界範圍內移動時，數據從一個ISP傳輸到另一ISP，以使得處於服務用戶的更佳位置的ISP是傳送這些服務的ISP。

ISP 670包括通過網絡將基於計算機的服務提供到客戶的應用服務提供商(ASP)672。使用ASP模型提供的軟體有時也稱為按需軟體或軟體即服務(SaaS)。提供對特定應用程式(諸如客戶關係管理)的訪問的簡單形式是通過使用標準協議，諸如HTTP。應用軟體駐留在供應商系統上，並且由用戶通過web瀏覽器使用HTML、通過供應商提供的專用客戶端軟體或諸如瘦客戶端之類的其他遠程接口訪問。

在廣泛的地理區域上傳遞的服務通常使用雲計算。雲計算是在網際網路上將動態可擴展和通常虛擬化的資源提供作為服務的計算方式。用戶不需要成為支持他們的「雲」中的技術基礎設施的專家。雲計算可以分成不同服務，諸如基礎設施即服務(IaaS)、平臺即服務(PaaS)，以及軟體即服務(SaaS)。雲計算服務通常提供從web瀏覽器訪問的在線常見商業應用，而軟體和數據存儲在伺服器上。基於如何在計算機網絡圖解中描繪網際網路以及網際網路如何成為它隱藏的複雜基礎設施的抽象概念，術語云用作網際網路的隱喻(例如，使用伺服器、存儲設備和邏輯)。

此外，ISP 670包括由遊戲客戶端用來玩單玩家和多玩家視頻遊戲的遊戲處理伺服器(GPS)674。通過網際網路玩的多數視頻遊戲都經由到遊戲伺服器的連接進行操作。通常，遊戲使用收集來自玩家的數據並且將它分配到其他玩家的專用伺服器應用。這比對等布置更高效且有效，但需要單獨的伺服器來主控伺服器應用。在另一實施方案中，GPS在玩家之間建立通信，並且他們相應的遊戲玩打裝置在不依賴於集中GPS的情況下交換信息。

專用GPS是獨立於客戶端運行的伺服器。此類伺服器通常在位於數據中心的專用硬體上運行，從而提供更大的帶寬和專用處理能力。專用伺服器是主控用於多數基於PC的多玩家遊戲的遊戲伺服器的優選方法。大型多玩家在線遊戲在通常由擁有遊戲標題的軟體公司主控的專用伺服器上運行，從而允許他們控制和更新內容。

廣播處理伺服器(BPS)676將音頻或視頻信號分布到聽眾。廣播到極窄範圍的聽眾有時稱為窄播。廣播分布的最後一程是信號如何抵達聽者或觀眾，並且它可在空中與廣播站或TV站一樣到達天線和接收器，或者可經由站或直接從網絡通過有線TV或有線廣播(或「無線電纜」)到達。網際網路也可將廣播或TV帶給接收者，尤其是利用允許分享信號和帶寬的多播。歷史上，廣播被地理區域定界，諸如全國廣播或區域廣播。然而，隨著快速網際網路的普及，由於內容可到達世界上的幾乎任何國家，因此廣播不被地理界定。

存儲服務提供商(SSP)678提供計算機存儲空間和相關管理服務。SSP也提供定期備份和歸檔。通過供應存儲即服務，用戶可根據需要訂購更多存儲。另一主要優點在於，SSP包括備份服務，並且如果計算機的硬碟出故障，用戶將不會丟失他們全部的數據。此外，多個SSP可具有用戶數據的全部或部分複本，從而允許用戶以獨立於用戶所在的地方或用來訪問數據的裝置的有效方式訪問數據。例如，當用戶在移動時，用戶可訪問家用計算機以及行動電話中的個人文件。

通信提供商380將連接提供到用戶。一種通信提供商是提供對網際網路的訪問的網際網路服務提供商(ISP)。ISP使用適合傳遞網際網路協議數據報的數據傳輸技術連接其客戶，諸如撥號、DSL、電纜數據機、光纖、無線或專用高速互連。通信提供商也可提供消息傳送服務，諸如電子郵件、即時消息以及SMS文本。另一類型的通信提供商是通過提供對網際網路的直接骨幹訪問來出售帶寬或網絡訪問的網絡服務提供商(NSP)。網絡服務提供商可由下列構成：電信公司、數據載體、無線通信提供商、網際網路服務提供商、提供高速網際網路訪問的有線電視運營商等。

數據交換688將ISP 670內部的若干模塊互連，並且經由網絡686將這些模塊連接到用戶682。數據交換688可覆蓋ISP 670的所有模塊附近的較小區域，或者當不同模塊在地理上分散時，可覆蓋較大地理區域。例如，數據交換688可包括數據中心的櫃內的快速千兆乙太網(或更快)，或者洲際虛擬區域網(VLAN)。

用戶682可通過客戶端裝置684訪問遠程服務，所述客戶端裝置包括至少CPU、顯示器和I/O。客戶端裝置可以是PC、行動電話、上網本、平板電腦、遊戲系統、PDA等。在一個實施方案中，ISP 670識別客戶端使用的裝置的類型，並且調整所用的通信方法。在其他情況下，客戶端裝置使用標準通信方法(諸如html)來訪問ISP 670。

本發明的實施方案可用各種計算機系統配置實施，包括手持式裝置、微處理器系統、基於微處理器或可編程的消費電子設備、微型計算機、主計算機等。本發明也可在分布式計算環境中實踐，其中由通過基於有線的網絡或無線網絡連結的遠程處理裝置執行任務。

了解上述實施方案之後，應理解，本發明可利用涉及存儲在計算機系統中的數據的各種計算機實施的操作。這些操作是需要物理量的物理操縱的那些。形成本發明的一部分的本文所述的任何操作都是可用的機器操作。本發明還涉及用於執行這些操作的裝置或設備。所述設備可針對所需目的而特別構造，或者所述設備可以是由存儲在計算機中的電腦程式選擇性地激活或配置的通用計算機。具體而言，各種通用機可用於根據本文中的教示編寫的電腦程式，或者更為方便的是，構造更專業的設備來執行所需的操作。

本發明還可體現為計算機可讀介質上的計算機可讀代碼。計算機可讀介質是可存儲數據的任何數據存儲裝置，所述數據之後可由計算機系統讀取。計算機可讀介質的示例包括硬碟驅動器、網絡附加存儲(NAS)、只讀存儲器、隨機存取存儲器、CD-ROM、CD-R、CD-RW、磁帶，以及其他光學和非光學數據存儲裝置。計算機可讀介質可包括分布在網絡連接的計算機系統上的計算機可讀有形介質，從而計算機可讀代碼被分布式存儲和執行。

儘管按照特定順序描述了方法操作，但應理解，可在操作之間執行其他內務處理操作，或者操作可以調整成在稍微不同的時間發生，或可以分布在系統中，所述系統允許處理操作在與處理相關聯的各種間隔處發生，只要覆蓋操作的處理按照所需的方式執行即可。

儘管為了清楚理解已在一些細節上描述了上述發明，但應明白，某些變化和修改可在所附權利要求書的範圍內實施。因此，呈現的實施方案應被視為說明性而非限制性的，且本發明並不限於本文中給出的細節，而是可在所附權利要求書的範圍和等效物內修改。