使用疊加動畫促成由多個用戶對媒體內容的同時消費的製作方法
2023-06-12 07:39:06
使用疊加動畫促成由多個用戶對媒體內容的同時消費的製作方法
【專利摘要】在本文中描述了裝置、計算機執行的方法、系統、設備、和計算機可讀介質的實施例以用於促成由第一計算設備的第一用戶和第二計算設備的第二用戶對媒體內容的同時消費。在各個實施例中，基於從第二計算設備接收到的捕獲的第二用戶的視覺數據，促成可以包括在第一計算設備上所呈現的媒體內容上的對第二用戶的動畫的疊加。在確定第一用戶對第二用戶有興趣之後，可以將動畫在視覺上強化。促成可以包括至少部分地基於第二用戶是否被第一用戶分配了可信狀態的對捕獲的第一用戶的視覺數據的有條件改變，以及第一用戶的改變的或未改變的視覺數據到第二計算設備的傳輸。
【專利說明】使用疊加動畫促成由多個用戶對媒體內容的同時消費
[0001]相關申請的交叉引用
[0002]本申請要求享有於2012年6月25日遞交的、美國專利申請N0.13/532，612的優先權，該專利申請的全部內容特此以引用的方式全部併入本文以用於所有目的。
【技術領域】
[0003]本發明的實施例總體上涉及數據處理的【技術領域】，並且更具體地，涉及使用疊加動畫促成由多個用戶對媒體內容的同時消費。
【背景技術】
[0004]本文中所提供的背景描述是為了總體上呈現出本公開的背景的目的。就本背景部分中所描述的程度來說，目前所指定的
【發明者】的工作，以及在本發明遞交時可能沒有資格作為現有技術的本描述中的方面，既不能明確地也不能隱含地被承認為針對本公開的現有技術。除非在本文中另有說明，在本部分中所描述的方法不是針對本公開中的權利要求的現有技術，並且將其包括在本部分中並不是被承認為是現有技術。
[0005]人們可能希望一起消費媒體內容。例如，一群朋友可以聚在一起觀看電影、電視節目、體育賽事、家庭錄像或其它類似的媒體內容。朋友們可以在展示期間互相交流以增強媒體消費體驗。物理上相互分離的和不能聚在單個位置中的兩個或更多的人可能仍然希望分享媒體內容消費體驗。
【專利附圖】
【附圖說明】
[0006]通過以下詳細描述以及附圖，將容易理解實施例。為了便於本描述，相似的附圖標記指代相似的結構元件。以示例的方式而非限制的方式在附圖的圖中示出了實施例。
[0007]圖1示意性地示出了根據各個實施例的示例計算設備，其被使用本公開的教學內容的適用部分進行配置，與其它被類似配置的遠程計算設備進行通信。
[0008]圖2示意性地描繪了根據各個實施例的圖1的情景，其中計算設備的用戶已經表明了對遠程用戶的特定疊加動畫的興趣。
[0009]圖3示意性地描繪了根據各個實施例的圖1的情景，其中計算設備的用戶已經表明了對遠程用戶的興趣超過對疊加動畫的媒體內容的興趣。
[0010]圖4示意性地描繪了根據各個實施例的可以由計算設備實施的示例方法。
[0011]圖5示意性地描繪了根據各個實施例的可以由計算設備實施的另一個示例方法。
[0012]圖6示意性地描繪了根據各個實施例的可以在其上實施所公開的方法和計算機可讀介質的示例計算設備。
【具體實施方式】
[0013]在以下詳細描述中，參考了構成該詳細描述的一部分的附圖，其中相似附圖標記指代相似部件，並且其以說明的方式示出了可以被實現的實施例。應當理解，可以利用其它實施例並且可以進行結構或邏輯改變而不背離本公開的範圍。因此，以下詳細描述不應被認為是限制性的，並且由所附權利要求和它們的等價物來限定實施例的範圍。
[0014]可以以最有助於理解所要求保護的主題的方式，將各個操作描述為多個依次進行的分立行動或操作。然而，描述的順序不應被解釋為暗示了這些操作一定是順序相關的。特別地，這些操作可以不按照展示的順序來執行。可以按不同於所描述的實施例的順序來執行所描述的操作。在額外實施例中，可以執行額外的操作和/或可以省略所描述的操作。
[0015]為了本公開的目的，短語「A和/或B」意味著⑷、⑶或(A和B)。為了本公開的目的，短語「A、B和/或C，，意味著(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
[0016]本描述可以使用短語「在一個實施例中」或「在實施例中」，其中的每個可以指代一個或多個相同或不同的實施例。此外，如關於本公開的實施例所使用的，術語「包括」、「包含」、「具有」等是同義的。
[0017]如在本文中所使用的，術語「模塊」可以指代以下組件、是以下組件的一部分、或包括以下組件:專用集成電路(「ASIC」)、電子電路、執行一個或多個軟體或固件程序的處理器(共享、專用、或組)和/或存儲器(共享、專用、或組)、組合邏輯電路、和/或提供所描述功能的其它適合的組件。
[0018]圖1示意性地描繪了根據各個實施例的示例計算設備100，其被使用本公開的教學內容的適用部分進行配置。計算設備100被描繪為平板計算設備，但是這並不意味著是限制性的。計算設備100可以是各種其它類型的計算設備(或其組合)，包括但不限於:膝上型計算機、上網本計算機、筆記本計算機、超級本、智慧型電話、個人數字助理(「PDA」)、超級移動PC、行動電話、臺式計算機、伺服器、印表機、掃描儀、監視器、機頂盒、娛樂控制單元(例如，遊戲機)、數位相機、可攜式音樂播放機、數字視頻錄像機、電視(例如，等離子、液晶顯示或「IXD」、陰極射線管「CRT」、投影屏幕)等。
[0019]計算設備100可以包括顯示器102。顯示器102可以是各種類型的顯示器，其包括但不限於:等離子、IXD、CRT等。在一些實施例中(未示出)，顯示器可以包括投影表面，其中投影儀可以將具有如本文中所描述的疊加動畫的圖形投影到該投影表面上。在各個實施例中，顯示器102可以是觸控螢幕顯示器，其可以用於向計算設備100提供輸入並操作計算設備100。在各個實施例中，計算設備100可以包括額外的輸入控制(未示出)以促成在經由觸控螢幕顯示器之外的或者替代經由觸控螢幕顯示器的輸入。
[0020]在各個實施例中，計算設備100可以包括照相機104，其被配置為捕獲視覺數據，例如一個或多個幀和/或數字圖像。如將在下文描述的，捕獲的視覺數據可以被傳輸到遠程計算設備並用於促成由該遠程設備進行的在其它內容上的動畫疊加。
[0021]儘管照相機104被示為圖1-3中的計算設備100的組成部分，但是這並不意味著是限制性的。在各個實施例中，照相機104可以與計算設備100分離。例如，照相機104可以是使用一條或多條導線或無線地連接到計算設備100的外部照相機(例如，網絡攝像頭)。
[0022]在各個實施例中，計算設備100可以包括眼球追蹤設備106。在各個實施例中，例如圖1中所示的計算平板，照相機104還作為眼球追蹤設備106。然而，這不是必須的。在各個實施例中，眼球追蹤設備106可以與照相機104分離，並且可以是不同類型的設備和/或不同類型的照相機。例如，在計算設備100是電視或連接到電視的遊戲機的實施例中，眼球追蹤設備106可以是可操作地耦合到該電視或遊戲機的照相機或其它設備(例如，動作捕獲設備)。在圖3中示出了這樣的示例，並且將在下文描述。
[0023]在各個實施例中，可以使用軟體、硬體或兩者的任意組合來分析由照相機104和/或眼球追蹤設備106捕獲的視覺數據以確定和/或估計用戶正在看顯示器102的哪個部分(如果有的話)。該確定可以包括各種操作，其包括但不限於:確定用戶的臉和/或眼睛與顯示器102的距離，在視覺數據中識別用戶的眼睛的一個或多個特徵，例如瞳孔，測量所識別的特徵之間的距離等。如將在下文所討論的，可以以各種方式來使用對用戶正在看顯示器102的哪個部分(並因此表明有興趣)以及用戶沒有在看顯示器102的哪個部分(並因此表明無興趣)的確定。
[0024]計算設備100可以經由一個或多個網絡與各種遠程計算設備進行通信。例如，在圖1和圖2中，計算設備100與第一無線網絡接入節點108進行無線通信，該第一無線網絡接入節點108自身與網絡110進行通信。在各個實施例中，第一無線接入節點108可以是計算設備100可以無線地連接到的演進節點B、WiMAXdEEE 802.16系列)接入點、W1-Fi (IEEE 802.11系列)接入點、或任何其它節點。網絡110可以包括一個或多個個域網、區域網、或廣域網、專用網絡和/或公用網絡，其包括但不限於網際網路。儘管示出了無線設備100無線地連接到網絡110，但是這並不意味著是限制性的，並且計算設備100可以以任何方式(包括經由所謂的「有線」連接)連接到一個或多個網絡。
[0025]計算設備100可以與任意數量的遠程計算設備進行網絡通信。例如，在圖1和圖2中，計算設備100與第一遠程計算設備112和第二遠程計算設備114進行網絡通信。與計算設備100的情況一樣，第一和第二遠程計算設備112、114可以是任何類型的計算設備，例如之前所提到的那些計算設備。例如，在圖1中，第一遠程計算設備112是智慧型電話而第二遠程計算設備114是膝上型計算機。
[0026]示出了第一遠程計算設備112無線地連接到另一個無線網絡接入節點116。示出了第二遠程計算設備114經由有線連接而連接到網絡110。然而，由遠程計算設備所使用的網絡連接的類型並不是實質性的。任何計算設備可以使用任何類型的網絡連接以本文中所描述的方式而與任何其它計算設備進行通信。
[0027]在各個實施例中，計算設備100可以被配置為促成由計算設備100的用戶(未示出)與一個或多個遠程計算設備的一個或多個用戶(例如，第一遠程計算設備112的第一遠程用戶118和/或第二遠程計算設備114的第二遠程用戶120)對媒體內容的同時消費。在各個實施例中，計算設備100可以被配置為在計算設備100上所呈現的媒體內容122上疊加遠程用戶的一個或多個動畫。
[0028]在各個實施例中，可以基於從遠程計算設備接收到的視覺數據，由計算設備100來渲染一個或多個疊加的動畫。在各個實施例中，從遠程計算設備接收到的視覺數據可以基於在遠程計算設備處捕獲的遠程用戶(例如，118、120)的視覺數據。
[0029]如在本文中所使用的，術語「動畫(animat1n) 」可以指代從捕獲的視覺數據製造的移動視覺表示。這可以包括但不限於捕獲的視覺數據的視頻(例如，位圖)再現，視覺數據的藝術詮釋(例如，基於捕獲的用戶的視覺數據所渲染的卡通)等。換言之，在本文中，「動畫」被用作動詞「使動畫(animate)」(其意為「帶來生機」)的名詞形式。因此，「動畫」指代「使有生機」的描繪或渲染(與「無生機」相反)。「動畫」並不限於繪畫者所創建的圖畫。
[0030]在各個實施例中，媒體內容122可以包括但不限於音頻和/或可視內容例如，視頻(例如，流)、視頻遊戲、網頁、幻燈片、演示(presentat1n)等。
[0031]通過將遠程用戶的動畫疊加在媒體內容上，相互遠離的兩個或更多用戶可以能夠「一起」消費媒體內容。每個用戶可以看到被疊加在媒體內容上的其它用戶的動畫。因此，例如，相互遠離的兩個或更多的朋友可以分享觀看電影、電視節目、體育賽事等的體驗。
[0032]在圖1中，第一動畫124和第二動畫126 (分別代表第一遠程用戶118和第二遠程用戶120)可以被疊加在計算設備100的顯示器102上的媒體內容122上。第一動畫124可以基於由計算設備100從第一遠程計算設備112 (例如，從第一遠程計算設備112的照相機(未示出)上)接收到的第一遠程用戶118的捕獲的視覺數據。例如，第一動畫124可以是描繪第一遠程用戶118的視頻流。類似地，第二動畫126可以基於在計算設備100處接收到的來自第二遠程計算設備114的第二遠程用戶120的捕獲的視覺數據。
[0033]在各個實施例中，在其上渲染了動畫的視覺數據可以以各種形式在計算設備之間傳輸。在各個實施例中，一臺計算機可以以位圖的形式(例如，*.png或具有阿爾法遮罩(alpha mask)的其它可視文件的視頻流)將捕獲的視覺數據傳輸到另一臺計算機。在其它實施例中，可以使用具有結合了阿爾法的流視頻來傳輸捕獲的視覺數據。在又一個實施例中，可以使用位圖(例如，RGB)幀和深度幀的流(從其可以渲染二維(「2D」)或三維(「3D」)動畫)來傳輸捕獲的視覺數據。
[0034]在圖1-3中，在接近顯示器102底部處渲染動畫，從而使得計算設備100的用戶仍可以查看媒體內容122。然而，這並不意味著是限制性的。諸如第一動畫124和第二動畫126這樣的動畫可以在顯示器102的任何部分上渲染。在一些實施例中，可以在多個顯示器上顯示動畫。例如，如果臺式計算機用戶有多個監視器，則可以在一個監視器或另一個監視器上顯示動畫中的一個或多個。在各個實施例中，這些動畫可以被疊加在一個或兩個監視器上的內容122上。
[0035]在各個實施例中，在由計算設備100確定用戶對特定動畫的興趣之後，可以將該動畫在視覺上強化。如在本文中所使用的，將動畫「在視覺上強化」可以指相比於其它疊加的動畫或媒體內容，不同地渲染該動畫，以便相對於一個或多個其它動畫而引起對一個動畫的注意，或另外將一個動畫從一個或多個其它動畫中區別開。
[0036]例如，在圖1中，以白色和黑色輪廓線描繪第一和第二動畫124、126以表示這兩個動畫被均等地在視覺上強化，從而相對於另一個動畫，用戶的注意並沒有被更加吸引到一個動畫。例如，;兩個動畫都可以實時描繪第一和第二用戶並且可以以幾乎均等顯著的方式來渲染。換言之，兩個動畫都沒有「在視覺上淡化」。
[0037]「在視覺上淡化」可以指以以下方式來渲染動畫:不引起對該動畫的注意或以將注意力從該動畫引開(例如，引到在視覺上被強化的另一個動畫或引到其下面的媒體內容)的方式將該動畫從其它動畫或媒體內容中區別開。在圖2中示出了視覺淡化的示例。以全黑色示出第一動畫124以表示其在視覺上被淡化。以白色和黑色輪廓線示出第二動畫126以表明其在視覺上被強化。
[0038]在各個實施例中，可以以各種方式在視覺上淡化遠程用戶的動畫。例如，可以以例如單一顏色(例如，灰色、黑色、或任何其它顏色或陰影)來渲染遠程用戶的剪影，而不是渲染出具有全部顏色或全部特徵的用戶的動畫。在各個實施例中，可以以陰影來渲染遠程用戶。在一些實施例中，在視覺上被淡化的動畫可以根本不被動畫，或以相比於在視覺上被強化的動畫更慢的幀速率來進行動畫。
[0039]在圖3中，第一動畫124和第二動畫126都在視覺上被淡化。當計算設備100的用戶還沒有表明對任何一個用戶的興趣時，可以發生這種情況。例如，用戶可能已表明對查看媒體內容122的興趣，而不是對遠程用戶的動畫的興趣。當用戶表明對一個或另一個動畫的興趣時，則可以由計算設備100將用戶對其表達出興趣的動畫在視覺上強化。
[0040]用戶可以以各種方式表明對特定動畫或顯示器102的其它部分有興趣或無興趣。例如，照相機104和/或眼球追蹤設備106可以被配置為收集與用戶的眼球運動相關的數據。基於該數據，計算設備100可以計算用戶在觀看顯示器102的哪個部分(如果有的話)。
[0041]例如，在圖2中，基於來自眼球追蹤設備106的輸入，計算設備100可能已經確定用戶在關注(或在觀看)第二動畫126。由此，計算設備100可以將第二動畫126在視覺上強化並且將第一動畫124在視覺上淡化。
[0042]作為另一個示例，在圖3中，基於來自眼球追蹤設備106的輸入，計算設備可能已經確定用戶在關注媒體內容122，和/或沒有關注第一動畫124或第二動畫126。由此，計算設備100可以將第一動畫124和第二動畫126都在視覺上淡化，以促成對媒體內容122的較少分心的觀看。
[0043]儘管未在圖1-3中示出，但是類似於計算設備100，第一遠程計算設備112和第二遠程計算設備114可以同時顯示媒體內容122以及對其它遠程用戶的動畫的疊加。例如，第一遠程計算設備112可以將計算設備100的用戶(未示出)的動畫和第二遠程用戶120的動畫疊加在媒體內容122上。類似地，第二遠程計算設備114可以將計算設備100的用戶(未示出)和第一遠程用戶118的動畫疊加在媒體內容122上。另外，儘管示出了三個計算設備，但是應當理解的是，用本公開的適用部分進行配置的任意數量的計算設備可以參與媒體內容同時觀看會話。
[0044]儘管圖中所示的動畫描繪了遠程用戶的整個身體，但是這並不意味著是限制性的。在各個實施例中，可以渲染出少於遠程用戶的整個身體。例如，在一些實施例中，可以描繪遠程用戶的一部分，例如軀幹以上(例如，遠程用戶的半身像)。在一些情況中，可以在鄰近顯示器底部處渲染動畫從而使得遠程用戶的動畫看起來從顯示器的底部「彈出」。遠程用戶的其它部分(例如，僅頭部、胸部以上、膝部或腿部以上、遠程用戶的一半或另一半等)也可以被動畫。
[0045]在一些實施例中，計算設備100可以被配置為裁剪捕獲的遠程用戶的視覺數據和/或所得到的動畫。例如，捕獲的遠程用戶的視覺數據包括遠程用戶的整個身體和背景。在各個實施例中，計算設備100可以被配置為自動地剪裁掉不需要的部分，例如遠程用戶的腿和/或背景中的空白空間。
[0046]在各個實施例中，計算設備100可以被配置為基於各種標準而動態地和/或自動地對捕獲的其自身的本地用戶或遠程用戶的視覺數據進行剪裁。例如，基於確定視覺數據的區域(在其中表示了本地或遠程用戶)佔用少於全部視覺數據的預先確定的部分，計算設備100可以動態地剪裁計算設備100的本地用戶的視覺數據或遠程用戶的視覺數據的至少一部分。如果本地或遠程用戶來回移動，例如靠近他或她的照相機，則本地或遠程用戶在觀看區域內可以變得更大。在這種情況中，計算設備100可以根據需要動態地減少剪裁。從而，計算設備100可以確保在其提供給遠程計算設備的視覺數據中以及在其從遠程計算設備接收到的視覺數據中，用戶(本地或遠程)的動畫具有適當的大小和比例。
[0047]在各個實施例中，除了渲染遠程用戶的動畫之外，計算設備100還可以渲染計算設備100的本地用戶的動畫。這可以允許用戶看到遠程用戶將會看到的東西。這還可以通過將本地用戶的動畫放置在與遠程用戶的動畫的「公共區域」中來增加團體感。如將在下文進一步討論的，這還可以促成用戶進行的關於他或她的隱私的決策。
[0048]在各個實施例中，可以使用安裝在每個計算設備上的點對點和/或客戶端-伺服器軟體來實施媒體內容同時分享會話。在各個實施例中，即使一個或多個用戶退出媒體內容同時分享會話，該會話仍可以持續。例如，在圖1中，如果第一遠程用戶118要退出，則計算設備100上的第一動畫124可以消失，但是只要計算設備100和第二遠程計算設備114保持媒體內容同時分享會話，第二動畫126就可以持續。
[0049]在各個實施例中，用戶可以能夠加入(或重新加入)現有的媒體內容同時分享會話。例如，在圖1和2中，第二遠程用戶120經由膝上型計算機來參與。然而，在圖3中，第二遠程用戶120可能已經在膝上型計算機上退出了該媒體內容同時分享會話並且可能已經使用第三遠程計算設備128 (其使用本公開的適用部分來配置)而重新加入。
[0050]在圖3中，第三遠程計算設備128是連接到電視130的遊戲機的形式。在該布置中，電視130可以與計算設備100的顯示器102發揮類似的功能。第三遠程計算設備128還可以可操作地耦合到運動感應設備132。在各個實施例中，運動感應設備132可以包括照相機(未示出)。在各個實施例中，運動感應設備132可以包括眼球追蹤設備(未示出)。
[0051]在各個實施例中，除了疊加動畫之外，計算設備100還可以從遠程計算設備接收音頻或其它數據並將其呈現給用戶。例如，遠程計算設備(例如，112、114、128)可以配備有麥克風(未示出)以錄製遠程用戶(例如，118、120)的聲音。遠程計算設備可以將接收到的音頻數位化並將其傳輸到計算設備100。計算設備100可以在聽覺上渲染接收到的音頻數據，例如結合動畫(例如，124、126)。
[0052]當多個用戶同時分享媒體內容時，用戶可能希望防止來自遠程用戶的音頻中斷媒體內容的音頻部分。由此，在各個實施例中，用戶可以能夠禁止(例如，靜音)來自一個或多個遠程用戶的音頻，即使仍允許那些遠程用戶的動畫出現在顯示器102上。在各個實施例中，計算設備100可以被配置為在顯示器102上的媒體內容上疊加一個或多個遠程用戶的語音的文本表示。這種情況的示例在圖3中可見，其中已經在媒體內容122上疊加了呼叫氣泡140以顯示第二遠程用戶120所作的評論的文本表示。
[0053]在各個實施例中，在計算設備100處的遠程用戶的語音的文本表示可以基於從遠程計算設備接收到的語音轉文本數據。在各個其它實施例中，遠程用戶的語音的文本表示可以基於由計算設備100從遠程計算設備接收到的音頻數據。在後一種情況中，計算設備100可以被配置為利用語音轉文本軟體來將接收到的音頻轉換為文本。
[0054]可以以各種方式由多個用戶來同時消費媒體。在各個實施例中，可以在多個計算設備(例如，100、112、114、128)之間將流視頻或其它媒體內容同步，從而使得所有用戶同時看到相同的內容。可以以各種方式發布媒體內容。在一些實施例中，第一用戶可以具有媒體內容並可以將其提供給其它用戶。例如，計算設備100的用戶可以具有流視頻的帳號(例如，訂閱點播視頻流)並可以將該流的副本轉發給遠程計算設備(例如，112、114、128)。在這種情況中，第一用戶的計算設備可以在視頻流的播放中插入延遲，從而使得其不會在遠程計算設備上的視頻流播放之前播放。
[0055]在其它實施例中，媒體內容可以位於中間(例如，在內容伺服器處)，並且計算設備可以單獨地連接到內容伺服器或從內容伺服器進行流式傳輸。在這種情況中，計算設備可以交換同步信號以確保每個用戶同時觀看相同的內容。在一些實施例中，如果用戶暫停了計算設備100上的媒體內容的播放，則在其它參與的計算設備(例如，遠程計算設備112、114、128)上的內容的播放可以被暫停。
[0056]在各個實施例中，可以採用隱私機制來保護用戶的隱私。例如，計算設備100的用戶可以指示計算設備100 (例如，向遠程計算設備(例如，112、114))僅提供足以供遠程計算設備來渲染用戶動畫的剪影或陰影的視覺數據。在一些實施例中，用戶可以引導計算設備100以根本不提供捕獲的視覺數據。在一些實施例中，用戶可以引導計算設備100以僅在某時段期間捕獲視覺數據和/或在其它時段期間限制捕獲或改變/扭曲視覺數據。
[0057]在一些實施例中，計算設備100可以採用一個或多個圖像處理濾波器以使得渲染在遠程計算設備上的用戶的動畫難以辨認和/或不完全渲染。例如，由計算設備100的照相機104捕獲的視覺數據可以穿過一個或多個圖像處理濾波器以模糊、像素化、或另外改變數據。在一些實施例中，用戶可以引導計算設備100以從捕獲的視覺數據中移除一些特徵，以使得所得到的動畫具有減少的幀速率。附加地或替代地，計算設備100可以降低照相機104的採樣速率以捕獲較粗糙的視覺數據。
[0058]在一些實施例中，計算設備100可以被配置為例如響應於從遠程計算設備(例如，112,114)接收到的指令以保護遠程用戶的隱私。例如，計算設備100可以被配置為改變(例如，通過穿過圖像處理濾波器)代表遠程用戶的視覺數據(該視覺數據本來會另被完全渲染)，從而使得所得到的遠程用戶的動畫難以辨認或另不被完全渲染。
[0059]在各個實施例中，用戶可以將可信狀態分配給一個或多個遠程用戶。此後，那些遠程用戶可以被認為是用戶的「聯繫人」之一。當用戶的聯繫人之一加入或重新加入媒體內容同時觀看會話時，該聯繫人的動畫可以出現、重新動畫、或另發生外觀變化。當用戶的聯繫人之一離開媒體內容同時觀看會話時，該聯繫人的動畫可以消失、變成臥姿、或另發生外觀變化。
[0060]在一些實施例中，根據目標遠程計算設備的遠程用戶是否已被分配了可信狀態，計算設備100可以有條件地改變傳輸到遠程計算設備的視覺數據。例如，計算設備100可以發送「完整」或未改變的視覺數據到用戶的聯繫人，或發送到被分配了比其它聯繫人更高的可信狀態的特定聯繫人(例如，「親密好友」)。計算設備100可以發送不完整視覺數據(例如，具有被移除的幀的視覺數據或用降低的採用率捕獲的視覺數據)或改變的視覺數據(例如，被模糊的、被像素化的等)到被認為更疏遠的聯繫人(例如，熟人)。在一些實施例中，計算設備100可以發送很少甚至不發送視覺數據、或被嚴重改變的視覺數據到沒有被分配可信狀態的用戶的遠程計算設備。
[0061]在各個實施例中，在計算設備100將要在媒體內容上疊加遠程用戶的動畫，或為遠程計算設備提供捕獲的用戶的視覺數據之前，計算設備100可以請求執行與遠程計算設備(例如，112、114)的握手程序。例如，在計算設備100將要在媒體內容上疊加遠程用戶的動畫，或為遠程計算設備提供視覺數據之前，可以要求計算設備100的用戶點擊或另外選擇表示遠程用戶的圖標或其它圖形。在一些實施例中，計算設備100可以疊加用戶的「最親密」聯繫人(例如，已被用戶分配了相對高的信任等級的聯繫人)的動畫，或為最親密聯繫人提供捕獲的該用戶的視覺數據，而無需請求任何握手。
[0062]在一些實施例中，可以將圖像處理應用於視覺數據以為了隱私之外的目的。例如，在一些實施例中，可以由計算設備100來實施背景減除以從「減出」用戶並視覺數據中減掉背景。當遠程計算設備使用視覺數據疊加用戶的動畫時，用戶可以單獨地被渲染，而沒有任何背景。
[0063]在各個實施例中，可以以2D和/或3D來渲染諸如第一動畫124和第二動畫126這樣的疊加的動畫。在將動畫以3D渲染的實施例中，計算設備100可以被配置為對遠程用戶的動畫的疊加採用視差校正。在一些3D實施例中，捕獲的視覺數據(其中，動畫基於該視覺數據)可以作為點雲、頂點列表、三角形列表而在計算設備之間傳輸。
[0064]在計算設備100被配置為以3D來渲染動畫的實施例中，計算設備100可以以多種方式來這樣做。例如，在一些實施例中，計算設備100可以在2D屏幕上渲染3D幾何。在其它3D實施例中，計算設備100可以在立體顯示器上以3D來渲染3D幾何，並且用戶可以戴上3D眼鏡。
[0065]可以以各種方式在顯示器102上渲染遠程用戶的動畫的疊加。在各個實施例中，可以在透明窗中渲染遠程用戶的動畫的疊加，該透明窗自身被疊加在顯示器102上所顯示的其它內容的全部或一部分上。
[0066]圖4描繪了可以在計算設備(例如，計算設備100、第一遠程計算設備112、第二遠程計算設備114、和/或第三遠程計算設備128)上實施的示例方法400。在塊402，可以例如由計算設備100從遠程計算設備接收捕獲的該遠程計算設備的遠程用戶的視覺數據。在塊404，可以例如由計算設備100來呈現媒體內容(例如,視頻、共享的網頁瀏覽會話、幻燈片等)，在遠程計算設備上同時呈現該媒體內容。
[0067]在塊406，可以例如由計算設備100來確定計算設備的用戶對遠程用戶有興趣或無興趣。例如，計算設備100可以從眼球追蹤設備(例如，106)接收數據，計算設備100可以用該數據來確定用戶在看哪個位置。如果遠程用戶的動畫在該位置或距離該位置特定的距離，則可以例如由計算設備100來確定該用戶對遠程用戶有興趣。
[0068]在塊408，基於接收到的視覺數據，可以例如由計算設備100將遠程用戶的動畫疊加在媒體內容(例如，122)上。在塊410，基於對用戶興趣的確定結果，可以例如由計算設備100將動畫在視覺上強化或淡化。例如，如果用戶對遠程用戶有興趣，則遠程用戶的動畫可以被完全渲染。如果用戶對遠程用戶無興趣，則遠程用戶的動畫可以例如以陰影、以較低的幀速率、像素化等來不完全渲染。在塊410之後，如果媒體同時分享會話仍在進行中，則方法400可以回到塊402。如果會話終止了，則方法400可以進行到結束塊。
[0069]圖5描繪了可以在計算設備(例如，計算設備100、第一遠程計算設備112、第二遠程計算設備114、和/或第三遠程計算設備128)上實施的示例方法500。在塊502，可以例如由照相機104捕獲視覺數據。在塊504，可以例如由照相機104確定計算設備100的用戶希望與其同時消費媒體內容的一個或多個遠程用戶是否被包含在具有可信狀態的遠程用戶(例如，聯繫人)列表中。如果答案為否，則在塊506，可以例如由計算設備100改變捕獲的用戶的視覺數據以保持用戶的隱私。例如，可以提供視覺數據使其通過一個或多個圖像處理濾波器(例如，模糊濾波器、像素化濾波器)或另將其改變以使得在遠程計算設備上所得到的動畫難以辨認、扭曲和/或不完全表露。在塊508，可以例如由計算設備100將改變的視覺數據傳輸到遠程計算設備(例如，112、114、128)。在塊508之後，如果媒體同時分享會話仍在進行中，則方法500可以回到塊502。如果會話終止了，則方法500可以進行到結束塊。
[0070]如果在塊504答案為是，則在塊510，可以例如由計算設備100來確定用戶是否需要隱私。例如，計算設備100可以確定是否設置了隱私標誌、或者當前時間是否在用戶已表明的需要隱私的時間段內。如果用戶需要隱私，則方法500可以進行到塊506，並且可以在傳輸之前將視覺數據改變以保護用戶的隱私。如果在塊510答案為否，則在塊508，可以例如由計算設備100來傳輸未改變的視覺數據到一個或多個遠程計算設備(例如，112、114、128)。
[0071]圖6示出了根據各個實施例的示例計算設備600。計算設備600可以包括多個組件，處理器604和至少一個通信晶片606。在各個實施例中，處理器604可以是處理器內核。在各個實施例中，至少一個通信晶片606還可以被物理地和電地耦合到處理器604。在進一步的實施中，通信晶片606可以是處理器604的一部分。在各個實施例中，計算設備600可以包括印刷電路板(「PCB」)602。對於這些實施例，處理器604和通信晶片606可以被布置在其上。在替代實施例中，各個組件可以被耦合而無需採用PCB 602。
[0072]根據其應用，計算設備600可以包括可以或可以不被物理地和電地耦合到PCB602的其它組件。這些其它組件包括但不限於:易失性存儲器(例如，動態隨機存取存儲器608，也稱為「DRAM」)、非易失性存儲器(例如，只讀存儲器610，也稱為「ROM」)、閃速存儲器612、圖形處理器614、數位訊號處理器(未不出)、加密處理器(未不出)、輸入/輸出(「I/O」)控制器616、天線618、顯示器(未示出)、觸控螢幕顯示器620、觸控螢幕控制器622、電池624、音頻編解碼器(未示出)、視頻編解碼器(未示出)、全球定位系統(「GPS」)設備628、指南針630、加速計(未示出)、陀螺儀(未示出)、揚聲器632、照相機634、和大容量存儲設備(例如，硬碟驅動器、固態驅動器、光碟(「CD」)、數字多功能盤(「DVD」))(未示出)等。在各個實施例中，處理器604可以與其它組件集成在相同管芯上以形成片上系統(「SoC」)。
[0073]在各個實施例中，易失性存儲器(例如，DRAM 608)、非易失性存儲器(例如，ROM610)、閃速存儲器612、和大容量存儲設備可以包括程序指令，其被配置為響應於由處理器604的執行來使得計算設備600能夠實現方法400和/或500的所有或選定的方面。例如，諸如易失性存儲器(例如，DRAM 608)、非易失性存儲器(例如，ROM 610)、閃速存儲器612、和大容量存儲設備這樣的存儲器組件中的一個或多個可以包括指令的臨時和/或永久副本(示為圖6中的控制模塊636)，其被配置為使得計算設備600能夠實現所公開的技術，例如方法400和/或方法500的所有或選定的方面。
[0074]通信晶片606可以啟用有線和/或無線通信以用於將數據傳輸到計算設備600或從計算設備600傳輸數據。術語「無線」及其衍生詞可以用於描述可以通過經由非固態介質的調製電磁輻射的使用來通信數據的電路、設備、系統、方法、技術、通信信道等。該術語並不暗示相關聯的設備不含有任何導線，儘管在一些實施例中它們可能不含有導線。通信晶片606可以實施以下多種無線標準或協議中的任何一種，包括但不限於:IEEE802.11 ( 「WiFi」)、IEEE 802.16( 「WiMAX」)、IEEE 702.20、長期演進(「LTE」)、通用分組無線業務(「GPRS」)、演進數據最優化(「Ev-DO」)、演進高速分組接入(「HSPA+」)、演進高速下行鏈路分組接入(「HSDPA+」)、演進高速上行鏈路分組接入(「HSUPA+」)、全球移動通信系統(「GSM」)、增強型數據速率GSM演進(「EDGE」)、碼分多址(「CDMA」)、時分多址(「TDMA」)、數字增強無繩通信(「DECT」)、藍牙、其衍生物、以及被指定為3G、4G、5G和更高代的任何其它無線協議。計算設備600可以包括多個通信晶片606。例如，第一通信晶片606可以專用於諸如W1-Fi和藍牙這樣的較短距離無線通信而第二通信晶片606可以專用於較長距離無線通信，例如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等。
[0075]在各個實施例中，計算設備600可以是膝上型計算機、上網本計算機、筆記本計算機、超級本、智慧型電話、計算平板、個人數字助理(「PDA」)、超便攜PC、行動電話、臺式計算機、伺服器、印表機、掃描儀、監視器、機頂盒、娛樂控制單元(例如，遊戲機)、數位相機、可攜式音樂播放機、或數字視頻錄像機。在進一步的實施中，計算設備600可以是處理數據的任何其它電子設備。
[0076]在本文中描述了裝置、計算機實施的方法、系統、設備、和計算機可讀介質的實施例以用於促成由第一計算設備的第一用戶和第二計算設備的第二用戶對媒體內容的同時消費。在各個實施例中，基於從第二計算設備接收到的捕獲的第二用戶的視覺數據，所述促成可以包括在第一計算設備上所呈現的媒體內容上的對第二用戶的動畫的疊加。在各個實施例中，在確定第一用戶對第二用戶有興趣之後，可以將動畫在視覺上強化。在各個實施例中，第一用戶的興趣的確定可以基於從與第一計算設備相關聯的眼球追蹤輸入設備接收到的數據。
[0077]在各個實施例中，在確定第一用戶對第二用戶有興趣或對第三用戶無興趣之後，可以將在第一計算設備上所呈現的媒體內容上的對第三計算設備的第三用戶的動畫的疊加在視覺上進行淡化。在各個實施例中，第一計算設備可以以陰影來渲染第三用戶的動畫的疊加，以在視覺上淡化第三用戶的動畫的疊加。
[0078]在各個實施例中，第二用戶的動畫的疊加包括鄰近第一計算設備的顯示器底部處的第二用戶的動畫的疊加。在各個實施例中，可以對第二用戶的動畫的疊加採用視差校正。
[0079]在各個實施例中，可以將第二用戶的語音的文本表示疊加在媒體內容上。在各個實施例中，第二用戶的語音的文本表示可以基於從第二計算設備接收到的語音轉文本數據或從第二計算設備接收到的音頻數據。在各個實施例中，可以以透明窗來渲染第二用戶的動畫的疊加。
[0080]在各個實施例中，至少部分地基於第二用戶是否被第一用戶分配了可信狀態，可以將捕獲的第一用戶的視覺數據在視覺上改變。在各個實施例中，可以將捕獲的第一用戶的視覺數據傳輸到第二計算設備。在各個實施例中，捕獲的視覺數據可以被配置為使得第二計算設備在第二計算設備上所顯示的媒體內容上疊加第一用戶的動畫。
[0081]在各個實施例中，有條件的改變可以包括對捕獲的第一用戶的視覺數據的圖像處理，所述圖像處理包括模糊、像素化、背景減除、或幀移除。在各個實施例中，可以響應於確定第二用戶沒有被第一用戶分配可信狀態而改變捕獲的第一用戶的視覺數據。
[0082]在各個實施例中，捕獲的第一或第二用戶的視覺數據中的至少一些視覺數據可以被自動地剪裁。在各個實施例中，基於確定視覺數據的區域(在其中表示了第一或第二用戶)佔用少於全部捕獲的第一或第二用戶的視覺數據的預先確定的部分，捕獲的第一或第二用戶的視覺數據中的至少一些視覺數據可以被動態地剪裁。
[0083]儘管為了描述的目的在本文中示出和描述了某些實施例，但是本申請是要覆蓋本文中所討論的實施例的任何適應或變型。因此，顯然希望的是，僅由權利要求來限制本文中所描述的實施例。
[0084]在本公開陳述「一個」或「第一」元件或其等同物處，該公開包括一個或多個這樣的元件，既不要求也不排除兩個或更多這樣的元件。此外，針對所識別的元件的順序指示(例如，第一、第二或第三)用於區別元件，並且並不表明或暗示要求或限定數量的這種元件，它們也不表明特定這種元件的特定位置或順序，除非另作特別說明。
【權利要求】
1.一種計算機實現的方法，包括: 由被第一用戶使用的第一計算設備接收從第二計算設備接收到的捕獲的第二用戶的視覺數據； 在所述第一計算設備上呈現媒體內容，同時地，在所述第二計算設備上呈現所述媒體內容； 由所述第一計算設備確定所述第一用戶對所述第二計算設備的所述第二用戶有興趣或無興趣； 基於所述捕獲的第二用戶的視覺數據，由所述第一計算設備在所述第一計算設備上呈現的所述媒體內容上疊加所述第二用戶的動畫；並且 基於確定的結果，由所述第一計算設備將所述動畫在視覺上進行強化或淡化。
2.根據權利要求1所述的計算機實現的方法，其中，確定所述第一計算設備的用戶有興趣或無興趣包括:由所述第一計算設備從眼球追蹤設備接收眼球追蹤數據，並且基於所述眼球追蹤數據，確定所述用戶正在看的位置。
3.根據權利要求1所述的計算機實現的方法，進一步包括:在確定所述第一用戶對所述第二用戶有興趣或對第三計算設備的第三用戶無興趣時，將在所述第一計算設備上呈現的所述媒體內容上的所述第三用戶的動畫的疊加在視覺上進行淡化。
4.根據權利要求3所述的計算機實現的方法，進一步包括:由所述第一計算設備以陰影來渲染所述第三用戶的動畫的疊加，以將所述第三用戶的動畫的疊加在視覺上進行淡化。
5.根據權利要求1所述的計算機實現的方法，其中，所述第二用戶的動畫的疊加包括在鄰近所述第一計算設備的顯示器的底部側處所述第二用戶的動畫的疊加。
6.根據權利要求1所述的計算機實現的方法，進一步包括:由所述第一計算設備針對所述第二用戶的動畫的疊加而採用視差校正。
7.根據權利要求1所述的計算機實現的方法，進一步包括:由所述第一計算設備在所述第一計算設備上呈現的所述媒體內容上疊加所述第二用戶的語音的文本表示。
8.根據權利要求7所述的計算機實現的方法，其中，所述第二用戶的語音的文本表示基於從所述第二計算設備接收到的語音轉文本數據。
9.根據權利要求7所述的計算機實現的方法，其中，所述第二用戶的語音的文本表示基於從所述第二計算設備接收到的音頻數據。
10.根據權利要求1所述的計算機實現的方法，其中，以透明窗來渲染所述第二用戶的動畫。
11.根據權利要求1所述的計算機實現的方法，進一步包括: 至少部分地基於所述第一用戶是否已經向所述第二用戶分配了可信狀態，由所述第一計算設備有條件地改變捕獲的所述第一用戶的視覺數據；並且 由所述第一計算設備將所述視覺數據傳輸到所述第二計算設備，所述捕獲的視覺數據被配置為使得所述第二計算設備在所述第二計算設備上顯示的所述媒體內容上疊加所述第一用戶的動畫。
12.根據權利要求11所述的計算機實現的方法，其中，有條件地改變所述捕獲的所述第一用戶的視覺數據包括:針對捕獲的視覺數據執行圖像處理，所述圖像處理包括模糊、像素化、背景減除、或幀移除。
13.根據權利要求11所述的計算機實現的方法，其中，有條件地改變所述捕獲的所述第一用戶的視覺數據包括:響應於所述第二用戶還沒有被所述第一用戶分配可信狀態的確定而改變所述視覺數據。
14.根據權利要求11所述的計算機實現的方法，進一步包括:由所述第一計算設備自動地剪裁所述捕獲的所述第一或第二用戶的視覺數據中的至少一些視覺數據。
15.根據權利要求14所述的計算機實現的方法，進一步包括:基於在其中呈現所述第一或第二用戶的視覺數據的區域佔用少於全部所述捕獲的所述第一或第二用戶的視覺數據的預先確定的部分的確定，動態地剪裁所述捕獲的所述第一或第二用戶的視覺數據中的至少一些視覺數據。
16.包括多個指令的至少一種機器可讀介質，所述指令響應於在計算設備上被執行，使得所述計算設備執行根據權利要求1-15中的任意一項所述的計算機實現的方法。
17.一種裝置，包括用於執行根據權利要求1-15中的任意一項所述的計算機實現的方法的單元。
18.—種系統,包括: 一個或多個處理器； 可操作地耦合到所述一個或多個處理器的存儲器； 顯不器；以及 控制模塊，其被包含在所述存儲器中並且被配置為由所述一個或多個處理器來操作以促成由所述系統的第一用戶和遠程計算設備的第二用戶對媒體內容的同時消費，其中，所述促成包括:基於從所述遠程計算設備接收到的捕獲的所述第二用戶的視覺數據，在所述顯示器上呈現的所述媒體內容上疊加所述第二用戶的動畫，其中，在確定所述第一用戶對所述第二用戶有興趣時，將所述動畫在視覺上進行強化。
19.根據權利要求18所述的系統，進一步包括:眼球追蹤設備，其中，基於從所述眼球追蹤設備接收到的數據來確定所述第一用戶的興趣。
20.根據權利要求18所述的系統，其中，所述遠程計算設備是第一遠程計算設備，並且所述控制模塊進一步被配置為在確定所述第一用戶對所述第二用戶有興趣或對第二遠程計算設備的第三用戶無興趣時，將在所述系統上呈現的所述媒體內容上的所述第三用戶的動畫的疊加在視覺上進行淡化。
21.根據權利要求20所述的系統，其中，所述控制模塊進一步被配置為以陰影來渲染所述第三用戶的動畫的疊加。
22.根據權利要求18-21中的任意一項所述的系統，其中，所述第二用戶的動畫的疊加包括在鄰近所述顯示器的底部側處所述第二用戶的動畫的疊加。
23.根據權利要求18-21中的任意一項所述的系統，其中，所述控制模塊進一步被配置為針對所述第二用戶的動畫的疊加而採用視差校正。
24.根據權利要求18-21中的任意一項所述的系統，其中，所述控制模塊進一步被配置為在所述顯示器上呈現的所述媒體內容上疊加所述第二用戶的語音的文本表示。
25.根據權利要求18-21中的任意一項所述的系統，進一步包括觸控螢幕顯示器。
【文檔編號】G06T13/00GK104335242SQ201380027047
【公開日】2015年2月4日 申請日期:2013年5月20日 優先權日:2012年6月25日
【發明者】P·I·費爾考伊, A·哈珀, R·亞戈迪奇, R·K·蒙賈, G·休梅克 申請人:英特爾公司