第二屏幕觸覺的製作方法

2023-05-20 05:09:41

本申請要求2014年7月7日遞交的美國臨時專利申請序列號No.62/021,663的權益，該申請的全部內容出於所有目的通過引用的方式結合於此。

技術領域

於此的實施方式一般涉及多媒體內容處理和展示，且特別地涉及利用觸覺效果增強音頻-視頻內容。

背景技術：

術語「第二屏幕」指的是將計算設備用於對在第一或主要的設備或屏幕(諸如電視)上所看到的內容提供增強的視覺體驗。換句話說，第二屏幕是由電視觀看者用於改善他們正在收看的節目的第二電子設備。第二屏幕通常是智慧型電話或平板電腦，其中特定的補充性應用可以允許觀看者以不同的方式與電視節目交互，從而平板或智慧型電話成為電視配套設備。例如，這些輔助顯示中的一些使關於視覺廣播的實時聊天成為可能，視覺廣播為諸如新聞或當前事件廣播。第二屏幕現象展示了使電視與觀看者有更多的交互的意圖。

通常在視頻遊戲產業中使用的觸覺效果可能提供可觸知的提示，可觸知的提示增強用戶體驗並使虛擬環境與用戶有更多的交互。例如，振動效果或振動可觸知的觸覺效果在向電子設備的用戶提供提示以向用戶警告特定事件中是可能有用的，或者可以提供實際的反饋以在模擬的或虛擬的環境中創建更多的感官沉浸。

然而，觸覺效果通常未廣播或未另外提供給主觀看設備，諸如電視。相應地，於此的實施方式是關於將第二屏幕用於進一步增加用戶的觀看體驗。更特別地，於此的實施方式是關於在多設備環境中利用觸覺效果增強音頻-視頻內容。

技術實現要素：

其中的實施方式涉及多設備系統，系統包括至少一個媒體伺服器系統、包括顯示屏幕的主觀看設備和包括觸覺輸出設備的輔助設備。至少一個媒體伺服器系統包括音頻-視頻內容和觸覺內容的源並被配置為傳送音頻-視頻內容和觸覺內容。觸覺內容與音頻-視頻內容相關聯。主觀看設備被配置為輸出從至少一個媒體伺服器系統所接收的音頻-視頻內容。輔助設備被配置為接收用戶輸入並被配置為經由觸覺輸出設備將從至少一個媒體伺服器系統所接收的觸覺內容輸出為觸覺效果。

其中的實施方式還涉及多設備系統，系統包括至少一個媒體伺服器系統、包括顯示屏幕並被配置為輸出音頻-視頻內容的主觀看設備及被配置為接收用戶輸入並包括觸覺輸出設備的輔助設備，觸覺輸出設備被配置為向用戶輸出觸覺效果。至少一個媒體伺服器系統包括音頻-視頻內容和觸覺內容的源並被配置為傳送音頻-視頻內容和觸覺內容。觸覺內容與音頻-視頻內容相關聯。至少一個媒體伺服器系統被配置為將音頻-視頻內容和觸覺內容傳送至主觀看設備和輔助設備中的至少一者。主觀看設備被配置為輸出從至少一個媒體伺服器系統所接收的音頻-視頻內容及輔助設備被配置為輸出從至少一個媒體伺服器系統所接收的觸覺內容，觸覺內容經由觸覺輸出設備被輸出為觸覺效果。

其中的實施方式還涉及將觸覺效果傳播至音頻-視頻內容的觀看者的方法。在主觀看設備接收音頻-視頻內容，主觀看設備包括顯示屏幕。在輔助設備接收觸覺內容，輔助設備被配置為接收用戶輸入並包括觸覺輸出設備，觸覺輸出設備被配置為向用戶輸出觸覺效果。觸覺內容與音頻-視頻內容相關聯。在主觀看設備上輸出或顯示音頻-視頻內容，以及在輔助設備上輸出或顯示觸覺內容。觸覺內容經由觸覺輸出設備被輸出為觸覺效果。

附圖說明

本發明的前述和其他特徵和優勢通過以下的所附附圖所示的其中的實施方式的描述將是顯而易見的。於此所結合的並且形成說明的一部分的所附附圖進一步用作解釋本發明的原理並使相關領域技術人員能夠進行和使用本發明。附圖並非是按比例的。

圖1是多設備系統的圖示，多設備系統包括媒體伺服器、主觀看設備和輔助設備，其中媒體伺服器將音頻-視頻內容傳送至主觀看設備並將觸覺內容傳送至輔助設備。

圖2是圖1的系統的框圖。

圖3是根據其中另一實施方式的多設備系統的圖示，多設備系統包括媒體伺服器、主觀看設備和輔助設備，其中媒體伺服器將音頻-視頻內容傳送至主觀看設備並將觸覺內容傳送至輔助設備以及回放定位器信號用於確保音頻-視頻內容和觸覺內容的同步。

圖4是圖3的系統的框圖。

圖5是根據其中另一實施方式的多設備系統的圖示，多設備系統包括兩個媒體伺服器、主觀看設備和輔助設備，其中第一媒體伺服器將音頻-視頻內容傳送至主觀看設備及第二媒體伺服器將觸覺內容傳送至輔助設備以及回放定位器信號用於確保音頻-視頻內容和觸覺內容的同步。

圖6是圖4的系統的框圖。

圖7是根據其中另一實施方式的多設備系統的圖示，多設備系統包括媒體伺服器、主觀看設備和輔助設備，其中媒體伺服器將音頻-視頻內容和觸覺內容傳送至輔助設備及輔助設備將至少音頻-視頻內容傳送至主觀看設備。

圖8是圖7的系統的框圖。

圖9是根據其中另一實施方式的多設備系統的圖示，多設備系統包括兩個媒體伺服器、主觀看設備和輔助設備，其中第一媒體伺服器將音頻-視頻內容傳送至輔助設備及第二媒體伺服器將觸覺內容傳送至輔助設備，並且輔助設備將至少音頻-視頻內容傳送至主觀看設備。

圖10是圖9的系統的框圖。

圖11是根據其中另一實施方式的多設備系統的圖示，多設備系統包括媒體伺服器、主觀看設備和輔助設備，其中媒體伺服器將音頻-視頻內容和觸覺內容傳送至主觀看設備及主觀看設備將至少觸覺內容傳送至輔助設備。

圖12是圖11的系統的框圖。

圖13是根據其中另一實施方式的多設備系統的圖示，多設備系統包括兩個媒體伺服器、主觀看設備和輔助設備，其中第一媒體伺服器將音頻-視頻內容傳送至主觀看設備，第二媒體伺服器將觸覺內容傳送至主觀看設備，及主觀看設備將至少觸覺內容傳送至輔助設備。

圖14是圖13的系統的框圖。

圖15是根據其中的實施方式的將觸覺效果傳播至音頻-視頻內容的觀看者的方法的流程圖。

圖16示出了根據其中的實施方式的多設備系統，其中多設備系統的主觀看設備和輔助設備可以相互交互。

圖17示出了與圖16的輔助設備交互的用戶，其中在輔助設備的屏幕上顯示了弓和箭。

圖18示出了與圖16的輔助設備交互的用戶，其中用戶在輔助設備的屏幕上部署弓和箭。

圖19示出了圖16的主觀看設備，其中移動的目標正顯示在主觀看設備上並且目標與正顯示在輔助設備上的弓和箭相關聯。

圖20示出了圖16的多設備系統，其中箭已經被部署並且不再顯示在輔助設備上但是箭接著顯示在主觀看設備上。

圖21示出了圖16的主觀看設備，其中主觀看設備顯示了擊中了主觀看設備上的內容的箭。

圖22示出了多設備系統的主觀看設備和輔助設備可以相互交互的另一示例，其中球顯示在輔助設備的屏幕上並且手套和目標顯示在主觀看設備的屏幕上。

圖23示出了與圖22的輔助設備交互的用戶，其中用戶實際上投擲了一球並且球不再顯示在輔助設備上但是球接著顯示在主觀看設備上。

圖24示出了圖22的主觀看設備，其中主觀看設備顯示了實際上正在用手套抓住的球。

具體實施方式

現在參考附圖對本發明的特定實施方式進行描述，其中同樣的附圖標記指示相同的或功能上類似的元件。以下具體的說明實際上僅是示例性的並不意圖限制本發明或本發明的應用或使用。此外，沒有通過前述技術領域、背景技術、發明內容或以下具體的描述所表達的或所暗示的原理進行限制的意圖。

其中的實施方式涉及用於將觸覺內容傳播至音頻-視頻內容的觀看者的多設備系統。更特別地，音頻-視頻內容和與音頻-視頻內容相關聯的觸覺內容被儲存或者起源於至少一個媒體伺服器系統。音頻-視頻內容包括但不限於電視表演、電影、體育廣播、新聞廣播、用戶產生的內容或其他另外包括視頻和音頻成分二者的其他節目。如於此所使用的與音頻-視頻內容「相關聯」的觸覺內容包括但不限於關聯的、連接的、連結的或其他關於音頻-視頻內容的任何觸覺或可觸知的效果，從而伴隨、增強、補充或補足音頻-視頻內容的實質。音頻-視頻內容在諸如電視的主觀看設備上顯示或輸出，以及觸覺內容在諸如智慧型電話或平板電腦的輔助設備上顯示或輸出。例如，用戶在如電視的主觀看設備上收看視頻、持有如智慧型電話或平板電腦的輔助設備或已經附著至或連接至其身體的輔助設備，附著至或連接至其身體的輔助設備即可穿戴設備，可穿戴設備諸如但不限於連接至用戶手腕的手錶、連接至用戶手臂的臂帶或連接至其他身體部分的可穿戴設備。在在主觀看設備上收看視頻的同時，輔助設備被配置為將可觸知或觸覺效果傳播至用戶。觸覺效果與正在主觀看設備上收看的視頻相關或相關聯並因而系統引起用戶在多設備環境中的觸覺增強媒體體驗。

更特別地，參考圖1和圖2，顯示了根據其中實施方式的多設備系統100。圖1是系統100的示意性圖示，而圖2是圖1的框圖。系統100包括媒體伺服器102、主觀看設備130和輔助設備110。媒體伺服器102是音頻-視頻內容或數據及相關聯的觸覺內容或數據的源。媒體伺服器102與主觀看設備130通信，從而傳送或發送音頻-視頻內容至主觀看設備。音頻-視頻內容作為音頻-視頻信號106從媒體伺服器102進行傳送。音頻-視頻信號106可以是如通過無線電或電纜的廣播標準的信號，或者可以是網際網路向用戶提供各種應用服務技術(Over the Top Technology)(OTT)單播類型信號，如針對SmartTV(智能電視)的Netflix。媒體伺服器102還與輔助設備110進行通信，從而傳送或發送觸覺內容至輔助設備。觸覺內容作為觸覺信號104從媒體伺服器102進行傳送。媒體伺服器102可以是例如廣播網絡服務、電纜通信服務、衛星通信服務、雲視頻流服務、遊戲控制臺或任意其他類型的伺服器。媒體伺服器102使用本領域技術人員已知的有線或無線通信裝置與主觀看設備130和輔助設備110通信。此外，雖然在遠程定位的設備中顯示以使得來自其的信號通過有線或無線連結進行傳達，但是媒體伺服器102可替換地可以位於輔助設備110或主觀看設備130內或儲存在輔助設備110或主觀看設備130上。

主觀看設備130是諸如電視的音頻-視頻顯示設備，音頻-視頻設備被配置為輸出從媒體伺服器102所接收的音頻-視頻內容。如在圖2的框圖所顯示的，主觀看設備130包括接收機132、聲音設備146和顯示屏幕140。接收機132接收音頻-視頻信號106並將音頻-視頻信號106轉變為可以處理為圖像和聲音的電信號。聲音設備146可以例如是揚聲器，揚聲器可以內置於或連接至主觀看設備130並將電信號轉變為聲波以連同視頻圖像一起播放音頻。主觀看設備130從而經由聲音設備146輸出音頻。顯示屏幕140被配置為將電信號轉變為可見光並且可以是將視頻輸出至用戶的任意類型的媒體；這裡任意類型的媒體包括但不限於監控器、電視屏幕、等離子體、LCD、投影儀或任意其他顯示設備。主觀看設備130從而經由顯示屏幕140輸出視頻。除了電視，音頻-視頻顯示設備可以用作主觀看設備130，主觀看設備130包括但不限於智慧型電話、遊戲控制臺、個人數字整理器(organizers)、筆記本電腦及具有連接至音頻-視頻顯示設備的顯示屏幕的任何其他類型的計算機。根據所利用的媒體伺服器102的類型，主觀看設備130可以包括內置的有線或無線數據機148以用於從網際網路接收流信號。可替換地，數據機148可以連接至主觀看設備130而不是內置。

輔助設備110被配置為輸出從媒體伺服器102接收的觸覺內容作為用戶感覺或感知的觸覺效果。為了感知觸覺效果，輔助設備110是用戶持有的設備、附著或連接至用戶的設備或者另外具有能夠將觸覺或可觸知的效果傳播至用戶的表面的設備。在實施方式中，輔助設備還被配置為或能夠經由用戶諸如元件接收用戶輸入或控制，用戶輸入元件諸如觸控螢幕、觸摸板、計算機外圍設備、控制按鈕、觸發器、操縱杆或控制棒等。例如，在實施方式中，輔助設備110是包括觸覺效果顯示能力的行動電話或平板電腦。例如，輔助設備110可以是眾所周知的並且在市場上可獲得的平板電腦，諸如和Galaxy 用於輔助設備110的其他合適的設備包括但不限於個人數字助理(PDA)、計算機、遊戲外圍設備及本領域技術人員已知的其他設備，這些設備被配置為輸出觸覺內容並被配置為或能夠接收用戶輸入。

如圖2的框圖所示，輔助設備110包括接收機112、處理器114、存儲器116、至少一個觸覺輸出設備118、顯示屏幕120和聲音設備126。輔助設備110執行儲存在存儲器116中的軟體應用並通過處理器114執行。處理器114可以是任意類型的通用處理器，或者可以是特別設計為提供觸覺效果信號的處理器。存儲器116可以是任意類型的存儲設備或計算機可讀媒體，諸如但不限於隨機存取存儲器(RAM)或只讀存儲器(ROM)。存儲器116還可以位於處理器內部，或者可以是內部和外部存儲器的組合。聲音設備126可以例如是內置於或耦合至輔助設備110的揚聲器，以使得輔助設備110具有經由聲音設備126輸出音頻的能力。在本實施方式中，輔助設備110還具有經由顯示屏幕120輸出視頻的能力。顯示120可以耦合至輔助設備110或可以是本領域技術人員已知的，輔助設備110和顯示120可以結合為單個設備。在實施方式中，顯示屏幕120是配置為接收用戶輸入的觸控螢幕。此外，根據所利用的媒體伺服器102的類型，輔助設備110可以包括內置的有線或無線數據機128以用於從網際網路接收流信號。可替換地，數據機128可以耦合至輔助設備110而不是內置。

在操作中，輔助設備110的接收機112接收觸覺信號104並識別觸覺信號104。觸覺信號104然後被路由至或傳送至處理器114。觸覺信號104例如可以包括直接觸覺效果流或指示了必須執行哪些觸覺效果的命令集合。響應於從媒體伺服器102接收觸覺信號104，處理器114指示觸覺輸出設備118向用戶提供或輸出一種或多種觸覺效果。處理器114可以決定向觸覺輸出設備118發送什麼觸覺效果及以什麼次序來發送觸覺效果。例如，觸覺信號104可以包括從媒體伺服器102流至輔助設備110的電壓幅值和持續時間。在另一示例中，觸覺信號104可以向處理器114提供高等級命令，諸如即將由觸覺輸出設備118輸出的觸覺效果的類型(如振動、搖晃、止動、彈出等)，從而處理器114向觸覺輸出設備118指示即將輸出的觸覺效果的特定特徵(如，幅值、頻率、持續時間等)。處理器114可以從耦合至其的存儲器116檢索觸覺效果的類型、幅值、頻率、持續時間或其他特徵。

觸覺反饋增強了用戶體驗。如於此所使用的，動覺效果(諸如主動的或有阻力的觸覺反饋)和/或可觸知的效果(諸如振動、紋理和高溫)共同稱為「觸覺反饋」或「觸覺效果」。在多種形態同時使用時，共同的觸覺效果向用戶提供了對音頻-視頻內容更大的感官沉浸，所述多種形態為如視頻、音頻和觸覺。例如，振動效果或振動可觸知的觸覺效果可以用於在向用戶提供警告用戶特定時間的提示，或者提供真實的反饋以在模擬的或虛擬的環境中形成更大的感官沉浸。在用戶經由主設備130觀看音頻-視頻內容時可以有利地由輔助設備110輸出的觸覺效果的示例包括但不限於(1)直播運動賽事的混頻工作間(mixing booth)，其中幾個加速計、陀螺儀和其他傳感器測量感興趣對象(如，足球)的動態特性並且通過算法變換為有意義的觸覺效果數據；(2)音頻和視頻分析設備和算法，觀察音頻-視頻內容並確定什麼時候適合生成觸覺效果數據，例如創建展現在看到兩個曲棍球運動員在屏幕上碰撞時的用身體阻擋的感覺的觸覺效果；(3)藝術家使用便於創建觸覺效果數據的工具生成的手工製作的觸覺效果，例如，觸覺知覺由藝術家設計用於好萊塢動作電影，其中穿插有機關槍火力的一系列巨大的爆炸；以及(4)非接觸測量設備，針對感興趣的對象，測量對象的動態特性，並將測量數據供給至將要將測量數據變換為有意義的觸覺效果數據的算法，例如，指向用小槌撞擊的鑼的雷射振動計，振動計獲得通過敲擊產生的鑼的運動和震蕩，並將振動計數據供給至運行算法的設備，該算法將振動計數據變換為觸覺知覺。輔助設備110的處理器114可能正在運行進一步裁剪或校準觸覺內容的軟體算法以優化用於特定類型的顯示觸覺內容的輔助設備。

由觸覺輸出設備118提供的觸覺效果可以包括但不限於諸如止動或振動的暫時效果。觸覺輸出設備118可以是物理和/或非物理致動器。可能的物理致動器包括但不限於由電機移動偏心質量的偏心旋轉質量(「ERM」)致動器、附著至彈簧的質量被來回驅動的線性共振致動器(「LRA」)、壓電致動器、由電機移動偏心質量的電磁電機、振動可觸知的致動器、慣性致動器及於此所描述的致動器的任意組合。可能的非物理致動器包括但不限於靜電摩擦(ESF)、超聲表面摩擦(USF)及於此所描述的致動器的任意組合。在另一實施方式中，一個或多個觸覺輸出設備118可以使用動覺觸覺反饋，一個或多個觸覺輸出設備118包括例如改變輔助設備110的外殼的剛度/阻尼的螺線管、改變外殼的大小的小氣囊或者形變材料。

在圖1-2的實施方式中，系統100為「媒體伺服器驅動的」，意為媒體伺服器102分別直接向輔助設備110和主觀看設備130傳送或通信觸覺信號104和音頻-視頻信號106。在媒體伺服器驅動的實施方式中，希望觀看觸覺增強內容的用戶打開或開啟輔助設備110和主觀看設備130。例如，可以使用在電視CPU上運行的應用經由機頂盒或通過直接空中數字廣播從媒體伺服器102向主觀看設備130供給音頻-視頻信號106。輔助設備110建立與媒體伺服器102的數據連接。在實施方式中，輔助設備110可能需要與內容相關聯的應用(如，通過觸覺內容的源/擁有者創建的應用)，或者可能需要經由輔助設備的瀏覽器連接至特定HTTP地址。在媒體伺服器102將音頻-視頻信號106串流至或另外傳送至主觀看設備130時，媒體伺服器102還同時將觸覺信號104串流或伺服至輔助設備110。

在其中的實施方式中，多設備系統可以包括確保在輔助設備上正在輸出的觸覺內容與在主觀看設備上正在輸出的音頻-視頻內容同步的裝置。更特別地，參考圖3和圖4，顯示了根據其中實施方式的多設備系統300。圖3是系統300的示意性圖示，而圖4是其中的框圖。系統300包括媒體伺服器302、主觀看設備330和輔助設備310。與多設備系統100類似，多設備系統300是媒體伺服器驅動的，以使得媒體伺服器302直接與主觀看設備330通信從而傳送或發送音頻-視頻信號306至主觀看設備並且還直接與輔助設備310通信從而傳送或發送觸覺信號304至輔助設備。與以上所描述的多設備系統100的和圖4的框圖所顯示的組件類似，主觀看設備330包括接收機332、聲音設備346和顯示屏幕340，而輔助設備310包括接收機312、處理器314、存儲器316、至少一個觸覺輸出設備318、顯示屏幕320和聲音設備326。然而，在本實施方式中，主觀看設備330與輔助設備310通信從而確保在各個設備上正在輸出的內容的同步。回放定位器信號350在主觀看設備330與輔助設備310之間通信。回放定位器信號350可以通過包括流過媒體伺服器302的通信路徑的任意裝置進行有線或無線通信。在實施方式中，回放定位器信號350可以通過對音頻和/或視頻信號的不可感知的修改進行通信以編碼並廣播來自主觀看設備的定時信息。

更特別地，輔助設備310包括回放定位器322及主觀看設備330包括回放定位器342。回放定位器322、342進行作用以分別針對觸覺信號304、音頻-視頻信號306確定暫時參考點。暫時參考點可以例如是時間代碼、計數器、媒體回放所耗費的秒數、媒體文件中當前暫時回放位置或回放位置的任何其他指示。主觀看設備330的回放定位器342有時將回放位置傳達至輔助設備310的回放定位器322，反之亦然。輔助設備310使用所接收的回放位置定位信息以確保觸覺信號304的觸覺部分以與正在主觀看設備330上顯示的音頻-視頻信號306充分同步的方式顯示。

雖然用僅傳送觸覺和音頻-視頻信號的單個伺服器進行顯示，但是在其中的另一實施方式中，多設備系統可以包括兩個有區別的或分開的伺服器以用於將觸覺內容傳送至輔助設備並將音頻-視頻內容傳送至主觀看設備。換句話說，於此所描述的一個或多個媒體伺服器可以認為是媒體伺服器系統。更特別地，參考圖5和圖6，顯示了根據其中實施方式的多設備系統500。圖5是系統500的示意性圖示，而圖6是圖5的框圖。系統500包括第一媒體伺服器502A、第二媒體伺服器502B、主觀看設備530和輔助設備510。音頻-視頻內容和觸覺內容因而源自分開的且有區別的媒體伺服器502A、502B。媒體伺服器502B與主觀看設備530直接通信以傳送或發送音頻-視頻信號506至主觀看設備及媒體伺服器502A與輔助設備510直接通信以傳送或發送觸覺信號504至輔助設備。與以上所描述的和如圖6的框圖所顯示的實施方式類似，主觀看設備530包括接收機532、聲音設備546和顯示屏幕540而輔助設備510包括接收機512、處理器514、存儲器516、至少一個觸覺輸出設備518、顯示屏幕520和聲音設備526。此外，與圖3-4的實施方式類似，主觀看設備530和輔助設備510進行通信以確保在各個設備正在輸出的內容的同步。輔助設備510包括回放定位器522，主觀看設備530包括回放定位器542及回放定位器信號550在主觀看設備530與輔助設備510之間通信。

根據其中的另一實施方式，多設備系統可以是「輔助設備驅動的」，意為一個或多個媒體伺服器僅直接將數據信號傳送至或伺服至輔助設備。更特別地，在輔助設備驅動的實施方式中，媒體伺服器將信號——音頻、視頻、觸覺——的完整補充傳送至輔助設備。輔助設備然後轉而定向發出(beams)或傳送信號的至少音頻-視頻部分至主觀看設備而輔助設備顯示觸覺內容。在輔助設備驅動的實施方式中，輔助設備可以被配置為連接至媒體伺服器並接收音頻-視頻和觸覺內容。輔助設備然後可以經由有線或無線通信裝置建立與主觀看設備的連接，從而發送音頻-視頻內容至主觀看設備以在其上進行顯示。

更特別地，圖7-8中顯示了輔助設備驅動的實施方式。多設備系統700包括媒體伺服器702、主觀看設備730和輔助設備710。與以上所描述的和在圖8的框圖所顯示的實施方式類似，主觀看設備730包括接收機732、聲音設備746和顯示屏幕740而輔助設備710包括接收機712、處理器714、存儲器716、至少一個觸覺輸出設備718、顯示屏幕720和聲音設備726。所設備系統700是輔助設備驅動的，其中媒體伺服器702僅直接與輔助設備710通信。媒體伺服器702傳送或發送複合信號708至輔助設備710。複合信號708包括視頻內容或數據、音頻內容或數據及觸覺內容或數據，該部分按時序交錯傳送，或者該部分不按次序傳送，但是包含排序信息，排序信息可以解釋為以通過輔助設備710展示給用戶的正確時序進行重組。以另一方式進行陳述，複合信號708的觸覺內容或數據可以離散地作為整個媒體信號內或其另一實施方式中的分開的或獨立的部分而被包括，觸覺內容或數據還可以嵌入至音頻和/或視覺內容或數據中並然後從音頻和/或視覺內容或數據中提取。

輔助設備710在接收到複合信號708時識別其中的觸覺部分並對其進行解碼以用於用接收機712回放。響應於複合信號708內的觸覺命令，處理器714指示觸覺輸出設備718輸出觸覺效果。在實施方式中，輔助設備710還可以分別經由聲音設備726和顯示屏幕720向用戶展示或輸出複合信號708的音頻和視頻部分。在另一實施方式中，輔助設備710可以分別從其他源經由聲音設備726和顯示屏幕720展示或輸出其他音頻和視頻內容。

此外，在接收到複合信號708時，輔助設備710識別其中的音頻-視頻部分。輔助設備710包括將複合信號708的至少音頻-視頻部分傳送至主觀看設備730的變換器724。在圖7-8的實施方式中，輔助設備710從複合信號708中提取或剝離音頻-視頻部分及變換器724僅將音頻-視頻信號706傳送至主觀看設備730。換句話說，複合信號708的觸覺部分在輔助設備710將信號輸出至主觀看設備730之前被移除。這種移除在主觀看設備730不能解譯具有觸覺部分的複合信號708的情況下是必要的。除了複合信號708的觸覺部分之外，變換器724可能需要將音頻-視頻信號706修改或變換為主觀看設備730能夠解譯並顯示的格式。音頻-視頻信號706經由有線或無線通信裝置從輔助設備710傳送至主觀看設備730。

在另一實施方式中(未示出)，輔助設備710可以將複合信號708傳送至主觀看設備730，而在其中沒有進行修改或變換。在此類實施方式中，主觀看設備730可以忽略複合信號708的觸覺部分或者通過主觀看設備對額外的觀看者具有可用性的任何裝置顯示觸覺效果。

雖然圖7-8的輔助設備驅動的實施方式僅用用於傳送複合信號的單個伺服器進行顯示，但是在其中的另一實施方式中，多設備系統可以包括兩個有區別的或分開的伺服器以將觸覺內容和音頻-視頻內容作為有區別的或分開的信號分別傳送至輔助設備。更特別地，參考圖9和圖10，顯示了根據於此實施方式的多設備系統900。圖9是系統900的示意性圖示，而圖10是圖9的框圖。系統900包括第一媒體伺服器902A、第二媒體伺服器902B、主觀看設備930和輔助設備910。音頻-視頻內容和觸覺內容因而源自分開的或有區別的媒體伺服器902A、902B。媒體伺服器902B與輔助設備910直接通信以傳送或發送音頻-視頻信號906至輔助設備及媒體伺服器902A與輔助設備910直接通信以傳送或發送觸覺信號904至輔助設備。

與以上所描述的和如圖10的框圖所顯示的實施方式類似，主觀看設備930包括接收機932、聲音設備946和顯示屏幕940而輔助設備910包括接收機912、處理器914、存儲器916、至少一個觸覺輸出設備918、顯示屏幕920和聲音設備926。輔助設備910的接收機912在接收到觸覺信號904和音頻-視頻信號906二者時同步信號以確保觸覺信號408的顯示保持與音頻-視頻信號906的顯示的充分同步。響應於觸覺信號904，處理器914指示觸覺輸出設備918輸出觸覺效果。此外，輔助設備910的發射機924將音頻-視頻906傳達至主觀看設備930。如果需要的話，在其傳送之前，發射機924可以將音頻-視頻信號906修改或變換為主觀看設備930能夠解譯和顯示的格式。雖然圖9-10的實施方式用兩個有區別的或分開的伺服器進行顯示，但是可以利用傳送有區別的或分開的觸覺和音頻-視頻信號(而不是諸如圖7-8的實施方式的複合信號)的單個伺服器。

根據其中的另一實施方式，多設備系統可以是「主觀看設備驅動的」，意為一個或多個媒體伺服器僅將數據信號直接傳送至或用於主觀看設備。更特別地，在主觀看設備驅動的實施方式中，媒體伺服器將信號——音頻、視頻、觸覺——的完整補充傳送至主觀看設備。主觀看設備然後轉而定向發出(beams)或傳送信號的至少觸覺部分至主觀看設備而主觀看設備顯示音頻-視頻內容。在主觀看設備驅動的實施方式中，主觀看設備可以被配置為建立經由有線或無線通信裝置至輔助設備的連接，從而將觸覺內容發送至輔助設備以用於在其上顯示。將觸覺內容連接至並用於輔助設備的功能可以存在於連接至電視的機頂盒中，該功能可以存在於打包在智能電視內的CPU上運行的軟體中，或者該功能可以存在於諸如媒體中心PC的設備或具有處理能力的其他設備上，這裡的其他設備諸如但不限於Apple TV、Chromecast或類似設備。與主觀看設備相關聯的軟體支持建立至主觀看設備的有線或無線連接的輔助設備。連接的目的至少部分是為了將觸覺內容傳送至輔助設備以進行顯示。

更特別地，圖11-12中顯示了主觀看設備驅動的實施方式。多設備系統1100包括媒體伺服器1102、主觀看設備1130和輔助設備1110。與以上和如圖12的框圖所顯示的實施方式類似，主觀看設備1130包括接收機1132、聲音設備1146和顯示屏幕1140而輔助設備1110包括接收機1112、處理器1114、存儲器1116、至少一個觸覺輸出設備1118、顯示屏幕1120和聲音設備1126。多設備系統110是主觀看設備驅動的，其中媒體伺服器1102僅與主觀看設備1130直接通信。媒體伺服器1102傳送或發送複合信號1108至主觀看設備1130。複合信號1108包括視頻內容或數據、音頻內容或數據及觸覺內容或數據，該部分按時序交錯傳送，或者該部分不按次序傳送，但是包含排序信息，排序信息可以解釋為以通過主觀看設備1130展示給用戶的正確時序進行重組。換句話說，複合信號1108的觸覺內容或數據可以離散地作為整個媒體信號內或其另一實施方式中的分開的或獨立的部分而被包括，觸覺內容或數據還可以嵌入至音頻和/或視覺內容或數據中並然後從音頻和/或視覺內容或數據中提取。

主觀看設備1130在接收到複合信號1108時識別其中的音頻-視頻部分並經由顯示屏幕1140和聲音設備1146輸出音頻-視頻內容。此外，在接收到複合信號1108時，主觀看設備1130識別其中的觸覺部分。主觀看設備1130包括將複合信號1108的至少觸覺部分傳送至輔助設備1110的變換器1144。在圖11-12的實施方式中，主觀看設備1130從複合信號1108中提取或剝離觸覺部分及變換器1144僅將觸覺信號1104傳送至輔助設備1110以用於觸覺效果的顯示。換句話說，複合信號1108的音頻-視頻部分在主觀看設備1130將信號輸出至輔助設備730之前被移除。觸覺信號1104經由有線或無線通信裝置從主觀看設備1130傳送至輔助設備1110。

在另一實施方式中(未示出)，主觀看設備1130可以將複合信號1108傳送至輔助設備1110，而在其中沒有進行修改或變換。在此類實施方式中，輔助設備730可以忽略複合信號1108的音頻-視頻部分或者經由顯示屏幕1120和聲音設備1126輸出音頻-視頻內容。

雖然圖11-12的主觀看設備驅動的實施方式僅用用於傳送複合信號的單個伺服器進行顯示，但是在其中的另一實施方式中，多設備系統可以包括兩個有區別的或分開的伺服器以將觸覺內容和音頻-視頻內容分別傳送至主觀看設備。更特別地，參考圖13和圖14，顯示了根據於此實施方式的多設備系統1300。圖13是系統1300的示意性圖示，而圖14是圖13的框圖。系統1300包括第一媒體伺服器1302A、第二媒體伺服器1302B、主觀看設備1330和輔助設備1310。音頻-視頻內容和觸覺內容因而源自分開的或有區別的媒體伺服器1302A、1302B。媒體伺服器1302B與主觀看設備1330直接通信以傳送或發送音頻-視頻信號1306至主觀看設備及媒體伺服器1302A與主觀看設備1330直接通信以傳送或發送觸覺信號1304至主觀看設備。

與以上所描述的和如圖14的框圖所顯示的實施方式類似，主觀看設備1330包括接收機1332、聲音設備1346和顯示屏幕1340而輔助設備1310包括接收機912、處理器1314、存儲器1316、至少一個觸覺輸出設備1318、顯示屏幕1320和聲音設備1326。主觀看設備1330的接收機1332在接收到觸覺信號1304和音頻-視頻信號1306二者時同步信號以確保觸覺信號1308的顯示保持與音頻-視頻信號1306的顯示充分同步。此外，主觀看設備1330的發射機1344將觸覺信號1304傳達至輔助設備1310以用於觸覺效果的顯示。雖然圖13-14的實施方式用兩個有區別的或分開的伺服器進行顯示，但是可以利用傳送有區別的或分開的觸覺和音頻-視頻信號(而不是諸如圖11-12的實施方式的複合信號)的單個伺服器。

圖15是根據本發明的一個實施方式的將觸覺效果傳播至音頻-視頻內容的觀看者的流程圖。在實施方式中，圖15的流程圖的功能通過儲存在輔助設備中的軟體實現並通過輔助設備的處理器和/或通過主觀看設備實行。在其他實施方式中，功能可以由硬體通過使用特定用途集成電路(「ASIC」)、可編程門陣列(「PGA」)、現場可編程門陣列(「FPGA」)或硬體和軟體的任意組合來執行。

在步驟1560中，具有音頻-視頻內容的音頻-視頻信號和具有觸覺內容的觸覺信號從至少一個媒體服務系統傳送。觸覺內容與音頻-視頻內容相關聯。音頻-視頻信號和觸覺信號可以作為有區別的信號分別從一個或多個媒體伺服器分開發送，或者音頻-視頻信號和觸覺信號可以作為複合信號從媒體伺服器發送。如果在媒體伺服器驅動的實施方式中，音頻-視頻信號和觸覺信號作為有區別的信號分別直接被發送至主觀看設備和輔助設備。如果在主觀看設備驅動的實施方式中，從主觀看設備將兩個信號傳送至輔助設備。如果在輔助設備驅動的實施方式中，兩個信號被傳送至輔助設備並然後將至少一個音頻-視頻信號從輔助設備傳送至主觀看設備。

在步驟1562中，主觀看設備接收包括音頻-視頻內容的音頻-視頻信號。如果在媒體伺服器驅動的實施方式或主觀看設備驅動的實施方式中，從媒體伺服器發送音頻-視頻信號。如果在輔助設備驅動的實施方式中，從輔助設備發送音頻-視頻信號。在接收到音頻-視頻信號時，主觀看設備在步驟1564在其上輸出音頻-視頻內容。

在步驟1566中，輔助設備接收包括觸覺內容的觸覺信號。如果在媒體伺服器驅動的實施方式或輔助設備驅動的實施方式中，從媒體伺服器發送觸覺信號。如果在主觀看設備驅動的實施方式中，從主觀看設備發送觸覺信號。

在接收到觸覺信號時，輔助設備的處理器在步驟1568確定信號是觸覺信號還是一些其他非觸覺相關的信號。如果確定信號不是觸覺信號，那麼處理器繼續進行而不會將任何觸覺效果應用於用戶並等待從媒體伺服器和/或主觀看設備接收另一信號。如果確定信號是觸覺信號，那麼處理器將在步驟1570將命令或指示發送至觸覺輸出設備並然後觸覺輸出設備將在步驟1572輸出所指示的觸覺效果。由觸覺輸出設備輸出的觸覺效果可以包括但不限於不同程度的振動、不同程度的止動或者其他類型的觸覺效果。

如果輔助設備包括多個觸覺輸出設備，那麼輔助設備的處理器可以確定每一個觸覺效果將會在哪個觸覺輸出設備實行並提供給用戶。在此類實施方式中，高等級觸覺參數或流的值在儲存在輔助設備的存儲器中的軟體代碼中生成。參數或至由處理器處理並且針對每一個觸覺輸出設備的合適的電壓電平因而生成。這允許輔助設備向用戶提供合適的觸覺效果並通過針對每一個輸出設備生成的不同的電壓電平改變觸覺效果的量或類型。

在其中的實施方式中，音頻-視頻內容可以是虛擬視頻遊戲。更特別地，在此類實施方式中，多設備系統包括具有在其上運行的軟體的遊戲控制臺(即，Xbox One或PlayStation 4)和被配置為諸如經由可以用作觸覺輸出設備的震動馬達來輸出觸覺反饋的遊戲外圍設備。在遊戲控制臺上的軟體是媒體伺服器及音頻-視頻內容和觸覺內容的源。遊戲控制臺是顯示視頻遊戲的主觀看設備，以及遊戲外圍設備是輸出觸覺內容的輔助設備。

雖然於此所描述的多設備系統包括主觀看設備和單個輔助設備，但是本領域普通技術人員應當理解的是系統可以包括每一者輸出觸覺內容的多個輔助設備和/或每一者輸出音頻-視頻內容的多個主觀看設備。例如，如果幾個用戶正在收看相同的、單一的主觀看設備，那麼每一個用戶可以持有其自己的輔助設備並感受到從其輸出的觸覺效果。可以同時從一個或多個媒體伺服器將一個或多個觸覺信號、一個或多個音頻-視頻信號和/或具有觸覺和音頻-視頻內容二者的一個或多個複合信號傳送至幾個設備。在實施方式中，主觀看設備和/或媒體伺服器可以對任何觸覺能夠激活的輔助設備進行初始掃描或檢索且然後主觀看設備和/或媒體伺服器將至少觸覺信號傳送至位於初始檢索/掃描中的每一個觸覺能夠激活的輔助設備。

在其中的其他實施方式中，主觀看設備和輔助設備可以相互交互。更特別地，用戶可以與輔助設備交互並且這種交互可以在主觀看設備上顯示，從而使虛擬環境與用戶有更多的交互。在圖16-21中顯示了這種交互的第二屏幕觸覺的一個示例。在本實施方式中，如圖16所示，多設備系統1600包括具有在其上運行的軟體的遊戲控制臺(未示出)、主觀看設備1630和輔助設備1610。在遊戲控制臺上的軟體是媒體伺服器及音頻-視頻內容和觸覺內容的源，及主觀看設備1630被配置為輸出從媒體伺服器所接收的音頻-視頻內容，而輔助設備1610包括觸覺輸出設備並被配置為經由觸覺輸出設備將從媒體伺服器所接收的觸覺內容輸出為觸覺效果。參考圖17和圖18，用戶交互或控制輔助設備1610上的內容。圖17示出了在輔助設備1610的屏幕上顯示的弓和箭，而圖18示出了用戶在輔助設備1610的屏幕上部署弓和箭。如圖19所示，移動的目標在主觀看設備1630上顯示。主觀看設備1630上的目標與在輔助設備1610上顯示的弓和箭的位置相關聯。同樣地，當用戶移動輔助設備1610(及在其上的弓和箭)時，主觀看設備1630上的目標也會移動。在用戶準備好時，他部署或釋放輔助設備1610上的箭並且箭不再顯示在輔助設備上但是箭然後顯示在主觀看設備1630上，如圖20所示。在預定的逝去時間之後，主觀看設備1630顯示擊中圖21中的主觀看設備上的內容的箭(即，顯示了擊中城堡的箭)。以交互方式在兩個設備之間傳送包括觸覺內容的消息的系統和方法進一步在Birnbaum等的美國專利No.8,976,112、Birnbaum等的美國專利No.8,638,301和Birnbaum等的美國專利公開No.2010/0214243中進一步描述，每一者轉讓給與本申請相同的受讓人並且每一者整體通過引用的方式結合於此。

在圖22-24中顯示了這種交互的第二屏幕觸覺的另一示例。在本實施方式中，如圖22所示，多設備系統2200包括具有在其上運行的軟體的遊戲控制臺(未示出)、主觀看設備2230和輔助設備2210。在遊戲控制臺上的軟體是媒體伺服器及音頻-視頻內容和觸覺內容的源，以及主觀看設備2230被配置為輸出從媒體伺服器所接收的音頻-視頻內容而輔助設備2210包括觸覺輸出設備並被配置為經由觸覺輸出設備將從媒體伺服器所接收的觸覺內容輸出為觸覺效果。參考圖22-24，用戶交互或控制輔助設備2210上的內容。圖22示出了在輔助設備2210的屏幕上顯示的球和在主觀看設備2230的屏幕上顯示的手套或目標。圖23示出了用戶實際上投擲了一球。用戶以投擲動作移動輔助設備2210，並且球不再顯示在輔助設備上而球然後顯示在主觀看設備2230上，如圖23所示。圖24示出了實際上用手套抓住的球。更特別地，在預定逝去的時間之後，主觀看設備2230顯示了在主觀看設備上顯示的手套內抓住的球。

雖然以上參考圖16-21和圖22-24描述的交互的第二屏幕觸覺示例包括主觀看設備和單個輔助設備，但是本領域普通技術人員應當理解的是系統可以包括每一者與相同的主觀看設備交互的多個輔助設備。例如，如果幾個用戶正在收看並參與在單一的主觀看設備上顯示的視頻遊戲，那麼每一個用戶可以持有其各自的輔助設備以單獨與在主觀看設備上顯示的虛擬環境交互。在實施方式中，主觀看設備和/或媒體伺服器可以對任何觸覺能夠激活的的輔助設備進行初始掃描或檢索並然後主觀看設備和/或媒體伺服器將至少觸覺信號傳送至位於初始檢索/掃描中的每一個觸覺能夠激活的的輔助設備。同樣地，在初始檢索/掃描中找到的任何觸覺能夠激活的的輔助設備可以與在主觀看設備上的視頻遊戲交互。

雖然以上已經描述了根據本發明的各個實施方式，但是應當理解的是這些實施方式僅通過示出和示例的方式而不是限制的方式展示。對相關領域技術人員顯而易見的是在形式和細節上的各種改變可以在不背離本發明的思想和範圍的情況下在其中進行。例如，雖然於此所描述的輔助設備可以包括顯示屏幕和/或聲音設備用於選擇輸出音頻和/或視頻內容，但是輔助設備不需要具有這些組件和功能。例如，除了觸覺輸出之外，輔助設備可以具有視頻輸出、可以具有音頻輸出、可以具有視頻和音頻輸出二者或者可以既沒有視頻輸出也沒有音頻輸出。進一步地，雖然以上所描述的主觀看設備包括顯示屏幕和聲音設備以用於分別輸出音頻和視頻內容，但是主觀看設備可以可替換地僅輸出音頻內容(如，在沒有視頻內容的情況下的音樂)或者可以可替換地僅輸出視頻內容(如，在沒有音頻內容情況下的無聲電影)或者可以包括分開的或有區別的顯示以用於音頻內容和視頻內容中的每一者。此外，於此的實施方式描述了由輔助設備輸出的觸覺內容與由主觀看設備輸出的視頻-音頻內容相關聯或者與由主觀看設備輸出的視頻-音頻內容有關。然而，在其中的另一實施方式中，觸覺內容可能出於一目的而不得不吸引用戶對輔助設備的注意，以鼓勵輔助設備上的交互，而不考慮在主觀看設備上顯示的內容。例如，觸覺內容可以具有廣告目的。因而，本發明的寬度和範圍不應當受到以上所描述的任何示例性實施方式的限制，而僅應當僅根據所附權利要求及其等價方案來定義。還應當理解的是於此所討論的每一個實施方式和於此所陳述的每一個參考的每一個特性可以在與任何其他實施方式的特性的組合中使用。於此所討論的所有專利和公開的全部通過引用的方式結合於此。