用於生成與音頻信號相關聯的觸覺效果的系統和方法

2023-05-03 01:56:16

用於生成與音頻信號相關聯的觸覺效果的系統和方法
【專利摘要】本發明涉及一種用於生成與音頻信號相關聯的觸覺效果的系統和方法。公開的用於輸出觸覺效果的系統包括處理器，該處理器被配置成接收音頻信號；至少部分基於音頻信號，通過下述操作來確定觸覺效果：識別音頻信號中的一個或多個分量；以及確定與一個或多個分量相關聯的觸覺效果；並且輸出與觸覺效果相關聯的觸覺信號。
【專利說明】用於生成與音頻信號相關聯的觸覺效果的系統和方法
[0001]相關申請的交叉引用
[0002]本申請要求於2013年9月6日提交的並且標題為「Aud1 to Haptics」的美國臨時申請N0.61/874,933的優先權，其全部內容通過引用被包含在此。
[0003]本申請涉及與本申請同一天提交的並且標題為「Systems and Methods forGenerating Haptic Effects Associated with Transit1ns in Aud1 Signals，，(代理人案號:N0.1MM477 (51851-879623))的美國專利申請N0.14/078，438，其全部內容通過引用被包含在此。
[0004]本專利申請涉及與本申請同一天提交的並且標題為「Systems and Methods forGenerating Haptic Effects Associated with an Envelope in Aud1 Signals，，(代理人案號:N0.1MM478 (51851-879624))的美國專利申請N0.14/078，442有關，其全部內容通過引用被包含在此。

【技術領域】
[0005]本發明一般涉及觸覺反饋，更具體地，涉及用於生成與音頻信號相關聯的觸覺效果的系統和方法。

【背景技術】
[0006]觸摸使能設備已經日益變得普遍。例如，移動和其它設備可以配置有觸敏顯示器，使得用戶能通過觸摸顯示器的部分提供輸入。作為另一例子，與顯示器分離的觸覺使能表面可以用於輸入，諸如觸控板、滑鼠或其它設備。此外，一些觸摸使能設備利用觸覺效果，例如，配置成模擬觸摸表面上的紋理或摩擦的觸覺效果。在一些設備中，這些觸覺效果可以與由設備輸出的音頻或其它效果相關。然而，由於處理和輸出音頻和觸覺效果的等待時間，這些效果可能不太引人注目。由此，需要與音頻效果相關聯的改進的觸覺效果。


【發明內容】

[0007]本公開內容的實施例包括以在觸摸區上感受並且與音頻信號相關聯的觸覺效果為特徵的設備。這些觸覺效果可以包括但不限於紋理的變化、摩擦係數的變化和/或通過使用與表面接觸的物體可以感知的觸摸表面中的邊界、障礙或其它不連續的模擬。
[0008]在一個實施例中，本公開內容的系統可以包括處理器，其被配置成:接收音頻信號；通過識別音頻信號中的一個或多個分量以及確定與一個或多個分量相關聯的觸覺效果，至少部分基於音頻信號來確定觸覺效果；以及輸出與觸覺效果相關聯的觸覺信號。另一實施例包括用於至少部分基於音頻信號來確定觸覺效果的方法。
[0009]所述的這些示例性實施例不限制或限定本主題的範圍，而是提供幫助其理解的例子。在詳細描述中論述了示例性實施例，並提供了進一步描述。通過檢驗本說明書和/或通過實施所要求的主題的一個或多個實施例，可以進一步理解由各個實施例提供的優點。

【專利附圖】

【附圖說明】
[0010]在說明書的剩餘部分中，更具體地闡述全面和詳盡的公開內容。本說明書參考下述附圖。
[0011]圖1A示出用於生成與音頻信號相關聯的觸覺效果的示例性系統；
[0012]圖1B示出圖1A中所示的系統的一個實施例的外部視圖；
[0013]圖1C示例圖1A中所示的系統的另一實施例的外部視圖；
[0014]圖2A示例用於生成與音頻信號相關聯的觸覺效果的示例性實施例；
[0015]圖2B示例用於生成與音頻信號相關聯的觸覺效果的示例性實施例；
[0016]圖3示例根據一個實施例的用於生成與音頻信號相關聯的觸覺效果的示例性實施例；
[0017]圖4示例根據一個實施例的用於生成與音頻信號相關聯的觸覺效果的方法的流程圖；
[0018]圖5示例根據一個實施例的用於生成與音頻信號相關聯的觸覺效果的方法的流程圖；
[0019]圖6示例根據一個實施例的用於生成與音頻信號相關聯的觸覺效果的方法的流程圖；
[0020]圖7示例根據一個實施例的用於生成與音頻信號相關聯的觸覺效果的方法的流程圖；
[0021]圖8示例根據一個實施例的用於生成與音頻信號相關聯的觸覺效果的方法的流程圖；
[0022]圖9A示例根據一個實施例的用於生成具有A/V信號的內容的系統概圖；以及
[0023]圖9B不例根據另一個實施例的用於生成具有A/V信號的內容的系統概圖。

【具體實施方式】
[0024]現在，將詳細地參考各個和替代示例性實施例和附圖。通過說明，提供每一例子，而不是限制。對本領域的技術人員來說，能做出改進和變化是顯而易見的。例如，示例或描述為一個實施例的部分的特徵可以用在另一實施例上來產生又一實施例。因此，期望該公開內容包括落在所附權利要求及其等同物的範圍內的改進和變化。
[0025]生成與音頻信號相關聯的觸覺效果的設備的示例性例子
[0026]本公開內容的一個示例性實施例包括計算系統，諸如智慧型電話、平板電腦或可攜式音樂設備。在一些實施例中，計算系統可以包括可穿戴設備，或嵌入家具或衣服中，或具有嵌入式致動器的任何其它設備。計算系統能包括一個或多個傳感器和/或可以與一個或多個傳感器，諸如加速度計，以及用於確定相對於該例子中對應於設備的屏幕的顯示區的觸摸位置的傳感器(例如光學、電阻或電容式)通信。
[0027]當用戶與設備交互時，一個或多個觸覺輸出設備，例如致動器被用來提供觸覺效果。例如，可以輸出觸覺效果來模擬設備的表面上的紋理的存在。在一個這種實施例中，當用戶的手指跨表面移動時，可以輸出振動、電場或其它效果來模擬設備的表面上的紋理感。類似地，在另一實施例中，當用戶移動手指跨過設備時，基於手指的位置、速度和/或加速度或手指已經與設備接觸的時間長度，能改變(例如，增加或減小)所感知的屏幕的摩擦係數。在其它實施例中，行動裝置可以輸出諸如振動、上託、點擊或表面變形的觸覺效果。在一些實施例中，當某一事件發生時，可以在一定時間段(例如50ms)內輸出觸覺效果。在其它實施例中，觸覺效果可以隨固定周期改變，例如，在實施例中，可以輸出以10Hz速率，例如10Hz正弦曲線改變的紋理。
[0028]在示例性實施例中，觸覺效果包括與音頻信號相關聯的效果。例如，在一些實施例中，觸覺效果可以包括與音頻軌相關聯的觸覺效果。在一些實施例中，在確定觸覺效果時，用戶可能正收聽音頻軌(例如使用耳機、揚聲器或一些其它類型的音頻輸出設備)。在其它實施例中，可以預先確定觸覺效果，作為「觸覺軌(haptic track)」的一部分。可以與音頻文件一起，分發該觸覺軌，以便其隨音頻軌播放。在一些實施例中，可以使觸覺軌與音頻軌同步，使得觸覺效果對應於音頻軌中的分量。在其它實施例中，觸覺效果可以與音頻-視覺(「AV」)軌，例如視頻文件的音頻部分相關聯。
[0029]在一個所示的實施例中，可以通過分析音頻信號來識別或確定音頻信號內的分量，確定觸覺效果。在一些實施例中，分量可以包括音頻信號內的事件，諸如離散事件，例如槍擊、爆炸、尖叫或戰鬥。此外，在一些實施例中，分量可以包括與經常性的音頻效果，諸如吉他、鋼琴或說話者相關聯的源。此外，在一些實施例中，分量可以包括在音頻信號內出現的特徵。術語特徵是表示音頻段的描述符的專門術語，在一些實施例中，可以使算法來通過例如識別情緒，對音頻信號的段進行分類。在一個實施例中，可以將Mel頻率倒頻譜(MFCC)用作用於分類的音頻特徵。在這種實施例中，系統可以使用那些MFCC或其它特徵或描述符，識別事件或源。此外，在一些實施例中，音頻信號可以包括音頻分量，諸如語音的聲音(例如，說話或唱歌)，以及與動作(例如開火、汽車噪聲和特效)以及背景噪聲(例如音樂或機械聲)相關聯的分量。在一個示例性實施例中，系統可以分析音頻文件來確定這些分量的位置，以及向特定分量指定觸覺效果。在另一實施例中，系統可以確定某些聲音應當不包括相關觸覺效果。由此，在一個實施例中，系統可以確定音頻信號內的某些分量的存在並且確定不向這些分量指定觸覺效果。
[0030]在一些實施例中，本公開內容的系統可以通過將音頻信號分成多個基於時間、頻率或振幅的段，確定音頻信號中的分量。然後，對這些段單獨地分析某些分量(例如語音、特效、背景噪聲或音樂)的存在。然後，基於一個或多個分量的存在，系統可以對每一段進行分類。例如，段可以包括與開火、爆炸和車提速相關聯的聲音。在這種實施例中，系統可以將段分類成「動作」段。此外，在一些實施例中，系統可以基於分類指定觸覺效果。在一個這種實施例中，在上述例子中，系統可以將音頻文件的動作段與特定觸覺效果，或觸覺效果集，例如，與諸如開火和爆炸的分量的出現同步的高密集振動關聯。
[0031]此外，在本公開內容的一些實施例中，系統可以分析音頻信號和隔離音頻信號中的一個或多個分量的源。例如，系統可以分析音頻信號來檢測和隔離各種聲源。在一個實施例中，音頻信號可以包括混頻音頻信號(例如包括語音、特效(例如爆炸、開火、機械噪聲)、動物聲音或樂器(例如鋼琴、吉他、鼓、機器等等)的信號)，在這種實施例中，系統可以隔離音頻信號中的某些源，例如隔離語音、音樂或特效。在這種實施例中，一旦系統分離聲源，系統可以向該源指定觸覺效果。例如，在一個示例性實施例中，系統可以將由吉他產生的聲音與搖滾歌曲相關聯的信號分離開來。在這種實施例中，系統可以將觸覺效果應用于吉他，而不應用於音頻信號的其它分量。或者，在一些實施例中，系統可以隔離多個源，並且向多個源中的一個或多個指定觸覺效果。例如，在一個示例性實施例中，系統可以將吉他和貝斯與其餘音頻軌分離。在這種實施例中，系統可以將觸覺效果應用于吉他信號和貝斯信號。此外，在一個實施例中，系統可以隔離分量(例如吉他或貝斯信號)並且確定移除與那些分量相關聯的觸覺效果。例如，在一個實施例中，系統可以清除由自動轉換產生的觸覺軌來消除與分量相關聯的觸覺效果。
[0032]在本公開內容的另一實施例中，系統可以被配置成檢測音頻文件中的語音。如上所述，在一些實施例中，系統可以隔離語音源，例如隔離一個說話者或多個說話者。此外，在一些實施例中，系統可以被配置成分析語音來確定與說話者相關聯的一個或多個情緒。例如，系統可以分析頻率、音高或音調來確定與說話者相關聯的一個或多個情緒。此外，在一些實施例中，系統可以確定或修改觸覺效果，使得它與說話者的情緒相關聯。例如，在一些實施例中，與發怒說話者(或與發怒說話者相關聯的場景)相關聯的觸覺效果可以比與多情說話者相關聯的觸覺效果更強烈。可替代地，在一些實施例中，特定情緒可以包括沒有相關聯的觸覺效果的情緒。例如，在一些實施例中，諸如傷心的情緒可以不包括觸覺效果，由此，在一些實施例中，當系統檢測到說話者很悲傷時，系統不向說話者，或與說話者相關聯的場景指定觸覺效果。此外，在一些實施例中，系統可以隔離音頻信號的分量，例如，與語音相關聯的分量，以及確定消除與那些分量相關聯的觸覺效果。例如，在一個實施例中，系統可以清除由自動變換產生的觸覺軌來消除與語音相關聯的觸覺效果。
[0033]如在下文進一步詳細所述，可以在音頻信號中找到任何數量的分量。本公開內容的實施例提供用於識別這些分量，然後確定和輸出與這些分量同步的觸覺效果的系統和方法。此外，在一些實施例中，在此所述的系統和方法可以用來確定與其它類型的信號，例如壓力、加速度、速度或溫度信號相關聯的觸覺效果。
[0034]生成與音頻信號相關聯的觸覺效果的示例性系統
[0035]圖1A示出用於生成與音頻信號相關聯的觸覺效果的示例性系統100。具體地，在該例子中，系統100包括具有經由總線106與其它硬體對接的處理器102的計算設備101。能包括諸如RAM、ROM、EEPROM等等的任何適當的有形(且非瞬時)計算機可讀介質的存儲器104實施構成計算設備的操作的程序部件。在該例子中，計算設備101進一步包括一個或多個網絡接口設備110、輸入/輸出(I/O)接口部件112和附加存儲114。
[0036]網絡接口 110能表示便於網絡連接的任何部件的一個或多個。例子包括但不限於諸如乙太網、USB、IEEE 1394的有線接口，和/或諸如IEEE 802.11、藍牙、或用於接入蜂窩電話網絡的無線電接口(例如用於接入CDMA、GSM、UMTS或其它移動通信網絡的收發器/天線)的無線接口。
[0037]I/O部件112可以用來便於與諸如一個或多個顯示器、鍵盤、滑鼠、揚聲器、麥克風、照相機和/或用來輸入數據或輸出數據的其它硬體的設備連接。例如，在一些實施例中，I/O部件112可以包括配置成播放由處理器102提供的音頻信號的揚聲器。存儲114表示非易失存儲器，諸如磁、光或包括在設備101中的其它存儲介質。在一些實施例中，存儲114可以被配置成存儲音頻文件，其被配置成經由I/O部件112被給用戶播放。
[0038]系統100進一步包括觸摸表面116，在該例子中，被集成到設備101中。觸摸表面116表示被配置成感測用戶的觸摸輸入的任何表示。一個或多個傳感器108被配置成當物體接觸觸摸表面時檢測觸摸區中的觸摸，並且提供適當的數據，用於由處理器102使用。能使用任何適當數量、類型、或排列的傳感器。例如，可以將電阻和/或電容傳感器嵌入觸摸表面116中，並且用來確定觸摸的位置和其它信息，諸如壓力。作為另一例子，可以使用以觸摸表面為目的的光傳感器來確定觸摸位置。在一些實施例中，傳感器108和觸摸表面116可以包括觸控螢幕或觸摸板。例如，在一些實施例中，觸摸表面116和傳感器108可以包括安裝在被配置成接收顯示信號和向用戶輸出圖像的顯示器的上面的觸控螢幕。在其它實施例中，傳感器108可以包括LED檢測器。例如，在一個實施例中，觸摸表面116可以包括安裝在顯示器的側面上的LED手指檢測器。在一些實施例中，處理器與單個傳感器108通信，在其它實施例中，處理器與多個傳感器108，例如第一觸控螢幕和第二觸控螢幕通信。傳感器108被配置成檢測用戶交互，並且基於該用戶交互，將信號傳送到處理器102。在一些實施例中，傳感器108可以被配置成檢測用戶交互的多個方面。例如，傳感器108可以檢測用戶交互的速度和壓力，以及將該信息包含到接口信號中。
[0039]設備101進一步包括觸覺輸出設備118。在圖1A所不的例子中，觸覺輸出設備118與處理器102通信並且耦接到觸摸表面116。在一些實施例中，觸覺輸出設備118被配置成響應於觸覺信號，輸出模擬觸摸表面上的紋理的觸覺效果。另外或者替代地，觸覺輸出設備118可以提供以受控方式，移動觸摸表面的振動觸覺效果。一些觸覺效果可以利用耦接到設備的外殼的致動器，以及一些觸覺效果可以依次和/或共同地使用多個致動器。例如，在一些實施例中，可以通過以不同頻率振動表面，模擬表面紋理。在這種實施例中，觸覺輸出設備118可以包括例如壓電致動器、電動機、電磁致動器、音圈、形狀記憶合金、電活性聚合物、螺線管、偏心旋轉質量電動機(ERM)，或線性諧振致動器(LRA)中的一個或多個。在一些實施例中，觸覺輸出設備118可以包括多個致動器，例如ERM和LRA。在一些實施例中，觸覺設備118可以包括或嵌入在可穿戴設備、家具或衣服中。
[0040]儘管在此示出了單個觸覺輸出設備118，但實施例可以使用相同或不同類型的多個觸覺輸出設備來輸出觸覺效果，例如模擬表面紋理或改變所感知的觸摸表面的摩擦係數。例如，在一個實施例中，壓電致動器可以用來以超聲頻率垂直和/或水平地位移一些或全部觸摸表面116，諸如在一些實施例中，通過使用以大於20-25kHz的頻率移動的致動器。在一些實施例中，多個致動器，諸如偏心旋轉質量電動機和線性諧振致動器能單獨或共同使用來提供不同的紋理、摩擦係數的變化或其它觸覺效果。
[0041]還在其它的實施例中，觸覺輸出設備118可以例如，通過使用靜電錶面致動器，應用靜電摩擦或吸引，來模擬觸摸表面116的表面上的紋理。類似地，在一些實施例中，觸覺輸出設備118可以使用靜電吸引來改變用戶在觸摸表面116的表面上感受到的摩擦。例如，在一個實施例中，觸覺輸出設備118可以包括靜電顯示器或應用電壓和電流，而不是機械運動來生成觸覺效果的任何其它設備。在這種實施例中，靜電致動器可以包括導電層和絕緣層。在這種實施例中，導電層可以是任何半導體或其它導電材料，諸如銅、鋁、金或銀。並且絕緣層可以是玻璃、塑料、聚合物或任何其它絕緣材料。此外，處理器102可以通過將電信號施加到導電層來操作靜電致動器。電信號可以是AC信號，其在一些實施例中，通過在觸摸表面116附近或接觸觸摸表面116的物體，與導電層電容耦合。在一些實施例中，由高壓放大器生成AC信號。在其它實施例中，電容稱合可以模擬觸摸表面116的表面上的摩擦係數或紋理。例如，在一個實施例中，觸摸表面116的表面可以是平滑的，但電容耦合可以在觸摸表面116的表面附近的物體之間產生吸引力。在一些實施例中，改變物體和導電層之間的吸引水平會改變跨觸摸表面116的表面移動的物體上的模擬紋理或改變當物體跨觸摸表面116的表面移動時感受到的摩擦係數。此外，在一些實施例中，靜電致動器可以結合傳統的致動器一起使用來改變觸摸表面116的表面上的模擬紋理。例如，致動器可以振動來模擬觸摸表面116的表面的紋理的變化，同時，靜電致動器可以模擬觸摸表面116的表面上的不同紋理或其它效果。
[0042]本領域的普通技術人員將意識到除改變摩擦係數外，能使用其它技術或方法來例如模擬表面上的紋理。在一些實施例中，可以使用被配置成基於與表面可重構觸覺基板(包括但不限於例如光纖、納米管、電活化聚合物、壓電元件或形狀記憶合金)或磁流變液的接觸，改變其紋理的柔性表面層，模擬或輸出紋理。在另一實施例中，可以通過提高或降低一個或多個表面部件，例如，通過變形機構、空氣或液體袋、材料的局部變形、諧振機械元件、壓電材料、微機電系統(「MEMS」)元件、熱流體袋、MEMS泵、可變多孔性膜或層流調製，改變表面紋理。
[0043]在一些實施例中，可以使用靜電致動器來通過刺激觸摸表面116附近或與其接觸的本體的部分，生成觸覺效果。例如，在一些實施例中，靜電致動器可以刺激能響應於靜電致動器的用戶的手指的皮膚的神經末梢或尖筆中的部件。例如，皮膚中的神經末梢可以被刺激並且感測靜電致動器(例如電容耦合)，作為振動或一些更具體的感覺。例如，在一個實施例中，靜電致動器的導電層可以接收與用戶的手指的導電部分耦合的AC電壓信號。當用戶觸摸該觸摸表面116並且在觸摸表面上移動他或她的手指時，用戶可以感測多刺、粒狀、凸凹、粗糙、粘性的紋理或一些其它紋理。
[0044]此外，在一些實施例中，可以使用多個致動器來輸出觸覺效果。這可以用來增加觸覺輸出設備118能輸出的效果的範圍。例如，在一些實施例中，可以協同靜電致動器一起，使用振動致動器來生成寬範圍的效果。在另外的實施例中，另外類型的觸覺輸出設備，諸如配置成使觸摸表面變形的設備可以協同其它觸覺輸出設備，諸如振動致動器一起使用。
[0045]轉到存儲器104，描繪了示例性程序部件124、126和128來示例如何將設備配置成生成與音頻信號相關聯的觸覺效果。在該例子中，檢測模塊124配置處理器102來經由傳感器108監視觸摸表面116來確定觸摸的位置。例如，模塊124可以採樣傳感器108以便跟蹤存在或不存在觸摸，如果觸摸存在，則跟蹤位置、路徑、速度、加速度、壓力和/或隨時間的觸摸的其它特性的一個或多個。
[0046]觸覺效果確定模塊126表示分析音頻數據，諸如來自音頻效果的數據來選擇要生成的觸覺效果的程序部件。具體地，模塊126包括基於音頻數據，確定要輸出的觸覺效果的類型的代碼。
[0047]觸覺效果生成模塊128表示使處理器102生成觸覺信號並且將其傳送到觸覺輸出設備118，使得觸覺輸出設備118生成所選擇的觸覺效果的編程。例如，生成模塊128可以訪問所存儲的波形或命令來發送到觸覺輸出設備118。作為另一例子，觸覺效果生成模塊128可以接收所期望效果類型並且利用信號處理算法來生成發送到觸覺輸出設備118的適當信號。一些實施例可以共同利用多個觸覺輸出設備來輸出觸覺效果。在一些實施例中，處理器102可以流傳輸觸覺信號或將其傳送到觸覺輸出設備118。
[0048]觸摸表面可以或可以不覆蓋(或者對應於)顯示器，取決於計算系統的具體結構。在圖1B中，示出了計算系統100B的外部視圖。計算設備101包括結合觸摸表面和設備的顯示器的觸摸使能顯示器116。觸摸表面可以對應於在實際顯示部件外的顯示器或實際顯示部件上的一個或多個材料層。
[0049]圖1C示例其中觸摸表面不覆蓋顯示器的觸摸使能計算系統100C的另一例子。在該例子中，計算設備101包括觸摸表面116，該觸摸表面116被映射到在與設備101對接的計算系統120中包括的顯示器122中提供的圖形用戶界面。例如，計算設備101可以包括滑鼠、觸控板或其它設備，而計算系統120可以包括臺式或膝上型計算機、機頂盒(例如，DVD播放器、DVR、閉路電視盒)，或其它計算系統。作為另一例子，觸摸表面116和顯示器122可以位於同一設備中，諸如包括顯示器122的膝上型計算機中的觸摸使能的觸控板。不管是否與顯示器一體化，在此的例子中的平面觸摸表面的描述不意味著限制。其它實施例包括進一步被配置成提供基於表面的觸覺效果的彎曲或不規則觸摸使能表面。
[0050]圖2A-2B示例可以生成與音頻信號相關聯的觸覺效果的設備的例子。圖2A是示例由包括觸摸使能顯示器202的計算設備201組成的系統200的外部視圖的圖。圖2B示出設備201的截面圖。設備201可以被配置成與圖1A的設備101類似，儘管為了清楚起見，在該視圖中，未示出諸如處理器、存儲器、傳感器等等的部件。
[0051]如在圖2B看到的，設備201的特徵在於多個觸覺輸出設備218和附加觸覺輸出設備222。觸覺輸出設備218-1可以包括被配置成將垂直力施加到顯示器202的致動器，而218-2可以橫向移動顯示器202。在該例子中，觸覺輸出設備218和222被直接耦接到顯示器，但應當理解到觸覺輸出設備218和222能耦接到另一觸摸表面，諸如顯示器202的頂部上的材料層。此外，應當理解到，如上所述，一個或多個觸覺輸出設備218或222可以包括靜電致動器。此外，觸覺輸出設備222可以耦接到包含設備201的部件的外殼。在圖2A-2B的例子中，顯示器202的區域對應於觸摸區域，儘管該原理能應用於與顯示器完全分離的觸摸表面。
[0052]在一個實施例中，觸覺輸出設備218每個包括壓電致動器，而附加觸覺輸出設備222包括偏心旋轉質量電動機、線性諧振致動器，或另一壓電致動器。觸覺輸出設備222能被配置成響應於來自處理器的觸覺信號，提供振動觸覺效果。振動觸覺效果能與基於表面的觸覺效果結合，和/或用於其它目的。例如，可以協同輸出振動、模擬紋理或改變顯示器202的表面的摩擦係數，使用每一致動器。
[0053]在一些實施例中，觸覺輸出設備218-1和218-2的每一個或兩者能包括除壓電致動器外的致動器。致動器的任何一個可以包括例如壓電致動器、電磁致動器、電活化聚合物、形狀記憶合金、柔性複合壓電致動器(例如，由柔性材料組成的致動器)、靜電和/或磁致伸縮致動器。另外，示出了觸覺輸出設備222，儘管多個其它觸覺輸出設備能耦接到設備201的外殼和/或在另外的地方耦接觸覺輸出設備222。設備201還可以包括在不同位置處耦接到觸摸表面的多個觸覺輸出設備218-1/218-2。
[0054]現在轉到圖3，圖3示出用於根據本公開內容，用於生成與音頻信號相關聯的觸覺效果的系統的一個實施例。圖3中所示的系統300包括計算設備301，具有示出包括火車304的視頻的顯示器302。在一些實施例中，計算設備301可以包括手持計算設備，例如行動電話、平板電腦、音樂播放器或膝上型計算機。在另一實施例中，計算設備301可以包括多功能控制器。例如，在公用電話亭、ATM或其它計算設備中使用的控制器。此外，在一個實施例中，計算設備301可以包括在車輛中使用的控制器。
[0055]視頻304可以進一步包括由耦接到計算設備301的音頻輸出設備(例如揚聲器或耳機)(圖3中未示出)播放的可聽效果。本公開內容的實施例包括用於基於音頻信號，確定觸覺效果的方法。例如，一些實施例可以將音頻信號與視頻信號分離，然後執行如在下文進一步詳細所述的各種操作，確定隨音頻軌輸出的觸覺效果。
[0056]在一些實施例中，顯示器302可以包括觸摸使能顯示器。此外，除了顯示視頻之夕卜，顯示器302可以為用戶提供圖形用戶界面，例如，用於公用電話亭、ATM、立體聲系統、汽車儀錶盤、電話、計算機、音樂播放器的圖形用戶界面或本領域已知的一些其它圖形用戶界面。在這種實施例中，計算設備301可以基於與圖形用戶界面相關聯的音頻信號，確定觸覺效果。例如，在一些實施例中，圖形用戶界面可以包括當用戶與圖標、按鈕或其它界面元件交互時輸出的音頻效果。在一些實施例中，計算設備301可以進一步確定與這些音頻效果的一個或多個相關聯的觸覺效果。在一些實施例中，計算設備301可以從音頻信號中的包絡或任何其它傳感器導出信號，例如，來自諸如用戶接口、加速度計、陀螺儀、慣性測量單元等等的傳感器的信號，導出觸覺效果。
[0057]在一些實施例中，可以不包括視頻信號。例如，在一些實施例中，可以隨不與視頻關聯的音頻軌，播放觸覺效果。在這種實施例中，當正播放信號或在正播放的信號前的時間，在此公開的系統和方法可以實時地操作音頻信號。例如，在一些實施例中，可以處理音頻信號來確定存儲在數據倉庫中，用於未來播放的觸覺軌。在這種實施例中，可以由播放觸覺軌的計算設備，確定觸覺軌。在其它實施例中，可以由音頻軌的作者或發布者創建觸覺軌。在這種實施例中，作者或發布者可以與音頻軌一起發布觸覺軌。
[0058]用於生成與音頻信號相關聯的觸覺效果的示例性方法
[0059]圖4和5是示出用於生成與音頻信號相關聯的觸覺效果的方法400和500的流程圖。在一些實施例中，流程圖400和500中的步驟可以用由處理器，例如通用計算機、行動裝置或伺服器中的處理器執行的程序代碼來實現。在一些實施例中，這些步驟可以由一組處理器來實現。在一些實施例中，圖4和5中所示的步驟可以以不同的順序來執行。可替代地，在一些實施例中，可以跳過圖4和5中所示的一個或多個步驟，或可以執行圖4和5中未示出的另外的步驟。就音頻信號而言，描述圖4和5中的步驟。然而，在一些實施例中，可以使用上述方法來確定與其它類型的信號，例如壓力、加速度、速度或溫度信號相關聯的觸覺效果。參考就關於圖1A中所示的系統100所述的部件，描述下述步驟。
[0060]當處理器102接收音頻信號402時，方法400開始。在一些實施例中，音頻信號可以包括與正在計算設備101上播放的視頻相關聯的信號。在其它實施例中，音頻信號可以包括與目前正在計算設備101上播放的音頻文件相關聯的信號。在其它實施例中，音頻信號可以與在計算設備101上本地存儲或在遠程伺服器上存儲的音頻文件相關聯。例如，在一些實施例中，音頻信號可以包括存儲在伺服器上並且按需下載到用戶的音頻文件。
[0061]當處理器102基於音頻信號404，確定觸覺效果時，方法400繼續。在一些實施例中，觸覺效果可以包括由一個或多個觸覺輸出設備118輸出的振動。在一些實施例中，該振動可以用來增強在計算設備101上播放的音頻軌的用戶感知。類似地，在一些實施例中，觸覺效果可以包括觸摸表面116上摩擦係數的變化。在其它實施例中，觸覺效果可以包括觸摸表面116的表面上的模擬紋理(例如，水、草、冰、金屬、沙灘、碎石、磚塊、毛皮、皮革、皮膚、織物、橡膠、樹葉或任何其它可用紋理中的一個或多個的紋理)。
[0062]在一些實施例中，處理器102可以依賴於包含在觸覺效果確定模塊126中的編程來確定該觸覺效果。例如，處理器102可以訪問在存儲器104中存儲的並且與特定觸覺效果相關聯的驅動信號。作為另一例子，可以通過訪問所存儲的算法和輸入與效果相關聯的參數，生成信號。例如，算法可以輸出在基于振幅和頻率參數，生成驅動信號中使用的數據。作為另一例子，觸覺信號可以包括發送到致動器以便由致動器解碼的數據。例如，致動器本身可以響應於指定諸如振幅和頻率的參數的命令。
[0063]此外，在一些實施例中，用戶能選擇與音頻文件相關聯的振動、紋理、摩擦係數的變化或其它觸覺效果以便定製計算設備101。例如，在一些實施例中，用戶可以選擇諸如允許觸摸界面的感覺的個性化的表面紋理的觸覺效果。在一些實施例中，該觸覺效果可以與例如用於來電呼叫、電子郵件、文本消息、警報或其它事件的鈴聲相關聯。在一些實施例中，用戶可以通過修改設定或下載與特定效果相關聯的軟體，選擇這些個性化的觸覺效果或表面紋理。在其它實施例中，用戶可以通過所檢測的與設備的交互指定效果。在一些實施例中，該個性化的觸覺效果會增加用戶的擁有感以及用戶和他或她的設備之間的連接。
[0064]還在其它實施例中，設備製造商、藝術家、電視錄像製作人或軟體開發商可以選擇諸如表面紋理的不同觸覺效果來在他們的設備、用戶界面或藝術作品(例如歌曲、視頻或音頻軌)上加品牌。在一些實施例中，這些觸覺效果對品牌設備是唯一的並且與可以增加品牌意識的其它不同要素類似。例如，許多行動裝置和平板電腦包括定製或品牌主屏環境。例如，在一些實施例中，由不同製造商生產的設備可以包括相同作業系統，然而，製造商可以通過修改該主屏環境區分他們的設備。類似地，由某一公司生產的視頻或音頻軌可以包括特定類型的觸覺效果。由此，在一些實施例中，一些設備製造商、生產公司或軟體開發人員可以使用觸覺效果，諸如基於紋理或摩擦的效果來創建唯一和可區分的用戶體驗。
[0065]在一些實施例中，處理器102可以實現「觸覺簡檔」。觸覺簡檔可以包括配置成使處理器102確定具有某些特徵的觸覺效果的特定算法或設定。在一些實施例中，觸覺簡檔可以由用戶或設計得創建或指定。此外，在一些實施例中，設備可以包括預編程觸覺簡檔。在一些實施例中，這些觸覺簡檔可以包括例如設計成輸出:活動效果、微妙效果的觸覺簡檔，或用於特定類型的音頻信號(例如用於音樂、語音、特效、電影類型(例如動作、戲劇、驚悚、恐怖、喜劇))、體育賽事或在此所述的其它類型信號的定製簡檔。例如，在一個實施例中，用戶可以指定與搖滾音樂相關聯的特定觸覺簡檔和與體育賽事相關聯的不同觸覺簡檔。
[0066]當處理器102輸出與觸覺效果406相關聯的觸覺信號時，方法400繼續。處理器102將觸覺信號輸出到被配置成輸出觸覺效果的觸覺輸出設備118。在一些實施例中，觸覺輸出設備118可以將觸覺效果輸出到觸摸表面116上。在一些實施例中，觸覺輸出設備118可以包括耦接到觸摸表面116的傳統的致動器，諸如壓電致動器或電動機，或計算設備101內的其它部件。在其它實施例中，觸覺輸出設備118可以包括被配置成模擬紋理或使用電場，改變摩擦係數的靜電致動器。在一些實施例中，處理器102可以控制多個觸覺輸出設備來模擬多個觸覺效果。例如，在一個實施例中，處理器102可以控制靜電致動器來模擬觸摸表面116的表面上的紋理以及處理器102可以進一步控制其它觸覺輸出設備118來模擬其它特性。例如，觸覺輸出設備118可以包括被配置成輸出諸如被配置成模擬障礙物、止動器、運動的其它效果或對觸摸表面116的影響的致動器。在一些實施例中，處理器102可以協調效果，使得用戶當與觸摸表面116交互時能一起感到多種效果。
[0067]然後，處理器102輸出音頻信號408。在一些實施例中，處理器102可以將音頻信號輸出到音頻輸出設備，諸如揚聲器、耳機或耳塞。在一些實施例中，音頻輸出設備可以集成在計算設備101中。在其它實施例中，音頻輸出設備可以耦接到計算設備101。此外，在一些實施例中，音頻信號可以與觸覺效果同步，例如，在一些實施例中，觸覺效果可以基本上同時輸出為相應的音頻效果。
[0068]現在轉到圖5，圖5是示出用於確定與音頻信號相關聯的觸覺效果的示例性方法500的流程圖。當處理器102識別音頻信號502中的分量時，方法500開始。在下文中，將進一步詳細地描述用於識別音頻信號中的分量的各種示例方法。在一些實施例中，這些分量可以與音頻信號的振幅、頻率、音調、音高或速度的變化相關聯。這些變化可以與例如樂器的變化、電影場景的變化、源的變化(例如揚聲器的變化)或音頻文件中常見的一些其它過渡相關聯。
[0069]在步驟504處，當處理器102確定與步驟502中確定的分量相關聯的觸覺效果時，方法500繼續。在一些實施例中，可以將觸覺效果配置成模擬分量。例如，如果所確定的分量與動作(例如開火或爆炸)相關聯，則觸覺效果可以包括高強度觸覺效果。在其它實施例中，觸覺效果可以包括低強度觸覺效果，例如，與諸如由排簫生成的和平音樂相關聯的效果。可替代地，在一些實施例中，確定觸覺效果包括確定觸覺效果不應當與分量相關聯。例如，在一個實施例中，背景噪聲可以不包括觸覺效果。由此，當系統確定或識別與背景噪聲相關聯的分量時，系統可以確定無觸覺效果。類似地，在一些實施例中，系統可以確定與語音相關聯的分量應當不具有觸覺效果。此外，在一個實施例中，系統可以隔離分量(例如背景噪聲)並確定移除與這些分量相關聯的觸覺效果。例如，在一個實施例中，系統可以清除由自動轉換產生的觸覺軌來消除與該分量相關聯的觸覺效果。
[0070]此外，在一些實施例中，處理器102可以使觸覺效果與分量同步。在一些實施例中，使觸覺效果與分量同步包括配置處理器102在基本上對應於音頻效果時輸出與觸覺效果相關聯的觸覺信號。在其它實施例中，可以在音頻效果後的一些時段處輸出觸覺效果。例如，在一些實施例中，處理器102可以輸出充當回聲的觸覺效果。例如,在一個實施例中，音頻軌可以包括諸如模擬開火的聲音的分量。在這種實施例中，處理器可以確定與音頻效果相符的觸覺效果。處理器可以進一步確定稍後幾秒要輸出的第二觸覺效果來模擬與開火相關聯的回聲。
[0071]用於確定與音頻信號相關聯的觸覺效果的示例性方法
[0072]圖6-8是示出用於確定與音頻信號相關聯的觸覺效果的示例性方法600、700和800的流程圖。在一些實施例中，可以用由處理器，例如通用計算機、行動裝置或伺服器中的處理器執行的程序代碼，實現圖6-8中的步驟。在一些實施例中，這些步驟可以由一組處理器實現。在一些實施例中，可以以不同順序執行圖6-8中所示的步驟。可替代地，在一些實施例中，可以跳過圖6-8中所示的一個或多個步驟，或可以執行圖6-8中未示出的另外的步驟。就音頻信號而言，描述圖6-8中的步驟。然而，在一些實施例中，可以使用方法來確定與其它類型的信號，例如壓力、加速度、速度或溫度信號相關聯的觸覺效果。
[0073]在一些實施例中，圖6-8中所述的方法可以由耦接到最終輸出觸覺效果的觸覺輸出設備的設備來實現。在其它實施例中，圖6-8中所述的方法可以由觸覺開發人員或內容創作者實現。在這種實施例中，上述方法可以實現為幫助設計者或內容創作者向多媒體內容指定觸覺效果的工具箱的一部分。例如，在一些實施例中，這些方法可以被發現為用於音頻或音頻-視覺編輯軟體(例如觸覺工作室或用於開發觸覺的移動應用)的插件的一部分。
[0074]現在轉到圖6，圖6示例根據一個實施例，用於生成與音頻信號相關聯的觸覺效果的方法600的流程圖。如圖6所示，當處理器102接收與一個或多個分量相關聯的信號時，方法600開始。在一些實施例中,這些分量可以包括與聲事件檢測(AED)或自動語音識別(ASR)相關聯的方法或系統。此外，在一些實施例中，這些方法使用與Mel頻率倒頻譜係數(MFCC)連同它們的第一和第二導數、MPEG-7頻譜特徵、與Teager能量算子特徵結合的臨界頻帶(CB-TEO)、信號的周期性、基於小波倒頻譜係數、光譜矩心、光譜不對稱性、光譜帶寬、零交叉率(ZCR)、線性預測係數(LPC)、線性預測倒頻譜係數(LPCC)、對數式頻率倒頻譜係數(LFCC)或基頻中的一個或多個相關聯的音頻特徵。在一些實施例中，可以由想收聽音頻文件的用戶識別或標記這些分量。在其它實施例中，這些分量可以由程式設計師或開發音頻軌的藝術家識別或標記。
[0075]接著，在步驟604處，處理器102將音頻信號劃分成一個或多個段604。在一些實施例中，這些段可以包括重疊段，或者可替代地，在一些實施例中，段可以包括非重疊段。在一些實施例中，這些段可以包括時間段。例如，在一些實施例中，段可以包括例如，每1，.5，.1,或.01秒的預定周期的時間段。在其它實施例中，段可以包括值改變的時間段。還在其它實施例中，段可以包括音頻信號的不同度量。例如，在一個實施例中，段可以包括振幅段，例如，某一振幅範圍內的信號的分量可以形成段。還在其它實施例中，段可以包括信號內的頻率範圍。在這種實施例中，該頻率範圍內的音頻信號的分量可以形成段。在一些實施例中，示例頻率範圍可以包括從50Hz到200Hz，或1，OOOHz至10，OOOHz的範圍。
[0076]然後，在步驟606處，處理器102分析段。處理器102分析該段來識別在步驟602中上述的一個或多個分量。例如，處理器102可以確定諸如語音或音樂的分量是否存在。在一些實施例中，處理器102可以使用聲事件檢測(AED)或自動語音識別(ASR)中的一個分析段。在一些實施例中，分析可以包括基於頻率、振幅、音調或音高的分析中的一個或多個。例如，在一些實施例中，處理器可以在音頻信號上執行快速傅立葉變換(FFT)，並且然後分析頻域中的音頻信號。例如，在一個實施例中，處理器102可以通過執行FFT，然後分離峰值頻率分量，分析段。處理器可以進一步訪問音頻信號數據的資料庫(例如，可經由網絡110訪問的遠程資料庫或存儲114中存儲的本地資料庫)並且將段與資料庫進行比較。在一些實施例中，這可以使處理器隔離音頻效果的來源，例如，隔離揚聲器或隔離樂器或特效(例如，在動作電影中發現的效果，諸如開槍、爆炸或引擎聲)。
[0077]接著，在步驟608處，處理器102對段進行分類。在一些實施例中，處理器102可以基於段中的特定音頻特徵的值或段中的特定分量的存在，對段進行分類。在一些實施例中，用於分類的算法(例如識別算法)可以將段的分量或特徵值與描述不同分量或特徵的不同模型比較。基於最可能模型標籤，該算法可以進一步對段進行分類。
[0078]在一些實施例中，基於與模型相關聯的分量的類型，可以設計該模型。在一個實施例中，可以使用來自先前自動或手動標記有同一類型的音頻段的資料庫的分量或特徵，構建用於一種類型的分量或特徵的模型。在一些實施例中，該資料庫可以包括由被配置成使能與音頻效果相關聯的高速搜索的多個分類器組成的大資料庫。在一個實施例中，示例分類可以包括每一分量的分類系統(例如語音識別系統)或將段指定到集合中的一個分量的分類系統。用於AED的分類技術的例子可以包括高斯混合模型(GMM)、支持矢量機器(SVM)、隱馬爾科夫模型(HMM)、K最近鄰域(KNN)、判決樹、人工神經網絡(ANN)、矢量量化(VQ)或貝葉斯網絡(BN)。此外，在一些實施例中，處理器102可以訪問資料庫來存儲特定特徵或分量，或者可替代地，在與特徵或分量相關聯的資料庫上執行搜索。
[0079]然後，在步驟610處，處理器102基於分類指定觸覺效果。在一些實施例中，觸覺效果可以包括與分類相關聯的特定類型的效果。例如，在一些實施例中，特定種類的信號可以包括特定觸覺效果。在這樣的實施例中，例如，語音可以包括特定頻率振動，而諸如汽車運行的另一可聽效果可以包括不同頻率振動。此外，在一些實施例中，處理器102可以確定某些種類的音頻信號應當不具有觸覺效果。例如，在一些實施例中，處理器102可以確定背景噪聲或語音不應當與任何觸覺效果關聯。例如，在一個實施例中，用戶或設計者可以調整設定，使得處理器102將確定不輸出與背景噪聲或語音相關聯的觸覺效果。此外，在一個實施例中，用戶或設計者可以調整設定，使得處理器102執行音頻文件的搜索和清除觸覺軌來消除與背景噪聲或語音相關聯的觸覺效果。
[0080]現在轉到圖7，圖7示例根據一個實施例，用於生成與音頻信號相關聯的觸覺效果的方法700的流程圖。如圖7所示，當處理器102隔離音頻信號內的源702時，方法700開始。在一些實施例中，處理器102可以實現用於隔離音頻源的多個不同方法中的一個或多個。在一些實施例中，這些方法可以包括用於聲事件檢測(AED)或自動語音識別(ASR)的方法。此外，在一些實施例中，這些方法可以包括被配置成使用Mel頻率倒頻譜係數(MFCC)連同它們的第一和第二導數、MPEG-7頻譜特徵、與Teager能量算子特徵結合的臨界頻帶(CB-TEO)、信號的周期性、基於小波倒頻譜係數、光譜矩心、光譜不對稱性、光譜帶寬、零交叉率(ZCR)、線性預測係數(LPC)、線性預測倒頻譜係數(LPCC)、對數式頻率倒頻譜係數(LFCC)或基頻中的一個或多個的算法。
[0081]接著，在步驟704處，處理器102將觸覺效果指定給源。例如，在一些實施例中，處理器可以確定觸覺效果應當僅與某些源關聯。例如，處理器可以將觸覺效果應用於與音樂相關聯的音頻，但消除或「清除」與說話相關聯的觸覺效果。類似地，處理器可以確定用於與諸如開火、引擎噪聲、天氣噪聲或背景噪聲的效果相關聯的音頻的特定效果。在一些實施例中，處理器102可以將多個致動器指定到不同音頻效果。例如，處理器102可以指定第一觸覺輸出設備118來生成與一個源(例如第一揚聲器或第一吉他)相關聯的觸覺效果，以及指定第二觸覺輸出設備118來生成與第二源(例如，音頻信號中的第二揚聲器或特效)相關聯的觸覺效果。
[0082]現在轉到圖8，圖8示例根據一個實施例，用於生成與音頻信號相關聯的觸覺效果的方法800的流程圖。如圖8所示，在步驟802處，當處理器102隔離音頻信號中的語音時，方法800開始。在一些實施例中，處理器102通過將音頻信號中的段進行分類，例如，通過使用識別音頻信號中的音頻特徵或分量，隔離語音。在一些實施例中，處理器102可以訪問預標記的音頻信號的本地或遠程資料庫。該資料庫可以包括不同類型、不同揚聲器和具有不同噪聲級的聲音。在一些實施例中，處理器可以使用下述的一個或多個將信號分類為語音:信號能量、高/低能量、Mel頻率倒頻譜係數(MFCC)及其導數、線性頻率倒頻譜係數(LFCC)及其導數、零交叉率(ZCR)、自關聯頻率或頻譜重心。此外，在一些實施例中，用於判別任務的分類器可以包括:神經網絡、高斯混合模型(GMM)或隱馬爾科夫模型(HMM)。
[0083]當處理器102確定與語音相關聯的一個或多個情緒804時，方法800繼續。說話者的情緒狀態影響他或她的語音模式。例如，說話者的情緒可以使說話者改變聲調、音量、速度或其它語音參數。在一些實施例中，處理器102通過再次對信號進行分類，確定語音中的情緒。在一些實施例中，該分類包括從音頻信號估算一個或多個特徵值或分量以及針對標記有說話者的情緒狀態的語音樣本的本地或遠程資料庫進行分類。在一些實施例中，用於分類的算法(例如識別算法)可以將段的分量或特徵值與描述不同情緒的不同模型比較。基於最可能情緒，該算法可以進一步對段進行分類。在一些實施例中，可以基於與模型相關聯的情緒類型，設計該模型。在一個實施例中，可以使用來自先前標記(例如手動或自動)相同情緒的音頻段的資料庫的分量或特徵，構建用於一種情緒的模型。在一些實施例中，資料庫可以足夠大來包括不同年齡、性別、情緒狀態和口音/語言的說話者的樣本。另外，在一些實施例中，能檢測的情緒類型包括:中性、玩笑、發怒、悲傷、挑釁、厭煩、厭惡、害怕、緊張、驚喜或憤怒。
[0084]處理器102可以將多個不同的分量用於情緒檢測。在一些實施例中，這些分量可以包括基於頻率的分量，例如基頻變化、平均音高、音高範圍、頻譜特徵、MFCC、LFCC、共振峰特徵或輪廓斜率。在其它實施例中，這些分量可以包括基於時間的分量，例如語速、應力頻率、能量或ZCR。在其它實施例中,這些分量可以包括話音質量參數,諸如氣息聲、逼真度、響度、暫停不連續或音高不連續。例如，在一些實施例中，憤怒和挑釁能被轉化成具有強的高頻能量和更寬音高範圍的高振幅和快語音。在其它實施例中，悲傷能產生慢且低的音高信號。在一些實施例中，可以用於情緒分類任務的分類器可以包括:神經網絡、SVM、GMM、HMM、KNN或判決樹。
[0085]此外，在一些實施例中，音頻信號可以包括充當音頻段的描述符的特徵，在一些實施例中，可以使算法來對音頻信號的段進行分類，例如，通過識別情緒。在一個實施例中，可以將Mel頻率倒頻譜(MFCC)用作用於分類的音頻特徵。在這種實施例中，系統可以使用那些MFCC或其它特徵或描述符，識別事件或源。
[0086]當處理器102確定與情緒相關聯的觸覺效果806時，方法800繼續。在一些實施例中，處理器102可以確定生成觸覺靜音而不是生成觸覺效果。例如，對於一些情緒(例如沮喪、悲傷)，處理器102可以取消該段中的所有觸覺效果。處理器102也可以向段指定觸覺主題。例如，所檢測的情緒可以用來調製段/場景中的觸覺效果來使其更相關。可以通過自動變換(音頻和/或視頻)，創建這些觸覺效果並且能與語音或任何其它聲音相關聯。例如，在具有來自演員的憤怒和緊張情緒的動作電影場景中，可以確定觸覺效果來模擬用於觀眾的類似緊張狀態。在這種實施例中，處理器102可以被配置成放大緊張場景中的所有觸覺效果。在其它實施例中，當場景愉快時，處理器可以被配置成衰減與場景相關聯的一個或多個觸覺效果。還在其它實施例中，處理器102可以被配置成確定預定效果。在這種實施例中，除了使用自動變換之外，處理器102可以從標記的情緒直接生成效果。例如，在一個實施例中，可以由用戶、程式設計師或內容作者標記情緒。在一些實施例中，能設計預定效果來配合說話者的情緒狀態，在這種實施例中，可以與話音一起播放來反映和強調該狀態。還在其它實施例中，代替使用可以不適合語音信號的自動變換算法，可以將處理器102配置成取消與自動創建的觸覺軌中的語音相關的所有效果。在這種實施例中，處理器102可以獨立於為所檢測的情緒特別設計的算法處理該語音。此外，在一些實施例中，基於所確定的情緒處理器102可以將用於語音的預定算法應用於觸覺。例如，在一個實施例中，處理器可以包括分別與多種情緒關聯的多個自動語音至觸覺算法。在這種實施例中，當處理器102確定一個情緒時，處理器102可以使用相應的算法確定觸覺效果。
[0087]用於生成與音頻信號相關聯的觸覺內容來產生觸覺媒體的示例性系統
[0088]現在轉到圖9A和9B，闡述用於創建觸覺內容的系統環境的實施例。如圖9A所示，系統900包括在一個或多個媒體伺服器904上存儲的A/V內容902和在一個或多個觸覺媒體伺服器910上存儲的觸覺內容908。如系統900所示，每一媒體伺服器904和觸覺媒體伺服器910包括具有本領域已知的標準部件，例如處理器、存儲器、數據存儲器、網絡連接和配置成存儲和訪問伺服器上存儲的數據的軟體的一個或多個伺服器。媒體伺服器904和觸覺媒體伺服器910耦接到雲連接906 (a)或906 (b)中的一個。雲連接906 (a)或906 (b)包括本領域公知的有線和/或無線網際網路連接。
[0089]如系統900所示，與觸覺內容908 (諸如上述的觸覺軌)分離，傳送A/V內容902 (諸如音頻、圖像或視頻文件)。當接收時，例如，通過如上所述的類型的計算設備，可以訪問應用，諸如發布者應用912 (例如觸覺使能安卓應用或觸覺媒體SDK)來同步和/或播放視頻和觸覺流。
[0090]在另一實施例中，圖9B中示為系統950，將具有嵌入式觸覺信息952的A/V內容存儲在一個或多個媒體伺服器954上。這些媒體伺服器可以稱接到一個或多個雲連接956。在這種實施例中，可以訪問應用，諸如發布者應用958 (例如，觸覺使能安卓應用或觸覺媒體SDK)來確定和/或播放A/V內容和嵌入式觸覺內容952。
[0091]用於生成與音頻信號相關聯的觸覺效果的系統和方法的優點
[0092]生成具有與音頻信號相關聯的觸覺效果具有許多優點。例如，自動音頻觸覺變換算法可以嘗試感觸儘可能多的音頻內容，在信號中混合中的不同聲音之間沒有任何區別。然而，該方法導致未預期的觸覺效果，因為觸覺效果會變得不可抗拒的。例如，當使用其音頻軌，自動地創建用於電影的觸覺效果時，語音和背景音樂可能變為有觸覺的。那些效果與大多數用戶無關，由此，能降低他們的體驗。然而，本公開內容的實施例允許僅向某些音頻效果巧妙地指定觸覺效果的自動音頻觸覺變換。這防止最終觸覺效果成為不可抗拒的。
[0093]此外，本公開內容的實施例允許用戶、內容作者或系統設計者指定應當包括觸覺效果的音頻信號的分量。這使得用戶、內容作者或系統設計者自動地創建用於音頻信號的更引人注目的觸覺效果，因為用戶能指定沒有觸覺輸出的某些源。例如，一些類型的分量如果被感觸，則可能是惱人的，在一些實施例中，這些分量可以包括例如鍵盤敲擊、音樂節拍、鼓掌、歡呼、古典音樂、喊叫等待。在此公開的系統和方法可以允許設計者避免感觸這些分量，或從觸覺軌移除與這些分量相關聯的觸覺效果。
[0094]一般考慮
[0095]上述方法、系統和設備是示例性的。適當時，各種配置可以省略、替代或添加不同的過程或部件。例如，在替代配置中，可以以不同於上述的順序，執行方法，和/或可以添力口、省略和/或組合不同的步驟。同時，參考某些配置所述的特徵可以結合在不同的其它配置中。可以以類似的方式組合配置的不同方面和要素。同時，技術在發展，由此，許多的要素是示例性的，不限制本公開內容或權利要求的範圍。
[0096]在說明書中給出具體的細節以便提供示例性結構(包括實現)的全面理解。然而，在沒有這些具體細節的情況下，也可以實施配置。例如，在沒有非必要細節的情況下，已經示出了非常公知的電路、過程、算法、結構和技術，以避免混淆配置。本說明書僅提供示例性配置，以及不限制權利要求的範圍、可用性或配置。相反，配置的前述描述將為本領域的技術人員提供用於實現所述技術的開放描述。在不背離本公開內容的精神或範圍的情況下，可以在要素的功能或排列方面做出各種改變。
[0097]同時，配置可以描述為圖示為流程圖或框圖的過程。儘管每一配置可以將操作描述為順序過程，但可以並行或同時地執行許多操作。此外，可以重新排列操作的次序。過程可以具有未包括在圖中的另外的步驟。此外，可以由硬體、軟體、固件、中間件、微代碼、硬體描述語言或其任意組合來實現方法的例子。當用軟體、固件、中間件或微代碼實現時，可以將執行必要任務的程序代碼或代碼段存儲在非瞬時計算機可讀介質，諸如存儲介質中。處理器可以執行所述任務。
[0098]已經描述了若干示例結構，在不背離本公開內容的精神的情況下，可以使用各種改進、替代結構和等同物。例如，上述要素可以是較大系統的部件，其中，其它規則可以優先於或者另外修改本發明的應用。同時，在考慮上述要素前、期間或之後，可以進行許多步驟。因此，上述描述不限定權利要求書的範圍。
[0099]在此使用「用來」或「被配置成」意為不排除用來或被配置成執行另外的任務或步驟的設備的開放和包含性語言。此外，使用「基於」是指開放和包含性的，即，「基於」一個或多個所述條件或值的過程、步驟、計算或其它動作實際上可以基於除那些所述的外的另外的條件或值。其中所包括的標題、列表和編號僅為了易於說明而不打算限制。
[0100]能在數字電子電路中、計算機硬體、固件、軟體中或前述的組合中實現根據本主題的方面的實施例。在一個實施例中，計算機可以包括一個處理器或多個處理器。處理器包括或能夠存取計算機可讀介質，諸如耦接到處理器的隨機存取存儲器(RAM)。處理器執行在存儲器中存儲的計算機可執行程序指令，諸如執行包括傳感器採樣例程、選擇例程和執行上述方法的其它例程的一個或多個電腦程式。
[0101]這些處理器可以包括微處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA)和狀態機。這些處理器可以進一步包括可編程電子設備，諸如PLC、可編程中斷控制器(PIC)、可編程邏輯器件(PLD)、可編程只讀存儲器(PROM)、電可編程只讀存儲器(EPR0M或EEPR0M)或其它類似的設備。
[0102]這些處理器可以包括可以存儲當由處理器執行時，能使處理器執行如由處理器執行或輔助的在此所述的步驟的介質，例如有形計算機可讀介質或可以與其通信。計算機可讀介質的實施例可以包括但不限於能為諸如網絡伺服器中的處理器的處理器提供計算機可讀指令的所有電子、光學、磁性或其它存儲設備。介質的其它例子包括但不限於軟盤、CD-ROM、磁碟、存儲器晶片、ROM、RAM、ASIC、結構處理器、所有光學介質、所有磁帶或其它磁性介質、或計算機處理器能讀取的任何其它介質。同時，各種其它設備可以包括計算機可讀介質，諸如路由器、專用或公用網絡，或其它傳輸設備。所述的處理器或處理可以在一個或多個結構中，以及可以分散在一個或多個結構中。處理器可以包括用於執行在此所述的一個或多個方法(或部分方法)的代碼。
[0103]儘管已經參考具體實施例詳細地描述了本主題，但將意識到本領域的技術人員在完成上文的理解後，可以易於產生對這些實施例的變更、變形和等同物。因此，應理解到為了示例性而不是限制目的給出了本公開內容，以及對本領域的普通技術人員來說，不排除包括對本領域的技術人員顯而易見的本主題的這些改進、變形和/或增加。
【權利要求】
1.一種用於輸出觸覺效果的系統，包括: 處理器，所述處理器被配置成: 接收音頻信號； 至少部分基於所述音頻信號，通過下述操作來確定觸覺效果: 識別所述音頻信號中的一個或多個分量；以及 確定與所述一個或多個分量相關聯的觸覺效果； 以及 輸出與所述觸覺效果相關聯的觸覺信號。
2.如權利要求1所述的系統，其中，識別所述音頻信號的一個或多個分量包括: 接收與一個或多個分量相關聯的信號； 將所述音頻信號分成多個段； 分析所述多個段中的一個來確定所述一個或多個分量是否存在；以及 基於所述一個或多個分量的存在，對所述段進行分類。
3.如權利要求2所述的系統，其中，分析所述多個音頻段中的一個包括實施聲事件檢測技術。
4.如權利要求3所述的系統，其中，所述聲事件檢測技術包括自動語音識別。
5.如權利要求2所述的系統，其中，對所述多個音頻段中的一個進行分類包括將該音頻段和與所述一個或多個分量相關聯的數據的資料庫進行比較。
6.如權利要求2所述的系統，其中，確定觸覺效果包括基於所述段的分類來指定觸覺效果。
7.如權利要求1所述的系統，其中，識別所述音頻信號的一個或多個分量包括隔離所述音頻信號中的音頻效果的源。
8.如權利要求7所述的系統，其中，確定與所述一個或多個分量相關聯的觸覺效果包括向所述源指定觸覺效果。
9.如權利要求7所述的系統，其中，隔離所述音頻信號中的音頻效果的源包括隔離所述音頻信號中的語音。
10.如權利要求9所述的系統，其中，確定與所述一個或多個分量相關聯的觸覺效果包括: 確定與所述語音相關聯的一個或多個情緒；以及 確定與所述一個或多個情緒相關聯的觸覺效果。
11.如權利要求10所述的系統，其中，確定與語音相關聯的一個或多個情緒包括下述中的一個或多個:基於頻率的分析、基於時間的分析、話音質量分析或將所述語音的特徵和與所述語音中的情緒相關聯的數據的資料庫進行比較。
12.如權利要求1所述的系統，進一步包括: 音頻輸出設備，所述音頻輸出設備被配置成接收所述音頻信號並且輸出可聽效果；以及 與所述處理器通信的觸覺輸出設備，所述觸覺輸出設備被配置成接收所述觸覺信號並且輸出所述觸覺效果。
13.如權利要求1所述的系統，進一步包括數據存儲，所述數據存儲被配置成接收所述觸覺信號並且將所述觸覺信號存儲在觸覺軌中。
14.如權利要求1所述的系統，其中，所述觸覺效果包括下述中的一個或多個:摩擦係數的變化、模擬紋理或振動。
15.一種用於輸出觸覺效果的方法，包括: 接收音頻信號； 至少部分基於所述音頻信號，通過下述操作來確定觸覺效果: 識別所述音頻信號中的一個或多個分量；以及 確定與所述一個或多個分量相關聯的觸覺效果；以及 輸出與所述觸覺效果相關聯的觸覺信號。
16.如權利要求15所述的方法，其中，識別所述音頻信號的一個或多個分量包括: 接收與一個或多個分量相關聯的信號； 將所述音頻信號分成多個段； 分析所述多個段中的一個來確定所述一個或多個分量是否存在；以及 基於所述一個或多個分量的存在，對所述段進行分類。
17.如權利要求16所述的方法，其中，分析所述多個音頻段中的一個包括實施聲事件檢測技術。
18.如權利要求17所述的方法，其中，所述聲事件檢測技術包括自動語音識別。
19.如權利要16所述的方法，其中，對所述多個音頻段中的一個進行分類包括將所述音頻段和與所述一個或多個分量相關聯的數據的資料庫進行比較。
20.如權利要求16所述的方法，其中，確定觸覺效果包括基於所述段的分類來指定觸覺效果。
21.如權利要求15所述的方法，其中，識別所述音頻信號的一個或多個分量包括隔離所述音頻信號中的音頻效果的源。
22.如權利要求21所述的方法，其中，確定與所述一個或多個分量相關聯的觸覺效果包括向所述源指定觸覺效果。
23.如權利要求21所述的方法，其中，隔離所述音頻信號中的音頻效果的源包括隔離所述音頻信號中的語音。
24.如權利要求23所述的方法，其中，確定與所述一個或多個分量相關聯的觸覺效果包括: 確定與所述語音相關聯的一個或多個情緒；以及 確定與所述一個或多個情緒相關聯的觸覺效果。
25.如權利要求24所述的方法，其中，確定與語音相關聯的一個或多個情緒包括下述中的一個或多個:基於頻率的分析、基於時間的分析、話音質量分析或將所述語音的特徵與所述語音中的情緒相關聯的數據的資料庫進行比較。
26.如權利要求15所述的方法，進一步包括: 輸出可聽效果；以及 輸出所述觸覺效果。
27.如權利要求15所述的方法，進一步包括將所述觸覺信號存儲在觸覺軌中。
28.如權利要求15所述的方法，其中，所述觸覺效果包括下述中的一個或多個:摩擦係數的變化、模擬紋理或振動。
29.一種非瞬時計算機可讀介質，包括程序代碼，所述程序代碼在被處理器執行時被配置成使所述處理器: 接收音頻信號； 至少部分基於所述音頻信號，通過下述操作來確定觸覺效果: 識別所述音頻信號中的一個或多個分量；以及 確定與所述一個或多個分量相關聯的觸覺效果；以及 輸出與所述觸覺效果相關聯的觸覺信號。
30.如權利要求29所述的非瞬時計算機可讀介質，其中，識別所述音頻信號的一個或多個分量包括: 接收與一個或多個分量相關聯的信號； 將所述音頻信號分成多個段； 分析所述多個段中的一個來確定所述一個或多個分量是否存在；以及 基於所述一個或多個分量的存在，對所述段進行分類。
31.如權利要求30所述的非瞬時計算機可讀介質，其中，分析所述多個音頻段中的一個包括實施聲事件檢測技術。
32.如權利要求31所述的非瞬時計算機可讀介質，其中，所述聲事件檢測技術包括自動語音識別。
33.如權利要求31所述的非瞬時計算機可讀介質，其中，對所述多個音頻段中的一個進行分類包括將所述音頻段和與所述一個或多個分量相關聯的數據的資料庫進行比較。
34.如權利要求30所述的非瞬時計算機可讀介質，其中，確定觸覺效果包括基於所述段的分類來指定觸覺效果。
35.如權利要求29所述的非瞬時計算機可讀介質，其中，識別所述音頻信號的一個或多個分量包括隔離所述音頻信號中的音頻效果的源。
36.如權利要求35所述的非瞬時計算機可讀介質，其中，確定與所述一個或多個分量相關聯的觸覺效果包括向所述源指定觸覺效果。
37.如權利要求35所述的非瞬時計算機可讀介質，其中，隔離所述音頻信號中的音頻效果的源包括隔離所述音頻信號中的語音。
38.如權利要求37所述的非瞬時計算機可讀介質，其中，確定與所述一個或多個分量相關聯的觸覺效果包括: 確定與所述語音相關聯的一個或多個情緒；以及 確定與所述一個或多個情緒相關聯的觸覺效果。
39.如權利要求38所述的非瞬時計算機可讀介質，其中，確定與語音相關聯的一個或多個情緒包括下述中的一個或多個:基於頻率的分析、基於時間的分析、話音質量分析或將所述語音的特徵和與所述語音中的情緒相關聯的數據的資料庫進行比較。
40.如權利要求29所述的非瞬時計算機可讀介質，進一步包括程序代碼，所述程序代碼在被處理器執行時被配置成使所述處理器將所述觸覺信號存儲在觸覺軌中。
【文檔編號】G06F3/01GK104423594SQ201410453859
【公開日】2015年3月18日 申請日期:2014年9月5日 優先權日:2013年9月6日
【發明者】君·曼扭爾·克魯斯-赫南德斯, 賈邁勒·沙博恩, 文森特·萊韋斯克, 阿利·莫達雷斯 申請人:意美森公司