生成與音頻信號中的躍遷相關聯的觸覺效果的系統和方法
2023-07-09 08:30:06 2
生成與音頻信號中的躍遷相關聯的觸覺效果的系統和方法
【專利摘要】公開了用於生成與音頻信號中的躍遷相關聯的觸覺效果的系統和方法。用於輸出觸覺效果的一個公開的系統包括：處理器，該處理器被配置為接收信號，部分地基於該信號來確定觸覺效果，輸出與觸覺效果相關聯的觸覺信號；音頻輸出設備，該音頻輸出設備被配置為接收信號並且輸出聽覺效果；以及觸覺輸出設備，該觸覺輸出設備與處理器通信並且與觸摸表面相耦合，觸覺輸出設備被配置為接收觸覺信號並且輸出觸覺效果。
【專利說明】生成與音頻信號中的躍遷相關聯的觸覺效果的系統和方法
[0001]相關申請的交叉引用
[0002]本申請要求於2013年9月6日提交的美國臨時申請N0.61/874，933並且標題為「Aud1 to Haptics」的優先權，通過引用將其全部內容合併於此。
[0003]本申請涉及於與本申請同日提交的並且標題為「Systems and Methods forGenerating Haptic Effects Associated with Envelope in Aud1 Signals，，(代理人案號N0.1MM478 (51851-879624))的美國專利申請N0.14/078，442，通過引用將其全部內容合併於此。
[0004]本申請涉及於與本申請同日提交的並且標題為「Systems and Methods forGenerating Haptic Effects Associated with Aud1 Signals，，的美國專利申請N0.14/078, 445 (代理人案號N0.1MM479 (51851-879622))，通過引用將其全部內容合併於此。
【技術領域】
[0005]本發明一般涉及觸覺反饋並且更具體地涉及用於生成與信號中的躍遷相關聯的觸覺效果的系統和方法。
【背景技術】
[0006]觸摸啟用設備變得越來越普及。例如，移動及其它設備可以被配置具有觸控式顯示器以便用戶通過觸摸觸控式顯示器的部分可提供輸入。作為另一示例，與顯示器相分離的觸摸啟用表面可以用於諸如軌跡板、滑鼠、或者其它設備的輸入。此外，一些觸摸啟用設備利用觸覺效果，例如被配置為模擬觸摸表面上的紋理或摩擦的觸覺效果。在一些設備中，這些觸覺效果可以與設備輸出的音頻或其它效果相關。然而，由於在處理和輸出音頻和觸覺效果中的延遲(等待時間)，這些效果可能不受控。因而，存在提高與音頻效果相關聯的觸覺效果的需要。
【發明內容】
[0007]本公開的實施例包括以在觸摸區上所感覺到的且與音頻信號相關聯的觸覺效果為特徵的設備。這些觸覺效果可以包括但不局限於紋理的變化，摩擦係數的變化，和/或對可通過使用與表面相接觸的物體而感知到的觸摸表面中的邊界、阻礙、或者其它不連續性的模擬。
[0008]在一個實施例中，本公開的系統可以包括:處理器，該處理器被配置為:接收信號；部分地基於該信號來確定觸覺效果；並且輸出與觸覺效果相關聯的觸覺信號；以及音頻輸出設備，該音頻輸出設備被配置為接收信號並輸出聽覺效果；以及觸覺輸出設備，該觸覺輸出設備與處理器通信並且與觸摸表面相耦合，該觸覺輸出設備被配置為接收觸覺信號並輸出觸覺效果。
[0009]所提及的示例性實施例不是限制或定義本主題的範圍，而是提供了示例以有助於其理解。在詳細說明中對示例性實施例進行了討論，並且在那裡提供了進一步描述。通過研究該說明書和/或通過實施所要求的主題的一個或多個實施例可以進一步理解由各個實施例提供的優點。
【專利附圖】
【附圖說明】
[0010]在說明書的剩餘部分中對充分及可啟用的公開進行更具體地闡述。說明書參考以下附圖。
[0011]圖1A示出了用於生成與音頻信號中的躍遷相關聯的觸覺效果的示例性系統。
[0012]圖1B示出了圖1A所示的系統的一個實施例的外部視圖；
[0013]圖1C圖示了圖1A所示的系統的另一實施例的外部視圖；
[0014]圖2A圖示了用於生成與音頻信號中的躍遷相關聯的觸覺效果的示例性實施例；
[0015]圖2B圖示了用於生成與音頻信號中的躍遷相關聯的觸覺效果的示例性實施例；
[0016]圖3圖示了根據一個實施例的用於生成與音頻信號中的躍遷相關聯的觸覺效果的示例性實施例；
[0017]圖4圖示了根據一個實施例的用於生成與音頻信號中的躍遷相關聯的觸覺效果的方法的流程圖；
[0018]圖5圖示了根據一個實施例的用於生成與音頻信號中的躍遷相關聯的觸覺效果的方法的流程圖；
[0019]圖6圖示了根據一個實施例的用於識別音頻信號中的躍遷的方法的流程圖；
[0020]圖7圖示了根據一個實施例的根據用於識別音頻信號中的躍遷的方法的音頻信號的示例性頻譜和脈衝編碼調製；
[0021]圖8圖示了根據一個實施例的根據用於識別音頻信號中的躍遷的一個方法的音頻信號的導數信號；
[0022]圖9圖示了根據一個實施例的用於識別音頻信號中的躍遷的方法的流程圖；以及
[0023]圖10圖示了根據用於識別音頻信號中的躍遷的方法的一個實施例的示例性躍遷檢測信號。
【具體實施方式】
[0024]現在詳細地參考各個且可替代的示例性實施例以及附圖。每個示例是作為說明提供的，而不是作為限制。對於本領域普通技術人員來說顯而易見地是可做出修改和改變。例如，可以在另一實施例上使用說明或描述為一個實施例的一部分的特徵以得出更進一步的實施例。因而，意圖該公開包括在所附權利要求及其等同物的範圍之內的修改和改變。
[0025]生成與音頻信號中的躍遷相關聯的觸覺效果的設備的示例性示例
[0026]本公開的一個示例性實施例包括諸如智慧型電話、平板、或者可攜式音樂設備的計算系統。在一些實施例中，計算系統可以包括可穿戴式設備，或者可以嵌入在家具或衣服中。計算系統可包括和/或可以與諸如加速度計的一個或多個傳感器以及用於確定在該示例中相對於與設備的屏幕相對應的顯示區的觸摸的位置的(例如光、電阻、電容)傳感器進行通信。
[0027]當用戶與設備進行交互時，例如致動器的一個或多個觸覺輸出設備用於提供觸覺效果。例如，可以輸出觸覺效果以模擬在設備的表面上的紋理的存在。在一個這種實施例中，當用戶的手指移動跨過該表面時，可以輸出振動、電場、或者其它效果以模擬設備的表面上的紋理的感覺。類似地，在另一實施例中，當用戶移動手指跨過設備時，可基於位置、速度、和/或手指的加速度或者手指與設備相接觸的時間長度而改變(例如增大或減小)所感知到的屏幕的摩擦係數。在其它實施例中，行動裝置可以輸出諸如振動、砰砰聲(pops)、點擊、或者表面變形的觸覺效果。在一些實施例中，可以在發生某個事件時的某個時間段(例如50ms)內輸出觸覺效果。在其它實施例中，觸覺效果可以隨固定時期而變，例如在實施例中，可以輸出以10Hz速率而變的紋理(例如10Hz正弦曲線)。
[0028]在示例性實施例中，觸覺效果包括與音頻信號相關聯的效果。例如，在一些實施例中，觸覺效果可以包括與音頻軌道相關聯的觸覺效果。在一些實施例中，用戶可以在確定觸覺效果時聽音頻軌道(例如利用頭戴耳機、揚聲器、或者一些其它類型的音頻輸出設備)。在其它實施例中，可以將觸覺效果預先確定為「觸覺軌道」的一部分。該觸覺軌道可以與音頻文件一起分發，以便可以隨著音頻軌道播放。在一些實施例中，觸覺軌道可以與音頻軌道同步以便觸覺效果與音頻軌道中的事件相對應。在其它實施例中，觸覺效果可以與例如視頻文件的音頻部分的視聽(「AV」)軌道相關聯。
[0029]在一個示例性實施例中，計算設備可以通過確定音頻信號中的躍遷的位置來確定觸覺效果。在一些實施例中，這些躍遷可以包括幅度變化、頻率變化、或者音頻信號中的其它變化。例如，在一個實施例中，躍遷可以包括從管弦樂隊輸出的音頻到人講話輸出的音頻的變化。在其它實施例中，躍遷可以包括諸如揚聲器的聲調的變化的更微小變化。本公開包括對用於確定音頻信號中的躍遷的位置的示例性方法的進一步描述。
[0030]在一些實施例中，可以隨音頻文件一起以協調的形式或者同步形式輸出觸覺效果。在一些實施例中，簡單的濾波技術(例如低通濾波)可以用於自動地從音頻或AV文件確定出觸覺效果。然而，這種方法可能導致觸覺效果與音頻事件之間差的同步。這可能會導致用戶感知到較低質量的觸覺效果。確定音頻文件中的躍遷的位置可使觸覺效果與聽覺效果更好的同步。在一些實施例中，如果在音頻或AV事件開始的同時觸覺效果開始，那麼可能會發生更好的同步。
[0031]如下面進一步詳細討論的，可以在音頻信號中找到許多特徵。本公開的實施例提供了用於識別這些特徵並且此後確定並輸出與這些特徵相同步的觸覺效果的系統和方法。此外，在一些實施例中，這裡所討論的系統和方法可以用於確定與例如壓力、加速度、速度、或者溫度信號的其它類型的信號相關聯的觸覺效果。
[0032]生成與音頻信號中的躍遷相關聯的觸覺效果的示例性系統
[0033]圖1A示出了用於生成與音頻信號中的躍遷相關聯的觸覺效果的示例性系統100。特別地，在該示例中，系統100包括具有經由總線106與其它硬體對接的處理器102的計算設備101。可包括諸如RAM、ROM、EEPROM等等的任何適當有形(且非暫時性的)計算機可讀介質的存儲器104實施用於對計算設備的操作進行配置的程序部件。在該示例中，計算設備101進一步包括一個或多個網絡接口設備110、輸入/輸出(I/O)接口部件112、以及附加儲存器114。
[0034]網絡設備110可表示促進網絡連接的任何部件中的一個或多個。示例包括但不局限於諸如乙太網、USB、IEEE1394的有線接口和/或諸如IEEE802.11、藍牙、用於訪問蜂窩式電話網絡(例如，用於訪問CDMA、GSM、UMTS、或者其它移動通信網絡的收發器/天線)的無線電接口的無線接口。
[0035]I/O部件112可以用於促進連接到與諸如一個或多個顯示器、鍵盤、滑鼠、揚聲器、麥克風、相機、和/或用於輸入數據或輸出數據的其它硬體的設備。例如，在一些實施例中，I/O部件112可以包括被配置為播放處理器102所提供的音頻信號的揚聲器。儲存器114表示諸如包含在設備101之中的磁、光、或其它存儲器介質的非易失性存儲器。在一些實施例中，儲存器114可以被配置為存儲音頻文件，該音頻文件被配置為經由I/O部件112向用戶播放。
[0036]系統100進一步包括在該示例中集成到設備101的觸摸表面116。觸摸表面116表示被配置為感測用戶的觸摸輸入的任何表面。一個或多個傳感器108被配置為當物體與觸摸表面相接觸時檢測觸摸區中的觸摸並且提供適當數據以由處理器102使用。可使用任何適當數目、類型、或者安排的傳感器。例如，可以將電阻性和/或電容性傳感器嵌入在觸摸表面116中並且用於確定觸摸的位置以及諸如壓力的其它信息。作為另一示例，以觸摸表面為目的的光傳感器可以用於確定觸摸位置。在一些實施例中，傳感器108和觸摸表面116可以包括觸控螢幕或觸摸板。例如，在一些實施例中，觸摸表面116和傳感器108可以包括安裝在顯示器的之上的觸控螢幕，所述顯示器被配置為接收顯示信號並且向用戶輸出圖像。在其它實施例中，傳感器108可以包括LED檢測器。例如，在一個實施例中，觸摸表面116可以包括安裝在顯示器的一側上的LED手指檢測器。在一些實施例中，處理器與單個傳感器108進行通信，在其它實施例中，處理器與例如第一觸控螢幕和第二觸控螢幕的多個傳感器108進行通信。傳感器108被配置為檢測用戶交互，並且基於該用戶交互，將信號傳送到處理器102。在一些實施例中，傳感器108可以被配置為檢測用戶交互的多個方面。例如，傳感器108可以檢測用戶交互的速度和壓力，並且使該信息包含在接口信號中。
[0037]設備101進一步包括觸覺輸出設備118。在圖1A所示的示例中，觸覺輸出設備118與處理器102進行通信並且與觸摸表面116相耦合。在一些實施例中，觸覺輸出設備118被配置為響應於觸覺信號而輸出模擬觸摸表面上的紋理的觸覺效果。另外地或者替代地，觸覺輸出設備118可以以受控方式提供移動觸摸表面的振動觸覺的觸覺效果。一些觸覺效果可以利用與設備的外殼相耦合的致動器，並且一些觸覺效果可以依次和/或一齊使用多個致動器。例如，在一些實施例中，可以通過使表面以不同頻率振動來模擬表面紋理。在該實施例中，觸覺輸出設備118可以包括例如壓電致動器、電動馬達、電磁致動器、音圈、形狀記憶合金、電活性聚合物、螺線管、偏心旋轉質量馬達(ERM)、或者線性共振致動器(LRA)中的一個或多個。在一些實施例中，觸覺輸出設備118可以包括例如ERM和LRA的多個致動器。在一些實施例中，觸覺設備118可以包括或者可以嵌入在可穿戴設備、家具、或者衣服中。
[0038]雖然在這裡示出了單個觸覺輸出設備118，但是實施例可以使用相同或不同類型的多個觸覺輸出設備以輸出觸覺效果，例如，模擬表面紋理或者改變所感知到的觸摸表面上的摩擦係數。例如，在一個實施例中，壓電致動器可以用於使觸摸表面116的一些或全部以超聲頻率垂直地和/或水平地位移，諸如在一些實施例中通過利用以大於20-25kHz的頻率移動的致動器。在一些實施例中，諸如偏心旋轉質量馬達和線性共振致動器的多個致動器可單獨或一齊使用以提供不同紋理、摩擦係數的改變、或者其它觸覺效果。
[0039]仍在其它實施例中，觸覺輸出設備118可以例如通過利用靜電錶面致動器來施加靜電摩擦或引力以模擬觸摸表面116的表面上的紋理。類似地，在一些實施例中，觸覺輸出設備118可以使用靜電引力以改變觸摸表面116的表面上的用戶感觸的摩擦。例如，在一個實施例中，觸覺輸出設備118可以包括靜電顯示器或者施加電壓和電流而不是機械運動以生成觸覺效果的任何其它設備。在該實施例中，靜電致動器可以包括導電層和絕緣層。在該實施例中，導電層可以是任何半導體或諸如銅、鋁、金、或銀的其它導電材料。並且絕緣層可以是玻璃、塑料、聚合物、或者任何其它絕緣材料。此外，處理器102可以通過將電信號施加到導電層上來使靜電致動器操作。在一些實施例中，電信號可以是使導電層與觸摸表面116附近的或者與觸摸表面116相接觸的物體電容耦合的AC信號。在一些實施例中，AC信號可以通過高壓放大器生成。在其它實施例中，電容I禹合可以模擬觸摸表面116的表面上的摩擦係數或紋理。例如，在一個實施例中，觸摸表面116的表面可以是平滑的，但是電容耦合可以在觸摸表面116的表面附近的物體之間產生吸引力。在一些實施例中，改變物體與導電層之間的引力的級別可改變移動跨過觸摸表面116的表面的物體上的模擬紋理或者隨著物體移動跨過觸摸表面116的表面而改變摩擦係數。此外，在一些實施例中，靜電致動器可以與傳統致動器結合使用以改變觸摸表面116的表面上的模擬紋理。例如，致動器可以振動以模擬觸摸表面116的表面的紋理的變化，而同時靜電致動器可以模擬觸摸表面116的表面上的不同紋理或其它效果。
[0040]本領域普通技術人員將認識到除了改變摩擦係數之外，其它技術或方法也可用於例如模擬表面上的紋理。在一些實施例中，可以利用柔性表面層來模擬或輸出紋理，所述柔性表面層被配置為根據來自表面可重配置的觸覺襯底(包括但不限於例如纖維、納米管、電活性聚合物、壓電元件、或者形狀記憶合金)或者磁流變液體的接觸來改變其紋理。在另一實施例中，可以通過例如利用變形機制、氣穴或液穴、材料的局部變形、共振機械元件、壓電材料、微機電系統(「MEMS」)元件、熱流穴、MEMS泵、可變孔膜、或者層流調製提高或降低一個或多個表面特徵來改變表面紋理。
[0041]在一些實施例中靜電致動器可以用於通過模擬在觸摸表面116附近的或者與觸摸表面116相接觸的主體的一部分來生成觸覺效果。例如，在一些實施例中靜電致動器可以模擬用戶手指的皮膚中的神經末梢或者可以模擬可響應於靜電致動器的指示筆中的部件。例如，皮膚中的神經末梢可以被模擬並且將靜電致動器(例如電容耦合)感測為振動或一些更具體的感覺。例如，在一個實施例中，靜電致動器的導電層可以接收與用戶手指的導電部分相耦合的AC電壓信號。當用戶觸摸觸摸表面116並且使他的或她的手指在觸摸表面上移動時，用戶可以感測多刺性、顆粒性、顛簸性、粗糙性、粘性，或者一些其它紋理。
[0042]此外，在一些實施例中，多個致動器可以用於輸出觸覺效果。這可以用來提高觸覺輸出設備118可輸出的效果的範圍。例如，在一些實施例中，振動致動器可以與靜電致動器結合使用以生成寬範圍的效果。還在進一步的實施例中，諸如被配置為使觸摸表面變形的設備的另外類型的觸覺輸出設備可以與諸如振動致動器的其它觸覺輸出設備結合使用。
[0043]轉到存儲器104，對示例性程序部件124、126和128進行描述以示出設備如何被配置成生成與音頻信號中的躍遷相關聯的觸覺效果。在該示例中，檢測模塊124對處理器102進行配置以經由傳感器108監控觸摸表面116以確定觸摸的位置。例如，模塊124可以對傳感器108進行採樣以便跟蹤觸摸的存在或不存在，並且如果存在觸摸，則跟蹤隨著時間的位置、路徑、速度、加速度、壓力、和/或觸摸的其它特徵中的一個或多個。
[0044]觸覺效果確定模塊126表示對諸如來自音頻效果的數據的音頻數據進行分析以選擇生成的觸覺效果的程序部件。特別地，模塊126包括基於音頻數據來確定要輸出的觸覺效果的類型的代碼。
[0045]觸覺效果生成模塊128表示可使處理器102生成觸覺信號並將觸覺信號傳送到觸覺輸出設備118的編程，可使觸覺輸出設備118生成所選的觸覺效果。例如，生成模塊128可以訪問存儲的波形或命令以發送到觸覺輸出設備118。作為另一示例，觸覺效果生成模塊128可以接收期望類型的效果並且利用信號處理算法以生成適當信號以發送到觸覺輸出設備118。一些實施例可以一齊利用多個觸覺輸出設備以輸出觸覺效果。在一些實施例中，處理器102可以流傳輸觸覺信號或將觸覺信號傳送到觸覺輸出設備118。
[0046]取決於計算系統的特定配置，觸摸表面可以或者可以不覆蓋(或者否則對應於)顯示器。在圖1B中，示出了計算系統100B的外部視圖。計算設備101包括組合了觸摸表面和設備的顯示器的觸摸啟用顯示器116。觸摸表面可以對應於顯示器外部或者在實際顯示部件之上的一層或多層的材料。
[0047]圖1C圖示了其中觸摸表面不覆蓋顯示器的觸摸啟用計算系統100C的另一示例。在該示例中，計算設備101包括可以被映射到顯示器122中提供的圖形用戶界面的觸摸表面116，所述顯示器122被包含在與設備101對接的計算系統120之中。例如，計算設備101可以包括滑鼠、軌跡板、或者其它設備，而計算系統120可以包括臺式機或膝上型計算機、機頂盒(例如DVD播放器、DVR、有線電視盒)、或者另一計算系統。作為另一示例，觸摸表面116和顯示器122可以布置在諸如包括顯示器122的膝上型計算機中的觸摸啟用軌跡板的同一設備中。無論是與顯示器相集成還是以其它方式，在這裡對該示例中的平面觸摸表面的描述不意味著限制。其它實施例包括進一步被配置為提供基於表面的觸覺效果的彎曲的或者不規則的觸摸啟用表面。
[0048]圖2A-2B圖示了可以生成與音頻信號中的躍遷相關聯的觸覺效果的設備的示例。圖2A是示出系統200的外部視圖的示意圖，系統200包括計算設備201，其包括觸摸啟用顯不器202。圖2B不出了設備201的截面圖。可以與圖1A的設備101相類似地配置設備201，雖然為了清楚目的在該視圖中未示出諸如處理器、存儲器、傳感器等等的部件。
[0049]如在圖2B中可見的，設備201的特徵在於多個觸覺輸出設備218以及附加觸覺輸出設備222。觸覺輸出設備218-1可以包括被配置為向顯示器202給予垂直力的致動器，而218-2可以使顯示器202橫向地移動。在該示例中，觸覺輸出設備218和222與顯示器直接耦合，但是應理解的是觸覺輸出設備218和222可與諸如在顯示器202頂部上的材料層的另一觸摸表面相耦合。此外，應理解的是觸覺輸出設備218或222中的一個或多個可以包括如上所討論的靜電致動器。此外，觸覺輸出設備222可以與包含設備201的部件的外殼相耦合。在圖2A-2B的示例中，顯示器202的區域與觸摸區相對應，雖然該原理可應用於與顯不器完全分離的觸摸表面。
[0050]在一個實施例中，觸覺輸出設備218的每一個包括壓電致動器，而附加觸覺輸出設備222包括偏心旋轉質量馬達、線性共振致動器、或者另一壓電致動器。觸覺輸出設備222可被配置為響應於來自處理器的觸覺信號而提供振動觸覺的觸覺效果。振動觸覺的觸覺效果可與基於表面的觸覺效果一起使用和/或用於其它目的。例如，每個致動器可以一起使用以輸出振動、模擬紋理、或者改變顯示器202的表面上的摩擦係數。
[0051]在一些實施例中，觸覺輸出設備218-1和218-2中的任一個或這兩者可包括除了壓電致動器之外的致動器。致動器中的任何一個可包括例如壓電致動器、電磁致動器、電活性聚合物、形狀記憶合金、柔性複合材料壓電致動器(例如包括柔性材料的致動器)、靜電和/或磁致伸縮致動器。另外，示出了觸覺輸出設備222，雖然多個其它觸覺輸出設備可與設備201的外殼相耦合和/或觸覺輸出設備222可以耦合到別處。設備201也可以包括在不同位置與觸摸表面相耦合的多個觸覺輸出設備218-1/218-2。
[0052]現在轉到圖3，圖3示出了根據本公開的用於生成與音頻信號中的躍遷相關聯的觸覺效果的系統的一個實施例。圖3所示的系統300包括計算設備301，其中顯示器302示出了包括火車304的視頻。在一些實施例中，計算設備301可以包括例如行動電話、平板、音樂播放器、或者膝上型計算機的手持計算設備。在另一實施例中，計算設備301可以包括多功能控制器。例如，在信息亭、ATM、或者其它計算設備中使用的控制器。此外，在一個實施例中，計算設備301可以包括在車輛中使用的控制器。
[0053]視頻304可以進一步包括與計算設備301 (圖3中未示出)相耦合的音頻輸出設備(例如揚聲器或頭戴式耳機)所播放的聽覺效果。本公開的實施例包括用於基於音頻信號來確定觸覺效果的方法。例如，一些實施例可以使音頻信號與視頻信號相分離，並且此後執行在下面進一步詳情討論的各種操作以確定隨著音頻軌道輸出的觸覺效果。
[0054]在一些實施例中，顯示器302可以包括觸摸啟用顯示器。此外，除了顯示視頻之夕卜，顯示器302可以向用戶提供圖形用戶界面，例如用於信息亭、ATM、立體聲系統、汽車儀錶盤、電話、計算機、音樂播放器的圖形用戶界面、或者現有技術中已知的一些其它圖形用戶界面。在該實施例中，計算設備301可以基於與圖形用戶界面相關聯的音頻信號來確定觸覺效果。例如，在一些實施例中，圖形用戶界面可以包括當用戶與圖標、按鈕、或者其它界面元件交互時輸出的音頻效果。在一些實施例中，計算設備301可以進一步確定與這些音頻效果中的一個或多個相關聯的觸覺效果。在一些實施例中，計算設備301可以從音頻信號中的躍遷或者任何其它傳感器得到的信號，例如來自諸如用戶界面、加速度計、陀螺儀、慣性測量單元等等的傳感器的信號，得出觸覺效果。
[0055]在一些實施例中，可以不包括視頻信號。例如，在一些實施例中，可以隨著與視頻不關聯的音頻軌道播放觸覺效果。在該實施例中，當正在播放信號時或者在播放信號之前的時間，這裡所公開的系統和方法可以實時地對音頻信號進行操作。例如，在一些實施例中，可以對音頻信號進行處理以確定存儲在數據儲存器上的用於將來播放的觸覺軌道。在該實施例中，可以通過播放觸覺軌道的計算設備來確定觸覺軌道。在其它實施例中，可以由音頻軌道的創作者或發行人來創建觸覺軌道。在該實施例中，創作者或發行人可以隨同音頻軌道一起發行觸覺軌道。
[0056]生成與音頻信號中的躍遷相關聯的觸覺效果的示例性方法
[0057]圖4和圖5是示出了用於生成與音頻信號中的躍遷相關聯的觸覺效果的示例性方法400和500的流程圖。在一些實施例中，流程圖400和500中的步驟可以在例如通用計算機、行動裝置、或者伺服器中的處理器的處理器所執行的程序代碼中實現。在一些實施例中，這些步驟可以由一組處理器實現。在一些實施例中可以按照不同順序來執行圖4和圖5所示的步驟。可替代地，在一些實施例中，可以跳過圖4和圖5所示的步驟中的一個或多個或者可以執行圖4和圖5中未示出的附加步驟。就音頻信號而言對圖4和圖5中的步驟進行描述。然而，在一些實施例中，該方法可以用於確定與例如壓力、加速度、速度、或溫度信號的其它類型的信號相關聯的觸覺效果。下面關於圖1A所示的系統100參考如上所述的部件對步驟進行描述。
[0058]當處理器102接收到音頻信號402時方法400開始。在一些實施例中音頻信號可以包括與在計算設備101上播放的視頻相關聯的信號。在其它實施例中，音頻信號可以包括與當前在計算設備101上播放的音頻文件相關聯的信號。還在其它實施例中，音頻信號可以與本地存儲在計算設備101上的或者存儲在遠程伺服器上的音頻文件相關聯。例如，在一些實施例中，音頻信號可以包括存儲在伺服器上的並且按需下載到用戶的音頻文件。
[0059]當處理器102基於音頻信號404確定出觸覺效果時該方法400繼續。在一些實施例中，觸覺效果可以包括由一個或多個觸覺輸出設備118輸出的振動。在一些實施例中，該振動可以用於增強用戶對在計算設備101上播放的音頻軌道的感知。類似地，在一些實施例中，第一觸覺效果可以包括觸摸表面116上的摩擦係數的改變。在其它實施例中，觸覺效果可以包括觸摸表面116的表面上的模擬紋理(例如下述一個或多個的紋理:水、玻璃、冰、金屬、沙、砂礫、磚、毛皮、皮革、皮膚、織品、橡膠、葉子、或者任何其它可用紋理)。
[0060]在一些實施例中，處理器102可以依賴包含在觸覺效果確定模塊126中的編程以確定觸覺效果。例如，處理器102可以訪問存儲在存儲器104中的與特定觸覺效果相關聯的驅動信號。作為另一示例，可以通過訪問所存儲的算法並且輸入與效果相關聯的參數來生成信號。例如，算法可以輸出在基於幅度和頻率參數生成驅動信號中使用的數據。作為另一示例，觸覺信號可以包括發送到致動器以由致動器解碼的數據。例如，致動器本身可以響應於指定諸如幅度和頻率的參數的命令。
[0061 ] 此外，在一些實施例中，用戶能夠選擇振動、紋理、摩擦係數的變化、或者與音頻文件相關聯的其它觸覺效果以便定製計算設備101。例如，在一些實施例中，用戶可以選擇諸如表面紋理的觸覺效果以允許觸摸界面的感覺個性化。在一些實施例中，該觸覺效果可以與例如來電、電子郵件、文本消息、警報、或者其它事件的鈴聲相關聯。在一些實施例中，用戶可以通過修改設置或下載與特定效果相關聯的軟體來選擇這些個性化的觸覺效果或表面紋理。在其它實施例中，用戶可以通過所檢測到的與設備的交互來指定效果。在一些實施例中，觸覺效果的個性化可以提高用戶對所有權的感測以及用戶與他的或她的設備之間的連接。
[0062]還在其它實施例中，設備廠商、藝術家、攝像師、或者軟體開發者可以選擇諸如表面紋理的獨特觸覺效果以打烙印於他們的設備、用戶界面、或者藝術作品(例如歌曲、視頻、或者音頻軌道)。在一些實施例中，這些觸覺效果可以是只有打烙印的設備才有的並且與可以提高品牌知名度的其它獨特要素相類似。例如，許多行動裝置和平板可以包括定製的或打烙印的主屏環境。例如，在一些實施例中，不同廠商所生產的設備可以包括相同作業系統；然而，廠商可以通過修改該主屏環境來區分它們的設備。類似地，某個公司所生產的視頻或音頻軌道可以包括特定類型的觸覺效果。因而，在一些實施例中，一些設備廠商、產品公司、或者軟體開發者可以使用諸如基於紋理或基於摩擦的效果的觸覺效果以創建獨有的且可區分的用戶體驗。
[0063]當處理器102輸出與觸覺效果406相關聯的觸覺信號時方法400繼續。處理器102將觸覺信號輸出到被配置為輸出觸覺效果的觸覺輸出設備118。在一些實施例中，觸覺輸出設備118可以將觸覺效果輸出到觸摸表面116上。在一些實施例中，觸覺輸出設備118可以包括諸如與觸摸表面116或者計算設備101之內的其它部件相耦合的壓電致動器或電動馬達的傳統致動器。在其它實施例中，觸覺輸出設備118可以包括被配置為利用靜電場來模擬紋理或改變摩擦係數的靜電致動器。在一些實施例中，處理器102可以對多個觸覺輸出設備進行控制以模擬多個觸覺效果。例如，在一個實施例中，處理器102可以對靜電致動器進行控制以模擬觸摸表面116的表面上的紋理並且處理器102可以進一步對其它觸覺輸出設備118進行控制以模擬其它特徵。例如，觸覺輸出設備118可以包括被配置為輸出諸如振動的其它效果的致動器，所述振動被配置為模擬障礙、棘爪、運動、或者對觸摸表面116的影響。在一些實施例中，處理器102可以使效果協調以便當與觸摸表面116交互時用戶可一起感覺到多個效果。
[0064]此後處理器102輸出音頻信號408。在一些實施例中，處理器102可以將音頻信號輸出到諸如揚聲器、頭戴式耳機、或者耳塞的音頻輸出設備。在一些實施例中，可以將音頻輸出設備集成到計算設備101中。在其它實施例中，音頻輸出設備可以與計算設備101相耦合。此外，在一些實施例中，音頻信號可以與觸覺效果相同步，例如，在一些實施例中，可以與相應音頻效果基本上同時地輸出觸覺效果。
[0065]現在轉到圖5，圖5是示出了用於確定與音頻信號中的躍遷相關聯的觸覺效果的示例性方法500的流程圖。當處理器102識別音頻信號中的躍遷時方法500開始。下面對用於識別音頻信號中的躍遷的各個示例性方法進行更詳細地討論。在一些實施例中，這些躍遷可以與諸如音頻信號的幅度或頻率的變化的音頻信號的變化相關聯。這些變化可以與例如樂器的變化、電影的場景變化、源的變化(例如揚聲器的變化)、或者通常在音頻文件中發現的一些其它躍遷相關聯。
[0066]當處理器102使觸覺效果與躍遷同步時方法500繼續。在一些實施例中，使觸覺效果與躍遷同步包括對處理器102進行配置以在與音頻效果基本上對應的時間處輸出與觸覺效果相關聯的觸覺信號。在一些實施例中，處理器102可以在躍遷時輸出觸覺效果。在其它實施例中，可以在躍遷之後的一些時段處輸出觸覺效果。例如，在一些實施例中，處理器102可以輸出用作回波的觸覺效果。例如，在一個實施例中，音頻軌道可以包括模擬射擊的聲音。在該實施例中，處理器可以確定與音頻效果相符的觸覺效果。處理器可以進一步確定要在幾秒鐘後輸出的第二觸覺效果以模擬與射擊相關聯的回波。
[0067]在一些實施例中，躍遷映射到其中信號上升或下降的位置。此後這些躍遷可以用於識別音頻信號之內的事件，其可以由用於生成觸覺效果的觸覺標誌來標記。在上面給出的示例中，躍遷可以與諸如射擊的事件相對應。在一些實施例中，除了確定觸覺效果之外，處理器102可以將觸覺標誌施加到音頻文件中的位置。處理器102或另一處理器可以使用該觸覺標誌以在播放音頻文件時確定觸覺效果。
[0068]用於識別音頻信號中的躍遷的示例性方法
[0069]圖6是示出了用於識別音頻信號中的躍遷的示例性方法600的流程圖，其可以用於確定與音頻信號相關聯的觸覺效果。在一些實施例中，圖6所示的步驟可以在例如通用計算機、行動裝置、或者伺服器中的處理器的處理器所執行的程序代碼中實現。在一些實施例中，這些步驟可以由一組處理器實現。在一些實施例中可以按照不同順序來執行圖6所示的步驟。可替代地，在一些實施例中，可以跳過圖6所示的步驟中的一個或多個或者可以執行圖6中未示出的附加步驟。就音頻信號而言對圖6中的步驟進行描述。然而，在一些實施例中，該方法可以用於確定與例如壓力、加速度、速度、或溫度信號的其它類型的信號相關聯的觸覺效果。
[0070]如圖6所示，當處理器102執行音頻信號的快速傅立葉變換(FFT)時方法600開始。在一些實施例中，FFT用於確定音頻信號的頻譜圖。頻譜圖包括小時間窗中的音頻信號的FFT的繪圖。在一些實施例中。在一個軸中隨時間、在另一軸中隨頻率、並且在第三軸中隨特定頻率的幅度以三維圖來表示頻譜圖。在一些實施例中，頻譜圖可以用於確定音頻信號之內的躍遷。如繪圖700，圖7示出了音頻信號的示例性二維頻譜圖。該頻譜圖包括二維繪圖700，其中第三維由繪圖中的暗區來描述。繪圖的暗區部分具有較高的幅度(由箭頭702來標識)並且較亮的部分(由箭頭704來標識)具有較低的幅度。
[0071]在步驟604處，處理器102為在步驟602中所確定的變換信號確定每個時間窗的均值。在一些實施例中，可以將均值信號存儲成矢量。在一些實施例中，可以將該矢量稱為MeanSpec0
[0072]在步驟606處，處理器102使在步驟604中所確定的轉換信號的均值歸一化。在一些實施例中，將該值歸一化到O與I之間。在其它實施例中，值是-1與I之間歸一化的值。
[0073]在一些實施例中，圖6中未不出，可以對歸一化信號進行濾波。在一些實施例中，可以利用在可聽範圍中處於較低值的例如10Hz或200Hz的低通濾波器來對信號進行濾波。在一些實施例中，該濾波可以除去信號中的噪聲。
[0074]接下來處理器102獲得歸一化信號608中的數據的導數(derivative)。在一些實施例中，可以將該數據存儲在新信號DerMeanSpec中。如繪圖800的線804，在圖8中示出了示例性DerMeanSpec的繪圖。如繪圖800的線802,示出了從其確定該DerMeanSpec的示例性音頻信號。
[0075]此後處理器102確定導數信號(DerMeanSpec)610之內的局部最大值。在一些實施例中，這些局部最大值中的每一個與躍遷的幅度相對應。如繪圖800的線806，在圖8中示出了在示例性DerMeanSpec中所找到的局部最大值的繪圖。在一些實施例中，這些局部最大值表示音頻信號中的躍遷的位置。
[0076]現在轉到圖7，如上所述，圖7圖示了根據一個實施例的根據用於識別音頻信號中的躍遷的一個方法的音頻信號的示例性頻譜和脈衝編碼調製。頻譜圖包括二維繪圖700，其中第三維由繪圖中的暗區來描述。繪圖的較暗部分具有較高的幅度(由箭頭702來標識)並且較亮的部分(由箭頭704來標識)具有較低的幅度。如圖7所示，繪圖750包括繪圖700中所示的音頻信號的脈衝編碼調製(PCM) 752的視圖。
[0077]現在轉到圖8，如上所述，圖8圖示了根據一個實施例的根據用於識別音頻信號中的躍遷的一個方法的音頻信號的導數信號的繪圖800。如圖8所示，由黑色線802來表示音頻信號，並且由灰色線804來表示導數信號(如上所述的DerMeanSpec)，並且由淺灰色線806來表示在DerMeanSpec中所找到的局部最大值，其包括在其峰值的每一個處的星暴(starburst)。在圖8中，並非示出所有局部最大值。而是,如圖8所示,僅示出了具有關於前一局部最小值超過了預定德爾塔值的值的局部最大值。在一些實施例中，這些局部最大值表示音頻信號中的躍遷的位置。因而，在一些實施例中，可以對德爾塔值的大小進行調節以便改變在音頻信號中所檢測到的躍遷的幅度。
[0078]現在轉到圖9，圖9是示出了用於識別音頻信號中的躍遷的示例性方法900的流程圖。該方法可以用於確定與音頻信號中的躍遷相關聯的觸覺效果。在一些實施例中，圖9所示的步驟可以在例如通用計算機、行動裝置、或者伺服器中的處理器的處理器所執行的程序代碼中實現。在一些實施例中，這些步驟可以由一組處理器實現。在一些實施例中可以按照不同順序來執行圖9所示的步驟。可替代地，在一些實施例中，可以跳過圖9所示的步驟中的一個或多個或者可以執行圖9中未示出的附加步驟。就音頻信號而言對圖9中的步驟進行描述。然而，在一些實施例中，該方法可以用於確定與例如壓力、加速度、速度、或溫度信號的其它類型的信號相關聯的觸覺效果。
[0079]如圖9所示，當處理器102確定音頻信號中的連續時間窗tw(k)的一組頻帶的功率譜密度(PSD)時在步驟902處方法900開始。此外，在一些實施例中，可以通過其頻率PSD值，PSD(band(j), tw(k))之和來在時間窗tw(k)處表示每個頻帶。
[0080]接下來處理器102為每個時間窗確定總的功率譜密度904。在一些實施例中，處理器904可以確定形成了連續頻率的每一個的不同頻帶的總功率譜密度以作為時間窗tw(k)處的所有頻帶的PSD的總和。在一些實施例中，所有這些頻帶集可以覆蓋PSD中的頻率的整個範圍。
[0081]接下來，處理器102確定頻帶對總功率譜密度906的貢獻。在一些實施例中，這可以包括確定時間窗tw(k)中的音頻信號的總PSD中的每個頻帶的PSD的貢獻。在一些實施例中，這可以包括使時間窗處的頻帶的PSD的值除以時間窗處的所有頻帶的PSD值的總和:weight (band (j), tw (k)) = PSD (band (j), tw (k)) /tw (k)處的所有頻帶 PSD 的總和
[0082]此後處理器702確定功率譜密度908的第一變化率。在一些實施例中，確定變化率可以包括確定任何兩個連續時間窗tw(k)與tw(k+l)之間的每個頻帶的PSD中的變化率 『Rl，:R1 (band (j), tw (k)) = abs (PSD (band (j), tw (k+1))) -PSD (band (j), tw (k))) /PSD (band (j), tw (k))。
[0083]接下來，處理器102確定第一距離910。在一些實施例中，第一距離可以等於通過信號中的每個頻帶的貢獻所加權的兩個連續時間窗tw(k)與tw(k+l)之間的所有頻帶的變化率之和:distl (tw(k))=所有頻帶 band(j)的(Rl (band(j), tw(k)) ^weight (band(j),tw (k)))之和。
[0084]此後處理器102確定功率譜密度912的第二變化率。在一些實施例中，該第二變化率『R2』可以包括時間窗tw(k)與tw(k+2)之間的每個頻帶的PSD的變化率:R2 (band(j)，tw (k)) = abs (PSD (band (j), tw (k+2)) -PSD (band (j), tw (k))) /PSD (band (j), tw (k))。
[0085]接下來，處理器102確定第二距離914。在一些實施例中，該第二距離可以等於通過信號中的每個頻帶的貢獻所加權的時間窗tw(k)與tw(k+2)之間的每個頻帶的變化率之和:dist2 (tw(k))=所有頻帶 band(j)的(R2 (band(j), tw(k)) ^weight (band(j), tw(k)))之和。
[0086]此後在步驟916處，處理器102確定總距離。在一些實施例中，總距離可以包括連續的時間窗tw(k)與tw(k+l)之間的距離。在一些實施例中，處理器102可以通過使第一距離乘以第二距離來獲得該確定:dist(tw(k)) = distl (tw(k))*dist2(tw(k))。
[0087]此後處理器102確定總距離918的局部最大值。在一些實施例中，該局部最大值表明時間窗的頻率曲線圖的移位。在一些實施例中，這導致音頻信號之內的躍遷的表示。
[0088]圖10示出了示例性音頻信號1002。如圖10所示，由點1004來標記表示音頻信號1002中的躍遷的局部最大值。此外，在一些實施例中，可以對該系統進行調諧以僅識別出在某個閾值之上的且分離最小持續時間的局部最大值。在一些實施例中，這能夠對系統進行調諧以僅檢測在某個電平之上的躍遷。
[0089]在一些實施例中，使PSD窗口大小變寬，我們將能夠對較大的場景變化進行檢測。此外，在一些實施例中，使該窗口變窄能夠對較小躍遷(例如重複音圈或音差的周期)進行檢測，但是以較高計算時間為代價。此外，在一些實施例中，可以使用時間窗之間的多個不同距離，例如，歐幾裡德距離或馬哈拉諾比斯距離。
[0090]在一些實施例中，可以修改方法900以具有迭代方式。在一些實施例中，這可以提供更精確的確定而計算成本不會相應增大。在該實施例中，通過利用其中y(l)>x的y(l)的窗口大小來執行每個步驟，可以迭代地執行方法900以估計X的精確度(以毫秒)。此後繼續執行操作η次以直至y(n-l)〈 = x。對於在迭代n_l中所檢測到的躍遷點的每一個:
[0091]?獲得以躍遷點為中心的寬帶為2*y(n_l)的信號的部分。
[0092]?對於這些部分的每一個利用窗口大小y(n) = y(n_l)/2來執行步驟902至916。
[0093].總距離的最大值與躍遷的精確位置相對應。
[0094]生成與音頻信號相關聯的觸覺效果的系統和方法的優點
[0095]生成與音頻信號中的躍遷相關聯的觸覺效果存在有許多優點。簡單的濾波技術(例如低通濾波器)可以用於自動地從音頻或AV文件確定觸覺效果。然而，該方法可能會導致造成的觸覺效果與音頻事件之間差的同步。這可能會導致用戶感知到較低質量的觸覺效果。
[0096]用於生成與音頻信號中的躍遷相關聯的觸覺效果的系統和方法的實施例提供了觸覺效果與音頻或AV文件中的事件的更好的同步。在一些實施例中，如果在音頻或AV事件開始的同時觸覺效果開始，那麼可能會發生強的同步。在一些實施例中，這可能是甚至音頻或AV事件的強度低的情況。在一些實施例中，觸覺效果高於某個強度以確保用戶感知到同時的兩個事件。簡單的濾波技術可能僅提供低強度效果，並且效果的上升可能會太慢以使得用戶完全感知到該效果。每一個這些問題可以由這裡所述的實施例來解決。
[0097]此外用於生成與音頻信號中的躍遷相關聯的觸覺效果的的系統和方法的實施例可用於發現和注釋音頻或AV文件之內的躍遷。隨後利用其它方法或者通過另一用戶/設計者可使這些躍遷與觸覺效果相關聯。此外，用於生成與音頻信號中的躍遷相關聯的觸覺效果的系統和方法允許將音頻信號更有效地自動轉換為觸覺軌道。這可以在發行音頻軌道之前基於音頻軌道來開發觸覺軌道。該實施例能夠與音頻軌道一起發行觸覺軌道，並且因而為音頻軌道的創作者或發行人提供了額外收入。
[0098]此外，用於生成與音頻信號中的躍遷相關聯的觸覺效果的系統和方法的實施例能夠使音頻信號能夠適當地分段。在一些實施例中，頻率內容分析和濾波可以允許對音頻信號進行逐段分析。這可以提供更多詳情並且因而與每個段相關聯的觸覺效果的觸覺軌道更令人信服。
[0099]概論
[0100]上面所討論的方法、系統、以及設備是示例。各種配置視情況可以省略、替代、或者添加各種過程或部件。例如，在替代配置中，可以按照與所描述的不同順序來執行該方法，和/或可以添加、省去各個階段和/或對多個階段進行組合。此外，可以將就某個配置所描述的特徵組合成各個其它配置。可以按照類似方式對配置的不同方面和要素進行組合。此夕卜，技術發展並且因而，許多要素是示例性的並且不是對本公開或權利要求的範圍做出限制。
[0101]在描述中給出了具體細節以提供對示例性配置(包括實現)的徹底了解。然而，無需這些具體細節也可實施配置。例如，已經示出了眾所周知的電路、處理、算法、結構、以及技術而無需詳述以免使該配置變得難以理解。該描述僅提供了示例性配置，並且不對範圍、實用性、或者權利要求的配置做出限制。反而，先前對配置的描述向本領域普通技術人員提供了用於實現所述技術的啟用描述。在不脫離本公開的精神或範圍的情況下可以對功能以及要素的安排做出各種變化。
[0102]此外，可以將配置描述為下述處理，該處理被描寫為流程圖或框圖。雖然每一個可以將操作描述為順序處理，但是可並行或同時執行許多操作。另外，可以對操作的順序進行重排。處理可以具有未包含在圖中的附加步驟。此外，該方法的示例可以通過硬體、軟體、固件、中間件、微碼、硬體描述語言、或者其任何組合來實現。當以軟體、固件、中間件、或者微碼實現時，可以將用於執行必要任務的程序代碼或代碼段存儲在諸如存儲介質的非臨時計算機可讀介質中。處理器可以執行所述任務。
[0103]在不脫離本公開的精神的情況下可以使用已描述的若干示例性配置、各種修改、替代結構、以及等同物。例如，上述要素可以是較大系統的部件，其中其它規則可以優於或者否則修改本發明的應用。此外，在考慮上述要素之前，期間，或者之後可以進行多個步驟。因此，上述描述不是約束權利要求的範圍。
[0104]這裡「適合於」或者「配置成」的使用是指開放性的並且是不排除適合於或配置為執行附加任務或步驟的設備的包含性語言。另外，在「基於」 一個或多個所述條件或值的處理、步驟、計算、或其它動作實際上可以基於除所述那些之外的附加條件或值這方面，「基於」的使用是指開放性的並且是包含性的。這裡所包括的標題、列表、以及編號僅是便於說明並且不是做出限制。
[0105]根據本主題的方面的實施例可在數字電子電路、計算機硬體、固件、軟體、或者先前的組合中實現。在一個實施例中，計算機可以包括一個或多個處理器。處理器包括或可以訪問諸如與處理器相耦合的隨機存取存儲器(RAM)的計算機可讀介質。處理器執行存儲在存儲器中的計算機可執行程序指令，諸如執行包括傳感器採樣例程、選擇例程、以及用於執行上述方法的其它例程的一個或多個電腦程式。
[0106]該處理器可以包括微處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA)、以及狀態機。該處理器可以進一步包括諸如PLC、可編程中斷控制器(PIC)、可編程邏輯器件(PLD)、可編程只讀存儲器(PROM)、電可編程只讀存儲器(EPR0M或EEPR0M)、或者其它類似設備的可編程電子設備。
[0107]該處理器可以包括或者可以與例如有形計算機可讀介質的介質進行通信，該介質可以存儲在被處理器執行時可使處理器執行如由處理器執行或輔助在這裡進行的步驟的指令。計算機可讀介質的實施例可以包括但不局限於能夠向諸如網絡伺服器中的處理器的處理器提供計算機可讀指令的所有電、光、磁、或者其它的存儲設備。介質的其它示例包括但並不局限於軟盤、CD-ROM、磁碟、存儲器晶片、ROM、RAM、ASIC、配置的處理器、所有光學介質、所有磁帶或其它磁介質，或者計算機處理器可讀取的任何其它介質。此外，各種其它設備可以包括諸如路由器、專用或公用網絡、或者其它傳輸設備的計算機可讀介質。所述的處理器以及處理可以在一個或多個結構中，或者可以通過一個或多個結構而分散。處理器可以包括用於執行這裡所述的一個或多個方法(或方法的部分)的代碼。
[0108]雖然已參考其特定實施例對本主題進行了詳細描述，但是對於本領域普通技術人員來說在獲得了對上述的理解時可以很容易產生對該實施例的替代、改變、以及等同物。因此，應該理解的是為了示例而不是限制的目的已呈現了本公開，但是對於本領域普通技術人員來說顯而易見地是不排除包含對本主題的這種修改、改變、和/或添加。
【權利要求】
1.一種用於輸出觸覺效果的系統，包括: 處理器，所述處理器被配置為: 接收信號； 通過以下來部分地基於所述信號確定觸覺效果: 識別所述信號中的一個或多個躍遷；以及 使一個或多個觸覺效果與所述一個或多個躍遷同步；以及 輸出與所述觸覺效果相關聯的觸覺信號。
2.根據權利要求1所述的系統，其中，所述信號包括下述中的一個:音頻信號、壓力信號、或者加速度信號。
3.根據權利要求1所述的系統，進一步包括: 音頻輸出設備，所述音頻輸出設備被配置為接收所述信號並且輸出聽覺效果；以及觸覺輸出設備，所述觸覺輸出設備與所述處理器通信，所述觸覺輸出設備被配置為接收所述觸覺信號並且輸出所述觸覺效果。
4.根據權利要求1所述的系統，進一步包括數據儲存器，所述數據儲存器被配置為接收所述觸覺信號並且將所述觸覺效果存儲在觸覺軌道中。
5.根據權利要求1所述的系統，其中，所述躍遷包括下述中的一個或多個:頻率的變化、幅度的變化、或者頻率和幅度的重複。
6.根據權利要求1所述的系統，其中，所述觸覺效果包括下述中的一個或多個:摩擦係數的改變、模擬紋理、或者振動。
7.根據權利要求1所述的系統，其中，識別一個或多個躍遷包括: 對在一系列時間間隔處所獲得的信號執行快速傅立葉變換； 對於所述時間間隔的每一個確定所變換的信號的均值； 使所述均值的每一個歸一化以創建歸一化信號； 確定所述歸一化信號的導數以創建導數信號；並且 確定所述導數信號內的一個或多個局部最大值。
8.根據權利要求7所述的系統，進一步包括對所述歸一化信號進行濾波。
9.根據權利要求7所述的系統，其中，所述一個或多個局部最大值包括所述一個或多個躍遷。
10.根據權利要求1所述的系統，其中，識別一個或多個躍遷包括: 確定第一時間窗和第二時間窗內的一組頻帶的功率譜密度，其中，所述第一時間窗和第二時間窗是所述信號中的連續時間窗； 通過對每個時間窗的所有所述頻帶的功率譜密度值求和來確定總功率譜密度； 通過對每個頻帶的功率譜密度的值與每個時間窗的總功率譜密度進行比較來確定每個頻帶對總功率譜密度的貢獻； 確定從所述第一時間窗到所述第二時間窗所述頻帶的功率譜密度的第一變化率；確定第一距離，所述第一距離等於通過每個頻帶的貢獻所加權的第一變化率的總和；確定從所述第一時間窗到第三時間窗所述頻帶的功率譜密度的第二變化率，其中，所述第二時間窗和所述第三時間窗是所述信號中的連續時間窗； 確定第二距離，所述第二距離等於通過每個頻帶的貢獻所加權的每個頻帶處的第二變化率的總和； 通過使所述第一距離乘以所述第二距離來確定在所述第一時間窗與所述第二時間窗之間的總距離；以及確定局部最大值。
11.根據權利要求10所述的系統，其中，所述局部最大值包括所述第一距離、第二距離、或者總距離的局部最大值。
12.根據權利要求10所述的系統，其中，所述局部最大值包括所述信號中的一個或多個躍遷。
13.一種用於輸出觸覺效果的方法，包括: 接收信號； 通過以下來部分地基於所述信號確定觸覺效果: 識別所述信號中的一個或多個躍遷；以及 使一個或多個觸覺效果與所述一個或多個躍遷同步；以及 輸出與所述觸覺效果相關聯的觸覺信號。
14.根據權利要求14所述的方法，其中所述信號包括下述中的一個:音頻信號、壓力信號、或者加速度信號。
15.根據權利要求13所述的方法，進一步包括: 輸出聽覺效果；以及 輸出所述觸覺效果。
16.根據權利要求13所述的方法，進一步包括:將所述觸覺信號存儲在觸覺軌道中。
17.根據權利要求13所述的方法，其中，所述觸覺效果包括下述中的一個或多個:摩擦係數的改變、模擬紋理、或者振動。
18.根據權利要求15所述的方法，其中，所述躍遷包括下述中的一個或多個:頻率的變化、幅度的變化、或者頻率和幅度的重複。
19.根據權利要求15所述的方法，其中，識別一個或多個躍遷包括: 在一系列時間間隔內對所述信號執行快速傅立葉變換； 對於所述時間間隔的每一個確定所變換的信號的均值； 使所述均值的每一個歸一化以創建歸一化信號； 確定所述歸一化信號的導數以創建導數信號；並且 確定所述導數信號內的一個或多個局部最大值。
20.根據權利要求19所述的方法，進一步包括:對所述歸一化信號進行濾波。
21.根據權利要求19所述的方法，其中，所述一個或多個局部最大值包括所述一個或多個躍遷。
22.根據權利要求15所述的方法，其中，識別一個或多個躍遷包括: 確定第一時間窗和第二時間窗內的一組頻帶的功率譜密度，其中，所述第一時間窗和第二時間窗是所述信號中的連續時間窗； 通過對每個時間窗的所有所述頻帶的功率譜密度值求和來確定總功率譜密度； 通過對每個頻帶的功率譜密度的值與每個時間窗的總功率譜密度進行比較來確定每個頻帶對總功率譜密度的貢獻； 確定從所述第一時間窗到所述第二時間窗所述頻帶的功率譜密度的第一變化率； 確定第一距離，所述第一距離等於通過每個頻帶的貢獻所加權的所述第一變化率的總和； 確定從所述第一時間窗到第三時間窗所述頻帶的功率譜密度的第二變化率，其中，所述第二時間窗和所述第三時間窗是所述信號中的連續時間窗； 確定第二距離，所述第二距離等於通過所述每個頻帶的貢獻所加權的每個頻帶處的所述第二變化率的總和； 通過使所述第一距離乘以所述第二距離來確定在所述第一時間窗與所述第二時間窗之間的總距離；以及確定局部最大值。
23.根據權利要求22所述的方法，其中，所述局部最大值包括所述第一距離、第二距離、或者總距離的局部最大值。
24.根據權利要求22所述的方法，其中，所述局部最大值包括所述信號中的一個或多個躍遷。
25.一種非暫時性計算機可讀介質，包括程序代碼，所述程序代碼當被處理器執行時被配置為使所述處理器: 接收信號； 通過以下來部分地基於所述信號確定觸覺效果: 識別所述信號中的一個或多個躍遷；以及 使一個或多個觸覺效果與所述一個或多個躍遷同步；以及 輸出與所述觸覺效果相關聯的觸覺信號。
26.根據權利要求25所述的非暫時性計算機可讀介質，其中所述信號包括下述中的一個:音頻信號、壓力信號、或者加速度信號。
27.根據權利要求25所述的非暫時性計算機可讀介質，進一步包括程序代碼，所述程序代碼當被處理器執行時被配置為使所述處理器: 輸出聽覺效果；並且 輸出所述觸覺效果。
28.根據權利要求25所述的非暫時性計算機可讀介質，進一步包括程序代碼，所述程序代碼當被處理器執行時被配置為使所述處理器將所述觸覺信號存儲在觸覺軌道中。
29.根據權利要求25所述的非暫時性計算機可讀介質，其中，所述觸覺效果包括下述中的一個或多個:摩擦係數的改變、模擬紋理、或者振動。
30.根據權利要求27所述的非暫時性計算機可讀介質，其中，所述躍遷包括下述中的一個或多個:頻率的變化、幅度的變化、或者頻率和幅度的重複。
31.根據權利要求27所述的非暫時性計算機可讀介質，其中，識別一個或多個躍遷包括: 在一系列時間間隔內對所述信號執行快速傅立葉變換； 對於所述時間間隔的每一個確定所變換的信號的均值； 使所述均值的每一個歸一化以創建歸一化信號； 確定所述歸一化信號的導數以創建導數信號；以及 確定所述導數信號內的一個或多個局部最大值。
32.根據權利要求31所述的非暫時性計算機可讀介質，其中，所述一個或多個局部最大值包括所述一個或多個躍遷。
33.根據權利要求31所述的非暫時性計算機可讀介質，進一步包括:對所述歸一化信號進行濾波。
34.根據權利要求27所述的非暫時性計算機可讀介質，其中，識別一個或多個躍遷包括: 確定第一時間窗和第二時間窗之內的一組頻帶的功率譜密度，其中，所述第一時間窗和第二時間窗是所述信號中的連續時間窗； 通過對每個時間窗的所有頻帶的功率譜密度值求和來確定總功率譜密度； 通過對每個頻帶的功率譜密度的值與每個時間窗的總功率譜密度進行比較來確定每個頻帶對總功率譜密度的貢獻； 確定從所述第一時間窗到所述第二時間窗所述頻帶的功率譜密度的第一變化率； 確定第一距離，所述第一距離等於通過每個頻帶的貢獻所加權的所述第一變化率的總和； 確定從所述第一時間窗到第三時間窗所述頻帶的功率譜密度的第二變化率，其中，所述第二時間窗和所述第三時間窗是所述信號中的連續時間窗； 確定第二距離，所述第二距離等於通過每個頻帶的貢獻所加權的每個頻帶處的所述第二變化率的總和； 通過使所述第一距離乘以所述第二距離來確定在所述第一時間窗與所述第二時間窗之間的總距離；以及確定局部最大值。
35.根據權利要求34所述的非暫時性計算機可讀介質，其中，所述局部最大值包括所述信號中的一個或多個躍遷。
36.根據權利要求34所述的非暫時性計算機可讀介質，其中，所述局部最大值包括所述第一距離、第二距離、或者總距離的局部最大值。
【文檔編號】G06F3/01GK104423593SQ201410453219
【公開日】2015年3月18日 申請日期:2014年9月5日 優先權日:2013年9月6日
【發明者】君·曼扭爾·克魯斯-赫南德斯, 賈邁勒·沙博恩 申請人:意美森公司