用於映射及顯示音頻源位置的系統及方法
2023-06-06 22:02:06 2
用於映射及顯示音頻源位置的系統及方法
【專利摘要】本發明總體上涉及一種用於相對於一個或多個聲音特徵定義參考聲音位置及產生與其靠近的標記的系統及方法。在一個或多個實施例中，本發明提供了在參考聲音位置處顯示全息圖像，該參考聲音位置是相對於與一個或多個所標識的聲音特徵關聯的一個或多個目標聲音的標識而確定的。在其他實施例中，本發明提供了一個標記，該標記看上去好像與一個參考聲音位置是交互的並且可被用在各種環境中，包括但不限於搖滾表演、國土安全及住宅安全。
【專利說明】用於映射及顯示音頻源位置的系統及方法
相關申請的交叉引用
[0001]本申請要求於2012年3月4日提交的名為「拉伸技術動畫軟體(STRETCH TECHANIMAT1N SOFTWARE) 」的美國臨時專利申請號61/606，428的權益，通過引用將這項申請的所有內容結合在此。
發明領域
[0002]本發明總體上涉及聲波及聲壓的檢測以及準確地確定聲源的位置。
發明背景
[0003]相對於與聲源、聲音本身、以及聲源所在的環境關聯的許多特徵,聲音以各種比率並在不同的方向上從聲源發出。聲音是由快速變化的壓力波行進穿過媒介(如空氣)造成的。聲音行進穿過空氣時，(大氣壓力下的)空氣周期性地變化。每秒氣壓變化的次數被稱為聲音的頻率，通常以赫茲(Hz)測量並被定義為每秒周期數。
[0004]具有較高頻率的聲音產生對於聽眾或檢測器而言較高音調的聲音。例如，打擊鼓產生的聲音通常具有比長笛產生的聲音更加低的頻率。管弦樂隊的弦樂部中的聲學樂器通常可以是以下各項之一:小提琴、中提琴、大提琴、及低音提琴，它們各自以也可能發生重疊的不同頻率發出其自己的聲音。可能難以從電子聲源上或在具有例如高分貝噪音的環境中聽見這些樂器。然而，在管弦樂環境中，發自這些樂器的聲音常常可以從管弦樂隊的其他樂器中明顯地辨識出，尤其是在注重聽覺的演出場地的表演期間。
[0005]由於聲學樂器的聲音是弦的振動所創造的氣壓的產物，而這些弦本身並不能使空氣流動，因此有意將這些樂器的主體設計為充當擴音器。由此主體設計能夠促進單獨一根振動弦上的振動、氣壓及聲音強度。在此類設計中，弦與樂器進行通信並且振動穿過該樂器的琴橋，在此處主體用於擴大這些振動弦所生成的一套適當的頻率範圍。聲音(相對於聲源、所生成的聲音的類型、以及聲源的環境)則可進一步相對於該檢測器的敏感性而被聽到或檢測到。
[0006]然而，每種樂器的主體的每個部分(相對於其形狀、構成、大小等)可以在不同的頻率共振，以便使得該樂器的音調字符以及輻射方向圖二者將會顯著變化，特別是隨頻率變化。認識到，小提琴及大提琴的平均極性響應以一系列不同的頻率變化；進一步理解為，此類樂器還以不同的方式發出聲音，其中例如雖然大多數的聲音來自於樂器的頂部或前部，但是發聲依賴於樂器本身。
[0007]因此，期望的是一種相對於特定環境中一個或多個聲源的一個或多個目標特徵準確地確定參考聲源位置的方法，其中優選地，一旦確定了參考聲源位置，進一步的視覺標記及刺激可與參考位置對準以進一步保證和產生觀看者利益。
發明概述
[0008]本發明滿足這些需要，並且已經響應於現有技術水平並具體地響應於本領域中目前可獲得的技術仍未完全解決的問題和需要對本發明進行了開發。
[0009]在一個實施例中，本發明是一種用於在預先確定的位置處相對於一個或多個聲音特徵定義參考聲音位置並且產生與其靠近的標記的方法。該方法優選包括:定義至少一個待檢測的聲音特徵；相對於該至少一個聲音特徵檢測至少一個目標聲音；以及相對於所檢測到的目標聲音確定該參考聲音位置。進一步地，該方法提供了產生靠近所確定的參考聲音位置的所述標記。
[0010]在進一步的實施例中，本發明是一種用於相對於預先確定的聲音環境中的一個或多個聲源的一個或多個目標特徵確定參考聲源位置並且執行靠近該參考聲音位置的標記的方法。該方法包括定義一個或多個目標聲音特徵，該目標聲音特徵是以下各項中的一項或多項:頻率範圍、分貝級別、音域範圍、響度範圍、定向位置、以及時段；將該標記的一個或多個特徵定義為以下各項中的一種或多種:可見的、可聽的、和/或可觸知的；在該聲音環境中相對於該一個或多個目標聲音特徵檢測至少一個目標聲音；以及相對於所檢測到的目標聲音確定該參考聲源位置。優選地，該方法還包括指定靠近所確定的參考聲源位置執行該標記。
[0011]在進一步的實施例中，本發明是一種用於相對於聲音環境的一個或多個預先確定的性能特徵來確定參考聲源位置並且靠近該參考聲音位置顯示一個或多個圖像的系統。優選地，該系統包括:一個聲音檢測裝置，用於相對於一個或多個預先確定的性能特徵檢測該聲音環境中的一個或多個聲音；一個處理器，用於相對於該聲音環境的參考聲源位置處理所檢測到的聲音信息並且生成一個或多個圖像以靠近該參考聲源位置進行顯示；以及一個圖像顯示裝置，用於靠近該參考聲源位置顯示所生成的一個或多個圖像。
[0012]如此處所使用的，聲源或聲音之源可包括能夠生成或發出聲音的任何事物，比如但不限於任何人類、音樂器材、電子裝置、靜物、自然生成的聲源、人造聲音發生器等。
附圖簡要說明
[0013]圖1闡明了小提琴及大提琴在不同頻率範圍下的平均極性響應的圖解示例；
[0014]圖2從觀眾觀察者的視角闡明了聲源及可能發生來自這些聲源的聲音的監聽或檢測的聲音位置的圖示法；
[0015]圖3闡明了聲源、可能發生來自這些聲源的聲音的監聽或檢測的位置、以及一個聚合聲源的可能的中心線的圖示法；
[0016]圖4闡明了一種具有多個聲源的環境安排，其中聽眾位於一個相對於該多個聲源靠近舞臺前面的特定位置處；
[0017]圖5闡明了一種具有多個聲源的環境安排，其中聽眾位於一個相對於該多個聲源朝向舞臺後側的特定位置處；
[0018]圖6根據一個或多個實施例闡明了本發明的流程圖；
[0019]圖7根據一個或多個實施例闡明了依賴於一個或多個預先確定的時間的本發明的流程圖；
[0020]圖8根據一個或多個實施例闡明了本發明的流程圖，其中特徵數據的定義還包括對於一個或多個預先確定的時間的依賴；
[0021]圖9闡明了對於本發明的標記的交互圖像效果的示例；
[0022]圖10根據本發明的一個或多個實施例描繪了對於本發明的標記的交互圖像效果的示例；
[0023]圖11使用本發明根據一個或多個實施例描繪了對於多個標記的多視角交互圖像的示例；
[0024]圖12根據本發明的一個或多個實施例展示了一種適合存儲電腦程式產品和/或執行程序代碼的數據處理系統；
[0025]圖13根據本發明的一個或多個實施例展示了本發明的一種包括適合存儲電腦程式產品和/或執行程序代碼的數據處理系統的裝置安排；
[0026]圖14根據一個或多個實施例使用聲學照相機的輸入裝置以及圖像投影系統的輸出裝置闡明了本發明的流程圖，其中特徵數據的定義還包括對於一個或多個預先確定的時間的依賴；
[0027]圖15展示了本發明運轉所在的環境；
[0028]圖16使用實時聲音動畫展示了本發明運轉所在的環境1600 ;以及，
[0029]圖17展示了本發明運轉所在以及演唱會上有現場表演者時投影全息動畫影像的環境。
優選實施方案的詳細說明
[0030]本發明總體上涉及一種用於定義參考聲音位置及相對於一個或多個聲音特徵產生與其靠近的標記的系統及方法。
[0031]以下描述被展示為使得本領域的普通技術人員能夠製作和使用本發明，並且提供在專利申請及其要求的背景中。對優選實施例和通用原理以及在此描述的特徵作出的各種修改對本領域的技術人員而言將是非常明顯的。因此，本發明並非旨在限定於所示實施例，而是要符合與在此描述的原理和特徵相一致的最廣範圍。
[0032]圖1闡明了小提琴110及大提琴120在不同頻率範圍下的平均極性響應的圖解示例100。從圖1中，小提琴110及大提琴120在2-5kHz的範圍(111，121)中具有類似的聲音分散，其中總體上二者均在弦及琴橋的局部位置周圍發出。然而，小提琴和大提琴在200-500HZ的範圍內在聲音分散方面變化顯著，其中小提琴圍繞其局部位置(112)圓周地輻射並且大提琴僅局部地(122)輻射。結果，要確定聲源的具體地點或位置仍然是一項挑戰。
[0033]圖2從觀眾觀察者的視角闡明了聲源(210，220，230，240)及可能發生來自這些聲源的聲音的監聽或檢測的聲音位置(250,260)的圖示法200。例如，聲源(210，220，230，240)可以表示演唱會上的現場樂隊，並且圖2的觀察者在觀眾中。理解為，沒有障礙時，聲音以與聲音的速度相等的速率行進。還認識到，可在距聲源的一個預先確定的距離處確定檢測位置(250，260)。使用速率X時間=距離的標準關係，校準技術可用於確定從聲源傳播的聲音是否被阻以及用於檢測的設備是否被正確地定位。
[0034]從圖2中，傳聲器或其他檢測設備可被放置於250、260處以檢測發自舞臺區270的聲音。從該圖中，聲源230及240與檢測器250及260不是等距的。聲源230位於距檢測器260 —個第一預先確定的距離處，並且聲源240位於距檢測器260 —個第二預先確定的距離處。發自230的聲音將在發自聲源240的聲音之前到達檢測器260。然而，發自230的聲音將在發自聲源240的聲音之後到達檢測器250。雖然可使用與標準關係關聯的計算來確定參考檢測器與這些聲源中的每一個之間的距離，由於聲音分散、聲源移動、以及檢測設備的放置，以精確性及專一性確定聲源的位置仍然是一項挑戰。
[0035]聲音的另一個特徵是與其響度相關的，其中響亮的聲音源自較大的氣壓變化，氣壓變化隨距離消弱。由於每個聲音以聲音的速度行進穿過房間，每個聲音產生的氣壓變化可受到其他聲音、時間及聲音行進的距離影響。在此類設置中，為一整套聲源或為由競爭聲源圍繞的單個聲源確定一個特定的中心點提出了挑戰。
[0036]例如，圖3闡明了聲源(310，320，330，340)、可發生來自這些聲源的聲音的監聽或檢測的位置(350，360)、以及一個聚合聲源的可能的中心線的圖示法300。從圖3中，每個聲源(310，320，330，340)可產生具有在表演或演示期間各不相同地重疊的頻率的聲音。在某些情況下，這些聲源中的一個或多個可以是例如揚聲器。聽眾可通過部署一個或多個檢測陣列(350，360)來嘗試分辨一套特定的頻率發自何處。然而，雖然可使用與標準關係關聯的計算來確定參考檢測器與這些聲源中的每一個之間的距離，由於競爭聲音、聲音分散、聲源移動、檢測設備的放置、以及其他特徵，以精確性及專一性為特定頻率目標或範圍確定一個聚合中心仍然是一項挑戰。相應地，很難確定聚合中心出現在何處，如在380處所估計的。
[0037]進一步地，圖4闡明了一種具有多個聲源400的環境安排，其中聽眾490位於一個相對於該多個聲源靠近舞臺前面的特定位置處。從圖4中(即頭頂視角)，可能期望的是該表演使得聽眾490在特定時間或在特定時段聚焦在該表演的特定方面。不幸的是，使用與標準關係關聯的計算，聽眾490很可能可以確定聚合聲源的一個感知到的中心點位於499處。結果，聽眾490的焦點通常將朝向該感知到的中心點並且可能不聚焦在與這些聲源及其特定特徵關聯的特定亮點或表演效果。不幸的是，聽眾可能無法完全地與最初打算的那樣從表演中得到一定程度的樂趣。
[0038]類似地，節目企劃可期望為了聽眾的樂趣將一個視覺特徵對準與該表演的聲音、聲源及環境相關的特定特徵，其中需要準確地確定聲源位置與正在發自或將要發自一個或多個聲源的聲音的定時信息之間的對準關聯。
[0039]圖5闡明了一種具有多個聲源500的環境安排，其中聽眾590位於一個相對於該多個聲源朝向舞臺後側的特定位置處。從圖5中，使用與標準關係關聯的計算，聽眾很可能將具有在特定時間點上源自599的一個感知到的聲源聚合中心，結果，聽眾590的焦點通常將朝向該感知到的中心點599並且可能不聚焦在與這些聲源及其特定特徵關聯的特定亮點或表演效果上，特別是朝向舞臺前面的那些。不幸的是，由於聽眾所感知到的聲源中心點，該聽眾可能不能完全地與最初打算的那樣從該表演中得到一定程度的樂趣。
[0040]圖6根據一個或多個實施例闡明了本發明的流程圖600。從圖6中，流程600開始於605處。在610處，標識一個聲源為該流程的一個感興趣的目標。例如，在一個實施例中，用戶可以標識一個或多個用於確定目標的聲音目標特徵。例如，聲音目標特徵可包括頻率範圍、分貝級別、音域範圍、響度範圍、定向位置、以及時段。所定義的一個或多個聲音目標特徵作為輸入被該流程接收，用於在一個定義的環境中確定和標識聲源。將認識到，不存在聲音目標特徵時，一套默認的聲音目標特徵可用於本發明中。
[0041]進一步地，從圖6中，在620處定義了聲音環境。例如，聲音環境可以是音樂廳、攝影棚、演出地點、室外、室內等，藉此打算的是定義待檢測的聲音之源預期出自其中的地點。
[0042]在630處，一種效果被標識供本發明使用。如此處所使用的，術語「標記」意指標記在方式上為可視的、可聽的或可觸知的。例如，標記可包括但不限於視覺效果、聽覺效果、可觸知的效果、視覺圖像、動畫片、字符表示、視頻、動漫、全息圖、光束、噴射的火焰、動畫、及其組合，用於相對於所檢測到的目標聲音或所確定的參考聲音位置進行顯示。
[0043]進一步地，標記可以是例如一個或多個圖像，其中每個圖像或運動圖像在一個特定的預先確定的時間或響應於一個特定的預先確定的聲音特徵或者在這兩種情況下均進行顯示。例如，在一個實施例中，視覺標記是一個全息圖像中的一個或多個，該全息圖像以一個或多個預先確定的時間所定義的間隔相對於所確定的參考聲音位置進行顯示。進一步舉例來說，如果環境是樂隊的舞臺，那麼標記可以是個人、動漫、圖標等的全息圖或是全息圖像，它們可具有與該影像關聯的運動或者可具有響應於本發明所檢測到的聲音的運動。
[0044]進一步在圖6中，在640處，使用定義聲音的聲音目標特徵以及所定義的有待被確定為目標的聲源，使用本發明的傳感裝置在該環境內對聲源進行了標識。聲音傳感裝置可包括聲音可被確定在其中存在的任何聲音傳感設備或裝置(包括人類)。總體上，能夠檢測氣壓變化的傳感器可作為適用於本發明的裝置。其他示例可包括傳聲器、音頻採集裝置、氣壓傳感器、聲波檢測器、聲學照相機、電子控制邏輯、聲音傳感器、監聽裝置、分貝觸發器、揚聲器、及水聽器等。
[0045]在650處，所標識的聲源的位置是將這些聲音傳感裝置的輸出用作對本發明的一個第一位置處理器的輸入而確定的。在一個或多個優選實施例中，在距目標參考點一個固定距離處設置的一個傳聲器陣列被用作聲音傳感裝置。來自該傳聲器陣列的輸出被提供為至該第一位置處理器的輸入。該第一位置處理器接收該陣列信息並且及時地在一個第一實例處確定目標聲源的一個第一位置。
[0046]例如，在一個進一步的優選實施例中，沿公共X軸參考平面相對於聲源的目標參考系設置了一個有30個傳聲器的傳聲器陣列。當聲源傳輸待本發明感測的聲音時,該聲音由該傳聲器陣列非均勻地接收。由於該陣列的每個傳聲器相對於彼此以及相對於聲源目標參考系位於一個固定距離處，本發明可在聲音傳輸的時間tl計算聲源目標的所在位置。本發明的第一位置處理器然後確定在tl處相對於目標參考系的一個第一位置。
[0047]進一步的實施例包括多個傳聲器陣列的使用，其中每個陣列可在傳聲器的數量上發生變化，所定義的陣列的一部分以及每個陣列的位置也可以相對於目標參考系不同。對於此實施例，當聲源傳輸待本發明感測的聲音時，該聲音由該多個傳聲器陣列非均勻地接收。由於每個陣列的每個傳聲器相對於彼此、相對於每個陣列、以及相對於聲源目標參考系位於一個固定距離處，本發明可在聲音傳輸的時間tl處計算聲源目標的所在位置。
[0048]在一個進一步的實施例中，這些陣列被圍繞目標聲源多維地放置。本發明的第一位置處理器然後確定在tl處相對於目標參考系的一個第一位置。
[0049]將認識到，在以上每一個參考實施例中，目標聲源的位置可以被特別準確地標識。
[0050]繼續從圖6中，在660處，來自第一位置處理器的輸出被提供為至一個第一參考處理器的輸入，該第一參考處理器將目標聲源在tl處的位置信息與目標參考軸關聯，從而確定所標識的目標聲音之源的位置。所標識的聲源的位置在所定義的環境中還可被用作參考位置，該環境中本發明的標記可被映射用於相對於顯示器、聲音、外觀等進行定位。在670處，視覺效果(即標記)可相對於並且靠近參考聲源進行映射及顯示。
[0051]圖7根據一個或多個實施例闡明了依賴於一個或多個預先確定的時間的本發明的流程圖700。從圖7中，流程700針對初始時間tl開始於705。在706處，聲音特徵被標識並用於進一步在710處為該流程定義聲源或目標區。在720及730處定義了聲音環境，標記效果被標識供本發明使用。在740處，使用定義聲音的聲音目標特徵及所定義的有待被確定為目標的聲源，在環境內使用本發明的傳感裝置對聲源進行了標識。在750處，所標識的聲源的位置是將這些聲音傳感裝置的輸出用作本發明的一個第一位置處理器的輸入而確定的。在一個或多個優選實施例中，位置可以是兩軸坐標或三維坐標。在760處，確定了所標識的目標聲音之源的位置。在770處，視覺效果(即標記)可被相對於並且靠近參考聲源進行映射及顯示。
[0052]在780處，該流程在初始時段tl之後的時段內根據步驟740-770使用預定義的特徵重新評估所確定的聲源。相應地，對於tl+Ι，在740處，使用定義聲音的聲音目標特徵及所定義的有待被確定為目標的聲源，在下一時段內使用本發明的傳感裝置在環境內標識聲源。該流程一直持續到770，在此可在時間tl+Ι基於所確定和標識的聲音信息及標記相對於並且靠近參考聲源對視覺效果進行映射及顯示。相應地，該流程可在附加時段重複。
[0053]圖8根據一個或多個實施例闡明了本發明的流程圖800，其中特徵數據的定義還包括對於一個或多個預先確定的時間的依賴。從圖8中，流程800針對初始時間tl開始於805。在806處，闡明了特徵標識關聯被稱為一個時間函數。從該流程中，在810處定義了該流程的聲源或目標區。在820及830處定義了聲音環境，標記效果被標識為時間函數供本發明使用。在840處，使用定義聲音的這些聲音目標特徵(各自為一個時間函數)及所定義的有待被確定為目標的聲源，在該環境內使用本發明的傳感裝置對聲源進行了標識。在850處，確定了所標識的聲源的位置。在一個或多個優選實施例中，位置可以是兩軸坐標或三維坐標。在860處，確定了所標識的目標聲音之源的位置。該流程一直持續到870，在此可基於所確定和標識的聲音信息及標記相對於並且靠近參考聲源對視覺效果進行映射及顯示。相應地，該流程可在tl+Ι (附加時段)重複880。在880處，由於這些特徵是時間函數，可在890處闡明新定義，並且該流程將在下一時間間隔在下一流程繼續新定義的特徵。
[0054]圖9闡明了對於本發明的標記的交互圖像效果的示例。從圖9中，所呈現的符號標記包括具有一個或多個擬人特徵。910描繪了一個朝前的面部。920描繪了一個朝左的面部。930描繪了一個朝右的面部。940描繪了一個朝後的面部。此類面部側貌可被投影到靠近本發明的參考聲音位置的聲音環境中的膠捲或其他顯示器上。
[0055]交互式地，本發明能夠進一步提供具有面部標記，該面部標記具有有限動作或無動作的910，直到相對於一個或多個聲音特徵檢測到一個特定的聲音或一套聲音。使用本發明檢測到此類目標聲音時，910的標記可在顯示器中改變圖像或運動，以便使得面部可轉向參考聲音位置。例如，如果檢測到一個聲音在910朝前的標記的左側，面部則可在屏幕上變換圖像以便繼續看上去好像在「看」向參考聲音位置。這樣做，朝向910的面部轉變成看向右側的面部930 (或是面部的左側)，並朝向所檢測到的聲源。面部標記930將一直繼續直到一個未來時間間隔或者直到一個所檢測到的聲音停止的時段。如果所檢測到的聲音停止了，面部標記930可被返回到910朝前的表情。
[0056]圖10根據本發明的一個或多個實施例描繪了對於本發明的標記的交互圖像效果的不例。從圖10中，聲音可來自環境1000中的聲源1010。相對於聲源確定一個第一參考聲音位置已被本發明執行，確定此類參考位置在1020處。在本發明的示例中，面部標記1070及1080包括定義的特徵，這些定義的特徵還包括在檢測到具有預先確定的聲音特徵的某些聲源時發生的移動。
[0057]從圖10並且操作性地，使用本發明，面部標記1070A通常遠離該聲源朝向別處，直到檢測到一個特定的聲源。檢測到該特定聲源時，朝向別處的面部標記1070A轉變成面對面部標記1070B，該面部標記「看上去好像」朝向1020處確定的聲源。一旦聲源停止，面部標記可返回表情1070A。類似地，面部標記1080A通常朝向聲源，直到檢測到一個特定的聲源。檢測到該特定聲源時，朝前的面部標記1080A轉變成朝向別處的面部標記1080B，該面部標記「看上去好像」遠離1020處確定的聲源朝向別處。一旦聲源停止，面部標記可返回表情1080A。一方面，1080A及1080B的後一不例可觸發對所檢測到的聲音中異常或誤差的檢測，如樂器或演唱者的失誤。在另一實例中，標記可以是表演者真人大小的圖像，像它們所代表的表演者一樣進行交互。
[0058]圖11使用本發明根據本發明的一個或多個實施例描繪了多個標記的多視角交互圖像的不例。從圖11中，聲音可來自環境1100中的聲源1110。相對於聲源確定一個第一參考聲音位置已被本發明執行，確定此類參考位置在1120處。在本發明的示例中，面部標記1170、1180及1190各自包括定義的特定特徵，這些特徵還包括在檢測到具有預先確定的聲音特徵的某些聲源時發生的移動。總體上，對於此示例，三個標記其中的兩個(1170,1180)被設置成「看上去好像」在看參考位置1120，而一個(1190)包括不看參考位置(1120)的設置。
[0059]從圖11並且操作性地，使用本發明，面部標記1070A通常遠離該聲源朝向別處，直到檢測到一個特定的聲源。檢測到該特定聲源時，朝向別處的面部標記1070A轉變成面對面部標記1070B，「看上去好像」朝向1020處確定的聲源。一旦聲源停止，面部標記可返回表情1070A。類似地，面部標記1080A通常朝向聲源，直到檢測到一個特定的聲源。檢測到該特定聲源時，朝前的面部標記1080A轉變成朝向別處的面部標記1080B，「看上去好像」遠離1020處確定的聲源朝向別處。一旦聲源停止,面部標記可返回表情1080A。一方面，1080A及1080B的後一示例可觸發對所檢測到的聲音中異常或誤差的檢測，如樂器或演唱者的失誤。
[0060]圖12根據本發明的一個或多個實施例展示了一種適合存儲電腦程式產品和/或執行程序代碼的數據處理系統1200。數據處理系統1200包括通過系統總線1206耦合到存儲器元件1204a-b的處理器1202。在其他實施例中，數據處理系統1200可包括多於一個處理器並且每個處理器可通過系統總線直接或間接耦合到一個或多個存儲器元件。
[0061]存儲器元件1204a_b可包括實際執行程序代碼時使用的局部存儲器、大容量存儲器及提供至少某些程序代碼的暫時存儲的高速緩衝存儲器，以便減少在執行時必須從大容量存儲器中檢索代碼的次數。如所示出的，輸入/輸出或I/o裝置1208a-b (包括但不限於鍵盤、顯示器、定點裝置等)耦合到數據處理系統1200。I/O裝置1028a-b可通過中介I/O控制器(未示出)直接或間接耦合到數據處理系統1200。
[0062]進一步地，在圖12中，網絡適配器1210耦合到數據處理系統1202以使得數據處理系統1200能夠變得通過通信鏈路1212耦合到其他數據處理系統或遠程印表機或存儲裝置。通信鏈路1212可以是專用網絡或公用網絡。數據機、有線數據機、及乙太網卡僅為幾種目前可用的網絡適配器類型。
[0063]此外，在一個或多個優選實施例中，圖12的數據處理系統1200可進一步包括適合根據本發明的一個或多個實施例執行程序代碼的邏輯及控制器。例如，數據處理系統1200可包括1202處的多個處理器，其中，每個處理器可預處理、處理或後處理相對於環境、環境中的聲音及效果和/或本發明的用戶的優先設置接收或傳輸的數據(諸如但不限於聲學的、圖像或可觸知的)。關於其對本發明的處理，該多個處理器可通過系統總線1206耦合到存儲器元件1204a-b。多個輸入/輸出或I/O裝置1208a-b可聯合對應的處理器直接耦合到數據處理系統1200，或通過中介I/O控制器(未示出)間接耦合。此類I/O裝置的示例可包括但不限於傳聲器、傳聲器陣列、聲學照相機、聲音檢測設備、光檢測設備等。
[0064]在一個或多個優選實施例中，對於本發明有效的軟體可以是應用、遠程軟體或者可在計算機、智慧型電話或其他基於計算機的裝置上操作。例如，從諸如iPhone的聲源檢測到的聲音可用於本發明，其中本發明的軟體被安排了一個傳聲器陣列和多個聲學照相機，以根據本發明的一個或多個實施例從iPhone檢測聲源並且在iPhone上顯示視覺圖像。預期的是，本裝置可用於基本上任何環境及應用中，包括涉及但不限於搖滾表演、視頻表演、劇場、特徵描述的那些和/或涉及在世/去世表演者的戲劇演出、動畫應用、交互電子及虛擬論壇、國家安全需求、安全住宅等。
[0065]圖13根據本發明的一個或多個實施例展示了本發明的一種包括適合存儲電腦程式產品和/或執行程序代碼的數據處理系統1300的裝置安排。1300的裝置包括聲學照相機1308a用於與環境關聯的聲壓及聲音信息的輸入，圖像投影系統1308b用於將所處理的圖像信息的輸出作為該裝置的處理的產物進行顯示，以及數據處理子系統1301。數據處理子系統1301包括映射處理器1302a(用於處理從聲學照相機輸入1308a接收的聲音信息)以及圖像處理器1302b(用於為了輸出而處理與用戶定義的特徵關聯的圖像數據)，各自通過系統總線1306耦合到存儲器元件1304a-b。存儲器元件1304a例如可以包括用戶定義的聲音特徵，用於標識關於環境中的聲音的感興趣的目標。類似地，存儲器元件1304b例如可以包括視覺圖像數據及用戶定義的特徵，用於相對於環境中標識的聲音信息進行視覺圖像數據的應用。將認識到附加存儲器元件及存儲器的安排也是本發明預期的。
[0066]進一步從圖13中，存儲器元件1304a_b可包括程序代碼實際執行時使用的局部存儲器、大容量存儲器、及提供至少某些程序代碼的暫時存儲的高速緩衝存儲器。進一步的存儲器元件或控制器(未示出)此外可在本發明執行數據捕獲、處理及數據顯示時提供用於確定步驟的實時、近實時、且預先確定的時間指令，本質上作為時間函數。
[0067]進一步地，在圖13中，雖然網絡適配器1310圖解法地耦合到數據處理系統1302以使得數據處理系統1301能夠通過通信鏈路1312開始耦合到其他數據處理系統、存儲裝置、投影系統及類似物上，本發明並未限制通信聯動的特定安排。通信鏈路1312可以是專用網絡或公用網絡，有線的或無線的，並且連通性上為直接的或間接的。用於本發明的當前實施例及其他實施例的I/o裝置可以包括但不限於傳聲器、傳聲器陣列、聲學照相機、聲音檢測設備、光檢測設備、影像投影系統、顯示系統、電子媒體等。
[0068]圖14根據一個或多個實施例使用聲學照相機的輸入裝置以及圖像投影系統的輸出裝置闡明了本發明的流程圖1400，其中特徵數據的定義還包括對於一個或多個預先確定的時間的依賴。從圖14中，流程1400針對初始時間tl開始於1405。在1406處，闡明了特徵標識關聯被稱為一個時間函數。從該流程中，在1410處定義了該流程的聲源或目標區。在1420及1430處定義了聲音環境，視覺效果(例如動畫)被標識供本發明使用。在1440處，使用這些聲音目標特徵(各自為一個時間函數)，定義聲音及所定義的有待被確定為目標的聲源，使用本發明的聲學照相機在該環境內對聲源進行了標識。優選地，聲學照相機提供了對該環境中檢測到的聲壓的映射並且輸入了數據以由本發明處理。
[0069]在1450處，確定了所標識的聲源的位置。在一個或多個優選實施例中，位置可以是兩軸坐標或三維坐標。類似地，本發明的附加處理可提供轉換處理，以使二維位置信息轉換成三維信息。在1460處，確定了所標識的目標聲音之源的位置。該流程一直持續到1470處，在此按照用戶定義的特徵對視覺效果進行了安排，並且基於所確定及標識的聲音信息及視覺圖像數據和優選設置相對於且靠近該參考聲源進行了映射。在1480處，對有待顯示的視覺圖像進行了處理和安排以由本發明的圖像投影系統顯示。使用本發明，無論是二維的還是三維的，投影可直接、間接、靠近、遠離、位於、朝向、或跨目標位置進行顯示。
[0070]相應地，該流程則於tl+Ι (附加時段)在1490處重複。在1490處，由於這些特徵是時間函數，可在1410處或者如果之前的步驟中沒發生變化則在該流程的其他步驟闡明新定義，並且該流程將根據本發明並且還優選地在下一時間間隔作為時間函數繼續所定義的特徵、所獲取的數據、所處理的數據及為輸出準備的數據。
[0071]圖15展示了本發明運轉所在的環境1500。從圖15中，環境1500包括聲源1510、目標區或目標參考系1520、及聲音檢測及接收裝置1530。優選地，在一個或多個實施例中，聲源1510可以是一群音樂家、一套發聲設備、舞臺表演者、動畫片、單個人等。優選地，在一個或多個實施例中，目標參考系或目標區1520被定義為一個將發生聲音的檢測的物理區域，而該目標區將是但不限於一個可用整體物理空間的子集。目標區優選地將由本發明的用戶定義或默認由用於本發明的值定義，其中示例可包括中央舞臺的一片20』X 20』 X 10』的區域，其中一支現場樂隊在100』 X 100』 x50』的圍欄內表演。進一步地，接收裝置將被放置在整體物理空間內並且被安排成從目標區的聲源接收聲音信息以供本發明的最佳使用。在一個或多個優選實施例中，接收裝置是聲學照相機。
[0072]圖16使用實時聲音動畫展示了本發明運轉所在的環境1600。從圖16中，環境1600包括聲源、目標區或目標參考系、及聲音檢測及接收裝置(未示出)。在該環境1600內描繪了動畫影像1610。動畫影像是所選擇的將根據優選視覺效果的一個或多個用戶定義的特徵在該環境內形象化地顯示的標記。所選動畫影像被安排成進行實時處理以便該影像相對於所檢測到的聲音信息靠近且朝向目標區進行投影。優選地，動畫影像響應於所檢測到的聲音信息(諸如聲壓、頻率、音高、分貝等)，以便使得動畫影像與聲壓交互。例如，在所檢測到的聲壓增加並且降低以反映漸增的然後以及漸減的聲音響度時，動畫的花朵、雲彩、天使翅膀的圖像等等可以在例如大小、視覺透明度、動作、及色彩強度和/或照明效果方面增加及降低。將認識到，使用本發明，存在很多可用變更並且本發明不僅限制於以上列表。
[0073]圖17展示了本發明運轉所在以及演唱會上有現場表演者時投影全息動畫影像的環境1700。從圖17中，環境1700包括聲源1710、目標區或目標參考系1720、聲音檢測及接收裝置1730、及投影系統(未示出)。從圖17中，在1701處描繪了一位聽眾。優選地，在一個實施例中，聲源1710是一群正在表演的音樂家，目標參考系1720被定義在靠近中央舞臺處，接收裝置1730是聲學照相機，並且投影系統提供了相對於預先確定的特徵的來自於定義的視覺圖像的三維全息顯示能力。
[0074]從圖17中，視覺動畫1740由投影系統相對於聲學照相機檢測到的聲音信息投影到靠近目標區1720的環境1700的舞臺上。優選地，作為時間函數，顯示的圖像被相對於本發明所檢測及處理的聲音信息進行了更新。可替代地，基於一組預先確定的圖像、動作、形象化等在一個時段內顯示了圖像。
[0075]雖然本發明根據所示的實施例中已經描述，在本【技術領域】的普通技術人員將容易地認識到，有可能是變化的實施例，這些變化將在本發明的精神和範圍之內。相應地，在不偏離本發明的精神和範圍的情況下，本領域的普通技術人員可以作出許多修改。還設想了本發明的許多其他實施例。
[0076]在此所述的任何理論、運行機制、證據、或發現旨在進一步加強對本發明的理解，並且並不打算以任何方式使本發明依賴於這種理論、運行機制、證據、或發現。應當理解的是，雖然上述說明中對詞語更可取的、優選地或優選的的使用表示如此描述的特徵可能更可取，儘管如此，它可能不是必要的，並且沒有該特徵的實施例可以視為在本發明的範圍之內，該範圍由接下來的權利要求書所定義。
[0077]如此處所使用的，本發明的檢測及監聽位置可放置或坐落於環境中一個期望的聲源或一系列聲源可能源自其中的任何地方。例如，傳聲器陣列可沿X軸、y軸和/或z軸相對於感興趣的聲源放置。
[0078]如在此所使用的，術語裝置、電器、終端、遠程裝置、無線資產等旨在彼此或與針對本發明的目的的其他類似的基於通信的設備是包含的、可互換的、和/或同義的，雖然將認識到每一裝置在功能上可以具有獨特的特點、功能和/或操作(對其個體能力和/或部署可能是特定的)。
【權利要求】
1.一種用於在預先確定的位置處相對於一個或多個聲音特徵定義參考聲音位置並且產生與其靠近的標記的方法，包括: 定義至少一個待檢測的聲音特徵； 相對於該至少一個聲音特徵檢測至少一個目標聲音； 相對於所檢測到的目標聲音確定該參考聲音位置；以及， 產生靠近所確定的參考聲音位置的該標記。
2.如權利要求1所述的方法，其中，這些聲音特徵是以下各項中的一項或多項:頻率範圍、分貝級別、音域範圍、響度範圍、定向位置、以及時段。
3.如權利要求2所述的方法，其中，該參考聲音位置包括一個相對於該預先確定的位置幀的二維位置。
4.如權利要求3所述的方法，其中，該參考聲音位置包括一個相對於該預先確定的位置幀的三維位置。
5.如權利要求2所述的方法，其中，該至少一個目標聲音是使用以下各項中的一項或多項檢測的:聲波檢測器、聲學照相機、或電子控制邏輯。
6.如權利要求5所述的方法,其中，該聲波檢測器是以下各項之一:傳聲器、電子聲音傳感器、監聽裝置、分貝觸發器、揚聲器、人、以及水聽器。
7.如權利要求5所述的方法，其中，該標記是以下各項中的一項或多項:視覺圖像、動畫片、字符表示、視頻、動漫、全息圖、光束、動畫、及其組合，用於相對於所檢測到的目標聲音進行顯示。
8.如權利要求7所述的方法，其中，產生該標記進一步包括根據一個或多個預先確定的時間相對於該參考聲音位置顯示該標記。
9.如權利要求8所述的方法，其中，該標記是一個全息圖像中的一個或多個，該全息圖像以一個或多個預先確定的時間所定義的間隔相對於該參考聲音位置進行顯示。
10.一種用於相對於預先確定的聲音環境中的一個或多個聲源的一個或多個目標特徵確定參考聲源位置並且執行靠近該參考聲音位置的標記的方法，包括: 定義一個或多個目標聲音特徵，該目標聲音特徵是以下各項中的一項或多項:頻率範圍、分貝級別、音域範圍、響度範圍、定向位置、以及時段； 將該標記的一個或多個特徵定義為以下各項中的一種或多種:可見的、可聽的、和/或可觸知的； 在該聲音環境中相對於該一個或多個目標聲音特徵檢測至少一個目標聲音； 相對於所檢測到的目標聲音確定該參考聲源位置；以及， 指定靠近所確定的參考聲源位置執行該標記。
11.如權利要求10所述的方法,其中，該參考聲源位置包括相對於該聲音環境的或者一個二維或者一個三維的坐標位置。
12.如權利要求11所述的方法，其中，該至少一個目標聲音是使用以下各項中的一項或多項檢測的:聲波檢測器或聲學照相機。
13.如權利要求12所述的方法，其中，該標記是一個投影的視覺圖像，該視覺圖像以與一個或多個預先確定的時間相關聯的預先確定的間隔相對於該目標聲音進行顯示，並且相對於該參考聲源位置顯示為或者是交互的或者是不交互的。
14.一種存儲在計算機可用介質上的電腦程式產品，包括: 一個計算機可讀程序裝置，用於使得一個計算機控制一個應用的執行，以執行一種用於相對於一個或多個聲音特徵產生靠近一個第一參考聲音位置的標記的方法，包括: 定義將由一個聲音檢測器檢測的該一個或多個聲音特徵； 相對於該一個或多個聲音特徵檢測至少一個目標聲音； 相對於所檢測到的至少一個目標聲音確定該第一參考聲音位置；以及， 產生一個靠近該第一參考聲音位置的預先確定的標記。
15.如權利要求14所述的程序產品，其中，這些聲音特徵是以下各項中的一項或多項:頻率範圍、分貝級別、音域範圍、響度範圍、定向位置、以及時段。
16.如權利要求15所述的程序產品,其中，該第一參考聲音位置包括相對於一個第一參考軸的或者一個二維位置或者一個三維位置。
17.如權利要求16所述的程序產品，其中，該聲音檢測器是一個聲學照相機或電子控制邏輯。
18.如權利要求16所述的程序產品，其中，該預先確定的標記是以下各項中的一項或多項:視覺圖像、動畫片、字符表示、視頻、動漫、全息圖、光束、動畫、及其組合，用於相對於該第一參考聲音位置進行投影。
19.如權利要求18所述的程序產品，其中，投影該預先確定的標記進一步包括根據一個或多個預先確定的時間相對於該第一參考聲音位置顯不該標記。
20.如權利要求19所述的程序產品，其中，該預先確定的標記通過相對於一個或多個檢測到的交互聲音顯示運動的出現來響應地靠近該第一參考聲音位置進行顯示。
21.如權利要求20所述的程序產品，其中，該預先確定的標記是一個具有一個或多個擬人特徵的圖像。
22.如權利要求16所述的程序產品，其中，該預先確定的標記是基於可見的、可聽的或可觸知的投影中的一種或多種，該投影以一個或多個預先確定的時間所定義的間隔靠近該第一參考聲音位置進行投影。
23.一種用於相對於聲音環境的一個或多個預先確定的性能特徵來確定參考聲源位置並且靠近該參考聲音位置顯示一個或多個圖像的系統，包括: 一個聲音檢測裝置，用於相對於一個或多個預先確定的性能特徵檢測該聲音環境中的一個或多個聲音， 一個處理器，用於相對於該聲音環境的參考聲源位置處理所檢測到的聲音信息並且生成一個或多個圖像以靠近該參考聲源位置進行顯示， 一個圖像顯示裝置，用於靠近該參考聲源位置顯示所生成的一個或多個圖像。
24.如權利要求23所述的系統，其中，這些預先確定的性能特徵包括以下各項中的一項或多項:頻率範圍、分貝級別、音域範圍、響度範圍、定向位置、以及時段。
25.如權利要求24所述的系統，其中，該一個或多個圖像包括以下各項中的一項或多項:一個或多個視覺圖像、動畫片、字符表示、視頻、動漫、全息圖、光束、動畫、多媒體、及其組合。
26.如權利要求25所述的系統，其中，該一個或多個圖像被顯示為一個時間函數並且該一個或多個圖像的一個或多個特徵能夠與該聲音環境中所檢測到的一個或多個聲音進行視覺交互。
27.如權利要求26所述的系統,其中，該參考聲源位置是相對於該聲音環境的一個二維位置或一個三維位置之一。
28.如權利要求26所述的系統，其中，該聲音檢測裝置是一個聲學照相機並且該圖像顯示裝置是一個三維全息顯示系統。
29.如權利要求26所述的系統，其中，該聲源是一支樂隊，該環境是一個演唱會地點，該檢測裝置是一個聲學照相機，並且該一個或多個圖像包括動畫。
30.如權利要求29所述的系統，其中，該動畫包括以下各項中的一項或多項:天使的翅膀、全息圖、交互視頻、動畫片、及名人圖像。
【文檔編號】G03B42/06GK104272183SQ201380022736
【公開日】2015年1月7日 申請日期:2013年3月4日 優先權日:2012年3月4日
【發明者】約翰·比蒂, 賈馬爾·索亞 申請人:約翰·比蒂