藉助於圖形用戶界面來產生並處理聲音效果的設備及方法
2023-09-13 01:04:55
專利名稱：藉助於圖形用戶界面來產生並處理聲音效果的設備及方法
技術領域：
本發明涉及現代音頻技術，更具體地涉及聲音再現系統的空間聲
音印象(spatial sound impression)的產生禾口處理。
背景技術：
在可以實現的現代聲音再現系統中，通過使用若干個揚聲器，可 以在空間中精確地定位各個聲源，並且在再現環境下製造出在仿真區 域內(例如體育場或大教堂)的效果。可以從理論上區分兩種不同的 再現概念。在傳統的環繞再現中(通常也是在家庭娛樂方面有用)，在 聲音混合處理期間已經將定位和空間信息混合到將要離散傳送的各個 通道中，將由多個揚聲器構成的再現系統用於再現各個通道。該再現 揚聲器應該位於相對於再現環境的預定位置處，以便實現最佳空間印 象。
諸如基于波長合成的空間仿真之類的更先進系統，基於聲源相對 於再現空間的位置信息以及所要仿真的再現環境的空間信息，僅在再 現過程中產生針對各個揚聲器的控制信號。由於在再現過程中可以考 慮這裡所設置的各個揚聲器，以便在再現環境中產生最好地表示了所 要仿真的空間印象的波前，因此實質上可以對於定位和空間印象實現 更加可靠的結果。
為了更好地理解本發明，現在將要對波場合成技術進行更加詳細 的描述。
在聲音再現過程中，可以藉助於一種新技術來實現更自然的空間 印象以及更強的包絡(enveloping)。這項技術(所謂的波場合成(WFS: WFS=波場合成))的基礎已經在Delft TU得以研究，並於80年代末 期首次提出(Berkhout， A丄；deVries， D.; Vogel， P.: Acoustic control by Wave-field Synthesis, JASA93, 1993)。由於這種方法對於計算機能力以及傳輸速率的巨大需求，直到現 在該波場合成也極少在實際當中使用。現在，僅微處理器技術和音頻 編碼領域中的發展允許在具體應用中使用此項技術。
WFS的基本思想是基于波動理論中的Huygens原理的應用
波所檢測到的每個點都是元波(elementary wave)的起始點，元 波以球形和/或圓形軌跡傳播。
在聲學應用中，通過多個彼此相鄰排列的揚聲器(所謂的揚聲器 陣列)，可以再現任意形式的輸入波前。在最簡單的示例中，對於一個 待再現的點狀源以及線性排列的揚聲器，必須給每個揚聲器的聲音信 號提供時間延遲和幅度調製，使得各個揚聲器的輻射聲場正確地交迭。 在多個聲源的情況下，針對每個源單獨計算每個揚聲器的貢獻，並將 產生的信號相加。如果待再現的源都位於具有反射牆的虛擬空間中， 則必須由揚聲器陣列將該反射再現為附加源。因此，計算的複雜度很 大程度上取決於聲源的數量、空間的反射性質、以及揚聲器的數量。
這項技術的優點具體在於在大範圍的再現空間中，自然的空間 聲音印象是可能的。與公知技術不同，非常準確地再現了聲源的方向 和距離。在限制範圍內，虛擬聲源甚至可以位於真實的揚聲器陣列和 聽眾之間。
因此，該波場合成允許對較大再現範圍內的虛擬聲源的正確再現。 與此同時，該波場合成為混聲器和錄音師提供了新技術以及同樣在產 生複雜聲音景觀時的創造性潛力。如80年代在Ddft TU所開發的， 該波場合成(WFS或者也稱為聲場合成)代表了聲音再現的一種全息 方法。Kirchhoff-Helmholtz積分作為基礎。這表示可以藉助於在閉合 體的表面上的單極和雙極聲場(揚聲器陣列)的分布而在這個體的內 部產生任意聲場。關於這些的詳細描述可以在M.M.Boone， E.N.G. Verheijen， P,F. v.Tol， "Spatial Sound-Field Reproduction by Wave-Field Synthesis", Delft University of Technology Laboratory of Seismics and Acoustics, Journal of J.Audio Eng. Soc,， vol.43， no.12， December 1995 禾口 Diemer deVries， "Sound Reinforcement by Wavefleld Synthesis: Adaptation of the Synthesis Operator to the Loudspeaker Directivity
Characteristics", Delft University of Technology Laboratory of Seismics and Acoustics, Journal of J.Audio Eng. Soc.， vol.44， no.12， December 1996中找到。
在波場合成中，根據聲音信號來計算針對揚聲器陣列中的每個揚 聲器的合成信號，該聲音信號由虛擬位置處的虛擬源所發送，該合成 信號是關於其幅度和相位所形成的，因此，如果虛擬位置處的這個虛 擬源曾經是具有真實位置的真實源，由揚聲器陣列中存在的揚聲器所 輸出的各個聲波的交迭所產生的波與來自虛擬位置處的虛擬源的波相 對應。
典型地，若干個虛擬源位於不同的虛擬位置處。針對每個虛擬位 置處的每個虛擬源，執行對合成信號的計算，因此虛擬源典型地產生 針對多個揚聲器的合成信號。就揚聲器而言，此揚聲器因此接收來自 不同虛擬源的多個合成信號。可能是由於線性疊加原理，這些源的交 迭產生實際由揚聲器所發送的再現信號。
當揚聲器陣列越靠近時，即越多個別揚聲器儘可能彼此靠近地排 列時，可以最大限度地窮盡波場合成的可能性。然而，按照這種方式， 由於典型地必須將通道信息也考慮進去，波場合成單元所需的計算性 能也必須提高。這具體表示在原理上存在從每個虛擬源到每個揚聲器 的特有通道，以及表示在原理上可以發生以下情況每個虛擬源導致 針對每個揚聲器的合成信號，或者每個揚聲器接收等於虛擬源數量的 多個合成信號。
此外，這裡應該指出聲音再現的質量隨著可用揚聲器的數量而增 加。這表示揚聲器陣列中存在的揚聲器越多，聲音再現質量變得越 好並且越逼真。
因此，諸如波場合成之類的空間聲音再現系統允許在聽眾席周圍
360度內產生具有最佳空間解析度的聲音。迄今為止，這些系統主要
用於定位離散聲源以及用於直接的聲音再現。此外，可以將由此所產 生的聲源中的信號應用到所有公知的線性信號處理操作，例如增加混
響。在諸如波場合成(WFS)之類的空間聲音再現系統中，還可以基 於直達聲來產生空間效果。例如，這發生在空間仿真中，其中出於效
率考慮，將再現簡化到有限數目的空間方向(平面波)。
在一個非常簡單的空間仿真情況下，將相同參數用於描述所有空 間方向的空間(散射混響)，以及自動產生取決於方向(早期反射)的 空間部分。由於這種信號處理的基本可能性還可以用於其它創造性方 法，只有在將要再現自然的空間效果時，產生空間效果是明智的。
在波場合成中，通過儘可能多的揚聲器來為將要具有聲音的空間 提供聲音，以允許具有最佳精確度的波前的重現。為了為聲音信號定 向並產生空間印象，通常使用多個參數，該參數是在聲音信號的下混 音期間針對每個揚聲器分別確定的。
如上所述，多通道聲音再現系統的特徵在於其非常高的複雜度， 因此在聲音的下混音期間的空間信息或定向信息的附加產生需要產生 多個參數，這些參數針對每個揚聲器分別描述了定向信息或附加線性 信號處理步驟(用於產生聲音效果)的特徵。藉助於沒有直接且直觀 的可檢測含義多個抽象數學參數來進行說明是很難控制的，特別是在 波場合成系統中。
例如，波場合成提供了在二維收聽音級自由地定位聲源的可能性。 這是通過根據聲源的位置來合成不同的波前而產生的。諸如用戶當前
所使用的用戶表面(surface)使用二維收聽音級的平面圖上的點來定 位聲源，該點表示聲源的位置。由於在這種方法中聲源的空間位置毫 無疑問地充分可視，但是在理論上聲音深度印象(空間印象)無法在 視覺上同時表示出來，在真實的認知和表徵之間出現了偏差，因此僅 在少數例外情況下可視圖像是可用的，該可視圖像與真實的聲音印象 相對應，或允許推斷出相同的真實的聲音印象。
發明內容
本發明的目的是建立一種圖形用戶界面，其允許更有效地控制用 於產生空間聲音印象的聲音再現系統。
這個目的由根據權利要求1或2所述的設備以及由根據權利要求 25或26所述的方法來解決。
本發明基於以下發現當可以用圖形來表示與關於再現環境的空
間方向或者與來自圖形表示的圖形表示相關聯的脈衝響應時，以及當 用戶可以通過圖形表示來改變此表示時，可以依靠圖形用戶界面來有 效並直觀地控制聲音再現系統，該聲音再現系統能夠在再現環境下產 生空間聲音印象，基於用戶輸入的改變，可以用圖形表示改變的脈衝 響應，並且可以檢測到改變的圖形表示，以便控制該聲音再現系統。
由於該系統在理論上可以通過脈衝響應來描述所有己知的線性信 號處理操作，因此可以利用根據本發明的圖形用戶界面通過圖形表示 來為聲音生成器提供對基於方向的聲音效果的直觀訪問，以便在聲音 再現系統的控制過程中提高效率和質量。
通過將原始信號與脈衝響應混疊，可以表示出所有線性信號處理 算法。作為示例，在基于波場合成的空間仿真中，可以通過與相應的 空間脈衝響應混疊來產生針對平面波的信號，該空間脈衝響應與相應 的空間方向相關聯。按照這種方式，還可以再現空間，根據本發明， 除了通過它們所基於的參數的描述以外，還可以直接對所使用的脈衝 響應進行可視化。根據本發明的新的聲音生成工具包括根據與源相對 應的方向對所有脈衝響應的同時可視化。通過與此可視化的直接交互， 使得聲音生成發生。將對該直觀表示的處理轉化成參數描述，並根據 後者產生關聯的脈衝響應。
因此，通過數學上與脈衝響應混疊，來向聲音信號提供方向信息 或空間特性，現在將對此進行詳細說明以便更好地理解本發明的精髓。
通過與脈衝響應g (x)混疊，來向聲音信號f (y)提供空間印象
或反射模式或定位信息，因此根據以下混疊積分得到所合成的聲音信 號F (X):
formula see original document page 10
脈衝響應g (x)通常描述了系統對Dirac脈衝5(x)的響應，因此 將以下應用於無窮小長度的脈衝
formula see original document page 10
因此，這意味著理想Dirac脈衝的特徵在於無窮小長度以及在於
其上述積分是有限的。在聲音信號的情況下，這意味著Dimc脈衝為
任意小，但攜帶固定聲能。
如果我們使用Dirac脈衝來測試空間，我們再次獲得Dirac脈衝最 為最簡單的脈衝響應，在發送測試脈衝的位置處，以相對於測試脈衝 的發送的傳播延遲t來記錄該脈衝響應。這恰好是當理想反射物位於 發射測試脈衝方向上的情況，該理想反射物沒有衰減地反射聲學測試 信號，因此源的發射位置和反射物之間的傳播時間剛好為t/2。
這裡應注意的是，在實際中不可能產生理想的Dime脈衝，而是 從現在開始，也將寬度有限並且強度為A的脈衝稱為Dirac脈衝。
作為例證，例如可以根據具有面積A的高斯形狀的小寬度曲線來 設想這樣的真實脈衝。
如果上述反射物將吸收部分聲能，那麼測試信號被削弱，在傳播 時間t之後所接收到的反射Dirac脈衝將在曲線之下具有小於原始脈 衝的面B (B<A)。
除了就此所描述的脈衝響應的理想化簡單示例以外，還可以獲得 任意的複雜脈衝響應。例如，如果兩個反射物位於相對於發送測試信 號的位置的相互不同的距離處(與聲傳播時刻t,和t2相對應)，該脈 衝響應將包括在時刻2^和2*{2處接收到的兩個Dime脈衝。聲場景 通常非常複雜，因此真實的脈衝響應將是在時間上變得更加密集的一 連串脈衝，真實的脈衝響應該從早期反射開始，其在時間上隨後到達 的分量描述了例如混響。
如上所述，脈衝響應以Dime脈衝的形式描述了延遲或回聲。同 樣地，例如，可以由Dirac形狀的脈衝之和來表示多個回聲。為了逼 真的空間仿真，與聲音信號相混疊的脈衝響應通常是連續的，例如在 時刻to處劇烈上升然後漸漸消失的信號，該脈衝響應描述了多個反射， 在隨後時刻反射的信號的衰減更加嚴重。
在真實場景中，聲音信號另外受到頻率選擇性衰減，例如來自地 毯和牆面塗料的大聲音信號比小聲音信號的衰減更加嚴重。例如，為 了處理這些環境，可以針對若干頻率範圍來使用並可視化不同的脈衝 響應，或者脈衝響應的可視化必須包括時間和頻率範圍。
在本發明的另一個示例性實施例中，圖形用戶界面用於表示聲源 相對於聲音再現系統的空間位置，以及用於對所產生的脈衝響應可視 化，針對再現系統中的每個揚聲器，該脈衝響應分別表示聲音信號相 對於再現揚聲器的空間定向。
用戶可以清楚地通過圖形改變源相對於再現環境的位置，從點狀 聲學信號源的已表示波前中自動獲得各個揚聲器的脈衝響應或者用於 控制揚聲器的參數。因此，錄音師可以直觀地產生需要用以控制聲音 再現系統的複雜參數。
基本方面在於另外存在通過與用戶界面的圖形交互來直接改變 脈衝響應的可能性，按照這種方式，此改變影響對直接表示的聲源位 置的感知。通過使用根據本發明的圖形用戶界面，可以有利地選擇是 想要基於物理現實來直接放置聲源還是想要創造性地使用改變脈衝響 應的可能性。在後一情形中，可以另外獲得對如何以聽眾的感知來解 釋脈衝響應的手動改變的估計。因此，錄音師可以在用於在視覺上處 理聲音的兩種可能性之間進行選擇，並遵循針對期望聲音結果或者必 須要實現的空間聲音印象的最有利的方法。
在本發明的另一個示例性實施例中，根據本發明的圖形用戶界面 用於表示脈衝響應，該脈衝響應包括關於所要仿真的空間的信息。顯 示裝置表示關於在再現環境中也攜帶空間信息的空間方向上的固定點 的脈衝響應。
因此，顯示裝置同時表示針對全部空間印象的所有相關數據(脈 衝響應)，後者可可視化為環境中的三維圖像。因此，用戶具有同時接 收關於空間聲音印象的所有信息或者能夠同時改變這些信息的優點， 由此可以隨時表示並估計修改的空間聲音印象。
因此，可以直觀地獲得具有混響或期望衰減的聲音印象以及其它 信號操作，而無需手動地改變脈衝響應的底層參數，這個過程需要大 量提取。
此外，圖形表示允許獨立於技術上的基本條件來執行設計過程。 因此，通常離散地存儲脈衝響應函數，即關聯幅度值針對離散的時間 段而存在。這在圖形用戶界面的直觀使用期間必須考慮，因為相關參數是基於所顯示的脈衝響應的圖形改變而產生的。
另一個優點在於可以很容易地增加系統的複雜度，而不會降低 在參數增加情況下操做的直觀性。
在本發明的另一個示例性實施例中，可以使用頻率選擇方式來表 示或處理關於多個空間方向的脈衝響應。因此，例如，可以通過採用 根據不同空間方向的頻率的不同的衰減曲線來增加空間印象的逼真 度，這在一方面增加了所實現的聲音印象的真實性，而另一方面導致 了參數產生的複雜度增加。然而，在直觀表示中，可以預測所能夠實
現的聲音體驗(experience),此外可以通過在針對自由選擇的空間方 向的預定頻率處引入較高的人造衰減來創造性地改變聲音體驗。這些 改變是立即可見的，並且可以在整個系統的上下文內可靠地預測對整 個現象的影響。
在簡單的示例中，可以將相同的參數用於描述所有空間方向的空 間，該空間與散射混響相對應。依賴於方向(先前反射)的空間部分 只能在後面應用。這導致針對每個空間方向的特定空間脈衝響應，可 以根據空間方向的參數來立即識別並校正非期望偏差。
根據本發明的三維表示的另一個優點在於可以通過簡單掃描來
容易地將每個方向上的頻率選擇性脈衝響應表示變換成矩陣表示，其 進一步處理可以使用非常有效的方式來進行。
在本發明的另一個示例性實施例中，對給定數量的空間方向分別
設定延遲時間，將該延遲時間表示為Dime形狀的脈衝響應。相對於 以立體視圖的再現環境中的固定點來表示後者。特別有利的是，允許 相對於基準點來移動Dirac形狀的脈衝響應的圖形操作直接在視覺上 反射出空間效果。事實上，與延遲相對應的Dirac形狀的脈衝響應描 述了對象的反射，脈衝響應相對於圖形表示中的基準點的距離的增加 與反射信號的傳播時間的增加相對應。由於該圖形表示直接與模擬的 真實性相對應，例如因此可以使用最有效的方式來模擬再現環境所位 於的空間。
這種簡化類型的空間布置的具體優點是表示的高直觀性以及在聲 音再現系統的控制過程中的相關的減少的錯誤概率。
在本發明的另一個示例性實施例中，針對具有信號發生器的聲音 再現系統來執行圖形用戶界面，該信號發生器產生針對位於不同空間 位置處的多個揚聲器的揚聲器信號。高直觀性以及該圖形用戶界面的 靈活使用允許實時操縱信號源的再現，因此聲音信號的聲學可定向性 (例如臺上的歌手)與光學印象一致。在這種情況下，只需要根據本 發明來調整圖形用戶界面內的移動聲源，這無法依靠針對要控制的揚 聲器系統的參數的經典輸入來執行。
現在將參考附圖，對本發明的優選示例性實施例進行詳細描述， 在附圖中
圖1是用於說明用戶圖形界面的操作的方框圖； 圖2是用於固定並處理聲源的位置的方框圖3a示出了用於處理參數的脈衝響應的圖形用戶界面的示例，該 參數描述了聲源的位置；
圖3b示出了圖形用戶界面的另一個示例；
圖4示出了空間聲音印象加到聲源；
圖5示出了空間聲音印象加到各個揚聲器信號；
圖6示出了用於顯示並修改脈衝響應的圖形用戶界面；
圖7示出了用於顯示並修改頻率選擇性脈衝響應的圖形用戶界
面；
圖8示出了用於顯示並修改針對不同空間方向的時間延遲的圖形 用戶界面；以及
圖9示出了用於使用圖形用戶界面來控制聲音再現系統的系統。
具體實施例方式
圖1示出了根據本發明的圖形用戶界面10的操作的方框圖，圖
形用戶界面10具有顯示裝置12，用於以圖形來顯示脈衝響應；用 於允許改變圖形顯示的裝置14;用於接收改變的用戶輸入的裝置16; 以及用於檢測修改後的脈衝響應的裝置18。
顯示裝置12用圖形表示針對用戶所準備的脈衝響應，因此可以 直觀地解釋並預測所表示的脈衝響應的改變的效果。
用於允許改變圖形顯示的裝置14可以訪問顯示裝置12以及顯示
裝置12所可視化的數據。
為了允許改變脈衝響應，存在對由用於接收改變的用戶輸入的裝
置16所接收到的用戶輸入的需要，由此可以依靠例如計算機滑鼠、觸
摸板、或來自虛擬實境的系統的交互和可視化技術來產生改變。
此時基於改變的用戶輸入，顯示裝置12可以用圖形表示出改變 的脈衝響應。
通過顯示裝置12和用於允許改變的裝置14以及用於接收改變的
用戶輸入的裝置16之間的交互，來自用戶輸入的重現改變處理以及以
下圖形更新變成可能。這具有以下優點可以使用圖形表示或在聲學
上直接控制改變的用戶輸入的效果。因此，可以省略通過聲音再現系
統內的測試聽覺來對改變和連續控制的顯式執行，這大大有助於節約 成本和時間。
用於檢測修改後的脈衝響應的裝置18，檢測修改後的脈衝響應， 並將其存儲起來，例如用於進一步使用。有利地，可以將存儲脈衝響 應的可能性用於將已產生的脈衝響應重新用於其它投射，該脈衝響應 描述了要仿真的特定空間。
應注意的是，可以設想不同的可能性來顯像脈衝響應。最簡單的 可能性是根據其關於再現系統的中心的方向來排列脈衝響應。在所表 示的合成"山脈"中，可以執行對脈衝響應的幅度演變(evolution) 的頻率無關的處理。以可視化方法為例，參考以下附圖，在其中描述 了以下四個可視化的變形
-波場合成點狀源
-脈衝響應時間表示
-脈衝響應時間-頻率表示
-多拍延遲(multi-tap delay)
圖2示意性地示出了如何可以基於圖3a或圖3b中所示的圖形用 戶界面的可視化來依靠根據本發明的圖形用戶界面來確定聲源的位
置，或者改變現有位置以便實現期望的位置印象。
在定位步驟20中，首先通過圖形表示來確定聲源相對於再現環 境的位置。
在第二步驟22中，圖形用戶界面通過圖形來表示脈衝響應，該
脈衝響應表示聲源的位置，這可以由用戶直接改變。
應注意的是，如下文中參考圖3a或3b可知，兩個源位置都發生 變化，並且可以直接操縱所計算的脈衝響應的演變(evolutkm)。此外， 這允許實現無法直接與"真實"的位置信息聯繫起來的創造性的聲音 效果。
圖3a或3b示出了根據本發明的用於確定聲源位置或用於改變表 示聲源的脈衝響應的圖形用戶界面的實施例。
示出了球形的點狀聲源30，以及與該點狀源相對應的再現環境 32和波前34。
球的位置描述了聲源30在空間的位置。基於點狀源30的位置， 表示了波前34，波前34是由點狀信號源的聲音輻射產生的。例如， 如果將點狀源30移到空間中較為遠離再現環境32的某一點上，則該 波前34將變得更加平坦。
根據本發明，可以直接依靠兩個指針36a和36b來改變波前的曲 率。這直接影響到點狀源30的感知位置，該位置由根據本發明的圖形 用戶界面自動表示。
此外，圖3a或圖3b中的圖形用戶界面示出了延遲半徑38，該延 遲半徑38用於避免基于波場合成的系統再現過程中的無關聯條件，波 前34的位置由該延遲半徑確定。延遲半徑38與波場合成系統所需要 的基本延遲相對應，並且該基本延遲與揚聲器和系統中心的最遠距離 相對應。由於基本延遲，可以將源任意地定位於揚聲器系統/重構區域 或再現環境32的內部和外部。
如圖3a或3b所示，波前的位置由系統中心與聲源30的位置之 間的連接線與延遲半徑的交叉點來定義。由於延遲半徑38在實際上確 定了所要保持的最小延遲周期，因此據此所確定的波前34的位置與消 失延遲相同。通過使用根據本發明的圖形用戶界面，可以任意地定位
聲源，並且可以改變其波前或表示波前的脈衝響應。
關於傳播延遲，應注意的是，根據聲源與試聽室之間的距離，真 實的聲場的延遲變成真實的信號傳播時間。這是由聲源位置和再現系 統的中心之間的距離所確定的。由於這個傳播時間限制了定位源的可 能性，以及由於可以在例如音樂記錄過程中改變時間關係，當建立虛 構聲學場景時，通常不需要這個傳播時間。因此，可以消除聲場合成 系統中的延遲，這對於可靠的聲音印象是必要的。將這個重要的附加
參數表示為根據本發明的圖形用戶界面中的圓40，圓40在系統中心 和聲源30之間的連接線上的位置可視化了所設置的延遲。
在圖3a或3b中所示的情況下，圓40直接位於延遲半徑38的邊 緣上，所表示的傳輸時間具有其最低的可能值，這個值與波場合成系 統中的基本延遲相對應。如果在將要再現真實的聲音傳播時間/延遲的 情況下，圓40的位置將直接位於表示聲源30的球體下，在這種情況 下，自然可以另外地表示並調整所有的中間值。依靠根據本發明的圖 形用戶界面，可以據此直觀地調整並改變重要的延遲參數，這進一步 增加了構造的自由度，此外增加了針對空間聲音再現的設計操作的效 率。
此外，根據本發明的圖形用戶界面具有以下優點具有極其重要 的靈活性，因此可以很容易增加另外的參數，例如圓40的表面可以描 述散射聲和直達聲之間的關係，這可被聽眾理解為聲源和收聽位置之 間的距離的另一個特徵，由此例如可以通過移位圓40或改變其表面來 實現對這個關係的修改。
根據虛聲源S相對於各個揚聲器位置L,..n的位置，聲場系統算法 計算針對所涉及的每個揚聲器的脈衝響應IRu.h (幅度，延遲)。如 果我們認為這些脈衝響應在時間t處排成一行，則峰值將導致虛聲源 所輸出的波前的掃描版本。在另一個圖形處理步驟中(見圖3a)，據 此可以使用簡化方式來表示該波前，並使用交互元素(dement)來表 示該波前。如果用戶與這些元素交互，則波前的圖形表示改變。在下 一步驟中，可以將表示方面的改變提供給各個脈衝響應IRu.h。
一般而言，通過圖形用戶界面，可以操縱脈衝響應，優選地該脈
衝響應是針對每個單獨揚聲器所計算的，該揚聲器將聲音傳送至再現
體(reproduction volume) 32。
在圖3b所示的示例性實施例中，圖形用戶界面允許對脈衝響應 的操縱，該脈衝響應是針對每個單獨揚聲器所計算的，該揚聲器將聲 音傳送至再現體32。脈衝響應的表示直接由圖形用戶界面的表示產 生，為此作為示例示出了聲源30與再現體32的邊緣上的預期揚聲器 之間的連接線42。要計算的脈衝響應直接處於連接線42與波前34交 叉的位置處的波前的形式給定。在圖3a或3b中可以看出，針對每個 單獨的揚聲器，將聲源30的空間位置轉換成時間延遲和幅度。該幅度 直接從波前34的圖形表示的高度而來，該時間延遲也由直線42與波 前34的交叉點確定，直線42的剖面部分的長度對於時間延遲的確定 是決定性的。
作為巳描述的在圖形用戶界面中所實現的操縱的備選形式，很容 易實現一系列其它備選場景。
因此，例如附圖中的波前表示34受限於兩個球或指針36a和36b。 這些點上的波前的操縱最終影響合成所涉及的波場合成系統中的揚聲 器的時間延遲。例如，可以將所表示的波前34上的其它指針用於改變 揚聲器的幅度。因此，為避免邊界效應，可以對加窗進行簡單的調整， 以及可以以最大幅度來定義該點。因此，這個點可以為聲源提供頻率 無關但至少與強度相關的定向特性。
可以使用聲源的響度的表示，例如描述聲源的球30的大小。這 裡還示出了對直達聲/散射聲之比的上述操縱。如果直達聲的音量與球 30的大小相對應，例如較遠的聲源音量較小，因此與較小的球相對應。 因此，通過這種表示，可以很容易地執行對聲源的響度的距離相關的 計算。
通過使用圖3a或3b中的根據本發明的圖形用戶界面，可以據此 直觀地且以通常可讀的方式來表示包含脈衝響應的數學函數，由此可 以根據獲得期望方向感的目的來操縱該脈衝響應。
當來自圖3a或3b的圖形用戶界面的可能性與聲源的定位相關 時，為了確定用於再現聲源位置的聲音印象，將參考圖4-8進行說明，
根據本發明的圖形用戶界面還適用於可視化脈衝響應，以及允許提供 與所要仿真的空間(例如大教堂)相對應的聲音印象的改變。
為此，存在兩種基本可能性，下面將參考圖4和圖5對此進行描述。
圖4示出了首先在空間中布置聲源的可能性(在定位步驟50中)， 如參考圖3a或3b所述。脈衝響應與針對每個聲源的揚聲器相關聯。
由於該聲源位於關於再現環境的預定空間位置處，當後者位於關 於再現環境的空間方向上時，可以直接向聲源提供空間聲音印象，應 針對該再現環境來仿真確定的空間聲音印象。
按照這種方式，在空間仿真步驟52中，產生針對每個聲源和空 間方向的脈衝響應信號，在傳送步驟54中，必須將該脈衝響應信號傳 送給再現系統和聲源，以便在再現過程中實現期望的空間聲音印象。
如圖5所示，備選地，也可以先通過產生針對每個聲源的揚聲器 的脈衝響應來確定聲源的位置(在定位步驟60中)，該脈衝響應描述 了位置。由於再現系統中所使用的揚聲器還與固定空間方向相關聯， 還可以產生應該形成收聽方向的空間印象，其中針對每個揚聲器，還 產生包含關於揚聲器所位於的空間方向的信息的脈衝響應(空間仿真 步驟62)。
在傳送或存儲步驟64中，聲源必須將針對每個單獨揚聲器的位 置脈衝響應和空間脈衝響應傳送至聲音再現系統。由於根據本發明的 圖形用戶界面的靈活性，據此可以分別對每個聲源或者一組聲源(這 些聲源以相對於再現環境的相似空間方向進行排列，並且可以分組成 表示多個離散空間方向)進行空間聲音印象的聯合，由此降低了再現 過程中的必要計算能力。
根據本發明的圖形用戶界面的實施例如圖6所示，其使用對脈衝 響應的時間表示示出了對脈衝響應的操縱。
為此，將關於再現環境70的空間方向分成8個離散扇形區 72a-72h。因此，依靠對脈衝響應的時間表示來獲得針對扇形區72a-72h 中的每一個的公共空間印象。為了可視化目的，將用於空間仿真的8 個脈衝響應的包絡轉換成表面。以八邊形的形狀來排列這些表面，以
便形成公共表面。該表面的高度與由扇形區72a-72h所定義的表面上 的脈衝響應的幅度相對應。與再現環境70的中心的距離表示時間，為 此恰好在脈衝響應的結束時所發生的事件距離再現環境70的較遠處。
通過使用這種表示，可以根據空間方向在時間上表示空間脈衝響 應的幅度演變。備選地，通過移動互動元素76a、 b和c (這裡作為示 例進行表示)交互地發生變化。因此，可以馬上檢測到整個空間聲音 情況，以及根據期望行為來識別並消除偏差。
例如，對於現實空間而言，來自所有方向的混響時間通常幾乎相 同。然而，在圖6所示的示例中，對於扇形區72h的混響時間減少， 該時間可以很容易地由整個表面72的不對稱性來識別，因此可以立即 識別現實空間相對於均勻混響的差別。
圖7描述了時間-頻率再現中的空間脈衝響應的表示。示出了再現 環境80和脈衝響應的8個時間-頻率表示82a-82h，這8個表示與相對 因再現環境80的8個離散空間方向相關聯。
通過使用圖7中的根據本發明的示例性實施例，通常可以可視化 與其空間方向相關聯的脈衝響應的時間和頻率分量，並使得能夠操縱 這些分量。可視化的時間軸在表面上從再現環境80的中心開始延伸， 因此位於較遠距離處的點描述了稍後發生的事件。例如，可以基於交 互元素86a-86c來改變以級聯圖的形式所表示脈衝響應的8個表面 82a-82h。這裡在脈衝響應的開始處所表示的示例中，作為示例所表示 的交互元素86a-86c允許對給定時間處的幅度頻率響應的操縱。在這 裡所表示的示例中，將低頻布置在左邊，高頻布置在右邊，可以根據 以下來識別高低頻在空間仿真中低頻具有較高幅度，比高頻的消失 時間段更長。例如，這裡應該對這種複雜的關係進行直觀的檢測並改 變，可以通過描述元素82a-82h來將該關係存儲為矩陣形式。
此外，該表示的類型允許表示附加效果或者識別其效果，例如以 這種表示，來自確定空間方向的強反射可視為相應的空間脈衝響應的 表面上的正視圖。
因此，通過同時觀察時間和頻率分量，可以看到所反射的頻率部 分。通過將交互元素86a-86c移向脈衝響應中的相應位置，可以在時
間和頻率上處理這種反射，因此使用有利且有效的方式來掃描並存儲 關於可視化所基於的大量參數。
圖8示出了根據本發明的圖形用戶界面的另一個示例，其中各個 空間方向上的脈衝響應包括離散峰值。示出了再現環境90、 8個離散
的空間方向92a-92i以及5個示例性Delta形狀的脈衝響應94a-94e。
由於峰值或Delta形狀的脈衝響應與聲音信號的時間延遲相對 應，因此可以建立依賴於方向的多拍延遲。波前94a-94e表示來自與 相同多拍延遲相關聯的空間方向的回波。它們與再現體中心的距離表 示原始信號的重現時間。根據本發明，例如可以依靠球形交互元素96 通過脈衝響應從或到系統中心的徑向運動來影響重現位置。同時，可 以由波前在垂直方向上的高度來影響重現幅度。
根據本發明的圖形用戶界面的高直觀性的優點在這裡尤其清楚， 因為Delta形狀的峰值的位置描述了回波的延遲時間，該回波在聲學 上相當於具有預定衰減的位於脈衝響應的位置處的反射牆。
根據本發明的圖形用戶界面的擴展變形也可以使用時間-頻率來 表示，以便另外給每個回波提供單獨的頻率分量。
圖9描述了用於顯像並處理空間聲音效果的系統100，該系統包 括信號處理部分102和可視化以及交互部分104。
根據本發明，該信號處理包括依靠數學混疊108來將輸入音頻信 號106進行混疊，由此依靠可視化和交互部分104來確定混疊的脈衝 響應，以便從後者中產生用於攜帶要仿真的空間的聲音印象的音頻信 號110。可視化和交互部分104具有顯示裝置，用於顯示所計算的 脈衝響應112;用於接收改變的用戶輸入的裝置114;用於允許改變圖
形顯示的裝置116;以及用於檢測改變的脈衝響應的裝置118。用於接
收改變的用戶輸入的裝置114包括交互設備120以及用於轉換交互的 裝置122。用於允許改變脈衝響應的圖形顯示的裝置116包括輸出 裝置124，用於表示原始脈衝響應；以及圖像計算單元126，用於可視 化原始脈衝響應。
用於接收改變的用戶輸入的裝置114和用於允許改變脈衝響應的 圖形顯示的裝置116基於描述脈衝響應的參數產生可視模型112，並
由此包括關於要仿真的空間的信息。如果通過多次交互和可視化建立 了適當的可視模型，則用於檢測改變的脈衝響應的裝置118提取可視 化所基於的參數，並將其作為脈衝響應傳輸至信號處理102。
在本發明的優選示例性實施例中，該信號處理包括將N個輸入信 號與n個脈衝響應混疊，以獲得n個輸出信號。這裡，例如N可以從 當產生波場合成再現的Hall效果的8個信號變成當產生完整的波場時 的非常大的數。如果同時產生多個效果或源，則最後必須把針對每種 效果或每個源的輸出信號都加到一起。
因此，依靠該系統的可視化和交互部分來產生需要用於信號處理 的脈衝響應。可以根據脈衝響應產生聲音相關的參數。應該對是涉及 空間信號還是直達信號進行區別。
在空間信號的情況下，可以使用不同的方法。可以象在關於可視 化的段落中所描述的那樣將所獲得的值用圖形表示出來。可以依靠圖 形和合併的交互元素來修改並處理該參數，以獲得新的脈衝響應。
在對直達聲進行定位的情況下，也是從界面中獲得參數。然而， 通過應用波場合成算法，只能將這些參數轉換成針對揚聲器通道的脈 衝響應。因此，這些參數處於更加抽象的水平。然而，這不會改變圖 9中的方框圖的結構。
因此，依靠這個系統可以可視化並編輯從空間仿真到多拍延遲的 所有空間聲音效果。可以將這個概念用於所有傳統多通道系統直到波 場合成。它提供了針對空間聲音效果的傳統解決方案及其針對用於的 直觀可用性。
如所描述的示例性實施例所解釋的，根據本發明的圖形用戶界面 的實質優點在於使得複雜的數學參數變得直觀地可訪問。這允許產生 或調整這些參數，由此特別地隨時注視整個聲音事件。在所描述的基 於3D顯像的示例性實施例中，特別有利的是，可以改變再現環境中 的方向，由此從不同空間方向來訪問該聲音印象，因此甚至可以更好 地預測所產生的聲音印象。
在圖l的表示中，儘管圖形用戶界面具有單獨的離散功能塊，只 應將這種分離理解為示例，原則上對各個功能塊的任意組合和分組都 是可能的。因此，例如可以使用顯而易見的方式來將顯示裝置12與用 於允許改變圖形顯示的裝置14相結合，對於所示出的示例性實施例中 的部分同樣如此，其中，己經將修改的可能性實現為顯示的一部分，
例如，以圖3a或3b中的指針36a和36b的形式。
原則上，還可以使用除了示例性實施例中所示的那些以外的方法 來設想用於接收改變的用戶輸入的裝置。可以依靠滑鼠、觸控螢幕、或 可以移動屏幕上的指針的任何其它的事物來進行用戶輸入。還可以依 靠鍵盤來表示離散改變步驟中的直接輸入，例如以脈衝響應的離散表 示，其中可以在預定時間段內將脈衝響應的值設置為離散級，例如， 這可以依靠傳統鍵盤很容易地實現的。
僅將波前或脈衝響應的表示以及操縱這些表示的可能性理解為 示例，對脈衝響應函數的任何其它適當的表示也可以，以允許根據本 發明來調整或產生空間印象。例如，考慮不同的空間方向時，可以設 想表示公共脈衝響應函數，該公共脈衝響應函數以某些方式預定了對 於所有空間方向都相同的空間基本特性。有利地，依靠方向的聲音特 性可以如下表示針對每個空間方向，僅表示出關於公共脈衝函數的
差別，以便容易地獲得關於所考慮的空間方向在空間屬性方面如何不 同於整個聲音圖像(平均聲音圖像)的印象。
描述聲源位置或空間印象的脈衝響應函數的處理順序不是預定 的。可以先將所有聲源定位於空間中，然後產生空間印象，以及可以 先定義要仿真的區域，以便將聲源定位於空間中。
因此，針對用於控制聲音再現系統的系統的處理步驟是不同的， 該系統具有根據本發明的圖形用戶界面以及用於提供揚聲器信號的信 號發生器。 一方面，可以通過與空間脈衝響應函數混疊來向預定空間 方向上的每個聲源提供空間信息，以便在進一步的步驟中分別針對每 個揚聲器進行與脈衝響應的混疊，該脈衝響應描述了聲源相對於再現 體的位置。
備選地，可以首先處理分別針對每個揚聲器的聲源，即通過將聲 音信號與描述聲源位置的脈衝響應相混疊來產生各個揚聲器信號，以 便分別針對每個揚聲器來執行進一步的混疊，從而產生了空間印象，
按照關於再現環境的固定幾何方向進行排列的揚聲器與空間脈衝響應 相混疊，該空間脈衝響應與要在揚聲器的方向上仿真的空間印象相對 應。
在示例性實施例中所表示的用於顯像各個主要分量(諸如聲源的 位置或脈衝響應的形狀)的圖形元件的形狀將被理解為優選示例性實 施例，然而，當幾何表示的類型關於形狀而不同時，無論如何也要保 證根據本發明的操作，根據應用，不同形狀甚至具有功能特性，即描 述了例如聲源的不同屬性。
可以連續且離散地實現對信號的處理，該信號是針對每個揚聲器 通過將聲音信號與脈衝響應函數混疊來分別表示的，用於向聲源提供 由脈衝響應所描述的空間印象的備選數學方法也可以。
在上述所示的示例性實施例中，將用於產生空間印象的再現環境 周圍的空間分成8個離散的空間方向，由此可以分別針對每個空間方 向來確定空間聲音特性。這僅作為示例來理解，當然任意其它數量的 空間方向也可以，原則上方向的數量沒有上限，因此根據本發明可以 很容易進一步改善總的聲音印象。
根據環境，根據本發明的用於應用圖形用戶界面來使用聲音再現 系統的方法可以實現為硬體或軟體。該實現可以發生在數字存儲介質 上，具體為具有電可讀控制信號的盤或CD，該數字存儲介質可以與 可編程計算機系統合作，以便執行根據本發明的用於檢查除芯操作
(de-coring operation)是否成功的方法。通常地，本發明還包括具有 存儲於機器可讀載體上的程序代碼的電腦程式產品，當在計算機上 執行該電腦程式產品時，該程序代碼用於執行根據本發明的方法。 換言之，本發明可以實現為具有程序代碼的電腦程式，在計算機上 執行該電腦程式時，該程序代碼用於執行該方法。
權利要求
1.一種用於聲音再現系統的圖形用戶界面(10)，所述聲音再現系統形成為在再現環境(32；70；80；90)中產生空間聲音印象，所述圖形用戶界面(10)包括顯示裝置(12)，用於以圖形來顯示脈衝響應(34；74；82a-82h；94a-94e)，所述脈衝響應(34；74；82a-82h；94a-94e)與所述再現環境(32；70；80；90)中的空間方向相關聯；用於允許用戶改變所述脈衝響應(34；74；82a-82h；94a-94e)的圖形顯示的裝置(14)；用於接收改變的用戶輸入以便由所述顯示裝置(12)用圖形來表示改變的脈衝響應的裝置(16)；以及用於檢測改變的脈衝響應的裝置(18)。
2. 如權利要求1所述的圖形用戶界面，其中，所述顯示裝置(12) 形成為將所述脈衝響應(74; 82a-82h; 94a-94e)表示為強度值的時 間相關演變。
3. 如權利要求2所述的圖形用戶界面，其中，所述顯示裝置(12) 形成為表示所述脈衝響應(74; 82a-82h; 94a-94e)的時間相關演變， 使得所述時間相關演變被分成離散的時間段，強度值與每個時間段相 關聯。
4. 如前述任一權利要求所述的圖形用戶界面，其中，所述顯示裝 置(12)形成為將所述脈衝響應(82a-82h)表示為頻率的函數。
5. 如權利要求4所述的圖形用戶界面，其中，所述顯示裝置(12) 形成為表示所述脈衝響應(74; 82a-82h; 94a-94e)的頻率演變，使 得所述頻率演變被分成離散的頻率段，強度值與每個頻率段相關聯。
6. 如前述任一權利要求所述的圖形用戶界面，其中，所述顯示裝 置(12)形成為用圖形將所述脈衝響應(82a-82h)表示為三維表示的 時間函數和頻率函數，所述函數值表示為二維表面以上的高度，所述 二維表面的一邊以時間為度量，緊接著第一邊的第二邊以頻率為度量。
7. 如前述任一權利要求所述的圖形用戶界面，其中，所述顯示裝 置(12)形成為另外顯示三維表示的再現環境(32; 70; 80; 90)，在與所述脈衝響應(34; 74; 82a-82h; 94a-94e)相關聯的空間方向上 表示關於所述再現環境(32; 70; 80; 90)的所述脈衝響應(34; 74; 82a-82h; 94a-94e)。
8. 如前述任一權利要求所述的圖形用戶界面，其中，所述用於允 許改變所述脈衝響應(34; 74; 82a-82h; 94a-94e)的圖形顯示的裝 置(14)形成為允許在所述脈衝響應(34; 74; 82a-82h; 94a-94e) 的圖形表示的任意點處改變所述脈衝響應(34; 74; 82a-82h; 94a-94e) 的圖形表示。
9. 如權利要求1到7中的任一權利要求所述的圖形用戶界面，其 中，所述用於允許改變所述脈衝響應(34; 74; 82a-82h; 94a-94e) 的圖形顯示的裝置(14)形成為允許在預定點處改變所述脈衝響應(34; 74; 82a-82h; 94a-94e)的圖形顯示。
10. 如權利要求1到8中的任一權利要求所述的圖形用戶界面， 其中，所述用於允許改變所述脈衝響應(34; 74; 82a-82h; 94a-94e) 的圖形顯示的裝置(14)形成為允許隨著所述脈衝響應(94a-94e)的 圖形顯示的改變而在時間上移動所述脈衝響應(94a-94e)。
11. 如前述任一權利要求所述的圖形用戶界面，其中，所述用於 接收改變的用戶輸入的裝置(16)形成為接收計算機滑鼠、觸摸板、 觸控螢幕、跟蹤球或鍵盤的信號。
12. 如前述任一權利要求所述的圖形用戶界面，其中，所述用於 檢測改變的脈衝響應的裝置(18)形成為掃描用圖形表示的改變的脈 衝響應用於檢測，以及將所掃描的值存儲在存儲器中。
13. 如前述任一權利要求所述的圖形用戶界面，其中，所述顯示 裝置(12)形成為用圖形顯示脈衝響應(74; 82a-82h; 94a-94e)，所 述脈衝響應(74; 82a-82h; 94a-94e)包含關於要仿真的空間的信息。
14. 如前述任一權利要求所述的圖形用戶界面，其中，所述顯示 裝置(12)形成為用圖形顯示脈衝響應(34)，所述脈衝響應(34)包 含關於聲源(30)相對於再現環境(32)的位置。
15. —種用於聲音再現系統的控制設備，所述聲音再現系統形成 為在再現環境中產生空間聲音印象，所述控制設備包括顯示裝置(112)，用於以圖形顯示與所述再現環境的空間方向相 關聯的脈衝響應；用於允許用戶改變脈衝響應的圖形顯示的裝置(116);用於接收改變的用戶輸入的裝置以便由所述顯示裝置(112)用圖 形表示改變的脈衝響應(114);用於檢測改變的脈衝響應的裝置(118)，以及信號發生器(102)，用於為放置於不同空間位置處的多個揚聲器 中的揚聲器提供揚聲器信號(110)。
16. 如權利要求15所述的控制設備，其中，所述信號發生器(102) 具有組合裝置(108)，用於將至少一個聲音信號(106)與改變的脈衝 響應進行組合，以獲得揚聲器信號(110)，所述聲音信號(106)旨在 針對布置於與空間方向相對應的空間位置處的揚聲器，所述空間方向 與所述脈衝響應相關聯，所述組合裝置(108)形成為進行組合，使 得所述揚聲器信號(110)包含關於要仿真的空間的信息。
17. 如權利要求15所述的控制設備，其中，所述信號發生器(102) 具有組合裝置(108)，用於將至少一個聲音信號(106)與改變的脈衝 響應進行組合，以獲得揚聲器信號(110)，所述組合裝置(108)形成 為進行組合，使得所述揚聲器信號(110)包含關於與所述聲音信號(106)相關聯的聲源的相對位置的信息。
18. 如權利要求16或17之一所述的控制設備，其中，所述組合 裝置(108)形成為在組合過程中將所述聲音信號(106)與所述改變 的脈衝響應進行混疊。
19. 一種用於應用圖形用戶界面來使用聲音再現系統的方法，所 述聲音再現系統形成為在再現環境(32; 70; 80; 90)中產生空間聲音印象，所述方法包括用圖形顯示與所述再現環境(32; 70; 80; 90)的空間方向相關聯的脈衝響應(34; 74; 82a-82h; 94a畫94e);允許用戶改變所述脈衝響應(34; 74; 82a-82h; 94a-94e)的圖 形顯示； 接收改變的用戶輸入，以表示改變的脈衝響應；以及 檢測所述改變的脈衝響應。
20. —種用於控制聲音再現系統的方法，所述聲音再現系統形成 為在再現環境(32; 70; 80; 90)中產生空間聲音印象，所述方法包 括用圖形顯示與所述再現環境(32; 70; 80; 90)的空間方向相關 聯的脈衝響應(34; 74; 82a-82h; 94a-94e);允許用戶改變所述脈衝響應(34; 74; 82a-82h; 94a-94e)的圖 形顯示；接收改變的用戶輸入，以便用圖形表示改變的脈衝響應； 檢測所述改變的脈衝響應；以及給多個揚聲器提供揚聲器信號，基於所述改變的脈衝響應來將所 述多個揚聲器放置在不同的空間方向上。
21. —種具有程序代碼的電腦程式，當在計算機上執行所述計 算機程序時，所述程序代碼用於執行根據權利要求19所述的方法。
22. —種具有程序代碼的電腦程式，當在計算機上執行所述計 算機程序時，所述程序代碼用於執行根據權利要求20所述的方法。
全文摘要
本發明基於以下發現當可以用圖形表示與相對於再現環境的空間方向相關聯的脈衝響應時(12)，以及當用戶可以通過圖形表示來改變脈衝響應時(14)，可以依靠圖形用戶界面來有效並直觀地控制聲音再現系統，該聲音再現系統能夠在再現環境下產生空間聲音印象，因此基於用戶輸入的改變，可以用圖形表示改變的脈衝響應，並且可以檢測到改變的圖形表示(16)，以便控制該聲音再現系統。由於該系統在理論上可以通過脈衝響應來描述所有已知的線性信號處理操作，以本發明的圖形用戶界面，可以通過圖形表示來為混聲器提供對聲音效果的直觀訪問，該聲音效果取決於方向。
文檔編號H04S7/00GK101171882SQ200680015289
公開日2008年4月30日 申請日期2006年4月21日 優先權日2005年5月4日
發明者弗蘭克·梅爾基奧, 珍·朗漢默爾 申請人:弗勞恩霍夫應用研究促進協會