在變換域中用於有效的雙耳聲音空間化的方法和裝置的製作方法

2023-07-05 08:10:41 2

專利名稱：在變換域中用於有效的雙耳聲音空間化的方法和裝置的製作方法
技術領域：
本發明涉及對壓縮音頻信號的空間化，通常稱為3D-渲染聲音。
背景技術：
上述的操作例如是在對 一 個壓縮的3 D音頻信號的解壓縮中進 行的，例如，將以一定數量的聲道表示的該信號，解壓縮為由不同 數量的聲道，例如2個聲道，來表示，從而允許在一對耳機上重構 3D音頻效果。
因此，術語"雙耳的"用於在一對立體聲的耳機上重構一個音頻 信號且仍具有空間化效果。本發明並不限於前述的技術，而且本發 明顯著地適用於從"雙耳的"技術衍生的技術，例如稱為 TRANSAURAI^的重構技術，換言之，在遠程的揚聲器上重構音頻信 號的技術。TRANSAURAL⑧是COOPER BAUCK CORPORATION公司 的商業上的商標。這樣的技術可以接著採用一種包括消除交叉聲道 在內的"串擾消除"技術，以使得經過該方式處理並由揚聲器發出的 聲音，僅能由聽眾的兩耳的其中一隻耳朵聽到。
因此，本發明還涉及對多聲道音頻信號的傳輸和重構，還涉及 將該多聲道音頻信號轉化到用戶的設備所加的重構裝置即變換器 上。例如，其可以是通過一對音頻耳機或一對喇叭重構5.1聲道聲音 的場景。
本發明還涉及，例如在一個遊戲或視頻錄像的場景下，為了聲 音的空間化，對存儲在文件中的一個或多個聲音採樣進行重構。 在雙耳聲音空間化的領域中的已知技術中，已經提出了多種不
同的方法。
特別地，參照圖la,雙聲道雙耳合成包括，通過對應於適當方
6向的頻域中的左HRTF-1和右HRTF-r聲學傳遞函數，基於重構/人多 個聲源Si中濾出希望定位於空間某一位置的信號，該適當方向由極 坐標(^,cp,)定義。上述的傳遞函數HRTF,即"頭部相關傳遞函數"的 縮寫，是空間中各位置與耳道之間的聽眾的頭部的聲學傳遞函數。 此外，它們的時域圖形為HRIR,即"頭部相關衝擊響應，，的縮寫。這些 函悽丈也可以包括空間殘響(room effect)。
對於每個聲源Si,獲取左側和右側兩個信號，併疊加到來自其 他聲源的空間化的左信號和右信號上，並最終生成發送至聽眾的左 耳和右耳的信號L和R。
靜態雙耳合成需要濾波器或者傳遞函數的數量為2.N,而動態雙 耳合成需要濾波器或者傳遞函數的數量為4.N,其中，N表示需要進 行空間化的聲源或音頻流的數量。
公布於J. A函st. Soc. Am. 91(3): pp. 1637-1647 (1992)，由D. Kistler 和F丄.Wightman發表的題為"爿mode/ frara^^/"w"/ora
(一種基於主要成分分析和最小相位重構的頭部相關傳遞函數模 型)"的論文，以及由A.Kulkami於1995發表的IEEE目錄號為 95TH8144的 "/EEE1爿5^屍fforA^o/ ow J/TpZ/cadom1 o/iS7gwa/屍race^/"g to爿w&o朋d JcWcs (音頻和聲學信號處理的應用的IEEE ASSP討論 會)"的論文證實，HRTF的相位可以分解為兩項的和， 一項對應於兩耳 間的延遲，另一項等於與HRTF的模相關的最小相位。 因此，HRTF傳遞函數可以表示為如下形式
p(/) = 一—(/) + —n(/) ^fe/a少(/) = 2;r/t 3於應於兩耳間的延遲；
<^^11(/) = //(1叩(|//(/)|))為與濾波器H的才莫相關的最小相位。 通常地，雙耳濾波器是通過兩個最小相位濾波器和一個純延遲 的形式實現的，該純延遲是與作用於與聲源距離最遠的 一 個耳朵的 左延遲和右延遲的差值相對應的。該延遲通常是通過延遲線實現的。最小相位濾波器是一個有限沖擊響應濾波器並且可以應用於時
域或頻域。可以探求無限衝擊響應濾波器以接近最小相位HRTF濾
波器的模值。
考慮到雙耳立體聲(binauralization),參考圖lb，情形是非限 制性地以5.1模式空間化的聲音場景，其目的是在一個人HB的音頻 耳機上重構後者(5.1的音頻信號)。
5個揚聲器，C:中間，Lf:左前，Rf:右前，Sl:環繞左，Sr: 環繞右，每個揚聲器均生成一個聲音由人HB的兩個接收器即他的 雙耳接聽。聲信號所經歷的變化由一個濾波函數模擬，其表示了在 重構該聲信號的揚聲器和一個給定的耳朵之間的傳播過程中該聲音 所經歷的變化。
特別地，從揚聲器Lf發出的聲音通過一個HRTF濾波器A作用 於左耳LE,但是該同樣的聲音到達右耳RE時被一個HRTF濾波器 B改變。
揚聲器相對於上述的個人HB的位置可以是對稱的，也可以是其
他形式。
因此，每個耳朵從5個揚聲器接收到的貢獻的信號以如下形式 表示
左耳LE:Bl = ALf+CC + BRf+DSl + ESr, 右耳RE:Br = ARf+CC + BLf+DSr + ESl， 其中，Bl是左耳LE的雙耳立體聲信號而Br是右耳RE的雙耳 立體聲信號。
濾波器A，B，C,D和E通常是由線性數字濾波器模擬的，在圖lb 所示的結構中，因此需要應用IO個濾波函數，在對稱的情況下，可 以減少至5個。
已知地，上述的濾波操作可以在頻域進行，例如，通過在4專立 葉域中進行快速巻積。使用一個FFT,即快速傅立葉變換，以〗更於 有效地實現雙耳立體聲。
HRTF濾波器A, B， C, D和E可以簡化為一個頻域均衡器和 一個延遲的形式。HRTF濾波器A可以具體化為一個簡單的均衡器的形式，因為其為一個直接的路徑，而HRTF濾波器B還包括一個 附加的延遲。通常，HRTF濾波器可以分解為一個最小相位濾波器和 一個純延遲。最接近聲源的耳朵的延遲可以取0。
通過空間解碼來對一個3D音頻聲音場景進行重構的操作，如圖 lc所示，使用數目減少的傳輸信道，在現有技術中也是已知的。圖 1 c中所示的結構涉及對頻域中具有局部化參數的已編碼的音頻信道 的解碼，以重構5.1空間化的聲音場景。
上述的重構是通過頻域子帶的空間解碼器實現的，例如圖lc所 示。編碼的音頻信號m經過5個空間化的處理步驟，該步驟由編碼 器所計算的復空間化參數或者係數CLD或ICC所控制，且允許通過 解相關和增益修正操作，以真實的方式重構由6聲道構成的聲音場 景，其中包括圖lb所示的五個聲道以及新增的低頻效果信道lfe。
當希望對來自例如圖1 c所示的空間解碼器的音頻聲道進行雙耳 立體聲操作時，在現在，實際上我們僅限於根據圖ld所示的方案執 4亍一個處理方法。
參考上述的方案，在對信號進行雙聲道立體聲處理之前進行聲 道的變換似乎是必要的，其可以在時域中實現。該變換回時域的操 作表示為合成模塊"合成(Synth)",其對來自空間解碼器(SD) 的每一個聲道進行頻-時變換操作。根據傳統的濾波，HRTF濾波器 的濾波可以由應用或未應用均衡方案的濾波器A， B， C, D, E完成。
如圖le所示，來自空間解碼器的音頻聲道的雙聲道立體化的一 個變化例也可以包括，通過一個合成器"合成"在時域對由音頻解 碼器傳送的每個音頻聲道進行轉換，然後在經過FFT變換後，在傅 立葉頻域執行空間解碼和雙聲道立體聲操作，或空間化。
在這種情景中，每個對應於一個解碼係數矩陣的模塊OTT，必 須在傅立葉域進行變換，其代價是近似性，因為操作不是在同一個 域內進行的。此外，由於合成操作"合成"後緊跟著3個FFT變換， 因此，複雜度進一步增加。
因此，為了對來自 一個空間解碼器的一個聲音場景進行雙聲道立體聲處理，幾乎不存在除以下方式的其他實施的可能性
-或者進行6個時頻變換，如果希望在空間編碼器之外進行雙聲 道立體化；
-或者進行一個合成操作其後面跟隨三個FFT變換，如果希望 在快速傅立葉變換域進行操作。
如圖lf所示，如果需要也可以使用另外一種方案，即在子帶的 域中直接進行HRTF濾波處理。
然而，在上述情形中，HRTF濾波操作的應用非常複雜，因為後 者需要使用最小長度固定的子帶濾波器並且必須考慮子帶的頻率混 疊現象。
由於要在PQMF,也即偽-正交鏡像濾波域中進行濾波操作，變 換操作的減少所帶來的節約被需要進行的濾波操作的數量的大幅增 加所抵消了 。

發明內容
本發明的目的在於，克服上述的現有技術中的3D音頻信號的聲 音空間化技術的缺陷，尤其是克服3D音頻信號的跨聲道立體聲 (transauralization )或雙耳立體聲技術的缺陷。
特別地，本發明的一個目的在於在空間解碼的頻率子帶的域中 對空間編碼的音頻信號或信道執行 一 個特另'j的濾波，以限制變換對 的數目，同時將濾波操作減小到最小，但保留源空間化的高質量， 尤其是對於跨聲道立體聲或雙耳立體聲。
根據本發明的 一個顯著的方面，前述的特定的濾波器依賴於以 均衡器-延遲的形式施行空間化、跨聲道或雙耳濾波器，以在子帶域 中通過均衡器-延遲直接進行濾波。
本發明的另一個目的在於，通過在變換域中，在一個傳統的空 間解碼之後簡單的添加一個複雜度非常低的跨聲道(transaural)空
間處理，以達到非常接近於用例如原始HRTF濾波器這樣的模擬濾
波器所得到的3D渲染效果。本發明的最後一個目的是一個新穎的源空間化技術，不僅適用 於對單聲道聲音的跨聲道或雙耳立體聲渲染，也適用於多個單聲道
聲音，並且顯著地適用於5.1, 6.1， 7.1， 8.1甚至更高模式的立體聲
系統的多通道。
本發明的 一個主題在於 一種用於對音頻場景聲音空間化的方 法，包括一個第一集合，該第一集合包括至少一個聲道，這些第一 集合的聲道在一個給定數目的頻率子帶上進行空間編碼，並在變換
域進行解碼，生成一個第二集合，該第二集合包括至少2個聲道，
這些第二集合的聲道用於利用濾波器模擬第 一 集合聲道的音頻信號
的聲學傳播，以在時域進行重構。
根據本發明，該方法值得注意的是，對於每個轉換為可用於變 換域的至少一個增益和一個延遲的形式的模擬濾波器，其包括在變
換域的每個頻率子帶上，至少進行以下操作
-通過對子帶信號分別應用一個增益和一個延遲，通過均衡-延 遲對子帶信號進行濾波，以從空間編碼信道開始，在所討論的頻率 子帶中生成一個經特定值延遲的經均衡的成分；
-將經過均衡且經過延遲的多個成分的一個子集合進行累加，以 在變換域生成與所述第二集合的用於時域重構的聲道的數目相對應 的多個經濾波的信號，所述第二集合中的聲道的數目為大於或等於 2;
-通過一個合成濾波器對每個上述在變換域中經過濾波的信號 進行合成，以獲取第二集合，其具有大於或等於2個用於在時域進 行重構的音頻信號。
本發明的方法，值得注意的還有，通過均衡-延遲對子帶信號進 行濾波包括對至少一個頻域子帶，至少應用一個相移，以及，在合 適的時候通過存儲器對其應用 一個純延遲。
本發明的方法，值得注意的還有，其還包括在混合變換域通過 均衡-延遲進行濾波，包括一個將頻率劃分為附加子帶的附加步驟， 經過抽取或未經過抽取。
ii本發明的方法，值得注意的還有，為了將每個模型濾波器在變 換域中各自轉換為一個增益值和一個延遲值，其包括至少將每個子 帶與一個定義為該子帶中的模擬濾波器的模值的平均值的實數聯繫 在一起作為增益值，以及將每個子帶與一個對應於左耳和右耳之間 對不同位置的接收延遲的延遲值聯繫在 一起作為延遲值。
相關地，本發明的另一個主題在於， 一種用於音頻場景聲音空 間化的裝置，其包括一個第一集合，該第一集合包括至少一個聲道， 這些第 一 集合的聲道在 一 個給定數目的頻率子帶上進行空間編碼，
並在變換域進行解碼，生成一個第二集合，該第二集合包括至少2
個聲道，這些第二集合的聲道用於利用濾波器模擬第一集合聲道的 音頻信號的聲學傳播，以在時域進行重構。
根據本發明，該裝置值得注意的是，對於變換域的空間解碼器
的每一個頻率子帶，該裝置除了該空間解碼器還包括
- 一個模塊，用於通過對子帶信號分別應用一個增益和一個延 遲，通過均衡-延遲對子帶信號進行濾波，以在所討論的頻率子帶中， 從每個空間編碼信道生成一個經過均衡並經過特定值延遲的成分；
- 一個模塊，用於對經過均衡且經過延遲的多個成分的一個子集 合進行累加，以在變換域生成與所述第二集合的用於時域重構的聲 道的數目相對應的多個經濾波的信號，所述第二集合中的聲道的數 目為大於或等於2;
波的信號進行合成，以獲取第二集合，其包括數目大於或等於2的 用於在時域進行重構的聲道。
本發明的方法和裝置，可以應用於高保真音頻和/或視頻電子產 業，還可以用於本地或在線的音^L頻遊戲產業。


通過閱讀說明書和附圖將更好地理解本發明，其中，除了圖la-lf 與現有技術相關以外，
12圖2a顯示了根據本發明的聲音空間化方法的執行步驟的示意流
程圖2b通過示例的方式，顯示了本發明的如圖2a所示的方法的 一個變化的實施例，通過在沒有抽取的情況下產生附加的子帶來獲
取；
圖2c通過示例的方式，顯示了本發明的如圖2a所示的方法的一 個變化的實施例，通過在抽取的情況下產生附加的子帶來獲取；
圖3a通過示例的方式，顯示了根據本發明的一個聲音空間化裝 置的一個空間解碼器的一個頻率子帶的分段(stage);
圖3b通過示例的方式，顯示了可以實現如圖3a所示本發明的 裝置的 一 個均衡延遲濾波器的實現細節；
圖4通過示例的方式，顯示了根據本發明的裝置的一個示例的 實施例，其中，均衡延遲濾波器的計算離開了原位置。
具體實施例方式
結合圖2a和下面的各個附圖，將對根據本發明的主題的音頻場 景的聲音空間化的方法進行具體描述。
根據本發明的方法，適用於一個音頻場景，例如3D音頻場景， 表示為包括N個聲道，其中N大於或等於1，這些聲道在給定數目 的頻率子帶上進行空間編碼並在變換域進行解碼。
變換域，可以理解地，意味著一個變換頻率域，例如傅立葉域， PQMF域或任意混合域，通過時域抽取或者其他步驟，創建附加的 頻域子帶而獲取。
然後，形成第 一集合N個聲道的經空間編碼的聲道以非限制性 的形式表示為本說明書前述的Fl, Fr， Sr, SI, C, lfe聲道，並如說 明書前文所述的對應於在對應的變換域中一個3D音頻場景的解碼 模式。該模式正是前述的5.1模式。
此外，這些信號在前述變換域中根據一個該解碼特定的給定數 目的子帶進行解碼，該子帶集合由(SBktf表示，k表示所討論的子帶的秩。
本發明的方法，允許前述的經空間編碼的聲道集合變換為 一個 第二集合，該第二集合包括大於或等於2的用於進行時域重構的聲
道，重構聲道在圖2a中，非限制性地分別表示為左、右雙聲道的B1 和Br。可以理解，特別地，除了雙聲道，本發明的方法適用於任意 大於2的聲道，例如，允許3D音頻場景的實時重構，如圖lb所示 以及前文中結合圖lb所述。
根據本發明的 一 個顯著的方面，本發明通過使用濾波器模擬經 空間編碼的聲道的第 一 集合的音頻信號的聲學傳播，考慮到以適用 於變換域的至少 一個增益和延遲的形式的轉換，這將在說明書的後 文中詳盡描述。以非限制性的方式，模擬濾波器在本文以下部分表 示為HRTF濾波器。
前述的任一 HRTF濾波器的變換考慮秩為k的子帶SBk，以生成 一個增益值gk以及相應的延遲值4,如圖2a所示，前述的變換表示 為HRTF.三(gk,dk)。
考慮到前述的變換，本發明的方法包括，對於變換域的秩為k 的任一頻域子帶，執行步驟A，通過分別對子帶信號應用一個增 益值gk和延遲值dk以通過均衡-延遲對子帶信號進行濾波，以從前述 的空間編碼的信道，亦即從聲道F1、 C、 Fr、 Sr、 Sl、 C、 lfe，在所 討論的秩為k的頻率子帶SBk中生成一個經均衡並經給定延遲值延 遲的成分。
在圖2a中，通過均衡-延遲的濾波操作以符號表示為 CEDkdFl,C,Fr,Sr，Sl,lfeKgkx，4x)。
在上述的符號等式中，FEBkx表示通過對每個經空間編碼的聲 道，換言之聲道F1、 C、 Fr、 Sr、 Sl、 C、 lfe，應用增益值gk以及延 遲值dk而得到的的任一經均衡和延遲的成分。
因此，在前述的符號等式中，對於秩為k的相應子帶，x可以實 際取值為Fl、 C、 Fr、 Sr、 Sl、 C、 lfe。
然後，在變換域中步驟B緊跟著步驟A,步驟B對經均衡和延遲的多個成分的一個子集合進行累加，以在變換域中生成與數目為 N ，的用於在時域重構的第二集合的聲道相對應的多個經濾波的信
號，N，大於或等於2。
在圖2a的步驟B中，累加的操作由符號等式所表示
F{Fl,C,Fr，Sr,SUfe} =2CEDkx
在上述的符號等式中，F(Fl,C,Fr,Sr，Sl,lfe)表示將經均衡和延遲的 成分CEDkx的子集累加而獲取的在變換域中的經濾波的信號的子集。
通過非限制性地以及教導性的例子，對於一個包括數目N二6的 經空間編碼的聲道的第一集合，對應於5.1模式，經均衡和延遲的成 分的子集可以包括將對於每個耳朵的5個經均衡和延遲的成分加在 一起，以得到一個N，個變換域的經濾波的信號，N，等於2,在稍後 的下文中將在說明書中詳盡描述。
前述的累加步驟B後，接著步驟C,步驟C用於將在變換域中 的每個經濾波的信號通過一個合成濾波器進行合成，以獲取一個數 目為N，的用於在時域重構的音頻信號第二集合，N，大於或等於2。
在圖2a的步驟C中，相應的合成操作由以下符號等式所表示
Bl,Br = Synth(F{Fl，C，Fr，Sr，Sl,lfe})
一般說來，在此聲明，本發明的方法可以應用於任意3D音頻場 景，包括將N個經空間編碼的路徑或聲道，變換為N，個重構的聲道， 其中N在1至無窮大之間變化，N，在2至無窮大之間變化。
就圖2a所示的步驟B中的加法步驟而言，在此聲明，後者(步
加在一起，以為每個子帶生成N，個成分。
更具體的，在此聲明，通過均衡-延遲對子帶信號進行的濾波包 括至少應用對至少一個頻率子帶的相移，該相移可以是通過由存儲 器實現的純延遲來完成的。
純延遲的應用在圖2a的步驟A中用等式gEx = 1表示，其代表了 對秩為k-E的子帶中的序號為x的聲道集合不進行均衡，數值1表 示對每個經空間編碼的聲道的幅度無調整地傳輸。
如前面的說明書中所提到的，變換域可以對應於混合變換域，以下將結合圖2b描述在對應的子帶中不進行頻域抽取的情形下的頻
率變換域。
參考前述圖2b，如圖2a的步驟A所示的通過均衡-延遲的濾波， 將由圖2b所示的三個子步驟Al, A2和A3所執行。
在該種情形下，步驟A包括一個未經過抽取而將頻率分為附加 子帶的附加步驟，其後為一個將附加子帶重新組合的步驟，以增加 所用的增益值的數目，並因而增加頻域的精確度，所述的增益值應 用在所述附加子帶上。
頻分然後重組的操作如圖2b中的子步驟A！和AJ斤示。
頻分步驟在子步驟A！中由以下等式表示
HRTF E{gkz，dkz}:=〖
重組步驟在子步驟八2中由以下等式表示〖x = {Fl,C,Fl，Sr，Sl,lfe}(gkz)
在子步驟A!中，可以理解，所討論的秩為k的子帶的增益和延
遲的值細分為Z個相應的增益值，一個增益值gkz用於每個附加子帶，
在子步驟12中，可以理解，對附加的子帶的重組的步驟通過使用對
應於相應序號為x的經編碼的聲道執行，在所討論的附加的子帶中 增益gb已經應用於該聲道。
在前述的等式中，[GCEDkz];:f代表對附加的子帶的重組，所討
論的附加的子帶已經使用了增益。
子步驟A2之後是子步驟A3,包括對重組的附加子帶進行延遲， 並且，特別地，以與圖2a的步驟A類似的方式對相對於序號x的經 空間編碼的聲道通過延遲dkx進行延遲。
相應的操作由下式表示
CEDkzx=[GCEDkz]〗:〖x(dkx)
此外，本發明的方法，也可以包括在混合變換域中通過均衡-延 遲進行的濾波，其包括 一 個經過抽取將頻率分為附加子帶的附加步 驟，如圖2c所示。
在該場景中，圖2c中的步驟A、與圖2b中的步驟A!等同，用於執行生成附加的經抽取的子帶。
在該場景中，對圖2c中的步驟A，,的抽取是在時域中進行的。 步驟A、後跟著步驟A，2，步驟A，2對應於對附加子帶進行重組，
所述附加子帶上所使用的前述的增益值考慮了抽取。
重組步驟A'2自身之前或之後跟隨延遲dh的應用，如雙箭頭表
示步驟A，2和A，3的交換。
可以理解，特別地，當在重組步驟之前進行延遲，延遲直接應 用於在重組之前的附加子帶的信號。
關於將每個HRTF濾波器轉換為變換域中的一個增益和一個延 遲值，該操作可以有利地包括將每個秩為k的子帶與一個定義為 對應於HRTF濾波器的模的平均值的實數值聯繫起來作為增益值， 以及將每個秩為k的子帶與一個對應於聽者的左耳和右耳之間對不 同位置的傳播延遲的延遲值聯繫起來作為延遲值。
因此，使用一個HRTF濾波器，可以自動計算應用於子帶的增 益和延遲時間。基於HRTF濾波器組的頻率解析度，對應於聽者的 左耳和右耳之間對不同位置的傳播延遲值的延遲值被與每個子帶 SBk相關耳關。
因此，使用HRTF濾波器，可以自動計算子帶所用的增益和延
遲時間。
基於對濾波器組的頻域解析度，將一個實數值與每個頻帶相關 聯。通過非限定性的例子，從HRTF濾波器的模值開始，可以計算 每個子帶的前述的HRTF濾波器的模值的平均值。上述的操作類似 於HRTF濾波器的倍頻帶(octave band)或巴克帶(Bark band )分 析。類似地，可以確定間接聲道所使用的延遲，換言之，延遲值更 特別地適用於那些延遲值不是最小值的聲道。自動確定耳間的延遲 有多種方法，表示為ITD，即耳間的時間差值，其對應於聽者左耳 和右耳之間對於不同位置的延遲。在一個非限制性的例子中，可以 4吏用S. Busson在Universit6 de la M6diterran6e Est-Marseille II, 2006戶斤發 表的博士 i侖文中描述的閾值法，其標題為"/"Wv/o" o/acowWc
17J/c^/or 6/""wra/ w^/z&s^" 「乂,雙孚合4'的,# ^個#必J 。用 於估計閾值類型的耳間延遲的方法的原則是確定到達時間，或者 確定波在右耳的初始延遲Td和波在左耳的初始延遲Tg。耳間延遲 由下式給出
ITD threshold = Td - Tg.
最普遍使用的方法是將到達時間估計為HRIR時間濾波器超過 一個鄉會定閾值的時刻。例如，到達時間可以對應於HRIR濾波器的響 應達到其最大值的10%的時間。
在PQMF變換域的一個特殊實現的例子將在以下給出。
通常說來，在複數P Q MF域中運用 一 個增益值包括將 一 個實數 形成的增益和以複數值表示的子帶信號的每個採樣值相乘。
實際上，眾所周知，使用一個複數PQMF變換域允許在使用增 益的同時避免由濾波器組固有的欠採樣產生的頻域混疊問題。每個 信道的每個子帶SBk因此獲取了一個分配的給定增益值。
此外，在PQMF域中使用一個延遲值至少包括，對子帶信號的 由複數表示的每個採樣值，通過將這些採樣值乘以 一 個複數指數值 以引入 一 個在複數平面的旋轉，該複數指數值是所討論的子帶的秩、 所討論的子帶的欠採樣率以及與聽者的雙耳之間的延遲差相關聯的 延遲參數的函數。
緊跟在在複數平面的旋轉後面的是對旋轉後的採樣的純時間延 遲。該純時間延遲是聽者的雙耳之間的延遲差和所討論的子帶的欠 採樣率的函數。
實際來說，前述的延遲適用於結果信號，換言之經過均衡的信 號，並且特別的，適用於這些未從直接聲道受益的信號或信道的子集合。
特別地，旋轉以對如下形式的指數值的複數乘的形式實現
exp(-j*pi*(k+0.5)*d/M)
並通過延遲線實現一個純延遲，例如進行下列操作
y(k,n) = x(k, n畫D)
18在前面的等式中
exp表示指數函數； j定義為j*j = -l; k是所討論的子帶信號SBk的秩；
M是所討論的子帶信號的欠採樣率；例如，M應該取等於64;
y(k，n)是在秩為k的子帶SBk的秩為n的時間採樣上應用了純延 遲之後的輸出採樣值，換言之，應用了延遲B的採樣x(k，n)。
前述等式中的d和D的取值對應於在非欠採樣時間域運用延遲 D*M + d。延遲D承M + d對應於先前計算的耳間的延遲。d可以取負 值，其可以允許模擬相位超前以取代延遲。
進行的操作帶來了適合於所尋求的效果的近似值。
對於計算操作，所執行的處理包括執行在 一個復指數和一個由 複數值形成的子帶採樣值之間的 一個複數乘法。
如果所使用的總的延遲大於一個值M，可能會插入一個延遲， 但是該操作不包括算數運算。
本發明的方法，也可以在混合變換域中實現。該混合變換域是 頻率域，在其中PQMF帶可以有益地由經抽取的或未經抽取的濾波 器組進行重新劃分。
如果濾波器組經過抽取，抽取被理解為時域抽取，則有益地在 包括純延遲和相移的步驟之後引入一個延遲。
如果濾波器組未經過抽取，則只能在合成時應用延遲。對於每 個分支應用相同的延遲實際上是無意義的，因為合成是線性操作， 不需要欠採樣。
增益的應用與之前保持類似，後面僅僅包括多個，例如前述的 結合圖2b所述，因此可以緊跟著有更高精確度的頻率劃分。然後在 每個附加的子帶上使用一個實數的增益。
最後，根據一個變化的實施例，本發明的方法在至少兩個均衡-延遲對上重複，並且將獲取的信號求總和，以獲取時域的聲道。
以下將結合圖3a和圖3b，詳細描述根據本發明的目的音頻場景聲音空間化的裝置，其聲音場景包括第一集合，第一集合包括至少 一個聲道，該至少一個聲道在一個給定數目的頻率子帶上進行空間 編碼，並在變換域進行解碼，以生成一個第二集合，該第二集合包 括至少2個聲道，用於在時域進行重構。
如前文所述，本發明的裝置，是基於以下原則轉換可用於變 換域的至少 一 個增益和 一 個延遲的形式的濾波器，該濾波器用於模 擬前述的第一集合信道的音頻信號的聲學傳輸。本發明的裝置，允 許聲音場景的聲音空間化，如將3D音頻場景轉換為第二集合，該第 二集合包括數量大於或等於2的用於進行時域重構的聲道。
如圖3a所示的本發明的裝置，涉及在變換域專用於每個秩為k 的子帶SBk以進行解碼的一個分段。
特別地，可以理解，圖3a所示的對於每個秩為k的子帶SBk, 其分段實際上對於每個子帶都是可以複製的，以最終形成根據本發 明的主題的聲音空間化裝置。
按照慣例地，圖3a所示的分段在本發明的下文中標記為聲音空 間化裝置。
參考前述的附圖，本發明的裝置，例如圖3a所示，除了示出的 空間解碼器，還包括模塊OTTo至OTT4 ，大致與圖lc所示的現有 技術的空間解碼器SD相對應，但是還使用了，通過加法器S，以現 有技術已知的方式求出前聲道C和低頻聲道lfe的總和，以及一個的 模塊1,用於通過對子帶信號分別應用一個增益和一個延遲，通過均 衡-延遲對子帶信號進行濾波。
在圖3a中，增益的應用在每個空間編碼音頻信道上均示出，以 放大器lo至18表示，後者(lo至18)生成一個均衡的成分，可能 會也可能不會經標識為19至112的延遲元件進行延遲，以從每個經空 間編碼的聲道生成經過在頻域子帶S B k的 一 個給定延遲值均衡和延 遲的組成部分。
參考圖3a,放大器1。至18的增益分別具有任意值A,B，B，A,C,D， E，E,D。此外，延遲模塊19至112使用的延遲值為Df,Bf,Ds,Ds。在前述的附圖中，所引入的增益和延遲是對稱的。在不偏離本發明主 題的範圍內，也可以運用不對稱的結構。
本發明的裝置，還包括模塊2，用於將經均衡和延遲的成分的子 集合累加在一起，以生成在變換域中的多個經濾波的信號，對應於
用於在時域中重構聲道的第二集合的數目N，，N，大於或等於2。
最後，本發明的裝置，包括一個模塊3，用於在變換域中合成每
個經濾波的信號，以獲取第二集合，該第二集合包括N，個用於在時
域中重構的聲道，N，大於或等於2。因此，在圖3a所示的實施例中，
合成模塊3包括， 一個合成器3。和3,，其中每個合成器允許一個音
頻信號在時域中進行重構，B,表示欲傳輸的左雙聲道信號，且Br
表示欲傳輸的右雙聲道信號。
在圖3a的實施例中，經均衡和延遲的成分通過以下方式獲取
-A[k]表示秩為k的子帶SBk的放大器lo， 13的增益，
-B[k]表示圖3a所示的放大器1,， 12的增益，
-C[k]表示放大器U的增益，
-D[k]表示放大器15，18的增益，
-E[k]表示放大器16, 17的增益。
關於經空間編碼的聲道，尤其是子帶SBk的這些聲道Fl, Fr, C， lfe，
Sl和Sr，子帶SBk的第n個釆樣表示為Fl[k][n]，Fr[k][n]，Fc[k][n],
lfe[k][n], Sl[k][n]，Sr[k][n]。因此，每個放大器1。 to 18相繼傳輸如下的
經均衡的成分 -A[k]承Fl[k][n], -B[k]*Fl[k][n], -B[k]承Fr[k][n], -A[k]承Fr[k][n]， -C[k]*Fc[k][n], -D[k]*Sl[k][n], -E[k]*Sl[k][n], -E[k]承Sr[k][n], -D[k]*Sr[k][n],
說明書中所描述的前述的操作，在這種情形下，是以對複數進 行實數乘的形式進行的。
21由延遲元件19, 11Q， ln和112所引入的延遲應用於前述的經均衡的
成分，以生成經均tf和延遲的組成部分。
在圖3a所示的例子中，延遲應用於未從直接路徑受益的子集合 上。在對圖3a的描述中，指的是那些由放大器或乘法器lbl2，U和17 以增益B[k]和E[k]進行乘的那些信號。
對例如以倍增放大器1!和延遲元件19形成的均衡-延遲進行濾波 的濾波器或濾波元件的更詳盡的描述在以下將參照圖3 b給出。
關於應用增益，如圖3b所示的相應的濾波元件包括一個數字乘 法器，換言之，乘法器或放大器1。至18之一，在圖3b中以增益值 gkx表示，該乘法器允許來自每個對應於信道Fl, Fr, C， lfe， Sl或Sr的 序號為x的經編碼的聲道的任意複數採樣與一個實數值相乘，也即， 在說明書前文中描述的增益值。
此外，圖3b所示的濾波元件包括至少一個複數數字乘法器，允 許在複平面中的子帶信號的任意一個採樣引入一個旋轉，以乘以一 個復指數值，其值為exp(-jcp(k,SSk))，其中cp(k,SSk)表示一個相位值， 是所討論的子帶欠採樣率和所討論的子帶的秩k的函數。
在一個實施例中，cp(k，SSk) = cp*(A:+0.5)*c//M。
緊隨複數數字乘法器是延遲線，標識為D丄.，其為每個經旋轉 的採樣引入一個純延遲，允許引入一個純時間延遲，其為聽者的雙 耳延遲之間的差值和所討論的子帶SBk的欠採樣率M的函數。
因此，延遲線D丄.允許在經過旋轉的複數的採樣以y(k，n)二 x(k,n-D)的形式引入延遲。
最後，d和D的值滿足這些值對應於在未採樣的時間域應用 延遲D承M+d，並且該D申M+d對應於前述的雙耳間的延遲。
為了實現本發明的裝置，如圖3a所示，可以觀察到信號Fr[k][n] 被增益值B[k]乘，然後延遲，根據本發明的一個值得注意的方面， 其相當於將該信號乘以一個複數增益。增益B[k]和復指數的乘積可 以一次性地徹底地進行，因此避免了對每個後繼採樣Fr[k][n]的補充 處理。左側的經均衡和延遲的成分指代為U至L4,右側的經均衡和延遲的組成部分指代為Ro至R4，在圖中分別由累加模塊2。和2,結
合在一起，然後驗證等式 表格T
L0[k][n] = A[k]Fl[k][n]
R0[k][n]=經過Df採樣延遲的B[k]Fl[k][n]
Rl[k][n]二A[k]Fr[k][n]
Ll[k][n]=經過Df採樣延遲的B[k]Fr[k][n]
L2[k][n] = R2[k][n〗二C[k](Fc[k][n]+lfe[k][n〗)
L3[k][n] = D[k]Sl[k][n]
R3[k][n]=經過Ds採樣延遲的E[k]Sl[k][n] R4[k][n]=D[k]Sr[k][nJ
L4[k][n]=經過Ds採樣延遲的E[k]Sr[k〗[n]
為了獲取用於時域重構的聲道，即分別為圖3a所示的左信道B,
和右信道B"也即，在圖3a的實施例中的雙聲道信號，對於每個闢失
為n的採樣，累加經均衡和延遲的成分，也即，累加成分
對於累加模塊20:L0[k][n]+Ll[k][n]+L2[k][n]+L3[k][n]+L4[k][n]且
對於累力口才莫^: 2R0[k][n]+Rl [k][n]+R2[k][n]+R3[k][n]+R4[k][n]
然後，由累加模塊20和2J專送的結果信號各自通過合成濾波器
3。和3p以分別在時域B！和Br獲取雙聲道的信號。
可以將前述的信號提供給 一 個數字-模擬轉換器，以允許左聲音 B,和右聲音B"在例如一對音頻耳機上可以聽到。
合成操作由合成模塊3Q和3,執行，包括，當合適的時候，例如 說明書前文中描述的混合合成操作。
本發明的方法，有利地可以包括分離均衡操作和延遲操作，其 可以在不同數量的頻率子帶上進行。在一個變化例中，均衡器可以 例如在一個混合域中進行，而延遲在PQMF域中進行。
可以理解，本發明的方法和裝置，儘管描述為將6個信道進行 雙聲立體聲進入一對耳機，其也可以用於實現3爭聲道立體聲，換言 之，在一對揚聲器上對3D聲音場的重構，或者以一種相對非複雜的 方式，將來自一個空間解碼器或多個單聲道解碼器的表示為N個的 聲道或聲源轉換為N，個用於重構的聲道。如果需要可以倍增濾波操
23作。
作為一個補充的非限制性的例子，本發明的方法和裝置，可以
應用於聲音由不同物體或聲源發出的3D互動遊戲的情形，其可以作 為它們與聽者之間的相對位置的函數進行空間化。聲音採樣然後被
間化，他們可以部分解碼，以保存在編碼域，並在編碼域由根據本 發明所描述的合適的雙聲道濾波器進行濾波。
實際上，通過將解碼和空間化操作結合起來，操作的總的複雜 度將大大降低，同時不會帶來任何質量的損失。
最後，本發明覆蓋了包括一系列保存在存儲媒介中的指令的計 算機程序，用於由計算機或專用的聲音空間化設備執行，在執行的 過程中，執行結合圖2a到2c, 3a、 3b在說明書前述的濾波、累加和 合成步驟。
特別地，可以理解，前述的附圖中所示的操作可以有利地通過 在圖3a中未示出的中央處理器、 一個工作存儲器和程序存儲器的方 式在複數數字採樣上進行。
最後，形成均衡-延遲濾波器的增益和延遲的計算可以在如圖3a 和3b所示的本發明的裝置的外部執行，將結合圖4在下文中進行描 述。
參考前述的附圖，考慮一個用於空間編碼和以降低數據率進行 解碼的第一單元I，包括例如如圖3a, 3b所示的根據本發明的裝置， 允許進行前述的空間編碼，始於例如5.1模式的聲音場景， 一方面傳 輸編碼聲音，另一方面傳輸空間參數，傳輸至解碼和空間解碼單元 II。
對於均衡-延遲濾波器的計算可以由 一 個分離的單元III執行，其 使用模擬濾波器、HRTF濾波器，計算增益均衡和延遲值並將其傳輸 至空間編碼單元I和空間解碼單元II。
因此，空間編碼可以考慮HRTF,應用HRTF以校正其空間參數 並優化3D渲染。類似地，數據率降低的編碼器能夠使用這些HRTF以測量頻率量化的聽得見的效果。
解碼時，傳輸的HRTF將用於空間解碼，並且允許，在合適的
情形中，重新生成重構的聲道。
在前述的例子中，將從5個聲道重新生成2個聲道，但在其他 情形中，可以如上所示地包括從3個信道構造5個聲道。空間解碼 方法將應用如下
-使用空間信息(上行混合，upmix)將接收到的3個信道投 射到一組虛擬信道上(大於5個輸出信道)；
-使用HRTF將虛擬信道減少至5個輸出信道。 如果在編碼器中使用了 HRTF,可選地，可以在上行混合之前去 除他們貢獻，以實現上述方案。
轉換後的HRTF,他們的增益/延遲優選地可以以如下的形式進 行量化
對他們的值以微分的模式編碼，然後量化他們的差值如果均
衡器的增益值表示為G[k],則量化的值為
e[k] = G[k+l]-G[k]
將以線性或對數的形式傳輸。
更具體地，參考前述圖4，本發明的方法和裝置所執行的操作， 因此允許執行對音頻場景的聲音空間化，其中包括給定個數的經空 間編碼的聲道的第 一 集合，和包括用於時域重構的數目較少的聲道 的第二集合。其還允許解碼時執行將多個經空間編碼的聲道逆變換 為 一 個包括高於或等於用於時域重構的聲道的數目的集合。
權利要求
1. 一種用於音頻場景的聲音空間化的方法，包括第一集合，該第一集合包括至少一個在一個給定數目的頻率子帶上進行空間編碼的聲道，並在變換域進行解碼，以生成一個第二集合，該第二集合包括至少2個聲道，用於利用濾波器模擬所述第一集合聲道的音頻信號的聲學傳播，以在時域進行重構，其特徵在於，對於每個轉換為可用於變換域的至少一個增益和延遲形式的模擬濾波器，該方法，對每個所述變換域的頻率子帶，至少包括-通過對子帶信號分別應用一個增益和一個延遲，通過均衡-延遲對子帶信號進行濾波，以從空間編碼信道開始，在所討論的頻域子帶中生成一個經特定值延遲的經均衡的成分；-對經過均衡且經過延遲的成分的一個子集合進行累加，以在變換域生成與所述第二集合的用於時域重構的聲道的數目相對應的多個經濾波的信號，所述第二集合中的聲道的數目為大於或等於2；-通過一個合成濾波器對每個在變換域中經過濾波的信號進行合成，以獲取第二集合，其包括大於或等於2個用於在時域進行重構的音頻信號。
2. 根據權利要求1所述的方法，其特徵在於，所述通過均衡-延遲對子帶信號進行濾波包括對至少一個頻率子帶至少應用一個相
3. 根據權利要求2所述的方法，其特徵在於，所述通過均衡-延遲進行濾波還包括對至少一個頻率子帶通過存儲器應用一個純延遲。
4. 根據權利要求1至3中任一項所述的方法，其特徵在於，所 述在混合域通過均衡-延遲進行濾波，包括一個未經抽取將頻率劃分 為附加子帶的附加步驟，以增加應用的增益值的數目，其後為一個 重組所述附加子帶的步驟，前述的增益值應用在所述附加子帶上， 然後進行所述延遲。
5. 根據權利要求1至3中任一項所述的方法，其特徵在於，所 述在混合域通過均衡-延遲進行濾波，包括一個經過抽取將頻率劃分 為附加子帶的附加步驟，以增加應用的增益值的數目，其後為一個 重組所述附加子帶的步驟，前述的增益值應用在所述附加子帶上， 所述重組步驟其自身在所述延遲應用之前或之後。
6. 根據權利要求1至5中任一項所述的方法，其特徵在於，為了將每個模擬濾波器在變換域中分別轉換為一個增益值和一個延遲 值，其至少包括-將每個子帶與一個定義為模擬濾波器的模值的平均值的實數 聯繫在一起作為增益值；-將每個子帶與一個對應於左耳和右耳之間對不同位置的接收 延遲的延遲值聯繫在 一起作為延遲值。
7. 根據權利要求1至3或6中任一項所述的方法，去除權利要 求4或5，其特徵在於，在PQMF域中運用增益包括，將以複數值 表示的子帶信號的每個採樣值，乘以一個由實數形成的增益值。
8. 根據權利要求1至3或6或7中任一項所述的方法，去除權 利要求4或5，其特徵在於，在PQMF域中運用增益至少包括，對 以複數值表示的子帶信號的每個採樣值-通過將這些採樣乘以一個複數指數值以引入一個在複數平面 的旋轉，該複數指數值是所討論的子帶的秩，所討論的子帶的欠採 樣率以及與聽者的雙耳之間的延遲差相關聯的延遲參數的函數；-對旋轉後的採樣引入純時間延遲，所述純時間延遲是聽者的雙 耳之間的延遲差和所討論的子帶的欠採樣率的函數。
9. 根據權利要求1至8中任一項所述的方法，其特徵在於，對 於音頻場景的聲音空間化，其中在5.1模式中，第一集合包括N二6 個空間編碼的聲道，所述第二集合包括2個用於時域重構的聲道， 用於在一對音頻耳機上重構。
10. 根據權利要求1至9中任一項所述的方法，其特徵在於，所 述方法至少在兩個均衡-延遲對上重複，並且將獲取的信號求總和，以獲取時域的聲道。
11. 根據權利要求1至9中任一項所述的方法，其特徵在於，對 於音頻場景的聲音空間化，第一集合包括給定數目的經空間編碼的 聲道，第二集合包括數目較少的用於時域重構的聲道，在解碼時， 該方法還包括將多個經空間編碼的聲道逆變換為一個包括大於或等 於用於時域重構的聲道數目的集合。
12. 根據權利要求1至11中任一項所述的方法，其特徵在於， 將所述與模擬濾波器關聯的增益和延遲值以量化的形式傳輸。
13. —種用於音頻場景的聲音空間化的裝置，包括第一集合，該 第一集合包括至少一個在一個給定數目的頻率子帶上進行空間編碼 的聲道，並在變換域進行解碼，以生成一個第二集合，該第二集合 包括至少2個聲道，用於利用濾波器模擬所述第一集合聲道的音頻 信號的聲學傳播，以在時域進行重構，其特徵在於，對於在變換域的一個空間解碼器的每個頻率子帶，所述裝置，除了所述空間解碼 器，還包括- 一個裝置，用於通過對所述子帶信號分別應用一個增益和一個 延遲，通過均衡-延遲對子帶信號進行濾波，以從每個空間編碼信道 開始，在所討論的頻域子帶中生成經過一個經均衡的並經特定值延 遲的成分；- 一個裝置，用於對經過均衡且經過延遲的成分的一個子集合進 行累加，以在變換域生成與所述第二集合的用於時域重構的聲道的 數目相對應的多個經濾波的信號，所述第二集合中的聲道的數目為 大於或等於2;- 一個裝置，用於通過一個合成濾波器對每個在變換域中經過濾 波的信號進行合成，以獲取第二集合，其包括大於或等於2個用於 在時域進行重構的音頻信號。
14. 根據權利要求13所述的裝置，其特徵在於，所述以應用增 益進行濾波的裝置包括 一 個數字乘法器，用於將每個空間編碼聲道 的任意複數採樣乘以 一 個實數值。
15. 根據權利要求13或14所述的裝置，其特徵在於，所述通過應用一個延遲進行濾波的裝置包括至少一個複數數字乘法器，允許 在子帶信號的任意採樣的複數平面引入一個旋轉，用於與 一個複數 指數值相乘，該複數指數值是所討論的子帶的秩，所討論的子帶的 欠採樣率以及與聽者的雙耳之間的延遲差相關聯的延遲參數的函數。
16. 根據權利要求15所述的裝置，其特徵在於，所述濾波裝置 還包括一個對旋轉後的每個採樣的純延遲線，允許引入一個純時間 延遲，該純時間延遲是聽者的雙耳之間的延遲差和所討論子帶的欠採樣率的函數。
17. 電腦程式，該電腦程式包括存儲在存儲介質上的由計算 機或專用設備執行的一系列指令，其特徵在於，在執行過程中，所 述程序執行如權利要求1至12中任一項所述的濾波，累加和合成步驟。
全文摘要
本發明涉及用於聲音空間化的方法和系統，其中，第一集合不少於1個聲道，在多個頻率子帶(SBk)上編碼，並在變換域(Fl，C，Fr，Sr，Sl)上進行解碼，以在時域中生成不少於2個(Bl，Br)聲道的第二集合，從模擬濾波器轉換為應用於變換域中的一個增益值和一個延遲值，包括通過均衡器進行濾波(A)，通過應用至少一個增益值和延遲值來進行信號的子帶延遲以從每個編碼信道生成一個經過均衡和延遲的成分；將經均衡和延遲的信號的子集合進行累加(B)以生成對應於不少於2個的多個經濾波的信號；將每個所述經濾波的信號進行合成(C)，以獲取不少於2個的時域重構的聲道的第二集合。
文檔編號H04S3/02GK101455095SQ200780020028
公開日2009年6月10日 申請日期2007年3月8日 優先權日2006年3月28日
發明者皮耶裡克·菲利普, 達維德·維雷特, 馬克·埃默裡 申請人:法國電信