音頻空間環境引擎的製作方法

2023-04-27 21:08:06

專利名稱：音頻空間環境引擎的製作方法
技術領域：
本發明涉及音頻數據處理領域，並且尤其涉及一種用於在音頻數據的不同格式之 間進行轉換的系統和方法。
背景技術：
用於處理音頻數據的系統和方法在現有技術中是已知的。大多數這樣的系統和方 法用於處理已知音頻環境的音頻數據，該已知音頻環境諸如雙聲道立體聲環境、四聲道立 體聲環境、五聲道環繞聲環境(也被稱為5. 1聲道環境)或其它適當的格式或環境。格式或環境數目增加引發的一個問題是在第一環境中為了最佳音頻質量而處理 的音頻數據通常不能夠容易地在第二音頻環境中使用。這個問題的一個例子是在整個為立 體聲數據設計的基礎設施或網絡上傳輸或存儲環繞聲音數據。因為用於立體雙聲道傳輸或 存儲的基礎設施可能不支持環繞聲格式的音頻數據的附加聲道，所以難以或者不可能用現 有的基礎設施傳輸或利用環繞聲格式的數據。

發明內容
根據本發明，提供了一種用於音頻空間環境引擎的系統和方法，其通過在空間音 頻環境之間進行轉換而克服了已知的問題。具體地，提供了一種用於音頻空間環境引擎的系統和方法，其允許在N聲道數據 和M聲道數據之間進行轉換，並且允許從M聲道數據轉換返回N』聲道數據，其中，N、M和N』 為整數，並且N不必等於N』。根據本發明示範性的實施例，提供了一種音頻空間環境引擎，用於從N聲道音頻 系統轉換到M聲道音頻系統並回到N』聲道音頻系統，其中，N、M和N』為整數，並且N不必 等於N』。音頻空間環境引擎包括動態下混頻器，其接收N個聲道的音頻數據並將N個聲道 的音頻數據轉換成M個聲道的音頻數據。音頻空間環境引擎還包括上混頻器，其接收M個聲 道的音頻數據並將M個聲道的音頻數據轉換成N』個聲道的音頻數據，其中N不必等於N』。這個系統的一個示範性應用是在整個為立體聲數據設計的基礎設施或網絡上傳輸或存儲 環繞聲音數據。動態下混頻單元將環繞聲音數據轉換成立體聲音數據以用於傳輸或存儲， 並且上混頻單元將立體聲音數據恢復成環繞聲音數據以用於回放、處理或某些其它適當的 用途。本發明提供了許多重要的技術優點。本發明的一個重要技術優點是這樣一種系 統，其由於先進的動態下混頻單元和高解析度頻帶上混頻單元而在不同的空間環境之間提 供了改進和靈活的轉換。動態下混頻單元包括智能分析與校正環，用於校正許多下混頻方 法所共有的頻譜、時間和空間的不準確性。上混頻單元利用對整個高解析度頻帶提取並分 析重要的聲道間的空間提示(cue)，來得到不同頻率元素的空間布置。下混頻和上混頻單元 當單獨或作為系統使用時，提供了改進的聲音質量和空間區別。本領域技術人員在結合附圖閱讀隨後的詳細說明時，會進一步意識到本發明的優 點和優越特徵以及其它的重要方面。


圖1是根據本發明的示範性實施例的利用分析和校正環進行動態下混頻的系統 的示圖；圖2是根據本發明的示範性實施例的用於從N個聲道向M個聲道進行下混頻數據 的系統的示圖；圖3是根據本發明的示範性實施例的用於從5個聲道向2個聲道進行下混頻數據 的系統的示圖；圖4是根據本發明的示範性實施例的子帶(sub-band)矢量計算系統的示圖；圖5是根據本發明的示範性實施例的子帶校正系統的示圖；圖6是根據本發明的示範性實施例的用於從M個聲道向N個聲道進行上混頻數據 的系統的示圖；圖7是根據本發明的示範性實施例的用於從2個聲道向5個聲道進行上混頻數據 的系統的示圖；圖8是根據本發明的示範性實施例的用於從2個聲道向7個聲道進行上混頻數據 的系統的示圖；圖9是根據本發明的示範性實施例的用於提取聲道間空間提示並產生用於頻域 應用的空間聲道濾波的方法的示圖；圖IOA是根據本發明的示範性實施例的示範性左前聲道濾波圖的示圖；圖IOB是示範性右前聲道濾波圖的示圖；圖IOC是示範性中心聲道濾波圖的示圖；圖IOD是示範性左環繞聲道濾波圖的示圖；以及圖IOE是示範性右環繞聲道濾波圖的示圖。
具體實施例方式在隨後的說明中，貫穿本說明書和附圖用相同的附圖標記來標誌相同的部分。附 圖可能沒有按比例，並且某些組成部分能夠以概括或示意性的形式顯示，而且為了清楚和簡明起見用商品名稱來標識。圖1是根據本發明的示範性實施例的利用分析與校正環從N聲道音頻格式向M聲 道音頻格式進行動態下混頻的系統100的示圖。系統100使用5. 1聲道聲音(即，N = 5)， 並且將5. 1聲道聲音轉換成立體聲(即，M = 2)，但是其它適當數目的輸入和輸出聲道也能 夠或代替地被使用。使用基準下混頻102、基準上混頻104、子帶矢量計算系統106和108以及子帶校 正系統110來實現系統100的動態下混頻過程。通過基準上混頻104、子帶矢量計算系統 106和108以及子帶校正系統110實現分析和校正環，其中，基準上混頻104模擬上混頻過 程，子帶矢量計算系統106和108計算模擬的上混頻和原始信號的每一頻帶的能量和位置 矢量，以及子帶校正系統110比較模擬的上混頻和原始信號的能量和位置矢量，並且調整 下混頻信號的聲道間空間提示以對任何不一致進行校正。系統100包括靜態基準下混頻102，其將接收到的N聲道音頻轉換成M聲道音頻。 靜態基準下混頻102接收5. 1聲音聲道左L (T)、右R(T)、中心C (T)、左環繞LS (T)和右環繞 RS (T)，並且將5. 1聲道信號轉換成立體聲聲道信號左水印LW』 (T)和右水印RW』 (T)。左水印LW，(T)和右水印RW，(T)立體聲道信號隨後被提供給基準上混頻104，其 將立體聲聲道轉換成5. 1聲音聲道。基準上混頻104輸出5. 1聲音聲道左L』(T)、右』R(T)、 中心C』⑴、左環繞LS，(T)和右環繞RS，(T)。從基準上混頻104輸出的上混頻的5. 1聲道聲音信號然後被提供給子帶矢量計算 系統106。來自子帶矢量計算系統106的輸出是用於上混頻的5. 1聲道信號L』 (T)、R』 (T)、 C』(T)、LS』 (T)和RS』 (T)的多個頻帶的上混頻能量和圖像位置數據。同樣地，原始5.1聲 道的聲音信號被提供給子帶矢量計算系統108。來自子帶矢量計算系統108輸出的是用於 原始5. 1聲道信號L(T)、R(T)、C(T)、LS(T)和RS(T)的多個頻帶的源能量和圖像位置數據。 子帶矢量計算系統106和108計算的能量和位置矢量包括對於每一頻帶的總能量測量和2 維矢量，其指示在理想收聽條件下對於收聽者的給定頻率元素的感覺強度和源位置。例如， 使用適當的濾波器組能夠將音頻信號從時域轉換到頻域，該濾波器組諸如有限脈衝響應 (FIR)濾波器組、正交鏡像濾波器(QMF)組、離散傅立葉變換(DFT)、時域混疊消除(TDAC) 濾波器組或其它適當的濾波器組。濾波器組輸出被進一步處理以確定每一頻帶的總能量和 每一頻帶的標準化圖像位置矢量。從子帶矢量計算系統106和108輸出的能量和位置矢量值被提供給子帶校正系統 110，其分析用於原始5. 1聲道聲音的源能量和位置與當從左水印LW』⑴和右水印RW』⑴ 立體聲道信號生成時用於5. 1聲道聲音的上混頻能量和位置。然後，在產生LW(T)和RW(T) 的左水印LW』 (T)和右水印RW』 (T)上對每一子帶識別和校正源和上混頻的能量與位置矢 量之間的差，以便提供更加準確的下混頻的立體聲道信號，並且當立體聲道信號隨後被上 混頻時提供更加準確的5. 1再現。校正的左水印LW(T)和右水印RW(T)信號被輸出用於傳 輸、由立體聲接收機接收、由具有上混頻功能的接收機接收或者用於其它適當的用途。在工作中，通過包括整個下混頻/上混頻系統的模擬、分析和校正的智能分析和 校正環，系統100將5. 1聲道聲音動態地下混頻到立體聲聲音。這種方法通過以下步驟 完成，即，生成靜態下混頻立體聲信號LW』 (T)和RW』 (T)；模擬隨後的上混頻信號L』(T)、 R』(T)、C』(T)、LS』⑴和RS』⑴；以及分析那些信號與原始5.1聲道信號以在子帶的基礎上識別和校正任何能量或位置矢量差，其能夠影響左水印LW』⑴和右水印RW』⑴立體 聲信號或隨後上混頻的環繞聲道信號的質量。產生左水印LW(T)和右水印RW(T)立體聲信 號的子帶校正處理被執行，以便當LW(T)和RW(T)被上混頻時，作為結果而得到的5. 1聲道 聲音以改進的準確性匹配原始輸入的5. 1聲道聲音。同樣地，附加處理能夠被執行，以便允 許任何適當數目的輸入聲道被轉換成適當數目的水印輸出聲道，諸如7. 1聲道聲音轉換成 水印立體聲、7. 1聲道聲音轉換成水印5. 1聲道聲音、定製聲音聲道(諸如用於汽車音響系 統或電影院之類)轉換成立體聲或者其它適當的轉換。圖2是根據本發明的示範性實施例的靜態基準下混頻200的示圖。靜態基準下混 頻200能夠作為圖1的基準下混頻102或者以其它適當的方式使用。基準下混頻200將N聲道音頻轉換成M聲道音頻，其中，N和M為整數，並且N大 於M。基準下混頻200接收輸入信號X1CThX2 (T)到XN(T)。對於每個輸入聲道i，輸入信 號Xi (T)被提供給希爾伯特(Hilbert)變換單元202到206，其引入90°相移信號。諸如 實現90°相移的希爾伯特濾波器或全通濾波器網絡之類的其它處理也能夠或代替地被使 用而代替希爾伯特變換單元。對於每個輸入聲道i，希爾伯特變換信號和原始輸入信號然後 通過第一級乘法器208到218分別與預定比例常數Cm和Cil2相乘，其中，第一個下標表示 輸入聲道號i，第二個下標表示第一級乘法器，而第三個下標表示每級的乘法器號。乘法器 208到218的輸出然後被加法器220到224求和，生成分數希爾伯特信號V , (T)。相對於 相應的輸入信號Xi (T)，從乘法器220到224輸出的分數希爾伯特信號V , (T)具有可變數 量的相移。相移量取決於比例常數Cm和Cil2，其中，0°相移可以對應於Cill = O和Cil2 = 1，而士 90°相移可以對應於(^ = 士1和Cil2 = 0。使用Cm和Cil2的適當值，任何中間量 的相移都是可能的。用於每個輸入聲道i的每個信號V , (T)然後通過第二級乘法器226到242與預 定比例常數C㈤相乘，其中，第一個下標表示輸入聲道號i，第二下標表示第二級乘法器，而 第三個下標表示輸出聲道號j。乘法器226到242的輸出然後被加法器244到248適當求 和以生成用於每個輸出聲道j的相應輸出信號Yj(T)。通過每個輸入聲道i和輸出聲道j 的空間位置確定用於每個輸入聲道i和輸出聲道j的比例常數Ci2j。例如，用於左輸入聲道 i和右輸出聲道j的比例常數Ci2j能夠被設置為近似零以保持空間區別。同樣地，用於前輸 入聲道i和前輸出聲道j的比例常數Ci2j能夠被設置為近似1以保持空間布置。在工作中，在接收機接收輸出信號時，基準下混頻200以允許輸入信號中的空間 關係被任意管理和提取的方式將N個聲道組合成M個聲道。進而，如所示的N聲道聲音的 組合生成M聲道聲音，其對於在M聲道音頻環境中收聽的收聽者是可接受的質量。因此，基 準下混頻200能夠被用於將N聲道聲音轉換成M聲道聲音，其能夠被M聲道接收機、具有適 當上混頻器的N聲道接收機或其它適當接收機使用。圖3是根據本發明的示範性實施例的靜態基準下混頻300的示圖。如圖3所示， 靜態基準下混頻300是圖2的靜態基準下混頻200的實現，其將5. 1聲道時域數據轉換成 立體聲道時域數據。靜態基準下混頻300能夠作為圖1的基準下混頻102或以其它適當的 方式使用。基準下混頻300包括希爾伯特變換302，其接收源5. 1聲道聲音的左聲道信號 L(T)，並且對時間信號執行希爾伯特變換。希爾伯特變換引入信號的90°相移，然後其通
12過乘法器310與預定比例常數Cu相乘。諸如實現90°相移的希爾伯特濾波器或全通濾波 器網絡之類的其它處理也能夠或代替地被使用而代替希爾伯特變換單元。原始左聲道信號 L(T)通過乘法器312與預定比例常數Q2相乘。乘法器310和312的輸出被加法器320求 和，以生成分數希爾伯特信號L』(T)。同樣地，來自源5.1聲道聲音的右聲道信號R(T)由 希爾伯特變換304處理，並且通過乘法器314與預定比例常數Cki相乘。原始右聲道信號 R(T)通過乘法器316與預定比例常數Ck2相乘。乘法器314和316的輸出被加法器322求 和，以生成分數希爾伯特信號R』(T)。相對於相應的輸入信號L(T)和R(T)，從乘法器320 和322輸出的分數希爾伯特信號L』 (T)和R』 (T)分別具有可變量的相移。相移量取決於 比例常數Cu、CL2, Cei和Ck2，其中，0°相移可對應於Cu = 0，Cl2 = 1，Cei = 0和Ck2 = 1，而 士90° 相移可對應於 Cli = 士 1，Cl2 = 0，Cei = 士1 和 Ck2 = 0。使用 CL1、CL2、CK1 和 Ce2 的適 當值，任何中間量的相移都是可能的。來自源5. 1聲道聲音的中心聲道輸入被提供給乘法 器318作為分數希爾伯特信號C』(T)，意味著沒有對中心聲道輸入信號進行相移。乘法器 318使C』 (T)與預定比例常數C3相乘，如衰減3分貝。加法器320和322以及乘法器318 的輸出被適當地求和成左水印聲道LW』 (T)和右水印聲道RW』(T)。來自源5. 1聲道聲音的左環繞聲道LS(T)被提供給希爾伯特變換306，而來自源 5. 1聲道聲音的右環繞聲道RS (T)被提供給希爾伯特變換308。希爾伯特變換306和308的 輸出是分數希爾伯特信號LS』 (T)和RS』(T)，意味著在LS(T)和LS』 (T)信號對以及RS(T) 和RS』(T)信號對之間存在滿90°相移。LS』 (T)然後通過乘法器324和326分別與預定 比例常數Qsi和Qs2相乘。同樣地，RS'⑴通過乘法器328和330分別與預定比例常數Cksi 和Cks2相乘。乘法器324到330的輸出被適當地提供給左水印聲道LW』⑴和右水印聲道 Rff'⑴。加法器332接收從加法器320輸出的左聲道信號、從乘法器318輸出的中心聲道 信號、從乘法器324輸出的左環繞聲道信號以及從乘法器328輸出的右環繞聲道信號，並且 相加這些信號以形成左水印聲道LW』 (T)。同樣地，加法器334接收從乘法器318輸出的中 心聲道信號、從加法器322輸出的右聲道信號、從乘法器326輸出的左環繞聲道信號以及從 乘法器330輸出的右環繞聲道信號，並且相加這些信號以形成右水印聲道RW』 (T)。在工作中，在接收機接收左水印聲道和右水印聲道立體聲信號時，基準下混頻300 以允許5. 1輸入聲道中的空間關係被維持和提取的方式組合源5. 1聲道。進而，如所示的 5. 1聲道聲音的組合生成立體聲聲音，其對於使用沒有進行環繞聲上混頻的立體聲接收機 的收聽者是可接受的質量。因此，基準下混頻300能夠被用於將5. 1聲道聲音轉換成立體 聲的聲音，其能夠被立體聲接收機、具有適當上混頻器的5. 1聲道接收機、具有適當上混頻 器的7. 1聲道接收機或其它適當接收機使用。圖4是根據本發明示範性實施例的子帶矢量計算系統400的示圖。子帶矢量計算 系統400提供用於多個頻帶的能量和位置矢量數據，並且能夠用作圖1的子帶矢量計算系 統106和108。儘管示出了 5. 1聲道聲音，但是能夠使用其它適當的聲道配置。子帶矢量計算系統400包括時間-頻率分析單元402到410。5. 1時域聲道L(T)、 R(T) X(T) ,LS(T)和RS(T)分別被提供給時間_頻率分析單元402到410，其將時域信號轉 換成頻域信號。這些時間-頻率分析單元能夠是適當的濾波器組，諸如有限脈衝響應(FIR) 濾波器組、正交鏡像濾波器(QMF)組、離散傅立葉變換(DFT)、時域混疊消除(TDAC)濾波器組或其它適當的濾波器組。對於L(F)、R(F)、C(F)、LS(F)和RS(F)，從時間-頻率分析單元 402到410輸出每一頻帶的幅度或能量值。這些幅度/能量值包括對每個相應聲道的每個頻 帶分量的幅度/能量測量。幅度/能量測量被加法器412求和，該加法器412輸出T (F)，其 中，T(F)是每一頻帶的輸入信號的總能量。這個值然後被除法單元414到422分成聲道幅 度/能量值中的每一個，以生成相應的標準化聲道間級差(ICLD)信號MJF) ,Me(F) ,Mc(F)、 Mls(F)和Mks (F)，其中，這些ICLD信號能夠被視為對每個聲道的標準化子帶能量估計。5. 1聲道聲音被映射到標準化位置矢量，如用由橫軸和縱軸組成的2維平面上的 示範性定位所示。如圖所示，用於(X…Yls)的定位值被分配到原點，(XKS，Yes)的值被分配 到(0，1)，(XL, Yl)的值被分配到(0，1-C)，其中，C是1和0之間的值，表示左右揚聲器離 房間後面的退後距離。同樣地，(XK，YK)的值為(1，1-C)。最後，用於(XC，YC)的值為(0.5， 1)。這些坐標是示範性的，並且能夠被改變以反映揚聲器相對於彼此的實際標準化定位或 配置，如揚聲器坐標基於房間的大小、房間的形狀或其它因素而不同。例如，在使用7. 1聲 音或其它適當聲道配置時，能夠提供附加的坐標值，其反映揚聲器在房間周圍的定位。同樣 地，這樣的揚聲器定位能夠基於揚聲器在汽車、房間、禮堂、劇場或如其它適當地方中的實 際分布來定製。估計的圖像位置矢量P(F)能夠以如下矢量方程中闡述的那樣對每一子帶來計 算P(F) = Ml(F)女(XL, YL)+Me (F)女(Xk，YK)+Mc (F)女(Xc, Yc) +i.MLS(F) * (XLS, YLS)+Mes (F) * (XES, YES)因此，對於每個頻帶，提供總能量T (F)的輸出和位置矢量P (F)，它們被用來為該 頻帶限定視在頻率源的感覺強度和位置。以這種方式，頻率分量的空間圖像能夠被定位，諸 如用於子帶校正系統110或用於其它適當的目的。圖5是根據本發明示範性實施例的子帶校正系統的示圖。子帶校正系統能夠用作 圖1的子帶校正系統110或用於其它適當的目的。子帶校正系統接收左水印LW』 (T)和右 水印RW』 (T)立體聲道信號，並且對水印信號進行能量和圖像校正，以便為每個頻帶補償作 為基準下混頻或其它適當方法的結果而可能產生的信號不準確性。子帶校正系統對每個頻 帶接收並利用源的總能量信號Tsotkce(F)和隨後的上混頻信號的總能量信號Tihix(F)以及用 於源的位置矢量Psotke(F)和隨後的上混頻信號的位置矢量Pumix(F)，諸如圖1的子帶矢量計 算系統106和108生成的那些。這些總能量信號和位置矢量用於確定將要進行的適當校正 和補償。子帶校正系統包括位置校正系統500和頻譜能量校正系統502。位置校正系統 500接收用於左水印立體聲道LW』 (T)和右水印立體聲道RW』 (T)的時域信號，其分別由時 間_頻率分析單元504和506從時域轉換成頻域。這些時間-頻率分析單元能夠是適當的 濾波器組，諸如有限脈衝響應(FIR)濾波器組、正交鏡像濾波器(QMF)組、離散傅立葉變換 (DFT)、時域混疊消除(TDAC)濾波器組或其它適當的濾波器組。時間-頻率分析單元504和506的輸出是頻域子帶信號LW』 (F)和RW』 (F)。在 信號LW，(F)和RW，(F)中對於每一子帶調整聲道間級差(ICLD)和聲道間相干性(ICC)的 相關空間提示。例如，這些提示能夠通過操縱LW』 (F)和RW』 (F)的幅度或能量(所示為 Lff' (F)和RW』 (F)的絕對值)以及LW』 (F)和RW』 (F)的相角來調整。通過由乘法器508將LW』(F)的幅度/能量值與以下方程所生成的值相乘來進行ICLD的校正[Xmax-Px, souece (F) ] / [Xmax-Px, umix (F)]其中Xmax=最大X坐標邊界Px, S0UECE (F)=相對於源矢量的估計的子帶X位置坐標Px,mix(F)=相對於隨後上混頻矢量的估計的子帶X位置坐標同樣地，用於RW』 (F)的幅度/能量通過乘法器510與以下方程所生成的值相乘[Px, S0UKCE (F) -Xmin ] / [Px,腿x (F) -Xmin]其中Xmin=最小X坐標邊界通過由加法器512將用於LW』 (F)的相角與以下方程所生成的值相加來進行ICC 的校正+/-Π * [PY, source (F) -PY, UMIX (F) ] / [ΥΜΧ-ΥΜΙΝ]其中
1 Y, SOURCE (F)
Ργ, UMIX (F) V
J-M
LMAX
γ
1MIN
=相對於源矢量的估計的子帶Y位置坐標 =相對於隨後上混頻矢量的估計的子帶Y位置坐標 =最大Y坐標邊界 =最小Y坐標邊界同樣地，用於RW』 (F)的相角通過加法器514與以下方程所生成的值相加-/+Π * [PY, source (F) -Ργ, UMIX (F) ] / [ΥΜΧ-ΥΜΙΝ]注意，相加到LW』 (F)和RW』 (F)的角分量具有相等的值但具有相反的極性，其中， 作為結果的極性由LW』 (F)和RW』 (F)之間的超前相角來確定。校正的LW』 (F)幅度/能量和LW』 (F)相角被加法器516重新組合以形成用於每個 子帶的復值LW(F)，然後通過頻率-時間綜合單元520轉換成左水印時域信號LW(T)。同樣 地，校正的RW』 (F)幅度/能量和RW』 (F)相角被加法器518重新組合以形成用於每個子帶 的復值RW(F)，然後通過頻率-時間綜合單元522轉換成右水印時域信號RW(T)。頻率-時 間綜合單元520和522能夠是能將頻域信號轉換回時域信號的適當綜合濾波器組。如這個示範性實施例所示，通過使用適當調整ICLD和ICC空間提示的位置校正 500，能夠校正用於水印左和右聲道信號的每個頻譜分量的聲道間空間提示。頻譜能量校正系統502能夠用於確保下混頻信號的總頻譜平衡與原始5. 1信號的 總頻譜平衡相一致，因此，例如就補償了由梳狀濾波造成的頻譜偏移。分別使用時間_頻率 分析單元524和526來將左水印時域信號LW』 (T)和右水印時域信號RW』 (T)從時域轉換 到頻域。這些時間-頻率分析單元能夠是適當的濾波器組，諸如有限脈衝響應(FIR)濾波 器組、正交鏡像濾波器(QMF)組、離散傅立葉變換(DFT)、時域混疊消除(TDAC)濾波器組或 其它適當的濾波器組。從時間_頻率分析單元524和526輸出的是LW』 (F)和RW』 (F)頻 率子帶信號，其通過乘法器528和530與Tsqukce(F)/Tumix(F)相乘，其中Tsouece(F) = L(F) +1 R(F) | + |C(F) | + |LS(F) +I RS (F)Traix (F) = I Lumix (F) I +1 Rraix (F) | +1 Craix (F) | +
15
LSmix(F) +IRSumix(F)來自乘法器528和530的輸出然後被頻率-時間綜合單元532和534從頻域轉換 回時域以生成LW(T)和RW(T)。頻率-時間綜合單元可以是能夠將頻域信號轉換回時域信 號的適當綜合濾波器組。以這種方式，位置和能量校正能夠被施加到下混頻立體聲道信號 Lff'⑴和RW』⑴，以便產生忠實於原始5. 1信號的左和右水印聲道信號LW⑴和RW⑴。 Lff(T)和RW(T)能夠以立體聲回放或上混頻回到5. 1聲道或其它適當數目的聲道，而不顯著 改變原始5. 1聲道聲音中存在的任意內容元素的頻譜分量位置或能量。圖6是根據本發明示範性實施例的用於從M個聲道向N個聲道上混頻數據的系統 600的示圖。系統600將立體聲時域數據轉換成N聲道時域數據。系統600包括時間-頻率分析單元602和604、濾波生成單元606、平滑單元608 以及頻率_時間綜合單元634到638。通過允許高解析度頻帶處理的可伸縮頻域結構，並且 通過提取並分析每頻帶的重要聲道間的空間提示以得到上混頻N聲道信號中頻率元素的 空間布置的濾波生成方法，系統600在上混頻過程中提供了改進的空間區別和穩定性。系統600在將時域信號轉換成頻域信號的時間_頻率分析單元602和604處接收 左聲道立體聲信號L(T)和右聲道立體聲信號R(T)。這些時間-頻率分析單元能夠是適當 的濾波器組，諸如有限脈衝響應(FIR)濾波器組、正交鏡像濾波器(QMF)組、離散傅立葉變 換(DFT)、時域混疊消除(TDAC)濾波器組或其它適當的濾波器組。從時間-頻率分析單元 602和604輸出的是一組頻域值，覆蓋了人類聽覺系統的充分的頻率範圍，如0到20kHz的 頻率範圍，其中分析濾波器組子帶帶寬能夠被處理以逼近心理聲學的臨界頻帶、等效矩形 帶寬或某種其它知覺特性。同樣地，能夠使用其它適當數目的頻帶和範圍。來自時間-頻率分析單元602和604的輸出被提供給濾波生成單元606。在一個 示範性實施例中，濾波生成單元606能夠接收關於應當為給定的環境而輸出的聲道數目的 外部選擇。例如，能夠選擇有兩前和兩後揚聲器的4. 1聲道，能夠選擇有兩前、兩後和一個 前中心揚聲器的5. 1音響系統，能夠選擇有兩前、兩側、兩後和一個前中心揚聲器的7. 1音 響系統，或者能夠選擇其它適當的音響系統。濾波生成單元606在頻帶的基礎上提取並分 析諸如聲道間級差(ICLD)和聲道間相干性(ICC)之類的聲道間空間提示。那些相關的空 間提示然後用作參數以生成適應的聲道濾波，其控制上混頻聲場中頻帶元素的空間布置。 通過平滑單元608在整個時間和頻率上均使聲道濾波平滑以限制濾波可變性，所述濾波可 變性如果被允許變化太迅速的話，能夠造成討厭的波動效應。在圖6顯示的示範性實施例 中，左和右聲道L(F)和R(F)頻域信號被提供給濾波生成單元606，其產生N個聲道濾波信 號H1 (F)、H2 (F)到Hn(F)，它們被提供給平滑單元608。平滑單元608在整個時間和頻率維數上為N個聲道濾波中的每個聲道平均化頻域 分量。在整個時間和頻率上的平滑有助於控制聲道濾波信號中的快速波動，因此就減少了 能夠令收聽者討厭的抖動贗象(jitter artifact)和不穩定性。在一個示範性實施例中，通 過對根據當前幀的每個頻帶和根據以前幀的相應頻帶應用一階低通濾波，能夠實現時間平 滑。這具有逐幀減少每個頻帶的可變性的效果。在另一個示範性實施例中，能夠對整個頻率 槽(bin)的組進行頻譜平滑，所述頻率槽被模擬成近似人類聽覺系統的臨界頻帶間隔。例 如，如果使用具有均勻間隔的頻率槽的分析濾波器組，則對於頻譜的不同分區能夠對不同 數目的頻率槽分組和平均化。例如，從0到5kHz，能夠平均化5個頻率槽，從5kHz到10kHz，
16能夠平均化7個頻率槽，並且從IOkHz到20kHz，能夠平均化9個頻率槽，或者能夠選擇其它 適當數目的頻率槽和帶寬範圍。從平滑單元608輸出H1 (F)、H2 (F) IIJHn(F)的平滑值。用於N個輸出聲道中的每一個的源信號X1(F)、X2(F)到Xn(F)被生成為M個輸入 聲道的適應組合。在圖6顯示的示範性實施例中，對於給定的輸出聲道i，從加法器614、 620和626輸出的聲道源信號Xi (F)被生成為L(F)乘以適應的縮放信號Gi (F)和R(F)乘以 適應縮放信號I-Gi(F)之和。乘法器610、612、616、618、622和624所使用的適應縮放信號 Gi(F)是通過輸出聲道i的預期空間位置和每一頻帶的L(F)和R(F)的動態聲道間相干性 估計來確定的。同樣地，被提供給加法器614、620和626的信號的極性通過輸出聲道i的 預期空間位置來確定。例如，在加法器614、620和626處的適應縮放信號Gi (F)和極性能 夠被設計來為前中心聲道提供L (F) +R (F)組合，為左聲道提供L (F)，為右聲道提供R (F)，以 及為後聲道提供L(F)-R (F)，如傳統矩陣上混頻方法中通用的那樣。適應縮放信號Gi (F)能 夠進一步提供一方法以動態調整輸出聲道對之間的相互關係，無論它們是橫向還是縱向的 聲道對。聲道源信號X1 (F)、X2 (F)到Xn(F)分別通過乘法器628到632與平滑的聲道濾波 H1 (F)、H2 (F) IIJHn(F)相乘。來自乘法器628到632的輸出然後被頻率-時間綜合單元634到638從頻域轉換 到時域以生成輸出聲道Y1CThY2(T)到￥,(10。以這種方式，左和右立體聲信號被上混頻到 N個聲道信號，其中，自然存在的或者如通過圖1的下混頻水印過程或其它適當過程那樣的 被有意編碼到左和右立體聲信號中的聲道間空間提示，能夠用於控制系統600產生的N聲 道聲場之內的頻率元素的空間布置。同樣地，能夠使用輸入和輸出的其它適當組合，諸如立 體聲到7. 1聲音、5. 1到7. 1聲音或者其它適當的組合。圖7是根據本發明的示範性實施例的用於從M個聲道向N個聲道上混頻數據的系 統700的示圖。系統700將立體聲時域數據轉換成5. 1聲道時域數據。系統700包括時間-頻率分析單元702和704、濾波生成單元706、平滑單元708 以及頻率_時間綜合單元738到746。通過允許高解析度頻帶處理的可伸縮頻域結構的使 用，並且通過提取並分析每一頻帶的重要聲道間的空間提示以得到上混頻5. 1聲道信號中 頻率元素的空間布置的濾波生成方法，系統700在上混頻過程中提供了改進的空間區別和 穩定性。系統700在將時域信號轉換成頻域信號的時間_頻率分析單元702和704處接收 左聲道立體聲信號L(T)和右聲道立體聲信號R(T)。這些時間-頻率分析單元能夠是適當 的濾波器組，諸如有限脈衝響應(FIR)濾波器組、正交鏡像濾波器(QMF)組、離散傅立葉變 換(DFT)、時域混疊消除(TDAC)濾波器組或其它適當的濾波器組。從時間-頻率分析單元 702和704輸出的是一組頻域值，覆蓋了人類聽覺系統的充分的頻率範圍，如0到20kHz的 頻率範圍，其中分析濾波器組子帶帶寬能夠被處理以近似心理聲學的臨界頻帶、等效矩形 帶寬或某種其它知覺特性。同樣地，能夠使用其它適當數目的頻帶和範圍。來自時間-頻率分析單元702和704的輸出被提供給濾波生成單元706。在一個 示範性實施例中，關於應當為給定環境而輸出的聲道數目，濾波生成單元706能夠接收外 部選擇，諸如能夠選擇有兩前和兩後揚聲器的4. 1聲道，能夠選擇有兩前、兩後和一個前中 心揚聲器的5. 1音響系統，能夠選擇有兩前和一個前中心揚聲器的3. 1音響系統，或者能夠選擇其它適當的音響系統。濾波生成單元706在頻帶的基礎上提取並分析諸如聲道間級差 (ICLD)和聲道間相干性(ICC)之類的聲道間空間提示。那些相關的空間提示然後用作參數 以生成適應的聲道濾波，其控制上混頻聲場中頻帶元素的空間布置。通過平滑單元708在 整個時間和頻率上使聲道濾波平滑以限制濾波可變性，所述濾波可變性如果被允許變化太 迅速的話，能夠造成討厭的波動效應。在圖7顯示的示範性實施例中，左和右聲道L(F)和 R(F)頻域信號被提供給濾波生成單元706，其產生5. 1聲道濾波信號扎(F)、He(F)、Hc(F)、 Hls (F)和Hks (F)，它們被提供給平滑單元708。平滑單元708在整個時間和頻率維數上為5. 1聲道濾波中的每個聲道平均化頻域 分量。在整個時間和頻率上的平滑有助於控制聲道濾波信號中的快速波動，因此，減少了能 夠令收聽者討厭的抖動贗象和不穩定性。在一個示範性實施例中，通過對根據當前幀的每 個頻帶和根據先前幀的相應頻帶應用一階低通濾波能夠實現時間平滑。這具有逐幀減少每 個頻帶的可變性的效果。在一個示範性實施例中，能夠對整個頻率槽組進行頻譜平滑，所述 頻率槽被模擬成近似人類聽覺系統的臨界頻帶間隔。例如，如果使用具有均勻間隔的頻率 槽的分析濾波器組，則對於頻譜的不同分區能夠分組和平均化不同數目的頻率槽。在這個 示範性實施例中，從0到5kHz能夠平均化5個頻率槽，從5kHz到IOkHz能夠平均化7個頻 率槽，並且從IOkHz到20kHz能夠平均化9個頻率槽，或者能夠選擇其它適當數目的頻率槽 和帶寬範圍。從平滑單元708輸出Hl (F)、He (F)、Hc (F)、Hls (F)和Hes (F)的平滑值。用於5. 1輸出聲道中的每一個的源信號Xl(F) ,Xe(F) ,Xc(F) ,Xls(F)和Xes(F)被生 成為立體聲輸入聲道的適應組合。在圖7所示的示範性實施例中，XJF)被簡單地提供為 L (F)，意味著對於全部頻帶都有Q(F) = 1。同樣地，Xk (F)被簡單地提供為R (F)，意味著對 於全部頻帶都有Gk(F) =O0作為從加法器714輸出的X。(F)被計算為信號L(F)乘以適應 縮放信號Gc(F)與R(F)乘以適應縮放信號I-Gc(F)的和。作為從加法器720輸出的\S(F) 被計算為信號L(F)乘以適應縮放信號與R(F)乘以適應縮放信號I-Gu(F)的和。 同樣地，作為從加法器726輸出的Xks(F)被計算為信號L(F)乘以適應縮放信號Gks(F)與 R(F)乘以適應縮放信號I-Ges(F)的和。注意，如果對於全部頻帶都有G。(F) =0.5、Gls(F) =0.5，以及Gks (F) =0.5，那麼前中心聲道源自L(F)+R(F)組合，並且環繞聲道源自經縮放 的L(F)-R(F)組合，如傳統矩陣上混頻方法中通用的那樣。適應縮放信號Gc (F)、Gu(F)和 Ges(F)能夠進一步提供一方法以動態調整相鄰輸出聲道對之間的相關性，無論它們是橫向 還是縱向的聲道對。聲道源信號XJF)、Xk (F)、Xc (F)、Xu (F)和Xks(F)分別通過乘法器728 到736與平滑的聲道濾波Hl (F)、He (F)、Hc (F)、Hls (F)和Hes (F)相乘。來自乘法器728到736的輸出然後被頻率-時間綜合單元738到746從頻域轉換 到時域以生成輸出聲道YJT)、YK⑴、Yc(F)、Yu(F)和Yks(T)。以這種方式，左和右立體聲信 號被上混頻到5. 1聲道信號，其中，自然存在的或者如通過圖1的下混頻水印過程或其它適 當過程那樣的被有意編碼到左和右立體聲信號的聲道間空間提示，能夠用於控制系統700 產生的5. 1聲道聲場之內的頻率元素的空間布置。同樣地，能夠使用輸入和輸出的其它適 當組合，諸如立體聲到4. 1聲音、4. 1到5. 1聲音或者其它適當的組合。圖8是根據本發明的示範性實施例的用於從M個聲道向N個聲道上混頻數據的系 統800的示圖。系統800將立體聲時域數據轉換成7. 1聲道時域數據。系統800包括時間-頻率分析單元802和804、濾波生成單元806、平滑單元808以及頻率_時間綜合單元854到866。通過允許高解析度頻帶處理的可伸縮頻域結構，並且通 過提取並分析每一頻帶的重要聲道間的空間提示以得到上混頻7. 1聲道信號中頻率元素 的空間布置的濾波生成方法，系統800在上混頻過程中提供了改進的空間區別和穩定性。系統800在將時域信號轉換成頻域信號的時間_頻率分析單元802和804處接收 左聲道立體聲信號L(T)和右聲道立體聲信號R(T)。這些時間-頻率分析單元能夠是適當 的濾波器組，諸如有限脈衝響應(FIR)濾波器組、正交鏡像濾波器(QMF)組、離散傅立葉變 換(DFT)、時域混疊消除(TDAC)濾波器組或其它適當的濾波器組。從時間-頻率分析單元 802和804輸出的是一組頻域值，其覆蓋了人類聽覺系統的充分的頻率範圍，如0到20kHz 的頻率範圍，其中分析濾波器組子帶帶寬能夠被處理成近似心理聲學的臨界頻帶、等效矩 形帶寬或某種其它知覺特性。同樣地，能夠使用其它適當數目的頻帶和範圍。來自時間-頻率分析單元802和804的輸出被提供給濾波生成單元806。在一個 示範性實施例中，關於應當為給定的環境而輸出的聲道數目，濾波生成單元806能夠接收 外部選擇。例如，能夠選擇有兩前和兩後揚聲器的4. 1聲道，能夠選擇有兩前、兩後和一個 前中心揚聲器的5. 1音響系統，能夠選擇有兩前、兩側、兩後和一個前中心揚聲器的7. 1音 響系統，或者能夠選擇其它適當的音響系統。濾波生成單元806在頻帶的基礎上提取並分 析諸如聲道間級差(ICLD)和聲道間相干性(ICC)之類的聲道間空間提示。那些相關的空間 提示然後用作參數以生成適應的聲道濾波，其控制上混頻聲場中頻帶元素的空間布置。通 過平滑單元808在整個時間和頻率上使聲道濾波平滑以限制濾波可變性，所述濾波可變性 如果被允許變化太迅速的話，能造成討厭的波動效應。在圖8所示的示範性實施例中，左和 右聲道L(F)和R(F)頻域信號被提供給濾波生成單元806，其產生7. 1聲道濾波信號凡(F)、 He (F)、Hc (F)、Hls (F)、Hes (F)、Hlb (F)和 Heb (F)，它們被提供給平滑單元 808。平滑單元808在整個時間和頻率維數上為7. 1聲道濾波的每個聲道平均化頻域分 量。在整個時間和頻率上的平滑有助於控制聲道濾波信號中的快速波動，因此，減少了能夠 令收聽者討厭的抖動贗象和不穩定性。在一個示範性實施例中，通過對根據當前幀的每個 頻帶和根據先前幀的相應頻帶應用一階低通濾波，能夠實現時間平滑。這具有逐幀減少每 個頻帶的可變性的效果。在一個示範性實施例中，能夠在整個頻率槽的組上進行頻譜平滑， 所述頻率槽被模擬成近似人類聽覺系統的臨界頻帶間隔。例如，如果使用具有均勻間隔的 頻率槽的分析濾波器組，則對於頻譜的不同分區能夠分組和平均化不同數目的頻率槽。在 這個示範性實施例中，從0到5kHz能夠平均化5個頻率槽，從5kHz到IOkHz能夠平均化7 個頻率槽，並且從IOkHz到20kHz能夠平均化9個頻率槽，或者能夠選擇其它適當數目的頻 率槽和帶寬範圍。從平滑單元 808 輸出 Hl(F)、Hk(F) ,Hc(F)、Hls (F)、Hk (F) ,Hlb(F)和 Heb(F) 的平滑值。用於7. 1 輸出聲道中的每一個的源信號 Xl(F)、Xk(F)、Xc(F) ,Xls(F) >Xes(F) ,Xlb(F) 和Xkb(F)被生成為立體聲輸入聲道的適應組合。在圖8顯示的示範性實施例中，Xl(F)被 簡單地提供為L (F)，意味著對於全部頻帶都有GJF) = 1。同樣地，Xe(F)被簡單地提供為 R(F)，意味著對於全部頻帶都有Gk(F) =O0作為從加法器814輸出的X。(F)被計算為信 號L(F)乘以適應縮放信號Gc(F)與R(F)乘以適應縮放信號I-Gc(F)的和。作為從加法器 820輸出的(F)被計算為信號L(F)乘以適應縮放信號(F)與R(F)乘以適應縮放信號 I-Gls(F)的和。同樣地，作為從加法器826輸出的Xks (F)被計算為信號L(F)乘以適應縮放信號Gks (F)與R(F)乘以適應縮放信號I-Gks(F)的和。同樣地，作為從加法器832輸出的 Xlb(F)被計算為信號L(F)乘以適應縮放信號Glb(F)與R(F)乘以適應縮放信號I-Glb(F)的 和。同樣地，作為從加法器838輸出的Xeb (F)被計算為信號L(F)乘以適應縮放信號Gkb(F) 與R (F)乘以適應縮放信號I-Gkb(F)的和。注意，如果對於全部頻帶都有Gc (F) =0.5,Gls(F) =0. 5,Ges (F) =0.5、Glb(F) =0.5 和 Geb (F) = 0. 5，那麼前中心聲道源自 L (F)+R(F)組合， 並且側和後聲道源自成比例的L(F)-R(F)組合，如傳統矩陣上混頻方法中通用的那樣。適 應縮放信號Gc (F)、Gls (F)、Ges (F)、Glb (F)和Gkb (F)能夠進一步提供一方法以動態調整相鄰 輸出聲道對之間的相關性，無論它們是橫向還是縱向的聲道對。聲道源信號、Xe(F)、 Xc(F)、XLS (F) ,Xes (F)、Xlb (F)和Xeb (F)分別通過乘法器840到852與平滑的聲道濾波Hl(F)、 HE (F)、Hc (F)、HLS (F)、HES (F)、HLB (F)和 HEB (F)相乘。來自乘法器840到852的輸出然後被頻率-時間綜合單元854到866從頻域轉換 到時域以生成輸出聲道Yl (T)、YE (T)、Yc (F)、YLS (F)、YES (T)、YLB (T)和Yeb (T)。以這種方式， 左和右立體聲信號被上混頻到7. 1聲道信號，其中，自然存在的或者如通過圖1的下混頻水 印過程或其它適當過程那樣的被有意編碼到左和右立體聲信號的聲道間空間提示，能夠用 於控制系統800產生的7. 1聲道聲場內的頻率元素的空間布置。同樣地，能夠使用輸入和 輸出的其它適當組合，諸如立體聲到5. 1聲音、5. 1到7. 1聲音或者其它適當的組合。圖9是根據本發明示範性實施例的用於生成用於頻域應用的濾波的系統900的示 圖。濾波生成過程使用M聲道輸入信號的頻域分析和處理。為M聲道輸入信號的每個頻帶 提取相關聲道間空間提示，並且為每個頻帶生成空間位置矢量。對於理想收聽條件下的收 聽者，這個空間位置矢量被解釋為用於該頻帶的感覺源定位。然後生成每個聲道濾波，以便 用於上混頻N聲道輸出信號中的該頻率元素的作為結果的空間位置與聲道間提示一致地 再生。聲道間級差(ICLD)和聲道間相干性(ICC)的估計用作聲道間提示以產生空間位置 矢量。在系統900中所示的示範性實施例中，子帶幅度或能量分量被用於估計聲道間級 差，並且子帶相角分量用於估計聲道間相干性。左和右頻域輸入L(F)和R(F)被轉換成幅 度或能量分量和相角分量，其中，幅度/能量分量被提供給加法器902，其計算總能量信號 T(F), T(F)然後被用於通過除法器904和906分別為每個頻帶標準化左禮(F)和右聲道 Me(F)的幅度/能量值。然後，根據MJF)和Mk(F)計算標準化的橫向坐標信號LAT(F)，其 中，用於頻帶的標準化橫向坐標被計算為LAT(F)=Ml(F) Xmin+Me(F) Xmax同樣地，標準化深度坐標根據輸入的相角分量而被計算為DEP(F) = Ymax-O. 5 * (YMX_YMIN) * sqrt ([COS (/L (F)) -COS (/R (F)) Γ2+ [SIN (/L (F))-SIN(/R(F))]"2)標準化深度坐標基本上根據相角分量ZL(F)和ZR(F)之間的經縮放的和移位的距 離測量結果來計算。當相角ZUF)和ZR(F)在單位圓上相互接近時，DEP (F)的值接近1，並 且當相角ZUF)和ZR(F)接近單位圓的相對側時，DEP(F)接近0。對於每個頻帶，標準化的 橫向坐標和深度坐標形成2維矢量(LAT(F) ,DEP(F))，其被輸入到2維聲道圖中，如以下圖 IOA到IOE中所示的那樣，以產生用於每個聲道i的濾波值Hi (F)。從諸如圖6的濾波生成單元606、圖7的濾波生成單元706和圖8的濾波生成單元806之類的濾波生成單元輸出這 些用於每個聲道i的聲道濾波Hi (F)。圖IOA是根據本發明示範性實施例的用於左前信號的濾波圖的示圖。在圖IOA中， 濾波圖1000接受從0到1範圍的標準化橫向坐標和從0到1範圍的標準化深度坐標，並且 輸出從0到1範圍的標準化濾波值。灰度陰影用於指示幅度從最大1到最小0的變化，如 通過濾波圖1000的右手側的標度所示。對於這個示範性的左前濾波圖1000，接近(0，1)的 標準化橫和深度坐標將輸出接近ι. O的最高濾波值，而從近似(0. 6，Y)到(1. 0，Y)範圍的 坐標，其中Y為0和1之間的數，將基本上輸出0的濾波值。圖IOB是示範性右前濾波圖1002的示圖。濾波圖1002接受與濾波圖1000相同 的標準化橫向坐標和標準化深度坐標，但是輸出的濾波值偏向標準化布局的右前部。圖IOC是示範性中心濾波圖1004的示圖。在這個示範性實施例中，用於中心濾波 圖1004的最大濾波值發生在標準化布局的中心，隨著坐標從布局的前部中心離開朝向布 局的後部移動，幅度顯著下降。圖IOD是示範性左環繞濾波圖1006的示圖。在這個示範性實施例中，用於左環繞 濾波圖1006的最大濾波值發生在標準化布局的後左坐標附近，並且隨著坐標向布局的前 右側移動而幅度下降。圖IOE是示範性右環繞濾波圖1008的示圖。在這個示範性實施例中，用於右環繞 濾波圖1008的最大濾波值發生在標準化布局的後右坐標附近，並且隨著坐標向布局的前 左側移動而幅度下降。同樣地，如果使用其它的揚聲器布局或配置，那麼能夠調整現有的濾波圖，並且能 夠生成對應於新的揚聲器定位的新的濾波圖，以反映新的收聽環境的變化。在一個示範性 實施例中，7. 1系統將包括兩個另外的濾波圖，其具有在深度坐標維度上向上移動的左環繞 和右環繞，並且具有左後和右後定位，具有分別類似於濾波圖1006和1008的濾波圖。能夠 改變濾波因數下降的速率以適應不同數目的揚聲器。儘管在此已詳細地描述了本發明的系統和方法的示範性實施例，但是本領域技術 人員還會認識到，能夠對系統和方法進行各種替換和修改，而不背離附加權利要求的範圍 和精神。
2權利要求
1.一種用於從N聲道音頻系統向M聲道音頻系統轉換的方法，其中，N和M為整數，並 且，N大於M，包括將N個聲道的音頻數據轉換成M個聲道的音頻數據； 將所述M個聲道的音頻數據轉換成N』個聲道的音頻數據；以及 基於所述N個聲道的音頻數據和所述N』個聲道的音頻數據之間的差來校正所述M個 聲道的音頻數據，其中，將所述N個聲道的音頻數據轉換成所述M個聲道的音頻數據進一步包括以下步驟用分數希爾伯特函數處理所述N個聲道的音頻數據中的一個或多個，以向相關聲道的 音頻數據施加預定相移；以及在用所述分數希爾伯特函數處理後，組合所述N個聲道的音頻數據中的一個或多個以 產生所述M個聲道的音頻數據，以便所述M個聲道的音頻數據中的每一個中的所述N個聲 道的音頻數據中的一個或多個的所述組合具有預定的相位關係。
2.如權利要求1所述的方法，其中，將所述M個聲道的音頻數據轉換成所述N』個聲道 的音頻數據包括將所述M個聲道的音頻數據從時域轉換成頻域的多個子帶； 濾波所述M個聲道的所述多個子帶以生成N個聲道的多個子帶； 通過平均化每個子帶與一個或多個相鄰帶來平滑所述N個聲道的多個子帶； 使所述N個聲道的多個子帶中的每一個與所述M個聲道的一個或多個相應子帶相乘；以及將所述N個聲道的多個子帶從所述頻域轉換到所述時域。
3.如權利要求1所述的方法，其中，基於所述N個聲道的音頻數據和所述N』個聲道的 音頻數據之間的差來校正所述M個聲道的音頻數據包括為所述N個聲道的音頻數據的多個子帶中的每一個確定能量和位置矢量； 為所述N』個聲道的音頻數據的多個子帶中的每一個確定能量和位置矢量；以及 如果所述N個聲道的音頻數據和所述N』個聲道的音頻數據的相應子帶的所述能量和 所述位置矢量的差大於預定閾值，則校正所述M個聲道的音頻數據的一個或多個子帶。
4.如權利要求3所述的方法，其中，校正所述M個聲道的音頻數據的一個或多個子帶包 括調整用於所述M個聲道的音頻數據的所述子帶的能量和位置矢量，以便所調整的所述M 個聲道的音頻數據的子帶被轉換成調整的N』個聲道的音頻數據，與所述N』個聲道的音頻 數據的多個子帶中的每一個的未調整的能量和位置矢量相比，調整的N』個聲道的音頻數據 具有更加接近於所述N個聲道的音頻數據的子帶的所述能量和所述位置矢量的一個或多 個子帶能量和位置矢量。
5.一種用於從N聲道音頻系統向M聲道音頻系統轉換的音頻空間環境引擎，其中，N和 M為整數，並且，N大於M，包括一個或多個希爾伯特變換級，其中每個接收所述N個聲道的音頻數據中的一個，並且 向相關聲道的音頻數據施加預定的相移；一個或多個常數乘法器級，其中每個接收經所述希爾伯特變換的聲道的音頻數據中的 一個，並且每個生成縮放的希爾伯特變換的聲道的音頻數據；一個或多個第一求和級，其中每個接收所述N個聲道的音頻數據中的所述一個和所述 縮放的希爾伯特變換的聲道的音頻數據，並且每個生成分數希爾伯特聲道的音頻數據；以 及M個第二求和級，其中每個接收所述分數希爾伯特聲道的音頻數據中的一個或多個以 及所述N個聲道的音頻數據中的一個或多個，並且組合所述分數希爾伯特聲道的音頻數據 中的所述一個或多個和所述N個聲道的音頻數據中的所述一個或多個中的每一個，以生成 M個聲道的音頻數據中的一個，其具有每個所述分數希爾伯特聲道的音頻數據中的所述一 個或多個和所述N個聲道的音頻數據中的所述一個或多個之間的預定相位關係。
6.如權利要求5所述的音頻空間環境引擎，其包括希爾伯特變換級，用於接收左聲道 的音頻數據，其中所述希爾伯特變換的左聲道的音頻數據乘以常數並被加到所述左聲道的 音頻數據以生成具有預定相移的左聲道的音頻數據，所述相移的左聲道的音頻數據乘以常 數並被提供給所述M個第二求和級中的一個或多個。
7.如權利要求5所述的音頻空間環境引擎，其包括希爾伯特變換級，用於接收右聲道 的音頻數據，其中所述希爾伯特變換的右聲道的音頻數據乘以常數並從所述右聲道的音頻 數據減去以生成具有預定相移的右聲道的音頻數據，所述相移的右聲道的音頻數據乘以常 數並被提供給所述M個第二求和級中的一個或多個。
8.如權利要求5所述的音頻空間環境引擎，其包括接收左環繞聲道的音頻數據的希爾 伯特變換級和接收右環繞聲道的音頻數據的希爾伯特變換級，其中所述希爾伯特變換的左 環繞聲道的音頻數據乘以常數並被加到所述希爾伯特變換的右環繞聲道的音頻數據以生 成左右環繞聲道的音頻數據，所述相移的左右環繞聲道的音頻數據被提供給所述M個第二 求和級中的一個或多個。
9.如權利要求5所述的音頻空間環境引擎，其包括接收右環繞聲道的音頻數據的希爾 伯特變換級和接收左環繞聲道的音頻數據的希爾伯特變換級，其中所述希爾伯特變換的右 環繞聲道的音頻數據乘以常數並被加到所述希爾伯特變換的左環繞聲道的音頻數據以生 成右左環繞聲道的音頻數據，所述相移的右左環繞聲道的音頻數據被提供給所述M個第二 求和級中的一個或多個。
10.如權利要求5所述的音頻空間環境引擎，包括希爾伯特變換級，其接收左聲道的音頻數據，其中所述希爾伯特變換的左聲道的音頻 數據乘以常數並被加到所述左聲道的音頻數據以生成具有預定相移的左聲道的音頻數據， 所述左聲道的音頻數據乘以常數以生成縮放的左聲道的音頻數據；希爾伯特變換級，其接收右聲道的音頻數據，其中所述希爾伯特變換的右聲道的音頻 數據乘以常數並從所述右聲道的音頻數據減去以生成具有預定相移的右聲道的音頻數據， 所述右聲道的音頻數據乘以常數以生成縮放的右聲道的音頻數據；以及接收左環繞聲道的音頻數據的希爾伯特變換級和接收右環繞聲道的音頻數據的希爾 伯特變換級，其中所述希爾伯特變換的左環繞聲道的音頻數據乘以常數並被加到所述希爾 伯特變換的右環繞聲道的音頻數據以生成左右環繞聲道的音頻數據，並且所述希爾伯特變 換的右環繞聲道的音頻數據乘以常數並被加到所述希爾伯特變換的左環繞聲道的音頻數 據以生成右左環繞聲道的音頻數據。
11.如權利要求10所述的音頻空間環境引擎，包括M個第二求和級的第一個，其接收所述縮放的左聲道的音頻數據、所述右左聲道的音頻 數據和縮放的中心聲道的音頻數據，並且相加所述縮放的左聲道的音頻數據、所述右左聲 道的音頻數據和所述縮放的中心聲道的音頻數據，以形成左水印聲道的音頻數據；以及M個第二求和級的第二個，其接收所述縮放的右聲道的音頻數據、所述左右聲道的音頻 數據和所述縮放的中心聲道的音頻數據，並且相加所述縮放的聲道的音頻數據和所述縮放 的中心聲道的音頻數據並從所述和中減去所述左右聲道的音頻數據，以形成右水印聲道的 音頻數據。
12.如權利要求5所述的音頻空間環境引擎，包括 希爾伯特變換裝置，用於處理左聲道的音頻數據；乘法器裝置，用於將所述希爾伯特變換的左聲道的音頻數據乘以常數； 求和裝置，用於將所述縮放的、希爾伯特變換的左聲道的音頻數據加到所述左聲道的 音頻數據，以生成具有預定相移的左聲道的音頻數據；以及乘法器裝置，用於將所述相移的左聲道的音頻數據乘以常數，其中，所述縮放的、相移 的左聲道的音頻數據被提供給所述M個第二求和級中的一個或多個。
13.如權利要求5所述的音頻空間環境引擎，包括 希爾伯特變換裝置，用於處理右聲道的音頻數據；乘法器裝置，用於將所述希爾伯特變換的右聲道的音頻數據乘以常數； 求和裝置，用於將所述縮放的、希爾伯特變換的右聲道的音頻數據加到所述右聲道的 音頻數據，以生成具有預定相移的右聲道的音頻數據；以及乘法器裝置，用於將所述相移的右聲道的音頻數據乘以常數，其中，所述縮放的、相移 的右聲道的音頻數據被提供給所述M個第二求和級中的一個或多個。
14.如權利要求5所述的音頻空間環境引擎，包括 希爾伯特變換裝置，用於處理左環繞聲道的音頻數據； 希爾伯特變換裝置，用於處理右環繞聲道的音頻數據；乘法器裝置，用於將所述希爾伯特變換的左環繞聲道的音頻數據乘以常數；以及 求和裝置，用於將所述縮放的、希爾伯特變換的左環繞聲道的音頻數據加到所述希爾 伯特變換的右環繞聲道的音頻數據，以生成左右聲道的音頻數據，其中，所述左右聲道的音 頻數據被提供給所述M個第二求和級中的一個或多個。
15.如權利要求5所述的音頻空間環境引擎，包括 希爾伯特變換裝置，用於處理左環繞聲道的音頻數據； 希爾伯特變換裝置，用於處理右環繞聲道的音頻數據；乘法器裝置，用於將所述希爾伯特變換的右環繞聲道的音頻數據乘以常數；以及 求和裝置，用於將所述縮放的、希爾伯特變換的右環繞聲道的音頻數據加到所述希爾 伯特變換的左環繞聲道的音頻數據，以生成右左聲道的音頻數據，其中，所述右左聲道的音 頻數據被提供給所述M個第二求和級中的一個或多個。
16.一種用於從N聲道音頻系統向M聲道音頻系統轉換的方法，其中，N和M為整數，並 且，N大於M，包括用分數希爾伯特函數處理所述N個聲道的音頻數據中的一個或多個，以向相關聲道的 音頻數據施加預定相移；以及組合用所述分數希爾伯特函數處理之後的所述N個聲道的音頻數據中的一個或多個 以產生所述M個聲道的音頻數據，以便所述M個聲道的音頻數據中的每一個中的所述N個 聲道的音頻數據中的所述一個或多個的所述組合具有預定相位關係。
17.如權利要求16所述的方法，其中，用分數希爾伯特函數處理所述N個聲道的音頻數 據中的一個或多個包括對左聲道的音頻數據執行希爾伯特變換； 將所述希爾伯特變換的左聲道的音頻數據乘以常數；將所述縮放的、希爾伯特變換的左聲道的音頻數據加到所述左聲道的音頻數據，以生 成具有預定相移的左聲道的音頻數據；以及 將所述相移的左聲道的音頻數據乘以常數。
18.如權利要求16所述的方法，其中，用分數希爾伯特函數處理所述N個聲道的音頻數 據中的一個或多個包括對右聲道的音頻數據執行希爾伯特變換； 將所述希爾伯特變換的右聲道的音頻數據乘以常數；將所述縮放的、希爾伯特變換的右聲道的音頻數據從所述右聲道的音頻數據中減去， 以生成具有預定相移的右聲道的音頻數據；以及 將所述相移的右聲道的音頻數據乘以常數。
19.如權利要求16所述的方法，其中，用分數希爾伯特函數處理所述N個聲道的音頻數 據中的一個或多個包括對左環繞聲道的音頻數據執行希爾伯特變換； 對右環繞聲道的音頻數據執行希爾伯特變換； 將所述希爾伯特變換的左環繞聲道的音頻數據乘以常數；以及 將所述縮放的、希爾伯特變換的左環繞聲道的音頻數據加到所述希爾伯特變換的右環 繞聲道的音頻數據，以生成具有預定相移的左右聲道的音頻數據。
20.如權利要求16所述的方法，其中，用分數希爾伯特函數處理所述N個聲道的音頻數 據中的一個或多個包括對左環繞聲道的音頻數據執行希爾伯特變換； 對右環繞聲道的音頻數據執行希爾伯特變換； 將所述希爾伯特變換的右環繞聲道的音頻數據乘以常數；以及 將所述縮放的、希爾伯特變換的右環繞聲道的音頻數據加到所述希爾伯特變換的左環 繞聲道的音頻數據，以生成具有預定相移的右左聲道的音頻數據。
21.如權利要求16所述的方法，包括 對左聲道的音頻數據執行希爾伯特變換；將所述希爾伯特變換的左聲道的音頻數據乘以常數；將所述縮放的、希爾伯特變換的左聲道的音頻數據加到所述左聲道的音頻數據，以生 成具有預定相移的左聲道的音頻數據；將所述相移的左聲道的音頻數據乘以常數； 對右聲道的音頻數據執行希爾伯特變換； 將所述希爾伯特變換的右聲道的音頻數據乘以常數；將所述縮放的、希爾伯特變換的右聲道的音頻數據從所述右聲道的音頻數據中減去， 以生成具有預定相移的右聲道的音頻數據； 將所述相移的右聲道的音頻數據乘以常數； 對左環繞聲道的音頻數據執行希爾伯特變換； 對右環繞聲道的音頻數據執行希爾伯特變換； 將所述希爾伯特變換的左環繞聲道的音頻數據乘以常數；將所述縮放的、希爾伯特變換的左環繞聲道的音頻數據加到所述希爾伯特變換的右環 繞聲道的音頻數據，以生成具有預定相移的左右聲道的音頻數據； 將所述希爾伯特變換的右環繞聲道的音頻數據乘以常數；以及 將所述縮放的、希爾伯特變換的右環繞聲道的音頻數據加到所述希爾伯特變換的左環 繞聲道的音頻數據，以生成具有預定相移的右左聲道的音頻數據。
22.如權利要求21所述的方法，包括對所述縮放的左聲道的音頻數據、所述右左聲道的音頻數據和縮放的中心聲道的音頻 數據進行求和，以形成左水印聲道的音頻數據；以及求和所述縮放的聲道的音頻數據和所述縮放的中心聲道的音頻數據並從所述和中減 去所述左右聲道的音頻數據，以形成右水印聲道的音頻數據。
23.一種用於從N聲道音頻系統向M聲道音頻系統轉換的音頻空間環境引擎，其中，N 和M為整數，並且，N大於M，包括時域到頻域轉換級，其接收M個聲道的音頻數據，並且生成多個子帶的音頻空間圖像 數據；濾波發生器，其接收所述M個聲道的所述多個子帶的音頻空間圖像數據，並且生成N』 個聲道的多個子帶的音頻空間圖像數據；以及求和級，其耦合到所述濾波發生器，並且接收所述M個聲道的多個子帶的音頻空間圖 像數據和所述N』個聲道的所述多個子帶的音頻空間圖像數據，並且生成縮放的N』個聲道 的所述多個子帶的音頻空間圖像數據。
24.如權利要求23所述的音頻空間環境引擎，進一步包括頻域到時域轉換級，其接收 所述縮放的N』個聲道的所述多個子帶的音頻空間圖像數據，並且生成所述N』個聲道的音 頻數據。
25.如權利要求23所述的音頻空間環境引擎，進一步包括平滑級，其耦合到所述濾波發生器，所述平滑級接收所述N』個聲道的所述多個子帶的 音頻空間圖像數據，並且平均化每個子帶與一個或多個相鄰子帶；並且所述求和級被耦合到所述平滑級，並且接收所述M個聲道的所述多個子帶的音頻空間 圖像數據和所述平滑的N』個聲道的所述多個子帶的音頻空間圖像數據，並且生成縮放的 N』個聲道的所述多個子帶的音頻空間圖像數據。
26.如權利要求23所述的音頻空間環境引擎，其中，所述求和級進一步包括左聲道求 和級，其使所述M個聲道中的左聲道的多個子帶中的每一個乘以所述N』個聲道中的左聲道 的音頻空間圖像數據的相應多個子帶中的每一個。
27.如權利要求23所述的音頻空間環境引擎，其中，所述求和級進一步包括右聲道求 和級，其使所述M個聲道中的右聲道的多個子帶中的每一個乘以所述N』個聲道中的右聲道的相應多個子帶的音頻空間圖像數據中的每一個。
28.如權利要求23所述的音頻空間環境引擎，其中，所述求和級進一步包括中心聲道 求和級，其對於每個子帶執行以下運算(Gc (f)女 L(f) + ((1-Gc(f)) * R(f))女 Hc (f)其中Gc (f)=中心聲道子帶縮放因數； L(f) =所述M個聲道中的左聲道子帶； R(f) =所述M個聲道中的右聲道子帶；以及 Hc(f)=所述N』個聲道中的濾波的中心聲道子帶。
29.如權利要求23所述的音頻空間環境引擎，其中，所述求和級進一步包括左環繞聲 道求和級，其對於每個子帶執行以下運算(Gls (f)女 L(f)-( (l-GLS(f)) ^ R(f)) ^ Hls (f) 其中Gls (f)=左環繞聲道子帶縮放因數； L(f) =所述M個聲道中的左聲道子帶； R(f) =所述M個聲道中的右聲道子帶；以及 Hls (f)=所述N』個聲道中的濾波的左環繞聲道子帶。
30.如權利要求23所述的音頻空間環境引擎，其中，所述求和級進一步包括右環繞聲 道求和級，其對於每個子帶執行以下運算((l-GES(f)) ^ R (f))+ (GES(f)) * L(f))女 Hes (f) 其中Ges (f)=右環繞聲道子帶縮放因數； L(f) =所述M個聲道中的左聲道子帶； R(f) =所述M個聲道中的右聲道子帶；以及 Hes (f)=所述N』個聲道中的濾波的右環繞聲道子帶。
31.一種用於從M聲道音頻系統向N聲道音頻系統轉換的方法，其中，M和N為整數，並 且，N大於M，包括接收M個聲道的音頻數據；生成用於所述M個聲道中的每個聲道的多個子帶的音頻空間圖像數據； 濾波所述M個聲道的所述多個子帶的音頻空間圖像數據，以生成N』個聲道的多個子帶 的音頻空間圖像數據；以及將所述M個聲道的所述多個子帶的音頻空間圖像數據乘以所述N』個聲道的所述多個 子帶的音頻空間圖像數據，以生成縮放的N』個聲道的所述多個子帶的音頻空間圖像數據。
32.如權利要求31所述的方法，其中，將所述M個聲道的所述多個子帶的音頻空間圖像 數據乘以所述N』個聲道的所述多個子帶的音頻空間圖像數據進一步包括將所述M個聲道的所述多個子帶的音頻空間圖像數據中的一個或多個乘以子帶縮放 因數；以及將所述縮放的M個聲道的所述多個子帶的音頻空間圖像數據乘以所述N』個聲道的所 述多個子帶的音頻空間圖像數據。
33.如權利要求31所述的方法，其中，將所述M個聲道的所述多個子帶的音頻空間圖像 數據乘以所述N』個聲道的所述多個子帶的音頻空間圖像數據進一步包括將所述M個聲道 的所述多個子帶中的每一個乘以所述N』個聲道的音頻空間圖像數據的相應子帶。
34.如權利要求31所述的方法，其中，將所述M個聲道的所述多個子帶的音頻空間圖像 數據乘以所述N』個聲道的所述多個子帶的音頻空間圖像數據包括將所述M個聲道中的左 聲道的多個子帶中的每一個乘以所述N』個聲道中的左聲道的相應多個子帶的音頻空間圖 像數據中的每一個。
35.如權利要求31所述的方法，其中，將所述M個聲道的所述多個子帶的音頻空間圖像 數據乘以所述N』個聲道的所述多個子帶的音頻空間圖像數據包括將所述M個聲道中的右 聲道的多個子帶中的每一個乘以所述N』個聲道中的右聲道的相應多個子帶的音頻空間圖 像數據中的每一個。
36.如權利要求31所述的方法，其中，將所述M個聲道的所述多個子帶的音頻空間圖像 數據乘以所述N』個聲道的所述多個子帶的音頻空間圖像數據包括對於每個子帶執行以下 運算(Gc (f)女 L(f) + ((1-Gc(f)) * R(f))女 Hc (f) 其中Gc (f) =中心聲道子帶縮放因數； L(f) =左聲道子帶； R(f) =右聲道子帶；以及 Hc (f) =濾波的中心聲道子帶。
37.如權利要求31所述的方法，其中，將所述M個聲道的所述多個子帶的音頻空間圖像 數據乘以所述N』個聲道的所述多個子帶的音頻空間圖像數據包括對於每個子帶執行以下 運算(Gls (f)女 L(f)-( (l-GLS(f)) ^ R(f)) ^ Hls (f) 其中Gls(f) =左環繞聲道子帶縮放因數； L(f)=左聲道子帶；R(f) =右聲道子帶；以及 Hls (f)=濾波的左環繞聲道子帶。
38.如權利要求31所述的方法，其中，將所述M個聲道的所述多個子帶的音頻空間圖像 數據乘以所述N』個聲道的所述多個子帶的音頻空間圖像數據包括對於每個子帶執行以下 運算((l-GES(f)) ^ R (f))+ (GES(f)) * L(f))女 Hes (f) 其中Ges(f) =右環繞聲道子帶縮放因數； L(f)=左聲道子帶；R(f) =右聲道子帶；以及 Hes (f) =濾波的右環繞聲道子帶。
全文摘要
提供了一種用於在音頻數據的不同格式之間進行轉換的音頻空間環境引擎。音頻空間環境引擎(100)允許在N聲道數據和M聲道數據之間進行靈活轉換，並且允許從M聲道數據轉換回N』聲道數據，其中，N、M和N』為整數，並且N不必等於N』。例如，這樣的系統能夠在整個為立體聲數據設計的基礎設施或網絡上傳輸或存儲環繞聲音數據。音頻空間環境引擎由於先進的動態下混頻單元(102)和高解析度頻帶上混頻單元(104)而在不同的空間環境之間提供了改進和靈活的轉換。動態下混頻單元包括智能分析和校正環(108，110)，其能夠校正許多下混頻方法所共有的頻譜、時間和空間的不準確性。上混頻單元利用在整個高解析度頻帶上提取並分析重要的聲道間的空間提示來得到不同頻率元素的空間布置。當下混頻和上混頻單元單獨或作為系統使用時，提供了改進的聲音質量和空間區別。
文檔編號G10L19/00GK102117617SQ201110064948
公開日2011年7月6日 申請日期2005年10月28日 優先權日2004年10月28日
發明者傑弗裡·K·託姆普森, 羅伯特·W·裡姆斯, 阿倫·瓦爾納 申請人:Dts(英屬維京群島)有限公司