音頻信號格式變換的製作方法

2023-12-03 12:05:56

專利名稱：音頻信號格式變換的製作方法
技術領域：
本發明一般地涉及音頻信號處理。特別地，本發明涉及這樣的方法，該方法用於通 過將多個音頻輸入信號應用於動態改變的格式變換矩陣(transformatting matrix)來將 多個音頻輸入信號從第一格式重定格式(reformat)為第二格式。本發明還涉及用於執行 這樣的方法的裝置以及電腦程式。

發明內容
根據本發明的各方面，一種用於通過將多個[Ni]音頻輸入信號 [Input1 (t).. · Inputm⑴]應用於動態改變的格式變換矩陣[M]來將所述多個[Ni]音頻 輸入信號Dnput1 α)...^ιριι Ν α)]從第一格式重定格式為第二格式的方法，其中多個 抽象源信號[Sourcei (^...Sourcha)]應用於編碼矩陣[I]，每個抽象源信號與關於自 身的信息相關聯，所述編碼矩陣根據第一規則處理抽象源信號，所述第一規則根據與各抽 象源信號相關聯的抽象信息來處理各抽象源信號，所述格式變換矩陣被控制以使得減小 由所述格式變換矩陣產生的多個[NO]輸出信號[Output1 (t)...0utputNQ(t)]與被假定 為已通過將抽象源信號應用於理想解碼矩陣
被得出的多個[NO]抽象理想輸出信號 [IdealOut1 (t).. . Ideal0utN0 (t)]之間的差，所述解碼矩陣根據第二規則處理抽象源信號， 所述第二規則根據與各抽象源信號相關聯的抽象信息處理各抽象源信號，所述方法包括響應多個頻率和時間段中的每一個中的音頻輸入信號，獲得可歸於漫射、無方向 信號分量的方向和強度的信息，基於第一規則和第二規則計算格式變換矩陣，所述計算包括(a)估計(i)所述 多個頻率和時間段中的至少一個中的音頻輸入信號的協方差矩陣，以及(ii)所述多個頻 率和時間段中的相同的至少一個中的音頻輸入信號和抽象理想輸出信號的互協方差矩陣， (i)方向信號分量的方向和強度，和(ii)漫射、無方向信號分量的強度，以及將音頻輸入信號應用於所述格式變換矩陣以產生輸出信號。可作為所述協方差矩陣和互協方差矩陣的函數計算格式變換矩陣的特性。可以通 過以協方差矩陣的逆矩陣在右側對互協方差矩陣進行運算來獲得格式變換矩陣[M]的元 素，M = Cov([IdealOutput]，[Input]){Cov([Input]，[Input])}可以假設多個抽象源信號彼此相互不相關，由此抽象源信號的協方差矩陣被對角 線化，因此簡化了計算，該協方差矩陣的計算是M的計算所固有的。可通過最陡下降法確定 解碼器矩陣[M]。最陡下降法可以是基於前一時間間隔的M的前一估計計算格式變換矩陣 的迭代估計的梯度下降法。
根據本發明的方面，一種用於通過將多個[Ni]音頻輸入信號 [Input1 (t)... InputNI (t)]應用於動態改變的格式變換矩陣[M]來將所述多個[Ni]音 頻輸入信號[^￠1^(0...^^11^(0]從第一格式重定格式為第二格式的方法，其中所 述多個音頻輸入信號被假定為已通過將多個抽象源信號[Sourcei (t)... Source (t)]應 用於編碼矩陣[I]被得出，各抽象源信號被假設彼此相互不相關並且與關於自身的信 息相關聯，所述編碼矩陣根據第一規則處理抽象源信號，所述第一規則根據與各抽象源 信號相關聯的抽象信息來處理各抽象源信號，所述格式變換矩陣被控制以使得減小由 所述格式變換矩陣產生的多個[NO]輸出信號[Output1 (t)...0utputNQ(t)]與被假定為 已通過將抽象源信號應用於理想解碼矩陣
被得出的多個[NO]抽象理想輸出信號 [IdealOut1 (t).. . Ideal0utN0 (t)]之間的差，所述解碼矩陣根據第二規則處理抽象源信號， 所述第二規則根據與各抽象源信號相關聯的抽象信息處理各抽象源信號，所述方法包括響應多個頻率和時間段中的每一個中的音頻輸入信號，獲得可歸於一個或多個方 向信號分量的方向和強度的以及可歸於漫射、無方向信號分量的強度的信息，計算格式變換矩陣M，所述計算包括(a)在多個所述頻率和時間段內組合(i)方 向信號分量的方向和強度和(ii)漫射、無方向信號分量的強度，所述組合的結果構成源信 號的協方差矩陣的估計[SXS*]，(b)計算 ISSI = IX (SXS 」 XI Inossi =OX (SXS
XI*，和(C)計算M= (OSSI) X(ISSI)-1,以及將音頻輸入信號應用於所述格式變換矩陣以產生輸出信號。抽象信息可以包括索引，並且根據與特定索引相關聯的第一規則的處理可以與根 據與相同索引相關聯的第二規則的處理配對。第一和第二規則可被實現為第一和第二查找 表，它們的表的條目被通過公共索引彼此配對。抽象信息可以是抽象方向信息。抽象方向信息可以是抽象三維方向信息。抽象三 維方向信息可以包括相對於抽象收聽位置的抽象方位角和高度關係。抽象方向信息可以是 抽象二維方向信息。抽象二維方向信息可以包括相對於抽象收聽位置的抽象方位角關係。第一規則可以是輸入調移規則，並且第二規則可以是輸出調移規則。響應多個頻率和時間段中的每一個中的音頻輸入信號，獲得可歸於一個或多個方 向信號分量的方向和強度的以及可歸於漫射、無方向信號分量的強度的信息，可以包括計 算多個頻率和時間段中的每一個內音頻輸入信號的協方差矩陣。可以基於協方差矩陣計算 的結果，估計對於每個頻率和時間段的一個或多個方向信號分量的方向和強度以及漫射、 無方向信號分量的強度。可由協方差矩陣計算中的最小特徵值的值形成對於每個頻率和時 間段的漫射、無方向信號分量的估計。格式變換矩陣可以是具有可變係數的可變矩陣，或具有固定係數和可變輸出的可 變矩陣，並且可以通過改變可變係數或通過改變可變輸出來控制格式變換矩陣。解碼器矩陣[M]可以是頻率相關的解碼器矩陣[Mb]的加權和，M=E BWBMB，其中 頻率相關性與頻帶B相關聯。 本發明的各方面還包括適於實現上述方法中的任一個的裝置。
本發明的各方面還包括適於實施上述方法中的任一個的電腦程式。


圖1是可用於解釋根據本發明的格式變換器以及可識別(identify)這種格式變 換器的方式的各方面的功能框圖。圖2是分布在收聽者周圍的多個音頻源的例子。圖3是諸如可用於定義涉及根據本發明的格式變換器的輸入的規則的集合的「I」 矩陣編碼器的例子。圖4是諸如可用於定義涉及根據本發明的格式變換器的理想輸出的規則的集合 的「0」矩陣解碼器的例子。圖5是對比方位角被繪製的I和0矩陣的行的例子，其中I矩陣具有兩個輸出，並 且0矩陣具有五個輸出。圖6是示出了根據本發明的各方面的M格式變換器的例子的功能圖。圖7是可用於理解本發明的各方面的作為方位角位置的函數的源功率的抽象 (notional)圖不。圖8是可用於理解本發明的各方面的短時傅立葉變換(STFT)空間的概念圖。圖9示出了具有3個時隙的時間長度和2個區間(bin)的頻率高度的頻率和時間 段(frequency and time segment)的 STFT 空間中的例子。圖10示出了多個頻率和時間段的例子，其中時間/頻率解析度以類似於人類感知 頻帶的方式在低頻率和高頻率之間改變。圖11概念性地示出了從頻率和時間段提取受操縱(steered)信號分量、漫射信號 分量和源方位角方向的估計。圖12概念性地示出了從多個頻率和時間段組合受操縱信號分量、漫射信號分量 和源方位角方向的估計。圖13示出了圖12的變型，其中漫射信號分量估計與受操縱信號分量和源方位角 方向估計分離地被組合。圖14示出了圖13的變型，其中通過包括估計抽象源信號的協方差矩陣的步驟計 算M矩陣，所述估計包括通過對角線化該協方差矩陣來簡化估計。圖15示出了圖14的變型，其中圖14的例子的步驟被重新布置。圖16是示出了根據本發明的各方面的多頻帶解碼器的例子的功能框圖。圖17是示出了通過對於各輸出處理頻帶定義適當的混合矩陣Mb，將較大的頻帶集 合合併入較小集合的例子的抽象表示。圖18概念性地示出了在根據本發明的各方面的多頻帶解碼器中計算分析頻帶數 據的例子。
具體實施例方式根據本發明的各方面，格式變換處理或設備(格式變換器)接收多個音頻輸入信 號，並且將它們從第一格式重定格式為第二格式。為了表述的清晰性，該處理和設備在此被 不同地稱為「格式變換器」。格式變換器可以是動態改變的格式變換矩陣或矩陣化處理(例 如，線性矩陣或線性矩陣化處理)。這種矩陣或矩陣化處理在本領域中常常被稱為「主動矩 陣」或「自適應矩陣」。
雖然本發明的各方面原則上可被在模擬域或數字域(或兩者的某種組合)中實 現，但是在本發明的實際實施例中，音頻信號被以數據塊中的時間樣本表示，並且處理在數 字域中進行。各種音頻信號中的每一個可以是可從模擬信號得出的或將被轉換為模擬音頻 信號的時間樣本。各種時間採樣信號可被以任何適合的方式或多個方式編碼，諸如例如為 線性脈衝編碼調製(PCM)信號的形式。第一格式的例子是一對立體聲音頻信號(通常被稱為Lt (左總體(left total)) 和Rt (右總體(right total))聲道(channel))，它們是或被假設是對5個離散音頻信號或 「聲道」進行矩陣編碼的結果，各離散音頻信號或「聲道」與相對於收聽者的方位角方向抽象 地相關聯，諸如左(「L」)、中央(「C」)、右(「R」)、左環繞(「LS」)和右環繞(「RS」)。 與空間方向抽象地相關聯的音頻信號通常被稱為「聲道」。這種矩陣編碼可通過被動矩陣編 碼器被完成，該被動矩陣編碼器根據定義的調移(panning)規則將5個方向聲道映射到2 個方向聲道，諸如例如均是本領域公知的MP矩陣編碼器或ftOlogic II矩陣編碼器。這種 編碼器的細節對於本發明不是至關重要的或必需的。第二格式的例子是5個音頻信號或聲道的集合，各音頻信號或聲道與相對於收聽 者的方位角方向抽象地相關聯，諸如左(「L」)、中央(「C」)、右(「R」)、左環繞(「LS」) 和右環繞(「RS」)聲道。典型地，假設這些信號被以給處於適合位置的收聽者提供這樣的 感受的方式再現，即每個聲道如果被孤立地激勵則從與其相關聯的方向到達。雖然此處描述了具有諸如上文所述的兩個輸入聲道和諸如上文所述的五個輸出 聲道的示例性格式變換器，但是根據本發明的格式變換器可以具有不同於兩個的輸入聲道 和不同於五個的輸出聲道。輸入聲道數目可以多於或少於輸出聲道數目，或它們的數目可 以相等。根據本發明的格式變換器提供的格式變換可以不僅涉及聲道數目，而且涉及聲道 的抽象方向的改變。—種可用於描述根據本發明的各方面的格式變換器的方式是在諸如圖1的環境 的環境中。參考圖1，假設在線路2上接收到可被以矢量「S」表示的多個(NS)抽象音頻源 信號(Source1 (t) · · · SourceNS (t))。S 可被定義為其中Source (t)到Source (t)是NS個抽象音頻源信號或信號分量。抽象音頻 源信號是抽象的(它們可以存在或可以不存在或已經存在)，並且在計算格式變換器矩陣 時是未知的。然而，如此處解釋的，抽象源信號的某些屬性的估計對於本發明的各方面是有 用的。可以假設存在固定數目的抽象源信號。例如，可以假設存在12個輸入源(在下面 的例子中)，或可以假設存在360個源信號(例如，在圍繞收聽者的水平面上以例如1度的 方位角增量被隔開)，應理解可以存在任何數目(NS)的源。關於各音頻源信號自身的信息、 諸如其相對於抽象收聽者的方位角或方位角和高度與各音頻信號相關聯。見下面描述的圖 2的例子。出於表述清楚起見，在此文檔的全文中，承載多個信號(或具有多個信號分量的矢量)的線路被示出為單線。在實際的硬體實施例中並且類似地在軟體實施例中，這些線 路可被實現為多個物理線路，或實現為在其上信號以多路復用方式被承載的一個或多個物 理線路。返回圖1的描述，抽象音頻源信號被施加到兩個路徑。在第一路徑(圖1所示的 上部路徑)中，抽象音頻源信號被應用於「I」編碼器或編碼處理(「編碼器」)4。如下面進 一步解釋的，I編碼器4可以是根據第一規則的集合操作的靜態(非時變)編碼矩陣處理 或矩陣編碼器(例如，線性混合處理或線性混合器)1。該規則可以使得I編碼器矩陣根據 與各抽象源信號相關聯的抽象信息處理各抽象源信號。例如，如果一方向與一源信號相關 聯，則該源信號可根據與該方向相關聯的調移規則或係數被編碼。第一規則集合的一個例 子是下面描述的輸入調移規則。響應施加的NS個源信號，I編碼器4輸出多個(Ni)音頻信號，這些音頻信號在線 路6上作為音頻輸入信號(Input1 (t). . . InputNI (t))被施加到格式變換器。NS個音頻輸入 信號可由矢量「 Input 」表示，矢量「 Input，，可被定義如下
權利要求
1.一種用於通過將多個[Ni]音頻輸入信號[Input1 (t)... InputNI (t)]應用於動態 改變的格式變換矩陣[M]來將所述多個[Ni]音頻輸入信號[Input1 (t).. · Inputm⑴]從 第一格式重定格式為第二格式的方法，其中所述多個音頻輸入信號被假定為已通過將多個 抽象源信號[Source (t)... Source (t)]應用於編碼矩陣[I]被得出，每個抽象源信號與 關於自身的信息相關聯，所述編碼矩陣根據第一規則處理抽象源信號，所述第一規則根據 與各抽象源信號相關聯的抽象信息來處理各抽象源信號，所述格式變換矩陣被控制以使得 減小由所述格式變換矩陣產生的多個[NO]輸出信號[Output1 (t)...0utputNQ(t)]與被假 定為已通過將抽象源信號應用於理想解碼矩陣
被得出的多個[NO]抽象理想輸出信號 [IdealOut1 (t).. . Ideal0utN0 (t)]之間的差，所述解碼矩陣根據第二規則處理抽象源信號， 所述第二規則根據與各抽象源信號相關聯的抽象信息處理各抽象源信號，所述方法包括響應多個頻率和時間段中的每一個中的音頻輸入信號，獲得可歸於一個或多個方向信 號分量的方向和強度的以及可歸於漫射、無方向信號分量的強度的信息，基於第一規則和第二規則計算格式變換矩陣，所述計算包括(a)估計(i)所述多個 頻率和時間段中的至少一個中的音頻輸入信號的協方差矩陣，以及(ii)所述多個頻率和 時間段中的相同的至少一個中的音頻輸入信號和抽象理想輸出信號的互協方差矩陣，並且 (b)在多個所述頻率和時間段中組合(i)主要信號分量的所述方向和強度，和(ii)漫射、無 方向信號分量的所述強度，以及將音頻輸入信號應用於所述格式變換矩陣以產生所述輸出信號。
2.一種用於通過將多個[Ni]音頻輸入信號[Input1 (t)... InputNI (t)]應用於動態 改變的格式變換矩陣[M]來將所述多個[Ni]音頻輸入信號[Input1 (t)... InputNI(t)] 從第一格式重定格式為第二格式的方法，其中所述多個音頻輸入信號被假定為已通過將 多個抽象源信號[Source (O.^Source^a)]應用於編碼矩陣[I]被得出，各抽象源信 號被假設彼此相互不相關並且與關於自身的信息相關聯，所述編碼矩陣根據第一規則處 理抽象源信號，所述第一規則根據與各抽象源信號相關聯的抽象信息來處理各抽象源信 號，所述格式變換矩陣被控制以使得減小由所述格式變換矩陣產生的多個[NO]輸出信號
與被假定為已通過將抽象源信號應用於理想解碼矩陣
被 得出的多個[NO]抽象理想輸出信號[IdealOut1⑴· · · Ideal0utN0(t)]之間的差，所述解碼 矩陣根據第二規則處理抽象源信號，所述第二規則根據與各抽象源信號相關聯的抽象信息 處理各抽象源信號，所述方法包括響應多個頻率和時間段中的每一個中的音頻輸入信號，獲得可歸於一個或多個方向信 號分量的方向和強度的以及可歸於漫射、無方向信號分量的強度的信息，計算格式變換矩陣M，所述計算包括(a)在多個所述頻率和時間段內組合(i)主要信 號分量的所述方向和強度以及(ii)漫射、無方向信號分量的所述強度，所述組合的結果構 成所述源信號的協方差矩陣的估計，(b)計算ISSI = IX [C0V(S0UrCe)] XI *和OSSI = OX [cov (Source)] XI *，和(c)計算 M = OSSI X ISSF1,以及將音頻輸入信號應用於所述格式變換矩陣以產生所述輸出信號。
3.如權利要求1或權利要求2所述的方法，其中所述抽象信息包括索引，並且根據與特 定索引相關聯的第一規則的處理與根據與相同索引相關聯的第二規則的處理配對。
4.如權利要求3所述的方法，其中所述抽象信息是抽象方向信息。
5.如權利要求4所述的方法，其中所述抽象方向信息是抽象三維方向信息。
6.如權利要求5所述的方法，其中所述抽象三維方向信息包括相對於抽象收聽位置的 抽象方位角和高度關係。
7.如權利要求4所述的方法，其中所述抽象方向信息是抽象二維方向信息。
8.如權利要求7所述的方法，其中所述抽象二維方向信息包括相對於抽象收聽位置的 抽象方位角關係。
9.如權利要求1-8中任一個所述的方法，其中所述第一規則是輸入調移規則，並且所 述第二規則是輸出調移規則。
10.如權利要求1或權利要求2所述的方法，其中所述獲得包括計算所述多個頻率和時 間段中的所述每一個中的音頻輸入信號的協方差矩陣。
11.如權利要求10所述的方法，其中基於所述協方差矩陣計算的結果，估計對於每個 頻率和時間段的一個或多個主要信號分量的所述方向和強度以及漫射、無方向信號分量的 強度。
12.如權利要求11所述的方法，其中從協方差矩陣計算中的最小特徵值的值形成對於 每個頻率和時間段的漫射、無方向信號分量的估計。
13.如權利要求1和從屬於權利要求1的權利要求3-12中任一個所述的方法，其中作 為所述協方差矩陣和所述互協方差矩陣的函數，計算格式變換矩陣的特性。
14.如權利要求13所述的方法，其中通過以協方差矩陣的逆在右側對互協方差矩陣進 行運算來獲得格式變換矩陣[M]的元素，M = Cov([IdealOutput], [Input]){Cov([Input], [Input])}
15.如權利要求14所述的方法，其中假設所述多個抽象源信號彼此相互不相關，從而 將抽象源信號的協方差矩陣對角線化，由此簡化了計算，所述協方差矩陣的計算是M的計 算所固有的。
16.如權利要求14或權利要求15所述的方法，其中以最陡下降法確定解碼器矩陣[M]。
17.如權利要求16所述的方法，其中最陡下降法是基於前一時間間隔的M的先前估計 計算格式變換矩陣的迭代估計的梯度下降法。
18.如權利要求1-17中任一個所述的方法，其中所述格式變換矩陣是具有可變係數的 可變矩陣，或具有固定係數和可變輸出的可變矩陣，並且通過改變可變係數或通過改變可 變輸出來控制所述格式變換矩陣。
19.如權利要求3-18中任一個所述的主動音頻解碼方法，其中所述第一規則和第二規 則被實現為第一查找表和第二查找表，表的條目通過公共索引相互配對。
20.如權利要求1-19中任一個所述的方法，其中所述解碼器矩陣[M]是頻率相關的解 碼器矩陣[Mb]的加權和，M=Eb Wb Mb,並且其中所述頻率相關性與頻帶B相關聯。
21.適於實現權利要求1-20中任一個所述的方法的裝置。
22.適於實現權利要求1-20中任一個所述的方法的電腦程式。
全文摘要
本發明涉及通過將多個音頻輸入信號應用於動態改變的格式變換矩陣，將多個音頻輸入信號從第一格式重定格式為第二格式。特別地，本發明獲得可歸於一個或多個方向信號分量的方向和強度的信息，基於第一和第二規則計算格式變換矩陣，並且將音頻輸入信號應用于格式變換矩陣以便產生輸出信號。
文檔編號H04S3/02GK102124516SQ200980131564
公開日2011年7月13日 申請日期2009年8月13日 優先權日2008年8月14日
發明者大衛·S·麥克格拉斯, 格倫·N·迪金斯 申請人:杜比實驗室特許公司