頻帶擴展方法、頻帶擴展裝置、程序、集成電路及音頻解碼裝置的製作方法
2023-05-29 08:45:41 2
專利名稱：頻帶擴展方法、頻帶擴展裝置、程序、集成電路及音頻解碼裝置的製作方法
技術領域：
本發明涉及將音頻信號的頻帶擴展的頻帶擴展方法等。
背景技術：
音頻頻帶擴展(BWE)技術是為了將寬頻帶的音頻信號以低位速率高效率地編碼而在近年來的音頻編解碼器中普遍使用的技術。其原理是使用原來的高頻(HF)內容的參量(parametric)表現、從低頻(LF)數據合成高頻(HF)的近似。
圖1是表示基於這樣的BWE技術的音頻編解碼器的圖。在該音頻編解碼器的編碼器中，將寬頻帶音頻信號首先分離為LF部分和HF部分(101及103)，將該LF部分以保持波形的方式編碼(104)。另一方面，(一般在頻率域中)分析LF部分與HF部分的關係(102)， 用1組HF參數表示。通過將HF部分用參數表示，能夠將多路復用的(10 波形數據及HF 參數以低位速率向解碼器發送。在解碼器中，首先將LF部分解碼(107)。為了將原來的HF部分近似，將解碼後的 LF部分變換為頻率域(108)，將得到的LF頻譜按照解碼後的一部分HF參數修正(109)，生成HF頻譜。將HF頻譜還按照解碼後的一部分HF參數再通過後處理而精細化(110)。將精細化後的HF頻譜變換為時間域(111)，組合到延遲後的(112)LF部分中。結果，輸出重構的最終的寬頻帶音頻信號。另外，在BWE技術中，重要的步驟之一是從LF頻譜生成HF頻譜(109)。用來實現它的方法有幾種，例如有將LF部分複製到HF位置的方法、非線性處理、或上採樣 (upsampling)等。使用這樣的BWE技術的最周知的音頻編解碼器是MPEG-4 HE-AAC，所以，BffE技術被作為SBR(頻譜頻帶複製)或SBR技術規定。在SBR中，HF部分通過簡單地將QMF(正交鏡像濾波器)顯示內的LF部分複製到HF頻譜位置上而生成。這樣的頻譜複製處理也被稱作修補(patching)，該處理簡單，並且在多數情況下被證明是有效率的。但是，只有很少的LF部分頻帶能夠執行的、非常低的位速率(例如， < 20kbits/s mono)下的SBR技術有可能帶來粗糙或不愉快的音質等那樣的不希望的聽感的現象(例如，參照非專利文獻1)。因而，為了避免在以低位速率編碼的情況下舉出的、起因於鏡像或複製處理的現象，將標準的SBR技術改良，通過以下的主要的變更進行擴展(例如，參照非專利文獻2)。(1)將修補算法從複製方式變更為相位聲碼器驅動的修補方式。(2)將適應性時間解析度提高到後處理參數用。進行第1變更(上述(1))的結果，用多個整數係數使LF頻譜擴散，由此在本質上確保HF的諧波的連續性。特別是，因為拍音的影響而引起的不希望的粗糙感在低頻與高頻的邊界、以及不同的高頻部分間的邊界處不發生(例如，參照非專利文獻1)。此外，通過第2變更(上述(2))，能夠容易地使精細化的HF頻譜對再現的頻帶中的信號的搖擺更加適應。因為新的修補保持了諧波關係，所以將其稱作諧波頻帶擴展(HBE)。關於超過標準的SBR的先行技術的HBE的效果，還通過低位速率下的音頻編碼的實驗進行了確認(例如， 參照非專利文獻1)。另外，上述兩個變更僅對HF頻譜發生器產生影響(109)，HBE中的其他方法與SBR 完全相同。圖2是表示先行技術的HBE中的HF頻譜發生器的圖。另外，HF頻譜發生器由圖 1的T-F變換108及HF重構109構成。輸入某信號的LF部分，假設其HF頻譜由從第2次 (具有最低頻率的HF補丁(patch))到第T次(具有最高頻率的HF補丁)的(T-I)個HF 諧波補丁(在各修補工程中製作1個HF補丁)構成。在先行技術的HBE中，這些HF補丁都從相位聲碼器並行地獨立生成。如圖2所示，具有不同的伸展係數O到k)的(T-I)個相位聲碼器OOl 203) 用於將輸入的LF部分伸展。伸展後的輸出具有不同的長度，對於這些輸出，使其通過帶通濾波器O04 206)，並且進行再採樣O07 209)，將時間擴展變換為頻率擴展，從而生成 HF補丁。通過將伸展係數設定為再採樣係數的2倍，HF補丁維持信號的諧波構造，具有LF 部分的2倍的長度。並且，HF補丁全部被延遲調整OlO 212)，將再採樣處理為一個原因的、各種潛在的延遲進行補償。在最後的步驟中，將延遲調整後的全部的HF補丁合計，並且變換到QMF域(213)，製作成HF頻譜。上述HF頻譜發生器具有非常多的運算量。帶來運算量的主要是因為時間擴展處理，該時間擴展處理通過在相位聲碼器中採用的一系列的短時間傅立葉變換(STFT)及逆短時間傅立葉變換(ISTFT)、以及對時間伸展後的HF部分採用的、後續的QMF處理來實現。以下介紹相位聲碼器及QMF變換的概況。相位聲碼器是通過使用頻率域變換而實現時間伸展效果的周知的技術。S卩，是將局部性的頻譜特徵維持而不變更、並且將信號的經時變化修正的技術。其基本的原理如下。圖3A及圖;3B是表示由相位聲碼器進行的時間伸展的原理的圖。如圖3A所示，將音頻劃分為重疊的塊，調整跳距(hop size)(連續的塊間的時間間隔)在輸入時及輸出時不相同的塊間的間隔。這裡，由於輸入跳距Ra比輸出跳距Rs小， 結果，原來的信號被以以下的(式1)所示的比r擴展。[數式1]
Rr 二 f …(式 D
Rs如圖IBB所示，將調整間隔後的塊以需要頻率域變換的相干方式疊加。一般，將輸入塊變換為頻率，將相位適當修正後，將新的塊變換為原來的輸出塊。按照上述原理，幾乎全部的典型的相位聲碼器採用短時間傅立葉變換(STFT)作為頻率域變換，需要分析的明示的順序、以及用於時間伸展的修正及再合成。QMF組將時間域顯示變換為時間一頻率域結合顯示(反之也同樣)，它在頻譜頻帶複製(SBR)、參量立體聲編碼(PS)、及空間音頻編碼(SAC)等的基於參量的編碼方式中被普遍使用。這些濾波器組的特徵是，複數頻率(子帶)域信號通過係數2高效率地被過採樣。 由此，能夠不產生因混疊(aliasing)帶來的畸變地進行子帶域信號的後處理。
更詳細地講，如果設實數值的離散時間信號為χ (η)，則通過QMF組的分析，用以下的(式2)求出複數子帶域信號％(η)。[數式2]
權利要求
1.一種頻帶擴展方法，從低頻帶信號生成全頻帶信號，包括第1變換步驟，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻QMF頻譜；變調步驟，對上述低頻帶信號適用互不相同的移位係數，由此生成變調後的多個信號；高頻生成步驟，將變調後的上述多個信號在QMF域進行時間伸展，由此生成高頻QMF頻譜；頻譜修正步驟，對上述高頻QMF頻譜進行修正，以滿足高頻能量及音調的條件；以及全頻帶生成步驟，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
2.如權利要求1所述的頻帶擴展方法， 上述高頻生成步驟包括第2變換步驟，將變調後的上述多個信號變換到QMF域，由此生成多個QMF頻譜； 諧波補丁生成步驟，將上述多個QMF頻譜利用互不相同的多個伸展係數在時間維度方向上伸展，由此生成多個諧波補丁 ；調整步驟，對上述多個諧波補丁進行時間調整；以及合計步驟，將時間調整後的上述諧波補丁合計。
3.如權利要求2所述的頻帶擴展方法， 上述諧波補丁生成步驟包括計算步驟，計算上述QMF頻譜的振幅及相位； 相位操作步驟，操作上述相位，由此生成新的相位；以及QMF係數生成步驟，對上述振幅和上述新的相位進行組合，由此生成新的QMF係數的組。
4.如權利要求3所述的頻帶擴展方法，在上述相位操作步驟中，基於QMF係數的組整體的原來的相位，生成上述新的相位。
5.如權利要求3或4所述的頻帶擴展方法，在上述相位操作步驟中，對QMF係數的組反覆進行操作； 在上述QMF係數生成步驟中，生成多個上述新的QMF係數的組。
6.如權利要求3、4或5所述的頻帶擴展方法，在上述相位操作步驟中，根據QMF子帶指標進行不同的操作。
7.如權利要求5所述的頻帶擴展方法，在上述QMF係數生成步驟中，將多個上述新的QMF係數的組交疊相加，由此生成與時間伸展後的音頻信號對應的QMF係數。
8.一種頻帶擴展方法，從低頻帶信號生成全頻帶信號，包括第1變換步驟，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻QMF頻譜；低次諧波補丁生成步驟，在上述QMF域對上述低頻帶信號進行時間伸展，由此生成低次諧波補丁；高頻生成步驟，對上述低次諧波補丁適用互不相同的移位係數，由此生成變調後的多個信號，從上述多個信號生成高頻QMF頻譜；頻譜修正步驟，對上述高頻QMF頻譜進行修正，以滿足上述高頻能量及音調的條件；以及全頻帶生成步驟，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
9.如權利要求8所述的頻帶擴展方法， 上述低次諧波補丁生成步驟包括第2變換步驟，將上述低頻帶信號變換為第2低頻QMF頻譜； 帶通步驟，對上述第2低頻QMF頻譜進行帶通處理；以及伸展步驟，將帶通後的上述第2低頻QMF頻譜在時間維度方向上伸展。
10.如權利要求9所述的頻帶擴展方法，上述第2低頻QMF頻譜具有比上述第1低頻QMF頻譜高的頻率解析度。
11.如權利要求8、9或10所述的頻帶擴展方法， 上述高頻生成步驟包括補丁生成步驟，對上述低次諧波補丁進行帶通處理，由此生成多個帶通後的補丁 ； 高次生成步驟，將帶通後的上述多個補丁分別映射到高頻而生成多個高次諧波補丁 ；以及合計步驟，將上述多個高次諧波補丁和上述低次諧波補丁合計。
12.如權利要求11所述的頻帶擴展方法， 上述高次生成步驟包括分解步驟，將帶通後的補丁中的各QMF子帶分為多個次子帶； 映射步驟，將上述多個次子帶映射到多個高頻QMF子帶；以及組合步驟，將上述多個次子帶的映射結果進行組合。
13.如權利要求12所述的頻帶擴展方法， 上述映射步驟包括劃分步驟，將QMF子帶的上述多個次子帶劃分為阻帶部分和通帶部分； 頻率計算步驟，利用基於補丁的次數的係數，計算上述通帶部分上的多個次子帶的變位後的中心頻率；第1映射步驟，將上述通帶部分上的多個次子帶根據上述中心頻率映射到多個高頻 QMF子帶；以及第2映射步驟，與上述通帶部分上的多個次子帶相應地將上述阻帶部分上的多個次子帶映射到高頻QMF子帶。
14.一種頻帶擴展裝置，從低頻帶信號生成全頻帶信號，具備第1變換部，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻 QMF頻譜；變調部，對上述低頻帶信號適用互不相同的移位係數，由此生成變調後的多個信號； 高頻生成部，將變調後的上述多個信號在QMF域進行時間伸展，由此生成高頻QMF頻譜；頻譜修正部，對上述高頻QMF頻譜進行修正，以滿足高頻能量及音調的條件；以及全頻帶生成部，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
15.一種頻帶擴展裝置，從低頻帶信號生成全頻帶信號，具備第1變換部，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻 QMF頻譜；低次諧波補丁生成部，在上述QMF域對上述低頻帶信號進行時間伸展，由此生成低次諧波補丁 ；高頻生成部，對上述低次諧波補丁適用互不相同的移位係數，由此生成變調後的多個信號，從上述多個信號生成高頻QMF頻譜；頻譜修正部，對上述高頻QMF頻譜進行修正，以滿足上述高頻能量及音調的條件；以及全頻帶生成部，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
16.一種程序，用來從低頻帶信號生成全頻帶信號，使計算機執行如下步驟第1變換步驟，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻QMF頻譜；變調步驟，對上述低頻帶信號適用互不相同的移位係數，由此生成變調後的多個信號；高頻生成步驟，將變調後的上述多個信號在QMF域進行時間伸展，由此生成高頻QMF頻譜；頻譜修正步驟，對上述高頻QMF頻譜進行修正，以滿足高頻能量及音調的條件；以及全頻帶生成步驟，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
17.一種程序，用來從低頻帶信號生成全頻帶信號，使計算機執行如下步驟第1變換步驟，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻QMF頻譜；低次諧波補丁生成步驟，在上述QMF域對上述低頻帶信號進行時間伸展，由此生成低次諧波補丁；高頻生成步驟，對上述低次諧波補丁適用互不相同的移位係數，由此生成變調後的多個信號，從上述多個信號生成高頻QMF頻譜；頻譜修正步驟，對上述高頻QMF頻譜進行修正，以滿足上述高頻能量及音調的條件；以及全頻帶生成步驟，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
18.一種集成電路，從低頻帶信號生成全頻帶信號，具備第1變換部，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻 QMF頻譜；變調部，對上述低頻帶信號適用互不相同的移位係數，由此生成變調後的多個信號； 高頻生成部，將變調後的上述多個信號在QMF域進行時間伸展，由此生成高頻QMF頻頻譜修正部，對上述高頻QMF頻譜進行修正，以滿足高頻能量及音調的條件；以及全頻帶生成部，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
19.一種集成電路，從低頻帶信號生成全頻帶信號，具備第1變換部，將上述低頻帶信號變換到正交鏡像濾波器組即QMF域，由此生成第1低頻 QMF頻譜；低次諧波補丁生成部，在上述QMF域對上述低頻帶信號進行時間伸展，由此生成低次諧波補丁 ；高頻生成部，對上述低次諧波補丁適用互不相同的移位係數，由此生成變調後的多個信號，從上述多個信號生成高頻QMF頻譜；頻譜修正部，對上述高頻QMF頻譜進行修正，以滿足上述高頻能量及音調的條件；以及全頻帶生成部，對修正後的上述高頻QMF頻譜和上述第1低頻QMF頻譜進行組合，由此生成上述全頻帶信號。
20.一種音頻解碼裝置，具備分離部，從編碼信息分離被編碼的低頻帶信號； 解碼部，對上述被編碼的低頻帶信號進行解碼；變換部，將通過上述解碼部的解碼生成的低頻帶信號變換到正交鏡像濾波器組即QMF 域，由此生成低頻QMF頻譜；變調部，對所生成的上述低頻帶信號適用互不相同的移位係數，由此生成變調後的多個信號；高頻生成部，將變調後的上述多個信號在QMF域進行時間伸展，由此生成高頻QMF頻譜；頻譜修正部，對上述高頻QMF頻譜進行修正，以滿足高頻能量及音調的條件； 全頻帶生成部，對修正後的上述高頻QMF頻譜和上述低頻QMF頻譜進行組合，由此生成全頻帶信號；以及逆變換部，將上述全頻帶信號從正交鏡像濾波器組即QMF域的信號變換為時間域的信號。
21.一種音頻解碼裝置，具備分離部，從編碼信息分離編碼的低頻帶信號； 解碼部，對上述編碼的低頻帶信號進行解碼；變換部，將通過上述解碼部的解碼生成的低頻帶信號變換到正交鏡像濾波器組即QMF 域，由此生成低頻QMF頻譜；低次諧波補丁生成部，在上述QMF域對上述低頻帶信號進行時間伸展，由此生成低次諧波補丁 ；高頻生成部，對上述低次諧波補丁適用互不相同的移位係數，由此生成變調後的多個信號，從上述多個信號生成高頻QMF頻譜；頻譜修正部，對上述高頻QMF頻譜進行修正，以滿足高頻能量及音調的條件； 全頻帶生成部，對修正後的上述高頻QMF頻譜和上述低頻QMF頻譜進行組合，由此生成全頻帶信號；以及逆變換部，對上述全頻帶信號從正交鏡像濾波器組即QMF域的信號變換為時間域的信號。
全文摘要
提供一種能夠減少頻帶擴展的運算量、並且抑制擴展的頻帶的品質下降的頻帶擴展方法。在該頻帶擴展方法中，通過將低頻帶信號變換到QMF域，生成第1低頻QMF頻譜(S11)，通過對低頻帶信號適用互不相同的移位係數，生成變調後的多個信號(S12)，通過在QMF域進行時間伸展，生成高頻QMF頻譜(S13)，對該高頻QMF頻譜進行修正(S14)，對修正後的高頻QMF頻譜與第1低頻QMF頻譜進行組合(S15)。
文檔編號G10L21/02GK102473417SQ20118000321
公開日2012年5月23日 申請日期2011年6月6日 優先權日2010年6月9日
發明者則松武志, 周歡, 張國成, 石川智一, 鍾海珊 申請人:松下電器產業株式會社