用於對多聲道數字音頻信號進行壓縮編碼的編碼方法

2023-06-09 00:57:06

專利名稱：用於對多聲道數字音頻信號進行壓縮編碼的編碼方法
技術領域：
本發明涉及數字音頻信號的編碼/解碼設備及其方法，更確切地說，是關於對多聲道數字音頻信號進行壓縮編碼/解碼的設備及方法。
背景技術：
多聲道(包括立體聲)數字音頻壓縮編碼技術已被廣泛應用於VCD，SVCD，DVD，衛星電視，數位電視，和網際網路(Internet)等領域中。它要解決的主要問題是用於表達多聲道數字音頻信號的碼率很高，但可用於傳播或儲存它的信道容量卻非常有限。例如，用PCM來表達48kHz採樣率每個樣本24比特的5.1聲道的環繞聲需要6912kbps(千比特/秒)的碼率，而如數位電視之類的信道容量比較有限的應用可分配給數字音頻信號的碼率一般為384kbps，即使是DVD這樣的信道容量比較寬鬆的應用可分配給數字音頻信號的碼率也一般為384kbps，768kbps，和1536kbps。在此，數字音頻壓縮編碼技術需要提供高達18倍的壓縮比。
數字音頻壓縮編碼技術的研究開發可以追溯到70年代早期。經過三十年的發展，目前廣泛採用的技術框架已基本定型為幀長選擇器，頻率或子帶分解器，暫態檢測器，線性預測器，比特分配器，量化器，熵編碼器，和多路復用器。
例如，MPEG 2 AAC[參考文獻1]和MPEG 4 AAC[參考文獻2]技術把輸入音頻PCM信號流分成1024個樣本一幀，然後對每幀信號作暫態檢測。如果未發現本幀樣本中有暫態響應，則(可選擇地)作長期線性預測，然後作1024個子帶的頻率分解，再(可選擇地)對每個子代信號作短期線性預測。如果發現有暫態響應，則進一步把本幀的1024個樣本分成8個子幀，每幀128個樣本，然後作128個子帶的頻率分解，並把暫態響應所在的那些子幀的位置傳送給多路復用器。隨後作基於人耳聽覺模型的全局比特分配器，對子帶信號作非線性標量量化，和對量化指數作哈夫曼(Huffman)編碼。最後，多路復用器把以上各步驟所產生的輔助信息和表達各個子帶樣本的哈夫曼碼打包成一個完整的以幀為單位的壓縮碼流。AAC的優點是壓縮效率高。但編碼器和解碼器複雜，解碼後的音頻信號的音質不完全透明。
再例如，DTS的多聲道音頻編碼器[參考文獻3，4和5]的幀長選擇器可根據採樣率和碼率從256，512，1024，2048，和4096中選一個幀長，並按此幀長把輸入音頻PCM信號流分成幀。隨後作32個子帶的頻率分解，再對每個子帶信號作子帶編碼。子帶編碼包括暫態檢測，線性預測，基於人耳聽覺模型的全局比特分配器，標量/矢量量化，和哈夫曼(Huffman)編碼。最後，多路復用器把以上各步驟所產生的輔助信息和表達各個子帶樣本的量化指數或哈夫曼碼打包成一個完整的以幀為單位的壓縮碼流。DTS的優點是解碼後的音頻信號的音質好，在高碼率(如1536kbps)時被很多人認為完全透明。但它的壓縮效率不高。
隨著數位電視近幾年在歐州和北美的商業廣播，多聲道音頻節目作為電視伴音的配送成為一個迫切需要解決的問題。這裡涉及到的一個主要問題是目前的電視臺和錄音棚的設施僅僅支持立體聲。把它們改成多聲道意味著更換與音頻相關的幾乎全部設備。把多聲道節目壓縮到立體聲能支持的碼率即可避免這個問題。對多聲道節目壓縮後也有利於各個電視臺和錄音棚之間傳輸和分享節目。但壓縮後的音頻碼流引入了幀的結構。如果音頻幀的長度與視頻幀的不等，在對視頻碼流在其幀的邊界上作剪輯時就會切到音頻幀的內部，從而破壞音頻幀的結構，使解碼器出錯。另外，在多聲道節目的製作和配送過程中往往需要對其進行多次的編碼和解碼(縱列編碼Tandem Coding)操作。這要求壓縮技術必須能經得起至少十次以上的縱列編碼而聽不到失真。
Dolby E是一個專為以上應用而設計的音頻壓縮編碼技術[參考文獻6]。它的幀長度固定為1792，但它用採樣率變換的方法來使一幀Dolby E的數據流所佔的時間與各種通用的視頻幀頻率(NTSC，PAL，和電影)的幀長度相等以達到能與它們同步剪輯的目的。同時，它又用高碼率來確保能經得起十次以上的縱列編碼而聽不到失真。但是，Dolby E的壓縮效率不高，不適合作為把多聲道節目傳輸到最終用戶(如電視機)的壓縮技術。因此，電視臺在用Dolby E製作好節目後還得解碼成PCM，然後再編碼成AC-3[參考文獻7]或MPEG之類的高壓縮效率的編碼技術的碼流後才能發射出去。圖1示出採用Dolby E作節目配送的壓縮編碼技術，AC-3作節目傳輸的壓縮編碼技術的電視臺配送和傳輸音頻節目的過程。從中可以看出，這個電視臺法方案存在以下幾個困難1)音頻信號的失真大Dolby E本身的採樣率轉換引入失真，從Dolby E格式的碼流到AC-3格式的碼流的轉移編碼(Transcoding)又引入新的失真。2)已發射過的節目很難再用如圖1所示，如果要再用已發射過的節目，它必須被解碼成PCM再經Dolby E編碼後才能與其他節目(如廣告等)切換。在發射時還得重新經過從Dolby E解碼到AC-3編碼的轉移編碼過程。由於作最終傳輸的碼率一般不高，已發射過的節目在經過以上這一串(AC-3解碼-Dolby E編碼-Dolby E解碼-AC-3編碼)轉移編碼後的音質很難或無法保證。3)由於Dolby E的輸入和輸出的採樣率沒有簡單的倍頻關係，其編碼和解碼器都很複雜昂貴。

發明內容
本發明的第一方面，提供一種高效高保真的對多聲道(包括單聲道)音頻信號進行壓縮編碼的編碼器及其編碼方法。當該音頻信號作為視頻信號的伴音時，該方法既能滿足配送多聲道數字音頻節目的要求，也能滿足以中低碼率傳播多聲道數字音頻節目的要求(壓縮效率高)。也即，它實現了Dolby E和其它傳輸壓縮編碼技術如AC-3加起來的功能。
本發明在該方面的編碼器包括1)幀長選擇器，用於根據音頻信號的採樣率，碼率，和視頻幀頻率(當多聲道音頻信號作為視頻信號的伴音時)選擇音頻幀長；2)子帶分解濾波器組，用於將一幀一幀輸入的音頻信號分解成多個子帶信號；3)暫態檢測器，用於將輸入的子帶信號分成暫態段與穩態段；4)比特分配器，用於將由目標碼率所決定的比特資源分配到各個子帶段；5)子帶量化器，用於對所述的子帶信號以段為單位量化；6)多路復用器(MUX)，用於將子帶的量化指數以及相關的輔助信息多路復用打包成一個以幀為單位的完整的碼流。
本發明在該方面的編碼方法包括1)根據音頻信號的採樣率，碼率，和視頻幀頻率(當多聲道音頻信號作為視頻信號的伴音時)選擇音頻幀長；2)通過子帶分解濾波器組將一幀一幀輸入的音頻信號分解成多個子帶信號；3)將各個子帶信號分成暫態段與穩態段；4)將由目標碼率所決定的比特資源分配到各個子帶段；5)對所述的子帶信號以段為單位量化；6)將子帶信號的量化指數以及相關的輔助信息多路復用打包成一個以幀為單位的完整的碼流。
本發明的第二方面，提供一種對由上述編碼器按上述編碼方法編碼形成的音頻碼流進行解碼的解碼器及其解碼方法。其中該解碼器包括1)多路分解器(DEMUX)，用於從上述編碼的碼流中多路分解出子帶信號的量化指數以及相關的如音頻幀長，子帶段邊界，和比特分配等輔助信息；2)子帶逆量化器，用於依據相關的輔助信息以段為單位由子帶信號的量化指數重建子帶信號；3)子帶合成濾波器組，用於由子帶信號重建音頻信號。
本發明在該方面的解碼方法包括1)從上述音頻編碼的碼流中多路分解出子帶信號的量化指數以及相關的輔助信息；2)依據相關的輔助信息以段為單位由子帶信號的量化指數重建子帶信號；3)用子帶合成濾波器組由子帶信號重建音頻信號。
當多聲道音頻信號作為視頻信號的伴音時，本發明選擇的音頻幀長與視頻幀長有簡單的倍數關係或者視頻幀長是音頻幀長的正整數倍，或者音頻幀長是視頻幀長的整數倍。這樣，本發明產生的碼流可以與視頻節目同步剪輯。
更進一步，當多聲道音頻信號作為視頻信號的伴音時，本發明選擇的子帶分解濾波器組的子帶數是不同視頻幀頻(PAL和電影)所對應的不同音頻幀長的公因子。這樣，當視頻節目的幀頻發生變化時，本發明的編碼器和解碼器只須改變音頻幀長與這個公因子的倍數，而不是子帶數，即可維持音頻幀長與視頻幀長的前述倍數關係，以維持與視頻節目的同步剪輯能力。由於子帶數未變，編碼器和解碼器的各個延遲線也不用改變，因而編碼器和解碼器不用復位即可適應視頻節目的幀頻的變化.
以上對子帶數和幀長度的限制並不妨礙本發明有一個很短的幀長度以提供一個低延遲工作模式。
本發明的子帶分解器與合成器所採用的濾波器較長以保證在對經本發明壓縮編碼後的數據流在幀的邊界上作剪輯後能保持解碼後的音頻信號平滑過渡。
本發明的編碼系統的暫態檢測器把輸入子帶信號分割成暫態和平穩片段。它有很高的時間解析度，以減小音頻壓縮編碼常碰到的前向回聲(Pre-echo)效應。本發明隨後的各個部件對輸入音頻信號的處理都以片段為單位進行。
本發明利用跨聲道的音頻信號在同一子帶(頻率)上的相關性來作長期和短期預測。這樣既可充分地利用音頻信號的周期性及聲道之間的相關性，又可採用低階數的預測器以降低運算量。
本發明的比特分配器只非常有限地利用了人耳聽覺模型以達到簡化比特分配的目的。這樣既可極大的減小比特分配的計算複雜度，還可僅僅用一個參數來表達比特分配的結果。解碼器在接收到這個參數後即可根據它而很簡單地準確重建編碼器用的比特分配。這樣就節省掉了其他技術用於傳送比特分配的比特資源。由於這個節省，用這種方法為編碼效率帶來的改善很可能能與用很複雜的人耳聽覺模型的媲美。
在量化方面，本專利採用的策略是在量化級少時用矢量量化，量化級多時用標量量化，以達到優化壓縮效率，解碼複雜度和對記憶單元的需求的目的。


圖1採用Dolby的音頻壓縮技術的數位電視節目的配送和傳輸方案。
圖2第一實施例的編碼器。
圖3本發明暫態檢測示意圖。
圖4第二實施例的編碼器。
圖5人耳在安靜環境下的聽覺門限(Theshold in Quite)。
圖6第三實施例的編碼器。
圖7第四實施例的編碼器。
圖8本聲道線性預測與預測誤差信號的量化。
圖9跨聲道線性預測與預測誤差信號的量化。
圖10本聲道與跨聲道線性預測並用，以及預測誤差信號的量化。
圖11編碼流程圖。
圖12解碼流程圖。
圖13解碼器。
圖14採用本聲道線性預測時子帶樣本的重建過程。
圖15採用跨聲道線性預測時子帶樣本的重建過程。
圖16本聲道和跨聲道線性預測並用時子帶樣本的重建過程。
圖17採用本發明的編碼器和解碼器的數位電視節目的配送和傳輸示意圖。
具體實施例方式
本發明的編碼及解碼方法對各個聲道的處理幾乎是完全分離和相同的，因此以下對本發明的描述都基於一個聲道，除非另外說明。
編 碼[實施例1]如圖2所示，本發明的編碼器由幀長選擇器1，子帶分解濾波器組2、暫態檢測器3、比特分配器4，子帶量化器5，以及多路復用器6構成，用於對輸入的音頻信號進行壓縮編碼。該音頻信號可以是數位電視的伴音信號。以下通過對各組件的詳細描述來說明編碼器的工作原理。
幀長選擇器1幀長選擇器1的作用是把輸入的音頻信號按照一定的幀長分成幀。至於幀長的選擇，一般認為幀長越大，編碼壓縮效率越高，但編碼延遲越大，編碼器和解碼器對記憶單元的需求量也越大。因此，碼率高時一般選用小一些的幀長，碼率低時一般選用大一些的幀長。由於編碼延遲與幀長和採樣率的乘積成正比，在選擇幀長時一定得考慮採樣率。
當音頻信號是視頻信號的伴音時，在選擇幀長時除了要考慮以上因素外，還得考慮作為視頻信號的伴音的一些特殊要求。這些特殊要求中最突出的，同時也是本發明要解決的問題之一，是被壓縮後的音頻碼流能與視頻信號作同步剪輯。本發明用「同步剪輯」來指被壓縮後的音頻碼流與視頻碼流的合理剪輯點在時間上完全同步，以使得在它們的任何一個剪輯點同時對音視頻碼流作剪輯後，音視頻碼流都不出錯，並且解碼後的音視頻信號在剪輯點都能平滑過渡。
實現同步剪輯的基本要求是一幀音頻碼流所佔的時間必須與一幀視頻碼流所佔的時間有一個簡單的倍數關係。否則，在視頻幀的邊界上剪輯視頻碼流時就會剪在音頻幀的內部，破壞音頻幀的結構，引起解碼器出錯。我們考慮兩種情況。第一種為視頻幀長是音頻幀長的整數倍或相等的情況。此時可在每個視頻幀的邊界上作剪輯，而此剪輯點總會落在音頻幀的邊界上。
對於25幀/秒(PAL)的視頻信號，其每幀所佔的時間為0.04秒。相對於以48000kHz採樣的音頻信號，它相當於1920個樣本。由於1920＝3×5×27，這些因子的任何組合而形成的音頻幀長都可與25幀/秒的視頻信號做同步編輯。
對於24幀/秒(電影)的視頻信號，與其對等的一幀音頻信號(48000kHz採樣率)的樣本數為2000＝24×53。同理，由這些因子組合而形成的音頻幀長都可與視頻信號做同步剪輯。
對音頻幀長度選擇的另一個限制是它必須是後面將要經歷的子帶分解濾波器組的子帶數的整數倍。如果從1920和2000的最大公因子24×5中選一些組合作為子帶數，我們則可在不變動子帶數的條件下實現與24幀/秒和25幀/秒這兩種視頻信號的同步編輯。在子帶分解濾波器組的描述中將對此做進一步的描述。
現在考慮第二種情況，即音頻幀長是視頻幀長的整數倍(如V倍)的情況。為了確保音頻幀的完整性，必須每隔V個視頻幀才有一個音頻信號的剪輯點。被壓縮過的視頻碼流往往要隔好幾幀才會有一個剪輯點，而這個間隔還可能是動態的。假定這個動態間隔的最大值為W，則能同時滿足視頻和音頻剪輯限制的最大剪輯間隔為WV個視頻幀。這顯然需要很大的存儲量。但是，前面所描述的方法任然適用。
子帶分解濾波器組2子帶分解濾波器組2用於把由幀長選擇器1傳過來的音頻信號分解成M個子帶信號。在這裡可以採用各種各樣的濾波器組[參考文獻8]，包括但不限於完美重建和非完美重建濾波器組，正交和非正交濾波器組，樹狀濾波器組，餘弦調製的濾波器組，子波包等。為了保證在對經本發明編碼的碼流進行剪輯後音頻信號的平滑性，特別推薦使用重疊較長的濾波器組。
由於運算量低和設計簡單，餘弦調製的濾波器組是本發明優選濾波器組。它的第k個子帶濾波器為[參考文獻8]hk(n)=2p0(n)cos(M(k+0.5)(n-N2)+k)---(1)]]>其中n為樣本指數，k為子帶指數，M為子帶數，p0(·)為原型濾波器，N為原型濾器的長度，k=(-1)k4.]]>本發明對子帶分解濾波器組2的子帶數M有一定的限制，其原則是子帶數M必須是對應不同的視頻幀頻率由幀長選擇器1選擇的音頻幀長的一個公因子。也即，所有的可用的音頻幀長都可由以下公式表達Fsize＝k*M (2)其中Fsize為音頻幀長，k為一個正整數。這樣，當視頻的幀頻發生變化時，幀長選擇器1隻需選擇另一個k，就可在保持子帶數M不變的條件下，選擇一個與新的視頻幀頻對應的音頻幀長。保持子帶數不變就意味著編碼器和解碼器的各種延遲線不變。當視頻信號的幀頻率變化時，編碼器和解碼器都不需復位，只用對上式中的k作相應調整即能平穩地適應這個變化。
例如，在描述幀長選擇器1時已提到，對於以48kHz採樣的音頻信號，2000可作為相對於24幀/秒的視頻信號的音頻幀長，1920可作為相對於25幀/秒的視頻信號的音頻幀長。如果選擇子帶數M為2000和1920的最大公因子80，則只須選擇k＝25和24即可在保持子帶數不變的條件下分別實現2000和1920的音頻幀長。當然，其它公因子，如40和20等，都可達到同樣的效果。表1列出了本發明優選的音頻幀長及濾波器組的子帶數表1

上表中的短幀長，如200，240，400，480等，很顯然為本音頻壓縮方法提供了低延遲模式。因此，本發明對音頻幀長及子帶數的限制並不防礙本發明擁有低延遲模式。
暫態檢測器3從子帶分解濾波器組2輸出的子帶信號隨即進入暫態檢測器3。暫態檢測器3依據一定的檢測尺度來分析每幀子帶信號的暫態情況，然後把一幀子帶信號進一步分割成暫態段和穩態段，並輸出每段的位置信息。需要特別強調的是，這些段位置自適應地隨暫態情況而變化。本發明對子帶信號的後續處理以段(以下稱子帶段)為基本單位。
以圖3所示的子帶信號為例，檢測器3會判斷A為穩態段，B為暫態段，C為穩態段，並輸出每段的位置信息如段長30，20，和50。
用於暫態檢測的尺度包括但不限於子帶信號的能量，能量的對數，能量熵等。檢測技術可以是簡單的門限檢測，也可以是一些很複雜的技術，包括但不限於著名的K-Means算法[參考文獻8]。
比特分配器4比特分配器4可以用本技術領域常用的方法依據信噪比(SNR)或信號對遮蓋比(SMR)為每個聲道的每個子帶段分配比特[參考文獻1--9]。比特分配的結果為用於量化每個聲道的每個子帶段的每個子帶樣本的比特數。此結果被送給子帶量化器5和多路復用器6。
子帶量化器5子帶量化器5包括一組多個擁有不同量化方式和量化級數的量化器[參考文獻9]。這組量化器的選擇與配置對壓縮效率影響很大。由於量化指數的概率分布不均勻(尤其是在量化級少時)，故一般壓縮技術多採用標量量化加熵編碼(如Huffman碼)的方法。但熵編碼的解碼方法複雜，運算量大而且不均勻，為解碼器的商業實現帶來了不少困難。
為此，本發明優選地採用在量化級少時用矢量量化，量化級多時用標量量化。
子帶量化器5依據比特分配的結果來為每個子帶段從上述量化器組中選取一個具體的量化器，並以此量化器量化該子帶段內的每一個子帶樣本。
對每個子帶段內的每個子帶樣本的量化過程分以下四步(圖2)1)估計比例因子比例因子估計器51可以用該子帶段的所有樣本的絕對值的最大值，該子帶段的所有樣本的方差，或其它變量作為比例因子。
2)量化比例因子比例因子本身也需要量化以便傳送給解碼器。由於人耳對音量的敏感度隨音量增大而減小，故對比例因子的量化應採用非線性方式，如對數量化。以方差為例，設第c個聲道第k個子帶的第d個段的方差為σ(c，k，d)，則比例因子量化器52為該比例因子選的的量化指數為s(c,k,d)=log(c,k,d),---(2)]]>其中α為量化步長。
3)歸一化子帶樣本子帶樣本歸一化器53用量化後重建的比例因子對該子帶段內的所有樣本歸一化。
4)量化子帶樣本量化器選取器54依據比特分配器4送來的比特數選取具體的量化器，然後子帶樣本量化器55用它對歸一化後的子帶樣本進行量化以得到每個樣本的量化指數。
多路復用器(MUX)6多路復用器6把以上各個編碼器部件所產生的以下信息打包在一起以形成一個完整的比特流或碼流。
幀長選擇器1選擇的音頻幀長。
暫態檢測器3輸出的段位置信息。
比特分配器4為每個子帶段分配的比特數。
子帶量化器5產生的比例因子的量化指數和每個子帶樣本的量化指數。
多路復用器6還會把其它輔助信息打包。這些輔助信息包括但不限於輸入音頻信號的採樣頻率，音箱設置，糾錯碼，時間碼等。
本發明的第二實施例的編碼器如圖4所示。其大部分組件與實施例1的相同，區別在於本實施例的獨特的比特分配方法。具體地說，本實施例的比特分配不象實施例1那樣依據信噪比(SNR)以或信號對遮蓋比(SMR)來為每個子帶段分配比特，而是依據比例因子量化器52輸出的比例因子量化指數用以下公式來為每個子帶段分配比特。
b(c，k，d)＝f(α·s(c，k，d))-θ(k)-β (3)其中1)b(c，k，d)是分配給當前子帶段的每個樣本的比特數。
2)f(α·s(c，k，d))是一個嚴格單調遞增函數。它可被優選地設為f(α·s(c，k，d))＝[α·s(c，k，d)]q，其中0＜q≤2。它還可被進一步優選地設為f(α·s(c，k，d))＝α·s(c，k，d)。
3)θ(k)可以優選地設為如圖5所示的的人耳在安靜環境下的聽覺門限(Threshold in Quite)的近似曲線[參考文獻1，2和10]，更可優選地設為零以簡化計算。
4)β是比特調整因子。
從式(3)可以看出，在比特調整因子β確定的情況下，分配到每個子帶段的每個樣本的比特數完全取決於其比例因子的量化指數。
很明顯，β越小(3)式分配給各個子帶段的比特越多；β越大(3)式分配給各子帶段的比特越少。比特分配的任務是在各個子帶段所佔用的比特數的總和不超過給定的目標碼率(比特率)所允許分配給每幀音頻信號的總比特數的條件下找到β的最小值。
比特分配可以是全局最優的，也即所有的聲道公用一個比特分配調整因子。假定在一個給定的目標碼率下所允許分配給每幀音頻信號的總比特數為Total_Bits(這是在減去傳送各種各樣的輔助信息所需的比特數後的總值，以後總是如此假定，不再另外說明)，比特調整因子搜索器41須搜索不同的β值以找到一個滿足如下條件的最小β值ckdb(c,k,d)n(c,k,d)Total_Bits---(4)]]>其中n(c，k，d)為子帶段的樣本數。
由此求得的β就可用來按照式(3)為所有聲道的每個子帶段分配比特。同時，編碼器只須把這個比特分配調整因子傳給解碼器，解碼器也就能依據它和比例因子的量化指數按照式(3)為所有聲道的每個子帶段重建編碼器用的比特分配。
比特分配也可以是局部分別最優的，如每個聲道分別擁有一個單獨的比特分配調整因子。假定在一個給定的目標碼率下按照某種預先確定的方式分配給第c聲道的每幀音頻信號的總比特數為Total Bits(c)。比特調整因子搜索器41須搜索不同的β值以找到一個滿足如下條件的最小β值
kdb(c,k,d)n(c,k,d)Total_Bits(c)---(5)]]>此時，編碼器就得為每個聲道傳送一個比特分配調整因子給解碼器。顯然，這個方法可以很直接地推廣於用其它其它形式來分享比特分配調整因子的情況。
綜上所述，本實施例的比特分配程序如下1)各個聲道的所有比例因子量化器52把每個子帶段的比例因子量化指數送給比特調整因子搜索器41。
2)比特調整因子搜索器41依據式(3)和(4)尋找到一個在給定碼率下的全局最優的比特分配調整因子，並傳給多路復用器6以及比特分配器42。或者，比特調整因子搜索器41依據式(3)和(5)為每個聲道分別尋找到一個在給定碼率下的對各個聲道局部最優的比特分配調整因子，並把它們分別傳給多路復用器6以及各自的比特分配器42。
3)比特分配器42按式(3)為每個子帶段分配比特，並傳給其對應的量化器選取器54。
由上可見，本發明的比特分配只非常有限地利用了人耳聽覺模型以達到簡化比特分配的目的。這樣既可極大的減小比特分配的計算複雜度，還可僅僅用一個比特分配調整因子來表達比特分配的結果。在編碼後的碼流中僅須包含這個比特分配調整因子。解碼器在接收到這個參數後可根據它用式(3)很簡單地準確重建編碼器用的比特分配。這樣就節省掉了其他技術用於傳送分配到每個子帶段的比特數所需的比特資源。這些節省下來的比特資源可用於傳送子帶樣本的量化指數，因而可以進一步提高音質。
本發明的第三實施例的編碼器如圖6所示。其大部分組件與其它實施例的相同，區別在於本實施例比其它實施例多了一個聯合強度編碼器7。聯合強度編碼的理論基礎是人耳對聲音的空間定位在高頻(如高於7kHz時)主要依據聲音的強度。如圖6所示，在編碼時該聯合強度編碼器7可以把由左右(或其它可聯合)聲道的暫態檢測器3輸出的的高頻子帶加起來，只傳這個和子帶(稱為源聲道的被聯合編碼的子帶)的各個樣本的量化指數，外加被聯合聲道的被聯合子帶的強度指數，以達到節省比特的目的。
當用到聯合強度編碼時，對源聲道的被聯合編碼的子帶段的比特分配必須考慮到其它被聯合聲道編碼的同一子帶段的比特需求。假定源聲道為c，其他被聯合編碼的聲道的總集為J，則在計算對c聲道的被聯合編碼的子帶段的比特分配時應採用的比例因子為s(c,k,d)=max{s(c,k,d),maxjJ{s(j,k,d)}}---(6)]]>聯合強度編碼開始啟用的頻率如果過低可能會引起空間定位變窄，因此，在本實施例中，僅在低碼率時才引用聯合強度編碼。
實施例4本發明的第四實施例的編碼器如圖7所示。其大部分組件與其它實施例的相同，區別在於本實施例比其它實施例多了一個跨聲道的長期和短期線性預測器8。對每一段子帶信號，本發明搜索它與本子帶的短期和長期自相關性，及其與其它聲道同一子帶的信號的協相關性，以找到一個使預測誤差最小的線性預測器8。設x(c，k，n)為第c個聲道的第k個子帶的第n個樣本，則基於第s聲道的對第c聲道的線性預測為x^(c,k,n)=m=m0Aa(m)x(s,k,n-m)+m=0Bb(m)x(s,k,n-m-)---(7)]]>其中，a(m)和b(m)分別為短期和長期預測器的預測濾波器的係數，τ為長期預測濾波器的延遲。當s＝c時，上述預測完全基於本聲道，m0＝1；當s≠c時，上述預測是跨聲道的，m0＝0。
用(7)式對每一個子帶樣本x(c，k，n)做出預測後，就可得到一個對應的預測誤差e(c,k,n)=x(c,k,n)-x^(c,k,n).---(8)]]>
編碼器的任務是找到一組最佳的預測係數a(m)，b(m)，和延遲τ以使在該子帶段的總預測誤差如以下的均方誤差最小e2(c,k)=ne2(c,k,n)=n(x(c,k,n)-x^(c,k,n))2.---(9)]]>如果子帶信號x(c，k，n)的周期性較強，則預測誤差的方差會比子帶信號x(c，k，n)本身的方差小很多。這意味著線性預測的預測增益很高，預測很成功。此時就可用預測誤差信號e(c，k，n)來取代x(c，k，n)送到子帶量化器5。否則，就直接把子帶信號x(c，k，n)送到子帶量化器5。因此，線性預測器8的工作程序可歸納如下1)估計預測係數與預測增益。
2)如果預測增益高，將本子帶段採用線性預測的決定、預測係數和延遲送到多路復用器6。同時，按(8)式產生預測誤差信號，並將它送給量化器5。
3)如果預測增益不高，將本子帶段不採用線性預測的決定送到多路復用器6。同時，將本子帶段的樣本x(c，k，n)送給量化器5。
當用到本聲道預測時，為了避免量化誤差在解碼時擴散，對預測誤差信號的量化必須閉環進行[參考文獻8，9和11]，如圖8所示。由於解碼器只能得到由量化器5輸出的預測誤差的量化指數，解碼器只能用逆量化器9來重建預測誤差，然後把它與預測值(c，k，n)相加來重建子帶樣本。而本聲道預測器81也只能用這些重建的子帶樣本來預測未來的子帶樣本。也即，代入(7)式的子帶樣本實質上是重建的子帶樣本。
類似地，在作跨聲道預測時，為了避免量化誤差在解碼時擴散，x(s，k，n)也必須是已解碼後重建的子帶樣本，如圖9所示。注意，圖中9的預測器82是跨聲道預測器，因為其輸入的子帶樣本來自於另一個聲道。
跨聲道預測器82和本聲道預測器81可以同時並用，如圖10所示。首先，計算跨聲道預測的誤差
e1(c,k,n)=x(c,k,n)-m=m0A1a1(m)x(s,k,n-m)-m=0B1b1(m)x(s,k,n-m-1)---(10)]]>然後，對此誤差作本聲道預測e2(c,k,n)=e1(c,k,n)-m=m0A2a2(m)e1(c,k,n-m)-m=0B2b2(m)e1(c,k,n-m-2)---(11)]]>當用到跨聲道預測時，編碼器一定要確保在解碼時源聲道已經被解碼。也就是說編碼器一定要確保對各個聲道的解碼必須因循一定的可實現順序解碼的第一個聲道一定只能用本聲道預測，第二個聲道只能用本聲道預測或前面已解碼的那個聲道作跨聲道預測。以此類推。
編碼器可以搜索所有的可實現解碼順序以找到預測增益最大的解碼順序。編碼器也可只作有限的搜索以得到次優解。
預測範例1長期或短期預測由於長期和短期預測並用時估計預測係數較難，故可採用或者長期或者短期預測的方式以減小複雜度x^(c,k,n)=m=0Bb(m)x(s,k,n-m-)]]>此時，τ小時為短期預測，τ大時為長期預測。
當以上公式用在跨聲道預測和本聲道預測同時並用的情況時，首先計算跨聲道預測的殘差e1(c,k,n)=x(c,k,n)-m=0B1b1(m)x(s,k,n-m-1)]]>其中，延遲τ1可取的最小值為零。然後，對此殘差作本聲道預測e2(c,k,n)=e1(c,k,n)-m=0B2b2(m)e1(c,k,n-m-2)]]>其中，延遲τ2可取的最小值為1。
預測範例2有限搜索的跨聲道預測為了簡化跨聲道預測在搜索解碼次序上的複雜度，本範例先找到頭兩個聲道的最優次序。對隨後的聲道僅搜索本聲道預測以及用頭兩個聲道作源聲道的跨聲道預測。
為了進一步減小複雜度，可不做任何次序搜索，總用第一聲道作為所有其它聲道的跨聲道預測的源聲道。
較佳地，本發明的編碼器還可以在音頻幀輸入到子帶分解濾波器組2之前對音頻幀進行跨聲道和/或本聲道預測，即在幀長選擇器1與子帶分解濾波器組2之間進一步包括一個跨聲道和/或本聲道預測器，此後，將預測誤差輸入到子帶分解濾波器組2，並按照上面所描述的類似的處理對預測誤差編碼。
編碼流程前述的四個實施例都可單獨成為一個完整的編碼器。但如果把它們的所有功能都匯總起來組成一個編碼器，則可達到最佳壓縮效率。圖11示出了把本發明的四個實施例的所有功能匯合在一起時的編碼流程。其中，聯合強度編碼，跨聲道長短期預測，和全局比特分配是獨立可選的。當它們中的任何一個未被選用時，其在圖11中僅起一個把送入的數據不作任何改動地傳出去的功能。當然，如果圖11中的比特分配器沒有被選用，另一個在實施例1中討論過的通用比特分配器必須被引入以實現同樣的功能。下面結合圖2，4，6，7，8，9和10描述本發明的編碼步驟(參見圖11)。
E1)幀長選擇幀長選擇器1接收從每個聲道輸入的音頻信號的樣本，根據音頻信號的採樣率，目標碼率，和視頻幀頻率(當多聲道音頻信號作為視頻信號的伴音時)選擇音頻幀長，然後把幀長信息傳送給編碼器的其它組件。由於本發明的編碼器及其方法是以幀為基本單位，編碼器的所有組件，編碼流程的每一步，都直接或間接地用到幀長。但為了描述的簡潔明朗，圖11沒有把幀長信息的傳送路徑全部標出。在幀長確定後，幀長選擇器1還按幀長把輸入音頻信號的樣本分成幀，並一幀一幀地送入子帶分解濾波器組2。本步驟不對輸入音頻信號本身作任何處理。
E2)子帶分解子帶分解濾波器組2把每一聲道的音頻信號分解為M個子帶信號。
E3)暫態檢測暫態檢測器3分析每個子帶信號的暫態情況，並據此把它分成暫態段和穩態段。然後，把每一段的位置信息傳送給編碼器的其它組件。由於與步驟E1類似的原因，圖11沒有把暫/穩態段的位置信息的傳送路徑全部標出。本步驟不對子帶信號本身作任何處理。
E4)聯合強度編碼聯合強度編碼器7在作完聯合強度編碼後，拋棄被聯合子帶的樣本，只將其每一子帶段的強度指數傳送給比特分配(E7)器4和多路復用(E9)器6。本步驟是本發明在低碼率時優選的。不採用本步驟不影響編碼器或方法的完整性，只是編碼效率會有下降。
E5)跨聲道長期和短期預測跨聲道長期和短期預測器8在作完線性預測後，將是否採用預測的決定傳給多路復用(E9)器6。如果決定採用預測，還將預測濾波器的延遲和預測係數傳給多路復用(E9)器6，並用預測誤差信號來取代子帶信號傳給子帶量化器5。本步驟是本發明優選的，不採用本步驟不影響編碼器或方法的完整性，只是編碼效率會有下降。
為了便於描述，圖11把子帶量化器5的功能分為兩步比例因子(E6)和矢量/標量量化(E8)。
E6)比例因子子帶量化器5從子帶信號(如決定採用了線性預測，則為預測誤差信號，以下統稱子帶信號)中以暫/穩態段為單位估計並量化比例因子。然後，把比例因子的量化指數傳送給比特分配(E7)器4和多路復用(E9)器6。本步驟不對子帶信號本身作任何處理。
E7)比特分配比特調整因子搜索器41依據由步驟E6輸入的比例因子的量化指數，以及由E4輸入的強度指數(如果聯合強度編碼被選用)，尋找到最優的比特分配調整因子，並把它傳給多路復用(E9)器6。然後，比特分配器42又依據(3)式把比特分配到每一個子帶段，並把每一個子帶段所分配到的比特數傳給量化器選取器54以供矢量/標量量化(步驟E8)用。以上的比特分配方法是本發明優選的。如不優選此方法，必須採用一個其它的比特分配方法，以維持編碼器的完整性。本步驟不對子帶信號本身作任何處理。
E8)矢量/標量量化量化器選取器54依據比特分配(E7)器4送來的每一個子帶段所分配到的比特數為每一個子帶段選取一個量化器，然後把它傳送給子帶樣本量化器55。子帶樣本量化器55隨後以子帶段為單位量化每一個子帶樣本，並把其量化指數傳給多路復用(E9)器6。
E9)多路復用(MUX)多路復用器6把每一個子帶樣本的量化指數和以下的輔助信息打包(多路復用)成一個完整的音頻幀並將其輸出音頻幀長，暫/穩態段的位置，強度指數(如果聯合強度編碼被選用)，是否採用預測的決定，預測濾波器的延遲和係數，比例因子的量化指數，和比特分配調整因子。多路復用器6還可打包(多路復用)輸出其它一些輔助數據，如採樣頻率，音箱設置，糾錯碼，時間碼等。
解碼本發明的解碼器及其解碼方法在本質上為編碼器及其方法的逆過程.在此，根據圖12和13描述解碼流程和解碼器各部件。
解碼流程經過本發明的編碼方法和編碼器產生的碼流須經過以下的主要步驟(圖12)來解碼重建多聲道音頻信號D1)解包(DEMUX)輔助信息多路復用解包器110解包出以下輔助信息·幀長。
·所有子帶段(暫/穩態段)的位置。
·比特分配調整因子。
·每個子帶段的比例因子量化指數。
·每個子帶段是否採用跨聲道長期和短期預測的決定；如果採用，進一步解包出預測濾波器的延遲和係數。
·被聯合強度編碼的子帶段的強度指數D2)比特分配比特分配器42依據輸入的比特分配調整因子和每個子帶段的比例因子量化指數為每個子帶段分配比特。此比特分配器與編碼器用到的比特分配器42完全一樣，故仍延用標號42。本比特分配方法是本發明優選的；如編碼器採用別的比特分配方法，則必須越過不作本步驟。但步驟D1通常必須增加一個解包項目從輸入碼流中解包出比特分配。
D3)解包子帶樣本的量化指數多路復用解包器110依據步驟D2分配的比特數從輸入碼流中解包出每個子帶樣本的量化指數。
D4)逆量化重建子帶樣本子帶樣本逆量化器120依據步驟D1解包出的比例因子量化指數和步驟D3解包出的子帶樣本的量化指數重建每個子帶樣本。
D5)跨聲道長期和短期預測對每一個子帶段，如果步驟D1解包出的預測決定為肯定，則跨聲道長期和短期預測器130對本子帶段的所有樣本作預測。否則，跨聲道長期和短期預測器130對本子帶段的所有樣本不作任何處理。本步驟是本發明優選的；如編碼器未採用跨聲道長期和短期預測，則必須越過不作本步驟。
D6)聯合強度解碼對每一個被聯合強度編碼的子帶段，聯合強度解碼器140首先從源子帶段拷貝子帶樣本到本子帶段。然後，依據步驟D1解包出的強度指數重建強度比例因子，並用它修正拷貝到本子帶段的樣本值。本步驟是本發明在低碼率時優選的；如編碼器未採用聯合強度編碼，則必須越過不作本步驟。
D7)合成濾波器組合成濾波器組150把子帶樣本合成重建成音頻信號。
如果本發明的編碼器在音頻幀輸入到子帶分解濾波器組2之前對音頻幀進行了跨聲道和/或本聲道預測，此時還得對由合成濾波器組150重建的信號作相應的預測以重建音頻信號。
解碼器本發明的解碼器如圖13所示。以下描述各個部件多路復用解包器(DEMUX)110多路復用解包器110負責從壓縮編碼的碼流中解包出解碼步驟D1和D3中列出的數據。它也負責從壓縮編碼的碼流中解包出其它輔助數據，如採樣頻率，音箱設置，糾錯碼，時間碼等。
比特分配器42此比特分配器與編碼器用到的比特分配器42完全一樣，故仍延用標號42。此比特分配器的功能是把比特分配調整因子和每個子帶段的比例因子量化指數代入(3)式以得出分配給每個子帶段的每個樣本的比特數。
子帶樣本逆量化器120子帶樣本逆量化器120根據每個子帶段的比特分配選取量化器。然後，以此量化器和該子帶段的比例因子由子帶樣本的量化指數重建子帶樣本。
注意，當某一個子帶段採用了跨聲道長期和短期預測，則子帶樣本逆量化器120重建的是該子帶段的預測誤差信號，而不是子帶樣本本身。
跨聲道長期和短期預測器130對每一個子帶段，如果步驟D1解包出的預測決定為肯定，則跨聲道長期和短期預測器130對本子帶段的所有樣本作預測。否則，跨聲道長期和短期預測器130對本子帶段的所有樣本不作任何處理。
作本聲道預測的預測器如圖14。其中的預測器81與編碼器用到的預測器81完全一樣，故仍延用標號81。
作跨聲道預測的預測器如圖15。其中的預測器82與編碼器用到的預測器82完全一樣，故仍延用標號82。
當跨聲道和本聲道預測同時並用時，先作本聲道預測，然後再作跨聲道預測，如圖16所示。
聯合強度解碼器140對每一個被聯合強度編碼的子帶段，聯合強度解碼器140首先從源子帶段拷貝子帶樣本到本子帶段。然後，依據強度指數重建強度比例因子，並用它修正拷貝到本子帶段的樣本值。
子帶合成濾波器組150子帶合成濾波器組150把子帶樣本合成重建成音頻信號。子帶合成濾波器組150是編碼器中的子帶分解濾波器組2的逆，是同時設計的。也即，編碼器中的子帶分解濾波器組2確定後，子帶合成濾波器組150也就完全確定了[參考文獻8]。
應用方案本發明涉及的是多聲道數字音頻壓縮編碼/解碼技術，其優點包括壓縮效率高，解碼器簡單，解碼後的音頻信號保真度高，以及能適用於高，中，和低碼率的各種應用。因此，它完全適用於純粹的音頻應用，如數字音頻廣播等；其解碼器完全可獨立地安裝在純粹的音響設備中，如功放，隨身聽等。
由於音頻信號大多以視頻信號的伴音的形式出現，由於本發明的編解碼方法的壓縮效率高，經過本發明編碼的音頻信號能與視頻信號同步剪輯並能經受得起十次以上的縱列編碼，因而在實際應用中具有如下的優點1)能同時滿足節目的配送和傳輸的要求。
2)本發明的編碼技術極大地簡化了節目配送的環節和設備。以數位電視為例，圖17示出了採用本技術的節目配送和傳輸的過程。很明顯，它比Dolby的方案(圖1)簡單了許多。
3)由於省去了多次的轉移編碼環節，本技術極大地提高了節目配送過程的保真度。
4)由於省去了圖1中的多個編碼器和解碼器，本技術也極大地降低了節目配送的成本。
參考文獻[1]ISO/IEC 13818-7，1997. ISO/IEC 14496-3，1998. S.Smyth，M.Smyth，and W.P.Smith，「Multi-channelPredictive Subband Audio conder using Psychoacoustic AdaptiveBit Allocation In Frequency，Time，And Over The MultipleChannels，」US Patent 5956674. M.Smyth，「An overview of the Coherent Acoustics codingsystem，」http//www.dtsonline.com/whitepaper.pdf，1999. S.Smyth，W.P.Smith，M.Smyth，M.Yan，and T.Jung，「DTS Coherent Acoustics Delivering High Quality MultichannelSound to the Consume，」AES 100th Convention，1996. L.Fielder and C.Todd，「The design of a video friendlyaudio coding system for distribution applications，」AES 17thInternaltional Conference，pp.86-92，1999. C.Todd，G.Davidson，M.Davis，L.Fielder，B.Link，and S.Vernon，「AC-3，Flexible perceptual coding for audiotransmission and storage，」96th AES Convention，Amsterdam，1994. P.P.Vaidyanathan，「Multirate systems and filterbanks，」Prentice Hall，1993. A.Gersho and R.M.Gray，「Vector quantization andsignal compression，」Kluwer，1992.[10]B.C.J.Moore，「An introduction to the psychologyof hearing，」Academic Press，1997. A.M.Kondoz，「Digital Speech，」John WileySons，1994.
權利要求
1.一種用於對多聲道數字音頻信號進行壓縮編碼的編碼方法，包括下列步驟a)幀長選擇步驟，根據所述音頻信號的採樣率和目標碼率選擇幀長，並按此幀長將所述的音頻信號分成幀；b)子帶分解濾波步驟，用子帶分解濾波器組將逐幀輸入的音頻信號分解成多個子帶信號；c)暫態檢測步驟，將輸入的子帶信號劃分成暫態段和穩態段，每個暫態段或穩態段的段長自適應地隨暫態和穩態情況變化；d)預測步驟，緊跟在所述的暫態檢測步驟的後面，利用其它聲道的樣本或本聲道過去的樣本來對本聲道當前的樣本作預測e)比例因子估計步驟，估計並量化每段子帶信號的比例因子，並輸出比例因子的量化指數；f)比特分配步驟，將由目標碼率所決定的比特數根據每個子帶段的比例因子量化指數自適應地分配到各個子帶段；g)子帶量化步驟，依據所分配給各個子帶段的比特數對所述的子帶信號以段為單位量化；h)多路復用步驟，將子帶量化器產生的子帶樣本的量化指數以及包含有幀長、段位置信息、比例因子的量化指數以及比特分配信息的輔助信息多路復用打包成一個以幀為單位的完整碼流。
2.如權利要求1所述的編碼方法，當所述的音頻信號作為視頻信號的伴音時，其中的幀長選擇步驟還根據視頻幀頻率而選擇音頻幀長，使得音頻幀長是視頻幀長的有理分數或其整數倍。
3.如權利要求2所述的編碼方法，其中所述子帶分解濾波器組的子帶數是由幀長選擇步驟根據不同的視頻幀頻率而選擇的各個音頻幀長的公因子。
4.如權利要求1所述的編碼方法，其中的子帶量化步驟運用一組不同的標量量化器和矢量量化器。
5.如權利要求1所述的編碼方法，其中的比特分配步驟根據比例因子量化指數，與一個比特分配調整因子一起，為每個子帶樣本分配比特。
6.如權利要求5所述的比特分配步驟分配給第c聲道第k個子帶第d段中的樣本的比特數b(c，k，d)由下式決定b(c，k，d)＝f(α·s(c，k，d))-θ(k)-β其中f(·)是一個嚴格單調遞增函數，s(c，k，d)是該子帶段的比例因子的量化指數，α是其量化步長，θ(k)為人耳在安靜環境下的聽覺門限的近似曲線，β為比特調整因子。
7.如權利要求6所述的比特分配步驟，其中f(α·s(c，k，d))＝[α·s(c，k，d)]q，其中0＜q≤2。
8.如權利要求7所述的比特分配步驟，其中θ(k)＝0。
9.如權利要求5-8中任一個所述的比特分配步驟，其中所述的比特分配調整因子或者為所有聲道共用一個，或者為每個聲道分別獨用一個，或者為把所有聲道分成若干組每組分別獨用一個，但這些比特分配調整因子使得分配給各個子帶樣本的比特數的總和外加傳送輔助信息所需的比特數，不能超出目標碼率所容許分配給每幀音頻信號的總比特數。
10.如權利要求1所述的編碼方法，進一步包括一個聯合強度編碼步驟，緊跟在所述的暫態檢測步驟後面，對於每個被聯合編碼的子帶段，用於比特分配步驟中的比例因子量化指數必須為被聯合在一起編碼的所有聲道在同一子帶段的比例因子量化指數的最大值。
11.如權利要求10所述的編碼方法，還可進一步包括一個預測步驟，緊跟在所述的聯合強度編碼步驟的後面，利用其它聲道的樣本或本聲道過去的樣本來對本聲道當前的樣本作預測。
12.如權利要求1-8中任一個編碼方法，進一步包括一個預測步驟，設置於所述的子帶分解濾波步驟之前，利用其它聲道的樣本或本聲道過去的樣本來對本聲道當前的樣本作預測。
13.如權利要求1、11或12中任一個所述的編碼方法，其中所述的任何一個預測步驟包括用其它聲道的樣本作為源來對當前的樣本作長期和/或短期預測，然後再對此長期和/或短期預測的誤差再做一次長期和/或短期預測。
14.如權利要求1、11或12中任一個所述的編碼方法，其中所述的其它聲道僅局限於用第一和第二聲道。
15.如權利要求1、11或12中任一個所述的編碼方法，其中所述的其它聲道僅局限於第一聲道。
16.如權利要求1、11或12中任一個中所述的編碼方法，其中所述的任何一個預測方法所用的預測器由一個延遲因子和一個線性預測器組成。
17.如權利要求1、11或12中任一個所述的編碼方法，其中所述的任何一個預測方法所用的預測器由一個包含有延遲因子的短期線性預測器和一個包含有延遲因子的長期線性預測器組成。
全文摘要
用於對多聲道數字音頻信號進行壓縮編碼解碼的設備及其方法，其中編碼設備包括幀長選擇器，子帶分解濾波器組，暫態檢測器，比例因子估計器，比特分配器，用於將由目標碼率所決定的比特資源自適應地分廠到各個子帶段，子帶量化器以及多路復用器。該編解碼設備及其方法的壓縮效率高，經過本發明編碼的音頻信號能與視頻信號同步剪輯並能經受得起十次以上的縱列編碼，因而1)能同時滿足節目的配送和傳輸的要求；2)極大地簡化了節目配送的環節和設備，提高了節目配送過程的保真度以及降低了節目配送的成本。
文檔編號H04N7/24GK1783727SQ200510095900
公開日2006年6月7日 申請日期2002年8月21日 優先權日2002年8月21日
發明者遊餘立 申請人:中山正音數位技術有限公司, 遊餘立