支持時域及頻域編碼模式的音頻編解碼器的製造方法

2023-05-13 21:04:21

支持時域及頻域編碼模式的音頻編解碼器的製造方法
【專利摘要】在速率/失真比方面具有低延遲及增高的編碼效率的支持時域及頻域兩種編碼模式的音頻編解碼器通過如下得到：配置音頻編碼器使得音頻編碼器以不同操作模式操作，使得如果活動的操作模式為第一操作模式，則可用幀編碼模式的模式相關集合與時域編碼模式的第一子集不相交，並且與頻域編碼模式的第二子集重疊；而如果活動的操作模式為第二操作模式，則可用幀編碼模式的模式相關集合與兩個子集即時域編碼模式的子集以及頻域編碼模式的子集都重疊。
【專利說明】支持時域及頻域編碼模式的音頻編解碼器
【技術領域】
[0001]本發明涉及支持時域及頻域編碼模式的音頻編解碼器。
【背景技術】
[0002]最近，最終通過了 MPEG USAC編解碼器。統一語音與音頻編碼(USAC)是使用高階音頻編碼(AAC)、變換編碼激勵(TCX)及代數代碼激勵線性預測編碼器(ACELP)的混合方式來編碼音頻信號的編解碼器。更具體地，MPEG USAC使用1024樣本的幀長度，且允許在1024或8x128樣本的仿AAC幀、TCX1024幀，或在一個幀內ACELP幀(256樣本)、TCX256及TCX512樣本的組合之間切換。
[0003]不利地MPEG USAC編解碼器不適合需要低延遲的應用。雙向通信應用例如需要這樣的短延遲。由於USAC具有1024樣本的幀長度，故USAC並非這些低延遲應用的候選者。
[0004]在W02011147950中，曾經提出通過將USAC編解碼器的編碼模式只限制於TCX及ACELP模式而使得USAC方法適用於低延遲應用。此外，曾經提出使得幀結構變得更細小以便遵守由低延遲應用所施加的低延遲要求。
[0005]但仍然需要提出一種音頻編解碼器，在速率/失真比方面具有增高的編碼效率而執行低編碼延遲。優選地，該編解碼器應該能夠有效地處置不同類型的音頻信號比如語音及首樂。

【發明內容】

[0006]這樣，本發明的目的在於提供一種音頻編解碼器，以提供低延遲用於低延遲應用，但與USAC相比，例如在速率/失真比方面具有增高的編碼效率。
[0007]該目的通過審查中的獨立權利要求的主題來實現。
[0008]本發明的基本構想是可獲得具有低延遲及在速率/失真比方面具有增加的編碼效率的支持時域及頻域編碼模式的音頻編解碼器，如果該音頻編碼器被配置成以不同操作模式進行操作，使得如果活動的操作模式為第一操作模式，則可用的幀編碼模式的模式相關集合與時域編碼模式的第一子集不相交，並且與頻域編碼模式的第二子集重疊；而如果活動的操作模式為第二操作模式，則可用的幀編碼模式的模式相關集合與兩個子集重疊，即，時域編碼模式的子集以及頻域編碼模式的子集。例如，取決於用於傳輸數據流的可用傳輸比特率，可執行關於採用第一和第二操作模式中的哪一個的決定。例如，決定的依賴性可以是在較低可用傳輸比特率的情況下採用第二操作模式，而在較高可用傳輸比特率的情況下採用第一操作模式。更具體地，通過對編碼器提供操作模式，可防止編碼器在編碼情況下選擇任何時域編碼模式，比如通過可用傳輸比特率而來確定，當在長期的基礎上在速率/失真比方面考慮編碼效率時，選擇任何時域編碼模式極其可能造成編碼效率的損耗。更精確而言，本發明的發明人發現在(相對)高的可用傳輸帶寬的情況下，抑制選擇任何時域編碼模式使得編碼效率增高:但在短期的基礎上，可以假設時域編碼模式當前優於頻域編碼模式，但如果以較長時間周期來分析音頻信號，則此假設變得不正確。這種長期分析或預測在低延遲應用不可能，因此，防止編碼器事先採用任何時域編碼模式使得能夠實現增加的編碼效率。
[0009]根據本發明的實施例，前述構想是經探索以達到數據流比特率更進一步增高的程度:雖然同步地控制編碼器與解碼器的操作模式就比特率而言相當價廉，或當同步性是通過一下其它裝置提供時甚至無需耗用任何比特率，但可以探討編碼器與解碼器同步地在操作模式之間操作與切換的事實，以便減輕傳遞在音頻信號的連續部分中數據流的各個幀相關聯的幀編碼模式時的額外傳遞負擔。更特別地，當解碼器的關聯器可被配置成取決於與數據流中的幀相關聯的幀模式語法元素而執行數據流的連續幀的每一個與多個幀編碼模式的模式相關集合中的一個的關聯時，該關聯器可特別地取決於活動的操作模式而改變關聯的性能的依賴性。更具體地，依賴性的改變可以使得如果活動的操作模式為第一操作模式，則該模式相關集合與第一子集不相交，並且與第二子集重疊；而如果活動的操作模式為第二操作模式，則該模式相關集合與兩個子集重疊。然而，通過由探索與當前的操作模式相關聯的情況的知識，提高比特率的較少限制性的解決方案也是可行的。
[0010]本發明的實施例的有利的方面是從屬權利要求的主題。
【專利附圖】

【附圖說明】
[0011]更具體地，本發明的優選實施例在下面參考附圖以進一步細節說明，附圖中
[0012]圖1示出根據實施例的音頻解碼器的框圖；
[0013]圖2示出根據實施例，幀模式語法元素與該模式相關集合的幀編碼模式的可能值之間的雙射映射的示意圖；
[0014]圖3示出根據實施例的時域解碼器的框圖；
[0015]圖4示出根據實施例的頻域編碼器的框圖；
[0016]圖5示出根據實施例的音頻編碼器的框圖；及
[0017]圖6示出根據實施例的時域及頻域編碼器的框圖。
[0018]有關附圖的說明須注意除非另外明白地教示，否則在一幅圖中的組件描述也將同等地適用於另一幅圖中具有與其相關聯的相同組件符號的組件。
【具體實施方式】
[0019]圖1示出根據本發明的實施例的音頻解碼器10。音頻解碼器包括時域解碼器12及頻域解碼器14。此外，音頻解碼器10包括關聯器16，被配置為將數據流20的每一個連續幀18a-18c關聯到多個22幀編碼模式所組成的模式相關集合中的一個，多個22幀編碼模式在圖1中示例說明為A、B及C。可以有多於三個幀編碼模式，因此數目從3改成其它數目。各個幀18a-c對應於音頻解碼器從數據流20重建的音頻信號26的連續部分24a_c中的一個。
[0020]更精確地來說，關聯器16是連接在一方面解碼器10的輸入28與另一方面時域解碼器12及頻域解碼器14的輸入之間，從而以後面詳述的方式為關聯器16提供相關聯的幀18a_c。
[0021]時域解碼器12是被配置來解碼幀，該幀具有與其相關聯的多個22幀編碼模式中的一個或多個所組成的第一子集30中的一個；而且頻域解碼器14是被配置來解碼幀，該幀具有與其相關聯的多個22幀編碼模式中的一個或多個所組成的第二子集32中的一個。第一及第二子集彼此不相交，如圖1中示例說明。更精確的來說，該時域解碼器12具有輸出使得輸出音頻信號26的對應於具有與其相關聯的幀編碼模式的第一子集30中的一個的幀的重建部分24a-c ;及該頻域解碼器14包括輸出用以輸出音頻信號26的對應於具有與其相關聯的幀編碼模式的第二子集32中的一個的幀的重建部分。
[0022]如圖1所示，音頻解碼器10可選地具有組合器34，該組合器34連接在一方面時域解碼器12及頻域解碼器14的輸出與另一方面解碼器10的輸出36之間。特別地，雖然圖1建議部分24a-24c彼此不重疊，而是在時間t上彼此立即連接，在該種情況下也可不存在組合器34 ;也可能部分24a-24c在時間t上至少部分連接，但彼此部分重疊，比如涉及由頻域解碼器14所使用的重疊變換，允許時間混迭抵消，舉例而言，如同後文將就頻域解碼器14作進一步細節解說的實施例的情況。
[0023]在繼續對圖1的實施例進行說明之前，須注意圖1示例說明的幀編碼模式A-C的數目僅供舉例說明。圖1的音頻解碼器可支持多於三個編碼模式。後文中，子集32的幀編碼模式被稱作頻域編碼模式，而子集30的幀編碼模式被稱作時域編碼模式。關聯器16將任何時域編碼模式30的幀15a-c轉發給時域解碼器12，並且將任何頻域編碼模式的幀18a_c轉發給頻域解碼器14。組合器34正確地登記如由時域解碼器12及頻域解碼器14所輸出的音頻信號26的重建部分，因此如圖1所示在時間t上為連續排列。可選地，組合器34可在頻域編碼模式部分24之間執行重疊加法功能，或在緊接地連續部分間的過渡處執行其它特定措施，比如重疊加法功能用以執行由頻域解碼器14所輸出部分間的混迭抵消。可在由時域及頻域解碼器12及14分開輸出的立即相連部分24a-c之間執行正向混迭抵消，即針對從頻域編碼模式部分24至時域編碼模式部分24的過渡，及從時域編碼模式部分24至頻域編碼模式部分24的過渡。有關可能實現的進一步細節請參考後文描述的進一步細節實施例。
[0024]如後面將要詳細描述，關聯器16是被配置來使用幀編碼模式A-C而執行數據流20的連續幀18a-c的關聯，而其執行關聯的方式可在不適合使用此種時域編碼模式的情況下避免使用時域編碼模式，比如在高可用傳輸比特率的情況下，在這種情況下，在速率/失真比方面，時域編碼模式比頻域編碼模式更無效，因此時域編碼模式用於某些幀18a_18c極其可能導致編碼效率的減低。
[0025]據此，關聯器16被配置來取決於與該數據流20中的幀18a_c相關聯的一幀模式語法元素而執行幀與幀編碼模式的關聯。舉例而言，數據流20的語法可被配置來使得各個幀18a-c包括用以確定對應的幀18a-c所屬的幀編碼模式的幀模式語法元素38。
[0026]此外，關聯器16被配置來在多個操作模式中的活動的模式下進行操作，或從多個操作模式中選出當前的操作模式。關聯器16可取決於數據流或根據外部控制信號而執行該選擇。舉例而言，如後面將要詳細描述的，與編碼器的操作模式的改變同步地，音頻解碼器10改變其操作模式，以及為了實現同步，編碼器可以傳送活動的操作模式及該數據流20內的操作模式中的活動的操作模式的改變。另外，編碼器及解碼器10可通過一些外部控制信號同步地被控制，比如由較低的傳輸層比如EPS或RTP等所提供的控制信號。外部提供的控制信號例如可以指示一些可用傳輸比特率。
[0027]為了示例說明或實現避免如前文所述的不當選擇或不當使用時域編碼模式，關聯器16被配置來取決於活動的操作模式，改變幀18與編碼模式的關聯的性能的依賴性。更明確而言，如果活動的操作模式為第一操作模式，則多個幀編碼模式的模式相關集合例如為40處所示，其與第一子集30不相交而與第二子集32重疊；而如果活動的操作模式為第二操作模式，則模式相關集合例如為圖1中42處所示，且與第一及第二子集30及32重疊。
[0028]換句話說，根據圖1的實施例，音頻解碼器10是可以經由數據流20或外部控制信號加以控制，因而在第一模式與第二模式間改變其活動的操作模式，通過此改變巾貞編碼模式的操作模式相關集合，換句話說，在40與42間改變，使得根據一個操作模式，模式相關集合40與時域編碼模式集合脫離；而在另一個操作模式中，模式相關集合42含有至少一個時域編碼模式以及至少一個頻域編碼模式。
[0029]為了進一步以細節解釋關聯器16的關聯性能的依賴性，參考圖2，舉例示出數據流20中的一個片段，該片段包括與圖1的幀18a至18c中的某一個相關聯的幀模式語法元素38。就此點而言，須注意圖1舉例說明的數據流20的結構僅用於示例說明目的，也可應用其它結構。舉例而言，雖然圖1的幀18a至18c是示出作為數據流20的單純連接或連續部分，它們之間並無交插，但也可以應用這種交插。此外，雖然圖1提示幀模式語法元素38是包含在所指的幀內部，但並非必然如此。相反地，幀模式語法元素38可位於幀18a至18c外部的數據流20內。此外，包含在數據流20內的幀模式語法元素38的數目不是必須等於數據流20中的幀18a至18c的數目。例如圖2的幀模式語法元素38可與數據流20中的幀18a至18c中的多於一個相關聯。
[0030]總而言之，取決於幀模式語法元素38已經插入數據流20內的方式，在如數據流20所含且經由數據流20所傳輸的幀模式語法元素38與幀模式語法元素38的可能值的集合46間存在映射44。舉例言的，幀模式語法元素38可直接地，即、使用二進位表示，比如PCM插入數據流20，或使用可變長度代碼和/或使用熵編碼比如霍夫曼編碼或算術編碼而插入數據流20。如此，關聯器16可被配置來比如通過解碼48而從數據流20中提取幀模式語法元素38，以便導出可能值的任何集合46，其中可能值在圖2中通過小三角形表示。在編碼器端，相對應地例如通過編碼50而進行插入。
[0031]換句話說，幀模式語法元素38可能假設的任何可能值，亦即在幀模式語法元素38的可能值範圍集合46內的各個可能值與多個幀編碼模式A、B及C中的某一個相關聯。更具體地，一方面的集合46的可能值與另一方面的幀編碼模式的模式相關集合之間有雙射映射。通過圖2的雙箭頭52示例說明的映射是根據活動的操作模式而改變。雙射映射52是關聯器16的功能的一部分，關聯器16取決於活動的操作模式而改變映射52。如圖1說明，在圖2中示例說明的第二操作模式的情況下，雖然模式相關集合40或42與兩個幀編碼模式子集30及32重疊，但在第一操作模式的情況下，模式相關集合與子集30不相交，即不包含子集30的任何元素。換言之，雙射映射52將幀模式語法元素38的可能值的域映射至幀編碼模式的共域(co-domain)上，分別稱作為模式相關集合50及52。如圖1及圖2的示例說明，通過使用針對集合46的可能值的實線的三角形，在兩個操作模式中即第一及第二操作模式中，雙射映射52的域可保持相同，而如前文示例說明及描述，雙射映射52的共域改變。
[0032]然而，集合46內部的可能值的數目可能改變。這是以圖2中畫有虛線的三角形表示。更精確而言，第一與第二操作模式之間的可用幀編碼模式的數目可能不同。然而，如果這樣，在任何情況下仍然實現關聯器16使得雙射映射52的共域表現為如前述，在第一操作模式為活動的情況下，模式相關集合與子集30間沒有重疊。
[0033]換言之，注意到下述情況。在內部，幀模式語法元素38的值可以某個二進位值表示，容納可能值集合46的可能值範圍與當前活動的操作模式無關。為求更精確，關聯器16在內部以二進位表示的二進位值來表示幀模式語法元素38的值。運用此二進位值，集合46的可能值被排序為順序量表(ordinal scale),使得集合46的可能值即便在操作模式改變的情況下也保持彼此可相比較。根據這種順序量表，集合46的第一可能值例如可以定義為在集合46的可能值中具有最高概率者，而集合46的可能值中的第二可能值連續地為具有次低概率者等等。因此，儘管操作模式改變，但幀模式語法元素38的可能值彼此可相比較。後述情況下，儘管第一與第二操作模式之間的活動的操作模式改變，雙射映射52的域及共域，即可能值的集合46及幀編碼模式的模式相關集合保持相同；但雙射映射52改變一方面模式相關集合的幀編碼模式與另一方面集合46的可相比較的可能值之間的關聯。在後述實施例中，圖1的解碼器10仍可利用根據後文解釋的實施例作用的編碼器，換言之，在第一操作模式的情況下，避開選擇不合適的時域編碼模式。通過在第一操作模式的情況下，將集合46的更高可能的可能值與頻域編碼模式32單獨地關聯，而在第一操作模式期間只使用針對時域編碼模式30的集合46的較低可能的可能值，但在第二操作模式的情況下改變此種策略，若使用用以將幀模式語法元素38插入數據流20/從數據流20提取幀模式語法元素38的熵編碼，導致了數據流20的較高壓縮率。換言之，在第一操作模式中，時域編碼模式30中沒有任何一個可以與集合46的可能值相關聯，該可能值的概率高於通過映射52而映射至頻域編碼模式32中的任一者所映射的可能值的概率，這樣的情況存在於第二操作模式，在第二操作模式中，至少一個時域編碼模式30與如下可能值相關聯，該可能值的概率比根據映射52而與頻域編碼模式32相關聯的另一可能值的概率更高。
[0034]剛才所述與可能值46相關聯的且可選地用於編碼/解碼可能值的概率可以是固定的或自適應改變的。不同概率估計集合可用於不同操作模式。在自適應改變概率的情況下，可使用上下文自適應熵編碼。
[0035]如圖1所示，關聯器16的一個優選實施例為關聯的性能的依賴性是取決於活動的操作模式，而幀模式語法元素38被編碼成數據流20及從數據流20解碼，使得集合46內的可區別的可能值數目與該活動的操作模式為第一或第二操作模式無關。更具體地，在圖1的情況下，可區別的可能值的數目為2，也如圖2示例說明，考慮帶有實線的三角形。在該種情況下，舉例而言，關聯器16可被配置來使得如果活動的操作模式為第一操作模式，則模式相關集合40包括幀編碼模式的第二子集32的第一及第二幀編碼模式A及B，以及負責這些幀編碼模式的頻域解碼器14被配置來使用不同的時-頻解析度來對與第一及第二幀編碼模式A及B中的一者相關聯的幀進行解碼。通過此方式，例如一個比特將足以直接地傳輸數據流20內部的幀模式語法元素38，即無需任何額外的熵編碼，其中當從第一操作模式改成第二操作模式時，只有雙射映射52改變，反之亦然。
[0036]如後文中將參考第3及4圖概述的，時域解碼器12可以是代碼激勵線性預測解碼器，及頻域解碼器可以是變換解碼器，被配置來基於被編碼成數據流20的變換係數等級而對具有與其相關聯的幀編碼模式的第二子集中的任一個的幀進行解碼。
[0037]例如參考圖3。圖3示出時域解碼器12及與時域編碼模式相關聯的幀，使得該幀通過時域解碼器12而獲得重建音頻信號26的對應部分24。根據圖3的實施例及根據後面將描述的圖4的實施例，時域解碼器12及頻域解碼器為以線性預測為基礎的解碼器，被配置成針對來自數據流12的各個幀獲得線性預測濾波器係數。雖然圖3及圖4提示各個幀18可將線性預測濾波器係數16結合於其中，但非必需為此種情況。線性預測係數60在數據流12內部傳輸的LPC (線性預測編碼)傳輸速率可等於幀18的幀速率或可以不同。然而，通過從LPC傳輸速率內插至LPC應用速率，編碼器與解碼器可同步操作或應用單獨地與各幀相關聯的線性預測濾波器係數。
[0038]如圖3所示，時域解碼器12可包括線性預測合成濾波器62及激勵信號構建器64。如圖3所示，線性預測合成濾波器62被饋送針對當前時域編碼模式幀18而從數據流12獲得的線性預測濾波器係數。激勵信號構建器64是被饋送針對當前解碼幀18 (具有與其相關聯的時域編碼模式)而從數據流12獲得的激勵參數或代碼，比如碼簿指數(CBI) 66。激勵信號構建器64及線性預測合成濾波器62串聯連接，因而在合成濾波器62的輸出端輸出重建的對應的音頻信號部分24。更具體地，激勵信號構建器64被配置來使用激勵參數66而構建激勵信號68，如圖3指示，該激勵信號可以包含在與任何時域編碼模式相關聯的當前解碼幀內部。激勵信號68是一種殘差信號，其頻譜包絡是通過線性預測合成濾波器62形成。更具體地，線性預測合成濾波器是通過針對當前解碼幀(具有與其相關聯的時域編碼模式)在數據流20內部傳遞的線性預測濾波器係數來控制，以便獲得音頻信號26的重建部分24。
[0039]有關圖3的CELP解碼器的可能實現的進一步的細節參考已知的編解碼器，比如前述USAC[2]或AMR-WB+編解碼器[I]。根據後述編解碼器，圖3的CELP解碼器可實現為ACELP解碼器，據此通過組合受代碼/參數控制的信號即創新激勵，以及連續更新的自適應激勵而形成激勵信號68，該連續更新的自適應激勵是根據針對當前已解碼時域編碼模式幀18也在數據流12內部傳遞的自適應激勵參數來修改針對恰在之前的時域編碼模式幀的最終獲得及施加的激勵信號而得到。自適應激勵參數例如可限定音準延遲及增益，從音準及增益的意義上規定如何修改過去的激勵以便獲得針對當前幀的自適應激勵。創新激勵可從當前幀內部的代碼66推導出，代碼限定多個脈衝及其在激勵信號內部的位置。代碼66可用於碼簿查詢，或例如在數目及位置方面，邏輯上或算術上限定創新激勵脈衝。
[0040]同理，圖4示出頻域解碼器14的可能的實施例。圖4示出進入頻域解碼器14的當前幀18，幀18具有與其相關聯的任何頻域編碼模式。頻域解碼器14包括頻域噪聲整形器70，其輸出連接至重新變換器72。重新變換器72的輸出又轉而為頻域解碼器14的輸出，輸出對應於當前已經解碼的幀18的音頻信號的重建部分。
[0041]如圖4所示，數據流20可傳遞針對具有與其相關聯的任何頻域編碼模式的幀的變換係數等級74及線性預測濾波器係數76。雖然線性預測濾波器係數76可具有與任何時域編碼模式相關聯的幀所關聯的線性預測濾波器係數的相同結構，但變換係數等級74是用以表示在變換域中用於頻域幀18的激勵信號。如從USAC已知，例如變換係數等級74可沿頻譜軸差異地編碼。變換係數等級74的量化準確度可通過常用比例因子或增益因子來控制。比例因子可以是數據流的一部分及假設為變換係數等級74的一部分。但也可使用任何其它量化方案。變換係數等級74被饋送至頻域噪聲整形器70。同理適用於針對當前已解碼頻域幀18的線性預測濾波器係數76。然後頻域噪聲整形器70被配置來從變換係數等級74獲得激勵信號的激勵頻譜，及根據線性預測濾波器係數76而在頻譜上對該激勵頻譜整形。更精確地，頻域噪聲整形器70被配置來將變換係數等級74解量化以便獲得激勵信號的頻譜。然後，頻域噪聲整形器70將線性預測濾波器係數76變換成加權頻譜以便對應於由線性預測濾波器係數76所限定的線性預測合成濾波器的轉移函數。這種變換可涉及施加至LPC的ODFT，以便將LPC轉成頻譜加權值。進一步細節可從USAC標準獲得。運用該加權頻譜，頻域噪聲整形器70對通過變換係數等級74所獲得的激勵頻譜進行整形或加權，由此獲得激勵信號頻譜。通過整形/加權，在編碼端通過量化變換係數所引入的量化噪聲被整形因而感覺上不明顯。然後重新變換器72將由頻域噪聲整形器70所輸出的已整形的激勵頻譜進行重新變換，以獲得對應於剛解碼幀18的重建部分。
[0042]如前文已述，圖4的頻域解碼器14可支持不同編碼模式。更明確地，頻域解碼器14可被配置來在對與不同頻域編碼模式相關聯的頻域幀進行解碼時應用不同的時-頻解析度。例如，通過重新變換器72執行的重新變換可以是重疊變換，據此連續的且彼此重疊的待變換信號的開窗部分再細分成個別變換，其中重新變換器72獲得這些開窗部分78a、78b及78c的重建。如前記，組合器34可通過例如重疊加法處理而交互補償出現在這些開窗部分的重疊部分的混迭。重新變換器72的重疊變換或重疊重新變換例如可以要求時間混迭抵消的臨界採樣變換/重新變換。舉例而言，重新變換器72可執行逆MDCT。總而言之，頻域編碼模式A及B可彼此不同在於對應於當前已解碼幀18的部分18是通過一個開窗部分78覆蓋，也延伸至先前部分及後繼部分，由此獲得幀18內部變換係數等級74的一個較大集合，或是延伸至兩個連續開窗子部分78c及78b，其是交互重疊且延伸入先前部分及後繼部分，及分別地與先前部分及後繼部分重疊，由此獲得幀18內部變換係數等級74的兩個較小集合。因此，雖然解碼器及頻域噪聲整形器70及重新變換器72例如可對模式A的幀執行兩項操作，即塑形及重新變換，但例如對幀編碼模式B的每個幀，可手動執行一項操作。
[0043]前述音頻解碼器的實施例是特別設計來利用音頻編碼器，音頻編碼器是在不同操作模式下進行操作的，換言之，以便在這些操作模式間改變幀編碼模式的選擇至下述程度，在這些操作模式中的一個中不選擇時域幀編碼模式，而只在另一個操作模式中選用。但須注意至少只考慮這些實施例的子集，後述音頻編碼器的實施例也匹配不支持不同操作模式的音頻解碼器。這一點至少對於在這些操作模式之間數據流的產生不改變的那些編碼器實施例為真。換言之，根據後述音頻編碼器的一些實施例，對於這些操作模式中的一個對頻域編碼模式的幀編碼模式的選擇限制本身並不反映在數據流12內部，在數據流12中操作模式的改變至當前為止是透明的(除了這些操作模式中的一個為活動的期間不存在時域幀編碼模式)。但根據前述多個實施例的特別專用的音頻解碼器連同前述音頻編碼器的個別實施例形成音頻編解碼器，如前所述，音頻編解碼器在對應於例如特殊傳輸況的特殊操作模式期間額外利用幀編碼模式選擇限制。
[0044]圖5示出根據本發明的實施例的音頻編碼器。圖5的音頻編碼器一般地表示為100，並且包括關聯器102、時域編碼器104及頻域編碼器106，關聯器102是連接在一方面音頻編碼器100的輸入108與另一方面時域編碼器104及頻域編碼器106的輸入之間。時域編碼器104及頻域編碼器106的輸出連接至音頻編碼器100的輸出110。因此，圖5中在112指示的待編碼的音頻信號輸入輸入端108，及音頻編碼器100被配置來從其中形成數據流 114。
[0045]關聯器102是被配置來將對應於前述音頻信號112的部分24的連續部分116a至116c中的每個與多個幀編碼模式的模式相關集合中的一個相關聯(參考圖1至4的40及42)。
[0046]時域編碼器104被配置成將與多個22幀編碼模式中的一個或多個所組成的第一子集30中的一個相關聯的部分116a至116c編碼成數據流114的對應的幀118a至118c。頻域編碼器106同樣地負責將與集合32的任何頻域編碼模式相關聯的部分編碼成數據流114的對應的幀118a至118c。
[0047]關聯器102被配置來在多個操作模式中的活動模式中進行操作。更精確地，關聯器102被配置使得多個操作模式中的確切一個為活動的，但在音頻信號112的順序編碼部分116a至116c期間多個操作模式中的活動模式的選擇可改變。
[0048]更具體地，關聯器102被配置使得如果活動的操作模式為第一操作模式，則模式相關集合的表現為類似圖1的集合40，即集合40與第一子集30不相交及與第二子集32重疊；但如果活動的操作模式為第二操作模式，則多個編碼模式的模式相關集合的表現為類似圖1的模式42，即模式42與第一及第二子集30及32重疊。
[0049]如前文所述，圖5的音頻編碼器的功能允許外部控制編碼器100，因而防止編碼器100不利地選擇任何時域幀編碼模式，雖然外部狀況比如傳輸狀況為如下，比起只限制選擇頻域幀編碼模式，初步選擇任何時域幀編碼模式極其可能在速率/失真比方面獲得較低編碼效率。如圖5所示，關聯器102例如可被配置來接收外部控制信號120。關聯器102例如可連接至某個外部實體，使得由該外部實體所提供的外部控制信號120指示用於數據流114傳輸的可用傳輸帶寬。該外部實體例如可以是下方較低傳輸層的一部分，比如就OSI層模型而言為較低層。舉例言之，外部實體可以是LTE通信網路的一部分。信號122當然可基於實際可用傳輸帶寬的估值或平均未來可用傳輸帶寬的估值提供。如前文就圖1至4已述，「第一操作模式」可與低於某個閾值的可用傳輸帶寬相關聯，而「第二操作模式」可與超過預定閾值的可用傳輸帶寬相關聯，由此防止編碼器100在不適當狀況下選用任何時域幀編碼模式，在不適當狀況下時域編碼極其可能獲得更加無效的壓縮，換言之，可用傳輸帶寬低於某個閾值。
[0050]但須注意控制信號120也可以由某個其它實體提供，比如語音檢測器，該語音檢測器分析待重建的音頻信號，即112，以便區別語音語句(即音頻信號112內的語音分量佔主導的期間的時間間隔)與非語音語句(其中音頻信號112內的其它音頻源比如音樂等佔主導)。控制信號120可指示語音語句和非語音語句中的這種變化，並且關聯器102可被配置成因此而在操作模式間改變。例如，在語音語句中關聯器102可以輸入前述「第二操作模式」，而「第一操作模式」可以與非語音語句相關聯，由此遵守下述事實，在非語音語句期間選擇時域幀編碼模式極其可能導致較為無效的壓縮。
[0051]雖然關聯器102可被配置成將幀模式語法元素122 (與圖1的語法元素38作比較)編碼成數據流114，以便針對各部分116a至116c指示相應的部分與多個幀編碼模式中的哪個幀編碼模式相關聯，但該幀模式語法元素122插入數據流114可能不取決於操作模式以獲得具有圖1至4的幀模式語法元素38的數據流20。如前文已述，數據流114的數據流的產生可與當前活動的操作模式無關地執行。[0052]但就比特率額外開銷而言，優選地數據流114是通過圖5的音頻編碼器100產生，以便獲得前文關於圖1至4的實施例所討論的數據流20，據此數據流的產生有利地適應於當前活動的操作模式。
[0053]因此，根據圖5的音頻編碼器100的實施例，匹配前文關於圖1至4的音頻解碼器討論的實施例，關聯器102可被配置成使用在一方面與相應的部分116a至116c相關聯的幀模式語法元素122的可能值的集合46與另一方面幀編碼模式的模式相關集合之間的雙射映射52來將幀模式語法元素122編碼成數據流114，該雙射映射52取決於活動的操作模式而改變。更具體地，改變可以是使得如果活動的操作模式為第一操作模式，則模式相關集合的表現類似集合40，即該集合與第一子集30不相交而與第二子集32重疊；但如果活動的操作模式為第二操作模式，則模式相關集合的表現類似集合42，即該集合與第一及第二子集30和32重疊。更具體地，如前文已述，集合46內的可能值的數目可以是2，而與活動的操作模式為第一或第二操作模式獨立無關；及關聯器102可被配置成使得如果活動的操作模式為第一操作模式，則模式相關集合包括頻域幀編碼模式A及B ;及頻域編碼器106可被配置成根據其幀編碼模式為模式A或模式B而使用不同時-頻解析度來編碼相應的部分116a 至 116c。
[0054]圖6示出對應於前述事實的時域編碼器104及頻域編碼器106的可能實現的實施例，據此代碼激勵線性預測編碼可用於時域幀編碼模式，而變換編碼激勵線性預測編碼是用於頻域編碼模式。據此，根據圖6，時域編碼器104為代碼激勵線性預測編碼器，及頻域編碼器106為變換編碼器，變換編碼器被配置成使用變換係數等級來編碼與頻域編碼模式相關聯的部分，及將該部分編碼成數據流114的對應幀118a至118c。
[0055]為了說明時域編碼器104及頻域編碼器106的可能實現，參考圖6。根據圖6，頻域編碼器106及時域編碼器104共同擁有或共享LPC分析器130。但須注意這種環境對本實施例而言並不重要，也可使用不同的實現，據此兩個編碼器104及106彼此完全分開。此夕卜，有關前文就圖1和4所述的編碼器實施例及解碼器實施例，須注意本發明並非限於下述情況，其中兩種編碼模式即頻域幀編碼模式及時域幀編碼模式為基於線性預測。然而，編碼器與解碼器實施例也可轉移為另一種情況，其中時域編碼及頻域編碼中的任一個是以不同方式來實現。
[0056]回頭參考圖6的說明，除了 LPC分析器130之外，圖6的頻域編碼器106包括變換器132、LPC至頻域加權轉換器134、頻域噪聲整形器136、及量化器138。變換器132、頻域噪聲整形器136及量化器138是串聯連接在頻域編碼器106的公共輸入140與輸出142之間。LPC轉換器134連接在LPC分析器130的輸出與頻域噪聲整形器136的加權輸入之間。LPC分析器130的輸入連接至公共輸入140。
[0057]就時域編碼器104而言，除了 LPC分析器130之外，包括LP分析濾波器144及基於代碼的激勵信號逼近器146，二者串聯連接在公共輸入140與時域編碼器104的輸出148之間。LP分析濾波器144的線性預測係數輸入連接至LPC分析器130的輸出。
[0058]在對在輸入端140輸入的音頻信號112進行編碼中，LPC分析器130針對音頻信號112的各部分116a至116c連續地確定線性預測係數。LPC確定可能涉及音頻信號的連續開窗部分(重疊或不重疊)的自相關性確定，比如使用(韋)李杜((Wiener-)Levison-Durbin)算法或蕭爾(Schur)算法或其它而對所產生的自相關性執行LPC估算(可選性地伴以先前使自相關性接受Lag開窗)。
[0059]如關於圖3和4所述，LPC分析器130並非必需以等於幀118a至118c的幀速率的LPC傳輸速率來傳輸數據流114內的線性預測係數。也可使用甚至高於該速率的速率。一般地，LPC分析器130可以由前述自相關率所限定的LPC確定速率來確定LPC信息60及76，例如基於該自相關率而確定LPC的確定速率。然後，LPC分析器130可以可能低於LPC確定速率的LPC傳輸速率將LPC信息60及76插入數據流。時域(TD)及頻域(FD)編碼器104及106又可通過內插數據流114的幀118a至118c內所傳輸的LPC信息60及76來施加線性預測係數，以高於LPC傳輸速率的LPC應用速率而更新該係數。更具體地，由於頻域編碼器106及頻域解碼器每次變換應用一次LPC係數，所以頻域幀內的LPC應用速率可低於通過從LPC傳輸速率內插而調整/更新時域編碼器/解碼器中應用的LPC係數的速率。由於在解碼端也同步地執行內插，故相同線性預測係數可用於一方面時域及頻域編碼器，另一方面可用於時域及頻域解碼器。總而言之，LPC分析器130在等於或高於幀速率的某個LPC確定速率而確定針對音頻信號112的線性預測係數，及以可等於或低於LPC確定速率的LPC傳輸速率將LPC確定速率插入數據流。但LP分析濾波器144可以內插，以便以高於LPC傳輸速率的LPC應用速率來更新LP分析濾波器。LPC轉換器134可以執行內插或不執行內插，以便針對各次變換或各次LPC至頻譜加權轉換需要而確定LPC係數。為了傳輸LPC係數，可使LPC係數在合適的域比如在LSF/LSP域中接受量化。
[0060]時域編碼器104可操作如下。LP分析濾波器可取決於由LPC分析器130所輸出的線性預測係數而過濾音頻信號112的時域編碼模式部分。在LP分析濾波器144的輸出，這樣得到激勵信號150。激勵信號是通過逼近器146來逼近。更具體地，逼近器146設定代碼比如碼簿指數或其它參數來估計激勵信號150，比如通過最小化或最大化一方面由激勵信號150的偏差所限定的一些最佳化度量，另一方面在合成域即在根據LPC將相應的合成濾波器施加至相應的激勵信號後通過碼簿指數限定的合成產生的激勵信號。最佳化度量可以可選地在感覺上更相關的頻帶上感覺上強調偏差。通過逼近器146由代碼集合確定的創新激勵可稱作創新參數。
[0061]這樣，逼近器146可以每個時域幀編碼模式部分輸出一個或多個創新參數，以便經由例如幀模式語法元素122插入對應的幀，該對應的幀與時域編碼模式相關聯。頻域編碼器106又可如下操作。變換器132使用例如重疊變換來變換音頻信號112的頻域部分，以獲得每個部分的一個或多個頻譜。在變換器132輸出端所得的光譜圖輸入頻域噪聲整形器136，該整形器136根據LPC對表示光譜圖的頻譜序列進行整形。為此，LPC轉換器134將LPC分析器130的線性預測係數轉換成頻域加權值，以便在頻譜上加權該頻譜。這時，執行頻譜加權從而獲得LP分析濾波器的轉移函數結果。換言之，ODFT例如可用來將LPC係數轉換成頻譜權值，然後由變換器132輸出的頻譜可除以頻譜權值，而乘法是用在解碼器端。
[0062]此後，量化器138將由頻域噪聲整形器136所輸出的結果所得激勵頻譜量化成為變換係數等級60用來插入數據流114的對應幀。
[0063]根據前述實施例，當通過修改USAC編碼器來以不同操作模式進行操作而修改在本申請說明書的序言部分所討論的USAC編解碼器時可以得出本發明的實施例，因而避免在在某個操作模式的情況下選擇ACELP模式。為了使得實現較低的延遲，USAC編解碼器可以進一步以下述方式修改:例如，與操作模式無關，可以只使用TCX及ACELP幀編碼模式。為了實現較低延遲，可以減小幀長度來達到20毫秒的幀。更具體地，根據前述實施例為了更有效地呈現USAC編解碼器，可以修改USAC的操作模式即窄帶(NB)、寬帶(WB)、及超寬帶(SWB)，使得根據下面說明的表，在各個操作模式內只有總體可用幀編碼模式的適當的子集
可用:
【權利要求】
1.一種音頻解碼器，包括: 時域解碼器(12); 頻域解碼器(14); 關聯器(16)，被配置成將數據流(20)的連續的幀(18a-C)中的每個與多個(22)幀編碼模式的模式相關集合中的一個相關聯，所述幀中的每個代表音頻信號的連續部分(24a-24c)中對應的一個， 其中所述時域解碼器(12)被配置成對與所述多個(22)幀編碼模式中的一個或多個的第一子集(30)中的一個相關聯的幀進行解碼，而所述頻域解碼器(14)被配置成對與所述多個(22)幀編碼模式中的一個或多個的第二子集(32)中的一個相關聯的幀進行解碼，所述第一子集和所述第二子集彼此不相交； 其中所述關聯器(16)被配置成執行取決於與所述數據流(20)中的所述幀(18a-C)相關聯的幀模式語法元素(38)的關聯，以及通過根據所述數據流和/或外部控制信號從所述多個操作模式中選出所述活動的操作模式而在多個操作模式中的活動的操作模式中進行操作，並且改變取決於所述活動的操作模式而改變所述關聯的性能的依賴性。
2.根據權利要求1所述的音頻解碼器，其中所述關聯器(16)被配置成使得如果所述活動的操作模式為第一操作模式，則所述多個幀編碼模式的所述模式相關集合(40)與所述第一子集(30)不相交而與所述第二子集(32)重疊，以及 如果所述活動的操作模式為第二操作模式，則所述多個幀編碼模式的所述模式相關集合(42)與所述第一子集(30)及所述第二子集(32)重疊。
3.根據權利要·求1或2所述的音頻解碼器，其中所述幀模式語法元素被編碼成所述數據流(20)，使得對於與各個幀有關的所述幀模式語法元素(38)的可區分的可能值的數目與所述活動的操作模式為所述第一操作模式或所述第二操作模式無關。
4.根據權利要求3所述的音頻解碼器，其中所述可區分的可能值的數目為2，並且所述關聯器(16)被配置成使得如果所述活動的操作模式為所述第一操作模式，則所述模式相關集合(40)包括一個或多個幀編碼模式的所述第二子集(32)的第一和第二幀編碼模式，並且所述頻域解碼器(14)被配置成在對與所述第一幀編碼模式和所述第二幀編碼模式相關聯的幀進行解碼時使用不同的時頻解析度。
5.根據前述權利要求中任意一項所述的音頻解碼器，其中所述時域解碼器是代碼激勵線性預測解碼器。
6.根據前述權利要求中任意一項所述的音頻解碼器，其中所述頻域解碼器是變換解碼器，所述變換解碼器被配置成基於編碼於其中的變換係數等級而對與所述幀編碼模式中的一個或多個的所述第二子集(32)中的一個相關聯的幀進行解碼。
7.根據前述權利要求中任意一項所述的音頻解碼器，其中所述時域解碼器(12)及所述頻域解碼器是基於線性預測的解碼器，其被配置成針對來自所述數據流的每個幀獲得線性預測濾波器係數，其中所述時域解碼器(12)被配置成通過針對與所述多個幀編碼模式中的一個或多個的所述第一子集中的一個相關聯的所述幀將取決於所述LPC濾波器係數的LP合成濾波器施加至與所述多個幀編碼模式中的一個或多個的所述第一子集中的一個相關聯的所述幀中的使用碼簿指數構建的激勵信號，而重建與所述幀編碼模式中的一個或多個的所述第一子集中的一個相關聯的所述幀所對應的所述音頻信號(26)的所述部分，並且所述頻域解碼器(14)被配置成通過針對與所述第二子集中的一個相關聯的所述幀根據所述LPC濾波器係數對與所述第二子集中的一個相關聯的所述幀中由變換係數等級所限定的激勵頻譜進行整形，並且對整形後的激勵頻譜進行重新變換來重建與所述幀編碼模式中的一個或多個的所述第二子集中的一個相關聯的所述幀所對應的所述音頻信號的部分。
8.一種音頻編碼器，包括: 時域編碼器(104)； 頻域編碼器(106);及 關聯器(102)，被配置成將音頻信號(112)的連續的部分(116a-c)中的每一個與多個(22)幀編碼模式的模式相關集合中的一個相關聯， 其中所述時域編碼器(104)被配置成將與所述多個(22)幀編碼模式中的一個或多個的第一子集中的一個相關聯的部分編碼成數據流(114)的對應幀(118a-c)，並且其中所述頻域編碼器(106 )被配置成將與所述多個編碼模式中的一個或多個的第二子集中的一個相關聯的部分編碼成所述數據流的對應幀， 其中所述關聯器(102)被配置成在多個操作模式中的活動的模式中進行操作，使得如果所述活動的操作模式為第一操作模式，則所述多個幀編碼模式的所述模式相關集合(40)與所述第一子集(30)不相交而與所述第二子集(32)重疊，以及如果所述活動的操作模式為第二操作模式，則 所述多個編碼模式的所述模式相關集合與所述第一子集(30)及所述第二子集(32)重疊。
9.根據權利要求8所述的音頻編碼器，其中所述關聯器(102)被配置成將幀模式語法元素(122)編碼成所述數據流(114)，以便針對每個部分指示各個部分與所述多個幀編碼模式中的哪個幀編碼模式相關聯。
10.根據權利要求9所述的音頻編碼器，其中所述關聯器(102)被配置成使用一方面與各個部分相關聯的所述幀模式語法元素的可能值的集合與另一方面所述幀編碼模式的所述模式相關集合之間的雙射映射而將所述幀模式語法元素(122)編碼成所述數據流(114)，所述雙射映射(52)取決於所述活動的操作模式而改變。
11.根據權利要求9所述的音頻編碼器，其中所述關聯器(102)被配置成使得如果所述活動的操作模式為所述第一操作模式，則所述多個幀編碼模式的所述模式相關集合與所述第一子集(30)不相交而與所述第二子集(32)重疊，以及 如果所述活動的操作模式為第二操作模式，則所述多個幀編碼模式的所述模式相關集合與所述第一子集及所述第二子集重疊。
12.根據權利要求11所述的音頻解碼器，其中在所述可能值的集合中的可能值的數目是2，並且所述關聯器(102)被配置成使得如果所述活動的操作模式為所述第一操作模式，則所述模式相關集合包括一個或多個幀編碼模式的所述第二子集的第一和第二幀編碼模式，並且所述頻域編碼器被配置在對與所述第一幀編碼模式和所述第二幀編碼模式相關聯的幀進行解碼時使用不同的時頻解析度。
13.根據權利要求8至12中任意一項所述的音頻編碼器，其中所述時域編碼器是代碼激勵線性預測編碼器。
14.根據權利要求8至13中任意一項所述的音頻編碼器，其中所述頻域編碼器是變換編碼器，所述變換解碼器被配置成使用變換係數等級將與所述幀編碼模式中的一個或多個的所述第二子集中的一個相關聯的部分進行編碼，並且將所述部分編碼成所述數據流的對應的幀。
15.根據權利要求8至14中任意一項所述的音頻編碼器，其中所述時域解碼器及所述頻域解碼器是基於線性預測的編碼器，其被配置成針對所述音頻信號(112)的各部分傳送LPC濾波器係數，其中所述時域編碼器(104)被配置成將取決於所述LPC濾波器係數的LP分析濾波器施加至與所述幀編碼模式中的一個或多個的所述第一子集中的一個相關聯的所述音頻信號(112)的所述部分以獲得激勵信號(150)，並且通過使用碼簿指數來近似所述激勵信號及將其插入所述對應的幀；其中所述頻域編碼器(106)被配置成對與所述幀編碼模式中的一個或多個的所述第二子集中的一個相關聯的所述音頻信號的部分進行變換以獲得頻譜，及針對與所述第二子集中的一個相關聯的部分根據所述LPC濾波器係數對所述頻譜進行整形，以獲得激勵頻譜，將所述激勵頻譜量化為與所述第二子集中的一個相關聯的所述幀中的變換係數等級，並將所述量化激勵頻譜插入所述對應的幀內。
16.一種使用時域解碼器(12)和頻域解碼器(14)的音頻解碼方法，所述方法包括: 將數據流(20)的連續幀(18a-c)中的每個與多個(22)幀編碼模式的模式相關集合中的一個相關聯，所述幀中的每個代表音頻信號的連續部分(24a-24c)中對應的一個， 通過所述時域解碼器(12)對與所述多個(22)幀編碼模式中的一個或多個的第一子集(30)中的一個相關聯的幀(18a-C)進行解碼， 通過所述頻域解碼器(14)對與所述多個(22)幀編碼模式中的一個或多個的第二子集(32)中的一個相關聯的幀(18a-C)進行解碼，所述第一子集和所述第二子集彼此不相交；其中所述關聯取決於與所述數據流(20)中的所述幀(18a-C)相關聯的幀模式語法元素(38)， 並且其中所述關聯是通過根據所述數據流和/或外部控制信號從所述多個操作模式中選出所述活動的操作模式而在多個操作模式中的活動的操作模式中執行，使得所述關聯的性能的依賴性取決於所述活動的操作模式而改變。
17.一種使用時域編碼器(104)及頻域編碼器(106)的音頻編碼方法，所述方法包括: 將音頻信號(112)的連續部分(116a-c)中的每個與多個(22)幀編碼模式的模式相關集合中的一個相關聯， 通過所述時域編碼器(104)對與所述多個(22)幀編碼模式中的一個或多個的第一子集中(30)的一個相關聯的部分編碼成數據流(114)的對應的幀(118a-c)， 通過所述頻域編碼器(106)對與所述多個編碼模式中的一個或多個第二子集(32)中的一個相關聯的部分編碼成所述數據流的對應的幀， 其中所述關聯在多個操作模式中的活動的模式中執行，使得如果所述活動的操作模式為第一操作模式，則所述多個幀編碼模式的所述模式相關集合與所述第一子集(30)不相交而與所述第二子集(32)重疊，以及如果所述活動的操作模式為第二操作模式，則所述多個編碼模式的所述模式相關集合與所述第一子集和所述第二子集重疊。
18.一種具有程序代碼的電腦程式，當所述電腦程式在計算機上運行時，所述程序代碼用於執行根據權利要求16或17所述的方法。
【文檔編號】G10L19/012GK103548078SQ201280018224
【公開日】2014年1月29日 申請日期:2012年2月14日 優先權日:2011年2月14日
【發明者】拉爾夫·熱日爾, 康斯坦丁·施密特, 伯恩哈德·格裡爾, 曼弗雷德·盧茨基, 米夏埃爾·維爾納, 馬克·蓋爾, 約翰內斯·希爾珀特, 瑪麗亞·路易斯瓦萊羅, 沃爾夫岡·耶格斯 申請人:弗蘭霍菲爾運輸應用研究公司