使用相位值平滑對下混頻音頻信號進行上混頻的裝置、方法和電腦程式的製作方法

2023-08-01 17:30:31 1

專利名稱：使用相位值平滑對下混頻音頻信號進行上混頻的裝置、方法和電腦程式的製作方法
技術領域：
根據本發明的實施例涉及一種用於對下混頻音頻信號進行上混頻的裝置、方法和電腦程式。根據本發明的一些實施例涉及參數多聲道音頻編碼的自適應相位參數平滑。
背景技術：
下面將描述本發明的背景。參數音頻編碼領域中的新近發展發表了將多聲道音頻 (例如，5. 1)信號聯合編碼成一個(或一個以上)下混頻聲道加輔助信息流的技術。這些技術被稱為雙耳提示編碼(Binaural CueCoding)、參數立體聲、及MPEG環繞等等。許多出版物描述了所謂的「雙耳提示編碼」參數多聲道編碼方法，例如見參考文獻 [1][2] [3] [4] [5]。「參數立體聲」」是一種基於傳輸的單聲道信號加參數輔助信息的雙聲道立體聲信號的參數編碼的相關技術，例如見參考文獻[6] [7]。"MPEG環繞」是參數多聲道編碼的ISO標準，例如見參考文獻[8]。上面提及的技術是基於將壓縮形式的人類空間聽覺的相關感知提示以及相關聯的單聲道或立體聲下混頻信號傳輸至接收器。典型的提示可以是聲道間級差(ILD)、聲道間相關或相干(ICC)、以及聲道間時間差(ITD)、聲道間相位差(IPD)、及總相位差(OPD)。這些參數在一些情況中以適合於人類聽覺解析度的頻率與時間解析度來傳輸。對該傳輸而言，典型地對這些參數進行量化(或在一些情況中甚至必須被量化)， 其中經常(尤其是對低比特率情境)使用相當粗略的量化。時間上的更新間隔由編碼器根據信號特性確定。這意味著，並非對下混頻信號的每個採樣都傳輸參數。換言之，在一些情況中，描述上面提及的提示的參數的傳輸速率(或傳輸頻率，或更新速率)可以小於音頻採樣(或諸組音頻採樣)的傳輸速率(或傳輸頻率， 或更新速率)。代替傳輸聲道間相位差(IPD)及總相位差(OPD)，僅傳輸聲道間相位差(IPD)並估計解碼器中總相位差(OPD)也是可能的。由於解碼器在一些情況中可能必須以無隙方式隨時間將參數連續應用於例如每個採樣(或音頻採樣)，因此可能需要在解碼器側處得到中間參數，典型地是通過過去與當前參數集的間的內插。然而，一些傳統內插方法導致不良的音頻質量。下面參考圖7將描述通用雙耳提示編碼方案。圖7示出了雙耳提示編碼傳輸系統 800的示意框圖，該雙耳提示編碼傳輸系統800包含雙耳提示編碼編碼器810及雙耳提示編碼解碼器820。雙耳提示編碼編碼器810可以例如接收多個音頻信號81加、81沘及812c。進一步地，雙耳提示編碼編碼器810被配置為利用下混頻器814來對音頻輸入信號81h-812c 進行下混頻以獲得下混頻信號816，該下混頻信號816例如可以是和信號且可被用「AS」或「X」表示。進一步地，雙耳提示編碼編碼器810被配置為利用分析器818來分析音頻輸入信號812a-812c以獲得輔助信息信號819 (「Si」)。和信號816及輔助信息信號819自雙耳提示編碼編碼器810傳輸至雙耳提示編碼解碼器820。雙耳提示編碼解碼器820可被配置為基於和信號816及聲道間提示擬4合成多聲道音頻輸出信號，該多聲道音頻輸入信號例如包含音頻聲道yl、y2，...yN。為此目的，雙耳提示編碼解碼器820可以包含雙耳提示編碼合成器822，該雙耳提示編碼合成器822接收和信號816及聲道間提示擬4並提供音頻信雙耳提示編碼解碼器820進一步包含輔助信息處理器826，該輔助信息處理器擬6 被配置為接收輔助信息819，以及可選地接收使用者輸入827。該輔助信息處理器擬6被配置為基於輔助信息819和可選使用者輸入827來提供聲道間提示824。總之，對音頻輸入信號進行分析且下混頻。和信號與輔助信息被傳輸至解碼器。聲道間提示是由輔助信息及本地使用者輸入來產生的。雙耳提示編碼合成產生多聲道音頻輸出信號。至於詳情請參考C. Faller 與 F. Baumgarte 所著文章「Binaural CueCoding Part II Schemes and applications,"(出版於2003年11月第11卷語音與音頻處理的IEEE 學報)。然而，已得知的是，如果輔助信息被粗略量化或解析度不足，許多傳統雙耳提示編碼解碼器提供質量劣化的多聲道輸出音頻信號。鑑於此問題，需要一種將下混頻音頻信號上混頻成上混頻的音頻信號的改進構思，這在描述上混頻信號不同聲道中之間的相位關係的輔助信息以相對低解析度被量化的情況下，減少了聽覺印象的降級。

發明內容
根據本發明的實施例建立一種用於將描述了一個或一個以上下混頻音頻聲道的下混頻音頻信號上混頻成描述了多個上混頻音頻聲道的上混頻音頻信號的裝置。該裝置包含上混頻器，該上混頻器被配置為應用時變上混頻參數來對下混頻信號進行上混頻，以便獲得上混頻音頻信號。該時變上混頻參數包含時變平滑的相位值。該裝置進一步包含參數確定器，該參數確定器被配置為基於量化的上混頻參數輸入信息來獲得一個或一個以上時間平滑的上混頻參數，以由該上混頻器使用。該參數確定器被配置為利用相位改變限制算法，來將前一平滑的相位值的縮放版本與輸入相位信息的縮放版本相組合，以基於該前一平滑的相位值及該輸入相位信息來確定當前平滑的相位值。根據本發明的該實施例是基於下述發現上混頻信號中的可聽偽像可以通過利用相位改變限制算法來將前一平滑的相位值的縮放版本與輸入相位信息的縮放版本相組合來減少或甚至避免，因為結合相位改變限制算法考慮前一平滑的相位值允許將平滑的相位值的不連續性保持適度地小。後續平滑的相位值的間(例如，前一平滑的相位值與當前平滑的相位值)不連續性的減小相應地有助於避免(或保持足夠小)應用了後續相位值(例如，前一平滑的相位值與當前平滑的相位值)的音頻信號的部分之間的過渡的可聽頻率變化。綜上所述，本發明建立參數多聲道音頻編碼的自適應相位處理的一般性概念。根據本發明的實施例通過減少由粗略量化或快速改變相位參數而引起的輸出信號中的偽像取代其它技術。在優選實施例中，參數確定器被配置為將前一平滑的相位值的縮放版本與輸入相位信息的縮放版本相組合，使得當前平滑的相位值在第一角度區域與一第二角度區域中的較小角度區域中，其中第一角度區域沿著數學正方向從前一平滑的相位值所定義的第一開始方向延伸至相位輸入信息所定義的第一結束方向，其中第二角度區域沿著數學正方向從輸入相位信息所定義的一第二開始方向延伸至前一平滑的相位值所定義的第二結束方向。 因此，在本發明的一些實施例中，由相位值的遞歸(無限脈衝響應型)平滑而引入的相位變化保持儘可能小。因此，可聽偽像保持儘可能小。例如，裝置可以被配置為確保當前平滑的相位值置於兩角度範圍中的較小角度範圍中，其中該兩角度範圍中的第一角度範圍覆蓋大於180°及其中該角度範圍中的第二角度範圍覆蓋小於180°，兩個角度範圍共同覆蓋 360°。因此，相位改變限制算法確保了前一平滑化的相位值與當前平滑的相位值之間的相位差小於180°，優選地甚至小於90°。這有助於保持可聽偽像儘可能小。在優選實施例中，參數確定器被配置為根據相位輸入信息與前一平滑的相位值之間的差值，從多個不同組合規則中選擇組合規則，並利用選定的組合規則來確定該當前平滑的相位值。因此，可以實現的是選擇適當的組合規則，這確保了前一平滑化相位值與當前平滑的相位值之間的相位改變小於預定閾值、或更概括而言足夠地小或儘可能小。因此，本發明裝置勝過類似具有固定組合規則的類似裝置。在優選實施例中，參數確定器被配置為如果相位輸入信息與前一平滑的相位值之間的差值在-η與+ η的範圍內，則選擇基本組合規則，否則選擇一個或一個以上不同的相位適應組合規則。基本組合規則定義了相位輸入信息的縮放版本與前一平滑化相位值的縮放版本的線性組合，而無需恆定被加數。一個或一個以上相位適應組合規則考慮了恆定相位適應被加數，定義了輸入相位信息的縮放版本與前一平滑的相位值的縮放版本線性組合。因此，可以執行前一平滑的相位值與輸入相位信息的有利且易於實施的線性組合，其中如果前一平滑的相位值與輸入相位信息之間的差值取相對大的值(大於η或小於-η)，則可以選擇性地應用附加的被加數。因此，前一平滑的相位值與輸入相位信息之間的差值大的問題情況可用特定適宜的相位適應組合規則來處理，該特定適宜的相位適應組合規則允許保持後續平滑的相位值之間的相位改變足夠小。在優選實施例中，該參數確定器包含平滑控制器，其中該平滑控制器被配置為，在平滑的相位量與對應的輸入相位量之間的差值大於預定閾值的情況下，選擇性地禁用相位值平滑功能。因此，如果存在較大的輸入相位信息改變，則可以禁用相位值平滑功能。典型地，輸入相位信息的極大改變表示的是，確實期望執行非平滑的相位改變，因為輸入相位信息的相當大的改變(顯著大於量化步驟)通常與音頻信號內的特定聲音事件有關。因此， 在大部分情況下改進聽覺印象的對相位值的平滑在此特定情況中是有害的。因此，該聽覺印象甚至可以通過選擇性地禁用相位值平滑功能來改進。在優選實施例中，平滑控制器被配置為對兩個平滑的相位值之間的差值進行評估作為該平滑的相位量，並且對與這兩個平滑的相位值相對應的兩個輸入相位值之間的差值進行評估，作為對應的輸入相位量。已經發現，在一些情況中，與多聲道音頻信號的不同 (上混頻)聲道相關聯的相位值之間的差值是判定應當啟用還是禁用相位值平滑功能的特別有意義的量。在優選實施例中，上混頻器被配置為，如果平滑化功能(或相位值平滑功能)被啟用，則對於指定時間部分應用由不同平滑的相位值定義的不同時間上平滑的相位旋轉， 來獲得具有聲道間相位差的上混頻音頻聲道的信號，並且如果平滑功能(或相位值平滑功能)被禁用，則應用由不同非平滑相位值定義的時間上非平滑的相位旋轉，來獲得具有聲道間相位差的不同上混頻音頻聲道的信號。在此情況中，參數確定器包含平滑控制器，平滑控制器被配置為，如果平滑的相位值之間的差值與非平滑的聲道間相位差值存在差異且該差異超過預定閾值，則選擇性地禁用相位值平滑功能，平滑的相位值被應用於獲得不同上混頻音頻聲道的信號，非平滑的聲道間相位差值由所述裝置接收或由所述裝置從接收到的信息中導出。已經發現，如果聲道間相位差值被評估為用於激活和去激活相位值平滑功能的準則，則相位值平滑功能的選擇性去激活就提高聽覺印象而言是特別有用的。在優選實施例中，參數確定器被配置為，根據平滑的相位值與對應的輸入相位值之間的當前差值，來調整濾波器時間常數，以確定平滑相位值序列。通過調整濾波器時間常數可以實現的是，非常大的輸入相位值改變獲得足夠小的穩定時間(settling time)，而對輸入相位值的較低或中等改變保持充分良好的平滑特性。此功能帶來了特別的好處，因為輸入相位值的相當小的(或至多中等規模的)改變通常是由量化粒度引起。換言之，由量化粒度引起的輸入相位值的逐步改變可以造成有效的平滑操作。在這種情況中，平滑功能特別有利，其中，相對長的濾波器時間常數帶來良好結果。相反，顯著大於量化步驟的非常大的輸入相位值改變典型地對應於期望的較大相位值改變。在此情況中，相對短的濾波器時間常數帶來良好結果。因此，通過根據平滑的相位值與對應的輸入相位值之間的當前差值， 來調整濾波器時間常數可達到的是，輸入相位值的有意較大改變造成平滑的相位值的快速改變，而取量化步驟的規模的輸入相位值的相對小的改變造成平滑相位值的相對慢且平滑的過渡。因此，對於期望相位值的有意、較大改變以及對於期望相位值的較小改變(然而可以由一個量化步驟引起該輸入相位值的改變)皆達到良好的聽覺印象。在優選實施例中，參數確定器被配置為根據平滑聲道間相位差與非平滑聲道相位差之間的差值，來調整濾波器時間常數以確定平滑相位值序列，平滑聲道間相位差由與上混頻音頻信號的不同聲道相關聯的兩個平滑的相位值之間的差值來定義，非平滑聲道相位差由非平滑聲道間相位差信息來定義。已經發現，選擇性地調整濾波器時間常數的構想可以有利地結合聲道間相位差的處理來使用。在優選實施例中，用於上混頻的裝置被配置為根據從音頻比特流中提取的信息， 選擇性地啟用或禁用相位值平滑功能。已經發現，聽覺印象的改進可以通過在音頻編碼器的控制下提供選擇性啟用或禁用音頻解碼器內的相位值平滑功能的可能性來獲得。根據本發明的實施例建立一種實施上面所討論用於將下混頻音頻信號上混頻成上混頻音頻信號的裝置的功能的方法。所述方法基於與所討論裝置的相同構想。此外，根據本發明的實施例建立一種用於執行所述方法的電腦程式。


參考附圖隨後將描述根據本發明的實施例，在附圖中圖1示出了根據本發明實施例的用於對下混頻音頻信號進行上混頻的裝置示意框圖；圖加和2b示出了根據本發明另一實施例的用於對下混頻音頻信號進行上混頻的裝置的示意框圖；圖3示出了總相位差0PD1、0PD2和聲道間相位差IPD的示意圖；圖如和4b示出了相位改變限制算法的第一種情況的相位關係的圖示；圖fe和恥示出了相位改變限制算法的第二種情況的相位關係的圖示；圖6示出了根據本發明實施例的用於將下混頻音頻信號上混頻成上混頻音頻信號的方法的流程圖；圖7示出了表示通用雙耳提示編碼方案的示意框圖。
具體實施例方式1.根據圖1的實施例圖1示出了根據本發明實施例的用於對下混頻音頻信號進行上混頻的裝置100的示意框圖。裝置100被配置為接收對一個或一個以上下混頻音頻聲道加以描述的下混頻音頻信號110，並且提供對多個上混頻音頻聲道加以描述的上混頻音頻信號120。裝置100包含上混頻器130，該上混頻器130被配置為應用時變上混頻參數來對下混頻音頻信號進行上混頻，以便獲得上混頻的音頻信號120。裝置100還包含參數確定器140，該參數確定器 140被配置為接收量化的上混頻參數輸入信息142。參數確定器140被配置為基於量化的上混頻參數輸入信息142來獲得一個或一個以上時間上平滑的上混頻參數144以供上混頻器130使用。參數確定器140被配置為利用相位改變限制算法146，將前一平滑的相位值的縮放版本與包括在量化的上混頻參數輸入信息142中的輸入相位信息14 的縮放版本相組合，以基於前一平滑的相位值和該輸入相位信息142來確定當前平滑的相位值IMa。該當前平滑的相位值14 包括在時變平滑的上混頻參數144中。下面將說明有關裝置100的功能的一些細節。下混頻音頻信號110例如以復值集合序列的形式被輸入至上混頻器130中，該復值集合序列表示時頻域(描述在由此處未示出的編碼器確定的更新速率下的交疊與非交疊頻帶或頻率子帶)中的下混頻音頻信號。上混頻器130被配置為根據時變、平滑的上混頻參數來將下混頻音頻信號110的多個聲道線性組合，及/或將下混頻音頻信號110的聲道與輔助信號(例如，去相關信號)線性組合 (其中該輔助信號可以從下混頻音頻信號110的當前音頻聲道、下混頻音頻信號110的一個或一個以上其它音頻聲道、或下混頻音頻信號110的音頻聲道的組合中獲得)。因此，上混頻器130可以使用時變平滑的上混頻參數144，基於下混頻音頻信號110來判定在產生上混頻音頻信號120(或其聲道)中所使用的幅度縮放和/或相位旋轉(或時間延遲)。參數確定器140典型地被配置為以等於(或在一些情況中高於)量化的上混頻參數輸入信息142所描述的輔助信息的更新速率來提供時變、平滑的上混頻參數144。參數確定器140可以被配置為避免(或至少減小)由量化的上混頻參數輸入信息142的粗略(比特率節省)量化而引起的偽像。為此目的，參數確定器140可以對例如描述聲道間相位差的相位信息應用平滑。該對包括在量化的上混頻參數輸入信息142中的輸入相位信息14 的平滑是利用相位改變限制算法143來執行的，使得避免了會造成可聽偽像的相位的較大且突然的改變(或至少被限制到可容忍的程度)。優選地，通過將前一平滑的相位值與輸入相位信息14 的值相結合來執行平滑， 使得當前平滑化的相位值依賴於前一平滑的相位值和輸入相位信息14 的當前值。如此， 可以利用簡單結構的平滑算法來獲得特定的平滑過渡。換言之，有限脈衝響應平滑的缺點可以通過提供考慮了前一平滑化相位值的無限脈衝響應型平滑來避免。可選地，參數確定器140可以包含附加的內插功能，如果量化的上混頻參數輸入信息142以相對長的時間間隔來傳輸(例如，每組下混頻音頻信號110的頻譜值不到一次)，則該內插功能是有利的。總之，裝置100允許基於量化的上混頻參數輸入信息142提供時變平滑的相位值 144a，使得時變平滑的相位值14 非常適合於利用上混頻器130從下混頻音頻信號中導出上混頻音頻信號120。利用上面討論構思來提供平滑的相位值144減小了(或甚至消除)可聽偽像，其中對前一平滑的相位值的考慮與相位改變限制結合。因此，實現上混頻音頻信號120的良好聽覺效果。2.根據圖2的實施例2. 1.圖2的實施例的概述參考圖加和2b將描述有關用於對音頻信號進行上混頻的裝置的結構和操作的進一步細節。圖加和2b示出了根據本發明另一實施例的用於對下混頻音頻信號進行混頻的裝置200的詳細示意性框圖。裝置200可以被視作用於基於下混頻音頻信號210和輔助信息SI產生多聲道(例如，5. 1)音頻信號的解碼器。裝置200實現了關於裝置100而描述的功能。裝置200可以例如服務對根據所謂的「雙耳提示編碼」、所謂的「參數立體聲」或所謂的「MPEG環繞」而編碼的多聲道音頻信號。自然地，裝置200可以類似地用於對根據其它利用空間提示的系統而編碼的多聲道音頻信號進行上混頻。為簡明起見，裝置200被描述為對單一聲道下混頻音頻信號執行一上混頻成為雙聲道信號。然而，這裡說明的構想易於擴展至下混頻音頻信號包含一個以上聲道的情況，且也易於擴展至上混頻音頻信號包含兩個以上聲道的情況。2.2.圖2實施例的輸入信號與輸入時序裝置200被配置為接收下混頻音頻信號210及輔助信息212。此外，裝置200被配置為提供包含例如多個聲道的上混頻音頻信號214。下混頻音頻信號210例如可以是由編碼器(例如，圖7所示的BCC編碼器810) 產生的和信號。例如，下混頻音頻信號210可以例如以復值頻率分解的形式在時頻域中表示。例如，音頻信號的多個頻率子帶(可以交疊或非交疊)的音頻內容可以用對應的復值表示。對於指定頻帶，下混頻音頻信號可以由對考慮了後續(交疊與非交疊)時間間隔的頻率子帶中的音頻內容加以描述的復值序列來表示。後續時間間隔的後續復值可以在裝置 100(其可以是多聲道音頻信號解碼器的部分)或耦接至裝置100的附加裝置中例如利用濾波器組(例如，QMF濾波器組)、快速傅立葉變換或其它同等物來獲得。然而，本文所予以描述的下混頻音頻信號210的表示通常不等同於用於從多聲道音頻信號編碼器傳輸至多聲道音頻信號解碼器或裝置100的下混頻信號的表示。因此，下混頻音頻信號210可以由復值集合或向量組成的流來表示。下面假定，下混頻音頻信號210的後續時間間隔用整數值索引k標示。還假定的是，裝置200在下混頻音頻信號210的每一間隔k及每一聲道接收一個復值集合或向量。因此，在時間索引k描述的每一個音頻採樣更新間隔內接收一個採樣(復值集合或向量)。換言之，下混頻音頻信號210的音頻採樣(「AS」)由裝置210接收，使得單一音頻採樣AS與每個音頻採樣更新間隔k相關聯。裝置200還接收對上混頻參數加以描述的輔助信息。例如，輔助信息212可以描述下列上混頻參數中的一個或多個聲道間級差(ILD)、聲道間相關(或相干)(ICC)、聲道間時間差(ITD)、聲道間相位差(IPD)、及總相位差(OPD)。典型地，輔助信息212包含ILD 參數及參數ICC、ITD、IPD、0PD中的至少一個。然而，為了節省頻寬，在一些實施例中輔助信息212在下混頻音頻信號210的每倍數音頻採樣更新間隔k內僅朝裝置200傳輸或由裝置 200接收一次(或單一輔助信息集合的傳輸可以在時間上覆蓋多個音頻採樣更新間隔k)。 因此，在一些情況中，對於多個音頻採樣更新間隔k僅有一個輔助信息參數集合。然而，在其它情況中，對於每個音頻採樣更新間隔k可以有一組輔助信息參數。輔助信息更新的間隔以索引η表示，其中僅為簡單起見，下面將假定，用整數值索引k表示的下混頻音頻信號210的後續時間間隔等於更新輔助信息SI212的時間間隔，使得關係k = η成立。然而，如果在下混頻音頻信號210的每多個後續時間間隔k內僅執行一次輔助信息SI212更新，則例如可以在後續輸入相位信息值α η或後續平滑的相位值之間執行內插。例如，輔助信息可以以音頻採樣更新間隔k = 4、k = 8&k=16被傳輸至裝置 200(或由裝置200接收)。相反，在音頻採樣更新間隔之間不向裝置200傳輸(或由裝置 200接收)輔助信息212。因此，輔助信息212的更新間隔可以隨時間變化，因為編碼器可以例如僅在當需要時(例如，當解碼器認識到輔助信息的改變大於預定值時)才確定提供輔助信息更新。例如，裝置200在音頻採樣更新間隔k = 4接收到的輔助信息可以與音頻採樣更新間隔k = 3、4、5相關聯。類似地，裝置200在音頻採樣更新間隔k = 8接收到的輔助信息可以與音頻採樣更新間隔k = 6、7、8、9、10相關聯，以此類推。然而，不同關聯自然是可能的，且針對輔助信息的更新間隔自然地也可以大於或小於所討論的間隔。2.3.圖2實施例的輸出信號與輸出時序然而，裝置200服務於在復值頻率組成中提供上混頻音頻信號。例如，裝置200可以被配置為提供上混頻音頻信號214，使得該上混頻音頻信號包含與下混頻音頻信號210 相同的音頻採樣更新間隔或音頻信號更新速率。換言之，對於下混頻音頻信號210的每一採樣(或音頻採樣更新間隔k)，在一些實施例中產生上混頻音頻信號214的採樣。2. 4.上混頻下面將詳細描述對於每一音頻採樣間隔k如何獲得用於對下混頻音頻信號210進行上混頻的上混頻參數的更新，即便在一些實施例中解碼器輸入輔助信息212僅可以以較大更新間隔來更新。下面，將說明對單個子帶的處理，但是此構思自然地可以擴展至多個子
市ο裝置200可以包含上混頻器230作為關鍵組件，該上混頻器230被配置為作為復值線性組合器進行操作。上混頻器230被配置為接收與音頻採樣更新間隔k相關聯的下混頻音頻信號210(例如，表示特定頻帶)的採樣x(t)或x(k)。信號x(t)或x(k)有時也表示為「幹信號」。另外，上混頻器230被配置為接收表示下混頻音頻信號的去相關版本的採樣 q(t)或 q(k)。 此外，裝置200包含去相關器(例如，延遲器或混響器)MO，去相關器240被配置為接收下混頻音頻信號的採樣X(k)並基於此下混頻音頻信號的採樣X(k)提供下混頻音頻信號(用x(k)表示)的去相關版本的採樣q(k)。下混頻音頻信號(採樣X(k))的去相關版本(採樣q(k))可以被表示為「溼信號」。 上混頻器230包含例如矩陣向量乘法器232，該矩陣向量乘法器232被配置為執行 「幹信號」(用x(k)表示)與「溼信號」(用q(k)表示)的實值(或在一些情況中，多個值) 線性組合，以獲得第一上混頻聲道信號(用採樣丫工仏)表示)與第二上混頻聲道信號(用採樣y2(k)表示)。矩陣向量乘法器232可以例如被配置為執行下列矩陣向量乘法來獲得上混頻聲道信號的採樣力仏)%y2(k)卜叫矩陣向量乘法器232或復值線性組合器230還可以包含相位調整器233，該相位調整器233被配置為調整表示上混頻聲道信號的採樣yi(k)與％(10的相位。例如，相位調整器233可以被配置為獲得相位調整的第一上混頻聲道信號，該相位調整的第一上混頻信號根據下式由採樣3^l(k)表示並獲得相位調整的第二上混頻聲道信號，該相位調整的第二上混頻聲道信號根據下式由採樣歹2(k)表示因此，上混頻音頻信號214(其採樣用3^(k)與2(k)表示)是由復值線性組合器 230基於幹信號與溼信號利用時變上混頻參數而獲得的。時變平滑的相位值5n用於確定上混頻音頻信號〒l(k)與y2(k)的相位(或聲道間相位差)。例如，相位調整器232可以被配置為應用時變平滑的相位值。然而，備選地，時變平滑的相位值可能已被矩陣向量乘法器232 使用(或甚至在矩陣H的項的產生中)。在此情況中，可以完全忽略相位調整器233。2. 5上混頻參數的更新如由上述方程式可見，期望在每一音頻採樣更新間隔k內更新上混頻參數矩陣 H(k)與上混頻聲道相位值ai(k)、a2(k)。在每一音頻採樣更新間隔k內更新上混頻參數矩陣帶來該上混頻參數矩陣始終良好適應於實際聲學環境的優點。因為上混頻參數矩陣的改變分布於多個音頻採樣更新間隔上，即使僅在音頻採樣的每倍數更新間隔k內更新一次輔助信息212，在每一音頻採樣更新間隔k內更新上混頻參數矩陣也允許保持後續音頻採樣間隔k之間的上混頻參數矩陣H(或其項)的逐步改變較小。同樣，期望平滑化由對輔助信息SI212的量化而引起的上混頻參數矩陣H的任何改變。類似地，期望頻繁地更新上混頻聲道相位值Ci1GO與α 2(k)，以便至少在連續音頻信號期間避免所述上混頻聲道相位值的逐步改變。再者，期望在時間上平滑上混頻聲道相位值以便減小或避免可能由對輔助信息SI212的量化而引起的偽像。
裝置200包含輔助信息處理單元250，該輔助信息處理單元250被配置為基於輔助信息212提供時變上混頻參數沈2，例如，矩陣H(k)的項HijGO與上混頻聲道相位值 α i (k)、α 2 (k)。輔助信息處理單元250例如被配置為在每一音頻採樣更新間隔k內提供更新的上混頻參數組，即使僅在音頻採樣的每倍數更新間隔k內更新一次輔助信息212。然而，在一些實施例中輔助信息處理單元250可以被配置為不經常提供更新的時變平滑上混頻參數組，例如輔助信息SI 212的每次更新僅提供一次。輔助信息處理單元250包含上混頻參數輸入信息確定器252，該上混頻參數輸入信息確定器252被配置為接收輔助信息212並基於此輔助信息212而獲得一個或多個上混頻參數(例如，以上混頻參數的幅值序列2M和上混頻參數的相位值序列256的形式)，一個或多個上混頻參數可以被視作上混頻參數輸入信息(包含例如，輸入幅度信息2M及輸入相位信息256)。例如，上混頻參數輸入信息確定器252可以組合多個提示(例如，ILD、 ICC、ITD、IPD、0PD)來獲得上混頻參數輸入信息254、256或可以單獨評估提示中的一個或多個。上混頻參數輸入信息確定器252被配置為以輸入幅值(也表示為輸入幅度信息)序列2M和分離的輸入相位值(也表示為輸入相位信息)序列256的形式來描述上混頻參數。 輸入相位值序列256的元素可被視作輸入相位信息αη。序列254的輸入幅值可以例如代表複數的絕對值，及序列256的輸入相位值可以例如代表該複數的角度值(或相位值)(例如相對於實部虛部正交坐標系中的實部軸而測量的)。因此，上混頻參數輸入信息確定器252可以提供上混頻參數的輸入幅值序列2Μ 和上混頻參數的輸入相位值序列256。上混頻參數輸入信息確定器252可以被配置為從輔助信息集合中獲得完整的上混頻參數集合(例如，矩陣H的完整矩陣元素集合和相位值 QpQ2的完整集合)。輔助信息集合212與輸入上混頻參數集合254、256之間存在關聯。 因此，上混頻參數輸入信息確定器252可以被配置為在每一上混頻參數更新間隔內更新一次序列254、256的輸入上混頻參數，即每次更新該輔助信息集合時更新一次。輔助信息處理單元還包含參數平滑器(有時也被簡單表示為「參數確定器」060， 該參數平滑器260將在下面詳細說明。參數平滑器260被配置為接收上混頻參數(或矩陣元素)的(實數值)輸入幅值序列2Μ與上混頻參數(或矩陣元素)的(實數值)輸入相位值序列256，上混頻參數(或矩陣元素)的(實數值)輸入相位值序列256可以被視作輸入相位信息αη。此外，參數平滑器被配置為基於對序列邪4與序列256的平滑來提供時變平滑的上混頻參數序列沈2。參數平滑器260包含幅值平滑器270與相位值平滑器272。幅值平滑器被配置為接收序列2Μ並基於序列2Μ提供上混頻參數(或矩陣Hn 的矩陣元素)的平滑幅值序列274。幅值平滑器270可以例如被配置為執行幅值平滑，這將在下面詳細討論。類似地，相位值平滑器272可以被配置為接收序列256並基於序列256提供上混頻參數(或矩陣值)的時變平滑的相位值序列276。相位值平滑器272可以例如被配置為執行平滑化算法，這將在下面被詳細討論。在一些實施例中，幅值平滑器270和相位值平滑器被配置為分開或獨立地執行幅值平滑和相位值平滑。因此，序列2Μ的幅值並不影響相位值平滑，且序列256的相位值並不影響幅值平滑。然而，假定的是，量值平滑器270與相位值平滑器272以時間同步方式進=HX入β_
行操作，使得序列274、276包含上混頻參數的對應的成對的平滑幅值和平滑相位值。通常，參數平滑器260分別用作不同的上混頻參數或矩陣元素。因此，參數平滑器 260可以針對每一上混頻參數(出自多個上混頻參數)或矩陣H的矩陣元素接收一個幅值序列254。類似地，參數平滑器260可以接收輸入相位值Cin序列256供每一上混頻音頻聲道的相位調整。2. 6有關參數平滑的細節下面將說明有關本發明的一實施例的細節，該實施例減小了解碼器中由IPD/0PD 的量化和/或OPD的估計而引擎的相位處理偽像。為了簡明起見，下面描述僅限為自一個至兩個聲道的上混頻，並不限制可應用相同技術的自m至η個聲道的上混頻的一般情況。解碼器的例如自一個至兩個聲道的上混頻過程由向量與上混頻矩陣H的矩陣乘法來執行，該向量包括被稱為幹信號的下混頻信號χ(也用X(k)表示)和被稱為溼信號的下混頻信號q (也用q(k)表示)的去相關版本。溼信號q由通過去相關濾波器240饋送下混頻信號χ而產生。上混頻信號y是包含輸出的第一及第二聲道的向量(例如，Y1 (k)與 y2(k))。所有信號x、q、y在幅值頻率分解(例如，時頻域表示)中是可用的。此矩陣運算是針對每一頻帶的所有子帶採樣(或至少針對一些頻帶的一些子帶採樣)而執行(例如，單獨地)。例如，矩陣運算可根據下列方程式來執行上混頻矩陣H的係數是從空間提示(典型地，ILD和ICC)中導出，獲得基本上對於每一聲道基於ICC執行幹信號與溼信號混合的實值矩陣元素，並依ILD確定調整兩個輸出聲道的輸出級。對於空間提示(例如，ILD、ICC、ITD、IPD和/或0PD)的傳輸，期望在編碼器中量化一些或所有類型的參數。特別地對於低比特率情形，經常期望(或甚至必需)利用相當粗略的量化來減少傳輸的數據量。然而，對於特定類型的信號，粗略量化可以導致可聽偽像。 為了減小這些偽像，平滑操作可以應用於上混頻矩陣H的元素來平滑引起偽像的相鄰量化器步驟之間的過渡。該平滑例如可由對矩陣元素的簡單低通濾波來執行Hn = δ Ηη+(1- δ) Hn-I此平滑例如可由幅值平滑器270來執行，其中當前輸入幅度信息Ηη(例如，由上混頻參數輸入信息確定器252提供並且用2Μ表示)可以與前一平滑的幅值(或幅度矩陣)Hw相組合，以便獲得當前平滑的幅值(或幅度矩陣)Ηη。因為平滑可以對信號部分有一負面影響，其中空間參數快速改變，平滑可以由從編碼器傳輸的附加輔助信息來控制。下面將詳細描述相位值的應用和確定。如果使用IPD和/或0PD，則可以將附加的相移應用於輸出信號(例如，採樣Y1 (k)和^(10定義的信號)。IPD描述兩個聲道(例如， 由採樣3^1 (k)定義的相位調整後的第一上混頻聲道信號與採樣(k)定義的相位調整後的第二上混頻聲道信號)之間的相位差，而OPD描述一個聲道與下混頻之間的相位差。下面參考圖3將簡要闡述IPD與OPD的定義，圖3示出了下混頻信號與多個聲道信號之間相位關係的示意圖。現在參考圖3，下混頻信號(或其頻譜係數x(k))的相位由第一指針310表示。相位調整後的第一上混頻聲道信號(或其一頻譜係數3^1 (k))的相位由第二指針320表示。下混頻信號(或其頻譜值或係數)與相位調整後的第一上混頻聲道信號(或其頻譜係數)之間的相位差用OPDl來表示。相位調整後的第二上混頻聲道信號 (或其頻譜係數3 (k))由第三指針330表示。下混頻信號(或其頻譜係數)與相位調整後的第二上混頻聲道信號(或其頻譜係數)之間的相位差用0PD2來表示。相位調整後的第一上混頻聲道信號(或其頻譜係數)與相位調整後的第二上混頻聲道信號(或其頻譜係數)之間的相位差用IPD表示。為重構原始信號的相位屬性(基於幹信號提供具有適當相位的相位調整後的第一上混頻聲道信號與相位調整後的第二上混頻聲道信號)，應知曉這兩個聲道的0PD。通常，IPD連同OPD —起傳輸(第二 OPD接著可由此計算)。為減少傳輸的數據量，利用包含在下混頻信號中的相位信息連同傳輸的ILD和IPD，在解碼器中僅傳輸IPD並估計OPD也是可能的。此處理可例如由上混頻參數輸入信息確定器252來執行。解碼器(例如，裝置200)中的相位重構是根據下列方程式由輸出子帶信號(例如，由頻譜係數Y1 (k)、y2 (k)所描述的信號)的復旋轉來執行
權利要求
1.一種用於將描述一個或多個下混頻音頻聲道的下混頻音頻信號(110;210)上混頻成描述多個上混頻音頻聲道的上混頻音頻信號(120;214)的裝置(100;200)，所述裝置 (100 ；200)包括上混頻器(130 ；230)，被配置為應用時變上混頻參數(114 ；262)來對下混頻音頻信號進行上混頻，以便獲得上混頻音頻信號，其中時變上混頻參數包括時變平滑的相位值 (144a ；270)；參數確定器(140 ；250)，其中所述參數確定器被配置為基於量化的上混頻參數輸入信息(142 ；212)，來獲得一個或多個時間平滑的上混頻參數(Cin)以供上混頻器(130 ；230)使用，其中參數確定器(140 ；250)被配置為使用相位改變限制算法將前一平滑的相位值 (『-！！的縮放版本沿而『-！！與輸入相位信息…》的縮放版本(δ α η)相組合，以基於前一平滑的相位值和輸入相位信息來確定當前平滑的相位值η)。
2.如權利要求1所述的裝置(100；200)，其中參數確定器(140 ；250)被配置為將前一平滑的相位值(《η-l)的縮放版本((Ι-δΜη-Ο與輸入相位信息(Cin)的縮放版本(δ αη) 相組合，使得當前平滑的相位值在第一角度區域和第二角度區域之中的較小角度區域中，其中第一角度區域沿著數學正方向從前一平滑的相位值(Sn-I)所定義的第一開始方向延伸至輸入相位信息(αη)所定義的第一結束方向，以及第二角度區域沿著數學正方向從輸入相位信息(αη)所定義的第二開始方向延伸至前一平滑的相位值所定義的第二結束方向。
3.如權利要求1或2所述的裝置(100；200)，其中參數確定器(140 ；250)被配置為根據輸入相位信息(αη)與前一平滑的相位值(5η-ι)之間的差值(αη-沒^)，從多個不同組合規則中選擇組合規則，並且使用選定的組合規則來確定當前平滑的相位值(5η)。
4.如權利要求3所述的裝置(100；200)，其中參數確定器(140 ；250)被配置為在輸入相位信息(αη)與前一平滑的相位值(5η- )之間的差值在-π與+π之間的範圍中的情況下，選擇基本相位組合規則，否則選擇一個或多個不同的相位適應組合規則；其中基本相位組合規則定義了輸入相位信息的縮放版本(S αη)與前一平滑的相位值的縮放版本((1 -δ)『-0的線性組合，其中無恆定被加數；以及其中一個或多個相位適應組合規則定義了輸入相位信息的縮放版本與前一平滑的相位值的縮放版本的線性組合，其中考慮了恆定相位適應被加數(+ η，- η )。
5.如權利要求1至4中任一項所述的裝置(100；200)，其中參數確定器被配置為根據以下方程獲得當前平滑的相位值(δ(αη - 2π) + (1- 5)an_j) mod 2π an = I (δ(αη + 2π) + (1- δ)αη_!) mod 2π . δαη+(1-5) ^如果(αη -δ^ρ-π其他其中S 表示前一平滑的相位值； a n表示輸入相位信息； 「mod」表示模運算符；以及δ表示平滑參數，平滑參數的值在0與1之間的區間中，不包括區間的邊界以外。
6.如權利要求1至5中任一項所述的裝置(100；200)，其中參數確定器(140 ；250)包括平滑控制器，其中平滑控制器被配置為在平滑的相位量與對應的輸入相位量(α η)之間的差值大於預定閾值的情況下，選擇性地禁用相位值平滑功能。
7.如權利要求6所述的裝置(100;200)，其中平滑控制器被配置為評估兩個平滑的相位值(α ρ α 2)之間的差值作為平滑的相位量，以及評估與兩個平滑的相位值(α ρ α 2)相對應的兩個輸入相位值(256)之間的差值作為對應的輸入相位量。
8.如權利要求1至7中任一項所述的裝置(100；200)，其中上混頻器(130 ；230)被配置為，在平滑功能被啟用的情況下，在給定時間部分內，應用由不同的平滑的相位值(α」 α 2)所定義的不同的時間平滑的相位旋轉(α ρ α 2)，來獲得具有聲道間相位差的不同上混頻音頻聲道的信號( ㈨冱㈨)，以及在平滑功能被禁用的情況下，應用由不同的非平滑的相位值所定義的時間非平滑的相位旋轉056)，來獲得具有聲道間相位差的不同上混頻音頻聲道的信號；其中參數確定器(140 ；250)包括平滑控制器；以及其中平滑控制器被配置為，如果平滑的相位值(α」 α2)之間的差值與非平滑的聲道間相位差值(21 存在差異且該差異超過預定閾值，則選擇性地禁用相位值平滑功能，平滑的相位值(α ρ α 2)被應用於獲得不同上混頻音頻聲道的信號(滅@)，兌@))，非平滑的聲道間相位差值012)由所述裝置(100 ；200)接收或由所述裝置從接收到的信息012)中導出ο
9.如權利要求1至8中任一項所述的裝置(100；200)，其中參數確定器(140 ；250)被配置為根據平滑的相位值與對應的輸入相位值(αη)之間的當前差值，來調整濾波器時間常數(S )，以確定平滑相位值(沒η)的序列(沈2)。
10.如權利要求1至9中任一項所述之裝置(100；200)，其中參數確定器(140 ；250)被配置為根據平滑的聲道間相位差與非平滑的聲道間相位差之間的差值，來調整濾波器時間常數(S)，以確定平滑相位值(沒η)的序列062)，平滑的聲道間相位差由與上混頻音頻信號的不同聲道相關聯的兩個平滑的相位值(αρ α2)之間的差值定義，非平滑的聲道間相位差由非平滑的聲道間相位差信息(212)定義。
11.如權利要求1至10中任一項所述的裝置(100；200)，其中用於上混頻的所述裝置被配置為，根據從音頻比特流中提取的信息來選擇性地啟用和禁用相位值平滑功能。
12.一種用於將描述一個或多個下混頻音頻聲道的下混頻音頻信號上混頻成描述多個上混頻音頻聲道的上混頻音頻信號的方法(700)，所述方法包括使用相位改變限制算法將前一平滑的相位值的縮放版本與當前相位輸入信息的縮放版本相組合(710)，以基於前一平滑的相位值和輸入相位信息來確定當前時間平滑的相位值；以及應用(720)時變上混頻參數來對下混頻音頻信號進行上混頻，以便獲得上混頻音頻信號，其中時變上混頻參數包括時間平滑的相位值。
13.一種電腦程式，當所述電腦程式運行在計算機上時用於執行權利要求12所述的方法。
全文摘要
一種用於將描述一個或多個下混頻音頻聲道的下混頻音頻信號上混頻成描述多個上混頻音頻聲道的上混頻音頻信號的裝置包括上混頻器和參數確定器。上混頻器被配置為應用時變上混頻參數來對下混頻音頻信號進行上混頻，以便獲得上混頻音頻信號，其中時變上混頻參數包括時變平滑的相位值。參數確定器被配置為基於量化上混頻參數輸入信息，來獲得一個或多個時間平滑的上混頻參數以供上混頻器使用。參數確定器被配置為使用相位改變限制算法將前一平滑的相位值的縮放版本與輸入相位信息的縮放版本相組合，以基於前一平滑的相位值和輸入相位信息來確定當前平滑的相位值。
文檔編號G10L19/00GK102257563SQ201080003595
公開日2011年11月23日 申請日期2010年4月1日 優先權日2009年4月8日
發明者朱利安·羅比亞爾, 約翰內斯·希爾珀特, 馬蒂亞斯·諾伊辛格 申請人:弗勞恩霍夫應用研究促進協會