處理音頻信號的設備和方法

2023-10-11 16:12:14

專利名稱：處理音頻信號的設備和方法
技術領域：
本發明涉及一種用於處理音頻信號的設備。本發明還涉及一種用於處理音頻信號的方法。而且，本發明涉及一種程序單元。此外，本發明涉及一種計算機可讀介質。
背景技術：
用於抑制音頻失真的系統變得越來越重要。特別是在高質量免提電
信系統的領域中，所述的系統諸如是行動電話、車栽裝備(car kits )、音頻和遠程會議系統、免提話音識別設備等。
WO 2005/076662公開了 一種適合於抑制音頻失真的系統。該系統包括回波消除裝置，其被耦合在音頻輸出與失真的期望音頻感測話筒陣列之間；以及濾波器安排，其被耦合到回波消除裝置和/或話筒陣列。該濾波器安排包括濾波器係數，該濾波器係數代表至少 一 部分音頻失真，比如混響(reverberation )。該系統還包4舌至少部分地鏡^象的電
路安排，用於由此將代表濾波器係數值的仿真音頻失真複製到所述濾波器安排的濾波器係數。該濾波器安排然後可以使用這樣的複製的值來抑制失真的期望信號中的混響。這樣的系統和濾波器安排可以適合於抑制話筒陣列所感測的音頻信號中回波拖尾部分混響形式的回波失真。
然而，可能仍然需要提供一種系統，其進一步地改進音頻系統——特別是免提電信系統——中的回波消除。

發明內容
本發明的目的是提供一種高效回波消除音頻系統和回波消除方法。為了達到上述目的，提供了根據獨立權利要求的 一種用於處理音頻
信號的設備、 一種處理音頻信號的方法、 一種程序單元以及一種計算機
可讀介質。
5根據示例性實施例， 一種用於處理音頻信號的設備包括預處理單元，以及後處理單元，其中，所述預處理單元適合於基於接收的第一音頻信號來估計指示第 一線性回波消除分量的第 一 回波信號，並且還適合於基於接收的第一音頻信號和拾取的第二音頻信號來估計指示非線性回波消除分量的第二回波信號，以及其中，所述後處理單元適合於考慮第一回波信號和第二回波信號來對與所拾取的第二音頻信號相關聯的主輸出信號進行後處理。
根據示例性實施例， 一種處理拾取的音頻信號的方法包括接收第一音頻信號，基於所接收的笫一音頻信號來估計指示第一線性回波消除分量的第一回波信號，拾取第二音頻信號，基於所接收的第一音頻信號和所拾取的第二音頻信號來估計指示非線性回波消除分量的第二回波信號，以及考慮第一回波信號和第二回波信號來處理與所拾取的第二音頻信號相關聯的主輸出信號。特別地，第一回波信號的估計還可以基於所拾取的第二音頻信號，例如，所拾取的第二音頻信號可以被用作為用
以生成用於第一回波信號的估計的控制信號的輸入。然而，在很多情況下，所拾取的第二音頻信號並不是從其導出第 一回波信號的輸入信號，而僅僅被用作為用於生成供第 一回波信號的估計所使用的控制信號的信號。這可以與第二回波信號的估計形成對比，因為在很多情況下，在第二回波信號的估計中，所拾取的第二音頻信號是從其導出第二回波信號的信號分量，而不僅僅被使用來生成用於估計的控制信號。
根據示例性實施例，提供一種程序單元，當其被處理器執行時，適合於控制或者實現一種處理音頻信號的方法，其中所述方法包括接收第一音頻信號，基於接收的第一音頻信號來估計指示第一線性回波消除分量的第一回波信號，拾取第二音頻信號，基於所接收的第一音頻信號和所拾取的第二音頻信號來估計指示非線性回波消除分量的第二回波信號，以及考慮第一回波信號和第二回波信號來處理與所拾取的第二音頻信號相關聯的主輸出信號。
根據示例性實施例，提供一種計算機可讀介質，在其中存儲有電腦程式，當其被處理器執行時，適合於控制或者實現一種處理音頻信號的方法，其中所述方法包括接收第一音頻信號，基於所接收的第一音頻信號來估計指示第一線性回波消除分量的第一回波信號，拾取第二音頻信號，基於所接收的第一音頻信號和所拾取的第二音頻信號來估計指
6示非線性回波消除分量的第二回波信號，以及考慮第一回波信號和第二 回波信號來處理與所拾取的第二音頻信號相關聯的主輸出信號。
根據本發明實施例的音頻處理可以通過電腦程式一一即通過軟 件一一來實現，或者通過使用一個或多個專門的電子最佳化電路一一即 以硬體形式——來實現，或者以混合形式——即藉助於軟體部件和硬體 部件——來實現。
在本申請中，術語"非線性回波信號"可以特別表示由換能器鏈中 工作在其各自的非線性範圍的一些部分(例如由揚聲器)所引入的回波 信號。這例如對於放大器和揚聲器可以適用。另一種類的非線性回波信 號可以由外殼的機械振動而引起。所有的這些原因都可以導致例如電話 或行動電話、車栽裝備、音頻和遠程會議系統、免提話音識別設備的話
筒信號中的非線性失真的回波分量。
在本申請中，術語"拾取的音頻信號"或"拾取的音頻數據"可以
特別表示由話筒——例如由像電話或行動電話那樣的通信設備的話 筒一_所拾取的音頻信號。尤其是，該術語可以表示從這個聲波生成的 電信號。
在本申請中，術語"接收的音頻信號，，可以特別表示由通信設備接 收的信號，例如，從另一通信設備傳送到接收該音頻信號的設備的信號。 在通信的上下文中，接收的音頻信號可以對應於所謂的遠端信號。也就 是，對於該音頻信號來說，它通過線路或者通過空中傳輸從一個通信設 備被傳送到第二通信設備，即所謂的近端設備。
在本申請中，術語"回波"可以特別表示所接收的、由第一設備發
送的信號引入到拾取的信號中的擾動，該拾取的信號打算被從第二設備 傳送回第一設備。例如，第一設備和第二設備可以是通信設備，比如移
動電話。在這種情形下，倘若通信以所謂的自由語音(free-speech) 形式進行，即，通信的人未將行動電話拿近他們的耳邊，則這樣的"回 波，，可能尤其令人討厭並且產生問題。
通過分離拾取的音頻信號的線性回波分量和非線性回波分量，有可 能獨立地控制對於這兩個分量的後處理，例如-潛相減(spectral subtraction),這可以克服必須針對線性回波使用高的過減(over subtraction)的問題。此外，有可能4吏用沿用已久的魯棒的並且被實 際上證明的線性回波消除器來消除線性回波分量，同時附加地，可以提供解決方案來例如通過使用射束形成方法去應對非線性
(nonlinearities )。
本發明示例性方面的要點可以見於這樣的事實線性回波消除可以 與還考慮到非線性回波的回波消除進行組合。可以通過使用所謂的射束 形成來完成這樣的非線性回波消除。因此，有可能分離線性回波與非線 性回波，這可以使得在設備的後處理器中能夠獨立地控制線性回波和非 線性回波的鐠相減。
接下來，將描述本發明的其它示例性實施例。
以下，將解釋用於處理音頻信號的設備的其它示例性實施例。然而， 這些實施例也適用於處理音頻信號的方法、程序單元以及計算機可讀介 質。
根據設備的另一個示例性實施例，所述後處理單元還適合於僅在 設備對接收的音頻信號進行接收的時間段中，取得第二回波信號。
在電信設備(例如電話或行動電話)的情況下，這樣的時間段可以 是例如存在遠端語音的時間段。通過以這樣的方式適配後處理單元，有 可能簡化所使用的處理算法，特別地，因為在對遠端而言存在活動的情 況下，非線性分量或部分有可能不包含任何回波。此外，在不存在遠端 活動或遠端語音的情況下，即假如僅存在近端語音，則所拾取的音頻信 號可以不受語音洩漏影響，例如不受後處理單元的一部分或元件的語音 洩漏影響。
根據設備的另 一個示例性實施例，所述預處理單元包括兩個濾波器 單元，用於估計第一中間回波信號和第二中間回波信號。這樣的估計可 以通過估計回波路徑對音頻源單元與拾取單元之間的發射的音頻信號 的影響來完成。替換地，所述預處理單元可以僅包括單個濾波器單元。 特別地，所迷濾波器可以由自適應濾波器形成，其可以受控於基於所拾 取的第二音頻信號和該自適應濾波器自身的輸出信號的控制信號，即，
可以實現反饋機制以控制該自適應濾波器。
根據該設備的另一個示例性實施例，所述預處理單元包括射束形成 單元，用於估計第一回波信號和第二回波信號。具體地，該射束形成單 元可以適合於接收第一中間回波信號、第二中間回波信號、以及經預 處理的拾取的第二音頻信號。
在本申請中，術語"經預處理的拾取的音頻信號"可以特別表示已經被預處理過的拾取的音頻信號，例如通過可能後隨有射束形成的線性 回波補償或者通過從所拾取的第二音頻信號中減去中間回波信號而被 預處理。
這樣的射束形成單元可以是適當的元件，用來確定和/或估計非線 性回波分量，該非線性回波分量可以在後面被用來執行回波消除，以便 生成期望的輸出音頻信號，即具有減少的回波分量的該設備的輸出音頻 信號。
根據設備的另一個示例性實施例，所述射束形成單元包括第一射束 形成子單元和第二射束形成子單元。特別地，第一射束形成子單元可以
適合於生成主輸出信號和第三中間回波信號。可選地，第一射束形成 子單元可以包括附加的濾波器單元，用於對第三中間回波信號進行濾 波，以生成第二回波信號。第一射束形成子單元可以接收經預處理的拾 取的第二音頻信號以作為輸入。
根據設備的另一個示例性實施例，第一射束形成子單元還適合於 通過這樣一種方式來確定控制係數的值，即使得主輸出信號的輸出功率 最大化。
根據設備的另一個示例性實施例，第二射束形成子單元適合於接 收第一中間回波信號和第二中間回波信號，並且還適合於通過使用控 制係數的值來生成第一回波信號。
通過將第 一 中間回波信號和第二中間回波信號饋送到第二射束形 成子單元，可以確保線性回波分量可以用與所謂的殘留信號相同的方式 進行處理，所謂殘留信號即所拾取的第二音頻信號，其可以包括分別 從中減去第 一 中間回波信號和第二中間回波信號的第 一部分和第二部 分。為了拾取第二音頻信號的第一部分和第二部分，所迷設備可以包括 第一拾取單元，其適合於拾取所拾取的第二音頻信號的第一部分；以及 第二拾取單元，其適合於拾取所拾取的第二音頻信號的第二部分。應當 指出的是，可以使用兩個以上的拾取單元。
根據設備的另一個示例性實施例，所述後處理單元適合於通過從 求和的主輸出信號和第一回波信號中譜減去第一回波信號、第二回波信 號，從而基於主輸出信號、第一回波信號和第二回波信號生成輸出信號。 特別地，該後處理單元可以適合於從主輸出信號、第一回波信號、第 二回波信號及其線性組合的幅度諳生成增益函數。這樣的線性組合特別地可以是主輸出信號與第一回波信號之和，或者是主輸出信號與笫二回 波信號之間的差。這樣的增益函數可以被使來將主輸出信號的譜、或主 輸出信號與第二回波信號的差的誨乘以所述增益函數。特別地，主輸出 信號在它被乘以增益函數之前被延遲。使用該增益函數，可以確保輸出 信號與主輸出信號、或主輸出信號與第二回波信號的差可以具有相同的 相位。
以下，將解釋所述處理音頻信號的方法的其它示例性實施例。然而， 這些實施例也適用於所迷用於處理音頻信號的設備、程序單元和計算機 可讀介質。
根據該方法的另一個示例性實施例，所拾取的信號的處理牽涉到譜 相減。具體地，譜相減可以對於第一回波信號和第二回波信號獨立地執行。
本發明的示例性方面可見於這樣的事實將線性回波消除與射束形 成相組合，由此有可能分離線性回波與非線性回波，這可以使得在後處 理器中能夠獨立地控制線性回波與非線性回波的譜相減。可以使用兩個 自適應濾波器和後處理器或後處理單元來消除線性回波，同時可以使用 兩個或更多個拾取單元(例如話筒)，應用射束形成並且考慮作為幹擾 源的音頻源單元(例如揚聲器)來處理非線性部分，該幹擾源可以通過 廣義的所謂旁瓣消除器來抑制。在這種情形下，由於理想地來自音頻源 單元方向的任何聲音可以因廣義旁瓣消除器的方向特性而受到抑制，因 此不管信號路徑，即信號在音頻源單元與拾取單元之間行進的路徑的影 響是否為非線性，都沒有關係。消除的線性回波可以穿過第二 "固定，，
射束形成器，其中，"固定"指的是它可以使用與第一自適應射束形成 器相同的係數。通過這樣，便有可能將進入的信號分離為期望的語音信 號、線性回波以及非線性回波。這可以允許獨立地控制對於非線性部分 或非線性分量的譜相減，這可以克服必須對線性回波使用高的過減的問 題。當使用根據本示例性方面的射束形成方法時，即使在揚聲器和/或 通信設備(例如電話)自身移動的情況下，也有可能至少提供對於線性 回波分量的足夠的回波抑制。而且，甚至當該設備的揚聲器處在與期望 的揚聲器的角度接近的角度中時，也有可能提供足夠的回波消除。此外， 由於第一自適應射束形成器提供主輸出信號和所謂的基準輸出或中間 回波信號一 一其不包含或僅包含十分少的語音洩漏，因而有可能避免語音信號的所謂的染色(coloration)。
從下文要描迷的實施例的例子中，本發明的示例性實施例和以上定 義的各方面以及其它方面是明顯的，並且參照這些實施例的例子來解釋它們。


下文中將參照實施例的例子來更詳細地描述本發明，但本發明不限 於這些例子。
圖1示意性地示出免提電信系統中的聲學回波(acoustic echo)。 圖2示意性地示出帶有後處理器的回波消除系統的原理。 圖3示意性地示出包括射束形成單元和自適應濾波器的廣義旁瓣消 除器的原理。
圖4示意性地示出根據本發明示例性實施例的、用於音頻處理的設備。
圖5示意性地示出在遠端語音期間的輸出信號。
具體實施例方式
附圖中的例示是示意性的。在不同的附圖中，相似或相同的單元被 提供以相同的參考標號。
以下，將參照圖1至圖3，解釋通信設備(例如行動電話)中的回 波消除的一些基本原理。
對於高質量免提電信系統一一例如行動電話、車載裝備、音頻和視 頻遠程會議系統、免提話音識別設備、PDA等——的需求正快速增長。 系統製造商們認識到，這樣的系統的音頻質量對於讓消費者接受和滿意 是至關重要的。對於網絡運營商也是如此，因為當減少收聽疲勞時，對 話會持續得更長，因此它們獲得了更高的收入。免提聲學電信系統所牽 涉到的一個十分重要的問題涉及在維持全雙工搡作的同時消除聲學回 波，這將在後面更詳細地描述。首先，參照圖1和圖2,先解釋聲學電 信系統的一般設置，之後解釋聲學回波消除問題。
圖1示意性地示出電信系統100,其包括兩個聲學電信設備101和 102，每個聲學電信設備分別包4奮揚聲器！03和104以及話筒105和106。 網絡107連結這兩個電信設備。此外，兩個參與者淨皮示意性地描繪為108和109。
這兩個電信設備101和102經由某個網絡或通信鏈路107彼此從對 方接收信號，並且傳送信號到對方，見圖1。在每一側，從另一側接收 的信號(在解調為基帶數位訊號之後)被處理，由D/A轉換器210從數 字信號轉換為模擬信號，由第一放大器211放大，然後由揚聲器203再 生，見圖2。同時，在每一側，本地聲學信號由話筒205記錄，由第二 放大器212放大，由A/D轉換器213從模擬信號轉換為數位訊號，由後 處理單元214進行處理，然後(在恰當的調製之後)被傳送到另一側， 見圖2。因此，在每一個終端中，記錄的和接收的數位訊號都被用於處 理。正如從圖中清楚地看到的，如果遠端側也以免提模式進行操作，則 問題提出(problem setup )在原則上是對稱的。以下，從近端側的角 度考慮該問題情景，假設近端以免提模式進行操作。此外，圖2示意性 地繪出自適應濾波器215和控制單元216。
由於揚聲器203將遠端信號發射到近端通信設備周圍的環境中，因 此除了近端用戶可以聽見遠端信號的期望的效果外，還有揚聲器203信 號也傳播到話筒205的不期望的效果。因此，話筒所記錄的信號除了包 含期望的近端語音信號之外，還包含通過近端聲學路徑而被濾波的遠端 信號。如果未經處理的話筒信號被發送到遠端側，則遠端用戶也將再次 聽到他自己的話音，也就是說，將存在回波。當在遠端揚聲器與話筒之 間有強的聲學耦合的情況下，這個過程的重複將導致信號的"振鳴 (howl ing )，，。
聲學回波消除的目的在於，在保留近端語音信號的同時，去除在近 端側產生的回波信號，由此允許全雙工通信並且避免振鳴，這與一次僅 一個參與者可以說話的半雙工通信形成對比。應當指出的是，全雙工語
音通信的有關方面在於，近端講話者可以打斷活動的遠端講話者。在兩 個參與者都i兌話時的所謂雙重i炎話(double talk)的短暫間隔期間，
近端語音信號保持不失真是不太重要的。
聲學回波消除器的基本思想在於，使用遠端信號和話筒信號兩者來 估計近端話筒信號中的遠端回波分量。然後將該回波從話筒信號中減 去，從而理想地產生僅包含近端語音信號的信號。然後有可能是在比如 噪聲抑制的其它處理之後，把清理過的話筒信號傳送到遠端側。
在免提模式下，相比於手持模式，在用戶與設備之間有較大距離。為了使得用戶能夠清楚地聽到遠端信號，揚聲器必須產生較大聲壓級。 結合行動電話中揚聲器和話筒間隔得非常近這一事實，這導致與近端語 音信號相比十分強的回波信號。在典型情景中，回波-近端語音信號比
的範圍可以從10dB至25dB。此外，因為揚聲器將要產生較大聲壓級， 所以換能器鏈的若干(廉價)部分運行在它們的非線性範圍中u例如， 這對於放大器和揚聲器是適用的。另一種類的非線性是由電話外殼的機 械振動引起的。所有這些原因都導致話筒信號中的非線性失真的回波分 量。由於市售的大多數行動裝置和其它聲學電信設備採用了線性聲學回 波消除器(AEC)，因此它們無法恰當地處理非線性失真回波。然而， 這是十分重要的，因為要求有越來越好的質量。
一般而言，AEC通常由兩個主要部分組成，見圖2。第一部分是自 適應濾波器215 (通常以有限脈沖響應濾波器的形式)，其把來自遠端 信號的總的電-機械-聲學脈衝響應自適應地建模為話筒信號，也就是 說，它尤其(among other things)應當包括放大器和揚聲器特性、以 及從揚聲器到話筒的聲學脈沖響應(AIR)。該自適應濾波器可以是(歸 一化)最小均方((N) LMS)、遞歸最小平方(RLS)、或仿射投影(AP) 算法，或本領域技術人員已知的任何其它算法。實際上，由於若干原因， 任何自適應濾波器僅可以部分地去除回波。首先，如上所述，這是因為 各種非線性。其次，因為實際上自適應濾波器長度受限於複雜度和存儲 器約束，也就是說，其係數太少而無法對所有的動態特性恰當地建模。 因此，該系統是建衝莫不足的(under-modeled)。最後，終端周圍的音 響效果可以因為移動、溫度改變等等而改變，由此使得自適應濾波器跟 蹤困難。為此，AEC常常具有由後處理器214組成的第二部分。理想地， 自適應濾波器未去除的回波分量在後處理器中被抑制，其可被看作是依 賴於時間和頻率的增益函數，它選擇性地衰減仍包含明顯的遠端回波的 那些頻率倉(frequency bin)。後處理器的原理機能已為本領域技術 人員所知。雖然後處理可以在某種程度上去除殘留的回波，但其在雙重 談話期間也引入了失真，尤其是在糟糕的信號-回波比並且有非線性失 真期間，由此損害了全雙工功能性。
雖然射束形成的基本原理已為本領域技術人員所知來空間分離聲 音，但以下仍參照圖3描述所謂的濾波器及求和射束形成器(FSB)的 一些基本信息，圖3示出了廣義旁瓣消除器(GSC) 320以及充當GSC的 13輸入設備的兩個話筒305和306。該GSC包括FSB 321，其包括兩個自 適應濾波器322和323,它們分別耦合到兩個話筒305和306。也就是 說，每一個話筒輸入都耦合到自適應濾波器。此外，FSB包括阻塞矩陣 (blocking matrix) 324，其耦合到兩個話筒。兩個濾波器322和323 中的每一個的輸出被求和，並且形成主輸出z，而阻塞矩陣324的輸出 形成噪聲基準信號x,其被輸入到第二級自適應濾波器325,該第二級 自適應濾波器325的輸出由第二級的濾波器信號y形成。然後將主輸出 z和濾波器信號y彼此相減，其中主輸出z被延遲單元326延遲。
簡言之，射束形成算法可以概括為基於在包含期望信號、混響以 及噪聲的聲場中的多個話筒的輸入，FSB生成主輸出信號和噪聲基準信
號x，該主輸出信號是就信噪比而言的話筒輸入的增強版本，該噪聲基 準信號x理想地包含除了語音之外的任何東西。實際上，當然，由於調 整不良(misalignment )、短的濾波器長度以及其它非理想條件，主信 號仍包含噪聲，並且噪聲基準包含一部分語音信號。射束形成算法如下 地工作。濾波器被適配成使得主信號的輸出功率最大化。阻塞矩陣324 被使用來阻塞語音信號產生噪聲基準x,該噪聲基準x包含穩態和非穩 態的背景噪聲但不包含語音。
在必須消除其它幹擾源(幹擾的揚聲器、會議情景、TV等)的狀況 下，使用廣義旁瓣消除器(GSC)結構(見圖3)。設想期望的交談者在 FSB的波束中以及幹擾的交談者在背景中處於不同角度的情況。噪聲基 準以及主輸出將包含幹擾交談者的不期望信號。當不存在期望的語音 時，僅允許適配GSC的第二級。有效的假設是，在這些時段中將存在幹 擾語音，因此，第二級自適應濾波器識別主信號中的這個幹擾語音分量， 並且減去它，這導致輸出信號r。當被用於回波消除時，第二級僅在遠 端活動期間進行適配，並且因此消去設備的揚聲器前的遠端信號。換句 話說，該方法試圖在幹擾源(揚聲器)的方向上放置射束形成器方向性 中的零點(null )。
在後面較詳細地描述的後處理器中，可以使用噪聲基準信號y通過 譜相減來減少主信號中的噪聲。
後處理器可以基於譜相減技術，並且可以將FSB 321的主輸出信號 z以及第二級的濾波器信號y取作輸入。輸入樣本以幀為基礎通過所謂 的漢寧(Harming)窗進行處理，並且接下來通過FFT變換到頻域。兩
14個獲得的複數值譜(complex valued spectra)被表示為Z(f)和Y(f), 譜幅度被表示為lZ(f) l和IY(f) I,其中，f表示FFT結果的頻率指數 (frequency index)。殘留信號R (f)的鐠是在後處理器中簡單地通過 減去複數譜Z (f)和Y (f)而計算出來的。後處理器然後應用以下的譜 相減糹見則
10(f) HZ(f)卜丫lY(f) I (1)
其中，Y是所謂的過減參數，其影響譜相減的量。輸出的譜幅度
10(f) l簡單地與殘留信號R(f)的相位組合。最後，使用公知的重疊重構 (overlapped reconstruct ion )算法，從其複數譜構建時域輸出信號o。
圖2中用於聲學回波消除的傳統解決方案的問題在於，它們依賴於 這樣的事實回波路徑(放大器、揚聲器、到話筒的傳播)是線性的， 正如以上已經描述的，這對於例如移動免提電話並不適用。因此，回波 的非線性的一小部分將到達遠端交談者。避免該情況的通常方式是，在 後處理器中使用譜相減，將線性抑制設置為相當高的值，實際上相減方 式減去了太多線性信號(過減)，這消除了大部分的非線性，但使得雙 重談話性能嚴重惡化。
為了更好地理解這種情況，人們必須考慮非線性源於何處。當揚聲 器膜被驅動到高偏移(excursion)時，揚聲器的音圏部分地離開磁場， 因此，電輸入與聲輸入之間的耦合減少。當驅動到非線性區域時，正弦 波例如將得到"圓化"的頂部，其引起聲信號中的諧波失真(在頻率的 倍數中)。當在時間上觀看時，這意味著非線性僅出現在輸入信號的高 幅度處。在正常的語音中，這些高幅度僅很少出現，但如果它們作為回 波返回給遠端交談者，則常常足以引起注意並且令人討厭。這意味著， 根據示例性實施例，不必始終應用非線性抑制。因此，根據示例性實施 例，並不增加用於線性回波的過減參數，因為這確實將在大部分時間期 間引入太多減法。相反，期望僅當非線性回波出現時才減去它。當在頻 域中觀看時，人們看到，非線性僅佔據特定頻段。由於它們是線性信號 的諧波，因此它們主要出現在較高的頻率區域。由於這樣的事實，即音 圈的最高偏移出現在揚聲器的機械系統的諧振頻率附近，在行動電話中 該諧振頻率是在1000Hz附近，因此有可能甚至進一步減少預期有非線 性的頻率區域。這給出了示例性實施例的第二個可能的優點，其中由於 根據這個實施例，不可能出現在錯誤的頻率倉中的減法，因此不增加線
15性過減。根據這個示例性實施例，回波信號的非線性部分被獨立地並且 僅偶爾地在有限的頻率區域處予以控制。
圖4示意性地示出根據本發明示例性實施例的、用於音頻處理的設 備。設備400包括預處理單元401和後處理單元402。此外，該設備包 括在線路404上接收第一音頻信號的揚聲器403、以及充當拾取單元 的第一話筒405和第二話筒406。預處理單元401包括第一自適應濾 波器407和第二自適應濾波器408;射束形成單元409,其包括第一射 束形成子單元410和第二射束形成子單元411;以及附加的自適應濾波 器412。
線路404還將接收的第一音頻信號傳送到第一自適應濾波器407和 第二自適應濾波器408。從由第一話筒405拾取的音頻信號——其形成 所拾取的第二音頻信號的第 一部分一一 中減去第 一 自適應濾波器407的 輸出，例如第一中間回波信號。作為結果的信號，例如經預處理的第二 音頻信號的第一部分或第一殘留信號，形成第一射束形成子單元410的 第一輸入，並且還形成用於第一自適應濾波器407的反饋。從由第二話 筒406拾取的信號一一其形成所拾取的第二音頻信號的第二部分一一中 減去第二自適應濾波器408的輸出，例如第二中間回波信號。作為結果 的信號，例如經預處理的第二音頻信號的第二部分或第二殘留信號，形 成第一射束形成子單元410的第二輸入，並且還形成用於第一自適應濾 波器408的反饋。第一自適應濾波器407和第二自適應濾波器408的輸 出，即第一中間回波信號和第二中間回波信號，還被連接到第二射束形 成子單元411，該第二射束形成子單元411生成與第一回波消除分量或 信號y,in相對應的信號，該信號被第一延遲元件413延遲，然後被饋送 到後處理單元402。第一回波消除分量y,i。對應於線性回波分量。第一 射束形成子單元410生成主輸出信號，其被第二延遲元件414延遲，然 後與第一回波消除分量ynn相加，之後形成給後處理單元402的第二輸 入z。此外，第一射束形成生成第三中間信號，其被饋送到附加的自適 應濾波器412,該附加的自適應濾波器412據此形成第二回波消除分量 ynl,其對應於非線性回波分量，並且被饋送到後處理單元402以作為第 三輸入。此外，從第一射束形成子單元410的被延遲的主輸出信號中減 去第二回波消除分量，以形成被用來控制附加的自適應濾波器412的控 制信號。以下，將更詳細地解釋設備400以及用於構建回波消除設備的對應 算法的操作。首先，自適應濾波器407和408 (也稱為聲學回波消除器) 估計在揚聲器與各個話筒之間的路徑。仍包含一部分回波的經預處理的 第二音頻信號的第一和第二部分被饋送到第一射束形成子單元410。第 一射束形成子單元410被編程為使得其主輸出(期望由近端語音組成) 的功率被最大化。然後，其係數被複製到第二射束形成子單元411 (也 稱為影子(shadow)射束形成子單元或影子FSB)，其自身並非是自適 應的。第一和第二中間回波信號(圖4中的虛線)被饋送到第二射束形 成子單元"L這是為了確保以與自適應濾波器407和408的殘留信號 相同的方式處理線性回波。如果兩個射束形成子單元410和411的輸出 信號相加，則這將產生好似話筒信號完全由第一射束形成子單元410處 理一樣的效果，但沒有使得信號分離的優點。因此，作為第一步驟，在 射束形成之後，線性回波與期望的語音信號以及非線性回波分離。由於 從話筒輸入中僅減去回波的線性部分，因此進入第一射束形成子單元 410的殘留信號仍包含由回波路徑所引入的非線性信號。第一射束形成 子單元410的主輸出以及噪聲基準因此也包含非線性。為了進一步從主 輸出中去除這些，在噪聲基準與主輸出之間放置附加的自適應濾波器 412，其試圖識別相關的信號並且去除它。形成廣義的旁瓣消除器(GSC) 的第二級的該附加自適應濾波器412僅被允許在遠端語音期間進行適 配，因此對於揚聲器適配，如果人們將它看作典型的GSC方法，則視其 為"千擾的揚聲器"。413和414所表示的延遲單元補償由附加的自適 應濾波器412引入的延遲。
取得更多的輸人信號，因s: —個以丄的信^被譜i去，並且ii些減:
中的每一個通過過減參數被個體地控制。饋送到後處理器的信號是 -所估計的並且經射束形成的線性回波y^，
-經射束形成的總的話筒信號z,其由第一射束形成子單元的主輸 出與y,in相加產生，
-附加的自適應濾波器的輸出信號ynl,其包含在第一射束形成子單 元的主輸出信號中出現的、並且表現出與噪聲基準的相關的非線性。
當以幀為基礎應用漢寧窗和FFT之後，獲得複數譜Z(f)、 Y,iJf)和 Y ,(f)。通過減去這些複數語而獲得殘留相位信號R (f)的譜
17R(f)=Z(f)-Ylin(f) (遠端活動)
R (f) =Z (f) -Ylin (f) -Ynl (f)(沒有遠端活動) 正如可以看到的，僅在遠端活動期間減去非線性回波信號。這有兩 個原因
1. 當沒有遠端活動時，根本沒必要減去非線性部分，因為其不包含 回波。
2. 在僅有近端語音期間，所期望的語音不受GSC的第二級中的語音 洩漏影響。
應當指出的是，在遠端活動期間，R(f)等於第一射束形成器子單元 的主輸出的鐠，而在沒有遠端活動期間，R(f)等於該主輸出信號與信號 y,"之差的謙。
不是將這些信號直接應用於譜相減，而是根據下式從這些信號的幅 度i普來確定增益函數G:
IGYni」z(m(/)mc/.)i
其代表對於殘留相位譜R (f)的依賴於頻率的增益。^值表示對於特
定信號的過減的量。為了克服在增益函數中存在強波動的情況下出現的
樂音(musical tone)的問題，應用遞歸平滑。此後，R(f)被乘以IG(f) I, 這確保R(f)的相位仍保持原樣，並且因此後處理器的輸出信號將具有與 輸入信號相同的相位。在應用增益函數之後，進行時域中的變換，其產 生所提出的算法的輸出信號。
圖5示意性地示出在遠端活動期間所述算法在鐠域中的性能。線 500描繪近端語音信號。僅用於線性部分的過減因子1.2不能應對在 3kHz至4kHz之間出現的非線性，這可以由線501清楚地標識。增加線 性過減直到值4明顯地減少了非線性，正如通過線502可見的，然而， 這是以雙重談話期間(始終而不是僅當非線性出現時)使可能的近端語 音信號失真為代價的。通過把線性過減保留在1. 2並且引入非線性信號 的減法(用l.O的因子，因此沒有過減)，人們獲得近似的相同結果， 然而，在非線性的出現期間近端語音僅受非線性抑制影響。
根據本發明示例性的方面進行總結，可以提供一種方法，其適合於 應對揚聲器電話中在聲學回波消除期間的非線性回波路徑。由於在非線 性範圍中驅動放大器和揚聲器，因此非線性路徑尤其出現在例如行動電話的免提操作中。本示例性方面的思想是組合使用自適應濾波器和後 處理器的線性聲學回波消除的公知的一個話筒方法連同使用射束形成 的多話筒方法，其單獨地去除回波的非線性部分。
應當指出的是，術語"包括"並不排除其它單元或特徵，並且"一" 或"一個，，("a"或"an")並不排除多個。此外，與不同實施例或 方面相聯繫地描述的單元可以被組合。還應當指出的是，權利要求中的 參考標號不應被解釋為限制權利要求的範圍。
權利要求
1.一種用於處理音頻信號的設備(400)，所述設備包括預處理單元(401)；以及後處理單元(402)，其中，所述預處理單元(401)適合於基於接收的第一音頻信號，估計指示第一線性回波消除分量的第一回波信號；並且還適合於基於接收的第一音頻信號和拾取的第二音頻信號，估計指示非線性回波消除分量的第二回波信號；其中，所述後處理單元(402)適合於考慮所述第一回波信號和所述第二回波信號來處理與所拾取的第二音頻信號相關聯的主輸出信號。
2. 根據權利要求1的設備(400 ),其中，所述後處理單元(402 )適合於通過考慮彼此獨立的所述第一回波信號和所述第二回波信號來處理所述主輸出信號。
3. 根據權利要求1的設備(400 )，其中，所述後處理單元(402 )還適合於僅在所述設備對接收的第一音頻信號進行接收的時間段中，取得所述第二回波信號。
4. 根據權利要求1的設備(400 ),還包括至少一個拾取單元，用於拾取所拾取的第二音頻信號。
5. 根據權利要求1的設備(400 )，還包括音頻源單元(403)，其中，所述音頻源單元適合於發射對應於所接收的第一音頻信號的音頻信號。
6. 根據權利要求1的設備(400 )，其中，所迷預處理單元(401)包括兩個濾波器單元(407， 408 )，用於估計第 一中間回波信號和第二中間回波信號。
7. 根據權利要求1的設備(400 ) >其中，所述預處理單元(401)包括射束形成單元(409 )，用於估計所述第一回波信號和所述第二回波信號。
8. 根據權利要求7的設備(400 )，其中，所述射束形成單元(409 )適合於接收所述第一中間回波信號、所迷第二中間回波信號、以及經預處理的拾取的第二音頻信號。
9. 根據權利要求8的設備(400 )，其中，所述射束形成單元(409 )包括第一射束形成子單元(410)和第二射束形成子單元(411)。
10. 根據權利要求9的設備(400 )，其中，所述第一射束形成子單元(410)適合於生成所述主輸出信號和第三中間回波信號。
11. 根據權利要求10的設備(400 ),其中，所述第一射束形成子單元(410 )包括附加的濾波器單元(412 )，用於對所述第三中間回波信號進行濾波，以生成所述第二回波信號。
12. 根據權利要求10的設備(400 ) >其中，所述第一射束形成子單元(410)還適合於以這樣的方式來確定控制係數的值，即使得所述主輸出信號的輸出功率最大化。
13. 根椐權利要求12的設備(400 ),其中，所迷第二射束形成子單元(411 )適合於接收所述第一中間回波信號和所述第二中間回波信號，並且通過使用所述控制係數的值來生成所述第一回波信號。
14. 根據權利要求10的設備(400 ),其中，所述後處理單元(402 )適合於通過從求和的主輸出信號和第一回波信號中譜減去所述第一回波信號、所述第二回波信號，從而基於所述主輸出信號、所述第一回波信號和所述第二回波信號生成輸出信號。
15. 根據權利要求14的設備(400 ),其中，所述後處理單元(402 )適合於從所述主輸出信號、所述第一回波信號、所述第二回波信號及其線性組合的幅度譜生成增益函數。
16. 根據權利要求15的設備(400 )，其中，所述後處理單元(402 )適合於將所述主輸出信號的譜、或所述主輸出信號與所述第二回波信號的差的譜乘以所述增益函數。
17. —種處理音頻信號的方法，所述方法包括接收第一音頻信號，基於所接收的第一音頻信號，估計指示第一線性回波消除分量的第一回波信號，拾取第二音頻信號，基於所接收的第一音頻信號和所拾取的第二音頻信號，估計指示非線性回波消除分量的第二回波信號，以及考慮所述第一回波信號與所述第二回波信號來處理與所拾取的第二音頻信號相關聯的主輸出信號。
18. 根據權利要求17的方法，其中，所拾取的第二音頻信號的處理牽涉到譜相減。
19. 根據權利要求18的方法，其中，對於所述第一回波信號和所述第二回波信號獨立地執行譜相減。
20. —種程序單元，當其被處理器執行時，適合於控制或者實現一種處理音頻信號的方法，所述方法包括接收第一音頻信號，基於所接收的第一音頻信號，估計指示第一線性回波消除分量的第一回波信號，拾取第二音頻信號，基於所接收的第一音頻信號和所拾取的第二音頻信號，估計指示非線性回波消除分量的第二回波信號，以及考慮所述第一回波信號與所述第二回波信號，處理與所拾取的第二音頻信號相關聯的主輸出信號。
21. —種計算機可讀介質，在其中存儲有電腦程式，當該電腦程式被處理器執行時，適合於控制或者實現一種處理音頻信號的方法，所述方法包括接收第一音頻信號，基於所接收的第一音頻信號，估計指示第一線性回波消除分量的第一回波信號，拾取第二音頻信號，基於所接收的第一音頻信號和所拾取的第二音頻信號，估計指示非線性回波消除分量的第二回波信號，以及考慮所述第一回波信號與所述第二回波信號，來處理與所拾取的第二音頻信號相關聯的主輸出信號。
全文摘要
提供了一種方法，其適合於應對揚聲器電話中在聲學回波消除期間的非線性回波路徑。由於在非線性範圍中驅動放大器和揚聲器，因此非線性路徑尤其出現在例如行動電話的免提操作中。該思想是組合使用自適應濾波器和後處理器的線性聲學回波消除的公知的一個話筒方法連同使用射束形成的多話筒方法，其單獨地去除回波的非線性部分。
文檔編號G10L21/0208GK101689371SQ200880021146
公開日2010年3月31日 申請日期2008年6月16日 優先權日2007年6月21日
發明者C·P·詹斯, D·A·C·M·魯弗斯, R·薩登 申請人:皇家飛利浦電子股份有限公司