改善音頻通話質量的系統及方法

2023-06-21 04:39:51 3

專利名稱：改善音頻通話質量的系統及方法
技術領域：
本發明涉及一種改善音頻通話質量的系統及方法。
技術背景Voip目前已經廣泛應用在網際網路中，其語音通信質量也就成為了一個關鍵的因素，而回 聲噪聲的消除技術更是成為關注的焦點。通常，回聲的產生是由於揚聲器和麥克風之間存在著聲學迴路，即來自通話一端的信號 經過通話另一端的揚聲器播放後，同時會被該端的麥克風採集傳回至通話一端，由此導致通 話一端的說話者能夠聽到自己的回聲，進而嚴重影響了通話質量。此外，來源於麥克風周邊 環境產生的穩態或非穩態的噪聲信號也對通話質量有著很大的影響。目前解決回聲的最有效方法是採用自適應濾波器來構造聲學回聲消除系統，請參見圖1， 其為通過自適應濾波器模擬聲學回聲路徑，使其衝擊響應和實際回聲路徑相似，從而預測出 麥克風所採集到的來自揚聲器的回聲信號(即遠端信號)，進而在將麥克風採集的音頻信號 d (n)中的回聲予以去除而形成無回聲的音頻信號e (n)，由此來實現回聲的消除。此外，其 還設置有一外雙工檢測器(Double talk detection, DTD)，用於當通話雙方同時說話時， 自動凍結濾波器的係數更新，從而達到既能消除回聲又能保證本地輸入信號的正確性和完整 性。現有常見的自適應濾波器採用的算法主要包括:最小平方準則(Least mean square, LMS) 算法及變體(Normal LMS， NLMS)算法;最小二乘法準則(Recursive Least square, RLS)算 法；仿射投影(Affine projection algorithm, APA)算法;塊自適應算法(Block-adaptive algorithm)等等。其中，作為使用最為普遍的NLMS算法，具備運算量小、易於在不同嵌入式 平臺實現的優點。但是其濾波器收斂速度與輸入信號的協方差矩陣的特徵值分布成反比，因 此收斂速度受輸入信號影響較大，進而會存在濾波器自適應收斂速度慢和不穩定的問題；基 於RLS的自適應濾波器具有最優秀的回聲抑制性能，但是其運算量往往是其他算法的6-20倍， 所以無法在實際應用中使用，常常只是作為測試最優效果的方法；基於BLMS(Block Least Mean Square Algorithm)的塊延遲頻域自適應濾波器是在LMS、 NLMS基礎上擴展而來的，常見的 有MDF (Multidelay Adaptive Filters)和GMDF算法，具備良好的收斂性能和相對適中的算法複雜度，因而目前在噪音消除和回音消除中使用比較廣泛。儘管如此，自適應濾波器的選 擇最終還是需要根據硬體的環境和系統設計的要求來決定。雖然現有將自適應濾波器、DTD、非線性處理模塊(Non-Linear Processor, NLP)等組合 能實現較好的回聲消除功能，但現有的雙工檢測算法都會不同程度的出現誤判的問題，從而 導致本地信號的失真，反而降低了語音的質量。在現有常用的回聲消除方案中，無法處理一 些特殊情況包括通話雙方同時說話、通話一方處於較強的背景噪音的環境中、麥克風或者 揚聲器及其他因素帶來的信號非線性失真等情況。在這些情況下進行通話， 一則自適應濾波 器難以正常工作，容易出現濾波器發散、係數更新錯誤等狀況，最終導致回聲不能消除再 則麥克風採集的音頻信號中還會帶入噪音和非線性失真的信號，如此會嚴重影響語音質量。因此，如何解決現有音頻信號中的回聲及噪音等問題，提高音頻通話質量實已成為本領 域技術人員亟待解決的技術課題。發明內容本發明的目的在於提供一種改善音頻通話質量的系統，以有效消除通話中的回聲。 本發明的另一目的在於提供一種改善音頻通話質量的系統，以有效消除通話中的噪音。 為了達到上述目的及其他目的，本發明提供的改善音頻通話質量的系統，用於本地同時 設置有音頻採集裝置及音頻播放裝置的系統，其包括用於去除所述音頻採集裝置輸出的時 域第一音頻信號的當前幀中的直流偏移幹擾信號的去直流偏移模塊；用於將所述去直流偏移 模塊輸出的時域第一音頻信號的當前幀以及所述音頻播放裝置播放的時域第二音頻信號的當 前幀分別進行預加重處理以改善各時域音頻信號的頻譜的預加重處理模塊；用於存儲所述預 加重處理模塊輸出的時域第二音頻信號的數據存儲模塊；用於將所述預加重模塊輸出的時域 第一音頻信號及所述數據存儲模塊輸出的時域第二音頻信號分別進行快速傅立葉變換以得到 各頻域音頻信號，並根據當前幀的前一幀所獲得的頻域錯誤信號參數和頻域學習速率參數修 正頻域第二音頻信號以使其與所述音頻採集裝置當前所採集的回聲信號接近的回聲估計模 塊，其中，頻域錯誤信號參數和頻域學習速率參數的初始值都為0;用於將修正後的頻域第二 音頻信號進行傅立葉逆變換以轉換為修正後的時域第二音頻信號的傅立葉逆變換模塊；用於 將所述預加重處理模塊輸出的時域第一音頻信號及所述傅立葉逆變換模塊輸出的修正後的時 域第二音頻信號分別進行去加重處理以還原各音頻信號的頻譜的去加重處理模塊；用於根據 所述去加重模塊輸出的時域第二音頻信號去除所述去加重模塊輸出的時域第一音頻信號中的 回聲信號的回聲消除模塊；用於根據所述傅立葉逆變換模塊輸出修正後的時域第二音頻信號、回聲估計模塊輸出的修正後的頻域第二音頻信號及所述預加重模塊輸出的時域第一音頻信號 更新當前幀的頻域錯誤信號參數和頻域學習速率參數以供所述自適應濾波器模塊處理下一幀 時採用的參數估算模塊。較佳的，所述改善音頻通話質量的系統還包括用於將所述音頻採集裝置採集的時域第 一音頻信號的當前幀與所述回聲消除模±央輸出的時域第一音頻信號的差值進行漢寧窗口化及 傅立葉變換，並根據所述參數估算模塊輸出的線性回歸參數估算出頻域殘餘回聲信號的殘餘 回聲估計模塊；用於將所述回聲消除模塊輸出的時域第一音頻信號的單幀映射為兩幀，並進 行共軛窗口平滑及傅立葉變換處理以轉換為頻域第一音頻信號的數據緩衝及傅立葉變換模 塊；用於將所述殘餘回聲估計模塊所估算出的頻域殘餘回聲信號及所述數據緩衝及傅立葉變 換模塊輸出的頻域第一音頻信號分別轉換為梅爾頻譜殘餘回聲信號及梅爾頻譜第一音頻信號 的梅爾正向濾波模塊；與所述梅爾正向濾波模塊相連接，用於判斷所述梅爾正向濾波模塊輸 出的梅爾頻譜第一音頻信號是否滿足預設條件，並根據是否滿足條件來估算所述回聲消除模 塊輸出的時域第一音頻信號中包含的噪音，並進而估算出當前幀的信噪比及當前幀的前一幀 的信噪比的噪音估計模塊；用於根據所述當前幀的信噪比及當前幀的前一幀的信噪比、採用 短時頻譜強度估計算法估算出第一音頻信號的頻譜強度，並根據所述頻譜強度調節所述梅爾 正向濾波模塊輸出的梅爾頻譜第一音頻信號以去除噪音的頻譜調節模塊；用於將經過頻譜調 節的所述梅爾頻譜第一音頻信號進行梅爾反向濾波及傅立葉逆變換以還原出時域音頻信號的 頻域時域轉換模塊。本發明的改善音頻通話質量的方法，包括步驟1)去除音頻採集裝置輸出的吋域第一音 頻信號的當前幀中的直流偏移幹擾信號；2)將去除了直流偏移幹擾信號的時域第一音頻信號 的當前幀以及音頻播放裝置播放的時域第二音頻信號的當前幀分別進行預加重處理以改善各 時域音頻信號的頻譜；3)存儲經過預加重處理的時域第二音頻信號；4)將經過預加重處理 的時域第一音頻信號及存儲的時域第二音頻信號分別進行快速傅立葉變換以得到各頻域音頻 信號，並根據當前幀的前一幀所獲得頻域錯誤信號參數和頻域學習速率參數修正頻域第二音 頻信號以使其與所述音頻採集裝置當前所釆集的回聲信號接近，其中，頻域錯誤信號參數和 頻域學習速率參數的初始值都為0: 5)將修正後得頻域第二音頻信號進行傅立葉逆變化以轉 換為修正後的是域第二音頻信號；6)將經過預加重處理的時域第一音頻信號與經過傅立葉逆 變換的修正後的時域第二音頻信號分別進行去加重處理；7)根據經過去加重處理的修正後的 吋域第二音頻信號將經過去加重處理的時域第一音頻信號中的回聲去除；8)根據修正後的吋 域第二音頻信號、修正後的頻域第二音頻信號及經過預加重處理的時域第一音頻信號計算當前幀的頻域錯誤信號參數和頻域學習速率參數以供後續時刻採用。較佳的，所述的改善音頻通話質量的方法還包括步驟(1)將所述音頻採集裝置採集的 時域第一音頻信號的當前幀與去除了回聲的時域第一音頻信號的差值進行漢寧窗口化及傅裡 葉變換，並根據所述線性回歸參數估算出頻域殘餘回聲信號；(2)去除了回聲的時域第一音 頻信號的單幀映射為兩幀，並進行共軛窗口平滑及傅立葉變換處理以轉換為頻域第一音頻信 號；(3)將估算出的頻域殘餘回聲信號及所述數據緩衝及經過共軛窗口平滑及傅立葉變換處 理獲得的頻域第一音頻信號分別轉換為梅爾頻譜殘餘回聲信號及梅爾頻譜第一音頻信號；(4) 判斷所述梅爾頻譜第一音頻信號是否滿足預設條件，並根據是否滿足條件來估算去除了回聲 的時域第一音頻信號中包含的噪音，並進而估算出當前幀的信噪比及當前幀的前一幀的信噪 比；(5)根據所述當前幀的信噪比及當前幀的前一時刻的信噪比、並採用短時頻譜強度估計 算法估算出第一音頻信號的頻譜強度，同時根據所述頻譜強度調節所述梅爾頻譜第一音頻信 號以去除噪音；(6)將經過頻譜調節的所述梅爾頻譜第一音頻信號進行梅爾反向濾波及傅裡 葉逆變換以還原出時域音頻信號。較佳的，可根據公式signal (m-l)=signal(m)- a*signal (m-1)對時域信號進行預加重處 理，其中，a為預設常數，signal (m)為採樣序號為m的待處理信號。較佳的，可根據公式^(") = /)(")-乞『(";Mroi-m)來修正所述第二音頻信號，其中，是修正後的頻域第二音頻信號，D(")是頻域第一音頻信號，Z(n)是頻域第二音頻信號，M是 長度值，w["]-w["] +然"0[w-lKE:[w-l] + xO[w]A[;m]， ss是頻域學習速率參數，￡1>]是頻 域錯誤信號參數，《表示當前時刻，m表示當前採樣點。= 0.7.ZJ .Z (" ["] + F2 [" +1]) + (￡2 M + ￡2 [m +1])較佳的，可根據公式 》=° "=Q 及enw-^n)-估算當前時刻的頻域錯誤信號參數和頻域學習速率參數，其中， ， Zi 是線性回歸參數，^R"，M)是頻域錯誤信號參數和頻域第二音頻信號的互相關係數，"("，附)是頻域第二音頻信號的自相關係數； (1 +妙>"，^是時域錯誤 信號參數和時域第二音頻信號的互相關係數，^是時域第二音頻信號的自相關係數，"時域錯誤信號參數的自相關係數，是時域錯誤信號參數；五["]是頻域錯誤信號參數；e;rw(") 是時域錯誤信號參數，t/^)是所述預加重模塊輸出的第一音頻信號；:K")是時域第二音頻信號。0.54-0.46cos("^") 0SWw-l較佳的，可採用公式 較佳的，可根據K,k Presidualww<i 進行漢寧窗口化處理cNtotal和及坤=Tmpl氺max(O, RPost) + Tmp2 *R oldPresidual / Ntotal估算當前時刻的信噪比及當前時刻的前一時刻的信噪比，其中， °st 為當前時刻的信噪比，Presidual為所述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號的當 前幀；Ntotal = Noise +res—echo, Ntotal是估算出的噪聲，Noise是殘餘噪音，res—echo 是所述梅爾正向濾波模塊輸出的梅爾頻譜殘餘回聲信號， Noise =(l一l/adaptedCount)氺noise + (1/ adaptedCount)木Power， adaptedCount是己處理過的中貞的數目，noise是前一幀的殘餘噪音，noise的初始值為0; 為當前時刻的前一時刻的信噪 比，Tmpl =0.1 + 0, 9*( oldPresidual /(oldPresidual + Ntotal))2, oldPresidual為所 述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號的當前幀的前一幀，Tmp2 = 1- Tmpl。"mmw 一一較佳的，可根據公式i Y及lformula see original document page 12闊,/o(昏)+呵昏)來估算頻 c和^來源於貝塞爾譜強度，其中，^m,是頻譜強度，函數的0階和1階。其中，預設條件為(Presidual [m—l]*0. 05+Presidual [m]*0. 1+Presidual [m+l]*0. 05) 〈=20、 Presidual [m] < Noise[m]、及adaptedCount 〈 10中的一者，其中，m是當前輸入 數據採樣點的序號。綜上所述，本發明的改善音頻通話質量的系統及方法通過對音頻採集裝置所採集的音頻 信號中的回聲的估計，可有效去除通話中的回聲，進而再通過對去除回聲的音頻信號的殘餘 回聲及噪音的估計，可有效去除音頻信號中的噪聲，大大改善通話質量。


圖1為現有基於自適應濾波器和雙工檢測的回聲消除系統的結構示意圖(圖2為本發明的改善音頻通話質量的系統的基本架構示意圖。圖3為本發明的改善音頻通話質量的系統輸入的包含回聲及噪聲的時域第一音頻信號示 意圖。圖4為本發明的改善音頻通話質量的系統輸入的時域第二音頻信號示意圖。 圖5為本發明的改善音頻通話質量的系統輸出的時域第一音頻信號示意圖。
具體實施方式
請參閱圖2，本發明的改善音頻通話質量的系統用於本地同時設置有音頻採集裝置及音頻 播放裝置的系統，其中，所述音頻採集裝置包括麥克風等，所述音頻播放裝置包括揚聲器等，所述改善音頻通話質量的系統至少包括去直流偏移模塊、預加重處理模塊、數據存儲模塊、 回聲估計模塊、傅立葉逆變換模塊、去加重處理模塊、回聲消除模塊、參數估算模塊、殘餘 回聲估計模塊、數據緩衝及傅立葉變換模塊、梅爾正向濾波模塊、噪音估計模塊、頻譜調節 模塊、及頻域時域轉換模塊。所述去直流偏移模塊用於去除所述音頻採集裝置輸出的時域第一音頻信號當前幀中的直流偏移幹擾信號，所述音頻採集裝置經過音效卡或AD/DC晶片採集的時域第一音頻信號包含通 話語音、回聲及噪聲信號，如圖3所示，通過所述去直流偏移模塊的處理可降低非線性信號 對系統的影響，從而提升後續各模塊的工作穩定性。所述預加重處理模塊用於將所述去直流偏移模塊輸出的時域第一音頻信號的當前幀以及 所述音頻播放裝置播放的時域第二音頻信號的當前幀分別進行預加重處理以改善各時域音頻 信號的頻譜，通過預加重信號處理，可使得處理後的信號形成在各個頻帶上能量相差不大的 頻譜，預加重處理算法公式可為signal(m-l)=signal(m)-a*signal(m-l)，其中，a為預加 重常係數，其值可取0.9587， m是當前待處理的信號幀的採樣序號，所述音頻播放裝置播放 的時域第二音頻信號如圖4所示。所述數據存儲模塊用於存儲所述預加重處理模塊輸出的時域第二音頻信號，在本實施例 中，其用於保存固定長度的最新的時域第二音頻信號，並不斷更新的環形緩衝，其長度可以 設定64ms-500ms。所述回聲估計模塊用於將所述預加重模塊輸出的時域第一音頻信號及所述數據存儲模塊 輸出的時域第二音頻信號分別進行快速傅立葉變換以得到各頻域音頻信號，並根據當前幀的 前一幀所獲得的頻域錯誤信號參數和頻域學習速率參數修正頻域第二音頻信號以使其與所述音頻採集裝置當前所採集的回聲信號接近，其中，頻域錯誤信號參數和頻域學習速率參數的 初始值都為0，在本實施例中，其根據公式y(w)-D(w)-^y(—X("-m)來修正所述第二音附=0頻信號，其中，y(")是修正後的頻域第二音頻信號，D(")是頻域第一音頻信號，義(")是頻域第二音頻信號，M^長度值，wM = w["] + SS"0[m —l]*￡[m —l] + x0[m]*￡[m]， SS是頻域學習速率參數，E[w]是頻域錯誤信號參數，"表示當前時刻，m表示當前採樣點，通常，w[n]也 被稱為權重值。所述傅立葉逆變換模塊用於將修正後的頻域第二音頻信號進行傅立葉逆變換以轉換為修 正後的時域第二音頻信號，即將信號進行時域頻域的轉換。所述去加重處理模塊用於將所述預加重處理模塊輸出的時域第一音頻信號及所述傅立葉 逆變換模塊輸出的修正後的時域第二音頻信號分別進行去加重處理以還原各音頻信號的頻 譜，即通過與預加重相反的計算方法去除加重信號，恢復正常的頻率分布，以便輸出和輸入 信號一致的波形數據，去預加重處理算法公式可為signal (m-1) =signal (m) + a*signal (m-1)， 其中，a為去預加重常係數，a=0.9587， m是當前待處理的信號採樣序號。所述回聲消除模塊用於根據所述去加重模塊輸出的時域第二音頻信號去除所述去加重模 塊輸出的時域第一音頻信號中的回聲信號，在本實施例中，即時域第一音頻信號與時域第二 音頻信號相減即去除了回聲信號。所述參數估算模塊用於根據所述傅立葉逆變換模塊輸出修正後的時域第二音頻信號、回 聲估計模塊輸出的修正後的頻域第二音頻信號及所述預加重模塊輸出的時域第一音頻信號計 算當前幀的頻域錯誤信號參數和頻域學習速率參數以供所述自適應濾波器模塊處理下一幀時formula see original document page 14採用，在本實施例中，其根據公式 "=Q "=Q及formula see original document page 14計算當前幀的頻域錯誤信號參數和頻域學習速率參數的模塊，其中，formula see original document page 14是線性回歸參數，ER"，^)是頻域錯誤信號參數和頻域第二音頻信號的互相關係數formula see original document page 14)是頻域第二音頻信號的自相關係數；ey是時域錯誤信號參數和時域第二音頻信號的互相關係數，^是時域第二音頻信號的自相關係數，"時域 錯誤信號參數的自相關係數，e〃^是時域錯誤信號參數五["]是頻域錯誤信號參數；^ror(w) 是時域錯誤信號參數，d(")是所述預加重模塊輸出的第一音頻信號；y(n)是時域第二音頻信號。此外，計算相關性係數的公式為r-S《(附)^(w)，《o)， A(m)是兩個時域或頻域信m-0號，M是採樣點個數。所述殘餘回聲估計模塊用於將所述音頻採集裝置當前採集的時域第一音頻信號與所述回 聲消除模塊輸出的時域第一音頻信號的差值進行漢寧窗口化及傅立葉變換，並根據所述參數 估算模塊輸出的線性回歸參數估算出頻域殘餘回聲信號，其中，可採用根據公式formula see original document page 15i進行漢寧窗口化處理。所述數據緩衝及傅立葉變換模塊用於將所述回聲消除模塊輸出的時域第一音頻信號的單 幀映射為兩幀，並進行共軛窗口平滑及傅立葉變換處理以轉換為頻域第一音頻信號。所述梅爾(MEL)正向濾波模塊用於將所述殘餘回聲估計模塊所估算出的頻域殘餘回聲信 號及所述數據緩衝及傅立葉變換模塊輸出的頻域第一音頻信號分別轉換為梅爾頻譜殘餘回聲 信號及梅爾頻譜第一音頻信號，也就是說，其是用於將輸入信號的能量頻譜和MEL濾波頻譜 之間做轉化，即將頻率按式變換至Mel標度域，變換公式如下melFrequency = 2595 * log(l + linearFrequency/700) 第k幀的短時信號功率譜通過耳蝸三角帶通濾波器組，得到濾波器功率譜輸出，Oy =2:&(/)",(/)，片1,2，3,…,JVA》是第k幀，第j個濾波器的輸出，^(/)是濾波器組中的第j個濾波器的傳輸函數,N 為濾波器的個數。MEL域濾波器組由給定數目的三角帶通濾波器組成，濾波器的中心頻率和帶 寬在
Hz範圍對應的Mel刻度頻率域上均勻排列，各個三角濾波器帶內，其對應線性/ -力—.頻率對應的權值由式formula see original document page 15 其它其中，,為第j個濾波器的中心頻率，4(/)為第J個濾波器的幅頻特性。所述噪音估計模塊與所述梅爾正向濾波模塊相連接，用於判斷所述梅爾正向濾波模塊輸出 的梅爾頻譜第一音頻信號是否滿足預設條件，並根據是否滿足條件來估算所述回聲消除模塊 輸出的時域第一音頻信號中包含的噪音，並進而估算出當前時刻的信噪比及當前時刻的前一 時刻的信噪比，即當滿足如下三個條件之一-1> (Presidual [m_l]*0. 05+ Presidual [m]*0.1+ Presidual [m+l]*0. 05) 〈= 202> Presidual [m] 〈 Noise[m]3> adaptedCount < 10，其中，m是當前輸入數據採樣點的序號 則估算出的噪音Ntotal = Noise + res—echo,其中，Noise是殘餘噪音，res—echo是所述梅 爾正向濾波模塊輸出的梅爾頻譜殘餘回聲信號，Noise = (l-l/adaptedCount)*noise + (1/ adaptedCount) *Power， adaptedCount是已處理過的幀的數目，noise是前一幀的殘餘噪音， noise的初始值為O， Power是將當前幀的能量頻譜值移位預設次數後所獲得的值；相應可按照Rp。st二 presidual / Ntotal和及一=Tmpl * max(0， rp°s') + Tmp2氺oldPresidual / Ntotal估算當前幀的信噪比及當前幀的前一幀的信噪比的模塊，其中，K一為當前幀的信噪比，Presidual為所述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號的當前幀；^"。為當前幀的 前一幀的信噪比，Tmpl = 0.1 + 0.9*( oldPresidual /(oldPresidual + Ntotal))2， oldPresidual為所述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號的當前幀的前一幀， Tmp2 = 1 - Tmpl 。所述頻譜調節模塊用於根據所述當前幀的信噪比及當前幀的前一幀的信噪比，並採用短 時頻譜強度估計算法(Minimum Mean-Square Error, MMSE)估算出第一音頻信號的頻譜強度， 同時根據所述頻譜強度調節所述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號以去除噪音，其可根據公式.丁11 + / 乂1 + R1 +來估算頻譜強度(崎/。(爭+呵爭/和71來源於貝塞爾的模塊，其中，^M目是頻譜強度，函數的o階和1階。所述頻域時域轉換模塊用於將經過頻譜調節的所述梅爾頻譜第一音頻信號進行梅爾反向濾波及傅立葉逆變換以還原出時域音頻信號，經過轉換後的時域音頻信號如圖5所示。本發明的改善音頻通話質量的方法主要包括以下步驟 第一步去除音頻採集裝置輸出的時域第一音頻信號當前幀中的直流偏移幹擾信號。 第二步將去除了直流偏移幹擾信號的時域第一音頻信號當前幀以及音頻播放裝置播放的時 域第二音頻信號的當前幀分別進行預加重處理以改善各時域音頻信號的頻譜，預加重處理採 用的算法如前所述。第三步存儲經過預加重處理的時域第二音頻信號，如此可供以後時刻採用。第四步將經過預加重處理的時域第一音頻信號及存儲的時域第二音頻信號分別進行快速傅立葉變換以得到各頻域音頻信號，並根據當前幀的前一幀所獲得頻域錯誤信號參數和頻域學習速率參數(ss)修正頻域第二音頻信號以使其與所述音頻採集裝置當前所採集的回聲信號接近，其中，頻域錯誤信號參數和頻域學習速率參數的初始值都為0,同樣，其採用的修正算 法也如前所述，故在此不再重述。第五步將修正後得頻域第二音頻信號進行傅立葉逆變化以轉換為修正後的是域第二音頻信 號。第六步將經過預加重處理的時域第一音頻信號與經過傅立葉逆變換的修正後的時域第二音 頻信號分別進行去加重處理，即預加重處理的逆過程，其採用signal (m-l)=signal(m) + a*signal (m_l)進行去加重處理。第七步根據經過去加重處理的修正後的時域第二音頻信號將經過去加重處理的時域第一音 頻信號中的回聲去除，即將經過去加重處理的時域第一音頻信號與修正後的時域第二音頻信 號相減。第八步根據修正後的時域第二音頻信號、修正後的頻域第二音頻信號及經過預加重處理的時域第一音頻信號計算當前幀的頻域錯誤信號參數和頻域學習速率參數以供處理下一幀時採w-1 w-iffl = 0.7.丄i .J] (y2 ["] + [ +1]) + 0.3." (￡2 ["] + ￡2 [" +1])用，即根據公式 "-Q)—w")估算當前幀的頻域錯誤信號參數和頻域學習速率參數。第九步將所述音頻採集裝置採集的時域第一音頻信號當前幀與去除了回聲的時域第一音頻信號的差值進行漢寧窗口化及傅立葉變換，並根據所述線性回歸參數估算出頻域殘餘回聲信 號，漢寧窗口化處理的公式如前所述。第十步將去除了回聲的時域第一音頻信號的單幀映射為兩幀，並進行共軛窗口平滑及傅裡 葉變換處理以轉換為頻域第一音頻信號。第十一歩將估算出的頻域殘餘回聲信號及所述數據緩衝及經過共軛窗口平滑及傅立葉變換 處理獲得的頻域第一音頻信號分別轉換為梅爾頻譜殘餘回聲信號及梅爾頻譜第一音頻信號， 即通過由心理學實驗得到了類似耳蝸作用的一組濾波器將各信號的能量頻譜轉化為MEL濾波 頻譜值，其轉換方法如前所述。第十二步判斷所述梅爾頻譜第一音頻信號是否滿足預設條件，並根據是否滿足條件來估算 去除了回聲的時域第一音頻信號中包含的噪音，並進而估算出當前幀的信噪比Kp。s'及當前幀的前一幀的信噪比^"。，所述預設條件包括3個即1、 (Presidual [m-l]*0.05+ Presidual [m]*0. 1+ Presidual [m+l]*0.05) <= 202、 Presidual [m] 〈 Noise[m]3、 adaptedCount < 10，其中，m是當前輸入數據採樣點的序號 只要其中一個條件成立，則估算出的噪音Ntotal等於殘佘噪音和所述梅爾正向濾波模塊輸出的梅爾頻譜殘餘回聲信號之和，進而可估算出Kp。a和^"。。第十三步根據所述當前幀的信噪比KpMt及當前幀的前一幀的信噪比Wp"。，並採用短時頻譜強度估計算法估算出第一音頻信號的頻譜強度^"^ ，同時根據所述頻譜強度調節所述梅爾頻 譜第一音頻信號以去除噪音。第十四步將經過頻譜調節的所述梅爾頻譜第一音頻信號進行梅爾反向濾波及傅立葉逆變換 以還原出時域音頻信號(如圖5所示)。綜上所述，本發明的改善音頻通話質量的系統及方法採用了無雙工檢測模塊的回聲消除， 並結合了基於匪SE的噪音消除，如此可將回聲消除的處理過程和噪音消除過程緊密結合起來，使得噪音消除不僅具備消除噪音的能力，同時還具備了消除殘餘回聲的能力，相比於現有技 術，本發明具備更優的消除性能和更小的信號失真。更詳細而言，本發明的優點在於-1、 獨特無雙工檢測模塊的參數估算，能自適應估算回聲，使回聲消除更加可靠和穩 定。2、 將回聲消除和噪聲消除有效結合，通過系統優化，可使硬體資源分配更為合理， 和現有的回聲噪聲消除系統相比，可節約大量數據內存空間，並明顯降低CPU的 運算量，由此可在低成本低功耗的嵌入式平臺上可以穩定運行。3、 具備500ms的殘餘回聲處理能力，具備比基於雙工檢測的回聲消除系統更高的性 噪比。4、支持採樣率不受限制，支持CD級別(22khz)的音頻信號輸入。
權利要求
1.一種改善音頻通話質量的系統，用於本地同時設置有音頻採集裝置及音頻播放裝置的系統，其特徵在於包括去直流偏移模塊，用於去除所述音頻採集裝置輸出的時域第一音頻信號的當前幀中的直流偏移幹擾信號；預加重處理模塊，用於將所述去直流偏移模塊輸出的時域第一音頻信號的當前幀以及所述音頻播放裝置的播放時域第二音頻信號的當前幀分別進行預加重處理以改善各時域音頻信號的頻譜；數據存儲模塊，用於存儲所述預加重處理模塊輸出的時域第二音頻信號；回聲估計模塊，用於將所述預加重模塊輸出的時域第一音頻信號及所述數據存儲模塊輸出的時域第二音頻信號分別進行快速傅立葉變換以得到各頻域音頻信號，並根據當前幀的前一幀所獲得的頻域錯誤信號參數和頻域學習速率參數修正頻域第二音頻信號以使其與所述音頻採集裝置當前所採集的回聲信號接近，其中，頻域錯誤信號參數和頻域學習速率參數的初始值都為0；傅立葉逆變換模塊，用於將修正後的頻域第二音頻信號進行傅立葉逆變換以轉換為修正後的時域第二音頻信號；去加重處理模塊，用於將所述預加重處理模塊輸出的時域第一音頻信號及所述傅立葉逆變換模塊輸出的修正後的時域第二音頻信號分別進行去加重處理以還原各音頻信號的頻譜；回聲消除模塊，用於根據所述去加重模塊輸出的時域第二音頻信號去除所述去加重模塊輸出的時域第一音頻信號中的回聲信號；參數估算模塊，用於根據所述傅立葉逆變換模塊輸出修正後的時域第二音頻信號、回聲估計模塊輸出的修正後的頻域第二音頻信號及所述預加重模塊輸出的時域第一音頻信號計算當前幀的頻域錯誤信號參數和頻域學習速率參數以供所述自適應濾波器模塊處理下一幀時採用。
2. 如權利要求1所述的改善音頻通話質量的系統，其特徵在於所述預加重模塊為根據 公式signal (m-l)=signal(ra)- a*signal (m-1)對時域信號進行預處理的模塊，其中， a為預設常數，signal (m)為採樣序號為m的待處理信號。
3. 如權利要求1所述的改善音頻通話質量的系統，其特徵在於所述回聲估計模塊為根M-l據公式= - J]『(">Z(" - m)來修正所述第二音頻信號的模塊，其中，是修正後的頻域第二音頻信號，"(")是頻域第一音頻信號，X(w)是頻域第二音頻信號， M是長度值，w[w] = w["] + SS.xO[w-l].￡[/ -l] + x0[m].￡[m]， SS是頻域學習速率參數，E[w]是頻域錯誤信號參數，w表示當前幀，m表示當前採樣點。
4. 如權利要求3所述的改善音頻通話質量的系統，其特徵在於所述參數估算模塊為根 據公式 formula see original document page 3及formula see original document page 3計算當前幀的頻域錯誤信號參數和頻域學習速率參數的模塊，其中， " ，Zi 是線性回歸參數，^^"，M)是頻域錯誤信號參數和頻域第二音頻信號的互相關係數，^"^是頻域第二音頻信號的自相關係數；(l + ^)'"， W是時域錯誤信號參數和時域第二音頻信號的互相關係數，^是時 域第二音頻信號的自相關係數，ee時域錯誤信號參數的自相關係數，e^7W是時域錯誤信號參數；五[w]是頻域錯誤信號參數；^roK")是時域錯誤信號參數，^")是所述預加重模塊輸出的第一音頻信號；y(")是時域第二音頻信號。
5. 如權利要求4所述的改善音頻通話質量的系統，其特徵在於還包括 殘餘回聲估計模塊，用於將所述音頻採集裝置採集的時域第一音頻信號的當前幀與所 述回聲消除模塊輸出的時域第一音頻信號的差值進行漢寧窗口化及傅立葉變換，並根 據所述參數估算模塊輸出的線性回歸參數估算出頻域殘餘回聲信號； 數據緩衝及傅立葉變換模塊，用於將所述回聲消除模塊輸出的時域第一音頻信號的單 幀映射為兩幀，並進行共軛窗口平滑及傅立葉變換處理以轉換為頻域第一音頻信號； 梅爾正向濾波模塊，用於將所述殘餘回聲估計模塊所估算出的頻域殘餘回聲信號及所 述數據緩衝及傅立葉變換模塊輸出的頻域第一音頻信號分別轉換為梅爾頻譜殘餘回 聲信號及梅爾頻譜第一音頻信號；噪音估計模塊，與所述梅爾正向濾波模塊相連接，用於判斷所述梅爾正向濾波模塊輸 出的梅爾頻譜第一音頻信號是否滿足預設條件，並根據是否滿足條件來估算所述回聲 消除模塊輸出的時域第一音頻信號中包含的噪音，並進而估算出當前幀的信噪比及當前幀的前一幀的信噪比；頻譜調節模塊，用於根據所述當前幀的信噪比及當前幀的前一幀的信噪比，並釆用短 時頻譜強度估計算法估算出第一音頻信號的頻譜強度，同^根據所述頻譜強度調節所 述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號以去除噪音；頻域時域轉換模塊，用於將經過頻譜調節的所述梅爾頻譜第一音頻信號進行梅爾反向 濾波及傅立葉逆變換以還原出時域音頻信號。
6.如權利要求5所述的改善音頻通話質量的系統，其特徵在於所述殘餘回聲估計模塊0.54-0.46cos(^ ") 0S衡-1為一根據公式'vv L 0 WW<1進行漢寧窗口化處理的模塊。
7. 如權利要求5所述的改善音頻通話質量的系統，其特徵在於所述噪音估計模塊為根據 p。a= Presidual / Ntotal和—=Tmpl * max(O, p。" + Tmp2 * oldPresidual/Ntotal估算當前幀的信噪比及當前幀的前一幀的信噪比的模塊，其中，K一為當 前時刻的信噪比；Presidual為所述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號 的當前幀；Ntotal = Noise+res_echo， Ntotal是估算出的噪聲，Noise是殘餘噪音， res一echo是所述梅爾正向濾波模塊輸出的梅爾頻譜殘餘回聲信號， Noise = (1—1/adaptedCount)氺noise + (1/ adaptedCount)氺Power， adaptedCount 是已處理過的幀的數目，noise是前一幀的殘餘噪音，Power是將當前幀的能量頻譜值移位預設次數後所獲得的值，noise的初始值為0; Ap"》為當前時刻的前一時刻的 信噪比， Tmpl =0.1+0.9* (oldPresidual/(oldPresidual + Ntotal) )2，oldPresidual為所述梅爾正向濾波模塊輸出的梅爾頻譜第一音頻信號的當前幀的前 一幀， Tmp2 = 1 - Tmpl。
8. 如權利要求7所述的改善音頻通話質量的系統，其特徵在於所述頻譜調節模塊為根據公式　11 + Rpost 乂1+及「1 + R/ 由1 + / 來估算頻譜強度的M(6 )=模塊，其中，^M,是頻譜強度， 貝塞爾函數的0階和1階。
9.一種改善音頻通話質量的方法，i特徵在於包括步驟(l +崎魯)+呵昏)c和^來源於41) 去除音頻採集裝置輸出的時域第一音頻信號的當前幀中的直流偏移幹擾信號；2) 將去除了直流偏移幹擾信號的時域第一音頻信號的當前幀以及音頻播放裝置播放 的時域第二音頻信號的當前幀分別進行預加重處理以改善各時域音頻信號的頻 譜；3) 存儲經過預加重處理的時域第二音頻信號；4) 將經過預加重處理的時域第一音頻信號及存儲的時域第二音頻信號分別進行快速 傅立葉變換以得到各頻域音頻信號，並根據當前幀的前一幀所獲得頻域錯誤信號 參數和頻域學習速率參數修正頻域第二音頻信號以使其與所述音頻採集裝置當前 所採集的回聲信號接近，其中，頻域錯誤信號參數和頻域學習速率參數的初始值 都為0;5) 將修正後得頻域第二音頻信號進行傅立葉逆變化以轉換為修正後的是域第二音頻 信號；6) 將經過預加重處理的時域第一音頻信號與經過傅立葉逆變換的修正後的時域第二 音頻信號分別進行去加重處理；7) 根據經過去加重處理的修正後的時域第二音頻信號將經過去加重處理的時域第一 音頻信號中的回聲去除；8) 根據修正後的時域第二音頻信號、修正後的頻域第二音頻信號及經過預加重處理 的時域第一音頻信號計算當前幀的頻域錯誤信號參數和頻域學習速率參數以供處 理後一幀時採用。
10. 如權利要求9所述的改善音頻通話質量的方法，其特徵在於步驟2)根據公式 signal (m-1)-signal (m)-a氺signal(m-l)對時域信號進行預加重處理，其中，a為預 設常數，signal (m)為採樣序號為n的待處理信號。
11. 如權利要求9所述的改善音頻通話質量的方法，其特徵在於步驟4)根據公式i;『(")j(n-w)來修正所述第二音頻信號，其中，y(")是修正後的頻域第二音頻信號，Z)(w)是頻域第一音頻信號，Z(n)是頻域第二音頻信號，M是長度 值，w["]-n("〗+ SS,xO[m-l].五[m-1] + x0[m]A[附]，SS是頻域學習速率參數，五[附]是頻域錯誤信號參數，w表示當前幀，m表示當前採樣點。
12. 如權利要求9所述的改善音頻通話質量的方法，其特徵在於步驟8)根據公式."=0= 0.7*ZJ *5] (72 ["] + 72 [" +1]) + (￡2 ["] + ￡2 [w +1])算當前幀的頻域錯誤信號參數和頻域學習速率參數，其中， " ，zi 是 線性回歸參數，^w"，w)是頻域錯誤信號參數和頻域第二音頻信號的互相關係數，1T("，w)是頻域第二音頻信號的自相關係數； (l + w)'"， ^是時域錯誤信號參數和時域第二音頻信號的互相關係數，^是時域第二音頻信號的自相關係數，"時 域錯誤信號參數的自相關係數，^"^是時域錯誤信號參數；￡[ ]是頻域錯誤信號參數；enw(w)是時域錯誤信號參數，d(M)是所述預加重模塊輸出的第一音頻信號；Kw)是時域第二音頻信號。 13.如權利要求12所述的改善音頻通話質量的方法，其特徵在於還包括步驟(1) 將所述音頻採集裝置採集的時域第一音頻信號的當前幀與去除了回聲的 時域第一音頻信號的差值進行漢寧窗口化及傅立葉變換，並根據所述線性 回歸參數估算出頻域殘餘回聲信號；(2) 將去除了回聲的時域第一音頻信號的單幀映射為兩幀，並進行共軛窗口平 滑及傅立葉變換處理以轉換為頻域第一音頻信號；(3) 將估算出的頻域殘餘回聲信號及所述數據緩衝及經過共軛窗口平滑及傅 裡葉變換處理獲得的頻域第一音頻信號分別轉換為梅爾頻譜殘餘回聲信 號及梅爾頻譜第一音頻信號；(4) 判斷所述梅爾頻譜第一音頻信號是否滿足預設條件，並根據是否滿足條件 來估算去除了回聲的時域第一音頻信號中包含的噪音，並進而估算出當前 幀的信噪比及當前幀的前一時刻的信噪比；(5) 根據所述當前幀的信噪比及當前幀的前一幀的信噪比，並採用短時頻譜強 度估計算法估算出第一音頻信號的頻譜強度，同時根據所述頻譜強度調節 所述梅爾頻譜第一音輝信號以去除噪音；(6) 將經過頻譜調節的所述梅爾頻譜第一音頻信號進行梅爾反向濾波及傅裡 葉逆變換以還原出時域音頻信號。航信息傳輸與共享給其他用戶，尤其在共享數據是多媒體數據時，可使終端上 的導航信息交互性能更加強大，提高了導航數據共享的實用性，促使導航功能 和多媒體業務緊密結合使用和壯大。不具備導航功能的移動終端依然能夠通過 共享的導航數據信息而達到實現導航功能的效果。請參照圖3所示，對於多士某體共享數據，由於終端的顯示解析度有高j氐之 分，如果將高解析度的圖片發送給低解析度的終端，該終端顯示圖片的效果會 有所影響；同樣高清的影像發送給低解析度的終端也會出現顯示效果受影響的 情形，這是因為終端只能向下兼容，而不能向上兼容導致的。為了綜合充分符 合大眾終端的通用使用數據，本實施例中還包括模式匹配單元4，連接在導航數 據生成單元1和多媒體數據生成單元22之間，用於在多媒體數據生成單元22 採集數據前進行顯示解析度的模式匹配，選擇合理的位圖顯示大小，使大眾都 能夠使用此多媒體文件，以使數據能有效交流與共享。如果不進行模式匹配， 對於高解析度的終端提取的數據過大，所生成的多^某體數據傳輸給對方終端時， 仍然無法有效顯示，失去共享的意義。再請參照圖4所示，本實施例中，多媒體數據生成單元22還包括合成單元 223,連接在採樣單元221和存儲單元222之間，用於將採樣單元221生成的視 頻數據與音頻數據合成為具有語音、圖像的多媒體數據。因此，實際應用中， 可根據不同場景和需要，選用共享單獨的圖片、音頻、視頻，也可以選擇共享 合成在一起的具有語音、圖像的多媒體數據，拓展了應用的便利性和多樣性。請結合圖5、圖6所示，本發明實施例三實現導航數據共享的方法，包括以 下步驟步驟一，根據導航設置或者實際路徑記錄生成導航數據。 移動終端的導航系統啟動後，用戶可在其電子地圖界面中設置行程起始地、 目的地，選擇路徑搜索條件，如系統推薦、高速道路優先、最短距離優先等， 還可選設置途經點、迴避路段等條件。導航單元根據上述設置，自動計算出一 條最佳的行車路線。導航數據生成單元1則根據導航單元查詢出的路線進行模
全文摘要
一種改善音頻通話質量的系統及方法，其先對音頻採集裝置輸出的時域第一音頻信號當前幀及音頻播放裝置播放的時域第二音頻信號當前幀分別進行預加重及傅立葉變換處理，再根據當前幀的前一幀所獲得頻域錯誤信號參數和頻域學習速率參數修正頻域第二音頻信號，由此再將第一音頻信號和第二音頻信號進行去加重處理並相減即可消除第一音頻信號中的回聲，同時再根據修正後的時域第二音頻信號、修正後的頻域第二音頻信號及經過預加重處理的時域第一音頻信號計算當前幀的頻域錯誤信號參數和頻域學習速率參數以供處理下一幀時採用，由此可有效去除通話中的回聲，此外，再通過對去除回聲的音頻信號的殘餘回聲及噪音的估計，可有效去除音頻信號中的噪聲，大大改善通話質量。
文檔編號H04M9/08GK101222555SQ200810033120
公開日2008年7月16日 申請日期2008年1月25日 優先權日2008年1月25日
發明者睿 劉, 劉曉露, 熊模昌 申請人:上海華平信息技術股份有限公司