語音降噪方法及其裝置製造方法
2023-05-05 05:28:36
語音降噪方法及其裝置製造方法
【專利摘要】本發明提供一種語音降噪方法及其裝置，該方法包括：根據語音激活判斷的結果計算出平滑因子，並根據平滑因子計算得出第一頻域語音信號的第一能量譜和互相關能量譜；根據第一能量譜和互相關能量譜計算得出互相關傳遞函數；根據噪聲補償因子、初步噪聲能量和第一能量譜計算得出初步頻域濾波器；根據初步頻域濾波器和第一頻域語音信號的幅度計算出平滑窗長度；初步頻域濾波器和平滑窗長度進行卷積得出頻域濾波器；第一頻域語音信號通過頻域濾波器濾波後輸出濾波後的第一頻域語音信號。以及實現上述降噪方法的語音降噪裝置。本發明語音降噪方法及其裝置具有噪聲跟蹤速度快、計算量少且能夠有效抑制環境噪聲等特點。
【專利說明】語音降噪方法及其裝置
【技術領域】
[0001]本發明涉及音頻信號處理【技術領域】，尤其涉及一種對語音信號進行降噪的方法及其裝置。
【背景技術】
[0002]隨著社會技術的發展，人們對聲音質量的要求越來越高，尤其是對語音通話質量的要求。要確保清晰、無噪聲和自然的高質量通話，語音降噪功能則是手機、平板電腦等通訊工具不可缺少的。以手機或平板電腦為例，目前市場上的產品一般都安裝了兩個麥克風，利用其中一個麥克風在安裝靠近人體發聲器官的位置上，該麥克風拾取人發出的語音信號外還拾取了環境噪聲，另外一個麥克風安裝在遠離人體發聲器官的位置上以撿拾環境噪聲，通過兩個麥克風拾取的聲音進行分析，並對人體發出的語音信號進行降噪處理，從而獲得過濾出高質量的語音信號。
[0003]目前，應用於手機或平板電腦的雙麥克風語音降噪方法中，降噪效果較好的一般均為計算量較大的，需要通過配備獨立降噪晶片來運行複雜的算法。而對於一些較為簡單的雙麥克風降噪方法，往往降噪效果不理想、殘留噪聲過大，或者該降噪方法對語音源方位有嚴格要求，使用方式不正確的話將會消去語音信號。
[0004]針對以上問題，本發明提出一種應用於手機終端的雙麥克風降噪算法，該算法噪聲跟蹤速度快，能有效的抑制環境噪聲，對於聲源方位有很好的魯棒性，而且算法複雜度低、計算量小。
【發明內容】
[0005]本發明的第一目的是提供一種噪聲跟蹤速度快、計算量少且能夠有效抑制環境噪聲的語音降噪方法。
[0006]本發明的第二目的是提供一種噪聲跟蹤速度快、計算量少且能夠有效抑制環境噪聲的語音降噪裝置。
[0007]為了實現本發明的第一目的，本發明提供一種語音降噪方法，包括:將第一麥克風接收的時域語音信號進行短時傅立葉變換後獲取第一頻域語音信號；將第二麥克風接收的時域語音信號進行短時傅立葉變換後獲取第二頻域語音信號；將第一頻域語音信號進行語音激活判斷；根據第一頻域語音信號計算得出初步噪聲能量，其中，根據語音激活判斷的結果和前一幀的頻域濾波器計算出平滑因子，並根據平滑因子計算得出第一頻域語音信號的第一能量譜，根據平滑因子計算得出第一頻域語音信號和第二頻域語音信號之間的互相關能量譜；根據第一能量譜、互相關能量譜和第一麥克風與第二麥克風之間的距離計算得出互相關傳遞函數；根據語音激活判斷的結果和互相關傳遞函數計算出噪聲補償因子；根據噪聲補償因子、初步噪聲能量和第一能量譜計算得出初步頻域濾波器；根據初步頻域濾波器和第一頻域語音信號的幅度計算出平滑窗長度；初步頻域濾波器和平滑窗長度進行卷積得出頻域濾波器；第一頻域語音信號通過頻域濾波器濾波後輸出濾波後的第一頻域語音信號；將濾波後的第一頻域語音信號進行短時傅立葉逆變換後輸出濾波後的第一時域語音信號。
[0008]由上述方案可見，根據語音激活判斷的不同結果，對初步噪聲能量進行計算並在濾波器中進行動態補償，同時再根據兩個麥克風之間的互相關傳遞函數，對語音信號或環境噪聲進行採樣並在濾波器進行過濾，使得本發明語音降噪方法具有跟蹤速度快、計算量少且能夠有效抑制環境噪聲等特點。
[0009]更進一步的方案是，語音激活判斷步驟包括:根據當前幀的第一頻域語音信號的幅度和初步噪聲能量計算出當前幀的信噪比後，如果前一幀的第一頻域語音信號為語音信號時，且判斷當前幀的信噪比大於預設的信噪比閥值時，將當前幀的第一頻域語音信號判斷為語音信號，如果前一幀的第一頻域語音信號為噪聲信號時，且判斷當前幀的信噪比大於預設的信噪比閥值且前一幀的信噪比大於預設的信噪比閥值時，將當前幀的第一頻域語音信號判斷為語音信號，反之將當前幀的第一頻域語音信號判斷為噪聲信號。
[0010]更進一步的方案是，根據當前幀的第一頻域語音信號的幅度和初步噪聲能量計算出當前幀的信噪比後，判斷當前幀在第一幀到第二十幀之間時，將當前幀的第一頻域語音信號判斷為語音信號。
[0011]更進一步的方案是，如果前一幀的第一頻域語音信號為語音信號時，判斷當前幀的信噪比小於或等於預設的信噪比閥值時，判斷在前十九幀的信噪比中大於預設的信噪比閥值的信噪比數量為三個以上時，將當前幀的第一頻域語音信號判斷為語音信號，反之將當前幀的第一頻域語音信號判斷為噪聲信號。
[0012]更進一步的方案是，平滑因子包括第一平滑因子和第二平滑因子，根據語音激活判斷的結果和前一幀的初步頻域濾波器計算出平滑因子步驟包括:如當前幀的第一頻域語音信號為語音信號時，根據第一平滑因子計算得出第一頻域語音信號的第一能量譜和第一頻域語音信號和第二頻域語音信號之間的互相關能量譜，如當前幀的第一頻域語音信號為噪聲信號時，根據第二平滑因子計算得出第一頻域語音信號的第一能量譜和第一頻域語音信號和第二頻域語音信號之間的互相關能量譜。
[0013]由上可見，根據語音激活判斷的結果，分別對語音幀或噪聲則採用不同的平滑因子進行能量譜和互相關能量譜的計算，使得平滑因子在濾波器中進行動態補償的作用，其具有響應時間短、計算量少等特點。
[0014]為了實現本發明的第二目的，本發明提供一種語音降噪裝置，包括:用於接收時域語音信號並輸出第一頻域語音信號的第一短時傅立葉變換單元、用於接收時域語音信號並輸出第二頻域語音信號的第二短時傅立葉變換單元、用於判斷第一頻域語音信號為語音信號或噪聲信號的語音激活判斷單元、用於根據第一頻域語音信號的幅度計算初步噪聲能量的初步噪聲能量計算單元，其中，語音降噪裝置還包括能量計算單元，能量計算單元包括能量譜計算模塊、互相關能量譜計算模塊和平滑因子計算模塊，平滑因子計算模塊向能量譜計算模塊和互相關能量譜計算模塊輸出平滑因子係數，能量譜計算模塊根據平滑因子係數和第一頻域語音信號計算得出第一能量譜，互相關能量譜計算模塊根據平滑因子係數、第一頻域語音信號和第二頻域語音信號計算得出互相關能量譜；互相關傳遞計算單元，用於根據第一能量譜、互相關能量譜和第一麥克風與第二麥克風之間的距離計算得出互相關傳遞函數；初步頻域濾波器計算單元，用於根據語音激活判斷單元輸出的信號和互相關傳遞函數計算單元輸出的信號計算出噪聲補償因子，並根據噪聲補償因子、初步噪聲能量和第一能量譜計算得出初步頻域濾波器；修正單元，根據初步頻域濾波器和第一頻域語音信號的幅度計算出平滑窗長度；頻域濾波器計算單元，由初步頻域濾波器和平滑窗長度進行卷積得出頻域濾波器，頻域濾波器計算單元用於接收第一頻域語音信號；短時傅立葉逆變換單元，用於接收頻域濾波器計算單元輸出的濾波後的第一頻域語音信號，並向外輸出濾波後的第一時域語音信號。
[0015]由上述方案可見，根據語音激活判斷單元輸出不同的判斷結果，對噪聲補償因子進行計算，並在濾波器中進行動態補償，同時在根據兩個麥克風之間的互相關傳遞函數，對語音信號或環境噪聲進行採樣並在濾波器進行過濾，使得本發明語音降噪方法具有噪聲跟蹤速度快、計算量少且能夠有效抑制環境噪聲等特點。
【專利附圖】
【附圖說明】
[0016]圖1是本發明語音降噪方法實施例的流程圖。
[0017]圖2是本發明語音降噪方法實施例中語音激活判斷的流程圖。
[0018]圖3是本發明語音降噪裝置的系統框圖。
[0019]以下結合附圖及實施例對本發明作進一步說明。
【具體實施方式】
[0020]語音降噪方法實施例:
參照圖1，圖1是本發明語音降噪的流程圖。在本實施例通過兩個麥克風拾取聲音信號，通過本發明語音降噪方法對拾取的聲音信號進行降噪。
[0021]本發明的具體降噪方法如下:首先執行步驟S1，將兩個麥克風拾取的時域語音信號進行短時傅立葉變換，從而變換成頻域的語音信號。具體是，第一麥克風將拾取的時域語音信號進行短時傅立葉變換，以獲得第一頻域語音信號，第二麥克風將拾取的時域語音信號進行短時傅立葉變換，以獲得第二頻域語音信號。本實施例採用的短時傅立葉變換的窗函數均採用漢明窗，相鄰幀之間的重疊範圍為75%。
[0022]然後執行步驟S2，根據第一頻域語音信號進行語音激活判斷。由於麥克風接收到的語音信號不僅具有人體發出的聲音信號，還具有環境的噪聲，而語音激活判斷的目的是能夠正確地區分當前聲音信號為包含了環境噪聲的語音信號還是只含有環境噪聲的信號。
[0023]參照圖2，圖2是本發明語音激活判斷步驟S2的流程圖。首先對第一頻域語音信號執行步驟S21，即根據當前幀第一頻域語音信號和前一幀初步噪聲能量計算當前幀的信噪比，其信噪比計算公式如下:
其中，在式1.1中SNR (η)為當前幀的信噪比，NFFT為傅立葉變換係數，f為頻域係數，η為時間幀係數，XI為第一頻域語音信號的幅度，Ν為初步噪聲能量。
[0024]然後執行步驟S22，判斷η是否大於20，如否，則執行步驟S23，即將當前幀的第一頻域語音信號判斷為語音信號。由於判斷當前幀為語音幀，所以將當前幀vad_flag(n)設置為 1，即 vad_flag(n)=l。[0025]當η > 20時，則執行步驟S24，判斷前一幀，即η_1幀的語音信號是否為語音幀，即判斷vad_flag(n_l)是否等於1。
[0026]當vad_flag(n-l)=l時，則執行步驟S25，即判斷當前幀的信噪比SNR(n)是否大於預設信噪比閥值SNR_THR，如是，則執行步驟S251，將當前幀語音信號判斷為語音幀，即vad_flag (η) =1,如否則執行步驟S26。
[0027]噹噹前幀的信噪比SNR (η)是否小於或等於預設信噪比閥值SNR_THR時，執行步驟S26，即判斷在前十九幀的信噪比中大於預設信噪比閥值的信噪比數量為三個以上時，則執行步驟S261，將前幀語音信號判斷為語音幀即vad_f lag (η) =1，否則，執行步驟S262將前幀語音信號判斷噪聲幀即vad_flag(n)=0。
[0028]步驟S24中，如判斷vad_flag(n_l) 1時，則執行步驟S27,判斷當前幀信噪比大於預設信噪比閥值的同時前一幀信噪比大於預設信噪比閥值時，將執行步驟S271，即將前幀語音信號判斷為語音幀即vad_flag(n)=l，否則執行步驟S272，即將前幀語音信號判斷為噪聲幀即vad_flag(n)=0。
[0029]以此完成語音激活判斷步驟S2，通過當前幀信噪比的計算和與預設信噪比閥值的比較，將輸入的當前幀語音信號正確地區分當前語音信號為語音幀還是噪聲幀。
[0030]步驟S2執行完畢後將執行步驟S3，即根據上述語音激活判斷步驟S2不同的判斷結果和前一幀的初步頻域濾波器計算相應的平滑因子λ，平滑因子λ的計算公式如下:λ (n, f)=0.98-0.2XG(n-l, f) , vad_flag(n) =0 (式 1.2)λ (n, f)=0.90-0.15XG(n_l, f) , vad_flag (n) =1 (式 1.3)
其中，式1.2和式1.3中的G(n-1，f)前一幀的初步頻域濾波器。
[0031]然後根據當前幀語音信號的判斷結果選擇不同的平滑因子λ來計算第一頻域語音信號的能量譜和第二頻域語音信號的能量譜，即執行步驟S4，第一頻域語音信號的能量譜的計算公式如下:
Pxixi (n, f) = λ (η, f)ΡΧ1Χ1 (η-1, f) + (1- λ (η, f))X! (η, f)X! (η, f)* (式 1.4)Ρχ2χ2 (η, f) = λ (η, f)ΡΧ2Χ2 (η-1, f) + (1- λ (η, f))Χ2 (η, f)Χ2 (η, f)* (式 1.5)
其中，式1.4中的ΡΧ1Χ1表示第一頻域語音信號的第一能量譜，Xjn，f)表示第一頻域語音信號的幅度，X^n, fT表示第一頻域語音信號幅度求共軛。式1.5中的ΡΧ2Χ2表示第二頻域語音信號的第二能量譜，X2(n, f)表示第二頻域語音信號的幅度，X2(n, fT表示第二頻域語音信號幅度求共軛。
[0032]隨後執行步驟S5，根據當前幀語音信號的判斷結果選擇不同的平滑因子λ來計算第一頻域語音信號和第二頻域語音信號之間的互相關能量譜，互相關能量譜的計算公式如下:
Ρχιχ2 (n, f) = λ (η, f)ΡΧ1Χ2 (η-1, f) + (1- λ (η, f))X! (η, f)Χ2 (η, f)* (式 1.6)
其中，式1.6中的ΡΧ1Χ2表示第一頻域語音信號和第二頻域語音信號之間的互相關能量譜，X^n, f)表示第一頻域語音信號的幅度，X2(n, fT表示第二頻域語音信號幅度求共軛。
[0033]從式1.4、式1.5和式1.6中可見，如果當前幀語音信號為語音幀即vad_flag (η) =1時，則將採用式1.3中的λ (n, f)來計算第一能量譜、第二能量譜和互相關能量譜。
[0034]如果當前幀語音信號為噪聲幀即vad_flag(n)=0時，則將採用式1.2中的λ (n, f)來計算第一能量譜、第二能量譜和互相關能量譜。
[0035]可見，通過對拾取的語音信號對其進行判斷，根據其不同的結果採用相應的能量計算，並且還對前一幀的初步頻域濾波器進行採樣，使得對語音信號的能量譜跟蹤較快、計算量少且具有良好動態調節效果。
[0036]然後執行步驟S6，根據第一頻域語音信號幅度進行初步噪聲能量的計算。其中，步驟S6包括:首先根據第一頻域語音信號計算先驗信噪比，先驗信噪比的計算公式如下:
【權利要求】
1.語音降噪方法，包括將第一麥克風接收的時域語音信號進行短時傅立葉變換後獲取第一頻域語音信號；將第二麥克風接收的時域語音信號進行短時傅立葉變換後獲取第二頻域語音信號；將所述第一頻域語音信號進行語音激活判斷；根據所述第一頻域語音信號計算得出初步噪聲能量；其特徵在於:根據所述語音激活判斷的結果和前一幀的初步頻域濾波器計算出平滑因子，並根據所述平滑因子計算得出 所述第一頻域語音信號的第一能量譜，根據所述平滑因子計算得出所述第一頻域語音信號和所述第二頻域語音信號之間的互相關能量譜；根據所述第一能量譜、所述互相關能量譜和所述第一麥克風與所述第二麥克風之間的距離計算得出互相關傳遞函數；根據所述語音激活判斷的結果和所述互相關傳遞函數計算出噪聲補償因子；根據所述噪聲補償因子、所述初步噪聲能量和所述第一能量譜計算得出初步頻域濾波器；根據所述初步頻域濾波器和所述第一頻域語音信號的幅度計算出平滑窗長度；所述初步頻域濾波器和所述平滑窗長度進行卷積得出頻域濾波器；所述第一頻域語音信號通過所述頻域濾波器濾波後輸出濾波後的第一頻域語音信號;將濾波後的第一頻域語音信號進行短時傅立葉逆變換後輸出濾波後的第一時域語音信號。
2.根據權利要求1所述的語音降噪方法，其特徵在於:所述語音激活判斷步驟包括:根據當前幀的第一頻域語音信號的幅度和前一幀的初步噪聲能量計算出當前幀的信噪比後，如果前一幀的第一頻域語音信號為語音信號時，且判斷所述當前幀的信噪比大於預設的信噪比閥值時，將當前幀的第一頻域語音信號設置為語音幀；如果前一幀的第一頻域語音信號為噪聲幀時，且判斷所述當前幀的信噪比大於預設的信噪比閥值且前一幀的信噪比大於預設的信噪比閥值時，將當前幀的第一頻域語音信號設置為語音幀，反之，將當前幀的第一頻域語音信號設置為噪聲幀。
3.根據權利要求2所述的語音降噪方法，其特徵在於:根據當前幀的第一頻域語音信號的幅度和所述初步噪聲能量計算出當前幀的信噪比後，判斷當前幀在第一幀到第二十幀之間時，將所述當前幀的第一頻域語音信號判斷為語音幀。
4.根據權利要求3所述的語音降噪方法，其特徵在於:如果所述前一幀的第一頻域語音信號為語音幀時，判斷所述當前幀的信噪比小於或等於預設的信噪比閥值時，判斷在前十九幀的信噪比中大於所述預設的信噪比閥值的信噪比數量為三個以上時，將所述當前幀的第一頻域語音信號設置為語音幀，反之，將所述當前幀的第一頻域語音信號判斷為噪聲幀。
5.根據權利要求4所述的語音降噪方法，其特徵在於:所述平滑因子包括第一平滑因子和第二平滑因子，根據所述語音激活判斷的結果和前一幀的初步頻域濾波器計算出平滑因子步驟包括:如果所述當前幀的第一頻域語音信號為語音幀時，根據所述第一平滑因子計算得出所述第一頻域語音信號的第一能量譜，根據所述第一平滑因子計算得出所述第一頻域語音信號和所述第二頻域語音信號之間的互相關能量譜；如果所述當前幀的第一頻域語音信號為噪聲幀時，根據所述第二平滑因子計算得出所述第一頻域語音信號的第一能量譜，根據所述第二平滑因子計算得出所述第一頻域語音信號和所述第二頻域語音信號之間的互相關能量譜。
6.語音降噪裝置，包括第一短時傅立葉變換單元，用於接收時域語音信號並輸出第一頻域語音信號；第二短時傅立葉變換單元，用於接收時域語音信號並輸出第二頻域語音信號； 語音激活判斷單元，用於判斷所述第一頻域語音信號為語音信號或噪聲信號；初步噪聲能量計算單元，用於根據所述第一頻域語音信號的幅度計算初步噪聲能量；其特徵在於:所述語音降噪裝置還包括能量計算單元，所述能量計算單元包括能量譜計算模塊、互相關能量譜計算模塊和平滑因子計算模塊，所述平滑因子計算模塊向所述能量譜計算模塊和所述互相關能量譜計算模塊輸出平滑因子係數，所述能量譜計算模塊根據所述平滑因子係數和所述第一頻域語音信號計算得出第一能量譜，所述互相關能量譜計算模塊根據所述平滑因子係數、所述第一頻域語音信號和所述第二頻域語音信號計算得出互相關能量譜；互相關傳遞函數計算單元，用於根據所述第一能量譜、所述互相關能量譜和所述第一麥克風與所述第二麥克風之間的距離計算得出互相關傳遞函數；初步頻域濾波器計算單元，用於根據所述語音激活判斷單元輸出的信號和所述互相關傳遞函數計算單元輸出的信號計算出噪聲補償因子，並根據所述噪聲補償因子、所述初步噪聲能量和所述第一能量譜計算得出初步頻域濾波器；修正單元，根據所述初步頻域濾波器和所述第一頻域語音信號的幅度計算出平滑窗長度；頻域濾波器計算單元，由所述初步頻域濾波器和所述平滑窗長度進行卷積得出頻域濾波器，所述頻域濾波器計算單元用於接收所述第一頻域語音信號；短時傅立葉逆變換單元，用於接收所述頻域濾波器計算單元輸出的濾波後的第一頻域語音信號，並向外輸出濾波後的第一時域語音信號。
7.根據權利要求6所述的語音降噪裝置，其特徵在於:所述語音激活判斷單元還用於:根據當前幀的第一頻域語音信號的幅度和前一幀的初步噪聲能量計算出當前幀的信噪比後，如果前一幀的第一頻域語音信號為語音信號時，且判斷所述當前幀的信噪比大於預設的信噪比閥值時，將當前幀的第一頻域語音信號設置為語音幀；如果前一幀的第一頻域語音信號為噪聲幀時，且判斷所述當前幀的信噪比大於預設的信噪比閥值且前一幀的信噪比大於預設的信噪比閥值時，將當前幀的第一頻域語音信號設置為語音幀，反之，將當前幀的第一頻域語音信號設置為噪聲幀。
8.根據權利要求7所述的語音降噪裝置，其特徵在於:所述語音激活判斷單元還用於:在根據當前幀的第一頻域語音信號的幅度和前一幀的初步噪聲能量計算出當前幀的信噪比後，判斷當前幀在第一幀到第二十幀之間時，將所述當前幀的第一頻域語音信號判斷為語音幀。
9.根據權利要求8所述的語音降噪裝置，其特徵在於:所述語音激活判斷單元還用於:如果所述前一幀的第一頻域語音信號為語音幀時，判斷所述當前幀的信噪比小於或等於預設的信噪比閥值時，判斷在前十九幀的信噪比中大於所述預設的信噪比閥值的信噪比數量為三個以上時，將所述當前幀的第一頻域語音信號設置為語音幀，反之，將所述當前幀的第一頻域語音信號判斷為噪聲幀。
10.根據權利要求9所述的語音降噪裝置，其特徵在於:所述平滑因子係數包括第一平滑因子係數和第二平滑因子係數，所述語音激活判斷單元還用於:如果所述當前幀的第一頻域語音信號為語音幀時，根據所述第一平滑因子係數計算得出所述第一頻域語音信號的第一能量譜，根據所述第一平滑因子係數計算得出所述第一頻域語音信號和所述第二頻域語音信號之間的互相關能量譜；如果所述當前幀的第一頻域語音信號為噪聲幀時，根據所述第二平滑因子係數計算得出所述第一頻域語音信號的第一能量譜，根據所述第二平滑因子係數計算得出所述第一頻域語音信號和所述第二頻域語音信號之間的互相關能量譜。
【文檔編號】G10L21/0232GK103700375SQ201310743950
【公開日】2014年4月2日 申請日期:2013年12月28日 優先權日:2013年12月28日
【發明者】吳東海, 張林山 申請人:珠海全志科技股份有限公司