噪聲去除裝置以及噪聲去除程序的製作方法
2023-09-19 06:54:40 2
專利名稱：噪聲去除裝置以及噪聲去除程序的製作方法
技術領域：
本發明涉及使用多個麥克風來去除噪聲的噪聲去除裝置以及噪聲去除程序。
背景技術：
以往，在聲音識別以及免持(hand free)通話中，存在由於在聲音上重疊噪聲，而識別性能以及清晰性降低這樣的問題。作為解決這樣的問題的技術，提出了各種噪聲去除方法，作為一個方法，有使用了多個麥克風的噪聲去除手段。一般，通過使用多個麥克風，與使用了 1個麥克風的情況相比，可以提高噪聲抑制效果。作為使用了多個麥克風的噪聲去除方法，已知對多個麥克風的輸入的功率差以及時間差進行比較，去除目的音以外的分量的方法(例如，參照專利文獻1)。在該方法中，通過針對多個麥克風的輸出信號進行頻率分析並按照頻帶對各通道的功率差或者時間差進行比較，從各通道選擇目的音源的分量而抑制了不需要的分量。專利文獻1 日本專利第3435357號在專利文獻1記載的方法中，存在如下課題對麥克風的輸出信號彼此進行直接比較，所以根據所設置的麥克風的特性、設置方向、以及設置間隔，目的音和幹擾音的功率差或者時間差變小而噪聲去除能力降低。本發明是為了解決上述課題而完成的，其目的在於，針對多個麥克風的輸出信號通過信號處理來控制指向性，對強調了的目的音和目的音被抑制了的幹擾音進行比較，從而使功率差變得明確而提高噪聲去除能力。另外，通過信號處理來控制指向性，即使在目的音方向變化那樣的情況下也無需改變麥克風設置位置而可以進行噪聲去除。另外，使用噪音的統計量來去除幹擾音，即使在選擇為目的音的頻帶上重疊了噪音的情況下也可以去除噪音。
發明內容
本發明提供一種噪聲去除裝置，其特徵在於，具備指向性控制部，根據多個麥克風的輸出信號，計算通過信號處理使指向性朝向了目的音方向的主波束信號和使死角朝向了目的音方向的副波束信號；頻率分析部，對由所述指向性控制部計算出的所述主波束信號和所述副波束信號分別進行頻率分析，計算所述主波束信號以及所述副波束信號的譜; 音源判別部，根據由所述頻率分析部計算出的所述主波束信號和所述副波束信號的譜判別音源的種類而作為音源判別結果輸出，並且計算相對主波束信號的噪音的統計量；以及幹擾音去除部，使用由所述頻率分析部計算出的所述副波束信號的譜、以及從所述音源判別部輸入的所述音源判別結果以及所述噪音的統計量，從該主波束信號的譜去除幹擾音。根據本發明，在噪聲去除裝置中，通過信號處理來控制指向性，計算主波束信號以及副波束信號，從而可以對強調了的目的音和目的音被抑制了的幹擾音進行比較，其結果， 可以使功率差變得明確而提高噪聲去除能力。另外，即使在目的音方向變化那樣的情況下也無需改變麥克風設置位置而可以進行噪聲去除。另外，通過使用噪音的統計量來去除幹擾音，即使在選擇為目的音的頻帶上重疊了噪音的情況下也可以去除噪音。本發明提供一種噪聲去除程序，其特徵在於，使計算機作為如下單元發揮功能指向性控制部，根據多個麥克風的輸出信號，通過信號處理計算使指向性朝向了目的音方向的主波束信號和使死角朝向了目的音方向的副波束信號；頻率分析部，對由所述指向性控制部計算出的所述主波束信號和所述副波束信號分別進行頻率分析，計算所述主波束信號以及所述副波束信號的譜；音源判別部，根據由所述頻率分析部計算出的所述主波束信號和所述副波束信號的譜判別音源的種類而作為音源判別結果輸出，並且計算相對主波束信號的噪音的統計量；以及幹擾音去除部，使用由所述頻率分析部計算出的所述副波束信號的譜、以及從所述音源判別部輸入的所述音源判別結果以及所述噪音的統計量，從該主波束信號的譜去除幹擾音。根據本發明，噪聲去除程序通過信號處理來控制指向性並且計算主波束信號以及副波束信號，從而可以對強調了的目的音和目的音被抑制了的幹擾音進行比較，其結果，可以使功率差變得明確而提高噪聲去除能力。另外，即使在目的音方向變化那樣的情況下也無需改變麥克風設置位置而可以進行噪聲去除。另外，通過使用噪音的統計量來去除幹擾音，即使在選擇為目的音的頻帶上重疊了噪音的情況下也可以去除噪音。
圖1是示出本發明的實施方式1的噪聲去除裝置1的結構的框圖。圖2是示出本發明的實施方式1的噪聲去除裝置1中的音源判別部30的內部結構的框圖。圖3是示出本發明的實施方式1的噪聲去除裝置1中的幹擾音去除部50的內部結構的框圖。圖4是示出本發明的實施方式1的噪聲去除裝置1的指向性控制部10以及頻率分析部20的動作的流程圖。圖5A是示出本發明的實施方式1的噪聲去除裝置1的音源判別部30的動作的流程圖。圖5B是示出本發明的實施方式1的噪聲去除裝置1的音源判別部30的動作的流程圖的繼續。圖6是示出本發明的實施方式1的噪聲去除裝置1的幹擾音去除部50的動作的流程圖。圖7是示出本發明的實施方式2的噪聲去除裝置1的結構的框圖。圖8是示出本發明的實施方式2的噪聲去除裝置1的目的音方向通知部60、指向性控制部10以及頻率分析部20的動作的流程圖。圖9是示出本發明的實施方式3的噪聲去除裝置1的結構的框圖。圖10是示出本發明的實施方式3的噪聲去除裝置1的語言通知部80以及幹擾音去除部50的動作的流程圖。圖11是示出本發明的實施方式4的噪聲去除裝置1的幹擾音去除部50的內部結構的框圖。圖12A是示出本發明的實施方式4的噪聲去除裝置1的幹擾音去除部50的動作的流程圖。圖12B是示出本發明的實施方式4的噪聲去除裝置1的幹擾音去除部50的動作的流程圖的繼續。
具體實施例方式以下，為了更詳細說明本發明，根據
具體實施方式
。實施方式1.圖1是示出本發明的實施方式1的噪聲去除裝置1的結構的框圖。在圖中，噪聲去除裝置1是計算從多個麥克風2、3的輸出信號去除了噪聲的信號的裝置，具備指向性控制部10、頻率分析部20、音源判別部30、噪音譜存儲器40、幹擾音去除部50。另外，在實施方式1中作為多個麥克風的一個例子使用麥克風2、3，但也可以使用任意的個數。指向性控制部10是針對多個麥克風2、3的輸出信號通過信號處理來控制指向性的部件，輸出使指向性朝向了目的音方向的主波束信號和使死角朝向了目的音方向的副波束信號。頻率分析部20是針對指向性控制部10輸出的主波束信號和副波束信號進行 FFT (Fast Fourier Transform，快速傅立葉變換)等頻率分析的部件，將主波束信號的譜和副波束信號的譜分別輸出到音源判別部30以及幹擾音去除部50。音源判別部30是根據主波束信號和副波束信號的譜來判斷音源是聲音、還是非穩定噪音、還是穩定噪音的部件，將音源判別結果輸出到幹擾音去除部50，並且將主波束信號的譜輸出到噪音譜存儲器40。噪音譜存儲器40存儲相對從音源判別部30輸出的主波束信號的噪音的統計量， 並且將噪音的統計量即平均譜輸出到幹擾音去除部50。幹擾音去除部50是使用從音源判別部30輸出的音源判別結果、從頻率分析部20 輸出的副波束信號的譜、以及從噪音譜存儲器40輸出的噪音的平均譜，從自頻率分析部20 輸出的主波束信號的譜中去除幹擾音(噪聲)的部件，生成去除了噪聲的主波束信號的譜。另外，圖2是示出實施方式1的噪聲去除裝置1中的音源判別部30的內部結構的框圖。在圖中，音源判別部30具備頻帶限制部31、差分功率計算部32、噪音統計量計算部 33、SNR(信噪比)推測部34、判別部35。頻帶限制部31是針對主波束信號和副波束信號的譜進行頻帶限制的部件，將進行了頻帶限制的主波束信號和副波束信號的頻帶限制功率輸出到差分功率計算部32。差分功率計算部32是根據主波束信號和副波束信號的頻帶限制功率計算主波束信號和副波束信號的差分功率的部件，將所計算出的差分功率輸出到判別部35。噪音統計量計算部33是根據從頻帶限制部31輸出的主波束信號的譜計算噪音的統計量的部件，將所計算出的噪音的統計量和主波束信號的譜輸出到SNR推測部34，並且將噪音的統計量輸出到噪音譜存儲器40。SNR推測部34是根據從噪音統計量計算部33輸出的主波束信號的譜和噪音的統計量推測當前的SNR的部件，將所推測出的SNR輸出到判別部35。判別部35是根據從差分功率計算部32輸出的差分功率和從SNR推測部34輸出的推測SNR，判別來自麥克風2、3的當前的輸入是聲音還是穩定噪音還是非穩定噪音的部件，將判定的結果作為音源判別結果而輸出到幹擾音去除部50。另外，圖3是示出實施方式1的噪聲去除裝置1中的幹擾音去除部50的內部結構的框圖。在圖中，幹擾音去除部50具備按頻帶功率抑制部51、穩定噪音去除部52。按頻帶功率抑制部51是針對從頻率分析部20輸出的主波束信號和副波束信號的譜比較每個頻帶的功率，在滿足抑制條件的情況下抑制主波束信號的譜的相應的頻帶的功率的部件，將抑制後的主波束信號的譜(抑制譜)輸出到穩定噪音去除部52。穩定噪音去除部52是從按頻帶功率抑制部51輸出的抑制後的主波束信號譜，減去噪音譜存儲器40中存儲的噪音的統計量即平均譜的部件，輸出平均譜減法計算後的主波束信號的譜(抑制減法譜)。另外，此處，在噪聲去除裝置1的結構要素中，指向性控制部10、頻率分析部20、音源判別部30、噪音譜存儲器40、幹擾音去除部50、頻帶限制部31、差分功率計算部32、噪音統計量計算部33、SNR推測部34、判別部35、按頻帶功率抑制部51、穩定噪音去除部52被說明為分別通過專用的電路構成為硬體，但在噪聲去除裝置1由計算機構成的情況下，也可以將記述有指向性控制部10、頻率分析部20、音源判別部30、噪音譜存儲器40、幹擾音去除部50、頻帶限制部31、差分功率計算部32、噪音統計量計算部33、SNR推測部34、判別部35、 按頻帶功率抑制部51、穩定噪音去除部52的處理內容的程序儲存到計算機的存儲器中，計算機的CPU執行該存儲器中儲存的程序。接下來，說明噪聲去除裝置1的動作。圖4是示出噪聲去除裝置1的指向性控制部10以及頻率分析部20的動作的流程圖。首先，如果輸入了多個麥克風的輸出信號^(n) (m = 1、2、· ·、M)，則指向性控制部10根據下式(1)計算主波束信號Y1(Ii)(步驟ST101)。 在式(1)中，hlm(n)表示針對麥克風m(在圖1中麥克風2、3)的輸出信號的主波束的濾波係數、*表示卷積運算。指向性控制部10事先學習濾波係數hlm(η)，以保持針對目的音方向的靈敏度，並且抑制目的音方向的靈敏度。在學習中可以使用作為適應濾波器的學習方法而公知的NLMS法等。另外，指向性控制部10根據下式(2)計算副波束信號y2(n)(步驟ST102)。在式 (2)中，Iian(Ii)是針對麥克風m的輸出信號的副波束的濾波係數。指向性控制部10事先學習濾波係數Ii2m(η)，以抑制針對目的音方向的靈敏度，並且保持其他方向的靈敏度。另外， 在上述說明中以在步驟STlOl之後進行步驟ST102的順序進行了說明，但也可以並行地處理步驟STlOl和步驟ST102。
M( ) = J^hlm (n) *xm(n)( 1 )
msl
M^2W= Z^rwW+ xM( 2 )
m=l接下來，頻率分析部20在對主波束信號yi (η)的幀t中的L採樣的輸入 (L(t-l) ^ η ^ Lt)應用了漢明窗(Hamming Window)等窗函數之後，進行FFT等頻率分析， 計算主波束信號的幀t的譜Plt(f)(步驟ST103)。f是頻率的頻帶編號。另外，頻率分析部20在對副波束信號y2 (η)的幀t中的L採樣的輸入 (L(t-l) ^ η ^ Lt)應用了漢明窗等窗函數之後，進行FFT等頻率分析，計算副波束信號的幀t的譜P2t (f) (ST104)。另外，在上述說明中以在步驟ST103之後進行步驟ST104的順序進行了說明，但也可以並行地處理步驟ST103和步驟ST104。以上是噪聲去除裝置1的指向性控制部10以及頻率分析部20的動作例。接下來，說明音源判別部30的動作。圖5A以及圖5B是示出噪聲去除裝置1的音源判別部30的動作的流程圖。首先，頻帶限制部31根據主波束信號的幀t的譜Plt (f)，依照下式(3)計算幀t的主波束信號的頻帶限制功率POWlt (步驟ST105)。在式(3)中，Ffflin 是頻帶限制的下限頻率、Ffflax是上限頻率。另外，頻帶限制部31根據副波束信號的幀t的功率譜P2t(f)，依照下式(4)計算幀t的副波束信號的頻帶限制功率POW2t (步驟ST106)。
權利要求
1.一種噪聲去除裝置，具備指向性控制部，根據多個麥克風的輸出信號，計算通過信號處理使指向性朝向了目的音方向的主波束信號和使死角朝向了目的音方向的副波束信號；頻率分析部，對由所述指向性控制部計算出的所述主波束信號和所述副波束信號分別進行頻率分析，計算所述主波束信號以及所述副波束信號的譜；音源判別部，根據由所述頻率分析部計算出的所述主波束信號和所述副波束信號的譜判別音源的種類而作為音源判別結果輸出，並且計算相對主波束信號的噪音的統計量；以及幹擾音去除部，使用由所述頻率分析部計算出的所述副波束信號的譜、以及從所述音源判別部輸入的所述音源判別結果以及所述噪音的統計量，從該主波束信號的譜去除幹擾音。
2.根據權利要求1所述的噪聲去除裝置，其特徵在於，具備濾波係數存儲器，與目的音方向對應地存儲用於控制主波束信號以及副波束信號的指向性的濾波係數；以及目的音方向通知部，取得目的音方向的信息，並對指向性控制部通知該信息， 所述指向性控制部從所述濾波係數存儲器選擇與從所述目的音方向通知部通知的所述目的音方向對應的濾波係數，使用該濾波係數，根據多個麥克風的輸出信號計算主波束信號和副波束信號。
3.根據權利要求1所述的噪聲去除裝置，其特徵在於，具備語言通知部，該語言通知部取得多個麥克風的輸出信號中包含的成為處理對象的聲音的語言類別的信息，並對幹擾音去除部通知該語言類別的信息，所述幹擾音去除部根據從所述語言通知部通知的所述語言類別判斷是否需要幹擾音去除處理。
4.根據權利要求1所述的噪聲去除裝置，其特徵在於， 音源判別部具備頻帶限制部，對主波束信號和副波束信號的譜進行頻帶限制； 差分功率計算部，根據由所述頻帶限制部限制了頻帶的所述主波束信號和所述副波束信號的譜計算差分功率；噪音統計量計算部，根據所述主波束信號的譜計算噪音的統計量； SNR推測部，根據所述主波束信號的譜和所述噪音的統計量，推測當前的信噪比；以及判別部，根據由所述差分功率計算部計算出的所述差分功率和由所述SNR推測部推測出的所述信噪比，判別麥克風的當前的輸出信號是聲音、穩定噪音、還是非穩定噪音，作為音源判別結果而輸出。
5.根據權利要求1所述的噪聲去除裝置，其特徵在於， 幹擾音去除部具備按頻帶功率抑制部，針對主波束信號和副波束信號的譜，比較每個頻帶的功率，在滿足規定的抑制條件的情況下，抑制該主波束信號的相應的頻帶的功率；以及穩定噪音去除部，從由所述按頻帶功率抑制部抑制了的所述主波束信號的抑制譜，減去噪音的統計量。
6.根據權利要求5所述的噪聲去除裝置，其特徵在於， 幹擾音去除部具備譜保存存儲器，將由穩定噪音去除部進行了減法計算後的主波束信號的抑制減法譜存儲一定時間；置換可否判別部，根據從音源判別部輸入的音源判別結果，判別是否將所述譜保存存儲器中存儲的一定時間前的抑制減法譜置換為基於噪音的統計量的譜；以及譜輸出部，在由所述置換可否判別部判別為可置換的情況下，輸出基於所述噪音的統計量的譜，在由所述置換可否判別部判別為不可置換的情況下，輸出所述譜保存存儲器中存儲的一定時間前的所述抑制減法譜。
7.—種噪聲去除程序，其特徵在於，使計算機作為如下單元發揮功能指向性控制部，根據多個麥克風的輸出信號，計算通過信號處理使指向性朝向了目的音方向的主波束信號和使死角朝向了目的音方向的副波束信號；頻率分析部，對由所述指向性控制部計算出的所述主波束信號和所述副波束信號分別進行頻率分析，計算所述主波束信號以及所述副波束信號的譜；音源判別部，根據由所述頻率分析部計算出的所述主波束信號和所述副波束信號的譜判別音源的種類而作為音源判別結果輸出，並且計算相對主波束信號的噪音的統計量；以及幹擾音去除部，使用由所述頻率分析部計算出的所述副波束信號的譜、以及由所述音源判別部輸出的所述音源判別結果以及所述噪音的統計量，從該主波束信號的譜去除幹擾音°
全文摘要
指向性控制部(10)根據多個麥克風(2、3)的輸出信號，計算通過信號處理使指向性朝向了目的音方向的主波束信號和使死角朝向了目的音方向的副波束信號，頻率分析部(20)變換為譜。音源判別部(30)根據主波束信號和副波束信號的譜判別音源是聲音、穩定噪音、還是非穩定噪音，作為音源判別結果輸出，並且計算相對主波束信號的噪音的統計量即平均譜。幹擾音去除部(50)從主波束信號的譜減去平均譜而去除幹擾音。
文檔編號G10L21/02GK102227768SQ20098014718
公開日2011年10月26日 申請日期2009年1月6日 優先權日2009年1月6日
發明者成田知宏 申請人:三菱電機株式會社