聲音混合裝置及其雜音抑制方法、以及程序的製作方法

2023-07-18 23:47:51 4

專利名稱：聲音混合裝置及其雜音抑制方法、以及程序的製作方法
技術領域：
本發明涉及聲音混合裝置及其雜音抑制方法、以及程序，尤其涉及在多地點會議中，抑制重疊在聲音中的雜音的技術。
背景技術：
在多地點會議服務中，各參加者的聲音數據被發送到多地點會議伺服器。多地點會議伺服器向各參加者發送混合了除自己以外的全體參加者的聲音信號的聲音信號。圖4表示出多地點會議的聲音混合裝置的典型結構的例子(參照專利文獻1、2等)。在圖4中，將參加會議的人數設定為M(M為2以上的正整數)人，分別從聲音輸入端子501、502、……50M輸入第l、2、……M號說話者的聲音信號。所輸入的各個聲音信號再被輸入到全加法器520以及各個加法器531、532、……53M中。全加法器520將已把所有被輸入的聲音信號加起來的聲音信號輸出到加法器531、532、……53M中。加法器531、532、……53M從由全加法器520輸入的聲音信號中減去分別被輸入的聲音信號，並將已減去分別被輸入的聲音信號的聲音信號分別輸出到聲音輸出端子571、572、……57M中。若使用這樣的聲音混合裝置，則可以混合併收聽除自己以外的人的聲音信號。 然而，在多地點會議伺服器中，特別是在如參加者使用便攜電話終端那樣的情況下，背景雜音常被重疊到聲音信號中。在這樣的便攜電話終端等中，雜音抑制處理是有效的。作為雜音抑制處理，例如，下面所述的方法是已知的對輸入聲音進行通過傅立葉變換等實現的頻率區域分析後，推斷重疊著的雜音，然後從輸入聲音中減去雜音成分。(例如，參照非專利文獻1)。 專利文獻1 :日本特開2005-269347號公報
專利文獻2 :日本特開平10-75310號公報 非 專 禾U 文 獻1 :Yamato Kazuhiro， Sugiyama Akihiko， Kato Masanori，"Post-Processing Noise Suppressor with Adaptive Gain-Flooring forCell-PhoneHandsets and IC Recorders ， ，， Internat ional Conference onConsumerElectronics(ICCE)， 2007， pp. 1-2. 上述的專利文獻1和2以及非專利文獻1的公開內容作為引用內容被引入本說明書中。下面，給出本發明的相關技術的分析。

發明內容
以下分析在本發明中被提供。 在多地點會議服務中，特別是在如參加者使用移動終端那樣的情況下，背景雜音常被重疊到聲音信號中。因此，對於接收到的各參加者的聲音信號，優選實施雜音抑制處理後再進行聲音混合。在雜音抑制處理中，根據所保留的過去的信息來進行背景雜音的推斷
4和平滑化處理。 在傳統的多地點會議中，由於構成為對所有參加者的聲音進行雜音抑制處理，因此，存在有對雜音抑制處理的運算量隨著參加者的增加而增大的問題。作為解決該問題的方法，可考慮如下所述的方法檢測正在發聲的說話者，只混合檢測出的說話者的聲音信號，由此減少了要執行的雜音抑制處理的數量。 但是，如果將雜音抑制處理使用於該方法中，則會有如下所述的擔憂在變更說話者時，因與雜音抑制處理中所保留的過去的抑制雜音的信息之間產生不一致而產生異常噪 本發明的一個方面(側面)的技術方案的聲音混合裝置是混合多個聲音信號的聲音混合裝置，其具備說話者選擇設備，其選擇多個聲音信號中的至少一個聲音信號；全信號加法設備，其將在說話者選擇設備中所選擇的至少一個聲音信號全部加起來；各減法設備，其從全信號加法設備的加法計算結果中只減去被選擇的一個聲音信號；共用雜音抑制設備，其抑制作為全信號加法設備的加法計算結果的共用聲音信號的雜音；個別雜音抑制設備，其分別抑制作為減法設備的減法計算結果的個別聲音信號的雜音；存儲切換設備，其根據說話者選擇設備的選擇結果，來將在共用雜音抑制設備中得到的抑制雜音的信息，複製到個別雜音抑制設備中的抑制雜音的信息中。 在本發明的聲音混合裝置中，可以設置成如下所述的樣子還具備聲音數據切換
設備，該聲音數據切換設備根據說話者選擇設備的選擇結果來切換並輸出由共用雜音抑制
設備以及個別雜音抑制設備中的任一設備獲得的已抑制雜音的聲音信號。 在本發明的聲音混合裝置中，可以設置成如下所述的樣子還具備前置雜音抑制
設備，該前置雜音抑制設備可以選擇是否對多個聲音信號的各個聲音信號抑制雜音。 在本發明的聲音混合裝置中，可以設置成如下所述的樣子說話者選擇設備根據
該聲音信號的功率來選擇至少一個聲音信號。 在本發明的聲音混合裝置中，可以設置成如下所述的樣子說話者選擇設備根據該聲音信號有聲或無聲來選擇至少一個聲音信號。 在本發明的多地點會議系統中，可以具備上述的聲音混合裝置。 本發明的其它方面(側面)的技術方案的雜音抑制方法是混合多個聲音信號的聲音混合裝置的雜音抑制方法，該方法包括第一步驟，其選擇多個聲音信號中的至少一個聲音信號；第二步驟，其將在第一步驟中所選擇的至少一個聲音信號全部加起來；第三步驟，其從第二步驟的加法計算結果中只減去被選擇的一個聲音信號；第四步驟，其抑制作為第二步驟的加法計算結果的共用聲音信號的雜音；第五步驟，其抑制作為第三步驟的減法計算結果的個別聲音信號的雜音；第六步驟，其根據第一步驟的選擇結果，來將在第四步驟中獲得的抑制雜音的信息，複製到第五步驟中的抑制雜音的信息中。 在本發明的雜音抑制方法中，可以設置成如下所述的樣子還包括第七步驟，在該第七步驟中，根據第一步驟的選擇結果來切換並輸出在第四步驟以及第五步驟中的任一步驟中獲得的已抑制雜音的聲音信號。 在本發明的雜音抑制方法中，可以設置成如下所述的樣子還包括第八步驟，在該
第八步驟中，選擇是否在第一步驟之前對多個聲音信號的各個聲音信號抑制雜音。
在本發明的雜音抑制方法中，可以設置成如下所述的樣子在第一步驟中，根據該
5聲音信號的功率來選擇至少一個聲音信號。 在本發明的雜音抑制方法中，可以設置成如下所述的樣子在第一步驟中，根據該聲音信號有聲或無聲來選擇至少一個聲音信號。 本發明的又一方面(側面)的技術方案的程序使構成混合多個聲音信號的聲音混合裝置的計算機執行下列步驟第一步驟，其選擇多個聲音信號中的至少一個聲音信號；第二步驟，其將在第一步驟中所選擇的至少一個聲音信號全部加起來；第三步驟，其從第二步驟的加法計算結果中只減去被選擇的一個聲音信號；第四步驟，其抑制作為第二步驟的加法計算結果的共用聲音信號的雜音；第五步驟，其抑制作為第三步驟的減法計算結果的個別聲音信號的雜音；第六步驟，其根據第一步驟的選擇結果，來將在第四步驟中獲得的抑制雜音的信息，複製到第五步驟中的抑制雜音的信息中。 在本發明的程序中，可以進一步執行第七步驟，其根據第一步驟的選擇結果來切換並輸出在第四步驟以及第五步驟中的任一步驟中獲得的已抑制雜音的聲音信號。
在本發明的程序中，可以進一步執行第八步驟，其選擇是否在第一步驟之前對多個聲音信號的各個聲音信號抑制雜音。 在本發明的程序中，可以在第一步驟中，根據該聲音信號的功率來選擇至少一個
聲音信號。 在本發明的程序中，可以在第一步驟中，根據該聲音信號有聲或無聲來選擇至少一個聲音信號。 根據本發明，與說話者切換時相配合地切換雜音抑制設備的時候，將切換後的抑制雜音的信息設置為與切換前的抑制雜音的信息相同，因此，可以減少異常噪音的產生。


圖1是表示本發明實施例1的聲音混合裝置的結構的圖。
圖2是表示本發明實施例1的聲音混合裝置的動作的流程圖
圖3是表示本發明實施例2的聲音混合裝置的結構的圖。
圖4是表示現有的聲音混合裝置的結構的圖。
符號說明101、102、 '…-10M聲音輸入端子111、112、……-llM功率計算部121、122、……-12M聲音信號輸入切換器131、132、…13M加法器141、142、…'…14M、191、192、 ......19M雜音抑制部151、152、 ''…15M存儲切換器161、162、 ''…16M聲音數據切換器171、172、..'…-17M聲音輸出端子181、182、 ''…18M雜音抑制切換器200說話者選擇部
300全信號加法器
400共用雜音抑制部
具體實施例方式
本發明的實施方式的聲音混合裝置由M個功率計算部、說話者選擇部、M個聲音信號輸入切換器、全信號加法器、共用雜音抑制部、M個加法器、M個雜音抑制部、M個存儲切換器和M個輸出聲音數據切換器構成，並執行包括多地點會議的雜音抑制處理的聲音混合動作。 功率計算部分別對M人份的輸入聲音信號計算功率，並輸出到說話者選擇部。說話者選擇部根據被輸入的各說話者的功率來選擇正在發聲的說話者。然後，所有被選擇的說話者的輸入聲音信號通過全信號加法器混合，混合的聲音信號被輸入到共用雜音抑制部中。 共用雜音抑制部輸出已抑制包含於被輸入的聲音信號中的雜音的聲音信號。另一方面，通過加法器從混合聲音中減去了被選擇的各說話者的聲音信號的聲音信號被輸入到雜音抑制部中。雜音抑制部輸出已抑制包含於被輸入的聲音信號中的雜音的聲音信號。存儲切換器根據說話者選擇部的選擇結果，將共用雜音抑制部的過去的信息複製到雜音抑制部中。輸出聲音數據切換器根據說話者選擇部的選擇結果來進行輸出的聲音信號的切換。
根據上述的聲音混合裝置，在與說話者切換時相配合地切換雜音抑制設備的時候，將切換後的雜音抑制設備所具有的與過去的背景雜音相關的信息，設置成與切換前的雜音抑制設備所具有的信息相同。因此，可以防止異常噪音的產生，該異常噪音的產生是由於伴隨切換而引起了雜音的變化。這樣的裝置適用於多地點會議系統或者多地點會議伺服器中。 下面，參照附圖就實施例進行詳細的說明。
實施例1 圖1是表示本發明的實施例1的聲音混合裝置的結構的框圖。在圖1中，多地點會議系統具備聲音輸入端子101、 102、……10M、功率計算部111、 112、……11M、說話者選擇部200、聲音信號輸入切換器121、122、……12M、全信號加法器300、加法器131、132、……13M、共用雜音抑制部400、雜音抑制部(個別雜音抑制部)141、142、……14M、存儲切換器
151、152、 ......15M、聲音數據切換器161、162、 ......16M和聲音輸出端子171、 172、......
17M。 功率計算部111 、 112 、11M分別計算由聲音輸入端子101 、 102 、10M輸入的
聲音信號的功率，然後輸出到說話者選擇部200中，其中所述聲音輸入端子101、102、……IOM分別與說話者1、說話者2、……以及說話者M相對應。關於功率P的計算，例如，對於8kHz的採樣的輸入聲音信號s(n)，每隔20毫秒(160樣品)使用下面的式子(1)來計算。
1丄_1 ,
" — S (")式子(1) 在這裡，L二160。 說話者選擇部200利用已被計算的各個說話者的功率來選擇與正在發聲的說話者相對應的聲音信號，並將選擇結果，即是否已選擇，分別輸出到聲音信號輸入切換器121、122、……12M、存儲切換器151、152、……15M以及聲音數據切換器161、 162、……16M中。
在這裡，作為正在發聲的說話者的選擇方法，具有選擇聲音信號的功率按大小順序排在前面的N(l《N < M)名說話者的方法，以及選擇功率超過預先決定的閾值的聲音 信號的方法，其中N為預先決定的。另外，下述的方法也被考慮不是直接利用被輸入的功 率，而是保存以前輸入的功率，在某一時間利用進行漏洩積分(leaky integrator)而得到 的值。另外，也可以根據聲音信號有聲或無聲來選擇聲音信號。 聲音信號輸入切換器121、122、……12M根據說話者選擇部200的選擇結果，來對 是否輸出各個輸入聲音信號進行切換。由說話者選擇部200所選擇的聲音信號被分別輸出 到所對應的加法器131、 132、……13M中，並且向全信號加法器300輸出。
全信號加法器300將在說話者選擇部200中被選擇的說話者的聲音信號全部加起 來，並輸出到加法器131、 132、……13M以及共用雜音抑制部400中。 加法器131、132、……13M從由全信號加法器300輸出的聲音信號中分別減去被 選擇的說話者自身的聲音信號，然後輸出。即加法器131、132、……13M只對與在說話者選 擇部200中被選擇的說話者相對應的聲音信號，從由全信號加法器300輸入的聲音信號中 分別減去由聲音信號輸入切換器121、122、……12M輸出的聲音信號，並分別輸出到雜音抑 制部141、142、 ......14M中。 共用雜音抑制部400抑制重疊於由全信號加法器300輸出的聲音信號中的雜音， 並輸出到聲音數據切換器161、162、……16M中。 雜音抑制部141、 142、 14M分別抑制重疊於由加法器131、 132、 13M輸出
的聲音信號中的雜音。即雜音抑制部141、142、……14M只在分別由加法器131、132、…… 13M輸入聲音信號的情況下，抑制重疊於這些聲音信號中的雜音，並分別輸出到聲音數據切 換器161、 162、 ......16M中。 存儲切換器151、 152、……15M根據說話者選擇部200的選擇結果，將共用雜音抑 制部400所具有的作為抑制雜音的信息的信息分別複製到雜音抑制部141、142、……14M 中。即，存儲切換器151、 152、……15M只在從沒有被說話者選擇部200選擇為發聲的說話 者的狀態過渡到被選擇的狀態的情況下，將共用雜音抑制部400所具有的過去的信息分別 輸出到雜音抑制部141、142、……14M中。 聲音數據切換器161、 162、……16M根據說話者選擇部200的選擇結果，分別進行 輸出的聲音數據的切換，並分別從聲音輸出端子171、172、……17M輸出。S卩，在說話者選 擇部200中作為發聲的說話者而被選擇的情況下，聲音數據切換器161、 162、……16M分別 輸出由雜音抑制部141、142、……14M輸入的聲音信號，在說話者選擇部200中沒有被選擇 為發聲的說話者的情況下，則輸出由共用雜音抑制部400輸入的聲音信號。
圖2是表示本發明實施例1的聲音混合裝置的動作的流程圖。
在步驟S1中，功率計算部111、112、……IIM計算與各個說話者相對應的聲音信 號的功率。 在步驟S2中，說話者選擇部200根據各功率來選擇與正在發聲的說話者(一人或 多人)相對應的聲音信號。 在步驟S3中，聲音信號輸入切換器121、122、……12M根據說話者選擇結果，對是 否輸出各個說話者的聲音信號進行切換。 在步驟S4中，全信號加法器300將所有被選擇的說話者(一人或多人)的聲音信 號加起來，並輸出加法計算結果。
在步驟S5中，加法器131、132、……13M分別從全加法計算結果中減去被選擇的 各說話者的聲音信號，並輸出減法計算結果。 在步驟S6中，共用雜音抑制部400抑制全加法計算結果的雜音。 在步驟S7中，雜音抑制部141、142、 14M分別抑制加法器131、 132、 13M
的輸出結果的雜音。 在步驟S8中，存儲切換器151、 152、……15M分別根據各說話者的選擇結果，將共
用雜音抑制部400的結果分別複製到雜音抑制部141、142、……14M中。 在步驟S9中，聲音數據切換器161、 162、……16M分別根據各說話者的說話者選
擇結果，來切換並輸出雜音抑制部141、142、……14M或共用雜音抑制部400所輸出的聲音數據。 另外，在步驟S1、S2中，也可以根據聲音信號有聲或無聲來選擇聲音信號。 另外，也可以混合被另外指定的說話者的聲音信號。 再者，還可以使構成上述的混合多個聲音信號的聲音混合裝置的 計算機執行程序來實現聲音混合裝置。 實施例2 圖3是表示本發明的實施例2的聲音混合裝置的結構的框圖。在圖3中，相對於 圖1的聲音混合裝置，增加了雜音抑制切換器181、182、……18M、雜音抑制部(前置雜音 抑制部)191、192、 ......19M。 下面，為了把說明簡略化，而只說明與實施例1的不同點。 雜音抑制切換器181、182、……18M對是將分別由聲音輸入端子101、102、…… IOM輸入的聲音信號，分別輸出到雜音抑制部191、192、……19M中或分別輸出到功率計算 部111、H2、……11M以及聲音信號輸入切換器121、122、……12M中，進行切換。關於該 切換，例如，在參加者所使用的終端為便攜電話終端的時候，由於考慮到背景雜音重疊，因 此在將輸入信號輸入到雜音抑制部的情況下，對每個參加者獨立地進行設定。具體地說， 可以是如下面所述的那樣的方法若電話號碼的前3位數字是表示便攜電話終端的090或 080，則判斷為便攜電話終端。或者，也可以考慮將由說話者選擇部200所選擇的說話者的 輸入信號輸入到雜音抑制部的方法。 雜音抑制部191、192、……19M只在聲音信號被輸入的情況下，抑制被輸入的聲音 信號的雜音，並將已抑制雜音的聲音信號分別輸出到功率計算部111、112、……11M、以及 聲音信號輸入切換器121、122、……12M中。 之後的動作由於與實施例1中所說明的內容相同，所以省略說明。 根據本實施例，因為在混合前就抑制了被輸入的聲音信號的雜音，因此可以進一
步提高減少雜音的效果。 上述記載雖然是以實施例為基礎的，但本發明並不限定於上述實施例。
在本發明的全部的公開內容(包括權利要求)的範圍內，可以根據本發明的基本 技術思想，進一步地變更/調整實施方式或實施例。另外，在本發明的權利要求的範圍內， 可以對各種公開要素進行多樣的組合/置換或選擇。 根據包含權利要求的本發明的全部公開內容，也可以清楚地了解本發明的進一步 的課題/目的以及展開方式。
9
權利要求
一種聲音混合裝置，其混合多個聲音信號，其特徵在於，具備說話者選擇設備，其選擇所述多個聲音信號中的至少一個聲音信號；全信號加法設備，其將在所述說話者選擇設備中所選擇的至少一個聲音信號全部加起來；各減法設備，其從所述全信號加法設備的加法計算結果中只減去所述被選擇的一個聲音信號；共用雜音抑制設備，其抑制作為所述全信號加法設備的加法計算結果的共用聲音信號的雜音；個別雜音抑制設備，其分別抑制作為所述減法設備的減法計算結果的個別聲音信號的雜音；存儲切換設備，其根據所述說話者選擇設備的選擇結果，來將在所述共用雜音抑制設備中得到的抑制雜音的信息，複製到所述個別雜音抑制設備中的抑制雜音的信息中。
2. 根據權利要求1所述的聲音混合裝置，其特徵在於，還具備聲音數據切換設備，該聲音數據切換設備根據所述說話者選擇設備的選擇結果，來切換並輸出由所述共用雜音抑制設備以及所述個別雜音抑制設備中的任一設備獲得的已抑制雜音的聲音信號。
3. 根據權利要求1或2所述的聲音混合裝置，其特徵在於，還具備前置雜音抑制設備，該前置雜音抑制設備可以選擇是否對所述多個聲音信號的各個聲音信號抑制雜音。
4. 根據權利要求1至3中任一項所述的聲音混合裝置，其特徵在於，所述說話者選擇設備根據聲音信號的功率來選擇至少一個所述聲音信號。
5. 根據權利要求1至4中任一項所述的聲音混合裝置，其特徵在於，所述說話者選擇設備根據聲音信號有聲或無聲來選擇所述至少一個聲音信號。
6. —種多地點會議系統，其具備權利要求1至5中任一項所述的聲音混合裝置。
7. —種雜音抑制方法，其是混合多個聲音信號的聲音混合裝置的雜音抑制方法，其特徵在於，包括第一步驟，其選擇所述多個聲音信號中的至少一個聲音信號；第二步驟，其將在所述第一步驟中所選擇的至少一個聲音信號全部加起來；第三步驟，其從所述第二步驟的加法計算結果中只減去所述被選擇的一個聲音信號；第四步驟，其抑制作為所述第二步驟的加法計算結果的共用聲音信號的雜音；第五步驟，其抑制作為所述第三步驟的減法計算結果的個別聲音信號的雜音；第六步驟，其根據所述第一步驟的選擇結果，來將所述第四步驟中獲得的抑制雜音的信息，複製到所述第五步驟中的抑制雜音的信息中。
8. 根據權利要求7所述的雜音抑制方法，其特徵在於，還包括第七步驟，在該第七步驟中，根據所述第一步驟的選擇結果來切換並輸出在所述第四步驟以及所述第五步驟中的任一步驟中獲得的已抑制雜音的聲音信號。
9. 根據權利要求7或8所述的雜音抑制方法，其特徵在於，還包括第八步驟，在該第八步驟中，選擇是否在所述第一步驟之前對所述多個聲音信號的各個聲音信號抑制雜音。
10. 根據權利要求7至9中任一項所述的雜音抑制方法，其特徵在於，在所述第一步驟中，根據聲音信號的功率來選擇所述至少一個聲音信號。
11. 根據權利要求7至10中任一項所述的雜音抑制方法，其特徵在於，在所述第一步驟中，根據聲音信號有聲或無聲來選擇所述至少一個聲音信號。
12. —種程序，其使構成混合多個聲音信號的聲音混合裝置的計算機執行下列步驟第一步驟，其選擇所述多個聲音信號中的至少一個聲音信號；第二步驟，其將在所述第一步驟中所選擇的至少一個聲音信號全部加起來；第三步驟，其從所述第二步驟的加法計算結果中只減去所述被選擇的一個聲音信號；第四步驟，其抑制作為所述第二步驟的加法計算結果的共用聲音信號的雜音；第五步驟，其抑制作為所述第三步驟的減法計算結果的個別聲音信號的雜音；第六步驟，其根據所述第一步驟的選擇結果，來將在所述第四步驟中獲得的抑制雜音的信息，複製到所述第五步驟中的抑制雜音的信息中。
13. 根據權利要求12所述的程序，其用於進一步執行第七步驟，在該第七步驟中，根據所述第一步驟的選擇結果來切換並輸出在所述第四步驟以及所述第五步驟中的任一步驟中獲得的已抑制雜音的聲音信號。
14. 根據權利要求12或13所述的程序，其用於進一步執行第八步驟，在該第八步驟中，選擇是否在所述第一步驟之前對所述多個聲音信號的各個信號抑制雜音。
15. 根據權利要求12至14中任一項所述的程序，其特徵在於，在所述第一步驟中，根據聲音信號的功率來選擇所述至少一個聲音信號。
16. 根據權利要求12至15中任一項所述的程序，其特徵在於，在所述第一步驟中，根據聲音信號有聲或無聲來選擇所述至少一個聲音信號。
全文摘要
減少變更說話者時異常噪音的產生。功率計算部(111，……)計算輸入聲音信號的功率。說話者選擇部(200)根據各功率選擇輸入聲音信號。全信號加法器(300)將選擇的所有輸入聲音信號相加，作為混合聲音輸出到加法器(131，……)及共用雜音抑制部(400)。共用雜音抑制部(400)抑制輸入信號的雜音並輸出。加法器(131，……)從混合聲音減去選擇的聲音信號，輸出到雜音抑制部(141，……)。雜音抑制部(141，……)抑制輸入信號的雜音並輸出。存儲切換器(151，……)根據說話者選擇部(200)的選擇結果，將共用雜音抑制部(400)的過去信息複製到雜音抑制部(141，……)。聲音數據切換器(161，……)根據說話者選擇部(200)的選擇結果切換輸出聲音信號。
文檔編號G10L21/0208GK101766016SQ20088010092
公開日2010年6月30日 申請日期2008年7月28日 優先權日2007年8月7日
發明者伊藤博紀, 小澤一範 申請人:日本電氣株式會社