語音頻帶擴展裝置和語音頻帶擴展方法

2023-05-01 02:41:56

專利名稱：語音頻帶擴展裝置和語音頻帶擴展方法
技術領域：
本發明涉及語音頻帶擴展裝置和語音頻帶擴展方法，特別涉及對頻帶受限制的語 音信號補充更高頻帶的信號，由此進行語音信號的頻帶擴展的語音頻帶擴展裝置和語音頻 帶擴展方法。
背景技術：
能夠在電話線路中傳送的語音信號的頻帶為0. 3 3. 4kHz。該語音信號的頻帶與 人類講話的語音頻帶相比，具有相當窄的帶寬。因此，從電話中聽到的對方(說話方)的聲 音是發悶的聲音，聽者聽到感覺與說話方原本的聲音稍微不同的聲音。
因此，以往提出了專利文獻1所記載的電話裝置。在該電話裝置中，語音接收器經 由電話線路等傳送路徑，接收與說話方原本的聲音相比帶寬較窄的語音信號。該電話裝置 具有以下3個語音頻帶擴展部第1語音頻帶擴展部，其使語音接收器接收到的窄帶寬的語 音信號的頻率偏移到有聲區間的頻帶；第2語音頻帶擴展部，其使窄帶寬的語音信號的頻 率偏移到無聲區間的頻帶；以及第3語音頻帶擴展部，其對因語音信號進行窄帶化而消失 的語音的低頻分量進行偽復原，該電話裝置通過對由各語音頻帶擴展部生成的語音進行合 成，由此，從受話器的揚聲器輸出對窄帶語音進行擴展而得到的虛擬寬帶語音。
這樣，現有的電話裝置生成將接收到的語音信號的頻帶擴展到更高頻帶的語音信 號(虛擬寬帶語音)，實現通話語音品質的提高。
專利文獻1日本特開2003-256000公報(圖1、圖5)
但是，在現有的電話裝置接收的語音信號中，除本來應該擴展的說話方的聲音的 語音信號(非噪聲信號、噪聲去除信號)之外，還包含除此之外的作為噪聲的信號(噪聲信 號、提取噪聲信號)。因此，通過第1語音頻帶擴展部、第2語音頻帶擴展部和第3語音頻帶 擴展部對語音信號進行擴展而生成的語音信號是在包含噪聲信號導致的異常聲音和刺耳 的聲音等的狀態下進行擴展的。因此，現有的電話裝置原樣合成這些擴展後的語音信號，所 以，導致存在從受話器的揚聲器輸出的語音品質降低的問題。發明內容
本發明是為了解決以上問題而完成的，其課題在於，提供如下的語音頻帶擴展裝 置和語音頻帶擴展方法將語音信號分離為提取噪聲信號和噪聲去除信號，分別針對提取 噪聲信號和噪聲去除信號進行擴展頻帶的處理。
為了解決所述課題，本發明的語音頻帶擴展裝置經由通信線路接收帶寬受到限制 的語音信號，對所述語音信號的頻帶進行擴展，其構成為，該語音頻帶擴展裝置具有信號 分離部，其將所述語音信號分離為噪聲去除信號和提取噪聲信號；噪聲去除信號分量擴展 部，其補充頻帶高於所述噪聲去除信號的頻帶的信號，生成擴展噪聲去除信號；提取噪聲信 號分量擴展部，其生成擴展提取噪聲信號；信號強度調節部，其對所述擴展噪聲去除信號和 所述擴展提取噪聲信號中的任一方或雙方的信號強度進行調節；以及信號合成處理部，其對所述調節後的擴展噪聲去除信號和所述調節後的擴展提取噪聲信號進行合成。
根據本發明，分離為噪聲去除信號和提取噪聲信號，進行擴展頻帶的處理，並能夠 調節對噪聲去除信號的頻帶進行擴展後得到的擴展噪聲去除信號的信號強度。能夠減小對 提取噪聲信號的頻帶進行擴展後得到的擴展提取噪聲信號的信號強度，所以，減少了不愉 快的噪聲，提高了輸出語音的清晰度。
並且，根據本發明，進行補充頻帶高於接收到的語音信號的頻帶(頻帶為0. 3 3. 4kHz)的信號的處理，所以，能夠以擴展到老年人和幼兒等傾聽者也容易聽取的頻帶的語 音，來再現並輸出講話內容。


圖1是示出包含第1實施方式的語音頻帶擴展裝置的通話系統的圖。
圖2是示出第1實施方式的語音頻帶擴展裝置的內部結構的框圖。
圖3是分量分離部的框圖。
圖4(a)是用戶U2發出的語音的一例的波形圖。(b)是噪聲去除信號的波形 圖。(c)是使其移動並提取了高頻分量後的噪聲去除信號SS1的波形圖。(d)是帶通濾波 處理後的噪聲去除信號的波形圖。
圖5是第1實施方式的語音頻帶擴展裝置的處理動作的流程圖。
圖6是第1實施方式的語音頻帶擴展裝置(分量分離部)的處理動作的流程圖。
圖7是示出第2實施方式的語音頻帶擴展裝置的內部結構的框圖。
圖8是第2實施方式的語音頻帶擴展裝置的處理動作的流程圖。
圖9是第2實施方式的語音頻帶擴展裝置的處理動作的流程圖。
圖10是示出第3實施方式的語音頻帶擴展裝置的內部結構的框圖。
圖11是第3實施方式的語音頻帶擴展裝置(分量分離部)的處理動作的流程圖。
圖12是第3實施方式的語音頻帶擴展裝置(信號判定部)的處理動作的流程圖。
圖13是第3實施方式的語音頻帶擴展裝置(強度調節部)的處理動作的流程圖。
標號說明
10 語音頻帶擴展裝置；11 分量分離部；12 噪聲去除信號分量擴展部；13 噪聲 去除信號強度調節部；14 提取噪聲信號分量擴展部；15 提取噪聲信號強度調節部；16 信號合成處理部；17 信號強度調節部；51 語音轉換器；53 語音數據接收器；Sin 輸入語 音信號；SS 噪聲去除信號；ESS 擴展噪聲去除信號；ASS 調節噪聲去除信號；NS 提取噪 聲信號；ENS 擴展提取噪聲信號；ANS 調節提取噪聲信號；S。ut 語音頻帶擴展語音信號。
具體實施方式

接著，適當參照附圖來詳細說明第1實施方式。
[通話系統的結構]
圖1示出在通話系統中使用第1實施方式的語音頻帶擴展裝置的一例。圖1是示 出通話系統的圖，示出用戶U1和用戶U2能夠使用通話系統1進行通話的系統。通話系統1 是如下的系統電話線路或網際網路等的通信線路網6連接通話裝置5 (5a)和通話目的地的通話裝置5 (5b)，利用通話裝置5和通話目的地的通話裝置5進行語音數據的收發。
通話裝置5(fe、5b)在接收線路側具有語音轉換器51，其進行用戶仏發出的語音 的輸入輸出；語音數據發送器52，其發送用戶仏發出的語音的語音數據；以及語音數據接 收器53，其接收連接目的地的用戶U2發出的語音的語音數據，通話裝置5 (5a,5b)還具有語 音頻帶擴展裝置10，該語音頻帶擴展裝置10對語音數據進行信號處理，提高從語音轉換器 51輸出的語音的品質。
另外，通話裝置5能夠由省略圖示的具有CPU (Central ProcessingUnit)、 ROM (Read Only Memory) > RAM (Random Access Memory) > HDD (Hard Disk Drive) ^計算機構成，能夠通過使計算機作為所述各單元發揮功能的程序來實現。
接著，圖2示出第1實施方式的語音頻帶擴展裝置的內部結構的框圖。
[語音頻帶擴展裝置10]
語音頻帶擴展裝置10是如下的裝置臨時將輸入語音信號Sin分離為噪聲去除信 號SS和提取噪聲信號NS，進行擴展各個信號的頻率分量的處理後，對分量擴展處理後的擴 展噪聲去除信號ESS和分量擴展處理後的擴展提取噪聲信號ENS進行強度調節處理，對它 們(調節噪聲去除信號ASS和調節提取噪聲信號ANS)進行合成，輸出語音頻帶擴展語音信巧 SoutO
如圖2所示，語音頻帶擴展裝置10具有分量分離部11、噪聲去除信號分量擴展部 12、噪聲去除信號強度調節部13 (信號強度調節部17)、提取噪聲信號分量擴展部14、提取 噪聲信號強度調節部15 (信號強度調節部17)、以及信號合成處理部16。
這裡，噪聲是指疊加在期望的語音信號(用戶U1發出的語音)上的噪聲，語音信 號的信號分量由有聲分量、無聲分量和噪聲分量構成。
[分量分離部11]
分量分離部11是如下的處理部將輸入語音信號Sin分離為噪聲去除信號SS和 提取噪聲信號NS，將噪聲去除信號SS輸出給噪聲去除信號分量擴展部12，將提取噪聲信號 NS輸出給提取噪聲信號分量擴展部14。
如圖3所示，分量分離部11具有噪聲去除部111、差分處理部112、和周期分量去 除部113。
[噪聲去除部111]
噪聲去除部111是如下的處理部被輸入輸入語音信號Sin，從該輸入語音信號Sin 中去除噪聲分量。將去除處理後的噪聲去除信號SS輸出給噪聲去除信號分量擴展部12和 差分處理部112。
這裡，可以利用任意的方法去除噪聲分量，但是，第1實施方式的噪聲去除部111 使用譜減(spectral subtraction)法，如下所述進行噪聲分量的去除處理。
噪聲去除部111按照規定時間求出輸入語音信號Sin中所包含的噪聲的平均特性 值(功率譜)。在各個時間區間(規定時間)中，在輸入語音信號Sin和噪聲的平均特性值 的SN比(Signal to Noise ratio)小於規定值(例如IOdB)的情況下，利用計算出的噪聲 的平均特性值來更新噪聲基準特性值。然後，噪聲去除部111針對每個所述時間區間，對輸 入語音信號Sin和噪聲基準特性值進行相減，執行噪聲分量的去除處理。
通過使用了該譜減法的噪聲分量的去除處理，關於輸入語音信號Sin中所包含的無聲分量，即使信號強度小，SN比也不會特別小，所以，不會被噪聲去除部111去除。
由此，去除處理後的噪聲去除信號SS由有聲分量和無聲分量構成。
在第1實施方式中，示出了噪聲去除部111使用譜減法進行噪聲分量的去除處理 的例子，但是，不限於譜減法，當然可以使用設計者所確定的任意的抑制噪聲用的數字濾波 器來去除噪聲分量。
[差分處理部112]
差分處理部112是如下的處理部被輸入輸入語音信號Sin和噪聲去除信號SS，從 輸入語音信號Sin中減去噪聲去除信號SS，提取由輸入語音信號Sin中所包含的噪聲分量構 成的信號(差分信號DS)。然後，將差分信號DS輸出給周期分量去除部113。然後，差分處 理部112使輸入語音信號Sin和噪聲去除信號SS同步後，從輸入語音信號Sin中減去噪聲去 除信號SS。
由此，差分處理後的差分信號DS主要由去除了有聲分量和無聲分量後的噪聲分 量構成。
[周期分量去除部113]
周期分量去除部113是如下的處理部被輸入差分信號DS，去除該差分信號DS所 包含的周期分量，提取僅有噪聲分量的信號(提取噪聲信號NS)。然後，將提取噪聲信號NS 輸出給提取噪聲信號分量擴展部14。
由此，去除周期分量後的提取噪聲信號NS僅由噪聲分量構成。
通過以上的處理，分量分離部11將由有聲分量和無聲分量構成的噪聲去除信號 SS輸出給噪聲去除信號分量擴展部12，將僅由噪聲分量構成的提取噪聲信號NS輸出給提 取噪聲信號分量擴展部14。
返回圖2，說明語音頻帶擴展裝置10的其他結構。
[噪聲去除信號分量擴展部12]
噪聲去除信號分量擴展部12是如下的處理部對所取得的噪聲去除信號SS進行 頻率擴展處理，將處理後的噪聲去除信號SS2 (擴展噪聲去除信號ESS)輸出給噪聲去除信 號強度調節部13。

噪聲去除信號分量擴展部12針對噪聲去除信號SS進行利用了現有技術(專利文 獻1)的頻率擴展處理。這裡，作為一例，說明從用戶U2輸入圖4(a)所示的日語的「A」的 波形的語音時的頻率擴展處理。
噪聲去除信號分量擴展部12首先針對採樣頻率為8kHz的噪聲去除信號SS(SStl)， 將採樣頻率設為16kHz。
然後，噪聲去除信號分量擴展部12進行使0. 3 3. 4kHz的頻帶的噪聲去除信號 SS(SS0)(參照圖4(b))向高頻側移動3. IkHz的處理，生成向3. 4 6. 5kHz的頻帶移動後 的噪聲去除信號SS(SStls)。進而，使用高頻帶通濾波器對該噪聲去除信號SStls進行處理，提 取高頻分量(噪聲去除信號SS1)(參照圖4(c))。
然後，對噪聲去除信號和噪聲去除信號SS1進行合成，生成0. 3 6. 5kHz頻帶 的噪聲去除信號ss2。進而，針對該噪聲去除信號使用反映了有聲/無聲的共振峰形狀 的具有平緩的衰減特性的帶通濾波器(參照圖4(d))。由此，特別地，高頻帶的信號強度衰減，語音的再現性進一步提高。此時，對向高頻側移動的頻帶(3. 4 6. 5kHz的頻帶)使用 帶通濾波器時，語音的再現性進一步提高。
由此，噪聲去除信號分量擴展部12能夠生成從0. 3 3. 4kHz頻帶的噪聲去除信 號擴展頻帶後的0. 3 6. 5kHz頻帶的噪聲去除信號(擴展噪聲去除信號ESS)。
[噪聲去除信號強度調節部13]
噪聲去除信號強度調節部13是如下的處理部對所取得的擴展噪聲去除信號ESS 進行強度調節處理，生成調節噪聲去除信號ASS，將其輸出給信號合成處理部16。

第1實施方式的噪聲去除信號強度調節部13從擴展噪聲去除信號ESS取得最大 信號強度，對擴展噪聲去除信號ESS整體的信號強度進行調節，以使該最大信號強度成為 規定的信號強度SP13,由此生成調節噪聲去除信號ASS。
最後，噪聲去除信號強度調節部13將採樣頻率為16kHz的0. 3 6. 5kHz頻帶的 調節噪聲去除信號ASS輸出給信號合成處理部16。
這裡，規定的信號強度SP13是從語音轉換器51輸出的語音的信號強度，只要是用 戶U1容易聽取語音的程度的信號強度即可。
並且，規定的信號強度SP13可以由噪聲去除信號強度調節部13所保有，也可以存 儲在未圖示的存儲部中。
這裡，關於第1實施方式的語音頻帶擴展裝置10，利用噪聲去除信號分量擴展部 12和噪聲去除信號強度調節部13區分處理部來進行說明，但是，噪聲去除信號分量擴展部 12當然也可以在頻率擴展處理後，進行噪聲去除信號強度調節部13進行的強度調節處理。
這裡，利用噪聲去除部111使用譜減法從樣本語音中去除噪聲時，屢次引起被稱 為「缺失(missing)，，的、噪聲的信號強度高於樣本語音的信號強度的現象。
因此，在利用噪聲去除部111在噪聲去除單元中使用譜減法的情況下，考慮到缺 失，利用噪聲去除信號強度調節部13和提取噪聲信號強度調節部15對信號強度進行調節， 以使擴展提取噪聲信號ENS的信號強度小於擴展噪聲去除信號ESS的信號強度。
[提取噪聲信號分量擴展部14]
提取噪聲信號分量擴展部14是如下的處理部對所取得的提取噪聲信號NS進行 頻率擴展處理，將處理後的提取噪聲信號NS2 (擴展提取噪聲信號ENS)輸出給提取噪聲信 號強度調節部15。
這裡，提取噪聲信號分量擴展部14進行的處理與噪聲去除信號分量擴展部12進 行的處理重複，所以省略處理的說明。
[提取噪聲信號強度調節部15]
提取噪聲信號強度調節部15是如下的處理部對所取得的擴展提取噪聲信號ENS 進行強度調節處理，生成調節提取噪聲信號ANS，將其輸出給信號合成處理部16。
這裡，說明提取噪聲信號強度調節部15進行的處理，但是，省略與噪聲去除信號 強度調節部13重複的處理的說明。

提取噪聲信號強度調節部15從擴展提取噪聲信號ENS取得最大信號強度，對擴 展提取噪聲信號ENS整體的信號強度進行調節，以使該最大信號強度成為規定的信號強度SP15,由此生成調節提取噪聲信號ANS。
此時，提取噪聲信號強度調節部15將擴展提取噪聲信號ENS調節為小於噪聲去除 信號強度調節部13調節的信號強度SP13的信號強度(SP13 > SP15)。
最後，提取噪聲信號強度調節部15將採樣頻率為16kHz的0. 3 6. 5kHz頻帶的 調節提取噪聲信號ANS輸出給信號合成處理部16。
這裡，規定的信號強度SP15是從語音轉換器51輸出的噪聲(noise)的信號強度， 只要是用戶仏聽取時容易區分語音和噪聲這樣程度的自然的信號強度即可。
並且，規定的信號強度(SP15)可以由提取噪聲信號強度調節部15所保有，也可以 存儲在未圖示的存儲部中。
這裡，關於第1實施方式的語音頻帶擴展裝置10，利用提取噪聲信號分量擴展部 14和提取噪聲信號強度調節部15區分處理部來進行說明，但是，提取噪聲信號分量擴展部 14當然也可以在頻率擴展處理後，進行提取噪聲信號強度調節部15進行的強度調節處理。
[信號合成處理部16]
信號合成處理部16從噪聲去除信號強度調節部13取得調節噪聲去除信號ASS，並 從提取噪聲信號強度調節部15取得調節提取噪聲信號ANS，使調節噪聲去除信號ASS和調 節提取噪聲信號ANS同步後進行合成，生成語音頻帶擴展語音信號S。ut，輸出給語音轉換器 51。

接著，參照圖5和圖6(並適當參照圖1 4)說明第1實施方式的語音頻帶擴展 裝置10進行的處理動作。
首先，用戶U2發出的語音(圖4(a))經由通話裝置恥一通信線路網6—語音數 據接收器53輸入到語音頻帶擴展裝置10。由此，語音頻帶擴展裝置10所具有的分量分離 部11取得輸入語音信號Sin( 4(b))(步驟S101)。
分量分離部11將輸入語音信號Sin分離為噪聲去除信號SS和提取噪聲信號NS (步 驟S102)。然後，分量分離部11將噪聲去除信號SS輸出給噪聲去除信號分量擴展部12，將 提取噪聲信號NS輸出給提取噪聲信號分量擴展部14(步驟S103)。
這裡，參照圖6 (並適當參照圖1 4)說明分量分離部11進行的步驟S102的分 離處理。
首先，噪聲去除部111取得輸入語音信號Sin(步驟S201)。從該輸入語音信號Sin 中去除噪聲分量(步驟S202)，將去除處理後的噪聲去除信號SS輸出給噪聲去除信號分量 擴展部12和差分處理部112(步驟S203)。
差分處理部112取得輸入語音信號Sin和噪聲去除信號SS (步驟S204)。差分處 理部112從輸入語音信號Sin中減去噪聲去除信號SS，提取由輸入語音信號Sin所包含的噪 聲分量構成的信號(差分信號DS)(步驟S205)。然後，差分處理部112將差分信號DS輸出 給周期分量去除部113 (步驟S206)。
周期分量去除部113被輸入差分信號DS，去除該差分信號DS所包含的周期分量， 提取僅有噪聲分量的信號(提取噪聲信號NS)(步驟S207)。然後，周期分量去除部113將 提取噪聲信號NS輸出給提取噪聲信號分量擴展部14(步驟S208)。
由此，分量分離部11 (噪聲去除部111)將噪聲去除信號SS輸出給噪聲去除信號分量擴展部12，將提取噪聲信號NS輸出給提取噪聲信號分量擴展部14(步驟S103、圖5)。
首先，噪聲去除信號分量擴展部12取得噪聲去除信號SS進行頻率擴展處理(步 驟S104)。接著，噪聲去除信號強度調節部13進行強度調節處理(步驟S105)。然後，噪聲 去除信號強度調節部13將所生成的調節噪聲去除信號ASS輸出給信號合成處理部16 (步 驟 S106)。
同樣，提取噪聲信號分量擴展部14取得提取噪聲信號NS進行頻率擴展處理(步 驟S107)，接著，提取噪聲信號強度調節部15進行強度調節處理(步驟S108)。然後，提取 噪聲信號強度調節部15將所生成的調節提取噪聲信號ANS輸出給信號合成處理部16 (步 驟 S109)。
信號合成處理部16取得調節噪聲去除信號ASS和調節提取噪聲信號ANS，使其同 步後進行合成(步驟S110)，生成語音頻帶擴展語音信號S。ut，輸出給語音轉換器51 (步驟 S111)。
然後，語音頻帶擴展裝置10結束所有處理。
這裡，第1實施方式的語音頻帶擴展裝置10也可以如圖2的虛線所示，具有作為 一個處理部來執行噪聲去除信號強度調節部13執行的功能和提取噪聲信號強度調節部15 執行的功能的信號強度調節部17。
下面，說明利用一個處理部即信號強度調節部17進行的處理。
首先，信號強度調節部17從噪聲去除信號分量擴展部12取得擴展噪聲去除信號 ESS,而且，從提取噪聲信號分量擴展部14取得擴展提取噪聲信號ENS。
接著，信號強度調節部17對擴展噪聲去除信號ESS的最大信號強度和擴展提取噪 聲信號ENS的最大信號強度進行比較，對擴展噪聲去除信號ESS整體的信號強度和擴展提 取噪聲信號ENS整體的信號強度的任一方或雙方的信號強度進行調節，以使擴展提取噪聲 信號ENS的最大信號強度小於擴展噪聲去除信號ESS的最大信號強度。
然後，信號強度調節部17將調節後的調節噪聲去除信號ASS和調節提取噪聲信號 ANS輸出給信號合成處理部16。
並且，根據第1實施方式的語音頻帶擴展裝置10，將輸入語音信號Sin分離為噪聲 去除信號SS (非噪聲信號)和提取噪聲信號NS (噪聲信號)，進行擴展頻帶的處理(頻率 擴展處理)，而且，進行使對提取噪聲信號NS的頻帶進行擴展後的擴展提取噪聲信號ENS 的信號強度小於對噪聲去除信號SS的頻帶進行擴展後的擴展噪聲去除信號ESS的信號強 度的處理(強度調節處理)。通過這些處理，語音頻帶擴展裝置10能夠使從語音轉換器51 輸出的語音的信號強度(擴展噪聲去除信號ESS的信號強度)調節為用戶U1容易聽取語 音的程度的信號強度，使從語音轉換器51輸出的噪聲(noise)的信號強度(擴展提取噪聲 信號ENS的信號強度)調節為用戶U1容易區分聽取語音和噪聲程度的自然的信號強度，所 以，能夠從由語音轉換器51輸出的語音中去除或降低不愉快的噪聲，能夠提高清晰度等語 首品質。
另外，根據第1實施方式的語音頻帶擴展裝置10，進行補充頻帶高於輸入語音信 號Sin的頻帶(頻帶為0. 3 3. 4kHz)的信號(頻帶為3. 4 6. 5kHz)的處理，所以，能夠 利用擴大到老年人和幼兒等傾聽者也容易聽取的頻帶的語音，再現並輸出講話內容。
進而，使用反映了有聲/無聲的共振峰形狀的具有平緩的衰減特性的帶通濾波器，由此，能夠從語音轉換器51輸出對用戶仏發出的語音進行復原後的語音，所以，能夠提 高語音的清晰度。
〈第2實施方式〉
接著，適當參照附圖詳細說明本發明的第2實施方式。
圖7是示出第2實施方式的語音頻帶擴展裝置的內部結構的框圖。
[語音頻帶擴展裝置10A]
語音頻帶擴展裝置IOA在第1實施方式的語音頻帶擴展裝置10(圖2、所具有的 信號強度調節部17 (17A)中具有噪聲去除信號強度測定部21、提取噪聲信號強度測定部22 和強度調節部23，而且，具有處理的一部分不同的噪聲去除信號分量擴展部12A、噪聲去除 信號強度調節部13A (信號強度調節部17A)、提取噪聲信號分量擴展部14A、以及提取噪聲 信號強度調節部15A (信號強度調節部17A)。
[噪聲去除信號分量擴展部12A]
噪聲去除信號分量擴展部12A將頻率擴展處理後的擴展噪聲去除信號ESS輸出給 噪聲去除信號強度測定部21和噪聲去除信號強度調節部13A。
[提取噪聲信號分量擴展部14A]
提取噪聲信號分量擴展部14A將頻率擴展處理後的擴展提取噪聲信號ENS輸出給 提取噪聲信號強度測定部22和提取噪聲信號強度調節部15A。
[噪聲去除信號強度測定部21]
噪聲去除信號強度測定部21從噪聲去除信號分量擴展部12A輸入擴展噪聲去除 信號ESS，測定其信號強度(噪聲去除信號強度信息ESL)，將噪聲去除信號強度信息ESL輸 出給強度調節部23。
[提取噪聲信號強度測定部22]
提取噪聲信號強度測定部22從提取噪聲信號分量擴展部14A輸入擴展提取噪聲 信號ENS，測定其信號強度(提取噪聲信號強度信息ENL)，將提取噪聲信號強度信息ENL輸 出給強度調節部23。
[強度調節部23]
強度調節部23是如下的處理部被輸入噪聲去除信號強度信息ESL和提取噪聲信 號強度信息ENL，求出擴展噪聲去除信號ESS的強度調節值(噪聲去除信號強度調節信息 SG)和擴展提取噪聲信號ENS的強度調節值(提取噪聲信號強度調節信息NG)，將噪聲去除 信號強度調節信息SG輸出給噪聲去除信號強度調節部13A，將提取噪聲信號強度調節信息 NG輸出給提取噪聲信號強度調節部15A。
這裡，強度調節部23對噪聲去除信號強度調節信息SG和提取噪聲信號強度調節 信息NG進行調節，以使提取噪聲信號強度信息ENL為小於噪聲去除信號強度信息ESL的信 號強度。
第2實施方式的強度調節部23對噪聲去除信號強度調節信息SG和提取噪聲信號 強度調節信息NG的信號強度進行調節，以使當設後述的噪聲去除信號強度調節部13A輸出 的調節噪聲去除信號ASS的信號強度為Qs、後述的提取噪聲信號強度調節部15A輸出的調 節提取噪聲信號ANS的信號強度為Qn時，滿足「Qn/Qs≤0. 178」。
在進行所述信號強度的調節時，強度調節部23使用擴展噪聲去除信號ESS的信號強度即噪聲去除信號強度信息ESL和擴展提取噪聲信號ENS的信號強度即提取噪聲信號強 度信息ENL，判定是否滿足判定條件「提取噪聲信號強度信息ENL/噪聲去除信號強度信息 ESL 彡 0. 178」。
在滿足上述判定條件的情況下，將提取噪聲信號強度調節信息NG設為「1. 0」輸出 給提取噪聲信號強度調節部15A，以使提取噪聲信號強度調節部15A不進行信號強度的調 節。
另一方面，在不滿足上述判定條件的情況下，將提取噪聲信號強度調節信息NG設 為「0. 178(Ps/Pe) 」輸出給提取噪聲信號強度調節部15A。
這裡，在滿足所述判定條件的情況下輸出的提取噪聲信號強度調節信息NG只要 是不使提取噪聲信號強度調節部15A進行信號強度的調節的信息即可。例如，也可以是表 示不進行信號強度的調節的標誌。
另外，所述判定條件也可以是以Qn不大於Qs為前提，在設計階段任意確定的使信 號合成處理部16輸出的語音頻帶擴展語音信號S。ut的音質為最佳的判定條件。
另外，噪聲去除信號強度調節信息SG只要是用於對輸入到噪聲去除信號強度調 節部13A的信號(擴展噪聲去除信號ESS)的強度進行調節的增益值即可。同樣，提取噪聲 信號強度調節信息NG只要是用於對輸入到提取噪聲信號強度調節部15A的信號(擴展提 取噪聲信號ENS)的強度進行調節的增益值即可。
另外，在噪聲去除信號強度調節部13A和提取噪聲信號強度調節部15A對多個頻 帶的信號強度進行調節的情況下(例如用戶U1是多人、輸入語音信號Sin由多人的語音構 成的情況)，強度調節部23生成包含區分各個頻帶的規定係數的作為增益組的噪聲去除信 號強度調節信息SG和提取噪聲信號強度調節信息NG。
[噪聲去除信號強度調節部13A]
噪聲去除信號強度調節部13A輸入有擴展噪聲去除信號ESS和噪聲去除信號強度 調節信息SG，利用噪聲去除信號強度調節信息SG的強度調節值來調節擴展噪聲去除信號 ESS的信號強度。將調節後的調節噪聲去除信號ASS輸出給信號合成處理部16。
[提取噪聲信號強度調節部15A]
提取噪聲信號強度調節部15A被輸入擴展提取噪聲信號ENS和提取噪聲信號強度 調節信息NG，利用提取噪聲信號強度調節信息NG的強度調節值來調節擴展提取噪聲信號 ENS的信號強度。將調節後的調節提取噪聲信號ANS輸出給信號合成處理部16。

接著，參照圖8 圖9說明第2實施方式的語音頻帶擴展裝置進行的處理動作(適 當參照圖7)。
這裡，圖8所示的步驟S301 步驟S303的處理與圖5所示的步驟SlOl 步驟 S103的處理重複，所以省略說明。
然後，噪聲去除信號分量擴展部12A對噪聲去除信號SS進行頻率擴展處理(步驟 S304)，生成擴展噪聲去除信號ESS。然後，噪聲去除信號分量擴展部12A將擴展噪聲去除信 號ESS輸出給噪聲去除信號強度測定部21和噪聲去除信號強度調節部13A(步驟S305)。
噪聲去除信號強度測定部21測定擴展噪聲去除信號ESS的信號強度(噪聲去除 信號強度信息ESL)(步驟S306)，將噪聲去除信號強度信息ESL輸出給強度調節部23 (步驟S307)。
然後，在提取噪聲信號分量擴展部14A中，也進行與噪聲去除信號分量擴展部12A 相同的處理，提取噪聲信號分量擴展部14A將擴展提取噪聲信號ENS輸出給提取噪聲信號 強度測定部22和提取噪聲信號強度調節部15A。
並且，在提取噪聲信號強度測定部22中，也進行與噪聲去除信號強度測定部21相 同的處理，提取噪聲信號強度測定部22將擴展提取噪聲信號ENS的信號強度(提取噪聲信 號強度信息ENL)輸出給強度調節部23 (步驟S308)。
強度調節部23取得噪聲去除信號強度信息ESL和提取噪聲信號強度信息ENL，決 定擴展噪聲去除信號ESS的強度調節值(噪聲去除信號強度調節信息SG)和擴展提取噪聲 信號ENS的強度調節值(提取噪聲信號強度調節信息NG)(步驟S309)。然後，強度調節部 23將噪聲去除信號強度調節信息SG輸出給噪聲去除信號強度調節部13A，將提取噪聲信號 強度調節信息NG輸出給提取噪聲信號強度調節部15A (步驟S310)。
噪聲去除信號強度調節部13A取得擴展噪聲去除信號ESS和噪聲去除信號強度調 節信息SG。噪聲去除信號強度調節部13A利用噪聲去除信號強度調節信息SG的強度調節 值來調節擴展噪聲去除信號ESS的信號強度(步驟S311)，將調節後的調節噪聲去除信號 ASS輸出給信號合成處理部16 (步驟S312)。
然後，在提取噪聲信號強度調節部15A中，也進行與噪聲去除信號強度調節部13A 相同的處理，提取噪聲信號強度調節部15A取得擴展提取噪聲信號ENS和提取噪聲信號 強度調節信息NG，將調節了信號強度後的調節提取噪聲信號ANS輸出給信號合成處理部 16(步驟 S313)。
信號合成處理部16取得調節噪聲去除信號ASS和調節提取噪聲信號ANS。
然後，信號合成處理部16使調節噪聲去除信號ASS和調節提取噪聲信號ANS同步 後進行合成，生成語音頻帶擴展語音信號S。ut (步驟S314)，將語音頻帶擴展語音信號S。ut輸 出給語音轉換器51 (步驟S315)。
然後，語音頻帶擴展裝置IOA結束處理。
根據第2實施方式的語音頻帶擴展裝置10A，即使沒有設定規定的信號強度(SP13、 SP15)，也能夠調節為適當的強度，以使擴展提取噪聲信號ENS的信號強度不超過擴展噪聲 去除信號ESS的信號強度。並且，也能夠獲得第1實施方式的效果，所以，能夠進一步提高 語音品質。
〈第3實施方式〉
接著，適當參照附圖詳細說明本發明的第3實施方式。
圖10是示出第3實施方式的語音頻帶擴展裝置的內部結構的框圖。
[語音頻帶擴展裝置10B]
語音頻帶擴展裝置IOB在第2實施方式的語音頻帶擴展裝置10A(圖7)所具有的 信號強度調節部17A(17B)中具有信號判定部31，而且，具有部分處理與第2實施方式不同 的分量分離部IlB和強度調節部23B (信號強度調節部17B)。
[分量分離部11B]
分量分離部IlB是如下的處理部將第2實施方式的分量分離部11從輸入語音信 號Sin中分離出的噪聲去除信號SS進一步輸出給信號判定部31。
分量分離部IlB進行的其他處理與第2實施方式的分量分離部11重複，所以省略 說明。
[信號判定部31]
信號判定部31是如下的判定部被輸入噪聲去除信號SS，對該噪聲去除信號SS 實施信號判定處理，生成包含處理結果的信號判定結果信息SSI，將其輸出給強度調節部 23B。
〈信號判定處理〉
如下進行信號判定處理。
信號判定部31每隔規定時間(例如每隔25ms)對噪聲去除信號SS進行分割，並 存儲在未圖示的存儲部中，在各個時間區間(規定時間)中，使用自相關函數，計算噪聲去 除信號SS的峰值振幅為最大的延遲時間(最大延遲時間)。在信號判定處理中，如果該最 大延遲時間在規定範圍內(例如0. 5 IOms)，則判定為在噪聲去除信號SS中包含用戶U1 發出的語音的有聲分量或無聲分量即語音特徵分量。
該規定範圍可以是由設計者任意設定的能夠使輸出結果的語音品質為最佳的範 圍。
通過該信號判定處理，能夠判定在從輸入語音信號Sin中分離出用戶U1沒有講話 的時間後的噪聲去除信號SS中是否包含語音特徵分量。
這裡，由信號判定部31輸出的信號判定結果信息SSI是包含上述判定處理結果的 信息。例如，可以在判定結果為包含語音特徵分量的情況下，使標誌為「1」記錄在信號判定 結果信息SSI中，在不包含語音特徵分量的情況下，使標誌為「0」記錄在信號判定結果信息 SSI 中。
[強度調節部23B]
強度調節部2 從噪聲去除信號強度測定部21輸入噪聲去除信號強度信息ESL， 從提取噪聲信號強度測定部22輸入提取噪聲信號強度信息ENL，從信號判定部31輸入信號 判定結果信息SSI，首先，根據信號判定結果信息SSI判定在噪聲去除信號SS中是否包含語 音特徵分量。
這裡，在信號判定結果信息SSI是「在噪聲去除信號SS中包含語音特徵分量」的 信息的情況下，進行與第2實施方式的強度調節部23相同的處理。
另一方面，在信號判定結果信息SSI是「在噪聲去除信號SS中不包含語音特徵分 量」的信息的情況下，強度調節部2 將噪聲去除信號強度調節信息SG輸出給噪聲去除信 號強度調節部13A，該噪聲去除信號強度調節信息SG包含使噪聲去除信號強度調節部13A 輸出信號強度為「0」的調節噪聲去除信號ASS的指示。

接著，參照圖11 圖13說明第3實施方式的語音頻帶擴展裝置進行的處理動作 (適當參照圖7)。
並且，第3實施方式的語音頻帶擴展裝置IOB不進行第2實施方式的語音頻帶 擴展裝置IOA進行的圖8所示的步驟S301 步驟S303的處理，而進行圖11所示的步驟 S401 步驟S403的處理。除此之外與步驟S304 (圖8) 步驟S315 (圖9)的處理重複，所 以省略說明。

首先，分量分離部IlB取得輸入語音信號Sin(步驟S401、圖11)。接著，分量分離 部IlB將輸入語音信號Sin分離為噪聲去除信號SS和提取噪聲信號NS (步驟S402)。然後， 分量分離部IlB將噪聲去除信號SS輸出給噪聲去除信號分量擴展部12A和信號判定部31， 將提取噪聲信號NS輸出給提取噪聲信號分量擴展部14A (步驟S403)。

信號判定部31從分量分離部IlB取得噪聲去除信號SS，針對每個規定的時間區 間，使用自相關函數，計算噪聲去除信號SS的最大延遲時間(步驟S501、圖12)。
然後，判定最大延遲時間是否在規定範圍內(步驟S502)。
如果最大延遲時間在規定範圍內(步驟S502 是)，則信號判定部31判定為噪聲 去除信號SS包含語音特徵分量，生成標誌為「1」的信號判定結果信息SSI，將其輸出給強度 調節部23B (步驟S503)。
另一方面，如果最大延遲時間超過規定範圍(步驟S502 否)，則信號判定部31判 定為噪聲去除信號SS不包含語音特徵分量，生成標誌為「0」的信號判定結果信息SSI，將其 輸出給強度調節部23B (步驟S504)。

強度調節部2 從噪聲去除信號強度測定部21取得噪聲去除信號強度信息ESL， 從提取噪聲信號強度測定部22取得提取噪聲信號強度信息ENL，從信號判定部31取得信號 判定結果信息SSI (步驟S511、圖13)。
首先，判定信號判定結果信息SSI是否包含語音特徵分量。這裡，利用信號判定結 果信息SSI所包含的標誌的值來進行判定(步驟S512)。
在標誌為「1」的情況下，即信號判定結果信息SSI是「在噪聲去除信號SS中包含 語音特徵分量」的信息的情況下(步驟S512 是)，與第2實施方式的強度調節部23進行 的處理同樣，強度調節部2 進行步驟S309(圖8)以後的處理。
另一方面，在標誌為「0」的情況下，即信號判定結果信息SSI是「在噪聲去除信號 SS中不包含語音特徵分量」的信息的情況下(步驟S512 否)，強度調節部2 將噪聲去除 信號強度調節信息SG輸出給噪聲去除信號強度調節部13A，該噪聲去除信號強度調節信息 SG包含使噪聲去除信號強度調節部13A輸出信號強度為「0」的調節噪聲去除信號ASS的指 示(步驟S513)。
噪聲去除信號強度調節部13A根據噪聲去除信號強度調節信息SG的信息內容，將 調節噪聲去除信號ASS的信號強度輸出為「0」。
以後的處理與第2實施方式的各結構部的處理重複，所以省略說明。
根據第3實施方式的語音頻帶擴展裝置10B，判定在從輸入語音信號Sin中分離出 用戶U1沒有講話的時間後的噪聲去除信號SS中是否包含用戶U1發出的語音的有聲分量或 無聲分量即語音特徵分量，在不包含語音特徵分量的情況下，噪聲去除信號強度調節部13A 將調節噪聲去除信號ASS的信號強度輸出為「0」。由此，信號合成處理部16將僅由調節提 取噪聲信號ANS構成的語音頻帶擴展語音信號S。ut輸出給語音轉換器51。因此，在用戶U1 沒有講話的時間的輸入語音信號Sin中，雖然從輸入語音信號Sin中分離出的噪聲去除信號 SS僅為噪聲分量，但是，也作為非噪聲分量來處理，能夠抑制從信號合成處理部16輸出擴展了噪聲分量的語音頻帶擴展語音信號s。ut。並且，也能夠獲得第1和第2實施方式的效 果，所以，能夠進一步提高語音品質。
權利要求
1.一種語音頻帶擴展裝置，該語音頻帶擴展裝置經由通信線路接收帶寬受到限制的語 音信號，對所述語音信號的頻帶進行擴展，其特徵在於，該語音頻帶擴展裝置具有信號分離部，其將所述語音信號分離為從所述語音信號的頻率分量中去除了噪聲後的 噪聲去除信號、以及從所述語音信號的頻率分量中去除了所述噪聲去除信號的頻率分量後 的提取噪聲信號；噪聲去除信號分量擴展部，其對所述噪聲去除信號補充頻帶高於所述噪聲去除信號的 頻帶的信號，生成擴展噪聲去除信號；提取噪聲信號分量擴展部，其對所述提取噪聲信號補充頻帶高於所述提取噪聲信號的 頻帶的信號，生成擴展提取噪聲信號；信號強度調節部，其對所述擴展噪聲去除信號和所述擴展提取噪聲信號中的任一方或 雙方的信號強度進行調節；以及信號合成處理部，其對由所述信號強度調節部進行調節後的所述擴展噪聲去除信號和 所述擴展提取噪聲信號進行合成。
2.根據權利要求1所述的語音頻帶擴展裝置，其特徵在於，所述噪聲去除信號分量擴展部在生成所述擴展噪聲去除信號時，使所述噪聲去除信號 的頻帶移動到高於所述噪聲去除信號的頻帶的頻帶，對該移動後的信號和所述噪聲去除信 號進行合成，使得所述移動後的信號的頻帶中的所述合成得到的信號的強度隨著頻率變高 而衰減，所述提取噪聲信號分量擴展部在生成所述擴展提取噪聲信號時，使所述提取噪聲信號 的頻帶移動到高於所述提取噪聲信號的頻帶的頻帶，對該移動後的信號和所述提取噪聲信 號進行合成，使得所述移動後的信號的頻帶中的所述合成得到的信號的強度隨著頻率變高 而衰減。
3.根據權利要求1或2所述的語音頻帶擴展裝置，其特徵在於， 所述信號強度調節部具有噪聲去除信號強度調節部，其對所述擴展噪聲去除信號整體的信號強度進行調節，以 使所述擴展噪聲去除信號的最大信號強度成為規定值；以及提取噪聲信號強度調節部，其對所述擴展提取噪聲信號整體的信號強度進行調節，以 使所述擴展提取噪聲信號的最大信號強度成為小於所述規定值的值。
4.根據權利要求1或2所述的語音頻帶擴展裝置，其特徵在於， 所述信號強度調節部具有噪聲去除信號強度測定部，其測定所述擴展噪聲去除信號的強度； 提取噪聲信號強度測定部，其測定所述擴展提取噪聲信號的強度； 強度調節部，其對所述擴展噪聲去除信號的強度和所述擴展提取噪聲信號的強度進行 比較，生成使所述擴展提取噪聲信號的強度小於所述擴展噪聲去除信號的強度的噪聲去除 信號強度調節信息和提取噪聲信號強度調節信息；噪聲去除信號強度調節部，其利用所述噪聲去除信號強度調節信息來調節所述擴展噪 聲去除信號的強度；以及提取噪聲信號強度調節部，其利用所述提取噪聲信號強度調節信息來調節所述擴展提 取噪聲信號的強度。
5.根據權利要求4所述的語音頻帶擴展裝置，其特徵在於，所述語音頻帶擴展裝置還具有信號判定部，該信號判定部使用自相關函數來計算所述 噪聲去除信號在峰值振幅最大時的最大延遲時間，判定所述最大延遲時間是否在規定時間 內，如果所述最大延遲時間在所述規定時間內，則所述強度調節部生成使所述擴展提取噪 聲信號的強度為0的噪聲去除信號強度調節信息。
6.一種語音頻帶擴展方法，經由通信線路接收帶寬受到限制的語音信號、並對所述語 音信號的頻帶進行擴展，其特徵在於，該語音頻帶擴展方法包括信號分離步驟，將所述語音信號分離為從所述語音信號的頻率分量中去除了噪聲後的 噪聲去除信號、以及從所述語音信號的頻率分量中去除了所述噪聲去除信號的頻率分量後 的提取噪聲信號；噪聲去除信號分量擴展步驟，對所述噪聲去除信號補充頻帶高於所述噪聲去除信號的 頻帶的信號，生成擴展噪聲去除信號；提取噪聲信號分量擴展步驟，對所述提取噪聲信號補充頻帶高於所述提取噪聲信號的 頻帶的信號，生成擴展提取噪聲信號；信號強度調節步驟，對所述擴展噪聲去除信號和所述擴展提取噪聲信號中的任一方或 雙方的信號強度進行調節；以及信號合成處理步驟，對在所述信號強度調節步驟中進行調節後的所述擴展噪聲去除信 號和所述擴展提取噪聲信號進行合成。
7.根據權利要求6所述的語音頻帶擴展方法，其特徵在於，在所述噪聲去除信號分量擴展步驟中，在生成所述擴展噪聲去除信號時，使所述噪聲 去除信號的頻帶移動到高於所述噪聲去除信號的頻帶的頻帶，對該移動後的信號和所述噪 聲去除信號進行合成，使得所述移動後的信號頻帶中的所述合成得到的信號的強度隨著頻 率變高而衰減，在所述提取噪聲信號分量擴展步驟中，在生成所述擴展提取噪聲信號時，使所述提取 噪聲信號的頻帶移動到高於所述提取噪聲信號的頻帶的頻帶，對該移動後的信號和所述提 取噪聲信號進行合成，使得所述移動後的信號頻帶中的所述合成得到的信號的強度隨著頻 率變高而衰減。
8.根據權利要求6或7所述的語音頻帶擴展方法，其特徵在於， 所述信號強度調節步驟包括噪聲去除信號強度調節步驟，對所述擴展噪聲去除信號整體的信號強度進行調節，以 使所述擴展噪聲去除信號的最大信號強度成為規定值；以及提取噪聲信號強度調節步驟，對所述擴展提取噪聲信號整體的信號強度進行調節，以 使所述擴展提取噪聲信號的最大信號強度成為小於所述規定值的值。
9.根據權利要求6或7所述的語音頻帶擴展方法，其特徵在於， 所述信號強度調節步驟包括噪聲去除信號強度測定步驟，測定所述擴展噪聲去除信號的強度； 提取噪聲信號強度測定步驟，測定所述擴展提取噪聲信號的強度； 強度調節步驟，對所述擴展噪聲去除信號的強度和所述擴展提取噪聲信號的強度進行比較，生成使所述擴展提取噪聲信號的強度小於所述擴展噪聲去除信號的強度的噪聲去除 信號強度調節信息和提取噪聲信號強度調節信息；噪聲去除信號強度調節步驟，利用所述噪聲去除信號強度調節信息來調節所述擴展噪 聲去除信號的強度；以及提取噪聲信號強度調節步驟，利用所述提取噪聲信號強度調節信息來調節所述擴展提 取噪聲信號的強度。
10.根據權利要求9所述的語音頻帶擴展方法，其特徵在於，所述語音頻帶擴展方法還包括信號判定步驟，在該信號判定步驟中，使用自相關函數 來計算所述噪聲去除信號在峰值振幅最大時的最大延遲時間，判定所述最大延遲時間是否 在規定時間內，在所述強度調節步驟中，如果所述最大延遲時間在所述規定時間內，則生成使所述擴 展提取噪聲信號的強度為0的噪聲去除信號強度調節信息。
全文摘要
提供一種語音頻帶擴展裝置和語音頻帶擴展方法。將語音信號分離為提取噪聲信號和噪聲去除信號，分別針對提取噪聲信號和噪聲去除信號進行擴展頻帶的處理。語音頻帶擴展裝置經由通信線路接收帶寬受到限制的語音信號，對語音信號的頻帶進行擴展，其具有信號分離部，其將語音信號分離為噪聲去除信號和提取噪聲信號；噪聲去除信號分量擴展部，其補充頻帶高於噪聲去除信號的頻帶的信號，生成擴展噪聲去除信號；提取噪聲信號分量擴展部，其生成擴展提取噪聲信號；信號強度調節部，其對擴展噪聲去除信號和擴展提取噪聲信號中的任一方或雙方的信號強度進行調節；以及信號合成處理部，其對調節後的擴展噪聲去除信號和調節後的擴展提取噪聲信號進行合成。
文檔編號G10L21/02GK102034482SQ201010198888
公開日2011年4月27日 申請日期2010年6月4日 優先權日2009年9月29日
發明者田代厚史 申請人:衝電氣工業株式會社