語音檢測裝置的製作方法

2023-05-03 19:39:21

專利名稱：語音檢測裝置的製作方法
技術領域：
本發明一般涉及檢測輸入音頻信號中語音段的開始和結束之處的裝置，在輸入音頻信號中還夾雜著非語音噪聲或背景噪聲。
背景技術：
對於許多裝置來說，語音的實時檢測是必備的功能部件，這些裝置不勝枚舉，其中包括聲音啟動的磁帶錄音機、應答機器、自動語音識別機和用於從音樂中去除話音的處理器等等。在許多這樣的應用場合下，噪聲與語音密不可分地混合在一起。語音的檢測需要更為高級的語音檢測能力，簡單的檢測能級何時高於或低於預先設定閾值的常規裝置提供的檢測能力是不夠的。
在自動語音識別領域，語音檢測部件是極為關鍵的。在實際應用中，語音檢測帶來的錯誤要比譜型匹配帶來的錯誤多，後者通常用來確定語音信號的內容。解決這個問題的一個途徑是利用單詞捕捉技術(word spotting technique)，在該技術中識別器一直監聽著特定的單詞。但是如果語音檢測沒有預先進行單詞捕捉，則可能會引起較高的整體錯誤率。
許多語音檢測裝置都基於輸入信號的某個參數，例如能量、音調和零交匯點(zero crossing)。語音檢測器的性能很大程度上取決於那個參數對於背景噪聲的強壯度(robustness)。對於實時語音檢測，必須能較快地從信號中提取那個參數。發明內容本發明的其中一個目標是提供一種能夠以同步於信號輸入的速度(即實時)工作的語音檢測裝置。
本發明的另一個目標是提供一種可以用普通的數位訊號處理電路板來實現的語音檢測裝置。
本發明的另一個目標是提供一種對於夾雜有各種噪聲的語音仍然有效的語音檢測裝置。
本發明的另一個目標是提供一種用於各種場合的語音檢測裝置，這些應用場合不勝枚舉，其中包括孤立單詞自動語音識別機、連續語音識別機(用來檢測語句中詞組之間的停頓)、聲控磁帶錄音機、應答機器和對混錄有背景噪聲或音樂的話音進行處理的處理器。
通過提供一種檢測輸入信號中語音的裝置達到了本發明的上述這些和其它目標，該裝置包括確定信號內有限頻帶能量平滑值(smoothed frequency band limited energy)的裝置；確定信號內有限頻帶能量平滑值方差的裝置；根據信號內有限頻帶能量平滑值的方差和有限頻帶能量的先前歷程確定信號內語音的開始和結束點的裝置。
本發明利用有限頻帶能量平滑值的方差和有限頻帶能量的先前歷程來檢測信號內語音的開始和結束點。採用有限頻帶能量平滑值的方差是基於下述的觀察，即對於複雜背景下的前臺語音(諸如音樂背景烘託下歌唱家的聲音)，其能級在波動幅度相對較低的「噪聲平臺(noise floor)」上產生顯著的波動。即使在背景噪聲能級較高的情況，方法仍然有效。方差量化了能量的波動。
按照較佳實施例，裝置利用漢明窗和傅利葉變換計算有限頻帶能量平滑值。方差作為時間的函數從移位寄存器內存儲的有限頻帶能量平滑值計算出來。為了確定語音的開始和結束點，裝置將有限頻帶能量平滑值與預先設定的能量閾值進行比較，將作為時間函數的方差與兩個預先確定的閾值(上閾值和下閾值)進行比較，如果有限頻帶能量平滑值超過能量閾值，裝置則初步確定語音已經開始。
但是，如果在經過一段規定的時間後方差值未能上升超過上閾值水平，則取消對語音開始的初步確認。從有限頻帶能量平滑值超過能量閾值到方差值超過上閾值的這一段時間內，裝置將信號表徵為處於開始(B)語音狀態。一旦方差值超過上閾值水平，裝置就將信號表徵為處於語音(S)狀態。最後，當方差值低於下閾值水平時確定為語音結束之處。
另一種辦法是將有限頻帶能量的最近歷程以及作為時間函數的方差輸入精心設計的神經網絡，神經網絡的單值二進位輸出確定語音是否繼續下去。
採用比較方差上下閾值的方法，最大程度地減少了語音檢測中的錯誤率。利用有限頻帶能級來初步確定語音開始點，最大程度地縮短了語音實際開始與語音檢測裝置作出反應之間的延時。通過利用神經網絡來確定語音的存在，該裝置可以檢測出多種噪聲中的語音。
比較好的是，裝置以集成電路硬體的形式實現，以致於可以實時處理輸入信號根據有限頻帶能量的方差和有限頻帶能量的先前歷程實時確定語音的開始和結束之處。附圖的簡要說明從以下結合附圖的詳細描述將顯而易見本發明的精確特性及其目標和優點，這裡附圖中相同的參數字表示相同的部分，其中

圖1提供了採用按照本發明較佳實施例的語音檢測裝置的自動語音識別機的框圖；圖2為圖1的語音檢測裝置的框圖；圖3提供的是流程圖，它表示了在圖1的語音檢測裝置中用於確定有限頻帶能量方差的方法；圖4為圖2的語音檢測裝置的狀態轉換示意圖；圖5為輸入信號的例子；以及圖6為第二實施例中圖2判斷單元的框圖，圖示了如何利用神經網絡來確定語音的開始和結束點。
發明的最佳實施方式以下的描述使得本領域內的技術人員能夠實施和利用發明人經過深思熟慮作出的此發明及其最佳實施例。由於這裡已經給出了本發明的基本原理，特別是提供了根據輸入信號的有限頻帶能量的方差來檢測語音的開始和結束點的語音檢測裝置，所以本領域內的技術人員很容易在此基礎上對本發明作出各種修改。
圖1示出了採用本發明的孤立單詞自動語音識別系統的預處理器。來自話筒的模擬輸入101經過電壓放大並由模擬—數字轉換器102以採樣頻率的速率(典型的為每秒1000次採樣)轉換成數位訊號。最終的數位訊號103被保存在存儲器區域104內，該區域可以存儲長達6.5536秒的語音(超過了一個單詞發音的周期)。如果超出了104的容量，則刪除舊的數據而保存新的數據。因此，104包含的是最近6.5536秒的輸入數據。數位訊號103還用作語音檢測裝置105的輸入。輸出判斷信號106觸發門電路107，使由105確定為包含語音的存儲器104的一部分內容通向輸出108。對於不同的應用場合，可以修改緩衝器104的長度，並且在例如應答機之類的應用中，可以省卻緩衝器104而由信號106直接控制磁帶驅動裝置。此外，緩衝器104還可以僅僅是延遲幾個毫秒的延時線路。
圖2詳細示出了語音檢測裝置105。圖1中的數字輸入信號103在圖2中表示為輸入信號201。信號201進入能保持nf個連續輸入樣本(例如256個)的延時線路。當信號填滿時，頻帶限制器203開始處理信號。當已經接收了nf/2個(例如128)新的輸入樣本數據201時，延時線路202將128個樣本右移，從而刪除了128個保持時間最長的舊樣本，並且還將128個新樣本填入左半部分。這樣，移位寄存器202總是包含256個連續輸入的樣本並覆蓋50％的先前內容。準備128個新樣本的時間單位是幀，一幀可以是例如0.0128秒。
有限頻帶能量在203中計算。在將延時線路的元素乘以漢明窗之後，傅利葉變換205提取出202內容中的頻譜。介於250—3500赫茲之間(該頻帶包含了最重要的語音信息)的頻譜成份由206轉換為分貝單位，並在207內求和，從而產生有限頻帶能量，如圖2中信號251所示。
另外，除了將頻譜轉換器部分相加以外，還可以採用其它的方法計算有限頻帶的能量。例如，輸入信號可以通過卷積或遞歸濾波器進行數字濾波，並且可以用下述方法測量其能量。這樣可以替代圖2中的202和203的全部。
頻帶限制也可以藉助直接從模擬濾波器獲得的能量在模擬域上完成或通過下述方法完成。模擬帶寬限制器可以由帶通濾波器、低通濾波器或其它頻譜整形濾波器組成，或者可以利用放大器或話筒自身的頻率限制特性實現，或者可以採用抗混濾波器的形式。能量可以直接取自濾波器或者採用下節所述方法獲得。以下將通過這些不同技術獲得的信號稱之為有限頻帶信號。
下面將一般隨有限頻帶信號的能量單調變化的量值稱為有限頻帶能量。與圖2所述方法不同，有限頻帶能量也可以由下列方法計算(a)計算一個短暫時間間隔內有限頻帶信號的方差；(b)對一個短暫時間間隔內有限頻帶信號的絕對值、幅值、修正值或其它功率的平方求和；或(c)確定一個短暫時間間隔內有限頻帶信號的峰值、幅值、修正值或其它功率的平方的峰值。
現回到本發明的較佳實施例，有限頻帶能量由平滑模塊220進行平滑。有限頻帶能量首先進入延時線路259。在每一幀內，本例中是12.8毫秒之內，延時線路接收一個新樣本並右移一個餘下的樣本。本例中延時線路的長度為10幀，等於0.128秒。縮短延時線路會減少語音檢測裝置的響應時間；時間長度的增加則使得裝置抵禦脈衝噪聲的能力加強。
平滑計算單位250計算出延時線路259內容的平均值，該數值就是有限頻帶能量平滑值208。
另外，也可以通過計算延時線路259中數值的中間值或通過計算具有平滑功能或抑制延時線路259內容的短暫脈衝變化的函數來完成平滑計算250。在簡併的情況下，延時線路259的長度可以為1，信號251可以直接通向輸出208，從而使得有限頻帶能量平滑值208與有限頻帶能量251一致。
有限頻帶能量平滑值進入了延時線路209。由於平滑計算250具有去除延時線路259內容的快速變化的效果，所以用於方差計算的延時線路209能以低於每幀一次的速率接收新的數值。它在新的數值到達時右移一位原來的數值。延時線路長度的增加可以延長語音結束之前發音期間內的停頓；延時線路長度的減少則加快了語音檢測器對語音結束的響應時間。延時線路209的長度為nv，本例中是40，相應於0.51秒的停頓 方差計算單元210計算了延時線路209中數值的方差。有限頻帶能量平滑值的方差V為V＝g(A，B)這裡g(A,B)=Anr-BBnVnr]]>而A=f=1f=nv(BLE(f)BLE(f))]]>B=f=1f=nvBLE(f)]]>V是方差計算210的輸出211；BLE(f)是位於f＝nv，…，3，2，1處的延時線路209的內容；BLE(1)是保留時間最長的數值，而BLE是有限頻帶能量平滑值；方差211和有限頻帶能量平滑值208驅動判斷單元212，其操作示於圖4和圖5中。
圖3示出了計算方差V的最快方式，這裡省卻了方差計算210和延時線路209。這種較快的技術不是每次重新計算量值A和B，而是將其按上式更新A』＝A＋[BLE(nv)×BLE(nv)]－[BLE(0)×BLE(0)]B』＝B＋BLE(nv)－BLE(0)這裡A』為A的更新值，用302表示，B』是B的更新值，用303表示，並且BLE(nv)是來自圖2的208的最新有限頻帶能量平滑值301，而BLE(0)是保留時間最長的有限頻帶能量平滑值304。
BLE的平方在延時線路305中延遲。可以省卻延時線路而直接對來自304的數值作平方運算。延時線路305和306應該初始化為零。而且應注意，延時線路306和305的長度比圖2的延時線路209長1個單位。
圖6表示採用神經網絡的判斷單元(圖2中的212)的框圖。取前1.28秒語音期間內的有限頻帶能量的一些樣本和頻帶能量平滑值的方差作為神經網絡620的輸入。延時線路603存儲過去1秒的有限頻帶能量602，而寄存器604存儲有限頻帶能量的方差601。神經網絡的輸出621為一個二進位判斷值，確定了當前幀是否包含語音。這對應於圖2的214。
另外，判斷單元可以採用閾值計算法。圖4表示利用方差(圖2中的211)和能量(圖2中的213)來檢測語音存在的判斷單元的狀態轉換示意圖。圖5表示語音信號的有限頻帶能量平滑值SBLE有限頻帶能量平滑值的方差VSBLE和相應的狀態的例子，以利於理解狀態狀態轉換示意圖。每一幀內，這裡是0.0128秒內，狀態轉換示意圖中的狀態發生一次轉換(transition)。
狀態轉換示意圖中的狀態開始處於N—或噪聲—狀態(502)。只要SBLE小於能量閾值510，就取402轉換，並留在狀態N上。當SBLE超出能量閾值510時，取403轉換並進入狀態B(初步確定的語音開始503)。因此該能量用來快速觸發裝置。當進入狀態B時，裝置確定語音在前幾個毫秒之處已經開始。這段時間z一般等於延時線路259的長度。
狀態B要保留一段預先設定的時間即取轉換404。如果時間太短，則估計的開始點將過份推後，語音頭將被截去；當這段時間較長時，雖然沒有不精確，但延緩了語音檢測器響應語音開始的時間；如果這段時間長於延時線路209的長度，那麼裝置將完全丟失語音。在本例中，這段時間為175毫秒。在這段時間的結束點，檢測VSBLE以檢查其是否超過方差上閾值506並離開狀態B。如果VSBLE低於方差上閾值，則取轉換406並放棄初步確定的開始點，而裝置返回N狀態。如果SBLE高於方差上閾值，則取轉換405，裝置進入S狀態504，這意味著語音已經確認並正在輸入裝置。
只要VSBLE保持在方差下閾值501之上，就維持轉換407並留在狀態S。當VSBLE跌落到方差下閾值之下，轉換408使得裝置進入E狀態，表示已經檢測到語音結束。語音結束點確定為在進入E狀態之前SBLE最後一次低於能量閾值的地方。在下一幀處，裝置又返回N狀態。
如果圖1門電路107後面的裝置是自動語音識別機，則通過圖2線路214上的當前狀態連接到圖1的106上，從而控制門電路107，就可以實時處理輸入的語音。延時僅僅來自語音檢測器確定語音開始點所用的時間。如果語音可以在狀態B下傳送到自動語音識別機，即如果門電路或識別機能夠在406轉換時取消輸入的語音，那麼自動語音識別機就可以在一個等於延時線路259長度的延遲時間後立即開始處理語音。
上面描述了用於檢測輸入信號中是否存在語音的裝置。該裝置根據信號內的有限頻帶能量平滑值的方差計算語音的開始和結束之處。通過利用有限頻帶能量平滑值的方差，有效而實時地檢測出了語音的存在。該裝置特別適合用於檢測包含語音的錄音段，從而提取和進一步處理錄音段。
在不偏離本發明的範圍和精神的前提下，本領域的技術人員可以很容易地對上述較佳實施例作出各種更改和改進。因此本發明由後面所附權利要求所限定而不拘泥於上述具體的描述。
權利要求
1.一種用於檢測輸入信號中語音的裝置，其特徵在於包含用於確定信號內有限頻帶能量平滑值(smoothed frequencyband limited energy)的裝置；用於確定信號內所述有限頻帶能量平滑值的方差的裝置；以及用於根據信號內所述有限頻帶能量平滑值方差和所述有限頻帶能量平滑值的先前歷程確定信號內語音的開始和結束點的裝置。
2.如權利要求1所述的裝置，其特徵在於，所述用於確定信號內有限頻帶能量平滑值的裝置包含用於確定與信號相關的頻率的裝置；用於選取信號中頻率在預定範圍內的部分的裝置；用於確定所選取信號部分內總能量值的裝置，所述總能量值為頻帶能量；以及用於平滑所述有限頻帶能量的裝置，所得數值為有限頻帶能量平滑值。
3.如權利要求1所述的裝置，其特徵在於，所述用於確定信號內有限頻帶能量平滑值數值的裝置包含將漢明窗濾波器應用於部分信號以產生濾波信號的裝置；將傅利葉變換應用於所述濾波信號以產生變換後信號的裝置；用於對所述變換後信號求和以產生該信號部分總能量值的裝置，該信號能量值為有限頻帶能量；以及將濾波器應用於所述有限頻帶能量的裝置，所得結果為所述有限頻帶能量平滑值。
4.如權利要求1所述的裝置，其特徵在於包含接收語音信號的裝置；存儲一個連續m秒間隔內的信號部分的裝置；以及當接收到新的信號時更新所存儲信號部分的裝置。
5.如權利要求4所述的裝置，其特徵在於m介於0與10秒之間。
6.如權利要求4所述的裝置，其特徵在於所述存儲信號部分的裝置包含移位寄存器。
7.如權利要求1所述的裝置，其特徵在於，所述確定有限頻帶能量平滑值方差的裝置包含存儲多個有限頻帶能量平滑值數值的裝置，該數值作為時間的函數被存儲；計算方差V的裝置，V由V＝g(A，B)給出；這裡BLE(f)表示多個有限頻帶能量平滑值，nv是數值的編號，f＝nv，...，3，2，1；而BLE(1)為保留時間最長的BLE數值。
8.如權利要求7所述的裝置，其特徵在於，所述確定有限頻帶能量方差值的裝置包含當接收到新的BLE(nv)數值時計算V＝g(A』，B』)的裝置，這裡A』＝A＋[BLE(nv)×BLE(nv)]－[BLE(0)×BLE(0)]；B』＝B＋BLE(nv)－BLE(0)；A』為A的更新值，B』為B的更新值，以及BLE(nv)為最新的BLE數值，而BLE(1)為保留時間最長的BLE數值。
9.如權利要求1所述的裝置，其特徵在於，所述根據有限頻帶能量平滑值的方差確定語音信號內語音開始和結束之處的裝置包含當所述有限頻帶能量平滑值超過預先設定的能量閾值時確定語音開始(B)的裝置；以及當所述有限頻帶能量平滑值的方差低於預先確定的方差下閾值時確定語音結束(E)的裝置。
10.如權利要求9所述的裝置，其特徵在於，所述能量閾值和方差下閾值都是預先確定的，並且語音信號的開始(B)之處確定為有限頻帶能量平滑值首次超過能量閾值水平前的z秒。
11.如權利要求10所述的裝置，其特徵在於z介於0與100秒之間。
12.如權利要求9所述的裝置，其特徵在於，所述上閾值和下閾值都是預先確定的，並且語音信號的結束(E)點確定為有限頻帶能量平滑值的方差低於方差下閾值之前的z秒。
13.如權利要求12所述的裝置，其特徵在於z介於0與100秒之間。
14.如權利要求9所述的裝置，其特徵在於，語音信號的結束(E)之處確定為在有限頻帶能量平滑值的方差低於方差下閾值之前的最後一次有限頻帶能量平滑值低於能量閾值的地方。
15.如權利要求1所述的裝置，其特徵在於，所述根據有限頻帶能量平滑值的方差和有限頻帶能量平滑值的先前歷程確定語音信號內語音開始和結束點的裝置包含精心設計的神經網絡。
16.如權利要求1所述的裝置，其特徵在於，如果在有限頻帶能量平滑值超過能量閾值之後的t秒內，有限頻帶能量平滑值的方差沒有超出方差上閾值，則放棄語音的開始點。
17.如權利要求16所述的裝置，其特徵在於t介於0與100秒之間。
18.識別輸入信號內語音的裝置，其特徵在於包含接收語音信號的裝置、確定信號內語音開始和結束之處的裝置以及確定信號內語音開始與結束之間語音內容的裝置，確定語音開始和結束點的裝置經過改進後包含用於確定輸入信號內有限頻帶能量平滑值數值的裝置；用於確定所述有限頻帶能量平滑值的方差的裝置；以及用於根據所述有限頻帶能量平滑值的方差和所述有限頻帶能量平滑值的先前歷程確定語音信號內語音的開始和結束點的裝置。
19.一種檢測輸入信號x(t)內語音的裝置，其特徵在於包含用於確定所述輸入信號內有限頻帶能量平滑值的方差的裝置；以及用於根據所述有限頻帶能量平滑值的方差和有限頻帶能量平滑值先前歷程確定信號內語音的開始和結束點的語音間隔確定裝置。
20.如權利要求19所述的裝置，其特徵在於所述有限頻帶的能量平滑值來自經過傅利葉變換的輸入信號。
21.如權利要求19所述的裝置，其特徵在於，所述的方差由一段間隔為m秒的連續時間內的有限頻帶能量平滑值確定。
22.如權利要求21所述的裝置，其特徵在於m介於0與10秒之間。
23.如權利要求1所述的裝置，其特徵在於，通過保持m秒內有限頻帶能量平滑值之和與所述m秒內有限頻帶能量平滑值的平方之和確定有限頻帶能量平滑值的方差，為了確定新的方差，通過加上最新的有限頻帶能量平滑值的平方並減去m秒之前的有限頻帶能量平滑值的平方更新有限頻帶能量平滑值的平方和，通過加上最新的有限頻帶能量平滑值並減去m秒之前的有限頻帶能量平滑值更新有限頻帶能量平滑值。
24.如權利要求1所述的裝置包含一個信號記錄儀，其特徵在於，所述信號記錄裝置包含接收信號的裝置；存儲最近m秒信號的裝置；以及選取對應於由權利要求1所述的裝置確定的開始和結束點的存儲信號部分的裝置。
25.如權利要求1所述的裝置包含信號記錄裝置，其特徵在於所述信號記錄裝置包含接收信號的裝置；存儲最近m秒信號的裝置；以及在接收信號的同時選取z秒前信號部分的裝置，其中z由權利要求1的裝置確定。
26.如權利要求25所述的裝置，其特徵在於z介於0與100秒之間。
27.如權利要求25所述的裝置，其特徵在於m大於或等於零秒。
28.如權利要求1所述的裝置，其特徵在於，所述用於確定信號內有限頻帶能量平滑值數值的裝置包含計算有限頻帶能量的裝置；以及將平滑函數應用於有限頻帶能量值以產生有限頻帶能量平滑值的裝置。
29.如權利要求28所述的裝置，其特徵在於，所述用於對有限頻帶能量值進行平滑的裝置包含計算有限頻帶能量值最新中間值的裝置。
30.如權利要求28所述的裝置，其特徵在於，所述用於對有限頻帶能量值進行平滑的裝置包含計算有限頻帶能量值最新平均值的裝置。
31.如權利要求28所述的裝置，其特徵在於，所述用於對有限頻帶能量值進行平滑的裝置包含採用抑制有限頻帶能量值快速變化的濾波器的裝置。
全文摘要
本發明涉及一種根據輸入信號內有限頻帶能量平滑值的方差和有限頻帶能量平滑值的先前歷程確定信號內語音的開始和結束點的裝置。利用這種方差可以在信號信噪比較高的情況下進行檢測，並且在音樂、馬達聲、背景噪聲等一系列場合下精確檢測出語音。採用現成的硬體連同高速專用數位訊號處理器集成電路可以很容易地實現這種裝置。
文檔編號G10L11/00GK1131472SQ9419343
公開日1996年9月18日 申請日期1994年7月18日 優先權日1994年7月18日
發明者B·K·萊維斯 申請人:松下電器產業株式會社, 語言技術實驗室