使用聲學特徵矢量修正的分布式語音識別系統的製作方法
2023-12-08 23:01:56
專利名稱：使用聲學特徵矢量修正的分布式語音識別系統的製作方法
背景領域本發明涉及語音信號處理。說得更詳細些，本發明涉及使用聲學特徵矢量修正的分布式語音識別的新穎方法和系統。
背景語音識別代表著把模擬智能賦予機器以識別用戶的語音命令以及便於人與機器聯繫的最為重要的技術之一。使用一些技術從聲學語音信號中恢復語言消息的系統稱為語音識別(VR)系統。
圖1示出基本的VR系統，它具有預加重濾波器102、聲學特徵提取(AFE)單元104和模式匹配引擎110。AFE單元104把一系列的數字語音樣本轉換成被稱為聲學特徵矢量的一組測量值(例如，提取的頻率分量)。模式匹配引擎110把包含在VR聲學模型112中的模式與一系列聲學特徵矢量相匹配。VR模式匹配引擎通常使用本領域內公知的維特比(Viterbi)解碼技術。當從聲學模型112識別一系列模式時，對此系列進行分析以得出想要的輸出格式，譬如相應於輸入發言的經識別的語言學單詞序列。
可以把聲學模型112描述為從各種語音聲音和相關統計分布信息中提取的聲學特徵矢量的資料庫。這些聲學特徵矢量模式相應於短的語音分段，諸如音素、三單音和全字模型。「訓練」指的是為了產生聲學模型112中的模式而採集來自一個或多個說話者的特殊語音分段或音節的語音採樣的過程。「測試」指的是把從終端用戶語音樣本提取的一系列聲學特徵矢量與聲學模型112的內容進行相關的過程。給定系統的性能在很大程度上取決於終端用戶的語音與資料庫內容間的相關程度。
比較理想的是，終端用戶在訓練和測試期間都提供語音聲學特徵矢量，從而使聲學模型112將與終端用戶進行高度語音匹配。然而，由於聲學模型112一般必須代表大量語音分段的模式，因此它時常佔有大量的內存。此外，收集來自所有可能說話者的聲學模型所需的所有數據是不切實際的。因此，許多現有的VR系統使用用許多代表性說話者訓練的聲學模型。如此設計這些模型，使之對於大量的用戶具有最好的性能，但不對任何單個用戶進行優化。在使用這樣一個聲學模型的VR系統中，其識別一個特殊用戶的語音的能力將比使用對該特殊用戶優化的聲學模型的VR系統來識別該特殊用戶的語音的能力差。對於某些用戶，諸如具有濃重的外來口音的用戶而言，使用共享的聲學模型的VR系統的性能可能很差，以至他們完全不能有效地使用VR服務。
自適應是一種減輕由於訓練和測試條件不匹配引起的識別性能劣化的有效方法。在測試期間，自適應修正VR聲學模型以與測試環境緊密匹配。，諸如最大似然線性回歸和貝葉斯(Bayes)自適應等這些自適應方案中的數種方案是本領域中公知的。
當語音識別任務的複雜性增加時，在無線裝置中容納整個識別系統也變得更加困難。因此，位於中央通信中心的一個共享的聲學模型對於所有的用戶提供聲學模型。中央基站也對在計算上花費很大的聲學匹配負責。在分布VR系統中，聲學模型由許多個說話者共享，因而不能對任何單個的說話者進行優化。因此，在本領域中需要這樣一種VR系統，它既對多個單獨的用戶具有改進的性能又減少了所需的計算資源。
概述這裡揭示的方法和設備引向一種新穎和改進的分布語音識別系統，在該系統中使用了依賴於說話者的處理，以在語音識別模式匹配之前變換聲學特徵矢量。按照具有根據說話者而改變的參數的變換函數，按照使用一種自適應模型的中間模式匹配處理的結果，或按照它們二者，進行依賴於說話者的處理。可以在移動站，在通信中心，或在二者的組合中進行依賴於說話者的處理。也可以在語音識別模式匹配前使用依賴於環境的處理對聲學特徵矢量進行變換。可以修正聲學特徵矢量以適應運行的聲學環境(環境噪聲、話筒的頻率響應、等等)的改變。也可以在移動站，在通信中心，或在二者的組合中進行依賴於環境的處理。
這裡使用「示範的」一詞來表示「用作例子、情況或說明」。不必把作為「示範的實施例」描述的任何實施例認作是較佳實施例或者比另外的實施例更有利。
附圖簡述通過下面結合附圖的詳細描述將使得現在揭示的方法和設備的特徵、目的和優點變得更加明顯，附圖中的相同的附圖標記始終對應相同的組成部分，其中圖1示出基本的語音識別系統；圖2示出按照一個示範實施例圖3示出進行分布VR的一種方法的流程圖，其中聲學特徵矢量修正以及特徵矢量修正函數的選擇完全在移動站內發生；圖4示出進行分布VR的一種方法的流程圖，其中聲學特徵矢量修正以及特徵矢量修正函數的選擇完全在通信中心內發生；圖5示出進行分布VR的一種方法的流程圖，其中使用中央聲學模型以優化特徵矢量修正函數或自適應模型。
詳述在標準的語音識別器中，無論在識別中還是在訓練中，大多數的計算複雜性集中在語音識別器的模式匹配子系統中。在無線系統的上下文中，為了把由語音識別應用所消費的經空中的帶寬減至最小，語音識別器是作為分布系統來實施的。此外，分布VR系統避免了由於語音數據的有耗源編碼而造成的性能劣化，這在諸如使用聲碼器時常出現。這樣一種分布的構造在名為「分布語音識別系統」的第5,956,683號美國專利中有詳細的描述，該專利轉讓給了本發明的受讓人，並在這裡稱為′683專利。
在一個示範的無線通信系統中，諸如在數字無線電話系統中，通過在行動電話或移動站中的擴音器接收用戶語音信號。然後把模擬語音信號進行數字取樣以產生數字樣本流，例如每秒鐘8000個8位語音樣本。直接把語音樣本經無線信道發送是很不經濟的，因此一般在傳送之前把信息加以壓縮。通過稱之為語音編碼(vocoding)的技術，聲碼器把語音樣本流壓縮為一系列小得多的聲碼器包。然後通過無線信道發送較小的聲碼器包而不是它們所代表的語音樣本。然後由無線基站接收聲碼器包，然後進行語音解碼以產生語音樣本流，然後通過揚聲器提供給聆聽者。
聲碼器的一個主要目的是儘可能壓縮說話者的語音樣本，同時使得聆聽者在對語音樣本進行語音解碼時能夠明白髮言。聲碼器算法一般是有耗壓縮算法，從而經語音解碼的語音樣本與原先語音編碼的樣本不嚴格匹配。此外，時常對聲碼器算法進行優化，這樣儘管在通過無線信道的傳輸中丟失一個或多個聲碼器包，仍能產生可以理解的經語音解碼的發言。這種優化能夠導致輸入聲碼器的語音樣本和由語音解碼得到的結果之間進一步的失配。一般，由於語音編碼和語音解碼的語音樣本的變更使得語音識別算法的性能變壞，雖然變壞的程度在不同的聲碼器算法之間變化很大。
在′683專利描述的系統中，遠端站完成聲學特徵提取並且經無線信道發送聲學特徵矢量而不是聲碼器包至基站。由於聲學特徵矢量佔用的帶寬要比聲碼器包小一些，因此能夠通過相同的無線信道以更強的抗通信信道差錯能力(例如，使用前向糾錯(FEC)技術)發送聲學特徵矢量。當使用依賴於說話者的特徵矢量修正函數對特徵矢量作如下所述的進一步的優化時，能夠實現的VR性能甚至超出了在′683專利中描述的基本系統的性能。
圖2示出按照一個示範的實施例的分布VR系統。聲學特徵提取(AFE)在遠端站202內發生，而通過無線信道206傳送聲學特徵矢量至基站和VR通信中心204。本領域的技術人員將理解，這裡描述的技術同樣可以應用於一個不包含無線信道的VR系統。
在所示的實施例中，來自用戶的語音信號在擴音器(MIC)210中轉換成電信號，而在模一數轉換器(ADC)212中轉換成數字語音樣本。然後用預加強(PE)濾波器214(例如，衰減低頻信號分量的有限脈衝響應(FIR)濾波器)對於數字樣本流進行濾波。
然後在AFE單元216中分析經過濾波的樣本。AFE單元216把數字語音樣本轉換為聲學特徵矢量。在示範的實施例中，AFE單元216對一段連續的數字樣本進行富裡葉(Fourier)變換，以產生相應於不同的頻率箱的信號強度矢量。在示範的實施例中，頻率箱按照巴克標尺(bark scale)具有不同的帶寬。在巴克標尺中，每個頻率箱的帶寬與該箱的中心頻率有這樣的關係，從而頻率較高的頻率箱比頻率較低的頻率箱有較寬的頻帶。在Rabiner，L.R.和Juang，B.H.所著的《語音識別基礎》(Prentice Hall出版社，1993年)中描述了巴克標尺，它在本領域中是公知的。
在示範的實施例中，每個聲學特徵矢量是在固定的時間間隔內從一系列語音樣本中提取的。在示範的實施例中，這些時間間隔是重疊的。例如，聲學特徵可以從每隔10毫秒開始的時間間隔為20毫秒的語音數據獲得的，這樣每兩個連續的時間間隔共享10毫秒的分段。本領域的技術人員理解，可以用非重疊的或具有不固定的持續時間的時間間隔來取代所述的時間間隔而不偏離這裡描述的實施例的範圍。
由AFE單元216產生的每個聲學特徵矢量(在圖12中用X來表示)提供給自適應引擎224，它完成模式匹配以根據自適應模型228的內容來表徵聲學特徵矢量。根據模式匹配的結果，自適應引擎224從存儲器227中選出一組特徵矢量修正函數f中的一個並且用它來產生經修正的聲學特徵矢量f(X)。
這裡用X來描述單個聲學特徵矢量或者一系列連續的聲學特徵矢量。類似地，用f(X)來描述單個經修正的聲學特徵矢量或一系列連續的經修正的聲學特徵矢量。
在示範的實施例中，並且如圖2所示，於是在無線數據機218中調製經修正的矢量f(X)，通過無線信道206傳送它，並在通信中心204內的無線數據機230中對其進行解調，再由中央VR引擎234把它對照中央聲學模型238進行匹配。無線數據機218、230和無線信道206可以使用包括CDMA、TDMA或FDMA等多種無線接口中的任何接口。此外，無線數據機218、230可以用其他類型的經非無線通信信道通信的通信接口來代替而不偏離所描述的實施例的範圍。例如，遠端站202可以通過多種類型的通信信道(包括陸上通信線數據機、T1/E1、ISDN、DSL、乙太網或者甚至是在印刷電路板(PCB)上的線路)任何通信信道與通信中心204通信。
在示範的實施例中，對於特殊的用戶或說話者優化矢量修正函數f，並且如此設計該函數，使得當把它對照中央聲學模型238(它由多個用戶共享)進行匹配時，正確識別發言的可能性達到最大。遠端站202中的自適應模型228要比中央聲學模型238小得多，使得有可能保持對特殊用戶優化的單獨的自適應模型228。用於一個或多個說話者的特徵矢量修正函數f的參數也小得足以存儲在遠端站202的存儲器227中。
在示範的實施例中，在存儲器227中還存儲著依賴於環境的特徵矢量修正函數的一組附加參數。依賴於環境的特徵矢量修函數的選擇和優化更具有全局性，因此可以在每個呼叫期間進行。很簡單的依賴於環境的特徵矢量修正函數的一個例子是對每個聲學特徵矢量施加一個恆定的增益k以適應有噪聲的環境。
矢量修正函數f可以具有數種形式中的任何形式。例如，矢量修正函數f可以是形如AX+b的仿射變換。或者，矢量修正函數f可以是一組有限脈衝響應(FIR)濾波器。對於本領域的技術人員而言，其他形式的矢量修正函數f是顯而易見的，因此它們在這裡描述的實施例的範圍之內。
在示範的實施例中，根據一組連續的聲學特徵矢量來選擇矢量修正函數f。例如，為了確定自適應模型228中的聲學特徵矢量流與多個發言模式之間的相關度，自適應引擎224可以應用Viterbi解碼或網格解碼技術。一旦檢測到高的相關度，就根據檢測到的模式選擇矢量修正函數f並把它應用於聲學特徵矢量的相應的分段。這種方法要求自適應引擎224存儲一系列聲學特徵矢量，並在選擇要施加至每個聲學特徵矢量的f之前完成該系列對照自適應模型228的模式匹配。在示範的實施例中，自適應引擎保持未修正的聲學特徵矢量的彈性緩衝器，然後在傳送之前把選出的f施加至彈性緩衝器的內容。把彈性緩衝器的內容與自適應模型228中的模式進行比較，而對於與彈性緩衝器的內容有最大相關度的模式產生最大相關性度量。把這個最大相關性與一個或多個閾值作比較。如果最大相關性超過檢測閾值，則把與最大相關性有關的模式相對應的f施加至緩衝器中的聲學特徵矢量並加以傳送。如果在最大相關性超過檢測閾值之前彈性緩衝器已滿，則不作修正地傳送彈性緩衝器的內容或者用默認的f來修正。
可以用許多方法中的任何方法來完成f的依賴於說話者的優化。在第一示範實施例中，控制處理器222監視用戶發言與自適應模型228在多個發音上的相關度。當控制處理器222確定f的改變將改善VR性能時，則它修正f的參數並且把新的參數存儲在存儲器227中。另一種做法是，控制處理器222可以直接修正自適應模型228以提高VR性能。
如圖2所示，遠端站202可以額外包括單獨的VR引擎220和遠端站聲學模型226。由於存儲器的容量有限，遠端站202(諸如無線電話)中的遠端站聲學模型226一般必須很小，因此限於少量的短語或音素。另一方面，由於它包含在由少量用戶使用的遠端站中，為了提高VR性能，可以把遠端站聲學模型226對一個或多個特殊的用戶優化。例如，對於如「call」等詞語的語音模式以及十個阿拉伯數字中的每一個數字可以適合該電話的所有者。這樣一個局部的遠端站聲學模型226使得遠端站202對於一組很少的詞語具有很好的VR性能。此外，遠端站聲學模型226使得遠端站202不建立至通信中心204的無線鏈路就能完成VR。
通過監督學習或無監督學習可以發生f的優化。監督學習一般是指在用戶對於預定詞語或句子發音時發生的訓練，以對遠端站聲學模型進行準確優化。由於VR系統具有用作輸入的詞語或句子的在先的知識，因此在監督學習期間無需進行VR來識別預定的詞語和句子。一般認為監督學習是產生特殊用戶的聲學模型的最準確的方法。監督學習的一個例子是當用戶首次把十個阿拉伯數字的語音編程為遠端站202的遠端站聲學模型226。由於遠端站202具有與說這些數字相應的語音模式的在先知識，因此遠端站聲學模型226可以適應特殊用戶而使VR性能劣化的風險很小。
與監督學習相反，無需具有語音模式或發音詞語的在先知識的VR系統即可發生無監督學習。由於有把發音與不正確的語音模式進行匹配的風險，因此必須以更為保守的方式進行基於無監督學習的遠端站聲學模型的修正。例如，可能出現了許多過去的發音，它們互相很相似，並且比任何其他的語音模式更接近聲學模型中的一個語音模式。如果所有的那些過去的發音正確地與模型中的一個語音模式相匹配，則能夠修正聲學模型中的一個語音模式以與一組類似的發音更接近地匹配。然而，如果許多那些過去的發音不與模型中的一個語音模式相對應，則修正該語音模式將使得VR性能變壞。最理想的是，VR系統能夠從用戶那裡收集到關於以往模式匹配準確性的反饋信息，但是時常得不到這種反饋信息。
遺憾的是，對於用戶而言監督學習是冗長的，因此用它來產生具有大量語音模式的聲學模型是不切實際的。然而，在優化一組矢量修正函數f，或者甚至在優化自適應模型228中的更有限的語音模式監督學習仍然是有用的。由用戶的濃重的口音造成的語音模式的差異是在其中可能需要監督學習的一個應用的例子。由於可能需要顯著修正聲學特徵矢量來補償一種口音，因此非常需要準確的修正。
對於特殊的用戶也可使用無監督學習來優化矢量修正函數f，如果優化不容易成為VR差錯的直接原因。例如，為適應一個元音區的長度或平均元音pitch較長的說話者而對矢量修正函數f的調整要比為補償口音而需的調整更具有全局性。對這些全局的矢量的修正可能失準較為嚴重，但這對VR的效力並不產生劇烈的影響。
一般，自適應引擎224隻使用小的自適應模型228來選擇矢量修正函數f，而不作全部的VR。由於其規模小，因此類似地自適應模型228也不適合作訓練以優化自適應模型228或矢量修正函數f。為改進說話者的語音數據與自適應模型228的匹配程度而出現的自適應模型228或矢量修正函數f的調整實際上可能使對照較大的中央聲學模型238的匹配程度變壞。由於中央聲學模型238是一種實際用於VR的模型，這樣的調整將是錯誤而不是優化。
在示範的實施例中，當使用無監督學習以修正自適應模型228或矢量修正函數f時，遠端站202與通信中心204合作。根據改進的對照中央聲學模型238的匹配，作出是修正自適應模型228還是矢量修正函數f的決定。例如，遠端站202可以發送多組聲學特徵矢量、未經修正的聲學特徵矢量X和經修正的聲學特徵矢量f(X)至通信中心204。另一種做法，遠端站202可以發送經修正的聲學特徵矢量f1(X)和f2(X)，這裡f2是試驗性的經修正的特徵矢量修正函數。在另一個實施例中，遠端站202發送X以及兩個特徵矢量修正函數f1和f2的參數。根據固定的時間間隔，遠端站202可以發送是否發送第二組信息至通信中心204的多組決定。
在接收到多組聲學特徵信息(它們可以是經修正的聲學特徵矢量或特徵矢量修正函數)之後，通信中心204使用其自己的VR引擎234和中央聲學模型238估計最終的經修正的聲學特徵矢量的匹配程度。然後通信中心204把信息送回遠端站202以指出此改變是否導致VR性能的提高。例如，通信中心204把對於每組聲學特徵矢量的語音模式相關性度量送回遠端站202。一組聲學遏制矢量的語音模式相關性度量指出了一組聲學特徵矢量與中央聲學模型238的相關度。根據兩組矢量之間的相關度的比較，遠端站202可以調整其自適應模型228或者調整一個或多個特徵矢量修正函數f。遠端站202可以規定使用哪個將用於實際識別詞語的矢量組，或者通信中心204可以根據相關性度量來選擇矢量組。在另一個實施例中，遠端站202在從通信中心204接收到最後的相關性度量之後識別將要用於VR的聲學特徵矢量組。
在另一個實施例中，遠端站202使用其自己的本地自適應引擎224和自適應模型228來識別特徵矢量修正函數f，並且把未修正的聲學特徵矢量X連同f送至通信中心204。然後通信中心204把f應用於X並使用經修正的和未修正的矢量進行測試。然後通信中心204把測試結果送回遠端站202，使遠端站202能更準確地調整特徵矢量修正函數。
在另一個實施例中，自適應引擎224和自適應模型228被合併在通信中心204內，而不是在遠端站202內。通信中心204內的控制處理器232通過數據機230接收未修正的聲學特徵矢量流，並且把它們提供給通信中心204內的自適應引擎和自適應模型。根據此中間模式匹配的結果，控制處理器232從存儲在通信中心存儲器236內的資料庫選出一個特徵矢量修正函數。在示範的實施例中，通信中心存儲器236包含有相應於特定用戶的特徵矢量修正函數f組。如上所述，這可以增添或替代存儲在遠端站202中的特徵矢量修正函數信息。通信中心204能夠使用許多種說話者識別信息中的任何信息來識別特殊的說話者，該說話者提供從其提取特徵矢量的語音數據。例如，用來選擇一組特徵矢量修正函數的說話者識別信息可以是無線信道206相對端的無線電話移動識別號(MIN)。另一種做法是，為了加強VR服務的目的，用戶可以鍵入口令以識別本人。此外，基於語音數據的測量，在無線電話呼叫期間可以使依賴於環境的特徵矢量修正函數自適應和應用它。也可以使用許多其他的方法來選擇一組依賴於說話者的矢量修正函數而不偏離這裡描述的實施例的範圍。
本領域的技術人員也將理解可以把遠端站202內的多個模式匹配引擎220、224加以組合而不偏離這裡描述的實施例的範圍。此外，也可以把遠端站202內的不同的聲學模型226、228類似地加以組合。還有，可以把以一個或多個模式匹配引擎220、224合併入遠端站202的控制處理器222。也可以把一個或多個聲學模型226、228合併入由控制處理器222使用的存儲器227。
如果自適應引擎(未示出)在通信中心204中存在的話，中央語音模式匹配引擎234可以與之相組合而不偏離這裡描述的實施例的範圍。此外，中央聲學模型238可以與一個自適應模型(未示出)相組合。還有，如果中央語音模式匹配引擎234和自適應引擎(未示出)在通信中心存在的話，則可以把它們之中的任何一個或兩者都合併入通信中心204的控制處理器232。如果中央聲學模型238和自適應模型(未示出)在通信中心204存在的話，則可以把它們之中的任何一個或兩者都合併入通信中心204的控制處理器232。
圖3是進行分布VR方法的流程圖，這裡，根據對於遠端自適應模型的收斂性，X和f的改變完全出現在遠端站202中。在步驟302，遠端站202對來自擴音器的模擬語音信號取樣以產生數字語音樣本。在步驟304，例如使用如上所述的預加強濾波器接著對語音樣本進行濾波。在步驟306，從經濾波的語音樣本提取聲學特徵矢量X流。如上所述，可以從持續時間為固定或可變的語音樣本的重疊或不重疊的間隔提取聲學特徵矢量。
在步驟308，遠端站202進行模式匹配以確定聲學特徵矢量流和在自適應模型中容納的多個模式(諸如圖2中的228)之間的相關度。在步驟310，遠端站202選擇與聲學特徵矢量X流最接近匹配的自適應模型中的模式。被選中的模式稱為目標模式。如上面所討論的，可以把X和目標模式之間的相關度對照檢測閾值作比較。如果相關度大於檢測閾值，則遠端站202選擇與該目標模式相應的特徵矢量修正函數f。如果相關度小於檢測閾值，則遠端站或是選擇這樣的聲學特徵矢量特性函數，從而f(X)＝X，或者選擇某個默認的f。在一個示範的實施例中，遠端站20從特徵矢量修正函數的本地資料庫中選出一個特徵矢量修正函數f，特徵矢量修正函數與在其本地自適應模型中的各種模式相對應。遠端站202把選出的特徵矢量修正函數f應用於聲學特徵矢量X流，於是產生f(X)。
在示範的實施例中，遠端站202產生指出X和目標模式之間的性程度的相關性度量。遠端站202還產生指出f(X)和目標模式之間的性程度的相關性度量。在不監督學習的一個例子中，遠端站202使用兩個相關性度量以及以往的相關性度量值，以在步驟314確定是否修正一個或多個特徵矢量修正函數f。如果在步驟314作出修正f的決定，則在步驟316修正f。在示範的實施例中，在步驟318立即把經修正的f應用於X以形成新的經修正的聲學特徵矢量f(X)。在另一個實施例中，省去步驟318，而新的特徵矢量修正函數f直到下一組聲學特徵矢量X出現時才生效。
如果在步驟318或者在其後的步驟316和318作出不修正f的決定，則在步驟320遠端站202把當前的f(X)通過無線信道206傳送至通信中心204。然後在步驟322在通信中心內發生VR模式匹配。
在另一個實施例中，在VR模式匹配步驟322通信中心204產生語音模式相關性度量並且把這些度量送回到遠端站302以幫助f的優化。可以用多種方法中的任何方法來格式化語音模式相關性度量。例如，通信中心204可以返回一個聲學特徵矢量修正誤差函數fE，它可應用於f(X)以與在中央聲學模型中找到的一個模型產生嚴格的相關。另一種做法是，通信中心204可以只返還一組與在中央聲學模型中的一個或一些目標模式相應的聲學特徵矢量，發現這些模式與f(X)有最高的相關度。或者，通信中心204能返回分支度量，它是從用於選擇目標模式的硬判決或軟判決Viterbi解碼過程導出的。語音模式相關性度量也可以包括這些類型的信息的組合。然後由遠端站202在優化f時使用這個返回的信息。在示範的實施例中，省略在步驟318的再產生f，而遠端站202在接收到來自通信中心204的反饋之後進行f的修正(步驟314和316)。
圖4是示出進行分布VR的方法的流程圖，這裡，根據對於遠端自適應模型的收斂性，X和f的改變完全出現在通信中心204中。在步驟402，遠端站202對來自擴音器的模擬語音信號取樣以產生數字語音樣本。在步驟404，例如使用如上所述的預加強濾波器接著對語音樣本進行濾波。在步驟406，從經濾波的語音樣本提取聲學特徵矢量X流。如上所述，可以從持續時間為固定或可變的語音樣本的重疊或不重疊的間隔提取聲學特徵矢量。
在步驟408，遠端站202通過無線信道206傳送未修正的聲學特徵矢量X流。在步驟410，通信中心204進行自適應模式匹配。如上所述，可以使用單獨的自適應模型或者使用大的中央聲學模型238進行自適應模式匹配。在步驟412，通信中心204在自適應模型中選擇與聲學特徵矢量X流最接近匹配的模式。被選中的模式稱為目標模式。如上面所討論的，如果X和目標模式之間的相關性超出閾值，則選擇與該目標模式相應的f。否則，選擇默認的f或零f。在步驟414，把選出的特徵矢量修正函數f應用於聲學特徵矢量X流，以形成經修正的聲學特徵矢量f(X)流。
在示範的實施例中，從位於通信中心204的打的特徵矢量修正函數資料庫的子組選擇特徵矢量修正函數f。對於選擇有用的特徵矢量修正函數的子組是依賴於說話者的，從而使用中央聲學模型(諸如圖2中的238)的模式匹配在用f(X)比用X作為輸入時更加準確。如上所述，通信中心204可以如何選擇依賴於說話者的特徵矢量修正函數的子組的例子包括使用說話者的無線電話的MIN或者由說話者輸入的口令。
在示範的實施例中，通信中心204對於X和目標模式之間以及f(X)和目標模式之間的相關性產生相關性度量。然後在步驟416，通信中心204使用兩個相關性度量連同以往的相關性度量值來確定是否修正一個或多個特徵矢量修正函數f。如果在步驟416作出修正f的決定，則在步驟418修正f。在示範的實施例中，在步驟420立即把經修正的f應用於X以形成新的經修正的聲學特徵矢量f(X)。在另一個實施例中，省去步驟420，而新的特徵矢量修正函數f直到下一組聲學特徵矢量X出現時才生效。
如果在步驟416或者在其後的步驟418和420作出不修正f的決定，則在步驟422，通信中心204使用中央聲學模型238進行VR模式匹配。
圖5示出進行分布VR的方法的流程圖，其中使用通信中心204內的中央聲學模型來優化特徵矢量修正函數或自適應模型。在示範的實施例中，遠端站202和通信中心204在需要時交換信息，並且相互合作，使特徵矢量修正函數的優化達到最高的準確度。在步驟402，遠端站202對來自擴音器的模擬語音信號取樣以產生數字語音樣本。
在步驟502，遠端站202對來自擴音器的模擬語音信號取樣以產生數字語音樣本。在步驟504，例如使用如上所述的預加強濾波器接著對語音樣本進行濾波。在步驟506，從經濾波的語音樣本提取聲學特徵矢量X流。如上所述，可以從持續時間為固定或可變的語音樣本的重疊或不重疊的間隔提取聲學特徵矢量。
在步驟508，遠端站202進行模式匹配以確定聲學特徵矢量流和和包含在自適應模型中的多個模式(諸如圖2中的228)之間的相關度。在步驟510，遠端站202在自適應模型中選擇與聲學特徵矢量X流最接近匹配的模式。被選中的模式稱為目標模式。如上面所討論的，如果X和目標模式之間的相關性超出閾值，則選擇與該目標模式相應的第一特徵矢量修正函數f1。否則，選擇默認的f或零f。相應於在其本地自適應模型中的各種模式，遠端站202從本地的特徵矢量修正函數資料庫選擇特徵矢量修正函數f。在步驟512，遠端站202把選出的特徵矢量修正函數f應用於聲學特徵矢量X流，於是產生f(X)。
與結合圖3和圖4描述的方法形成對照，在步驟514，遠端站通過信道206送出兩組聲學特徵矢量f1(X)和f2(X)至通信中心204。在步驟506，通信中心204使用f1(X)作為輸入對照其中央聲學模型進行模式匹配。作為這個VR模式匹配的結果，通信中心204識別與f1(X)具有最大相關度的一個或一組目標模式。在步驟518，通信中心204產生指出f1(X)與目標模式的相關度的第一語音模式相關性度量以及指出f2(X)與目標模式的相關度的第二語音模式相關性度量。
雖然為進行對照中央聲學模型的模式匹配使用了兩組聲學特徵矢量，但對於實際的VR只使用一組。於是，遠端站202能夠估計建議的特徵矢量修正函數的性能而沒有料想不到的劣化性能的風險。還有，當優化f時，遠端站202完全無需依靠其小的本地的自適應模型。在另一個實施例中，對於f2(X)遠端站202可以使用零函數，從而f2(X)＝X。這個方法允許遠端站202對照達到的VR性能證實f的性能而不進行聲學特徵矢量修正。
在步驟520，通信中心204通過無線信道206把兩個語音模式相關性度量送回遠端站202。在步驟522，根據接收到的語音模式相關性度量，遠端站202決定是否在步驟524修正f1(X)。可以根據一組語音模式相關性度量或者可以根據一組語音模式相關性度量(它們與來自本地自適應模型的相同的語音模式有關)來確定是否在步驟522修正f1(X)。如上面所討論的，語音模式相關性度量可以包括這樣的信息，如聲學特徵矢量修正誤差函數fE、相應於中央聲學模型中與f(X)有最高相關度的模式或者Viterbi解碼分支度量。
本領域的技術人員將理解，上面描述的技術同樣可以應用於各種類型的無線信道206中的任何無線信道。例如，無線信道206(因而數據機218，230)可以使用碼分多址(CDMA)技術、模擬蜂窩、時分多址(TDMA)或其他類型的無線信道。另一種做法是，信道206可以是除了無線信道之外的一種信道，包括但不限於光、紅外和乙太網信道。在又一個實施例中，把遠端站202和通信中心204組合成單個系統，在使用中央聲學模型238進行VR測試之前，該系統完全避免信道206進行依賴於說話者的聲學特徵矢量的修正。
本領域的技術人員將明白，使用許多種技術中的任何技術可以表示信息和信號。例如，在上面的描述中可以被引用的數據、指令、命令、信息、信號、位、碼元和碼片可以用電壓、電流、電磁波、磁場或粒子、光場和粒子或者它們的任何組合來表示。
本領域的技術人員還將理解，針對這裡揭示的實施例描述的各種示範的邏輯塊、模塊、電路和算法步驟可以作為電子硬體、計算機軟體或者它們的組合而實施。為了清楚地描述硬體和軟體的可互換性，一般已經在上面按其功能描述了各種示範的元件、塊、模塊、電路和步驟。該功能是作為硬體還是軟體來實施取決於特殊的應用和加在整個系統上的設計約束。對於每個特殊的應用，本領域的技術人員可以用不同的方法來實施所描述的功能，但不應把這些實施決定解釋為造成偏離本發明的範圍。
針對這裡揭示的實施例描述的各種說明性的邏輯塊、模塊和電路可以用通用處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA)或其他可編程邏輯器件、分立的門或電晶體邏輯、分立的硬體元件或者設計例完成這裡描述的功能的它們的任何組合來實施或完成。通用處理器可以是微處理器，但在其他場合，處理器可以是任何傳統的處理器、控制器、微控制器或狀態機。處理器也可以作為計算裝置的組合(例如DSP和微處理器、多個微處理器、一個或多個微處理器與一個DSP核心或者任何其他這樣的構造的組合)來實施。
針對這裡揭示的實施例描述的方法或算法的步驟可以直接用硬體、用由處理器執行的軟體模塊或者兩者的組合來實施。軟體模塊可以駐留在RAM存儲器、快閃記憶體存儲器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可拆卸盤、CD-ROM或本領域中公知的任何其他形式的存儲媒體中。把一個示範的存儲媒體耦合至處理器，該處理器能夠從該存儲媒體讀信息並把信息寫至該存儲媒體中。在另一個例子中，可以把存儲媒體合併至處理器。處理器和存儲媒體可以駐留在ASIC中。ASIC可以駐留在遠端站中。在另一個例子中，處理器和存儲媒體可以作為分立元件駐留在遠端站中。
提供了上述對於所揭示的實施例的描述，以使本領域中的任何技術人員能夠做出或使用本發明。對於本領域的技術人員而言，對這些實施例的各種變更是很明顯的，可以把在這裡確定的一般原理應用於其他的實施例而不偏離本發明的精神和範圍。這樣，不打算把本發明局限於在這裡示出的實施例，而是打算使在這裡揭示的原理和新特徵與最廣的範圍相符合。
權利要求
1.一種語音識別系統，包括一個包含聲學模式信息的自適應模型；以及一個自適應引擎，用於聲學特徵矢量與聲學模式信息的模式匹配，以識別選出的特徵矢量修正函數。
2.如權利要求1所述的語音識別系統，其特徵在於進一步構造自適應引擎以將選出的特徵矢量修正函數應用於聲學特徵矢量，以產生一組經修正的聲學特徵矢量。
3.如權利要求1所述的語音識別系統，其特徵在於還包括語音識別引擎，用於把該組經修正的聲學特徵矢量與聲學模型進行匹配。
4.如權利要求1所述的語音識別系統，其特徵在於還包括控制處理器，用於評估選出的特徵矢量修正函數的性能以及根據評估來調整選出的特徵矢量修正函數。
5.如權利要求1所述的語音識別系統，其特徵在於還包括存儲器，用於存儲相應於一組特徵矢量修正函數的至少一組參數，其中選出的特徵矢量修正函數是特徵修正函數組的一個部分。
6.如權利要求5所述的語音識別系統，其特徵在於所述存儲器包含相應於一組特徵矢量修正函數的一組以上的參數，其中每組參數相應於一個特殊的說話者。
7.如權利要求5所述的語音識別系統，其特徵在於所述存儲器包含相應於一組特徵矢量修正函數的一組以上的參數，其中每組參數相應於一個不同的聲學環境。
8.一種語音識別系統，包括一個包含聲學模式信息的自適應模型；以及一個自適應引擎，用於進行聲學特徵矢量與聲學模式信息的模式匹配，以識別依賴於說話者的特徵矢量修正函數，並把依賴於說話者的特徵矢量修正函數應用於聲學特徵矢量。
9.一種語音識別系統，包括一個自適應引擎，用於分析聲學特徵矢量以識別選出的特徵矢量修正函數以及把選出的特徵矢量修正函數應用於聲學特徵矢量以產生一組經修正的聲學特徵矢量；一個聲學模型；以及一個語音識別引擎，用於把該組經修正的聲學特徵矢量與聲學模型進行匹配。
10.如權利要求9所述的語音識別系統，其特徵在於還包括自適應模型，其中所述自適應引擎通過把聲學特徵矢量與存儲在自適應模型中的聲學模型相匹配而對聲學特徵矢量進行分析。
11.如權利要求9所述的語音識別系統，其特徵在於還包括控制處理器，用於評估選出的特徵矢量修正函數的性能以及根據評估來調整選出的特徵矢量修正函數。
12.如權利要求9所述的語音識別系統，其特徵在於還包括存儲器，用於存儲相應於一組特徵矢量修正函數的至少一組參數，其中選出的特徵矢量修正函數是特徵修正函數組的一個部分。
13.如權利要求12所述的語音識別系統，其特徵在於所述存儲器包含相應於一組特徵矢量修正函數的一組以上的參數，其中每組參數相應於一個特殊的說話者。
14.如權利要求12所述的語音識別系統，其特徵在於所述存儲器包含相應於一組特徵矢量修正函數的一組以上的參數，其中每組參數相應於一個不同的聲學環境。
15.一種遠端站設備，包括一個包含聲學模式信息的自適應模型；以及一個自適應引擎，用於進行聲學特徵矢量對照聲學模式信息的模式匹配，以識別選出的特徵矢量修正函數，並把選出的特徵矢量修正函數應用於聲學特徵矢量以產生一組經修正的聲學特徵矢量。
16.如權利要求15所述的遠端站設備，其特徵在於還包括控制處理器，用於評估選出的特徵矢量修正函數的性能以及根據評估來調整選出的特徵矢量修正函數。
17.如權利要求15所述的遠端站設備，其特徵在於還包括存儲器，用於存儲相應於一組特徵矢量修正函數的至少一組參數，其中選出的特徵矢量修正函數是特徵修正函數組的一個部分。
18.如權利要求17所述的遠端站設備，其特徵在於所述存儲器包含相應於一組特徵矢量修正函數的一組以上的參數，其中每組參數相應於一個特殊的說話者。
19.如權利要求17所述的遠端站設備，其特徵在於所述存儲器包含相應於一組特徵矢量修正函數的一組以上的參數，其中每組參數相應於一個不同的聲學環境。
20.如權利要求15所述的遠端站設備，其特徵在於還包括通信接口，用於把經修正的聲學特徵矢量傳遞至通信中心。
21.一種語音識別通信中心設備，包括一個用於接收聲學特徵矢量的通信接口，其中聲學特徵矢量已經用特徵矢量修正函數修正過；一個包含聲學模式的聲學模型，其中不對單個說話者訓練聲學模型；一個語音識別引擎，用於把該組經修正的聲學特徵矢量與聲學模型相匹配；以及一個控制處理器，用於根據匹配來估計特徵修正函數。
22.一種語音識別通信中心設備，包括一個通信接口，用於至少從一個遠端站接收聲學特徵矢量和說話者識別信息；一個包含依賴於說話者的特徵矢量修正函數參數的存儲器；以及一個自適應引擎，用於進行聲學特徵矢量與聲學模型的模式匹配，根據模式匹配和說話者識別信息識別選出的依賴於說話者的特徵矢量修正函數，以及把選出的依賴於說話者的特徵矢量修正函數應用於聲學特徵矢量，以產生一組經修正的聲學特徵矢量。
23.如權利要求22所述的語音識別通信中心設備，其特徵在於所述自適應引擎還包括語音識別引擎，用於把該組經修正的聲學特徵矢量與中央聲學模型進行匹配，其中中央聲學模型不對單個說話者進行訓練。
24.如權利要求22所述的語音識別通信中心設備，其特徵在於還包括中央聲學模型，其中中央聲學模型不對單個說話者進行訓練，並且所述自適應引擎還被構造成對經修正的聲學特徵矢量組與中央聲學模型進行模式匹配。
25.如權利要求22所述的語音識別通信中心設備，其特徵在於還包括語音識別引擎，用於把經修正的聲學特徵矢量組與中央聲學模型進行匹配。
26.如權利要求22所述的語音識別通信中心設備，其特徵在於還包括控制處理器，用於評估選出的依賴於說話者的特徵矢量修正函數的性能以及根據評估來調整選出的依賴於說話者的特徵矢量修正函數的參數。
27.一種進行語音識別的方法，包括提取聲學特徵矢量；進行聲學特徵矢量與自適應模型的自適應模式匹配；根據自適應模式匹配選擇特徵矢量修正函數；把選出的特徵矢量修正函數應用於聲學特徵矢量以形成一組經修正的聲學特徵矢量；以及進行經修正的聲學特徵矢量組與聲學模型的語音識別模式匹配。
28.如權利要求27所述的方法，其特徵在於從一組依賴於說話者的特徵矢量修正函數中選出所述特徵矢量修正函數。
29.如權利要求28所述的方法，其特徵在於還包括根據自適應模式匹配來修正該組依賴於說話者的特徵矢量修正函數。
30.如權利要求28所述的方法，其特徵在於還包括根據語音識別模式匹配來修正依賴於說話者的特徵矢量修正函數組。
31.如權利要求27所述的方法，其特徵在於所述特徵矢量修正函數對於聲學環境是特定的。
32.一種進行語音識別的方法，包括在遠端站，進行聲學特徵矢量與存儲在遠端站中的自適應模型的自適應模式匹配；在遠端站，從存儲在遠端站中的特徵矢量修正函數信息中選擇特徵矢量修正函數，其中選擇特徵矢量修正函數是基於模式匹配的；在遠端站，把選出的特徵矢量修正函數應用於聲學特徵矢量，以形成一組經修正的聲學特徵矢量；以及從遠端站把經修正的聲學特徵矢量發送至通信中心。
33.如權利要求32所述的方法，其特徵在於所述特徵矢量修正函數信息是依賴於說話者的。
34.如權利要求32所述的方法，其特徵在於還包括根據自適應模式匹配來修正特徵矢量修正函數信息。
35.如權利要求32所述的方法，其特徵在於還包括根據從通信中心接收到的信息在遠端站處修正特徵矢量修正函數信息。
36.如權利要求32所述的方法，其特徵在於還包括在遠端站進行語音識別，其中所述進行語音識別包括進行經修正的聲學特徵矢量與存儲在遠端站中的聲學模型的語音識別模式匹配。
37.如權利要求36所述的方法，其特徵在於還包括根據語音識別模式匹配在遠端站處修正特徵矢量修正函數信息。
38.如權利要求32所述的方法，其特徵在於所述特徵矢量修正函數信息是依賴於環境的。
39.一種在包括至少一個遠端站和一個通信中心的系統中進行語音識別的方法，該方法包括在遠端站，提取聲學特徵矢量；從遠端站把聲學特徵矢量發送至通信中心；在通信中心，進行聲學特徵矢量與存儲在通信中心內的自適應模型的自適應模式匹配；在通信中心，從存儲在通信中心內的資料庫中選擇特徵矢量修正函數，其中選擇特徵矢量修正函數是基於自適應模式匹配的；在通信中心，把選出的特徵矢量修正函數應用於聲學特徵矢量，以形成一組經修正的聲學特徵矢量；以及在通信中心，進行該組經修正的聲學特徵矢量與存儲在通信中心內的聲學模型的語音識別模式匹配。
40.如權利要求39所述的方法，其特徵在於還包括，在通信中心處選擇一組依賴於說話者的特徵矢量修正函數，其中選出的特徵矢量修正函數是從該組依賴於說話者的特徵矢量修正函數中選出的。
41.如權利要求40所述的方法，其特徵在於還包括根據自適應模式匹配來修正該組依賴於說話者的特徵矢量修正函數。
42.如權利要求40所述的方法，其特徵在於還包括根據語音識別模式匹配來修正該組依賴於說話者的特徵矢量修正函數。
43.如權利要求40所述的方法，其特徵在於還包括從遠端站把說話者識別信息發送至通信中心，其中選擇一組依賴於說話者的特徵矢量修正函數是基於說話者識別信息的。
44.一種在包括至少一個遠端站和一個通信中心的系統中進行語音識別的方法，該方法包括在遠端站，提取聲學特徵矢量；在遠端站，進行未修正的聲學特徵矢量與存儲在遠端站內的自適應模型的自適應模式匹配；在遠端站，根據自適應模式匹配來選擇依賴於說話者的特徵矢量修正函數；在遠端站，把選出的特徵矢量修正函數應用於聲學特徵矢量，以形成一組經修正的聲學特徵矢量；從遠端站把經修正的聲學特徵矢量發送至通信中心；在通信中心，進行該組經修正的聲學特徵矢量與存儲在通信中心內的聲學模型的語音識別模式匹配。
45.如權利要求44所述的方法，其特徵在於還包括根據自適應模式匹配來修正選出的依賴於說話者的特徵矢量修正函數。
46.如權利要求44所述的方法，其特徵在於還包括從遠端站把未修正的聲學特徵矢量發送至通信中心；在通信中心，使用經修正的聲學特徵矢量和未修正的聲學特徵矢量來分析選出的依賴於說話者的特徵矢量修正函數；以及在遠端站，根據分析來修正選出的依賴於說話者的特徵矢量修正函數。
47.如權利要求44所述的方法，其特徵在於還包括根據語音識別模式匹配來修正該組依賴於說話者的特徵矢量修正函數。
48.一種語音識別系統，包括用於提取聲學特徵矢量的裝置；用於進行聲學特徵矢量與自適應模型的自適應模式匹配的裝置；用於根據自適應模式匹配來選擇特徵矢量修正函數的裝置；用於把選出的特徵矢量修正函數應用於聲學特徵矢量以形成一組經修正的聲學特徵矢量的裝置；以及用於進行該組經修正的聲學特徵矢量與聲學模型的語音識別模式匹配的裝置。
49.一種遠端站設備，包括用於進行聲學特徵矢量與存儲在遠端站內的自適應模型的自適應模式匹配的裝置；用於從存儲在遠端站內的特徵矢量修正函數信息中選擇特徵矢量修正函數的裝置，其中選擇特徵矢量修正函數是基於模式匹配的；用於把選出的特徵矢量修正函數應用於聲學特徵矢量以形成一組經修正的聲學特徵矢量的裝置；以及用於把經修正的聲學特徵矢量發送至通信中心的裝置。
全文摘要
語音識別系統在對照依賴於說話者的聲學模型(238)進行語音識別模式匹配之前把依賴於說話者的修正函數應用於聲學特徵矢量。自適應引擎(224)把一組聲學特徵矢量X與自適應模型(228)進行匹配，以選出依賴於說話者的特徵矢量修正函數f，然後把它應用於X以形成一組經修正的聲學特徵矢量f(X)。然後通過經修正的聲學特徵矢量f(X)與依賴於說話者的聲學模型(238)的相關來進行語音識別。
文檔編號G10L15/00GK1494712SQ02806068
公開日2004年5月5日 申請日期2002年1月30日 優先權日2001年1月31日
發明者C·張, N·馬拉亞, B·Y·雅福索, , C 張, 雅福索 申請人:高通股份有限公司