基於基狀態矢量加權的短語音說話人識別方法
2023-10-11 08:52:39 2
專利名稱：基於基狀態矢量加權的短語音說話人識別方法
技術領域：
本發明涉及語音識別技術領域，特別涉及一種基於基狀態矢量加權的短語音說話人識別方法。
背景技術：
說話人識別技術是指利用機器自動地從待測語音信號中識別出其所屬說話人身份信息的一項生物特徵識別技術。該技術廣泛應用於基於語音的說話人身份確認、公安刑偵、法庭物證鑑定、國家安全等領域。
常見的說話人識別系統主要包括VQ (矢量量化)、GMM-UBM (高斯混合模型-通用背景模型)、GSV-SVM (高斯均值超矢量-支持矢量機)、JFA (聯合因子分析)、IVEC (身份認證矢量)等等。其中GSV-SVM系統由於其靈活性，穩健性好等方面優於其他系統，目前廣泛應用於實際項目中。
目前的GSV-SVM系統建模過程中，在提取超矢量階段，將目標說話人的語音數據和反模型數據進行特徵提取，通過在通用背景模型上進行MAP自適應，分別得到說話人GMM均值超矢量和反模型的GMM均值超矢量；在建模階段，利用SVM分類器對上述均值超矢量進行監督性訓練，得到相應的說話人模型。在測試階段，同樣對測試語音進行特徵提取並在通用背景模型上進行MAP自適應，得到測試語音段的GMM均值超矢量，與訓練好的模型進行測試打分，從而通過分數與判決門限比較給出識別結果。
在目前的GSV-SVM說話人識別系統中，往往由於訓練說話人的語音段時長較短或者測試語音段時長較短，導致自適應GMM均值超矢量的過程中，一些GMM混合度上得不到充分自適應，容易導致發生「模型空洞」的問題，從而限制了短語音下說話人識別的性能。發明內容
本發明的目的旨 在至少解決上述的技術缺陷之一。
為此，本發明的目的在於提出一種基於基狀態矢量加權的短語音說話人識別方法。
為達到上述目的，本發明的實施例提出一種基於基狀態矢量加權的短語音說話人識別方法，包括以下步驟:S1:採集多個帶文本標註的語音數據，並對所述多個語音數據進行訓練，以得到狀態層聚類的隱馬爾可夫模型，其中，聚類後的狀態為基狀態；S2:根據所述狀態層聚類的隱馬爾可夫模型對說話人識別中的數據進行解碼，以得到數據的基狀態標註；S3:根據所述數據的基狀態的標註訓練基狀態的通用背景模型，並從MAP自適應後的模型生成基狀態均值超矢量和基狀態權值超矢量；S4:根據所述基狀態均值超矢量和基狀態權值超矢量進行說話人模型訓練和測試，從而估計所述短語音說話人的身份。
本發明的一個實施例中，所述步驟SI具體包括:所述步驟SI具體包括:採集多個帶文本標註的語音數據；對所述多個語音數據進行訓練得到音素隱馬爾科夫模型；以及根據所述音素隱馬爾科夫模型進行狀態層聚類，以得到所述狀態層聚類的隱馬爾可夫模型，其中，聚類後的狀態為基狀態。
本發明的一個實施例中，所述步驟S2進一步包括:通過解碼算法和所述基狀態層聚類的隱馬爾科夫模型對所有說話人識別中的數據進行解碼，以得到所述數據的基狀態標註。
本發明的一個實施例中，所述步驟S4進一步包括:根據所述基狀態均值超矢量和基狀態權值超矢量訓練說話人模型和測試，得到說話人識別的分數；以及根據所述說話人識別的分數估計說話人的身份。
本發明的一個實施例中，所述基狀態模型包括13個基狀態模型。
本發明的一個實施例中，所述基狀態均值超矢量通過如下公式得到，所述公式為，K，μ-Ιμ'Ι μΖ...< f，其中，μ 為第S1個基狀態高斯混合模型中的混合分量和方差加權後的均值矢量，Wi為第Si個基狀態高斯混合模型中的混合分量權重矢量，Σ i為第Si個基狀態高斯混合模型中的混合分量的方差矩陣，為第Si個基狀態高斯混合模型均值矢量，μ為所有基狀態矢量拼接後生成的最終的基狀態矢量，T是對矢量進行轉置運算。本發明的一個實施例中，所述基狀態權值超矢量通過如下公式得到，所述公式為，Α = …其中，Λ/為第Si個基狀態生成的權值矢量，λ為所有基狀態權值順序拼接後生成的最終的權值矢量。
根據本發明實施例的方法，可以實現基狀態層相關的精細建模，並通過有效的加權，克服傳統方法會容易導致的「模型空洞」的問題，從而有效降低了建模的自由度，同時可以提高了說話人識別的性能。
本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中:
圖1為根據本發明一個實施例的基於基狀態矢量加權的短語音說話人識別方法的流程圖2為根據本發明一個實施例的基狀態模型訓練和對說話人數據解碼的示意圖3為根據本發明一個實施例的基狀態的超矢量提取和加權矢量計算的示意圖；以及
圖4為根據本發明一個實施例的基於基狀態矢量加權的短語音說話人識別方法的示意圖。
具體實施方式
下面詳細描述本發明的實施例，實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。
圖1為根據本發明一個實施例的基於基狀態矢量加權的短語音說話人識別方法的流程圖。圖4為根據本發明一個實施例的基於基狀態矢量加權的短語音說話人識別方法的示意圖。如圖1所示，根據本發明實施例的基於基狀態矢量加權的短語音說話人識別方法，包括以下步驟:
步驟101，採集多個帶文本標註的語音數據，並對多個語音數據進行訓練，以得到狀態層聚類的隱馬爾可夫模型，聚類後的狀態稱之為基狀態。
具體地，採集多個帶文本標註的語音數據。然後，對多個語音數據進行訓練得到音素隱馬爾科夫模型。之後，根據音素隱馬爾科夫模型進行狀態層聚類，以得到狀態層聚類的隱馬爾可夫模型，聚類後的狀態稱之為基狀態。在本發明的一個實施例中，採集用於訓練基狀態模型的語音數據集，並對所有數據進行語音識別，得到對應的音素串，並採用Baum-Welch算法，對音素串中的每一個音素分別進行迭代訓練以得到三狀態的隱馬爾科夫模型。對隱馬爾可夫模型進行狀態層聚類和迭代重估，以得到基狀態模型。
步驟102，根據基狀態聚類的隱馬爾可夫模型對說話人識別中的數據進行解碼，以得到數據的基狀態標註。具體地，通過解碼算法和狀態層聚類的隱馬爾科夫模型對所有說話人識別中的數據進行解碼，以得到數據的基狀態標註。
圖2為根據本發明一個實施例的基狀態模型訓練和對說話人數據解碼的示意圖。如圖2所示，根據訓練得到的隱馬爾科夫模型進行狀態層聚類，並進行迭代重估訓練基狀態模型，該基狀態模型包括13個基狀態模型。採用Viterbi解碼算法，對通用背景模型、反模型、說話人模型等訓練和測試中所涉及到的所有數據進行解碼，以得到每一條數據解碼後的基狀態標註。
步驟103，根據數據的基狀態的標註訓練基狀態的通用背景模型，並從MAP自適應後的模型生成基狀態均值超矢量和基狀態權值超矢量。
具體地，根據基狀態的標註和EM算法，用訓練背景模型的數據訓練每一個基狀態的通用背景模型。根據基狀態的標註對用於說話人系統訓練說話人模型和測試中涉及到的每一條數據進行處理，包括用於訓練說話人模型的正樣本和負樣本數據，以及所有測試數據。然後對基狀態通用背景模型進行最大後驗概率MAP自適應，以得到各基狀態下的GMM模型。
圖3為根據本發明一個實施例的基狀態的超矢量提取和加權矢量計算的示意圖。如圖3所示，自適應方法具體如下:
假設其中一個基狀態 通用背景模型的參數為A = {wm，μω, Σπ，πι=1，...，Μ}，其中，％、μ-和 π*別表示通用背景模型中各高斯分量的權重、均值和方差，權重滿足Σ^Ι=1，下標m表示高斯分量標號，共含M個高斯分量。以訓練語音為例，假設語音共含T幀特徵，其中，第t幀的聲學層MFCC特徵為ot，則Ot屬於第m個高斯分量的後驗概率為:m —其中，N(.)表示高斯分布的概率密度，對t=l，...，T， m'=im=l,...，M進行循環計算，可得到每幀特徵屬於每個高斯分量的後驗概率。
然後，計算得到第m個高斯分量的後驗概率對所有幀進行累加，得到該特徵的第m個高斯分量的零階統計量
權利要求
1.一種基於基狀態矢量加權的短語音說話人識別方法，其特徵在於，包括以下步驟: S1:採集多個帶文本標註的語音數據，並對所述多個語音數據進行訓練，以得到狀態層聚類的隱馬爾可夫模型，其中，聚類後的狀態為基狀態； 52:根據所述狀態層聚類的隱馬爾可夫模型對說話人識別中的數據進行解碼，以得到數據的基狀態標註； 53:根據所述數據的基狀態的標註訓練基狀態的通用背景模型，並從MAP自適應後的模型生成基狀態均值超矢量和基狀態權值超矢量； 54:根據所述基狀態均值超矢量和基狀態權值超矢量進行說話人模型訓練和測試，從而估計所述短語音說話人的身份。
2.如權利要求1所述的基於基狀態矢量加權的短語音說話人識別方法，其特徵在於，所述步驟SI具體包括: 採集多個帶文本標註的語音數據； 對所述多個語音數據進 行訓練得到音素隱馬爾科夫模型；以及 根據所述音素隱馬爾科夫模型進行狀態層聚類，以得到所述狀態層聚類的隱馬爾可夫模型，其中，聚類後的狀態為基狀態。
3.如權利要求1所述的基於基狀態矢量加權的短語音說話人識別方法，其特徵在於，所述步驟S2進一步包括: 通過解碼算法和所述狀態層聚類的隱馬爾科夫模型對所有說話人識別中的數據進行解碼，以得到所述數據的基狀態標註。
4.如權利要求1所述的基於基狀態矢量加權的短語音說話人識別方法，其特徵在於，所述步驟S4進一步包括: 根據所述基狀態均值超矢量和基狀態權值超矢量訓練說話人模型和測試，得到說話人識別的分數；以及 根據所述說話人識別的分數估計說話人的身份。
5.如權利要求3所述的基於基狀態矢量加權的短語音說話人識別方法，其特徵在於，所述基狀態模型包括13個基狀態模型。
6.如權利要求1所述的基於基狀態矢量加權的短語音說話人識別方法，其特徵在於，所述基狀態均值超矢量通過如下公式得到，所述公式為， Msi = V , //= [/./::' ];, 其中，//'S,為第Si個基狀態高斯混合模型中的混合分量和方差加權後的均值矢量，Wi為第Si個基狀態高斯混合模型中的混合分量權重矢量，Σ i為第Si個基狀態高斯混合模型中的混合分量的方差矩陣P力第Si個基狀態高斯混合模型均值矢量，μ為所有基狀態矢量拼接後生成的最終的基狀態矢量，T是對矢量進行轉置運算。
7.如權利要求1所述的基於基狀態矢量加權的短語音說話人識別方法，其特徵在於，所述基狀態權值超矢量通過如下公式得到，所述公式為， 義=[< Γ，其中，2為第Si個基狀態生成的權值矢量，λ為所有基狀態權值順序拼接後生成的最終的權值矢量 。
全文摘要
本發明提出一種基於基狀態矢量加權的短語音說話人識別方法，包括以下步驟採集多個帶文本標註的語音數據，並對多個語音數據進行訓練得到狀態層聚類的隱馬爾可夫模型；根據狀態層聚類的隱馬爾可夫模型對說話人識別中的數據進行解碼得到數據的基狀態標註；根據數據的基狀態的標註訓練基狀態的通用背景模型，並從MAP自適應後的模型生成基狀態均值超矢量和基狀態權值超矢量；根據基狀態均值超矢量和基狀態權值超矢量進行說話人模型訓練和測試估計短語音說話人的身份。根據本發明實施例的方法，可以實現基狀態層的精細建模，並通過有效的加權，克服傳統方法易導致的「模型空洞」的問題，從而有效降低了建模的自由度，同時可以提高了說話人識別的性能。
文檔編號G10L17/16GK103219008SQ201310182450
公開日2013年7月24日 申請日期2013年5月16日 優先權日2013年5月16日
發明者慄志意, 張衛強, 劉巍巍, 劉加 申請人:清華大學