基於內嵌gmm核的支持向量機模型的說話人識別方法

2023-09-14 14:22:00

專利名稱：基於內嵌gmm核的支持向量機模型的說話人識別方法
技術領域：
本發明涉及信號處理和模式識別領域，主要是一種基於內嵌GMM核的支持向量機模型的說話人識別方法。
背景技術：
說話人識別是指通過對語音信號的分析和特徵提取，自動地確定說話人十分在所登記的說話人集合中，以及說話的人是誰的過程。說話人識別包括兩個方面的基本內容說話人辨認(Speaker Identification)和說話人確認(Speaker Verification)。說話人辨認是鑑別輸入的聲音究竟是預先登錄好的誰的聲音，說話人確認是要判斷輸入的聲音是否是自稱是說話人本人的聲音。
說話人識別基本原理都是為每個說話人建立一個能夠描述這一說話人個性特徵的模型，在目前語義特徵與說話人個性特徵還不能很好地從語音特徵中得到分離的情況下，實際上是話者的語音特徵模型。當前應用較廣泛的說話人模型主要有模板模型，向量量化模型(VQ)，高斯混合模型(GMM)，隱馬可夫模型(HMM)等。
支持向量機(Support Vector Machine)是上世紀九十年代發展出來的一種基於統計學習理論的模式識別方法，它採用分類間隔最大的最優分類超平面實現結構風險最小化原則，由於它具有良好的理論基礎，得到越來越多的研究，並應用到各個領域中去。

發明內容
本發明要解決上述技術所存在的缺陷，提供一種基於內嵌GMM核的支持向量機模型的說話人識別方法，通過結合高斯混合模型和支持向量機的方法，構造一類新的混合模型用於說話人識別中。
本發明解決其技術問題所採用的技術方案這種基於內嵌GMM核的支持向量機模型的說話人識別方法，首先對每個說話人的語音進行特徵提取，然後根據每個說話人的語音訓練得到一個高斯混合模型，根據此高斯混合模型，可以將一條語句映射到一個固定大小的高維向量上，並將此向量作為支持向量機的輸入進行訓練與識別。
本發明解決其技術問題所採用的技術方案還可以進一步完善。所述多類的方法在本方案中採用的是一對其他的方式，也可以採用一對一的方式或者其他方式進行。
本發明有益的效果是結合GMM模型和支持向量機的方法，在說話人識別上獲得GMM模型更好性能。
具體實施例方式
下面結合實施例對本發明作進一步描述。本發明的方法共分六步。
第一步語音預處理語音預處理分為採樣量化，去零漂，預加重和加窗三個部分。
1、採樣量化A)、用銳截止濾波器對語音信號進行濾波，使其奈奎斯特頻率FN為4KHZ；B)、設置語音採樣率F＝2FN；C)、對語音信號sa(t)按周期進行採樣，得到數字語音信號的振幅序列s(n)=sa(nF);]]>D)、用脈衝編碼調製(PCM)對s(n)進行量化編碼，得到振幅序列的量化表示s』(n)。
2、去零漂A)、計算量化的振幅序列的平均值s；B)、將每個振幅值減去平均值，得到去零漂後平均值為0的振幅序列s」(n)。
3、預加重A)、設置數字濾波器的Z傳遞函數H(z)＝1-αz-1中的預加重係數α，α可取1或比1稍小的值；B)、s」(n)通過數字濾波器，得到語音信號的高、中、低頻幅度相當的振幅序列s(n)。
4、加窗A)、計算語音幀的幀長N(32毫秒)和幀移量T(10毫秒)，分別滿足NF=0.032]]>TF=0.010]]>這裡F是語音採樣率，單位為Hz；B)、以幀長為N、幀移量為T，把s(n)劃分成一系列的語音幀Fm，每一語音幀包含N個語音信號樣本；C)、計算哈明窗函數
D)、對每一語音幀Fm加哈明窗ω(n)×Fm(n){Fm′(n)|n＝0，1，…，N-1}。
第二步特徵提取語音幀上的特徵提取採用線性預測係數倒譜(LPCC)的提取。
語音的p階線性預測是用過去p個時刻的語音採樣值的線性組合以最小的預測誤差預測下一時刻的語音信號採樣值。
設{sn|n＝0，1，...，N-1}為一幀的語音採樣序列，則sn的預測值為s^n=-i=1pisn-i]]>其中αi(i＝1，2，...，p)稱為p階線性預測的預測係數，可由使這一幀的預測誤差的平方和最小得到E=n=0N-p-1[sn+i=1pisn-i]2]]>一般採用自相關法和協方差法進行求取。語音信號的倒譜特徵與語音信號的LPC特徵是有關係的，可以先求取LPC特徵，然後計算倒譜。
整個計算過程如下A)設置線性預測係數的階數p；B)在一幀語音信號數據裡面計算信號自相關函數Ri=n=iNsnsn-i]]>C)計算此幀計算協方差函數ik=n=0N-1sn-isn-k]]>D)將上面兩步中的結果代入下面方程
nsn-1sn-1nsn-1sn-2nsn-1sn-pnsn-2sn-1nsn-2sn-2nsn-2sn-pnsn-psn-1nsn-psn-2nsn-psn-p12p=-nsnsn-1nsnsn-2nsnsn-p]]>其中∑是對n＝0～N-p-1求和。
E)計算線性預測倒譜特徵LPC倒譜特徵ci(i＝1，2，...，p)可以通過下面等式獲得c1=1cn=k=1n-1(1-kn)kcn-k+n(1np)]]>第三步、訓練說話人的高斯混合模型M階高斯混合模型GMM用M個單高斯分布的線性組合來描述幀特徵在特徵空間中的分布，即p(x)=i=1MPibi(x)]]>其中bi(x)=N(x,,Ri)=1(2)p/2|Ri|1/2exp(-12(x-i)TRi-1(x-i))]]>其中，p為特徵維數，bbi(x)稱為核函數，是均值向量為μi、協方差矩陣為Ri的高斯分布函數，M稱為GMM模型的階數。高斯混合分布的加權係數P1滿足i=1MPi=1]]>每個說話人的個性特徵都可以由形式一致的高斯混合概率密度函數中的參數λ唯一確定，故為每個說話人建立一個GMM模型就是用這一說話人的語音特徵訓練這一說話人的GMM模型，從而獲得GMM模型中的參數λ。
在本方案中，採用EM(Expectation Maximization)算法來獲得這些參數，算法描述如下
A)首先設定高斯混合模型的階數M，設定初始狀態各高斯分布的加權係數Pi＝1/M，各個高斯分布的協方差矩陣Ri為單位矩陣，均值向量μi＝μ+Δμi，其中μ為說話人訓練樣本的均值向量，Δμi為較小的隨即向量。
B)設某說話人訓練語音的特徵為{xt|t＝1，2，...，T}，按照下面公式對高斯混合模型參數進行重新估計，Pi=1Tt=1TPibi(xt)i=1MPibi(xt)]]>=t=1TP(it=i|xt,)xtt=1TP(it=i|xt,)]]>Ri=t=1TP(it=i|xt,)(xt-i)T(xt-i)t=1TP(it=i|xt,)]]>C)重複B步驟，直到待估計參數的變化小於某個設定值。
第四步、建立支持向量機模型支持向量機是在統計學習理論的基礎上發展出來的一種較新的模式識別方法，它實現了結構風險最小化思想支持向量機是從線性可分情況下的最優分類面提出的。設線性可分樣本集為(xi，yi)，i＝1，...，n，x∈Rd，y∈{+1，-1}是類別標號，d維空間中線性判別函數的一般形式為g(x)＝w·x+b，分類面方程為w·x+b＝0將判別函數歸一化，使兩類所有樣本都滿足|g(x)|≥1，即使離分類面最近的樣本|g(x)|＝1，這樣分類間隔等於2/‖w‖，因此使得間隔最大等價於使‖w‖最小；而要求分類線對所有樣本正確分類，就是要求它滿足yi(w·xi+b)-1≥0，i＝1，2，...，n
滿足上述條件且使得‖w‖2最小的分類面就是最優分類面，其對偶問題為maxi=1ni-12i,j=1nijyiyj(xiyi)]]>i=1nyii=0]]>αi≥0，i＝1，2，...，n求解α*得為最優解，則權係數是訓練樣本向量的線性組合w*=i=1ni*yixi]]>最優分類函數是f(x)=sgn(w*x+b)=sgn(i=1ni*yi(xix)+b*)]]>在線性不可分的情況下，增加一個鬆弛項ξi≥0，分類條件變成yi(w·xi+b)-1+ξi≥0 i＝1，2，...n最優分類面問題演化為求取下列函數的極小值(w,)=12(ww)+C(i=1ni)]]>其中C為常數，控制錯分樣本懲罰的程度。
進一步用內積K(x，x′)代替最優分類面中的點積，相當於把原特徵空間變換到了某一新的特徵空間，優化函數變成maxi=1ni-12i,j=1nijyiyjK(xi,yi)]]>相應的判別函數變成f(x)=sgn(i=1ni*yiK(xi,x)+b*)]]>內積函數形式一般有多項式、徑向基等，在我們的試驗中採用徑向基函數形式K(x,xi)=exp(-|x-xi|22)]]>
我們結合高斯混合模型和支持向量機的方法，構造出一類新的用於說話人識別的混合模型。首先是利用前面訓練好的GMM模型將長度不一樣的語句映射到一個固定大小的向量上；然後將映射後的向量作為支持向量機的輸入進行訓練。整個過程如下A)對於某幀向量xi，找到高斯混合模型λ＝{wi，μi，∑i}中得分最大的高斯分布wtpt(xi)=argminj=1...M{wjpj(xi)}]]>B)將xi映射到一個矩陣Z(xi)＝[v1·z1，...，vM-zM]其中zk=xi-t,k=t0,else]]>vi＝wi·sqrt(diag(∑i)-1)vi是權重係數，∑i是高斯混合模型的方差矩陣，wi是高斯混合模型中的各個高斯分布權重。
C)對語句的每幀累計其映射矩陣就可以得到語句的映射矩陣(X)=1ni=1nZ(xi)]]>D)通過簡單的將矩陣Φ(X)擴展為一個一維向量，此向量就是語句映射後的向量。將此向量作為支持向量機的輸入，採用不同類型的核函數進行訓練。也可以直接根據矩陣值來得到兩條語句的內積函數Klinear(X,Y)=i=1dj=1M(X)ij(Y)ij]]>類似的多項式核與徑向基核如下所示Kpoly(X,Y)=(i=1dj=1M((X)ij(Y)ij)+1)n]]>Krbf(X,Y)=exp[-12i=1dj=1M((X)ij-(Y)ij)22]]]>
其中σ和n分別示徑向基函數和多項式函數的參數。
第五步、說話人識別說話人識別可分為說話人確認(Speaker Verification)和說話人辨認(SpeakerIdentification)兩方面。在說話人確認中，對於一條新的語句，經過特徵提取之後得到語句的特徵序列，然後利用自稱的說話人的高斯混合模型將它映射到一個向量上去，然後將此向量作為自稱說話人的支持向量機模型的輸入，支持向量機的輸出S作為此語句的得分，並將S與某個閾值T相比較，若S＞T，則接受這條語句是自稱說話人所說的，否則拒絕自稱的說話人，即認為這個自稱的說話人是冒認者。在這裡我們採用等錯誤率(equal error rate)來評價說話人確認性能。
在說話人辨別中，這條語句對於所有的說話人模型都進行評分，對於某個說話人來說，首先將語句的特徵向量序列根據這個說話人的高斯混合模型映射成為一個向量，把此向量輸入這個說話人的支持向量機模型中，支持向量機的輸出作為這條語句在這個說話人模型上的得分。這樣對每個說話人進行評分後，取最大的那個得分的說話人作為此語句的說話人。在這裡我們採用錯誤率來評判說話人辨認性能。
對於一條新的語句的說話人識別階段可分兩步A)根據指定說話人的高斯混合模型將語句映射到一個向量上去，並作為指定說話人的支持向量機的輸入，在分類判別函數前的輸出作為指定說話人的得分值。在說話人辨認中則需要根據各自的高斯混合模型進行映射與計分。
B)在說話人確認中，將指定說話人的得分值與某個閾值比較，若大於此閾值則接受，否則拒絕。在說話人辨認中則選取最大得分的說話人作為結果。
實驗結果本方法YOHO庫上進行了實驗。該庫由138個說話人語音組成，每條都是6個數字的英文發音，長度約為2到3秒。在YOHO庫中，每個說話人訓練語音分4個部分，每部分有24條語句，測試語音分10個部分，每個部分是4條語句該資料庫的，每個說話人的訓練語音分4個部分，每個部分是24條語句。特徵提取採用12階的LPCC及其微分，組成24維的特徵向量，幀長為30ms，每10ms取一幀，經過去靜音，預加重後得到。
支持向量機一般用於解決一個二類分類問題，對於多類的分類，人們一般採用一對一或者一對多的方式進行。採用一對一時候需要構造n*(n-1)/2個分類器，分別將每兩類數據進行分類；用一對多是只需要構造n個分類器，將每類數據和其他所有數據進行分開。在我們試驗中採用一對多的方式，這樣我們只要為每個說話人構造一個支持向量機，其正樣本是某個說話人語句在自己的碼本上映射後的向量，負樣本是其他所有說話人語句在這個說話人的碼本上映射後的向量。
我們採用資料庫中的前50人進行試驗，對每個說話人採用EM算法在所有訓練數據上得到一個GMM模型，然後所有說話人的語句用這個GMM模型上進行映射得到訓練樣本，作為支持向量機的輸入。對於多類問題，我們這裡採用一對其他的方式進行，這樣我們只需要為每個人構造一個支持向量機。
表1顯示了模型在YOHO庫上進行說話人辨認的試驗結果表格1 SVM/GMM模型在YOHO庫上說話人辨認性能(錯誤率)

權利要求
1.一種基於內嵌GMM核的支持向量機模型的說話人識別方法，其特徵在於首先對每個說話人的語音進行特徵提取，然後根據每個說話人的語音訓練得到一個高斯混合模型，根據此高斯混合模型，可以將一條語句映射到一個固定大小的高維向量上，並將此向量作為支持向量機的輸入進行訓練與識別。
2.根據權利要求1所述的基於內嵌GMM核的支持向量機模型的說話人識別方法，其特徵在於所述多類的方法採用的是一對其他的方式。
3.根據權利要求1或2所述的基於內嵌GMM核的支持向量機模型的說話人識別方法，其特徵在於該方法的主要步驟3.1)、音頻預處理音頻預處理分為採樣量化，去零漂，預加重和加窗四個部分；3.2)、語音幀上的特徵提取採用線性預測係數倒譜的提取，先求取語音信號的LPC特徵，即線性預測係數特徵，然後計算語音信號的倒譜特徵；3.3)、訓練說話人的高斯混合模型為每個說話人建立一個GMM模型，由形式一致的高斯混合概率密度函數中的參數λ唯一確定每個說話人的個性特徵，用這一說話人的語音特徵訓練這一說話人的GMM模型，從而獲得GMM模型中的參數λ；M階高斯混合模型GMM用M個單高斯分布的線性組合來描述幀特徵在特徵空間中的分布，即p(x)=i=1MPibi(x)]]>其中bi(x)=N(x,,Ri)=1(2)p/2|Ri|1/2exp(-12(x-i)TRi-1(x-i))]]>其中，p為特徵維數，bbi(x)稱為核函數，是均值向量為μi、協方差矩陣為Ri的高斯分布函數，M稱為GMM模型的階數；高斯混合分布的加權係數Pi滿足i=1MPi=1;]]>3.4)、建立支持向量機模型3.4.1)、在線性可分情況下支持向量機是從線性可分情況下的最優分類面提出的。設線性可分樣本集為(xi，yi)，i＝1，...，n，x∈Rd，y∈{+1，-1}是類別標號，d維空間中線性判別函數的一般形式為g(x)＝w·x+b，分類面方程為w·x+b＝0將判別函數歸一化，使兩類所有樣本都滿足|g(x)|≥1，即使離分類面最近的樣本|g(x)|＝1，這樣分類間隔等於2/‖w‖，因此使得間隔最大等價於使‖w‖最小；而要求分類線對所有樣本正確分類，就是要求它滿足yi(w·xi+b)-1≥0，i＝1，2，...，n滿足上述條件且使得‖w‖2最小的分類面就是最優分類面，其對偶問題為maxi=1ni-12i,j=1nijyiyj(xiyi)]]>i=1nyii=0]]>αi≥0，i＝1，2，...，n求解α*得為最優解，則權係數是訓練樣本向量的線性組合w*=i=1ni*yixi]]>最優分類函數是f(x)=sgn(w*x+b)=sgn(i=1ni*yi(xix)+b*)]]>3.4.2)、在線性不可分的情況下，增加一個鬆弛項ξi≥0，分類條件變成yi(w·xi+b)-1+ξi≥0 i＝1，2，...n最優分類面問題演化為求取下列函數的極小值(w,)=12(ww)+C(i=1ni)]]>其中C為常數，控制錯分樣本懲罰的程度；進一步用內積K(x，x′)代替最優分類面中的點積，相當於把原特徵空間變換到了某一新的特徵空間，優化函數變成maxi=1ni-12i,j=1nijyiyjk(xi,yi)]]>相應的判別函數變成f(x)=sgn(i=1ni*yiK(xi,x)+b*)]]>3.5)、結合高斯混合模型和支持向量機的方法，構造出用於說話人識別的混合模型首先是利用前面訓練好的GMM模型將長度不一樣的語句映射到一個固定大小的向量上；然後將映射後的向量作為支持向量機的輸入進行訓練；3.6)、說話人識別說話人識別分為說話人確認和說話人辨認兩方面；3.6.1)、在說話人確認中，對於一條新的語句，經過特徵提取之後得到語句的特徵序列，然後利用自稱的說話人的高斯混合模型將它映射到一個向量上去，然後將此向量作為自稱說話人的支持向量機模型的輸入，支持向量機的輸出S作為此語句的得分，並將S與某個閾值T相比較，若S＞T，則接受這條語句是自稱說話人所說的，否則拒絕自稱的說話人，即認為這個自稱的說話人是冒認者；3.6.2)、在說話人辨別中，這條語句對於所有的說話人模型都進行評分，對於某個說話人來說，首先將語句的特徵向量序列根據這個說話人的高斯混合模型映射成為一個向量，把此向量輸入這個說話人的支持向量機模型中，支持向量機的輸出作為這條語句在這個說話人模型上的得分；這樣對每個說話人進行評分後，取最大的那個得分的說話人作為此語句的說話人。
4.根據權利要求3所述的基於混合支持向量機的說話人識別的方法，其特徵在於在語音幀上的特徵提取的步驟中語音的p階線性預測是用過去p個時刻的語音採樣值的線性組合以最小的預測誤差預測下一時刻的語音信號採樣值；設{sn|n＝0，1，...，N-1}為一幀的語音採樣序列，則sn的預測值為s^n=-i=1pisn-i]]>其中αi(i＝1，2，...，p)稱為p階線性預測的預測係數，可由使這一幀的預測誤差的平方和最小得到E=n=0N-p-1[sn+i=1pisn-i]2;]]>整個計算過程具體如下A)、設置線性預測係數的階數p；B)、在一幀語音信號數據裡面計算信號自相關函數Ri=n=iNsnsn-i]]>C)、計算此幀計算協方差函數ik=n=0N-1sn-isn-k]]>D)、將上面兩步中的結果代入下面方程nsn-1sn-1nsn-1sn-2nsn-1sn-pnsn-2sn-1nsn-2sn-2nsn-2sn-pnsn-psn-1nsn-psn-2nsn-psn-p12p=nsnsn-1nsnsn-2nsnsn-p]]>其中∑是對n＝0～N-p-1求和；E)、計算線性預測倒譜特徵LPC倒譜特徵ci(i＝1，2，...，p)可以通過下面等式獲得c1=1cn=k=1n-1(1-kn)kcn-k+n,(1np).]]>
5.根據權利要求3所述的基於內嵌GMM核的支持向量機模型的說話人識別方法，其特徵在於採用EM算法來獲得GMM模型中的參數λ，算法描述如下A)首先設定高斯混合模型的階數M，設定初始狀態各高斯分布的加權係數Pi＝1/M，各個高斯分布的協方差矩陣Ri為單位矩陣，均值向量μi＝μ+Δμi，其中μ為說話人訓練樣本的均值向量，Δμi為較小的隨即向量；B)設某說話人訓練語音的特徵為{xt|t＝1，2，...，T}，按照下面公式對高斯混合模型參數進行重新估計Pi=1Tt=1TPibi(xt)i=1MPibi(xt)]]>=t=1TP(it=i|xt,)xtt=1TP(it=i|xt,)]]>Rt=t=1TP(it=i|xt,)(xt-i)T(xt-i)t=1TP(it=i|xt,)]]>C)重複B步驟，直到待估計參數的變化小於某個設定值。
6.根據權利要求3所述的基於混合支持向量機的說話人識別的方法，其特徵在於在3.5)步驟中的整個過程如下A)對於某幀向量xi，找到高斯混合模型λ＝{wi，μi，∑i}中得分最大的高斯分布wtpt(xi)=argminj=1...M{wjpj(xi)}]]>B)將xi映射到一個矩陣Z(xi)＝[v1·z1，...，vM·zM]其中zk=xi-t,k=t0,else]]>vi＝wi·sqrt(diag(∑i)-1)vi是權重係數，∑i是高斯混合模型的方差矩陣，wi是高斯混合模型中的各個高斯分布權重。C)對語句的每幀累計其映射矩陣就可以得到語句的映射矩陣(X)=1ni=1nZ(xi)]]>D)通過簡單的將矩陣Ф(X)擴展為一個一維向量，此向量就是語句映射後的向量。將此向量作為支持向量機的輸入，採用不同類型的核函數進行訓練。也可以直接根據矩陣值來得到兩條語句的內積函數Klinear(X,Y)=i=1dj=1M(X)ij(Y)ij]]>類似的多項式核與徑向基核如下所示Kpoly(X,Y)=(i=1dj=1M((X)ij(Y)ij)+1)n]]>Krbf(X,Y)=exp[-12i=1dj=1M((X)ij-(Y)ij)22]]]>其中σ和n分別示徑向基函數和多項式函數的參數。
7.根據權利要求3所述的基於內嵌GMM核的支持向量機模型的說話人識別方法，其特徵在於在步驟3.6)中，對於一條新的語句的說話人識別階段可分兩步A)、根據指定說話人的高斯混合模型將語句映射到一個向量上去，並作為指定說話人的支持向量機的輸入，在分類判別函數前的輸出作為指定說話人的得分值，在說話人辨認中則需要根據各自的高斯混合模型進行映射與計分；B)、在說話人確認中，將指定說話人的得分值與某個閾值比較，若大於此閾值則接受，否則拒絕，在說話人辨認中則選取最大得分的說話人作為結果。
全文摘要
本發明涉及一種基於內嵌GMM核的支持向量機模型的說話人識別方法，首先對每個說話人的語音進行特徵提取，然後根據每個說話人的語音訓練得到一個高斯混合模型，根據此高斯混合模型，可以將一條語句映射到一個固定大小的高維向量上，並將此向量作為支持向量機的輸入進行訓練與識別。本發明有益的效果是結合GMM模型和支持向量機的方法，在說話人識別上獲得比GMM模型更好的性能。
文檔編號G10L15/08GK1787075SQ20051006195
公開日2006年6月14日 申請日期2005年12月13日 優先權日2005年12月13日
發明者楊瑩春, 吳朝暉, 雷震春 申請人:浙江大學