一種結合自然樣本挑選與聲學參數建模的語音合成方法
2023-05-03 05:58:31
專利名稱：一種結合自然樣本挑選與聲學參數建模的語音合成方法
技術領域：
本發明涉及語音合成領域，具體是對語音合成中波形拼接和參數合成兩種常用方法進行有效結合，達到同時提高合成語音的音質和平穩性的目的。
背景技術：
目前，基於自然樣本的波形拼接和基於模型預測的參數合成是兩種常用的語音合成方法。前者可以取得較高質量的合成語音音質，但是在穩定性和拼接的連續性上會存在一定問題；後者可以實現穩定、平滑的語音合成，但是由於模型預測的聲學參數和自然語音聲學參數的差異，會造成合成語音的音質較差。這裡，我們考慮將自然聲學樣本的挑選與參數的統計建模相結合，同時保證最終合成使用參數與自然樣本的接近程度和對於統計模型的符合程度，以此在音質、自然度與平穩性之間達到更好的平衡。
大語料庫語音合成方法是一種比較流行的基於自然樣本的波形拼接語音合成方法，它根據某種計算法則運用Viterbi算法挑選到合適的自然樣本單元，然後對自然樣本進行拼接合成。這種方法的優勢就是能獲得自然發音人的音質，但是在拼接的地方往往會存在連續性上的問題，如果不能挑選到合適的單元的話，那麼它的整體感覺會受很大的影響，所以，這種方法對語料庫的要求很高，往往一個覆蓋面很廣的中文大語料庫就會有1G以上的存儲空間，這就導致了這種方法的可擴展性較差。
由於現在合成語音的音質和自然度都不錯，大家對合成系統提出了更多的需求，比如多樣化的語音合成，包括多個發音人、多種發音風格、多語種等，由上面的分析可以看出，雖然大語料庫合成系統的效果不錯，但也存在不少缺陷，比如合成語音的效果不穩定，音庫構建周期太長以及合成系統的可擴展性太差等。這些缺陷明顯限制了大語料庫合成系統在多樣化語音合成方面的應用，因此，近年來可訓練語音合成方法被提出並逐漸得到越來越廣泛的應用。
基於隱馬爾可夫模型的可訓練語音合成(HMM-based Trainable SpeechSynthesis)方法就是將HMM用於語音信號的建模和預測的參數合成方法，它能夠實現穩定平滑的語音合成，但是由於參數是模型預測的，所以它合成出來的語音的音質存在一定的缺陷。
基於上面的分析，為了使得合成語音在音質、自然度以及平穩性上達到更好的平衡，在HMM-based語音合成方法的基礎上，結合自然樣本的波形拼接合成的思想，實現了合成語音在音質、自然度以及平穩性上的一個更好的平衡，提高語音合成系統的總體水平。
發明內容
本發明提供了一種提高基於隱馬爾可夫模型的可訓練語音合成系統合成音質的辦法，通過結合單元挑選和參數建模兩方面的技術，使得最終合成語音穩定性、平滑性以及音質都得到較大幅度的提高。
本發明的技術方案如下2.一種結合自然樣本挑選與聲學參數建模的語音合成方法，其特徵是具體的實現方式如下(1)、參數建模運用隱馬爾科夫模型對語音信號三個方面的參數進行建模，這三個方面的參數分別是基頻、時長和線譜頻率係數LSF；所有模型都在一個語音庫上用隱馬爾科夫模型進行模型的訓練；語音庫的規模一般在1000句話左右；(2)、單元預選是指從所有的自然樣本中挑選出那些比較符合條件的自然樣本的過程，目的是在基本保持語音合成系統合成效果的情況下減少合成系統所需存儲的單元樣本數目以及降低系統的運算複雜度；單元預選的過程描述如下首先運用隱馬爾科夫模型模型，對訓練語音資料庫進行狀態切分工作，並把切分好的每個狀態都對應到決策樹上的一個節點上，把這個狀態模型的相關數據作為一個自然樣本單元保存到相應的葉子節點下，同時，計算這個自然樣本單元與隱馬爾科夫模型之間的線譜頻率差值，定義為頻譜代價，定義式如下lsfcost=i=1N(xi-i)i-1(xi-i)]]>xi，μi，∑i分別表示自然線譜頻率係數LSF、模型均值和模型方差，N為LSF參數維數；考慮在單元挑選時基頻變化特性，在進行單元預選的同時，需要對基頻進行用k-means方法來進行聚類；通過預選僅保留一定數目(如30個)的樣本單元，並能涵蓋了訓練數據中的所有的基頻變化情況，預選的時候就是結合頻譜代價和基頻變化來進行的，選擇兩者只和最小的一些樣本作為預選所得的自然樣本單元；(3)、單元挑選單元挑選階段就是進行在預選所得的自然樣本單元中進行Viterbi搜索得到代價最小的自然單元序列；這裡需要計算的代價是基頻代價f0cost=i=13(xi,f0-i,f0)i-1(xi,f0-i,f0)]]>頻譜代價lsfcost=i=1N(xi-i)i-1(xi-i)]]>目標代價trg cost＝lsf cost+f0 cost以上xi,f0，μi，f0，∑i分別表示預選所得到的自然樣本的基頻參數、基頻模型的均值、基頻模型的方差，其中x1，f0，μ1，f0表示絕對基頻值，也可稱為靜態參數，x2，f0，μ2，f0，x3，f0，μ3，f0表示基頻的一階和二階差分即動態參數，計算式如下ct==-L-(1)L+(1)(1)ct+,2ct==-L-(2)L+(2)(2)ct+]]>連接代價由於Viterbi挑選所得的自然樣本序列是一系列從自然語句中截取的自然樣本的組合，它與自然語句的自然樣本序列是不同的，它前後幀的靜態參數可能發生了變化，所以在自然語句中計算的動態參數就會發生變化，應該更新動態參數來計算挑選的連接代價，同樣按上式進行動態參數的更新；所以連接代價的計算如下linkcost=i=1N(xpi-pi)pi-1(xpi-pi)+i=1N(xci-ci)ci-1(xci-ci)]]>總體代價cost＝trg cost+link cost
這裡xpi，μpi，∑pi表示前一幀的自然樣本參數和前一個模型的參數，xci，μci，∑ci表示當前幀的自然樣本參數和當前模型參數；最後由Viterbi算法得到一組總體代價最小的自然樣本序列；(4)、改進參數生成Viterbi挑選出自然單元序列之後，可以用改進的參數生成算法來對參數進行生成，這種方法就是把自然的參數也當作一個模型來約束最後的參數生成；原始的參數生成算法是基於最大似然的準則下來進行參數生成的L＝log P(O|Q，λ)其中O表示目標矢量參數，Q狀態序列，λ表示模型參數；求解上式的最大值就可以得到生成的參數；而經過了自然單元的挑選之後，每幀又有了對應的自然的頻譜參數，所以參數生成的時候把自然的頻譜參數當作一個簡單的約束模型對似然值進行約束，所以似然值計算為L＝log{P(O|Q，λ)*P(C|Ct)α}其中C，Ct分別表示目標矢量參數中的靜態參數和自然樣本的靜態參數；這裡簡單的把自然的和預測的靜態參數之間的歐氏距離作為模型的約束進行計算，所以似然值可以表示為L=log{P(O|Q,)*P(C|C1)}]]>=log{P(O|Q,)[e-12D(C,Ct)]}]]>=-12OTU-1O+OTU-1M-12(C-Ct)T(C-Ct)]]>LC=-WTU-1WC+WTU-1M-(C-Ct)]]>令LC=0,]]>即得-WTU-1WC+WTU-1M-α(C-Ct)＝0所以(WTU-1W+αI)C＝WTU-1M+αCt解上面這個方程就可以得到所要的基於自然單元挑選和參數生成的結果，包括頻譜、時長、基頻參數；α值為係數，α值選取的不同，得到的效果也就各不相同，α取得過小，那麼生成的參數就距離自然的頻譜參數很遠，合成的語音的音質也沒有明顯提高，如果α選取過大，那麼生成的就很接近自然的頻譜參數，這樣又會造成狀態與狀態之間的不連續現象，影響合成語音的聽感，而且狀態與狀態之間和狀態內部的α值也應該不一樣，這樣可以保證狀態內部的參數的自然性和狀態交接處的參數平滑過渡；經過了上面的流程之後，頻譜、時長、基頻等參數得以生成，進而最後的語音合成得以實現。
發明的效果本發明的方法嵌套在Trainable TTS系統中，在Trainable TTS系統中添加了相關處理模塊，具有可擴展性，音質的提高經過了這種方法的改進之後，合成語音的音質明顯得到提高，語音的聽感不像之前的那麼悶而是更加清晰了，而且音色也更像自然發音人。
參數的低存儲性頻譜決策樹的每個葉子節點下只保存30個自然樣本單元的靜態參數數據，大概需要65M的存儲空間，實驗證明，如果進一步做壓縮而又保持音質的話，大概能降到5.5M左右，這樣可以在一些受限領域裡應用。
術語解釋語音合成(Text-To-Speech)又稱為文語轉化。它涉及聲學、語言學、數位訊號處理、多媒體等多種學科，是中文信息處理領域的一項前沿技術。語音合成技術解決的主要問題是如何將電子化文本的文字信息轉化為能夠播放的聲音信息。近代語音合成技術是隨著計算機技術和數位訊號處理技術的發展而發展起來的，目的是讓計算機能夠產生高清晰度、高自然度的連續語音。
可訓練語音合成(Trainable TTS)就是可自動訓練的語音合成，其基本原理就是基於一套自動化的流程，根據輸入的語音數據進行訓練，最後形成一個相應的語音合成合成系統。
隱馬爾科夫模型(Hidden Markov Model，HMM)俄國有機化學家VladimirVasilyevich Markovnikov於1870年提出，其本質上是一種隨機過程，它包括具有狀態轉移概率的馬爾可夫鏈和輸出觀測值的隨機過程，因為其狀態是不確定或不可見的，只有通過觀測序列的隨機過程才能表現出來，所以稱為隱馬爾科夫模型。
決策樹基本上，我們可以把決策樹當作一個布爾函數(Boolean function)，其輸入是物體或情況的一組屬性，其輸出為「是」或「否」的決策值，在決策樹裡，每個樹枝節點對應到一個有關某項屬性的測試，每個葉子節點對應到一個布爾函數值，它呈樹狀結構，所以稱為決策樹。
附圖結合自然樣本單元挑選與參數生成的可訓練語音合成系統流程圖。
具體實施例方式
一種結合自然樣本挑選與聲學參數建模的語音合成方法，具體的實現方式如下1.參數建模運用隱馬爾科夫(HMM)對語音信號三個方面的參數進行建模，這三個方面的參數分別是基頻(Fundamental Frequency)、時長(Duration)和線譜頻率係數LSF(Line Spectral Frequency)。所有模型都在一個語音庫上用HTK(the Hidden Markov ModelToolkit)進行模型的訓練，語音庫的規模一般在1000句話左右；2.單元預選單元預選是指從所有的自然樣本中挑選出那些比較符合條件的自然樣本的過程，單元預選的目的是在基本保持語音合成系統合成效果的情況下減少合成系統所需存儲的單元樣本數目以及降低系統的運算複雜度。單元預選的過程描述如下首先運用HMM模型，對訓練語音資料庫進行狀態切分工作，並把切分好的每個狀態都對應到決策樹上的一個節點上，把這個狀態模型的相關數據作為一個自然樣本單元保存到相應的葉子節點下。同時，計算這個自然樣本單元與隱馬爾科夫模型之間的線譜頻率差值，我們定義為頻譜代價，定義式如下lsfcost=i=1N(xi-i)i-1(xi-i)]]>
xi，μi，∑i分別表示自然LSF、模型均值和模型方差，N為LSF參數維數。
這種基於決策樹的單元預選方法有效了彌補單純的數據驅動方法對高層韻律描述不足的缺點，同時，考慮在單元挑選時基頻變化特性，在進行單元預選的同時，需要對基頻進行用k-means方法來進行聚類。通過預選我們僅保留一定數目(如30個)的樣本單元，他們涵蓋了訓練數據中的所有的基頻變化情況。
單元挑選單元挑選階段就是進行Viterbi搜索得到代價最小的自然單元序列。這裡需要計算的代價是基頻代價f0cost=i=13(xi,f0-i,f0)i-1(xi,f0-i,f0)]]>頻譜代價lsfcost=i=1N(xi-i)i-1(xi-i)]]>目標代價trg cost＝lsf cost+f0 cost以上xi，f0，μi，f0，∑i分別表示自然樣本的基頻參數、基頻模型的均值、基頻模型的方差，其中x1，f0，μ1，f0表示絕對基頻值，也可稱為靜態參數，x2，f0，μ2，f0，x3，f0，μ3，f0表示基頻的一階和二階差分即動態參數，計算式如下ct==-L-(1)L+(1)(1)ct+,2ct==-L-(2)L+(2)(2)ct+]]>連接代價由於Viterbi挑選的自然樣本序列與自然語句的自然樣本序列是不同的，它前後幀的靜態參數可能發生了變化，所以在自然語句中計算的動態參數就會發生變化，應該更新動態參數來計算挑選的連接代價，同樣按上式進行動態參數的更新。
所以連接代價的計算如下linkcost=i=1N(xpi-pi)pi-1(xpi-pi)+i=1N(xci-ci)ci-1(xci-ci)]]>總體代價cost＝trg cost+link cost
這裡xpi，μpi，∑pi表示前一幀的自然樣本參數和前一個模型的參數，xci，μci，∑ci表示當前幀的自然樣本參數當前模型參數。
最後由Viterbi算法得到一組總體代價最小的自然單元序列。
改進參數生成Viterbi挑選出自然單元序列之後，可以用改進的參數生成算法來對參數進行生成，這種方法就是把自然的參數也當作一個模型來約束最後的參數生成。
原始的參數生成算法是基於最大似然的準則下來進行參數生成的L＝logP(O|Q，λ)求解上式的最大值就可以得到生成的參數。
而經過了自然單元的挑選之後，每幀又有了對應的自然的頻譜參數，所以參數生成的時候把自然的頻譜參數當作一個簡單的模型對似然值進行約束，所以似然值計算為L＝log{P(O|Q，λ)*P(C|Ct)α}這裡簡單的把自然的和預測的靜態參數之間的歐氏距離作為模型的約束進行計算，所以似然值可以表示為L=log{P(O|Q,)*P(C|Ct)}]]>=log{P(O|Q,)[e-12D(C,Ct)]}]]>=-12OTU-1O+OTU-1M-12(C-Ct)T(C-Ct)]]>LC=-WTU-1WC+WTU-1M-(C-Ct)]]>令LC=0,]]>即得-WTU-1WC+WTU-1M-α(C-Ct)＝0所以(WTU-1W+αI)C＝WTU-1M+αCt解上面這個方程就可以得到所要的基於自然單元挑選和參數生成的結果。
當然，如果α值選取的不同，得到的效果也就各不相同，α取得過小，那麼生成的參數就距離自然的頻譜參數很遠，合成的語音的音質也沒有明顯提高，如果α選取過大，那麼生成的就很接近自然的頻譜參數，這樣又會造成狀態與狀態之間的不連續現象，影響合成語音的聽感，而且狀態與狀態之間和狀態內部的α值也應該不一樣，這樣可以保證狀態內部的參數的自然性和狀態交接處的參數平滑過渡。
經過了上面的流程之後，參數就可以得以生成出來了，進而最後的語音合成得以實現。
權利要求
1.一種結合自然樣本挑選與聲學參數建模的語音合成方法，其特徵是具體的實現方式如下(1)、參數建模運用隱馬爾科夫模型對語音信號三個方面的參數進行建模，這三個方面的參數分別是基頻、時長和線譜頻率係數LSF；所有模型都在一個語音庫上用隱馬爾科夫模型進行模型的訓練；語音庫的規模一般在1000句話左右；(2)、單元預選是指從所有的自然樣本中挑選出那些比較符合條件的自然樣本的過程，目的是在基本保持語音合成系統合成效果的情況下減少合成系統所需存儲的單元樣本數目以及降低系統的運算複雜度；單元預選的過程描述如下首先運用隱馬爾科夫模型模型，對訓練語音資料庫進行狀態切分工作，並把切分好的每個狀態都對應到決策樹上的一個節點上，把這個狀態模型的相關數據作為一個自然樣本單元保存到相應的葉子節點下，同時，計算這個自然樣本單元與隱馬爾科夫模型之間的線譜頻率差值，定義為頻譜代價，定義式如下lstcost=i=1N(xi-i)i-1(xi-i)]]>xi，μi，∑i分別表示自然線譜頻率係數LSF、模型均值和模型方差，N為LSF參數維數；考慮在單元挑選時基頻變化特性，在進行單元預選的同時，需要對基頻進行用k-means方法來進行聚類；通過預選僅保留一定數目(如30個)的樣本單元，並能涵蓋了訓練數據中的所有的基頻變化情況，預選的時候就是結合頻譜代價和基頻變化來進行的，選擇兩者只和最小的一些樣本作為預選所得的自然樣本單元；(3)、單元挑選單元挑選階段就是進行在預選所得的自然樣本單元中進行Viterbi搜索得到代價最小的自然單元序列；這裡需要計算的代價是基頻代價f0cost=i=13(xi,f0-i,f0)i-1(xi,f0-i,f0)]]>頻譜代價lstcost=i=1N(xi-i)i-1(xi-i)]]>目標代價trgcost＝lsfcost+f0cost以上xi，f0，μi，f0，∑i分別表示預選所得到的自然樣本的基頻參數、基頻模型的均值、基頻模型的方差，其中x1，f0，μ1，f0表示絕對基頻值，也可稱為靜態參數，x2，f0，μ2，f0，x3，f0，μ3，f0表示基頻的一階和二階差分即動態參數，計算式如下ct==-L-(1)L+(1)(1)ct+,]]>2ct==-L-(2)L+(2)(2)ct+]]>連接代價由於Viterbi挑選所得的自然樣本序列是一系列從自然語句中截取的自然樣本的組合，它與自然語句的自然樣本序列是不同的，它前後幀的靜態參數可能發生了變化，所以在自然語句中計算的動態參數就會發生變化，應該更新動態參數來計算挑選的連接代價，同樣按上式進行動態參數的更新；所以連接代價的計算如下linkcost=i=1N(xpi-pi)pi-1(xpi-pi)+i=1N(xci-ci)ci-1(xci-ci)]]>總體代價cost＝trgcost+linkcost這裡xpi，μpi，∑pi表示前一幀的自然樣本參數和前一個模型的參數，xci，μci，∑ci表示當前幀的自然樣本參數和當前模型參數；最後由Viterbi算法得到一組總體代價最小的自然樣本序列；(4)、改進參數生成Viterbi挑選出自然單元序列之後，可以用改進的參數生成算法來對參數進行生成，這種方法就是把自然的參數也當作一個模型來約束最後的參數生成；原始的參數生成算法是基於最大似然的準則下來進行參數生成的L＝logP(O|Q，λ)其中O表示目標矢量參數，Q狀態序列，λ表示模型參數；求解上式的最大值就可以得到生成的參數；而經過了自然單元的挑選之後，每幀又有了對應的自然的頻譜參數，所以參數生成的時候把自然的頻譜參數當作一個簡單的約束模型對似然值進行約束，所以似然值計算為L＝log{P(O|Q，λ)*P(C|Ct)α}其中C，Ct分別表示目標矢量參數中的靜態參數和自然樣本的靜態參數；這裡簡單的把自然的和預測的靜態參數之間的歐氏距離作為模型的約束進行計算，所以似然值可以表示為L=log{P(O|Q,)*P(C|Ct)}]]>=log{P(O|Q,)[e-12D(C,Ct)]}]]>=-12OTU-1O+OTU-1M-12(C-Ct)T(C-Ct)]]>LC=-WTU-1WC+WTU-1M-(C-Ct)]]>令LC=0,]]>即得-WTU-1WC+WTU-1M-α(C-Ct)＝0所以(WTU-1W+αI)C＝WTU-1M+αCt解上面這個方程就可以得到所要的基於自然單元挑選和參數生成的結果，包括頻譜、時長、基頻參數；α值選取的不同，得到的效果也就各不相同，α取得過小，那麼生成的參數就距離自然的頻譜參數很遠，合成的語音的音質也沒有明顯提高，如果α選取過大，那麼生成的就很接近自然的頻譜參數，這樣又會造成狀態與狀態之間的不連續現象，影響合成語音的聽感，而且狀態與狀態之間和狀態內部的α值也應該不一樣，這樣可以保證狀態內部的參數的自然性和狀態交接處的參數平滑過渡；經過了上面的流程之後，頻譜、時長、基頻等參數得以生成，進而最後的語音合成得以實現。
全文摘要
本發明公布了一種結合自然樣本挑選與聲學參數建模的語音合成方法，本發明的特徵是在Trainable TTS中引入了自然樣本單元挑選的概念，並用決策樹進行單元的預選來彌補單純的數據驅動方法在高層韻律描述不足的缺點，最後通過參數生成算法生成出比較接近自然的參數然後進行語音合成，實現了合成語音在音質、自然度以及平穩性上的一個折中平衡。
文檔編號G10L13/02GK1835075SQ20061003967
公開日2006年9月20日 申請日期2006年4月7日 優先權日2006年4月7日
發明者王玉平, 凌震華, 王仁華 申請人:安徽中科大訊飛信息科技有限公司