一種哼唱合成方法和系統的製作方法

2023-04-26 11:39:16

專利名稱：一種哼唱合成方法和系統的製作方法
技術領域：
本發明涉及語音合成技術領域，特別是涉及一種哼唱合成方法和系統。
背景技術：
語音合成技術，又稱文語轉換(TTS，Text to Speech)技術，其能將任意文字信息 轉化為標準流暢的語音朗讀出來。目前的語音合成方法是預先錄製一個語音庫，然後在該語音庫基礎上完成一個語 音合成系統。此方法合成聲音的語調節奏取決於語音庫，即合成出的聲音像是錄音人在說 話。而在一些娛樂應用中，用戶希望可以調節合成語音的語調節奏，比如，將簡訊以歌 曲的語調「唱」出來。總之，需要本領域技術人員迫切解決的一個技術問題就是如何能夠合成具有歌 曲語調節奏的語音。

發明內容
本發明所要解決的技術問題是提供一種哼唱合成方法和系統，用於輸出帶有歌曲 節奏和旋律的語音數據。為了解決上述問題，本發明公開了一種哼唱合成方法，包括接收用戶輸入的文本；進行文本分析，獲得與所述文本對應的音節序列，以及，該音節序列中每個音節的 音節名稱；針對所述音節序列中每個音節，根據其音節名稱及上下文環境，結合統計參數模 型，規劃得到相應的時長參數、基頻參數和譜參數；依據用戶選擇的歌曲模板和所述音節序列的音節個數，對所述規劃得到的時長參 數、基頻參數進行調整，其中，所述歌曲模板中存儲有音節的時長參數和基頻參數；依據調整後的時長參數，對相應音節的譜參數進行插值調整；根據所述音節序列中每個音節的時長參數、基頻參數和譜參數，利用合成器得到 與所述音節序列對應的語音數據。優選的，所述對時長參數、基頻參數進行調整的步驟，包括獲取所述音節序列的音節個數；從所述歌曲模板中提取與所述音節個數相應的時長參數和基頻參數，並覆蓋所述 規劃得到的時長參數、基頻參數。優選的，所述文本分析步驟包括對所述文本進行分詞操作；將所述文本中的數字符號轉換為文字；依據分詞結果，對數字符號轉換後的文本進行韻律預測；
根據韻律預測結果，將文本轉換為音節序列，以及，基於音節映射表，得到該音節 序列中每個音節的音節名稱。優選的，所述歌曲模板為通過如下步驟生成的模板針對歌曲樣本，提取其中每個音節的時長參數和基頻參數；將所述時長參數和基頻參數，保存至歌曲模板。優選的，所述歌曲樣本包括清唱歌曲樣本。另一方面，本發明還公開了一種哼唱合成系統，包括接口模塊，用於接收用戶輸入的文本；文本分析模塊，用於進行文本分析，獲得與所述文本對應的音節序列，以及，該音 節序列中每個音節的音節名稱；參數規劃模塊，用於針對所述音節序列中每個音節，根據其音節名稱及上下文環 境，結合統計參數模型，規劃得到相應的時長參數、基頻參數和譜參數；第一參數調整模塊，用於依據用戶選擇的歌曲模板和所述音節序列的音節個數， 對所述規劃得到的時長參數、基頻參數進行調整，其中，所述歌曲模板中存儲有音節的時長 參數和基頻參數；第二參數調整模塊，用於依據調整後的時長參數，對相應音節的譜參數進行插值 調整；合成模塊，用於根據所述音節序列中每個音節的時長參數、基頻參數和譜參數，利 用合成器得到與所述音節序列對應的語音數據。優選的，所述第一參數調整模塊包括獲取單元，用於獲取所述音節序列的音節個數；調整單元，用於從歌曲模板中提取與所述音節個數對應的參數信息，覆蓋所述規 劃得到的時長參數、基頻參數，並對譜參數依據規劃時長進行插值。優選的，所述文本分析模塊包括分詞單元，用於對所述文本進行分詞操作；數字符號轉換單元，用於將所述文本中的數字符號轉換為文字；韻律預測單元，用於依據分詞結果，對數字符號轉換後的文本進行韻律預測；音節轉換單元，用於根據韻律預測結果，將文本轉換為音節序列，以及，基於音節 映射表，得到該音節序列中每個音節的音節名稱。優選的，所述系統還包括歌曲模板生成模塊，該歌曲模板生成模塊包括提取單元，用於針對歌曲樣本，提取其中每個音節的時長參數和基頻參數；保存單元，用於將所述時長參數和基頻參數，保存至歌曲模板。優選的，所述歌曲樣本包括清唱歌曲樣本。與現有技術相比，本發明具有以下優點本發明採用歌曲模板以音節為單位存儲時長參數、基頻參數，且可以依據歌曲名 稱等表徵節奏、旋律的規則命名所述歌曲模板；這樣，用戶可以依據個人習慣、應用場景等 實際需求來選擇合適的歌曲模板，以對規劃得到的時長和基頻參數進行調整，最後基於參 數合成技術得到用戶輸入文本的語音數據。由於在語音參數中，時長和基頻參數共同決定 節奏、旋律方面的信息，譜參數決定音色信息，即發音人的聲音特點信息；因而本發明能夠
5將歌曲模板的時長、基頻參數與音庫發音人的譜參數結合，能夠得到音色為音庫發音人、語 氣節奏為歌曲並帶有一定旋律的哼唱語音流。


圖1是本發明一種哼唱合成方法實施例的流程圖；圖2是本發明一種哼唱合成系統實施例的結構圖。
具體實施例方式為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實 施方式對本發明作進一步詳細的說明。本發明實施例的核心構思之一在於，基於時長參數和基頻參數生成歌曲模板，並 且，在用戶輸入文本時，可以依據所述歌曲模板對規劃得到的時長和基頻參數進行調整，然 後利用合成器得到所述文本的語音數據。由於在語音參數中，時長和基頻參數共同決定節 奏、旋律方面的信息，譜參數決定音色信息，即發音人的聲音特點信息；因而上述將歌曲模 板的時長、基頻參數與音庫發音人的譜參數結合，能夠得到音色為音庫發音人、語氣節奏為 歌曲並帶有一定旋律的哼唱語音流。參照圖1，示出了本發明一種哼唱合成方法實施例的流程圖，具體可以包括步驟101、接收用戶輸入的文本；所述用戶輸入的文本可以包括文字和數字符號，其中，所述文字可以是漢字、日 文、韓文、英文等，或者，上述多種文字中的一種或者幾種，如漢英組合等等，本發明對具體 的文本不加以限制，以下主要以漢字為例。步驟102、進行文本分析，獲得與所述文本對應的音節序列，以及，該音節序列中每 個音節的音節名稱；以下具體的文本「北京在2008-8-8舉行了盛大的奧運會開幕式」為例，對所述文 本分析步驟進行說明，具體可以包括子步驟Al、對所述文本進行分詞操作；分詞結果北京/在/2008-8-8/舉行/ 了 /盛大/的/奧運會/開幕式子步驟A2、將所述文本中的數字符號轉換為文字；對應本例，所述數字符號轉換也即，將「2008-8-8」轉換為「二零零八年八月八日」， 數字符號轉換後的文本為「北京在二零零八年八月八日舉行了盛大的奧運會開幕式」。子步驟A3、依據分詞結果，對數字符號轉換後的文本進行韻律預測；韻律預測結果北京在二零零八年八月八日/舉行了盛大的奧運會開幕式子步驟A4、根據韻律預測結果，將文本轉換為音節序列，以及，基於音節映射表，得 到該音節序列中每個音節的音節名稱。音節;！5歹[J :bei3 jingl zai4 er4 ling2 ling2 bal nian2 bal yue4 bal ri4Ju3 xing2 le5 sheng4 da4 de5 ao4 yun4 hui4 kail mu4 shi4其中，數字12345代表聲調，分別為一聲、二聲、三聲、四聲、輕聲。在實際中，漢字 音節的音節名稱可通過查詢漢字音節映射表得到，例如上例中的「bei3」即是音節名稱。步驟103、針對所述音節序列中每個音節，根據其音節名稱及上下文環境，結合統計參數模型，規劃得到相應的時長參數、基頻參數和譜參數；所述上下文環境主要是指音節的位置信息，可以包括句首、句中和句末；對應上 例，「shi4」的上下文環境是句末，而「er4」的上下文環境則是句中。在實際中，所述統計參數模型可通過離線訓練得到，其存儲有各音節在不同上下 文環境下所對應的參數。例如，離線時，針對時長參數訓練第一統計模型，針對基頻參數訓練第二統計模 型，以及，針對譜參數訓練第三統計模型；那麼，在線規劃時，可以直接從所述三個統計模型 得到與音節相應的時長參數、基頻參數和譜參數。步驟104、依據用戶選擇的歌曲模板和所述音節序列的音節個數，對所述規劃得 到的時長參數、基頻參數進行調整，其中，所述歌曲模板中存儲有音節的時長參數和基頻參 數；在實際中，可通過以下離線步驟建立歌曲模板子步驟Al、針對歌曲樣本，提取其中每個音節的時長參數和基頻參數；子步驟A2、將所述時長參數和基頻參數，保存至歌曲模板。由於普通歌曲由人聲和樂聲兩部分組成，而樂器的發聲特點與人類差異較大，提 取時會產生很多偏差，因此，本發明優先選用清唱歌曲樣本。在語音參數中，時長參數也即每個音節的發音時間長度，可根據波形文件來確定； 基頻參數是聲波的振動頻率，提取時可首先檢測出波形的周期，然後取倒數即可得到基頻 參數。在具體實現中，可採用成熟的工具，自動從歌曲樣本中提取所述時長參數和基頻 參數，本發明對具體的提取方式不加以限制。另外，本發明一般針對一個歌曲樣本生成一個歌曲模板，其中，所述歌曲樣本可以 是完整的歌曲，也可以是歌曲片段；並且，為方便用戶選擇，可為所述歌曲模板命名，例如， 所述命名規則可以是歌曲名稱「大約在冬季」、「月亮代表我的心」、「春天的故事」等。在用戶輸入文本時，本發明可展現所述離線建立若干個歌曲模板的選項，供用戶 選擇，而用戶可根據個人習慣、應用場景等實際需要，來選擇合適的歌曲模板。具體地，所述步驟104可以通過以下子步驟來實現子步驟Bi、獲取所述音節序列的音節個數；子步驟B2、從所述歌曲模板中提取與所述音節個數相應的時長參數和基頻參數， 並覆蓋所述規劃得到的時長參數、基頻參數。假設獲取得到的所述音節序列的音節個數為N，所述歌曲模板中的音節數為M，其 中，M，N均為自然數，本發明的調整步驟主要有兩種情形情形1、M 彡 N;此時，可以直接從歌曲模板中截取前N個音節的時長參數和基頻參數。情形2、M 2M，那麼，最終獲取的時長參數和基頻參 數所對應的歌曲模板中的音節序號可以為1，2，...，M，1，2，...，M，1，2，...N。這裡，所述覆蓋規劃得到的時長參數、基頻參數，也即，用歌曲模板中的時長參數和基頻參數替換原有的時長參數和基頻參數。在實際中，可以在提取一個音節的時長參數和基頻參數後，緊接著執行所述覆蓋 操作，然後針對其它音節執行提取和覆蓋操作；或者，在提取N個音節的時長參數和基頻參 數後，再執行覆蓋操作，本發明對具體的操作順序不加以限制。步驟105、依據調整後的時長參數，對相應音節的譜參數進行插值調整；利用合成器進行語音合成的前提條件是，基頻參數和譜參數應該是一一對應的， 也即，必須一個基頻參數對應一個譜參數；故本步驟通過調整譜參數，使其與步驟104規劃 得到的基頻參數對應，以進行下一步的語音合成。以下通過具體的示例說明所述調整過程假設步驟103針對所述音節序列規劃得到的時長參數為400ms，每一秒鐘所採樣 的數目為1000個，也即，採樣頻率為1000HZ (赫茲)，通過計算，可得到基頻參數和譜參數的 數目均為400個；假設步驟104依據用戶選擇的歌曲模板和所述音節序列的音節個數，調整得到的 時長參數為500ms，也即基頻參數的數目為500 ；那麼，本步驟則是針對步驟103中的400個譜參數，插值得到500個譜參數。插值方法有很多，例如，線性插值、非線性插值，或者，兩點插值、多點插值等，本領 域技術人員可以根據需要採用任一種，本發明對此不加以限制。例如，在採用兩點線性插值時，插值公式可以為Qs = (aQl+bQ2+ul)/(a+b)，其 中，Ql、Q2分別為已知譜參數點1、2(可為步驟103中原有的譜參數點，也可為本步驟已獲 得的新譜參數點)的譜參數，a，b為自然數，可分別代表已知譜參數點1、2對待插值點S產 生的權重，0 < ul < a+b。總結來說，本步驟即是將M個譜參數插值為N個，以滿足一個譜對應一個基頻的要 求，其中，M值可由步驟103得到，N值可由步驟104獲得，M、N均為自然數。步驟106、根據所述音節序列中每個音節的時長參數、基頻參數和譜參數，利用合 成器得到與所述音節序列對應的語音數據。由於具有調節能力大、語音可塑性強等優點，參數合成技術在語音合成中得到了 廣泛的應用；在實際中，可以採用LPC(線性預測編碼，linearpredictive coding)濾波器 作為合成器，本發明對具體的合成器不加以限制。由於加入了歌曲模板中的時長參數和基頻參數，因而所述合成得到的語音數據具 有與歌曲相同的旋律和節奏。參照圖2，示出了本發明一種哼唱合成系統實施例的結構圖，具體可以包括接口模塊201，用於接收用戶輸入的文本；文本分析模塊202，用於進行文本分析，獲得與所述文本對應的音節序列，以及，該 音節序列中每個音節的音節名稱；參數規劃模塊203，用於針對所述音節序列中每個音節，根據其音節名稱及上下文 環境，結合統計參數模型，規劃得到相應的時長參數、基頻參數和譜參數；第一參數調整模塊204，用於依據用戶選擇的歌曲模板和所述音節序列的音節個 數，對所述規劃得到的時長參數、基頻參數進行調整，其中，所述歌曲模板中存儲有音節的 時長參數和基頻參數；
8
第二參數調整模塊205，用於依據調整後的時長參數，對相應音節的譜參數進行插 值調整；合成模塊206，用於根據所述音節序列中每個音節的時長參數、基頻參數和譜參 數，利用合成器得到與所述音節序列對應的語音數據。在實際中，所述文本分析模塊202可以進一步包括分詞單元Cl，用於對所述文本進行分詞操作；數字符號處理單元C2，用於將所述文本中的數字符號轉換為文字；韻律預測單元C3，用於依據分詞結果，對數字符號轉換後的文本進行韻律預測；音節轉換單元C4，用於根據韻律預測結果，將文本轉換為音節序列，以及，基於音 節映射表，得到該音節序列中每個音節的音節名稱。本發明可以採用如下離線的歌曲模板生成模塊建立所述歌曲模板，該歌曲模板生 成模塊具體可以包括提取單元D1，用於針對歌曲樣本，提取其中每個音節的時長參數和基頻參數；保存單元D2，用於將所述時長參數和基頻參數及相應的採樣頻率，保存至歌曲模 板。由於普通歌曲由人聲和樂聲兩部分組成，而樂器的發聲特點與人類差異較大，提 取時會產生很多偏差，因此，本發明優先選用清唱歌曲樣本。在用戶輸入文本時，本發明可展現所述離線建立若干個歌曲模板的選項，供用戶 選擇，而用戶可根據個人習慣、應用場景等實際需要，來選擇合適的歌曲模板。具體地，所述第一參數調整模塊204可以包括如下單元結構獲取單元E1，用於獲取所述音節序列的音節個數；調整單元E2，用於從歌曲模板中提取與所述音節個數對應的參數信息，並覆蓋所 述規劃得到的時長參數、基頻參數。本說明書中的各個實施例均採用遞進的方式描述，每個實施例重點說明的都是與 其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對於系統實施例 而言，由於其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部 分說明即可。本發明可以應用於各種電腦終端及數字行動裝置，用於將系統接收的或輸入的任 意文本轉換成帶有歌曲節奏和旋律的語音流。以上對本發明所提供的一種哼唱合成方法和系統，進行了詳細介紹，本文中應用 了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解 本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具 體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明 的限制。
權利要求
一種哼唱合成方法，其特徵在於，包括接收用戶輸入的文本；進行文本分析，獲得與所述文本對應的音節序列，以及，該音節序列中每個音節的音節名稱；針對所述音節序列中每個音節，根據其音節名稱及上下文環境，結合統計參數模型，規劃得到相應的時長參數、基頻參數和譜參數；依據用戶選擇的歌曲模板和所述音節序列的音節個數，對所述規劃得到的時長參數、基頻參數進行調整，其中，所述歌曲模板中存儲有音節的時長參數和基頻參數；依據調整後的時長參數，對相應音節的譜參數進行插值調整；根據所述音節序列中每個音節的時長參數、基頻參數和譜參數，利用合成器得到與所述音節序列對應的語音數據。
2.如權利要求1所述的方法，其特徵在於，所述對時長參數、基頻參數進行調整的步 驟，包括獲取所述音節序列的音節個數；從所述歌曲模板中提取與所述音節個數相應的時長參數和基頻參數，並覆蓋所述規劃 得到的時長參數、基頻參數。
3.如權利要求1所述的方法，其特徵在於，所述文本分析步驟包括 對所述文本進行分詞操作；將所述文本中的數字符號轉換為文字；依據分詞結果，對數字符號轉換後的文本進行韻律預測；根據韻律預測結果，將文本轉換為音節序列，以及，基於音節映射表，得到該音節序列 中每個音節的音節名稱。
4.如權利要求1所述的方法，其特徵在於，所述歌曲模板為通過如下步驟生成的模板 針對歌曲樣本，提取其中每個音節的時長參數和基頻參數；將所述時長參數和基頻參數，保存至歌曲模板。
5.如權利要求4所述的方法，其特徵在於，所述歌曲樣本包括清唱歌曲樣本。
6.一種哼唱合成系統，其特徵在於，包括 接口模塊，用於接收用戶輸入的文本；文本分析模塊，用於進行文本分析，獲得與所述文本對應的音節序列，以及，該音節序 列中每個音節的音節名稱；參數規劃模塊，用於針對所述音節序列中每個音節，根據其音節名稱及上下文環境，結 合統計參數模型，規劃得到相應的時長參數、基頻參數和譜參數；第一參數調整模塊，用於依據用戶選擇的歌曲模板和所述音節序列的音節個數，對所 述規劃得到的時長參數、基頻參數進行調整，其中，所述歌曲模板中存儲有音節的時長參數 和基頻參數；第二參數調整模塊，用於依據調整後的時長參數，對相應音節的譜參數進行插值調整；合成模塊，用於根據所述音節序列中每個音節的時長參數、基頻參數和譜參數，利用合 成器得到與所述音節序列對應的語音數據。
7.如權利要求6所述的系統，其特徵在於，所述第一參數調整模塊包括 獲取單元，用於獲取所述音節序列的音節個數；調整單元，用於從歌曲模板中提取與所述音節個數對應的參數信息，覆蓋所述規劃得 到的時長參數、基頻參數，並對譜參數依據規劃時長進行插值。
8.如權利要求6所述的系統，其特徵在於，所述文本分析模塊包括 分詞單元，用於對所述文本進行分詞操作；數字符號轉換單元，用於將所述文本中的數字符號轉換為文字； 韻律預測單元，用於依據分詞結果，對數字符號轉換後的文本進行韻律預測； 音節轉換單元，用於根據韻律預測結果，將文本轉換為音節序列，以及，基於音節映射 表，得到該音節序列中每個音節的音節名稱。
9.如權利要求6所述的系統，其特徵在於，還包括歌曲模板生成模塊，該歌曲模板生成 模塊包括提取單元，用於針對歌曲樣本，提取其中每個音節的時長參數和基頻參數； 保存單元，用於將所述時長參數和基頻參數，保存至歌曲模板。
10.如權利要求9所述的系統，其特徵在於，所述歌曲樣本包括清唱歌曲樣本。
全文摘要
本發明提供了一種哼唱合成方法和系統，其中的方法具體包括接收用戶輸入的文本；進行文本分析，獲得與所述文本對應的音節序列，以及，該音節序列中每個音節的音節名稱；針對所述音節序列中每個音節，根據其音節名稱及上下文環境，結合統計參數模型，規劃得到相應的時長參數、基頻參數和譜參數；依據用戶選擇的歌曲模板和所述音節序列的音節個數，對所述規劃得到的時長參數、基頻參數進行調整，其中，所述歌曲模板中存儲有音節的時長參數和基頻參數；依據調整後的時長參數，對相應音節的譜參數進行插值調整；根據所述音節序列中每個音節的時長參數、基頻參數和譜參數，利用合成器得到語音數據。本發明能夠輸出帶有歌曲節奏和旋律的語音數據。
文檔編號G10L13/02GK101901598SQ20101022349
公開日2010年12月1日 申請日期2010年6月30日 優先權日2010年6月30日
發明者張連毅, 李健, 武衛東 申請人:北京捷通華聲語音技術有限公司