文本到語音轉換方法和系統、及其電腦程式產品的製作方法
2023-07-26 14:40:41
專利名稱：文本到語音轉換方法和系統、及其電腦程式產品的製作方法
技術領域：
本發明涉及文本到語音轉換技術，即允許書寫的文字被轉換成可理解的語音信號的技術。
背景技術：
根據所謂的「單元選擇可串聯合成」，文本-語音轉換系統是已知的。這要求包括由講母語者發音的預先記錄的句子的資料庫。元音資料庫是單語言，所有句子都以說話者語言書寫和發音。
該類型的文本-語音轉換系統可以如此正確地只「讀取」以說話者的語言書寫的文本，而可以以可理解的方式讀出文本中可能包括的任何外語單詞，只有在包括在作為對文本-語音轉換系統的支持提供的詞典中(與它們正確的語音一起)的情況下才可以。因此，只通過在語言中存在變化的情況下改變說話者聲音，多語言文本可以正確地讀入這樣的系統。這就產生了一般而言不愉快的效果，當在高頻下語言中產生變化並且時間非常短暫時，越來越明顯。
此外，必須讀出他或她自己的語言的文本中包括的外語單詞的當前說話者一般習慣於以這樣的方式讀出這些單詞，可能不同於-也大大地不同於相同單詞在包含在對應的完全的外語的文本中時的正確發音。
作為示例，必須讀出英語文本中包括的義大利人名字或姓的英國或美國說話者，與母語為義大利語的說話者在讀出相同名字和姓時的發音有相當的不同。相應地，收聽相同口頭文本的說英語的主題，一般將發現，如果按預期的那樣發音，被講英語者「扭曲」，而不是用正確的義大利語發音讀出，則比較容易理解(至少大致)義大利語名字和姓。
類似地，通過採用正確的英國英語或美國英語發音來讀出由講義大利語者讀出的義大利語文本中包括的英國或美國城市的名稱，一般將被視為不適當的複雜化，並為此，在一般的使用中被拒絕。
過去通過採用本質上兩種不同的方法，已經處理了讀取多種語言文本的問題。
一方面，進行了通過藉助於雙語或多語言說話者產生多語種元音資料庫的嘗試。C.Traber等人所著的文章″From multilingual topolyglot speech synthesis″Proceedings of the Eurospeech，pages835-838，1999是這樣的方法的示例。
此方法基於假設(本質上，是否有多種語言說話者)，這種說話者是難以遇到的，也難以複製。此外，這樣的方法一般沒有解決一般與文本中包括的外語單詞關聯的問題，希望外語單詞以與對應的語言的正確的發音不同的方式(可能顯著不同)讀出。
另一種方法是，對於外語，採用記錄器，在其輸出端產生的音素，為了發音，被映射到說話者聲音的語言的音素中。此後一種方法的示例有W.N.Campbell″Foreign-language speech synthesis″Proceedings ESCA/COCSDA ETRW on Speech Synthesis，JenolanCaves，Australia，1998 and″Talking Foreign.Concatenative SpeechSynthesis and Language Barrier″，Proceedings of the EurospeechScandinavia，pages 337-340，2001。
Campbell的工作本質上旨在根據從單語種日語資料庫開始生成的聲音，合成雙語文本，如英語和日語。如果說話者聲音是日語，而輸入文本是英文的，則激活英語記錄器，以產生英語音素。語音映射模塊將每一個英語音素映射到對應的類似的日語音素中。根據語音發音類別來評估相似性。通過搜索提供了日語和英語音素之間的對應關係的查詢表來進行映射。
作為隨後的步驟，根據與當利用英語聲音合成相同文本時生成的信號的聲音相似性，從日語資料庫中選擇用於製作日語聲音讀物的各種聲音單元。
Campbell提議的方法的核心是表達了兩種語言中的音素之間的對應關係的查詢表。可以通過調查兩種語言的特徵手動創建這樣的表。
原則上，這樣的方法適用於任何其他語言對，但是，每一個語言對都要求對它們之間的對應關係的顯式的分析。這樣的方法相當麻煩，事實上，在實踐中，在包括兩種以上的語言的合成系統的情況下是不可行的，因為要考慮的語言對的數量將很快變得非常大。
此外，一般有一個以上的說話者用於每一種語言，至少具有稍有不同音韻系統。為了使任何說話者聲音能夠說所有可用的語言，對於每一個聲音-語言對，都需要相應的表。
在包括N種語言和M種說話者聲音(顯然，M等於或大於N)的合成系統的情況下，在將查詢表用於第一語音映射步驟的情況下，如果將一個說話者聲音的音素映射到每一種外語的單一聲音的那些音素中，那麼，對於每一個說話者聲音，必須生成N-1不同的表，如此，累加到總共N*(M-1)個查詢表。
在利用十五種語言以及每一種語言都有兩個說話者聲音(對應於在本申請的受讓人開發的Loquendo TTS文本-語音轉換系統中所採用的當前配置)操作的合成系統的情況下，將需要435個查詢表。該圖相當有效，特別是在考慮到可能要求手動生成這樣的查詢表的情況下。
擴展這樣的系統以包括一個新的說話者聲音只說一種新的語言，將需要添加M+N＝45個新表。在這方面，必須考慮到，對於一個或多個語言，常常有新的音素添加到文本-語音轉換系統，當添加的新的音素是系統中已經存在的音素的音位變體時，這是常見的情況。在該情況下，需要檢查和修改屬於正在向其中添加新的音素的語言的所有查詢表。
發明內容
鑑於上述情況，需要除去了上文所考慮的現有技術配置的缺點的改進的文本-語音轉換系統。具體來說，本發明的目標是提供多語言的文本-語音轉換系統，該系統
-可以不需要依賴懂多種語言的說話者，以及-可以通過藉助於簡單體系結構來實現，存儲器要求適度，同時也不需要生成(可能手動)相關數量的查詢表，特別是當改進了系統，外加了一個或多個語言的新音素的情況下。
根據本發明，該目標可以通過具有隨後的權利要求中所闡述的特徵的方法來實現。本發明還涉及對應的文本-語音轉換系統和可加載到至少一個計算機的存儲器中的，並包括用於執行本發明的方法的步驟的軟體代碼部分的電腦程式產品。如這裡所使用，這樣的電腦程式產品相當於對包含用於控制計算機系統以協調本發明的方法的性能的指令的計算機可讀的介質。「至少一個計算機」顯然強調了以分布式方式實現的本發明的系統的可能性。
如此，本發明的優選實施例是包括至少一個使用第二語言的部分的第一語言的文本的文本-語音轉換系統的方案，包括-用於將所述第二語言的所述部分轉換為所述第二語言的音素的字形/音素記錄器，-映射模塊，被配置為將所述第二語言的所述音素的至少一部分映射到所述第一語言的音素集中，-語音-合成模塊，向該模塊提供包括作為所述映射結果產生的所述第一語言的所述音素集的結果音素流，以及代表所述文本的所述第一語言的音素流；以及從所述結果音素流生成語音信號；映射模塊被配置為-在正在被映射的所述第二語言的每個所述音素和所述第一語言的一組候選映射音素之間執行相似性測試，-給所述測試的結果指定相應的分數，以及-將所述第二語言的每一個所述音素作為所述分數的函數映射到從所述候選映射音素中選出的所述第一語言的一組映射音素中。
優選情況下，映射模塊被配置為將所述第二語言的所述音素映射到從下列各項中選出的所述第一語言的一組映射音素-所述第一語言的一組音素，包括所述第一語言的三個、兩個或一個音素，或-空集，其中，在所述第二語言的所述音素的所述結果流中沒有包括音素。
通常，將其任何所述分數不能達到所述閾值的所述第二語言的那些音素映射到所述第一語言的音素的所述空集中。
如此，通過所述第一語言的說話者聲音讀出結果音素流。
基本上，這裡所描述的配置基於語音映射配置，其中，系統中包括的每一個說話者聲音能夠讀取多語言文本，而不修改元音資料庫。具體來說，這裡所描述的配置的優選實施例在存在於表中的音素之中搜索說話者聲音的語言，接收最類似於外語音素的音素作為輸入。可以根據如根據國際標準IPA所定義的語音-發音特徵，表達兩個音素之間的相似度。語音映射模塊量化了語音類別的關係/相似性的程度和它們在音素之間的比較中的意義。
這裡所描述的配置不包括說話者聲音語言的資料庫中包括的段和藉助講外語者聲音所合成的信號之間的任何「聲音」比較。因此，從計算觀點來看，整個配置不太麻煩，省去了具有可用於「外語」的說話者聲音的系統只需字形-音素記錄器就足夠了。
此外，語音映射是獨立於語言的。音素之間的比較排他地引用了與每一個音素關聯的語音特徵的矢量，這些特徵事實上是獨立於語言的。如此，映射模塊「不知道」涉及的語言，這意味著，對於系統中的每一個語言對(或每一個聲音-語言對)，對於要執行(可能手動)的任何特定活動，沒有任何要求。此外，將新的語言或新的音素集成到系統中將不要求對語音映射模塊進行修改。
在不損失效率的情況下，這裡所描述的配置與現有技術系統相比，導致明顯的簡化，相對於以前的解決方案，還涉及高度的一般化。
所進行的實驗顯示，完全實現了使單語種說話者聲音能夠以可理解的方式說外語的目標。
現在將參考下面的附圖，只作為示例，對本發明進行描述
-圖1是用於集成了這裡所描述的改善的文本-語音轉換系統的方框圖，以及-圖2到8是圖1的文本-語音轉換系統的可能的操作的示範性流程圖。
具體實施例方式
圖1的方框圖描述了多語言型文本-語音轉換系統的總體體系結構。
基本上，圖1的系統可以作為其輸入接收基本上可以算是「多語言」文字的文字。
在本發明的上下文中，定義「多語言」的意義是雙重的首先，輸入文字是多語言的，它對應於以多種不同的語言T1...，Tn(例如，十五種不同的語言)中的任何一種語言書寫的文字，以及其次，每一個文本T1，...，Tn本身是多語言的，它可以包括以不同於文本的基本語言的一種或多種語言書寫的單詞或句子。
文本T1，..，Tn以電子文本格式被提供到系統(一般表示為10)。
通過例如OCR掃描讀取之類的技術，可以輕鬆地將不同形式的文本(例如，列印文本的硬拷貝)轉換為電子格式。這些方法已為大家所熟知，如此，沒有必要在這裡提供詳細描述。
系統10中的第一框通過語言識別模塊20來表示，該模塊識別輸入到系統的文本的基本語言以及包括在基本文本中的任何「外語」單詞或句子的語言。
再者，用於自動地執行這樣的語言識別功能的模塊已為大家所熟知，(例如，從字處理系統的正字法校正器)，從而，沒有必要在這裡提供詳細描述。
在下面，在描述本發明的示範性實施例時，將參考這樣的情況基本輸入文本是義大利語文本，其中，包括以英語書寫的單詞或短語。還將假設說話者聲音為義大利語。
有三個模塊30、40和50與語言識別模塊20連接。
具體來說，模塊30是字形/音素記錄器，用於將作為輸入接收到的文本分段為字形(例如，字母或字母組)，並將它轉換為對應的音素流。模塊30可以是任何已知類型的字形/音素記錄器，如包括在上文已經引用的Loquendo TTS文本-語音轉換系統中的那種類型。
基本上，來自模塊30的輸出將是包括輸入文本的基本語言(例如義大利語)的音素的音素流，在其中分散有包括在基本文本中的外語單詞或短語所用語言(例如英語)的音素「脈衝」。
參考40表示映射模塊，下面將詳細描述其結構和操作。基本上，模塊40將從模塊30輸出的混合音素流-包括輸入文本的基本語言(義大利語)的音素以及外語(英語)的音素-轉換為只包括第一種基本語言(即在示例中為義大利語)的音素的音素流。
最後，模塊50是語音-合成模塊，該模塊由從模塊40輸出的(義大利語)音素流生成合成語音信號，被饋送到說話者60，以生成可以被人感覺、聽到和理解的對應的聲音語音信號。
諸如這裡所顯示的模塊60之類的語音信號合成模塊是任何文本到語音轉換信號的基本組件，如此，沒有必要在這裡提供詳細描述。
下面是模塊40的操作的描述。
基本上，模塊40包括分別表示為40a和40b的第一和第二部分。
第一部分40a基本上被配置為向模塊50傳遞已經是基本語言(在本示例中為義大利語)的音素的那些音素。
第二部分40b包括說話者聲音(義大利語)的音素表，並作為輸入接收將映射到說話者聲音(義大利語)的語言的音素中的外語(英語)的音素流，以便允許這樣的聲音發音。
如上文所指出的，模塊20向模塊40指出，在給定語言的文字的範圍內，何時外語的字或句子出現。通過經過線路24從模塊20發送到模塊40的「信號開關」信號，發生這種情況。
再者，再強調一遍，將義大利語和英語作為涉及文本-語音轉換系統的兩種語言只是舉例而已。事實上，這裡所描述的配置的基本優點位於，在模塊40的部分40b中執行的語音映射是獨立於語言的。映射模塊40不知道涉及的語言，這意味著，對於系統中的每一個語言對(或每一個聲音-語言對)，對於要執行(可能手動)的任何特定活動，沒有任何要求。
基本上，在模塊40中，將每一個「外語」語言音素與表中所存在的所有音素進行比較(可以包括本身不是基本語言的音素的音素)。
因此，輸出音素的變數可以對應於每一個輸入音素例如，三個音素、兩個音素，一個音素或根本沒有音素。
例如，將外語雙元音與說話者-聲音以及元音對相比較。
將分數與執行的每一個比較進行關聯。
最後選擇的音素將是具有最高分數和高於閾值的值的那些音素。如果在說話者聲音中沒有音素達到閾值，則將外語音素映射到零音素中，因此，對於該音素，不產生聲音。
通過可變長度的n個語音發音類別的矢量，以意義明確的方式定義每一個音素。根據IPA標準定義的類別如下-(a)兩個基本類別「元音」和「輔音」；-(b)類別「雙元音」；-(c)元音(即元音)特徵無重音的/帶重音的，非音節、長音、鼻音化、r音化、圓唇音；-(d)元音類別「舌前音」、「央元音」、「舌根音」；-(e)元音類別「閉塞音」、「閉塞音-閉塞音-半開元音」、「閉塞音-半開元音」、「半開元音」、「開元音-半開元音」、「開元音-開元音-半開元音」、「開元音」；-(f)輔音模式類別「爆破音」、「鼻音」、「顫音」、「觸音/閃音」、「摩擦音」、「舌邊音-摩擦音」、近似音、「舌邊音」、「塞擦音」；-(g)輔音位置類別「雙唇音」、「唇齒音」、「齒音」、「齒槽音」、「後齒槽音」、「捲舌音」、「上顎音」、「軟顎音」、「小舌音」、「咽喉音」、「聲門音」；以及-(h)其他輔音類別「濁音」、「長音」、「音節」、「送氣音」、」不除阻」、「清音」、「半輔音」。
實際上，類別「半輔音」不是標準IPA特點。此類別是冗餘類別，以便簡明地表示近似/齒槽音/上顎音輔音或近似音-軟顎音輔音。
類別(d)和(e)還描述了雙元音的第二組件。
如果音素是元音，則每一個矢量都包含一個類別(a)，一個或無類別(b)，如果音素是元音，至少一個類別(c)，如果音素是元音，一個類別(d)，如果音素是元音，一個類別(e)，如果音素是輔音，則一個類別(f)，如果音素是輔音，則至少一個類別(g)，如果音素是輔音，則至少一個類別(h)。
通過比較對應的矢量，向所述按矢量的比較分配相應的分數，執行音素之間的比較。
通過比較對應的類別，向所述按類別比較分配相應的分數值，所述相應的分數值被相加以生成所述分數。
每一個按類別的比較都關聯了微分的權重，以便不同的按類別的比較都可以在生成對應的分數時具有不同的權重。
例如，通過比較(f)類別獲得的最大分數值始終低於通過比較(g)類別獲得的分數值(即，與類別(f)比較關聯的權重高於與類別(g)比較關聯的權重)。結果，與類別(g)之間的相似性相比，矢量(分數)之間的關係將主要受類別(f)之間的相似性的影響。
下面描述的過程使用了具有下列值的一組常數-MaxCount＝100-Kopen＝14-Sstep＝1-Mstep＝2*Lstep-Lstep＝4*Mstep-Kmode＝Kopen+(Lstep*2)-Thr＝Kmode-Kplace3＝1-Kplace2＝(Kplace3*2)+1-Kplace1＝((Kplace2)*2)+1
-DecrOPen＝5現在將通過引用圖2到8的流程圖，通過假設向模塊40輸入單音素，描述這裡所示範的系統的操作。如果作為模塊40的輸入提供多個音素，對於每一個輸入的音素，將重複下面所描述的過程。
下面將具有類別「雙元音或塞擦音」的音素表示為「可分的音素」。
當定義音素的模式和位置類別時，它們是單義的，除非特別指明。
例如，如果給定外語音素(例如，PhonA)被稱為「摩擦音-小舌音」，這意味著，它具有單模式類別(摩擦音)和單位置類別(小舌音)。
通過首先參考圖2的流程圖，在步驟100中，掃描說話者聲音語言的表的索引(Indx)(下面表示為TabB)被設置為零，即，位於表中的第一音素中。
與變量MaxScore、TmpScrMax、FirstMaxScore、Loop和Continue的情況相同，分數值(Score)被設置為零初始值。在nil音素中，設置音素BestPhon、FirstBest和FirstBestCmp。
在步驟104中，將外語音素(PhonA)的類別的矢量與說話者聲音語言(PhonB)的音素的矢量進行比較。
如果兩個矢量相同，則兩個音素相同，在步驟108中，分數(Score)被換至值MaxCount，隨後的步驟是步驟144。
如果矢量不同，則在步驟112中，比較基礎類別(a)。
存在三種情況兩個音素都是輔音(128)，兩者都是元音(116)或不同(140)。
在步驟116中，就PhonA是否為雙元音作出判斷。如果是肯定回答，則在步驟124中，如下面詳細描述的，激活圖4的流程圖中所描述的功能。
如果它不是雙元音，則在步驟120中，激活圖5的流程圖中所描述的函數，以將元音與元音進行比較。
可以理解，兩個步驟120和124都可能導致分數被修改，如下面所詳細描述的。
隨後，處理進入步驟144。
在步驟128中(輔音之間的比較)，就PhonA是否為塞擦音進行檢查。如果是肯定回答，則在步驟136中，激活圖7的流程圖中所描述的功能。或者，在步驟132中，激活圖6中所描述的功能，以便比較兩個輔音。
在步驟140中，如下面詳細描述的，激活圖8的流程圖中所描述的功能。
類似地，在下面詳細描述了在步驟132和136中可以修改分數所根據的那些標準。
隨後，系統進入步驟144。
比較的結果匯集到步驟144，在該步驟中，讀取分數值(Score)。
在步驟148中，將分數值與表示為MaxCount的值進行比較。如果分數值等於MaxCount，則終止搜索，這意味著，為PhonA查找到了說話者聲音語言中的對應的音素(步驟152)。
如果分數值低於MaxCount(在步驟148中所檢查的)，則在步驟156中，過程如圖3的流程圖所描述的那樣進行。
在步驟160中，將與值Continue與值1進行比較。在肯定回答的情況下(即，Continue等於1)，在將值Loop設置為值1並將Continue、Indx和Score復位為零值之後，系統回到步驟104。或者，系統進入步驟164。
從這裡，如果PhonA是鼻音或r音，所選擇的音素不是這些類型中的任何一種類型，系統進入步驟168，在該步驟中，通過來自TabB的輔音補充所選擇的音素，其語音-發音特徵允許模擬PhonA的鼻音化或r音化的聲音。
在步驟172中，所選擇的音素(或多個音素)被發送到輸出語音映射模塊40，以便提供到模塊50。
從圖2的流程圖的步驟156中到達圖3的步驟200。
從步驟200中，如果滿足下列兩個條件之一，系統進入步驟224-PhonA是將要映射到兩個元音中的雙元音；
-PhonA是塞擦音，PhonB是非塞擦音輔音，但是，可以是塞擦音的組件。
參數Loop表示自頂到底掃描表TabB多少次。其值可以是0或1。
只有在PhonA是雙元音或塞擦音的情況下，Loop才被設置為值1，從而不可能在Loop等於1的情況下到達步驟204。在步驟204中，檢查Maximum Condition。如果分數值(Score)高出MaxScore或者如果相等，並且PhonB的n個語音特徵的集比BestPhon的集，則可以滿足此條件。
如果滿足該條件，則系統進入步驟208，在該步驟中，MaxScore被延至分數值，PhonB變為BestPhon。
在步驟212中，將Indx與TabLen(TabB中的音素的數量)進行比較。
如果Indx高於或等於TabLen，則系統進入下面將描述的步驟284。
如果Indx是較低，那麼，PhonB不是表中的最後一個音素，系統進入步驟220，在該步驟中，Indx被增大1。
如果PhonB是表中的最後一個音素，那麼，終止搜索，BestPhon(與分數MaxScore關聯)是替代PhonA的候選音素。
在步驟224中，檢查Loop的值。
如果Loop等於0，那麼，系統進入步驟228，在該步驟中，就PhonB是雙元音還是塞擦音作出檢查。
在肯定回答的情況下(即，如果PhonB是雙元音或塞擦音)，隨後的步驟是步驟232。
此時，在步驟232中，在Score和MaxScore之間檢查最大條件(Maximum Condition)。
如果滿足該條件(即，Score高於MaxScore)，則在步驟236中，MaxScore被延至Score的值，PhonB變為BestPhon。
在步驟240(如果步驟228的檢查顯示了，PhonB既不是雙元音，也不是塞擦音，則到達該步驟)，則就在Score和TmpScrMAX之間是否存在maximum condition進行檢查(以FirstBestComp代替BestPhon)。如果滿足這一條件(即，Score高於TmpScrMAX)，則在步驟244中，TmpScrMax通過Score延遲，FirstBestComp通過PhonB延遲。
在步驟248中，就PhonB是否為TabB中的最後一個音素作出判斷(那麼，Indx等於TabLen)。
在肯定回答的情況下(252)，作為變量FirstMaxScore存儲了MaxScore的值，作為FirstBest存儲了BestPhon，隨後，在步驟256中，Indx被設置為0，而continue被設置為1(以便還將搜索PhonA的第二個組件)，以及Score被設置為0。
如果Loop等於1，即，如果判斷PhonB為PhonA的可能的第二組件，則從步驟224中到達步驟260。在步驟260中，則就在Score和MaxScore(屬於BestPhon)之間的比較中是否滿足maximum condition作出判斷。
在步驟264中，在滿足最大條件(maximum condition)的情況下，Score存儲在MaxScore中，PhonB存儲在BestPhon中。在步驟266中，就PhonB是否為表中的最後一個音素作出判斷，在肯定回答的情況下，系統進入步驟272中。
在步驟272中，根據是否滿足FirstMaxScore大於或等於(TmpScrMax+MaxScore)的條件，可以在可分的音素或說話者語言聲音中的一對音素之間選擇最類似於PhonA的音素。作為MaxScore存儲了該關係的兩個成員的較高值。在選擇落在一對音素的情況下，這將是FirstBestCmp和BestPhon。否則，只考慮FirstBest。
值得指出的是，BestPhon(在第二次迭代中查找到)不能是雙元音或塞擦音。在步驟276中，Indx增大1，Score被設置為0。
系統從步驟280回到步驟104。
當完成搜索時，從步驟272(或步驟212)到達步驟284。在步驟284中，在MaxScore和閾值常量Thr之間進行比較。如果MaxScore較高，那麼，候選音素(或音素對)是PhonA的替代。在否定回答的情況下，將PhonA映射到nil音素中。
圖4的流程圖是圖2的圖表的方框124的詳細描述。
如果PhonA是雙元音，則到達步驟300。
在步驟302中，就PhonB是否為雙元音，Loop是否等於0作出判斷。在肯定回答的情況下，系統進入步驟304中，在該步驟中，在判斷PhonA的特點之後，如果PhonA是將要映射到單元音中的雙元音，則系統進入步驟306。
此種類型的雙元音具有第一組件，該第一組件是半開元音和央元音，第二組件，該第二組件是閉塞音-閉塞音-半開元音和舌根音。
系統從步驟306進入步驟144。
在步驟308中，調用比較兩個雙元音的函數。
在步驟310中，通過該函數，比較兩個音素的類別(b)，對於查找到的每一個共同的特點，Score增大1在步驟312中，比較兩個雙元音的第一組件，在步驟314中，對於兩個組件，調用叫做F_CasiSpec_Voc的函數。
此函數執行下列情況下滿足的三個判斷，如果-兩個雙元音的組件似乎是開元音、或開元音-開元音-半開元音、舌前音而不是圓唇音，或開元音-半開元音，舌根音，而不是圓唇音；-PhonA的組件是半開元音和央元音，在TabB中，沒有表現了兩種類別的音素存在，PhonB是閉塞音-半開元音和舌前音；-PhonA的組件是閉塞音、舌前音和圓唇音，或閉塞音-閉塞音-半開元音，舌前音和圓唇音，在TabB中，沒有具有這樣的特點的音素存在，而PhonB是閉塞音、舌根音，以及圓唇音或閉塞音-閉塞音-半開元音，舌根音和圓唇音。
如果滿足了三個條件中的任何條件，在步驟316中，通過增加(KOpen*2)，延遲Score的值。
否則，在步驟318中，對於兩個組件，調用函數F_ValPlace_Voc。
這樣的函數比較類別「舌前音、央元音和舌根音」(類別(d))。
如果相同，Score增大Kopen；如果它們不同，則將一個值增加到Score，如果兩個類別之間的距離是1，則該Score包括KOpen減去常數DecrOpen，而如果距離是2，則Score不增大。
在央元音和舌前音之間和在央元音和舌根音之間存在等於1的距離，而在舌前音和舌根音之間存在等於2的距離。
在步驟320中，對於比較雙元音的兩個組件，調用函數F_ValOpen_Voc。具體來說，通過在兩個連續迭代中比較第一組件和第二組件，F_ValOpen_Voc以循環方式操作。
該函數比較類別(e)，並將小於類別之間的距離的值的常數KOpen添加到Score中，如下面的表1中所報告的。
矩陣是對稱的，其中，只報告了上部。
通過作數字示例，如果PhonA是閉元音，PhonB是閉塞音-半開元音，則將等於(KOpen-(6*Lstep))的值添加到Score，在考慮到常數的值之後，Score等於8。
在步驟322中，如果組件都具有圓唇音特點，則將常數(KOpen+1)添加到Score中。相反，如果兩個中只有一個是圓唇音，那麼，Score被降低KOpen。
如果已經比較了開頭兩個組件，系統從步驟324中回到步驟314；相反，當也比較了第二組件時，則進入步驟326。
在步驟326中，終止兩個雙元音的比較，系統回到步驟144。
在步驟328中，就PhonB是否為雙元音，Loop是否等於1作出判斷。如果是這種情況，系統進入步驟306。
在步驟330中，就PhonA是否為將要映射到單元音中的雙元音作出判斷。如果是這種情況，則在步驟331中，檢查Loop，如果判斷它等於1，則到達步驟306。
在步驟332中，創建音素TmpPhonA。
TmpPhonA是元音，而沒有雙元音特徵，並具有「閉塞音-半開元音」、「舌根音」和「圓唇音」特點。
隨後，系統進入步驟334中，在該步驟中，比較TmpPhonA和PhonB。通過在沒有雙元音類別的兩個元音音素之間調用比較函數，來執行比較。
在圖5中詳細描述了也在圖2的流程圖中的步驟120中調用了該函數。
在步驟336中，調用該函數，以在PhonA和PhonB的組件之間執行比較因此，在步驟338中，如果Loop等於0，則將PhonA的第一組件與PhonB進行比較(在步驟344中)。相反，如果Loop等於1，則將PhonA的第二組件與PhonB進行比較(在步驟340中)。
在步驟340中，對於查找到的每一個身份，通過將Score增大1，對鼻音化和r音化的類別進行引用。
在步驟342中，如果PhonA在其第一組件上帶有重音，PhonB是帶重音的元音，或者，如果PhonA是無重音的或在其第二組件中帶有重音，PhonB是無重音的元音，則Score增大2。在所有其他情況下，它都縮小2。
在步驟344中，如果PhonA在第二組件上帶有重音，PhonB是帶有重音的元音，或者，如果PhonA在第一輔音中帶有重音或者是無重音的雙元音，PhonB是無重音的元音，那麼，Score增大2；相反，在所有其他情況下，它都縮小2。
在步驟348中，將PhonA的第一或第二組件的類別(d)和(e)與PhonB進行比較(分別取決於Loop是等於0還是等於1)。
根據在步驟314到322所描述的相同原理，執行特徵矢量的比較並更新Score。
步驟350標誌著返回到步驟144。
圖5的流程圖詳細描述了圖2的圖表的步驟120，即，不是雙元音的兩個元音之間的比較。
在步驟400中，就PhonB是否為雙元音作出判斷。在肯定回答的情況下，系統直接進入步驟470。
在步驟410中，對於被發現相同的每一個類別，通過將Score增大1，根據類別(b)，進行比較。
相反，在步驟420中，調用上文中已經描述的函數F_CasiSpec_Voc，以便判斷是否滿足該函數的其中一個條件。
如果是這種情況，在步驟430中，Score增大數量(KOpen*2)。
在否定回答的情況下，在步驟440中，調用函數F_ValPlace_Voc。
隨後，在步驟450中，調用函數F_ValOpen_Voc。
在步驟460中，如果兩個元音具有圓唇音類別，則Score增大一個常量(KOpen+1)；如果，相反，發現只有一個音素具有圓唇音類別，那麼，Score降低KOpen。
步驟470標誌著比較結束，此後，系統回到步驟144。
圖6的流程圖詳細描述圖1的圖表中的方框132。
在步驟500中，比較兩個輔音，而變量TmpKP被設置為0，在步驟504中調用函數F_CasiSpec_Cons。
該函數判斷是否滿足下列條件中的任何條件；1.0PhonA是小舌音-摩擦音，在TabB中，沒有具有這些特徵的音素，PhonB是顫音-齒槽音；1.1PhonA是小舌音-摩擦音，在TabB中，沒有具有這些特徵的音素，PhonB是近似音-齒槽音；1.2PhonA是小舌音-摩擦音，在TabB中，沒有具有這些特徵的音素，PhonB是小舌音-顫音；1.3PhonA是小舌音-摩擦音，在TabB中，沒有具有這些特徵的音素，或具有1.0、或1.1或1.2的PhonB的那些特徵的音素，PhonB是舌邊音-齒槽音；2.0PhonA是聲門-摩擦音，在TabB中，沒有具有這些特徵的音素，PhonB是摩擦音-軟顎音；
3.0PhonA是摩擦音-軟顎音，在TabB中，沒有具有這些特徵的音素，PhonB是摩擦音-聲門音或爆破音-軟顎音；4.0PhonA是顫音-齒槽音，在TabB中，沒有具有這些特徵的音素，PhonB是摩擦音-小舌音；4.1PhonA是顫音-齒槽音，在TabB中，沒有具有這些特徵的音素，PhonB是近似音-齒槽音；4.2PhonA是顫音-齒槽音，在TabB中，沒有具有這些特徵的音素，或具有4.0和4.1的PhonB的那些特徵的音素，PhonB是舌邊音-齒槽音；5.0PhonA是鼻音-軟顎音，在TabB中，沒有具有這些特徵的音素，PhonB是鼻音-齒槽音；5.1PhonA是鼻音-軟顎音，在TabB中，沒有具有這些特徵的音素，或具有5.0的PhonB的那些特徵的音素，PhonB是鼻音-雙唇音；6.0PhonA是摩擦音-齒音-非濁音，在TabB中，沒有具有這些特徵的音素，PhonB是近似音-齒音；6.1PhonA是摩擦音-齒音-非濁音，在TabB中，沒有具有這些特徵的音素，或具有6.0的PhonB的那些特徵的音素，PhonB是爆破音-齒音；6.2PhonA是摩擦音-齒音-非濁音，在TabB中，沒有具有這些特徵的音素，或具有6.0的PhonB的那些特徵的音素，PhonB是爆破音-齒槽音；7.0PhonA是摩擦音-齒音-濁音，在TabB中，沒有具有這些特徵的音素，PhonB是近似音-齒音；7.1PhonA是摩擦音-齒音-濁音，在TabB中，沒有具有這些特徵的音素，或具有7.0的PhonB的那些特徵的音素，PhonB是爆破音-齒音；7.2PhonA是摩擦音-齒音-濁音，在TabB中，沒有具有這些特徵的音素，或具有7.0的PhonB的那些特徵的音素，PhonB是爆破音-齒槽音；8.0PhonA是摩擦音-上顎音-齒槽音-非濁音，在TabB中，沒有具有這些特徵的音素，PhonB是摩擦音-後齒槽音；8.1PhonA是摩擦音-上顎音-齒槽音-非濁音，在TabB中，沒有具有這些特徵的音素，或具有8.0的PhonB的那些特徵的音素，PhonB是摩擦音-上顎音；9.0PhonA是摩擦音-後齒槽音，在TabB中，沒有具有這些特徵或摩擦音-捲舌音的音素，PhonB是摩擦音-齒槽音-上顎音；10.0PhonA是摩擦音-後齒槽音-軟顎音，在TabB中，沒有具有這些特徵的音素，PhonB是摩擦音-齒槽音-上顎音；10.1PhonA是摩擦音-後齒槽音-軟顎音，在TabB中，沒有具有這些特徵的音素，PhonB是摩擦音-上顎音；10.2PhonA是摩擦音-後齒槽音-軟顎音，在TabB中，沒有具有這些特徵的音素，或10.0或10.1的那些特徵的音素，PhonB是摩擦音-後齒槽音；11.0PhonA是爆破音-上顎音，在TabB中，沒有具有這些特徵的音素，PhonB是舌邊音-上顎音；11.1PhonA是爆破音-上顎音，在TabB中，沒有具有這些特徵或PhonB di 11.0的那些特徵的音素，PhonB是摩擦音-上顎音或近似音-上顎音；12.0PhonA是摩擦音-雙唇音齒音-濁音，在TabB中，沒有具有這些特徵的音素，PhonB是近似音-雙唇音-濁音；13.0PhonA是摩擦音-上顎音-濁音，在TabB中，沒有具有這些特徵的音素，PhonB是爆破音-上顎音-濁音或近似音-上顎音-濁音；14.0PhonA是舌邊音-上顎音，在TabB中，沒有具有這些特徵的音素，PhonB是爆破音-上顎音；14.1.PhonA是舌邊音-上顎音，在TabB中，沒有具有這些特徵的音素，或14.0的PhonB的那些特徵的音素，PhonB是摩擦音-上顎音或近似音-上顎音；
15.0PhonA是近似音-齒音，在TabB中，沒有具有這些特徵的音素，PhonB是爆破音-齒音或爆破音-齒槽音；16.0PhonA是近似音-雙唇音，在TabB中，沒有具有這些特徵的音素，PhonB是爆破音-雙唇音；17.0PhonA是近似音-軟顎音，在TabB中，沒有具有這些特徵的音素，PhonB是爆破音-軟顎音；18.0PhonA是近似音-齒音，在TabB中，沒有具有這些特徵的音素，PhonB是顫音-齒槽音或摩擦音-小舌音或顫音-小舌音；18.1PhonA是近似音-齒槽音，在TabB中，沒有具有這些特徵的音素，或18.0中的PhonB的那些特徵的音素，PhonB是舌邊音-齒槽音。
如果滿足這些條件中的任何一個，則系統進入步驟508中，在該步驟中，在比較的整個過程中，用TmpPhonB代替PhonB，直到步驟552中。
如果不滿足上述條件中的任何一個條件，則系統直接進入步驟512中，在該步驟中，比較模式類別(f)。
如果PhonA和PhonB具有相同類別，那麼，Score增大KMode。
在步驟516中，調用函數F_CompPen_Cons，以控制是否滿足下列條件-PhonA是摩擦音-後齒槽音，PhonB(或TmpPhonB)是摩擦音-後齒槽音-軟顎音。
如果滿足條件，那麼，Score縮小Kplace1。
在步驟520中，調用函數F_ValPlace_Cons，以根據表2中報告的內容增大TmpKP。
在該表中，PhonA的類別位於垂直軸中，而PhonB的類別位於水平軸中。每一個單元都包括被添加到Score中的紅利值。
通過假設PhonA只有類別「唇齒音」，PhonB只有齒音類別，那麼，通過掃描該行，以便查找唇齒音，交叉列，以查找齒音，可以發現，值Kplace2必須被添加到Score中。
在步驟524中，就PhonA是否為近似音-半輔音並且PhonB(或TmpPhonB)是近似音作出判斷。如果是肯定的結果，則系統進入步驟528中，在該步驟中，對TmpKP進行測試。
進行這樣的測試，以便確保，在正在被比較的兩個音素都是近似音，並具有相同的位置類別的情況下，它們的Score高於任何比較輔音-元音的情況。
如果這樣的變量大於或等於Kplace1，那麼，在步驟532中，TmpKP增大KMode。在否定回答的情況下，TmpKP在步驟536中被設置為零。
在步驟540中，數量TmpKP被添加到Score中。
在步驟544中，就Score是否高於KMode作出判斷。
如果是這種情況，則在步驟548中，比較類別(h)，半輔音類別除外。對於查找到的每一個身份，Score都增大1。
步驟552標誌著比較結束，此後，系統回到圖1的步驟144。
圖7的流程圖引用了在PhonA是塞擦音輔音(圖2的步驟136)的情況下音素之間的比較。
在步驟600中，開始比較，並在步驟604中，就PhonB是否為塞擦音並且Loop是否等於0作出判斷。
如果是這種情況，則系統進入步驟608，該步驟又使系統回到步驟132。
在步驟612中，就PhonB是否為塞擦音以及Loop是否等於1作出判斷。
如果是這種情況，則直接到達步驟660。
在步驟616中，就PhonB可以被視為由塞擦音組成作出判斷。
如果Loop等於1並且PhonB具有類別摩擦音-後齒槽音-軟顎音，就不是這種情況。
如果是這種情況，則系統進入步驟660。
在步驟620中，對Loop的值進行判斷如果該值等於0，則系統進入步驟642。
在該步驟中，PhonA在與PhonB的比較中被TmpPhonA臨時替代；它與PhonA具有相同特徵，但它不是塞擦音，而是爆破音。
在步驟628中，就TmpPhonA是否具有唇齒音類別作出判斷；如果在步驟636中是這種情況，齒音類別被從類別的矢量中刪除。
在步驟632中，就TmpPhonA是否具有後齒槽音類別作出判斷；在肯定回答的情況下，在步驟644中這樣的類別被齒槽音類別代替。
在步驟640中，就TmpPhonA是否具有類別齒槽音-上顎音作出判斷；如果是這種情況，則去除上顎音類別。
在步驟652中，PhonA在與PhonB的比較中被TmpPhonA臨時替代(直到到達步驟144)；它與PhonA具有相同特徵，但它是摩擦音，而不是塞擦音。
通過將TmpPhonA與PhonB與比較，步驟656標誌著進入步驟132的比較。
步驟660標誌著返回到步驟144。
圖8的流程圖詳細描述了圖2的流程圖的步驟140。
如果PhonA是輔音，PhonB是元音，或者，如果PhonA是元音，PhonB是輔音，則到達步驟700。音素TmpPhonA被設置為零音素。
在步驟705中，就phona是否為元音以及PhonB是否為輔音作出判斷。在肯定回答的情況下，下一個步驟是步驟780。
在步驟710中，就PhonA是否為近似音-半輔音作出判斷。
在否定回答的情況下，系統直接進入步驟780。
在步驟720中，就PhonA是否為顎音作出判斷。如果是這種情況，則在步驟730中，將TmpPhonA被轉換成無重音-舌前音-閉元音，並在TmpPhonA和PhonB之間執行步驟120的比較。
在步驟740中，就PhonA是否為雙唇音-軟顎音作出判斷。如果是這種情況，則在步驟750中，將TmpPhonA轉換成無重音-閉塞音-舌根音-圓唇元音，並在TmpPhonA和PhonB之間執行步驟120(圖2)的比較。
在步驟760中，就PhonA是否為雙唇音-上顎音作出判斷。如果是這種情況，則在步驟770中，將TmpPhonA轉換成無重音-閉塞音-舌根音-圓唇元音，並在TmpPhonA和PhonB之間進行步驟120的比較。
步驟780標誌著系統回到步驟144中。
下面報告了上文中反覆引用的兩個表1和2。
表1元音特點的距離(e)
表2要添加到Score中的值當然，在不違背本發明的基本原理的情況下，實施例可以變化，相對於所描述的內容，可以有顯著不同，這裡的描述只作為示例，而不偏離如所附的權利要求所定義的本發明的範圍。
權利要求
1.對包括至少一個使用第二語言的部分的第一語言的文本(T1，...，Tn)進行文本-語音轉換的方法，其特徵在於，該方法包括下列步驟-將所述第二語言的所述部分轉換(30)為所述第二語言的音素，-將所述第二語言的所述音素的至少一部分映射(40；40b)到所述第一語言的音素集中，-將作為所述映射結果的所述第一語言的所述音素集包括在代表所述文本的所述第一語言的音素流中，以產生結果音素流，以及從所述結果音素流生成(50)語音信號，其中，所述映射(40)步驟包括下列操作-在正在被映射的所述第二語言的每個所述音素和所述第一語言的一組候選映射音素之間執行相似性測試，-給所述測試的結果指定相應的分數，以及-將所述第二語言的每一個所述音素映射(40b)到從所述候選映射音素中選出的所述第一語言的一組映射音素中，作為所述分數的函數。
2.根據權利要求1所述的方法，其特徵在於，該方法包括將所述第二語言的所述音素映射(40b)到從下列各項中選出的所述第一語言的一組映射音素中的步驟-所述第一語言的一組音素，包括所述第一語言的三個、兩個或一個音素，或-空集，其中，在所述第二語言的所述音素的所述結果流中沒有包括音素。
3.根據權利要求2所述的方法，其特徵在於，所述映射(40)的步驟包括下列操作-為所述測試的結果定義閾值(Th)，以及-將其任何所述分數不能達到所述閾值的所述第二語言的任何音素映射到所述第一語言的音素的所述空集中。
4.根據權利要求1所述的方法，其特徵在於，該方法包括將所述第二語言的所述音素和所述第一語言的所述候選映射音素表示為語音類別矢量，其中，將代表所述第二語言的每一個所述音素的語音類別的矢量與代表所述第一語言的所述候選映射音素的語音類別的一組語音類別矢量進行比較。
5.根據權利要求4所述的方法，其特徵在於，通過向所述按類別的比較分配相應的分數值，按類別地執行所述比較，所述相應的分數值被相加以生成所述分數。
6.根據權利要求5所述的方法，其特徵在於，該方法包括在將所述相應的分數值相加時，向所述分數值分配微分的權重以生成所述分數的步驟。
7.根據權利要求4所述的方法，其特徵在於，該方法包括從包括下列各項的組中選擇所述語音類別的操作-(a)兩個基本類別「元音」和「輔音」；-(b)類別「雙元音」；-(c)元音特徵無重音的/帶重音的，非音節、長音、鼻音化、r音化、圓唇音；-(d)元音類別「舌前音」、「央元音」、「舌根音」；-(e)元音類別「閉塞音」、「閉塞音-閉塞音-半開元音」、「閉塞音-半開元音」、「半開元音」、「開元音-半開元音」、「開元音-開元音-半開元音」、「開元音」；-(f)輔音模式類別「爆破音」、「鼻音」、「顫音」、「觸音/閃音」、「摩擦音」、「舌邊音-摩擦音」、」近似音」、「舌邊音」、「塞擦音」；-(g)輔音位置類別「雙唇音」、「唇齒音」、「齒音」、「齒槽音」、「後齒槽音」、「捲舌音」、「上顎音」、「軟顎音」、「小舌音」、「咽喉音」、「聲門音」；以及-(h)其他輔音類別「濁音」、「長音」、「音節」、「送氣音」、」不除阻」、「清音」、「半輔音」。
8.根據權利要求1所述的方法，其特徵在於，該方法包括通過所述第一語言的說話者聲音發出(50，60)音素的所述結果流的步驟。
9.對包括至少一個使用第二語言的部分的第一語言的文本(T1，...，Tn)進行文本-語音轉換的系統，其特徵在於，該系統包括用於將所述第二語言的所述部分轉換為所述第二語言的音素的字形/音素記錄器(30)，映射模塊(40；40b)，被配置為將所述第二語言的所述音素的至少一部分映射到所述第一語言的音素集中，-語音-合成模塊(50)，該模塊被提供有包括作為所述映射結果產生的所述第一語言的所述音素集的結果音素流，以及代表所述文本的所述第一語言的音素流，並從所述結果音素流生成(50)語音信號，其中，所述映射模塊(40)被配置為-在正在被映射的所述第二語言的每個所述音素和所述第一語言的一組候選映射音素之間執行相似性測試，-給所述測試的結果指定相應的分數，以及-將所述第二語言的每一個所述音素映射(40b)到從所述候選映射音素中選出的所述第一語言的一組映射音素中，作為所述分數的函數。
10.根據權利要求9所述的系統，其特徵在於，所述映射模塊(40)被配置將所述第二語言的所述音素映射(40b)到從下列各項中選出的所述第一語言的一組映射音素-所述第一語言的一組音素，包括所述第一語言的三個、兩個或一個音素，或-空集，其中，在所述第二語言的所述音素的所述結果流中沒有包括音素。
11.根據權利要求10所述的系統，其特徵在於，所述映射模塊(40)被配置為-為所述測試的結果定義閾值(Th)，以及-將其任何所述分數不能達到所述閾值的所述第二語言的任何音素映射到所述第一語言的音素的所述空集中。
12.根據權利要求9所述的系統，其特徵在於，所述第二語言的所述音素和所述第一語言的所述候選映射音素被表示為語音類別矢量，其中，所述映射模塊(40)被配置為將代表所述第二語言的每一個所述音素的語音類別的相應的矢量與代表所述第一語言的所述候選映射音素的語音類別的一組語音類別矢量進行比較。
13.根據權利要求12所述的系統，其特徵在於，所述映射模塊(40)被配置為，通過向所述按類別的比較分配相應的分數值，按類別地執行所述比較，所述相應的分數值被相加以生成所述分數。
14.根據權利要求13所述的系統，其特徵在於，所述映射模塊(40)被配置為，在將所述相應的分數值相加時，向所述分數值分配微分的權重以生成所述分數。
15.根據權利要求12所述的系統，其特徵在於，所述映射模塊(40)被配置為基於包括下列各項的組中的語音類別進行操作(a)兩個基本類別「元音」和「輔音」；(b)類別「雙元音」；(c)元音特徵無重音的/帶重音的，非音節、長音、鼻音化、r音化、圓唇音；(d)元音類別「舌前音」、「央元音」、「舌根音」；(e)元音類別「閉塞音」、「閉塞音-閉塞音-半開元音」、「閉塞音-半開元音」、「半開元音」、「開元音-半開元音」、「開元音-開元音-半開元音」、「開元音」；(f)輔音模式類別「爆破音」、「鼻音」、「顫音」、「觸音/閃音」、「摩擦音」、「舌邊音-摩擦音」、近似音、「舌邊音」、「塞擦音」；(g)輔音位置類別「雙唇音」、「唇齒音」、「齒音」、「齒槽音」、「後齒槽音」、「捲舌音」、「上顎音」、「軟顎音」、「小舌音」、「咽喉音」、「聲門音」；以及(h)其他輔音類別「濁音」、「長音」、「音節」、「送氣音」、」不除阻」、「清音」、「半輔音」。
16.根據權利要求8所述的系統，其特徵在於，所述語音-合成模塊(50)被配置為通過所述第一語言的說話者聲音發出(50，60)音素的所述結果流。
17.可加載到至少一個計算機的存儲器中，並包括用於執行權利要求1到8的任何權利要求的方法的步驟的軟體部分的電腦程式產品。
全文摘要
用於對包括第二語言的某些部分的第一語言的文本(T1，...，Tn)文本進行操作的文本－語音轉換系統(10)，包括用於將所述第二語言的所述部分轉換為第二語言的音素的字形/音素記錄器(30)；映射模塊(40；40b)，被配置為將第二語言的所述音素的至少一部分映射到第一語言的音素集中；以及語音－合成模塊(50)，該模塊被提供有包括作為所述映射結果產生的所述第一語言的所述音素集的結果音素流，以及代表所述文本的所述第一語言的音素流，並從所述結果音素流生成(50)語音信號。
文檔編號G10L13/08GK1879147SQ200380110846
公開日2006年12月13日 申請日期2003年12月16日 優先權日2003年12月16日
發明者萊奧納多·巴迪諾, 克勞迪亞·巴羅洛, 西爾維婭·誇扎 申請人:洛昆多股份公司