合成式語言訓練系統的製作方法
2023-08-03 14:57:26 3
專利名稱：合成式語言訓練系統的製作方法
本申請是美國申請順序號為08/068,390，申請日為1990年5月28日名為「合成式語言訓練系統」的部分繼續申請。
本發明涉及語言訓練系統，更具體地說，涉及允許語言障礙的學生鍵入他或她想要學習的任何單詞或句子，並且，在CRT屏上觀察產生該單詞或句子所要求的關節模型運動的一種語言訓練系統，這種關節模型採取舌—顎接觸模型的形式。本系統特別適合不能接收聽覺信息並傾向在幼小年齡即學習打字的耳聾兒童。本發明也能用來幫助聽力正常的學生學說外國語。
教耳聾兒童說話的最基本方法由教員使用他們自身的發音器官表現正確發音姿勢。當教員發音講話時，兒童能觀察到嘴唇，領顎和(在一定程度上)舌的外形。有時候兒童被訓練使用觸覺反饋把他們自己的與教員的發音器官作比較。這種方法的明顯缺限在於在語言中的許多關節姿勢在外部看不到。
近年來，教員已經有可能籍助儀器的幫助和分析語言的電腦程式表演怎樣產生語言。這些儀器和程序允許看到許多語言的特徵，包括語言正在產生時傳聲的表現形式。這種系統在計算機綜合語言訓練設備(CISTA)(由松下Matsushita開發)演示得最好。C1STA提供由幾個傳感器聚集來的多通道數據。
1.動態顎示器。這種儀器(其使用在1962年由一位蘇聯研究者Y.Kuzmin最先報告)用一些戴在嘴裡的人造顎上的電極指明舌與顎之間的接觸。當舌接觸這些電極中的一個時，一低電路被閉合，並被在嘴外的儀器記錄。出現接觸或沒有接觸的指示則提供在一個CRT上顯示器上。
2.鼻傳感器。一駐電極拾音器，用頭戴受話器或臨時用粘膠帶貼附，固定在鼻的一邊提供指示鼻振動。
3.喉傳感器。一駐電極拾音器，用一彈性衣領固定在喉部，提供指示聲門振動。
4.氣流傳感器。已經使用了幾種方法傳感氣流，使用由兒童在嘴前握著的裝置。
5.一標準拾音器提供輸入以便聲學分析。
給耳聾兒童教授語言的困難在於兒童跟著語言教員的時間有限。當一個有聽力的孩子接收語言輸入和關於自己發音的聲音反饋每天許多小時的時候，耳聾兒童一般僅在訓練期間接收這種反饋，訓練可以少至每周一期。
把如CISTA儀器的這樣的語言訓練裝置與計算機結合，允許兒童接收他們自己的訓練而不用教員的介入，這極大地增加了訓練所能用的時間。不過，類似象CISTA這樣給孩子們直接提供反饋的語言訓練裝置被限於僅教單個的聲音或一組有限的預先編制的發音。本發明的目的是允許兒童在沒有教員的幫助下能接受關於產生任何發音的信息。
先有技術中的其他文本—語言系統許可任何被鍵入的發音自動合成。一種叫「DECTalk」的裝置，由數字設備公司Digital Equipment Corp.)生產，是近來最知名的英語的文本—語言的例子。所有這些文本—語言系統都局限於只產生可聽到的聲音。
人類的發聲道的形狀決定了共鳴，共鳴反過來又控制了人的語言輸出。有關發聲道形狀與產生的聲輸出之間關係的電子和計算模型，多年來一直是語言研究的一個重要部分。在這一工作中，發聲道的形狀由研究人員提供，並測量聲輸出。
最近，研究人員已經開發了關節合成技術，其中，發聲道形狀的生成是自動進行的。在此情況下，輸入由一音素信息串組成。這一信息串被轉化成發聲道形狀說明信息串。然後，發聲道形狀被用於產生語言的發聲道模型中。
從音素自動生成發聲道形狀這一早期工作中不包括舌—顎接觸模型的生成。使用合成的舌—顎接觸模型以教授說話，在此以前尚未被仔細考慮過。
本發明的一個目的是提供一語言訓練系統，允許學生鍵入計算機任何想要學習的發音，並且具有採用舌—顎模型的形式的關節模式，顯示於屏幕上。
本發明的另一個目的是允許學生試著說出鍵入的發音，並在CRT屏上接收關於他或她的努力與顯示屏上的模式產生的相似性的反饋。
這是由系統先編輯鍵入的發音，然後送至一個合成單元完成的。合成單元分析該發音，把它分解成一音素串，並每隔10毫秒產生出說明該發音的聲學特徵的一組參數。這些參數送回裝置中，轉換成一組指示關節模式、舌—顎模型的參數，後二者是產生鍵入的發音所要求的。舌—顎模型隨後示於顯象屏上。
通過使用一組傳感器測量學生的鼻振動，聲門振動、呼出氣流、舌接觸，和可聽見的聲音，語言訓練系統評價學生的發音與舌—顎接觸模型的相似性。然後，評價結果顯示於CRT屏上。
本發明的確切性質，以及其目的和優點在參照下文連同附圖一起的詳細說明之後將變得顯而易見。各圖中相同標號標示相同的部件，其中
圖1是一方框圖，表示把一單詞的ASCII正視表示法轉變成音素、重音和語言的部分(parts—of—speech)信息；圖2是一方框圖，表示語言訓練系統；圖3是一聲譜圖，表示在發出一種聲音期間產生的鼻零和鼻極參數；圖4是一聲譜圖，表示在發聲期間舌與顎相接觸模型的參數；圖5是發聲期間實際舌觸模型的演示。
以下的說明能使任何本領域的技術人員製造和使用本發明，並提出實行本發明的發明人預想的最佳模式。不過，對於本領域的技術人員來說，各種改進仍然顯而易見，因為本發明的普便性原理已經在這當中被詳細說明，並專門提供了一種合成式語言訓系統，該系統按照在圖1—5中所示的本發明的教示，以下文中更詳盡地描述方式構築。
合成式語言訓練系統可以在實驗室數字計算機上執行。該系統包括一種輸入要學的發音的裝置，最好為鍵盤1，與語言訓練系統相連(圖2)。輸入的發音用ASCII表示法傳送到語言訓練系統。該系統隨後使用文本—語言系統自動合成鍵入的發音。當前最著名的英語文本—語言系統的例子是一種叫「DECTalk」的裝置，由數字設備公司生產。更新的文本—語言系統「STLtalk」由松下(Panasonic)技術公司下屬的語言技術實驗室開發，並且實際上正在本發明中實施。
合成單元3和語言訓練系統之間的通信通過RS—232埠。RS—232的線路接法設定用於XONl/XOFF規程，傳送置位為9600波特，8數據比特，1停止比特，奇偶檢驗為0。合成單元3接收音素的文本串輸入，並將其放在一輸入緩衝器中。
在第二階段中，文本—語言系統分析輸入的發音。該系統根據任一表音法符號之位置執行句法分析，以及在字典匹配處理中檢測到的功能字和動詞的句法規則。
下一步，如圖1所示那樣得到一個音素表示法。每個單詞與一小發音詞典12的條目相比較。如果沒找到相配的，在第14階段通過去掉通用的後綴例如「ed」和「ing」等，該詞被分解成小塊(詞素)。然後餘下的詞根再與音素字典16的條目比較。如果仍然沒有相配的，則使用一套文字—音素規則在第18階段預言其發音。此外，一部分音素轉變程序考慮了單詞音節的重讀模式的派生關係。如果該單詞不在系統的詞典中，或者如果表音字分解成詞根加前綴而前綴改變了該詞根的重讀模式，重音必須預告。音節的重童高度將以插入的重音符號(就在表示音素的元音之前)表示，沒有重音符號表明該字符不重讀。
英語系統利用音素作為基本語言單元。其他語言，例如日語，使用音節作為基本語言單元。
因此，應該理解，雖然本說明書描述的申請人優選的實施例是英語系統，以音素為語言單元，但所述的原理同樣可用於利用音節為基本語言單元的非英語系統。
合成單元3處理這個緩衝存儲器，每10毫秒產生一組20個聲學參數音素串。聲學參數說明要演示的發音的出聲特徵。通過將傳輸的信息與預先規定值對比產生這些參數，預先規定的數值以頻率和波幅、共振峰頻率和頻帶寬度、以及被演示發音的語言產生噪聲源為基礎。下面列出了聲學參數的一個例子。
有兩組相同的聲學參數被製造出。收到發音的詞尾字符後持續一段時間，第一組聲學參數被存入一陣列中。然後，第二組聲參數被送至一共振峰合成器4(圖1)，後者把聲學參數轉變成以模擬語言信號的形式的輸出信號。然後，共振峰合成器4的輸出經一揚聲器5給那些尚有殘餘聽力的學生放出。
然後，陣列於合成單元3中的第一組聲學參數經過RS—232埠被送回到語言訓練系統。語言訓練系統讀出這些數值，並把它們存入另外的陣列內。語言訓練系統隨後又把聲學參數在第六階段轉變成關節參數。關節參數以三種形式表示被鍵入的發音。
語言訓練系統把一組聲學參數轉變成表示被鍵入的發音的各種屬性的關節參數。所用的聲學參數包括聲音的基頻、波幅、出現或不出現的話音，及其振峰1、2和3的頻率。文本—語言系統把這些參數加到語言訓練系統周頻放大10倍。在它們顯示於CRT屏之前語言訓練系統又把這些參數縮小10倍。
語言訓練系統也產生表示被鍵入發音的鼻音性的關節參數。語言中的鼻音化對於如/m/、/n/，及其他聲音是適合的，並且經常出現於耳聾說話人的語言中以求發聲，而這都是不合適的，妨礙交流。在頻率範疇內鼻音化的聲學特徵在於同時出現鼻極和鼻零值。一般說來，只有一個鼻極值(nasalpolel)和鼻零(Nasal zero)值在聲學上有特殊意義。這些僅在軟顎(鼻和嘴之間的閥門)處於其降低的打開位置才出現。當軟顎關閉時消失。
文本—語言系統提供測量被鍵入發音的鼻音性的各種聲學參數。語言訓練系統使用聲參數產生鼻音指數。文本—語言系統對於非鼻音的聲音產生聲學參數，是通過把鼻極和鼻零設置於同一頻率和波幅，使它們互相抵消。本發明中所用的文本—語言系統，對於非鼻音的聲音，把鼻極和鼻零都置在250Hz。產生鼻音時，鼻極和鼻零的頻率移動到不同值，從而它們各自對聲譜的不同部分產生影響。鼻零的頻率暫時增加到330或360赫，以聲音是/n/或/m/34、36而定。這見於圖3所示。文本—語言系統也提供鼻音共振峰30、32的波幅。一般說來，鼻共振峰波幅值的範圍在30至60之間，但如果它等於0，則沒有鼻音化30、32。使用由文本—語言系統提供的聲學參數。語言訓練系統利用一個方程或製造出鼻音化指數，給學生指出要產生被鍵入的發音所需的鼻音量。該方程式的一種形式為NI＝((｜Fnf—Fnz｜)/(｜Fnf—Fnz｜)max*((AN-1)-|(AN-1)|2+1)]]>其中，NI＝鼻音化指數Fnf＝鼻共振峰頻率Fnz＝鼻零的頻率AN＝鼻共振峰波幅全部輸入變量是整數方程的右邊第二部分包括了乘以零的值，如果鼻音化的波幅是零的話，如果不是則該值乘以1。
語言訓練系統也製造表示產生鍵入的發音所要求的舌—顎接觸關節參數。除了提供聲學參數之外，文本—語言系統還用來提供四點處的定時聲音開始、達到最大波幅、波幅開始衰減和結束時刻。然後這些時刻與一組顎位圖樣相配合，每個語言單元(它可以是一音素或一音節)的最大接觸區域在第6階段被儲存，並被處理成該語言單元的目標模型。由於語言聲音的接觸模型會隨內容變化，對於每種內容以及每一聲音而言，需要儲存一定數量的不同的接觸模型。
每一語言單元被指定出開始，結束和中部穩定段的持續時間。舌與顎之間的接觸區域由一組63個點限定。一種等級制度規定了各點在開始和結束段進入接觸和脫離接觸的順序。一般說來，首先進入接觸的點為那些接近顎後部的點，而首先脫離接觸的點是接近顎前部的點。
由於從文本—語言系統產生的聲學參數轉變為人們必須學會的舌—顎接觸模型是困難的，本發明利用了開始和結束的輔音合成的舌—顎接觸模型。例如，在發音「She said」時，文本—語言系統根據合成參數提供了聲音/SH/的開始和結束以及聲音/S/所開始和結束。這可以從圖4中看出，圖4示出了發音「She said」的所有參數。對於顎接觸來說，本訓練系統只利用開始和結束時間提供實際的接觸模型。
本發明顯示給學生的舌—顎接觸模型包括在語言訓練系統中。一個典型的模型示於圖5中，該圖表示圍繞在「Shesaid」中/S/的元音的舌—顎接觸模型。大的圓點代表接觸，小的圓點代表不接觸。每50到104幀表示10毫秒。
圖5的幀順序表示從在「She」內的元音起、隨後是/s/和在「said」中的元音的進展，即58至104幀10毫秒系列。前7幀，58、60、62、64、66、68和70表示在「She」中的元音進到後邊「said」中的/S/幀104的接觸情況。整個/S/開始於幀8，72，九幅幀後，在幀90處開始脫離，到第24幀104處止，完全脫離接觸，以便發出「Said」中的元音。
在教授程序中顯示的實際的舌—接觸模型有三個不同的來源。
該系統含有一組預存的舌—接觸模型，表示輔音/t/，/d/，/z/，/sh/，/zh/，/l/、/n/和/r/。目前，緊接在高元音之前或之後為說出/K/和/q/的接觸尚不包括在內，但其原理相同。
教員可以輸入舌—接觸模型表示任何場合下的任何聲音。
教員可以從孩子已經學會說一次但還需在實踐中重複的訓練中選擇一個舌—觸模型。這經常是最有用的模型種類，因為每個人最佳的舌—顎接觸強烈地取決於他或她特有的顎形狀。
由教員安排這些信源中哪一個用於各輔音。預存的舌—接觸模型用於預設。對於所有的信源，系統提供接觸模型順序，在輔音發出(onset)之前開始，在輔音釋放後相隨。
當一個發音鍵入系統而調用一個舌—顎接觸的輔音時，文本—語言系統告知訓練系統何時該輔音開始和結束。然後用上述三種方法之一存入的順序給學生顯示出適當的接觸模型。
當看到要產生鍵入的發音所要求的舌—顎接觸模型後，學生可以試著說該發音以產生該鍵入的發音。語言訓練系統使用上述計算機綜合語言訓練(CTSTA)為工具。CISTA設備使用了幾個傳感器以測量學生的訓練效果。學生的舌—顎接觸、鼻振動、聲門振動、呼出的氣流和聲訓練效果被語言傳感器8以測量結果的形式送入語言訓練系統內。
隨後，在階段9，語言訓練系統對照鍵入的發音的聲學參數給學生的訓練效果的測量值加以評價其相似性。然後，語言訓練系統由反饋顯示10，為學生反饋出他或她產生的模式運動與產生該鍵入發音所要求的那些模式運動之間的差別。
本發明的第二實施例包括一個合成式語言訓練系統，用以幫助有正常聽力的學生學習外語。第二實施例使用與第一實施例相同的文本—語言訓練系統，沒有下文中的差別。
學生用鍵盤1把目標語言的文本輸入語言訓練系統。文本言語系統在第二階段編輯輸入的文本。經編輯的文本又送入合成系統了3。合成系統3處理文本並產生一組20個聲學參數。聲學參數組說明了預定的外語文本的聲學特徵。
兩個相同的聲學參數組被製造出來。第二組被送到共振峰合成器4上，後者把聲學參數以模擬語言信號的形式轉變成一輸出信號。共振峰合成器輸出隨後經一揚聲器5，以預定的外語的形式被播出。
然後，第一組聲學參數被送到語言訓練系統。言語訓練系統則在第6階段把聲學參數轉變成關節參數，以表演為產生用預定的外語輸入的文本所要求的關節模運動。關節參數，包括輔音用的舌—顎接觸模型的各圖形，此時被一個CRT屏7或類似的顯示器示出。
在看到關節模型運動後，包括為產生輸入的外語文本所要求的舌—顎接觸模型，學生可以嘗試通過以處理說出輸入文本，以產生外語文本。語言訓練系統用傳感器8測量學生的語言。然後，在第9階段，語言訓練系統對照輸入的外語文本用聲學參數評價對學生訓練的測量。語言訓練系統由反饋顯示10，為學生反饋給出他或他產生的模型運動和產生輸入的外語文本要求的那些模型運動之間的差別。
本領域內的技術人員將會理解對剛描述的優選實施例的各種修改和改進可以具體化而不脫離本發明的範圍及不背離本發明的精神。因此，可以明白，在後附的權利要求範圍內，本發明除了如文中所詳細的說明之外，還可以被實踐。
權利要求
1.一種合成式語言訓練裝置，包括輸入裝置，用於輸入要演示的發音；編輯裝置，用於把要演示的發音轉換成一組語言單元及每一語言單元的開始和結束區段；合成器裝置，用於把上述語言單元組和各語言單元的開始和結束轉換成一組舌—顎接觸模型；以及用於顯示舌—顎接觸模型組的裝置。
2.權利要求1的語言訓練裝置，其中，上述合成器裝置提供了每一語言單元的開始、結束及接觸穩定狀態區段的持續時間。
3.權利要求2的語言訓練裝置，其中，每一語言單元的開始時間，結束和穩定狀態由上述合成器裝置設定。
4.權利要求3的語言訓練裝置，其中，上述合成器裝置存儲了每一語言單元舌—顎接觸的最大區域，以及至少一個替換接觸區域，用於該語言單元所用的不同內容。
5.權利要求4的語言訓練裝置，其中，在舌和顎之間的每一接觸區域由一組63點限定。
6.權利要求1的語言訓練裝置，其中，還包括用於測量說出的發音的裝置，包括測量舌—顎接觸模型。
7.權利要求6的語言訓練裝置，其中，還包括評價相似性的裝置，後者為要演示的發音與舌—顎接觸模型的測量結果之間的相以性。
8.權利要求7的語言訓練裝置，其中，還包括顯示裝置，用於顯示對要演示的發音與被測量的舌—顎接觸模型之間相似性的評價結果。
9.一種合成式語言訓練方法，包括如下步驟輸入一要演示的發音；把上述發音轉換成一語言單元和語言單元的開始和結束；把上述語言單元和其開始與結束轉換成一組舌—顎接觸；以及顯示這組舌—顎接觸。
10.權利要求9的語言訓練方法，其中，上述語言單元轉換步驟包括為每一語言單元存儲一舌—顎接觸區域；和為每一語言單元指定開始、結束和穩定狀態的時間。
11.權利要求10的語言訓練方法，其中，上述存儲舌—顎接觸區域，以及至少一替換區域，用於語言單元所用的不同內容。
12.權利要求11的語言訓練方法，其中，上述存貯步驟包括一特定63點組存儲舌和顎之間的每一接觸區域。
全文摘要
本發明包括一種語言訓練系統，它允許學生輸入任何要學習的發音，並有產生該發音所要求的關節模型運動演示於CRT屏上。該系統可評價學生的發音與舌-顎接觸模型的相似性，並將評價結果示於CRT上。
文檔編號G09B9/00GK1115900SQ9510248
公開日1996年1月31日 申請日期1995年3月12日 優先權日1994年4月12日
發明者赫克託·羅爾·傑夫金, 伊莉莎白·格雷斯·基特, 諾瑪·安東南澤斯-巴羅索, 布賴恩·阿倫·漢森 申請人:松下電氣工業株式會社