計算機輔助漢語智能教學系統及其實現方法
2023-05-07 01:58:36
專利名稱：計算機輔助漢語智能教學系統及其實現方法
技術領域：
本發明涉及一種計算機輔助漢語智能教學系統及其實現方法，所屬領域為計算機輔助教學。
目前已有的漢語普通話教學方法主要有以下幾種，即課堂教學、廣播教學、電視教學、錄音教學、錄象教學以及計算機多媒體教學。這些教學方法存在如下的問題a．課堂教學通常受時間、地點以及教師水平等教學條件的限制；b．廣播教學、電視教學、錄音教學、錄象教學以及目前市場上已有的計算機多媒體漢語教學節目等均不夠靈活，無法實時在線和科學量化地自動分析學習者在學習過程中存在的問題(如發音是否正確、書寫筆劃是否正確以及書寫結果是否正確等)。因此，也就不能及時地、有針對性地反饋指導意見。經過檢索查出的相關文獻有中國專利「CN1101446A語音教學計算機化系統」、「CN2202949Y漢語學習器」、「CN1146820A話音交互式學習機」、「CN2257944Y漢語拼音標準發音示教儀」。上述相關文獻公開的內容就教學功能和教學形式而言均與本發明存在較大的差異。
本發明的目的是提供一種具有能夠在線實時和科學量化地自動分析學習者在漢語學習過程中存在的問題的計算機輔助漢語智能教學系統及其實現方法。採用這套智能教學系統，可以不受時間、地點以及教師教學水平等條件的限制進行標準的漢語普通話教學，並可以在沒有(活體)教師在場的情況下，對學習者學習漢語標準普通話的學習效果(包括發音的準確性、書寫過程的規範性以及書寫結果的正確性等方面)自動進行實時在線和科學量化地評價，並能夠針對學習者存在的不同具體問題及時給出有效地改進建議，本發明的目的由如下技術方案實現帶有麥克風和CD-ROM的多媒體計算機、計算機多媒體漢語標準普通話教學節目、具有漢語標準普通話特徵內核的語音音素模板庫及其實現方法、標準普通話教師語句特徵模板庫及其實現方法、漢語語音信號處理和識別子系統及其實現方法、語音學習評價和建議子系統及其實現方法、書寫信號處理和模式識別子系統及其實現方法、書寫信號模板庫及其實現方法、書寫評價和建議子系統及其實現方法。通過計算機跟著其教學節目進行學習，通過麥克風或滑鼠可將學習語音或漢字書寫的結果輸入計算機中。如果是語音學習信號，則通過語音信號處理及其識別子系統進入語音評價與建議子系統，經過與具有標準普通話特徵內核的語音音素模板庫以及教師語句特徵模板庫的匹配比較，得到學習者語音學習效果的評價結果，即是標準的漢語普通話、還是帶有口音的漢語普通話、或是有錯音、缺音、多音等語音學習上的錯誤，並針對學習者在語音學習中存在的不同問題，自動給出改進建議；如果是書寫學習信號，則經過書寫信號模式識別子系統處理後進入書寫過程和書寫結果評價與建議子系統，經過與書寫模板庫的模式匹配比較，得到學習者書寫過程和書寫結果的評價結果，並針對學習者在書寫學習過程中存在的不同問題，自動給出改進建議。至此，完成了計算機輔助漢語標準普通話的智能教學任務。
本發明與已有的漢語教學方法相比具有如下優點a． 不受時間、地點以及教師水平等教學條件的限制，可以在沒有(活體)教師在場的情況下，對外國學生學習漢語標準普通話的學習效果(包括發音的準確性、書寫過程的規範性以及書寫結果的正確性等方面)自動進行實時在線和科學量化地評價，並能夠針對學習者存在的不同具體問題及時給出有效地改進建議。b． 在本發明創造中，建立了非特定人大詞彙量適合於連續語音識別並具有標準普通話特徵內核的語音音素特徵模板庫，從而有效地解決了漢語標準普通話教學效果評價系統所需模板庫問題。c． 在本發明創造中，建立了標準普通話教師語句特徵模板庫(這裡「語句」的概念是廣義的，它既包含漢語拼音字母，又包含漢語單字的有調音節以及漢語標準普通話的詞、句子或課文)。這個模板庫由三部分組成，即漢語標準普通話特徵內核(音素)模板庫、示教語句音素標號串模板庫及其聲調韻律特徵模板庫。d． 在本發明創造中，通過如下體系過程實現語音學習效果的自動在線評價，即根據準備好的計算機輔助多媒體教學節目內容，學生通過計算機的滑鼠選定所要學習的課文內容(如漢語音節/字/詞/語句等)，熱擊發聲圖標，發出該語句教師標準普通話示教語音。之後，學生開始學習發音。經過計算機對學生學習發音的語音信號進行實時處理之後，與具有標準普通話特徵內核的非特定人大詞彙量漢語語音音素模板庫進行比較，得到該音素在內核域或混合域模板庫中的一選、二選和三選標號對(即針對每一選的音素標號，有一個可變的結果狀態標號，0表示結果狀態屬內核域，1表示結果狀態屬混合域，例如p(1)表示識別結果為屬於混合域的音素p)。至此，完成了學習者語音音素的識別任務。重複上述過程，得到所學語句的一選、二選和三選音素特徵標號串；再計算其相應的基音頻率軌跡。此時，與教師語句特徵模板庫中相應的語句標號串模板庫及聲調韻律特徵模板庫進行模式匹配比較，即得到匹配程度的量化評價結果(一是判斷音素是否匹配；二是判斷它是否屬於內核域；三要判斷聲調是否正確)，從而不僅實現了計算機自動評價學習者學習漢語的情況(包括是否有多音、少音、錯音、和聲調是否正確)而且還能評價學習者學習漢語標準普通話的情況(即與標準普通話的接近程度，是發音準確，大體發音正確，還是不正確)。計算機自動輸出學習情況的評價結果和有針對性的改進建議。e．在教學節目中給定的3釐米邊長的米字形正方框裡，學生根據書寫教師的示範字及示範書寫過程，在計算機屏幕上使用滑鼠進行書寫(包括筆劃及字體)練習。通過與書寫教師模板庫進行(動態)模式比較來自動判別學生的書寫過程和書寫結果的正確程度，然後自動給出量化的書寫評價結果和有針對性的改進建議。
本發明的具體結構由附
圖1給出。
附圖1為計算機輔助漢語智能教學系統結構示意圖。
圖中的具體結構為帶有麥克風和CD-ROM的多媒體計算機1、計算機多媒體漢語標準普通話教學節目2、具有漢語標準普通話特徵內核的語音音素模板庫3、標準普通話教師語句特徵模板庫4、漢語語音信號處理及其識別子系統5、語音學習評價與建議子系統6、書寫信號處理及其模式識別子系統7、書寫信號模板庫8、書寫評價與建議子系統9。
下面結合附圖對本發明加以詳細說明(1)建立一個非特定人(最好人數在100人以上)大詞彙量(5000漢字以上)適合連續語音識別用的漢語普通話語料庫(它儘可能覆蓋所有的語音音聯現象)；(2)製作一個(至少包括男女兩名教師示教發音的)標準普通話教學節目錄像帶；(3)將上述標準普通話教學用錄像帶通過計算機分別轉換成語音示教資料庫和書寫(動態圖象)示教資料庫；(4)在MS-Windows 95環境下，採用Visual C++(4.0以上版本)程式語言進行模塊化編程，建立具有標準普通話特徵內核的非特定人大詞彙量適合於漢語連續語音識別用的語音音素模板庫。其實現方式為首先，將教師的標準普通話錄像帶教學節目按示教(動態)圖象和語音信號(以漢語拼音/字/詞/句子為單位，至少有男女聲兩人發聲樣本))分別進行數位化處理，並按標準格式存儲起來。針對多媒體(動態)圖象部分，建立起標準普通話教師發聲過程示教(動態多媒體圖象)資料庫；針對語音信號部分，建立起漢語標準普通話教師示教語料資料庫。下面建立具有標準普通話特徵內核的非特定人大詞彙量漢語語音音素模板庫，為此，先進行語音特徵參數的提取。對標準普通話教師示教語料資料庫中的語音數據信號進行加窗(這裡採用哈明窗)。原始語料資料庫的採樣率為16khz，量化率為16位，單聲道，每幀樣點數據為256個，幀移樣點為128個，窗長約16ms。對幀內數據進行FFT變換，之後，求取各幀的特徵參數矢量。由每幀的特徵參數矢量，按清濁音判定規則將其劃歸為清音/濁音音素特徵參數矢量庫；繼續上述過程，直到清濁音分界幀出現，將對應於一個清音音素或一個濁音音素的所有幀特徵參數矢量進行加權平均，得到相應於該音素的特徵參數矢量。重複上述過程，針對一個音素模板，我們可以得到許多(男女混合的)標準普通話特徵參數矢量，由此構成了一個特徵參數矢量組。為了使這個特徵參數矢量組能夠很好地反映該音素的特徵，採用Kohonen自組織神經網絡，對其進行自組織聚類運算，從而得到了對應該音素的一個特徵參數矢量內核空間域。重複上述過程，可以得到全部標準普通話語音音素特徵參數矢量內核空間域模板，並單獨保存起來。另外，採用非特定人大詞彙量用於連續語音識別的漢語語料資料庫，根據與上述相似的過程，我們可以得到非特定人大詞彙量漢語語音音素模板庫。首先，對原始語音數據文件(即漢語語料資料庫)裡的語音數據進行加窗(這裡採用哈明窗)。原始語料資料庫的採樣率為16khz，量化率為16位，單聲道，每幀樣點數據為256個，幀移樣點為128個，窗長約16ms。對幀內數據進行FFT變換；之後，求取各幀的特徵參數矢量。由每幀的特徵參數矢量，按清濁音判定規則將其劃歸為清音/濁音組音素特徵參數矢量；繼續上述過程，直到清濁音(或靜音)分界幀出現，將對應於一個清音音素或一個濁音音素(或靜音)的所有幀特徵參數矢量進行加權平均，得到相應於該音素的特徵參數矢量。由於此處採用非特定人大詞彙量適合連續語音識別的漢語語料資料庫(它儘可能覆蓋了所有的語音音聯現象)，重複上述過程，針對一個音素模板，我們可以得到許多(男女混合的)特徵參數矢量。將由標準普通話語料庫求得的內核特徵參數矢量組與此新特徵參數矢量組合併，構成一個混合的特徵參數矢量組。為了使這個混合特徵參數矢量組能夠很好地反映該音素的特徵，再次採用Kohonen自組織神經網絡對混合特徵參數矢量組進行自組織聚類運算，從而得到了對應該音素的一個混合特徵參數矢量空間域。
它顯而易見地能夠包容標準普通話特徵內核模板，即可以說，標準普通話特徵內核模板可以作為混合語音音素模板的一個特徵參數矢量子集。(這也是我們稱其為「內核」模板的原因)。為搜索方便起見，可以將清音和濁音分成兩組，建立兩個具有標準普通話特徵內核的語音音素子模板庫。這兩個子模板庫合在一起作為本智能教學系統所需的非特定人大詞彙量具有標準普通話特徵內核的漢語語音音素模板庫。(5)建立標準普通話教師語句特徵模板庫，其實現方式為通過與(4)類似的過程，我們可以從教師的標準普通話語音流信號中提取有調音節/字/詞/句子/課文的特徵參數矢量串，並建立漢語標準普通話示教語句特徵模板庫。它由三部分組成，即漢語標準普通話特徵內核音素模板庫、示教語句音素標號串模板庫以及示教語句聲調韻律特徵模板庫。第一部分任務已經完成，第二部分的實現過程為針對教師的一個音節/字/詞/句子/課文，可以得到相對應的音素(包含聲調特徵的)標號串模板。並將其存入示教語句特徵模板庫中。第三部分即示教語句聲調韻律特徵模板庫由示教語句基音頻率軌跡模板集組成。漢語中基音頻率的變化模式是字調的根本特徵。字調在漢語句子中表現為四聲和韻律的變化。由此不難看到，表徵四聲和韻律變化可以通過估計基音周期來得到部分實現。求取基音參數的方法一般有基於短時自相關函數、基於短時AMDF、基於同態信號處理和基於線性預測編碼等幾種算法。
這裡，選用基於短時自相關函數算法，主要因為其運算量小，而得到的效果又很好。在計算基音頻率的過程中，為解決第一最大峰值點的位置有時不能與基音周期吻合的問題，我們從以下兩個方面入手，一是使窗長至少大於兩個基音周期，以取得較好的效果；二是用一帶寬為60-900Hz的帶通濾波器對語音信號進行濾波，並利用濾波信號的自相關函數來進行基音估計。至此，還有一個問題需要解決，由於無論採用哪一種算法求得的基音周期軌跡與真實的基音周期軌跡不可能完全吻合，實際情況是大部分段落是吻合的，而在一些局部段落或區域的一個或幾個基音周期估值偏離了正常的軌跡，這種情況稱為出現了若干野點。為去除這些野點需採用各種平滑算法，其中最常用的是中值平滑算法和線性平滑算法。本課題中採用了中值平滑技術，在被平滑點左右各取L個樣點，連同被平滑點共同構成一組信號採樣值，共(2L+1)個樣值，然後將這(2L+1)個樣值按大小次序排成一隊，取此隊列中間者作為平滑器的輸出。L值一般取為1或2，即中值平滑的窗口一般套住3到5個樣值。中值平滑的優點是即可去除少量野點，又不會破壞基音周期軌跡中兩個平滑段之間的階躍性變化。由此，可以得到全部漢語標準普通話示教語句的音素特徵矢量內核空間域模板庫、示教語句音素標號串模板庫及其聲調韻律特徵模板庫。這三個模板庫合在一起，即構成標準漢語普通話(教師)示教語句特徵模板庫。整個示教語句特徵模板庫的建立過程相當於語音教師的「備課」過程。(6)在MS-Windows 95環境下，採用Visual C++(4.0以上版本)程式語言編寫漢語語音信號處理與識別軟體模塊和用於學習效果評價的軟體模塊。其實現方式為根據準備好的計算機輔助多媒體教學節目內容，通過計算機學習標準漢語普通話。首先，學生按節目所給的學習進度要求，選定所要學習的漢語語句(或音節/字/詞等)，熱擊發聲圖標，發出該語句教師標準普通話聲音。之後，學生開始學習發音(這裡，設定學習語音所用的採樣率為8khz，量化率為8位，單聲道)，將學習語音流信號存入相應的數據文件。按(4)所述過程提取其特徵參數。對語音數據文件中的語音數據進行加窗(這裡採用哈明窗)，根據設定的的採樣頻率、量化率等參數，每幀樣點數據應為128個，幀移樣點為64個，窗長約16ms。對幀內數據進行FFT變換；之後，求取各幀的特徵參數矢量。由每幀的特徵參數矢量，按清濁音判定規則將其劃歸為清音/濁音音素特徵參數矢量；繼續上述過程，直到清濁音(或靜音)分界幀出現，將對應於一個清音音素或一個濁音音素(或靜音)的所有幀特徵參數矢量進行加權平均，得到相應於該音素的特徵參數矢量。採用Kohonen神經網絡和有監督學習算法，首先，與由(4)建立起來的具有標準普通話特徵內核的漢語語音音素特徵模板庫進行比較，得到該音素在內核域或混合域模板庫中的一選、二選和三選標號對(即針對每一選的音素標號，有一個可變的結果狀態標號，0表示結果狀態屬內核域，1表示結果狀態屬混合域，例如b(1)表示識別結果為屬於混合域的音素b)。至此，完成了學習者語音音素識別任務。重複上述過程，得到所學語句的一選、二選和三選音素特徵標號串；再計算其相應的基音頻率軌跡。通過與教師示教語句特徵模板庫中的語句標號串模板庫以及聲調韻律特徵模板庫進行模式匹配比較，可以得到匹配程度的量化評價結果(一是判斷音素是否匹配；二是判斷它是否屬於內核域；三是判斷聲調是否正確)，即實現了評價學習者學習漢語的大致情況(包括是否有多音、少音、錯音、和聲調是否正確)以及評價學習標準普通話的情況(即與標準普通話的接近程度，是發音準確，大體發音正確，還是不正確)，最後由計算機自動輸出學習情況的量化評價結果及其有針對性地改進建議。(7)在MS-Windows 95環境下採用Delphy語言編寫計算機輔助對外漢語多媒體教學節目軟體，它包括漢語拼音教學、標準漢語普通話字、詞、語句及課文的講解以及語音和書寫示教等內容。
在多媒體教學軟體模塊裡，根據需要調用由Visual C++編程的軟體模塊。本教學節目有如下幾個方面的功能和特徵a．按課文順序進行漢語拼音教學及漢語字/詞/語句/課文等的教學；b．每個教學單元包括聽、說、讀、寫四個部分內容；並在學習者學「說」和學「寫」結束後，自動實時地對學習結果進行評價，然後有針對性地自動給出改進學習的建議；c．在「聽」教師講課的過程中，可以在屏幕上同時看到教師的口型動作；d．在書寫示教過程中，可以在屏幕上看到教師的書寫過程和書寫結果；e．為配合教學，安排了幾種漢語學習遊戲供學習者選用；f．部分課文內容配合動畫進行演示說明。(8)建立漢字書寫教師示教(動態)模板庫。其實現方式為將教學用漢字(楷書體)按邊長為3釐米帶有米字形襯底的正方形方框的圖形模式保存起來作為模板。各邊長均為3釐米的帶有米字形襯底的方格邊框的灰度用-1表示，屏幕解析度為640×480，字體灰度為0或1(分別表示白或黑)。按此設置建立起來的漢字(楷書體)模板庫可作為本教學系統中的教師書寫示範用模板庫。為了使該教學系統具有書寫過程(比如筆劃、筆順)的示教能力，需預先將整個書寫過程錄製下來，經過數位化處理後，按要求分別存儲起來，建立一個(動態)書寫模板庫。然後，根據教學要求，再以每秒24幀圖形的速度(動態)播放出來。(9)書寫過程和書寫結果評價過程的實現方式為在教學節目中給定的3釐米邊長的米字形正方框裡，學生根據書寫教師的示範字及示教書寫過程，在計算機屏幕上使用滑鼠進行書寫(包括筆劃及字體)練習。通過與(動態)書寫示教模板庫進行(動態)模式比較，可以知道學生的書寫過程和書寫結果是否都正確，然後自動給出量化的書寫評價結果及其有針對性的改進建議。
整個智能教學系統的工作原理及其過程如下通過計算機1跟著其教學節目2進行學習，通過麥克風(或滑鼠)可將學習語音(或漢字書寫)的結果輸入計算機中。如果是語音學習信號，則通過語音信號處理及其識別子系統5進入語音評價與建議子系統6，經過與具有標準普通話特徵內核的語音音素模板庫3以及教師語句特徵模板庫4的匹配比較，得到學習者語音學習效果的評價結果(即是標準的漢語普通話、還是帶有口音的漢語普通話、或是有錯音、缺音、多音等語音學習上的錯誤)，並針對學習者在語音學習中存在的不同問題，自動給出改進建議；如果是書寫學習信號，則經過書寫信號模式識別子系統7處理後進入書寫過程和書寫結果評價與建議子系統9，經過與書寫模板庫8的模式匹配比較，得到學習者書寫過程和書寫結果的評價結果，並針對學習者在書寫學習過程中存在的不同問題，自動給出改進建議。至此，完成了計算機輔助漢語智能教學任務。
權利要求
1．一種計算機輔助漢語智能教學系統及其實現方法，主要包括一臺帶有麥克風和CD-ROM的多媒體計算機、具有漢語標準普通話特徵內核的語音音素模板庫、漢語標準普通話教師語句特徵模板庫、漢語語音信號處理及其識別子系統、漢語語音學習評價和建議子系統、漢語書寫信號處理及其模式識別子系統、漢語書寫信號模板庫、漢語書寫評價與建議子系統、以及相應的計算機多媒體漢語標準普通話教學節目，其特徵在於a．具有漢語標準普通話特徵內核的語音音素模板庫及其實現方法首先，將教師的標準普通話錄像帶教學節目按示教圖象和語音信號分別進行數位化處理，語音信號以漢語拼音/字/詞/句子為單位，至少有男女聲兩人發聲樣本，並按標準格式存儲起來；針對多媒體動態圖象部分，建立起標準普通話教師發聲過程示教動態多媒體圖象資料庫；針對語音信號部分，建立起漢語標準普通話教師示教語料資料庫；接著，進行語音特徵參數的提取；對標準普通話教師示教語料資料庫中的語音數據信號進行加窗；原始語料資料庫的採樣率為16khz，量化率為16位，單聲道，每幀樣點數據為256個，幀移樣點為128個，窗長約16ms；對幀內數據進行FFT變換，之後，求取各幀的特徵參數矢量；由每幀的特徵參數矢量，按清濁音判定規則將其劃歸為清音/濁音音素特徵參數矢量庫；繼續上述過程，直到清濁音分界幀出現，將對應於一個清音音素或一個濁音音素(或靜音)的所有幀特徵參數矢量進行加權平均，得到相應於該音素的特徵參數矢量；重複上述過程，針對一個音素模板，我們可以得到許多標準普通話特徵參數矢量，由此構成了一個特徵參數矢量組；為了使這個特徵參數矢量組能夠很好地反映該音素的特徵，採用Kohonen自組織神經網絡，對其進行自組織聚類運算，從而得到了對應該音素的一個特徵參數矢量內核空間域；重複上述過程，可以得到全部標準普通話語音音素特徵參數矢量內核空間域模板，並單獨保存起來；根據與上述相似的過程，採用非特定人大詞彙量用於連續語音識別的漢語語料資料庫，我們可以得到非特定人大詞彙量漢語語音音素模板庫；首先，對原始語音數據文件裡的語音數據進行加窗；原始語料資料庫的採樣率為16khz，量化率為16位，單聲道，每幀樣點數據為256個，幀移樣點為128個，窗長約16ms；對幀內數據進行FFT變換；之後，求取各幀的特徵參數矢量。由每幀的特徵參數矢量，按清濁音判定規則將其劃歸為清音/濁音組音素特徵參數矢量；繼續上述過程，直到清濁音分界幀出現，將對應於一個清音音素或一個濁音音素的所有幀特徵參數矢量進行加權平均，得到相應於該音素的特徵參數矢量；由於此處採用非特定人大詞彙量適合連續語音識別的漢語語料資料庫，重複上述過程，針對一個音素模板，我們可以得到許多特徵參數矢量；將由標準普通話語料庫求得的內核特徵參數矢量組與此新特徵參數矢量組合併，構成一個混合的特徵參數矢量組；為了使這個混合特徵參數矢量組能夠很好地反映該音素的特徵，再次採用Kohonen自組織神經網絡對混合特徵參數矢量組進行自組織聚類運算，從而得到了對應該音素的一個混合特徵參數矢量空間域；它顯而易見地能夠包容標準普通話特徵內核模板，即可以說，標準普通話特徵內核模板可以作為混合語音音素模板的一個特徵參數矢量子集；為搜索方便起見，可以將清音和濁音分成兩組，建立兩個具有標準普通話特徵內核的語音音素子模板庫；這兩個子模板庫合在一起作為本智能教學系統所需的非特定人大詞彙量具有標準普通話特徵內核的漢語語音音素模板庫；b．漢語標準普通話教師語句特徵模板庫及其實現方法首先從教師的標準普通話語音流信號中提取有調音節/字/詞/句子/課文的特徵參數矢量串，並建立漢語標準普通話示教語句特徵模板庫；它由三部分組成，即漢語標準普通話特徵內核音素模板庫、示教語句音素標號串模板庫以及示教語句聲調韻律特徵模板庫；第一部分任務已經完成，第二部分的實現過程為，針對教師的一個音節/字/詞/句子/課文，可以得到相對應的音素標號串模板，並將其存入示教語句特徵模板庫中；第三部分即示教語句聲調韻律特徵模板庫由示教語句基音頻率軌跡模板集組成；表徵四聲和韻律變化可以通過估計基音周期來得到部分實現，求取基音參數的方法一般有基於短時自相關函數、基於短時AMDF、基於同態信號處理和基於線性預測編碼等幾種算法；這裡，選用基於短時自相關函數算法，主要因為其運算量小，得到的效果又很好；在計算基音頻率的過程中，為解決第一最大峰值點的位置有時不能與基音周期吻合的問題，從以下兩個方面入手，一是使窗長至少大於兩個基音周期，以取得較好的效果；二是用一帶寬為60-900Hz的帶通濾波器對語音信號進行濾波，並利用濾波信號的自相關函數來進行基音估計；至此，還有一個問題需要解決，由於無論採用哪一種算法求得的基音周期軌跡與真實的基音周期軌跡不可能完全吻合，實際情況是大部分段落是吻合的，而在一些局部段落或區域的一個或幾個基音周期估值偏離了正常的軌跡，這種情況稱為出現了若干野點；為去除這些野點需採用各種平滑算法，在此採用中值平滑技術，即在被平滑點左右各取L個樣點，連同被平滑點共同構成一組信號採樣值，共2L+1個樣值，然後將這2L+1個樣值按大小次序排成一隊，取此隊列中間者作為平滑器的輸出；L值一般取為1或2，即中值平滑的窗口一般套住3到5個樣值；中值平滑的優點是即可去除少量野點，又不會破壞基音周期軌跡中兩個平滑段之間的階躍性變化；由此，得到了全部漢語標準普通話示教語句的音素特徵矢量內核空間域模板庫、示教語句音素標號串模板庫及其聲調韻律特徵模板庫；這三個模板庫合在一起，即構成標準漢語普通話教師示教語句特徵模板庫；c．漢語語音學習評價和建議子系統及其實現方法根據準備好的計算機輔助多媒體教學節目內容，按節目所給的學習進度要求，通過計算機選定所要學習的漢語語句，熱擊發聲圖標，發出該語句教師標準普通話聲音；之後，開始學習發音；這裡，設定學習語音所用的採樣率為8khz，量化率為8位，單聲道，將學習語音流信號存入相應的數據文件；按a．所述過程提取其特徵參數；根據設定的的採樣頻率、量化率等參數，每幀樣點數據應為128個，幀移樣點為64個，窗長約16ms；對幀內數據進行FFT變換；之後，求取各幀的特徵參數矢量；由每幀的特徵參數矢量，按清濁音判定規則將其劃歸為清音/濁音音素特徵參數矢量；繼續上述過程，直到清濁音分界幀出現，將對應於一個清音音素或一個濁音音素的所有幀特徵參數矢量進行加權平均，得到相應於該音素的特徵參數矢量；採用Kohonen神經網絡和有監督學習算法，首先，與由a．建立起來的具有標準普通話特徵內核的漢語語音音素特徵模板庫進行比較，得到該音素在內核域或混合域模板庫中的一選、二選和三選標號對，即針對每一選的音素標號，有一個可變的結果狀態標號，0表示結果狀態屬內核域，1表示結果狀態屬混合域；至此，完成了學習者語音音素識別任務；重複上述過程，得到所學語句的一選、二選和三選音素特徵標號串；再計算其相應的基音頻率軌跡；通過與教師示教語句特徵模板庫中的語句標號串模板庫以及聲調韻律特徵模板庫進行模式匹配比較，可以得到匹配程度的量化評價結果，一是判斷音素是否匹配；二是判斷它是否屬於內核域；三是判斷聲調是否正確，即實現了評價學習者學習漢語的大致情況，包括是否有多音、少音、錯音、和聲調是否正確，以及評價學習標準普通話的情況，即與標準普通話的接近程度，是發音準確，大體發音正確，還是不正確，最後由計算機自動輸出學習情況的量化評價結果及其有針對性地改進建議；d．漢語書寫信號模板庫及其實現方法將教學用楷書體漢字按邊長為3釐米帶有米字形襯底的正方形方框的圖形模式保存起來作為模板；各邊長均為3釐米的帶有米字形襯底的方格邊框的灰度用-1表示，屏幕解析度為640×480，字體灰度為0或1來分別表示白或黑；按此設置建立起來的楷書體漢字模板庫可作為本教學系統中的教師書寫示範用模板庫；為了使該教學系統具有書寫過程，如筆劃、筆順的示教能力，需預先將整個書寫過程錄製下來，經過數位化處理後，按要求分別存儲起來，建立一個動態書寫模板庫；然後，根據教學要求，再以每秒24幀圖形的速度動態播放出來；e．漢語書寫評價與建議子系統及其實現方法在教學節目中給定的3釐米邊長的米字形正方框裡，學生根據書寫教師的示範字及示教書寫過程，在計算機屏幕上使用滑鼠進行書寫練習；通過與動態書寫示教模板庫進行動態模式比較，可以知道學生的書寫過程和書寫結果是否都正確，然後自動給出量化的書寫評價結果及其有針對性的改進建議；f．計算機多媒體漢語標準普通話教學節目，包括如下幾個方面的功能和特徵(a)．按課文順序進行漢語拼音教學及漢語字/詞/語句/課文等的教學；(b)．每個教學單元包括聽、說、讀、寫四個部分內容；並在學習者學「說」和學「寫」結束後，自動實時地對學習結果進行評價，然後有針對性地自動給出改進學習的建議；(c)．在「聽」教師講課的過程中，可以在屏幕上同時看到教師的口型動作；(d)．在書寫示教過程中，可以在屏幕上看到教師的書寫過程和書寫結果；(e)．為配合教學，安排了幾種漢語學習遊戲供學習者選用；(f)．部分課文內容配合動畫進行演示說明；學習者通過計算機跟著其教學節目進行學習，通過麥克風或滑鼠可將學習語音或漢字書寫的結果輸入計算機中；如果是語音學習信號，則通過語音信號處理及其識別子系統進入語音評價與建議子系統，經過與具有標準普通話特徵內核的語音音素模板庫以及教師語句特徵模板庫進行匹配比較，得到學習者語音學習效果的評價結果，即是標準的漢語普通話、還是帶有口音的漢語普通話、或是有錯音、缺音、多音等語音學習上的錯誤，並針對學習者在語音學習中存在的不同問題，自動給出改進建議；如果是書寫學習信號，則經過書寫信號模式識別子系統處理後進入書寫過程和書寫結果評價與建議子系統，經過與書寫模板庫的模式匹配比較，得到學習者書寫過程和書寫結果的評價結果，並針對學習者在書寫學習過程中存在的不同問題，自動給出改進建議；至此，完成了計算機輔助漢語標準普通話的智能教學任務。
全文摘要
本發明涉及一種計算機輔助漢語智能教學系統及其實現方法。它包括帶有麥克風和CD－ROM的多媒體計算機、計算機多媒體漢語標準普通話教學節目、具有漢語標準普通話特徵內核的語音音素模板庫、標準普通話教師語句特徵模板庫、漢語語音信號處理及其識別子系統、語音學習評價子系統、漢字書寫信號處理及其模式識別子系統、漢字書寫信號模板庫和書寫評價子系統。本發明可以自動實時地進行漢語標準普通話語音和書寫學習效果的量化評價。
文檔編號G06F17/20GK1236928SQ9810197
公開日1999年12月1日 申請日期1998年5月25日 優先權日1998年5月25日
發明者郭巧 申請人:郭巧, 郭揚