訓練構音障礙的說話者的系統和方法

2023-08-13 10:12:16 1

專利名稱：訓練構音障礙的說話者的系統和方法
ii 11練構音障礙的說話者的系統和方法
技術領域：
本發明涉及一種訓練構音障礙的說話者(dysarthric speaker)的系 統和方法。此外，本發明還涉及一種用於訓練構音障礙的說話者的電腦程式。
語音障礙(speech def icit)是中風之類的神經系統疾病的一個共同 症狀。在美國，每年都會新發700,000起中風。雖然在這些病例中只有 20%是致命的，但是中風將會導致60。/。的受害者受到損傷。大約25%的病人 將會顯現出語音障礙。每年，康復措施和勞動力損失會使美國社會每年承 受500億美元的代價。
目前有兩大組語音障礙失語症和構音障礙。失語症是指病人沒有能 力正確叫出物體的名稱。而構音障礙則是指病人沒有能力清楚、正確地發 音。
語音治療學家通常會通過讓病人重複某個單詞，以便在一對一的會話 中訓練構音障礙的說話者。而病人則並未接收到詳細的糾正。很明顯，這 種治療方式的成本非常密集，並且對治療學家的要求很高。
為了在優化成本的同時將康復成果增至最大，較為理想的是由病人在 沒有監理專業人員可用的情況下在家中繼續進行康復練習。眾所周知，恰 當的反饋將會增強康復成功率。為此目的，有必要自動對練習進行評定， 例如藉助計算機來進行評定。
在計算片几上，失語症的測試相對容易，例如，該測試可以通過顯示物 體的圖像以及通過以多選方式向病人詢問該物體的正確名稱來進行。當 前，訓練軟體業已得到商用，並且在康復實踐中得到了使用。但是，由於 語音狀況有可能會很嚴重，因此，在計算機上是很難測試構音障礙的。當 前，用於以無人監管的方式訓練受損語音的系統只能用於失語症，而不能 用於構音障礙。
本發明的一個目的是提供一種訓練構音障礙的說話者的廉價、可靠且 無人監管的技術、
這個目標根據本發明是通過一種用於訓練構音障礙的說話者的系統來實現的，該系統包括第一計算模塊，適於自動確定說話者的輸入話語 的語音質量量度；第二計算模塊，適於自動將語音質量量度與說話者的至
少一個先前語音質量量度相比較；以及反饋模塊，適於自動根據該比較來
向說話者提供生物反饋。
本發明的目標還可以通過一種訓練構音障礙的說話者的方法來實現，
其中該方法包括以下步驟自動確定說話者的輸入話語的語音質量量度， 自動將語音質量量度與說話者的至少一個先前語音質量量度相比較，以及 根據該比較來自動向說話者提供生物反饋。
本發明的目標還可以通過一種在計算機中執行的電腦程式來實現， 當在計算機中執行該電腦程式時，所述程序包括用於自動確定說話者 的輸入話語的語音質量量度的計算機指令，用於自動將該語音質量量度與 說話者的至少一個先前語音質量量度相比較的計算機指令，以及用於根據 該比較來自動向說話者提供生物反饋的計算機指令。由此，根據本發明所
需要的技術效果可以基於根據本發明的電腦程式指令來實現。
這種電腦程式可以保存在CD-ROM之類的載體上，或者可以通過因
特網或另一種計算機網絡得到。例如，在執行電腦程式之前，通過藉助 CD-R0M播放器從載體讀取或是從網際網路讀取電腦程式，以及通過將計 算機程序保存在計算機存儲器中，可以將電腦程式加載到計算機中。特 別地，計算機包括中央處理器(CPU)、總線系統、RAM或ROM等存儲器裝 置、軟盤或硬碟單元等存儲裝置、以及輸入/輸出單元。可替換地，本發 明的方法可以在硬體中實施，例如使用一個或多個集成電路來實施。
本發明的核心思想是提供一種藉助簡單廉價的訓練系統來自動訓練 構音障礙的說話者的技術。例如，該思想可以藉助標準的計算機系統、與
計算機系統耦合的麥克風以及在計算機系統上執行的專用電腦程式來實現。
本發明的另一個核心思想是讓說話者、例如正在康復的病人通過生物 反饋效果來改善其狀況。生物反饋是一種使用來自個人自身身體的信號對 其進行訓練，以便改善其身體狀況的技術。在本例中，關於說話者的語音 能力的信息被返還給說話者。優選地，該反饋信息取決於語音質量的改善 或惡化。通過使用這個反饋信息，說話者可以逐步改善其語音能力。這種 生物反饋機制允許說話者接收，例如查看或收聽關於其語音能力的信息。 為此目的，說話者的話語被"翻譯"成了可以被說話者察覺的信號，例如 閃光燈燈泡，蜂鳴器等等。例如，與先前結果相對比的語音質量的改善是
4以"交通燈"或特定聲音的形式來說明的。說話者嘗試改善其技能並且監 視其自己的成績。根據通過生物反饋信號提供的結果，說話者將會"自動" 調整其語音。通過使用這種生物反饋機制，詳細的語言校正將變得不再必 要。這樣做極大降低了訓練的成本和勞動。由於該訓練完全是自動提供的， 因此不會發生治療或訓練錯誤。由此，根據本發明的訓練技術是非常可靠 的。
根據本發明，說話者並不是被訓練成產生只能為機器理解的語音。該 目標很容易就可以通過請求說話者始終以相同方式重複某個單詞來實現。 取而代之的是，根據本發明的系統和方法旨在提高對於每一個平均聽者、 用戶語音的智能性。因此，在本發明的優選實施例中，語音質量量度與所 產生語音和平均正常語音生成的偏差是相互關聯的。
本發明給出了用於訓練構音障礙的說話者的語音質量的技術的一種 實現方式。它使用戶能夠在沒有語音治療學家的情況下訓練發音。而反饋 將被提供給病人，並且該反饋將會指導其獲得更好的語音質量。
通過本發明可以提供一種無人監管的訓練。由此，本發明可以縮短乃 至消除包括與語音治療學家進行的昂貴的會話在內的成本密集的治療。總 而言之，本發明提供了一種在不需要監管的情況下訓練構音障礙的說話者 的簡單、廉價、可靠的技術。
本發明的這些和其他方面將會根據從屬權利要求中定義的後續實施 例而被進一步闡述。
才艮據本發明的優選實施例，該系統包括適於記錄說話者輸入話i吾的記 錄設備。根據本發明的方法，說話者的輸入話語是在確定語音質量量度之 前記錄的。該記錄設備例如可以是麥克風，並且優選被連接到第一計算模 塊，以便直接在說話者的話音中饋送。可替換地，說話者的話語將會從麥 克風傳送到預處理設備，例如話音過濾器等等，其中所述預處理設備適於 在藉助第一計算模塊執行的計算步驟之前預先處理說話者的話音。優選 地，說話者的話語是在產生話語之後立即處理和評估的，換言之，該話語 並未保存在資料庫或類似設備中。由此，該訓練系統可以用一種非常簡單 和廉價的方式來設計。
根據本發明的另 一個優選實施例，該系統包括適於向說話者提供說話
指令(speaking instruction)的接口模塊。根據本發明的方法，說話指令 是在記錄說話者的輸入話語之前提供給說話者的。為此目的，訓練系統的 接口模塊優選包含一個用於顯示將要由說話者重複的單詞的監視器裝置，例如內置顯示器。換句話說，說話者讀取所要重複的單詞。代替內置監視 器裝置，該接口模塊也可以被連接到一個外部顯示器。作為所述監視器裝 置的替換或補充，接口模塊包括用於重放將要由說話者重複的單詞的語音 輸出設備，例如內置揚聲器。換句話說，說話者收聽將要重複的一個或多 個單詞。與說話者隨機說出某個單詞的情形相比，如果實施這種說話指令， 那麼由第一計算模塊執行的語音分析可以更加容易、快速，並且複雜度更
低。由此，第一計算模塊可以用一種複雜度更低的方式來內置，而這將會 顯著降低成本。
在將說話者的話語被輸入訓練系統之後，該系統將會自動評定語音質 量。為此目的，在這裡將會使用語音識別技術。
根據本發明的另一個優選實施例，第一計算模塊包括適於在音位和/ 或單詞級別上執行語音識別和語音分析的語音分析組件。根據本發明的方
法，確定語音質量量度的步驟包括在音位和/或單詞級別上執行語音分 析。由於構音障礙的說話者在大多數情況下在產生特定聲音時有缺陷，因 此，音位和/或單詞級別上的語音分析是優選的。這些聲音來自音位，也 就是構成音節、單詞和整個句子的聲音差別的最小語音單位。單詞級別的 語音分析允許對相似單詞中的音位質量進行比4支例如'cheese，和 Treeze，都包含了 'e:，音位。此外還可以在相鄰音位的上下文中分析 音位例如，如果病人在發'killed'音的過程中顯現出問題，但同時能 夠說出'cold，、 'mold，和'kiUen，，那麼明顯是因為'i，和'1，的 次序導致發生的問題。由此，以音位為基礎的語音分析允許分析哪一個特 定的聲音偏離了多個非構音障礙的說話者發出的相同聲音。
根據本發明的另 一個實施例，第 一計算模塊包括適於將輸入話語與參 考數據相比較的比較組件，其中該比較是根據多個非構音障礙的說話者的 數據來進行的。根據本發明的方法，確定語音質量量度的步驟包括將輸 入話語與這種參考數據相比較。優選地，該參考數據是以多個非構音障礙 的說話者的平均數據為基礎的。為此目的，將會為在訓練中使用的每一個 單詞提供參考發音數據，例如在資料庫中提供。該參考發音數據在訓練之 前已經收集了 ，並且代表多個非構音障礙的說話者的平均單詞發音。
根據語音分析以及與參考數據的比較，第一計算模塊計算客觀語音質 量量度。該語音質量量度優選是為每一個單個訓練單詞確定的。所有結果， 也就是訓練單詞的語音質量量度都會由第 一計算模塊保存在訓練資料庫 中。優選地，該訓練結果是連同時間戳一起保存的。藉助這種手段，隨後可以將每一個結果分配給特定的日期和日時。
根據本發明的另 一個優選實施例，第二計算模塊包括適於相對於說話 者的先前結果來執行語音質量量度的對比評估的評估組件。根據本發明的
方法，比較語音質量量度的步驟包括相對於說話者的先前結果來執行語
音質量量度的對比評估。為此目的，使用歷史訓練數據，也就是相應單詞 的在前語音質量量度，來執行比較。這種歷史訓練數據保存在可以被第二 計算模塊訪問的訓練資料庫中。優選地，第二計算模塊不僅根據先前結果 還根據執行訓練的日時來評估語音質量。由此，時間相關的性能波動可以 被最小化或者消除。
作為這種相對於先前結果來評估語音質量量度的結果，提供關於發音 改善或損傷的信息，其中該信息優選是為每一個單獨的單詞提供的。換句 話說，個人改善將被用於生物反饋。
在下文將會將會參考下列實施例和附圖來舉例詳述本發明的這些和
其他方面，其中


圖1顯示了根據本發明的系統的示意性框圖， 圖2顯示了根據本發明的方法的簡化流程圖。
在所描述的實施例中，用於訓練構音障礙的說話者的系統1是藉助例 如筆記本或PC之類的標準計算機系統2、與計算機系統2相耦合的麥克 風3以及在計算機系統2上執行的專用電腦程式來實現的。在計算機系 統2上執行的電腦程式實現的是第一計算模塊4和第二計算模塊5。此 外，計算機系統2包括組合的接口和反饋模塊6。系統1的所有裝置都適 於執行根據本發明的方法。所有模塊、設備和組件都是以一種依照本發明 的方法來運行數據和/或信息輸入、處理和輸出的過程的方式而被構造和 編程的。特別地，計算機系統2的處理單元適於執行所有那些計算和運算 輸入數據以及確定和評定結果的任務。根據本發明，這種處理是藉助專用 計算機軟體來實現的，其中該計算機軟體包含了計算機指令，這些指令適 於在計算機系統1的處理單元執行軟體時執行本發明的方法。處理單元自 身可以包括功能模塊或單元，並且這些功能模塊或單元是以硬體、軟體或 軟硬體組合的形式實施的。
在第一步驟101中，用戶(說話者)被要求說出某個單詞或短句。為 此目的，組合的接口和反饋模塊6向說話者提供說話指令。該組合的接口和反饋模塊6包括計算機系統2的內置監視器7或者與計算機系統相連的
外部監視裝置，例如電視機。組合的接口和反饋模塊6還包括用於重放將 要由說話者重複的單詞的內置揚聲器8。為了提供說話指令，所述組合的 接口和反饋模塊6是受專用電腦程式控制的。
在接下來的步驟102，用戶語音、也就是說話者的輸入話語將會藉助 麥克風3而被記錄，其中該麥克風3與計算機系統2相連，並且適於向計 算機系統2傳送語音信號，以便進行處理。
隨後，說話者的輸入話語的語音質量量度將會藉助第一計算模塊4而 被計算。為此目的，在步驟103中通過第一計算模塊4的語音分析組件 ll來執行語音識別。該語音識別在音位和/或單詞級別上執行，以便確定 所說的一個或多個單詞。隨後，第一計算模塊4的比較組件12在步驟104 中將輸入話語與參考數據相比較，其中所述參考數據是以多個非構音障礙 的說話者的平均數據為基礎的。為此目的，比較組件12訪問存儲了每一 個訓練單詞的參考數據的參考資料庫9。根據語音分析以及與參考數據的 比較，第一計算模塊4為每一個單獨的訓練單詞計算客觀的語音質量量 度。
優選地，第一計算模塊4是如下工作的為發音訓練給出單詞W。說 話者的語音產生有可能是單詞0。現在，第一計算模塊4計算兩個概率。 首先，給定語音產生O與給定單詞W相匹配的概率，也就是所謂的"強制 對準"。其次，給定語音產生0是任意音位序列的最大概率，也就是所謂 的"自由音位循環"。這兩個概率的比值(R=W/0)將會產生給定單詞W的 發音質量的量度。描述這種方法的詳細資衝牛可以在H. Boulard和B. D，hoors於1994年4月發表於Proc. ICASSP第1巻第373頁的論文 'Optimizing Recognition and rejection performance in word spotting systems' 中找到。
隨後，語音質量量度R將被第一計算模塊4連同時間戳以及相應的一 個或多個單詞一起保存在訓練資料庫10中。
在接下來的步驟105中，第二計算模塊5的評估組件13自動將語音 質量量度與說話者的至少一個先前語音質量量度相比較。在該步驟中，可 以通過對當前會話的所有值求取平均，和/或通過使用該會話的最小/最大 值，和/或通過在時間方面加權每一個值(最新近的值被加權最大)以及 在此後求取平均，和/或通過對先前會話的累積結果加以考慮，由此顧及 先前結果。為此目的，評估組件訪問存儲了每一個訓練單詞的先前結果的
8訓練資料庫10。如果該系統是首次使用的，那麼測量得到的關於標準單 詞集合的語音質量將被用於對歷史訓練數據的資料庫IO進行初始化，並 且還會用於對與所給出的生物反饋相關的性能等級進行初始化。
在接下來的步驟106，根據當前練習結果來向說話者提供反饋。為此
目的，組合的接口和反饋模塊6提供了一個"信號燈，，信令方案，在該方
案中，如果有所改善，則顯示綠燈，如果沒有改善，則顯示黃燈，如果出
現惡化，則通過計算機系統2的內置監視器7來向說話者顯示紅燈。為了 提供反饋信息，組合的接口和反饋模塊6是由電腦程式來控制的。
優選地，說話者被要求重複訓練處理，直至滿足退出條件(步驟107 )。 例如，這種退出條件可以是達到最大訓練時間，達到某一行的最大"綠，， 結果，達到某一行的最大"黃，，結果，達到某一行的最大"紅"結果，超 出最大練習次數，手動停止。
一般的訓練結果以及與每一個單獨的單詞或短語相關的訓練結果被 保存在結果資料庫(未顯示)中和/或被使得可以供治療學家藉助計算機 系統2來使用，例如通過網際網路之類的計算機網絡針對治療學家的在線數 據傳送來使用。
優選地，本發明既可以作為家庭中風測試的一部分來使用，也可以作 為基於家庭的康復應用的一部分來使用，還可以在康複診所中使用。此外， 本發明還可以作為電子遠程醫療平臺的 一部分來使用。
對本領域技術人員來說，很明顯，本發明並不局限於上述說明性實施
例的細節，在不脫離本發明的本質或是其基本屬性的情況下，本發明是可 以在其他特定形式中實施的。由此，本發明的所有方面都糹皮^L為說明性而 不是限制性的，本發明的範圍是由所附權利要求而不是前述說明書指示 的，由此，落入權利要求含義和等價範圍以內的所有變化全都落入其中。 此外，非常明顯的是，單詞"包括"並未排除其他元件或步驟，單詞"一" 或"一個，，並未排除多個，並且諸如計算機系統或另一個單元之類的單個 元件可以滿足權利要求中述及的若干個裝置的功能。權利要求中的任何參 考符號都不應該被解釋成是對所涉及權利要求進行限制。
9參考數字
1 系統
2 計算機
3 麥克風
4 第一計算單模塊
5 第二計算模塊
6 組合的接口和反饋模塊
7 監視器
8 揚聲器
9 參考資料庫
10 訓練資料庫
11 語音分析組件
12 比一交組件
13 評估組件
權利要求
1. 一種用於訓練構音障礙的說話者的系統(1)，包括第一計算模塊(4)，適於自動確定說話者的輸入話語的語音質量量度，第二計算模塊(5)，適於自動將語音質量量度與說話者至少一個先前的語音質量量度相比較，以及反饋模塊(6)，適於根據該比較來自動向說話者提供生物反饋。
2. 如權利要求1所述的系統(1)，包括記錄設備(3),適於記錄 說話者的輸入話語。
3. 如權利要求1所述的系統(1)，包括接口模塊(6),適於向說 話者提供說話指令。
4. 如權利要求l所述的系統(1)，其中，第一計算模塊(4)包括語 音分析組件(11)，適於在音位和/或單詞級別上執行語音分析。
5. 如權利要求l所述的系統(1),其中，第一計算模塊(4)包括比 較組件(12),適於將輸入話語與參考數據相比較，所述參考數據是以多 個非構音障礙的說話者的數據為基礎的。
6. 如權利要求1所述的系統(1 )，其中，第二計算模塊(5 )包括評 估組件(13)，適於相對於說話者的先前結果執行語音質量量度的比較評估。
7. —種訓練構音障礙的說話者的方法，包括以下步驟 自動確定(104)說話者的輸入話語的語音質量量度，自動將語音質量量度與說話者的至少一個先前語音質量量度相比較 (105),以及根據該比較，自動向說話者提供(106 )生物反饋。
8. —種在計算機(2)中執行的電腦程式，當在計算機(2)中執行該電腦程式時，所述程序包括用於自動確定(104 )說話者的輸入話語的語音質量量度的計算機指令，用於自動將該語音質量量度與說話者的至少一個先前語音質量量度 相比較(105)的計算機指令，以及用於根據所述比較來自動向說話者提供(106)生物反饋的計算機指
全文摘要
本發明描述了一種基於計算機的系統，其中該系統要求(101)病人發出顯示在監視器上的單詞的讀音，自動評定(104，105)語音質量，並且使用適當的裝置來反饋(106)語音質量改善或惡化。
文檔編號G09B19/04GK101454816SQ200780018936
公開日2009年6月10日 申請日期2007年5月11日 優先權日2006年5月22日
發明者D·格勒, G·蘭弗曼, R·D·威爾曼 申請人:皇家飛利浦電子股份有限公司