觸控輔助的實時語音識別系統及其同步解碼方法
2023-06-24 02:55:16 1
專利名稱：觸控輔助的實時語音識別系統及其同步解碼方法
技術領域：
本發明涉及到語音識別、人機互動和移動計算等技術領域，尤其是一種有限硬體資源下實時的多模態信息輔助的語音識別技術。
背景技術：
語音是進行自然人機互動的重要模式之一。語音識別簡單說就是機器把語音信號轉化為對應文本信息的過程，這些文本信息可進一步用來理解用戶意圖。當前語音識別技術的性能易受說話人、環境噪聲以及信道等因素變化的影響而急劇下降。尤其是在硬體資源有限的應用環境下，複雜的語音識別算法難以實施，其識別性能會進一步下降。
採用其他模式特徵來輔助語音識別可以提高語音識別的魯棒性和識別精度，是促進語音識別技術實用化的重要途徑之一。這些輔助特徵包括手寫[CN1549244，CN101082836, CN1388434, US2004049388A1]、唇讀[CN102023703A]、筆劃[CN101377726,CN101488044]、點觸[US2004049388A1，W02008109835A2]等。這些輔助模式特徵的應用方式可分為如下幾種I)在[CNl112252、US2004049388A1]中，系統獨立採用兩種模式的切換來進行文本的輸入，語音和其他模式的識別是獨立的，在一次輸入中，只能使用其中一種模式特徵的識別結果，因此嚴格說該方法並不能改善語音識別性能。這種方式的主要問題是同一時刻只能使用一種模式特徵的識別結果，因此其識別性能並不能提高。2)在[CN1388434、CN101082836、CN1549244、CN101377726、CN102023703A]中，系統對兩種模式分別進行獨立的識別，然後通過融合兩種識別結果來得到最終的識別結果。其一種融合方法為在兩組識別結果中若有完全相同的部分則輸出；否則採用的得分最高的部分。另外一種融合方法為首先識別一種模式特徵，得到多個候選結果，然後再採用另外一種模式特徵在候選結果中進行識別，得到最終結果。這種方式的主要問題是在識別過程中正確結果可能已經被丟棄，那麼對識別結果上進行融合是無法找到正確結果的。另外，如果兩種模式的識別是順序的，那麼輸入速度必然會下降。3)在[US2004049388A1，W02008109835A2，CN1918578，CN101315666]中，系統首先採用一種模式特徵進行文本輸入，然後採用其他模式來修正輸入文本中的錯誤。比較典型的方案是首先採用語音進行輸入，對於語音識別結果中的錯誤單詞，再採用手寫識別或者點觸軟鍵盤來輸入，該輸入可以利用語音識別結果中的多候選信息。這種方式的主要問題是糾錯會導致文本輸入速度明顯下降。尤其是，專利[US2004049388A1，W02008109835A2]公開了基於移動通信設備的語音識別輸入技術。其技術特點是利用手寫或者點觸操作提供的輔助信息來對語音識別的結果進行修正，其手寫或點觸操作的識別過程和語音識別過程是離線的，不同步的，兩者是不相關的。該技術實質上是對語音識別結果的一種後處理，本身並不能改善語音識別精度，也不能提高輸入速度。綜上所述，當前其他模態信息輔助的語音識別存在的主要問題是只針對識別結果進行後處理，由此導致1)計算複雜較高；2)輸入速度明顯下降；3)識別精度沒有顯著提高。因此，有必要開發一種在線語音識別過程中可實時利用其它模態信息輔助識別的技術，既可以提高語音識別的精度，又不影響輸入速度，尤其是適用於移動通信設備的語音識別技術。
發明內容
本發明公開一種實時利用手指觸控動作信息的在線語音識別系統及其同步解碼方法。該系統在進行語音識別的過程中，可以同時採集用戶手指在觸控螢幕上的點觸和移動動作，然後在語音解碼過程中實時利用這些動作信息來在線縮減和修正搜索空間，得到更準確的識別結果，並保持較高的識別速度。其關鍵特徵為用戶觸控動作信息的使用在時間上和語音識別解碼過程基本同步，並直接影響語音識別解碼過程。本發明提供了一種觸控輔助的實時語音識別系統，包括觸控動作檢測單元，用於實時檢測用戶的觸控操作，如果有預先定義的觸控動作發生，則抽取觸控動作特徵，該觸控動作特徵至少包括接觸點位置坐標的時間序列，接觸開始點時間和結束點時間；觸控動作辨識單元，用於利用所述觸控動作檢測單元抽取的用戶的觸控動作特徵對用戶觸控動作進行分類，得到該動作所表示的含義，輸出表示該動作含義的特徵向量；語音端點檢測單元，用於實時檢測語音信號的有效開始點和結束點，進而啟動或停止語音特徵提取單元；語音特徵提取單元，用於實時提取語音信號的聲學特徵，該聲學特徵用於進行語音識別；語音/動作同步解碼單元，用於實時利用用戶觸控動作信息，對語音特徵進行在線同步解碼，輸出語音識別結果。本發明還提供了一種觸控輔助的實時語音/動作同步解碼方法，其特徵在於在採用語音聲學特徵進行幀同步解碼的過程中，可以實時利用用戶觸控操作信息對解碼過程生成的候選搜索路徑進行在線修正，直接影響解碼過程，改善最終識別結果。該解碼方法具體包括如下步驟第一步在當前時刻當前狀態上，從所有可到達當前狀態的前序狀態中選擇一個最優狀態，把該狀態上前一時刻的部分路徑累計得分、到當前狀態的狀態轉移概率、語言模型概率和當前相鄰動作與其間語音單元的時間匹配得分累加作為當前時刻當前狀態的部分路徑累計得分，並記下所選擇的最優前序狀態。第二步獲取一幀語音特徵，計算每個狀態上的聲學觀察概率，並累加到當前時刻該狀態的部分路徑累計得分中；第三步同時獲取用戶動作特徵，計算當前狀態上的動作觀察概率，並累加到當前時刻當前狀態的部分路徑累計得分中；第四步在每個狀態和時刻上重複上述過程，直至語音特徵處理完畢，最後選擇部分路徑累計得分最高的狀態通過回溯輸出最優識別結果。上述觸控輔助的實時語音識別系統中，用於實現用戶動作的方式並不限於手指接觸屏幕，任何其他可以接觸觸控螢幕並可以被準確檢測位置的方式都可以用來實現用戶觸控、動作。本發明所提出的觸控輔助的實時語音識別系統，其特徵在於多模態信息並不局限於觸控輔助信息，其他可提供與觸控動作類似輔助信息的模式以及支持和語音進行同步解碼的語音識別技術都在本專利保護範圍之內。技術效果觸控輔助的實時語音識別系統及其同步解碼方法能夠提高語音識別的準確性，同時不會影響識別速度。同步利用觸控操作信息的實時語音識別技術，可以改善語音輸入方式的用戶體驗，提高用戶滿意度。技術優點觸控輔助的實時語音識別系統及其同步解碼方法相比其他技術具有如下優點
I)在語音解碼過程中同步利用用戶觸控信息，可在線實時修正識別結果，語音解碼結束後，即可獲得準確性更高的識別結果；2)和利用觸控信息的多遍解碼技術相比，本系統和方法可獲得更高的識別準確性，並且只需一遍解碼，不影響識別速度；3)和利用觸控操作對語音識別輸出結果進行直接錯誤修正的技術相比，本系統和方法可提高語音輸入效率，且具有較高的準確性和更好的用戶體驗。
圖I是觸控輔助的實時語音識別系統的框架結構簡圖；圖2是觸控輔助的實時語音/動作同步解碼方法的流程圖；圖3是簡單觸控動作輔助的語音輸入操作示意圖；圖4是利用動作表示漢語聲調類型的觸控輔助的語音輸入操作示意圖；圖5是利用動作表示漢字第一個筆畫的語音輸入操作示意圖；圖6是利用點觸軟鍵盤動作表示漢字拼音第一個字母的語音輸入操作示意圖；圖7是點觸軟鍵盤動作產生漢字拼音第一個字母的容錯信息示意圖；圖8是用戶觸控動作生成表示特定語言信息的特徵向量的示意圖；圖9是利用語音和動作信息進行同步解碼的局部過程的示意圖。
具體實施例方式下面結合圖例，給出觸控輔助的實時語音識別系統及其同步解碼方法更詳細的技術特徵以及一些典型的實施案例。圖I給出了觸控輔助的實時同步語音識別系統的系統總體結構。觸控輔助的實時同步語音識別系統主要由觸控動作檢測單元101、觸控動作辨識單元102、語音端點檢測單元103、語音特徵提取單元104和語音/動作同步解碼單元105組成。觸控動作檢測單元101 :該單元實時監測用戶的觸控操作，如果有預先定義的觸控操作發生，則抽取觸控動作特徵。該特徵至少包括接觸點位置坐標的時間序列，接觸開始點時間和結束點時間。所述的用戶觸控操作是指一次不間斷接觸觸控螢幕的操作。所述用戶觸控操作的輸入和語音輸入是基本同步的，並且每個動作在時間上對應於一個特定語音單元。所述特定語音單元包括但不限於音素、音節、詞或者句子。典型地，在中文語音識別中，特定語音單元對應於音節或者詞；在英文語音識別中，特定語音單元對應於詞。本說明書後續內容中一般採用「詞」作為基本語音單元。所述觸控動作檢測單元可以檢測到用戶手指接觸和離開觸控螢幕的時間以及手指接觸屏幕期間的每個位置坐標。從接觸屏幕到離開的觸點位置坐標形成一個時間序列。所述的接觸點位置坐標的時間序列是一組由接觸點位置組成的向量。所述用戶動作是指用戶手指和觸控螢幕接觸期間的移動軌跡。一個用戶動作定義為一個不間斷的手指觸控屏幕的移動軌跡。用戶手指接觸屏幕，表示一個用戶動作的開始；用戶手指離開屏幕，表示一個用戶動作的結束。所述用戶觸控動作從形式上可分為點觸動作和滑動動作。所述點觸動作是指手指 觸控屏幕期間的位置不變，或者在給定閾值範圍內變化；所述移動動作是指手指觸控屏幕期間的接觸點位置不斷變化，其軌跡形成某種特定形狀。觸控動作辨識單元102 :該單元利用單元101抽取的用戶觸控動作特徵對用戶觸控動作進行分類，得到該動作所表示的含義。所述動作辨識單元可以輸出一個離散的語言或語音相關的符號，也可以輸出一個連續的表示多個可能語言或語音相關的符號置信度的向量。此外，動作辨識單元還將輸出用戶動作發生的時間信息。典型地，所述動作辨識單元根據用戶手指的移動軌跡來對用戶動作進行分類，得到其類型。所述用戶動作類型分為兩大類一類是簡單動作；另一類是抽象動作。簡單動作是指用戶點觸屏幕，系統只提取點觸時間信息的動作；抽象動作是指除時間信息之外，還具有特定含義的動作，比如表示特定的語言或語音相關的符號。 所述抽象動作及其含義可通過兩種途徑來獲取I)和屏幕位置相關的點觸動作，點觸屏幕特定位置，即表示特定含義。比如點觸屏幕軟鍵盤上的特定位置，該動作所表示的含義即為該位置所對應的特定符號。2)和觸控移動軌跡相關的動作，這類動作的含義和該移動軌跡所形成的形狀和順序相關。此類動作一般需要通過模式識別技術來進行辨識，然後得到相應動作的含義。比如可以用觸控動作來表示漢字的聲調，也可以表示漢字的筆畫等。典型地，所述動作辨識單元所確定的動作類型和預先定義的動作含義相對應。該動作含義可以代表某個/某些特定的語言或語音相關的符號。通過動作辨識單元可以得到動作所表示的某個/某些特定語言或語音相關的符號的置信度，該信息可作為語音同步解碼中的用戶動作特徵。用戶動作所代表的離散語言或語音相關的符號表示一個語言單元的某些屬性，t匕如漢字的聲調、漢字的第I個筆畫、漢字拼音的第I個字母、英文單詞的第I個字母等。但本專利所公開技術所支持的用戶動作可表示的含義不僅限於上述類型。用戶動作的含義也可以表示為一個特徵向量，該向量可用來表示該用戶動作可能代表的某些語言或語音相關的符號及其置信度。這主要針對用戶動作辨識精度不高的情況，比如用戶點觸軟鍵盤時，有操作誤差，可能會同時觸動多個按鍵。圖8給出了一個用戶通過觸控動作輸入漢字拼音首字母後動作辨識單元的輸出結果的示例，用戶觸動軟鍵盤輸入漢字「觸」的拼音首字母「C」，動作辨識單元將給出一個23維的置信度向量，該向量每一維對應一個拼音字母的置信度，該特徵向量所有維之和應該等於I。如果當前動作所表示的字母是確定的，則只有該字母的置信度為1，其餘字母的置信度為O，如圖8(a)所示。這種情況下，上述用戶動作其實就表示一個離散的語言或語音相關的符號。如果當前動作所表示的字母是不確定的，則可能有多個字母的置信度非零，如圖8(b)所示，其中字母「c」的置信度最高，為0. 7，這意味著該用戶動作的含義最有可能是輸入「C」。特定地，用戶動作也可以不代表任何語言含義，所述動作辨識單元僅提供用戶觸控動作發生的時間信息。上述動作辨識單元輸出的離散符號或者連續向量以及觸控動作發生的時間信息，都可作為一種特徵，同步輸入到同步解碼單元，在線調整語音解碼過程生成的多個候選結果的概率得分，並影響最終識別結果。本系統所述動作檢測單元和動作辨識單元採用當前成熟的觸控螢幕控制技術和手 寫識別技術很容易實現。語音端點檢測單元103 :該單元主要是檢測用戶語音信號的開始點和結束點。當檢測到語音的開始點之後，音頻採樣數據才被送到後續的特徵提取單元進行處理。當檢測到語音的結束點之後，音頻採樣數停止發送到後續的特徵提取單元，語音解碼單元也停止工作。傳統的語音端點檢測方法一般是通過檢測分析音頻採樣數據的能量、基頻或譜特徵，來發現語音信號的起始點和結束點。典型地，本發明所公開技術支持採用用戶動作來標識語音的起始點和結束點。用戶通過發出特定的觸控動作來表示語音的起始和結束。特定的觸控動作可以是觸控屏幕上的特定位置；也可以是一個預定義的特殊的觸控滑動軌跡。動作辨識單元在識別出該特定動作後，向語音端點檢測單元發信號，表示語音的起始點或者結束點。語音特徵提取單元104 :此單元從語音信號數據中抽取各種聲學特徵，這些特徵刻畫了不同語言單元的聲學模式特點。典型的聲學特徵包括時域能量，Mel頻率倒譜係數(MFCC)，感知線性預測(PLP)係數，基頻等。該聲學特徵表示了語音的聲學模式特點，用於後續的語音識別解碼，尤其是和語音聲學模型進行模式匹配。該聲學特徵可在線實時抽取，然後發送到同步解碼單元進行識別。語音/動作同步解碼單元105 :此單元採用觸控輔助的實時語音同步解碼方法對語音聲學特徵和用戶動作特徵進行實時同步解碼來獲得用戶語音所對應的文本信息。具體來說，根據語音聲學特徵和用戶動作特徵在語言空間搜索一個概率得分最高的語言單元序列。所述同步解碼是指採用幀同步Viterbi解碼框架，在傳統語音識別解碼過程中實時利用用戶動作信息，對語音解碼得到的候選結果的概率得分進行修正，從而影響最終得到的識別結果。所述識別的最終結果的準確率將高於僅採用語音信息識別的結果。所述觸控輔助的實時語音識別系統其特徵在於所述語音/動作同步解碼單元在傳統幀同步viterbi解碼過程中同時利用用戶動作信息來輔助語音解碼過程。此語音/動作同步解碼過程可表示為下式
權利要求
1.一種觸控輔助的實時語音識別系統，包括 觸控動作檢測單元，用於實時檢測用戶的觸控操作，如果有預先定義的觸控操作發生，抽取觸控動作特徵，該觸控動作特徵至少包括接觸點位置坐標的時間序列，觸控開始點時間和結束點時間； 觸控動作辨識單元，用於利用所述觸控動作檢測單元抽取的用戶觸控動作特徵對用戶觸控動作進行分類，得到該動作所表示的含義，輸出表示該動作含義的特徵向量； 語音端點檢測單元，用於實時檢測語音信號的有效開始點和結束點，進而啟動或停止語音特徵提取單元； 語音特徵提取單元，用於實時提取語音信號的聲學特徵，該聲學特徵用於進行語音識別； 語音/動作同步解碼單元，用於實時利用用戶觸控動作信息，對語音特徵進行在線同步解碼，輸出語音識別結果。
2.如權利要求I所述的觸控輔助的實時語音識別系統，其中用戶觸控動作的輸入和語音輸入是實時同步的，並且每個動作在時間上對應於一個特定語音單元；所述特定語音單元包括但不限於音素、音節、詞或者句子等。
所述用戶觸控動作是指用戶手指和觸控螢幕接觸期間的移動軌跡。
3.如權利要求I所述的觸控輔助的實時語音識別系統，其中所述動作檢測單元可以檢測到用戶手指接觸利離開觸控螢幕的時間以及手指接觸屏幕期間的每個位置坐標，從接觸屏幕到離開的觸點位置坐標形成一個時間序列。
4.如權利要求I所述的觸控輔助的實時語音識別系統，其中所述動作辨識單元根據用戶手指觸控位置或移動軌跡來判斷用戶動作所表示的含義，通常為用戶動作所表示的若干語言或語音相關的符號。
5.如權利要求4所述的觸控輔助的實時語音識別系統，其特徵在於所述動作辨識單元所輸出的用戶動作的含義通常表示為若干特定語言或語音相關的符號的置信度向量。
6.如權利要求I所述的觸控輔助的實時語音識別系統，其中所述語音端點檢測單元可以採用用戶觸控動作來實現語音端點的實時檢測，主要包括首先定義特定的用戶觸控動作來表示語音起始點和結束點，然後通過檢測預定義的用戶觸控動作來標識用戶語音的開始點和結束點。
7.如權利要求I所述的觸控輔助的實時語音識別系統，其中所述語音/動作同步解碼單元的語音/動作同步解碼的過程可用下述公式實現W = arg max[a log P{0 \W)-{- log P(W) + y log P{A | W, 0)] 其中S表示所有所有可能的詞串集合，0 = [O1, . . . , Ot]表示聲學觀察序列，A =[ai，...，aT]表示觀察到的用戶動作特徵序列，P(0 |ff)表示給定詞串W產生聲學觀察0的概率，P(W)表示詞串W出現的概率，P(Al W，0)表示給定詞串W和聲學觀察序列0產生用戶動作序列A的概率，a、P和Y分別為聲學模型概率、語言模型概率和用戶動作概率的權重。
8.如權利要求7所述的觸控輔助的實時語音識別系統，其中所述語音/動作同步解碼單元的關鍵特徵在於語音解碼過程中弓I入的概率P (AI W，0)，且其具體形式必須滿足如下條件 1)可以描述用戶動作含義與給定詞串序列在語言上的相似度； 2)可以描述用戶動作與用戶語音單元在時間上的相關度。
9.一種用於權利要求I所述的觸控輔助的實時語音識別系統的實時語音/動作同步解碼方法，其特徵在於在採用語音聲學特徵進行幀同步解碼的過程中，實時利用用戶觸控操作信息對解碼過程生成的候選搜索路徑進行在線修正，該方法具體包括如下步驟 第一步在當前時刻當前狀態上，從所有可到達當前狀態的前序狀態中選擇一個最優狀態，把該狀態上前一時刻的部分路徑累計得分、到當前狀態的狀態轉移概率、語言模型概率和當前相鄰動作與其間語音單元的時間匹配得分累加作為當前時刻當前狀態的部分路徑累計得分，並記下所選擇的最優前序狀態； 第二步獲取一幀語音特徵，計算當前狀態上的聲學觀察概率，並累加到當前時刻當前狀態的部分路徑累計得分中； 第三步同時獲取用戶動作特徵，計算當前狀態上的動作觀察概率，並累加到當前時刻當前狀態的部分路徑累計得分中； 第四步在每個狀態和時刻上重複上述過程，直至語音特徵處理完畢，最後選擇部分路徑累計得分最高的狀態，通過回溯輸出最優識別結果。
10.如權利要求9所述的實時語音/動作同步解碼方法，其中第一步選擇最優前序狀態的基本準則是該狀態的部分路徑累計得分、到當前狀態的狀態轉移概率、語言模型概率和當前相鄰動作與其間語音單元的時間匹配得分之和最大，具體包括如下步驟 I. I獲得每個前序狀態的部分路徑累計得分，並分別累加從該狀態到當前狀態的轉移概率； I. 2在每個前序狀態的部分路徑累計得分上累加語言模型概率； I.3如果在當前時刻有用戶觸控動作發生，則計算相鄰動作與其間可到達當前狀態的每個部分路徑上的語音單元的時間匹配得分，並分別累加到上述得分中，典型計算公式如下
11.如權利要求10所述的實時語音/動作同步解碼方法，其中在實時語音/動作同步解碼過程中為每個部分路徑添加一個計數標記位來存儲從上一個動作到當前動作之間該路徑上出現語音單元跳轉的次數cn，具體步驟如下 步驟a，初始化每個搜索路徑上的計數標記位為0 ; 步驟b，如果搜索路徑上出現從一個語音單元到一個語音單元的狀態跳轉，則其上的計數標記位自動加I ; 步驟C，在接收到一個用戶觸控動作時，如果搜索路徑的計數標記位為0，則設置Cn為一個非I的預設值；否則設置Cn為該計數標記位的值；步驟d，計算當前時刻當前狀態上相鄰用戶動作與其間出現的語音單元序列之間的時間匹配得分； 步驟e，重置每個搜索路徑的計數標記位為O，跳轉到步驟b。
全文摘要
本發明提供一種觸控輔助的實時語音識別系統及其實時語音/動作同步解碼方法，其中該系統包括觸控動作檢測單元，用於實時監測用戶的觸控操作，如果有預先定義的觸控動作發生，抽取觸控動作特徵，該觸控動作特徵至少包括接觸點位置坐標的時間序列，接觸開始點時間和結束點時間；觸控動作辨識單元，用於利用所述觸控動作檢測單元抽取的用戶的觸控動作特徵對用戶觸控動作進行分類，得到該動作所表示的含義；語音端點檢測單元，用於實時檢測語音信號的有效開始點和結束點，用於啟動和停止語音特徵提取模塊；語音特徵提取單元，用於實時提取語音信號的聲學特徵，該聲學特徵用於進行語音識別；語音/動作同步解碼單元，用於實時利用用戶觸控動作信息，對語音特徵進行在線同步解碼，輸出語音識別結果。
文檔編號G10L15/22GK102708862SQ20121012729
公開日2012年10月3日 申請日期2012年4月27日 優先權日2012年4月27日
發明者俞凱, 王歡良 申請人:蘇州思必馳信息科技有限公司