手寫識別方法和設備的製作方法

2023-05-07 13:55:11

專利名稱：手寫識別方法和設備的製作方法
技術領域：
本發明涉及文字輸入，具體涉及一種手寫識別方法和設備，能夠識別用戶連續手 寫輸入的無框的多個字符，提高輸入效率。
背景技術：
目前在諸如手機之類的電子設備中廣泛應用了能夠對用戶的手寫輸入進行識別 的模塊，這使得用戶不用再學習其他的通過按鍵進行字符輸入的輸入方法就能夠與電子設 備進行交互。非專利文獻 1 ( "Online Character Segmentation Method for Unconstrained Handwriting Strings Using Off-stroke Features，，(Source :Hitachi Ltd. in the Tenth International Workshop on Frontiers in Handwriting Recognition,La Baule, France, 2006))披露了一種手寫識別方法，它設計了切分方式(segmented pattern)的物 理特徵(『無筆畫(off-stroke) 』特徵)來識別無框手寫輸入的字符序列。在該方法中， 『無筆畫』信息可以從前一筆畫的最後一個採樣點到後一筆畫的第一採樣點來獲得，如圖1 中的虛線所示。該物理信息還包括諸如切分方式的高度/寬度和相應切分方式的手寫時間 等信息。該方法中，物理信息包括切分方式的形狀特徵、位置特徵和間隙特徵；筆畫的長度； 無筆畫的平均距離；無筆畫的平均時間；無筆畫的距離；無筆畫的角度的正弦和餘弦值；無 筆畫的間隔。該方法主要針對書寫前一筆畫的結束點到書寫當前筆畫的起點之間的『無筆 畫』過程來進行手寫輸入識別的。該手寫識別方法假設，對於書寫的字符而言，即使在不同的字符之間發生了連筆 現象，字符之間的無筆畫距離和時間間隔也要大於字符內的筆畫之間的無筆畫距離和時 間，並且該方法假設每個筆畫分布滿足正態分布。基於上述的假設，該手寫識別方法使用概 率模型，根據特徵的均值和方差計算不同切分方式之間的相似度。最後，該方法使用動態規 劃(DP)來確定最佳的切分路徑。上述非專利文獻1中存在的一個問題是對手寫字符序列的切分依賴於每個筆畫 的書寫時間。對該方法來說，無筆畫的時間間隔是非常重要的特徵。該方法假設切分方式 之間的無筆畫的時間間隔越大，則切分的正確度越高。當用戶以較為恆定的速度進行書寫 時，這樣的假設是合理的。但是在使用過程中，用戶經常以不同的速度，例如一會兒快一會 兒慢的速度進行書寫。因此，如果用戶在書寫過程中改變書寫速度，則非專利文獻1所披露 的方法將難以準確識別。上述非專利文獻1中存在的另一問題是，僅僅使用了幾何特徵和時間特徵來確定 切分是否正確。該方法假設字符之間的無筆畫距離大於字符內的筆畫之間的無筆畫距離。 但是這樣的假設並非總是正確的。非專利文獻1列出了一些切分錯誤的典型示例，如圖2所 示。由圖2可以看出，一些字符之間的無筆畫距離小於字符內的筆畫之間的無筆畫距離。在 圖2所示的第一個例子中，『5』被過切分了，這是由於字符內筆畫之間的間隙過大造成的。 在第二和第三個例子中，當一個輸入字符序列的字符之間的距離變動較大以及字符的大小不同時，出現了錯誤切分。

發明內容
本發明的目的是提出一種手寫識別方法和設備，能夠對用戶連續手寫輸入的多個 字符進行識別，而與用戶的書寫速度的變化無關。在本發明的一個方面，提出了一種手寫識別方法，用於對用戶連續輸入的無框 (writing-box-free)的多個字符進行識別，該方法包括步驟基於不同筆畫組合和對其所 包含的筆畫進行劃分形成的「子筆畫組合」的單字識別結果，計算與輸入字符序列的不同筆 畫組合的單字識別正確度相關的特徵；根據對不同筆畫組合所包含的筆畫進行劃分形成的 「子筆畫組合」的空間幾何關係來確定不同筆畫組合的空間幾何特徵；基於與單字識別正確 度相關的特徵和空間幾何特徵，確定對輸入的字符序列的不同切分方式下各個筆畫組合的 切分可信度；基於所述切分可信度確定切分路徑；以及向用戶呈現與確定的切分路徑相 關的字符序列識別結果。在本發明的另一方面，提出了一種手寫識別設備，用於對用戶連續輸入的無框的 字符序列進行識別，該設備包括手寫輸入單元，採集用戶連續輸入的字符序列；單字識別 單元，對字符序列中的不同筆畫組合進行識別，得到單字識別結果；切分單元，基於不同筆 畫組合和對其所包含的筆畫進行劃分形成的「子筆畫組合」的單字識別結果，計算與輸入字 符序列的各種筆畫組合的單字識別正確度相關的特徵，並根據其「子筆畫組合」的空間幾何 關係確定不同筆畫組合的空間幾何特徵；根據與單字識別正確度相關的特徵和空間幾何特 徵，確定對輸入的字符序列的不同切分方式下各個筆畫組合的切分可信度；基於所述切分 可信度確定切分路徑；以及顯示控制單元，控制顯示屏向用戶呈現與確定的切分路徑相 關的字符序列識別結果。由於採用無框輸入，用戶可以連續輸入包含較多字符的一句話(或英文單詞)，提 高用戶的手寫輸入效率。對於傳統的需要用戶將字符寫在手寫框(writing-box)中的輸入 方法，手寫字符之間的停頓常常會打斷用戶的思路從而影響輸入速度，而要求每個字符都 寫在規定的手寫框中(例如目前手機上常用的兩框輸入法，要求用戶在兩個手寫框之間 來回切換)也改變了用戶的書寫習慣，降低了手寫輸入效率。本發明實施例的方法和設備 允許用戶實現連續輸入，即時輸出或者整體輸出識別結果，無需改變書寫習慣。 由於本發明實施例的方法和設備在計算字符序列的切分可信度時，不僅僅考慮了 現有技術中常用的空間幾何特徵，還充分考慮了筆畫組合合併後的單字識別正確度以及子 筆畫組合的單字識別正確度，所以對於現有技術比較難以正確切分的情況，例如不同字符 的筆畫在空間上部分重疊，或同一個字符所包含的筆畫分隔較大，本發明方法都能得到正 確的切分和識別結果。而且，由於本發明實施例的方法和設備在進行字符序列切分時，並不依賴於用戶 寫每一筆畫的輸入時間，所以可以適應用戶的不同輸入習慣，即使某用戶輸入字符的時間 時快時慢，也不會影響本發明方法的切分正確性。另外，由於本發明實施例的方法和設備採用的筆畫組合空間幾何特徵都是根據估 計的字符平均寬(高)度進行規整化後的幾何特徵，所以該系統可以適應用戶輸入的任意 大小的字符序列。同時，由於在單字識別時採用多模板訓練和多模板匹配的方法，所以對於不同用戶輸入的多種不同寫法的字符(例如漢字的簡略字等)，本發明方法都能準確識 別。更進一步的，本發明實施例採用了語言模型和字典匹配，使得本識別設備還具有一定的 拼寫檢查和糾錯功能。最後，本發明實施例的方法和設備識別的字符序列可以為英文單詞、日語假名組 合、漢字組成的句子、韓文組合等等。進行手寫識別判斷的時機可以任意指定，既可以在用 戶輸入字符序列的同時不斷刷新識別結果，也可以在用戶全部輸入完字符序列後一次性進 行手寫識別。


從下面結合附圖的詳細描述中，本發明的上述特徵和優點將更明顯，其中圖1示出了根據現有技術的基於『無筆畫』特徵進行字符識別的方法；圖2示出了根據現有技術的基於『無筆畫』特徵進行字符識別時出現的問題的例 子；圖3示出了根據本發明實施例的手寫識別設備的結構示意圖；圖4示出了根據本發明實施例的手寫識別設備的訓練過程的流程圖；圖5A、5B、5C和5D示出了根據本發明實施例的手寫識別設備中筆畫組合及其「子 筆畫組合」的示意圖；圖6A、6B、6C和6D示出了根據本發明實施例的手寫識別設備中筆畫組合的空間幾 何特徵的含義的示意圖；圖7是根據本發明實施例的同一字符的不同寫法的一個示意圖；圖8是根據本發明實施例的同一字符的不同寫法的另一示意圖；圖9A、9B和9C是根據本發明實施例的描述多模板訓練和多模板匹配的示意圖；圖10示出了根據本發明實施例的邏輯回歸模型的函數曲線；圖11示出了根據本發明實施例的手寫識別過程的流程圖；圖12A、12B、12C示出了根據本發明實施例的以不同切分路徑進行切分的示意圖；圖13A、13B、13C和13D示出了根據本發明實施例的手寫識別設備的手寫輸入識別 結果的示意圖；圖14示出了根據本發明實施例的手寫識別方法在電子詞典上的應用；圖15示出了向用戶提供識別結果的至少一部分的候選項供用戶選擇和糾正的示 意圖；以及圖16A和圖16B示出了根據本發明實施例的手寫識別方法在筆記本電腦和手機上 的應用。
具體實施例方式下面，參考附圖詳細說明本發明的優選實施方式。在附圖中，雖然示於不同的附圖 中，但相同的附圖標記用於表示相同的或相似的組件。為了清楚和簡明，包含在這裡的已知 的功能和結構的詳細描述將被省略，否則它們將使本發明的主題不清楚。圖3示出了根據本發明實施例的手寫識別設備的結構示意圖。如圖3所示，根據本發明實施例的手寫識別設備用於對用戶連續輸入的無框(writing-box-free)的多個字符進行識別，它包括手寫輸入單元110，用於採集用戶的筆 跡，並且對其數位化，作為輸入筆跡信號；手寫筆跡存儲單元120，用於存儲手寫輸入單元 110產生的輸入筆跡信號；字符序列識別單元130，用於識別所輸入的字符序列，該字符序 列識別單元130包括三個子單元切分單元132、單字識別單元131和後處理單元133。由於採用無框輸入，用戶可以連續輸入包含較多字符的一句話(或英文單詞)，或 者在用戶輸入過程中即時顯示識別結果，或者在用戶輸入該句話後，再給出識別結果，提高 用戶的手寫輸入效率。對於傳統的需要用戶將字符寫在手寫框(writing-box)中的輸入方 法，手寫字符之間的停頓常常會打斷用戶的思路從而影響輸入速度，而要求每個字符都寫 在規定的手寫框中(例如目前手機上常用的兩框輸入法，要求用戶在兩個手寫框之間來 回切換)也改變了用戶的書寫習慣，降低了手寫輸入效率。本發明實施例的方法和設備允 許用戶實現連續輸入，即時輸出或者整體輸出識別結果，無需改變書寫習慣。切分單元132從輸入筆跡信號中提取輸入字符序列的各個筆畫組合的各種空間 幾何特徵，同時切分單元132調用單字識別單元131，得到各個筆畫組合的單字識別結果及 其單字識別正確度，再通過邏輯回歸模型來計算「切分可信度」，然後利用N-best算法得到 最佳的N種切分方式，如後面詳細說明。後處理單元133採用語言模型和字典資料庫匹配，對切分單元132得到的字符系 列識別結果進行校正。如圖3所示，根據本發明實施例的手寫識別設備還包括顯示控制單元150，在用戶 通過手寫輸入單元110輸入筆畫的同時，它一方面控制系統顯示筆跡，通過顯示屏呈現給 用戶，另一方面，在顯示屏上顯示識別單元130所產生的識別候選項，供用戶選擇；以及候 選項選擇單元140，它在用戶的操作下從候選項中選擇要輸入的字符序列或者單個字符，然 後把識別結果顯示給用戶或者提供給其他應用，例如與字典中詞條進行匹配，以便找出相 應的釋義等。根據本發明的實施例，字符序列識別單元131中採用的邏輯回歸模型的截斷 (intercept)和各項回歸係數(Regression Coefficients)是通過對已有樣本的訓練來估 計得到的。圖4示出了根據本發明實施例的手寫識別設備的訓練過程的流程圖。根據本發明的實施例，樣本訓練中的樣本既包括各個字符的單字樣本，也包括各 個字符包含的每個筆畫樣本，以及字符內若干筆畫的組合，或是不同字符部分筆畫的組合， 這些統稱為筆畫組合類。如圖4所示，在步驟S10，採集用戶的代表手寫字符序列的手寫軌跡數據。在步驟 S11，加入相應的筆畫組合類。然後在步驟S12和S13進行預處理並計算筆畫組合特徵。樣本訓練中計算的特徵即為邏輯回歸模型中的m維特徵(Xl，x2, ... , xM)，筆畫組 合的特徵包括「子筆畫組合」的外接矩形框間隔；「子筆畫組合」進行合併後的寬度；「子筆 畫組合」之間的向量和距離；合併後的單字識別正確度；合併後的識別正確度與「子筆畫組 合」的識別正確度之差；合併後單字識別的第一選擇正確度與合併後單字識別的其他候選 字正確度的比值，等等。在步驟S13進行特徵計算之前，要在步驟S12進行「預處理」，根據字符序列的高度 和寬度，估計字符平均高度Hare和字符平均寬度Ware，為筆畫組合的空間幾何特徵進行規整化做準備，使本發明實施例的手寫識別設備可以適應用戶輸入的任意大小的字符序列。下面以字符序列中的第k筆畫至第k+3筆畫的切分為例，解釋本發明實施例中「子 筆畫組合」(以下簡稱為「子筆畫」)的概念。由第k筆畫開始，可能的切分方式有如下四 種，如圖5A、5B、5C和5D所示1)對於一筆畫組合，它只包括第k筆畫，所以無子筆畫。2)對於二筆畫組合，它包括第k和k+Ι兩個子筆畫。3)對於三筆畫組合，它有兩種子筆畫分類方式 方式一上一子筆畫為第k筆畫，下一子筆畫為k+Ι和k+2的筆畫組合； 方式二上一子筆畫為k和k+Ι的筆畫組合，下一子筆畫為第k+2筆畫。4)對於四筆畫組合，它有三種子筆畫分類方式 方式一上一子筆畫為第k筆畫，下一子筆畫為k+l、k+2和k+3的三筆畫組合； 方式二 上一子筆畫為k和k+Ι的筆畫組合，下一子筆畫為k+2和k+3的筆畫組 合； 方式二 上一子筆畫為k、k+l和k+2的三筆畫組合，下一子筆畫為第k+3筆畫。可見，根據本發明的實施例，「子筆畫組合」可以是某個「筆畫組合」中包含的筆畫 按照順序劃分成的不同組合。例如，書寫順序為「k，k+l，k+2」的筆畫組合，與其相關的「子 筆畫組合」可以是從筆畫「k」和「k+Ι 」之間進行劃分產生的第一類組合，也可以是從筆畫 「k+Ι」和「k+2」之間進行劃分產生的第二類組合，如圖5C所示。本發明實施例的設備中，對字符序列中的所有可能的筆畫組合，計算筆畫組合的 各種特徵，包括其單字識別正確度特徵和子筆畫組合的空間幾何特徵。各種具體特徵如 下(a)子筆畫合併後的單字識別正確度CmCTge 該正確度越大，合併後為一個單字的 可能性越大；(b)合併識別正確度CmCTge與兩個子筆畫的單字識別正確度Cstel、Cstr2的差 (2*Cfflerge-Cstrl-Cstrl)。如果該值大於0，表示兩筆合併為單字的可能性比兩個子筆畫分別為 一個單字的可能性更大，且這個差值越大，合併為單字的可能性越大；(c)合併後單字識別的第一選擇正確度(即CmCTge)與合併後單字識別的其他候選 字正確度cmCTgeT的比值(T表示第T候選字，T值可設定)如果這個比值比較大，表示合併 後的筆畫組合與其單字識別的第一選擇字的匹配距離很近，而與其他候選字的匹配距離較 遠，即表明合併後為單字的可能性較大；(d)兩個子筆畫的外接矩形框間隔gap/Wavg(或gap/Havg):子筆畫之間的間隔越 小，合併後為單字的可能性越大，如果間隔為負，合併後為單字的可能性就更大；(e)子筆畫合併後的寬度wmCTgywavg(或WmCTgyHavg)合併後的寬度越小，合併為單 字的可能性越大；(f)上一子筆畫結束點與下一子筆畫起始點之間的向量Vs2_el/Wavg(或Vs2_el/Havg)；(g)上一子筆畫結束點與下一子筆畫起始點之間的距離ds2_el/Wavg(或ds2_el/Havg)；(h)上一子筆畫起始點與下一子筆畫起始點之間的距離ds2_sl/Wavg(或ds2_sl/Havg)。以上特徵中，「/」為除法符號，Wavg和Havg為「預處理」中估計出的字符平均寬度和 字符平均高度。第(d) (h)這些空間幾何特徵參考圖6A D的圖示，圖中的圓點表示每
8一筆畫的起始點。對於上述特徵(a)、(b)、(c)，通過在步驟S14調用「單字識別單元」來得到子筆 畫合併後的單字識別正確度cmCTge及其他候選字正確度cmCTgeT，兩個子筆畫的單字識別正確 & Cstrl 禾口 Cstr2。本發明實施例的「單字識別單元」採用模板匹配的方法來進行單字識別，單字識別 的正確度由模板匹配的距離來度量，距離越小，正確度越大。單字識別的樣本訓練中，採用 機器學習算法(例如GLVQ)生成特徵模板；其單字特徵向量包括「筆畫方向分布特徵」、 「網格筆畫特徵」和「周邊方向特徵」;特徵提取前，要進行預處理，包括「等距平滑」、「質心歸 一化」和「非線性歸一化」等操作，以便使得該樣本的特徵變得規整；模板匹配時，採用「分 段式快速匹配」方法，逐級濾除候選項，提高匹配速度。單字識別的上述方法在中國專利申 請公開CN101354749A披露，該專利申請公開被整體引入本申請作為參考。在實際的書寫過程中，不同的用戶對於同一個字符常常有不同的寫法。例如英文 字母「A」可能有如下多種寫法，如圖7所示。再如，日文漢字「機」可能有如下三種寫法(後兩種是簡略寫法)，如圖8所示。因此，為了提高手寫識別的魯棒性，本發明實施例的設備中採用「多模板訓練」的 方法對同一個字符的不同寫法進行單獨訓練，這樣就可以採用「多模板匹配」的方法來識別 多種不同寫法的字符。為了進行「多模板訓練」，首先對採集到的樣本根據它們的不同寫法 進行分類。例如對於上述提到的「機」字，本發明實施例在樣本訓練時採用如圖9A、9B和 9C所示的三種形式的樣本構成多模板訓練。如圖4所示，在步驟S15，計算邏輯回歸模型的係數。對字符系列進行正確的切分， 是實現多字符無框連續輸入的手寫識別的關鍵。本發明實施例的設備和方法根據輸入字符 序列的各種特徵，計算輸入字符序列的各種切分方式中的各個筆畫組合的切分可信度。本 發明實施例的切分可信度公式採用邏輯回歸模型(Logistic Regression Mode)，邏輯回歸 模型為/(F) = -^r…… ⑴
l + e上述邏輯回歸模型的函數曲線如圖10所示，當Y在-C + c 變化時，f (Y)的值 為0 1，即切分可信度為0% 100%，且當Y = 0時，f⑴=0. 5，切分可信度為50%。在上述邏輯回歸模型中Y = g (X) = β 0+ β β 2χ2+. · · + β mxm ......(2)其中，X = (Xl, χ2, ... , xm)是邏輯回歸模型的危險因子(risk factor)，在本發 明實施例的設備和方法中計算切分可信度時，X= (X1, X2, ...，Xm)表現為筆畫組合的m 維特徵。(β。，β2，...，βω)是邏輯回歸模型的截斷(interc印t)和各項回歸係數 (Regression Coefficients)。在計算出字符序列中的所有可能的筆畫組合的m維特徵後，本發明實施例的設備 和方法採用最大似然估計方法(也可以用最小二乘估計等其他參數估計方法)來估計切分 可信度的邏輯回歸模型中的截斷β。和各項回歸係數β2，...，βω)。假設有η個筆畫組合樣本，觀測值分別為(Y1, Y2,...，Yn)。對於第i個筆畫組合， m維特徵Xi= (xn，xi2，...，xim)，觀測值為Y」 η個回歸關係可以寫成 在樣本訓練時，對於給定的第i個筆畫組合，如果該筆畫組合可信令乂=/伏)=^^41，至少 MYi) >0.5即1>0 ......(4) 若該筆畫組合不可信(即該種組合方式不正確):令 把
代入邏輯回歸模型公式 _5] /(O = J^ZF = J7^po =^(X)……⑷設Pi = P (f, = 11 Xi)為& = 1的概率，則& = 0的條件概率為P憂=0 I Xi)= I-PiO於是，得到一個觀測值的概率為:P(Jd = p/『(}-pf-f·、因為各項觀測獨立，所以它們的聯合分布可以表示為各邊際分布的乘積 上式稱為η個觀測的似然函數。我們的目標是能夠求出使這一似然函數值最大的 參數估計。於是，最大似然估計的關鍵就是求出參數(β ο，β2，...，β m)，使上式取得 最大值。對上述似然函數求對數，得到對數似然函數，再對此對數似然函數求導，得到m+1 個似然方程。應用牛頓-拉斐森(Newton-Raphson)方法迭代求解m+1個似然方程，可以得 到邏輯回歸模型中的各項係數(βο， ^，β2，...，β m)，這些係數存儲在該設備中，供識別 過程中使用。根據本發明的另一實施例，也可通過正態分布模型來計算輸入字符序列的各種切 分方式的切分可信度。圖11示出了根據本發明實施例的手寫識別方法的流程圖。如圖11所述，在步驟 S20，用戶進行手寫輸入，通過手寫輸入單元110採集字符序列的筆畫。然後，在步驟S21，將 採集的手寫筆跡在存儲單元120中存儲，並且在步驟S22由顯示控制單元150顯示在用戶 界面上。然後，字符序列識別單元130對存儲在手寫筆跡存儲單元中的筆畫進行在步驟 S23、S24、S25、S26、S27和S28所示的「預處理」、「計算筆畫組合的特徵」、「單字識別」、「計 算切分可信度」、「選取切分最優路徑」和「識別後處理」的操作。具體而言，步驟S23、S24和S25的執行過程與上述樣本訓練估計邏輯回歸模型系 數的方法中的相應各個步驟的操作類似。在步驟S23，進行「預處理」，根據字符序列的高度 和寬度，估計字符平均高度Havg和字符平均寬度Wavg，為筆畫組合的空間幾何特徵進行規整 化做準備，使本發明實施例的手寫識別設備可以適應用戶輸入的任意大小的字符序列。在步驟S24，對字符序列中的所有可能的筆畫組合，計算筆畫組合的各種特徵，包 括其單字識別正確度特徵和子筆畫組合的空間幾何特徵。在步驟S25，調用「單字識別單元」來得到子筆畫合併後的單字識別正確度CmCTge
10
及其他候選字正確度CmCTgeT，兩個子筆畫的單字識別正確度Cstel和Cste2在步驟S26，本發明實施例的方法根據輸入字符序列的各種特徵(X= (X15X2,...， Xffl))和樣本訓練得到的各項係數( ^，β2，...，β m)，禾Ij用公式⑴和公式(2)，採用邏 輯回歸模型，來計算輸入字符序列的各種切分方式中的各個筆畫組合的切分可信度f (Y)。在步驟S27，本發明實施例的方法採用N-Best方法計算最可能的N種切分路徑。定 義每個筆畫的起始點為一個基元節點，基元或基元組合構成的路徑即為對應的筆畫組合， 每個部分路徑的代價函數為C(Y) = 1-f (Y)，也就是說，切分可信度越高，部分路徑的代價 函數值越小。N-best方法就是要選取最佳的N種路徑，使所經過的所有路徑的代價函數的 數值之和最小、第二小......第N小。N-Best方法可以用多種方式實現，例如，把動態規劃(DP)方法與堆棧(Stack)算 法相結合來產生多個候選項，等等。本發明實施例中，N-Best方法包括兩個步驟前向搜 索過程採用一種改進的維特比(Viterbi)算法(維特比算法就是一種用於查找最可能的 隱含狀態序列的動態規劃方法)，用來記錄轉移到每個基元節點的最優N個部分路徑的狀 態(即為所經過路徑的代價函數值之和)；第k個基元節點的狀態只和第k-Ι個基元結點 的狀態有關；後向搜索過程採用一種基於A*算法的堆棧算法，對每一個節點k，它的啟發函 數(heuristic function)為下列兩個函數的和一是「路徑代價函數」，表示從起始點到第 k節點的最短路徑的代價函數值之和，二是「啟發估計函數」，表示從第k節點到目標節點的 路徑代價的估計。在後向搜索過程中，堆棧中的路徑得分是計算的全路徑得分，且最優的路 徑總是位於棧頂，所以，該算法是一種全局最優算法。假設用戶輸入的是圖6A所示的手寫字符序列「defne」，圖12A示出了本發明實 施例對該手寫字符序列進行切分的結果。採用N-best方法得到的最可能的三種切分方式 依次如圖12A、圖12B和圖12C所示第一種切分方式的每個字符的第一單字識別結果為 「def ine (即為正確答案)」，第二種切分方式的一選結果為「ccef ine」，第三種切分方式的 一選結果為「deftine」。在步驟S28，本發明實施例的方法最後通過和語言字典(例如英文單詞字典)數 據庫的匹配，或者使用語言模型(例如二元模型bigram)對識別結果進行後處理，糾正錯 誤(例如英文單詞的拼寫錯誤)。在步驟S29，顯示控制單元150控制顯示屏向用戶呈現手寫輸入的識別結果及相 關的候選項，提供給用戶在候選項選擇單元140選擇或確認(默認的識別結果是第一切分 方式的每個字符的第一單字識別結果)用戶可以從字符序列的候選切分方式中選擇正確 的切分方式；也可以在各個字符的候選項中選擇正確的字符，手動糾正其中的部分識別字 符，例如選中單個字符或詞組，對作為字符序列的一部分的該字符或詞組的候選識別結果 進行選擇。圖15示出了根據本發明實施例的提供字符序列識別結果的一部分的候選項供 用戶選擇和糾正的示意圖。在步驟S30，對用戶是否確認或選擇某個候選項進行識別。如果用戶沒有確認或選 擇，而是繼續書寫，則流程轉到步驟S20，繼續進行上述的識別過程。如果識別到了對某個候 選項的選擇，則在步驟S31，從候選項選擇識別結果，將識別結果顯示出來或提供給其他的 應用。同時，在步驟S32對手寫輸入的識別結果進行更新。由於本發明實施例的方法和設備在計算字符序列的切分可信度時，不僅僅考慮了現有技術中常用的空間幾何特徵，還充分考慮了筆畫組合合併後的單字識別正確度以及子 筆畫組合的單字識別正確度，所以對於現有技術比較難以正確切分的情況，例如不同字符 的筆畫在空間上部分重疊，或同一個字符包含的筆畫分隔較大，本發明實施例的方法和設 備都能得到正確的切分和識別結果。而且，由於本發明實施例的設備和方法在進行字符序列切分時，並不依賴於用戶 寫每一筆畫的輸入時間，所以可以適應用戶的不同輸入習慣，即使某用戶輸入字符的時間 時快時慢，也不會影響本發明實施例的方法和設備的切分正確性。另外，由於本發明實施例的方法和設備採用的筆畫組合空間幾何特徵都是根據估 計的字符平均寬(高)度進行規整化後的幾何特徵，所以該設備可以適應用戶輸入的任意 大小的字符序列。同時，由於在單字識別時採用多模板訓練和多模板匹配的方法，所以對於 不同用戶輸入的多種不同寫法的字符(例如漢字的簡略字等)，本發明實施例的方法和設 備方法都能準確識別。更進一步的，本發明實施例的方法和設備採用了語言模型和字典匹 配，使得本設備還具有拼寫檢查和糾錯功能。最後，本發明實施例的方法和設備識別的字符序列可以為英文單詞、日語假名組 合、漢字組成的句子、韓文組合等等。進行手寫識別判斷的時機可以任意指定，既可以在用 戶輸入字符序列的同時不斷刷新識別結果，也可以在用戶全部輸入完字符序列後一次性進 行手寫識別。圖13A、13B、13C和13D示出了根據本發明實施例的手寫識別設備的手寫輸入識別 結果的示意圖。由於在識別過程中不僅考慮到了筆畫組合的幾何特徵，而且考慮到了單字 識別結果的正確度，因此對於現有技術比較難以正確切分的情況，包括不同字符的筆畫在 空間上部分重疊，或者字符之間的距離小於字符內的筆畫之間的距離，或者當用戶在輸入 過程中出現字體大小不一的情況，本發明方法也能夠做出正確的識別。例如如圖13D所 示，「d」和「e」、「f」和「i」的筆畫在空間上部分重疊；如圖13A和圖13C所示，「CH 」和「入l·」 之間的間隔小於「人l·」內部筆畫之間的距離，「日」和「本」之間的間隔也小於「語」內部筆畫 之間的距離；如圖13B和圖13D所示，「辦H々H 」和「define」各個字符的字體大小是 不等的。以上這些情況，本發明實施例的方法都能正確識別。圖14示出了根據本發明實施例的電子詞典。如圖14所示，對用戶輸入的一連串 英文字符進行識別，然後將識別結果顯示出來。通過調用詞典中的與該識別的英文字符串 相關的條目，向用戶展現手寫輸入的英文的日文釋義。如圖15所示，一旦用戶選中了識別 結果中的某單個字符，則向用戶提供該字符的候選識別結果，供用戶對其進行糾正。換言 之，用戶可以選擇字符序列識別結果中的一個或者更多個字符，一旦系統確定用戶進行了 選擇，就顯示出與該選擇的單個或者多個字符相關的候選項，供用戶選擇。可見，根據本發明的上述實施例允許用戶對整個字符序列的識別結果進行整體糾 正，也允許用戶對識別結果中的任何一部分進行糾正。根據本發明的另一實施例，顯示區域和手寫輸入區域可以被設置在不同的平面 上，也可以設置在相同的平面上，如圖16A和16B所示。例如，針對筆記本電腦，可以在鍵盤 所在的平面上設置手寫區域。如上所述，本發明的方法和設備可以應用於或者包含在各種能採用手寫作為輸入 或控制方式的信息終端產品，包括個人電腦，手提電腦，PDA,電子辭典，複合機，手機以及大型觸控螢幕的手寫設備等。說明書和附圖僅示出了本發明的原理。因此應該意識到，本領域技術人員能夠建 議不同的結構，雖然這些不同的結構未在此處明確描述或示出，但體現了本發明的原理並 包括在其精神和範圍之內。此外，所有此處提到的示例明確地主要只用於教學目的以幫助 讀者理解本發明的原理以及發明人所貢獻的促進本領域的構思，並應被解釋為不是對這些 特定提到的示例和條件的限制。此外，此處所有提到本發明的原則、方面和實施方式的陳述 及其特定的示例包含其等同物在內。上面的描述僅用於實現本發明的實施方式，本領域的技術人員應該理解，在不脫 離本發明的範圍的任何修改或局部替換，均應該屬於本發明的權利要求來限定的範圍，因 此，本發明的保護範圍應該以權利要求書的保護範圍為準。
權利要求
一種手寫識別方法，用於對用戶連續輸入的字符序列進行識別，該方法包括步驟基於不同筆畫組合和對其所包含的筆畫進行劃分形成的「子筆畫組合」的單字識別結果，計算與輸入字符序列的不同筆畫組合的單字識別正確度相關的特徵；根據對不同筆畫組合所包含的筆畫進行劃分形成的「子筆畫組合」的空間幾何關係來確定不同筆畫組合的空間幾何特徵；基於與單字識別正確度相關的特徵和空間幾何特徵，確定對輸入字符序列的不同切分方式下各個筆畫組合的切分可信度；基於所述切分可信度確定切分路徑；以及向用戶呈現與確定的切分路徑相關的字符序列識別結果。
2.如權利要求1所述的手寫識別方法，其中在得到所述單字識別結果時，採用多模板 匹配方法來識別不同寫法的字符。
3.如權利要求1所述的手寫識別方法，還包括步驟利用字典資料庫或者語言模型對 字符序列識別結果進行處理。
4.如權利要求1所述的手寫識別方法，其中所述的與單字識別正確度相關的特徵包括 以下之一「子筆畫組合」合併後的單字識別正確度，「子筆畫組合」合併後的單字識別正確 度與「子筆畫組合」的單字識別正確度之差，「子筆畫組合」合併後單字識別的第一選擇正確 度與合併後單字識別的其他候選字正確度的比值；其中所述的筆畫組合的空間幾何特徵包括以下之一「子筆畫組合」的外接矩形框的間 隔，「子筆畫組合」進行合併後的寬度，上一 「子筆畫組合」結束點與下一「子筆畫組合」起 始點之間的向量，上一「子筆畫組合」結束點與下一「子筆畫組合」起始點之間的距離，上一 「子筆畫組合」起始點與下一「子筆畫組合」起始點之間的距離。
5.如權利要求1所述的手寫識別方法，其中確定切分可信度的步驟包括通過邏輯回 歸模型來計算輸入字符序列的各種切分方式中的各個筆畫組合的切分可信度。
6.如權利要求5所述的手寫識別方法，其中邏輯回歸模型中的危險因子是上述各種筆 畫組合特徵。
7.如權利要求5所述的手寫識別方法，其中邏輯回歸模型中的截斷和各項回歸係數， 是通過對已有樣本的訓練來估計的。
8.如權利要求1所述的手寫識別方法，其中確定切分可信度的步驟包括根據輸入字符序列的特徵，通過正態分布模型來計算輸入字符序列的各種切分方式的 切分可信度。
9.如權利要求1所述的手寫識別方法，其中基於所述切分可信度確定切分路徑的步驟 包括採用N-best方法或者動態規劃法(DP)計算切分路徑。
10.如權利要求1所述的手寫識別方法，其中所述呈現步驟包括向用戶提供字符序列 識別結果及針對該字符序列識別結果的至少一部分的候選項。
11.如權利要求10所述的手寫識別方法，其中響應於用戶對候選切分方式的選擇，向 用戶呈現與選擇的切分方式相關的字符序列識別結果。
12.如權利要求10所述的手寫識別方法，其中響應於用戶對單個字符的選擇，向用戶 呈現與選擇的字符相關的字符序列識別結果。
13.一種手寫識別設備，用於對用戶連續輸入的字符序列進行識別，該設備包括手寫輸入單元，採集用戶連續輸入的字符序列；單字識別單元，對字符序列中的不同筆畫組合進行識別，得到單字識別結果；切分單元，基於不同筆畫組合和對其所包含的筆畫進行劃分形成的「子筆畫組合」的單 字識別結果，計算與輸入字符序列的不同筆畫組合的單字識別正確度相關的特徵，並根據 對其「子筆畫組合」的空間幾何關係確定不同筆畫組合的空間幾何特徵；根據與單字識別正 確度相關的特徵和空間幾何特徵，確定對輸入的字符序列的不同切分方式下各個筆畫組合 的切分可信度；基於所述切分可信度確定切分路徑；以及顯示控制單元，控制顯示屏向用戶呈現與確定的切分路徑相關的字符序列識別結果。
14.如權利要求13所述的手寫識別設備，其中所述單字識別單元採用多模板匹配方法 來識別不同寫法的字符。
15.如權利要求13所述的手寫識別設備，還包括後處理單元，利用字典資料庫或者語 言模型對字符序列識別結果進行處理。
16.如權利要求13所述的手寫識別設備，其中所述的「與單字識別正確度相關的特徵」 包括以下之一「子筆畫組合」合併後的單字識別正確度，「子筆畫組合」合併後的單字識別 正確度與「子筆畫組合」的單字識別正確度之差，「子筆畫組合」合併後單字識別的第一選擇 正確度與合併後單字識別的其他候選字正確度的比值；其中所述的筆畫組合的空間幾何特徵包括以下之一「子筆畫組合」的外接矩形框的間 隔，「子筆畫組合」進行合併後的寬度，上一 「子筆畫組合」結束點與下一「子筆畫組合」起 始點之間的向量，上一「子筆畫組合」結束點與下一「子筆畫組合」起始點之間的距離，上一 「子筆畫組合」起始點與下一「子筆畫組合」起始點之間的距離。
17.如權利要求13所述的手寫識別設備，其中切分單元通過邏輯回歸模型來計算輸入 字符序列的各種切分方式中的各個筆畫組合的切分可信度。
18.如權利要求13所述的手寫識別設備，其中切分單元根據輸入字符序列的特徵，通 過正態分布模型來計算輸入字符序列的各種切分方式的切分可信度。
19.如權利要求13所述的手寫識別設備，其中所述切分單元採用N-best方法或者動態 規劃法(DP)計算切分路徑。
20.如權利要求13所述的手寫識別設備，其中所述顯示控制單元還控制顯示屏向用戶 提供字符序列識別結果及針對該字符序列識別結果的至少一部分的候選項。
21.如權利要求20所述的手寫識別設備，其中所述顯示控制單元響應於用戶對候選切 分方式的選擇，控制顯示屏向用戶呈現與選擇的切分方式相關的字符序列 識別結果。
22.如權利要求20所述的手寫識別設備，其中所述顯示控制單元響應於用戶對單個字 符的選擇，控制顯示屏向用戶呈現與選擇的字符相關的字符序列識別結果。
全文摘要
本發明公開了一種手寫識別方法和設備，能夠對用戶連續手寫輸入的字符序列進行識別，為用戶提供方便。該方法包括以下步驟計算輸入字符序列的各種特徵，包括它的各種筆畫組合的單字識別正確度特徵和空間幾何特徵；採用概率模型，來計算各種切分方式中的各個筆畫組合的切分可信度，概率模型中的各項係數，通過對已有樣本的訓練，採用參數估計方法來估計；在進行筆畫組合的單字識別時，採用多模板匹配的方法來識別多種不同寫法的字符；搜索出最佳的切分路徑；進行後處理，對識別結果進行優化。本發明的方法和設備具有結構簡單、硬體要求低、識別速度快，識別率高等優點，可在嵌入式系統等上實現。
文檔編號G06K9/72GK101930545SQ200910146369
公開日2010年12月29日 申請日期2009年6月24日 優先權日2009年6月24日
發明者吳亞棟, 吳波, 李愛龍, 江淑紅, 繆煒 申請人:夏普株式會社