一種聯機手寫句子實時識別方法

2023-06-08 23:37:21

專利名稱：一種聯機手寫句子實時識別方法
技術領域：
本發明屬於計算機應用技術和模式識別領域，具體的說，涉及聯機手寫字符識別 技術和手寫中文輸入方法。
背景技術：
近幾年來，隨著筆式電腦、PDA和手機等移動終端設備的出現和越來越多地得到應 用，聯機手寫字符輸入方法得到越來越多的關注。聯機手寫輸入，就是在書寫過程中用一個 電子板或電子筆採集文字的筆劃軌跡(又稱數字墨水)，然後對軌跡進行識別，將識別結果 作為文本利用或保存起來。與常見的屏幕與鍵盤的輸入方式相比，筆輸入技術使用戶不必 切換輸入設備、輸入模式或輸入軟體，僅僅用一支筆就可以實現輸入，與傳統的紙和筆的輸 入方式更接近。手寫輸入方式對不會使用輸入法的人和不習慣使用鍵盤的人(比如老人)， 以及沒有鍵盤或鍵盤很小的情況(如手持式移動終端)提供了一種更方便有效的途徑。聯機手寫輸入的核心是聯機手寫字符識別，字符識別準確率和速度直接決定了書 寫的速度和效率。當前常用的方式是單個字的輸入，即輸入一個字，給出結束標誌(提筆等 待時間超過一定時間或者點擊按鈕)，然後識別給出候選識別結果供用戶選擇，這使得輸入 速度受到了很大的限制。手寫板、筆式電腦和大屏幕移動終端允許連續書寫多個字符，但是 系統常常是在所有的筆劃寫完後才開始識別，這也使得識別速度受到限制，同時，現在的多 字符識別技術切分錯誤較多、識別精度較低，影響了手寫輸入的效率。手寫字符串(句子)識別是對一行字符或者一句話進行識別的，手寫句子識別在 集成切分識別的框架下，可以有效融合字符識別器輸出、語言模型和幾何上下文信息，能提 高字符切分和識別的準確率。在聯機手寫中文句子實時識別方面，即在句子書寫過程當中， 系統對句子中已書寫的部分字符進行自動識別，並在句子書寫完成之後實時地給出整句識 別結果，這方面的技術還沒有相關文獻或者專利的報導。

發明內容
為了解決現有技術的問題，本發明的目的是提供一種聯機手寫句子實時識別方 法，該方法是基於聯機手寫字符串(句子)識別，在書寫過程當中對已書寫的部分字符進行 自動識別，並在句子書寫完成之後實時地給出整句識別結果，解決了快速手寫中文輸入的 問題。同時，本發明的聯機手寫句子識別方法，融合了字符識別置信度、幾何特徵和語言模 型，能提高手寫字符識別的精度；而基於與候選字符模式個數無關的路徑評價準則，使得利 用動態規划算法能快速搜索最優切分識別路徑得到識別結果；該方法的基本特徵，還包括 利用統計語言模型和詞典進行詞語聯想，提高輸入速度；允許用戶對識別結果進行部分編 輯修改。為達成所述目的，本發明提供一種聯機手寫句子實時識別方法，是採用手寫句子 實時識別、人工編輯修改和語言聯想相結合的方法，該方法主要有以下幾個模塊實時識 別、字符串識別(句子識別)、編輯修改和語言聯想，該識別方法的步驟包括
步驟Sl 輸入開始模塊啟動筆劃輸入，筆尖接觸輸入平面表明輸入開始；步驟S2 筆劃採集模塊記錄筆尖在輸入平面上移動的筆劃軌跡；所述筆劃軌跡用 Xn, yn點坐標序列表示(Xl，Y1)，(x2,12),..., (χη, yn)，其中η是筆劃軌跡的採樣點數；步驟S3 實時識別模塊對提筆後得到的筆劃軌跡進行處理，生成候選字符模式並 對每一個候選字符模式進行識別給出候選字符類別，將生成的候選字符模式及其候選字符 類別保存在候選切分識別網格；步驟S4 提筆時間判斷模塊計算提筆時間是否夠長，如果提筆時間夠長表明提筆 可能是一個字符的結束，執行步驟S5 ；如果提筆時間不夠長，表明提筆只是一個筆劃的結 束，執行步驟S2，繼續採集下一個筆劃並進行實時識別；步驟S5 啟動字符串識別模塊，字符串識別模塊根據路徑評價準則計算候選切分 識別網格中各切分識別路徑的分數，並用動態規划算法搜索分數最優的路徑得到字符串識 別結果；字符串識別結果包括字符切分結果和字符識別結果；步驟S6 編輯修改模塊對字符串識別結果進行編輯修改，對錯誤的字符切分和字 符識別部分通過用戶操作進行編輯修改。步驟S7 語言聯想模塊在字符串識別和編輯修改的基礎上，根據最後的字符類 另IJ，通過語言聯想給出後續的字或詞供用戶選擇，以提高句子輸入速度。步驟S8 繼續輸入判斷模塊用於在聯想結束後判斷是否繼續輸入，如果繼續在輸 入平面上書寫，則回到步驟S2採集下一個筆劃；否則，結束輸入。其中，所述實時識別模塊包括以下步驟步驟S201 提筆表明一個筆劃書寫結束，得到筆劃軌跡或稱為點序列；步驟S202 在筆劃軌跡中筆劃彎折點或可能的連筆處斷開筆劃，得到筆劃段；步驟S203 判斷一個筆劃段是否一個新的筆劃塊的開始，判斷的條件是該筆劃段 與前面已經形成的筆劃塊相比是否有足夠的水平位移；步驟S204 ；如果一個筆劃段是一個新的筆劃塊的開始，將該筆劃段作為一個新的 筆劃塊；步驟S205 否則，將該筆劃段合併到前面與之重疊度最大的筆劃塊；步驟S206 順序判斷每一個筆劃段直至所有的筆劃段處理完畢，所述每一個筆劃 段構成新的筆劃塊或與前面的筆劃塊合併；步驟S207 在所有筆劃段處理完畢形成筆劃塊後，將每一個新生成的或者合併後 的筆劃塊當作候選字符模式，或者將該筆劃塊與前面相鄰的筆劃塊合併構成候選字符模 式；對於新生成的候選字符模式，用字符識別器對其進行識別，給出置信度最高或匹配距離 最小的一個或多個字符類別作為候選識別結果，將新生成的候選字符模式及其候選類別存 入候選切分識別網格。其中，所述筆劃塊是在水平方向上重疊度較大的一個或多個筆劃、一個或多個筆 劃段構成的集合。其中，所述斷開筆劃的步驟如下步驟S2021 通過計算筆劃軌跡上每一點的彎折角度，判斷彎折點，在彎折點處將 筆劃斷開；步驟S2022 設彎折角度為筆劃軌跡上一點(Xi, Yi)與之前一點(xik，yik)連線和與之後一點(Xi+k，yi+k)連線的夾角；步驟S2023 對彎折角度進行判斷，若該角度在30度到150度之間而且大於(xn， yn)和(xi+1，yi+1)的角度，則認為該點是一個可能的連筆處，則將筆劃在可能的連筆處的該 點處斷開；斷開連筆的目的是將相鄰字符之間的連筆斷開，得到一個或多個筆劃段，表示為 其中，判斷新的筆劃塊的條件是根據筆劃段與前面已經形成的筆劃塊相比是否 有足夠的水平位移進行判斷，如果該筆劃段與前面某個筆劃塊的水平重疊度大於0. 4或筆 劃段與筆劃塊中的某個筆劃相互交叉且水平重疊度大於0. 2，則斷定該筆劃段不是一個新 的筆劃塊的開始；如果該筆劃段與前面所有筆劃塊的水平重疊度小於0. 2或在沒有交叉的 情況下水平重疊度小於0. 4，則斷定該筆劃段是一個新的筆劃塊的開始；所述水平重疊度 的計算方式如下設筆劃段外框和筆劃塊外框的寬度分別為W1和w2，外框區域重疊部分寬
K
度為w。，則S疊度i十算為min(Wi,W2)。其中，所述候選字符模式生成的條件是(1)合併的筆劃塊個數最多不超過8個，也就是一個候選字符模式由1到8個筆劃 塊組成；(2)候選字符模式的寬度不超過估計的字符高度的2. 5倍。其中，用於候選字符模式識別的字符識別器採用具有存儲量小、計算速度快、排斥 非字符模式特點的最近原型分類器；在經過字符模式歸一化、特徵提取將字符模式表示為 一個特徵矢量後，計算該特徵矢量與預先訓練得到的字符集中每個字符類別的原型矢量之 間的匹配距離，距離最小的類別以及距離與最小距離之差小於一個閾值的類別作為候選字 符模式的候選類別。其中，所述路徑評價準則融合了字符識別置信度、幾何特徵和語言模型，並對字符 識別置信度和幾何特徵分數用候選字符模式的筆劃塊個數進行加權，這樣就克服路徑長度 的影響，從而能用動態規划算法搜索得到最優識別結果，或用集束搜索(Beam Search)算法 搜索得到多個最優識別結果，所述路徑長度是路徑上候選字符模式的個數。其中，編輯修改模塊使得用戶在書寫過程中，當字符串識別給出字符切分和字符 識別結果後，能及時對切分和識別結果進行修改校正對於字符切分的合併錯誤，用筆在合 並的地方畫一豎線將兩字分開；對於分裂錯誤，用筆將分裂後的兩字圈起來將他們合併成 一個字；切分錯誤修正後，系統自動地重新對切分後的字符進行識別，從而得到新的字符串 識別結果；如果切分正確後有些字符模式有識別錯誤，則對這些字符模式個別進行修正 選擇識別錯誤的字符模式，系統給出這個字符模式的多個候選類別，用戶從中點擊選擇正 確的類別，如果候選類別中沒有正確的類別，用戶重新書寫這個字符，系統自動地重新識別 這個字符。其中，所述語言聯想模塊，其語言聯想包括字聯想和詞聯想兩種方式字聯想方式 利用2元語法(Bigram)模型根據前面一個字快速找出概率較大的幾個後續字供用戶選擇； 詞聯想建立在一個詞庫基礎上檢查句子最後一個字或幾個字是否構成一個詞的開頭，若 是則將完整的詞顯示出來供用戶選擇；字聯想得到的後續字如果構成詞的開頭，則將聯想 到的詞也顯示出來；用戶接受聯想的字/詞之後，輸入句子得到擴展，系統由此可以繼續聯想，直到聯想不被接受為止。本發明提供的聯機手寫句子實時識別方法的有益效果(1)本發明基於聯機手寫句子識別，並能實時地對手寫句子進行識別，從而提供了 一種快速手寫輸入的方法。與基於單字識別的中文輸入方式相比，連續書寫的速度更快，也 更加自然和符合人們的習慣；(2)本發明的聯機手寫句子識別方法在書寫過程中對已書寫的部分字符實時地進 行識別，並在句子書寫完成時，快速得到整句識別結果，而不是在句子書寫完成之後才開始 識別，從而充分利用了機器的計算資源；(3)本發明的聯機手寫句子識別方法，在過切分階段，將所有可能的連筆斷開，既 不影響識別又能斷開連筆，克服了連筆書寫的問題；(4)本發明的字符識別器，採用了同時具有識別率高、存儲量小、計算速度快、對非 字符模式拒絕能力強的最近原型分類器。分類器存儲量小和計算量小的優點，使本發明能 適應各種手寫輸入設備的需求；其對非字符模式的拒絕能力使其適合基於候選切分的句子 識別方法；(5)本發明的路徑評價準則有效地融合了字符識別置信度、幾何特徵和語言模型， 利用了更多的上下文信息，使識別率比單字識別率更高；用筆劃塊個數對識別分數加權使 路徑評價準則中相加總項數(語言模型除外)與切分路徑上候選字符模式個數無關，使得 可以採用動態規劃方法快速搜索得到最優路徑，這也使得句子識別速度較快，能滿足實時 識別的需求；(6)本發明的聯機手寫句子識別中文輸入方法，允許用戶對識別結果進行部分編 輯修改，提供更加方便的編輯修改功能以修正字符切分和識別錯誤，更加人性化，豐富了手 寫輸入的功能；(7)本發明的聯機手寫句子識別中文輸入方法，給出了多個候選的字符切分和識 別結果，並利用語言模型給出了語言聯想供用戶選擇，進一步提高了輸入速度；綜合說來，本發明的聯機手寫句子實時識別方法，識別精度高、速度快、佔用內存 小，提供了一種書寫速度更快、書寫更自然、更加符合人們習慣的手寫輸入方法，可以適用 於各種手寫輸入設備，比如手寫板、筆式電腦、電紙書、PDA和手機等移動終端。


圖1是本發明的系統結構框2是本發明的實時識別模塊的流程框3是一個句子的部分筆跡和實時的候選切分識別結果示例圖4是圖3的句子延長後新生成的候選字符圖5是一個句子的字符切分和識別結果(三個候選)示例
具體實施例方式為使本發明的特點和優點得到進一步的闡釋，下面結合附圖和實施方式對本發明 做進一步闡釋。本發明可在筆式電腦、PDA和移動終端等手寫輸入設備上實現。參考圖1，是本發明的系統結構框圖。本發明主要包括以下四個模塊實時識別模塊103、字符串識別模塊105、編輯修改模塊106和語言聯想模塊107。其他模塊是輔助的輸 入/輸出或控制模塊。輸入開始模塊101，用於啟動筆劃輸入下筆(筆尖接觸輸入平面)表明輸入開 始。筆劃採集模塊102，用於記錄筆尖在輸入平面上移動的筆劃軌跡。筆劃軌跡用xn， yn點坐標序列表示(Xl，yi)，(x2, y2)，...，(xn, yn)，其中n是一個筆劃的採樣點數。實時識別模塊103，用於對提筆後得到的筆劃軌跡進行實時識別。實時識別的詳細 流程見圖2，步驟包括筆劃斷開連筆成筆劃段、形成筆劃塊和候選字符模式(由一個或多個 相鄰的筆劃塊組成)、候選字符模式識別得到候選字符類別等步驟，得到更新的候選切分識 別網格。實時識別模塊只對最新筆劃構成的候選字符模式進行實時識別，並更新和保存候 選切分識別網格，前面的書寫部分不需要重新識別。候選切分識別網格如圖3的子圖303 所示。圖中每個圓角方框中的筆劃軌跡表示一個候選字符模式，候選字符模式下面的字符 表示識別後得到的候選類別(可以有多個)。從最左邊的起始節點到最右邊的終止節點有 多條路徑，每一條路徑表示一個候選切分方式，路徑上每個候選字符模式選擇一個字符類 別構成一個候選切分識別結果。由於一個候選字符模式可以有多個候選字符類別，一個候 選切分方式可以給出多個候選切分識別結果(切分識別路徑)。實時識別模塊的詳細流程 在附圖2給出，將在後面詳細說明。提筆時間判斷模塊104，計算提筆時間是否夠長，如果夠長表明提筆可能是一個 字符的結束，啟動字符串識別模塊105 ；如果提筆時間不夠長，表明提筆只是一個筆劃的結 束，回到筆劃採集模塊102，繼續採集下一個筆劃並進行實時識別。判斷等待時間是否夠長 的閾值根據需要或者根據書寫者習慣進行設置，比如如果書寫速度較快，則設置為0. 3秒， 若書寫速度較慢，則設置為0. 5秒，等等。字符串識別模塊105，用於根據路徑評價準則計算候選切分識別網格中各切分識 別路徑的分數，並用動態規划算法搜索分數最優的路徑得到字符串識別結果。字符串識別 結果包括字符切分結果和字符識別結果。字符串識別的詳細步驟如下在候選切分識別網格上，根據路徑評價準則計算各切分識別路徑的分數，用動態 規划算法搜索得到字符串識別結果。路徑評價準則融合了字符識別置信度、幾何特徵和語 言模型，並對字符識別置信度和幾何特徵分數用候選字符模式的筆劃塊個數進行加權，從 而使路徑評價準則與路徑上候選字符模式的個數無關，使得動態規划算法能搜索得到最優 切分識別結果。若想得到多個切分識別結果，則採用集束搜索(BeamSearch)算法進行搜索 得到多條最優的切分識別路徑；路徑評價準則設計如下令字符串的每一種切分方式對應一個候選字符模式序列 X = x「-xn(每個候選字符用一個特徵矢量表示)，每個候選字符模式Xi被字符識別器(分 類器)分配幾個候選類別(表示為Ci)，則C = cvcn表示一個字符串識別結果，(X，C)表 示一個候選切分識別結果(對應一條候選切分識別路徑)。語言模型用2元語法(Bi-gram) 表示fkilcvi)表示相鄰兩個字符類別的轉移概率(具體值從文本語料庫統計得到，並事 先存在系統中)，令P(Xi|Ci)表示候選字符模式Xi屬於類別。的條件概率(由字符識別器 給出)，和分別表示一元(單個候選字符模式)和二元(兩個候選字符模式之間)幾 何特徵，Pfe^lci)和P(g2i|Ci，c^)分別表示它們的幾何特徵模型分數，則候選切分識別路徑(X，C)的評價準則設計為
/(足 C)=t{v。g 階 I cM)+4[v。gP(x, I Vogng1, k,)+Vogng2, 4, 1=1其中，{、，a2, A3, x4}是四個權值，通過經驗設定首先設入2 = 1，A17入3， 入4 = 0，然後在一個字符串數據集上依次調試入i，入3，入4，每次試一個權值的不同值，使得 字符串識別精度達到最高，固定該權值後接著調試下一個。ki是構成候選字符Xi的筆劃塊 個數，用筆劃塊個數對字符識別分數和幾何特徵分數加權使得路徑評價準則中相加總項數 (語言模型除外)與切分路徑上候選字符模式個數(上式中的n)無關，使得利用動態規劃 算法能快速搜索得到最優切分識別路徑；候選字符模式的字符識別置信度由字符識別器在實時識別模塊中給出。字符識別 器為具有存儲量小、計算速度快、排斥非字符模式特點的最近原型分類器。在實時識別模塊 中，字符識別器對每一個候選字符模式進行識別並將置信度最高(或距離最小)的一個或 多個候選字符類別保存在候選切分識別網格中。候選字符模式的候選類別距離值要轉化成 概率置信度，以便與幾何特徵和語言上下文融合。距離通過sigmoid公式轉化為概率置信 度= i + ，其參數T估計為手寫字符訓練樣本集上每類的樣本到本類別距離d (x，c)的均值， I經驗性地設為2/T ；路徑評價準則中的幾何特徵的建模，採用高斯混合模型。幾何特徵包括一元幾何 特徵和二元幾何特徵。高斯混合模型的參數在手寫字符串數據集上通過最大似然估計得 到對一元幾何特徵，提取單個候選字符模式的高度、寬度、長寬比等特徵，再用期望最大化 (ExpectationMaximization, EM)算法估計得到高斯混合模型參數；對二元幾何特徵，提取 相鄰候選字符模式之間的特徵，包括中心之間的水平和垂直距離、邊框距離等特徵，然後用 期望最大化算法估計得到高斯混合模型的參數。編輯修改模塊106，用於對字符串識別結果進行編輯修改。對錯誤的字符切分和字 符識別部分，使得用戶能通過操作進行編輯修改。字符切分錯誤又分合併錯誤和分裂錯誤。 對於合併錯誤，用筆在合併的地方畫一豎線(不一定畫很準，系統可以自動調整)將兩字分 開。對於分裂錯誤，用筆將分裂後的兩字圈起來將他們合併成一個字。切分錯誤修正後，系 統自動地重新對切分後的字符進行識別，得到新的字符串識別結果。如果切分正確後有些 字符模式有識別錯誤，則對這些字符模式個別進行修正。首先，選擇識別錯誤的字符模式， 系統給出這個字符模式的多個候選類別，用戶從中點擊選擇正確的類別。如果候選類別中 沒有正確的類別，用戶重新書寫這個字符，系統自動地重新識別這個字符。語言聯想模塊107，用於在字符串識別和編輯修改的基礎上，根據最後的字符類 別，通過語言聯想給出後續的字或詞供用戶選擇，以提高句子輸入速度。聯想包括字聯想和 詞聯想兩種方式。字聯想是利用2元語法(Bi-gram)模型，根據前面一個字快速找出概率 較大的幾個後續字供用戶選擇。根據2元語法P (ci+11 Ci)，當從一個字Ci開始聯想時，系統 給出P(Ci+1|Ci)較高(比如，大於0.1)的多個字示出來供用戶選擇。比如，從「人」字聯想，得到「生、們、民、類、種、人」等字；詞聯想建立在一個詞庫基礎上。檢查句子最後一個字或幾個字是否構成一個詞的 開頭，若是則將完整的詞顯示出來供用戶選擇。字聯想得到的後續字如果構成詞的開頭，則 將聯想到的詞也顯示出來。例如，「中國」由字聯想可得到「家」、「人」等後續字，後續字由詞 聯想又得到「家庭」、「人民」、「人生」等詞。當由當前漢字(字符串識別結果的最後一個字) 可從詞典中找到聯想詞，就顯示聯想詞供用戶選擇。在找不到聯想詞的情況下，由2元語法 模型給出轉移概率最大的一個或幾個字供用戶選擇，若選擇的字又可以在詞典中找到聯想 詞，則自動切換到詞聯想方式。用戶接受聯想的字/詞之後，輸入句子得到擴展，系統由此 可以繼續聯想，直到聯想不被接受為止。繼續輸入判斷模塊108，用於在聯想結束後判斷是否繼續輸入。如果繼續在輸入平 面上書寫，則回到筆劃採集模塊102採集下一個筆劃；否則，結束輸入。參考圖2，是圖1所示的系統結構圖中實時識別模塊的詳細流程圖。實時識別模塊 對一個新採集到的筆划進行處理，並實時識別新生成的候選字符模式，更新候選切分識別 網格。實時識別模塊要用到字符的高度值。字符的高度值通過計算所有筆劃塊的平均高 度獲得，在剛開始書寫的時候，以第一個筆劃(寬度，高度)的最大值近似，在繼續書寫的過 程中，再用多個筆劃塊的平均高度來近似。實時識別模塊具體包括以下步驟步驟201，提筆表明一個筆劃書寫結束，得到筆劃軌跡或稱為點序列；步驟202，在筆劃軌跡中筆劃彎折點或可能的連筆處斷開筆劃，得到筆劃段，斷開 筆劃方法如下通過計算筆劃軌跡上每一點的彎折角度，判斷彎折點，在彎折點處將筆劃斷 開。彎折角度為筆劃軌跡上一點(Xi，yi)與之前一點(xik，yik)連線和與之後一點(xi+k，yi+k) 連線的夾角(k 一般設為3到5之間)，若該角度在30度到150度之間而且大於前一點(xn， yn)和後一點(xi+1，yi+1)的角度，則認為該點是一個可能的連筆處，將筆劃在該點斷開。斷 開連筆的目的是將相鄰字符之間的連筆斷開，雖然一個字符內的筆劃也會斷開，後面在合 並筆劃塊構成候選字符模式時會將一個字符的多個筆劃或筆劃段合併恢復成完整的字符。 一個筆劃在可能的連筆處斷開後，得到一個或多個筆劃段，表示為Sl，S2，...，sm。筆劃塊定 義為水平方向上重疊度較大的一個或多個筆劃/筆劃段構成的集合。不同的筆劃塊之間有 明顯的水平位移或重疊度較小。下面從步驟203到步驟206依次將每個筆劃段構成新的筆 劃塊或與前面的筆劃塊合併。步驟203，判斷一個筆劃段是否一個新的筆劃塊的開始。判斷的條件是該筆劃段與 前面已經形成的筆劃塊相比是否有足夠的水平位移。如果該筆劃段與前面某個筆劃塊的水 平重疊度大於0. 4或相互交叉且水平重疊度大於0. 2，則斷定該筆劃段不是一個新的筆劃 塊的開始；如果該筆劃段與前面所有筆劃塊的水平重疊度小於0. 2或在沒有交叉的情況下 水平重疊度小於0. 4，則斷定該筆劃段是一個新的筆劃塊的開始。相互交叉指筆劃段與筆劃 塊中的某個筆劃交叉。水平重疊度的計算方式如下設筆劃段外框和筆劃塊外框的寬度分
W
別為和w2，外框區域重疊部分寬度為《。，則重疊度計算為^(^y;步驟204 如果一個筆劃段是一個新的筆劃塊的開始，將該筆劃段作為一個新的
11筆劃塊；步驟205 否則，將該筆劃段合併到前面與之重疊度最大的筆劃塊。步驟206 順序判斷每一個筆劃段直至所有的筆劃段處理完畢；所述每一個筆劃 段是構成新的筆劃塊或與前面的筆劃塊合併。步驟207，在所有筆劃段處理完畢形成筆劃塊後，將每一個新生成的或者合併後的 筆劃塊當作候選字符模式，或者將該筆劃塊與前面相鄰的筆劃塊合併構成候選字符模式。 構成候選字符模式要同時滿足兩個條件(1)合併的筆劃塊個數最多不超過8個，也就是一個候選字符模式由1到8個筆劃 塊組成；(2)候選字符模式的寬度不超過前面估計的字符高度的2. 5倍。不滿足這兩個條 件的筆劃塊或筆劃塊組合被認為是非字符模式，不予識別，也不保存在候選切分識別網格 中。對於新生成的候選字符模式，用字符識別器對其進行識別，給出置信度最高(或匹配距 離最小)的一個或多個字符類別作為候選識別結果。將新生成的候選字符模式及其候選類 別存入候選切分識別網格；字符識別器的步驟包括候選字符模式歸一化、特徵提取和原型匹配。候選字符模 式通過歸一化變為標準的大小並部分地校正形變，特徵提取將模式表示為一個特徵矢量。 在原型學習得到常用字符類別(比如10000個漢字加常用的英文字母、數字、符號等)特徵 矢量原型。在識別過程中，將候選字符模式的特徵矢量與每個字符類別的原型比較，計算匹 配距離(比如歐式距離)，距離最小的類別以及距離與最小距離之差小於一個閾值的類別 作為候選字符模式的候選類別。一個候選字符模式的候選類別可能是一個或多個。關於 候選字符模式歸一化和特徵提取、原型學習、候選類別選擇，這些具體技術不是本發明的內 容，這裡不作詳細介紹，可查閱以下文獻C. -L. Liu, X. -D. Zhou, Online Japanese character recognition using trajectory-basednormalization and direction feature extraction, Proc. 10th International Workshop onFrontiers in Handwriting Recognition,La Baule,France, 2006，pp.217-222.C. -L. Liu, M. Nakagawa, Evaluation of prototype learning algorithms for nearestneighbor classifier in application to handwritten character recognition, PatternRecognition, 34(3) :601_615,2001.C. -L. Liu, M. Nakagawa, Precise candidate selection for large character setrecognition by confidence evaluation, IEEE Trans. Pattern Analysis and Machinelntelligence, 22(6) :636_642，2000.本發明的具體實施效果示例如附圖3到附圖4所示。參考附圖3的一個句子的部 分筆跡和實時的候選切分識別結果示例，301是書寫出來的完整句子，302是書寫的部分句 子，303是對302中所示的部分句子實時識別時構建的候選切分識別網格示例。參考附圖4，401是302的部分句子增加筆劃後的部分句子，402是對401中所示的 部分句子實時識別時更新的候選切分識別網格示例，其中最右邊的兩個候選字符模式是新 生成的，兩個新生成的候選字符模式經字符識別器分別給出兩個候選類別「日月」和「明朋
參考附圖5，是附圖301所示的完整句子的字符切分和識別結果示例，包括三個切 分識別結果，其中第一個結果是正確的。可以看出，本發明可以邊書寫邊實時識別並更新候 選切分識別網格，從而能在句子書寫完成後快速得到整句識別結果，提高輸入速度。以上所述，僅為本發明中的具體實施方式
，但本發明的保護範圍並不局限於此，任 何熟悉該技術的人在本發明所揭露的技術範圍內，可理解想到的變換或替換，都應涵蓋在 本發明的包含範圍之內。
權利要求
一種聯機手寫句子實時識別方法，其特徵在於，該識別方法包括步驟S1輸入開始模塊啟動筆劃輸入，筆尖接觸輸入平面表明輸入開始；步驟S2筆劃採集模塊記錄筆尖在輸入平面上移動的筆劃軌跡；所述筆劃軌跡用xn，yn點坐標序列表示(x1，y1)，(x2，y2)，...，(xn，yn)，其中n是筆劃軌跡的採樣點數；步驟S3實時識別模塊對提筆後得到的筆劃軌跡進行處理，生成候選字符模式並對每一個候選字符模式進行識別給出候選字符類別，將生成的候選字符模式及其候選字符類別保存在候選切分識別網格；步驟S4提筆時間判斷模塊計算提筆時間是否夠長，如果提筆時間夠長表明提筆可能是一個字符的結束，執行步驟S5；如果提筆時間不夠長，表明提筆只是一個筆劃的結束，執行步驟S2，繼續採集下一個筆劃並進行實時識別；步驟S5啟動字符串識別模塊，字符串識別模塊根據路徑評價準則計算候選切分識別網格中各切分識別路徑的分數，並用動態規划算法搜索分數最優的路徑得到字符串識別結果；字符串識別結果包括字符切分結果和字符識別結果；步驟S6編輯修改模塊對字符串識別結果進行編輯修改，對錯誤的字符切分和字符識別部分通過用戶操作進行編輯修改；步驟S7語言聯想模塊在字符串識別和編輯修改的基礎上，根據最後的字符類別，通過語言聯想給出後續的字或詞供用戶選擇，以提高句子輸入速度；步驟S8繼續輸入判斷模塊用於在聯想結束後判斷是否繼續輸入，如果繼續在輸入平面上書寫，則回到步驟S2採集下一個筆劃；否則，結束輸入。
2.如權利要求1所述的聯機手寫句子實時識別方法，其特徵在於，所述實時識別模塊 包括以下步驟步驟S201 提筆表明一個筆劃書寫結束，得到筆劃軌跡或稱為點序列； 步驟S202 在筆劃軌跡中筆劃彎折點或可能的連筆處斷開筆劃，得到筆劃段； 步驟S203 判斷一個筆劃段是否一個新的筆劃塊的開始，判斷的條件是該筆劃段與前 面已經形成的筆劃塊相比是否有足夠的水平位移；步驟S204 ；如果一個筆劃段是一個新的筆劃塊的開始，將該筆劃段作為一個新的筆劃塊；步驟S205 否則，將該筆劃段合併到前面與之重疊度最大的筆劃塊； 步驟S206 順序判斷每一個筆劃段直至所有的筆劃段處理完畢，所述每一個筆劃段構 成新的筆劃塊或與前面的筆劃塊合併；步驟S207 在所有筆劃段處理完畢形成筆劃塊後，將每一個新生成的或者合併後的筆 劃塊當作候選字符模式，或者將該筆劃塊與前面相鄰的筆劃塊合併構成候選字符模式；對 於新生成的候選字符模式，用字符識別器對其進行識別，給出置信度最高或匹配距離最小 的一個或多個字符類別作為候選識別結果，將新生成的候選字符模式及其候選類別存入候 選切分識別網格。
3.如權利要求2所述的聯機手寫句子實時識別方法，其特徵在於，所述筆劃塊是在水 平方向上重疊度較大的一個或多個筆劃、一個或多個筆劃段構成的集合。
4.如權利要求2所述的聯機手寫句子實時識別方法，其特徵在於，所述斷開筆劃的步 驟如下步驟S2021 通過計算筆劃軌跡上每一點的彎折角度，判斷彎折點，在彎折點處將筆劃 斷開；步驟S2022 設彎折角度為筆劃軌跡上一點(Xi，Yi)與之前一點(xik，yik)連線和與之 後一點(xi+k，yi+k)連線的夾角；步驟S2023 對彎折角度進行判斷，若該角度在30度到150度之間而且大於(xn，yn) 和(xi+1，yi+1)的角度，則認為該點是一個可能的連筆處，則將筆劃在可能的連筆處的該點處 斷開；斷開連筆的目的是將相鄰字符之間的連筆斷開，得到一個或多個筆劃段，表示為S1,S2 ？ · · · J Sm O
5.如權利要求2所述的聯機手寫句子實時識別方法，其特徵在於，判斷新的筆劃塊 的條件是根據筆劃段與前面已經形成的筆劃塊相比是否有足夠的水平位移進行判斷，如 果該筆劃段與前面某個筆劃塊的水平重疊度大於0. 4或筆劃段與筆劃塊中的某個筆劃相 互交叉且水平重疊度大於0. 2，則斷定該筆劃段不是一個新的筆劃塊的開始；如果該筆劃 段與前面所有筆劃塊的水平重疊度小於0. 2或在沒有交叉的情況下水平重疊度小於0. 4， 則斷定該筆劃段是一個新的筆劃塊的開始；所述水平重疊度的計算方式如下設筆劃段 外框和筆劃塊外框的寬度分別為W1和w2，外框區域重疊部分寬度為w。，則重疊度計算為K—οInin(W15W2)
6.如權利要求2所述的聯機手寫句子實時識別方法，其特徵在於，所述候選字符模式 生成的條件是(1)合併的筆劃塊個數最多不超過8個，也就是一個候選字符模式由1到8個筆劃塊組成；(2)候選字符模式的寬度不超過估計的字符高度的2.5倍。
7.如權利要求2所述的聯機手寫句子實時識別方法，其特徵在於，用於候選字符模式 識別的字符識別器採用具有存儲量小、計算速度快、排斥非字符模式特點的最近原型分類 器；在經過字符模式歸一化、特徵提取將字符模式表示為一個特徵矢量後，計算該特徵矢量 與預先訓練得到的字符集中每個字符類別的原型矢量之間的匹配距離，距離最小的類別以 及距離與最小距離之差小於一個閾值的類別作為候選字符模式的候選類別。
8.如權利要求1所述的聯機手寫句子實時識別方法，其特徵在於，所述路徑評價準則 融合了字符識別置信度、幾何特徵和語言模型，並對字符識別置信度和幾何特徵分數用候 選字符模式的筆劃塊個數進行加權，這樣就克服路徑長度的影響，從而能用動態規划算法 搜索得到最優識別結果，或用集束搜索(Beam Search)算法搜索得到多個最優識別結果，所 述路徑長度是路徑上候選字符模式的個數。
9.如權利要求1所述的聯機手寫句子實時識別方法，其特徵在於，編輯修改模塊使得 用戶在書寫過程中，當字符串識別給出字符切分和字符識別結果後，能及時對切分和識別 結果進行修改校正對於字符切分的合併錯誤，用筆在合併的地方畫一豎線將兩字分開； 對於分裂錯誤，用筆將分裂後的兩字圈起來將他們合併成一個字；切分錯誤修正後，系統自動地重新對切分後的字符進行識別，從而得到新的字符串識 別結果；如果切分正確後有些字符模式有識別錯誤，則對這些字符模式個別進行修正選擇識別錯誤的字符模式，系統給出這個字符模式的多個候選類別，用戶從中點擊選擇正確的類 另IJ，如果候選類別中沒有正確的類別，用戶重新書寫這個字符，系統自動地重新識別這個字 符。
10.如權利要求1所述的聯機手寫句子實時識別方法，其特徵在於，所述語言聯想模 塊，其語言聯想包括字聯想和詞聯想兩種方式字聯想方式利用2元語法(Bigram)模型根據前面一個字快速找出概率較大的幾個後 續字供用戶選擇；詞聯想建立在一個詞庫基礎上檢查句子最後一個字或幾個字是否構成一個詞的開 頭，若是則將完整的詞顯示出來供用戶選擇；字聯想得到的後續字如果構成詞的開頭，則將聯想到的詞也顯示出來；用戶接受聯想 的字/詞之後，輸入句子得到擴展，系統由此可以繼續聯想，直到聯想不被接受為止。
全文摘要
本發明是一種聯機手寫句子實時識別方法，該方法是輸入開始模塊啟動筆劃輸入；筆劃採集模塊記錄筆尖在輸入平面上移動的筆劃軌跡；實時識別模塊對提筆後得到的筆劃軌跡進行實時識別；提筆時間判斷模塊計算提筆時間是否夠長；啟動字符串識別模塊，字符串識別模塊根據路徑評價準則計算候選切分識別網格中各切分識別路徑的分數，並用動態規划算法搜索分數最優的路徑得到字符串識別結果；編輯修改模塊對字符串識別結果進行編輯修改，對錯誤的字符切分和字符識別部分通過用戶操作進行編輯修改；語言聯想模塊在字符串識別和編輯修改的基礎上，根據最後的字符類別，通過語言聯想給出後續的字或詞供用戶選擇，以提高句子輸入速度。
文檔編號G06K11/06GK101853126SQ20101017562
公開日2010年10月6日 申請日期2010年5月12日 優先權日2010年5月12日
發明者劉成林, 王大寒 申請人:中國科學院自動化研究所