一種字符識別的後處理方法
2023-12-07 06:56:56
專利名稱：一種字符識別的後處理方法
技術領域：
本發明涉及計算機信息處理領域的後處理技術，尤其涉及一種對識別後的錯字進行糾正的方法。
背景技術：
後處理是OCR(光學字符識別)技術應用的一個重要環節，目前OCR文字識別結果中總有誤識的字符存在，後處理算法的應用在一定程度上糾正了識別錯誤的字符。
對於識別後出現的錯字傳統上採用作標記的辦法，標記出來後依賴於人工進行糾正處理。因而不能進行自動處理，由此對於批量處理識別結果的工作人員來說，工作量是非常大的。
現有技術中還有另外一種方法，如文獻「一種基於字詞結合的漢字識別上下文處理新方法」(清華電子工程系智能技術與系統國家重點實驗室，作者丁曉青等)中所述的方法，首先通過識別得到識別結果，而後對於錯誤識別的漢字，在其候選字列表中查找可以跟後面正確的字組成詞語的字，如果找到了，就選擇這個候選字，如果沒找到，則選擇第一個候選字。該方法提供了詞語選擇，可以達到半自動的處理效果。
這種方法的優點在於，根據邏輯來組詞可以在一定程度上準確地選擇正確的候選字。缺陷在於，依靠組詞來選擇候選字，忽略了詞語的詞頻信息和詞語的長度信息，缺乏一定的可靠性。
發明內容
針對現有技術中進行字符識別後處理時糾正錯字的效率和準確度不高的問題，本發明的目的是提供一種通過對識別結果中誤識字符的所有候選字符進行組詞判斷來自動選出正確字符的方法。
本發明提供一種字符識別的後處理方法，包括以下步驟識別文檔中的字符，並獲取文檔中字符的候選字符及候選字符的相似度；將候選字符相似度與預定閾值相比較確定被誤識的字符；對於誤識字符的候選字符，形成至少包含所述候選字符的搜索詞，用所述搜索詞在已知的文本資料庫中搜索，從而獲得搜索詞的至少一種測量值；用所獲得的測量值來計算誤識字符搜索詞的權值，比較誤識字符所有搜索詞的權值從而確定用來糾正所述誤識字符的正確字符。
上述方法中，形成至少包含所述候選字符的搜索詞進一步包括用所述誤識字符的一個候選字符取代其位置，與所述誤識字符的前後字符組成搜索詞形成至少包含所述候選字符的搜索詞。
上述方法中，形成至少包含所述候選字符的搜索詞進一步包括如果在已知的文本資料庫中搜索到了所述搜索詞，則在搜索詞上增加一個相鄰字符，加長搜索詞直到獲得在已知文本資料庫中可以搜索到的最長的搜索詞。
上述用來計算權值的至少一種測量值可以是搜索詞的詞長、詞頻和其中各個字符的相似度三種測量值中的至少一種。
上述方法中，用如下公式計算搜索詞的權值Pwi＝an2-bD+f，這裡Wi表示一個誤識字符的候選字符，n、f和D分別表示包含Wi的搜索詞的詞長、詞頻和詞語相似度，並且a和b是大於0的係數。
上述方法中，詞語相似度D＝d1』+d2』+…+di+…+dn』；這裡di表示候選字符Wi的相似度，d』表示所述搜索詞中Wi左右各個字符的相似度。
上述比較誤識字符所有搜索詞的權值從而確定用來糾正所述誤識字符的正確字符進一步包括如果第一權值是所有搜索詞的權值中最大的，就將第一權值對應的候選字符確定為所述誤識字符位置上的正確字符。
上述比較誤識字符所有搜索詞的權值從而確定用來糾正所述誤識字符的正確字符進一步包括如果第一權值和第二權值相同而且都是搜索詞的權值中最大的，那麼判斷第一搜索詞中與第一候選字符成詞的字符能否與相鄰的另一個字符成詞，如果能成詞就選取第二權值對應的第二搜索詞所包含的第二候選字符。
上述方法中，如果第一和第二兩個搜索詞中與第一和第二候選字符成詞的字符都與相鄰的另一個字符不成詞，就拿與第一候選字符成詞的字符的相似度和與第二候選字符成詞的字符的相似度作比較，選取相似度好的字符所在的搜索詞，也就是選取了這個搜索詞所包含的候選字符。
上述方法中，如果與第一候選字符成詞的字符的相似度和與第二候選字符成詞的字符的相似度相同，就以第一候選字符的相似度和第二候選字符的相似度作比較，選取相似度好的候選字符。
本發明的實施方案具有很多優點和進步。採用本發明所述的後處理方法可以根據邏輯組詞，準確糾正誤識字符，算法簡單易行。另外，選取候選字符時考慮的因素更合理，保證了糾正過程的準確性。可以連續糾正相鄰的幾個不正確的字，提高識別率和識別速度。對初始識別之後的錯誤內容進行自動糾正處理，減少了人工工作量，同時減少了人工後期檢查性的幹預，提高可靠性和工作效率。
圖1是按照本發明實施例的字符識別裝置的結構示意圖。
圖2是圖1的字符識別裝置所執行的字符識別過程的流程圖。
圖3是權值公式中各個量測量過程的流程圖。
圖4是誤識字符的確定結果的範例。
具體實施例方式
下面結合說明書附圖來說明本發明的具體實施方式
。
圖1示出按照本發明的實施例用來將列印文檔或手寫文檔轉換成文本數據的字符識別裝置。因為OCR識別裝置可能對文檔中的某些字符不能準確識別，所以本實施例引入一種後處理裝置以便從推薦的多個候選字符中確定正確的字符，從而提高識別率。
在圖1中，字符識別裝置包括圖像輸入單元11，它可以是掃描儀、傳真機或數位相機等圖像輸入裝置，還包括圖像數據存儲單元12、版面分析單元13、預處理單元14、OCR識別單元15、後處理單元16、識別結果存儲單元17和文本數據輸出單元18。其中，圖像輸入單元11用於輸入列印文檔或手寫文檔作為圖像數據；圖像數據存儲單元12用於以位映像形式存儲由圖像輸入單元11讀取的圖像數據；版面分析單元13用於將圖像數據劃分成具有不同符號的區域，比如字符區域、圖形區域、公式區域等等；預處理單元14用於對所劃分的字符區域進行行列切分，逐個提取單個字符的圖像數據；OCR識別單元15用於將提取的圖像數據轉換為待選的文本字符，並且生成表示各個待選的文本字符與對應的圖像數據匹配程度的數值；後處理單元16用於校正被OCR識別單元15錯誤識別的文本數據，OCR識別單元15生成由後處理單元123確定的最為可信的文本數據的數據文檔；而識別結果存儲單元17用來存儲由OCR識別單元122獲得的識別結果；文本數據輸出單元18用來輸出已被轉換成文本數據的文檔數據。
後處理單元16包括中央控制模塊160、搜索模塊161、文本數據存儲模塊162和存儲模塊163。其中，中央控制模塊160用於分析識別結果存儲單元17中所存儲的初始識別結果從而確定被錯誤識別的字符，用於根據權值公式計算誤識字符各個侯選字符對應的權值，並將與一個誤識字符相關的所有權值作比較以確定最佳候選字符，而且還用於管理後處理單元16中的其他模塊；搜索模塊161響應中央控制模塊160給定的搜索詞，在事先已轉換成文本數據的文檔數據或事先收集形成的文本數據資料庫中進行搜索，並將搜索詞在整個文檔或整個資料庫中出現的次數送回中央控制模塊160；文本數據存儲模塊162用於保存事先已轉換成文本數據的文檔數據或事先收集形成的文本數據資料庫；存儲模塊163用於存儲中央控制模塊160處理的中間結果。
接著參照圖2描述具有上述結構的字符識別裝置的操作，圖2示出在掃描列印文檔的情況下，由本實施例的字符識別裝置執行的整個過程的流程圖。
在步驟201中，準備識別樣張，由圖像輸入單元11掃描列印文檔，並存儲到圖像數據存儲單元12上。通過用戶指定所存儲的上述圖像數據文件而開始進行文本數據轉換。
在步驟202中版面分析單元13獲得這個圖像數據文件，並將圖像數據劃分成不同的區域，諸如圖像區域、圖形區域、字符區域等等，然後將字符區域的位置信息發送給預處理單元14。
在步驟203中，預處理單元14可以利用如投影法、連通域法之類的方法從字符區域中將第一個字符切分出來，而且向OCR識別單元15提供這個字符的位置信息。
在步驟204中，OCR識別單元15識別從所提供的位置信息獲得的字符圖象數據，並且生成多個候選字符以形成候選字符列表。此外，OCR識別單元15還用數值表示每個候選字符與該字符圖像數據的匹配程度，在此稱為相似度。可以將候選字符的相似度與預定標準作比較從而選取匹配程度比較高的候選字符構成候選字符列表，而且以選取的候選字符相似度的順序生成候選字符列表。
在步驟205中，將候選字符列表存儲在識別結果存儲單元17中。處理流程在步驟203、204和205上循環，按照上述方法，預處理單元14和OCR識別單元15對字符區域中剩下的字符繼續進行切分和識別。重複這三個步驟，直到字符區域中的最後一個字符。這時，識別結果存儲單元17中的候選字符列表具有如下形式
這裡，C表示在字符區域中的字符數，而T表示候選字符的最大數目。後處理單元16在步驟206上基於一個預先確定的標準來判斷字符區域中的各個字符是否被誤識別。如果對於字符區域第一位置上的字符，其轉換候選者的相似度未達到預定標準，那麼確定第一位置上的字符被誤識別。相反，如果達到了預定標準，那麼確定第一位置上的字符被正確識別，並認定該位置上的正確字符就是其候選字符W1。進而，對已存儲在識別結果存儲單元17中的字符區域其他位置上的字符重複這個判斷過程，直到字符區域最後一個位置上的字符是否被誤識別都已經確定。
本實施例提供一種改進的誤識字符糾正方法，下面對這種方法作進一步詳細的描述。
假設字符區域中有X個誤識字符，在步驟207中首先根據公式Pwi＝F(D，f，n)來計算誤識字符1的候選字符的權值。這裡，Wi是誤識字符1的候選字符列表W中的任一候選字符，它的相似度為di。對於包含候選字符Wi的詞語A，通過搜索得到這個詞的詞頻f和詞的長度n，而且得到A中Wi左右各個字符的相似度d』，所以詞語A的相似度D為D＝g(d1』，d2』，…，di…，dn』)；權值公式的具體表達式可以為Pwi＝an2-bD+f。
其中，a和b是大於0的係數，D＝d1』+d2』+…+di+…+dn』。
假如誤識字符1的候選字符列表W中有T個候選字符，那麼重複步驟207，直到計算出候選字符W1至WT中每一個的權值。這時在步驟208上將所有的權值互相比較，基於比較結果從W1至WT中給誤識字符1選出一個最佳的候選字符，並存儲到存儲模塊163中。
在步驟207和208上循環直到給字符區域中X個誤識字符都選取了最佳的候選字符，並且將這些最佳的候選字符都存儲到了識別結果存儲單元17中。這時流程進行到步驟209，在此由文本數據輸出單元18輸出最後生成的文本數據。整個流程結束。
圖3示出在圖2的步驟207中用來計算權值的各個量的測量過程。這裡假設，事先將已被文本數據轉換單元12轉換成文本數據的多個文檔數據或已形成的文本數據資料庫保存在文本數據存儲模塊162中了。
在步驟801上，後處理單元16的中央控制模塊160要求搜索模塊161首先將包括兩個字符的字符串作為搜索詞，在文本數據存儲模塊162內的文本數據中進行搜索。這兩個字符包括候選字符W1，還包括比如W1對應的誤識字符前面相鄰的字符。
在步驟802上，搜索模塊161將詞頻f作為搜索結果送回給中央控制模塊160。
在步驟803上根據搜索模塊161的搜索結果進行判定。如果在文本數據存儲模塊162內沒有搜索到上述包含兩個字符的字符串，即f＝0，中央控制模塊160就在步驟804上將詞長n設置為0。接著，流程進行到步驟808。相反，如果在文本數據存儲模塊162內搜索到了這個字符串，即f＞0，中央控制模塊160就在步驟805上將詞長n設置為2。
接著在步驟806上，中央控制模塊160在字符串中增加一個字符，在本實施例的情況下是誤識字符前面第二個字符。而且，中央控制模塊160要求搜索模塊161用加長了的搜索詞重新進行搜索。
在步驟807上，搜索詞出現的次數f作為搜索結果送回給中央控制模塊160。
在步驟808上根據搜索模塊161的搜索結果進行判定。如果在文本數據存儲模塊162內搜索到這個增加了一個字符的搜索詞，即f＞0，中央控制模塊160就在步驟809上將詞長n遞加。在這一步，流程返回步驟806，進一步前向遞增作為搜索詞的字符串中的字符。相反，如果在文本數據存儲模塊162內沒有搜索到上述包含三個字符的字符串，即f＝0，中央控制模塊160就在步驟810上開始後向遞增作為搜索詞的字符串中的字符，並用加長後的搜索詞重新進行搜索。
類似地，在步驟811上，將搜索詞出現的次數f作為搜索結果送回給中央控制模塊160，在步驟812上根據搜索模塊161的搜索結果進行判定。如果搜索到了該搜索詞，即f＞0，中央控制模塊160就在步驟813上將詞長n遞加，然後返回步驟810，進一步後向遞增作為搜索詞的字符串中的字符。相反，如果沒有搜索到該搜索詞，即f＝0，後處理單元16就在步驟814從識別結果存儲單元17中取出可以搜索到的最長字符串中每個字符的相似度數值，並送到中央控制模塊160中。
至此，整個測量流程結束。
如果這個誤識字符的候選字符有多個，中央控制模塊160進一步用該誤識字符前面相鄰的字符和候選字符2組成字符串作為搜索詞，並且要求搜索模塊161用包括候選字符2的搜索詞作如上所述的搜索並記錄可以搜索到的最長的搜索詞的詞頻，同時中央控制模塊160記錄該最長搜索詞的詞長，而且後處理單元16還從識別結果存儲單元17中取出可以搜索到的最長字符串中每個字符的相似度數值並送到中央控制模塊160中。該誤識字符的其他候選字符替換候選字符1組成包含兩個字符的字符串。
可見，當後處理單元16用每個候選字符代替難以識別的字符以形成搜索字符串的時候，就用這個替換後的檢索詞進行一遍這樣的測量過程。同樣要記錄可以搜索到的最長的搜索詞的詞頻和詞長並取出搜索詞中每個字符的相似度數值。需要說明的是，增加搜索詞的長度也可以先作後向遞增再作前向遞增。
通過圖3的測量流程得到包含候選字符Wi的搜索詞的詞頻、詞長和其中各個字符的相似度之後，在後處理單元16的中央控制模塊160中按照圖2中步驟207所示的方式來計算候選字符Wi的權值PWi，並將計算出的權值存儲到存儲模塊163中。
在圖2的步驟208上，將一個誤識字符所有搜索詞的權值互相比較，基於比較結果給該誤識字符選出一個最佳的候選字符。在比較時。如果出現權值相同的兩個詞語，而且這個相同的權值就是最大權值，那麼需要從分別包含在兩個詞語中的兩個候選字符中選取最適合的一個作為識別結果，下面通過實際例子來說明選取方法。
例如，一個字符串的圖像數據是「那樣成為……」。對這個字符串進行初始識別得到的結果是，「成」字有兩個候選字符「式」和「成」。而在後處理過程中，「樣式」和「成為」兩個詞最後求出的權值相同。在這種情況下，解決步驟1，首先假定「樣」是正確識別的字，如果「樣」和它前面的字組成一個詞語，例如「那樣」，就把「樣式」排除掉，也就是排除掉了候選字「式」。這時選取「成為」，也就是選取了候選字「成」。步驟2，如果「樣」和前面的字不成詞，則假定「為」是正確識別的字，判斷「為」是否和它後面的字成為詞語，如果成詞，則排除掉「成為」，選取「樣式」，也就是選取了候選字「式」。步驟3，如果「樣」和「為」都和前面或者後面那個字不能成為詞語，就要看「樣」和「為」中哪一個的相似度好，就選擇由哪個字組成的詞語。例如「樣」的相似度是2，「為」的相似度是0，因為這裡相似度越小越好，所以就選擇「成為」，也就是選取了候選字「成」。步驟4，如果「樣」和「為」相似度一樣，則判斷「式」和「成」這兩個候選字符中哪一個的相似度好，就選擇哪個字符。
現在以包括兩個候選字符W1和W2的候選字符列表W為例，說明包含其中一個候選字符的詞語A的相似度D的計算過程。可以從OCR識別單元122的識別結果中得到候選字符W1和W2的相似度d1和d2。例如，「子」的d1＝3，「於」的d2＝2。假設候選字符W1和前面相鄰的字符組成詞語A，例如「樣子」，「樣」的相似度也從識別結果中得到，是d1』＝0，「子」的相似度是d1＝3，所以D＝d1』+d1＝0+3＝3。
下面結合圖4的具體情況來說明利用P函數計算權值的實際過程。
如圖所示，在這段詞語中發現誤識別的字符為圓形內的字符「入」和「民」，其中每一個誤識字符的各個候選字符的相似度和候選字符列表在初始識別時已經得到，所得到的結果如圖4所示。「入」的候選字列表中有兩個候選字，W1是「入」，d1＝2，W2是「人」，d2＝2。「民」的候選字列表中有兩個候選字，W1是「民」，d1＝0，W2是「良」，d2＝2。
在這個實施例中，相似度的數值越小這個候選字的正確性越高。在此，為了簡化計算，假設權值表達式中的係數b＝1。先計算「入」的權值，由於沒有找到「入」和「民」「良」「華」形成的詞語，所以「入」的權值是P入＝a0×0-2+0＝-2。
再計算「人」的權值，從已經準備好的文本數據文檔或資料庫中找到了「人民」這個詞語，然後根據公式算出P人＝a2×2-(2+0)+f，詞頻是量詞，這裡f＝200，所以P人＝4a+198。又因為權值公式中的a大於0，所以4a+198大於-2，因而選擇「人」作為識別結果。
這裡，搜索詞這個術語並不局限於字、詞、句等的概念。
總而言之，按照本實施例的字符識別後處理方法形成用於每個誤識字符的多個搜索詞，在已被轉換成文本數據的多個文檔中或在根據經驗形成的文本數據資料庫中進行搜索，以便在候選字符中找出正確字符。按照本實施例的後處理方法可以真實地反映原始樣張中的字形，對誤識字符的糾正達到了自動化。
顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
權利要求
1.一種字符識別的後處理方法，包括以下步驟識別文檔中的字符，並獲取文檔中字符的候選字符及候選字符的相似度；將候選字符相似度與預定閾值相比較確定被誤識的字符；對於誤識字符的候選字符，形成至少包含所述候選字符的搜索詞，用所述搜索詞在已知的文本資料庫中搜索，從而獲得搜索詞的至少一種測量值；用所獲得的測量值來計算誤識字符搜索詞的權值，比較誤識字符所有搜索詞的權值從而確定用來糾正所述誤識字符的正確字符。
2.如權利要求1所述的方法，其特徵在於形成至少包含所述候選字符的搜索詞進一步包括用所述誤識字符的一個候選字符取代其位置，與所述誤識字符的前後字符組成搜索詞。
3.如權利要求2所述的方法，其特徵在於形成至少包含所述候選字符的搜索詞進一步包括如果在已知的文本資料庫中搜索到了所述搜索詞，則在搜索詞上增加一個相鄰字符，加長搜索詞直到獲得在已知文本資料庫中可以搜索到的最長的搜索詞。
4.如權利要求1所述的方法，其特徵在於用來計算權值的至少一種測量值可以是搜索詞的詞長、詞頻和其中各個字符的相似度三種測量值中的至少一種。
5.如權利要求1所述的方法，其特徵在於用如下公式計算搜索詞的權值Pwi＝an2-bD+f，這裡Wi表示一個誤識字符的候選字符，n、f和D分別表示包含Wi的搜索詞的詞長、詞頻和詞語相似度，並且a和b是大於0的係數。
6.如權利要求5所述的方法，其特徵在於詞語相似度D＝d1』+d2』+...+di+...+dn』；這裡di表示候選字符Wi的相似度，d』表示所述搜索詞中Wi左右各個字符的相似度。
7.如權利要求6所述的方法，其特徵在於比較誤識字符所有搜索詞的權值從而確定用來糾正所述誤識字符的正確字符進一步包括如果第一權值是所有搜索詞的權值中最大的，就將第一權值對應的候選字符確定為所述誤識字符位置上的正確字符。
8.如權利要求7所述的方法，其特徵在於比較誤識字符所有搜索詞的權值從而確定用來糾正所述誤識字符的正確字符進一步包括如果第一權值和第二權值相同而且都是搜索詞的權值中最大的，那麼判斷第一搜索詞中與第一候選字符成詞的字符能否與相鄰的另一個字符成詞，如果能成詞就選取第二權值對應的第二搜索詞所包含的第二候選字符。
9.如權利要求8所述的方法，其特徵在於如果第一和第二兩個搜索詞中與第一和第二候選字符成詞的字符都與相鄰的另一個字符不成詞，就拿與第一候選字符成詞的字符的相似度和與第二候選字符成詞的字符的相似度作比較，選取相似度好的字符所在的搜索詞，也就是選取了這個搜索詞所包含的候選字符。
10.如權利要求9所述的方法，其特徵在於如果與第一候選字符成詞的字符的相似度和與第二候選字符成詞的字符的相似度相同，就以第一候選字符的相似度和第二候選字符的相似度作比較，選取相似度好的候選字符。
全文摘要
本發明公開了一種字符識別的後處理方法，對初始識別之後的錯誤內容進行自動糾正處理。首先，識別文檔中的字符，並獲取文檔中字符的候選字符及候選字符的相似度。而後，將候選字符相似度與預定閾值相比較確定被誤識的字符。對於誤識字符的候選字符，形成至少包含所述候選字符的搜索詞，用所述搜索詞在已知的文本資料庫中搜索，從而獲得搜索詞的至少一種測量值。最後，用所獲得的測量值來計算誤識字符搜索詞的權值，比較誤識字符所有搜索詞的權值從而確定用來糾正所述誤識字符的正確字符。本發明在選取候選字符時考慮的因素更合理，保證了糾正過程的準確性，提高了識別率和識別速度。
文檔編號G06K9/68GK1916941SQ200510090878
公開日2007年2月21日 申請日期2005年8月18日 優先權日2005年8月18日
發明者杜鵬飛, 康凱, 徐劍波 申請人:北大方正集團有限公司, 北京北大方正技術研究院有限公司