用於文檔的自適應二值化的方法、設備和存儲介質的製作方法
2023-05-24 00:32:46 2
專利名稱：用於文檔的自適應二值化的方法、設備和存儲介質的製作方法
技術領域：
本申請總體上涉及文檔圖像處理，尤其涉及用於文檔的自適應二值化的方法、設備和存儲介質。
背景技術：
文檔二值化通常是大多數文檔分析系統的第一步。例如，當前的OCR系統要求在處理文本之前必須對文本進行二值化。與灰度圖像或者彩色圖像信息相比，二級信息的使用能夠降低計算負荷，允許使用簡化的分析方法。
在文檔二值化中使用的閾值是這樣的一個灰度值當文檔被二值化時，灰度值高於該閾值的像素被設置為黑像素，灰度值小於該閾值的像素被設置為白像素。
已經提出過許多全局或者局部閾值方法來對文檔圖像進行二值化。全局閾值方法是使用單個閾值來對整個圖像進行二值化，該方法在許多情況下存在局限性，例如在版面複雜或者照度不均勻的情況下。局部閾值方法是將原始圖像分割為固定大小的小窗口(重疊或者不重疊)，利用局部特徵對每一個窗口計算一個閾值。並應用閾值平滑技術來消除窗口之間可能存在的不平滑。
當處理複雜的情況時，局部閾值方法與全局閾值方法相比更具魯棒性。但是，文檔圖像通常包含許多具有不同結構和語義內容的區域，比如圖片、文本和背景。用固定大小的窗口任意分割圖像可能不是一個好方法，因為一個窗口可能包含來自多個對象的內容，在這種情況下，單一閾值是不合適的。在其它情況下，應當在比窗口更大的子圖像中計算閾值。例如，應當用實現視覺上的完整性和內容上的完整性的單個閾值來二值化「景物」圖片的整個區域。如果按照可能具有不同閾值的窗口進行二值化，在二值圖像中可能會出現「孔」。
因此，希望改進現有的二值化方法，以處理複雜的文檔圖像。
發明內容
本發明的目的就是提供這樣一種方法，以及實現這樣的方法的設備和存儲介質。
為此，本發明提出了一種新的用於文檔圖像的自適應二值化方法。該方法首先執行文檔頁面的快速分析，找出具有均一內容的子圖像。然後對這些層次較高的圖像塊計算閾值，並將閾值映射到相應的固定尺寸的窗口上。對於不被任何圖像塊覆蓋的窗口，應用窗口閾值擴展技術，考慮相鄰區域中窗口的閾值來確定閾值。
具體地，提供了一種自適應地對灰度文檔圖像進行二值化的方法，包括均一內容尋找步驟，用於分析灰度文檔圖像，獲得具有均一內容的圖像塊；塊閾值計算步驟，用於對每一個所述圖像塊計算一個二值化閾值；閾值映射步驟，其中將所述灰度文檔圖像分割為窗口，將在所述塊閾值計算步驟獲得的二值化閾值映射到完全或者部分地被任何圖像塊覆蓋的窗口上；閾值擴展步驟，用於基於映射到對應的窗口上的閾值，向其它窗口分配閾值；內插步驟，用於將所述窗口分別分割為子窗口，並通過對窗口的閾值進行線性內插來計算所述子窗口的閾值；以及二值化步驟，用於用相應的閾值對每一個所述子窗口進行二值化，從而完成所述灰度文檔圖像的二值化。本申請還提供了用於實現該方法的設備和存儲介質。本發明可以應用於OCR、圖像增強等等。
還提供了一種自適應地二值化灰度文檔圖像的設備，包括均一內容尋找裝置，用於分析灰度文檔圖像，獲得具有均一內容的圖像塊；塊閾值計算裝置，用於對每一個所述圖像塊計算一個二值化閾值；閾值映射裝置，其中將所述灰度文檔圖像分割為窗口，將在所述塊閾值計算裝置中獲得的二值化閾值映射到完全或者部分地被任何圖像塊覆蓋的窗口上；閾值擴展裝置，用於基於映射到對應的窗口上的閾值，向其它窗口分配閾值；內插裝置，用於將所述窗口分別分割為子窗口，並通過對窗口的閾值進行線性內插來計算所述子窗口的閾值；以及二值化裝置，用於用相應的閾值對每一個所述子窗口進行二值化，從而完成所述灰度文檔圖像的二值化。
還提供了一種存儲介質，其特徵在於，在其中存儲了用於實現上述方法的程序代碼。
本發明不僅能很好地保持用於OCR的文本信息，而且，對於其它文檔分析應用來說，能夠很好地保持其它邏輯和語義內容，比如圖像、表格、文檔版面信息。
本發明的其它目的、特徵和優點將在閱讀下文對優選實施例的詳細說明後變得更為清楚。附圖作為說明書的一部分用於圖解本發明的實施例，並和說明書一起用於解釋本發明的原理。在附圖中圖1是本發明的一個實施例的流程圖；圖2是圖解圖1所示的步驟S1的更為詳細的流程圖；圖3的示意示了用在本發明中的窗口和子窗口；圖4是圖解圖1所示步驟S3的流程圖；圖5的示意圖用於解釋圖1所示的步驟S3和S5；圖6是圖示本發明的應用的流程圖；圖7的框示了可以實現本發明的方法和設備的計算機系統的一個例子。
具體實施例方式
計算機系統舉例本發明的方法和設備可以在任何信息處理設備中實現。所述信息處理設備例如是個人計算機(PC)、筆記本電腦、嵌入掃描儀、複印機、傳真機等的單片機(SCM)，等等。對於本領域普通技術人員，很容易通過軟體、硬體和/或固件實現本發明的方法和設備。尤其應注意到，對於本領域普通技術人員顯而易見的是，為了執行本方法的任何步驟或者步驟的組合，或者本發明的設備的任何部件或者部件的組合，可能需要使用輸入輸出設備、存儲設備以及微處理器比如CPU等。在下面對本發明的方法和設備的說明中不見得提到這些設備，但實際上使用了這些設備。
作為上述信息處理設備，圖7的框圖示出了一個計算機系統的舉例，在其中可以實現本發明的方法和設備。應注意的是，示於圖7的計算機系統只是用於說明，並非要限制本發明的範圍。
從硬體的角度來講，計算機1包括一個CPU 6、一個硬碟(HD)5、一個RAM 7、一個ROM 8和輸入輸出設備12。輸入輸出設備可以包括輸入裝置比如鍵盤、觸控板、跟蹤球和滑鼠等，輸出裝置比如印表機和監視器，以及輸入輸出裝置比如軟盤驅動器、光碟驅動器和通信埠。
從軟體的角度講，所述計算機主要包括作業系統(OS)9、輸入輸出驅動程序11和各種應用程式10。作為作業系統，可以使用市場上可購買的任何作業系統，比如Windows系列以及基於Linux的作業系統。輸入輸出驅動程序分別用於驅動所述輸入輸出設備。所述應用程式可以是任何應用程式，比如文本處理程序、圖像處理程序等，其中包括可以用在本發明中的以及專為本發明編制的、可調用所述已有程序的應用程式。
這樣，在本發明中，可以由作業系統、應用程式和輸入輸出驅動程序在所述計算機的硬體中實現本發明的方法和設備。
另外，計算機1可以連接到數字裝置3和應用設備2。數字裝置可以用作圖像源，可以是照相機、攝像機、掃描儀或者用於將模擬圖像轉換為數字圖像的數位化儀。本發明的設備和方法獲得的結果被輸出到應用設備2，後者根據所述結果，執行適當的操作。該應用設備也可以實現為在計算機1中實現的另一個應用(與硬體相結合)，用於進一步處理所述圖像。
應用本發明的例子本發明可以用在文檔分析系統中將文檔圖像轉換為二值圖像，如圖6所示。可以用本發明將灰度圖像二值化。在本實施例中，使用灰度圖像(彩色圖像可以被轉換為灰度圖像)來解釋本發明。這樣獲得的二值圖像然後可以用於OCR、表格理解系統或者頁面分析系統。
用於對文檔圖像進行自適應二值化的方法和設備簡單地說，本發明提供一種計算機實現的方法和設備，用於對文檔圖像進行自適應二值化。圖1是本發明的主流程圖，圖解了由本實施例的設備執行的新的二值化方法。
本發明的設備包括均一內容尋找裝置、塊閾值計算裝置、閾值映射裝置、閾值擴展裝置、內插裝置以及二值化裝置。
所述均一內容尋找裝置被配置為執行文檔分析(步驟S1)，以從灰度文檔圖像提取具有均一內容的圖像塊，比如文本塊(包括反色文本塊)和非文本塊。
步驟S1使用的均一內容尋找裝置可以用許多現有技術實現。圖2圖示了這種技術之一的舉例的流程圖。
如圖2所示，過程的開始是用於探測要被分析的灰度圖像中的邊緣的邊緣探測步驟S11，獲得所謂的「邊緣圖像」(邊緣已被找出的圖像)。邊緣探測技術在本領域也是公知的。在一幅灰度圖像中，所謂邊緣就是出現在灰度分布不連續的位置處的基本單元，這種灰度變化可用導數方便地檢測到。章毓晉著的《圖象分割》(圖象圖形科學叢書，科學出版社，2001，ISBN 7-03-007241-3)介紹了用一階導數來檢測圖像邊緣的最常用的方法，比如，可以採用Roberts算子、Sobel算子、Prewitt算子等。如果所求得某一像素點的圖像灰度一階導數高於某一閾值，即圖像邊緣判據閾值，則可確定該像素點為圖像的邊緣點。
美國專利6192153B1公開了一種圖像處理裝置和方法，該發明用於精確地標識文檔圖像中的圖像區域的類型，並按照圖像區域的標識結果，對每一像素進行處理。其中在該發明中，圖像處理裝置包括圖像邊緣檢測裝置，它通過計算一個區域中的每一圖像信號與一濾波參數之積的和，來檢測位於圖像中邊緣部分的像素。其中上述區域包括一個觀察像素和包圍該觀察像素的多個邊緣像素。並根據所述圖像邊緣檢測結果，通過一標識裝置來標識包括所述觀察像素的圖像區域。它主要包括下面幾個步驟將數字圖像信號輸入，然後將數字圖像黑白進行反轉，接著，檢測圖像的邊緣，根據每一像素特性將它們劃分為非照片像素和照片像素；然後，對非照片像素進行分類，並對照片像素進行平滑，從而輸出所得到的圖像信號。其中在圖像邊緣檢測步驟使用了預定的固定閾值來檢測圖像邊緣。
美國專利5583659公開了一種利用圖像局部特性將圖像閾值化的多窗口技術。它利用局部圖像的亮度變化，圖像像素的梯度變化等特性，採用多窗口技術，減少圖像噪聲並降低圖像邊緣的模糊性。在該專利所公開的方法中，使用Sobel算子和預定的固定圖像邊緣判據閾值來檢測圖像邊緣。
然後，在步驟S12，找出邊緣圖像上的連通域。連通域的概念也是公知的，下面對其加以說明。舉例而言，「黑八連通域」是一個八連通的區域。「黑」的意思是連通域按黑像素確定。也就是說，「黑八連通域」是一塊八連通的黑像素。「像素連通性」的概念描述了兩個或者更多個像素之間的關係。對於兩個像素，要成為相互連通的，它們必須在像素亮度和空間相鄰性方面滿足一定的條件。首先，對於兩個像素，要成為相互連通的，其像素值必須均在同一個像素值集合V中。對於灰度級圖像，V可以是任何灰度級範圍，例如V＝{22，23，...40}。對於二值圖像，可以是V＝{1}。為了給出用於連通性的相鄰性標準的公式，首先要引入「鄰域」的概念。對於具有坐標(x，y)的像素P，像素集合N4(p)＝{(x+1，y)，(x-1，y)，(x，y+1)，(x，y-1)}稱為其4-鄰域。其8-鄰域為下述集合
N8(p)＝N4(p)∪{(x+1，y+1)，(x+1，y-1)，(x-1，y+1)，(x-1，y-1)}由此可以得到四連通和八連通的定義對於兩個像素p和q，其像素值均屬於集合V，那麼，如果其屬於集合N4(p)，則是四連通的，如果其屬於集合N8(p)，則是八連通的。
然後，利用任何已知的技術，將連通域進行分類，例如分為文本塊、反色文本塊和非文本塊(步驟S13)。一般，分類標準是特定類型的連通域(比如「白色的」或者「黑色的」)與整個圖像的比，它們是通過試驗獲得的。
接下來是合併步驟(步驟S141，S142或者S143)，用於將具有類似性質的圖像塊合併為較大的塊。也就是，所有相鄰的文本塊被合併(步驟S141)，所有相鄰的反色文本塊被合併(步驟S142)，所有相鄰的具有類似特性的非文本塊被合併(步驟S143)。結果，獲得多個圖像塊，它們可以包括多個文本塊和/或多個反色文本塊和/或多個非文本塊。
回到圖1，塊閾值計算裝置被配置為對於每一個塊，使用任何可用的方法計算一個閾值(步驟S2)。例如，該閾值可以是Otsu閾值。
所述閾值映射裝置被配置為將灰度文檔圖像分割為同樣大小的窗口，並將塊閾值計算裝置獲得的閾值映射到窗口上(步驟S3)。所述窗口可以是任意尺寸，例如15×15像素，如圖3所示，並可以被分為兩種類型包含至少一個邊緣像素的內容窗口，比如窗口A，D，E，J，M，O，P和Q，以及不包含邊緣像素的背景窗口，比如圖5中的其餘窗口。
通過映射操作，被任何文本或者反色文本塊全部或者部分覆蓋的窗口將具有一個閾值，該閾值等於對應圖像塊的閾值(步驟S32)。例如，如圖5所示，假設塊B1是文本塊或者反色文本塊，其完全覆蓋兩個窗口J和K，部分覆蓋兩個窗口L和M。那麼，不僅窗口J和K將被賦予圖像塊B1的閾值，而且窗口L和M也將被賦予該閾值，而不管它們是內容窗口還是背景窗口。
對於非文本塊，只有被非文本塊全部或者部分覆蓋的內容窗口將具有等於對應非文本塊閾值的閾值(圖4中的步驟S31，顯然，步驟S32也可以在S31之前)。例如，假設圖5中的B2是非文本塊，則只有被塊B2全部或者部分覆蓋的內容窗口A，D和E會被賦予塊B2的閾值。
這樣，如圖5所示，窗口J、K、L和M將具有文本塊B1的閾值，內容窗口A、D和E將具有非文本塊B2的閾值，所有其它窗口到目前為止還沒有閾值。
從上面可以看出，在閾值映射裝置執行的閾值映射步驟中，不被任何圖像塊覆蓋的窗口以及被非文本塊覆蓋的背景窗口未被賦予閾值。
因此，閾值擴展步驟被配置為基於映射到對應窗口上的閾值來對還沒有閾值的其它窗口分配閾值(步驟S4)。
在閾值擴展裝置和步驟S4中，這樣確定所述其它窗口的閾值按照預定順序掃描這些窗口，對於每一個窗口，將其4-鄰域窗口的閾值平均，作為其閾值(換句話說，將每一個窗口的4-鄰域窗口的閾值擴展到該窗口)。如果4-鄰域窗口中的某窗口尚未被賦予閾值，則該窗口不被考慮；如果某個窗口的4-鄰域窗口中沒有任何窗口已被賦予閾值，則該窗口被跳過。重複所述掃描，直到每一個窗口都具有自己的閾值。
在擴展過程中，必須限定一個窗口能夠擴展的邊界。換句話說，一個窗口的閾值不能被擴展到具有完全不同的內容的另一個窗口。在本發明中，內容窗口用來設定所述擴展邊界。在從一個內容到另一個內容的過渡區，總是會出現邊緣。因此，按照上述定義的內容窗口自然就限定了內容的邊界。
因此，為了達到擴展邊界的效果，所述閾值擴展裝置被配置為首先利用所述閾值擴展方法來確定背景窗口的閾值。之後，使用該方法確定內容窗口的閾值。例如，如圖5所示，首先通過多次掃描來對所有背景窗口(圖中的空白窗口)賦予閾值，然後掃描沒有閾值的內容窗口(比如窗口B，C，F，G，H，I，O，P和Q)，對其賦予閾值。這樣，每一個窗口都有自己的閾值。
所述內插裝置被配置為進一步將所述窗口分割為子窗口，基於窗口的閾值計算子窗口的閾值(步驟S5)。例如，如圖3所示，灰度文檔圖像可以被分割為15×15像素的灰度文檔圖像，每一個窗口可以被進一步分割為3×3像素的子窗口。
可以通過對窗口的閾值進行線性內插來計算子窗口的閾值。之後，所述二值化裝置可以用相應的閾值對每一個子窗口進行二值化，從而完成整個灰度文檔圖像的二值化(步驟S6)。
存儲介質本發明的所述目的還可以通過在如上所述的可以與所述圖像源和後續處理設備通信的任何信息處理設備上運行一個程序或者一組程序來實現。所述信息處理設備、圖像源和後續處理設備為公知的通用設備。因此，本發明的所述目的也可以僅僅通過提供實現所述方法或者設備的程序代碼來實現。也就是說，存儲有實現所述方法或者設備的程序代碼的存儲介質構成本發明。
對於本領域技術人員來說，可以輕易地用任何程序語言編程實現所述方法。因此，在此省略了對所述程序代碼的詳細描述。
顯然，所述存儲介質可以是本領域技術人員已知的，或者將來所開發出來的任何類型的存儲介質，因此也沒有必要在此對各種存儲介質一一列舉。
儘管結合具體步驟和結構描述了本發明，但是本發明不局限於這裡所描述的細節。本申請應當覆蓋所有不偏離本發明的精神和範圍的變化、修改和變型。例如，所述窗口和子窗口可以是任何大小，將所述圖像分割為窗口的操作和將窗口分割為子窗口的操作可以分別在步驟S3和步驟S5之前的任何時候進行。
權利要求
1.一種自適應地二值化灰度文檔圖像的方法，包括均一內容尋找步驟，用於分析灰度文檔圖像，獲得具有均一內容的圖像塊；塊閾值計算步驟，用於對每一個所述圖像塊計算一個二值化閾值；閾值映射步驟，其中將所述灰度文檔圖像分割為窗口，將在所述塊閾值計算步驟獲得的二值化閾值映射到完全或者部分地被任何圖像塊覆蓋的窗口上；閾值擴展步驟，用於基於映射到對應的窗口上的閾值，向其它窗口分配閾值；內插步驟，用於將所述窗口分別分割為子窗口，並通過對窗口的閾值進行線性內插來計算所述子窗口的閾值；以及二值化步驟，用於用相應的閾值對每一個所述子窗口進行二值化，從而完成所述灰度文檔圖像的二值化。
2.如權利要求1所述的方法，其中，所述圖像塊包括文本塊、反色文本塊以及非文本塊。
3.如權利要求1或者2所述的方法，其中，所述閾值映射步驟包括對於被任何非文本塊全部或者部分覆蓋的窗口，僅對包含至少一個邊緣像素的內容窗口賦予相應非文本塊的閾值；對於被任何文本塊或者反色文本塊全部或者部分覆蓋的窗口，對所有窗口賦予相應文本或者反色文本塊的閾值。
4.如權利要求3所述的方法，其中，所述閾值擴展步驟包括首先對背景窗口執行閾值擴展操作，然後對內容窗口執行閾值擴展操作，其中，所述背景窗口是不包含邊緣像素的窗口。
5.如權利要求4所述的方法，其中，所述閾值擴展操作包括按照預定的順序掃描所有有關的窗口，並對每一個有關窗口的4鄰域窗口中已經被賦予閾值的窗口的閾值進行平均而確定該有關窗口的閾值。
6.一種自適應地二值化灰度文檔圖像的設備，包括均一內容尋找裝置，用於分析灰度文檔圖像，獲得具有均一內容的圖像塊；塊閾值計算裝置，用於對每一個所述圖像塊計算一個二值化閾值；閾值映射裝置，其中將所述灰度文檔圖像分割為窗口，將在所述塊閾值計算裝置中獲得的二值化閾值映射到完全或者部分地被任何圖像塊覆蓋的窗口上；閾值擴展裝置，用於基於映射到對應的窗口上的閾值，向其它窗口分配閾值；內插裝置，用於將所述窗口分別分割為子窗口，並通過對窗口的閾值進行線性內插來計算所述子窗口的閾值；以及二值化裝置，用於用相應的閾值對每一個所述子窗口進行二值化，從而完成所述灰度文檔圖像的二值化。
7.如權利要求6所述的設備，其中，所述圖像塊包括文本塊、反色文本塊以及非文本塊。
8.如權利要求6或者7所述的設備，其中，所述閾值映射裝置進一步被配置為對於被任何非文本塊全部或者部分覆蓋的窗口，僅對包含至少一個邊緣像素的內容窗口賦予相應非文本塊的閾值；對於被任何文本塊或者反色文本塊全部或者部分覆蓋的窗口，對所有窗口賦予相應文本或者反色文本塊的閾值。
9.如權利要求8所述的設備，其中，所述閾值擴展裝置進一步被配置為首先對背景窗口執行閾值擴展操作，然後對內容窗口執行閾值擴展操作，其中，所述背景窗口是不包含邊緣像素的窗口。
10.如權利要求9所述的設備，其中，所述閾值擴展裝置被進一步配置為按照預定的順序掃描所有有關的窗口，並對每一個有關窗口的4鄰域窗口中已經被賦予閾值的窗口的閾值進行平均而確定該有關窗口的閾值。
11.一種存儲介質，其特徵在於，在其中存儲了用於實現權利要求1到5之一所述的方法的程序代碼。
全文摘要
本發明涉及用於文檔的自適應二值化的方法、設備和存儲介質。為了改善包含均一內容的文檔圖像的二值化，該方法包括均一內容尋找步驟，獲得具有均一內容的圖像塊；塊閾值計算步驟，對每一圖像塊計算一個二值化閾值；閾值映射步驟，其中將所述圖像分割為窗口，將上面計算得到的二值化閾值映射到被圖像塊覆蓋的窗口上；閾值擴展步驟，基於映射到對應窗口上的閾值向其它窗口分配閾值；內插步驟，用於將窗口分別分割為子窗口，並通過對窗口的閾值進行線性內插來計算子窗口的閾值；以及二值化步驟，用相應的閾值對每一個子窗口進行二值化，從而完成所述圖像的二值化。還提供了用於實現所述方法的設備和存儲介質。本發明可以應用於OCR及圖象增強等。
文檔編號G06K9/38GK1797428SQ200410104810
公開日2006年7月5日 申請日期2004年12月23日 優先權日2004年12月23日
發明者胥立豐, 馬小勇, 趙洪生, 金田北洋 申請人:佳能株式會社