從彩色圖像數據抽取文字方法、裝置及記錄媒體的製作方法
2023-10-08 12:36:49 2
專利名稱：從彩色圖像數據抽取文字方法、裝置及記錄媒體的製作方法
技術領域：
本發明涉及從彩色圖像數據抽取文字的方法、抽取文字裝置及計算機能讀取的記錄媒體。
抽取文字技術用作圖像原稿的文字識別系統的預處理，例如在光讀入裝置中。抽取文字技術還用作圖像編輯系統，例如刪除圖形中文字等。在本發明中，所謂「文字」包括英文字母、阿拉伯數字、羅馬數字、日文假名、漢字或中文、阿拉伯文字等。
在特開平8-123901號公報中公開了一種抽取文字方法及文字抽取和識別裝置。該裝置包括彩色圖像輸入裝置、彩色空間變換裝置、彩色空間區分裝置、將圖像數據變換成二進位數據的裝置、抽取文字裝置及識別文字裝置。在上述文字抽取識別裝置中，輸入的彩色圖像數據被變換成若干彩色範圍，利用該彩色範圍識別文字。但是，上述文字抽取識別裝置沒有公開同時抽取帶有若干彩色文字的方法。
另一方面，彩色原稿和彩色視覺媒體如彩色列印件、彩色複印件、網絡中的捲筒紙等正在增加。例如，網絡中的捲筒紙在各種型式基底、如色彩、式樣、圖形基底等上以各種彩色充滿各種型式文字。因此，在包括圖形的白色或彩色基底上抽取彩色文字的要求正在增加，在相對暗的基底上抽取白色或相對亮的彩色文字的要求正在增加。
本發明就是鑑於上述先有技術所存在的問題而提出來的，本發明的目的在於，提供能從彩色圖像數據同時抽取帶有若干色彩文字的抽取文字方法、抽取文字裝置及計算機能讀取的記錄媒體。
本發明的另一個目的在於，提供能從彩色圖像數據抽取在相對暗色彩基底上若干白色或相對亮色彩文字的抽取文字方法、抽取文字裝置及計算機能讀取的記錄媒體。
為了實現上述目的，本發明提出從彩色圖像數據抽取文字的方法、抽取文字裝置及計算機能讀取的記錄媒體，其包括輸入彩色圖像數據；將輸入的彩色圖像數據分離成若干彩色成份數據；將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；對上述若干雙值化彩色成份數據中的具有相同雙值化值的連接像素製作外接矩形；在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；合併所選擇外接矩形內的雙值化彩色成份數據；輸出上述合併後的雙值化圖像數據。
為了實現上述目的，本發明還提出另一種從彩色圖像數據抽取文字的方法、抽取文字裝置及計算機能讀取的記錄媒體，其包括輸入彩色圖像數據；將輸入的彩色圖像數據分離成若干彩色成份數據；將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；對上述若干雙值化彩色成份數據中的具有光學意義上較暗的相同雙值化值的連接像素製作外接矩形；對上述若干雙值化彩色成份數據中的具有光學意義上較亮的相同雙值化值的連接像素製作外接矩形；在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；將光學意義上較暗的連接像素的外接矩形和光學意義上較亮的連接像素的外接矩形中的雙值化彩色成份數據進行顛倒變換；合併所選擇外接矩形內的雙值化彩色成份數據和經顛倒變換的雙值化彩色成份數據；輸出上述合併後的雙值化圖像數據。
下面說明本發明的效果。
按照本發明的抽取文字方法、抽取文字裝置及計算機能讀取的記錄媒體，通過在各色份之間進行簡單的邏輯運算，能從彩色文書高速抽出濃文字。
按照本發明的抽取文字方法、抽取文字裝置及計算機能讀取的記錄媒體，通過在各色份之間進行簡單的邏輯運算，能從彩色文書高速抽出淡文字。
按照本發明的抽取文字方法、抽取文字裝置及計算機能讀取的記錄媒體，能從彩色文書同時高速抽出濃文字和淡文字。
按照本發明的抽取文字方法、抽取文字裝置及計算機能讀取的記錄媒體，通過考慮外接矩形尺寸等能更高精度地從彩色文書高速抽出文字。
附圖簡要說明如下
圖1表示計算機系統一例；圖2是根據本發明的用於實現抽取文字方法的上述計算機系統100的構成方框圖；圖3是實行本發明的抽取文字方法的動作流程圖；圖4表示原稿90的圖像數據；圖5是表示圖4中文字串和基底、彩色成份的明亮度、若干文字串和基底串的各圖像色彩之間相對關係；圖6是表示某種彩色成份多電平像素值及對像素值進行計數的圖線；圖7表示通過上述步驟S12R、S12G、S12B已被雙值化的彩色成份值；圖8表示紅色份90R上的雙值化紅色成份；圖9表示對文字串「Line1」91中的文字「e」的像素製作外接矩形；圖10表示對雙值化紅色份數據90R中具有相同雙值化數據0數值製作外接矩形；圖11是圖3中步驟S14、即選擇外接矩形步驟的詳細流程圖；圖12表示通過邏輯OR運算對所選擇外接矩形內的彩色成份的合併動作；圖13表示根據本發明從圖3所示原稿抽取的文字串91K、92K和93K；圖14是圖3用於抽取文字串區域的步驟S17的詳細化；
圖15表示通過上述方法由圖4原稿抽取文字串區域；圖16是實行本發明的抽取暗基底上文字方法的動作流程圖；圖17表示對在雙值化數據紅色份90R中具有相同雙值化數據1的像素製作的外接矩形；圖18表示所抽取的文字；圖19是從圖4所示原稿的彩色數據中抽取的相對亮的彩色文字串；圖20A和20B是用於實行根據本發明的文字抽取方法的動作步驟的流程圖；圖21表示暗的彩色文字和亮的彩色文字的合併動作；圖22表示刪除被圍有暗的連接像素的外接矩形復蓋的亮像素的動作；圖23是根據本發明實施例的彩色文字抽取裝置200的方框圖。
下面參照附圖，詳細說明本發明實施例。
圖1表示計算機系統一例，圖2是根據本發明的用於實現抽取文字方法的上述計算機系統100的構成方框圖。如圖1和圖2所示，計算機系統100實現本發明的抽取文字方法，計算機殼體102收納著母板104，該母板104包括CPU106、備用CPU106B及106C、存儲器108(即DRAM、ROM、EPROM、EEPROM、SRAM、SDRAM及可消可再寫入RAM)、局部總線132。母板104還包括用於控制顯示器120的視頻控制裝置110、總線控制裝置130、PCI總線134、SCSI控制裝置136、SCSI總線138。母板104進一步包括串行數據通道152、平行數據通道154、其它備用目的邏輯裝置(即ASIC)或可配置邏輯裝置(即GAL和可重編程序FPGA)。
可更換的硬磁碟驅動器112、DVD驅動器118及卡插座146通過總線138與SCSI相連。硬磁碟驅動器112和DVD驅動器118分別按箭頭A1、A2被設置在計算機殼體102內使用。滑鼠器164與USB通道140相連，圖像掃描器166與USB通道141相連。鍵盤122、接觸區124、軟盤驅動器114、LAN插口144、數據機與PCI總線134相連。通過與SCSI總線138、USB插口140及141或其它插口相連，計算機系統100還可包括光磁碟驅動器、磁帶驅動器、小型磁碟讀/寫驅動器及列印器。該計算機系統100可經LAN通道144或數據機與網絡系統相連。
如上所述，該計算機系統100至少包括一可由計算機讀取的媒體。上述可由計算機讀取的媒體可以是硬磁碟112、DVD-ROM磁碟182、DVD-RAM磁碟、小型磁碟、光磁碟、軟盤、磁帶、PROM(EPROM、EEPROM、可消可再寫入RAM)、DRAM、SRAM、SDRAM等。存儲在可由計算機讀取的媒體之一或一組媒體存儲用於控制計算機100的硬體以及人機對話的軟體，這種軟體可包括例如裝置驅動、作業系統以及用戶應用等。這些可由計算機讀取的媒體還可進一步存儲包括本發明用於抽取文字的電腦程式製作。本發明計算機代碼裝置可以是任何解碼或代碼器械。
圖3是實行本發明的抽取文字方法的動作流程圖。最初，控制計算機系統100實行步驟S10，在該步驟中，彩色圖像數據輸入計算機系統100。接著，在步驟S11，上述圖像數據被分離成紅(Red，以下簡記為R)、藍(Blue，以下簡記為B)、綠(Green，以下簡記為G)成份。單色份處理分別在步驟S12R、S12G、S12B中進行，在步驟S12R，單色份被變換成雙值化數據，在步驟S13R，對具有若干上述雙值化數據的連接像素(圖像單元)製作外接矩形，在步驟S14R中，選擇上述外接矩形，結果，各所選擇矩形確定文字或文字單元。步驟S12G、S13G及S14G、和步驟S12B、S13B及S14B原理分別與上述步驟S12R、S13R及S14R相同。
在步驟S14R、S14G及S14B之後，控制進入步驟S16，在該步驟中，對在所選擇矩形中R、G、B成份的雙值化數據進行合併。在步驟S17，有選擇地抽取文字串區域，在步驟S18，輸出所抽取的文字串的文字和文字區域，輸向例如硬磁碟裝置112或通過LAN插口144經網絡輸向其它計算機等存儲裝置。
下面，將更詳細地描述上述處理各步驟。
在步驟S10，CPU106輸入例如圖4所示原稿90的圖像數據，該圖像數據可以從例如圖像掃描器166、DVD-ROM182、軟盤184、或經LAN插口144或數據機142輸入。該輸出圖像數據可以配置在存儲器108的一部分中。此外，輸出圖像數據可以暫存於硬磁碟112、軟盤184、DVD-RAM等。
該輸出數據可由模擬信號構成，如NTSC型式、像素映像數據、或如JPEG那樣數字壓縮型式數據。當圖像數據以模擬信號輸出時，該輸出信號被變換成像素映像數據型式的數字數據；當圖像數據以壓縮數字數據輸出時，該壓縮數據被展開成像素映像數據，在該像素映像數據中，各像素數據由若干彩色數據構成。例如，圖像掃描器166輸出像素映像數據，所以，當CPU106從圖像掃描器166輸入圖像數據時，不需要進行數據變換。
圖5是表示圖4中文字串和基底、彩色成份的明亮度、若干文字串和基底串的各圖像色彩之間相對關係。在圖5中，「彩色成份強度」表示通過照射白光從原稿90反射的三原色光、即紅、綠、藍的強度。在「彩色成份強度」一欄中，數字範圍從0-255，即一字節數據，數字0表示沒有反射光的成份，數字255表示該成份的最大反射光。換句話說，各彩色成份的光強度被折算成欄中的數值。圖像彩色表示在同一行中由三種彩色成份構成的文字串的色彩和文字串基底的色彩。
比較圖4和圖5，文字串「Line1」91紅色成份為0，綠色成份為0，藍色成份為255，於是，人眼看文字串「Line1」91時為藍色。文字串「Line1」91之下的基底91H紅色成份為255，綠色成份為225，藍色成份為255，於是，人眼看基底91H時為白色。
同樣，人眼看文字串「Line2」92時為在明亮綠基底92H上的簧色，看文字串「Line3」93時為在明亮藍基底93H上的深紅色。於是，人眼看文字串91、92、93時為在相對明亮彩色基底上相對暗的彩色文字串。
文字串「Line4」94被看作由暗的紅基底94H圍住的簧色，文字串「Line5「95被看作由暗的綠基底95H圍住的明亮藍色，文字串「Line6」96被看作由暗的藍基底96H圍住的明亮綠色。於是，人眼看文字串94、95、96時可看作由相對暗的彩色基底圍住的明亮彩色文字串。
回到圖3，在步驟S11，CPU106將輸入的圖像數據以預先設定的加權值如1/1/1分離成若干彩色成份，如紅色成份、綠色成份和藍色成份。上述加權值也可根據抽取文字的目的進行變換，如變換成1/2/1等。CPU106也可將輸入的圖像數據分離成其它型式若干彩色成份，如與列印原色有關的藍綠色成份、深紅色成份及簧色成份。
在本實施例中，通過例如設置多種CPU如CPU106、106B及106C的計算機由若干中央處理裝置及多處理系統能同時對步驟S12R到S14R、步驟S12G到S14G、步驟S12B到S14B進行處理。此外，各並行步驟也可以通過分配同時由多臺計算機在網絡系統中進行。另外，上述步驟S12R到S14R、步驟S12G到S14G、步驟S12B到S14B也可按順序進行處理。
在步驟S12R，CPU106對所分離的紅色成份進行變換，其是一字節數據，將其變換為雙值化或二進位式數據。為了將該分離的紅色成份變換成雙值化數據，步驟S12R可以使用閾值Th0，以便區分該已分離的紅色成份。
下面作為一實例，描述CPU106確定閾值TH0的方法。
圖6是表示某種彩色成份多電平像素值及對像素值進行計數的圖線，水平軸表示像素值，即0-255範圍的值，垂直軸表示對該色彩成份的像素進行計數。當圖像數據的該色彩成份的全部像素被計數時，與像素值0-255相對應的各計數值以縱線表示在圖6中。
表示在圖6中作為TH的值用於區分像素值，即區分0-255範圍，將該範圍分為兩組，左邊組像素具有比TH值小的值，右邊組具有比TH值大的值。接著，CPU106計算在小值組中的像素計數中的偏離值VS，以及在大值組中的像素計數中的偏離值VL。進而，CPU106計算在偏離值VS和偏離值VL之間的偏離值VT。該偏離值VT與值TH對應而不同，當值TH得到最大值VT時，CPU106將該TH值確定為閾值TH0，用以產生雙值化數據。
CPU106還可通過其它方法確定閾值TH0，例如，在彩色成份的像素值中取中間值作為該值，或者取除計數為0之外像素值計數為最小的像素值作為TH0值。
當紅色成份的像素值比閾值TH0小時，CPU106將該像素值變換為0，當像素值比閾值TH0大時，CPU106將該像素值變換為1。於是，多電平紅色成份數據被變換成雙值化數據，即1或0。同樣，在步驟S12G，CPU106B將多電平綠色成份數據變換成雙值化綠色數據，在步驟S12B，CPU106C將多電平藍色成份數據變換成雙值化藍色數據。
圖7表示通過上述步驟S12R、S12G、S12B已被雙值化的彩色成份值，其所涉及的文字串和基底如圖4所示。在圖7中，「雙值化彩色成份」表示三原色、即紅、綠、藍三彩色數據的已變換的雙值化成份數據，也就是說，在該欄中的數值0或1表示三原色數據的已變換的雙值化成份數據。數字0與反射光較低強度、即相對暗的圖像相對應，數字1與反射光較高強度、即相對亮的圖像相對應。
文字串「Line1」91紅色成份的雙值化數據為0，綠色成份的雙值化數據為0，藍色成份的雙值化數據為1，所以，人眼看文字串「Line1」91為藍色。文字串「Line1」91之下的基底91H紅色成份的雙值化數據為1，綠色成份的雙值化數據為1，藍色成份的雙值化數據為1，於是，人眼看基底91H時為白色。
同樣，人眼看文字串「Line2」92時為在白基底92H上的簧色，看文字串「Line3」93時為在白基底93H上的深紅色。也就是說，文字串91、92、93可看作在白基底上的彩色文字串。
另一方面，已雙值化的文字串「Line4」94可看作由黑基底94H圍住的簧色，已雙值化的文字串「Line5」95可看作由黑基底95H圍住的白色，已雙值化的文字串「Line6」96可看作由黑基底96H圍住的白色。也就是說，文字串94、95、96可看作由黑基底圍住的彩色或白色文字串。
圖8表示紅色份90R上的雙值化紅色成份。在本實施例中，這樣的紅色份與紅色有關，同理，綠色份與綠色有關，藍色份與藍色有關，合併數據份與合成色有關。如圖所示，文字串「Line1」91R紅色成份為0，基底91RH紅色成份為1，因此，文字串「Line1」91R在紅色份90R上是可見的。另一方面，文字串「Line2」92和「Line3」93都是數值為1，基底為1，所以，文字串「Line2」92和「Line3」93不可見，也不能與基底區分。同樣，文字串「Line4」94、「Line5」95及「Line6」96都是數值為1，基底為0，所以，文字串「Line4」94、「Line5」95及「Line6」96在紅色份90R上是可見的。
在圖3中的步驟S13R，CPU106對於在雙值化紅色成份數據圖上具有相同雙值化數據的像素製作外接矩形，所連接的像素值既可以是0，也可以是1。這樣，在步驟S13R，CPU106對於具有相同雙值化數據、例如0的像素製作外接矩形。
圖9表示對例如文字串「Line1」91中的文字「e」的像素製作外接矩形，在圖9中，具有0數值的像素以黑正方形BKP表示，具有1數值的像素以白正方形WTP表示。像素尺寸例如可從1/32英寸到1/1200英寸範圍。如圖所示，文字「e」由許多具有0數值的像素構成，因此，CPU106以點(虛)線對黑像素製作外接矩形91R5。其它文字也可用上述方法處理。
圖10表示對雙值化紅色份數據90R中具有相同雙值化數據0數值、即暗像素製作外接矩形。參看圖10，外接矩形91R1-91R6用點線表示，它們對文字串「Line1」91R中的文字或文字單元製作外接矩形。外接矩形946R1是對文字串「Line4」94R、「Line5」95R及「Line6」96R中的基底所製作的外接矩形。
在圖3的步驟S14R中，CPU106選擇上述外接矩形，結果，各所選擇矩形確定了文字或文字單元的外接矩形。為了選擇外接矩形，CPU106使用閾值TH1-TH7。這些閾值TH1-TH7可根據實驗確定，作為常數設於程序代碼中。此外，這些閾值可以根據輸入圖像數據的文字或語言的型式進行變更。更進一步說，這些閾值可通過如鍵盤122、滑鼠器164等輸入裝置由程序用戶特定，也可根據輸入圖像數據的統計學動態分析進行確定。
圖11是圖3中步驟S14、即選擇外接矩形步驟的詳細流程圖。參看圖11，在步驟S14-1，CPU106選擇上述圖10中外接矩形91R1-91R6以及946R1之一以確定其是否可看作文字或文字單元的外接矩形。在步驟S14-2，CPU106判斷該外接矩形的短邊是否比第一閾值TH1大，以及判斷該外接矩形的短邊是否比第二閾值TH2小。當該外接矩形的短邊比第一閾值TH1大且比第二閾值TH2小場合(步驟S14-2的「是」)，則進入步驟S14-3，若判斷結果為步驟S14-2的「否「場合，則移入步驟S14-6。在圖10中例如外接矩形946R1可比第二閾值TH2大，因此，移入步驟S14-6。其它外接矩形91R1-91R6的短邊處於第一閾值TH1和第二閾值TH2之間，因此，當對外接矩形91R1-91R6進行判斷時，進入步驟S14-3。
在步驟S14-3，CPU106判斷該外接矩形的長邊是否比第三閾值TH3大，以及判斷該外接矩形的長邊是否比第四閾值TH4小。當該外接矩形的長邊比第三閾值TH3大且比第四閾值TH4小場合(步驟S14-3的「是」)，則進入步驟S14-4，若判斷結果為步驟S14-3的「否」場合，則移入步驟S14-6。
在步驟S14-4，CPU106判斷該外接矩形的長邊與短邊之比是否比第五閾值TH5大，以及判斷該外接矩形的長邊與短邊之比是否比第六閾值TH6小。當該外接矩形的長邊與短邊之比比第五閾值TH5大且比第六閾值TH6小場合(步驟S14-4的「是」)，則進入步驟S14-5，若判斷結果為步驟S14-4的「否」場合，則移入步驟S14-6。作為一個實例，外接矩形的圖形單元通常是細長的，即外接矩形的長邊與短邊之比通常相當大，處於第五閾值TH5與第六閾值TH6之間，於是，進入步驟S14-5。
在步驟S14-5場合，CPU106判斷該外接矩形中具有相同雙值化數據值的像素數與該外接矩形中所有像素數之比是否比第七閾值TH7大。當上述比值比第七閾值TH7大場合(步驟S14-5的「是」)，則進入步驟S14-7，若判斷結果為步驟S14-5的「否」場合，則移入步驟S14-6。
在步驟S14-6，CPU106刪除在上述步驟S14-2/S14-3/S14-4/S14-5中不成立的外接矩形，因為其沒有被判斷為文字或文字單元的外接矩形。進行刪除後，進入步驟S14-7。
在步驟S14-7，CPU106判斷是否對所有外接矩形進行了確定，當判斷結果為步驟S14-7的「是」場合，則進入圖3中的步驟S16，若判斷結果為步驟S14-7的「否」場合，則返回步驟S14-1，對其它外接矩形重複上述步驟。
舉一個除文字或文字單元外的外接矩形例子，外接矩形的圖像噪音在許多情況下比文字或文字單元的外接矩形小。圖形圖像的外接矩形通常比文字或文字單元的外接矩形大。關於圖形單元，如線、圓、畫等，其外接矩形的長邊與短邊之比通常與文字或文字單元場合不同。圖形單元的外接矩形通常連接像素的密度低，即外接矩形中連接像素數與該外接矩形中所有像素數之比通常比文字或文字單元場合小。基於以上理由，除文字或文字單元外的外接矩形可以被識別而刪除。
當圖10中的所有外接矩形經過上述步驟後，外接矩形946R1被刪除，而外接矩形91R1、91R2、91R3、91R4、91R5及91R6得到保留。於是，在紅成份中，相對亮的彩色基底的文字或文字單元作為在被保留的外接矩形中的數據被抽取出來。
回到圖3，步驟S12G、S13G及S14G、和步驟S12B、S13B及S14B原理分別與上述步驟S12R、S13R及S14R相同。結果，在雙值化綠成份中，文字串「Line1」91G和「Line3」93G的外接矩形被選擇，在雙值化藍成份中，文字串「Line2」92B的外接矩形被選擇。
在步驟S16中，CPU106合併在紅、綠、藍成份下在所選擇的外接矩形中的雙值化圖像數據，合併成合成雙值化圖像數據。為了合併這些圖像數據，CPU106在雙值化彩色數據中對所選取的各相同像素、即在紅、綠、藍單色的相同座標位置實行邏輯運算。可使用邏輯AND作為上述邏輯運算，具有雙值化數據0的文字被合併。當CPU106實行邏輯OR運算時，具有雙值化數據1的文字被合併此外，如果暗像素被表示為1，為了合併在相對亮基底上的暗文字，使用邏輯OR運算。如果暗像素被表示為1，為了合併在相對暗基底上的亮文字、即具有雙值化數據0的文字，使用邏輯AND運算。進一步說，為了抽取特定彩色文字或其它目的，可以使用邏輯NAND運算、邏輯NOR運算、邏輯EXCUSIVE OR運算等和/或它們的組合。
圖12表示通過邏輯OR運算對所選擇外接矩形內的彩色成份的合併動作。所選擇的彩色成份數據為紅色份90R中的紅色成份91R、綠色份90G中的綠色成份91G和93G、藍色份90B中的藍色成份92B。合成份90K具有文字串91K、92K、93K，它們是通過對上述紅、綠、藍份上的雙值化數據進行邏輯AND運算得到的。在合併份90K上也有用點線圍繞合併文字的合併外接矩形。因此，抽取得到圖3中原稿90上的相對亮基底上的文字。
圖13表示根據本發明從圖3所示原稿抽取的文字串91K、92K和93K。該所抽取的文字可以輸出供給其它軟體如文字識別程序、圖像編輯程序等。在圖13中用點線表示的合併外接矩形的數據也可以提供給上述程序。
回到圖3，本發明的文字抽取方法進一步提供動作步驟S17。在步驟S17中，CPU106抽取文字串區域，如字區域、句區域、段區域等，以便有效利用所抽取的文字。
圖14是圖3用於抽取文字串區域的步驟S17的詳細化。在步驟S17-1，CPU106對圖13的合併份90K的左上外接矩形設定指示字P1，以便對合併後的外接矩形進行掃描。在步驟S17-2，CPU106判斷從所指示的外接矩形到右側外接矩形的距離是否小於閾值TH8。舉一個例子，為了抽取英文、德文、法文、西班牙文等字區域，閾值TH8可以設定為比字母之間打字間隙小的值。此外，該閾值TH8也可以與圖13的合成面90K中字母尺寸成比例。為了抽取英文、德文、法文、西班牙文等句子區域，閾值TH8可以設定為比字母寬度小的值。為了抽取日文、中文、朝鮮文等句子區域，閾值TH8可以設定為比文字寬度小的值。
當判斷結果為步驟S17-2的「是「場合，則進入步驟S17-3，若判斷結果為步驟S17-2的「否」場合，則移入步驟S17-4。在步驟S17-3，CPU106合併所指定的外接矩形和右側外接矩形，在步驟S17-4，CPU106增加指示字P1，指定下一個右側外接矩形。
在步驟S17-5，CPU106判斷是否任何矩形都位於指示字P1右側的左方，當判斷結果為步驟S17-5的「是」場合，則返回步驟S17-2，若判斷結果為步驟S17-5的「否」場合，則進入步驟S17-6。在步驟S17-6，CPU106移動指示字P1，指定現在所在行的底下一行的左側矩形。在步驟S17-7，CPU106判斷是否任何矩形都位於指示字P1位置的左側，當判斷結果為步驟S17-7的「是」場合，則返回步驟S17-2，若判斷結果為步驟S17-7的「否」場合，則進入步驟S17-11。
從步驟S17-11到步驟S17-17用於抽取垂直排列文字串區域，例如以垂直方向寫成的日文或中文句字。在步驟S17-11，CPU106對圖13的合併份90K的最上右外接矩形設定指示字P2，以便對合併後的外接矩形進行掃描。在步驟S17-12，CPU106判斷從所指示的外接矩形到下側外接矩形的距離是否小於閾值TH9。該閾值TH9可以按上述TH8的確定方法進行確定。
當判斷結果為步驟S17-12的「是」場合，則進入步驟S17-13，若判斷結果為步驟S17-12的「否」場合，則移入步驟S17-14。在步驟S17-13，CPU106合併所指定的外接矩形和下側外接矩形，在步驟S17-14，CPU106增加指示字P2，指定下側外接矩形。
在步驟S17-15，CPU106判斷是否任何矩形都位於指示字P2下側的左方，當判斷結果為步驟S17-15的「是」場合，則返回步驟S17-12，若判斷結果為步驟S17-15的「否」場合，則進入步驟S17-16。在步驟S17-16，CPU106移動指示字P2，指定現在所在列的左面一列的上側矩形。在步驟S17-17，CPU106判斷是否任何矩形都位於指示字P2位置的左側，當判斷結果為步驟S17-17的「是」場合，則返回步驟S17-12，若判斷結果為步驟S17-17的「否」場合，則進入圖3中的步驟S18。
圖15表示通過上述方法由圖4原稿抽取文字串區域。在圖15中，在合併份90K上產生對文字串畫外接線的各多邊形91KS1、92KS1、93KS1以及矩形91KS2、92KS2、93KS2。於是，其它程序、例如文字識別程序可以使用由上述多邊形和矩形圍成作為文字串的圖像數據。
如上所述，描述了抽取在相對亮的彩色基底上的若干彩色文字或文字串。下面，描述抽取在相對暗的彩色基底上的若干彩色文字或文字串。
圖16是實行本發明的抽取暗基底上文字方法的動作流程圖。在圖16中，與圖3相同部分用相同標號表示，詳細說明省略。參照圖16，在步驟S13R、S13G、S13B中，當CPU106對在雙值化數據紅色成份中具有相同雙值化數據的像素製作外接矩形時，CPU106對具有相同雙值化數據1的像素製作外接矩形。
圖17表示對在雙值化數據紅色份90R中具有相同雙值化數據1的像素製作的外接矩形。參照圖17，外接矩形94R1W-94R6W是用點線圍住文字串「Line4」94R形成的，外接矩形96R1W-96R6W是用點線圍住文字串「Line6」96R形成的，另外，對文字串「Line5」95R也用點線製作外接矩形，但是標號省略。矩形91R1W圍住文字串「Line1 91R的文字e中的基底一部分。
回到圖16，在步驟S14R、S14G、S14B中，CPU106選擇外接矩形，與圖11中所示處理相同，所選擇的外接矩形圍住文字或文字單元。結果，在雙值化紅色成份中，選擇了文字串「Line4」94R、「Line5」95R、「Line6」96R的文字或文字單元的外接矩形。同樣，在雙值化綠色成份中，選擇了文字串「Line4」94G、「Line5」95G、「Line6」96G的文字或文字單元的外接矩形，在雙值化藍色成份中，選擇了文字串「Line5」95B、「Line6」96B的文字或文字單元的外接矩形。在圖17中的矩形91R1W圍住文字e中的基底一部分，類似矩形可出現在其它彩色成份中。這些相對小的矩形可通過圖11所示步驟S14處理過程進行選擇。
在CPU106選擇在彩色成份中圍住具有相同雙值化數據1的連接像素的矩形之後，在步驟S15R中，CPU106對矩形中所有像素數據進行顛倒變換，同樣，在步驟S15G中，CPU106G、在步驟S15B中，CPU106B對矩形中所有像素數據進行顛倒變換，或實行邏輯NOT運算，即雙值化數據1被顛倒變換為0，雙值化數據0被顛倒變換為1。
在步驟S16中，CPU106將上述在紅、綠、藍成份中所選取的矩形中已顛倒變換的雙值化圖像數據合併成合成的雙值化圖像數據。為了合併上述圖像數據，CPU106對在紅、綠、藍成份中所選取的矩形中已顛倒變換的雙值化圖像數據進行邏輯AND運算。圖18表示所抽取的文字94W、95W、96W，它們是從圖4所示原稿的具有相對暗基底的彩色數據中抽取而得的。
回到圖16，在步驟S17中，CPU106抽取文字串的區域，如字區域、句區域等，圖19是從圖4所示原稿的彩色數據中抽取的相對亮的彩色文字串，其包括點線多邊形94WS1、95WS1、96WS1，點線矩形94WS2、95WS2、96WS2。
圖20A和20B是用於實行根據本發明的文字抽取方法的動作步驟的流程圖。在圖20A和20B中，與圖3所示步驟相同部分用同一標號表示。在步驟S11中，圖像數據被分離成紅、綠、藍成份。單成份處理分別在步驟S12R、S12G、S12B中進行，在步驟S12R，單成份被變換成雙值化數據，在步驟S13R，對具有雙值化數據1的若干暗的連接像素、即光學上較暗像素製作外接矩形，在步驟S14R中，選擇上述外接矩形，結果，各所選擇矩形圍住文字或文字單元。步驟S12G、S13G及S14G、和步驟S12B、S13B及S14B原理分別與上述步驟S12R、S13R及S14R相同。
在步驟S14R、S14G及S14B之後，控制進入步驟S16，在該步驟中，對在所選擇矩形中R、G、B成份的雙值化數據進行合併。在步驟S17，上述已合併的雙值化數據被有選擇地連接為文字串。在步驟S19R，對具有雙值化數據0的若干亮的連接像素、即光學上較亮像素製作外接矩形，在步驟S20R中，選擇上述外接矩形，結果，各所選擇矩形圍住文字或文字單元。在步驟S21R，對在選擇外接矩形中的所有像素數據進行顛倒變換。步驟S19G、S20G及S21G、和步驟S19B、S20B及S21B原理分別與上述步驟S19R、S20R及S21R相同。
在步驟S22，在所選擇外接矩形中被顛倒變換的雙值化數據以紅、綠、藍成份被合併。在步驟S23，可選擇地對上述合併的數據抽取亮文字串區域。在步驟S24，刪除經顛倒變換的被圍有暗的連接像素的外接矩形復蓋的亮像素。在步驟S25，上述經合併的暗的連接像素和經合併的已顛倒變換的亮的連接像素被進一步合併。在步驟S26，輸出所抽取的文字串。
圖21表示暗的彩色文字和亮的彩色文字的合併動作。當CPU106通過圖20A的步驟S17對圖4所示圖像數據進行處理後，在第二份90K上，形成多邊形91KS1、92KS1、93KS1以及矩形91KS2、92KS2、93KS2，並且，由上述多邊形和矩形所圍住的暗的文字串被抽取出來。當CPU106通過圖20B的步驟S23進行處理後，在第一份90W上，形成多邊形94WS1、95WS1、96WS1以及矩形94WS2、95WS2、96WS2，並且，由上述多邊形和矩形所圍住的經顛倒變換的亮的文字串被抽取出來。在步驟S20R、S20G、S20B中，形成矩形91WS1、92WS1、93WS1，並且，根據矩形選擇條件，由上述矩形所圍住的亮的文字部分被抽取出來。
圖22表示刪除被圍有暗的連接像素的外接矩形復蓋的亮像素的動作。在圖22中，矩形91WS1圍住已顛倒變換的亮的連接像素(圖中用像素W表示)，多邊形93WS1圍住暗的連接像素(圖中用像素K表示)。已顛倒變換的亮的連接像素位於多邊形93WS1之內，因此，CPU106在圖20B的步驟S24中刪除該像素W。此外，表示在圖21中的矩形92WS1和93WS1中的已顛倒變換的亮的連接像素也同樣刪除。
在圖21的第三份90F上，形成多邊形91S1、92S1、93S1、94S1、95S1、96S1以及矩形91S2、92S2、93S2、94S2、95S2、96S2，並且，由上述多邊形和矩形所圍住的暗的和亮的文字串被抽取出來。
圖23是根據本發明實施例的彩色文字抽取裝置200的方框圖，在圖23中，該彩色文字抽取裝置200包括數據輸入裝置211，彩色分離裝置212，變換裝置221RK、221GK、221BK、221RW、221GW、221BW，外接矩形裝置222RK、222GK、222BK、222RW、222GW、222BW，矩形選擇裝置223RK、223GK、223BK、223RW、223GW、223BW，顛倒變換裝置215R、215G、215B，六輸入「或」門224。
數據輸入裝置211接收到所輸入的圖像數據，彩色分離裝置212將該輸入的圖像數據分離成若干彩色成份，如紅、綠、藍成份。像素的各分離的彩色成份以多電平值構成。被分離的紅色數據輸出到變換裝置221RK和221RW，被分離的綠色數據輸出到變換裝置221GK和221GW，被分離的藍色數據輸出到變換裝置221BK和221BW。各變換裝置221RK、221GK、221BK、221RW、221GW、221BW將輸入的多電平數據變換成雙值化數據，向外接矩形裝置222RK、222GK、222BK、222RW、222GW、222BW輸出上述雙值化數據。
各外接矩形裝置222RK、222GK、222BK、222RW、222GW、222BW設有控制終端CTL，當該控制終端CTL被固定於0時，則各外接矩形裝置對各具有雙值數據0的連接像素、即暗的像素外接矩形。當該控制終端CTL被固定於1時，則各外接矩形裝置對各具有雙值數據1的連接像素、即亮的像素外接矩形。然後，各外接矩形裝置222RK、222GK、222BK、222RW、222GW、222BW輸出矩形數據，並且輸出所圍住的雙值化的連接像素數據，將上述數據輸向矩形選擇裝置223RK、223GK、223BK、223RW、223GW、223BW。
矩形選擇裝置223RK、223GK、223BK、223RW、223GW、223BW根據預先設定的參數選擇所輸入的矩形，例如，矩形長邊和短邊的長度，矩形長邊與短邊長度之比等。另外，在矩形中具有相同雙值化數據的連接像素數與所有像素之比也可以作為上述參數之一。
矩形選擇裝置223RK、223GK、223BK向六輸入「或」門224輸出所選擇矩形中具有雙值數據0的連接像素。矩形選擇裝置223RW、223GW、223BW向顛倒變換裝置215R、215G、215B輸出所選擇矩形中具有雙值數據1的連接像素。顛倒變換裝置215R、215G、215B顛倒變換所輸入的數據，即將雙值數據1顛倒變換成0，並且，反過來也行。六輸入「或」門224向外部裝置輸出六輸入的邏輯AND作為抽取文字數據。
如上所述，彩色文字抽取裝置200設有六套變換裝置、外接矩形裝置、矩形選擇裝置。但是，彩色文字抽取裝置200也可通過一套變換裝置、外接矩形裝置和矩形選擇裝置進行彩色文字抽取。在那種結構中，彩色文字抽取裝置200對於各分離彩色成份的暗像素和亮像素順序進行上述處理過程，進行彩色文字抽取。
當然，本發明並不局限於上述實施例，在本發明技術思想範圍內可以對本發明作種種變型，這些都屬於本發明保護範圍。
權利要求
1.一種從彩色圖像數據抽取文字的方法，其特徵在於，包括下列步驟輸入彩色圖像數據；將輸入的彩色圖像數據分離成若干彩色成份數據；將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；對上述若干雙值化彩色成份數據中的具有相同雙值化值的連接像素製作外接矩形；在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；合併所選擇外接矩形內的雙值化彩色成份數據；輸出上述合併後的雙值化圖像數據。
2.根據權利要求1中所述的抽取文字方法，其特徵在於，具有相同雙值化值的連接像素是雙值化值中光學意義上較暗的像素。
3.根據權利要求1中所述的抽取文字方法，其特徵在於，具有相同雙值化值的連接像素是雙值化值中光學意義上較亮的像素。
4.根據權利要求1中所述的抽取文字方法，其特徵在於，分離步驟將輸入的彩色圖像數據分離成紅色成份數據、綠色成份數據和藍色成份數據。
5.根據權利要求1中所述的抽取文字方法，其特徵在於，分離步驟將輸入的彩色圖像數據分離成藍綠色成份數據、深紅色成份數據和黃色成份數據。
6.根據權利要求1中所述的抽取文字方法，其特徵在於，分離步驟通過以預定比率進行加權將輸入的彩色圖像數據分離成彩色成份數據。
7.根據權利要求1中所述的抽取文字方法，其特徵在於，合併步驟包括邏輯運算。
8.根據權利要求1中所述的抽取文字方法，其特徵在於，選擇外接矩形步驟包括以矩形中連接像素數與全部像素數的比值選擇矩形。
9.根據權利要求1中所述的抽取文字方法，其特徵在於，選擇外接矩形步驟包括以矩形的短邊長度與長邊長度之比值選擇矩形。
10.根據權利要求1中所述的抽取文字方法，其特徵在於，進一步包括合併若干所選擇的矩形，合併後的輪廓線圍住文字串；輸出合併後輪廓線內的圖像數據。
11.一種從彩色圖像數據抽取文字的方法，其特徵在於，包括下列步驟輸入彩色圖像數據；將輸入的彩色圖像數據分離成若干彩色成份數據；將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；對上述若干雙值化彩色成份數據中的具有光學意義上較暗的相同雙值化值的連接像素製作外接矩形；對上述若干雙值化彩色成份數據中的具有光學意義上較亮的相同雙值化值的連接像素製作外接矩形；在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；將光學意義上較暗的連接像素的外接矩形和光學意義上較亮的連接像素的外接矩形中的雙值化彩色成份數據進行顛倒變換；合併所選擇外接矩形內的雙值化彩色成份數據和經顛倒變換的雙值化彩色成份數據；輸出上述合併後的雙值化圖像數據。
12.根據權利要求11中所述的抽取文字方法，其特徵在於，進一步包括當一選擇矩形在另一個矩形之內時，則在上述合併步驟之前刪除該一選擇矩形內的經顛倒變換的雙值化彩色成份數據。
13.根據權利要求11中所述的抽取文字方法，其特徵在於，分離步驟將輸入的彩色圖像數據分離成紅色成份數據、綠色成份數據和藍色成份數據。
14.根據權利要求11中所述的抽取文字方法，其特徵在於，分離步驟將輸入的彩色圖像數據分離成藍綠色成份數據、深紅色成份數據和黃色成份數據。
15.根據權利要求11中所述的抽取文字方法，其特徵在於，分離步驟通過以預定比率進行加權將輸入的彩色圖像數據分離成彩色成份數據。
16.根據權利要求11中所述的抽取文字方法，其特徵在於，合併步驟包括邏輯運算。
17.根據權利要求11中所述的抽取文字方法，其特徵在於，選擇外接矩形步驟包括以矩形中連接像素數與全部像素數的比值選擇矩形。
18.根據權利要求11中所述的抽取文字方法，其特徵在於，選擇外接矩形步驟包括以矩形的短邊長度與長邊長度之比值選擇矩形。
19.根據權利要求11中所述的抽取文字方法，其特徵在於，進一步包括合併若干所選擇的矩形，合併後的輪廓線圍住文字串；輸出合併後輪廓線內的圖像數據。
20.一種可由計算機讀取的記錄媒體，載有用於從彩色圖像數據中抽取文字的一或多個指令序列，該一或多個指令序列包括指令，當通過一或多個處理裝置實行時，上述指令使一或多個處理裝置實行下列步驟輸入彩色圖像數據；將輸入的彩色圖像數據分離成若干彩色成份數據；將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；對上述若干雙值化彩色成份數據中的具有相同雙值化值的連接像素製作外接矩形；在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；合併所選擇外接矩形內的雙值化彩色成份數據；輸出上述合併後的雙值化圖像數據。
21.一種可由計算機讀取的記錄媒體，載有用於從彩色圖像數據中抽取文字的一或多個指令序列，該一或多個指令序列包括指令，當通過一或多個處理裝置實行時，上述指令使一或多個處理裝置實行下列步驟輸入彩色圖像數據；將輸入的彩色圖像數據分離成若干彩色成份數據；將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；對上述若干雙值化彩色成份數據中的具有光學意義上較暗的相同雙值化值的連接像素製作外接矩形；對上述若干雙值化彩色成份數據中的具有光學意義上較亮的相同雙值化值的連接像素製作外接矩形；在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；將光學意義上較暗的連接像素的外接矩形和光學意義上較亮的連接像素的外接矩形中的雙值化彩色成份數據進行顛倒變換；合併所選擇外接矩形內的雙值化彩色成份數據和經顛倒變換的雙值化彩色成份數據；輸出上述合併後的雙值化圖像數據。
22.一種從彩色圖像數據抽取文字的裝置，其特徵在於，包括數據輸入裝置，用於輸入彩色圖像數據；彩色分離裝置，將輸入的彩色圖像數據分離成若干彩色成份數據；變換裝置，將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；外接矩形裝置，對上述若干雙值化彩色成份數據中的具有相同雙值化值的連接像素製作外接矩形；矩形選擇裝置，在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；合併裝置，合併所選擇外接矩形內的雙值化彩色成份數據；數據輸出裝置，輸出上述合併後的雙值化圖像數據。
23.一種從彩色圖像數據抽取文字的裝置，其特徵在於，包括數據輸入裝置，用於輸入彩色圖像數據；彩色分離裝置，將輸入的彩色圖像數據分離成若干彩色成份數據；變換裝置，將若干彩色成份數據相應地變換成若干雙值化彩色成份數據；第一外接矩形裝置，對上述若干雙值化彩色成份數據中的具有光學意義上較暗的相同雙值化值的連接像素製作外接矩形；第二外接矩形裝置，對上述若干雙值化彩色成份數據中的具有光學意義上較亮的相同雙值化值的連接像素製作外接矩形；矩形選擇裝置，在若干雙值化彩色成份數據中，根據外接矩形尺寸選擇外接矩形；顛倒變換裝置，將光學意義上較暗的連接像素的外接矩形和光學意義上較亮的連接像素的外接矩形中的雙值化彩色成份數據進行顛倒變換；合併裝置，合併所選擇外接矩形內的雙值化彩色成份數據和經顛倒變換的雙值化彩色成份數據；數據輸出裝置，輸出上述合併後的雙值化圖像數據。
全文摘要
本發明涉及從彩色圖像數據抽取文字的方法、裝置及計算機能讀取的記錄媒體。上述裝置包括:數據輸入裝置,彩色分離裝置,將彩色成份數據變換成雙值化數據的變換裝置,對雙值化彩色成份數據中的具有相同雙值化值的連接像素製作外接矩形的外接矩形裝置,矩形選擇裝置,合併所選擇外接矩形內的雙值化彩色成份數據的合併裝置及數據輸出裝置。能從彩色圖像數據同時高速抽取帶有若干色彩的文字。
文檔編號G06K9/38GK1261190SQ00101119
公開日2000年7月26日 申請日期2000年1月18日 優先權日1999年1月19日
發明者水納亨 申請人:株式會社理光