圖像校正裝置及圖像校正方法
2023-10-08 16:22:29
專利名稱：圖像校正裝置及圖像校正方法
技術領域：
本發明涉及在利用手持掃描儀等對文件等的原稿進行攝影的圖像中產生的字符行等的傾斜或彎曲進行校正的圖像校正裝置及圖像校正方法。
背景技術：
此前，已經提出種種可對利用掃描儀等對文件原稿進行攝影，並對攝影的圖像進行OCR(光學字符識別)識別處理以進行字符識別的技術。
特別是，在使用者利用手持掃描儀等比較小型的掃描儀在原稿上描繪對圖像進行攝影的這種方式的裝置中，根據使用者的使用方法，使攝影時的掃描方向相對原稿的字符等的排列方向在固定方向上掃描是困難的。因此，結果在攝影的圖像中與原稿相比較有時發生傾斜及彎曲。其結果，在該傾斜及彎曲程度很大時，存在不能將字符正確掃出，使字符識別率下降的問題。
作為這種圖像的傾斜及彎曲的校正方法，已提出的有，比如，將字符圖像作為由二維配置的像素的集合體組成的圖像數據，將每個像素的亮度值二值化作為二維的二值化圖像數據，設定相對各像素互相平行的多根掃描線進行掃描，使顯示二值化圖像數據的字符圖像的數據對每一根掃描線累積，通過對該累積值求出與掃描線正交方向的分布而製作投影輪廓，根據此投影輪廓的分散值求出施轉校正量的方法(比如，參照日本專利第3108979號公報)。
不過，在如前所述的圖像校正方法中，存在的問題是，雖然由於使字符要素單位移位，可以對每個字符的彎曲進行校正，但不能校正字符要素本身的畸變，結果在以後的OCR等處理中，不能進行合適的字符識別。
發明內容
本發明系有鑑於這種問題，目的是提供一種可以在校正字符要素行的彎曲或傾斜的同時，校正字符要素本身的畸變的圖像校正方法。
本發明的圖像校正裝置的特徵在於，其構成包括輸入包含多個字符要素行的圖像的圖像輸入單元；從多個字符要素行檢測規定的字符要素行的行檢測單元；對規定的字符要素行，對每個像素列計算出列方向的位置校正量的校正量計算單元；以及根據對規定方向的每個像素列計算出的位置校正量，使圖像的各像素列的位置在列方向上移動進行校正的位置校正單元。
根據這種構成，因為進行使構成圖像的全部像素列在列方向上移動的校正，不僅可以校正字符要素行的彎曲及傾斜，也可以對各字符要素的畸變進行校正。
另外，行檢測單元，其構成也可以具有製作圖像的行方向的累積直方圖的直方圖製作單元，根據累積直方圖檢測最長的字符要素行。
根據這種構成，通過計算圖像的累積直方圖這樣的簡易處理，可以在抑制運算單元的負荷的同時，選擇應該計算位置校正量的規定的字符要素行。
此外，行檢測單元，其構成也可以是具有抽出由直方圖製作單元製作的累積直方圖的值為最大的像素位置的像素位置抽出單元，根據像素位置檢測最長的字符要素行。
根據這種構成，可以檢測包含累積直方圖的值為最大的像素位置的字符要素行而檢測規定的字符要素行。
此外，行檢測單元的構成也可以是具有利用像素位置抽出單元抽出的像素位置，使累積直方圖的值成為規定的範圍內的像素位置的範圍確定為最長的字符要素行的範圍確定單元。
根據這種構成，通過預先確定規定的範圍，可以簡易明確地確定規定的字符要素行。
另外，校正量計算單元，其構成也可以是具有對規定的字符要素行的每個字符要素檢測列方向的端部位置的端部位置檢測單元，根據每個字符要素的端部位置的偏離量計算出位置校正量。
根據這種構成，因為對規定的字符要素行對各字符要素每一個都進行檢測其列方向的端部位置的處理，與對圖像中的全部字符要素行進行運算處理的場合比較，運算單元的負荷可以減小。
此外，校正量計算單元，其構成也可以是根據將端部位置檢測單元檢測的端部位置對每個字符要素連接的包絡線計算出偏離量。
根據這種構成，通過對規定的字符要素行各字符要素每一個都計算出包絡線的簡易處理，可計算出偏離量。
另外，本發明的圖像校正裝置，也可以是其構成包括輸入包含多個字符要素行的圖像的圖像輸入單元；製作圖像的行方向的累積直方圖的直方圖製作單元；抽出由直方圖製作單元製作的累積直方圖的值為最大的像素位置的像素位置抽出單元；利用由像素位置抽出單元抽出的像素位置，使累積直方圖的值成為規定的範圍內的像素位置的範圍確定為最長的字符要素行的範圍的範圍確定單元；對最長的字符要素行的每個字符要素檢測圖像列方向的端部位置的端部位置檢測單元；根據將端部位置檢測單元檢測的端部位置對每個字符要素連接的包絡線計算出端部位置的每個字符要素的偏離量作為位置校正量的位置校正量計算單元；以及根據位置校正量，使圖像的各像素列的位置在列方向上移動進行校正的位置校正單元。
利用這種構成，不僅也可以校正字符列的彎曲及傾斜，還可以對各字符要素的畸變進行校正。
下面，本發明的圖像校正裝置的特徵在於其構成包括輸入包含多個字符要素行的第1圖像的圖像輸入單元；使第1圖像在行方向上擴展製作包含多個擴展行的第2圖像的擴展行製作單元；對第2圖像的每個像素列檢測擴展行的列方向的開始位置的開始位置檢測單元；對第2圖像的每個像素列，計算出列方向的位置校正量的校正量計算單元；以及根據位置校正量，使第1圖像的每個像素列的位置在列方向上移動進行校正的位置校正單元。
利用這種構成，不僅可以校正字符列的彎曲及傾斜，還可以對各字符要素的畸變進行校正。
其次，本發明的圖像校正裝置的特徵在於其構成包括輸入包含多個字符要素行的第1圖像的圖像輸入單元；使第1圖像在行方向上擴展製作包含多個擴展行的第2圖像的擴展行製作單元；對第2圖像的每個像素列計算出列方向的位置校正量的校正量計算單元；以及根據位置校正量，使第1圖像的各像素列的位置在列方向上移動進行校正的位置校正單元。
利用這種構成，因為檢測擴展行的列方向的開始位置而確定構成字符要素行的像素位置的範圍，與檢測字符全體的存在的範圍的場合相比較，各字符要素行之間重合的可能性很小，可以高精度地分離字符要素行。因此，無論是多少字符要素行被傾斜攝影時，對彎曲和傾斜同時進行校正也是可能的。
另外，第2圖像的構成也可以是用亮度值0或1的值表示的二值化圖像。
利用這種構成，因為可以在削減存儲器的使用量等、迅速進行處理的同時，減小運算單元的負擔，所以可以很容易地裝載到可攜式的信息設備中。
另外，開始位置檢測單元的構成也可以是對擴展行的列方向的開始位置的檢測，在對每個像素列在列方向上移動注目像素的同時檢測注目像素的亮度值，在亮度值為0的像素在像素大於等於規定的數目連續時，就將檢測最初亮度值為0的像素的位置作為開始位置。
利用這種構成，因為可以降低將由於汙物等引起的噪聲信息當作是字符信息的可能性，可以進行更合適的圖像校正。
另外，開始位置檢測單元的構成，也可以是將擴展行的列方向的開始位置的檢測對多個擴展行分別進行，校正量計算單元，根據多個擴展行各自的列方向的開始位置分布的平均值，計算出位置校正量。
根據這種構成，比較難以受到像「j」及「p」等比其他字符向下突出的字符的影響，可以進行更合適的圖像校正。
其次，本發明的圖像校正裝置的特徵在於其構成包括輸入包含多個字符要素行的二值化的第1圖像的圖像輸入單元；使第1圖像在行方向上擴展製作包含多個擴展行的第2圖像的擴展行製作單元；對第2圖像的每個像素列在列方向上移動注目像素的同時檢測注目像素的亮度值，在亮度值為0的像素在像素大於等於規定的數目連續時，就將檢測最初亮度值為0的像素的位置作為擴展行的開始位置的開始位置檢測單元；根據多個擴展行的列方向的開始位置分布的平均值，計算出第2圖像的每個像素列的位置校正量的校正量計算單元；以及根據位置校正量，使第1圖像的各像素列的位置在列方向上移動進行校正的位置校正單元。
利用這種構成，因為檢測擴展行開始位置而確定字符要素行的下端位置的範圍，與檢測字符全體的存在範圍的場合相比較，各字符行之間重合的可能性很小，可以高精度地分離字符要素行。因此，即使是字符要素行略為傾斜被攝影時，對彎曲和傾斜同時進行校正也是可能的。
其次，也可以構成具備本發明的圖像校正裝置的信息裝置及便攜電話裝置。
利用這種構成，因為可以容易進行對經過了傾斜及彎曲以及字符要素的畸變的圖像校正的字符識別等的字符的輸入等，特別是在裝載OCR功能等的字符識別功能的信息裝置及便攜電話裝置中，可以提高其字符讀取的精度。
其次，本發明的圖像校正方法的特徵在於，其構成包括從包含多個字符要素行的圖像檢測規定的字符要素行的第1步驟；對規定的字符要素行的每個像素列計算出位置校正量的第2步驟；以及根據位置校正量，使圖像的各像素列在列方向上移動而進行校正的第3步驟。
根據這種方法，因為進行使構成圖像的全部像素列在列方向上移動的校正，不僅可以校正字符列的彎曲及傾斜，也可以對各字符要素的畸變進行校正。
另外，本發明的圖像校正方法的特徵在於，其構成也可以是包括使包含多個字符要素行的第1圖像在行方向上擴展製作包含多個擴展行的第2圖像的第1步驟；對第2圖像的每個像素列檢測擴展行的列方向的開始位置的第2步驟；以及根據擴展行的列方向的開始位置的信息，使擴展行的列方向的位置對齊而對第1圖像的位置進行校正的第3步驟。
利用這種方法，因為檢測擴展行開始位置而確定構成字符要素行的下端位置的範圍，與檢測字符全體的存在範圍的場合相比較，各字符要素行之間重合的可能性很小，可以高精度地分離字符要素行。因此，即使是字符要素行略為傾斜攝影時，對彎曲和傾斜同時進行校正也是可能的。
圖1為示出本發明的實施方式1的圖像校正方法的處理步驟的流程圖。
圖2為示出本發明的實施方式1的圖像校正裝置的構成的一例的框圖。
圖3A為示出本發明的實施方式1的原圖像的一例的示圖。
圖3B為示出本發明的實施方式1的經過傾斜校正的圖像的一例的示圖。
圖4為示出本發明的實施方式1的水平方向累積直方圖的一例的示圖。
圖5為示出本發明的實施方式1的黑像素下端位置的檢測結果的一例的示圖。
圖6為示出本發明的實施方式1的垂直位置偏離量的檢測結果的一例的示圖。
圖7為示出本發明的實施方式1的經過彎曲校正的圖像的一例的示圖。
圖8為示出本發明的實施方式2的圖像校正方法的處理步驟的流程圖。
圖9為示出本發明的實施方式2的圖像校正裝置的構成的一例的框圖。
圖10為示出本發明的實施方式2的原圖像的一例的示圖。
圖11為示出本發明的實施方式2的二值化圖像的一例的示圖。
圖12為示出本發明的實施方式2的水平擴展處理的步驟的流程圖。
圖13為示出本發明的實施方式2的水平擴展處理的內容的說明概圖。
圖14為示出本發明的實施方式2的水平擴展圖像的一例的示圖。
圖15為示出本發明的實施方式2的擴展字符行的開始位置的檢測處理的步驟的流程圖。
圖16為示出本發明的實施方式2的擴展字符行的開始位置的直方圖。
圖17為示出本發明的實施方式2的擴展字符行的開始位置的分布的示圖。
圖18為示出本發明的實施方式2的擴展字符行的開始位置的相對偏離量的分布的示圖。
圖19為示出本發明的實施方式2的經過校正的圖像的一例的示圖。
圖20A為示出裝載本發明的實施方式3的圖像校正裝置的便攜電話裝置的正面圖。
圖20B為示出裝載本發明的實施方式3的便攜電話裝置的圖像校正裝置的端部的主要部分的斜視圖。
具體實施例方式
下面利用附圖對本發明的實施方式予以詳細說明。
(實施方式1)首先，作為實施方式1，對本發明的圖像校正裝置及圖像校正方法予以說明。
圖1為示出本發明的實施方式1的圖像校正方法的處理步驟的流程圖。另外，圖2示出用來實行本發明的實施方式1的圖像校正方法的圖像校正裝置40的構成的一例。
如圖2所示，本發明的實施方式1的圖像校正裝置40的構成包括讀取字符及圖形等的原稿，進行其圖像輸入的圖像輸入單元1；與圖像輸入單元1相連接並根據輸入到圖像輸入單元1的圖像進行後述的各種處理的CPU2；對輸入到圖像輸入單元1的圖像進行存儲的幀存儲器等存儲單元3；以及與CPU2相連接並將各種運算的結果信息及必需的信息向使用者顯示的顯示單元5。
作為圖像輸入單元1，可以從光學器件等公知的手持掃描儀等使用的器件中選擇使用。
存儲單元3，與CPU2相連接，作為其存儲媒體可以使用公知的閃速存儲器等。
顯示單元5，可以從公知的顯示器件，比如，LCD(液晶顯示器)、EL(電致發光)及CRT(陰極射線管)等之中任意選擇。
下面按照圖1對本發明的實施方式1的圖像校正方法的處理步驟予以說明。
首先，將利用圖像輸入單元1攝影的圖像(以下稱其為原圖像)經CPU2裝入(展開)到存儲單元3(S1)。
圖3A示出此原圖像10的一例。圖3A所示的原圖像10，是將利用圖像輸入單元1攝影的部分圖像合成而得到的圖像，使用者手動掃描時的掃描方向和字符的行方向形成的角度的差影響很大，字符行的方向會發生傾斜。此外，由於利用圖像輸入單元1在原稿上描繪時的軌跡，相對字符行的方向是彎曲的，圖3A所示的原圖像10發生彎曲。另外，在本實施方式中，原圖像10，是二維配置的像素的集合體，各個像素的亮度值是多值(256色調)的黑白圖像。
另外，在本實施方式中，作為根據圖像輸入單元1的圖像攝影裝置，採用256×16像素的CCD。另外，作為用於展開圖像的存儲單元3採用相對圖3A的紙面水平方向(橫)×對紙面垂直方向(縱)＝1000×400像素的幀存儲器。
下面，CPU2，對存儲於存儲單元3中的原圖像10，實行校正整個圖像的傾斜的處理(S2)。本發明，對於此傾斜的校正處理沒有任何限定，可以採用公知的方法。比如，在日本專利特開平1-156887號公報中揭示的使原圖像10轉動多個角度，計算出行方向的直方圖，確定使其直方圖的寬度變為最小的角度作為應該使原圖像10轉動的角度的使原圖像10轉動的方法。既可以採用這種方法，也可以採用其他任何方法。
圖3B示出進行這種傾斜校正處理的經過了傾斜處理的圖像11的一例。此處，示出的經過傾斜校正的圖像11是由濃度值為「1」的黑像素和濃度值為「0」的白像素構成的所謂的二值化的圖像的示例。經過傾斜校正的圖像11具有4個字符行(圖3B中的A～D)。另外，在本說明書中，所謂的字符行指的是記載字符的方向(比如，在圖3B中的X軸方向)的字符要素的連接體。
在將經過傾斜校正的圖像11和原圖像10進行比較時，雖然整個圖像的傾斜得到校正，但上述的彎曲卻依然保留。下面對本實施方式的圖像的彎曲的校正方法予以說明。
再返回圖1，CPU2，為了檢測行方向(圖3B中的X軸方向)上最長的字符行，對存儲於存儲單元3中的經過傾斜校正的圖像11，針對圖3B中的各垂直像素位置，計數每個水平線水平方向的黑像素的數目(濃度值相加)而計算出累積直方圖(S3)。
另外，在本說明書中，構成原圖像10的圖像數據的水平方向的像素的連接體記作水平線，將垂直方向的像素的連接體記作垂直線。
圖4為對圖3B所示的經過傾斜校正的圖像11計算出的水平方向累積直方圖的結果。在圖4中，在橫軸上示出圖像的垂直方向的像素位置(示出的是向著圖3B的紙面以左上角為原點O的示例)，在縱軸上畫出的是黑像素的數目。
從圖4可知，在本實施方式中，計算出的黑像素的直方圖，分成為4個山部(A～D)。這些山部，分別與圖3B所示的經過傾斜校正的圖像11的上述的4個字符行(A～D)相對應。
接著，CPU2，從上述的步驟S3計算出的水平方向的累積直方圖，計算出黑像素數目最大的垂直方向的像素位置，將包含最大值的山部看作是長度最長的字符行(S5)。在本實施方式中，因為山部B包含黑像素數目最大的垂直方向的像素位置，可以將字符行B看作是最長的字符行。
此外，CPU2，對長度被看作是最大的山部B，確定相對應的字符行的垂直方向的寬度(S5)。具體言之，將成為相對黑像素數目為最大值所規定的比例R％的垂直方向的像素位置範圍(在圖4中以W表示的範圍)確定為最長字符行範圍W。R設定為可以和鄰接的字符行分離的值。實用上通過設定R＝30％左右就可以可靠地進行字符行分離。
通過迄今為止的處理步驟，可以確定用來確定應該進行彎曲校正的量的垂直方向的最長字符行範圍W。
之後，在確定為最長字符行範圍W的垂直方向的像素位置範圍中，CPU2，對圖3B所示的經過傾斜校正的圖像11上從原點起向著X軸方向順序地垂直每次1線向著圖3B的紙面從下側起進行掃描，將最先檢測黑像素的位置確定為黑像素下端位置。這一處理對全部垂直線進行(S6)。
圖5為示出對圖3B所示的經過傾斜校正的圖像11的全部垂直線的黑像素下端位置的檢測結果的示圖。為簡單說明起見，在圖5中，對經過傾斜校正的圖像11重疊顯示。
正如觀察圖5所了解的，可知對於字符行B(嚴格講最長字符行範圍W)，對構成字符行的每個字符要素，檢測最下端的黑像素下端位置。
返回圖1，之後CPU2，在圖5所示的計算結果中，計算出連接向著黑像素下端位置的紙面為最下側的點的包絡線，確定為垂直位置偏離量(S7)。具體言之，將由黑像素下端位置為「0」的垂直線夾著的區域假定為1字符要素，對構成各字符要素的每個區域，檢測最下側的黑像素下端位置，以直線將鄰接的各字符每一個的黑像素下端位置之間連接起來，對各垂直線每一根計算出在垂直方向上應該校正的垂直位置偏離量。圖6示出垂直位置偏離量的檢測結果的一例。
之後，CPU2，根據圖6所示的垂直位置偏離量，計算出各垂直線每一根在垂直方向上應該位移的量，對存儲於存儲單元3中的各垂直線每一根進行垂直方向位移而結束處理(S8)。另外，在此步驟之後，顯示單元5的構成也可以是對使用者顯示經過彎曲校正的圖像。
這樣，因為利用本實施方式的圖像校正方法或圖像校正裝置，是對於被看作是1字符的每個區域檢測黑像素下端位置，製作將鄰接的字符要素每一個的黑像素下端位置之間連接起來的包絡線，根據此垂直位置偏離量對全部垂直線進行位移處理，所以字符要素本身的畸變也可以得到改善。
另外，如前所述，從步驟2起至步驟8止的各處理步驟，是以利用軟體實現為例說明的。不過，本發明並不限定於此，從步驟1起至步驟8止之中至少一個步驟也可以利用具有各個步驟的功能的硬體實現。
圖7為示出利用本實施方式的圖像校正裝置及圖像校正方法進行處理的經過彎曲校正的圖像13的一例的示圖。從圖7可知，與圖3B所示的經過傾斜校正的圖像11相比較，其字符行的彎曲程度大幅度減小。如本實施方式所示，通過根據最長的字符行確定應該進行校正的量，對構成整個圖像的垂直線進行校正，可以確認可以對整個圖像進行彎曲校正。
這樣，因為利用本實施方式的圖像校正裝置或圖像校正方法，是通過計算水平方向的直方圖檢測最長的字符行，對該字符行檢測應該校正的偏離量，對整個圖像進行校正，所以與對構成圖像的全部字符行進行偏離校正的場合相比較，可以迅速進行處理。
下面，利用本實施方式的圖像校正裝置或圖像校正方法，示出提高原稿的字符識別精度的具體示例。
正確讀出率的計算是根據存儲於存儲單元3中的圖像，由CPU2進行OCR處理，計算出其結果正確識別的字符的比例而進行的。作為樣本，隨機使用20張名片進行識別。提供給攝影、OCR的字符數，電話號碼390字符，電子郵件地址及URL共1026字符。
首先，在名片中的電話號碼的場合，對於不進行校正時的正確讀出率，利用本實施方式校正圖像校正裝置或圖像校正方法，可提高約20％的正確讀出率。
另外，在名片中的電子郵件地址及URL的場合，對於不進行校正時的正確讀出率，利用本實施方式校正圖像校正裝置或圖像校正方法，可提高約25％的正確讀出率，可獲得更高的正確讀出率。
另外，在電話號碼、電子郵件地址及URL全體之中，相對不進行校正時的正確讀出率，在進行本發明的圖像校正的場合正確讀出率可提高約23％。可以認為，這是因為利用本發明校正圖像校正裝置或圖像校正方法，可以在校正字符行的彎曲的同時，校正字符圖像本身的畸變之故。
(實施方式2)
其次，作為本發明的實施方式2，對本發明的圖像校正裝置或圖像校正方法另一示例予以說明。
圖8為示出本發明的實施方式2的圖像校正方法的處理步驟的流程圖。並且，圖9為示出實現本發明的實施方式2的圖像校正方法的圖像校正裝置130的構成的一例的框圖。
如圖9所示，本發明的實施方式2的圖像校正裝置130的構成包括讀取字符及圖形等的原稿，進行其圖像輸入的圖像輸入單元101；與圖像輸入單元101相連接並根據輸入到圖像輸入單元101的圖像進行後述的各種處理的運算單元CPU102；對輸入到圖像輸入單元101的圖像作為二維配置的像素的圖像信息進行存儲的第1存儲單元103；以及將利用CPU102進行各種運算處理的結果得到的圖像進行存放、存儲的第2存儲單元104以及與CPU102相連接並將各種運算的結果信息及必需的信息向使用者顯示的顯示單元105。
另外，本發明中所謂的像素的圖像信息，指的是有關構成圖像的像素的亮度信息、色信息以及濃度信息等各種信息，在本實施方式中，使用的是像素的亮度信息。
作為圖像輸入單元101，可以從光學器件等公知的手持掃描儀等使用的器件中任意選擇使用。
第1存儲單元103及第2存儲單元104，分別是幀存儲器，作為其存儲媒體可以任意使用公知的閃速存儲器等。
顯示單元105，可以從公知的顯示器件，比如，LCD(液晶顯示器)、EL(電致發光)及CRT(陰極射線管)等之中任意選擇。
下面按照圖8對本發明的實施方式的圖像校正裝置130進行的圖像校正處理時的處理步驟予以說明。
首先，將利用圖像輸入單元101攝影的圖像(以下稱其為原圖像)110經CPU102在第1存儲單元103中作為二維配置的像素的圖像信息的亮度信息展開(S10)。
圖10示出此原圖像110的一例。圖10所示的原圖像110，是將利用圖像輸入單元101攝影的部分圖像合成而得到的圖像，由於利用圖像輸入單元101在原稿上描繪時的軌跡，相對字符行的方向是彎曲的，圖10所示的原圖像110發生彎曲。
另外，在本實施方式中，原圖像110，如前所述是二維配置的像素的集合體，各個像素的亮度值是多值(256色調)的黑白圖像。
另外，在本實施方式中，作為根據圖像輸入單元101的攝影裝置，採用256×16像素的CCD，作為用於展開圖像的第1存儲單元103採用相對圖10的紙面水平方向(橫)×對紙面的垂直方向(縱)＝1000×400像素的幀存儲器。
下面，CPU102，對存儲於第1存儲單元103中的原圖像110，利用公知的方法對每個像素進行以0(黑)或1(白)的任何一個值作為亮度信息存放的二值化處理(S11)。通過此二值化處理，可以削減存儲器的使用量及使處理高速化，可以抑制CPU102的負載。
圖11示出進行了這種二值化處理的二值化圖像111的一例。看起來發黑的像素是將亮度值「0」作為亮度信息存放的像素，看起來發白的像素是將亮度值「1」作為亮度信息存放的像素的部分。另外，本發明，也可採用公知的任何方法作為此圖像的二值化處理方法，沒有任何限定。
返回到圖8，之後，CPU102，對存儲於第1存儲單元103中的二值化圖像111，對圖像的黑色的像素部分，進行使其在水平方向上擴展的水平擴展處理(S12)。
下面對這一水平擴展處理再進行說明。圖12為示出本發明的水平擴展處理(擴展行製作方法)的步驟的流程圖。在圖12中，首先CPU102，以第1存儲單元103的任意像素作為注目像素。在實用上，將位於二值化圖像111的最端部、即圖11的紙面的左上的原點O的像素作為注目像素。於是，檢測注目像素的亮度值(S21)。
接著，CPU102判定注目像素的亮度值是否是0(黑)(S22)，在亮度值是0(黑)時，將第2存儲單元104的對應的注目像素的處理方向前後的規定範圍的像素的亮度值變為0(黑)(S23)。另一方面，在注目像素的亮度值不是0(是1)時，不進行這一處理。
對步驟S23，利用圖13予以說明。在圖13中，第1存儲單元103中的某一注目像素A的亮度值為0(黑)時，對於在處理方向前後規定範圍的像素(在本實施方式中，前後各20個像素，包含注目像素共計41個)，使在第2存儲單元104相對應的像素的亮度值，不管其原來亮度值，全部一律變成為亮度值＝0(黑)。另外，此規定範圍，在實用上前後20像素左右為優選。
返回到圖12，接著，CPU102，判定對構成第1存儲單元103的全部像素的處理是否結束(S24)，在對全部像素的處理結束時，處理結束。另一方面，在對全部像素的處理未結束時，使注目像素在圖11的處理方向上移動(S25)，返回到檢測注目像素的亮度值的步驟(S21)。
通過這種處理，在第2存儲單元104中可以得到如圖14所示的水平擴展圖像13。圖14為示出本實施方式的水平擴展圖像113的一例的示圖。
如圖14所示，水平擴展圖像113，具有多個擴展字符行。另外，其中，所謂的擴展字符行(擴展行)指的是亮度值為0的像素，即各像素連續的塊。在本實施方式中，水平擴展圖像113的4個擴展字符行LA～LD，與二值化圖像111的4個字符行A～D分別對應。
現在返回到圖8，CPU102，在水平擴展處理(S12)之後，對各擴展字符行檢測垂直方向的黑像素的開始位置(S13)。即CPU102，從水平擴展圖像113的向著圖14的紙面的最左側的垂直像素列(指的是圖像的垂直方向(列方向)的像素的連接體)開始，對各垂直像素列每一個從圖14中下側起在Y軸方向上進行掃描，對在黑像素(亮度值＝0(黑))的連續比規定的數還多繼續時的黑像素最初檢測出的像素的位置(以下稱其為開始位置)，對各擴展字符行每一個，進行檢測。就是說，在本實施方式的水平擴展圖像113中，對4個擴展字符行LA～LD的開始位置對各垂直像素列進行檢測。
對此擴展字符行的檢測方法，利用圖15予以說明。圖15為示出本發明的實施方式的擴展字符行的開始位置的檢測處理(開始位置檢測方法)的步驟的流程圖。
在圖15中，首先CPU102，對存儲於第2存儲單元104中的水平擴展圖像113的任意垂直像素列，設定注目像素，在使注目像素移動的同時，檢測各注目像素的亮度值(S31)。另外，此注目像素的設定，實用上，從圖14中的最下側的像素開始。
之後，CPU102，判定連續檢測的黑像素的數目是否大於等於規定數(S32)，在連續檢測大於等於規定數時，就將最初黑像素開始的像素的位置作為其擴展字符行的開始位置存儲(S34)。另一方面，在黑像素的連續檢測小於規定數時，該連續就不是擴展字符行而看作是噪聲信息，移動注目像素(S36)，進到下一個擴展字符行的開始位置檢測處理。另外，此規定數，實用上，設定為20前後是優選。
於是，判定注目像素是否到達垂直像素列的上端(S35)，在到達時，處理結束。
將如上所述的處理，對構成水平擴展圖像113的全部的垂直像素列(整個畫面)進行。通過進行這種處理，因為將短的黑像素的連續看作是噪聲信息，可以只將由字符行構成的擴展字符行的信息取出處理，可實現不大會受噪聲信息的影響的構成。
如上所述，對全部垂直像素列進行擴展字符行的開始位置檢測處理的結果，對所得到的全部擴展字符行的開始位置，將垂直方向位置和各垂直方向位置的開始位置的數目累積的累積值繪出的結果(直方圖)如圖16所示。圖16為示出本實施方式的擴展字符行的開始點的分布，示出字符行的下端位置的範圍。
返回到圖8，CPU102利用圖16所示的關係，確定各字符行的下端位置的範圍(作為一例，是圖16的範圍W)。這一處理(行分離方法)，可通過從圖16所示的直方圖檢測面積大於等於某一規定值的山的寬度而求得(以下稱這一處理為分組)(S14)。在本實施方式中，如圖16所示，存在4個山部，這些分別對應於擴展字符行的LA～LD的開始位置的存在範圍。
另外，此構成為在此步驟S14中，在直方圖的山的面積比規定值小時，被認為是噪聲，其累積值的信息忽略不計。利用這種構成，可以進行受到噪聲影響小的合適的擴展字符行的開始位置檢測。
圖17為示出本發明的實施方式的擴展字符行的開始位置的分組、每個擴展字符行的開始位置的分布的示圖。橫軸示出圖14的擴展圖像的水平方向位置，縱軸示出垂直方向位置。這樣，從上方起順序為擴展字符行LD、LC、LB及LA四個擴展字符行的開始位置，即下端位置的分布。
這樣，利用本發明的圖像校正方法及圖像校正裝置，因為通過進行擴展字符行的開始位置的分組，易於不重複字符的下端位置的範圍進行分離，所以可以進行高精度的字符行分離。
返回到圖8，下面CPU102，對圖14的4個擴展字符行的LA～LD，對全部垂直像素列分別計算出對垂直方向應該校正的偏離量(S15)。於是，計算出4個擴展字符行的LA～LD的偏離量的平均值(S16)。
圖18為示出本發明的實施方式的各垂直像素列相對偏離量的分布的示圖。橫軸示出水平方向位置，縱軸示出對全部字符行計算平均值的相對偏離量。由此圖18示出的關係，對各垂直像素列，確定對垂直方向應該校正的偏離量。
在圖8中，CPU102(移動運算單元)，根據此偏離量平均值，使存放於第1存儲單元103中的二值化圖像111的各垂直像素列按照偏離量大小在垂直方向上移動而結束處理(S17)。
圖19為示出利用本發明的實施方式的圖像校正裝置130對原圖像110進行圖像校正的結果經過校正的圖像115的一例的示圖。
從圖19可知，與原圖像110比較，是對其字符行的傾斜和彎曲的程度兩方面進行校正。這樣，因為如果利用本發明的圖像校正裝置，可以校正傾斜及彎曲，所以可以抑制以後的OCR等的處理的識別率的下降。
另外，如前所述，從步驟11起至步驟17止的各處理步驟，是以利用軟體實現為例說明的。不過，本發明並不限定於此，從步驟10起至步驟17止之中至少一個步驟也可以利用具有各個步驟的功能的硬體實現。
利用本發明的圖像校正裝置，因為該應該校正的偏離量是利用對各字符行計算出的偏離量的平均值，比如，在某一字符行中，即使有像「j」及「p」等向下突出的字符要素，也可實現行受到該字符要素的惡劣影響很小的構成。
另外，本發明圖像校正裝置或圖像校正方法，並不限定於本實施方式所示的構成。比如，也可是根據圖16所示的擴展字符行的開始位置的直方圖，只參照對包含最大的累積值的字符行計算出的應該校正的偏離量，對構成圖像的全部垂直像素列進行校正的構成。這是因為包含最大的累積值的字符行，通常意味著最長的字符行，通過檢測應該對該字符行進行校正的偏離量，進行校正，可以對整個圖像的傾斜及彎曲進行校正之故。在實用上，利用這種構成也可以很好地進行圖像的傾斜及彎曲的校正。另外，與對構成圖像的全部字符行計算開始位置、根據其平均值進行偏離校正的場合相比較，可以迅速進行處理。
利用本發明的實施方式校正圖像校正裝置130或圖像校正方法，作為樣本，隨機使用20張名片進行圖像校正。並且，提供給OCR的字符數，電話號碼390字符，電子郵件地址及URL共1026字符。進行圖像校正之後，根據存儲於第1存儲單元103中的圖像，由CPU102進行OCR處理，對其結果正確識別的字符的比例計算的結果，在名片中電話號碼、電子郵件地址及URL全體之中，相對不進行校正時的正確讀出率，在進行本發明的圖像校正的場合，由於彎曲校正及傾斜校正的效果，正確讀出率可提高約25％。
另外，在本發明的實施方式中，對於顯示單元105的功能，雖然沒有特別說明，但可以利用對於使用者可以將取得的原圖像及二值化圖像等進行顯示，使出錯消息及必要的輸入內容的消息等得到顯示的構成而實現使用者更容易使用的裝置構成。
另外，在本發明的實施方式1或實施方式2中，示出的是對圖像校正裝置讀取的圖像上的各字符及數字等的傾斜及彎曲進行校正的示例，但本發明的圖像校正裝置可以校正的圖像並不限定於此。比如，本發明校正圖像校正裝置或圖像校正方法，也可以對代替字符及數字或在其上加上條形碼及圖形等的信息(這些在本說明書中統稱為字符要素)，對在畫面上的一個方向上排列的原稿，對讀取的圖形的傾斜、彎曲或畸變等可以進行校正是自不待言的。
(實施方式3)其次，作為本發明的實施方式3，對具備本發明的圖像校正裝置或圖像校正方法的信息裝置予以說明。
因為採用本發明圖像校正裝置或圖像校正方法，可以削減存儲器的使用量，進行迅速的處理，運算單元(CPU)的負擔小，所以也容易裝載到可攜式的信息設備中。圖20示出將這種本發明的圖像校正裝置40、130裝載到便攜電話裝置等信息裝置的示例。
圖20為示出裝載圖像校正裝置130的便攜電話裝置150的外觀圖，圖20A為正面圖，圖20B為示出裝載圖像校正裝置130的端部的主要部分的斜視圖。
便攜電話裝置150是在其構成包括天線單元152；揚聲器152；LCD等的顯示單元105；鍵單元154及話筒單元155等的公知的便攜電話裝置中內置圖像校正裝置130的構成。
通過裝載本發明的圖像校正裝置，通過在便攜電話裝置150的下面，設置讀取圖像校正裝置130的圖像輸入單元101的以字符及圖形等的濃淡表示的信息的讀取面，可以提供用戶使用非常方便的圖像校正裝置130內置型的便攜電話裝置150。
另外，在本實施方式中，在便攜電話裝置150中裝載的是在實施方式2中舉例說明的圖像校正裝置130，但是裝載在實施方式1中說明的圖像校正裝置40也可以具有同樣的效果是無需贅言的。
這樣，利用裝載本發明的圖像校正裝置的便攜電話裝置，因為可以讀取URL及二維條形碼等文獻信息、供OCR等處理，所以可以提供此前沒有的多功能便攜電話裝置等信息裝置。
另外，此處所謂的信息裝置，並不限定於上述的便攜電話裝置，也包含數字相機、小型個人計算機以及PDA(個人數字助理)等公知的各種信息裝置是自不待言的。
如上所述，根據本發明的圖像校正裝置及圖像校正方法，具有可以在校正字符要素行的傾斜或彎曲的同時，可以校正字符要素本身的畸變的效果，作為對在利用手持掃描儀等對文件等的原稿進行攝影的圖像中產生的字符行等的傾斜或彎曲進行校正的圖像校正裝置及圖像校正方法等是有用的。
權利要求
1.一種圖像校正裝置，其特徵在於包括輸入包含多個字符要素行的圖像的圖像輸入單元；從上述多個字符要素行檢測預定的字符要素行校正行檢測單元；對上述預定的字符要素行，對每個像素列計算出列方向的位置校正量的校正量計算單元；以及根據對上述預定方向的每個像素列計算出的位置校正量，使上述圖像的各像素列的位置在上述列方向上移動進行校正的位置校正單元。
2.如權利要求1所述的圖像校正裝置，其特徵在於上述行檢測單元，具有製作上述圖像的行方向的累積直方圖的直方圖製作單元，根據上述累積直方圖檢測上述最長的字符要素行。
3.如權利要求2所述的圖像校正裝置，其特徵在於上述行檢測單元具有抽出由上述直方圖製作單元製作的累積直方圖的值為最大的像素位置的像素位置抽出單元，根據上述像素位置檢測上述最長的字符要素行。
4.如權利要求3所述的圖像校正裝置，其特徵在於上述行檢測單元具有根據利用上述像素位置抽出單元抽出的上述像素位置，使上述累積直方圖的值成為預定的範圍內的像素位置的範圍確定為上述最長的字符要素行範圍的範圍確定單元。
5.如權利要求1所述的圖像校正裝置，其特徵在於上述校正量計算單元具有對上述預定的字符要素行的每個字符要素檢測上述列方向的端部位置的端部位置檢測單元，根據上述每個字符要素的上述端部位置的偏離量計算出上述位置校正量。
6.如權利要求5所述的圖像校正裝置，其特徵在於上述校正量計算單元是根據將上述端部位置檢測單元檢測出的上述端部位置對上述每個字符要素連接的包絡線計算出上述偏離量。
7.一種圖像校正裝置，其特徵在於包括輸入包含多個字符要素行的圖像的圖像輸入單元；製作上述圖像的行方向的累積直方圖的直方圖製作單元；抽出由上述直方圖製作單元製作的累積直方圖的值為最大的像素位置的像素位置抽出單元；利用由上述像素位置抽出單元抽出的上述像素位置，使上述累積直方圖的值成為預定的範圍內的像素位置的範圍確定為最長的字符要素行的範圍的範圍確定單元；對上述最長的字符要素行的每個字符要素檢測上述圖像列方向的端部位置的端部位置檢測單元；根據將上述端部位置檢測單元檢測出的上述端部位置對上述每個字符要素連接的包絡線計算出上述端部位置的上述每個字符要素的偏離量作為位置校正量的位置校正量計算單元；以及根據上述位置校正量，使上述圖像的各像素列在上述列方向上移動進行校正的位置校正單元。
8.一種圖像校正裝置，其特徵在於包括輸入包含多個字符要素行的第1圖像的圖像輸入單元；使上述第1圖像在上述行方向上擴展製作包含多個擴展行的第2圖像的擴展行製作單元；對上述第2圖像的每個像素列檢測上述擴展行的上述列方向的開始位置的開始位置檢測單元；對上述第2圖像的每個像素列，計算出上述列方向的位置校正量的校正量計算單元；以及根據上述位置校正量，使上述第1圖像的各個像素列位置在上述列方向上移動進行校正的位置校正單元。
9.如權利要求8所述的圖像校正裝置，其特徵在於上述第2圖像是用亮度值為0或1的值表示的二值化圖像。
10.如權利要求9所述的圖像校正裝置，其特徵在於上述開始位置檢測單元對上述擴展行的上述列方向的開始位置的檢測，在對上述每個像素列在上述列方向上移動注目像素的同時檢測上述注目像素的亮度值，在亮度值為0的像素在像素大於等於預定的數目並連續時，就將檢測最初亮度值為0的像素的位置作為上述開始位置。
11.如權利要求10所述的圖像校正裝置，其特徵在於上述開始位置檢測單元對上述擴展行的上述列方向的開始位置的檢測對多個擴展行分別進行，上述校正量計算單元，根據上述多個擴展行各自的上述列方向的開始位置分布的平均值，計算出上述位置校正量。
12.一種圖像校正裝置，其特徵在於包括輸入包含多個字符要素行的二值化的第1圖像的圖像輸入單元；使上述第1圖像在行方向上擴展製作包含多個擴展行的第2圖像的擴展行製作單元；對上述第2圖像的每個像素列在列方向上移動注目像素的同時檢測上述注目像素的亮度值，在亮度值為0的像素在像素大於等於預定的數目並連續時，將檢測最初亮度值為0的像素的位置檢測為上述擴展行的開始位置的開始位置檢測單元；根據上述多個擴展行的上述列方向的開始位置分布的平均值，計算出上述第2圖像的每個像素列的位置校正量的校正量計算單元；以及根據上述位置校正量，使上述第1圖像的上述各像素列的位置在上述列方向上移動進行校正的位置校正單元。
13.一種信息裝置，其特徵在於具備權利要求1至12任何一項所述的圖像校正裝置。
14.一種便攜電話裝置，其特徵在於具備權利要求1至12任何一項所述的圖像校正裝置。
15.一種圖像校正方法，其特徵在於包括從包含多個字符要素行的圖像檢測預定的字符要素行的第1步驟；對上述預定的字符要素行的每個像素列計算出位置校正量的第2步驟；以及根據上述位置校正量，使上述圖像的上述各像素列在列方向上移動而進行校正的第3步驟。
16.一種圖像校正方法，其特徵在於包括使包含多個字符要素行的第1圖像在行方向上擴展製作包含多個擴展行的第2圖像的第1步驟；對上述第2圖像的每個像素列檢測上述擴展行的列方向的開始位置的第2步驟；以及根據上述擴展行的列方向的開始位置的信息，使上述擴展行的列方向的開始位置對齊而對上述第1圖像位置進行校正的第3步驟。
全文摘要
具有包括輸入包含多個字符要素行的圖像的圖像輸入單元；從多個字符要素行檢測規定的字符要素行校正行檢測單元；對規定的字符要素行，對每個像素列計算出列方向的位置校正量的校正量計算單元；以及根據對規定方向的每個像素列計算出的位置校正量，使圖像的各像素列的位置在列方向上移動進行校正的位置校正單元。
文檔編號G06K9/22GK1623164SQ0380271
公開日2005年6月1日 申請日期2003年9月30日 優先權日2002年9月30日
發明者松山好幸, 西澤真人, 植木千尋 申請人:松下電器產業株式會社