圖像處理方法、圖像處理設備和圖像掃描設備的製作方法

2023-05-03 06:20:16 1

專利名稱：圖像處理方法、圖像處理設備和圖像掃描設備的製作方法
技術領域：
本發明涉及一種圖像處理方法、圖像處理設備和圖像掃描設備，尤其涉及能夠校正展開的書籍的掃描圖像上的裝訂部分中的陰影的圖像處理方法、圖像處理設備和圖像掃描設備。
背景技術：
圖像掃描儀(圖像掃描設備)廣泛用於許多場合，並且在辦公室、圖書館等中尤其有用。在常規圖像掃描儀中存在的一個問題是，當掃描儀掃描書籍類型的裝訂文檔(以下將稱為「書籍」)時，書籍的裝訂區域在掃描儀的玻璃壓板上方升起，即，離開掃描儀的焦平面而立起。結果，掃描圖像上對應於書籍的裝訂區域的部分(以下將稱為「裝訂部分」)畸變、有陰影、並且模糊。對於相對厚的書籍尤其如此。作為當前公開的關於陰影去除的技術之一，美國專利第6839459號公開了一種通過使用基於從確定的位置到裝訂中心線的相對距離而被加權的一維照明函數來校正展開的書籍的掃描圖像上的裝訂部分中的陰影的技術。所述照明函數是根據頁邊界和裝訂中心線計算的。該方法的缺點是，為了估計精確的照明函數，必須非常精確地檢測頁邊界和裝訂中心線。然而，當在頁邊界上有幹擾時(例如當書籍的書籍封面的面積大於書頁時)，將難以精確地檢測頁邊界。此外，當書籍的頂端部分和底端部分的裝訂區域的諸如照明條件之類的條件不同時(這可能由於書籍在掃描中被推動時引起)，無法通過單個照明函數來描述陰影模型。美國專利6041146提出了一種用於通過使用附加的參考壓板來校正掃描圖像上的陰影的方法，所述附加的參考壓板布置在不同於文檔表面的位置上，用以記錄背景參考信息。然而，該附加的參考壓板將增加硬體成本，並且該方法不能用於處理通過不具有這種參考壓板的掃描儀獲得的掃描圖像。美國專利申請公報第200800M845號公開一種用於精細校正掃描圖像上的陰影的設備。在這種設備中，分析整幅輸入圖像的像素值，以確定陰影部分，並且還分析遠離頂部頁邊緣和底部頁邊緣的陰影部分的較上方部分和較下方部分的像素值，使得通過考慮以上的兩個分析結果來確定輸入圖像的傾斜。在確定並調整了輸入圖像的傾斜之後，利用從整幅輸入圖像的分析結果產生的校正值，在每一行中實施校正處理。在美國專利申請公報第200800M845號公開的方法通過利用對整幅輸入圖像的分析結果校正陰影，從而非常複雜，並且花費大量的計算。此外，此方法未使用通常較少受到幹擾的最頂端和最底端的頁邊作為背景的陰影信息。

發明內容
對於從掃描圖像上的裝訂部分校正(去除)陰影的處理，在有效地去除陰影的同時保留書籍上印刷的文字和圖片而不丟失信息是重要的。本發明的發明人已注意到，對於多數來自書籍的頁面圖像，頁面的最頂端部分和最底端部分總是比頁面的內部部分具有更多的空白區域，並且大多數的書籍甚至在頁面的最頂端部分和最底端部分具有完全空白的頁邊。對應於書籍中的空白區域的掃描圖像中的空白部分可非常好地指示關於背景亮度(其可由像素值表示)的背景信息，其僅取決於掃描光源的照明條件和書籍被放置在玻璃壓板上的方式，並且與書籍中印刷的內容無關。因此，裝訂部分中的最頂端部分和最底端部分中的空白部分在提取這種背景信息中會是非常有用的，因為這些部分較少地受到書籍中印刷的內容的幹擾。此外，本發明的發明人還注意到，在掃描圖像中出現的陰影一般不具有突然的變化，並且掃描圖像的像素值從頂端向底端的變化尤其是非常平緩而接近線性的。考慮到在上述現有技術中存在的技術問題和上述的發明人的觀察，提供能夠校正展開的書籍的掃描圖像上的裝訂部分中的陰影的圖像處理方法、圖像處理設備和圖像掃描設備。根據本發明，根據掃描圖像的裝訂部分中的最頂端部分和最底端部分中的像素值 (表示亮度)生成用於該裝訂部分的陰影數據映射圖，然後根據所生成的陰影數據映射圖從裝訂部分除去陰影。根據本發明的一個方面，提供一種圖像處理方法，所述圖像處理方法能夠校正展開的書籍的掃描圖像上的裝訂部分中的陰影，所述圖像處理方法包括如下步驟裝訂部分確定步驟，確定掃描圖像上的裝訂部分；陰影數據映射圖生成步驟，根據所確定的裝訂部分的最頂端部分中的像素值和最底端部分中的像素值，生成由所確定的裝訂部分的陰影數據構成的陰影數據映射圖；以及校正步驟，通過使用所生成的陰影數據映射圖，校正所確定的裝訂部分中的陰影。根據本發明的一個方面，提供一種圖像處理設備，所述圖像處理設備能夠校正展開的書籍的掃描圖像上的裝訂部分中的陰影，所述圖像處理設備包括裝訂部分確定裝置， 用於確定掃描圖像上的裝訂部分；陰影數據映射圖生成裝置，用於根據所確定的裝訂部分的最頂端部分中的像素值和最底端部分中的像素值，生成由所確定的裝訂部分的陰影數據構成的陰影數據映射圖；以及校正裝置，用於通過使用所生成的陰影數據映射圖，校正所確定的裝訂部分中的陰影。根據本發明的一個方面，提供一種圖像掃描設備，包括讀取控制裝置，用於讀取展開的書籍的圖像以生成掃描圖像；以及如上所述的圖像處理設備。根據本發明的一個優選實施例，可例如通過首先通過使用所確定的裝訂部分的最頂端部分和最底端部分中的像素值估計所確定的裝訂部分的頂端和底端的陰影數據，然後對所確定的裝訂部分的頂端和底端的陰影數據進行插值從而生成所確定的裝訂部分的頂端和底端之外的其他陰影數據，生成整個所確定的裝訂部分的陰影數據映射圖。根據本發明的另一個優選實施例，對於所確定的裝訂部分的每一列，分別搜索與該列的最頂端的N個像素和最底端的N個像素當中的最亮的像素對應的像素值，並且使用與所述最亮的像素對應的所述像素值分別作為該列的頂端和底端的陰影數據，其中列是與所確定的裝訂部分的左側邊界或右側邊界平行的像素行，並且N為預定的正整數。根據本發明的另一個優選實施例，在對於每一列估計陰影數據之後，處理所確定的裝訂部分的頂端和底端的陰影數據，使得在所估計的陰影數據中的錯誤數據被校正。根據本發明的另一個優選實施例，為了生成陰影數據映射圖，首先生成與所確定的裝訂部分具有相同大小的空白陰影數據映射圖，然後在空白陰影數據映射圖中填充所確定的裝訂部分的頂端的所估計的陰影數據、所確定的裝訂部分的底端的所估計的陰影數據、以及從所述插值生成的陰影數據。優選地，可在陰影校正之前、陰影校正期間或者陰影校正之後校正掃描圖像的幾
何畸變。根據本發明的用於校正陰影的圖像處理方法完全基於掃描圖像數據本身，不需要任何附加的輔助設備，也不要求精確地檢測頁邊界。更進一步地，根據本發明的用於校正陰影的圖像處理方法僅僅分析掃描圖像中的所確定的裝訂部分的最頂端部分和最底端部分。具體來說，不需要分析整個所確定的裝訂部分中的像素值(表示亮度)來確定用於校正整個所確定的裝訂部分中的陰影的陰影數據映射圖，而是僅基於所確定的裝訂部分的最頂端部分和最底端部分的像素值計算該陰影數據映射圖。因此，根據本發明的用於校正陰影的方法快速、不昂貴、並且容易實施。從以下參照附圖的描述中，本發明的其他特性特徵和優點將變得清晰。


併入到說明書中並且構成說明書一部分的附示本發明的實施例，並且與描述一起用於說明本發明的原理。圖1是示出可以實施本發明的實施例的計算機系統1000的硬體配置的框圖。圖2是示出根據本發明的用於校正展開的書籍的掃描圖像的裝訂部分中的陰影的圖像處理設備2000的示例性框圖。圖3是示出校正展開的書籍的掃描圖像上的裝訂部分中的陰影的處理的流程圖。圖4是示出根據本發明的優選實施例的確定展開的書籍的掃描圖像上的裝訂部分的示例性處理的流程圖。圖5示出對於展開的書籍的掃描圖像的所確定的書籍邊界的示例。圖6示出圖5中所示的示例的展開的書籍的掃描圖像中的所確定的裝訂部分。圖7是示出根據本發明的優選實施例的生成陰影數據映射圖的示例性處理的流程圖。圖8是示出校正錯誤陰影數據的示例的示意圖。圖9示出對於圖6所示的示例中的所確定的裝訂部分生成的陰影數據映射圖的示例。圖10示出通過將圖9示出的陰影校正數據應用於圖6所示的所確定的裝訂部分而獲得的陰影校正後的掃描圖像的示例。
具體實施例方式以下將參照附圖詳細描述本發明的實施例。請注意，相似的附圖標記和字符指示圖中相似的項目，並且一旦在一幅圖中定義了 一個項目，則不需要在之後的圖中對其進行討論。首先，將說明本發明的語境下的一些術語的含義。術語「書籍」是指通過將多個片材裝訂在一起而形成的裝訂類型的文檔。術語「裝訂區域」是指展開的書籍的包括裝訂中心線及其周邊的區域。術語「裝訂部分」是指展開的
7書籍的掃描圖像的對應於該書籍的裝訂區域的部分。術語「最頂端部分」是指掃描圖像中的其中包括書籍的頂端邊界的至少一部分的部分。術語「最底端部分」是指掃描圖像中的其中包括書籍的底端邊界的至少一部分的部分。術語「平行，，是指基本上平行。在本發明中，如果兩條直線被稱為「平行」，這是指它們形成小於預定閾值的角。術語「正交」是指基本上正交。在本發明中，如果兩條直線被稱為「正交」，這是指它們形成的角與90度之間的差小於預定閾值。上述對於術語「平行」 和「正交」的寬鬆的定義對於畸變的圖像尤其是有用的。術語「水平」是指基本上水平，並且術語「垂直」是指基本上垂直。尤其地，在畸變的文檔圖像中使用的術語「水平」是指在原始文檔中與文本行平行的方向。例如，術語「水平線」是指在原始文檔中對應於這條線的線與原始文檔中的文本行平行。類似地，在畸變的文檔圖像中的術語「垂直」是指在對應的原始文檔中與文本行正交。例如，術語「垂直線」 是指在原始文檔中對應於這條線的線與原始文檔中的文本行正交。術語「左」、「右」、「頂」、和「底」指示當以如人們正常讀書時那樣的普通方式觀看書
籍時的方向。術語「陰影數據映射圖」是指陰影信息與掃描圖像上的裝訂部分中的每個像素之間的映射。應該指出，陰影數據映射圖可以具有各種形式。例如，陰影數據映射圖可以具有表格或映射圖的形式，其由掃描圖像上的裝訂部分中的每一個像素的陰影數據構成，並且用於校正陰影。一個像素的陰影數據可以是指示該像素的所估計的背景像素值(表示亮度)的數據。所述像素值例如可以在0 255的範圍內。作為替換方案，陰影數據映射圖可以具有陰影數據函數的形式，其中陰影數據被表示為數學表達式而非各單個數值。作為再一種替換方案，陰影數據映射圖可以具有校正函數的形式，並且當校正函數的輸入端是原始的具有陰影的圖像(例如由像素值表示)時，作為所述校正函數的輸出，將生成校正後的圖像。此外，陰影數據可以是原樣的所估計的像素值，或者也可以是由預設定的像素值歸一化的像素值。簡而言之，陰影數據映射圖的概念不應在其具體形式方面被限制。在本說明書中，除非用其他方式指出，所有的尺寸(諸如長度或者寬度)以「像素」 為單位。在本發明中，當提及兩條線段之間的距離時，其指示這兩條線段被視為彼此平行的情況下的其間的距離。當這兩條線段並不恰好彼此平行時，其間的距離例如可以由從一條線段的中點到另一條線段的距離定義。圖1是示出可以實施本發明的實施例的計算機系統1000的硬體配置的框圖。如圖1所示，計算機系統包括計算機1110。計算機1110包括經由系統總線1121連接的處理單元1120、系統存儲器1130、固定非易失性存儲器接口 1140、可移動非易失性存儲器接口 1150、用戶輸入接口 1160、網絡接口 1170、視頻接口 1190和輸出外圍接口 1195。系統存儲器1130包括R0M(只讀存儲器)1131和RAM(隨機存取存儲器)1132。 BIOS(基本輸入輸出系統)1133駐留在ROM 1131中。作業系統1134、應用程式1135、其它程序模塊1136和某些程序數據1137駐留在RAM 1132中。諸如硬碟之類的固定非易失性存儲器1141連接到固定非易失性存儲器接口 1140。固定非易失性存儲器1141例如可以存儲作業系統1144、應用程式1145、其它程序模塊1146和某些程序數據1147。諸如軟盤驅動器1151和⑶-ROM驅動器1155之類的可移動非易失性存儲器連接到可移動非易失性存儲器接口 1150。例如，軟盤可以被插入到軟盤驅動器1151中，以及 ⑶(光碟)可以被插入到⑶-ROM驅動器1155中。諸如滑鼠1161和鍵盤1162之類的輸入設備被連接到用戶輸入接口 1160。計算機1110可以通過網絡接口 1170連接到遠程計算機1180。例如，網絡接口 1170可以通過區域網1171連接到遠程計算機1180。或者，網絡接口 1170可以連接到數據機(調製器-解調器)1172，以及數據機1172經由廣域網1173連接到遠程計算機 1180。遠程計算機1180可以包括諸如硬碟之類的存儲器1181，其存儲遠程應用程式 1185。視頻接口 1190連接到監視器1191。輸出外圍接口 1195連接到印表機1196和揚聲器1197。圖1所示的計算機系統僅僅是說明性的並且決不意圖對本發明、其應用或用途的任何限制。圖1所示的計算機系統可以被實施於任何實施例，可作為獨立計算機，也可作為設備中的處理系統，可以移除一個或多個不必要的組件，也可以向其添加一個或多個附加的組件。圖2是示出根據本發明的用於校正展開的書籍的掃描圖像的裝訂部分中的陰影的圖像處理設備2000的示例性框圖。如圖2所示，圖像處理設備2000包括裝訂部分確定裝置2100，用於確定掃描圖像上的裝訂部分；陰影數據映射圖生成裝置2300，用於根據所確定的裝訂部分的最頂端部分中的像素值和最底端部分中的像素值，生成由所確定的裝訂部分的陰影數據構成的陰影數據映射圖；以及校正裝置2500，用於通過使用所生成的陰影數據映射圖，校正所確定的裝訂部分中的陰影。優選地，所述陰影數據映射圖生成裝置2300包括頂端估計裝置2310，用於通過使用所確定的裝訂部分的最頂端部分中的像素值，估計所確定的裝訂部分的頂端的陰影數據；底端估計裝置2330，用於通過使用所確定的裝訂部分的最底端部分中的像素值，估計所確定的裝訂部分的底端的陰影數據；以及插值裝置2350，用於對所確定的裝訂部分的頂端和底端的陰影數據進行插值，從而生成所確定的裝訂部分的頂端和底端之外的其他陰影數據。優選地，所述裝訂部分確定裝置2100包括用於確定展開的書籍的頂端邊界和底端邊界的裝置2110 ；以及用於確定所述裝訂部分的左側邊界和右側邊界的裝置2130，所確定的裝訂部分的所述左側邊界和右側邊界與所述展開的書籍的頂端邊界或底端邊界正交。優選地，所述頂端估計裝置2310包括用於對於所確定的裝訂部分的每一列，搜索與該列的最頂端的N個像素當中的最亮的像素對應的像素值，並且使用與所述最亮的像素對應的所述像素值作為該列的頂端的陰影數據的裝置2311，其中列是與所確定的裝訂部分的左側邊界或右側邊界平行的像素行，並且N為預定的正整數；和/或用於在對於每一列估計陰影數據之後，處理所確定的裝訂部分的頂端的陰影數據，使得在所估計的陰影數據中的錯誤數據被校正的裝置2313。
優選地，所述底端估計裝置2330包括用於對於所確定的裝訂部分的每一列，搜索與該列的最底端的N個像素當中的最亮的像素對應的像素值，並且使用與所述最亮的像素對應的所述像素值作為該列的底端的陰影數據的裝置2331，其中列是與所確定的裝訂部分的左側邊界或右側邊界平行的像素行，並且N為預定的正整數；和/或用於在對於每一列估計陰影數據之後，處理所確定的裝訂部分的底端的陰影數據，使得在所估計的陰影數據中的錯誤數據被校正的裝置2333。優選地，所述陰影數據映射圖生成裝置2300還包括用於生成與所確定的裝訂部分具有相同大小的空白陰影數據映射圖的裝置2370，以及用於在空白陰影數據映射圖中填充所確定的裝訂部分的頂端的所估計的陰影數據、所確定的裝訂部分的底端的所估計的陰影數據、以及從所述插值生成的陰影數據的裝置2390。優選地，所述圖像處理設備2000還包括畸變校正裝置2700，用於校正掃描圖像的幾何畸變。以上裝置是用於實施以下要描述的過程的示例性和/或優選的模塊。以上並未詳盡地描述用於實施各個步驟的模塊。然而，只要有執行某個過程的步驟，就可以有用於實施同一過程的對應的功能模塊或裝置。通過以下描述的步驟以及與這些步驟對應的裝置的所有組合限定的技術方案都包括在本申請的公開內容中，只要它們構成的這些技術方案是完整並且可應用的。此外，由各種裝置構成的上述系統可以作為功能模塊被併入到掃描儀或者複印機之類的硬體裝置中。除了這些功能模塊之外，掃描儀或複印機當然可以具有其他硬體或者軟體部件。以下將描述根據本發明的圖像處理方法的示例性和/或優選實施例。圖3是示出校正展開的書籍的掃描圖像的裝訂部分中的陰影的處理的流程圖。在步驟S301中，輸入展開的書籍的掃描圖像。在步驟S303中，確定展開的書籍的掃描圖像上的裝訂部分。很多現有技術文獻已提出了通過利用例如對裝訂中心線或整個掃描圖像的像素值的分布的估計來確定或定位展開的書籍的掃描圖像中的裝訂部分的各種方法。現有技術中已知的任何確定裝訂部分的技術均可使用。尤其是，因為本發明不需要對裝訂部分的精確確定，因此僅粗略確定裝訂部分的方法在此也可使用，而且不會不利地影響技術效果。在步驟S305中，通過使用所確定的裝訂部分的最頂端部分和最底端部分中的像素值，對於所確定的裝訂部分生成陰影數據映射圖。例如可以通過將所確定的裝訂部分分割為多個小的部分、並且對於這些小的部分中的每一個分別生成陰影數據來生成陰影數據映射圖。在一個優選實施例中，與最頂端部分和最底端部分中的多個區域中的每一個區域中的像素當中最亮的像素對應的像素值可被用於生成所確定的裝訂部分的陰影數據映射圖。在步驟S307中，通過使用所生成的陰影數據映射圖來去除(校正)所確定的裝訂部分中的陰影。以這種方式，獲得具有沒有陰影的裝訂部分的掃描圖像。以下，將描述一些優選實施例。應注意，以下的優選實施例可以單獨地實施，或者也可以以任何組合實施。
10
如上所述，本發明能夠採用粗略確定展開的書籍的掃描圖像的裝訂部分的方法。 以下給出一種用於確定裝訂部分的簡單和方便的方式，其不需要估計裝訂中心線或者整幅掃描圖像的像素值的分布。圖4是示出根據本發明的一個優選實施例的確定展開的書籍的掃描圖像上的裝訂部分的示例性處理的流程圖。圖4中所示的該流程圖中的處理描述了用於執行步驟S303 的過程的示例性處理，並且可以在步驟S301之後執行。在步驟S401中，確定展開的書籍的掃描圖像中的書籍邊界。現有技術中已公開了用於在圖像中定位矩形對象的各種技術，任何這樣的技術都可用於在此確定書籍邊界。例如，可以如下確定展開的書籍的掃描圖像中的書籍邊界。首先，通過利用一般的邊緣檢測方法，諸如利用Sobel算子或Carmy算子等的邊緣檢測方法，從掃描圖像中產生邊緣圖像。然後，選擇邊緣圖像中的最上方的長水平曲線作為頂端書籍邊界，並且選擇邊緣圖像中的最下方的長水平曲線作為底端書籍邊界。此後，選擇邊緣圖像中的最左側的長垂直線作為左側書籍邊界，並且選擇邊緣圖像中的最右側的長垂直線作為右側書籍邊界。從而，從掃描圖像中檢測出書籍的整個邊界。對邊緣圖像的產生和利用在本領域是公知的，因此將不在這裡詳細描述。也可以使用用於確定書籍邊界的其他方法。例如，左側書籍邊界和右側書籍邊界可以不從邊緣圖像中的垂直線檢測，而是可考慮頂端書籍邊界和底端書籍邊界的朝向和端部來確定。在這種情況下，能夠僅使用關於頂端書籍邊界和底端書籍邊界的朝向和端部的信息，而無需產生或估計左側書籍邊界和右側書籍邊界。圖5示出對於展開的書籍的掃描圖像的所確定的書籍邊界的示例。在步驟S403中，在確定了書籍邊界之後，在校正陰影之前校正掃描圖像的幾何畸變。應注意，此步驟不是必需的，因為幾何畸變對本發明幾乎沒有影響。此外，即使書籍在掃描期間被傾斜地擺放，也可以實施本發明而不使性能下降。也就是說，一些幾何畸變也是可以接受的，並且不使本發明的性能劣化。作為替換方案，幾何畸變的校正也可在去除陰影之後實施，這與本發明關係不大，將不在此描述。在步驟S405中，確定左側邊界確定位置和右側邊界確定位置，其中所述左側邊界確定位置在左側書籍邊界(或者頂端或底端書籍邊界的左端)的右側，且距離左側書籍邊界(或者頂端或底端書籍邊界的左端)W個像素，所述右側邊界確定位置在右側書籍邊界 (或者頂端或底端書籍邊界的右端)的左側，且距離右側書籍邊界(或者頂端或底端書籍邊界的右端)W個像素，其中W是給定的閾值，並且等於書籍寬度的某個比例(例如書籍寬度女0.幻，其中所述書籍寬度被定義為左側書籍邊界(或者頂端或底端書籍邊界的左端)和右側書籍邊界(或者頂端或底端書籍邊界的右端)之間的距離。在步驟S407，確定裝訂部分的邊界。具體地，對於已被校正了幾何畸變的掃描圖像，頂端書籍邊界和底端書籍邊界是兩條平行的直線段，它們被設為裝訂部分的頂端邊界和底端邊界。產生分別穿過上述左側邊界確定位置和右側邊界確定位置並且與頂端邊界和底端邊界正交的兩條平行直線，作為所述裝訂部分的左側邊界和右側邊界。對於沒有被校正幾何畸變的掃描圖像，從畸變的頂端書籍邊界和底端書籍邊界進行近似而得到的兩條直線被設置作為裝訂部分的頂端邊界和底端邊界。產生分別穿過上述左側邊界確定位置和右側邊界確定位置並且與裝訂部分的頂端邊界和底端邊界中的至少之一正交的兩條平行直線，作為所述裝訂部分的左側邊界和右側邊界。然後，在確定了裝訂部分的頂端邊界、底端邊界、左側邊界和右側邊界之後，所述裝訂部分被確定。圖6示出圖5所示的示例的展開的書籍的掃描圖像中的所確定的裝訂部分。圖7是示出根據本發明的一個優選實施例的產生陰影數據映射圖的示例性處理的流程圖。圖7中示出的流程圖中的處理描述了用於執行步驟S305的處理的示例性處理， 並且可以在步驟S303之後執行。在步驟S701中，通過使用所確定的裝訂部分的最頂端部分來估計所確定的裝訂部分的頂端的陰影數據。所確定的裝訂部分的最頂端部分可以被定義為所確定的裝訂部分中的、到所確定的裝訂部分的頂端邊界的距離等於或小於N個像素的全部像素，其中N是預定的正整數。例如，該閾值可被設為N 0.1 *書籍高度，其中所述書籍高度被定義為所確定的裝訂部分的頂端邊界和底端邊界之間的距離。優選地，可以以列為單位估計所確定的裝訂部分的頂端的陰影數據。在此，「列」是指與所確定的裝訂部分的左側邊界或右側邊界平行的像素行。對於所確定的裝訂部分的每一列，搜索與該列的最頂端部分中的最亮的像素對應的像素值，並且所得到的與所述最亮的像素對應的像素值被作為用於該列的頂端的陰影數據。以這種方式，每一列具有作為對於該列的頂端的陰影數據的數據點。在所獲得的用於頂端的陰影數據當中，一些列可能具有錯誤的陰影數據。錯誤的陰影數據可能是噪聲或表格線等引起的。為了校正可能的錯誤的陰影數據，優選可在這裡應用後處理步驟。例如，通過觀察展開的書籍的掃描圖像中的陰影，可以獲得以下的準則 裝訂中心線上的陰影是最暗的，並且隨著從裝訂中心線移動到所確定的裝訂部分的兩側， 陰影變得較淺。所述後處理可對可能的錯誤陰影數據執行校正，以使得可以滿足以上的準則或類似準則。例如，在所述後處理中，檢查所估計的陰影數據，去除不符合以上的準則或類似準則的數據點，並且由相鄰的列中的數據點的值或者由從相鄰的列中的數據點計算的值(例如，左邊的相鄰的列和右邊的相鄰的列中的數據點的值的平均值)來代替所除去的數據點。圖8是示出校正錯誤的陰影數據的示例的示意圖。圖8中的圓圈符號表示陰影數據的正確數據點，三角形符號表示錯誤的數據點，其具有比更接近裝訂中心線的相鄰的列的值更高的值，並且方形符號表示對於錯誤的數據點的校正後的數據，所述校正後的數據是通過將左側的相鄰的列和右側的相鄰的列中的數據點的值求平均而獲得的。作為替換方案，為了校正最頂端部分的陰影數據中的錯誤，也可以將諸如曲線擬合之類的其他技術應用於這些數據點，以抑制陰影數據中的不正常波動。在步驟S703中，通過使用所確定的裝訂部分的最底端部分來估計所確定的裝訂部分的底端的陰影數據。所確定的裝訂部分的最底端部分可以被定義為所確定的裝訂部分中的、到所確定的裝訂部分的底端邊界的距離等於或小於N個像素的全部像素，其中N是預定的正整數。例如，該閾值可被設為N 0.1 *書籍高度，其中所述書籍高度定義為所確定的裝訂部分的頂端邊界和底端邊界之間的距離。優選地，可以以列為單位估計所確定的裝訂部分的底端的陰影數據。在此，「列」具有與為所確定的裝訂部分的頂端描述的「列」的含義相同的含義。對於所確定的裝訂部分的每一列，搜索與該列的最底端部分中的最亮的像素對應的像素值，並且所得到的與所述最亮的像素對應的像素值被作為用於該列的底端的陰影數據。以這種方式，每一列具有作為對於該列的底端的陰影數據的數據點。在所獲得的用於底端的陰影數據當中，一些列可能具有錯誤的陰影數據。錯誤的陰影數據可能是噪聲或表格線等引起的。為了校正可能的錯誤的陰影數據，優選可在這裡應用與對於頂端描述的後處理步驟類似的後處理步驟。例如，所述後處理可與以上對於頂端描述的後處理相同。請注意，雖然從圖7的流程圖中，對底端的陰影數據的估計看似在對頂端的陰影數據的估計之後執行，但是對底端的陰影數據的估計可以在對頂端的陰影數據的估計之前執行，或者可以並行地執行對頂端的陰影數據的估計和對底端的陰影數據的估計。也就是說，本發明不限制用於執行對頂端和底端的陰影數據的估計的時間順序。在步驟S705中，對所確定的裝訂部分的頂端和底端的陰影數據進行插值，使得估計出處於所確定的裝訂部分的頂端和底端之間的陰影數據。具體地，對於所確定的裝訂部分的每一列，通過對該列的頂端和底端的陰影數據進行插值，獲得處於該列的頂端和底端之間的陰影數據。利用垂直方向的插值，即使書籍在掃描期間被傾斜而沒有對掃描圖像的幾何畸變進行校正，本發明仍然能夠獲得好的性能。以這種方式，可以獲得所確定的裝訂部分中的所有列的所有陰影數據。在步驟S707中，例如可以按照以下方式生成陰影數據映射圖。首先，可先生成空白陰影數據映射圖。所述空白陰影數據映射圖可具有與所確定的裝訂部分相同的尺寸，並且所述空白陰影數據映射圖上的每個像素對應於所確定的裝訂部分上的相同位置上的像素。然後，對於空白陰影數據映射圖的每一列，在所確定的裝訂部分的頂端和底端的陰影數據被填充到空白陰影數據映射圖上的相應的頂端和底端位置中。 然後，對於空白陰影數據映射圖的每一列，作為插值的結果獲得的、所確定的裝訂部分的頂端和底端以外的、所確定的裝訂部分的其他部分中的陰影數據被填充到空白陰影數據映射圖上的相應的位置中。以這種方式，生成對於整個所確定的裝訂部分的陰影數據映射圖。雖然以上詳細地描述了生成陰影數據映射圖的一種具體方式，生成陰影數據映射圖的方法和所述陰影數據映射圖本身的詳細構成不限於上述的具體方式。例如，在上述描述中，首先描述了如何生成每個陰影數據，然後描述了將陰影數據填充到空白陰影數據映射圖中的各個位置中。然而，可如下實施上述處理首先生成空白陰影數據映射圖，然後每次一個像素地，生成一個陰影數據並同時將所述一個陰影數據填充到空白陰影數據映射圖中的相應位置中。此外， 根據以上描述，陰影數據映射圖中的數據點是為所確定的裝訂部分中的像素所估計的像素值。然而，陰影數據映射圖中的數據點還可以是由被預定像素值歸一化的歸一化像素值。此外，如前面說明的那樣，陰影數據映射圖也可以具有數學表達式的形式。因此，只要陰影數據映射圖能夠表徵陰影在所確定的裝訂部分中的分布就足夠了。此外，陰影數據映射圖可以接受諸如用於校正誤差或增強圖像質量的進一步的處理。圖9示出對於圖6所示的示例中的所確定的裝訂部分所生成的陰影數據映射圖的示例。可以看出，陰影數據映射圖表徵了背景的陰影的分布，並且不包含任何與書籍中印刷的文字或圖片有關的信息。以下將描述根據本發明的一個優選實施例通過使用所生成的陰影數據映射圖除去(校正)所確定的裝訂部分中的陰影的示例性處理。該處理可在步驟S307中執行，即在步驟S305之後執行。例如，可以根據以下公式校正在有陰影的掃描圖像上的所確定的裝訂部分中的像
素值D (x, y) = M*I(x, y)/S(x, y)其中，D(x，y)是所確定的裝訂部分中在位置(x，y)處的校正之後的像素的像素值 (校正後的像素值)，I(x，y)是所確定的裝訂部分中在位置(χ，y)處的校正之前的像素的像素值(原始像素值)，S (x, y)是對於位置(X，y)處的像素的陰影數據值，並且M是代表 「理想」背景像素值的像素值。當在某個位置(χ，y)處S(x，y)等於I(x，y)時，也就是說， 當該位置處的陰影數據等於該位置處的原始像素值時，這意味著該位置處於背景部分(空白部分)中。在這種情況下，校正後的像素值D (x，y)等於表示「理想」背景像素值的Μ。因此，可以看出，根據本發明的方法將背景部分中的原始像素值變換成「理想」像素值Μ,無論其原始像素值如何。例如，M可被設置為校正前的整個陰影數據部分中最亮的像素的像素值。作為替換方案，M也可以是其他的預定像素值。在這種情況下，也可從而調整掃描圖像中的非陰影部分中的像素值，使得校正後的背景像素值具有均勻的值。上述的公式給出了關於如何使用陰影數據映射圖來校正有陰影的裝訂部分中的像素值的示例。然而，使用所述陰影數據映射圖的具體方法不被上述公式限制。可以應用加權係數W(x，y)，使得通過對I(x，y)加權獲得D(x，y)。也可以在利用陰影數據映射圖進行校正之前、期間或之後，根據需要應用其他處理。圖10示出通過將圖9中示出的陰影校正數據應用於圖6中示出的所確定的裝訂部分獲得的陰影校正後的掃描圖像的示例。從圖10可見，在展開的書籍的掃描圖像的裝訂部分中發生的陰影已被很好地去除。可使用以上的圖像處理方法和設備來校正展開的書籍的掃描圖像的裝訂部分中的陰影。所述圖像處理方法和設備可被構造成與掃描儀(圖像掃描設備)分離的設備，或者可以被構建在掃描儀內。在根據本發明的圖像處理方法和設備被構建在掃描儀內時，它們可被配置為掃描儀的圖像處理部的一部分，並且可按照程序的形式被存儲在掃描儀的存儲裝置中以供控制器使用。在這種情況下，上述的圖像處理設備可構成掃描儀的功能模塊。 在讀取控制部獲得了展開的書籍的讀取圖像(掃描圖像)之後，根據本發明的圖像處理設備於是可執行上述的圖像處理方法，以校正掃描圖像的裝訂部分中的陰影。由此，掃描儀的用戶可從掃描儀立即獲得陰影校正後的(陰影去除後的)圖像而不需要任何進一步處理圖像的努力。在掃描儀被併入到複印機的情況下，複印機的用戶可獲得其中展開的書籍的圖像的陰影被校正(陰影被去除)的複印件。此外，當然，也可以在根據本發明的圖像處理方法之前、期間或之後，執行諸如幾何畸變校正之類的其他圖像處理過程。可以通過許多方式來實施本發明的方法和設備。例如，可以通過軟體、硬體、固件、 或其任何組合來實施本發明的方法和設備。上述的方法步驟的次序僅是說明性的，本發明的方法步驟不限於以上具體描述的次序，除非以其他方式明確說明。此外，在一些實施例中，本發明還可以被實施為記錄在記錄介質中的程序，其包括用於實現根據本發明的方法的機器可讀指令。因而，本發明還覆蓋存儲用於實現根據本發明的方法的程序的記錄介質。
雖然已通過示例詳細展示了本發明的一些具體實施例，但是本領域技術人員應當理解，上述示例僅意圖是示例性的而不限制本發明的範圍。本領域技術人員應該理解，上述實施例可以被修改而不脫離本發明的範圍和實質。本發明的範圍是通過所附的權利要求限定的。
權利要求
1.一種圖像處理方法，所述圖像處理方法能夠校正展開的書籍的掃描圖像上的裝訂部分中的陰影，所述圖像處理方法包括如下步驟裝訂部分確定步驟，確定掃描圖像上的裝訂部分；陰影數據映射圖生成步驟，根據所確定的裝訂部分的最頂端部分中的像素值和最底端部分中的像素值，生成由所確定的裝訂部分的陰影數據構成的陰影數據映射圖；以及校正步驟，通過使用所生成的陰影數據映射圖，校正所確定的裝訂部分中的陰影。
2.根據權利要求1所述的圖像處理方法，其中所述陰影數據映射圖生成步驟包括如下步驟頂端估計步驟，通過使用所確定的裝訂部分的最頂端部分中的像素值，估計所確定的裝訂部分的頂端的陰影數據；底端估計步驟，通過使用所確定的裝訂部分的最底端部分中的像素值，估計所確定的裝訂部分的底端的陰影數據；以及插值步驟，對所確定的裝訂部分的頂端和底端的陰影數據進行插值，從而生成所確定的裝訂部分的頂端和底端之外的其他陰影數據。
3.根據權利要求1所述的圖像處理方法，其中所述裝訂部分確定步驟包括如下步驟 確定展開的書籍的頂端邊界和底端邊界；以及確定所述裝訂部分的左側邊界和右側邊界，所確定的裝訂部分的所述左側邊界和右側邊界與所述展開的書籍的頂端邊界或底端邊界正交。
4.根據權利要求2所述的圖像處理方法，其中所述頂端估計步驟包括如下步驟對於所確定的裝訂部分的每一列，搜索與該列的最頂端的N個像素當中的最亮的像素對應的像素值，並且使用與所述最亮的像素對應的所述像素值作為該列的頂端的陰影數據，其中列是與所確定的裝訂部分的左側邊界或右側邊界平行的像素行，並且N為預定的正整數。
5.根據權利要求4所述的圖像處理方法，其中所述頂端估計步驟進一步包括如下步驟在對於每一列估計陰影數據之後，處理所確定的裝訂部分的頂端的陰影數據，使得在所估計的陰影數據中的錯誤數據被校正。
6.根據權利要求2所述的圖像處理方法，其中所述底端估計步驟包括如下步驟對於所確定的裝訂部分的每一列，搜索與該列的最底端的N個像素當中的最亮的像素對應的像素值，並且使用與所述最亮的像素對應的所述像素值作為該列的底端的陰影數據，其中列是與所確定的裝訂部分的左側邊界或右側邊界平行的像素行，並且N為預定的正整數。
7.根據權利要求6所述的圖像處理方法，其中所述底端估計步驟進一步包括如下步驟在對於每一列估計陰影數據之後，處理所確定的裝訂部分的底端的陰影數據，使得在所估計的陰影數據中的錯誤數據被校正。
8.根據權利要求2-7中任一項所述的圖像處理方法，其中，所述陰影數據映射圖生成步驟進一步包括如下步驟生成與所確定的裝訂部分具有相同大小的空白陰影數據映射圖，以及在空白陰影數據映射圖中填充所確定的裝訂部分的頂端的所估計的陰影數據、所確定的裝訂部分的底端的所估計的陰影數據、以及從所述插值生成的陰影數據。
9.根據權利要求1-7中任一項所述的圖像處理方法，進一步包括畸變校正步驟，校正掃描圖像的幾何畸變。
10.一種圖像處理設備，所述圖像處理設備能夠校正展開的書籍的掃描圖像上的裝訂部分中的陰影，所述圖像處理設備包括裝訂部分確定裝置，用於確定掃描圖像上的裝訂部分；陰影數據映射圖生成裝置，用於根據所確定的裝訂部分的最頂端部分中的像素值和最底端部分中的像素值，生成由所確定的裝訂部分的陰影數據構成的陰影數據映射圖；以及校正裝置，用於通過使用所生成的陰影數據映射圖，校正所確定的裝訂部分中的陰影。
11.根據權利要求10所述的圖像處理設備，其中所述陰影數據映射圖生成裝置包括頂端估計裝置，用於通過使用所確定的裝訂部分的最頂端部分中的像素值，估計所確定的裝訂部分的頂端的陰影數據；底端估計裝置，用於通過使用所確定的裝訂部分的最底端部分中的像素值，估計所確定的裝訂部分的底端的陰影數據；以及插值裝置，用於對所確定的裝訂部分的頂端和底端的陰影數據進行插值，從而生成所確定的裝訂部分的頂端和底端之外的其他陰影數據。
12.根據權利要求10所述的圖像處理設備，其中所述裝訂部分確定裝置包括用於確定展開的書籍的頂端邊界和底端邊界的裝置；以及用於確定所述裝訂部分的左側邊界和右側邊界的裝置，所確定的裝訂部分的所述左側邊界和右側邊界與所述展開的書籍的頂端邊界或底端邊界正交。
13.根據權利要求11所述的圖像處理設備，其中所述頂端估計裝置包括用於對於所確定的裝訂部分的每一列，搜索與該列的最頂端的N個像素當中的最亮的像素對應的像素值，並且使用與所述最亮的像素對應的所述像素值作為該列的頂端的陰影數據的裝置，其中列是與所確定的裝訂部分的左側邊界或右側邊界平行的像素行，並且N 為預定的正整數。
14.根據權利要求13所述的圖像處理設備，其中所述頂端估計裝置進一步包括用於在對於每一列估計陰影數據之後，處理所確定的裝訂部分的頂端的陰影數據，使得在所估計的陰影數據中的錯誤數據被校正的裝置。
15.根據權利要求11所述的圖像處理設備，其中所述底端估計裝置包括用於對於所確定的裝訂部分的每一列，搜索與該列的最底端的N個像素當中的最亮的像素對應的像素值，並且使用與所述最亮的像素對應的所述像素值作為該列的底端的陰影數據的裝置，其中列是與所確定的裝訂部分的左側邊界或右側邊界平行的像素行，並且N 為預定的正整數。
16.根據權利要求15所述的圖像處理設備，其中所述底端估計裝置進一步包括用於在對於每一列估計陰影數據之後，處理所確定的裝訂部分的底端的陰影數據，使得在所估計的陰影數據中的錯誤數據被校正的裝置。
17.根據權利要求11-16中任一項所述的圖像處理設備，其中，所述陰影數據映射圖生成裝置進一步包括用於生成與所確定的裝訂部分具有相同大小的空白陰影數據映射圖的裝置，以及用於在空白陰影數據映射圖中填充所確定的裝訂部分的頂端的所估計的陰影數據、所確定的裝訂部分的底端的所估計的陰影數據、以及從所述插值生成的陰影數據的裝置。
18.根據權利要求10-16中任一項所述的圖像處理設備，進一步包括 畸變校正裝置，用於校正掃描圖像的幾何畸變。
19.一種圖像掃描設備，包括讀取控制裝置，用於讀取展開的書籍的圖像以生成掃描圖像；以及根據權利要求10-18中任一項所述的圖像處理設備。
全文摘要
本發明給出一種圖像處理方法、圖像處理設備以及圖像掃描設備，其能夠校正展開的書籍的掃描圖像上的裝訂部分中的陰影。所述圖像處理方法包括如下步驟裝訂部分確定步驟，確定掃描圖像上的裝訂部分；陰影數據映射圖生成步驟，根據所確定的裝訂部分的最頂端部分中的像素值和最底端部分中的像素值，生成由所確定的裝訂部分的陰影數據構成的陰影數據映射圖；以及校正步驟，通過使用所生成的陰影數據映射圖，校正所確定的裝訂部分中的陰影。本發明的實施非常快速、容易並且不昂貴，同時能夠實現好的校正性能。
文檔編號H04N1/387GK102196148SQ20101011662
公開日2011年9月21日 申請日期2010年3月1日 優先權日2010年3月1日
發明者李建傑, 胥立豐 申請人:佳能株式會社