一種彩色文本圖像校正方法及系統與流程

2023-04-26 04:15:06 3

本發明設計圖像處理技術領域，具體說是涉及一種彩色文本圖像校正方法及系統。

背景技術：

目前，光照不均的彩色文本圖像屬於一種文本圖像，針對文本圖像的校正方法主要有：(1)以直方圖變化為基礎的灰度變換法；(2)圖像空域上的灰度變換法；(3)基於同態濾波的圖像校正法；(4)基於Retinex彩色圖像增強方法；(5)梯度域增強算法；(6)基於HSI模型的彩色圖像校正；(7)基於參考標樣的圖像非均勻校正法。

但是上述校正方法在處理彩色文本圖像時均存在一定的缺陷，具體如下：

1、一些算法(如圖像空域上的灰度變換法)採用調整圖像對比度的方式進行圖像校正，這種方法會使圖像明亮區域更亮而陰暗區域更暗，造成嚴重的細節丟失；

2、算法(如基於同態濾波的圖像校正法)中過渡依賴高斯函數、卷積運算等大量的數學公式，其複雜度高，運算量大，致使算法實時性不高；

3、基於Retinex的圖像校正算法雖然對真彩色圖像有很好的增強效果，但重建後的圖像在陰影邊界附近被嚴重模糊而產生光暈偽影；

4、目前，基於參考標樣的校正方法對彩色文本圖像有較好的效果，但由於非均勻光照的不確定性致使該方法無法實現自適應校正的要求。

技術實現要素：

鑑於已有技術存在的缺陷，本發明的目的是要提供一種彩色文本圖像校正方法，該方法具有圖像提取效率高、且圖像提取精度高等優點。

為了實現上述目的，本發明的技術方案：

一種彩色文本圖像校正方法，其特徵在於，所述方法包括如下步驟：

S1、對輸入的文本圖像進行預處理，並提取出所述文本圖像的背景圖像以及前景圖像；

S2、對所提取的背景圖像進行光照均勻化調整，並計算所述背景圖像的光照比例因子bk；

S3、估計前景圖像的光照比例因子fk，並基於所估計的fk對前景圖像進行光照均勻化調整；

S4、將均勻化調整後的前景圖像和背景圖像進行疊加，得到光照均勻化的校正圖像。

進一步的，作為本發明的優選方案，

所述對輸入的文本圖像進行預處理，並提取出所述文本圖像的背景圖像以及前景圖像具體包括：

S11、將輸入的彩色文本圖像轉化為灰度圖像；

S12、對所述灰度圖像進行邊緣檢測，以確認所述灰度圖像中文字所對應的基本位置區域；

S13、對經S12步驟後的灰度圖像進行圖像形態學處理，以確認所述灰度圖像中文字所對應的精確位置區域，其中所述精確位置區域由所述灰度圖像中文字所包含的各像素點位置確定；

S14、將所確認的精確位置區域對應的圖像提取為前景圖像；將非精確位置區域對應的圖像提取為背景圖像。

優選的，所述方法通過採用sobel邊緣檢測算法對所述灰度圖像進行邊緣檢測，以避免因光照不均造成的影響並保留圖像重要的結構屬性。

進一步的，作為本發明的優選方案，

所述對所提取的背景圖像進行光照均勻化調整，並計算所述背景圖像的光照比例因子bk具體包括：

S21、將所述背景圖像由RGB空間轉換到HSV空間，並提取所述背景圖像在HSV空間下，其V分量所對應的全部的亮度值；

S22、按照從大到小的順序，依次自各所述亮度值中提取N個亮度值並計算所提取的各亮度值的平均值，同時將所計算的平均值設定為理想光照條件值Vmean；

S23、使用Vmean替換所述V分量所對應的各亮度值後，與所述背景圖像對應的HSV空間下H分量、S分量合成為新的HSV圖像，並將所合成的HSV圖像轉換成RGB圖像以獲得理想背景圖像；

S24、計算背景圖像的光照比例因子bk，其中bk＝Tb/Fb，Tb表示所述理想背景圖像對應的理想背景值，Fb為所提取的背景圖像原圖對應的背景值。

進一步的，作為本發明的優選方案，

所述估計前景圖像的光照比例因子fk，並基於所估計的fk對前景圖像進行光照均勻化調整具體包括：

S31、首先將前景圖像的光照比例因子fk設為0，然後基於背景圖像的光照比例因子bk，對所提取的前景圖像進行插值運算，以得到前景圖像的每一像素點位置上對應的前景圖像的光照比例因子fk的估計值；

S32、根據公式Tf＝Ff×fk對提取的前景圖像進行光照均勻化調整，其中Tf為調整後前景圖像的像素值，Ff為調整前-所提取的前景圖像的像素值。

優選的，所述插值運算包括按從左到右，從上到下的順序，依次對前景圖像的光照比例因子被設為0的各像素點位置即各插值點所對應的數值進行插值運算，且各插值點的數值通過相鄰非零值求平均或雙線性插值再或者三線性插值方式來計算，所得到的各計算值即為前景圖像各像素點位置上所對應的前景圖像的光照比例因子fk的估計值。

進一步的，作為本發明的優選方案，

所述方法還包括對疊加得到的校正圖像進行細節處理，所述細節處理包括：

S51、將疊加得到的校正圖像轉換成二值圖像；

S52、基於所述二值圖像將RGB三個分量所對應白色區域替換為前述理想背景值；且各分量所對應的黑色區域替換為所輸入的文本圖像的像素值。

本發明的目的是還要提供一種彩色文本圖像校正系統，所述系統其特徵在於，包括：

文本圖像預處理單元，該單元能夠對輸入的文本圖像進行預處理，並提取出所述文本圖像的背景圖像以及前景圖像；

背景圖像調整單元，該單元能夠對所提取的背景圖像進行光照均勻化調整，並計算所述背景圖像的光照比例因子bk；

前景圖像調整單元，該單元能夠估計前景圖像的光照比例因子fk，並基於所估計的fk對前景圖像進行光照均勻化調整；

以及圖像疊加單元，該單元能夠將均勻化調整後的前景圖像和背景圖像進行疊加，以得到光照均勻化的校正圖像。

進一步的，作為本發明的優選方案，

所述文本圖像預處理單元，包括：

文本圖像灰度處理子單元，該子單元能夠將輸入的彩色文本圖像轉化為灰度圖像；

邊緣檢測子單元，該子單元能夠對所述灰度圖像進行邊緣檢測，以確認所述灰度圖像中文字所對應的基本位置區域；

圖像形態學處理子單元，該子單元能夠將所確認的灰度圖像進行圖像形態學處理，以確認所述灰度圖像中文字所對應的精確位置區域，其中所述精確位置區域由所述灰度圖像中文字所包含的各像素點位置確定；

圖像提取子單元，該子單元能夠將所確認的精確位置區域對應的圖像提取為前景圖像；將非精確位置區域對應的圖像提取為背景圖像。

優選的，所述邊緣檢測子單元通過採用sobel邊緣檢測算法對所述灰度圖像進行邊緣檢測，以避免因光照不均造成的影響並保留圖像重要的結構屬性。

進一步的，作為本發明的優選方案，

所述背景圖像調整單元包括：

空間轉換子單元，該子單元能夠將所述背景圖像由RGB空間轉換到HSV空間，並提取所述背景圖像在HSV空間下，其V分量所對應的全部的亮度值；

亮度值提取子單元，該子單元能夠按照從大到小的順序，依次自各所述亮度值中提取N個亮度值並計算所提取的各亮度值的平均值，同時將所計算的平均值設定為理想光照條件值Vmean；

理想背景圖像合成子單元，該子單元能夠使用Vmean替換所述V分量所對應的各亮度值後，與所述背景圖像對應的HSV空間下H分量、S分量合成為新的HSV圖像，並將所合成的HSV圖像轉換成RGB圖像以獲得理想背景圖像；

背景圖像計算子單元，該子單元能夠計算背景圖像的光照比例因子bk，其中bk＝Tb/Fb，Tb表示所述理想背景圖像對應的理想背景值，Fb為所提取的背景圖像原圖對應的背景值。

進一步的，作為本發明的優選方案，

所述前景圖像調整單元包括：

前景圖像計算子單元，該子單元能夠將前景圖像的光照比例因子fk設為0後，基於背景圖像的光照比例因子bk，對所提取的前景圖像進行插值運算，以得到前景圖像的每一像素點位置上對應的前景圖像的光照比例因子fk的估計值；

前景圖像調整子單元，該子單元能夠根據公式Tf＝Ff×fk對提取的前景圖像進行光照均勻化調整，其中Tf為調整後前景圖像的像素值，Ff為所提取的前景圖像的像素值。

優選的，所述插值運算包括按從左到右，從上到下的順序，依次對前景圖像的光照比例因子被設為0的各像素點位置即各插值點所對應的數值進行插值運算，且各插值點的數值通過相鄰非零值求平均的方式來計算，所得到的各計算值即為前景圖像各像素點位置上所對應的前景圖像的光照比例因子fk的估計值。

進一步的，作為本發明的優選方案，

所述圖像疊加單元包括對疊加得到的校正圖像進行細節處理的細節處理子單元，該子單元能夠將疊加得到的校正圖像轉換成二值圖像；並基於所述二值圖像將RGB三個分量所對應白色區域替換為前述理想背景值；且各分量所對應的黑色區域替換為所輸入的文本圖像的像素值。

與現有技術相比，本發明的有益效果：

1、本發明基於邊緣檢測的方式自動地對文本圖像的前景和背景進行分離，其通過計算得到的背景光照比例因子和預測得到的前景光照比例因子，以使得本發明能夠根據提取文本圖像的不同而有所不同，從而達到了針對圖像自身特性來計算光照比例因子的目的，提高了算法的自適應性；

2、本發明對分割得到的前景圖像和背景圖像採用了不同的均勻化校正方法，這種針對前景、背景特性的處理方式有效的避免了全局處理中出現的明暗區域差異明顯、部分細節丟失等現象；

3、本發明疊加均勻化處理後的前景圖像和背景圖像後，進行了二值化處理，並用理想背景值替換白色區域，所輸入圖像的像素值替換黑色區域的方法進行細節處理，即有效地去除了疊加產生的邊緣光暈；

4、在本發明未涉及到複雜公式或大量公式運算，其佔用運算空間小，運行速度快，實時性高，具有廣泛的應用價值。

附圖說明

圖1為本發明所述方法對應步驟流程示意圖；

圖2為本發明所述系統對應電路結構示意圖；

圖3為本發明所述方法或系統的圖像處理對應原理步驟流程圖；

圖4a為本發明-所輸入的文本圖像原圖實例圖；

圖4b為本發明-所提取出所述文本圖像的前景圖像實例圖；

圖4c為本發明-所提取出所述文本圖像的背景圖像實例圖；

圖4d為本發明-所合成的理想背景圖像實例圖；

圖4e為本發明-經光照均勻化調整後的前景圖像實例圖；

圖4f為本發明-經二值化的細節處理的前景圖像實例圖；

圖4g為本發明-經疊加後的文本圖像實例圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

本發明設計了一種適用於對光照不均的彩色文本圖像進行校正的方法，本發明所述的彩色文本圖像，如圖4a，其是指背景顏色單一、光照不均的彩色文本圖像，針對這種文本圖像，如圖1，本發明所述方法主要處理步驟如下：

S1、對輸入的文本圖像進行預處理，並提取出所述文本圖像的背景圖像以及前景圖像；所述步驟S1即為基於邊緣檢測的方法進行前景和背景的分離的過程，其具體包括：S11、將輸入的彩色文本圖像轉化為灰度圖像；S12、對所述灰度圖像進行邊緣檢測，以確認所述灰度圖像中文字所對應的基本位置區域，以粗略估計圖像中的文字所在位置區域；S13、對經S12步驟後的灰度圖像進行圖像形態學處理，以確認所述灰度圖像中文字所對應的精確位置區域，其中所述精確位置區域由所述灰度圖像中文字所包含的各像素點位置確定；S14、將所確認的精確位置區域對應的圖像提取為前景圖像，如圖4b；將非精確位置區域對應的圖像提取為背景圖像，如圖4c。作為本發明的優選實施例，所述方法通過採用sobel邊緣檢測算法對所述灰度圖像進行邊緣檢測，以避免因光照不均造成的影響並保留圖像重要的結構屬性。同時數字圖像處理中的圖像形態學處理是指將數字形態學作為工具從圖像中提取對於表達和描繪區域形狀有用處的圖像分量，比如邊界、骨架以及凸殼，還包括用於預處理或後處理的形態學過濾、細化和修剪等處理過程。

S2、對所提取的背景圖像進行光照均勻化調整，並計算所述背景圖像的光照比例因子bk；由於本發明所輸入的彩色文本圖像為單一顏色背景，其背景的差異主要體現在光照不均上，因此本發明通過在亮度分量上計算理想值的方式對背景圖像進行光照均勻化調整即其具體包括：S21、將所提取的背景圖像由RGB空間轉換到HSV空間，並提取所述背景圖像在HSV空間下，其V分量所對應的全部的亮度值；S22、然後在亮度空間上按照從大到小的順序，依次自各所述亮度值中提取N個亮度值並計算所提取的各亮度值的平均值，同時將所計算的平均值設定為理想光照條件值Vmean；S23、使用Vmean替換所述v分量所對應的各亮度值後，與所述背景圖像對應的HSV空間下h分量、s分量合成為新的HSV圖像，並將所合成的HSV圖像轉換成RGB圖像以獲得理想背景圖像，如圖4d，該理想背景圖像即為所需的具有均勻光照的背景圖像；同時由於不同位置調整到理想背景值所需校正的比例是不同的，為了對前景圖像校正參數進行估計，我們引用了光照比例因子，即設置了步驟S24，所述S24、計算背景圖像的光照比例因子bk，其中bk＝Tb/Fb，Tb表示所述理想背景圖像對應的理想背景值，Fb為所提取的背景圖像原圖對應的背景值。作為本發明的優選實施例，所述方法在亮度空間上按照從大到小的順序，依次自各所述亮度值中提取前十個亮度值並計算所提取的各亮度值的平均值，同時將所計算的平均值設定為理想光照條件值Vmean。

S3、估計前景圖像的光照比例因子fk，並基於所估計的fk對前景圖像進行光照均勻化調整，由於光照具有局部自相似性，因而相鄰像素點位置上的光照比例因子也相似，根據這種自相似特性，即可對前景圖像的光照比例因子進行預估，其具體包括：S31、首先將前景圖像的光照比例因子fk設為0，然後基於背景圖像的光照比例因子bk，對所提取的前景圖像進行插值運算，以得到前景圖像的每一像素點位置上對應的前景圖像的光照比例因子fk的估計值；這裡所說的前景光照比例因子與前景圖像位置相對應，背景光照比例因子與背景圖像相對應；S32、根據公式Tf＝Ff×fk對提取的前景圖像進行光照均勻化調整，其中Tf為調整後前景圖像的像素值或者稱為RGB值，Ff為未做調整前的所提取的前景圖像的像素值。作為本發明的優選實施例，所述方法中的插值運算包括按從左到右，從上到下的順序，依次對前景圖像的光照比例因子被設為0的各像素點位置即各插值點所對應的數值進行插值運算，且各插值點的數值通過相鄰非零值求平均或雙線性插值再或者三線性插值的方式來計算，所得到的各計算值即為前景圖像各像素點位置上所對應的前景圖像的光照比例因子fk的估計值；同時根據光照的平滑特性，我們對各估計值進行濾波處理，從而得到前景的光照比例因子fk，如圖4e所示效果。

S4、將均勻化調整後的前景圖像和背景圖像進行疊加，得到光照均勻化的校正圖像，如圖4g所示效果。

由於步驟S4中疊加得到的校正圖像常會出現前景、背景過渡不平滑的現象，針對這種現象則需要進一步進行細節處理，來得到符合人視覺特性的校正圖像即所述方法還包括S5、對疊加得到的校正圖像進行細節處理，所述細節處理包括：

S51、將疊加得到的校正圖像轉換成二值圖像；

S52、以二值圖像為模板，將RGB三個分量所對應白色區域替換為前述理想背景值；且各分量所對應的黑色區域替換為所輸入的文本圖像的原圖像素值，這種基於二值化的細節處理方式不僅可使前景圖像、背景圖像過渡自然，而且保證了文本內容的清晰度，如圖4f所示效果。

基於上述原理及方法，本發明還設計了一種彩色文本圖像校正系統，所述系統，如圖2-3，其特徵在於，包括：

(1)文本圖像預處理單元，該單元能夠對輸入的文本圖像進行預處理，並提取出所述文本圖像的背景圖像以及前景圖像；進一步的，作為本發明的優選方案，所述文本圖像預處理單元，包括：文本圖像灰度處理子單元，該子單元能夠將輸入的彩色文本圖像轉化為灰度圖像；邊緣檢測子單元，該子單元能夠對所述灰度圖像進行邊緣檢測，以確認所述灰度圖像中文字所對應的基本位置區域；圖像形態學處理子單元，該子單元能夠將所確認的灰度圖像進行圖像形態學處理，以確認所述灰度圖像中文字所對應的精確位置區域，其中所述精確位置區域由所述灰度圖像中文字所包含的各像素點位置確定；圖像提取子單元，該子單元能夠將所確認的精確位置區域對應的圖像提取為前景圖像；將非精確位置區域對應的圖像提取為背景圖像。優選的，所述邊緣檢測子單元通過採用sobel邊緣檢測算法對所述灰度圖像進行邊緣檢測，以避免因光照不均造成的影響並保留圖像重要的結構屬性。

(2)背景圖像調整單元，該單元能夠對所提取的背景圖像進行光照均勻化調整，並計算所述背景圖像的光照比例因子bk；進一步的，作為本發明的優選方案，所述背景圖像調整單元包括：空間轉換子單元，該子單元能夠將所述背景圖像由RGB空間轉換到HSV空間，並提取所述背景圖像在HSV空間下，其V分量所對應的全部的亮度值；亮度值提取子單元，該子單元能夠按照從大到小的順序，依次自各所述亮度值中提取N個亮度值並計算所提取的各亮度值的平均值，同時將所計算的平均值設定為理想光照條件值Vmean,N取10；理想背景圖像合成子單元，該子單元能夠使用Vmean替換所述V分量所對應的各亮度值後，與所述背景圖像對應的HSV空間下H分量、S分量合成為新的HSV圖像，並將所合成的HSV圖像轉換成RGB圖像以獲得理想背景圖像；以及背景圖像計算子單元，該子單元能夠計算背景圖像的光照比例因子bk，其中bk＝Tb/Fb，Tb表示所述理想背景圖像對應的理想背景值，Fb為所提取的背景圖像原圖對應的背景值。

(3)前景圖像調整單元，該單元能夠估計前景圖像的光照比例因子fk，並基於所估計的fk對前景圖像進行光照均勻化調整；進一步的，作為本發明的優選方案，所述前景圖像調整單元包括：前景圖像計算子單元，該子單元首先將前景圖像的光照比例因子fk設為0，然後基於背景圖像的光照比例因子bk，對所提取的前景圖像進行插值運算，以得到前景圖像的每一像素點位置上對應的前景圖像的光照比例因子fk的估計值；這裡所說的前景光照比例因子與前景圖像位置相對應，背景光照比例因子與背景圖像相對應；以及前景圖像調整子單元，該子單元能夠根據公式Tf＝Ff×fk對提取的前景圖像進行光照均勻化調整，其中Tf為調整後前景圖像的像素值，Ff為調整前前景圖像的像素值。優選的，所述插值運算包括按從左到右，從上到下的順序，依次對前景圖像的光照比例因子被設為0的各像素點位置即各插值點所對應的數值進行插值運算，且各插值點的數值通過相鄰非零值求平均的方式來計算，所得到的各計算值即為前景圖像各像素點位置上所對應的前景圖像的光照比例因子fk的估計值。

(4)圖像疊加單元，該單元能夠將均勻化調整後的前景圖像和背景圖像進行疊加，以得到光照均勻化的校正圖像。進一步的，作為本發明的優選方案，所述圖像疊加單元還包括對疊加得到的校正圖像進行細節處理的細節處理子單元，該子單元能夠將疊加得到的校正圖像轉換成二值圖像；並基於所述二值圖像將RGB三個分量所對應白色區域替換為前述理想背景值；且各分量所對應的黑色區域替換為所輸入的文本圖像的像素值。

以上所述，僅為本發明較佳的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，根據本發明的技術方案及其發明構思加以等同替換或改變，都應涵蓋在本發明的保護範圍之內。