一種圖像壞點的校正方法、系統及圖像傳感器的製作方法

2023-07-19 06:39:31 1

專利名稱：一種圖像壞點的校正方法、系統及圖像傳感器的製作方法
技術領域：
本發明屬於圖像處理領域，尤其涉及一種圖像壞點的校正方法、系統及圖像傳感器。

背景技術：
目前一般的電腦攝像頭、手機攝像頭、數位相機和攝像機等數碼成像產品，所用的圖像傳感器多為RGB Bayer類型，其在採集圖像時是通過Bayer色彩矩陣得到圖像，在數字圖像處理過程中，需要對通過Bayer色彩矩陣得到的圖像進行色彩插值，以使圖像的色彩得以恢復。由於目前製造圖像傳感器的工藝水平有限，使圖像傳感器採集的圖像中可能出現壞點(dead pixel)。在對圖像進行插值時，如果不對圖像中的壞點進行校正，則對圖像插值以後，壞點可能會擴展到臨近的插值中去，嚴重影響色彩插值的效果，降低圖像的質量。
現有的一種壞點校正方法是將Bayer數據經過插值處理後，再對插值處理得到的全彩圖像逐點的進行壞點校正。由於對圖像進行插值處理後，壞點可能擴展到臨近的插值中，因此，這種壞點校正方法的計算量大，處理複雜。
現有的另一種壞點校正方法是先逐點的校正Bayer數據中的壞點，再對Bayer數據進行插值處理。這種壞點校正方法雖然簡單易實現，但由於壞點校正與插值操作是分開進行的，其需要更多的空間用於存儲中間數據，從而不利於減小圖像傳感器晶片的面積，降低圖像傳感器的成本。


發明內容
本發明實施例的目的在於提供一種圖像壞點的校正方法，旨在解決現有技術由於在對圖像進行插值操作之前或者之後逐點的對圖像的壞點進行校正，造成的計算量大，增加圖像傳感器成本的問題。
本發明實施例是這樣實現的，一種圖像壞點的校正方法，所述方法包括下述步驟 以插值點為中心建立5×5Bayer色彩矩陣； 根據所述5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對所述5×5Bayer色彩矩陣中的像素點進行壞點預判； 對判定為壞點的像素點進行校正。
本發明實施例的另一目的在於提供一種圖像壞點校正系統，所述系統包括 臨域創建單元，用於以插值點為中心建立5×5Bayer色彩矩陣； 壞點預判單元，用於根據所述臨域創建單元建立的5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中的像素點進行壞點預判； 壞點校正單元，用於對所述壞點預判單元判定為壞點的像素點進行校正。
本發明實施例的另一目的在於提供一種包括所述圖像壞點校正系統的圖像傳感器。
本發明實施例的另一目的在於提供一種圖像插值方法，所述方法包括下述步驟 以插值點為中心建立5×5Bayer色彩矩陣； 根據所述5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對所述5×5Bayer色彩矩陣中的像素點進行壞點預判； 對判定為壞點的像素點進行校正； 對所述插值點進行插值處理，再循環執行上述步驟。
本發明實施例的另一目的在於提供一種圖像插值系統，所述系統包括 臨域創建單元，用於以插值點為中心建立5×5Bayer色彩矩陣； 壞點預判單元，用於根據所述臨域創建單元建立的5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中的像素點進行壞點預判； 壞點校正單元，用於對所述壞點預判單元判定為壞點的像素點進行校正； 插值處理單元，用於對所述插值點進行插值處理。
本發明實施例的另一目的在於提供一種包括所述圖像插值系統的圖像傳感器。
在本發明實施例中，在對像素點進行插值處理之前，先以插值點為中心建立5×5Bayer色彩矩陣，通過對5×5Bayer色彩矩陣中像素點進行壞點預判，並對判定為壞點的像素點進行校正，從而使壞點對插值處理的影響降至最低，提高了圖像的質量；同時由於對該插值點的臨域中的像素點進行壞點預判並校正後，即對該插值點進行插值處理，接著再以下一個插值點為中心建立插值點的臨域，循環進行，使圖像壞點校正與插值處理交替進行，從而使壞點校正與插值處理可以共用一個SRAM，節省了單獨進行壞點校正需要的SRAM，減小了圖像傳感器晶片的面積，降低了圖像傳感器的成本。



圖1、圖2、圖3、圖4是本發明實施例提供的5×5Bayer色彩矩陣的示意圖； 圖5是本發明實施例提供的圖像壞點的校正方法的實現流程圖； 圖6是本發明實施例提供的圖像插值方法的實現流程圖； 圖7是本發明實施例提供的圖像壞點校正系統的結構組成圖。

具體實施例方式 為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
在本發明實施例中，在對圖像進行插值處理時，先以插值點為中心，建立5×5Bayer色彩矩陣，再對該5×5Bayer色彩矩陣中的像素點進行壞點預判，並對判定為壞點的像素點進行校正，對該插值點進行插值處理後，再以下一個插值點為中心，建立5×5Bayer色彩矩陣，循環上述過程，使壞點校正與插值操作交替進行，不僅簡單易實現，提高了圖像的質量，而且減小了圖像傳感器晶片的面積，降低了圖像傳感器的成本。
本發明實施例提供的圖像壞點校正方法是基於圖像的RGB Bayer色彩矩陣的。RGB Bayer色彩矩陣的圖像交替使用一組紅色和綠色像素點以及一組綠色和藍色像素點，其中綠色像素的總數為紅色和藍色像素數之和。採用RGBBayer色彩矩陣的原始圖像的像素排列格式如圖1，2，3，4所示。主要包括兩種情況，一種是中心像素點為藍色(如圖1所示)或者紅色(如圖2所示)的RGB Bayer色彩矩陣；另一種是中心像素點為綠色，而紅色點和藍色點的位置可以互換的RGB Bayer色彩矩陣，如圖3和圖4所示。
圖5示出了本發明實施例提供的圖像壞點的校正方法的實現流程，詳述如下 在步驟S501中，以插值點為中心建立5×5Bayer色彩矩陣。
在本發明實施例中，採用Aij表示位於5×5Bayer色彩矩陣中第i行、第j列的像素點，如位於5×5Bayer色彩矩陣中第5行、第5列的像素點採用A55表示等。其中該5×5Bayer色彩矩陣可以是中心點為藍色(如圖1所示)或者紅色(如圖2所示)，綠色點的位置一致的5×5Bayer色彩矩陣，也可以是中心點為綠色，紅色點和藍色點的位置可以互換的5×5Bayer色彩矩陣，如圖3和圖4所示。在本發明實施例中，採用R代表紅色、G代表綠色、B代表藍色。
在步驟S502中，根據上述5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值，或者隔行隔列的相同顏色像素點的色值和周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中的像素點進行壞點預判，如果該5×5Bayer色彩矩陣中的像素點為壞點，則執行步驟S503，如果5×5Bayer色彩矩陣中的像素點為正常點，則執行步驟S504。
其中像素點的隔行隔列的相同顏色像素點是指5×5Bayer色彩矩陣中與該像素點所在行中間隔了一行的所有像素點中與該像素點的顏色相同的所有像素點，以及與該像素點所在列中間隔了一列的所有像素點中與該像素點的顏色相同的所有像素點。像素點的周圍其他像素點是指5×5Bayer色彩矩陣的像素點中可以被該像素點的隔行隔列的相同顏色像素點包圍或者半包圍的像素點。
在本發明實施例中，由於壞點校正與插值交替進行，為了避免由於壞點的擴展，在對插值點進行插值操作後，形成一個壞塊，在對插值點進行插值處理之前，需要保證以插值點為中心的5×5Bayer色彩矩陣中的壞點已被預判成功並被校正，或者在進行插值操作時，不使用5×5Bayer色彩矩陣中壞點的數據。
由於採用串行處理方式對插值點進行插值處理，因此，只要5×5Bayer色彩矩陣中像素點A55(如圖1中的B55，圖2中的R55，圖3中的G55以及圖4中的G55)被預判成功並被校正，則整個5×5Bayer色彩矩陣將不存在壞點的影響，因此，在本發明實施例中，不僅需要對5×5Bayer色彩矩陣中的中心像素點A33(如圖1中的B33，圖2中的R33，圖3和圖4中的G33)進行壞點預判，同時需要對最後一個進入5×5Bayer色彩矩陣的像素點A55進行壞點預判。請參閱圖1至圖4，由於A55(圖1中的B55，圖2中的R55，圖3中的G55以及圖4中的G55)隔行隔列的相同顏色像素點太少，沒有形成A55的包圍圈，從而容易將A55誤判為壞點。而對於像素點A54(如圖1中的B54，圖2中的R54，圖3中的G54以及圖4中的G54)也存在上述缺陷。為了避免上述缺陷，在本發明實施例中，對像素點A53(如圖1中的B53，圖2中的R53，圖3中的G53以及圖4中的G53)進行壞點預判，如果對像素點A53預判成功並進行了校正，則整個5×5Bayer色彩矩陣除像素點A54和A55可能為壞點外，其餘像素點均為正常像素點，此時，在採用相應的插值算法對插值點進行插值處理時，通過儘量少用或者不用像素點A54和A55，即可最大限度的降低壞點給插值操作帶來的影響。
請參閱圖1至圖4，由於像素點A53與像素點A33相隔較遠，如果在對像素點A53進行壞點預判時，出現漏判，即像素點A53為壞點且未被校正，此時，只有等到對像素點A33進行插值處理時才能校正像素點A53，使像素點A53影響像素點A33到像素點A53之間的所有像素點的插值，從而在插值操作結束後，將形成一個壞塊，嚴重影響圖像的質量。因此，在本發明實施例中，為了避免上述缺陷，不僅對5×5Bayer色彩矩陣中的像素點A53進行壞點預判，同時對像素點A43(如圖1中的B43，圖2中的R43，圖3中的G43以及圖4中的G43)進行壞點預判，從而當像素點A53出現漏判，但像素點A43被成功預判時，只有像素點A33到像素點A43之間的像素點的插值會受到壞點的影響，由於此時壞點離插值像素點較遠，對圖像的質量影響較小，可以忽略不計。
綜上所述，在根據5×5Bayer色彩矩陣中像素點的隔行隔列的相同顏色像素點的色值，或者隔行隔列的相同顏色像素點的色值和周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中的像素點進行壞點預判時，需要對5×5Bayer色彩矩陣中的像素點A33、A43以及A53進行壞點預判。
請參閱圖1至圖4，由於像素點A53處於5×5Bayer色彩矩陣邊緣，像素點A53的隔行隔列的相同顏色像素點不能將像素點A53完全包圍，如果只根據像素點A53的隔行隔列的相同顏色像素點的色值對像素點A53進行壞點預判，則很容易將像素點A53誤判為壞點，在本發明實施例中，根據色彩非突變原理(臨近像素點的顏色不會突然變化很大的原理)，在對像素點A53進行壞點預判時，不僅參考像素點A53的隔行隔列的相同顏色像素點的色值，同時參考像素點A53的周圍其他像素點的色值變化趨勢。其中選擇A53的周圍其他像素點的依據是該像素點在5×5Bayer色彩矩陣中，且該像素點的隔行隔列的相同顏色像素點可以將該像素點包圍或者半包圍。對像素點A43進行壞點預判時，基於上述理由，也同時參考像素點A43的隔行隔列的相同顏色像素點的色值，以及像素點A43的周圍其他像素點的色值變化趨勢。由於像素點A33處於5×5Bayer色彩矩陣中心，像素點A33的隔行隔列的相同顏色像素點可以將A33完全包圍，因此，在對像素點A33進行壞點預判時，只需要參考像素點A33的隔行隔列的相同顏色像素點的色值。
其中根據像素點A33的隔行隔列的相同顏色像素點的色值對像素點A33進行壞點預判的步驟具體為 A、確定像素點A33的域值[TH_min，TH_max]； 其中TH_max＝(1+x％)*A33，TH_min＝(1-x％)*A33，x％是預先設置的像素點的允許誤差值。
B、判斷像素點A33的隔行隔列的相同顏色像素點的色值是否均大於TH_max，或者像素點A33的隔行隔列的相同顏色像素點的色值是否均小於TH_min，如果是，則像素點A33為壞點，如果否，則像素點A33為正常點。
其中根據像素點A43、A53的隔行隔列的相同顏色像素點的色值以及周圍其他像素點的色值變化趨勢對像素點A43、A53進行壞點預判的步驟具體為 A、分別根據像素點A43、A53的周圍其他像素點的色值確定像素點A43、A53的周圍其他像素點的色值變化趨勢； 在確定像素點A43的周圍其他像素點的色值變化趨勢時，由於像素點A32、A33、A34的隔行隔列相同顏色像素點均可以分別將A32、A33、A34全包圍或者半包圍，因此，可以根據A32、A33、A34中的任意兩個像素點，也可以同時根據A32、A33、A34三個像素點的色值確定像素點A43的周圍其他像素點的色值變化趨勢。由於離像素點越近的像素點對像素點的域值判斷影響越大，因此，在選擇像素點的周圍其他像素點時，可以選擇離像素點較近的周圍其他像素點。在本發明實施例中，以選擇A33、A34像素點為例進行說明，其中像素點A43的周圍其他像素點的色值變化趨勢為 Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A33-A11|，|A33-A13|，|A33-A15|，|A33-A31|，|A33-A35|，|A33-A51|，|A33-A53|，|A33-A55|)，Diff_a2＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)。
在確定像素點A53的周圍其他像素點的色值變化趨勢時，由於像素點A32、A33、A34、A43的隔行隔列相同顏色像素點均可以分別將A32、A33、A34、A43全包圍或者半包圍，但由於在對A33進行壞點預判時，已經使用了像素點B53，因此，可以根據A32、A34、A43中的任意兩個像素點，也可以同時根據A32、A34、A43三個像素點的色值確定像素點A43的周圍其他像素點的色值變化趨勢。由於離像素點越近的像素點對像素點的域值判斷影響越大，因此，在選擇像素點的周圍其他像素點時，可以選擇離像素點較近的周圍其他像素點。在本發明實施例中，以選擇A34、A43像素點為例進行說明，像素點A53的周圍其他像素點的色值變化趨勢為 Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)，Diff_a2＝max(|A43-A21|，|A43-A25|，|A43-A41|，|A43-A45|，|A43-A23|)。
B、分別根據色值變化趨勢以及預先設置的像素點的允許誤差值x％確定像素點A43、A53的域值[TH_min，TH_max]； 其中像素點A43的域值[TH_min，TH_max]分別為TH_max＝(1+x％)*A43+Diff_base，TH_min＝(1-x％)*A43-Diff_base。
像素點A53的域值[TH_min，TH_max]分別為TH_max＝(1+x％)*A53+Diff_base，TH_min＝(1-x％)*A53-Diff_base。
C、分別判斷所述像素點A43、A53的隔行隔列的相同顏色像素點的色值是否均大於TH_max，或者所述像素點A43、A53的隔行隔列的相同顏色像素點的色值是否均小於TH_min，如果是，則所述像素點A43、A53為壞點，如果否，則所述像素點A43、A53為正常點。
請參閱圖1，當5×5Bayer色彩矩陣的中心像素點為藍色時，根據5×5Bayer色彩矩陣中像素點B33的隔行隔列的相同顏色像素點的色值對像素點B33進行壞點預判的步驟具體如下 A、設定域值TH_min，TH_max；其中 TH_max＝(1+x％)*B33； TH_min＝(1-x％)*B33； B、判斷像素點B33的隔行隔列的相同顏色像素點的色值是否均大於TH_max或者均小於TH_min，如果是，則像素點B33為壞點，否則，像素點B33為正常點。即判斷像素點B11，B13，B15，B31，B35，B51，B53，B55是否均大於TH_max，或者判斷像素點B11，B13，B15，B31，B35，B51，B53，B55是否均小於TH_min，如果是，則像素點B33為壞點，否則，像素點B33為正常點。
根據5×5Bayer色彩矩陣中像素點G43的隔行隔列的相同顏色像素點的色值，以及像素點G43的周圍其他像素點的變化趨勢，對像素點G43進行壞點預判的具體步驟如下 A、計算像素點G43的周圍其他像素點的變化趨勢； Diff_b＝max(|B33-B11|，|B33-B13|，|B33-B15|，|B33-B31|，|B33-B35|，|B33-B51|，|B33-B53|，|B33-B55|)； Diff_g＝max(|G34-G12|，|G34-G52|，|G34-G14|，|G34-G54|，|G34-G32|)； Diff_base＝max(Diff_b，Diff_g)； B、設定域值TH_min，TH_max；其中 TH_max＝(1+x％)*G43+Diff_base； TH_min＝(1-x％)*G43-Diff_base； C、判斷像素點G43的隔行隔列的相同顏色像素點的色值是否均大於TH_max或者均小於TH_min，如果是，則像素點G43為壞點，否則，像素點G43為正常點。即判斷像素點G21，G23，G25，G41，G45的色值是否均小於TH_min，或者像素點G21，G23，G25，G41，G45的色值是否均大於TH_max，如果是，則像素點G43為壞點，否則，像素點G43為正常點。
根據5×5Bayer色彩矩陣中像素點B53的隔行隔列的相同顏色像素點的色值，以及像素點B53的周圍其他像素點的變化趨勢，對像素點B53進行壞點預判的具體步驟如下 A、計算像素點B53的周圍其他像素點的變化趨勢； Diff_g1＝max(|G34-G12|，|G34-G52|，|G34-G14|，|G34-G54|，|G34-G32|)； Diff_g2＝max(|G43-G21|，|G43-G25|，|G43-G41|，|G43-G45|，|G43-G23|)； Diff_base＝max(Diff_g1，Diff_g2)。
B、設定域值TH_min，TH_max；其中 TH_max＝(1+x％)*B53+Diff_base； TH_min＝(1-x％)*B53-Diff_base； C、判斷像素點B53的隔行隔列的相同顏色像素點的色值是否均大於TH_max或者均小於TH_min，如果是，則像素點B53為壞點，否則，像素點B53為正常點。即判斷像素點B31，B33，B35，B51，B55的色值是否均小於TH_min，或者像素點B31，B33，B35，B51，B55的色值是否均大於TH_max，如果是，則像素點B53為壞點，否則，像素點B53為正常點。
對於圖2所示的中心像素點為紅色的5×5Bayer色彩矩陣，對中心像素點R33以及5×5Bayer色彩矩陣中的像素點G43以及R53的壞點預判步驟，與圖1所示的中心像素點為紅色的5×5Bayer色彩矩陣中的中心像素點B33以及像素點G43和B53的步驟一致，在此不再贅述。
請參閱圖3，當5×5Bayer色彩矩陣的中心像素點為綠色，且與中心像素點同行的像素點為藍色時，根據5×5Bayer色彩矩陣中像素點G33的隔行隔列的相同顏色像素點的色值對像素點G33進行壞點預判的步驟具體如下 A、設定域值TH_min，TH_max；其中 TH_max＝(1+x％)*G33； TH_min＝(1-x％)*G33； B、判斷像素點G33的隔行隔列的相同顏色像素點的色值是否均大於TH_max或者均小於TH_min，如果是，則像素點G33為壞點，否則，像素點G33為正常點。即判斷像素點G11，G13，G15，G31，G35，G51，G53，G55是否均大於TH_max，或者判斷像素點G11，G13，G15，G31，G35，G51，G53，G55是否均小於TH_min，如果是，則像素點G33為壞點，否則，像素點G33為正常點。
根據5×5Bayer色彩矩陣中像素點R43的隔行隔列的相同顏色像素點的色值，以及像素點R43的周圍其他像素點的變化趨勢，對像素點R43進行壞點預判的具體步驟如下 A、計算像素點R43的周圍其他像素點的變化趨勢； Diff_g＝max(|G33-G11|，|G33-G13|，|G33-G15|，|G33-G31|，|G33-G35|，|G33-G51|，|G33-G53|，|G33-G55|)； Diff_b＝max(|B34-B12|，|B34-B52|，|B34-B14|，|B34-B54|，|B34-B32|)； Diff_base＝max(Diff_b，Diff_g)。
B、設定域值TH_min，TH_max；其中 TH_max＝(1+x％)*R43+Diff_base； TH_min＝(1-x％)*R43-Diff_base； C、判斷像素點R43的隔行隔列的相同顏色像素點的色值是否均大於TH_max或者均小於TH_min，如果是，則像素點R43為壞點，否則，像素點R43為正常點。即判斷像素點R21，R23，R25，R41，R45的色值是否均小於TH_min，或者像素點R21，R23，R25，R41，R45的色值是否均大於TH_max，如果是，則像素點R43為壞點，否則，像素點R43為正常點。
根據5×5Bayer色彩矩陣中像素點G53的隔行隔列的相同顏色像素點的色值，以及像素點G53的周圍其他像素點周圍其他像素點的變化趨勢，對像素點G53進行壞點預判的具體步驟如下 A、計算像素點G53的周圍其他像素點的變化趨勢； Diff_b＝max(|B34-B12|，|B34-B52|，|B34-B14|，|B34-B54|，|B34-B32|)； Diff_r＝max(|R43-R21|，|R43-R25|，|R43-R41|，|R43-R45|，|R43-R23|)； Diff_base＝max(Diff_b，Diff_r)。
B、設定域值TH_min，TH_max；其中 TH_max＝(1+x％)*G53+Diff_base； TH_min＝(1-x％)*G53-Diff_base； C、判斷像素點G53的隔行隔列的相同顏色像素點的色值是否均大於TH_max或者均小於TH_min，如果是，則像素點G53為壞點，否則，像素點G53為正常點。即判斷像素點G31，G33，G35，G51，G55的色值是否均小於TH_min，或者像素點G31，G33，G35，G51，G55的色值是否均大於TH_max，如果是，則像素點G53為壞點，否則，像素點G53為正常點。
對於圖4所示的中心像素點為綠色且與該中心像素點同行的像素點為紅色的5×5Bayer色彩矩陣，對中心像素點G33以及5×5Bayer色彩矩陣中的像素點B43以及G53的壞點預判步驟，與圖3所示的中心像素點為綠色且與該中心像素點同行的像素點為藍色的5×5Bayer色彩矩陣中的中心像素點G33以及像素點R43和G53的步驟一致，在此不再贅述。
在步驟S503中，將該像素點的隔行隔列的相同顏色像素點的平均值代替該像素點的色值，以對壞點的像素點進行校正，不再執行下述步驟。
請參閱圖1，當像素點B33判定為壞點時，則將像素點B33的隔行隔列的相同顏色像素點B11，B13，B15，B31，B35，B51，B53，B55的平均值代替像素點B33的色值，即B33_new＝1/8*(B11+B13+B15+B31+B35+B51+B53+B55)；當像素點G43判定為壞點時，則將像素點G43的隔行隔列的相同顏色像素點G21，G23，G25，G41，G45的平均值代替像素點G43的色值，即G43_new＝1/8*(G21+G25+2*(G23+G41+G45))；當像素點B53判定為壞點時，則將像素點B53的隔行隔列的相同顏色像素點B31，B33，B35，B51，B55的平均值代替像素點B53的色值，即B53_new＝1/8*(B31+B35+2*(B33+B51+B55))。
請參閱圖2，當像素點R33判定為壞點時，則將像素點R33的隔行隔列的相同顏色像素點R11，R13，R15，R31，R35，R51，R53，R55的平均值代替像素點R33的色值，即R33_new＝1/8*(R11+R13+R15+R31+R35+R51+R53+R55)；當像素點G43判定為壞點時，則將像素點G43的隔行隔列的相同顏色像素點G21，G23，G25，G41，G45的平均值代替像素點G43的色值，即G43_new＝1/8*(G21+G25+2*(G23+G41+G45))；當像素點R53判定為壞點時，則將像素點R53的隔行隔列的相同顏色像素點R31，R33，R35，R51，R55的平均值代替像素點R53的色值，即R53_new＝1/8*(R31+R35+2*(R33+R51+R55))。
請參閱圖3，當像素點G33判定為壞點時，則將像素點G33的隔行隔列的相同顏色像素點G11，G13，G15，G31，G35，G51，G53，G55的平均值代替像素點G33的色值，即G33_new＝1/8*(G11+G13+G15+G31+G35+G51+G53+G55)；當像素點R43判定為壞點時，則將像素點R43的隔行隔列的相同顏色像素點R21，R23，R25，R41，R45的平均值代替像素點R43的色值，即R43_new＝1/8*(R21+R25+2*(R23+R41+R45))；當像素點G53判定為壞點時，則將像素點G53的隔行隔列的相同顏色像素點G31，G33，G35，G51，G55的平均值代替像素點G53的色值，即G53_new＝1/8*(G31+G35+2*(G33+G51+G55))。
請參閱圖4，當像素點G33判定為壞點時，則將像素點G33的隔行隔列的相同顏色像素點G11，G13，G15，G31，G35，G51，G53，G55的平均值代替像素點G33的色值，即G33_new＝1/8*(G11+G13+G15+G31+G35+G51+G53+G55)；當像素點B43判定為壞點時，則將像素點B43的隔行隔列的相同顏色像素點B21，B23，B25，B41，B45的平均值代替像素點B43的色值，即B43_new＝1/8*(B21+B25+2*(B23+B41+B45))；當像素點G53判定為壞點時，則將像素點G53的隔行隔列的相同顏色像素點G31，G33，G35，G51，G55的平均值代替像素點G53的色值，即G53_new＝1/8*(G31+G35+2*(G33+G51+G55))。
在步驟S504中，保持像素點的色值不變。
圖6示出了本發明實施例提供的採用上述圖像壞點校正方法實現圖像插值方法的實現流程，其中步驟S601至步驟S604與圖5所示的步驟S501至步驟S504的實現過程一致，在此不再贅述，其他步驟詳述如下 在步驟S605中，對該插值點進行插值處理。由於對插值點進行插值處理的具體過程是現有技術，在此不再贅述。
在步驟S606中，判斷圖像中是否存在未進行插值處理的像素點，如果是，則執行步驟S601，否則，插值處理結束。
在本發明實施例中，在對一個插值點進行壞點預判、校正和插值處理後，再對下一插值點重複進行上述處理，從而時壞點校正與插值處理交替進行，從而使壞點校正與插值處理可以共用一個靜態存儲器(SRAM)，節省了單獨進行壞點校正需要的SRAM，減小了圖像傳感器晶片的面積，降低了圖像傳感器的成本。
圖7示出了本發明實施例提供的圖像壞點校正系統的結構，為了便於說明，僅示出了與發明實施例相關的部分。該圖像壞點校正系統可以是內置於圖像傳感器中的軟體單元，硬體單元，或者軟硬體相結合的單元。
臨域創建單元61以插值點為中心建立5×5Bayer色彩矩陣。其中該5×5Bayer色彩矩陣可以是中心點為藍色(如圖1所示)或者紅色(如圖2所示)，綠色點的位置一致的5×5Bayer色彩矩陣，也可以是中心點為綠色，紅色點和藍色點的位置可以互換的5×5Bayer色彩矩陣，如圖3和圖4所示。
壞點預判單元62根據臨域創建單元61創建的5×5Bayer色彩矩陣中像素點的隔行隔列的相同顏色像素點的色值，或像素點的隔行隔列的相同顏色像素點的色值和像素點的周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中像素點進行壞點預判。其中預判的具體過程如上所述，在此不再贅述。當壞點預判單元62判定像素點為壞點時，壞點校正單元63將該像素點的隔行隔列的相同顏色像素點的平均值代替該像素點的色值，以對判定為壞點的像素點進行校正。當壞點預判單元62判定像素點為正常點時，保持該像素點的色值不變。
由於採用串行處理的方式對5×5Bayer色彩矩陣進行插值處理，因此，只要保證最後一個進入5×5Bayer色彩矩陣的像素點A55預判成功並被校正，即可保證壞點不影響插值處理結果。但由於像素點A55的臨近相同顏色的像素點太少，容易將像素點A55誤判為壞點，對於像素點A54也是如此，因此，在本發明實施例中，為了最大限度降低壞點對插值處理的影響，壞點預判單元62需要對5×5Bayer色彩矩陣中的中心像素點A33、以及像素點A53和A43進行壞點預判。
由於像素點A33的臨近相同顏色的像素點可以將像素點A33完全包圍，因此，壞點預判單元62根據A33的隔行隔列的相同顏色像素點的色值對像素點A33進行壞點預判，此時，壞點預判單元62包括域值確定單元621和壞點判斷單元622。域值確定單元621根據預先設置的像素點的允許誤差值x％確定像素點的域值[TH_min，TH_max]，其中TH_min＝(1-x％)*A33，TH_max＝(1+x％)*A33。壞點判斷單元622判斷像素點A33的隔行隔列的相同顏色像素點的色值是否均大於TH_max，或者是否均小於TH_min，如果是，則像素點A33為壞點，否則像素點A33為正常點。
由於像素點A53和A43的臨近相同顏色的像素點無法將像素點A53和A43完全包圍，導致容易將像素點A53和A43誤判為壞點，因此，在本發明實施例中，壞點預判單元62分別根據像素點A53和A43的隔行隔列的相同顏色像素點的色值，以及像素點A53和A43的周圍其他像素點的色值變化趨勢對像素點A53和A43進行壞點預判，此時，壞點預判單元62還包括變化趨勢判斷單元623。該變化趨勢判斷單元623根據像素點A53和A43的周圍其他像素點的色值判斷像素點A53和A43的周圍其他像素點的色值變化趨勢，其具體過程如上所述，在此不再贅述。此時，域值確定單元621根據預先設置的像素點的允許誤差值x％以及變化趨勢判斷單元623得到的像素點A53和A43的周圍其他像素點的色值變化趨勢確定像素點的域值[TH_min，TH_max]，其中TH_min和TH_max的具體計算如上所述，在此不再贅述。壞點判斷單元622分別判斷像素點A53和A43的隔行隔列的相同顏色像素點的色值是否均大於TH_max，或者是否均小於TH_min，如果是，則像素點A53和A43為壞點，否則像素點A53和A43為正常點。
本發明實施例還提供了一種採用上述圖像壞點校正方法的圖像插值系統。該圖像插值系統可以是內置於圖像傳感器中的軟體單元，硬體單元，或者軟硬體相結合的單元。
該圖像插值系統包括圖7所示的圖像壞點校正系統的所有組成單元外，還包括插值處理單元，該插值處理單元對進行了壞點校正處理的插值點進行插值處理。由於對插值點進行插值處理的具體過程是現有技術，在此不再贅述。在本發明實施例中，在對一個插值點進行壞點預判、校正和插值處理後，再對下一插值點重複進行上述處理，即可使壞點校正與插值處理共用一個SRAM，節省了單獨進行壞點校正需要的SRAM，減小了圖像傳感器晶片的面積，降低了圖像傳感器的成本。
在本發明實施例中，在對像素點進行插值處理之前，先以插值點為中心建立插值點的臨域(即以插值點為中心的5×5Bayer色彩矩陣)，通過對該臨域中像素點進行壞點預判，並對判定為壞點的像素點進行校正，從而使壞點對插值處理的影響降至最低，提高了圖像的質量；同時由於對該插值點的臨域中的像素點進行壞點預判並校正後，即對該插值點進行插值處理，接著再以下一個插值點為中心建立插值點的臨域，循環進行，使圖像壞點校正與插值處理交替進行，從而使壞點校正與插值處理可以共用一個靜態存儲器(SRAM)，節省了單獨進行壞點校正需要的SRAM，減小了圖像傳感器晶片的面積，降低了圖像傳感器的成本；本發明實施例在對像素點進行壞點預判時，同時將像素點的隔行隔列的相同顏色像素點的色值以及像素點的周圍其他像素點的色值變化趨勢作為參考，從而提高了壞點預判的精確度，進一步提高了圖像的質量。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。
權利要求
1、一種圖像壞點的校正方法，其特徵在於，所述方法包括下述步驟
以插值點為中心建立5×5Bayer色彩矩陣；
根據所述5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對所述5×5Bayer色彩矩陣中的像素點進行壞點預判；
對判定為壞點的像素點進行校正。
2、如權利要求1所述的方法，其特徵在於，所述像素點的周圍其他像素點是所述5×5Bayer色彩矩陣中被所述像素點的隔行隔列的相同顏色像素點全包圍或者半包圍的所有像素點中的兩個或者兩個以上像素點。
3、如權利要求1所述的方法，其特徵在於，在對所述5×5Bayer色彩矩陣中的像素點進行壞點預判時，當所述像素點的隔行隔列的相同顏色像素點的色值均大於某一預設值，或者當所述像素點的隔行隔列的相同顏色像素點的色值均小於另一預設值時，判定所述像素點為壞點。
4、如權利要求1所述的方法，其特徵在於，在對所述5×5Bayer色彩矩陣中的像素點進行壞點預判時，對所述5×5Bayer色彩矩陣中的像素點A33、A53進行壞點預判。
5、如權利要求4所述的方法，其特徵在於，在對所述5×5Bayer色彩矩陣中的像素點進行壞點預判時，進一步對所述5×5Bayer色彩矩陣中的像素點A43進行壞點預判。
6、如權利要求4所述的方法，其特徵在於，對所述5×5Bayer色彩矩陣中的像素點A33進行壞點預判的步驟具體為
根據預設的像素點允許誤差值確定所述像素點A33的域值[TH_min，TH_max]；
判斷所述像素點A33的隔行隔列的相同顏色像素點的色值是否均大於TH_max，或者所述像素點A33的隔行隔列的相同顏色像素點的色值是否均小於TH_min，如果是，則所述像素點A33為壞點，如果否，則所述像素點A33為正常點。
7、如權利要求5所述的方法，其特徵在於，對所述5×5Bayer色彩矩陣中的像素點A43、A53進行壞點預判的步驟具體為
分別根據所述像素點A43、A53的周圍其他像素點的色值確定所述像素點A43、A53的周圍其他像素點的色值變化趨勢；
分別根據所述色值變化趨勢和預設的像素點允許誤差值確定所述像素點A43、A53的域值[TH_min，TH_max]；
分別判斷所述像素點A43、A53的隔行隔列的相同顏色像素點的色值是否均大於TH_max，或者所述像素點A43、A53的隔行隔列的相同顏色像素點的色值是否均小於TH_min，如果是，則所述像素點A43、A53為壞點，如果否，則所述像素點A43、A53為正常點。
8、如權利要求7所述的方法，其特徵在於，所述分別根據所述像素點A43、A53的周圍其他像素點的色值確定所述像素點A43、A53的周圍其他像素點的色值變化趨勢時，所述像素點A43的周圍其他像素點的色值變化趨勢為
Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A33-A11|，|A33-A13|，|A33-A15|，|A33-A31|，|A33-A35|，|A33-A51|，|A33-A53|，|A33-A55|)，Diff_a2＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)，此時，所述根據所述色值變換趨勢和預設的像素點允許誤差值確定所述像素點A43的域值[TH_min，TH_max]為TH_min＝(1+x％)*A43-Diff_base，TH_max＝(1+x％)*A43+Diff_base，
所述像素點A53的周圍其他像素點的色值變化趨勢為
Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)，Diff_a2＝max(|A43-A21|，|A43-A25|，|A43-A41|，|A43-A45|，|A43-A23|)，此時，所述根據所述色值變換趨勢和預設的像素點允許誤差值確定所述像素點A53的域值[TH_min，TH_max]為TH_min＝(1+x％)*A53-Diff_base，TH_max＝(1+x％)*A43+Diff_base
9、如權利要求1至8任一權利要求所述的方法，其特徵在於，在對判定為壞點的像素點進行校正時，當所述像素點為壞點時，將所述像素點的色值校正為所述像素點的隔行隔列的相同顏色像素點的平均值，當所述像素點為正常點時，保持所述像素點的色值不變。
10、一種圖像壞點校正系統，其特徵在於，所述系統包括
臨域創建單元，用於以插值點為中心建立5×5Bayer色彩矩陣；
壞點預判單元，用於根據所述臨域創建單元建立的5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中的像素點進行壞點預判；
壞點校正單元，用於對所述壞點預判單元判定為壞點的像素點進行校正。
11、如權利要求10所述的系統，其特徵在於，所述壞點預判單元包括
域值確定單元，用於根據預先設置的像素點的允許誤差值確定像素點的域值[TH_min，TH_max]；
壞點判斷單元，用於通過判斷所述像素點的隔行隔列的相同顏色像素點的色值是否均大於TH_max，或者是否均小於TH_min來判斷所述像素點是否為壞點。
12、如權利要求11所述的系統，其特徵在於，所述壞點預判單元還包括
變化趨勢判斷單元，用於根據所述像素點的周圍其他像素點的色值判斷像素點的周圍其他像素點的色值變化趨勢，此時，所述域值確定單元根據預先設置的像素點的允許誤差值以及所述變化趨勢判斷單元得到的色值變化趨勢確定所述像素點的域值[TH_min，TH_max]。
13、一種包括權利要求10至12任一權利要求所述的圖像壞點校正系統的圖像傳感器。
14、一種圖像插值方法，其特徵在於，所述方法包括下述步驟
以插值點為中心建立5×5Bayer色彩矩陣；
根據所述5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對所述5×5Bayer色彩矩陣中的像素點進行壞點預判；
對判定為壞點的像素點進行校正；
對所述插值點進行插值處理，再循環執行上述步驟。
15、一種圖像插值系統，其特徵在於，所述系統包括
臨域創建單元，用於以插值點為中心建立5×5Bayer色彩矩陣；
壞點預判單元，用於根據所述臨域創建單元建立的5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中的像素點進行壞點預判；
壞點校正單元，用於對所述壞點預判單元判定為壞點的像素點進行校正；
插值處理單元，用於對所述插值點進行插值處理。
16、一種包括權利要求15所述的圖像插值系統的圖像傳感器。
全文摘要
本發明適用於圖像處理領域，提供了一種圖像壞點的校正方法、系統及圖像傳感器，所述方法包括下述步驟以插值點為中心建立5×5Bayer色彩矩陣；根據所述5×5Bayer色彩矩陣中的像素點的隔行隔列的相同顏色像素點的色值和/或像素點的周圍其他像素點的色值變化趨勢，對5×5Bayer色彩矩陣中的像素點進行壞點預判；對判定為壞點的像素點進行校正。本發明實施例將壞點校正與插值操作交替進行，不僅簡單易實現，提高了圖像的質量，而且減小了圖像傳感器晶片的面積，降低了圖像傳感器的成本。
文檔編號H04N9/04GK101588447SQ20081006741
公開日2009年11月25日 申請日期2008年5月23日 優先權日2008年5月23日
發明者茂 彭, 胡文閣 申請人:比亞迪股份有限公司