應用於cmos圖像傳感器的新型實時插補算法的製作方法

2023-05-06 21:24:01 1

專利名稱：應用於cmos圖像傳感器的新型實時插補算法的製作方法
技術領域：
本發明涉及數字圖像處理領域，尤其涉及一種基於邊界的雙相關插值算法及其在硬體實現部分為滿足實時性要求對數據的傳輸結構所採取的流水線設計方法。具體講，涉及應用於CMOS圖像傳感器的新型實時插補算法。
背景技術：
近年，C⑶和CMOS圖像傳感器相繼發展，數位相機、攝像機、PC攝像頭等都採用CXD或CMOS作為圖像傳感器，相比而言，CMOS圖像傳感器具有更高的集成度、讀出速度以及更低的功耗和價格，但是，其顯著的缺點是圖像質量較差。 其中最重要的影響圖像質量的因素是目前的圖像採集設備多採用單個的圖像傳感器和顏色濾波陣列來採集彩色圖像，這種彩色濾波陣列把輸入光信號分為RGB (紅綠藍)三基色，得到的圖像的每一個像素點只採集一種顏色的光的亮度。因此，要滿足輸出圖像的質量，在圖像處理的後期就要對採集到的圖像信息進行數位訊號圖像處理，一般來講，就是根據周邊的像素值得到每個像素所缺失的另外兩個色彩值，實現對顏色的實時插補。要保證圖像處理的實時性，又要保證具有良好的插補效果，以適應圖像傳感器在市場和生活應用中的迅速發展。由圖像傳感器最終所獲取的全彩色圖像中，每個像素值由R、G、B三個顏色值組成，理論上就需要三個不同的圖像傳感器來分別獲取R、G、B中一種顏色的數據，如圖I所示。但是在實際應用中，為了減小體積、降低成本、簡化三個通道的同步和矯正步驟，通常都在一個圖像傳感器之前覆蓋上一個顏色濾波陣列，如圖2所示，這種彩色圖像的成像方法目前被大多數產品所使用，最常用的顏色濾波陣列為Bayer模型，如圖3所示。這樣，每個像素點只能獲得一種顏色的值，而缺少了另外兩種顏色，因此，為了得到全彩色的圖像，就需要根據當前像素的周圍像素的相關程度來估計計算當前像素所缺失的另外兩個顏色的值，這個過程就稱為彩色插值。在Bayer模型的彩色濾波陣列中，R、G、B三個顏色的採樣點比例為I : 2 1，綠色像素的信息佔總像素點的一半，紅色和藍色像素則分別佔1/4。這是因為對於一幅彩色圖片，人眼對亮度信息最敏感，而綠色像素對亮度的貢獻最大，而且缺失的綠色像素的插值不僅嚴重影響綠色通道自身的圖像質量，還會影響到整幅圖像插補後的質量效果。所以，對於缺失的綠色像素的插補方法和效果是整個彩色濾波陣列插值算法的關鍵，在整體算法複雜程度基本一致的情況下，對於缺失綠色像素的插補算法要佔整個算法空間的大部分內容，以得到更好的插值效果
發明內容

本發明旨在解決克服現有技術的不足，在算法複雜度不高的基礎上，對像素邊緣和通道相關度的判斷更為精確，能得到更好的圖像插補效果。且在硬體實現階段，將數據的輸入和輸出設計為流水線形式以實現插補的實時性。為達到上述目的，本發明採取的技術方案是，應用於CMOS圖像傳感器的新型實時插補算法，包括如下步驟紅色、藍色像素中缺失的綠色像素值的恢復
(I)對於位於偶數行奇數列的R43G43 = R43+Ke43(1-1)Ke43 — (KR33+KR53+KR42+KR44)/4(1_2)其中Kk33 = G33-R33 = G33-(R23+R43)/2(1-3)Ke53 = G53-R53 = G53- (R4S+Res) /2(1-4)Kr42 = G42-R42 = G42-(R41+R43)/2(1~5)Kr44 = G44-R44 = G44-(R43+R45)/2(1~6)根據以上公式，首先對像素所處位置進行邊緣判定，設UP = I R43-R231DOWN = I R63-R43LEFT = I R41-R431RIGHT = | R45-R43I)若UP+DOWN > LEFT+RIGHT則該像素位置在水平方向存在邊界，根據(1-1)，此時Kk43隻取水平方向的兩個Kk值Ke43 = (KR42+KR44)/2(1-7)2)若UP+DOWN LEFT+RIGHT則該像素位置在水平方向存在邊界，根據(1_9)，此時Kk43隻取水平方向的兩個Kk值Kb34 = (Kb3S+Kb35) / 2(1-15)2)若UP+DOWN < LEFT+RIGHT則該像素位置在垂直方向存在邊界，根據(1_9)，此時Kk43隻取垂直方向的兩個Kk值Kb34 = (KB24+KB44) /2(1-16)3)若UP+DOWN = LEFT+RIGHT則該像素位置附近不存在邊界，Kb34值即為(1_9)；像素中缺失紅色、藍色像素值的恢復對於當前綠色像素的紅色和藍色分量值的恢復採用相同的方法，以G33為例(I)對於奇數行奇數列的綠色像素G33缺失的藍色像素的恢復
B33 = G33-Kb33(1-17)Kb33 = (KB32+KB34)/2(1-18)Kb32 = G32-B32(1-19)Kb34 = G34-B34(1_20)其中G32 = (G31+G33+G22+G24)/4 (1-21)G34 = (G33+G35+G24+G44) /4(1-22)(2)對於奇數行奇數列的綠色像素G33缺失的紅色像素的恢復R33 = G33-Ke33(1-23)Ke33 = (KR23+KR43)/2(1~24)Ke23 = G23-R23(1-25)Ke43 = G43-R43(1-26)其中G23 = (G13+G22+G24+G33)/4 (1-27)G43= (633+642+644+653) / 4(1_28)紅色、藍色像素中缺失的藍色、紅色像素值的恢復此兩個像素分量的恢復採用的雙線性方法，即R、B中缺失的B、R像素值分別由其最相鄰的四個對角線上的四個B、R像素的平均值得到；I)對於位於偶數行奇數列的R23B23= (B12+B14+B32+B34)/4(1_29)2)對於位於奇數行偶數列的B32R32 = (R21+R23+R41+R43)/4(1_30)其中R、G、B分別代表紅、綠、藍三個顏色的像素分量，Kb和Kk表示顏色通道間的相關性，角標代表其在Bayer圖中對應的行和列。採用25個寄存器以及4個RAM來實時存儲數據，25個寄存器組成第一級5X5寄存器窗口，窗口中間寄存器中對應的像素為當前像素；當從傳感器模型傳輸過來的幀同步信號和行同步信號同時有效時，最末尾的寄存器讀入傳感器傳輸過來的Bayer數據；在下一個時鐘周期到來時，最末尾的寄存器的數據傳遞到前一個寄存器中，同時最末尾的寄存器讀進新傳遞過來的Bayer數據，像這樣依次傳遞，傳輸經過4個RAM，直到傳遞到第一個寄存器中；當第一級5 X 5寄存器窗口填滿像素數據後，在每下一個時鐘周期要將每級5 X 5寄存器窗口中的值傳到下一級的5X5寄存器窗口中去；即橫向實時串行開始向第一級5X5寄存器窗口輸入像素信息的同時將每級5X5寄存器窗口像素信息縱向並行傳輸至下一級5X5寄存器窗口保存，依次類推，直至當前像素按權I所述步驟進行插補計算、處理完畢。本發明的技術特點及效果本發明在雙相關插值算法的基礎上所提出的算法不僅同時考慮了不同顏色像素間通道的關係和邊緣效應的影響，而且整個運算過程是在以插值像素為中心的5X5的Bayer模型中進行的。此種基於邊界的雙相關圖像插值算法在算法複雜度不高的基礎上，對像素邊緣和通道相關度的判斷更為精確，能得到更好的圖像插補效果。


圖I理想的三圖像傳感器彩色圖像成像示意圖。
圖2實際的單圖像傳感器彩色圖像成像示意圖。圖3CFA 圖像 Bayer 模型。圖4帶有腳標的Bayer模型圖。圖5流水線實現結構圖。
具體實施例方式基於邊界的雙相關插值算法實現如圖4給出的是帶有腳標的Bayer模型圖。I、紅色、藍色像素中缺失的綠色像素值的恢復(I)對於位於偶數行奇數列的R43G43 = R43+Ke43(1-1)Ke43 — (KR33+KR53+KR42+KR44)/4(1_2)其中Kk33 = G33-R33 = G33-(R23+R43)/2 (1-3)Ke53 = G53-R53 = G53- (R4S+Res) /2(卜4)Kr42 = G42-R42 = G42-(R41+R43)/2(1~5)Kr44 = G44-R44 = G44-(R43+R45)/2(1~6)根據以上公式，首先對像素所處位置進行邊緣判定，這裡的邊緣梯度判定採取了一種不同的方法，在以R43為中心的5X5的模型中，通過對當前R像素的插值大小的判斷來確定有無邊緣以及邊緣的方向。在運算中為了避免不必要的誤差，兩個方向的紅色像素值分別與當前紅色像素值相減，並分別取絕對值再相加進行比較。UP = IR43-R231DOWN = | R63-R23
LEFT = I R21-R231 RIGHT = | R25-R23I)若UP+DOWN > LEFT+RIGHT則該像素位置在水平方向存在邊界，根據(1_1)，此時Kk43隻取水平方向的兩個Kk值Ke43 = (KR42+KR44)/2(1-7)2)若UP+DOWN < LEFT+RIGHT則該像素位置在垂直方向存在邊界，根據(1_1)，此時Kk43隻取垂直方向的兩個Kk值Ke43 = (KE33+KE53)/2(1-8)3)若UP+DOWN = LEFT+RIGHT則該像素位置附近不存在邊界，Kk43值即為(1_1)所
/Jn o(2)對於位於奇數行偶數列的B34G34 = B34+KB34(1-9)Kb34 — (KB33+KB35+KB24+KB44)/4(I-IO)其中Kb33 = G33-B33 = G33-(B32+B34)/2(1-11)Kb35 = G35-B35 = G35-(B34+B36)/2(1—12)Kb24 = G24-B24 = G24-(B14+B34)/2(1~13)Kb44 = G44-B44 = G44-(B34+B54)/2(1~14)根據以上公式，首先對像素所處位置進行邊緣判定，設UP = IB14-B341DOWN = | B54-B34
LEFT = | B32-B341RIGHT = | B36-B34I)若UP+DOWN > LEFT+RIGHT則該像素位置在水平方向存在邊界，根據(1_9)，此時Kk43隻取水平方向的兩個Kk值Kb34= (KB33+KB35)/2(1~15)2)若UP+DOWN < LEFT+RIGHT則該像素位置在垂直方向存在邊界，根據(1_9)，此時Kk43隻取垂直方向的兩個Kk值Kb34 = (KB24+KB44) /2(1-16)3)若UP+DOWN = LEFT+RIGHT則該像素位置附近不存在邊界，Kb34值即為(1_9)；2、綠色像素中缺失紅色、藍色像素值的恢復 對於當前綠色像素的紅色和藍色分量值的恢復採用相同的方法，以G33為例。(I)對於奇數行奇數列的綠色像素G33缺失的藍色像素的恢復B33 — G33_KB33(1_17)Kb33 = (KB32+KB34)/2(1-18)Kb32 = G32-B32(1-19)Kb34 = G34-B34(1_20)其中G32 = (G31+G33+G22+G24)/4(1-21)G34 = (G33+G35+G24+G44) /4(1-22)(2)對於奇數行奇數列的綠色像素G33缺失的紅色像素的恢復R33 = G33-Ke33(1-23)Ke33 = (KE23+KE43) / 2(1-24)Ke23 = G23-R23(1-25)Kr43 = G43-R43(1_26)其中G23 = (G13+G22+G24+G33)/4(1-27)G43 = (G33+G42+G44+G53) /4(1-28)3、紅色、藍色像素中缺失的藍色、紅色像素值的恢復此兩個像素分量的恢復採用的雙線性方法，即R、B中缺失的B、R像素值分別由其最相鄰的四個對角線上的四個B、R像素的平均值得到。I)對於位於偶數行奇數列的R23B23= (B12+B14+B32+B34)/4(1_29)2)對於位於奇數行偶數列的B32R32 = (R21+R23+R41+R43)/4(1_30)實時性實現在本發明中，使用了一個圖像傳感器模型來表徵輸入到算法模塊的bayer數據，輸入的數據為0到1023的循環。那麼，要滿足實時性的意思就是隨著圖像傳感器中數據輸入到算法模塊中，插補後的數值要及時的從算法模塊中輸出，才能實時的處理動態圖像。為滿足這一要求，本設計中使用流水線的方法來實現插補算法，即橫向實時串行輸入像素信息的同時將每周期的像素信息縱向並行傳輸至下一級保存直至當前像素插補算法運算完畢。如圖5中所示，採用了多級5X5寄存器以及4個RAM來實時存儲數據。在第一級的5X5的窗口中，reg23中儲存的像素點為當前像素。當從傳感器模型傳輸過來的幀同步信號和行同步信號同時有效時，最末尾的reg45寄存器讀入傳感器傳輸過來的Bayer數據。在下一個時鐘周期到來時，reg45中的數據傳遞到reg44中，同時reg45讀進新傳遞過來的Bayer數據,像這樣依次傳遞,傳輸經過4個RAM,直到傳遞到regOl中。而且,為了計算reg23所在的當前像素的梯度以確定邊緣而不影響下一個數據的實時性讀入，在下一個時鐘周期要將25個寄存器中的像素信息並行傳輸到下一級的5X5的寄存器窗口中去，並在此進行下一步的插補計算，即橫向實時串行向第一級寄存器輸入像素信息的同時將每周期的像素信息縱向並行傳輸至下一級保存直至當前像素按權I所述步驟進行插補計算、處理完畢，依次類推直至計算完畢輸出插補後的像素值，整個硬體實施過程和時序控制通過編程下載入FPGA實現。具體講欲得到的像素信息都是位於5*5的寄存器窗口的中心位置，通過對其上下左右等像素信息的比較和計算得到結果，所以說位於5*5的中心位置的寄存器中的像素被認為是當前像素。最開始像素從開始依次逐級傳輸，但需要等到將寄存器全部填滿之後 才要開始進行插補，也就是說一開始是放棄位於最邊緣的兩行像素的插補運算。由於一個周期完成不了全部插補運算，第一級填充滿像素後形成的Bayer圖即第一級5 X 5寄存器窗口 25個寄存器數據在一個周期內並行傳送到第二級5 X 5寄存器窗口，在第二級5 X 5寄存器窗口繼續處理，以此類推，傳遞到第n級5 X 5寄存器窗口，直到對該Bayer圖插補計算、處理完畢。評價使用某種算法插補後圖像性能好壞的基本思想是將插補所得圖像與顯示成Bayer圖像以前的真彩圖像進行比較，差距越小則證明插補算法效果越好。具體的說，在計算機中每個圖像都是以數字矩陣的形式表示出來的，可採取方法對每個像素點的值進行比較來得出結論。I、MSE(Mean Squared Error)均方誤差均方誤差是一個非常常用的評價樣品性能的標準，應用十分廣泛。在相同測量條件下進行的測量稱為等精度測量，對於等精度測量來說，最好的表示誤差的方法就是標準誤差。標準誤差定義為各測量值誤差的平方和的平均值的平方根，故又稱為均方誤差。數理統計中均方誤差是指參數估計值與參數真值之差平方的期望值，記為MSE。對於圖像插補來說，所得圖像的每個像素點的值即相當於測量估計值，與原圖像的對應位置的像素值進行計算，公式如下MSE=I; 2 [/(/,7)-/(/,7)]2/MxN
,=I 屍 I(2-1)其中，M為圖像像素的行數，N為圖像像素的列數，f(i，j)表示原始圖像中的像素值，f』(i，j)表示經顏色插補後與之對應位置的像素值，MSE值越大表明插補後圖像的質量越好。2、SNR(Singal to Noise Ratio)信噪比圖像的信噪比應該等於信號與噪聲的功率譜之比，但是通常功率譜難以計算，常常尋找其他方法來近似估計圖像信噪比。在此設計中，使用原圖像像素值的平方比上原、現圖像像素點值之差的平方的總和來表示圖像的信噪比。SNR值越大，表示算法的插補性能越好，公式如下
權利要求
1.ー種應用於CMOS圖像傳感器的新型實時插補算法，其特徵是，包括如下步驟 紅色、藍色像素中缺失的緑色像素值的恢復 (1)對於位於偶數行奇數列的R43 G43 — ^43+ΚΕ43(1_1) Kr43 — (Kr33+Kr53+Kr42+Kr44)/4(1_2)其中 Ke33 = G33-R33 = G33- (R23+R43) /2(1-3) Ke53 = G53-R53 = G53- (R4S+Res) /2(1-4) Ke42 = G42-R42 = G42- (R41+R43)/2(1-5) Ke44 = G44-R44 = G44-(R43+R45)/2(1-6) 根據以上公式，首先對像素所處位置進行邊緣判定，設 UP = R43-R23DOffN= R63-R43 LEFT = I R41-R431RIGHT = | R45-R43 1)若UP+DOWN> LEFT+RIGHT則該像素位置在水平方向存在邊界，根據(1_1)，此時Kk43隻取水平方向的兩個Kk值 Ke43= (Ke42+Ke44)/2(1-7) 2)若UP+DOWN LEFT+RIGHT則該像素位置在水平方向存在邊界，根據(1_9)，此時Kk43隻取水平方向的兩個Kk值 Kb34= (KB33+KB35)/2(1-15) 2)若UP+DOWN< LEFT+RIGHT則該像素位置在垂直方向存在邊界，根據(1_9)，此時Kk43隻取垂直方向的兩個Kk值 Kb34= (KB24+KB44)/2(1-16) 3)若UP+DOWN= LEFT+RIGHT則該像素位置附近不存在邊界，Kb34值即為(1_9)； 像素中缺失紅色、藍色像素值的恢復對於當前緑色像素的紅色和藍色分量值的恢復採用相同的方法，以G33為例 (I)對於奇數行奇數列的綠色像素G33缺失的藍色像素的恢復B3S = G33-Kb33(1-17) Kb33= (KB32+KB34)/2(1-18) Kb32 = G32-B32(1-19) Kb34 = G34-B34(1-20)其中 G32 = (G31+G33+G22+G24)/4 (1-21)G34 = (G33+G35+G24+G44) /4(1-22) (2)對於奇數行奇數列的綠色像素G33缺失的紅色像素的恢復 R3S = G33-Ke33(1-23) Ke33= (KE23+KE43)/2(1-24) Ke23 = G23-R23(1-25) Ke43 = G43-R43(1-26)其中 G23 = (G13+G22+G24+G33)/4 (1-27)G43 = (G33+G42+G44+G53) /4(1-28) 紅色、藍色像素中缺失的藍色、紅色像素值的恢復 此兩個像素分量的恢復採用的雙線性方法，即R、B中缺失的B、R像素值分別由其最相鄰的四個對角線上的四個B、R像素的平均值得到； 1)對於位於偶數行奇數列的R23 B23 = (B12+B14+B32+B34)/4(ト29) 2)對於位於奇數行偶數列的B32 R32 = (R21+R23+R41+R43)/4(ト30) 其中R、G、B分別代表紅、綠、藍三個顏色的像素分量，Kb和Kk表示顔色通道間的相關性，角標代表其在Bayer圖中對應的行和列。
2.如權利要求I所述的應用於CMOS圖像傳感器的新型實時插補算法，其特徵是，採用25個寄存器以及4個RAM來實時存儲數據，25個寄存器組成第一級5 X 5寄存器窗ロ，窗ロ中間寄存器中對應的像素為當前像素；當從傳感器模型傳輸過來的幀同步信號和行同步信號同時有效吋，最末尾的寄存器讀入傳感器傳輸過來的Bayer數據；在下一個時鐘周期到來時，最末尾的寄存器的數據傳遞到前一個寄存器中，同時最末尾的寄存器讀進新傳遞過來的Bayer數據,像這樣依次傳遞,傳輸經過4個RAM,直到傳遞到第一個寄存器中；當第一級5 X 5寄存器窗ロ填滿像素數據後，在每下ー個時鐘周期要將每級5 X 5寄存器窗口中的值傳到下ー級的5X5寄存器窗口中去；即橫向實時串行開始向第一級5X5寄存器窗ロ輸入像素信息的同時將每級5X5寄存器窗ロ像素信息縱向並行傳輸至下ー級5X5寄存器窗ロ保存，依次類推，直至當前像素按權I所述步驟進行插補計算、處理完畢。
全文摘要
本發明涉及數字圖像處理領域。為在算法複雜度不高的基礎上，對像素邊緣和通道相關度的判斷更為精確，能得到更好的圖像插補效果。且在硬體實現階段，將數據的輸入和輸出設計為流水線形式以實現插補的實時性。本發明採取的技術方案是,應用於CMOS圖像傳感器的新型實時插補算法，包括如下步驟紅色、藍色像素中缺失的綠色像素值的恢復像素中缺失紅色、藍色像素值的恢復紅色、藍色像素中缺失的藍色、紅色像素值的恢復此兩個像素分量的恢復採用的雙線性方法，即R、B中缺失的B、R像素值分別由其最相鄰的四個對角線上的四個B、R像素的平均值得到；本發明主要應用於數字圖像處理。
文檔編號G06T5/00GK102682427SQ20121010140
公開日2012年9月19日 申請日期2012年4月9日 優先權日2012年4月9日
發明者史再峰, 姚素英, 徐江濤, 王彬, 陳莞, 高志遠, 高靜 申請人:天津大學