拜爾域信號的圖像處理方法與模塊的製作方法
2023-08-07 12:13:01
專利名稱：拜爾域信號的圖像處理方法與模塊的製作方法
技術領域：
本發明是一種用於數字攝像系統的圖像處理方法與裝置，具體是對數字攝像頭Sensor輸出的原始信號進行降噪，增強和縮放處理的方法與模塊。
背景技術：
目前，公知的數字攝像Sensor的後處理模塊中的圖像處理模塊都是首先將拜爾Bayer域信號插值轉換到RGB或YUV域，然後進行降噪，增強和縮放等處理。因為Bayer域用8bits表示一個像素，而RGB或YUV域用24bits表示一個像素。所以先做插值轉換的後處理方法，緩衝器(Buffer)資源有很大浪費。
為了減少做圖像處理時的緩衝器(Buffer)資源分配，本發明提供一個直接在Bayer圖像域進行圖像處理的模塊。該模塊可以對Sensor輸出的原始信號進行去伽瑪校正de-gamma，降噪，增強和縮放等處理，然後再將它轉換為RGB信號以供存儲，顯示等。
本發明解決其技術問題所採用的技術方案是Sensor採集的原始信號首先經過去伽瑪校正de-gamma操作，然後經過Bayer域的降噪濾波器，然後經過Bayer域的增強濾波器，接著通過Bayer域的雙線性(Bilinear)濾波器縮放到目標尺寸，最後通過Bayer到RGB轉換模塊輸出。所有圖像處理算法工作在Bayer域，所以緩衝器(Buffer)的需求是同樣效果的RGB域的處理方法的1/3。
本發明的有益效果是能夠有效的節省緩衝器(Buffer)，從而使系統實現成本大大降低。
下面結合附圖和實施例對本發明進一步說明。
圖1是本發明的流程原理圖。
圖2是一般Bayer信號的空間分布，R表示該像素的信號為紅色，G表示該像素的信號為綠色，B表示該像素的信號為藍色。
圖3是一般的de-gamma函數曲線。
圖4是Bayer域降噪濾波器的流程原理圖，是圖1中的模塊3的具體方法圖5是Bayer域增強濾波器的流程原理圖，是圖1中的模塊4的具體方法圖6是Bayer域的縮放濾波器的流程原理圖，是圖1中的模塊5的具體方法圖7是Bilinear插值方法輸入像素和輸出像素的空間位置示意圖。
圖1中1攝像頭Sensor，2去伽瑪校正模塊，3降噪模塊 4圖像增強模塊 5縮放模塊6Bayer到RGB轉換模塊具體實施方式
如圖1中所示，Sensor(1)輸出的原始圖像信號連接到去伽瑪校正de-gamma模塊(2)，去伽瑪校正de-gamma利用如圖3所示的函數將輸入信號轉換到線性域，去伽瑪校正de-gamma以後的信號輸入到降噪濾波器(3)，降噪濾波器輸出降噪後的信號到增強濾波器(4)，增強濾波器輸出圖像增強後的信號到Bilinear縮放濾波器(5)，最後經過低複雜度的Bayer到RGB轉換模塊成為RGB信號。如圖4，降噪濾波器的方法是對於每一個Bayer空間的像素點，如果該像素為綠信號，如圖2中的G1，利用它上下相鄰兩行的4個綠信號G2，G3，G4和G5，分別求得它們與G1的絕對差值|Gi-G1|i＝2~5。如該差值小於一個閾值，將該像素質加到一個和值中sum＝sum+Gi，同時計數器加一，count＝count+1.最後降噪後的信號為G1_out＝sum/count 公式1對於紅信號和藍信號，處理的方法和綠信號類似。只是所選取的相鄰信號來自待處理信號的同一行。比如，我們要處理圖2中的R1，我們利用R2，R3，R4和R5來處理。
如圖5，增強濾波器的方法是對於每一個Bayer空間的像素點，如果該像素為綠信號，如圖2中的G1，利用它上下相鄰兩行的4個綠信號G2，G3，G4和G5，分別求得它們和G1的差值deltai＝Gi-Gl i＝2~5。然後將如果該差值的絕對值大於一個閾值，將該差值加到一個和值中sum＝sum+deltai，同時計數器加一，count＝count+1.最後增強後的信號為G1_out＝G1+sum/count 公式2對於紅信號和藍信號，處理的方法和綠信號類似。只是所選取的相鄰信號來自待處理信號的同一行。比如，我們要處理圖2中的R1，我們利用R2，R3，R4和R5來處理。
如圖6，Bayer域的縮放算法將每個2×2的小方塊作為一個單元處理，例如圖2中的R6，G7，G8，B6。利用Bilinear的插值算法(後面有介紹)，計算出經過縮放算法的2×2單元。該方法如下假設需要我們整個系統的輸入Bayer圖像大小為H_in列，H_in行。輸出的圖像大小為H_out列，V_out行。經過模塊5以後，大小為2*H_out列，2*V_out行的Bayer圖像。所以模塊5的縮放比例為水平2*H_out/H_in，垂直2*V_out/V_in。利用該比例和Bilinear插值方法，將輸出的2×2單元計算出。
如圖7，Bilinear插值方法是將目標尺寸大小的圖反投影到原始圖上，每一個單元u_out會投影在4個單元中間(u1，u2，u3，u4)，如果u_out離u1的水平距離為sx，垂直距離為sy。那麼，u_out由下式得出u_out＝(1-sx)*(1-sy)*u1+sx*(1-sy)*u2+(1-sx)*sy*u3+sx*sy*u4 公式3Bayer到RGB的轉換方法為對於圖2中的每個2x2單元，如R6，G6，G7，B6，產生一個像素的RGB值，該像素的顏色值為R＝R6，G＝(G6+G7)/2，B＝B6 公式4該模塊的輸出尺寸是輸入尺寸的1/2。
權利要求
1.一種連接到攝像頭，處理原始拜爾Bayer信號的方法和模塊。該模塊輸入是原始拜爾Bayer信號，輸出是RGB信號。其特徵是在拜爾Bayer信號域進行降噪，增強和縮放等圖像處理。
2.根據權利要求1所述的圖像處理模塊，其特徵是採用圖4所示的圖像降噪方法，在拜爾Bayer域用帶閾值判斷的降噪濾波器。
3.根據權利要求1所述的圖像處理模塊，其特徵是採用圖5所示的圖像增強方法，在拜爾Bayer域用帶閾值判斷的圖像增強濾波器。
4.根據權利要求1所述的圖像處理模塊，其特徵是採用圖6所示的圖像縮放方法，在拜爾Bayer域用雙線性(Bilinear)插值方法對圖像縮放。
5.根據權利要求1所述的圖像處理模塊，其特徵是將空間上的2x2模塊作為一個單元進行圖像縮放操作。
6.根據權利要求1所述的圖像處理模塊，其特徵是將空間上的2x2模塊作為一個像素，該像素的顏色值由公式4得到。
全文摘要
一種在拜爾Bayer域對圖像進行降噪，增強和縮放的方法和模塊。該模塊對攝像頭原始信號進行圖像處理，並且輸出RGB信號。該模塊可以有效的節省緩衝器(Buffer)的數量，並且達到比較好的輸出效果。
文檔編號H04N5/21GK1933550SQ20061007977
公開日2007年3月21日 申請日期2006年5月18日 優先權日2005年5月26日
發明者羅巍, 李林, 陶葉軍, 黃寅 申請人:智多微電子(上海)有限公司