基於邊緣方向插值的cfa圖像去馬賽克方法
2023-09-23 12:00:45 1
專利名稱：基於邊緣方向插值的cfa圖像去馬賽克方法
技術領域：
本發明屬於圖像處理技術領域，更進一步涉及圖像恢復技術領域的基於邊緣方向插值的CFA圖像去馬賽克方法。本發明是對有馬賽克效應的CFA圖像進行插值，以獲得具有紅、綠、藍三個通道全部信息的彩色圖像。本發明可用於單傳感相機中，作為後處理算法對CCD或CMOS傳感器捕獲的CFA圖像進行處理，恢復出完整的數字彩色圖像，從而彌補由於減少相機硬體成本所帶來的圖像彩色信息的丟失。
背景技術：
數字彩色圖像通常用紅、綠、藍三基色來表示顏色值。出於成本考慮，目前大部分相機採用的是單個C⑶或CMOS傳感器，通過在傳感器前加一個顏色濾波陣列(color filer array，CFA)，只用一個矩陣來表示彩色圖像。每個像素點上只有一個顏色值，而另外兩個顏色值則根據其鄰域信息來插值，這一插值技術被稱為「去馬賽克」(demosaicking)。CFA圖像去馬賽克實質上是一個病態逆問題，即由已知的原圖1/3的信息恢復出全部的信息。拜耳(Bayer)模式的CFA由於簡單而高效，是目前應用最為廣泛的一種。在Bayer模式的CFA 中，每相鄰的四個像素中有兩個像素只有綠色值，其它兩個分別只有紅色值、藍色值。現有的CFA圖像去馬賽克技術可以簡單地分為線性插值技術和非線性插值技術。線性插值最簡單也最具代表性的有雙線性插值和雙立方插值。雙線性插值和雙立方插值技術的優點在於其實現簡單，速度快；但其缺點也是顯而易見的在圖像中會產生嚴重的人工痕跡(如彩色鑲邊，即虛假顏色效應)，尤其在圖像的高頻部分更為突出。相比線性插值技術，非線性插值技術更複雜，由於考慮了 RGB通道間的相關性，其插值效果明顯要優於線性插值技術。這一類技術有很多，例如，S. Pei和I. Tam在文章「Effective color interpolation in CCD color filter array using signal correlation" (Proc. Int. Conf. Image Process.，Sep. 2000，PP. 488-491)中提出的利用信號校正的高效插值技術。非線性插值技術還包括一些基於迭代算法的去馬賽克技術，如B. Gunturk,等人在文章中 iiColor plane interpolation using alternating projections" (IEEE Trans. Image Process.，vol. 11，no. 9，pp. 997-1013，Sep. 2002)中提出的交替投影方法，又如 Wenmain Lu 禾口 Yap-peng Tan 在文章中 「Color filter array demosaicing :new method and performance measures，，(IEEE Trans. Image Process. , vol. 12,no. 10,pp. 1194-1210， Oct. 2003)中提出的去馬賽克方法。近年來提出了一種基於稀疏表示的彩色圖像去馬賽克技術，如 Julien Mairal 等人在文章「Sparse representation for color image restoration，，(IEEE Trans. Image Process. , vol. 17, no. 1, Jan. 2008)中描述的方法。這種方法需要對大量數據進行學習和訓練出相應的稀疏字典，然後根據字典重構彩色圖像， 算法更為複雜。總之，非線性插值技術雖然可以獲得優質彩色圖像，但其複雜度高，計算代價大。微軟公司提出的專利申請「用於彩色圖像去馬賽克的優質梯度校正線性插值」(申請日:2005年03月15日，申請號200510055929. 5，公開號CN1722852)中公開了一種用於彩色圖像去馬賽克的梯度校正線性插值方法和系統。該方法和系統首先使用現有的線性插值技術如雙線性插值技術來估算所需顏色的值，然後通過計算當前像素上所需色彩的梯度來計算校正項，最後線性組合該插值和校正項以產生像素上遺漏色彩值。該方法直接使用梯度來影響和校正由現有插值技術估計的色彩值。該方法的不足之處是僅僅利用了梯度來校正雙線性插值的結果，雖然相比於雙線性插值有了一定改進，但對圖像細節部分處理效果仍然不太理想，虛假顏色效應依然嚴重。Zhang等人在文章「Color demosaicking via directional linear minimum mean square-error estimation，，(IEEE Trans. Image Process. , vol. 14,no. 12,pp. 2167-2178， Dec. 2005.)中提出一種基於方向線性均方誤差估計的去馬賽克方法。該方法利用線性均方誤差估計(LMMSE)對紅綠和藍綠的差信號從水平和豎直兩個方向進行估計，然後對每個像素點的將兩個綠色估計值優化融合使得其與鄰域像素的方差最小，最後通過對差信號線性均方誤差估計重構出三個通道的全部信息。該方法的不足之處是該方法需要進行多次估計和融合，雖然對圖像的細節處理有所改善，但算法複雜度高，程序運行時間長。
發明內容
本發明針對現有去馬賽克算法對圖像的高頻部分插值效果不佳的缺陷，提出了一種基於邊緣方向插值的CFA圖像去馬賽克方法，通過以精確估計的亮度為指導對綠色通道沿邊緣方向插值以及插值後的修正，使得圖像的高頻部分的插值結果有明顯提高，有效抑制了虛假顏色效應。為實現上述目的，本發明包括如下主要步驟(1)輸入一幅待去馬賽克的CFA圖像；(2)估計亮度2a)設計一個9X9濾波器Γ i和一個5 X 5濾波器Γ 2 ；2b)分別用濾波器^和Γ2對輸入CFA圖像濾波，得到與輸入CFA圖像大小一致的濾波後圖像Iri和Ir2，將兩幅圖像融合得到一幅亮度圖像t ；(3)對綠色通道插值3a)計算亮度圖像￡水平和垂直兩個方向上的梯度ΔΗ、AV ；3b)比較ΔΗ與Δ V大小，獲得水平和垂直方向的邊緣矩陣&和Ev ；3c)根據水平和垂直方向邊緣矩陣&和Ev判斷插值方向並對綠色通道插值；(4)對紅色和藍色通道分別進行雙線性插值；(5)分別對紅、綠、藍通道進行修正；(6)輸出彩色圖像。本發明與現有的技術相比具有以下優點第一，本發明通過以精確估計的亮度為指導對綠色通道沿邊緣方向插值以及插值後修正，使得圖像的高頻部分的插值效果有明顯提高，視覺效果好，有效抑制了虛假顏色效應；第二，本發明的插值採用線性方法，計算量小，運行速度快，與現有技術基於線性均方誤差估計的算法和一些現有迭代算法相比，運行時間短，縮短了相機成像時間。CN 102254301 A
說明書
3/8頁
圖1為本發明的流程圖；圖2為現有技術去馬賽克效果圖；圖3為本發明去馬賽克效果圖。
具體實施例方式下面結合附圖1，對本發明實現的步驟作進一步的詳細描述步驟1，輸入一幅待去馬賽克的CFA圖像Is待去馬賽克的CFA圖像為拜耳(Bayer)模式的CFA圖像，該圖像中每個像素點都只有三基色中的一個顏色值已知，其餘兩個顏色值未知；CFA圖像每相鄰2X2圖像塊的四個像素點中有兩個像素點已知綠色值，另外兩個像素點分別已知紅色值、藍色值。步驟2，估計亮度2a)根據下式設計一個9 X 9濾波器Γ :和一個5 X 5濾波器Γ 權利要求
1. 一種基於邊緣方向插值的CFA圖像去馬賽克方法，包括如下步驟(1)輸入一幅待去馬賽克的CFA圖像；(2)估計亮度2a)設計一個9X9濾波器Γ i和--個5X5濾波器Γ:2b)分別用濾波器Γ工和Γ 2對輸入CFA圖像濾波，得到與輸入CFA圖像大小一致的濾波後圖像Iri和Ir2，將兩幅圖像融合得到一幅亮度圖像t ；(3)對綠色通道插值3a)計算亮度圖像乞水平和垂直兩個方向上的梯度ΔΗ、AV；3b)比較ΔΗ與AV大小，獲得水平和垂直方向的邊緣矩陣&和Ev;3c)根據水平和垂直方向邊緣矩陣&和Ev判斷插值方向並對綠色通道插值；(4)對紅色和藍色通道分別進行雙線性插值；(5)分別對紅、綠、藍通道進行修正；(6)輸出彩色圖像。
2.根據權利要求1所述的基於邊緣方向插值的CFA圖像去馬賽克方法，其特徵在於 步驟2a)中所述的濾波器根據如下公式來設計得到
3.根據權利要求1所述的基於邊緣方向插值的CFA圖像去馬賽克方法，其特徵在於 步驟2b)中所述的圖像融合規則如下當像素位置索引i和j均為奇數或均為偶數時， L(U) =Irl(U)主(/,7·)為像素點⑴J')的亮度值，In(i，j)為圖像Iri中像素點(i，j)的值，否則，￡^,_/)=Ir2(^)，Ir2(i，j)為圖像Ir2中像素點(i，j)的值。
4.根據權利要求1所述的基於邊緣方向插值的CFA圖像去馬賽克方法，其特徵在於 步驟3a)中所述水平和垂直方向上的梯度計算公式如下
5.根據權利要求1所述的基於邊緣方向插值的CFA圖像去馬賽克方法，其特徵在於 步驟北)中所述的水平和垂直方向的邊緣矩陣&和民按照下列公式獲得
6.根據權利要求1所述的基於邊緣方向插值的CFA圖像去馬賽克方法，其特徵在於 步驟3c)中所述的插值方法如果矩陣&第士行第j列元素&(i，j)的值大於等於2.5時， 對像素點(i，j)進行水平方向插值；如果矩陣Ev第i行第j列元素Ev(i，j)的值大於等於 2. 5時，對像素點(i，j)進行垂直方向插值。
7.根據權利要求1所述的基於邊緣方向插值的CFA圖像去馬賽克方法，其特徵在於 步驟(5)中所述的修正方法對綠色通道中插值的像素點分別計算水平和垂直梯度，如果水平梯度小於垂直梯度，對此像素綠色值進行水平鄰域加權修正，如果水平梯度大於垂直梯度，對此像素綠色值進行垂直鄰域加權修正，如果水平梯度等於垂直梯度，對此像素綠色值進行水平垂直鄰域加權修正；對插值像素點的紅色值和藍色值均進行水平垂直鄰域加權修正。
全文摘要
本發明公開了一種基於邊緣方向插值的顏色濾波陣列(color filter array，CFA)圖像去馬賽克方法，主要解決了現有的去馬賽克方法對圖像高頻部分插值效果不佳虛假顏色效應嚴重的問題。其實現步驟是(1)輸入一幅待去馬賽克的CFA圖像；(2)估計亮度；(3)對綠色通道插值；(4)對紅色和藍色通道分別進行雙線性插值；(5)分別對紅、綠、藍通道進行修正；(6)輸出彩色圖像。本發明具有能較好的保持圖像高頻信息的優點，能有效抑制虛假顏色效應，改善CFA圖像去馬賽克後視覺效果，且運行時間短。
文檔編號G06T3/40GK102254301SQ20111020761
公開日2011年11月23日 申請日期2011年7月22日 優先權日2011年7月22日
發明者侯彪, 公茂果, 張小華, 朱同華, 焦李成, 王桂婷, 王爽, 田小林, 鍾樺 申請人:西安電子科技大學