用于貝爾濾光片數組影像的彩色補插值法的製作方法

2023-06-08 23:04:31

專利名稱：用于貝爾濾光片數組影像的彩色補插值法的製作方法
技術領域：
本發明涉及一種彩色補插值方法，尤其涉及一種貝爾(Bayer)數組補插值法。本發明可應用於一影像處理裝置以及影像處理方法。
背景技術：
人類的視覺系統具有三種視錐長視錐、中視錐以及短視錐。該等視錐系分別可感應對應至紅色、綠色以及藍色光的波長。人類腦中的視覺皮質可從這三種的視錐中得到訊號，然後再將實行補插值(interpolation)以形成一個成形的影像。人類視覺系統的生物結構的重要性在於可將要進行處理的大量的、全部的可見光譜戲劇性地轉換成只有紅、藍和綠三原色。
因此，在數字相機中的數字影像感應器也設計成類似於人類視覺系統的視錐。一種最常用的影像感應器數組是由貝爾博士(Bryce E.Bayer)於美國專利公告號3,971,065所揭示，稱之為貝爾(Bayer)濾光片感應器數組100，該貝爾濾光片感應器數組位於一貝爾樣態影像感應器10中，如圖1所示。一貝爾濾光片數組100具有放置於該影像感應器上的紅、綠、和藍三種彩色過濾小透鏡，以分別獲取長、中和短波長的光譜信息。此外，該貝爾濾光片數組即為將綠色信息取樣為梅花狀，而紅色和藍色資料則取樣為矩形狀。該綠色數據是在一較高頻率下取樣，這是因為人類的視覺系統對於中波長有較高的敏銳度。在一單一的影像感應器中，其它二色(紅和藍)所缺少的彩色信息就會使用鄰近像素的彩色值來進行補插值的動作。
圖2是顯示了用於該3×3貝爾濾光片數組的彩色補插值的例子。例子中的第1種和第4種數組是以綠色為中心，所以要被進行補插值的彩色元素有紅色和藍色。例子中的第2種是以紅色為中心，所以要被進行補插值的彩色元素有綠色和藍色。例子中的第3種數組是以藍色為中心，所以要被進行補插值的彩色元素有綠色和紅色。
為了方便說明，每一個位于貝爾3×3數組例子中的像素被指定為圖3中的數字。
在習知技術中，一種貝爾數組補插值的方法使用所謂的線性補插值法，而每一個貝爾數組中所缺少的像素是以下列方式進行補插值
例子1中R＝(a3+a5)/2B＝(a1+a7)/2例子2中G＝(a1+a3+a5+a7)/4B＝(a0+a2+a6+a8)/4例子3中G＝(a1+a3+a5+a7)/4R＝(a0+a2+a6+a8)/4例子4中R＝(a1+a7)/2B＝(a3+a5)/2另一種習知的貝爾數組補插值法公開於美國專利公告號5,382,976以及5,373,322。上述所公開的內容是使用邊緣信息來決定待用來補插值的相鄰像素。所述的方法如圖4所示。所述方法的過程首先輸入一3×3貝爾樣態區塊(步驟S10)。在步驟S12中，依據圖2所顯示的4種數組來決定所輸入的貝爾區塊是屬於那圖2的那一種。在步驟S14中，貝爾數組的範例被分成二種以綠色像素為中心的以及非以綠色像素為中心的。如果中心像素不是綠色像素，則屬於第2種和第3種的貝爾數組，因此，在步驟16中，計算綠色像素的差異值，即H_diff＝|a3-a5|以及V_diff＝|a1-a7|.
在步驟S20中，對該缺少的綠色像素進行補插值，即如果H_diff＜V_diffG＝(a3+a5)/2否則，如果V_diff＜H_diffG＝(a1+a7)/2否則G＝(a1+a3+a5+a7)/4.
在步驟S22中，對該缺少的紅色或藍色像素進行補插值，即如果是例子IIB＝(a0+a2+a6+a8)/4
否則，如果是例子IIIR＝(a0+a2+a6+a8)/4.
另一方面，如果中心像素是綠色，則在步驟S18中，對缺少的紅色和綠色進行補插值，即如果是例子IR＝(a3+a5)/2B＝(a1+a7)/2否則，如果是例子IVR＝(a1+a7)/2B＝(a3+a5)/2然而，如果藉由使用上述的方法進行貝爾彩色濾光片數組所缺少的彩色像素補插值的話，在所有三元的像素的色彩差異就會變得很大，並且會在高變動的邊緣造成不舒適的色差。此外，為了要重新建構較佳的缺少的像素，美國專利公告號5,373,322和6,549,233都教示了一種較寬的貝爾濾光片數組，其具有更多相鄰的像素，但使用上述專利的方法將會大幅地增加施行於硬體上的成本。D.Alleysson，S.Susstrunk以及J.Herault等人是在2005年四月號IEEE影像處理會刊第十四卷第四號第439-449頁教示「人類視覺系統所造成的線性解碼賽克(Linear Demosaicing)」。D.Alleysson等人所公開的內容為更複雜的貝爾濾光片數組補插值法，其需要可在頻域中施行的補插值處理。Endo等人在美國專利公告案US 6,853,748號以及Acharya在美國專利公告案US6,917,381中，教示了用於該貝爾數組補插值法的乘法和除法，但其亦會增加施行於硬體上的成本。

發明內容
本發明的一目的是在解決上述的問題，並提供一種用于貝爾濾光片數組影像的彩色補插值法，其不但只使用一3×3的像素區塊，而且也提供了藉由同時施行邊緣和彩色差異信息來進行正確的重建。
本發明藉由提供一種貝爾濾光片的彩色補插值法來達到上述的目的。該方法首先輸入一個具有一中心像素的3×3貝爾樣態區塊。接著，依據中心像素的種類來決定一彩色濾光片補插值的例子(case)。接著，獲得彩色濾光片補插值例子的水平方向和垂直方向的貝爾像素平均，以及獲得彩色濾光片補插值例子的水平方向和垂直方向的貝爾像素的差異值(difference)。接著，對於在水平以及垂直方向的中心像素的缺少的彩色元素進行補插值。接著，基於該貝爾像素差異值以及平均，獲得在水平以及垂直方向的彩色差異值(color differences)。接著，決定該3×3貝爾像素區域的一素像活動(pixel activity)。最後，當該素像活動為高時，選擇在較低彩色差異值的方向中的該已補插值的彩色元素；當該像素活動是較低時，決定在水平以及垂直方向的貝爾像素差異值；其中如果該在一方向的差異值是遠大於另一個時，在該貝爾像素差異值的較低的貝爾像素差異值方向中，選擇彩色補插值的結果；以及如果該在水平以及垂直方向的像素差異值沒有明顯地不同時，把該貝爾像素平均當成是已補插值彩色來使用。
本發明有下列三個優點1.因為該缺少的彩色是在某一特定方向進行補插值，該方向所給予的要不是比較低的彩色差異值，就是較低的像素差異值，因此該已補插值後的影像將從該彩色差異值中擁有較低的視覺幹擾。
2.因為在補插值處理的過程中，只有使用到3×3的像素區域，所以硬體實行的複雜度相對於5×5的像素區域的補插值法而言可被大幅地降低。
3.該補插值過程只涉及到簡單的數學運算，例如加、減以及邏輯位運算，因此施行於硬體上的成本相對於由Endo等人以及Acharya等人所教示的乘和除的補插值法而言可大幅地縮減。
在下述的詳細描述中，藉由一實施例配合圖式將可充份地了解本發明，但該實施例並非用以限制本發明。


圖1是顯示貝爾濾光片感應器數組；圖2是顯示該3×3貝爾濾光片數組的彩色補插值例子；圖3是顯示在一3×3貝爾數組的像素號碼；圖4為顯示使用邊緣信息進行貝爾數組補插值法的步驟流程圖；圖5A和圖5B為顯示本發明的貝爾數組補插值法的步驟流程圖；圖6A和圖6B為顯示本發明的貝爾數組補插值法的一較佳實施例的流程圖；圖7為示例地說明一貝爾影像及其彩色補插值的順序。
附圖標號說明輸入一3×3貝爾樣態區域-10；決定對於中心像素補插值的例子-12；中心是否為綠色像素14-；計算在水平和垂直方向綠色像素的差異值-16；使用線性過濾法對缺少的紅色和藍色像素進行補插值-18；在較低像素差異的方向進行綠色像素的補插值-20；使用線性過濾法，對於缺少的紅色或藍色像素進行補插值-22；輸入一具有中心像素在(x，y)的3×3貝爾樣態區域-110；決定對於中心像素補插值的例子-112；計算貝爾像素差異值-114；計算像素平均-116；計算在水平及垂直方向中心像素的缺少的彩色-118；計算在水平及垂直方向的彩色差異值-120；決定該3×3貝爾像素區域的像素活動-122；像素活動較高-124；選擇較低彩色差異的方向的彩色補插值-126；決定在水平以及垂直方向的貝爾像素差異值-128；差異值是否明顯-130；選擇較低的貝爾像素差異方向的彩色補插值的結果-132；使用已補插值的像素平均-134；輸入一貝爾樣態影像-200；使y＝1-202；使x＝1-204；決定貝爾補插值的例子-206；計算h_diff，v_diff和g_diff-208；計算h_ave，v_ave和corner_ave-210；對缺少的彩色進行水平補插值-212；計算h_color_diff-214；對缺少的彩色進行垂直補插值-216；計算v_color_diff-218；g_diff是否同時大於h_diff v_diff-222；是否h_color_diff＜v_color_diff-224；選擇水平已補插值的彩色-226；選擇垂直已補插值的彩色-228；是否h_diff＜v_diff ？-230；是否v_diff＜h_diff？-232；使用線性已補插值的彩色-234；使x＝x+1-236；是否x＜(寛-1)-238；使y＝y+1-240；是否y＜(高-1)-242；貝爾影像-700；3×3像素區域-710；中心像素-711。
具體實施例方式
本發明是公開一種用于貝爾濾光片數組的影像的彩色補插值法，該方法不但只有使用一3×3像素區域，而且還藉由同時實行邊緣以及彩色差異信息來改善重建的正確性。
圖5A和圖5B是顯示本發明用於一貝爾數組補插值法的步驟流程圖。該步驟首先輸入一具有中心像素在(x，y)位置的一3×3貝爾樣態區塊，如步驟S110所示。
在步驟S112中，依據該中心像素的種類來決定一彩色濾光片補插值的例子。該貝爾補插值的例子就如同在圖2所顯示的一般。
在步驟S114中，計算該彩色濾光片補插值例子在水平以及垂直方向的貝爾像素差異值(difference)。
在步驟S116中，獲得該彩色濾光片補插值例子的貝爾像素平均。有關用於計算貝爾像素差異值以及平均的方法將在下述的較佳實施例中進一步討論。
在步驟S118中，對於該中心像素的缺少的彩色元素進行水平以及垂直方向的補插值。
在步驟S120中，依據該已補插值的結果(包括了該貝爾像素差異值和平均)，計算在水平以及垂直方向的彩色差異值。
在步驟S122中，決定該3×3像素區域的一像素活動。
在步驟S124中，如果有一較高的像素活動，則該方法進行步驟S126；否則該方法進行步驟S128。
在步驟S126中，選擇在較低彩色差異值的方向的已補插值彩色元素。
反之，如果有一個較低的像素活動，則決定在水平以及垂直方向的貝爾像素差異值，如步驟S128所示。
在步驟S130中，如果在一方向的差異值是遠大於另一個的話，則該方法進行步驟S132；否則該方法進行步驟S134。
在步驟S132中，選擇在該貝爾像素差異值中較低的貝爾像素差異值方向的該彩色補插值的結果。
然而，如果在水平以及垂直方向的像素差異值沒有非常大的話，則使用像素平均值作為該已補插值彩色，即步驟S134。
實施例1圖6A和圖6B是顯示本發明貝爾數組補插值方法的一較佳實施例的流程圖。如步驟S200所示，輸入一貝爾樣態影像，並且該3×3像素區域的中心像素的一起始坐標設定成如步驟S202的y＝1以及步驟S204的x＝1。
圖7為用於說明一貝爾影像以及該彩色補插值的順序的示意圖。如圖7所示，該貝爾影像700的尺寸是寛乘高。圖7是進一步顯示一3×3像素區域710以及其中心像素711為灰階。該彩色補插值的順序是如箭頭所示的雷射方向。
在步驟S206中，基於如圖2所示的內容，決定該貝爾補插值的例子。
在步驟S208中，一綠色像素差異值、水平像素差異值以及垂直像素差異值是藉由參考圖3中的3×3像素區域來計算之。該水平像素差異值(h-diff)以及垂直像素差異值(v-diff)分別如下所示h_diff＝|a0+2×a3+a6-a2-2×a5-a8|，以及v_diff＝|a0+2×a1+a2-a6-2×a7-a8|。
然而，依據該貝爾例子的不同，來獲得該綠色像素差異值(g_diff)。如果該貝爾例子是例子1或例子4，則該綠色像素差異值(g_diff)為如下所示g_diff＝|a4-(a0+a2+a6+a8)/4|
反之，如果該貝爾例子是例子2或例子3，則g_diff為如下所示g_diff＝|a1+a7-a3-a5|/2在步驟S210中，分別計算一水平像素平均h_ave、垂直像素平均v_ave以及中心像素平均corner_ave，如下所示h_ave＝(a3+a5)/2，v_ave＝(a1+a7)/2，以及corner_ave＝(a0+a2+a6+a8)/4在步驟S212中，依據該貝爾例子，該中心像素缺少的彩色元素在水平方向進行插值，如下所示例子I在紅色列中，綠色為中心R_h＝h_aveB_h＝clip(a4+v_ave-corner_ave)例子II紅色為中心G_h＝h_aveB_h＝clip(G_h+corner_ave-v_ave)例子III藍色為中心G_h＝h_aveR_h＝clip(G_h+corner_ave-v_ave)例子IV藍色列中，綠色為中心R_h＝clip(a4+v_ave-corner_ave)B_h＝h_ave在上述方程式中，該括號(x)(clip(x))是用來確定在括號內的值限制在0-255之間，如果每一個值是用8bit來表示的話。該括號(x)如下所示如果x＜0，則X＝0；如果x＞255，則X＝255；否則x＝x在步驟S214中，是從在步驟S212的水平補插值彩色元素中，計算該水平彩色差異值，如下所示例子Ih_color_diff＝|a4-R_h|+|a4-B_h|例子II
h_color_diff＝|G_h-a4|+|G_h-B_h|例子IIIh_color_diff＝|G_h-R_h|+|G_h-a4|例子IVh_color_diff＝|a4-R_h|+|a4-B_h|同樣地，在步驟S216中，是垂直地插值該中心像素的缺少彩色元素，為例子I在紅色列中，綠色為中心R_v＝clip(a4+h_ave-corner_ave)B_v＝v_ave例子II紅色為中心G_v＝v_aveB_v＝clip(G_v+corner_ave-h_ave)例子III藍色為中心G_v＝v_aveR_v＝clip(G_v+corner_ave-h_ave)例子IV在藍色列中，綠色為中心R_v＝v_aveB_v＝clip(a4+h_ave-corner_ave)在步驟S218中，是從在步驟S216的垂直補插值彩色元素中，計算該垂直彩色差異值，如下所示例子Iv_color_diff＝|a4-R_v|+|a4-B_v|例子IIv_color_diff＝|G_v-a4|+|G_v-B_v|例子IIIv_color_diff＝|G_v-R_v|+|G_v-a4|例子IVv_color_diff＝|a4-R_v|+|a4-B_v|在計算該像素差異值以及對水平和垂直方向的缺少的彩色進行補插值後，該被選擇為缺少的彩色值的已插值結果是由下述所決定。
在步驟S222中，該綠色像素差異值g_diff是與該水平像素差異值h_diff以及垂直差異值v_diff比較，以決定該像素活動。
如果g_diff是同時大於h_diff以及v_diff，則該水平彩色差異值h_color_diff以及垂直彩色差異v_color_diff被相互的比較，如步驟S224所示。
如果h_color_diff是小於該v_color_diff，則在步驟S226中選擇步驟S212中的水平補插值彩色值。反之，如果h_color_diff並沒有大於v_diff，則在步驟S228中選擇步驟S216的垂直補插值彩色值。然後，該補插值的程序直接跳到步驟S236。
然而，如果沒有滿足在步驟S222中的條件比較，則在步驟S230以及步驟S232中，進一步比較h_diff以及v_diff。如果h_diff是小於v_diff(步驟S230)，則在步驟S226中選擇步驟S212的水平補插值彩色值。反之，如果v_diff是小於該h_diff(步驟S232)，則在步驟S228中選擇步驟216的垂直補插值彩色值。不過，如果該條件比較並沒有同時滿足S230以及S232時，該缺少的彩色值將會進行如下的線性補插值例子I在紅色列中，綠色為中心R_v＝h_aveB_v＝v_ave例子II紅色為中心G_v＝(h_ave+v_ave)/2B_v＝corner_ave例子III藍色為中心G_v＝(h_ave+v_ave)/2R_v＝corner_ave例子IV藍色列中，綠色為中心R_v＝v_aveB_v＝h_ave如果v_diff等於h_diff，則使用線性已補插值的彩色。在對於中心像素在坐標(x，y)進行該缺少的彩色元素補插值後，該水平坐標x以x＝x+1方式來增加(步驟236)。如果x仍然是小於寛-1(步驟S238)，則該補插值程序回到步驟S206。然而，如果在步驟S238的條件沒有滿足的話，則垂直坐標y以y＝y+1方式來增加，且在步驟S242中，y與高-1(hight-1)進行比較。如果滿足步驟S242的條件，則補插值程序回到步驟S204；反之，如果沒有滿足步驟S242的條件，則完成貝爾影像的缺少的彩色補插值。
權利要求
1.一種用于貝爾濾光片數組影像的彩色補插值法，其特徵在於，包括下列步驟輸入具有一中心像素的一3×3貝爾樣態區域；依據該中心像素的種類，決定一彩色濾光片補插值的例子；獲得該彩色濾光片補插值的例子在水平以及垂直方向的貝爾像素平均和貝爾像素差異值；對在水平和垂直方向的該中心像素缺少的彩色元素進行補插值；決定該3×3貝爾像素區域的一像素活動；以及當該像素活動是較高時，在較低彩色差異值的方向中選擇已補插值的彩色元素。
2.如權利要求1所述的用于貝爾濾光片數組影像的彩色補插值法，其特徵在於，該方法更包括下列步驟當該像素活動是較低時，決定在水平以及垂直方向的貝爾像素差異值；其中如果該在一方向的差異值是遠大於另一個時，在該貝爾像素差異值的較低的貝爾像素差異值方向中，選擇彩色補插值的結果；以及如果該在水平以及垂直方向的像素差異值沒有明顯地不同時，把該貝爾像素平均當成是已補插值彩色來使用。
3.如權利要求1所述的用于貝爾濾光片數組影像的彩色補插值法，其特徵在於，該獲得在水平以及垂直方向的貝爾像素平均以及貝爾像素差異值的步驟進一步包括下列步驟參考下列的3×3像素區域，計算一綠色像素差異值g_diff、水平像素差異值h_diff以及垂直像素差異值v_diff，該3×3像素區域為a0 a1 a2a3 a4 a5a6 a7 a8其中，該水平像素差異h_diff以及垂直差異v_diff分別如下所示h_diff＝|a0+2×a3+a6-a2-2×a5-a8|，以及v_diff＝|a0+2×a1+a2-a6-2×a7-a8|；如果該貝爾例子是以綠色為中心，依據該貝爾例子，獲得該綠色像素差異值g_diff，則該g_diff為g_diff＝|a4-(a0+a2+a6+a8)/4|，如果該貝爾例子是紅色或藍色，則g_diff為g_diff＝|a1+a7-a3-a5|/2；計算一水平像素平均h_ave，垂直像素平均v_ave和角隅像素平均corner_ave，其分別為h_ave＝(a3+a5)/2，v_ave＝(a1+a7)/2，以及corner_ave＝(a0+a2+a6+a8)/4。
4.如權利要求1所述的用于貝爾濾光片數組影像的彩色補插值法，其特徵在於，對該中心像素的缺少的彩色元素進行補插值的步驟中，進一步包括下列步驟依據該不同的貝爾例子，對該中心像素水平方向的缺少的彩色元素包括紅R_h，藍B_h，綠G_h，進行補插值，如果該貝爾例子是在紅色列中，綠色為中心時，R_h＝h_ave，B_h＝clip(a4+v_ave-corner_ave)，如果貝爾例子是紅色為中心時，G_h＝h_ave，B_h＝clip(G_h+corner_ave-v_ave)，如果貝爾例子是藍色為中心時，G_h＝h_ave，R_h＝clip(G_h+corner_ave-v_ave)，如果貝爾例是子在藍色列中，綠色為中心時，R_h＝clip(a4+v_ave-corner_ave)，B_h＝h_ave，其中，括號(x)的函數如下所示如果x＜0，則X＝0，如果x＞255，則X＝255，否則x＝x；從該水平已補插值的彩色元素中，計算該水平彩色差異值h_color_diff，如果貝爾例子是在紅色列中，綠色為中心時，h_color_diff＝|a4-R_h|+|a4-B_h|，如果貝爾例子是紅色為中心時，h_color_diff＝|G_h-a4|+|G_h-B_h|，如果貝爾例子是藍色為中心時，h_color_diff＝|G_h-R_h|+|G_h-a4|，如果貝爾例子是藍色列中，綠色為中心時，h_color_diff＝|a4-R_h|+|a4-B_h|依據該不同的貝爾例子，對該中心像素垂直方向的缺少的彩色元素包括紅R_h，藍B_h，綠G_h，進行補插值，如果該貝爾例子是在紅色列中，綠色為中心時，R_v＝clip(a4+h_ave-corner_ave)，B_v＝v_ave，如果貝爾例子是紅色為中心時，G_v＝v_ave，B_v＝clip(G_v+corner_ave-h_ave)，如果貝爾例子是藍色為中心時，G_v＝v_ave，R_v＝clip(G_v+corner_ave-h_ave)，如果貝爾例子是藍色列中，綠色為中心時，R_v＝v_ave，B_v＝clip(a4+h_ave-corner_ave)；以及從該水平已補插值的彩色元素中，計算垂直彩色差異v_color_diff，如果貝爾例子是在紅色列中，綠色為中心時，v_color_diff＝|a4-R_v|+|a4-B_v|，如果貝爾例子是紅色為中心時，v_color_diff＝|G_v-a4|+|G_v-B_v|，如果貝爾例子是藍色為中心時，v_color_diff＝|G_v-R_v|+|G_v-a4|，如果貝爾例子是藍色列中，綠色為中心時，v_color_diff＝|a4-R_v|+|a4-B_v|。
5.如權利要求1所述的用于貝爾濾光片數組影像的彩色補插值法，其特徵在於，決定該3×3貝爾像素區域的像素活動步驟中，進一步包括該綠色像素差異值g_diff是與該水平像素差異值h_diff以及垂直差異值v_diff做比較，以決定該像素活動；如果g_diff是同時大於h_diff以及v_diff，則該水平彩色差異值h_color_diff以及垂直彩色差異值v_color_diff被相互的比較；如果h_color_diff是小於該v_color_diff，則選擇該水平已補插值的彩色值；如果h_color_diff是不小於該v_color_diff，選擇該垂直已補插值的彩色值。
6.如權利要求1或4所述的用于貝爾濾光片數組影像的彩色補插值法，其特徵在於，決定該3×3貝爾像素區域的像素活動步驟中，該綠色像素差異值g_diff是與該水平像素差異值h_diff以及垂直差異值v_diff做比較，以決定該像素活動，更包括下列步驟如果g_diff並不是大於h_diff以及v_diff，則比較h_diff和v_diff，以決定該像素活動；如果h_diff是小於v_diff，則選擇該水平已補插值的彩色值；如果v_diff是小於h_diff，則選擇該垂直已補插值的彩色值；以及如果v_diff等於h_diff，則使用線性已補插值的彩色。
全文摘要
本發明是公開一種用于貝爾濾光片數組影像的彩色補插值法。該方法首先輸入一具有一中心像素的3×3貝爾樣態區域。接著，依據該中心像素的種類，決定一彩色濾光片補插值的例子；接著，獲得該彩色濾光片補插值的例子在水平以及垂直方向的貝爾像素平均和貝爾像素差異值；接著，對在水平和垂直方向的該中心像素的缺少的彩色元素進行補插值；接著，決定該3×3貝爾像素區域的一像素活動；最後，當該像素活動是較高時，在較低彩色差異的方向中選擇已補插值的彩色元素。
文檔編號H04N9/04GK101047862SQ200610066530
公開日2007年10月3日 申請日期2006年3月30日 優先權日2006年3月30日
發明者林文國 申請人:繪展科技股份有限公司