處理鑲嵌圖像的方法與流程
2023-05-05 03:53:36
【技術領域】
本發明關於圖像處理，尤其關於一種處理鑲嵌圖像(mosaickedimage)的方法。
背景技術：
現在，數位相機幾乎無處不在。不僅有單機(stand-along)數位相機，也有嵌入各種類型的電子設備(例如智能機及平板電腦)內的數位相機。甚至，數碼攝像機也可被當做是數位相機。
通常來說，數位相機至少具有一個色彩感測器(colorsensor)及疊加在該色彩感測器上的一個色彩濾波矩陣(colorfilterarray，cfa)。舉幾個例子，色彩感測器可以是電荷耦合裝置(chargecoupleddevice，ccd)傳感器或互補金屬氧化物半導體(complementarymetaloxidesemiconductor，cmos)傳感器；色彩濾波矩陣可以是拜耳(bayer)色彩濾波矩陣，rgbc(red,green,blue,clean)色彩濾波矩陣，或者cyym(cyan,yellow,yellow,magenta)色彩濾波矩陣。
數位相機產生的原始圖像(rawimage)為鑲嵌圖像，具有不同顏色的像素，這些像素在像素的每一水平線條及像素的每一垂直線條上交替。要想做到有效，經常需要處理鑲嵌圖像。一些圖像處理方法會以更複雜的計算為代價來確保更好的圖像品質。另一些圖像處理方法可具有較簡單的計算但會導致較差的圖像品質。
技術實現要素：
有鑑於此，本發明提供一種處理鑲嵌圖像的方法。
本發明實施例提供一種處理鑲嵌圖像的方法。該方法包括：沿著一方向上取樣該鑲嵌圖像以產生一組像素數據；以及沿著該方向調整該組像素數據，以產生包括至少一個完整取樣顏色平面和至少一個子取樣顏色平面的圖像。
本發明另一實施例提供一種處理鑲嵌圖像的方法。該方法包括：沿著一方向上取樣該鑲嵌圖像以產生一組像素數據；調整該組像素數據以產生包括至少一個完整取樣顏色平面和至少一個子取樣顏色平面的圖像；以及處理該圖像以產生去鑲嵌並處理過的圖像。
本發明另一實施例提供一種處理鑲嵌圖像的方法。該方法包括：沿著一方向上取樣和調整該鑲嵌圖像，以產生包括至少一個完整取樣顏色平面和至少一個子取樣顏色平面的圖像。
上述處理鑲嵌圖像的方法可確保好的圖像品質。
【附圖說明】
圖1為依據本發明實施例的處理鑲嵌圖像的圖像處理方法的示意圖；
圖2及圖3為進一步說明圖1所示方法的兩個示意圖。
【具體實施方式】
圖1為依據本發明實施例的處理鑲嵌圖像的圖像處理方法的示意圖。該圖像處理方法包含鑲嵌圖像調整尺寸(resize)方法100，其範例如圖2及圖3中描述，以及圖像信號處理(imagesignalprocessing，isp)方法900，其僅在圖1中描述。
為簡潔起見，圖1,2,3描述的每一示範性圖像被拆分為不同顏色的平面(plane)。舉例來說，如果使用拜耳色彩濾波矩陣來產生鑲嵌圖像，則顏色平面可包含紅(r)平面、藍(b)平面以及綠(g)平面。在另一範例中，可使用其他類型的色彩濾波矩陣(例如，rgbc色彩濾波矩陣或cyym色彩濾波矩陣)來產生該鑲嵌圖像。
在圖中，包圍字母「x」的矩形代表對應顏色平面中丟失的像素；包圍字母「r」、「b」或「g」的矩形代表對應顏色平面中的紅、藍或綠像素。如果顏色平面不具有任何丟失的像素，則其被稱為完整取樣(full-sampled)的顏色平面。另一方面，如果顏色平面有某些像素丟失，則其被稱為子取樣(sub-sampled)顏色平面。使用圖1描述的鑲嵌圖像和已調整尺寸並部分去鑲嵌的(demosaicked)圖像為例，前者具有子取樣r平面、子取樣b平面以及子取樣g平面，後者具有子取樣r平面、子取樣b平面以及完整取樣g平面。
圖1描述的圖像處理方法使電子設備能夠將鑲嵌圖像轉換成去鑲嵌並處理過的圖像。鑲嵌圖像具有m行n列像素，其中m及n為兩個正整數。換句話說，鑲嵌圖像的解析度為m×n。去鑲嵌並處理過的圖像的解析度為m"×n"，其中m"為小於或等於m的正整數，n"為小於或等於n的正整數。
圖1、圖2及圖3描述的鑲嵌圖像調整尺寸的方法100使電子設備能夠首先將鑲嵌圖像轉換成已調整尺寸並部分去鑲嵌的圖像。已調整尺寸並部分去鑲嵌的圖像的解析度為m'×n'，其中m'為小於或等於m的正整數，n'為小於或等於n的正整數。舉例來說，m'及n'可分別等於m"及n"。
修飾語「部分去鑲嵌的」表示已調整尺寸並部分去鑲嵌的圖像可具有至少一個完整取樣的顏色平面。換句話說，已調整尺寸並部分去鑲嵌的圖像可具有至少一個無丟失像素的顏色平面。在鑲嵌圖像調整尺寸方法100之後，圖1描述的圖像信號處理方法900使電子設備能夠將該已調整尺寸並部分去鑲嵌的圖像轉換成去鑲嵌並處理過的圖像。舉幾個例子，圖像信號處理方法900可包含去鑲嵌、圖像灰度校正(gammacorrection)、色彩校正、噪聲消減以及邊緣增強(edgeenhancement)等等。
請參考圖2及圖3。在鑲嵌圖像調整尺寸方法100中，電子設備首先沿著第一方向上執行上取樣(up-sample)及調整尺寸，接著沿著第二方向上執行上取樣及調整尺寸。雖然在所述範例中第一方向及第二方向分別為水平方向及垂直方法，但是在其他範例中該第一方向及第二方向可以分別為垂直方向及水平方向。請注意，如果第一方向及第二方向分別為水平方向及垂直方法，則沿著第一方向的線條及沿著第二方向的線條會分別是行和列。另一方面，如果第一方向及第二方向分別為垂直方向及水平方向，則沿著第一方向的線條及沿著第二方向的線條會分別是列和行。
請參考圖2。在鑲嵌圖像調整尺寸方法的步驟120，電子設備沿著第一方向上取樣鑲嵌圖像以產生第一中間圖像，其解析度可仍為m×n。換句話說，在步驟120，電子設備在每一顏色平面沿著第一方向上取樣線條。在被上取樣後，原始子取樣線條會變成完整取樣的線條或變成具有較少丟失像素的子取樣線條，原始未取樣的線條可保持未取樣(即保持原封不動)，以及原始完整取樣的線條可保持完整取樣(即保持原封不動)。如此處使用的，如果交替了丟失像素(每一個在圖中表示為符號'x')及現有像素(每一個在圖中表示為符號'r'、'g'或'b')，則線條為子取樣；如果沒有丟失像素，則線條為完整取樣；如果僅有丟失像素，則線條為未取樣。舉例來說，子取樣線條的交替期間可為n像素，其中n為大於1的整數，且每一交替期間可具有1個現有像素及(n-1)個丟失像素。換句話說，子取樣線條的1/n像素可為現有像素，而其餘(n-1)/n像素可為丟失像素。
使用圖1及圖2的鑲嵌圖像為例，在其r平面，奇水平線條為子取樣以及偶水平線條為未取樣。在步驟120，電子設備通過例如水平插值，將子取樣奇水平線條轉換成完整取樣線條。在此期間，r平面的偶水平線條保持未取樣。類似地，在鑲嵌圖像的b平面，偶水平線條為子取樣以及奇水平線條為未取樣。在步驟120，電子設備通過例如水平插值，將子取樣偶水平線條轉換成完全取樣線條。在此期間，b平面的奇水平線條保持未取樣。在鑲嵌圖像的g平面，所有水平線條為子取樣。在步驟120，電子設備通過例如水平插值，將所有水平線條轉換成完整取樣線條。因為第一中間圖像中產生的g平面只有完整取樣線條，所以g平面已成為完整取樣顏色平面。
接著，在鑲嵌圖像調整尺寸方法的步驟140，電子設備沿著第一方向調整第一中間圖像的尺寸，以產生第二中間圖像，其解析度可為m'×n。換句話說，在步驟140，電子設備將沿著第一方向m像素的線條轉換成沿著第一方向m'像素的線條。第二中間圖像的g平面為完整取樣，其中的每一線條為完整取樣。
第二中間圖像的r平面為子取樣顏色平面。舉例來說，其中的奇水平線條及奇垂直線條為子取樣，而其中的偶水平線條及偶垂直線條為未取樣。作為另一個範例，其中的奇水平線條及偶垂直線條為子取樣，而其中的偶水平線條及奇垂直線條為未取樣。當然，丟失像素及現有像素在子取樣r平面中可用不同於上述兩個例子的方式來設置。類似地，第二中間圖像的b平面為子取樣顏色平面。舉例來說，其中的偶水平線條及偶垂直線條為子取樣，而其中的奇水平線條及奇垂直線條為未取樣。作為另一個範例，其中的偶水平線條及奇垂直線條為子取樣，而其中的奇水平線條及偶垂直線條為未取樣。當然，丟失像素及現有像素在子取樣b平面中可用不同於上述兩個例子的方式來設置。
請參考圖3。在鑲嵌圖像調整尺寸方法的步驟160，電子設備沿著第二方向上取樣第二中間圖像，以產生第三中間圖像，其解析度可仍為m'×n。換句話說，在步驟160，電子設備在每一顏色平面沿著第二方向上取樣線條。
舉例來說，假設在第二中間圖像的r平面中，奇垂直線條為子取樣及偶垂直線條為未取樣。在步驟160，電子設備通過例如垂直插值，將子取樣奇垂直線條轉換成完整取樣線條。在此期間，r平面中的偶垂直線條保持未取樣。類似地，假設在第二中間圖像的b平面中，偶垂直線條為子取樣及奇垂直線條為未取樣。在步驟160，電子設備通過例如垂直插值，將子取樣偶垂直線條轉換成完整取樣線條。在此期間，b平面中的奇垂直線條保持未取樣。在第二中間圖像的g平面中，所有垂直線條已經為完整取樣。因此，電子設備可任g平面保持在步驟160中。換句話說，g平面可在步驟160之後保持原封不動。
接著，在鑲嵌圖像調整尺寸方法的步驟180，電子設備沿著第二方向調整第三中間圖像的尺寸，以產生已調整尺寸並部分去鑲嵌的圖像，其解析度可為m'×n'。換句話說，在步驟180，電子設備將沿著第二方向的n像素線條轉換成沿著第二方向的n'像素線條。已調整尺寸並部分去鑲嵌圖像的g平面為完整取樣，其中的每一線條(無論是水平或垂直)為完整取樣。
已調整尺寸並部分去鑲嵌圖像的r平面為子取樣顏色平面。舉例來說，其中的奇水平線條及奇垂直線條為子取樣，而其中的偶水平線條及偶垂直線條為未取樣。作為另一個範例，其中的偶水平線條及奇垂直線條為子取樣，而其中的奇水平線條及偶垂直線條為未取樣。當然，丟失像素及現有像素在子取樣r平面中可用不同於上述兩個例子的方式來設置。類似地，已調整尺寸並部分去鑲嵌圖像的b平面為子取樣顏色平面。舉例來說，其中的偶水平線條及偶垂直線條為子取樣，而其中的奇水平線條及奇垂直線條為未取樣。作為另一個範例，其中的奇水平線條及偶垂直線條為子取樣，而其中的偶水平線條及奇垂直線條為未取樣。當然，丟失像素及現有像素在子取樣b平面中可用不同於上述兩個例子的方式來設置。
上述圖像處理方法具有數個優勢，其中一些淺談如下。首先，因為已調整尺寸並部分去鑲嵌圖像(而不是鑲嵌圖像，其解析度會比已調整尺寸並部分去鑲嵌圖像的解析度高得多)在步驟900被處理，所以步驟900具有相對較低的計算需求。另外，因為在鑲嵌圖像調整尺寸方法中，僅在水平上取樣之後執行水平調整尺寸，僅在垂直上取樣之後執行垂直調整尺寸，所以已調整尺寸並部分去鑲嵌圖像會具有相對較好的品質。正因為如此，去鑲嵌並處理過的圖像也會保持相對較好的品質。舉例來說，去鑲嵌並處理過的圖像會具有較少失真(artifact)，例如混淆現象(aliasing)及假彩色(falsecolor)。
總而言之，上述圖像處理方法不僅可降低計算需求，也可確保好的圖像品質。
雖然本發明已以具體實施例揭露如上，然其僅為了易於說明本發明的技術內容，而並非將本發明狹義地限定於該實施例，任何本領域技術人員，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，因此本發明的保護範圍當視本發明的權利要求所界定者為準。