圖像拾取裝置、色噪聲降低方法和色噪聲降低程序的製作方法

2023-07-15 04:07:06

專利名稱：圖像拾取裝置、色噪聲降低方法和色噪聲降低程序的製作方法
技術領域：
本發明涉及用於降低由所謂的單板(single-panel)圖像拾取裝置所捕 捉到的圖像信號中的色噪聲(color noise)的方法和程序，單板圖像拾取 裝置包括一固態圖像傳感器件，例如電荷耦合器件(CCD)或互補型金屬 氧化物半導體(CMOS)器件。
背景技術：
所謂的單板圖像拾取裝置，例如單板數字靜態相機(still camera)和 單板數字視頻相機，包括一個諸如CCD或CMOS器件之類的固態圖像傳 感器件。CCD或CMOS器件包括濾色器，該濾色器具有按預定順序排列 的多個顏色的像素。 一般地，圖像拾取裝置對從固態圖像傳感器件輸入的 圖像信號執行多個處理以生成圖像。
例如，當固態圖像傳感器件的濾色器的顏色編碼被定義為Bayer排列 時，每個像素僅具有一種顏色的信息R (紅)、G (綠)或L (藍)。也 就是，Bayer排列包括這樣的行每個都包括在水平方向上交替出現的R 和G的行(即，RGRG...)，以及每個都包括在水平方向上交替出現的G 和B的行(即，GBGB...)。這兩種類型的行在垂直方向上交替排列，並 且G像素、B像素和R像素的個數比為2: 1: 1。
R、 G和B三原色的三個信號對於圖像的每個像素而言是必需的。因 此，每個像素缺少的顏色信息(缺少的顏色信號)通過對該像素周圍的像 素進行內插(interpolate)而被生成，並且其生成每個像素的R、 G和B顏 色的顏色信息。這樣的利用僅具有一種顏色的信息的原始圖像數據(從圖 像傳感器件獲取的原數據)來生成三個R、 G和B顏色信息項(三原色信 號)的處理，被稱作"去馬賽克(demosaic)處理(同步處理)"。
在執行了去馬賽克處理之後，每個像素的R信號、G信號和B信號被Y/C轉換為亮度(luminance)信號(Y)和色差信號(Cb/Cr)。在此之 後，從包括亮度信號(Y)和色差信號(Cb/Cr)的圖像信號生成要顯示的 圖像。可替代地，包括亮度信號(Y)和色差信號(Cb/Cr)的圖像信號被 記錄在記錄介質上。
近些年來，固態圖像傳感器件的像素大小減小了。因此，S/N比(信 噪比)降低，並且因此圖像中的噪聲越來越成問題。彩色圖像中的噪聲包 括亮度噪聲和色噪聲，亮度噪聲是亮度信號成分的噪聲，色噪聲是色差信 號成分的噪聲。通過降低色噪聲，圖像質量可以提高。
例如，對於數字靜態相機，日本未經審查的專利申請公開第2005-311455號描述了這樣的技術通過選擇適於噪聲降低處理的像素區域並且 利用所選出的周圍像素來執行噪聲降低處理，從原始圖像數據中有效去除 噪聲。
此外，日本未經審査的專利申請公開第2004-221838號描述了這樣的 技術通過利用沿邊緣延伸方向延伸的預定區域中的像素的像素值來對所 關注的像素的像素值進行內插，在去馬賽克處理中精確重構邊緣。
然而，如果色噪聲從原始圖像數據中被去除，那麼亮度信號成分受到 影響，並且因此每個顏色信號的亮度值可能會改變。因此，可能以偽色 (false color)顯示邊緣部分，並且圖像質量可能在很大程度上惡化。
因此，因為在執行了 Y (亮度)/C (顏色)轉換之後生成用於表示顏 色的色差信號，所以一般在執行了 Y/C轉換之後執行色噪聲降低處理。然 而，雖然在執行去馬賽克處理之前色噪聲具有脈衝波形，但是在執行了去 馬賽克處理之後，噪聲的特性改變了 (即，噪聲波形變為脈衝波形之外的 波形)。這是因為色噪聲信號經過了用於去馬賽克處理的內插子處理和孔 徑校正子處理的複雜濾波。如果噪聲信號的特性改變，那麼很難從畫面信 號成分中分離出噪聲信號成分。因此，很難完全去除色噪聲。

發明內容
為了解決由於色噪聲特性改變而導致的色噪聲沒有從在執行了去馬賽 克處理之後獲得的、經Y/C轉換的信號中完全去除的問題，由本發明人遞
7交的日本專利申請第2006-338233號描述了這樣的方法在執行可能改變 色噪聲的特性的去馬賽克處理之前，執行色噪聲降低處理。
在該公開所描述的方法中，為了生成色差信號，執行簡化的去馬賽克 處理。在簡化的去馬賽克處理中，沒有確定圖像的相關方向從而使得從固 態圖像傳感器件輸出的原始狀態的圖像信號(原始圖像信號)的色噪聲特 性不改變。所生成的色差信號經受噪聲降低處理。色差信號然後被再次改 變為原始狀態的圖像信號。在此之後，其中確定了圖像的相關方向的正常 去馬賽克處理被執行。
通過使用該方法，色噪聲可以在執行正常去馬賽克處理(原去馬賽克 處理)之前被去除。因此，該方法對於改善圖像質量尤為有效。然而，在 該方法中，與一般的相機信號處理情況相比，附加地執行了簡化的去馬賽 克處理和將經過了色噪聲降低處理的亮度信號和色差信號變為原始狀態的 信號的處理。
也就是，該方法對於具有足夠資源(例如，硬體的特徵、性能和容 量)的高性能圖像拾取裝置尤其有用。然而，即使在具有較少資源的圖像 拾取裝置中也適當並快速地降低色噪聲的需求在增多。
此外，在該方法中，通過在噪聲降低被執行之前添加的簡化去馬賽克 處理而生成的色差信號與在噪聲降低被執行之後提供的正常去馬賽克處理 之後所生成的色差信號不同。因此，理論上，即使當對在簡化的去馬賽克 處理被執行之後所生成的色差信號執行噪聲降低時，也不能在執行了正常 去馬賽克處理之後的色差信號(其是最終圖像的色差信號)中充分降低色 噪聲。因此，對更精確的色噪聲降低處理的需求在增長。
因此，本發明提供一種圖像拾取裝置、方法和程序，其用於快速並有 效地降低包括多個顏色的顏色信號的圖像信號中的色噪聲，而無需使用大 量資源。
根據本發明的一個實施例， 一種圖像拾取裝置包括圖像傳感器件，圖 像傳感器件包括具有按預定順序排列的多個不同顏色的像素的濾色器，其 中圖像傳感器件接收被拍體的圖像並輸出包括多個不同顏色的顏色信號的 圖像信號；以及去馬賽克處理裝置，其用於從接收自圖像傳感器件的圖像信號生成圖像每個像素的不同顏色的顏色信號。去馬賽克處理裝置包括生 成單元和噪聲降低單元。生成單元利用目標顏色信號和預定的其他顏色信 號來執行計算，以生成目標顏色信號的像素的、使目標顏色信號與預定的 其他顏色信號相關聯的顏色相關信號，該目標顏色信號表示被包括在接收 自圖像傳感器件的圖像信號中的預定的目標顏色信號，並且噪聲降低單元 對由生成單元所生成的顏色相關信號執行噪聲降低處理。
根據本實施例的圖像拾取裝置，利用去馬賽克處理裝置對包括從圖像 傳感器件輸入的多個顏色信號的圖像信號(原始圖像信號)執行去馬賽克 處理。因此，針對圖像的每個像素生成了多個顏色信號。
在去馬賽克處理裝置中，生成單元利用表示要處理的圖像信號的目標 顏色信號(例如，R (紅)信號或B (藍)信號)和預定的其他顏色信號
(例如，G (綠)信號)來執行計算以生成顏色相關信號(例如色差信號
或色比信號)。隨後，噪聲降低單元對由生成單元所生成的顏色相關信號 執行噪聲降低處理。以這種方式，利用具有經降低的色噪聲的顏色相關信 號來執行去馬賽克處理。
因此，可以對通過去馬賽克處理而生成的顏色相關信號執行噪聲降低 處理。因此，除噪聲降低單元外不需要另外的硬體，並且因此，可以快速 降低色噪聲。此外，因為可以通過去馬賽克處理來降低色噪聲，所以色噪 聲可以被最有效地降低。
如上所述，根據本實施例，可以從包括多個顏色信號的圖像信號中快 速地並最有效地降低色噪聲成分。也就是，色噪聲可以被有效地降低。


圖1是根據本發明第一實施例的圖像拾取裝置的框圖2是示出安裝在圖1所示的圖像拾取裝置中的相機信號處理單元的 示例性配置的框圖3是示出根據本發明第一實施例的去馬賽克處理單元的處理的第--示例性配置和概述的框圖4A、 4B、 4C、 4D和4E是示出從Bayer排列的原始運動圖像數據
9通過內插不僅直接生成G信號而且直接生成R信號和B信號的情況的示 圖5A、 5B、 5C、 5D、 5E、 5F和5G是示出利用色差信號從Bayer排 列的原始運動圖像數據生成R信號和B信號的情況的示圖6是包括根據第一實施例的噪聲降低處理單元的去馬賽克處理單元 的第一示例性配置的框圖7是圖6所示的噪聲降低處理單元的示例性配置的框圖8A、 8B和8C示出s濾波器的功能；
圖9A和9B示出由圖7所示的噪聲降低處理單元中的s濾波器執行的 處理；
圖10示意性示出在色差被內插之前利用s濾波器在色差信號上執行的 噪聲降低處理；
圖11示意性示出在色差被內插之後利用s濾波器在色差信號上執行的 噪聲降低處理；
圖12是示出由根據第一實施例的去馬賽克處理單元所執行的處理的
第二示例性配置和概述的框圖B是包括根據第一實施例的噪聲降低處理單元的去馬賽克處理單
元的第二示例性配置的框圖14是示出圖13所示的噪聲降低處理單元的示例性配置的框圖15A、 15B禾卩15C示出由圖14所示的噪聲降低處理單元中的s濾波
器所執行的處理；
圖16是示出噪聲降低處理單元的另一示例性配置的框圖17示出用於根據圖像信號的類型來執行Y/C轉換處理的計算表達
式；
圖18A和18B示出濾色器的顏色編碼；
圖19是示出根據第二實施例的去馬賽克處理單元的處理的第一示例 性配置和概述的框圖20是示出被置於圖19所示的位置A處的噪聲降低處理單元的示例 性配置的框圖；圖21是示出根據第二實施例的去馬賽克處理單元的處理的第二示例 性配置和概述的框圖22是示出被置於圖21所示的位置B處的噪聲降低處理單元的不例 性配置的框圖23是相機信號處理單元的另一示例的框圖24是示出根據第三實施例的去馬賽克處理單元的處理的第一示例 性配置和概述的框圖25是示出被置於圖24所示的位置A處的噪聲降低處理單元的示例 性配置的框圖26是示出根據第三實施例的去馬賽克處理單元的處理的第二示例 性配置和概述的框圖27是被置於圖26所示的位置B處的噪聲降低處理單元的示例性配 置的框圖28是示出由圖6、圖9和圖24所示的去馬賽克處理單元所執行的 去馬賽克處理的流程圖；以及
圖29是示出由圖13、圖21和圖26所示的去馬賽克處理單元所執行
的去馬賽克處理的流程圖。
具體實施例方式
以下參考附圖來描述本發明的裝置、方法和程序的各種示例性實施 例。示例性實施例可應用於各種類型的圖像處理裝置，例如併入移動電子 設備(例如，數字視頻相機、數字靜態相機和手機)中的相機模塊、圖像 讀取器和掃描器。
然而，為了簡便起見，通過參考如下的示例來進行描述，在所述示例 中，以下的示例性實施例被應用於能夠捕捉運動圖像並且記錄圖像數據的 數字視頻相機(圖像拾取裝置)。此外，以下描述的圖像拾取裝置可以記 錄伴隨著運動圖像數據的聲音。然而，在以下的實施例中，為了簡便起 見，沒有提供對聲音信號的處理系統的描述。第一示例性實施例 圖像拾取裝置的示例性配置
圖1是根據本發明第一示例性實施例的圖像拾取裝置100的框圖。如 圖l所示，圖像拾取裝置100包括圖像信號的處理系統。處理系統包括鏡
頭單元101、圖像傳感器件單元102、模擬增益控制單元103、模數 (A/D)轉換器104、檢測處理單元105、相機信號處理單元106、顯示處 理單元107和顯示單元108。圖像拾取裝置IOO還包括控制單元110、鍵 操作單元121、外部接口 (在此之後稱作"外部I/F" ) 122、外部輸入/輸 出終端123、記錄和回放處理單元124和記錄介質125。
控制單元IIO控制根據本實施例的圖像拾取裝置IOO的所有單元。控 制單元110由如下的微計算機形成，該微計算機包括經由CPU總線115而 彼此連接的中央處理單元(CPU) 111、只讀存儲器(ROM) 112、隨機存 取存儲器(RAM) 113和電可擦除且可編程的ROM (EEPROM) 114。
CPU 111讀取如下所述的存儲在ROM 112中的程序，並且執行所讀出 的程序以生成控制信號，所述控制信號被遞送到各個單元。此外，CPU 111接收從各單元發送的信號並且處理所接收到的信號。以這種方式， CPU 111執行控制。如上所述，ROM 112預存儲將由CPU 111來執行的程 序以及所述程序所使用的各種數據。
RAM 113例如被用作臨時地存儲各種處理的中間結果的工作區。 EEPROM 114是非易失性存儲器。例如，EEPROM 114存儲甚至在根據本 實施例的圖像拾取裝置100斷電之後仍被維護的各種信息。各種信息的示 例包括為新功能而附加地設置的各種設定參數和程序。
鍵操作單元121包括(但並不局限於)記錄待命鍵、記錄開始鍵、 記錄停止鍵、用於望遠功能的控制鍵、各種控制鍵以及各種功能鍵。鍵操 作單元121接收用戶輸入並且將輸入轉換為電信號，電信號被供應到控制 單元110。控制單元IIO根據通過鍵操作單元121而供應的用戶輸入來控 製圖像拾取裝置100的各個單元。以這種方式，用戶想要做出的操作可以 被適當執行。
外部I/F 122和外部輸入/輸出終端123遵照IEEE (電氣和電子工程師學會)1394標準或者USB (通用串行總線)標準。具有遵照相同標準的接 口的外部裝置(例如，個人計算機或個人視頻錄像機(PVR))可以連接 到外部I/F 122和外部輸入/輸出終端123。
記錄和回放處理單元124在控制單元110的控制下，將供應到控制單 元110的圖像數據記錄在記錄介質125上。此外，記錄和回放處理單元 124讀取記錄在記錄介質125上的圖像數據並且將其供應到顯示處理單元 107。以這種方式，圖像數據被回放。
記錄介質125用作根據本實施例的圖像拾取裝置100的主記錄介質。 例如，記錄介質125可以是內部半導體存儲器、包括半導體存儲器的可拆 卸存儲卡、高密度內部硬碟、可拆卸盤記錄介質(例如，光碟)或者可拆 卸磁帶。在根據本實施例的圖像拾取裝置100中，例如高密度內部硬碟被 用於記錄介質125。
利用預定的數據壓縮方法將圖像數據壓縮然後存儲在記錄介質125 中。根據預定的數據壓縮方法，將從記錄介質125讀取的圖像數據解壓 縮。利用壓縮/解壓縮處理單元(未示出)來執行數據壓縮和解壓縮。可替 代地，記錄和回放處理單元124可以具有這樣的對圖像數據的壓縮/解壓縮 功能。
此外，根據本實施例，圖像拾取裝置100具有記錄功能和回放功能。 記錄功能方面，通過圖像信號的處理系統的被拍體圖像輸入被顯示在顯示 單元108的顯示設備的顯示畫面上並且被捕捉。所捕捉到的圖像被轉換為 圖像信號(運動圖像信號)並且被記錄在記錄介質125上。回放功能方 面，記錄在記錄介質125上的圖像信號被讀出。所讀出的圖像信號被顯示 在顯示單元108的顯示設備的顯示畫面上，或者經由外部I/F 122和外部輸 入/輸出終端123被供應到外部裝置。
記錄功能(圖像捕捉功能)和回放功能
首先描述根據本實施例的圖像拾取裝置100的記錄功能。如圖1所 示，圖像信號的處理系統包括經由公共CPU總線115而彼此連接的鏡頭單 元101、圖像傳感器件單元102、模擬增益控制單元103、 A/D 104、檢測處理單元105、相機信號處理單元106、顯示處理單元107和顯示單元 108。
數據基本上經由公共CPU總線115在圖像信號處理系統的單元之間交 換。然而，在某些情況下，數據直接在單元之間交換而無需使用CPU總線 115。當單元被直接地彼此連接而無需使用CPU總線115並且數據在所述 單元之間傳輸時，這些單元可以被認為是一個處理單元。
一旦經由鍵操作單元121接收到捕捉運動圖像的指令，控制單元110 就控制各單元以開始對運動圖像的捕捉操作。在這樣的情況下，被拍體圖 像通過鏡頭單元101被形成在圖像傳感器件單元102的固態圖像傳感器件 的圖像形成面(image forming plane)上。被拍體圖像接著通過固態圖像傳 感器件被轉換為電信號(模擬運動圖像信號)並且被供應到模擬增益控制 單元103。被提供用於圖像傳感器件單元102的固態圖像傳感器件的示例 包括CCD傳感器或CMOS傳感器。
對供應到模擬增益控制單元103的模擬運動圖像信號進行增益控制以 使得模擬運動圖像信號的增益處於預定水平。經增益控制的模擬運動圖像 信號被供應到A/D轉換器104。供應到A/D轉換器104的模擬運動圖像信 號被轉換為數字運動圖像信號(數字原始運動圖像數據)並且被供應到檢 測處理單元105。在此使用的術語"數字原始運動圖像數據"指未經過顯 像處理(development process)的數字運動圖像數據。數字原始運動圖像 數據是從輸出自圖像傳感器件單元102的模擬運動圖像信號被轉換為數字 格式的圖像信號。
檢測處理單元105基於所接收到的原始運動圖像數據生成顯像參數的 集合(顯像參數組)Pm。顯像參數組Pm包括用於各種下遊圖像處理的參 數，例如用於曝光控制處理的參數和用於白平衡控制處理的參數。檢測處 理單元105然後將所生成的顯像參數組Pm經由控制單元110供應到相機 信號處理單元106。檢測處理單元105還將原始運動圖像數據供應到相機 信號處理單元106。
如將在下文中更詳細描述的，相機信號處理單元106執行黑電平 (black level)匹配處理、白平衡控制處理、用於生成RGB數據(三原色
14數據項)的去馬賽克處理(同步處理)、孔徑校正處理、伽馬(;k)校m
處理、用於獲得亮度信號(Y)和色差信號(C)的轉換處理(Y/C轉換處
理)以及解析度轉換處理。因此，亮度信號和色差信號(在此之後簡單稱
作"YC信號")被生成。
由相機信號處理單元106生成的YC信號被供應到顯示處理單元 107。顯示處理單元107將YC信號轉換為可供應給顯示單元108的格式的 運動圖像信號。因此，所捕捉到的被拍體的運動圖像可以被顯示在顯示單 元108的顯示設備的顯示畫面上。
同時，由相機信號處理單元106生成的YC信號例如通過壓縮/解壓縮 處理單元(未示出)被壓縮。在此之後，YC信號被供應到記錄和回放處 理單元124。記錄和回放處理單元124將所供應的圖像數據記錄在安裝於 其中的記錄介質125上以使得圖像數據能夠被讀出。
例如，顯示單元108包括諸如液晶顯示器(LCD)、有機電致發光面 板或者陰極射線管(CRT)之類的顯示設備。如上所述，顯示單元108從 顯示處理單元接收運動圖像信號，並且根據所接收到的運動圖像信號在其 顯示設備的顯示畫面上顯示運動圖像。
如上所述，根據本實施例，圖像拾取裝置IOO可以捕捉在顯示單元 108的顯示設備的顯示畫面上顯示的被拍體的運動圖像，並且將基於所捕 捉到的運動圖像的運動圖像數據記錄在記錄介質125上。如之前提到的， 當基於所捕捉到的運動圖像的運動圖像數據被記錄在記錄介質125上時， 運動圖像數據例如通過壓縮/解壓縮處理單元(未示出)被壓縮。在此之 後，運動圖像數據經由記錄和回放處理單元124被記錄在記錄介質125 上。
接下來描述根據本實施例的圖像拾取裝置100的回放功能。 一旦經由 鍵操作單元121接收到用於回放記錄在記錄介質125上的運動圖像數據的 指令，控制單元IIO就控制記錄和回放處理單元124以使得記錄和回放處 理單元124讀出所指定的運動圖像數據。記錄和回放處理單元124然後將 其供應到例如壓縮/解壓縮處理單元(未示出)。壓縮/解壓縮處理單元將 運動圖像數據解壓縮為原來未經壓縮的運動圖像數據。隨後，記錄和回放處理單元124經由控制單元110將運動圖像數據供應到顯示處理單元
107。
顯示處理單元107將經解壓縮的運動圖像數據轉換為可供應給顯示單 元108的格式。隨後，運動圖像數據被供應給顯示單元108。這樣，根據 從記錄介質125中讀取的運動圖像數據，運動圖像可以被顯示在顯示單元 108的顯示設備的顯示畫面上。
同時，經壓縮的運動圖像數據被壓縮/解壓縮處理單元(未示出)解壓 縮為在執行數據壓縮處理之前的原來的運動圖像數據。經解壓縮的運動圖 像數據被供應到經由外部I/F 122和外部輸入/輸出終端123而連接到圖像 拾取裝置100的外部設備。以這種方式，運動圖像數據可以被外部裝置使 用。
如上所述，根據本實施例，圖像拾取裝置100可以將所捕捉到的運動 圖像數據記錄在記錄介質125上或者回放運動圖像數據。以這種方式，圖 像拾取裝置100可以使用記錄在記錄介質125上的運動圖像數據。此外， 根據本實施例，圖像拾取裝置100可以利用現有的相機信號處理來最有效 地降低色噪聲，而無需增加對高負載處理(例如，專用於噪聲降低的去馬 賽克處理)的使用。
相機信號處理單元106
接下來，描述在圖1中示出的根據本實施例的圖像拾取裝置100的相 機信號處理單元106的示例性配置。圖2是示出被安裝在根據本實施例的 圖像拾取裝置100中的相機信號處理單元106的示例性配置的框圖。
如圖2所示，根據本實施例，相機信號處理單元106包括黑電平匹配 單元1061、白平衡(WB)控制單元1062、去馬賽克處理單元1063、孔徑 校正單元1064、伽馬校正單元1065、 Y/C轉換單元1066和解析度轉換單 元1067。
如上所述，從檢測處理單元105輸出的原始運動圖像數據被供應到相 機信號處理單元106的黑電平匹配單元1061。圖像拾取裝置的黑電平表示 當圖像傳感器件的成像面(imaging plane)完全被遮光時，從圖像傳感器件輸出的圖像。然而，例如，如果偏差成分從下遊電路進入圖像傳感器 件，那麼將得不到正確的黑電平。在這種情況下，圖像不能被適當地形 成。為了避免這樣的情況，黑電平匹配單元1061利用檢測處理單元105 的輸出電平來控制所接收的原始運動圖像數據的黑電平。在調節了黑電平
之後，原始圖像數據被供應到WB控制單元1062。
無論射向被拍體的光線(例如，日光或螢光)的類型如何，人眼都傾 向於將接近白色的物體識別為白色物體。然而，當利用圖像拾取裝置來捕 捉被拍體的圖像時，被拍體的色調(tint)隨在圖像捕捉時射向被拍體的光 線類型而不同。因此，WB控制單元1062基於從檢測處理單元105輸出的 參數來控制整個圖像的顏色平衡(更具體地，R (紅)和B (藍)之間的 平衡)，以使得接近白色的物體被呈現為白色物體。具有經控制的白平衡 的原始運動圖像數據被供應到去馬賽克處理單元1063。
根據圖像傳感器件的濾色器，通過使用來自圖像傳感器件的不同像素 的不同顏色信號，生成原始運動圖像數據。去馬賽克處理單元1063生成 構成圖像的每個像素的所有顏色的顏色信號。在本實施例中，去馬賽克處 理單元1063生成每個像素的三原色信號R、 G和B。
根據本實施例，去馬賽克處理單元1063在去馬賽克處理期間執行色 噪聲降低處理。如上所述，去馬賽克處理單元1063可以利用現有的相機 信號處理來最有效地降低色噪聲，而無需增加對高負載處理(例如專用於 噪聲降低的去馬賽克處理)的使用。由去馬賽克處理單元1063生成的三 原色信號G、 R和B (三原色數據項)被供應到孔徑校正單元1064。噪聲 降低處理將在下文中給出更詳細的描述。
孔徑校正單元1064對所接收到的三原色數據項執行邊緣增強處理以 銳化圖像。因此，圖像變為清楚的圖像。在根據本實施例的圖像拾取裝置 100中，可以根據從控制單元110接收的控制信號來控制邊緣增強的水 平。控制信號根據例如通過鍵操作單元121輸入的用戶指令而被生成。圖 像可以被改變為清晰圖像(sharp image)或柔和圖像(Softimage)。從孔 徑校正單元1064輸出的三原色數據項被供應給伽馬校正單元1065。
伽馬校正單元1065控制所接收的三原色數據項與實際輸出的三原色數據項之間的相對關係。即，伽馬(;k)值表示電壓等效值的變化與圖像
亮度的變化的比值。理想地，伽馬值接近"l"。然而，由於所使用設備
的特性，值可能從"1"發生變化。因此，伽馬校正單元1065校正所接收
到的運動圖像數據的伽馬值的誤差以使得伽馬值接近"1"。經過伽馬校
正單元1065處理的運動圖像數據(三原色數據項)被供應到Y/C轉換單 元1066。
Y/C轉換單元1066利用預定的計算表達式將所接收到的運動圖像數據 (三原色數據項)轉換為亮度信號(Y)和色差信號(Cb和Cr)。在此之 後，Y/C轉換單元1066將包括亮度信號(Y)和色差信號(Cb和Cr)的 YC信號供應到解析度轉換單元1067。
解析度轉換單元1067對用所接收的YC數據表示的圖像執行縮放操作 (scaling operation)。也就是，解析度轉換單元1067對所接收的YC數據 執行間隔剔除(thin-out)處理或者內插處理以生成具有預定解析度的YC 數據。解析度轉換單元1067然後輸出YC數據。與從解析度轉換單元 1067輸出的YC數據相對應的圖像經由在圖1中示出的顯示處理單元107 被顯示在顯示單元108上。此外，在YC數據被壓縮之後，YC數據經由記 錄和回放處理單元124被記錄在記錄介質125上。
如上所述，在相機信號處理單元106中，對由圖像傳感器件單元102 捕捉到的被拍體的原始運動圖像數據執行了上述的各種處理。最後，具有 適於顯示操作或記錄操作的解析度的YC數據被生成並輸出。此外，根據 本實施例，相機信號處理單元106的去馬賽克處理單元1063執行色噪聲 降低處理，這將在下文中更詳細地給出描述。
去馬賽克處理單元1063的處理的第一示例性配置和概述(Bayer排列)
圖3是示出在圖2中示出的根據本實施例的相機信號處理單元106的 去馬賽克處理單元1063的處理的第一示例性配置和概述的框圖。如圖3 所示，去馬賽克處理單元1063包括G (綠)信號內插單元631 (在圖3中 被指示為"G內插單元")、色差生成單元632、色差內插單元633和G (綠)信號回加(add-back)單元634 (在圖3中被指示為"G回加單
18元")。
在該實施例中，通過參考包括具有Bayer排列的顏色編碼的濾色器的 固態圖像傳感器件來進行描述。因此，根據Bayer排列形成的原始運動圖 像數據被供應到去馬賽克處理單元1063。如在圖3中示出的樣式(1)所 指示的，Bayer排列包括這樣的行每個都包括在水平方向上排列的像素 的交替出現的R和G (即，RGRG…)，以及每個都包括在水平方向上排 列的像素的交替出現的G和B (即，GBRB...)。這兩種類型的行在垂直 方向上交替排列。更具體地，具有在圖3中示出的樣式(1)的原始運動 圖像數據基於逐個畫面(基於逐個幀)被輸入到去馬賽克處理單元1063。 畫面的每個像素具有三種顏色R (紅)、G (綠)和B (藍)之一的顏色 信號(顏色數據)。原始運動圖像數據然後被供應到G內插單元631和色 差生成單元632。
如在圖3中示出的樣式(1)所指示的，在Bayer排列中，G信號以方 格圖案(checkered pattern)呈現。G內插單元631通過對不具有G信號的 每個像素周圍的像素的G信號進行內插並且使G信號相關聯，來生成不具 有G信號的每個像素的G信號。以這種方式，如在圖3中示出的樣式 (2)所指示的，圖像的所有像素的G信號被生成並且從G內插單元631 輸出。
在R信號和B信號方面，色差生成單元632生成R信號的像素的色差 信號(R—G)信號，並且生成B信號的像素的色差信號(B — G)信號。 以這種方式，如在圖3中示出的樣式(3)所指示的，對於R信號的像 素，從色差生成單元632中輸出所生成的(R—G)信號，並且對於B信 號的像素，從色差生成單元632中輸出所生成的(B —G)信號。
從色差生成單元632輸出的(R—G)信號和(B —G)信號被供應到 色差內插單元633。如在圖3中示出的樣式(4A)和(4B)所指示的，色 差生成單元632分別對不具有色差信號(R—G)和(B — G)的像素的色 差信號(R—G)禾B (B—G)進行內插。
以這種方式，如在圖3中示出的樣式(4A)和(4B)所指示的，圖像 所有像素的(R—G)信號和(B — G)信號從色差內插單元633被輸出。隨後，從色差內插單元633輸出的(R—G)信號和(B — G)信號被供應 到G回加單元634。
G回加單元634將從G內插單元631輸出的G信號加到從色差內插單 元633輸出的所有像素的色差信號((R—G)信號和(B —G)信號)。 因此，生成了所有像素的每個的R信號和B信號。因此，如在圖3中示出 的樣式(5A)和(5B)所指示的，所有像素的每個的R信號和B信號從 G回加單元634被輸出。
這樣，從去馬賽克處理單元1063中輸出了所有像素的從G內插單元 631輸出的G信號，以及所有像素的從G回加單元634輸出的R和B信 號。也就是，輸出了圖像的所有像素的每個像素的三原色信號R、 G和 B。這樣的去馬賽克處理基於逐個幀被執行，從而使得原始運動圖像數據 被轉換為RGB運動圖像數據。
可以將能夠生成期望信號的任何方法用於由G內插單元631執行的內 插處理、由色差生成單元632執行的色差生成處理以及由色差內插單元 633執行的內插處理。也就是，為了生成期望信號，可以使用多個範圍內 的周圍像素和多種類型的計算邏輯。
此外，如上所述，根據本實施例，去馬賽克處理單元1063並不直接 生成R信號和B信號。去馬賽克處理單元1063利用色差信號來生成R信 號和B信號。這是因為，通過考慮G信號，圖像的顏色可以被更精確地再 現。也就是，偽色不會被再現。通過參考圖4和圖5來描述使用色差信號 的優點。
首先，通過參考如下的情況來進行描述，其中通過使用周圍像素的顏 色信號的直接內插，分別針對不具有G信號、不具有R信號和不具有B 信號的像素，從Bayer排列的原始數據中生成G信號、R信號和B信號。
圖4A到圖4E是示出如下的情況的示圖，其中不僅G信號，而且R 信號和B信號都通過內插從一個幀的原始運動圖像數據中被生成。原始運 動圖像數據從具有Bayer排列的濾色器的固態圖像傳感器件中被輸出。在 該示例中，對形成消色差的(achromatic)彩色圖像(具有黑和白垂直條 紋圖案)的原始運動圖像數據進行處理。如圖4A所示，通過參考具有Bayer排列的原始數據和消色差的顏色 (黑和白垂直條紋圖案)來給出以下描述。如圖4B所示，由原始數據形 成的圖像包括交替排列的白垂直行(列)和黑垂直行(列)。也就是，假 設R顏色信號、G顏色信號和B顏色信號的每個的值的範圍為O—IOO。 那麼，由具有值100的R顏色信號、具有值100的G顏色信號和具有值 100的B顏色信號形成的垂直行是白色行。相反，由具有值0的R顏色信 號、具有值0的G顏色信號和具有值0的B顏色信號形成的垂直行是黑色 行。
通過去馬賽克處理，從這樣的原始圖像數據生成圖像所有像素的每個 像素的R、 G和B信號。從圖4A中可見，因為G信號一直存在於每條垂 直行(列)中，所以通過使用存在於每條垂直行中的G信號，可以適當地 生成這樣的G信號其在白色行部分中具有值100並且在黑色行部分中具 有值0，如圖4C所示。
在該示例中，R信號和B信號也直接通過內插生成，而沒有使用色差 信號。從圖4A中可見，R信號和B信號僅出現在隔行的垂直行中。
因此，在原始數據包括如圖4A所示的顏色信號的情況下，如果通過 對存在於相鄰像素中的R信號進行內插來針對不具有R信號的像素生成R 信號，那麼針對垂直行中不具有R信號的像素不期望地生成了具有值100 的R信號，如圖4D所示。
此外，在原始數據包括如圖4A所示的顏色信號的情況下，如果通過 對存在於相鄰像素中的B信號進行內插來針對不具有B信號的像素生成B 信號，那麼不期望地生成了具有值0的B信號，如圖4E所示。也就是， 通過針對應當生成具有值100的B信號的像素進行內插，不期望地生成具 有值0的B信號。
在這樣的情況下，對於白色行部分並沒有生成正確的B信號。因此， 白色沒有被呈現為原來的白色。此外，因為針對黑行部分生成了具有值 100的R信號，所以黑色沒有被精確地呈現為原來的黑色。因此，當不具 有R信號或B信號的像素的R信號或B信號通過對周圍像素的R信號或 B信號進行內插而被直接生成時，圖像的顏色可能不會被正確地呈現。在此之後，通過參考如下的情況來進行描述，其中直接使用周圍像素
的G信號，從Bayer排列的原始數據生成不具有G信號的像素的G信號， 然而，通過生成色差信號之後對色差信號進行內插來分別生成不具有R信 號和不具有B信號的像素的R信號和B信號。
圖5A到圖5G是示出如下的情況的示圖，其中通過對原始運動圖像數 據的一個幀中的周圍像素的G信號進行內插來直接生成不具有G信號的像 素的G信號，然而通過對色差信號進行內插來分別生成不具有R信號和不 具有B信號的像素的R信號和B信號。原始運動圖像數據從具有Bayer排 列的濾色器的固態圖像傳感器件中被輸入。與在圖4A到圖4E中示出的情 況類似，在圖5A到5G中示出的示例中，對形成消色差的彩色圖像(具有 黑和白垂直條紋圖案)的原始運動圖像數據進行處理。
當利用色差信號來生成R信號和B信號時，色差信號(R—G)被用 於R信號，並且色差信號(B—G)被用於B信號。然而，類似的處理被 執行以生成兩種信號的每一個。因此，為了簡便起見，以下僅描述利用 (R—G)信號對R信號的生成。
與在圖4A和圖4B中所描述的情況相同的，如圖5A所示，對Bayer 排列的原始數據和消色差的顏色(黑和白垂直條紋圖案)進行處理。如圖 5B所示，由原始數據形成的圖像包括交替排列的白垂直行(列)和黑垂直 行(列)。
也就是，與在圖4B中所描述的情況一樣，在圖5B的情況下，假設Il 顏色信號、G顏色信號和B顏色信號的每個的值的範圍為0 — 100。那麼， 由具有值100的R顏色信號、具有值100的G顏色信號和具有值100的B 顏色信號形成的垂直行是白色行。相反，由具有值O的R顏色信號、具有 值0的G顏色信號和具有值0的B顏色信號形成的垂直行是黑色行。
通過去馬賽克處理，從這樣的原始圖像數據生成圖像所有像素的每個 像素的R、 G和B信號。從圖5A中可見，因為G信號一直存在於每條垂 直行(列)中，所以使用存在於每條垂直行中的G信號，可以適當地生成 這樣的G信號其在白色行部分中具有值100並且在黑色行部分中具有值 0，如圖5C所示。如圖5D所示，基於出現在相隔一個的垂直行上的R信號(如圖5A 所示)來識別實際的R信號。在圖5D中，由符號"x"表示的部分(像 素)是R信號不存在的部分。如圖5E所示，從如圖5D所示的所識別的R 信號和如圖5C所示的通過內插而適當生成的G信號來生成色差信號(II _G)。
在圖5E中，用符號"x"指示的部分(像素)是因為R信號不存在而 因此沒有直接生成(R—G)信號的部分。因此，如圖5F所示，利用如圖 5E所示的適當生成的(R—G)信號，通過對沒有直接生成(R—G)信號 的、用符號"x"表示的部分(像素)進行內插，來生成(R—G)信號。 在這樣的情況下，如圖5E所示，因為利用實際的R信號和G信號來生成 (R—G)信號，所以在圖5F中示出的通過內插這些(R—G)信號而生成 的(R—G)信號可以被適當地生成。
最後，如圖5C所示的所生成的G信號被加回到如圖5F所示的所生成 的(R—G)信號。因此，如圖5G所示，對於白色行部分具有值100並且 對於黑色行部分具有值0的R信號可以被適當地生成。
如在圖4A到圖4E中所描述的，當不僅G信號而且R信號和B信號 都通過內插而從Bayer排列的原始數據直接生成時，可以針對圖像的每個 像素快速生成R信號和B信號。然而，得不到精確的圖像顏色再現。不同 地，如在圖5A到5G中所描述的，當利用色差信號通過內插從Bayer排列 的原始數據生成R信號和B信號時，雖然處理時間略微增加，但是非常精 確的顏色再現可以被獲得。
因此，根據本實施例，如在圖3中所描述的，當從原始運動圖像數據 生成圖像的每個像素的三原色R、 G和B的信號時，圖像拾取裝置100的 去馬賽克處理單元1063利用色差信號來生成R信號和B信號。
此外，根據本實施例，圖像拾取裝置100的去馬賽克處理單元1063 在具有Bayer排列的原始運動圖像數據被轉換為G信號和色差信號(R— G)和(B — G)之後，去除了色噪聲成分。因此，在去馬賽克處理期間能 夠有效的降低色噪聲。
23去馬賽克處理單元1063的示例性配置
圖6是包括根據本實施例的噪聲降低處理單元635的去馬賽克處理單 元1063的第一示例性配置的框圖。與在圖3中示出的去馬賽克處理單兀 1063的配置類似，在該示例中，去馬賽克處理單元1063包括G內插單元 631、色差生成單元632、色差內插單元633和G回加單元634。如在圖3 中所描述的，利用周圍像素的G信號來直接生成G信號。此外，利用色差 信號來生成R信號和B信號。因此，針對圖像的每個像素生成了三原色 R、 G和B的信號。
如圖所示，根據本實施例，圖像拾取裝置100的去馬賽克處理單元 1063包括緊接著G內插單元631和色差生成單元632的下遊的噪聲降低處 理單元635。因此，去馬賽克處理單元1063可以從要處理的圖像數據(在 該示例中，緊接在內插被執行之後而生成的G信號和緊接在G信號被生成 之後而生成的色差信號(R—G)和(B — G))中降低色噪聲成分。
以這種方式，當緊接著G內插單元631和色差生成單元632的下遊來 設置噪聲降低處理單元635時，色噪聲能夠被有效地降低。這是因為用於 去馬賽克處理中的內插處理的複雜濾波器並沒有被應用到緊接在色差信號 (R —G)和(B —G)被生成之後的時刻的色差信號中所包含的色噪聲 上。
噪聲降低處理單元635的示例性配置
圖7是在圖6中示出的噪聲降低處理單元635的示例性配置的框圖。 如圖7所示，噪聲降低處理單元635包括降低被混合到G信號中的噪聲的 G噪聲降低處理單元6351和降低被混合到色差信號中的噪聲的色差噪聲降 低處理單元6352。
這樣，通過G噪聲降低處理單元6351從G信號中降低噪聲，並且通 過色差噪聲降低處理單元6352從色差信號(R—G)禾n (B —G)中降低噪 聲。G噪聲降低處理單元6351和色差噪聲降低處理單元6352可以採用各 種噪聲降低方法。在本實施例中，採用厄普西隆(￡ )濾波器(在此之後 稱作"s濾波器")。S濾波器
首先，簡要描述f濾波器。圖8A到圖8C是示出f濾波器的示圖。c 濾波器是非線性濾波器的一種。s濾波器可以在保持畫面邊緣的同時降低 噪聲。s濾波器使用大多數噪聲信號是高頻信號並且具有較小振幅的噪聲 信號特性。
艮口， 一般地，在圖像數據中包含的噪聲信號是具有較小振幅的高頻信 號，而畫面邊緣部分的信號具有較大振幅。因此，針對圖像的預定區域， s濾波器計算所關注的像素和與該所關注的像素鄰近的像素之間的電平 差。s濾波器然後將該電平差與預定閾值進行比較以判斷是否存在噪聲。 通過根據濾波係數來執行計算，f濾波器可以平滑噪聲。
如圖8A所示，接下來通過參考3X3的像素區域和位於該區域中心的 所關注的像素T來描述具體示例。在圖8B中，橫坐標表示在如8A圖所示 的像素區域中的像素位置(像素編號)。在圖8B中繪出如圖8A所示的像 素區域中的每個像素與所關注的像素T之間的電平的差(電平差)。應注 意，因為所關注的像素T是一個基準，所以所關注的像素T的信號電平被 繪製以代替差分。
在此之後，如圖8B所示，用指示閾值的兩條虛線來表示垂直方向上 的閾值寬度。閾值寬度小於圖像中畫面的振幅。對於具有位於由閾值寬度 所指示的區域之外的、相對於所關注的像素T的信號電平的信號電平差的 像素，判斷該差因畫面所致。因此，該像素不被用於平滑所關注的像素 T。然而，對於具有位於由閾值寬度所指示的區域之內的、相對於所關注 的像素T的信號電平的信號電平差的像素，判斷該差因噪聲所致。因此， 該像素被用於平滑所關注的像素T。
艮卩，在圖8B所示出的示例中，2號像素和所關注的像素T之間的電 平差以及7號像素和所關注的像素T之間的電平差位於由閾值寬度所確定 的區域之外。因此，2號像素和7號像素不被用於用以進行平滑的平均化 處理中(即，被從相加像素中去除)。
而1號、3號、4號、5號、6號和8號像素的每一個和所關注的像素T之間的電平差位於由閾值寬度所確定的區域之內。因此，1號、3號、4
號、5號、6號和8號像素被用於用以進行平滑的平均化處理中(即，被包
括在相加像素中)。
因此，如圖8B所示，具有位於預定閾值內的、相對於所關注的像素 T的電平差的1號、3號、4號、5號、6號和8號的像素被包括在用以進 行平滑的平均處理的相加像素中。這樣，用通過平均化周圍像素的電平而 獲得的電平來替代所關注的像素T的電平。針對每個像素執行該操作。這 樣，所有的像素都被平滑。以這種方式，噪聲成分從每個像素中被去除並 且被平滑。因此，沒有噪聲成分的平滑圖像可以被形成(再現)，而不會 對由圖像信號所形成的圖像中的畫面有負作用。
如在圖8B中所描述的，在s濾波器的情況下，基於預定閾值來判斷 像素是否是用以進行平滑的平均化處理的加法對象。因此，具有大於預定 值的電平的邊緣可以被保持。也就是，對於具有大幅改變的電平的邊緣的 圖像，如果(如圖8C中的實線所示)閾值根據噪聲電平而被確定，那麼 位於閾值區域之外的信號不會變為加法對象。因此，在保持圖像中的邊緣 的同時，可以僅降低每個像素(由圖8C中的黑圓圈指示)的噪聲成分。
在f濾波器中，被用於用以對所關注的像素的電平進行平滑的平均化 處理的像素的信號電平可以被加權。例如，隨著周圍像素和所關注的像素 之間的距離減小，用於該像素的加權可以被增大。
由G噪聲降低處理單元6351執行的處理的概述
接下來描述在圖7中示出的G噪聲降低處理單元6351。 G噪聲降低處 理單元6351順序地接收從通過由G內插單元631所執行的內插而生成的 圖像的每個像素提供的G信號(參見在圖7中示出的樣式(1))。在此 之後，在G噪聲降低處理單元6351中，利用s濾波器來從G信號中去除 噪聲成分，然後具有經降低的噪聲的G信號被輸出(參見在圖7中示出樣 式(2))。
為了在G噪聲降低處理單元6351中降低噪聲，可以採用另一種方 法。例如，通過使用一對低通濾波器(LPF)和減法電路或者一對高通濾波器(HPF)和減法電路，G信號的帶寬可以被分為高頻側(高頻成分)
和低頻側(低頻成分)。對高頻側執行核化(coring)處理和限制處理， 並且將f濾波器應用於低頻側。以這種方式，可以對高頻側和低頻側執行 不同的噪聲降低處理。
通過使用這種方法，即使當畫面成分電平接近由於低亮度而導致的噪 聲成分電平，也可以在保持由經處理的圖像信號所形成的畫面的特徵的同 時，執行噪聲抑制(噪聲降低)而不會使產生孤立點。該方法(用於對高 頻側以及對低頻側執行不同的噪聲降低處理的方法)在由本發明人遞交的 日本未經審查的專利申請公開第2007-262875號中被詳細描述。
應注意，G信號具有強的亮度成分並且具有少量的色噪聲成分。因 此，取代在去馬賽克處理單元1063中執行噪聲降低處理，可以在執行去 馬賽克處理之前執行對G信號的噪聲降低處理。可替代地，可以對經過了 由圖2所示的Y/C轉換單元1066所執行的Y/C轉換的Y信號(亮度信 號)執行噪聲降低處理。即，不一定提供圖7所示的G噪聲降低處理單元 6351用於噪聲降低處理單元635。為了有效地降低在圖像信號中所包含的 色噪聲，僅色差噪聲降低處理單元6352的存在就能滿足需要，在下文中 將詳細描述色差噪聲降低處理單元6352。
由色差噪聲降低處理單元6352執行的處理概述
接下來描述在圖7中示出的色差噪聲降低處理單元6352。由色差生成 單元632生成的色差信號(參見圖7中的樣式(3))被供應到色差噪聲 降低處理單元6352。也就是，如圖7中的樣式(3)所示，在色差生成單 元632中，針對具有R信號的像素生成了 (R—G)信號，並且針對具有B 信號的像素生成了 (B — G)信號。這些所生成的信號被供應到噪聲降低處 理單元635的色差噪聲降低處理單元6352。在此之後，在色差噪聲降低處 理單元6352中，s濾波器被應用於相同顏色從而使得在(R—G)信號和 (B —G)信號中所包含的噪聲成分(色噪聲成分)被去除。
然而，如果僅基於色差信號(R—G)和(B —G)來應用^濾波器， 那麼顏色蔓延(color bleed)可能出現在畫面的邊緣部分中或者顏色可能在高頻部分中缺失。也就是，例如，當橙色部分和接近該橙色部分的淺綠 色部分被包含在一幀圖像中(即，形成了邊緣)，那麼可能出現顏色蔓延 和顏色缺失。這是因為，如果僅使用如圖7中的樣式(3)所示的(R —
G)信號和(B —G)信號，那麼在兩種不同顏色彼此鄰近的部分(邊緣部
分)中，不適宜的像素(另一顏色區域中的像素)可能被選擇作為平滑處 理的加法計算的對象。
因此，在色差噪聲降低處理單元6352中，當使用f濾波器時，判斷所 關注的像素和周圍像素之間的電平差是否在噪聲閾值範圍之內。此外，對 於色差信號(R—G)和(B — G)，從其獲得色差信號的周圍像素和所關 注的像素之間的G信號的電平差被獲得。如果G信號的電平差落入噪聲閾 值範圍之內，那麼該周圍像素變為色差信號的平均化處理的對象。
圖9A和圖9B示出由f濾波器對色差信號執行的處理。在圖7所示的 色差噪聲降低處理單元6352中，如圖9A所示，只有從色差生成單元632 輸出的色差信號(R—G)和(B — G)可以被處理。然而，為了解決出現 在邊緣部分處的上述顏色蔓延或顏色缺失問題，如圖9B所示，所關注的 像素和周圍像素之間的G信號的電平差關於色差信號被獲得。在此之後， 判斷所關注的像素和周圍像素之間的G信號的電平差是否落入預定閾值範 圍之內。因此，判斷了周圍信號是否被用於平均化處理。
因此，如圖7中的虛線箭頭所指示的，從G內插單元631輸出的G信 號還被供應到色差噪聲降低處理單元6352。當所關注的像素和周圍像素之 間的色差信號(R—G)和(B — G)的每一個的電平差都落入噪聲閾值範 圍之內並且所關注的像素和周圍像素之間的G信號的電平差落入噪聲閾值 範圍之內時，周圍像素的色差信號被用於對所關注的像素的色差信號進行 平均化。
不同地，即使當所關注的像素和周圍像素之間的色差信號(R—G)和 (B —G)的每一個的電平差都落入噪聲閾值範圍之內，如果所關注的像素 和周圍像素之間的G信號的電平差在噪聲閾值範圍之外，那麼周圍像素的 色差信號也不會被用於對所關注的像素的色差信號進行平均化。
如上所述，當利用s濾波器來從色差信號中去除色噪聲成分時，色噪聲可以被精確地去除，因此，通過考慮G信號，圖像的顏色可以被正確地 再現。
應注意，即使當僅利用色差信號(R — G)和(B — G)來降低色噪聲 而不考慮G信號時，色噪聲也被充分去除。因此，可以僅針對尤其關注高 圖像質量的產品考慮G信號。
此外，色差噪聲降低處理單元6352可以允許用戶選擇是否使用G信 號。在這樣的情況下，鍵操作單元121接收是否使用G信號的選擇。根據 該選擇，控制單元110可以控制由在相機信號處理單元106中的去馬賽克 處理單元1063的噪聲降低處理單元635所執行的處理。
不同顏色噪聲電平是不同的。因此，不同的值被用作(R—G)信號、 (B — G)信號和G信號的噪聲閾值。噪聲電平與諸如WB控制單元1062 的增益之類的前段(front stage)增益成比例。因此，期望根據前段增益來 控制噪聲闞值。此外，可以針對(R—G)信號、(B — G)信號和G信號 的每個在ROM 112中預存儲多個值，並且用戶可以利用鍵操作單元121 來選擇這些值之一。此外，用戶可以利用鍵操作單元121來針對(R—G) 信號、(B — G)信號和G信號的每個設定或改變噪聲閾值。
噪聲降低處理單元635的位置的重要性
如在圖6中所描述的，在本實施例中，緊接著G內插單元631和色差 生成單元632的下遊放置噪聲降低處理單元635。這是因為，如上所述， 由於該位置是緊接在色差信號(R—G)和(B —G)被生成之後可以使用 這些信號的位置，故用於去馬賽克處理的內插的複雜濾波器沒有被應用於 被混合到色差信號中的色噪聲。因此，色噪聲被有效地降低。接下來通過 參考圖10和圖11來更詳細地描述該理由。
圖10示意性地示出在色差被內插之前利用^濾波器對色差信號所執行 的噪聲降低處理。也就是，圖10示出為了從色差信號中去除色噪聲成 分，由被設置在圖6所示的位置處的噪聲降低處理單元635所執行的示例 性處理。在該信號中，噪聲被混合到其中畫面沒有改變的圖像的平坦部分 中。
29在圖10中，寫在頂部的字母"R" 、 "G" 、 "R" 、 "G"和"R" 表示具有R信號的像素及其位置和具有G信號的像素及其位置。因此，針 對具有R信號的像素生成了 (R—G)信號。此外，如上所述，當利用c濾 波器來去除色噪聲時，所關注的像素T用作基準。如果具有相同顏色的色 差信號的周圍像素和所關注的像素T之間的電平差落入預定閾值範圍之 內，那麼周圍像素被用於對所關注的像素T的電平進行平均化。
因此，如圖10所示，當所關注的像素T的信號電平被用作基準時， 具有(R—G)信號和所關注的像素T和周圍像素之間的、落入預定閾值 範圍之內的電平差的素Rl和像素R2被用於對所關注的像素T的電平進 行平均化。因此，當利用這些像素Rl和R2對所關注的像素T進行平滑 時，位於相對高的信號電平h的所關注的像素T在執行了噪聲降低之後被 移至所關注的像素Tl。因此，在所關注的像素T中所包括的色噪聲成分 可以被有效地降低。
不同地，圖11示意性地示出在色差被內插之後利用s濾波器對色差信 號所執行的噪聲降低處理。也就是，圖11示意性地示出為了從色差信號 中去除色噪聲成分而在圖3和圖6所示的色差內插單元633的下遊位置處 執行的示例性處理。
在圖11中，寫在頂部的字母"R" 、 "G" 、 "R" 、 "G"和"R" 表示具有R信號的像素及其位置和具有G信號的像素及其位置。因此，針 對具有R信號的像素生成了 (R — G)信號。此外，如在圖3中所描述 的，在色差內插單元633中，也基於相同顏色的色差信號，針對具有G信 號的像素生成色差信號(R—G)。
因此，在圖11中，如像素Hl和H2所示出的，在執行色噪聲降低處 理之前，也針對具有G信號的像素，通過內插而生成了色差信號(R — G)。隨後，如果利用f濾波器來執行噪聲降低處理，那麼每個都具有己 經經過內插的信號的像素Hl和H2相對於所關注的像素T的電平的電平 差落入了閾值範圍內。因此，如果利用s濾波器和這些像素來執行噪聲降 低處理，那麼因為使用已經經過內插處理的像素Hl和H2，所以如圖11 中的在執行了噪聲降低處理之後的所關注的像素Tl所示出的，很難降低大量的噪聲成分。
從圖10和圖11的比較中可以看出，由執行了噪聲降低處理(平滑處 理)之後的所關注的像素Tl、用於對所關注的像素T進行平滑的周圍像 素和圖10中的橫坐標所圍起的區域比圖11中的相應區域更小。該區域表 示殘留的噪聲成分的近似量。因此，該比較顯示當在執行色差內插之前對 色差信號執行使用S濾波器的噪聲降低處理時，能夠降低色噪聲成分的更 大的量。
雖然通過參考色差信號(R—G)給出了上述描述，但是對於色差信號 (B — G)，可以獲得相同的結果。
因此，根據本實施例，如圖6所示，圖像拾取裝置100包括緊接著色 差生成單元632的下遊的噪聲降低處理單元635。
去馬賽克處理單元1063的處理的第二示例性配置和概述(Bayer排列)
圖12是示出由圖2中示出的相機信號處理單元106的去馬賽克處理單 元1063所執行的處理的第二示例性配置和概述的框圖。如圖12所示，除 了去馬賽克處理單元1063包括第一色差內插單元636和第二色差內插單 元637之外，去馬賽克處理單元1063具有與圖3所示的去馬賽克處理單元 1063的配置類似的配置。
因此，為了簡便起見，使用以上描述圖3中的第一去馬賽克處理單元 1063時所使用的相同編號來描述圖12中示出的第二去馬賽克處理單元， 並且因此，不再重複對它們的詳細描述。此外，與圖3所示的去馬賽克處 理單元1063類似的，圖像傳感器件單元102的固態圖像傳感器件的濾色 器的顏色編碼是Bayer排列。
在圖12所示的去馬賽克處理單元1063中，圖3所示的去馬賽克處理 單元1063的色差內插單元633的功能被一分為二。也就是，由第一色差 內插單元636和第二色差內插單元637來實現色差內插功能。如圖12中的 樣式(3)所示出的，色差生成單元632生成並輸出具有R信號的像素的 (R—G)信號以及具有B信號的像素的(B—G)信號。
由色差生成單元632生成的色差信號(R—G)和(B — G)被供應到第一色差內插單元636。如圖12中的樣式(4A)禾n (4B)所示出的，通 過利用周圍的(B —G)信號對甚至是針對其生成了 (R—G)信號的像素 進行內插，來生成(B — G)信號。此外，通過利用周圍的(R—G)信號 對甚至是針對其生成了 (B —G)信號的像素進行內插，來生成(R—G) 信號。
隨後，第二色差內插單元637從具有色差信號(即，通過第一色差內 插單元636的內插而生成的色差信號(參見圖12中的樣式(4A)和 (4B)))的周圍像素，對不具有色差信號的像素的色差信號(R—G) (參見圖12中的樣式(5A))和色差信號(B — G)(參見圖12中的樣 式(5B))進行內插。由G回加單元634執行的後續處理與在圖3中所描 述的相同。
在具有色差內插單元被分為第一色差內插單元636和第二色差內插單 元637的配置的去馬賽克處理單元1063中，噪聲降低處理單元被置於第 一色差內插單元636和第二色差內插單元637之間。
去馬賽克處理單元1063的示例性配置
圖13是圖12中所描述的並且包括噪聲降低處理單元638的配置的去 馬賽克處理單元1063的框圖。如圖13所示，在該示例中，去馬賽克處理 單元1063包括在第一色差內插單元636和第二色差內插單元637之間的噪 聲降低處理單元638。
如圖13所示，沒有在G內插單元631的下遊設置任何電路塊。因 此，在圖13所示的去馬賽克處理單元1063中執行的對G信號的處理類似 於在圖6所示的去馬賽克處理單元1063中所執行的處理。然而，對在樣 式(4A)和(4B)中示出的色差信號執行色差信號噪聲降低處理，所述色 差信號是經過中間內插的色差信號。
與在圖6所示的噪聲降低處理單元635中所執行的處理相比，在圖13 所示的噪聲降低處理單元638中，對略微經過了內插處理中的複雜濾波的 色差信號(R—G)和(B — G)執行噪聲降低處理。然而，與在圖6所示 的噪聲降低處理單元635中所執行的處理相比，由於兩個色差信號(R—G)和(B — G)存在於相同的像素位置上，所以色噪聲能夠被有效地降低 而不會使畫面的邊緣劣化。
噪聲降低處理單元638的示例性配置
圖14是示出圖13所示的去馬賽克處理單元1063的噪聲降低處理單元 638的示例性配置的框圖。與圖7所示的噪聲降低處理單元635類似的， 噪聲降低處理單元638包括G噪聲降低處理單元6381和色差噪聲降低處 理單元6382。
由G噪聲降低處理單元6381執行的處理概述
G噪聲降低處理單元6381處理G信號，該G信號的形式與圖7所示 的G噪聲降低處理單元6351中的相同。因此，執行與圖7所示的G噪聲 降低處理單元6351的處理類似的處理。也就是，G噪聲降低處理單元 6381利用s濾波器來對G信號執行噪聲降低處理。可替代地，G噪聲降低 處理單元6381將G信號分為高頻側(高頻成分)和低頻側(低頻成 分)。G噪聲降低處理單元6381然後對高頻成分執行核化處理和限制處 理，並且利用f濾波器來對低頻成分執行處理。因此，G噪聲降低處理單 元6381對高頻側和低頻側執行不同的噪聲降低處理。
由色差噪聲降低處理單元6382執行的處理概述
與圖7所示的噪聲降低處理單元635的色差噪聲降低處理單元6352類 似的，色差噪聲降低處理單元6382利用色差信號來執行色噪聲降低處 理。然而，如下所述，該處理與由色差噪聲降低處理單元6352所執行的 處理略微不同。
也就是，在圖14所示的噪聲降低處理單元638的色差噪聲降低處理 單元6382中，當降低(R—G)信號的噪聲時，除了判斷所關注的像素T 和周圍像素之間的(R—G)信號的電平差是否落入噪聲閾值範圍之內以 外，色差噪聲降低處理單元6382還判斷與(R—G)信號位於相同位置處 的周圍像素和所關注的像素T之間的(B — G)信號的電平差是否落入噪
33聲閾值範圍之內。如果電平差落入噪聲閾值範圍之內，那麼色差噪聲降低
處理單元6382選擇(R—G)信號的該周圍像素作為平均化處理的對象。
類似的，當降低(B — G)信號的噪聲時，除了判斷所關注的像素T 和周圍像素之間的(B — G)信號的電平差是否落入噪聲閾值範圍之內以 外，色差噪聲降低處理單元6382還判斷與(B —G)信號位於相同位置處 的周圍像素和所關注的像素T之間的(R—G)信號的電平差是否落入噪 聲閾值範圍之內。如果電平差落入噪聲閾值範圍之內，那麼色差噪聲降低 處理單元6382選擇(B — G)信號的該周圍像素作為平均化處理的對象。
以這種方式，如圖14中的樣式(4A)禾Q (4B)所示出的，可以從通 過圖14中的樣式(3A)和(3B)而示出的色差信號獲得具有經降低的色 噪聲的色差信號。
為了通過考慮畫面的邊緣部分來更精確地降低噪聲，如圖14中的虛 線箭頭所示出的，使用G信號的信號電平。
也就是，為了降低(R—G)信號的噪聲，當(R—G)信號的所關注 的像素T和周圍像素之間的(B — G)信號的電平差落入噪聲閾值範圍之 內並且(R—G)信號的所關注的像素T和周圍像素之間的G信號的電平 差落入噪聲閾值範圍之內時，選擇(R—G)信號的周圍信號作為平均化處 理的對象。類似地，為了降低(B — G)信號的噪聲，通過除(B — G)信 號之外還使用(R—G)信號和G信號來應用s濾波器。
以這種方式，如針對圖7所示的噪聲降低處理單元635所描述的那 樣，在處理畫面的邊緣部分時，具有差別很大的顏色的不必要像素的信號 成分可以從平滑處理的對象中被去除，因此，可以防止顏色蔓延和顏色缺 失。
如上所述， 一般地，在第二示例中所使用的去馬賽克處理單元1063 的噪聲降低處理單元638中，如圖15A和15B所示，為了降低色噪聲而使 用在相同像素位置處的(R—G)信號和(B —G)信號。此外，如圖15C 所示，考慮了在相同像素位置處的G信號。因此，即使當利用(R—G) 信號和(B — G)信號的任一個來降低色噪聲時，色噪聲也可以通過考慮三 原色R、 G和B而從色差信號中被精確地降低。噪聲降低處理單元的修改
圖16是示出噪聲降低處理單元638的另一示例性配置的框圖。當為
了精確降低色噪聲而判斷將被選擇作為平滑操作的對象的像素吋，圖14 所示的噪聲降低處理單元638的色差噪聲降低處理單元6382不僅使用所 關注的像素和周圍像素之間的色差信號的電平差，而且使用所關注的像素 和周圍像素之間的G信號的電平差。如果兩個電平差的每個都落入預定的 閾值範圍之內，那麼色差噪聲降低處理單元6382將周圍像素用於用以對 所關注的像素的電平進行平滑的平均化處理。
然而，如果使用G信號，那麼例如黑色部分和紅色部分之間的邊緣可 能不被檢測為邊緣。也就是，雖然G信號具有強的亮度成分，但是該亮度 成分不是純亮度信號。因此，當紅顏色和黑顏色被呈現時，兩種顏色包括 相同的G信號的量。因此，很難僅通過使用G信號就檢測到邊緣。
因此，在圖16所示的噪聲降低處理單元638的另一示例中，從G信 號和色差信號(R—G)和(B — G)來生成亮度信號Y和色差信號Cb和 Cr。在此之後，還通過利用亮度信號Y來對色差信號Cb和Cr執行噪聲降 低處理。隨後，亮度信號Y和色差信號Cb和Cr被轉換回原來的G信號 和色差信號(R_G)禾卩(B — G)。
也就是，如圖16所示，該示例中的噪聲降低處理單元638包括Y/C 轉換單元6383、亮度噪聲降低處理單元6384、色差噪聲降低處理單元 6385和逆Y/C轉換單元6386。 Y/C轉換單元6383執行Y/C轉換，其中G 信號和色差信號(R—G)和(B—G)被轉換為亮度信號Y和色差信號Cb 和Cr。亮度噪聲降低處理單元6384對亮度信號Y執行噪聲降低處理。色 差噪聲降低處理單元6385對色差信號Cb和Cr執行噪聲降低處理。逆 Y/C轉換單元6386將具有經降低的噪聲的亮度信號Y和色差信號Cb和Cr 轉換回原G信號和色差信號(R—G)和(B — G)。
從G內插單元631輸出的G信號(參見圖16中的樣式(1))和從色 差生成單元632輸出的色差信號(R—G)(參見圖16中的樣式(4A)) 和(B — G)(參見圖16中的樣式(4B))被供應到Y/C轉換單元6383。Y/C轉換單元6383然後將這些信號轉換為亮度信號Y (參見圖16中的樣 式(2))、色差信號Cb (參見圖16中的樣式(5A))和色差信號Cr (參見圖16中的樣式(5B))。亮度信號Y然後被供應到亮度噪聲降低 處理單元6384。色差信號Cb和Cr然後被供應到色差噪聲降低處理單元 6385。
亮度噪聲降低處理單元6384對所供應的亮度信號Y執行噪聲降低處 理。如在上述示例中那樣，亮度噪聲降低處理單元6384利用f濾波器來執 行噪聲降低處理。可替代地，亮度噪聲降低處理單元6384將Y信號分為 高頻側(高頻成分)和低頻側(低頻成分)。亮度噪聲降低處理單元6384 然後對高頻成分執行核化處理和限制處理，並且利用f濾波器對低頻成分 執行處理。因此，亮度噪聲降低處理單元6384對高頻側和低頻側執行不 同的噪聲降低處理。經過了由亮度噪聲降低處理單元6384執行的噪聲降 低處理的亮度信號Y被供應到逆Y/C轉換單元6386。
為了降低色差信號Cb的噪聲，如果色差信號Cb的像素和周圍像素之 間的色差信號Cr和亮度信號Y的每個的電平差都落入噪聲閾值範圍之 內，那麼色差噪聲降低處理單元6385選擇色差信號Cb的該周圍像素作為 平均化處理的對象。類似地，為了降低色差信號Cr的噪聲，不僅利用色 差信號Cr而且利用色差信號Cb和亮度信號Y來應用s濾波器。經過了由 色差噪聲降低處理單元6385執行的噪聲降低處理的色差信號Cb和Cr被 供應到逆Y/C轉換單元6386。
隨後，逆Y/C轉換單元6386從經過了噪聲降低處理的、所供應的亮 度信號Y和色差信號Cb和Cr復原G信號、(R—G)信號和(B — G)信 號。逆Y/C轉換單元6386然後輸出所復原的信號。
對於要處理的標準清晰度(SD)圖像信號和高清晰度(HD)圖像信 號，由Y/C轉換單元6383執行的轉換處理是不同的。圖17示出用於根據 圖像信號的類型來執行Y/C轉換處理的計算表達式。也就是，當處理SD 圖像信號時，利用圖17所示的計算表達式(1) 、 (2)和(3)來將G信 號、(R—G)信號和(B — G)信號轉換為亮度信號Y和色差信號Cb和 Cr。不同地，當處理HD圖像信號時，利用圖17所示的計算表達式
36(4) 、 (5)禾fl (6)來將G信號、(R—G)信號和(B — G)信號轉換 為亮度信號Y和色差信號Cb和Cr。
此外，如果使用圖16所示的噪聲降低處理單元638，那麼如上所述， 在由色差噪聲降低處理單元6385利用f濾波器所執行的色差噪聲降低處理 中，獲得所關注的像素和周圍像素之間的亮度信號Y的電平差。因此，能 夠在保持畫面邊緣的同時實現噪聲降低。此外，因為能夠對最終表示顏色 的色差信號Cb和Cr執行噪聲降低，所以色噪聲可以被有效地降低。
此外，如上所述，具有圖16所示的配置的噪聲降低處理單元638被 設置於去馬賽克處理單元1063中。因此，噪聲降低處理單元638並不在 很大程度上改變圖像拾取裝置100的配置並且不對控制單元110施加很大 的負擔。
此外，在具有圖16所示的配置的噪聲降低處理單元638中，亮度噪 聲降低處理單元6384還對亮度信號Y執行噪聲降低處理。然而，可以不 執行對亮度信號Y的噪聲降低處理。在Y/C轉換完成之後，噪聲降低處理 可以被執行。
從圖7所示的噪聲降低處理單元635和圖14所示的噪聲降低處理單元 638的配置可以看出，根據本實施例，確定在哪個位置執行色噪聲降低處 理很重要。也就是，通過至少在色差內插處理完成之前的位置處(即，如 在圖7中所描述的，緊接在色差被生成之後的位置，或者，如在圖14中 所描述的，緊接在通過分別對具有R信號的像素和具有B信號的像素進行 內插而生成了 (R — G)信號和(B — G)信號之後的位置)從色差信號 (R—G)和(B —G)中去除噪聲，能夠有效地降低色噪聲。
此外，雖然通過參考其中將s濾波器用於噪聲降低處理的情況而描述 了前述實施例，但是本發明並不局限於此。例如，即使當小波變換或雙邊 濾波器被用於噪聲降低處理中，色噪聲也能夠被有效地降低。
第二實施例
Clearvid排列的濾色器
雖然通過參考如下的情況描述了前述實施例，其中具有Bayer排列的顏色編碼的濾色器被用於具有圖l所示配置的圖像拾取裝置ioo中的圖像 傳感器件單元102的固態傳感器件，但是本發明並不局限於此。例如，前 述實施例可以被應用於這樣的情況其中使用另一種類型的排列(例如
Clearvid排列)的固態圖像傳感器件被採用。
圖18A和圖18B示出濾色器的顏色編碼。如上所述或者如圖18A所 示，Bayer排列包括這樣的行每個都包括在水平方向上交替出現的R和 G (即，RGRG...),以及每個都包括在水平方向上交替出現的G和B (即，GBRB...)。這兩種類型的行在垂直方向上交替排列，並且G像 素、B像素和R像素的個數比為2: 1: 1。
不同地，如圖18B所示，與Bayer排列相比，像素區域增大從而使得 靈敏特性得到改善。此外，通過將排列中的每個像素旋轉45度，能夠實 現高清晰度圖像所需的高解析度。G像素、B像素和R像素的個數比例如
是6: 1: 1。本實施例可以被應用於甚至是這樣的情況其中對輸出自包
括具有Clearvid排列的濾色器的固態圖像傳感器件的圖像數據進行處理。
在第二實施例中，如圖18B所示，第二實施例被應用於包括如下的固 態圖像傳感器件的圖像拾取裝置的去馬賽克處理單元，所述固態圖像傳感 器件使用具有Clearvid排列的濾色器。也就是，與第一實施例類似的，通 過參考具有如圖1和圖2所示的配置的圖像拾取裝置來給出對第二實施例 的描述。然而，在圖像傳感器件單元102中使用的固態圖像傳感器件包括 具有Clearvid排列的濾色器。
去馬賽克處理單元1063的處理的第一示例性配置和概述(Clearvid排列)
圖19是示出當如圖1所示的圖像拾取裝置100的圖像傳感器件單元 102中所使用的固態圖像傳感器件使用具有Clearvid排列的濾色器時，如 圖2所示的相機信號處理單元106的去馬賽克處理單元1063的處理的第一 示例性配置和概述的框圖。也就是，圖19是示出處理從根據第二實施例 的Clearvid排列輸出的圖像信號的去馬賽克處理單元1063的處理的第一示 例性配置和概述的框圖。
從圖19和圖3的比較中可以看出，圖19所示的去馬賽克處理單元1063具有與圖3所示的去馬賽克處理單元1063類似的配置。去馬賽克處 理單元1063包括G內插單元631、色差生成單元632、色差內插單元633 和G回加單元634。此外，去馬賽克處理單元1063包括被置於圖19中用 虛線圍起的位置A處的，即緊接著G內插單元631和色差生成單元632的 下遊處的噪聲降低處理單元635。
如圖19所示，因為具有Clearvid排列的圖像數據被輸入，所以這些處 理單元中要處理的信號的格式與在圖3所示的去馬賽克處理單元1063 'I' 所處理的那些信號格式略有不同。也就是，如圖19中的樣式(1)所示， 具有Clearvid排列的圖像數據被供應到去馬賽克處理單元1063的G內插 單元631和色差生成單元632。
如圖19中的樣式(2)所示，G內插單元631基於如圖19中的樣式 (1)所示的配置的圖像數據的G信號，對圖像的每個像素的G信號進行 內插。此外，如圖19中的樣式(3)所示，色差生成單元632針對每個具 有R信號的像素生成色差信號(R—G)，並且針對每個具有B信號的像 素生成色差信號(B — G)。
隨後，如將在下文中詳細描述的，被置於圖19所示的位置A處的噪 聲降低處理單元635從輸出自G內插單元631的G信號以及輸出自色差生 成單元632的(R—G)信號和(B — G)信號中降低噪聲。在此之後，具 有經降低的噪聲的(R—G)信號和(B — G)信號被供應到色差內插單元 633。
色差內插單元633基於被供應到色差內插單元633的、如圖19中的樣 式(3)所示的色差信號，生成圖像的每個像素的(R—G)信號(參見圖 19中的樣式(4A))禾卩(B — G)信號(參見圖19中的樣式(4B))。 色差內插單元633然後將所生成的信號供應到G回加單元634。 G回加單 元634將從噪聲降低處理單元635 (將在下文中進行描述)中輸出的G信 號加回到(R—G)信號(參見圖19中的樣式(4A))禾口 (B —G)信號 (參見圖19中的樣式(4B))。因此，G回加單元634生成圖像的每個 像素的R信號和B信號，並且隨後輸出R信號和B信號。以這種方式， 圖19所示的去馬賽克處理單元1063輸出圖像的每個像素的G信號(參見圖19中的樣式(2) ) 、 R信號(參見圖19中的樣式(5A))和B信號 (參見圖19中的樣式(5B))。
噪聲降低處理單元635的示例性配置
圖20是示出被置於圖19所示的位置A處的噪聲降低處理單元635的 示例性配置的框圖。如圖20所示，該示例中的噪聲降低處理單元635包 括降低被混合到G信號中的噪聲的G噪聲降低處理單元6351和降低被混 合到色差信號中的噪聲的色差噪聲降低處理單元6352。也就是，圖20所 示的噪聲降低處理單元635具有與圖7所示的噪聲降低處理單元635的配 置類似的配置。然而，在色差噪聲降低處理單元6352中處理的信號的格 式不同。
由G噪聲降低處理單元6351執行的處理概述
通過G內插單元631的內插而生成的圖像的每個像素的G信號(參見 圖20中示出的樣式(1))隨後被供應到G噪聲降低處理單元6351。 G噪 聲降低處理單元6351利用上述的f濾波器來降低包含在G信號中的噪聲 成分，並且輸出具有經降低的噪聲的G信號(參見圖20中示出的樣式 (2))。
可替代地，為了降低噪聲，G噪聲降低處理單元6351可以將G信號 分為高頻側(高頻成分)和低頻側(低頻成分)。G噪聲降低處理單元 6351然後可以對高頻成分執行核化處理和限制處理，並且利用s濾波器對 低頻成分執行處理。因此，G噪聲降低處理單元6351可以對高頻側和低頻 側執行不同的噪聲降低處理。
通過使用該替代方法，即使當由於低亮度致使畫面成分的電平接近噪 聲成分的電平時，也可以在保持由經處理的圖像信號所形成的畫面的特徵 的同時，執行噪聲抑制(噪聲降低)而不會使產生孤立點。
與上述示例類似的，在該示例中的去馬賽克處理單元1063中，取代 在去馬賽克處理單元1063中執行噪聲降低處理，可以在執行去馬賽克處 理之前執行對G信號的噪聲降低處理。可替代地，可以對經過了由圖2所示的Y/C轉換單元1066所執行的Y/C轉換的Y信號(亮度信號)執行噪 聲降低處理。也就是，圖7所示的G噪聲降低處理單元6351不一定被設 置用於噪聲降低處理單元635。為了有效地降低在圖像信號中所包含的色 噪聲，存在色差噪聲降低處理單元6352就足夠了。在下文中將更詳細地 描述色差噪聲降低處理單元6352。
由色差噪聲降低處理單元6352執行的處理概述
由色差生成單元632生成的色差信號(參見圖20中的樣式(3))被 供應到色差噪聲降低處理單元6352。也就是，如圖20中的樣式(3)所 示，色差生成單元632生成具有R信號的像素的(R—G)信號和具有B 信號的像素的(B—G)信號，並且將所生成的信號供應到噪聲降低處理單 元635的色差噪聲降低處理單元6352。隨後，色差噪聲降低處理單元 6352針對相同顏色，利用f濾波器來去除包含在(R — G)信號和(B — G)信號中的噪聲成分(色噪聲成分)。
然而，如果僅基於色差信號(R—G)和(B — G)來應用s濾波器， 那麼顏色蔓延可能出現在畫面的邊緣部分中或者顏色可能在高頻部分中缺
因此，在色差噪聲降低處理單元6352中，當應用s濾波器時，判斷所 關注的像素和周圍像素之間的電平差是否在噪聲閾值範圍之內。此外，對 於色差信號(R—G)和(B — G)，從其獲得色差信號的周圍像素和所關 注的像素之間的G信號的電平差被獲得。如果G信號的電平差落入噪聲閾 值範圍之內，那麼該周圍像素變為色差信號的平均化處理的對象。
以這種方式，通過當利用f濾波器從色差信號中去除色噪聲分量時進 一步使用G信號的電平，色噪聲成分能夠被精確去除，並且圖像的適當顏 色能夠被再現。
去馬賽克處理單元1063的處理的第二示例性配置和概述(Clearvid排列)
圖21是示出當在圖1所示的圖像拾取裝置100的圖像傳感器件單元 102中所使用的固態圖像傳感器件使用具有Clearvid排列的濾色器時，圖2
41所示的相機信號處理單元106的去馬賽克處理單元1063的處理的第二示
例性配置和概述的框圖。也就是，圖21是示出處理從根據第二實施例的 Clearvid排列輸出的圖像信號的去馬賽克處理單元1063的處理的第二示例 性配置和概述的框圖。
如圖21所示，該示例中的去馬賽克處理單元1063包括第- 色差內插 單元636、第二色差內插單元637和被置於第一色差內插單元636和第二 色差內插單元637之間的噪聲降低處理單元638。其他配置與圖19所示的 去馬賽克處理單元1063的配置類似。為了簡便起見，使用以上描述圖19 中的第一去馬賽克處理單元1063時所使用的相同編號來描述圖21中示出 的第二去馬賽克處理單元，並且因此，不再重複對它們的詳細描述。
此外，在圖21所示的去馬賽克處理單元1063中，去馬賽克處理單元 1063的色差內插單元633的功能被一分為二。也就是，由第一色差內插單 元636和第二色差內插單元637來實現色差內插功能。如圖21中的樣式 (3)所示出的，色差生成單元632生成並輸出具有R信號的像素的(R— G)信號以及具有B信號的像素的(B — G)信號。
由色差生成單元632生成的色差信號(R—G)和(B — G)被供應到 第一色差內插單元636。如圖21中的樣式(4A)和(4B)所示，通過利 用周圍的(B — G)信號對甚至是針對其生成了 (R—G)信號的像素進行 內插，來生成(B — G)信號。此外，通過利用周圍的(R—G)信號對甚 至是針對其生成了 (B —G)信號的像素進行內插，來生成(R — G)信 號。
隨後，第二色差內插單元637從具有色差信號(即，通過第一色差內 插單元636的內插而生成的色差信號(參見圖21中的樣式(4A)和 (4B)))的周圍像素，對不具有色差信號的像素的色差信號(R—G) (參見圖21中的樣式(5A))和色差信號(B — G)(參見圖21中的樣 式(5B))進行內插。由G回加單元634執行的後續處理與在圖19中所 描述的相同。
在具有其中色差內插單元被分為第一色差內插單元636和第二色差內 插單元637的配置的去馬賽克處理單元1063中，噪聲降低處理單元被置於第一色差內插單元636和第二色差內插單元637之間。
噪聲降低處理單元638的示例性配置
圖22是示出被置於圖21所示的位置B處的噪聲降低處理單元638的 示例性配置的框圖。與圖20所示的噪聲降低處理單元635類似的，噪聲 降低處理單元638包括G噪聲降低處理單元6381和色差噪聲降低處理單 元6382。
由G噪聲降低處理單元6381執行的處理概述
G噪聲降低處理單元6381處理G信號，該G信號的形式與圖20所示 的G噪聲降低處理單元6351中的相同。因此，執行與圖20所示的G噪聲 降低處理單元6351的處理類似的處理。也就是，G噪聲降低處理單元 6381利用s濾波器來對G信號執行噪聲降低處理。可替代地，G噪聲降低 處理單元6381將G信號分為高頻側(高頻成分)和低頻側(低頻成 分)。G噪聲降低處理單元6381然後對高頻成分執行核化處理和限制處 理，並且利用s濾波器來對低頻成分執行處理。因此，G噪聲降低處理單 元6381對高頻側和低頻側執行不同的噪聲降低處理。
由色差噪聲降低處理單元6382執行的處理概述
與圖20所示的噪聲降低處理單元635的色差噪聲降低處理單元6352 類似的，色差噪聲降低處理單元6382利用色差信號來執行色噪聲降低處 理。然而，如下所述，該處理與由圖20所示的色差噪聲降低處理單元 6352所執行的處理略微不同。
也就是，在圖22所示的噪聲降低處理單元638的色差噪聲降低處理 單元6382中，當降低(R—G)信號的噪聲時，除了判斷所關注的像素T 和周圍像素之間的(R—G)信號的電平差是否落入噪聲閾值範圍之內以 外，色差噪聲降低處理單元6382還判斷與(R—G)信號位於相同位置處 的周圍像素和所關注的像素T之間的(B — G)信號的電平差是否落入噪 聲閾值範圍之內。如果電平差落入噪聲閾值範圍之內，那麼色差噪聲降低處理單元6382選擇(R—G)信號的該周圍像素作為平均化處理的對象。
類似的，當降低(B — G)信號的噪聲時，除了判斷所關注的像素T 和周圍像素之間的(B — G)信號的電平差是否落入噪聲閾值範圍之內以 外，色差噪聲降低處理單元6382還判斷與(B —G)信號位於相同位置處 的周圍像素和所關注的像素T之間的(R—G)信號的電平差是否落入噪 聲閾值範圍之內。如果電平差落入噪聲閾值範圍之內，那麼色差噪聲降低 處理單元6382選擇(B —G)信號的該周圍像素作為平均化處理的對象。
以這種方式，如圖22中的樣式(4A)禾卩(4B)所示出的，可以從通 過圖22中的樣式(3A)和(3B)而示出的色差信號獲得具有經降低的色 噪聲的色差信號。
為了通過考慮畫面的邊緣部分來更精確地降低噪聲，如圖22中的虛 線箭頭所示出的，使用G信號的信號電平。
也就是，為了降低(R—G)信號的噪聲，當(R—G)信號的所關注 的像素T和周圍像素之間的(B — G)信號的電平差落入噪聲閾值範圍之 內並且(R—G)信號的所關注的像素T和周圍像素之間的G信號的電平 差落入噪聲閾值範圍之內時，選擇(R—G)信號的該周圍信號作為平均化 處理的對象。類似地，為了降低(B — G)信號的噪聲，通過除(B — G) 信號之外還使用(R—G)信號和G信號來應用f濾波器。
以這種方式，如針對圖7所示的噪聲降低處理單元635所描述的那 樣，在處理畫面的邊緣部分時，具有差別很大的顏色的不必要像素的信號 成分可以從平滑處理的對象中被去除，因此，可以防止顏色蔓延和顏色缺 失。
相機信號處理單元的其他配置
根據上述實施例的圖像拾取裝置100的相機信號處理單元106具有如 圖2所示的配置。相機信號處理單元106的去馬賽克處理單元1063降低色 噪聲。然而，除由去馬賽克處理單元1063所執行的色噪聲降低處理之 外，還可以在去馬賽克處理單元1063的上遊處執行另一噪聲降低處理。
圖23是相機信號處理單元106的另一示例的框圖。使用以上描述圖2
44中的相機信號處理單元106時所使用的相同編號來描述圖23，並且因此，
不再重複對它們的詳細描述。如圖23所示，除去馬賽克處理中的噪聲降 低處理之外，如噪聲降低處理單元1068所示，還可以將噪聲降低處理添 加到去馬賽克處理的上遊處的適當點。以這種方式，噪聲降低處理可以與 由去馬賽克處理單元1063所執行的色噪聲降低處理一起被執行。在那 時，因為在去馬賽克處理單元1063中通過使用相關關係的濾波處理處理 了G信號，所以很難從畫面信號成分中分離出噪聲信號成分。因此，噪聲 降低處理單元1068可以在不對R和B信號執行任何處理的同時，或者在 對R和B信號執行輕微的噪聲降低處理的同時，僅降低原始狀態的G信 號的噪聲。
第三實施例
使用色比信號(color ratio signal)
雖然已經通過參考通過對色差信號(R—G)禾n (B — G)執行噪聲降 低處理來降低色噪聲的情況描述了前述實施例，其中，但是可以利用色比 信號代替色差信號來執行類似處理。因此，在以下描述的第三實施例中， 使用色比信號來代替色差信號。此外，當第三實施例被應用於具有在圖1 和圖2中所描述的配置的圖像拾取裝置時，給出對第三實施例的描述。
去馬賽克處理單元1063的處理的第一示例性配置和概述(使用色比信 號)
圖24是示出當使用色比信號代替色差信號時，圖2所示的相機信號 處理單元106的去馬賽克處理單元1063的處理的第一示例性配置和概述 的框圖。也就是，圖24是示出根據第三實施例的去馬賽克處理單元1063 的處理的第一示例性配置和概述的框圖。通過參考其中處理Bayer排列的 圖像數據的情況來給出對第三實施例的描述。
如圖24所示，去馬賽克處理單元1063包括G內插單元6301、色比生 成單元6302、色比內插單元6303和G回乘(multiply-back)單元6304。 此外，去馬賽克處理單元1063包括被置於圖24中用虛線圍起的位置A處的，即緊接著G內插單元6301和色比生成單元6302的下遊處的噪聲降低 處理單元6305。
如圖24中的樣式(1)所示，Bayer排列的圖像數據被供應到該示例 中的去馬賽克處理單元1063的G內插單元6301和色比生成單元6302。隨 後，如圖24中的樣式(2)所示，G內插單元6301基於如圖24中的樣式 (1)所示的配置的圖像數據的G信號來內插圖像的每個像素的G信號。
此外，如圖24中的樣式(3)所示，色比生成單元6302生成R/G信 號(色比信號)，該R/G信號表示如圖24中的樣式(1)所示的配置的圖 像數據的、R信號的電平與具有R信號的像素的G信號的電平的比率。此 外，色比生成單元6302生成B/G信號(色比信號)，該B/G信號表示B 信號的電平與具有B信號的像素的G信號的電平的比率。
隨後，被置於圖24中的位置A處的噪聲降低處理單元6305對從G內 插單元6301輸出的G信號以及從色比生成單元6302輸出的R/G信號和 B/G信號執行噪聲降低處理，如將在下文中進行描述的。在此之後，包括 經降低的噪聲的R/G信號和B/G信號被供應到色比內插單元6303。
色比內插單元6303基於被供應到色比內插單元6303的、如圖24中的 樣式(3)所示的色比信號，生成圖像的每個像素的R/G信號(參見圖24 中的樣式(4A))和B/G信號(參見圖24中的樣式(4B))。色差內插 單元6303然後將所生成的信號供應到G回乘單元6304。 G回乘單元6304 將從噪聲降低處理單元6305 (將在下文中進行描述)中輸出的G信號乘 回到從色比內插單元6303輸出的R/G信號(參見圖24中的樣式(4A)) 和B/G信號(參見圖24中的樣式(4B))。這樣，G回乘單元6304生成 圖像的每個像素的R信號和B信號，並且隨後輸出R信號和B信號。以 這種方式，圖24所示的去馬賽克處理單元1063輸出圖像的每個像素的G 信號(參見圖24中的樣式(2) ) 、 R信號(參見圖24中的樣式 (5A))和B信號(參見圖19中的樣式(5B))。
噪聲降低處理單元6305的示例性配置
圖25是示出被置於圖24所示的位置A處的噪聲降低處理單元6305的示例性配置的框圖。如圖25所示，該示例中的噪聲降低處理單元6305 包括降低被混合到G信號中的噪聲的G噪聲降低處理單元6305A和降低 被混合到色比信號中的噪聲的色比噪聲降低處理單元6305B。
由G噪聲降低處理單元6305A執行的處理概述
通過G內插單元6301的內插而生成的圖像的每個像素的G信號(參 見圖25中示出的樣式(1))隨後被供應到G噪聲降低處理單元6305A。 G噪聲降低處理單元6305A利用上述的f濾波器來降低包含在G信號中的 噪聲成分，並且輸出具有經降低的噪聲的G信號(參見圖25中示出的樣 式(2))。
可替代地，為了降低噪聲，G噪聲降低處理單元6305A可以將G信號 分為高頻側(高頻成分)和低頻側(低頻成分)。G噪聲降低處理單元 6305A然後可以對高頻成分執行核化處理和限制處理，並且利用f濾波器 對低頻成分執行處理。因此，G噪聲降低處理單元6305A可以對高頻側和 低頻側執行不同的噪聲降低處理。
通過使用該替代方法，即使當由於低亮度致使畫面成分的電平接近噪 聲成分的電平時，也可以在保持由經處理的圖像信號所形成的畫面的特徵 的同時，執行噪聲抑制(噪聲降低)而不會使產生孤立點。
與上述示例類似的，在該示例中的去馬賽克處理單元1063中，取代 在去馬賽克處理單元1063中執行噪聲降低處理，可以在執行去馬賽克處 理之前執行對G信號的噪聲降低處理。可替代地，可以對經過了由圖2所 示的Y/C轉換單元1066所執行的Y/C轉換的Y信號(亮度信號)執行噪 聲降低處理。也就是，圖25所示的G噪聲降低處理單元6305A不一定被 設置用於噪聲降低處理單元6305。為了有效地降低在圖像信號中所包含的 色噪聲，存在色比噪聲降低處理單元6305B就足夠。在下文中將更詳細地 描述色比噪聲降低處理單元6305B。
由色比噪聲降低處理單元6305B執行的處理概述
由色比生成單元6302生成的色比信號(參見圖25中的樣式(3))被供應到色比噪聲降低處理單元6305B。也就是，如圖25中的樣式(3) 所示，色比生成單元6302生成具有R信號的像素的R/G信號和具有B信 號的像素的B/G信號，並且將所生成的信號供應到噪聲降低處理單元6305 的色比噪聲降低處理單元6305B。隨後，色比噪聲降低處理單元6305B針 對相同顏色，利用f濾波器來去除包含在R/G信號和B/G信號中的噪聲成 分(色噪聲成分)。
然而，如果僅基於色比信號R7G和B/G來應用f濾波器，那麼顏色蔓 延可能出現在畫面的邊緣部分中或者顏色可能在高頻部分中缺失。
因此，在色比噪聲降低處理單元6305B中，當應用f濾波器時，判斷 所關注的像素和周圍像素之間的電平差是否落入色比信號R/G和B/G的噪 聲閾值範圍之內。此外，在G信號方面，從其獲得色比信號的周圍像素和 所關注的像素之間的G信號的電平差被獲得。如果G信號的電平差落入噪 聲閾值範圍之內，那麼該周圍像素變為色比信號的平均化處理的對象。
以這種方式，通過當利用s濾波器從色比信號中去除色噪聲分量時進 一步使用G信號的電平，色噪聲成分能夠被精確去除，並且圖像的適當顏 色能夠被再現。
去馬賽克處理單元1063的處理的第二示例性配置和概述(使用色比信 號)
圖26是示出當使用色比信號代替色差信號時，圖2所示的相機信號 處理單元106的去馬賽克處理單元1063的處理的第二示例性配置和概述 的框圖。也就是，圖26是示出根據第三實施例的去馬賽克處理單元1063 的處理的第二示例性配置和概述的框圖。在此，通過參考其中處理具有 Bayer排列的圖像數據的情況來給出描述。
如圖26所示，該示例中的去馬賽克處理單元1063包括第一色比內插 單元6306、第二色比內插單元6307和被置於第一色比內插單元6306和第 二色比內插單元6307之間的噪聲降低處理單元6308。其他配置與圖24所 示的去馬賽克處理單元1063的配置類似。為了簡便起見，使用以上描述 圖24中的第一去馬賽克處理單元1063時所使用的相同編號來描述圖26中示出的第二去馬賽克處理單元，並且因此，不再重複對它們的詳細描述。
此外，在圖26所示的去馬賽克處理單元1063中，圖24所示的去馬賽 克處理單元1063的色比內插單元6303的功能被一分為二。也就是，山第 一色比內插單元6306和第二色比內插單元6307來實現色比內插功能。如 圖26中的樣式(3)所示出的，色比生成單元6302生成並輸出具有R信 號的像素的R/G信號以及具有B信號的像素的B/G信號。
由色比生成單元6302生成的色比信號R/G和B/G被供應到第一色比 內插單元6306。如圖26中的樣式(4A)禾卩(4B)所示，通過利用周圍的 B/G信號對甚至是針對其生成了 R/G信號的像素進行內插，來生成B/G信 號。此外，通過利用周圍的R/G信號對甚至是針對其生成了 B/G信號的像 素進行內插，來生成R/G信號。
隨後，第二色比內插單元6307從具有色比信號的周圍像素，也就 是，具有通過第一色比內插單元6306的內插而生成的色比信號(參見圖 26中的樣式(4A)和(4B))的周圍像素，對不具有色比信號的像素的 色比信號R/G (參見圖26中的樣式(5A))和色比信號B/G (參見圖26 中的樣式(5B))進行內插。由G回加單元634執行的後續處理與在圖 24中所描述的相同。
在具有其中色比內插單元被分為第一色比內插單元6306和第二色比 內插單元6307的配置的去馬賽克處理單元1063中，噪聲降低處理單元被 置於第一色比內插單元6306和第二色比內插單元6307之間。
噪聲降低處理單元6308的示例性配置
圖27是示出被置於圖26所示的位置B處的噪聲降低處理單元6308 的示例性配置的框圖。與圖25所示的噪聲降低處理單元6305類似的，噪 聲降低處理單元6308包括G噪聲降低處理單元6308A和色比噪聲降低處 理單元6308B。
由G噪聲降低處理單元6308A執行的處理概述
G噪聲降低處理單元6308A處理G信號，該G信號的形式與圖25所
49示的G噪聲降低處理單元6305A中的相同。因此，執行與圖25所示的G 噪聲降低處理單元6305A的處理類似的處理。也就是，G噪聲降低處理單 元6308A利用壙濾波器來對G信號執行噪聲降低處理。可替代地，G噪聲 降低處理單元6308A將G信號分為高頻側(高頻成分)和低頻側(低頻成 分)。G噪聲降低處理單元6308A然後對高頻成分執行核化處理和限制處 理，並且利用s濾波器來對低頻成分執行處理。因此，G噪聲降低處理單 元6308A對高頻側和低頻側執行不同的噪聲降低處理。
由色比噪聲降低處理單元6308B執行的處理概述
與圖25所示的噪聲降低處理單元6305的色比噪聲降低處理單元 6305B類似的，色比噪聲降低處理單元6308B利用色比信號來執行色噪聲 降低處理。然而，如下所述，該處理與由圖25所示的色比噪聲降低處理 單元6305B所執行的處理略微不同。
也就是，在圖27所示的噪聲降低處理單元6308的色比噪聲降低處理 單元6308B中，當降低R/G信號的噪聲時，除了判斷所關注的像素T和周 圍像素之間的R/G信號的電平差是否落入噪聲閾值範圍之內以外，色比噪 聲降低處理單元6308B還判斷與R/G信號位於相同位置處的周圍像素和所 關注的像素T之間的B/G信號的電平差是否落入噪聲閾值範圍之內。如果 電平差落入噪聲閾值範圍之內，那麼色比噪聲降低處理單元6308B選擇 R/G信號的該周圍像素作為平均化處理的對象。
類似的，當降低B/G信號的噪聲時，除了判斷所關注的像素T和周圍 像素之間的B/G信號的電平差是否落入噪聲閾值範圍之內以外，色比噪聲 降低處理單元6308B還判斷與B/G信號位於相同位置處的周圍像素和所關 注的像素T之間的R/G信號的電平差是否落入噪聲閾值範圍之內。如果電 平差落入噪聲閾值範圍之內，那麼色比噪聲降低處理單元6308B選擇B/G 信號的該周圍像素作為平均化處理的對象。
以這種方式，如圖27中的樣式(4A)和(4B)所示出的，可以從通 過圖27中的樣式(3A)和(3B)而示出的色比信號獲得具有經降低的色 噪聲的色比信號。為了通過考慮畫面的邊緣部分來更精確地降低噪聲，如圖27中的虛 線箭頭所示出的，使用G信號的信號電平。
也就是，為了降低R/G信號的噪聲，當R/G信號的所關注的像素T和 周圍像素之間的B/G信號的電平差落入噪聲閾值範圍之內並且R/G信號的 所關注的像素T和周圍像素之間的G信號的電平差落入噪聲閾值範圍之內 時，選擇R/G信號的該周圍信號作為平均化處理的對象。類似地，為了降 低B/G信號的噪聲，通過除使用B/G信號之外還使用R/G信號和G信號 來應用f濾波器。
以這種方式，如針對圖7所示的噪聲降低處理單元635所描述的那 樣，在處理畫面的邊緣部分時，具有差別很大的顏色的不必要像素的信號 成分可以從平滑處理的對象中被去除，因此，可以防止顏色蔓延和顏色缺 失。此外，雖然通過參考其中處理具有Bayer排列的圖像數據的情況描述 了第三實施例，但是本發明並不局限於此。例如，如在第三實施例中，可 以在處理具有Clearvid排列的圖像數據時使用色比信號。
由去馬賽克處理單元所執行的處理綜述
從上述第一到第三實施例中可以看出，在去馬賽克處理單元1063中 能夠有效地降低色噪聲。在去馬賽克處理單元1063中可以採用兩種方 法。在第一種方法中，如在圖6、圖9和圖24中所描述的，在緊接著諸如 色差信號或色比信號之類的顏色相關信號被生成的位置的下遊處，在色差 信號或色比信號中所包含的色噪聲被降低。
在第二種方法中，如在圖13、圖21和圖26中所描述的，當通過利用 諸如色差信號或色比信號之類的、所生成的與顏色相關的信號對圖像的每 個像素進行內插，來生成色差信號或色比信號時，設置了第一內插處理和 在第一內插處理完成之後執行的第二內插處理。在第一內插處理中，對於 針對其生成了色差信號或色比信號的像素，通過內插來生成不同顏色的色 差信號或色比信號。在第二內插處理中，對於圖像的每個像素，通過內插 來生成不同顏色的色差信號或色比信號。因此，從經過了第一內插處理的 色差信號或色比信號中降低色噪聲。在下文中，通過參考流程圖來描述使用第一方法的去馬賽克處理和使 用第二方法的去馬賽克處理。
根據第一方法的去馬賽克處理
圖28是示出使用上述的第一方法的去馬賽克處理的流程圖。由在圖
6、圖19和圖24中示出的去馬賽克處理單元來執行圖28所示的流程圖的
處理。如上所述，兩種類型的信號可以被用於降低色噪聲色差信號和色
比信號。主要通過參考色差信號來給出以下的描述。然而，該描述可以被 類似地應用於其中使用色比信號的情況。
當執行去馬賽克處理時，首先從具有原始數據格式的輸入圖像數據生
成作為顏色相關信號的色差信號(色比信號)(步驟S101)。隨後，諸如 f濾波器之類的預定技術被應用於所生成的色差信號(色比信號)以使得 色噪聲被降低(步驟S102)。
在此之後，利用具有經降低的噪聲的色差信號(色比信號)來執行內 插處理。這樣，通過對圖像的每個像素進行內插來生成色差信號(色比信 號)(步驟S103)。隨後，在考慮G信號的同時，針對在步驟S103中通 過對圖像的每個像素進行內插而生成色差信號(色比信號)，生成R信號 和B信號(步驟S104)。
也就是，當處理色差信號((R—G)信號和(B — G)信號)時，G 信號在步驟S104被回加。不同地，當處理色比信號(R/G信號和B/G信 號)時，G信號在步驟S104被回乘。在此之後，通過輸出針對圖像的每 個像素而生成的三原色信號R、 G和B (步驟S105)，去馬賽克處理完 成。
雖然未在圖28中示出，但是通過在步驟S101中對圖像的每個像素進 行內插而生成了G信號。如上所述，對於G信號，噪聲降低處理可以執行 或者可以不執行。
如上所述，如果緊接在色差信號或色比信號被生成之後對色差信號或 色比信號執行色噪聲降低處理，那麼由於尚未執行內插處理，所以色差信 號或色比信號不受內插處理影響。因此，色噪聲可以被適當地降低。此外，可以通過根據圖28的流程圖生成程序並且使CPU執行所生成 的程序，來實現根據本發明實施例的去馬賽克處理功能。也就是，也可以 通過軟體來實現根據本發明實施例的去馬賽克處理。
根據第二方法的去馬賽克處理
圖29是示出使用上述的第二方法的去馬賽克處理的流程圖。由在圖 13、圖21和圖26中示出的去馬賽克處理單元來執行圖29所示的流程圖的 處理。與在第一方法中相同的，在第二方法中，兩種類型的信號可以被用
於降低色噪聲色差信號和色比信號。主要通過參考色差信號來給出以下
的描述。然而，該描述可以被類似地應用於其中使用色比信號的情況。 當執行去馬賽克處理時，首先從具有原始數據格式的輸入圖像數據生
成作為顏色相關信號的色差信號(色比信號)(步驟S201)。隨後，對於
每個具有所生成的色差信號(色比信號)的像素，通過內插來生成基—r-不
同顏色的色差信號(色比信號)(步驟S202)。
也就是，通過在步驟S201中所執行的處理，針對具有R信號的像素 生成了 (R—G)信號(R/G信號)，並且針對具有B信號的像素生成了 (B — G)信號(B/G信號)。因此，在步驟S202所執行的處理中，針對 具有所生成的(R—G)信號(所生成的R/G信號)的像素來生成(B — G)信號(B/G信號)，並且針對具有所生成的(B — G)信號(所生成的 B/G信號)的像素來生成(R—G)信號(R/G信號)。該處理對應於對色 差信號(色比信號)的第一內插處理。
在此之後，在步驟S203中，對經過了第一內插處理的色差信號(色 比信號)執行色噪聲降低處理，該第一內插處理在步驟S202中利用預定 的方法(例如，f濾波器)被執行。
隨後，通過利用經過了色噪聲降低處理的色差信號(色比信號)來執 行內插處理，通過對圖像的每個像素進行內插來生成色差信號(色比信 號)(步驟S204)。在步驟S204中執行的對色差信號(色比信號)的內 插處理對應於第二內插處理。
在此之後，在考慮相同像素的G信號的同時，針對通過步驟S204中的對圖像的每個像素的內插而生成的色差信號(色比信號)，生成R信號
和B信號(步驟S205)。也就是，當處理色差信號((R—G)信號和 (B — G)信號)時，G信號在步驟S205被回加。不同地，當處理色比信 號(R/G信號和B/G信號)時，G信號在步驟S205被回乘。在此之後， 通過輸出針對圖像的每個像素而生成的三原色信號R、 G和B (步驟 S206)，去馬賽克處理完成。
雖然未在圖29中示出，但是通過在步驟S201中對圖像的每個像素進 行內插而生成了G信號。如上所述，對於G信號，噪聲降低處理可以執行 或者可以不執行。
如上所述，如果在作為顏色相關信號的色差信號或色比信號被生成之 後對色差信號或色比信號執行色噪聲降低處理，那麼通過使用(R—G)信 號(R/G信號)和(B — G)信號(B/G信號)，色噪聲可以被精確地降 低。
此外，可以通過根據圖29的流程圖生成程序並且使CPU執行所生成 的程序，來實現根據本發明實施例的去馬賽克處理功能。也就是，也可以 通過軟體來實現根據本發明實施例的去馬賽克處理。
其他
在根據第一實施例的噪聲降低處理單元638的可替代配置中，如圖16 所示，G信號和色差信號(R—G)和(B — G)被轉換為亮度信號Y和色 差信號Cr和Cb。在此之後，從亮度信號Y和色差信號Cr和Cb中降低色 噪聲。隨後，具有經降低的色噪聲的亮度信號Y和色差信號O和Cb被轉 換為G信號和色差信號(R—G)和(B—G)。然而，該處理不僅可以由 根據第一實施例的噪聲降低處理單元638來執行，而且可以由根據第一實 施例的噪聲降低處理單元635來執行。此外，該處理可以由根據第二實施 例的噪聲降低處理單元635和638以及根據第三實施例的噪聲降低處理單 元6305和6308來執行。
此外，如上所述，本發明的上述實施例可應用於處理通過單板固態圖 像傳感器件而輸入的圖像數據的各種圖像拾取裝置，例如安裝在移動電子裝置(例如，數字視頻相機、數字靜態相機和手機)中的相機模塊、圖像 讀取器和掃描器。此外，本發明的上述實施例可應用於處理通過單板固態 圖像傳感器件而輸入並存儲的原始數據的各種圖像拾取裝置。
此外，當圖2中用雙線示出的去馬賽克處理單元1063被內建到集成
電路(IC)中時，本發明的上述實施例可應用於去馬賽克處理單元1063。 此外，當相機信號處理單元106被內建到電路塊中時，本發明的上述實施 例可應用於相機信號處理單元106的去馬賽克處理單元。
以下討論權利要求的特徵與本發明的上述實施例中所公開的具體元件 之間的對應關係。權利要求中定義的圖像傳感器件對應於被安裝在圖1所 示的圖像傳感器件單元102中的固態圖像傳感器件單元。權利要求中定義 的去馬賽克處理裝置對應於在圖2、 3、 6、 7、 12、 13、 19、 21、 24和26 中所示出的去馬賽克處理單元之一。
權利要求中定義的去馬賽克處理裝置的生成單元對應於每個示例中的 去馬賽克處理單元1063的色差生成單元632或色比生成單元6302。權利 要求中定義的噪聲降低單元對應於每個示例中的去馬賽克處理單元1063 的噪聲降低處理單元635、 638、 6305或6308。
權利要求中定義的目標顏色信號對應於R信號或B信號。權利要求中 定義的預定的其他顏色信號對應於G信號。權利要求中定義的第一內插單 元對應於第一色差內插單元636或第一色比內插單元6306。權利要求中定 義的第二內插單元對應於第二色差內插單元637或第二色比內插單元 6307。
在權利要求中使用的術語"顏色相關信號"總的指代色差信號或色比 信號。權利要求中定義的轉換單元對應於Y/C轉換單元6383。權利要求中 定義的逆轉換單元對應於逆Y/C轉換單元6386。
雖然通過參考三原色信號R (紅)、G (綠)和B (藍)描述了前述 實施例，但是本發明並不局限於此。近些年來，開發了除使用三原色的信 號之外還使用袓母綠(emerald)色的信號的圖像拾取裝置。本發明的上述 實施例也可應用於這樣的圖像拾取裝置。
也就是，可以通過利用至少一個目標顏色信號和預定的其他顏色信號
55來執行計算，並且對將目標顏色信號與預定的其他顏色信號關聯起來的諸 如色差信號或色比信號之類的顏色相關信號執行色噪聲降低處理，來實現 本發明的實施例。
本領域中的技術人員應理解，根據設計需求和其他因素可以想到各種 修改、組合、子組合和變更，只要它們落入隨附權利要求書或其等價物的 範圍之內。
本發明包含與2007年12月21日遞交到日本專利局的日本專利申請 JP 2007-330509相關的主題，該日本專利申請的全部內容通過引用被結合 於此。
權利要求
1. 一種圖像拾取裝置，包括圖像傳感器件，所述圖像傳感器件包括具有按預定順序排列的多個不同顏色的像素的濾色器，所述圖像傳感器件接收被拍體的圖像並輸出包括所述多個不同顏色的顏色信號的圖像信號；以及去馬賽克處理裝置，用於從接收自所述圖像傳感器件的圖像信號，針對圖像的每個像素，生成不同顏色的顏色信號；其中，所述去馬賽克處理裝置包括生成單元和噪聲降低單元，所述生成單元利用目標顏色信號和預定的其他顏色信號來執行計算，以針對所述目標顏色信號的像素，生成將所述目標顏色信號與所述預定的其他顏色信號關聯起來的顏色相關信號，其中所述目標顏色信號表示被包括在接收自所述圖像傳感器件的圖像信號中的預定的目標顏色信號，並且所述噪聲降低單元對由所述生成單元所生成的顏色相關信號執行噪聲降低處理。
2. 如權利要求1所述的圖像拾取裝置，其中，定義了多個類型的目標顏色信號，並且其中，所述去馬賽克處理裝置包括第一內插單元和第二內插單元，並且其中，所述第一內插單元使用從所述生成單元輸出的顏色相關信號，針對每個類型的目標顏色信號的每個像素，生成使用不同類型的目標顏色信號的顏色相關信號，並且將所生成的顏色相關信號與已經從所述生成單元輸出的顏色相關信號一起輸出，並且所述第二內插單元針對所述圖像的每個像素，利用從所述第一內插單元輸出的多個顏色相關信號，生成多個類型的顏色相關信號，並且其中，所述噪聲降低單元被置於所述第一內插單元和所述第二內插單元之間，並且所述噪聲降低單元對從所述第一內插單元輸出的顏色相關信號執行噪聲降低處理，並將所述顏色相關信號供應到所述第二內插單元。
3. 如權利要求1或2所述的圖像拾取裝置，其中，所述噪聲降低單元在考慮所述預定的其他顏色信號的情況下對所述顏色相關信號執行噪聲降低處理。
4. 如權利要求1或2所述的圖像拾取裝置，其中，所述噪聲降低單元包括用於將所述顏色相關信號轉換為具有不同格式的其他顏色相關信號的轉換裝置，和用於將所述其他顏色相關信號轉換為具有原格式的顏色相關信號的逆轉換裝置，並且其中，所述噪聲降低單元對經所述轉換裝置轉換的所述其他顏色相關信號執行噪聲降低處理，利用所述逆轉換裝置將所述顏色相關信號轉換為具有原格式的顏色相關信號，並且輸出所述顏色相關信號。
5. 如權利要求l或2所述的圖像拾取裝置，其中，所述顏色相關信號是由所述目標顏色信號的水平與所述其他顏色信號的水平之間的差表示的色差信號。
6. 如權利要求1或2所述的圖像拾取裝置，其中，所述顏色相關信號是由所述目標顏色信號的水平與所述其他顏色信號的水平的比率表示的色比信號。
7. —種用於去馬賽克處理中的降低色噪聲的方法，所述去馬賽克處理對從圖像傳感器件接收的圖像信號執行，以針對圖像的每個像素，生成顏色的顏色信號，所述圖像傳感器件包括具有按預定順序排列的多個不同顏色的像素的濾色器，所述圖像傳感器件接收被拍體的圖像並輸出包括所述多個不同顏色的顏色信號的圖像信號，所述方法包括以下步驟(a) 利用目標顏色信號和預定的其他顏色信號來執行計算，以針對所述目標顏色信號的像素，生成將所述目標顏色信號與所述預定的其他顏色信號關聯起來的顏色相關信號，其中所述目標顏色信號表示被包括在接收自所述圖像傳感器件的圖像信號中的預定的目標顏色信號，以及(b) 對在步驟(a)中所生成的顏色相關信號執行噪聲降低處理。
8. 如權利要求7所述的方法，其中，定義了多個類型的目標顏色信號，並且其中，所述方法還包括(c)對每個類型的目標顏色信號的每個像素，生成使用不同類型的目標顏色信號的顏色相關信號，以將所生成的顏色相關信號與已經在步驟(a)中輸出的顏色相關信號一起輸出，以及(d)針對所述圖像的每個像素，利用在步驟(c)中輸出的多個顏色相關信號，生成多個類型的顏色相關信號，並且其中，步驟(b)在步驟(c)和步驟(d)之間執行，並且對在步驟(c)中輸出的顏色相關信號執行噪聲降低處理。
9. 一種由被包括在圖像拾取裝置中的計算機執行的色噪聲降低程序，所述圖像拾取裝置包括圖像傳感器件，所述圖像傳感器件包括具有按預定順序排列的多個不同顏色的像素的濾色器，所述圖像傳感器件接收被拍體的圖像並輸出包括所述多個不同顏色的顏色信號的圖像信號，所述圖像拾取裝置對從所述圖像傳感器件接收的圖像信號執行去馬賽克處理以生成所述圖像的每個像素的不同顏色的顏色信號，所述程序包括用於使所述計算機執行以下步驟的程序代碼(e) 利用目標顏色信號和預定的其他顏色信號來執行計算，以針對所述目標顏色信號的像素，生成將所述目標顏色信號與所述預定的其他顏色信號關聯起來的顏色相關信號，其中所述目標顏色信號表示被包括在接收自所述圖像傳感器件的圖像信號中的預定的目標顏色信號，以及(f) 對在步驟(e)中所生成的顏色相關信號執行噪聲降低處理。
10. 如權利要求9所述的色噪聲降低程序，其中，定義了多個類型的目標顏色信號，並且所述程序還所述計算機執行(g)對每個類型的目標顏色信號的每個像素，生成使用不同類型的目標顏色信號的顏色相關信號，以將所生成的顏色相關信號與已經在步驟(e)中輸出的顏色相關信號一起輸出，以及(h)針對所述圖像的每個像素，利用在步驟(g)中輸出的多個顏色相關信號，生成多個類型的顏色相關信號，並且其中，步驟(f)在步驟(g)和步驟(h)之間執行，並且對在步驟(g)中輸出的顏色相關信號執行噪聲降低處理。
11. 一種圖像拾取裝置，包括圖像傳感器件，所述圖像傳感器件包括具有按預定順序排列的多個不同顏色的像素的濾色器，所述圖像傳感器件接收被拍體的圖像並輸出包括所述多個不同顏色的顏色信號的圖像信號；以及去馬賽克處理單元，被配置為從接收自所述圖像傳感器件的圖像信號生成所述圖像的每個像素的不同顏色的顏色信號；其中，所述去馬賽克處理單元包括生成單元和噪聲降低單元，所述生成單元利用目標顏色信號和預定的另外的顏色信號來執行計算，以生成用於所述目標顏色信號的像素的、將所述目標顏色信號與所述預定的另外的顏色信號相關聯的顏色相關信號，其中所述目標顏色信號表示被包括在接收自所述圖像傳感器件的圖像信號中的預定的目標顏色信號，並且所述噪聲降低單元對由所述生成單元所生成的顏色相關信號執行噪聲降低處理。
全文摘要
本發明提供一種圖像拾取裝置、色噪聲降低方法和色噪聲降低程序。圖像拾取裝置包括圖像傳感器和去馬賽克處理器，圖像傳感器具有按預定順序排列的不同顏色的像素的濾色器。圖像傳感器接收被拍體圖像並輸出包括不同顏色的顏色信號的圖像信號。去馬賽克處理器從該圖像信號生成圖像每個像素的不同顏色的顏色信號。去馬賽克處理器包括生成單元和噪聲降低單元。生成單元利用目標顏色信號和預定的其他顏色信號來執行計算以生成目標顏色信號的像素的、使該目標顏色信號與預定的其他顏色信號相關聯的顏色相關信號，該目標顏色信號表示被包括在圖像信號中的預定的目標顏色信號。噪聲降低單元對由生成單元所生成的顏色相關信號執行噪聲降低處理。
文檔編號H04N9/64GK101472048SQ20081019030
公開日2009年7月1日 申請日期2008年12月22日 優先權日2007年12月21日
發明者千葉卓也, 稻葉靖二郎, 米田豐 申請人:索尼株式會社