像素缺陷校正器件、成像設備、像素缺陷校正方法和程序的製作方法

2023-06-20 06:43:36 2

專利名稱：像素缺陷校正器件、成像設備、像素缺陷校正方法和程序的製作方法
技術領域：
本發明涉及固態成像器件(如CCD或CMOS傳感器)中具有檢測和補償缺陷像素 的功能的像素缺陷校正器件、成像設備、像素缺陷校正方法和程序。
背景技術：
一般來說，在固態成像器件(如CXD (電荷耦合器件)和CMOS (互補金屬氧化物半 導體)傳感器)中產生缺陷像素是已知的。在這種固態成像器件中，如下內容是已知的由於半導體器件的局部液晶缺陷等 而產生輸出異常成像信號的缺陷像素，並且這導致圖像質量的惡化。缺陷像素的示例包括黑缺陷像素和白缺陷像素。也就是說，固態成像器件的像素缺陷包括白缺陷(其由預定量的電荷添加到正常 信號電平而引起)和黑缺陷(通過其信號電平以預定速率下降或者總是輸出零附近的信號 電平)。由於這些缺陷導致圖像輸出時圖像質量的惡化，因此已經提出了各種缺陷檢測和 校正方法(例如，參見 JP-A-2005-318383 和 JP-A-2008-1M276)。—般來說，通過計算替換缺陷像素值的值並以計算出的值替換缺陷像素的值來實 現確定為有缺陷的像素的缺陷校正。可以通過檢測缺陷像素周圍的邊緣並使用兩個像素(其位於邊緣方向上，缺陷像 素夾在其之間)的平均值以便自適應地與成像的圖像相對應，來實現計算校正值的方法。

發明內容
然而，由於處於中間的像素值是不正常的，因此如果缺陷像素本身用於邊緣檢測， 則存在顯著地降低邊緣檢測精度的很高可能性。例如，在JP-A-2005-318383和JP-A-2008-154276中公開的方法中，即使不僅將待 確定其缺陷的像素用於邊緣檢測而且將當已經去除彩色信號載波(color carrier)時的亮 度值也用於邊緣檢測，也難以精確地執行邊緣檢測，這是因為與以上所述的內容類似，感興 趣的像素是不正常的。為此，認為缺陷檢測的精度也降低。考慮到以上情況，期望提供像素缺陷校正器件、成像設備、像素缺陷校正方法和程 序，其能夠提高邊緣檢測精度並提高缺陷檢測精度。根據本發明的實施例，提供了像素缺陷校正器件，包括缺陷確定部件，確定圖像 的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多 個像素；梯度檢測部件，至少基於處理區域中包括的感興趣像素周圍的外圍像素的值，在處 理區域中檢測梯度或邊緣，所述處理區域包括多個像素，其中感興趣像素位於中間；校正值 獲取部件，根據檢測到的梯度或邊緣，選擇用於感興趣像素的校正值的獲取的像素，並從所 選的像素的值來獲取校正值；以及缺陷像素替換部件，當確定感興趣像素為圖像的缺陷時， 以校正值替換感興趣像素的值。
根據本發明的另一實施例，提供了成像設備，包括像素部件，包括成像被攝體圖 像的成像器件；以及像素缺陷校正器件，從成像器件接收圖像數據，並執行像素缺陷校正處 理。另外，所述像素缺陷校正器件包括缺陷確定部件，確定圖像的感興趣像素是否為圖像 的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個像素；梯度檢測部件， 至少基於處理區域中包括的感興趣像素周圍的外圍像素的值，在處理區域中檢測梯度或邊 緣，所述處理區域包括多個像素，其中感興趣像素位於中間；校正值獲取部件，根據檢測到 的梯度或邊緣，選擇用於感興趣像素的校正值的獲取的像素，並從所選的像素的值來獲取 校正值；以及缺陷像素替換部件，當確定感興趣像素為圖像的缺陷時，以校正值替換感興趣 像素的值。根據本發明的再一實施例，提供了像素缺陷校正方法，包括如下步驟確定圖像的 感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個 像素；至少基於處理區域中包括的感興趣像素周圍的外圍像素的值，在處理區域中檢測梯 度或邊緣，所述處理區域包括多個像素，其中感興趣像素位於中間；根據檢測到的梯度或邊 緣，選擇用於感興趣像素的校正值的獲取的像素，並從所選的像素的值來獲取校正值；以及 當確定感興趣像素為圖像的缺陷時，以校正值替換感興趣像素的值。根據本發明的又一實施例，提供了一種程序，使得計算機執行像素缺陷校正處理， 包括缺陷確定處理，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式 排列每一個均具有像素值的多個像素；方向檢測處理，至少基於處理區域中包括的感興趣 像素周圍的外圍像素的值，在處理區域中檢測梯度或邊緣，所述處理區域包括多個像素，其 中感興趣像素位於中間；校正值獲取處理，根據檢測到的梯度或邊緣，選擇用於感興趣像素 的校正值的獲取的像素，並從所選的像素的值來獲取校正值；以及替換處理，當確定感興趣 像素為圖像的缺陷時，以校正值替換感興趣像素的值。根據本發明的實施例，可以提高邊緣檢測精度，並且作為結果可以提高缺陷檢測 精度。


圖1是示出應用了根據本發明第一實施例的像素缺陷校正器件的成像設備的配 置示例的框圖；圖2是示出作為像素排列的示例的拜耳排列(Bayer arrangement)的圖；圖3是示出第一實施例中像素部件中單元像素的配置示例的電路圖；圖4是示出圖1中所示的像素部件的配置示例的圖；圖5是示出根據第一實施例的缺陷檢測和校正電路的配置示例的圖；圖6是示出在拜耳排列上5像素X5像素的處理區域的示例的圖；圖7是示出當使用偽值(pseudo value)作為亮度值時偽亮度值計算處理的圖像 的圖；圖8A到圖8D是示出在梯度計算中涉及的亮度位置的圖；圖9是示出除了具有與要確定其缺陷的像素相同顏色的像素之外的偽亮度計算 處理的圖像的圖；圖10是示出根據第一實施例的缺陷檢測和校正電路的缺陷檢測和校正處理的流程圖的圖；圖IlA到圖IlC是示出實際處理圖像的圖；圖12是示出在圖IlA到圖IlC中所示的情況下像素值的示例的圖；圖13是示出通過使用已知方法計算出的偽亮度的圖；圖14是示出通過使用根據第一實施例的方法計算出的偽亮度的圖；圖15是示出當通過以具有相同顏色的八個外圍像素的平均值來替換要確定其缺 陷的像素來計算偽亮度時的圖像的圖；圖16A和圖16B是當僅感興趣的像素有缺陷時處理區域的多個像素值的示例的說 明圖；圖17A和圖17B是當在感興趣的像素和外圍像素中存在相鄰缺陷時處理區域的多 個像素值的示例的說明圖；圖18是示出根據本發明第二實施例的缺陷檢測和校正電路的配置示例的圖；圖19是示出根據第二實施例的缺陷檢測和校正電路的缺陷檢測和校正處理的流 程圖的圖；圖20示出了嵌入相鄰像素的圖像的示例；圖21示出了通過使用第一實施例中的像素缺陷校正處理來校正圖20中的圖像所 獲得的圖像；圖22示出了通過使用第二實施例中的像素缺陷校正處理來校正圖20中的圖像所 獲得的圖像；以及圖23是示出根據第二實施例的缺陷檢測和校正電路的另一缺陷檢測和校正處理 的流程圖的圖。
具體實施例方式在下文中，將參照附圖描述本發明的第一實施例。
另外，將以如下順序給出說明。1.第一實施例(基於具有與感興趣像素不同的彩色分量的像素來獲取梯度或邊 緣的示例)2.第二實施例(校正偶聯(couplet)像素缺陷的示例)[成像設備的整體配置的示例]圖1是示出應用了根據本發明第一實施例的像素缺陷校正器件的成像設備的配 置示例的框圖。如圖1所示，成像設備10包括光學系統11和作為固態成像器件的CMOS圖像傳感 器12。光學系統11在成像器件12的成像表面上形成被攝體圖像。CMOS圖像傳感器12包括像素部件13、模擬前端(AFE) 14、模數轉換器(ADC) 15和 預處理部分16。CMOS圖像傳感器12包括缺陷檢測和校正電路17，其採用根據本發明第一實施例 的像素缺陷校正方法；後處理部件18 ；以及功能和定時控制部件19。
像素部件13由CMOS傳感器形成，並且多個單元像素以矩陣排列。例如，採用圖2中所示的拜耳排列作為像素部件13中的像素排列。圖3是示出第一實施例中像素部件13中單元像素的配置示例的電路圖。圖3示出了第一實施例中由四個電晶體形成的CMOS圖像傳感器的像素示例。每一個像素電路130具有由光電二極體形成的光電轉換元件131，例如如圖3所示。另外，像素電路130具有四個電晶體傳輸電晶體132、復位電晶體133、放大晶體 管134和選擇電晶體135，作為一個光電轉換元件131的有源元件。光電轉換元件131執行入射光到與光量相對應的電荷(這裡為電子)的光電轉換。傳輸電晶體132連接在光電轉換元件131和浮置擴散FD之間，並將作為控制信號 的傳輸信號TG經由傳輸控制線LTx發送到傳輸電晶體132的柵極(傳輸柵極)。因此，傳輸電晶體132將由光電轉換元件131進行光電轉換的電子傳輸到浮動擴 散FD。復位電晶體133連接在電源線LVDD和浮動擴散FD之間，並將作為控制信號的復 位信號RST經由復位控制線LRST發送到復位電晶體133的柵極。因此，復位電晶體133將浮動擴散FD的電勢復位到電源線LVDD的電勢。放大電晶體134的柵極連接到浮動擴散FD。放大電晶體134經由選擇電晶體135 連接到信號線LSGN，並與在像素部件外提供的恆流源136 —起形成源極跟隨器。另外，將根據地址信號的作為控制信號的選擇信號SEL經由選擇控制線LSEL發送 到選擇電晶體135的柵極。結果，選擇電晶體135導通。如果選擇電晶體135導通，則放大電晶體134放大浮動擴散FD的電勢，並將與電 勢相對應的電壓輸出到信號線LSGN。將從每一個像素輸出的電壓經由信號線LSGN輸出到 作為讀電路的AFE 14。例如，由於傳輸電晶體132、復位電晶體133和選擇電晶體135的柵極以行為單位 連接，因此對於一行像素同時地執行這些操作。在像素部件13中，與像素陣列部分線連接的一組復位控制線LRST、傳輸控制線 LTx和選擇控制線LSEL以像素排列的行為單位線連接。通過垂直掃描電路(未示出)來驅動復位控制線LRST、傳輸控制線LTx和選擇控 制線LSEL。另外，輸出信號線LSGN連接到包括相關二重採樣(CDS)電路等的讀電路。在第一實施例中，使AFE 14具有⑶S電路功能。當在通過利用預處理部件16執行數位訊號處理所獲得的數字圖像信號中存在缺 陷像素信號時，缺陷檢測和校正電路17使用缺陷像素檢測和校正方法(稍後將詳細描述) 來校正缺陷像素，並將校正之後的數位訊號輸出到後處理部件18。如下面所示，第一實施例中的缺陷檢測和校正電路17從圖像(其中以二維方式排 列多個像素)中選擇感興趣像素，並確定所選的感興趣像素是否為缺陷像素。當所選的感 興趣像素是缺陷像素時，缺陷檢測和校正電路17校正感興趣像素的值。另外，缺陷檢測和校正電路17具有梯度檢測功能，其使用具有與要確定其缺陷的像素(所選的感興趣像素)相同顏色的像素以外的彩色像素。缺陷檢測和校正電路17具有梯度檢測功能，其使用具有與要確定其缺陷的像素 相同顏色的像素以外的彩色像素；以及改變功能，用於通過梯度檢測功能，當選擇包括具有 相同顏色的相鄰缺陷像素的最大或最小值的方向作為缺陷校正方向時，改變到其他方向。另外，缺陷檢測和校正電路17具有在以具有相同顏色的八個外圍像素的平均值 來替換要確定其缺陷的像素之後使用該像素的梯度檢測功能。缺陷檢測和校正電路17具有在以相同顏色周圍除了最大和最小值之外的六個像 素的平均值來替換要確定其缺陷的像素之後使用該像素的梯度檢測功能。在下文中，將描述成像設備10的功能概要，然後將描述像素部件的特定配置示例 以及缺陷檢測和校正電路17的特定配置和功能。[成像設備的功能概要]經由光學系統11將從被攝體獲得的入射光輸入到CMOS圖像傳感器12的像素部 件13。在像素部件13中通過光電轉換將入射光轉換為電信號，然後將其輸入到AFE 14。 輸出輸入電信號作為由AFE 14執行相關二重採樣和自動增益控制(AGC)之後的電信號。輸出從AFE 14輸出的電信號，作為由ADC 15執行A/D轉換處理之後的數位訊號。由預處理部件16執行關於數位訊號的各種數字處理，並且將數位訊號輸出到缺 陷檢測和校正電路17。當在數位訊號中存在缺陷像素信號時，缺陷檢測和校正電路17使用缺陷像素檢 測和校正方法(稍後描述)來校正缺陷像素信號，並輸出校正之後的數位訊號。將數位訊號輸入到後處理部件18，並且在執行各種數字處理之後進行輸出。數字 信號變為CMOS圖像傳感器12的輸出信號。另外，功能和定時控制部件19控制CMOS圖像傳感器12的每一部件的操作。[像素部件的配置示例]圖4是示出圖1中所示的像素部件13的配置示例的圖。像素部件13具有有效像素區域21 (其具有多個有效像素31，每一個均具有與RGB 顏色之一對應的濾波器)以及消隱區域22和23，如圖4所示。消隱區域22具有OB像素區域25(其具有多個光學黑(OB)像素32)和虛擬 (dummy)像素區域24 (其具有多個虛擬像素33)。有效像素區域21包括R (紅)透射濾波器的像素PX10、B (藍)透射濾波器的像素 PXll和G (綠)透射濾波器的像素PX12作為有效像素31，並且這些像素以矩陣排列。有效像素區域21具有第一濾波器行FLTl 1，其中R透射濾波器的像素PXlO和G透 射濾波器的像素PX12在水平方向(X方向)上交替地重複。有效像素區域21具有第二濾波器行FLT12，其中G透射濾波器的像素PX12和B透 射濾波器的像素PXll在水平方向上交替地重複。在有效像素區域21中，第一和第二濾波器行FLTll和FLT12在垂直方向(Y方向) 上重複地交替排列。排列第一濾波器行FLTll的G透射濾波器的像素PX12和第二濾波器行FLT12的 G透射濾波器的像素PX12，以便在垂直方向上彼此不重疊。一般來說，該濾波器排列用作拜耳排列。此外，與具有RGB濾波器的有效像素31類似，在OB行OPB 11 (其中OB像素32處 於陰影狀態)中可能存在缺陷像素。在虛擬像素行DMYll中不存在缺陷。從多個虛擬像素行DMY11、多個OB行OPBll以及第一和第二濾波器行FLTll和 FLT12交替地輸出這些像素輸出。在第一實施例中，在多個OB行OPB 11和有效像素區域21的多個行中執行缺陷檢 測和校正處理。[缺陷檢測和校正電路的配置示例]圖5是示出根據第一實施例的缺陷檢測和校正電路17的配置示例的圖。圖6是示出拜耳排列上的處理區域(5像素X5像素)的示例的圖。圖7是示出當使用偽值作為亮度值時偽亮度值計算處理的圖像的圖。圖8A到圖8D是示出梯度計算中涉及的亮度位置的圖。圖9是示出除了具有與要確定其缺陷的像素相同顏色的像素之外的偽亮度計算 處理的圖像的圖。如圖5所示，缺陷檢測和校正電路17包括線緩衝器171、閾值和係數設置部件 172、缺陷確定閾值計算部件173、梯度計算部件(梯度檢測部件)174、缺陷確定部件175、校 正值計算部件(校正值獲取部件)176和缺陷像素替換部件177。另外，儘管在第一實施例中描述了梯度檢測的示例，但是本發明也可以類似地應 用於邊緣檢測的情況。線緩衝器171由四條線的存儲器形成，並根據從像素部件13輸出的拜耳排列信號 SIM產生(水平方向上5像素)X (垂直方向上5個像素)的處理區域PRCA (感興趣像素 (要確定其缺陷的像素DJPX)位於中間)，如圖6所示。線緩衝器171將信號S171 (其包括關於所產生的處理區域PRCA的信息)輸出到 缺陷確定閾值計算部件173和梯度計算部件174。這裡，水平方向是圖6所示的坐標系上的X方向，而垂直方向是Y方向。另外，儘管處理區域是5像素X5像素的區域，但這僅為示例。例如，本發明也可 以應用於比5像素X5像素的區域更大的區域。缺陷確定閾值計算部件173將從在前一級提供的線緩衝器171輸出的缺陷確定基 準值DJRF乘以閾值和係數設置部件172所設置的閾值和係數。儘管不特別地限制缺陷確定基準值DJRF，但具有相同顏色或不同顏色的相鄰像素 的最大值、最小值或平均值、第N最大值或第N最小值(N:2到4)等對應於缺陷確定基準值 DJRF。可以組合地應用擴散和相關。缺陷確定閾值計算部件173將計算結果輸出到缺陷確定部件175，作為信號S173。缺陷確定部件175將使用該要確定其缺陷的像素DJPX或一要確定其缺陷的像素 的計算值與作為閾值的缺陷確定閾值計算部件的計算結果進行比較，並確定其是否為缺陷像素。缺陷確定部件175將指示要確定其缺陷的像素(感興趣像素)是否為缺陷像素的 確定結果輸出到缺陷像素替換部件177，作為信號S175。
梯度計算部件174計算要確定其缺陷的像素位於中間的5X5像素的處理區域的 梯度。一般而言，梯度計算部件174在計算亮度值之後計算梯度。這裡，為了簡單起見，將偽值用作亮度值。圖7示出了偽亮度的圖像。通過比較圖7 和圖 6，可以看出「3、(、6、1^111、0、11、《、7」是1 ，「13、(1、1、11、￥、1」是 Gr，而 「f、h、」、？、1~3」是613，並且「8、i、q、S」 是 B。偽亮度的位置是在四個像素圍繞的位置處示出的「A、B、C、D、E、F、G、H、I、J、K、L、 Μ、Ν、0、Ρ」。根據四個圍繞像素之和來計算偽亮度。例如，A = (a+b+f+g)、B = (b+c+g+h)........P = (s+t+x+y)。這些可以是平均值，或者R、Gr、B和( 可以與加權係數相乘。在偽亮度計算之後，對於每一個方向計算梯度，並且如圖8A到圖8D所示，檢測到 與最緩和的梯度對應的方向。梯度計算可以經由差運算或差分運算來執行，或者可以以邊 緣檢測來代替。在這種情況下，可以經由二次差運算或二次差分運算來執行。圖8A到圖8D示出了對於每一個方向以直線對齊的三個連續亮度值的四個組。圖8A示出了在垂直方向上計算梯度的示例，圖8B示出了在水平方向上計算梯度 的示例，圖8C示出了在右上方向上計算梯度的示例，而圖8D示出了在左上方向上計算梯度 的示例。也就是說，梯度計算部件184在四個方向(垂直方向、水平方向、45°傾斜方向和 135°傾斜方向)上獲取梯度。下面示出二次差分的運算示例。假設以直線對齊的三個亮度值是X、Y和Z，並且設置X-2Y+Z。對於每一個方向計算四個二次差分值，對於每一個方向計算並比較絕對值之和， 並且將與最小值對應的方向設置為最緩和的梯度方向。在第一實施例中，如下運算用於上述偽亮度計算。圖9示出了第一實施例中使用的偽亮度運算的圖像。偽亮度的位置為在四個像素圍繞的位置處示出的「A'、B'、C'、D'、E'、F'、 G'、H'、I'、J'、K'、L'、M'、N'、 『、P'，，。在圖9中，根據除了具有與缺陷像素相同顏色的像素之外的四個圍繞像素的三個 像素之和計算偽亮度。例如，A= (b+f+g)、B = (b+g+h)........P = (s+t+x)。這些可以是平均值，或者R、Gr、B和( 可以以與上述相同的方式與加權係數相乘。 梯度計算與上述的相同。另外，圖9示出了當感興趣像素是像圖6那樣的拜耳排列的紅(R)或藍⑶時偽 亮度的示例。當感興趣像素是拜耳排列的綠(Gr或( )時，例如，優選地對於Gr或( 的每 一個組獨立地根據除了具有與缺陷像素相同顏色的像素之外的三個像素計算偽亮度。梯度計算部件174從對於多個方向計算出的梯度中選擇最緩和的梯度方向。梯 度計算部件174將指示所選的最緩和的梯度方向的梯度計算結果輸出到校正值計算部件 176，作為信號S174。根據在前一級提供的梯度計算部件174所選擇的最緩和的梯度方向，校正值計算 部件176對要用於計算校正值的像素做出決定，並執行運算。
當使用圖7中所示的符號時，如果最緩和的傾斜是縱向方向，則將(c+w)/2設置為 缺陷像素m的校正值，如果最緩和的傾斜是水平方向，則將(k+o) /2設置為缺陷像素m的校 正值，如果最緩和的傾斜是右上方向，則將(e+u)/2設置為缺陷像素m的校正值，而如果最 緩和的傾斜是左上方向，則將(a+yV2設置為缺陷像素m的校正值。也就是說，對於要確定其缺陷的像素(感興趣像素)，校正值計算部件176選擇位 於所選的梯度方向上具有相同顏色的多個像素，並計算平均值作為校正值。校正值計算部件176將計算出的校正值輸出到缺陷像素替換部件177，作為信號 S176。當缺陷確定部件175確定要確定其缺陷的像素(感興趣像素)是缺陷像素時，缺 陷像素替換部件177以校正值計算部件176計算出的缺陷像素校正值來替換缺陷像素值。缺陷像素替換部件177輸出包括校正數據的圖像信號，作為信號S17。[關於缺陷檢測和校正處理的說明]圖10是示出根據第一實施例的缺陷檢測和校正電路的缺陷檢測和校正處理的流 程圖的圖。對於形成圖像的所有像素重複地執行圖10中的處理。[步驟 ST101]首先，在步驟ST101，線緩衝器171根據從像素部件13輸出的拜耳排列信號SIM， 產生(水平方向上的5個像素)X (垂直方向上的5個像素)的處理區域PRCA，其中感興趣 像素(要確定其缺陷的像素DJPX)位於中間。將包括關於由線緩衝器171產生的處理區域PRCA的信息的信號S171輸出到缺陷 確定閾值計算部件173和梯度計算部件174。在缺陷確定閾值計算部件173中，計算可以從外部設置的閾值以及係數和缺陷確 定基準值，並且計算用於確定要確定其缺陷的像素是否為缺陷像素的閾值。將計算結果輸出到缺陷確定部件175，作為信號S173。[步驟 STlO2]在步驟ST102，缺陷確定部件175將缺陷確定閾值計算部件173計算出的閾值與要 確定其缺陷的像素的值進行比較，並確定要確定其缺陷的像素是否為缺陷像素。將確定結果輸出到缺陷像素替換部件177。這裡，當確定要確定其缺陷的像素為缺陷像素時，處理進行到步驟ST103。[步驟 STlO3]在步驟ST103，梯度計算部件174計算當從5X5像素(缺陷像素位於中間)中排 除具有與缺陷像素相同顏色的像素時的偽亮度，並計算所有方向(縱向方向、水平方向、右 上方向和左上方向)上的梯度。[步驟 ST104]在步驟ST104，梯度計算部件174從步驟ST103中計算出的所有方向的梯度中選擇 最緩和的方向。具體地說，選擇邊緣強度輸出值最小的方向。將結果輸出到校正值計算部件176。[步驟 STlO5]在步驟ST105，在梯度計算部件174選擇的方向上，校正值計算部件176計算彼此 相鄰的、要確定其缺陷的像素插入在其間的、具有相同顏色的兩個像素的平均值。
將計算結果輸出到缺陷像素替換部件177。[步驟 ST106]在步驟ST106，缺陷像素替換部件177以校正值計算部件176計算出的校正值替換 已經被確定為有缺陷的、要確定其缺陷的像素的像素值。[步驟 STlO7]在步驟ST107，將包括步驟ST106中的處理之後以校正值替換的校正數據的圖像 信號作為信號S 17輸出到後面的處理系統。或者在步驟ST107，當在步驟ST102確定要確定其缺陷的像素不是缺陷像素時，將 不包括校正數據的圖像信號S17輸出到後面的處理系統。也就是說，按照原樣地輸出要確 定其缺陷的像素DJPX。圖IlA到圖IlC是示出實際的處理圖像的圖。圖IlA示出了原始圖像，圖IlB示出了已經使用已知方法校正了其缺陷的圖像，而 圖IlC示出了已經使用根據第一實施例的方法校正了其缺陷的圖像。圖12是示出了在圖IlA到圖IlC所示的情況下像素值的示例的圖。圖13是示出使用已知方法計算出的偽亮度的圖。圖14是示出使用根據第一實施例的方法計算出的偽亮度的圖。下面示出使用已知方法的梯度計算。縱向方向1942-2構40+10361 +11007-2構71+9821 +1940-2*1036+10711 +1971-2構82+9961 = 209水平方向1616-2*940+9711 +1748-2*1036+9821 +1940-2*971+6811 +11036-2*982+6481 = 1236右上方向1051-2*971+1036|+|971-2*1036+1142|+|1007-2*940+748|+|681-2*982+1071 = 523左上方向1856-2構40+982| +1940-2構82+9241 +1942-2構71+648| +1616-2*1036+996| = 954因此，將最小的縱向方向確定為最緩和的梯度。下面示出第一實施例中的梯度計算。縱向方向I 587-2*456+552 I+ I 652-2*487+498 I+ I 456-2*552+700 I+ I 487-2*498+625 I = 571水平方向I 444-2*456+487 I+ I 576-2*552+498 I+ I 456-2*487+514 I+ I 552-2*498+4811 = 90右上方向I 679-2*487+552| +1487-2*552+724| +1652-2*456+576| +1514-2*498+700| = 898左上方向I 575-2*456+498 I+ I 456-2*498+608 I+ I 587-2*487+4811+ I 444-2*552+625 I = 358因此，將最小的水平方向確定為最緩和的梯度。同樣根據圖11A，很清楚選擇水平方向作為校正方向是優選的。圖IlA示出了水平條紋圖案的圖像。作為修改，可以以具有相同顏色的八個外圍像素的平均值來替換要確定其缺陷的像素的值。圖15是示出當以具有相同顏色的八個外圍像素的平均值來替換要確定其缺陷的 像素從而計算偽亮度時的圖像的圖。在這種情況下，變為A = (a+b+f+g)、B = (b+c+g+h)........P = (s+t+x+y)。可替代地，可以以具有相同顏色的八個外圍像素之中除了最大和最小值之外的六 個像素的平均值來替換要確定其缺陷的像素的值，或者可以以具有相同顏色的八個外圍像 素之中從最大像素值排除兩個像素且從最小像素值排除兩個像素的四個像素的平均值來 替換要確定其缺陷的像素的值。毫無疑問，可以以中間的兩個像素的平均值來替換要確定其缺陷的像素的值，或 者可以以具有第N最大像素值的像素來替換要確定其缺陷的像素的值。如上所述，根據第一實施例，可以獲得如下效果。也就是說，根據第一實施例，當計算梯度時不使用被確定為有缺陷的像素值。因 此，提高了梯度識別的精度。結果，由於直到輸出圖像的細節部分對於用戶來說沒有不舒服 的感覺，因此提高了整個圖像的質量。特別地，這對於具有高解析度的輸入圖像很有效。此外，由於不需要添加特殊的複雜操作，因此電路尺寸和功耗與已知技術中的那 些沒有很大不同。〈第二實施例〉[像素缺陷的種類]第一實施例是當感興趣像素具有缺陷時適當地校正感興趣像素的值的示例。另一 方面，第二實施例是當在感興趣像素中以及感興趣像素周圍具有相同顏色的像素中存在缺 陷時(即當存在偶聯像素缺陷時)，適當地校正感興趣像素的值的示例。圖16A和圖16B是當在感興趣像素中存在缺陷時的說明圖。圖16A示出了白缺陷 的示例，而圖16B示出了黑缺陷的示例。在圖16A和圖16B中，以三行X三列排列的九個柱形對應於具有相同顏色的九個 相鄰像素，並且高度對應於每一個像素的像素值。也就是說，中間的柱形是感興趣像素，並 且其周圍的八個柱形對應於感興趣像素周圍具有相同顏色的相鄰像素。另外，當僅感興趣像素具有白缺陷時，感興趣像素的像素值變為如圖16A中所示 的大值。在這種情況下，感興趣像素的像素值突出於(project out over)具有相同顏色的 外圍像素的像素值(在圖16A中，左上像素的像素值)之上。另外，當僅感興趣像素具有黑缺陷時，感興趣像素的像素值變為如圖16B所示的 小值。在這種情況下，感興趣像素的像素值低於具有相同顏色的外圍像素的最小像素值 (在圖16B中，右列中中間像素的像素值)。此外，在第一實施例的像素缺陷校正方法中，當僅感興趣像素具有如上所述的缺 陷時，基於不具有缺陷的外圍像素的像素值可以適當地校正感興趣像素的像素值。圖17A和圖17B是當感興趣像素和外圍像素中存在缺陷時的說明圖。圖17A示出 了白缺陷的示例，而圖17B示出了黑缺陷的示例。在圖17A和圖17B中，與圖16A和圖16B類似地，九列對應於具有相同顏色的九個相鄰像素。另外，當在感興趣像素和右上外圍像素中存在白缺陷時，感興趣像素的像素值和右上外圍像素的像素值變為如圖17A所示的大值。在這種情況下，感興趣像素的像素值和 右上外圍像素的像素值突出於具有相同顏色的其他外圍像素的像素值之上。另外，當在感興趣像素和右上外圍像素中存在黑缺陷時，感興趣像素的像素值和 右上外圍像素的像素值變為如圖17B所示的大值。在這種情況下，感興趣像素的像素值和 右上外圍像素的像素值低於具有相同顏色的其他外圍像素的像素值。因此，當出現偶聯缺陷時，在第一實施例的像素缺陷校正方法中可能不能適當地 校正感興趣像素的像素值。例如，當基於偽亮度值選擇的邊緣的方向是圖17A和圖17B中的右上方向時，右上 外圍像素和左下外圍像素被選為用於計算校正值的像素。此外，計算有缺陷的右上外圍像素的像素值和沒有缺陷的左下外圍像素的像素值 的平均值，作為感興趣像素的校正值。在這種情況下，認為有缺陷的感興趣像素的校正值受具有缺陷的外圍像素的像素 值影響。也就是說，即使通過第一實施例的像素缺陷校正方法校正感興趣像素的像素值， 以校正值替換的感興趣像素的像素值不合適，這是因為感興趣像素受外圍像素的缺陷影 響。[缺陷檢測和校正電路的配置示例]圖18是示出根據本發明第二實施例的缺陷檢測和校正電路17B的配置示例的圖。圖18中所示的缺陷檢測和校正電路17B包括線緩衝器201、相同顏色相鄰像素數 據排序部件202、閾值和係數設置部件203、閾值計算部件204、缺陷確定部件205、用於計算 校正值計算中使用的候選者的部件206以及缺陷像素替換部件207。另外，儘管在第二實施例中描述了邊緣檢測的示例，但是本發明可以類似地應用 於梯度檢測的情況。除了圖18中所示的那些之外，根據第二實施例的成像設備的配置與根據第一實 施例的成像設備的配置相同。因此，具有與第一實施例中相同功能的構成組件由與第一實 施例中相同的附圖標記表示，並且將省略其說明。線緩衝器201由圖像的五條線的存儲器形成，這是因為5行X5列的處理區域是 待計算的對象。線緩衝器201根據從像素部件13輸出的拜耳排列信號SIM，產生(水平方向上的 5行)X(垂直方向上的5列)的處理區域PRCA，其中感興趣像素(要確定其缺陷的像素 DJPX)位於中間，如圖6所示。線緩衝器201將包括關於所產生的處理區域PRCA的信息的信號S201輸出到相同 顏色相鄰像素數據排序部件202、缺陷確定部件205以及用於計算校正值計算中使用的候 選者的部件206。這裡，水平方向是圖6中所示的坐標系上的X方向，並且垂直方向是Y方向。另外，儘管處理區域是5像素X5像素的處理區域，但是這僅為示例。例如，本發 明也可以應用於比5像素X5像素的區域更大的區域。相同顏色相鄰像素數據排序(sort)部件202選擇處理區域中包括的具有相同顏 色的感興趣像素和外圍像素，並且以像素值的次序將它們進行排序。
例如，在圖6所示的處理區域(5像素X5像素)中，當感興趣像素是紅(R)或藍 (B)時，選擇八個外圍像素，並且以像素值的次序進行排序。此外，當感興趣像素是綠(Gr， Gb)時，例如，對於Gr或( 的每個組獨立地選擇八個外圍像素，並以像素值的次序進行排序。然後，相同顏色相鄰像素數據排序部件202將包括排序結果的信號S202輸出到閾 值計算部件204。閾值計算部件204計算用於在處理區域中確定缺陷像素的閾值。例如，閾值計算部件204基於在排序結果中包括的八個外圍像素的像素值之中的 最大值、第二最大值、最小值和第二最小值來計算四個閾值。具體地說，例如，閾值計算部件204將四個像素值乘以通過閾值和係數設置部件 203外部地設置的閾值和係數。然後，閾值計算部件204將包括四個閾值的計算結果的信號S204輸出到缺陷確定 部件205。缺陷確定部件205確定感興趣像素的缺陷、具有與感興趣像素相同顏色的外圍像 素的最大值的缺陷以及具有與感興趣像素相同顏色的外圍像素的最小值的缺陷。也就是 說，缺陷確定部件205確定僅感興趣像素有缺陷的情況、感興趣像素和具有相同顏色的外 圍像素有缺陷的情況(在偶聯缺陷的情況下)以及沒有缺陷的情況。例如，缺陷確定部件205基於外圍像素的最大值的閾值，確定感興趣像素是否有 缺陷。例如，當感興趣像素的值大於外圍像素的最大值的閾值時，缺陷確定部件205確定感 興趣像素有缺陷。另外，缺陷確定部件205基於外圍像素的第二最大值的閾值確定感興趣像素是否 有缺陷。另外，缺陷確定部件205基於外圍像素的第二最大值的閾值確定最大值的外圍像 素是否有缺陷。通過上述確定，缺陷確定部件205可以確定感興趣像素和具有相同顏色的最大值 的外圍像素中是否包括白缺陷。另外，缺陷確定部件205基於外圍像素的最小值的閾值確定感興趣像素是否有缺 陷。另外，缺陷確定部件205基於外圍像素的第二最小值的閾值確定感興趣像素是否 有缺陷。另外，缺陷確定部件205基於外圍像素的第二最小值的閾值確定最小值的外圍像 素是否有缺陷。通過上述確定，缺陷確定部件205可以確定感興趣像素和具有相同顏色的最大值 的外圍像素中是否包括黑缺陷。然後，缺陷確定部件205將關於感興趣像素和具有相同顏色的外圍像素的缺陷的 確定結果的信號S205輸出到缺陷像素替換部件207。用於計算校正值計算中使用的候選者的部件206基於要確定其缺陷的像素位於 中間的5X5的處理區域的邊緣，指定在計算有缺陷的感興趣像素的校正值時使用的具有 相同顏色的外圍像素。
另外，由用於計算校正值計算中使用的候選者的部件206執行的計算關於處理區 域的多個方向上的邊緣強度的處理和由用於計算校正值計算中使用的候選者的部件206 執行的選擇處理與第一實施例中梯度計算部件174的那些處理相同。然後，用於計算校正值計算中使用的候選者的部件206指定存在於以感興趣像素 作為基準指定的最緩和邊緣的方向上的兩個像素，作為感興趣像素的校正值的計算中使用 的具有相同顏色的外圍像素。因此，用於計算校正值計算中使用的候選者的部件206可以 在所選邊緣的方向上指定在感興趣像素插入其間的位置的一對像素。另外，用於計算校正值計算中使用的候選者的部件206將包括指示具有相同顏色 的指定的外圍像素的信息輸出到缺陷像素替換部件207。當感興趣像素是缺陷像素時，缺陷像素替換部件207以校正值替換感興趣像素的值。此外，缺陷像素替換部件207根據由位於前一級的用於計算校正值計算中使用的 候選者的部件206指定的像素的值來計算校正值。具體地說，當在由用於計算校正值計算中使用的候選者的部件206指定的兩個像 素中不包括缺陷像素時，缺陷像素替換部件207計算兩個像素的平均值作為校正值。另外，當在由用於計算校正值計算中使用的候選者的部件206指定的兩個像素中 包括缺陷像素時，缺陷像素替換部件207將兩個像素之間不是缺陷像素的像素的像素值設 置為校正值。另外，當感興趣像素不是缺陷像素時，缺陷像素替換部件207將感興趣像素的像 素值的信號S208輸出到下一級。另外，當感興趣像素是缺陷像素時，缺陷像素替換部件207將包括作為感興趣像 素的像素值的計算出的校正值的信號S208輸出到下一級。結果，當感興趣像素是缺陷像素時，缺陷像素替換部件207可以以適當的校正值 (其並非基於缺陷像素的值)替換感興趣像素的值，並將其輸出。[關於缺陷檢測和校正處理的說明]圖19是示出第二實施例中缺陷檢測和校正電路17B的缺陷檢測和校正處理的流 程圖的圖。對於形成圖像的所有像素重複地執行圖19中的處理。[步驟 ST201]首先，在步驟ST201，線緩衝器201根據從像素部件13輸出的拜耳排列信號SIM， 產生(水平方向上的5個像素)X (垂直方向上的5個像素)的處理區域PRCA，感興趣像素 (要確定其缺陷的像素DJPX)位於中間。將包括關於由線緩衝器201產生的處理區域PRCA的信息的信號S201輸出到相同 顏色相鄰像素數據排序部件202和用於計算校正值計算中使用的候選者的部件206。此外，線緩衝器201將包括關於感興趣像素的信息的信號輸出到缺陷確定部件 205。然後，用於計算校正值計算中使用的候選者的部件206根據處理區域PRCA中包括 的多個像素的像素值來計算偽亮度。在5行X5列的處理區域中，計算4行X4列的偽亮度。另外，儘管在第二實施例中根據除了感興趣像素和具有相同顏色的外圍像素之外的像素的亮度值來計算每一個偽亮度，但是每一個偽亮度也可以根據5行X5列的處理區 域中所有像素的像素值來計算。[步驟 ST202]在步驟ST202，用於計算校正值計算中使用的候選者的部件206根據偽亮度，計算 在處理區域的所有方向(縱向方向、水平方向、右上方向和左上方向)上的邊緣強度。[步驟 ST203]在步驟ST203，用於計算校正值計算中使用的候選者的部件206從步驟ST202中計 算出的所有方向的邊緣強度中選擇最緩和的方向(弱方向)。具體地說，選擇其中邊緣強度 輸出值最小的方向。用於計算校正值計算中使用的候選者的部件206將包括所選邊緣的方向的信號 輸出到缺陷像素替換部件207。[步驟 ST204]在步驟ST204，相同顏色相鄰像素數據排序部件202選擇處理區域中包括的感興 趣像素和具有相同顏色的外圍像素，並以像素值的次序將其排序。然後，相同顏色相鄰像素 數據排序部件202將包括排序結果的信號S202輸出到閾值計算部件204。[ST205]在步驟ST205，閾值計算部件204計算用於確定處理區域中的缺陷像素的閾值。 閾值計算部件204基於排序結果中包括的多個外圍像素的像素值之中的最大值、第二最大 值、最小值和第二最小值，來計算四個閾值。然後，閾值計算部件204將包括四個閾值的計 算結果的信號S204輸出到缺陷確定部件205。[步驟 ST206]在步驟ST206，缺陷確定部件205確定具有相同顏色的相鄰像素中是否包括缺陷。具體地說，缺陷確定部件205基於外圍像素的第二最大值的閾值來確定最大值的 相鄰像素是否有缺陷。另外，缺陷確定部件205基於外圍像素的第二最小值的閾值來確定最小值的外圍 像素是否有缺陷。[步驟 ST2O7]步驟ST207是當具有相同顏色的相鄰像素中不包括缺陷時缺陷確定部件205執行 的確定感興趣像素的缺陷的步驟。當在具有相同顏色的相鄰像素中不包括缺陷時，缺陷確定部件205基於外圍像素 的最大值的閾值來確定感興趣像素是否有缺陷。另外，缺陷確定部件205基於外圍像素的最小值的閾值來確定感興趣像素是否有 缺陷。[步驟 ST208]步驟ST208是當感興趣像素和具有相同顏色的相鄰像素中不包括缺陷時，缺陷像 素替換部件207執行的獲取校正值的步驟。當在感興趣像素和具有相同顏色的相鄰像素中不包括缺陷時，缺陷像素替換部件 207獲取感興趣像素的像素值作為校正值。[步驟 ST209]
步驟ST209是當僅感興趣像素有缺陷時缺陷像素替換部件207執行的獲取校正值 的步驟。當僅感興趣像素有缺陷時，缺陷像素替換部件207在步驟ST203中選擇的最弱方 向上選擇具有相同顏色的一對相鄰像素(位於感興趣像素插入在其間的位置)。另外，缺陷像素替換部件207計算具有相同顏色的兩個所選的相鄰像素的像素值 的平均值作為校正值。[步驟 ST210]步驟ST210是當具有相同顏色的相鄰像素中包括缺陷時，缺陷確定部件執行的確 定感興趣像素的缺陷的步驟。當在具有相同顏色的相鄰像素中包括缺陷時，缺陷確定部件205基於外圍像素的 第二最大值的閾值來確定感興趣像素是否有缺陷。另外，缺陷確定部件205基於外圍像素的第二最小值的閾值來確定感興趣像素是 否有缺陷。因此，用於確定感興趣像素的缺陷的標準和用於確定具有相同顏色的相鄰像素的 缺陷的標準二者是具有相同顏色的相鄰像素的第二最大值或第二最小值。結果，可以避免基於具有相同顏色的多個相鄰像素的像素值之中最大或最小的缺 陷像素的像素值來確定感興趣像素的缺陷的情形。可以根據正常像素值來確定感興趣像素 的缺陷。[步驟 ST2Il]步驟ST211是當僅具有相同顏色的相鄰像素有缺陷時，缺陷像素替換部件207執 行的獲取校正值的步驟。當僅具有相同顏色的相鄰像素有缺陷時，缺陷像素替換部件207獲取感興趣像素 的像素值作為校正值。[步驟 ST2I2]步驟ST212是當感興趣像素和具有相同顏色的相鄰像素有缺陷時，缺陷像素替換 部件207執行的確定步驟。當感興趣像素和具有相同顏色的相鄰像素有缺陷時，缺陷像素替換部件207確定 在步驟ST203中選擇的最緩和的方向上是否包括被確定有缺陷的最大值或最小值。然後，當在最緩和的方向上不包括被確定為有缺陷的最大值或最小值時，缺陷像 素替換部件207通過步驟ST209中的處理，計算具有相同顏色的兩個相鄰像素(其在最緩 和的方向上彼此相鄰)的像素值的平均值，作為校正值。[步驟 ST213]步驟ST213是當在最緩和的方向上包括被確定為有缺陷的最大值或最小值時，缺 陷像素替換部件207執行的獲取校正值的步驟。當在最緩和的方向上包括被確定為有缺陷的最大值或最小值時，缺陷像素替換部 件207獲取未被確定為有缺陷的具有相同顏色的相鄰像素的像素值作為校正值。也就是說，缺陷像素替換部件207根據最緩和的方向上具有相同顏色的多個相鄰 像素之中的缺陷像素以外的像素的值獲取校正值。[步驟 ST214]
在步驟ST214，缺陷像素替換部件207以步驟ST208、ST209、ST211或ST213中獲 取的校正值來替換感興趣像素的像素值。缺陷像素替換部件207將包括所獲取的校正值的信號輸出到下一處理系統，作為 感興趣像素的像素值。[像素缺陷校正的示例]圖20到圖22是示出實際的處理圖像的圖。圖20示出了原始圖像。在圖20中所示的原始圖像中，嵌入了一對偶聯像素缺陷。圖21示出了通過使用根據第一實施例的方法來校正圖20中的圖像所獲得的圖像。圖22示出了通過使用根據第二實施例的方法來校正圖20中的圖像所獲得的圖像。在根據第一實施例的像素缺陷校正方法中，偶聯像素缺陷(缺陷分量)幾乎保持 原樣，如圖21所示。另一方面，在根據第二實施例的像素缺陷校正方法中，實現了幾乎完全的校正，以 使得存在偶聯像素缺陷的地方不清楚，如圖22所示。如上所述，根據第二實施例，可以獲得如下效果。也就是說，根據第二實施例，當計算邊緣時不使用被確定為有缺陷的像素值。因 此，提高了邊緣強度的精度。結果，由於直到輸出圖像的細節部件不存在不舒服的感覺，因 此提高了整體圖像的質量。特別地，這對於具有高解析度的輸入圖像很有效。此外，由於不需要添加特殊的複雜操作，因此電路尺寸和功耗與已知技術中的那 些沒有很大不同。此外，在第二實施例中，不僅在僅感興趣像素有缺陷的情況下而且在存在偶聯缺 陷的情況下，獲取感興趣像素的校正值，而不使用缺陷像素的值。因此，在第二實施例中，可以執行校正，以使得不剩下組成部分。此外，第二實施例的算法可以通過部分地擴展一部分已知算法來實現。另外，不需 要存儲外圍像素的最大值或最小值的位置。因此，可以抑制電路尺寸或功耗的增大。此外，在第二實施例中，缺陷確定部件205基於外圍像素的第二最大值或第二最 小值，確定處理區域中包括的外圍像素之中最大值或最小值的外圍像素的缺陷。另外，當最大值或最小值的外圍像素沒有缺陷時，缺陷確定部件205基於最大值 或最小值確定感興趣像素的缺陷。另外，當最大值或最小值的外圍像素有缺陷時，缺陷確定部件205基於第二最大 值或第二最小值確定感興趣像素的缺陷。因此，在第二實施例中，可以避免當處理區域的圖像整體上亮或暗時確定感興趣 像素和最大值或最小值的外圍像素有缺陷的情形。[關於另一缺陷檢測和校正處理的說明]第二實施例中的圖19中所示的流程圖是在與圖10的第一實施例中的流程圖對應 的流程中校正像素缺陷。另外，可以考慮校正像素缺陷的另一處理。圖23是示出第二實施例中缺陷檢測和校正電路17B的另一缺陷檢測和校正處理 的流程圖的圖。對於形成圖像的所有像素重複地執行圖23中的處理。
圖23中的處理流程適於圖18所示的缺陷檢測和校正電路17B的配置，並且比圖 18中所示的缺陷檢測和校正電路17B執行圖19中的處理的情況更容易地執行。[步驟 ST301]在圖23中所示的步驟ST301，相同顏色相鄰像素數據排序部件202選擇處理區域 中包括的感興趣像素和具有相同顏色的外圍像素，並且以像素值的次序將其排序。[步驟 ST302]在步驟ST302，閾值計算部件302計算用於確定處理區域中的缺陷像素的閾值。具體地說，閾值計算部件204基於排序結果中包括的多個外圍像素的像素值之中 的最大值、第二最大值、最小值和第二最小值來計算四個閾值。[步驟 ST303]在步驟ST303，缺陷確定部件205確定感興趣像素和具有相同顏色的相鄰像素中 是否包括缺陷。在這種情況下，缺陷確定部件205確定以下三件事以便確定白缺陷，並且產生三 位確定結果數據(xl，x2，x3)。1.基於外圍像素的最大值的閾值來確定感興趣像素的白缺陷(xl)。2.基於外圍像素的第二最大值的閾值來確定感興趣像素的白缺陷(x2)。3.基於外圍像素的第二最大值的閾值來確定最大值的相鄰像素的白缺陷(x3)。此外，缺陷確定部件205確定以下三件事以便確定黑缺陷，並且產生三位確定結 果數據(yl，y2，y3)。4.基於外圍像素的最小值的閾值來確定感興趣像素的黑缺陷(yl)。5.基於外圍像素的第二最小值的閾值來確定感興趣像素的黑缺陷(y2)。6.基於外圍像素的第二最小值的閾值來確定最小值的外圍像素的黑缺陷(y3)。這裡，當確定結果數據(xl,x2,x3)和(yl，y2，y3)是(1，X，0)(其中，X是0或1) 時，在外圍像素中沒有缺陷，並且僅感興趣像素有缺陷(正常缺陷)。此外，當確定結果數據(xl, x2, x3)和(yl, y2，y3)是(0,1,1)時，外圍像素和感 興趣像素有缺陷(相鄰缺陷)。此外，當確定結果數據(xl, x2, x3)和(yl, y2，y3)是(0,0,0)時，外圍像素和感 興趣像素沒有缺陷(無校正)。[步驟 ST304]步驟ST304是當步驟ST303的確定結果數據指示正常缺陷時執行的步驟。在步驟ST304，用於計算校正值計算中使用的候選者的部件206基於偽亮度，在處 理區域的所有方向(縱向方向、水平方向、右上方向和左上方向)上計算邊緣強度。另外， 用於計算校正值計算中使用的候選者的部件206從計算出的所有方向的邊緣強度中選擇 最緩和的方向。此外，作為正常缺陷校正處理，缺陷像素替換部件207在最緩和方向上計算具有 相同顏色的多個相鄰像素的平均值。[步驟 ST305]步驟ST305是當步驟ST303中的確定結果數據指示相鄰缺陷時執行的步驟。在步驟ST305，用於計算校正值計算中使用的候選者的部件206基於偽亮度，在處21理區域的所有方向(縱向方向、水平方向、右上方向和左上方向)上計算邊緣強度。另外， 用於計算校正值計算中使用的候選者的部件206從計算出的所有方向的邊緣強度中選擇 最緩和的方向。此外，作為相鄰缺陷校正處理，缺陷像素替換部件207獲取在最緩和的方向上具 有相同顏色的多個相鄰像素之中的沒有缺陷的像素的像素值。此外，在步驟ST305，當具有不同顏色的相鄰像素或具有相同顏色的相鄰像素中包 括多個高亮度像素時，缺陷像素替換部件207可以執行相鄰缺陷校正處理的例外處理。例如，當具有不同顏色的相鄰像素的最大值和第二最大值以及感興趣像素的值全 部為高亮度時，處理範圍的圖像被認為是亮的實型圖像(solid patternimage) 0另外，當具有不同顏色的相鄰像素的最小值和第二最小值以及感興趣像素的值全 部為低亮度時，處理範圍的圖像被認為是暗的實型圖像。在這些情況下，優選地，缺陷像素替換部件207執行正常缺陷校正處理或不執行 校正以作為例外處理。[步驟 ST306]在步驟ST306，缺陷像素替換部件207使用在步驟ST304和ST305中獲得的校正值 來替換感興趣像素的像素值。[步驟 ST307]在步驟ST307，缺陷像素替換部件207將包括所獲取的校正值的信號或包括沒有 缺陷的感興趣像素的像素值的信號輸出到下一處理系統，作為感興趣像素的像素值。因此，在圖23中所示的像素缺陷校正處理中，當缺陷確定部件205確定缺陷時，在 一個步驟中執行三種確定。因此，圖23中所示的像素缺陷校正處理適於圖18中所示的缺 陷檢測和校正電路17B的配置。儘管上述實施例是本發明優選實施例的示例，但是本發明不限於此，在不脫離本 發明的精神和範圍的情況下可以進行各種修改和變化。例如，以上描述的每一個實施例均可應用於使用CMOS圖像傳感器作為圖像傳感 器(固態成像器件)的固態成像設備。固態成像設備可以應用於具有各種成像功能的設備，如行動電話、攝像機和數碼 相機。此外，以上詳細描述的每一個實施例的方法也可以實現為由計算機(如，CPU)執 行的根據以上過程的程序。另外，可以將這種程序記錄在記錄介質(如半導體存儲器、磁碟、光碟和軟(註冊 商標)盤)中，並且其中設置有記錄介質的計算機可以存取和執行該程序。在第二實施例中，當感興趣像素和具有相同顏色的相鄰像素有缺陷時，基於具有 相同顏色的相鄰像素的第二值的閾值來確定這些像素的缺陷。另外，例如，當處理區域中包括的具有相同顏色的多個外圍像素以其值的次序排 列時，可以以排列的第η (η是3或更大的自然數)最大值或第η最小值作為基準來確定與 每一處理有關的像素的缺陷。例如，基於外圍像素的第η最大值，可以確定在處理區域中包括的多個外圍像素 之中，從最大值或最小值到第(η-1)個值的多個外圍像素的缺陷以及感興趣像素的缺陷。
在這種情況下，例如，即使當具有相同顏色的相鄰像素中包括(n-1)個缺陷時，也 可以基於被認為正常的第η個值，來適當地確定這些缺陷。例如，當第三個值是基準時，可以確定由感興趣像素和兩個相鄰像素引起的三聯 (triplet)缺陷。與第一實施例中的梯度計算部件174類似地，第二實施例中的用於計算校正值計 算中使用的候選者的部件206基於除了有與感興趣像素相同顏色的外圍像素之外的具有 不同顏色的外圍像素的像素值來計算偽亮度，並計算處理區域的多個方向上的邊緣強度。此外，例如，用於計算校正值計算中使用的候選者的部件206可以計算包括具有 與感興趣像素相同顏色的外圍像素的偽亮度，並且可以計算處理區域的多個方向上的梯 度。本申請包含與分別在2009年11月2日和2010年4月1日向日本專利局提交的 日本優先權專利申請JP 2009-25M48和JP 2010-085351中公開的主題有關的主題，將其 全部內容通過引用的方式合併在此。本領域的技術人員應該理解，根據設計要求和其他因素，可以出現各種修改、組 合、部分組合和變更，只要它們落在所附權利要求及其等價物的範圍內即可。
權利要求
1 一種像素缺陷校正器件，包括缺陷確定部件，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式 排列每一個均具有像素值的多個像素；梯度檢測部件，至少基於處理區域中包括的所述感興趣像素周圍的外圍像素的值， 在所述處理區域中檢測梯度或邊緣，所述處理區域包括多個像素，其中感興趣像素位於中 間；校正值獲取部件，根據檢測到的梯度或邊緣，選擇用於所述感興趣像素的校正值的獲 取的像素，並根據所選的像素的值來獲取所述校正值；和缺陷像素替換部件，當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述 感興趣像素的值。
2.根據權利要求1所述的像素缺陷校正器件，其中所述圖像的多個像素中的每一個對應於從預定數量的顏色中選擇的顏色，以及所述梯度檢測部件基於具有與所述感興趣像素不同顏色的外圍像素的值，檢測所述處 理區域的梯度或邊緣。
3.根據權利要求2所述的像素缺陷校正器件，其中，為了在所述處理區域中檢測梯度或邊緣，所述梯度檢測部件基於所述處理區域 中包括的具有與所述感興趣像素不同顏色的外圍像素的值，對於所述處理區域中的多個方 向獲取梯度或邊緣，並從所獲取的多個方向上的梯度或邊緣選擇與最緩和的梯度或邊緣相 對應的方向，以及所述校正值獲取部件以所述感興趣像素作為基準，選擇存在於最緩和的梯度或邊緣方 向上的具有與所述感興趣像素相同顏色的像素。
4.根據權利要求3所述的像素缺陷校正器件，其中，所述梯度檢測部件獲取所述處理區域的像素排列中包括縱向方向、水平方向、右 上方向和左上方向的四個方向上的梯度或邊緣。
5.根據權利要求2到4中任意一個所述的像素缺陷校正器件，其中，當以所述感興趣像素作為基準，在最緩和的梯度或邊緣方向上包括具有與所述 感興趣像素相同顏色的缺陷像素時，所述梯度檢測部件將所選的梯度或邊緣方向改變到另 一方向。
6.根據權利要求2到5中的任意一個所述的像素缺陷校正器件，其中，所述校正值獲取部分獲取所述處理區域中具有與所述感興趣像素相同顏色的多 個外圍像素的值的平均值。
7.根據權利要求6所述的像素缺陷校正器件，其中，所述校正值獲取部件根據至少除了最大值和最小值之外的、所述處理區域中具 有與所述感興趣像素相同顏色的多個外圍像素的值來獲取所述平均值。
8.根據權利要求1到5中的任意一個所述的像素缺陷校正器件，其中，所述校正值獲取部件以所述感興趣像素作為基準，選擇存在於由所述梯度檢測 部件檢測到的梯度或邊緣方向上的多個像素，並獲取所述多個像素的值的平均值作為所述 校正值。
9.根據權利要求8所述的像素缺陷校正器件，其中，所述校正值獲取部件以所述感興趣像素作為基準，確定存在於所述梯度或邊緣 方向上的多個像素中是否包括缺陷像素，並且當在所述多個像素中包括缺陷像素時，根據 所述多個像素之中缺陷像素以外的像素的值來獲取所述校正值。
10.根據權利要求9所述的像素缺陷校正器件，其中，所述校正值獲取部件基於外圍像素的第二最大值或第二最小值，在所述處理區 域中包括的多個外圍像素之中確定最大值或最小值的外圍像素的缺陷，以及所述缺陷確定部件在最大值或最小值的外圍像素沒有缺陷時基於最大值或最小值來 確定所述感興趣像素的缺陷，而在最大值或最小值的外圍像素有缺陷時基於第二最大值或 第二最小值來確定所述感興趣像素的缺陷。
11.根據權利要求9所述的像素缺陷校正器件，其中，所述校正值獲取部件基於外圍像素的第η最大或最小值，在所述處理區域中包 括的多個外圍像素之中，確定從最大值或最小值到第(η-1)個值的多個外圍像素的缺陷， 其中η是2或更大的自然數，以及所述缺陷確定部件在最大值或最小值的外圍像素沒有缺陷時，基於最大值或最小值來 確定所述感興趣像素的缺陷，而當最大值或最小值的外圍像素有缺陷時，基於第η最大或 最小值來確定所述感興趣像素的缺陷。
12.—種成像設備，包括像素部件，包括成像被攝體圖像的成像器件；以及像素缺陷校正器件，從所述成像器件接收圖像數據，並執行像素缺陷校正處理， 其中所述像素缺陷校正器件包括缺陷確定部件，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式 排列每一個均具有像素值的多個像素；梯度檢測部件，至少基於處理區域中包括的所述感興趣像素周圍的外圍像素的值， 在所述處理區域中檢測梯度或邊緣，所述處理區域包括多個像素，其中感興趣像素位於中 間；校正值獲取部件，根據檢測到的梯度或邊緣，選擇用於所述感興趣像素的校正值的獲 取的像素，並根據所選的像素的值來獲取校正值；以及缺陷像素替換部件，當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述 感興趣像素的值。
13.一種像素缺陷校正方法，包括如下步驟確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具 有像素值的多個像素；至少基於處理區域中包括的所述感興趣像素周圍的外圍像素的值，在所述處理區域中 檢測梯度或邊緣，所述處理區域包括多個像素，其中感興趣像素位於中間；根據檢測到的梯度或邊緣，選擇用於所述感興趣像素的校正值的獲取的像素，並根據 所選的像素的值來獲取校正值；以及當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述感興趣像素的值。
14.一種程序，使得計算機執行像素缺陷校正處理，包括缺陷確定處理，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個像素；方向檢測處理，至少基於處理區域中包括的所述感興趣像素周圍的外圍像素的值， 在所述處理區域中檢測梯度或邊緣，所述處理區域包括多個像素，其中感興趣像素位於中 間；校正值獲取處理，根據檢測到的梯度或邊緣，選擇用於所述感興趣像素的校正值的獲 取的像素，並根據所選的像素的值來獲取校正值；以及替換處理，當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述感興趣像 素的值。
全文摘要
提供了像素缺陷校正器件、成像設備、像素缺陷校正方法和程序。該像素缺陷校正器件包括缺陷確定部件，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個像素；梯度檢測部件，至少基於處理區域中包括的感興趣像素周圍的外圍像素的值，在處理區域中檢測梯度或邊緣，所述處理區域包括多個像素，其中感興趣像素位於中間；校正值獲取部件，根據檢測到的梯度或邊緣，選擇用於感興趣像素的校正值的獲取的像素，並根據所選的像素的值來獲取校正值；以及缺陷像素替換部件，當確定感興趣像素為缺陷時，以校正值替換感興趣像素的值。
文檔編號H04N5/367GK102055917SQ20101052198
公開日2011年5月11日 申請日期2010年10月26日 優先權日2009年11月2日
發明者橋爪淳 申請人:索尼公司