能夠進行高精度的缺陷像素修正處理的攝像裝置的製作方法

2023-09-25 19:35:15 3

專利名稱：能夠進行高精度的缺陷像素修正處理的攝像裝置的製作方法
技術領域：
本發明涉及攝l象裝置。更詳細地說，涉^照相機的手機、數碼相才/^M聶 ^^L等中寸^]的CMOS (Complementary Metal Oxide Semiconductor:互#險
屬氧化半務沐)型圖^象傳感器。
背景技術：
通常，圖像傳感器容易產生在製造過程中引起的白#黑斑。在4M了這 種圖像傳感器的、RGB財排列的單;tlH相機中，作為修正徵泉像素信號的方 法，已知有^^]介質濾波器處理的置換處理(例如，特開2006-238060號〃>才艮 (例如參見日本專利申請KOKAI爿^Hf No,2006"238060)或者特開平9-247548 號公報(例如參見日本專利申請KOKAI公布No.09-247548))。該方法不4M 頻器，而是實時斷斑點像素的信號進^f'務正。另外，到3^為ali^案有在 使用徵泉像素周圍的周圍像素的平均^置 ￡點像素信號的方法(例如，特 開2004 - 112736號公報(參見例如，日本專利申請KOKAI公開 No.2004-112736)或者使用周圍像素的最大值(最大電平信號)或最小值(最 小電平信號)來置換徵泉像素信號的方法(例如，特表2005 -528857號^^艮(例 如參見日本專利PCT申請^JHf No.2005-528857 )。
但是，在上ii^法的情況下，^^可一個都無，絲別斑點像素是縱向圖^^莫 式中的徵泉像素還是橫向圖^^莫式中的I&A像素。因此，或者是通過介質濾波 器處理^fM周圍同色8 ^^象素信號的中間值(中間電^M言號)置 ^、像素的 信號，或者是^ ]周圍同色8 W象素信號中的最大值或最小^JlUi行置換，或 者，使用上下或者左右同色的2個像素的信號的平均值進行置換。所以，存在疵泉像素解析度惡化，在圖《斜莫式的端部(i^t部分)容易紐誤修正的問題。

發明內容
才M居本發明的第一方面，提供了一種攝像裝置，二,配置了由光電變換
元件構成的多^H象素，對於由濾波器排列以矩陣2x2為^i4M^列的攝像部分別 輸出的圖像信號，通it^泉修正電路實^L定的信號處理，所述攝像裝置的特 棘於所tt點修正電路包括模iU^取電路，依據所述圖像信號中々IWJ 定像素的々N^象素的信號和分別與所述々N^象素接近並與所述々I^f象素同色的 周圍像素的信號，提取圖1料莫式信息；和置換電路，才M居與所述圖^^莫式信息 相對應的、分別接i^斤述判定像素並與所述判定像素同色的周圍像素的信號， 置換所述判定像素的信號。


圖1是表示4 本發明第1實施例的攝像裝置(CMOS型圖像傳感器)的 構成例的框圖。
圖2A和2B是表示用於說明圖1所示的CMOS型圖像傳感器中的逸泉修 正電路的々N^象素模iy^取電路的動作的圖。
圖3A和3B A^示用於說明圖1所示的CMOS型圖像傳感器中的徵泉修 正電路的徵泉像素置艦理電路的動作的圖。
圖4A和4B狄示用於說明4娥本發明第2實施例的々N^象素模i(^取電 路的動作的圖。
圖5A和5B狄示用於說明才娥本發明第2實施例的^A像素置城理電 路的動作的圖。
圖6絲示用於說明才娥本發明第3實施例的徵泉像素置城理電路的動 作的圖。
圖7A和7B是表示用於說明才財居本發明第4實施例的々^f象素模iU^取電 路的動作的圖。
圖8 ^示用於說明推據本發明第5實施例的々5^f象素模iOC取電路的動 作的圖。
圖9 ;14示用於說明才 本發明第5實施例的徵泉像素置艦理電路的動作的圖。
圖10^示用於說明4M^本發明第6實施例的4N^f象素模^^取電路的動 作的圖。
圖11絲示用於說明4娥本發明第6實施例的徵存、像素置概理電路的動 作的圖。
圖12是表示用於說明4M居本發明第7實施例的々fi^象素模iy^取電路的動 作的圖。
圖13;i4示用於說明^^本發明第8實施例的々N^象素模^C取電路的動 作的圖。
圖14 A^示用於說明才財居本發明第9實施例的々N^象素模iU^取電路的動 作的圖。
圖15是表示用於說明#^居本發明第10實施例的々N^象素模i(^取電路的 動作的圖。
圖16絲示用於說明4M居本發明第11實施例的4N^f象素模iUC取電路的 動作的圖。
圖17是表示用於說明才Mt本發明第11實施例的々l^f象素模iCa取電路的 另一例子的圖。
圖18 A4示用於說明才財居本發明第ii實施例的々i^f象素模^y^取電路的 進一步，例子的圖。
圖19狄示用於說明才 本發明第12實施例的極泉修正電路的動作的流 程圖。
圖20 A^示用於說明才娥本發明第12實施例的徵泉修正電路的動作的圖。 M實施方式
本發明的實施例將參考附圖進行沈明。應當注意，附圖是示意性的，M 所示的尺寸比例與實際的不同。這些尺寸4^據附圖的不同而不同，尺寸的比例 也不同。下面的實施例目的在於說明用於實施本發明的技術原理的設備和方法，
這些技^M^念並不M限定本發明的材料、形狀、結構或元件的配置。在不脫 離所要求發明的範圍的情況下，可以對該技術原理作出M變換和修改。第一實施例圖1 ^^示4 本發明第一實施例的攝像裝置的構成例的圖。另外，#
實施例中，以CMOS型圖像傳感器為例進行說明。
在圖l中，傳感器部11具有彩色濾波器12、由多個像素(光電變^L件) 以二維形狀排列成的光電4管矩陣(攝像部)13、和柱型才^t轉換器(ADC) 14。彩色濾波器12將由透鏡(攝像系)IO聚集的光信號分離成RGB信號，並 在光電二極體矩陣13上成像。光電二極體矩陣13針對每^象素將所成像的 RGB信號變^/ff號電荷傳疆ADC 14。 ADC14將接J)ti'j的^f象素的信號 電荷變賊數位訊號(圖像信號)，並輸出給線'^4^器21。另外，作為彩色 濾波器12的色彩濾波器排列，i議為以矩陣2x2為^的、RGB原色平行排 列(正方形排列)。
線'hi^器21例如具有垂直5行部分的絲器1 ~5，分別賴了傳感器 部11的輸出信號(來自ADC 14的圖像信號)。線'^^#器21將這5行部分圖 像信號提供給瓶#、修正電路31。
逸泉修正電路31並行 ^自幾^4^器21的5行部分的圖像信號， ^H^]來自電平^^電路41的閾值電平(噪聲閾值)LevN 4Ut宜,圖像信 號進行缺陷像素修正處理。該斑點修正電路31由對作為判斷像素的圖^^莫式 (模式信息)進^^取處理的相鄰像素模iC^取電路32、和檢測徵存、像素(缺 陷像素)並對其進行置艦理的徵存、像素置派理電路33構成。即，在極泉修 正電路31中，首先，通W目々IVf象素模^^取電路32^JD與瓶存、像素相鄰的良 ^f象素(有效像素)的信號和與該像素同色的周圍8 W象素的信號，^MC取出 圖像的模式。Jtt^，對應於圖^^莫式的提贈果，通itt點像素置M理電路 33，例如使用與徵存、像素同色的周圍8個像素的信號來置m點像素的信號。
另夕卜，所謂閾值電平LevN是適宜地設想了隨機噪聲等而i^t的，為判斷 圾吝、像素時的基準。例如，在成為處理對象的像素的信號大於閾值LevN的情 況下，就判定該像素為Sfe^、像素(或者圖^f嫌式ii^部分)。
信號處理電路51對來自徵泉修正電路31的輸出實施眾所周知的信號處理， 例如白平衡處理、色分離4hf嘗處理、輪廓強4狄理、和伽馬(Y)修正處理。另 外，通過RGB矩陣電路生成YUV信號或RGB信號，並通過輸出端子 DOUT0 DOUT7向外部輸出。
系統定時U電路(SG) 61才娥來自夕h^的時鐘信號MCK和/或來自命令控制電路71的命令控制傳感器部U、線'^W器21、徵#、修正電路31、和 信號處理電路51。
命令控制電路71產生對應於經由夕h^通過串行接口 (I/F) 81所提供的數 據DATA的命令，並控制線'1^4#器21、 ^泉修正電路31、電平設定電路41、 信號處理電路51、和SG61的參數等。
圖2A和2B狄示用於說明圖1所示結構的圖像傳感器中的逸泉修正電路 31和相々W象素模i(^取電路32的動作的圖。扭匕，對圖2A所示像素的排列(色 濾波器的排列)，以RO為JiliA像素、於^峰的GO為良^f象素的情;;u^ti兌 明。
首先，^fM與孰泉像素R0々條的、1 W象素前的^^象素GO的信號和與 其周圍同色的8個G像素(周圍像素)G1^G8的^MM言號，提取圖^f財莫式(在 該例中，由於使G像素和R像素和B像素的像素間距一致，所以簡4樹其的 處理)。
在此，與G像素々條的R像素的信號A^具有與G像素的信號相同的模 式。利用這一點，圖傳模式的提取可以通過分別產生々^f象素GO的信號與其 周圍像素G1^G8的信號之間的差分信號的糹&^值(ABS),判斷該差分信號的 鄉樹M否大於閾值電平LevN來執行。假如，在差分信號的全^t值比閾值電 平LevN小的情況下，就判定其周圍像素G1^G8的信號為具有與々N^象素GO 相同電平的信號。通過與該^N^象素GO相同電平的信號相對於々l^f象素GO 處於上(Y01) /下(Y05 )、左(Y07 ) /右(Y03 )、右斜上(Y02 ) /左斜下(Y06 ) 和右斜下(Y04) /左斜上(Y08) 8個方向的哪個周圍像素(G1W8)的位置上， 就可以抽出縱向圖《斜莫式或橫向圖^^式，或者斜向圖#^莫式。
即，例如，圖2A所示那樣，在々N^象素GO的信號與其上方(Y01)的周 圍像素G1的信號之間的差^f言號的^t值G10 ( -ABS(Gl-GO))比閾值電平 LevN小的情況下，判定其周圍像素Gl的信號與々P^f象素GO的信號為相同電 平(Y01-l)。同樣，例如，在4p^f象素GO的信號與其下方(Y05)的周圍像 素G5的信號之間的差^t號的^f值G50( = ABS(G5-G0))比閾值電平LevN 小的情況下，判定其周圍像素G5的信號與々p^^象素GO的信號為相同電平 (Y05-l)。同樣，例如，在々Ii^f象素GO的信號與其右斜上方(Y02)的周圍 )像素G2的信號之間的差分信號的M值G20 ( =ABS(G2-G0))比閾值電平LevN小的情況小，判定其周圍像素G2的信號與々N^象素GO的信號為相同電 平(Y02=l)。同樣，例如在々N^象素GO的信號與其左斜下方(Y06)的周圍 像素G6的信號之間的差分信號的to]"值G60 ( =ABS(G6-G0))比閾值電平 LevN小的情況下，判定其周圍像素G6的信號與々N^象素GO的信號為相同電 平(Y06=l)。
同樣，例如，在々[5^f象素G0的信號與其右方(Y03)的周圍像素G3的信 號之間的差^f言號的絕對值G30 ( = ABS(G3-G0))比閾值電平LevN小的情況 下，判定其周圍像素G3的信號與々P^^象素GO的信號為相同電平(Y03=l )。 同樣，例如在々l^^象素GO的信號與其左方(Y07)的周圍像素G7的信號之間 的差分信號的鍵對值G70 ( =ABS(G7-G0))比閾值電平LevN小的情況下，判 定其周圍像素G7的信號與々N^f象素GO的信號為相同電平(Y07=l )。同樣， 例如，在々l^^象素GO的信號與其右斜下方(Y04)的周圍像素G4的信號之間 的差分"f言號的糹^t值G40 ( =ABS(G4-G0))比閾值電平LevN小的情況下，判 定其周圍像素G4的信號與々Iil^象素GO的信號為相同電平(Y04=l )。同樣， 例如在々N^象素GO的信號與其左斜上方(Y08)的周圍像素G8的信號之間的 差分信號的絕對值G80 ( =ABS(G8-G0))比閾值電平LevN小的情況下，判定 其周圍像素G8的信號與々I^f象素GO的信號為相同電平(Y08=l )。
另一方面，例如，如圖2B所示，在8個方向Y01 Y08全部的周圍像素 G1M^8的判定值為"0"的時候，才NtOR電路(生成部)32a、 32b、 32c的輸出 (Pkiz(控制信號"0)判定為々N^f象素GO為瓶存、像素，並^U亍後面所述的用 於孰存、修正的置m理。
相反，在OR電路32a、 32b、 32c的輸出為"Pkiz-l"的時候，判定為々條 像素GO為良:i^象素。這樣，為了記憶圖像的模式，8個方向Y01 Y08的判定 值作為模式信息Yl Y8分別被^ft在內部寄存器中(未圖示)。
然後，對下面的像素，即逸泉像素RO,重複^f上艦理。其結果， 瓶*、 R0以及其周圍同色的8個R像素(周圍像素)R1 R8的8個方向Y01-Y08 的判定值為"Pki2H)"，則判定為徵存、像素，那麼:t^f亍後面所述的用於徵A修 正的置換處理。
圖3A和3B ^^示用於說明圖1所示結構的圖像傳感器的徵S修正電路31 的徵泉像素置m理電路33的動作的圖。另夕卜，知匕，以RO作為J^泉像素，將與該圾泉像素RO同色的周圍8 W象素R1 R8的信號作為直接置湖數據 RO，i^f亍利用的情^it^ti兌明。
在本實施例中，除了邊緣部分"卜，對於圖傳模式的平坦部分，通過平均 ^M言號^f亍置m理，從而斷氐了隨才;u^聲。因此，例如圖3A所示那樣，通 itm向(YOl、 Y05)的周圍像素R1、 R5的^M言號的平均值分別產生平均^/f言 號A,通過橫向(Y03、 Y07)的周圍像素R3、 R7的各個信號的平均值分別產 生平均化4言號B，通過斜方向(Y02、 Y06)的周圍^f象素R2、 R6的名十f言號的 平均值分別產生平均^4言號C，通過橫向(Y04、 Y08)的周圍像素R4、 R8的 ^H言號的平均值分別產生平均化信號D，另外，通過周圍8個像素R1 R8的 ^MM言號的平均值分別產生平均化信號G。另外，分別產生平均化倌號E作為 平均化4言號A、 C的平均值(周圍像素R1、 R2、 R5、 R6^H言號的平均值)， 平均^f言號F作為平均^f言號B、 D的平均值(周圍像素R3、 R4、 R7、 R8的 ^MM言號平均值)。
例如，如圖3B所示那樣，才,從々峰良:^象素GO的信號求出的模式信息 Y1 Y8，在信號選擇電路中選擇周圍8^H象素R1 R8各自的信號或者平均^M言 號AW。通斷應於OR電路32a、 32b、 32c的輸出(PkizH))來切換開關， 將所選擇的周圍8個像素R1 R8的各個f言號或平均化信號A-G作為置換用戶 數據RO，，並與徵泉像素RO的信號置換。
即，舐泉像素RO的信號淨tt劾對應於模式信息Y1 Y8的周圍8 W象素 R1 R8^H言號或平均化信號A、G中的任何一個。例如，^f莫式信息Yl Y8 為『10000000』的情況下，判定為圖《料莫式的i4^部分，疵泉像素R0的信號 被^^]由周圍像素Rl的信號構成的置湖數據R0，置換。例如，城式信息 Y1 Y8為『11111111』的情況下，判^;圖<緣式的平坦部分，徵泉像素R0的 信號被"fM由平均^ft號G構成的置湖數據R0，置換。
這種處理，對於Gr像素、B像素、GlW象素的^f象素，也同樣按照順序 ■iMl"。通過^D模式信息Y1 Y8，能夠實現逸合於像素模式的最佳置M理。 從而，可以防止噪聲像素中的解析度的惡化。另夕卜，還可以防止像素模式的邊 緣部分的誤修正。
當然，判斷為像素模式的平坦部分的^A像素RO的信號不^^]平均化的 信號而^L僅僅使用周圍8個像素R1 R8的各個f言號也可以進行置換。如上所述，通ii^々條於判定像素即斑點像素的^f象素提取像素的模式 信息，並^/ft^應於該像素模式的置派理，可以實現高精度的缺陷像素修正 處理。
第二實施例
圖4A和4B和圖5A和5B狄示用於說明按照本發明第二實施例的J^泉 修正電路31的動作的視圖。在此，對能夠斷敏泉像素置M理電路33的電
^m^的結構的情;;Li^ti兌明。另外，對於與第i實施例重複的部分，進行簡 單說明。
圖4A和4B狄示用於說明徵泉修正電路31中的々N^f象素模iU^取電路 32的動作的視圖。本實施例的々N^f象素模^^取電路32例如圖4A所示那樣， 在求得與々I^^象素GO同色的周圍8W象素G1《8的^M言號的同時，還可以 求上下(YOl)、左右(Y03)、和兩^1"方向(Y02， Y04) 4個方向上的才莫式 信息(Y1=Y01、 Y2=Y02、 Y3=Y03、 Y4=Y04)。
另外，對於縱向(上下)方向，假定以々P4^象素GO的信號與上方向周圍 像素Gl的信號之間的差分信號(絕對值)為GIO，以鄰樹象素GO的信號和下 方的周圍像素G5的信號之間的差分信號(桑^H直)為G50,來判定其大小關 系。例如，在與差^j言號G50相比差^i言號G10小的情況下，^t擇值P15 置為"0"，在大的情況(包括等於的情況)下，4f^械P15iM為"l"。同樣, 對於橫向(左右)方向和兩^N1"(附近x字)方向，也分別實施選#<4 P26、 P37、 P48為"0/l"的判定。
如果4個方向Y01-Y04 4^的判定值為"0"，例如圖4B所示那樣，那麼通 過OR電路(生成部)32d的輸出(Pkiz (控制信號)=0),判定々[i^象素GO 為判定像素即徵泉像素。相反，在OR電路32d的輸出"Pkiz^"的時候，為了 記憶圖傢模式，4個方向Y01 Y04的判定值就分別作為模式信息Y1 Y4 ■ 在內部寄存器(未圖示)。
圖5A和5B狄示用於說明i^泉修正電路31中的徵泉像素置艦理電路 33的動作的視圖。本實施例的^泉像素置^1:理電路33例如圖5A所示那樣， 為了斷氐電5^M^莫，成為對應於選擇值P15、 P26、 P37、 P48,分別選擇M 方向YOl、 Y02、 Y03、 Y04的2個像素的信號中的任何一個的方式。
例如，基於才 乾氛像素R0的信號上下方向的差^f言號GIO、 G50中小的一方接近的判斷，即^^例如圖f^莫式為縱向^:的時候，選MP15選擇
周圍像素R1、 R5 ^Ht號中較小的一方作為選^f言號A。同樣，選擇值P26 選擇周圍像素R2、 R6 ^[言號中較小的一方作為選#"1言號B。同樣，選擇值 P37選擇周圍像素R3、 R7 ^^H言號小的一方作為選^f言號C。同樣，選賴 P48選擇周圍像素R4、 R8 ^f言號中較小的一方作為選^f言號D。
然後，在圖《財莫式為縱向^^N黃向^il檢測出四角的十字模式的時候， A^i^H言號A和選#^言號B的平均值中產生平均化信號E。在圖像模式為右斜 線和左斜線或檢測出旋轉了 45度的四角的交叉(x字)模式時，^i4^f言號C 和選"^言號D的平均值中產生平均^f言號F。另外，對於圖4糾莫式的平坦部分， 從平均化信號E和平均化信號F之間的平均值中產生平均化信號G。
選^f言號a ~ D和平均^M言號exg例如在圖5B所示那樣，是在信號選擇 電路中，才財居從々條良:^象素GO的信號中求得的模式信息Yl ~Y4選躺。 通ii^t應於OR電路32d的輸出(Pkiz=0 )來切換開關該所選擇的選#1言號A D 和平均^M言號IMi成為置湖數據RO，，並置涵徵泉像素RO的信號。如此， 即^^斷敏泉像素置M理電路33的電5^W的情況下，也能夠在制氐隨機 噪聲的同時，通過置換數據RO，高精度地置艦存、像素RO。
在上述結構的情況下，能夠斷氐電路的規模，同時也能夠實現高精度的缺 陷像素修正處理。第三實施例
圖6是表示用於說明才M居本發明第三實施例的JJ^、修正電路31的徵泉像素 置m理電路33的動作的視圖。在本實施例中，對於構成為利用與圖5A和5B 所示方法不同的方法iMi行斑點像素置^l:理的情;Xi^f^兌明。另夕卜，對於與
第二實施例重複的部分，省B^"說明。
首先，準4^對應於才莫式信息Y1 Y4的與作為判斷像素的逸存J象素RO同色 的+字(YOl、 Y03)方向和交叉(Y02、 Y04)方向的周圍8個4象素R1 R8的
下面，#*1模式信息Yl ~ Y4,選擇與徵泉像素RO同色的+字方向的周圍 4 4象素各個的信號或交叉方向的周圍4像素^^H言號的^f封可一個作為置換數據 R0'。但是，^f莫式信息Y1 Y4同時選擇+字方向和交X^向的情況下， 距離瓶泉像素R0近的+字方向周圍的4^H象素R1， R3， R5, R7的信號。下面，按照電平(DSD1)的大小順序排列替換包含所選擇的+字方向的 周圍4個像素的*信號或交叉方向的周圍的4個像素的名+f言號和逸泉像素 RO的信號的5 ^f象素部分的信號。
^匕，判斷具有對應於信號最小值D1的像素為黑斑點、對應於最大值D5 的像素為白徵存、的可能性，敗徵存、像素RO的信號為除了最大值D5和最小值 Dl"卜，中間值D2、 D3、 D4中的^^可一個。簡單地也可以選擇中央值D3。
在該例中，為了制氐隨機噪聲，將中間值D4和D3的差分信號(^值) 作為Sub43，把平均^/f言號作為AVE43。同樣，把中間值D3、 D2的差^f言號 (鄉^"值)作為Sub 32，把平均化信號為AVE32。然後，姊該差分信號Sub 43、 32中較小一方的平均值AVE43、 AVE32作為置換數據RO， ( =Tdata)， 並置^7^泉像素RO的信號。
另夕卜，也可以將中間值D2、 D3、 D4的平均值作為置換數椐RO， ( = Tdata )， 並置換為斑點像素RO的信號。
在才娥上i^r法^f於置換處理的結構的情況下，可以斷氐電路的規模，實 現高精度的缺陷像素修正處理。第四實施例
圖7A和7B是表示用於說明才M本發明第四實施例的徵泉修正電路31的 動作的視圖。在本實施例中，對於構成為能^f吏圖4A和4B所示的々N^f象素模 iU^取電路32的動作更簡化的情^ii行說明。另夕卜，對於與第二實施例重複的 部分，簡單進4^兌明。
M實施例的情況下，首先，判斷々P^f象素GO的信號和與^^近的同色 的8個方向的周圍像素G1 G8 ^M言號之間的差分信號(鍵對值)GIO、 G20、 G30、 G40、 G50、 G60、 G70、 G80是否小於閾值電平LevN。
接著，在判斷為比閾值LevN小的差分信號中，對於上下(Y01)方向、左 右(Y03)方向、和兩揭(Y02、 Y04)方向，分別#^優^頓序選擇與々條 像素GO相同電平的信號。
即，將樸方向上的差^^言號的某一方的優先順序增加，針對每個方向， 選擇優先順序高的一方的差^f言號作為判斷值。例如，在Y01方向上，在周圍 像素Gl的信"f^皮判定為與鄰^f象素GO的信號電平相同的情況下，將選擇值 P15置為"0"。與》bN反，在判定周圍像素G5的信號為與々P^f象素G0的信號電平相同的情況下，^P^擇值P15置為"1"。例如，在使判域圍像素G5的信 號與々N^f象素GO的信號具有相同電平的結果優先的情況下，即使判定為周圍 像素G1的信號與々I^f象素G0具有相同的電平而^fe^擇值P15iU為"0"，在 判定周圍像素G5的信號與々N^f象素GO的信號具有相同電平的情況下，將作為 該選擇值P15的"l"選擇為判定值(Y01=l )。
由此，按照分別求的模式信息Yl(-YOl)、 Y2(=Y02)、 Y3(=Y03)、 Y4(=Y04)， 如上所ii^樣，通過同W^亍後面的瓶存、像素置艦理，能夠簡^f莫iU^狄 理，並能夠實現高精度缺陷圖像修正處理。
第五實施例
圖8和圖9是表示用於說明才M居本發明第五實施例的J&A修正電路31的動 作的視圖。在本實施例中，說明不從與々N^象素G0的信號同色的周圍8^f象 素的各自信號中提取圖像模式，而僅從々]54^象素GO的信號和縱向方向g向 方向和兩M方向4個方向的周圍像素的名^S言號之間的相關中提取圖^斜莫式 的情況。另夕卜，對於說明重複的地方，不再進4辨細說明。
圖8是表示用於說明徵泉修正電路31中的々N^象素模i(^取電路32的動 作的視圖。本實施例的^^象素模i(^取電路32，例如在上下(Y01)方向， 判斷周圍〗象素Gl、 G5的VH言號的平均值和々I^^象素GO的信號之間的差分 信號的鍵對M否比閾值電平LevN小。在小的情況小(Y01=l)，能夠判斷為 在縱方向3目關。同樣，對於左右(Y02)方向和兩^W(Y03、 Y04)方向上， 判斷有^目關。
在來自OR電^生成部)32e的輸出(控制信號Pkiz)的4個方向Y01 Y04 的判定值^^可一個為"1，，的情況下(Pki27=l),判定々li^象素GO不是判定像素 即斑點像素，並將各個判定值作為模式信息(Yl=01、 Y2=Y02、 Y3=Y03、 Y4=Y04)，並將其^ft在內部寄存器(圖中沒有示出)。在4個方向Y01 Y04 的判定值全部為"O，，的情況(Pkiz - 0 )的情況下，將々l^^象素GO判斷為爽泉像 素，如圖9所示，通it^泉像素置^t理電路33實;^M、像素置^t理。
圖9絲示用於說明^泉修正電路31中的徵泉像素置艦理電路33的動 作的視圖。本實施例的斑點像素置換處理電路33依據所得到的模式信息 Y1 Y4，通iiit擇對與徵泉像素R0同色的周圍8 ^H象素R1 R8 ^M言號適當 :Nk^行平均^^的置換數據R0，，來置艦艦泉像素R0的信號。例如，在上下方向存敘目關的情況下(Yl=l)，把周圍像素Rl、 R5 M 信號的平均值作為置換數據RO，， #^亍徵吝、像素RO的信號的置m理。另夕卜， 例如，在上下方向和左右方向和兩^方向上4^存擬目關的情況下(Y1、 Y2、 Y3、 Y4=l)，將周圍像素R1 R8的^M言號的平均值作為置換數據R0，， ^fr 斑點像素RO信號的置M理。
在本實施例結構的情況下，能夠改善模iU^取的精度，同時，通itit宜地 平均化8個方向的周圍像素的各個信號，可以降低隨機噪聲並能夠降"f緩換數 據RO，的噪聲。
第六實施例
圖10和圖11是表示用於說明才娥本發明第6實施例的Jfe^、修正電路31的 動作的視圖。林實施例中，說明不從與々I5^f象素GO的信號同色的周圍像素 的^M言號中抽出圖1緣式，而是通過判定#^象素GO相對於+字方向的周 圍像素的相關性強、還是相對於交叉方向的周圍像素的相關性強，來提取圖像 模式的情況。另夕卜，對於說明重複的部分，省略詳細的說明。
圖10是表示用於說明斑點修正電路31中的々I^f象素模iU^取電路32的動 作的視圖。本實施例的鄰"^f象素模^R取電路32首先對於上下方向，判定周圍 像素Gl、 G5 ^M言號的平均值和々P4^象素GO的信號之間的差^j言號的糹樹 ^flA否小於閾值電平LevN。在小的情況下，判定在縱方向Ji^目關。另夕卜，在左 右方向上，同樣也判定有i^目關性。例如，如果判定為在上下方向和左右方向 ^f可一方相關，那麼就能夠判定為存W目對+字方向的周圍像素的相關性的+ 字模式。^jt匕情況下，將+字方向Y01的判定值置為"l"。同樣，對兩^方 向也判斷有^目關性，^4^f目對交叉方向周圍像素的相關性的交義溪式的情 況下，將交叉方向Y02的判定值置為"l"。
在來自OR電瑜生成部)32f的輸出(控制信號Pkiz)的+字方向Y01或交 叉方向Y02的判定值《封可一方為"1"的情況下，判斷々N^f象素GO不是判定像素 即斑點像素，將樸判定值作為模式信息(Yl=01、 Y2-Y02)^ft在內部寄存 器(未圖示)。在+字方向Y01或交叉方向Y02的判定值同時為"O，，的情況(Pkiz =0)的情況下，將々N^象素GO判斷為瓶氛像素，如圖11所示，實艦存、像 素置換處理電路33進行的組泉像素置^h理。
圖11是表示用於說明斑點修正電路31中的^存、像素置艦理電路33的動作的視圖。本實施例的逸泉像素置艦理電路33才娥所得到的模式信息Yl、 Y2從與斑點像素RO同色的周圍8 ^f象素R1 R8的^H言號中選擇+字方向 的周圍像素R1、 R3、 R5、 R7或者交叉方向的周圍像素R2、 R4、 R6、 R8。例 如，在只有模式信息Y1為"l，，的情況下，可以選擇+字方向的周圍像素Rl、 R3、 R5、 R7。另外，例如，在只有模式信息Y2為"l，，的情況下，可以選擇交 叉矛向的周圍4象素R2、 R4、 R6、 R8。但是，，式信息Yl、 Y2同時為"l" 的情況下，選擇距離斑點像素RO較近的+字方向的周圍像素Rl、 R3、 R5、 R7。
》k^的處理實施例如與圖6所示的逸泉像素置狄對目同的處理。這樣， 在能夠降，低電路M^莫的同時，實現高精度缺陷像素修正處理。第七實施例
圖12表示了用於說明才,本發明第7實施例的徵存、修正電路31的々P4^象 素模i01取電路32的動作的視圖。林實施例中，才Nt與々N^象素GO同色的 周圍8 W象素Gl ~ G8的^M言號比々I^f象素GO的信號是大還是小，對提取 像素模式的情;^i^ti兌明。另夕卜，對於說明重複的部分，省略詳細的說明。
本實施例的々I^f象素模^a取電路32首先判斷判定像素即鄰4^象素GO是 否為逸泉Y象素。例如，通過比^^々P^f象素GO的信號和與其同色的周圍8個像 素G1~G8的各個f言號，在々N^象素GO的信號成為包含周圍像素GK8的各 個信號的最大值(D5或C5)或者最小值(Dl或者Cl)的情況下，判定々條 像素GO為徵瓿像素。在為徵泉像素的時候，控制信號Pkiz=0，在不為瓶氛像 素的時候控制信號Pkiz=l。
然後，對々P^f象素GO和其+字方向的周圍像素Gl、 G3、 G5、 G7的5個 像素信號按照電平大小順序重新排列，除了最大值D5和最小值D1"卜，求取 中間值D4、 D3、 D2中的2^"f象素信號的差^f言號(^t值)Sub43D、 SuW2D 和平均化倌號AVE43D、 AVE32D。然後，以所述差分信號中較小的一方的平 均值T+dl作為"AVE32D"。另夕卜，將差^H言號較大的一方的平均值T+d2作為 "AVE43D"。
同樣，對々P^^象素G0和其交X^r向的周圍像素G2、 G4、 G6、 G8的5個 像素信號按照電平大小順序重新排列，除了最大值C5和最小值Cl^f，，沐 中間值C4、 C3、 C2中的2^H象素信號的差^f言號(^t值)Sub43C、 Sub32C和平均化信號AVE43C、 AVE32C。然後，以所述差分信號中較小的一方的平 均值Txdl作為"AVE32C"。另夕卜，將差分信號較大的一方的平均值Txd2作為 "AVE43C"。
接著，通it^所求的較大一方的平均值T+d2、 Txd2中，選擇較小的一方 或較大的一方，可以判定々N^f象素GO與+字方向周圍像素Gl、 G3、 G5、 G7 或者交叉方向的周圍像素G2、 G4、 G6、 G8中哪一方的相關性更強。在判定 為相對於+字方向的周圍像素Gl、 G3、 G5、 G7的相關性較強的+字模式的 情況下，將Y01方向的判定值置為"1"，將Y02方向的判定值置為"0"。相反， 在判定為相對於交叉方向的周圍像素G2、 G4、 G6、 G8的相關',強的交叉 模式的情況下，將YOl方向的判定值置為"O"，將Y02方向的判定值置為"1"。
jtb^的處理，執行與例如圖11所述的瓶氛像素置M刻目同的處理。由此， 在能夠i^f氐電^t莫的同時，可以實現高精度的缺陷像素修正處理。
另夕卜，在圖11所示的斑點像素置派理電路33中也可以具有對應於模式 信息Yl(-YOl)、 Y2 ( -Y02),單純^^擇+字方向的周圍像素Rl、 R3、 R5、 R7或者交X^向周圍像素R2、 R4、 R6、 R8中l封可一方的信號的結構。
或者，簡單來說，通itit擇中間值D4-D2和中間值C冬C2的差^^小的一
方，可以選擇+字模式或者交叉模式。第八實施例
圖13顏於說明才財居本發明第8實施例的逸泉修正電路31的々I^f象素模 iU^取電路32的動作的視圖。林實施例中，才娥與々I^f象素GO同色的周圍 8個像素Gl ~ G8的^f言號比々N^象素GO的信號是^ii是小，對提取像素模 式的環^fe^其方法進行說明。另外，對於說明重複的部分，省略詳細的說明。
本實施例的々N^象素模i^C取電路32首先判斷判定像素即鄰4^象素GO是 否為逸泉像素。例如，通過比較々I^^象素G0的信號和與其同色的周圍8個像 素G1~G8的各個信號,在々P^f象素GO為徵泉像素的時候，設控制信號Pkiz=0， 在不為徵泉像素的時候設控制信號Pkiz=l。
然後，對々P4^象素G0和其+字方向的周圍像素G1、 G3、 G5、 G7的5個 像素信號按照電平大小順序重新排列，棘中間值D3和々N^象素GO的信號之 間的差^f言號(^t值)Sub+30。同樣，對々P^f象素GO和其交X^r向的周圍 像素G2、 G4、 G6、 G8的5個像素信號按照電平大小順序重新朝剛，求取中央值C3和々l5^j象素GO的信號之間的差分信號(鍵對值)Subx30。
接著，通錄所求的差^f言號Sub+30、 Subx30中，選#^小的一方或者 較大一方，可以判定與+字方向周圍像素Gl、 G3、 G5、 G7或者交3U"向的 周圍像素G2、 G4、 G6、 G8中哪一方的相關性更強。在判定為相對於+字方 向的周圍像素G1、 G3、 G5、 G7的相關'I"嫩強的+字模式的情況下，將Y01 方向的判定值置為"l"，將Y02方向的判定值置為"0"。相反，在判定為相對於 交叉方向的周圍像素G2、 G4、 G6、 G8的相關性較強的交iMt式的情況下， 將Y01方向的判定值置為"O"，將Y02方向的判定值置為"l"。
oth^的處理，^M亍與例如圖11所述的徵泉像素置録3^目同的處理。由此， 在能夠制氐電路規模的同時，可以實現高精度的缺陷像素修正處理。
另夕卜，在圖11所示的傲*、像素置毅理電路33中也可以具有對應於模式 信息Yl(-YOl)、 Y2 ( =Y02)，單純^1摔+字方向的周圍像素Rl、 R3、 R5、 R7或者交叉方向周圍像素R2、 R4、 R6、 R8中任4可一方的信號的結構。第九實施例
圖14賴於說明才N居本發明第9實施例的徵存、修正電路31中的々I^f象素 模iy^取電路32的動作的視圖。在本實施例中，才M居與々N^f象素GO同色的周 圍8個像素Gl ~ G8的名十f言號比々F^象素GO的4言號是大ii是小，對提取像 素才莫式的環^^其方法進^f亍說明。另外，對於說明重複的部分，省略詳細的說 明。
本實施例的^l^象素模iy^取電路32首先判斷判定像素即々N^象素GO是 否為圾氨4象素。例如，通過J^^I5^f象素GO的信號和與其同色的周圍8個像 素G1^G8的^H言號，在^^象素GO為^泉像素的時候，設控制信號PkizH)， 在不為徵存、像素的時候設控制信號PkiFl。
然後，求得接近々I5"^f象素G0的+字方向的周圍像素Gl、 G3、 G5、 G7的 4個像素信號的平均值。另夕卜，求取該平均值與々N^象素GO的信號之間的差分 信號(多樹值)Sub+30。同樣求得接近々N^f象素GO的交叉方向的周圍像素G2、 G4、 G6、 G8的4 ^M象素信號的平均值。另夕卜，^^i亥平均值與々N^f象素GO 的信號之間的差分信號(鄉&^值)Subx30。
接著，通過在所求的差分信號Sub+30、 Subx30中，選摔較小的一方或者 較大一方，可以判定與+字方向周圍像素Gl、 G3、 G5、 G7或者交叉方向的周圍像素G2、 G4、 G6、 G8中哪一方的相關性更強。在判定為相對於+字方 向的周圍像素G1、 G3、 G5、 G7的相關'f嫩強的+字模式的情況下，將Y01 方向的判定值置為"l",將Y02方向的判定值置為"0"。相反，在判定為相對於 交叉方向的周圍像素G2、 G4、 G6、 G8的相關性較強的交，式的情況下， 將Y01方向的判定值置為"O",將Y02方向的判定值置為"l"。
jtb^的處理，^/f亍與例如圖11所述的瓶泉像素置城贈目同的處理。 林實施例的情況下，由於不需要用於按照電平大小重新排列信號的電路， 所以更進一步斷氐了電路的規模。另外，由於4^莫iUC取中使用了 4個像素部 介f言號的平均值，所以可以更進一步,氐隨機噪聲，並實現高精度缺陷像素修 正處理。特別是，與々P^f象素GO信號電平相同的周圍像素數目越多，差^f言 號越小，所以提高了差分信號的精度。
另夕卜，在圖11所示的斑點像素置敝理電路33中也可以具有對應於模式 信息YieYOl)、 Y2 ( =Y02)，單^k^擇+字方向的周圍像素Rl、 R3、 R5、 R7或者交叉方向周圍像素R2、 R4、 R6、 R8中任何一方的信號的結構。第十實施例
圖15^Jf]於說明4M居本發明第10實施例的^泉修正電路31中的々I^f象素 模^^取電路32的動作的視圖。在本實施例中，為了提高模^1取的精度，對 從與判定像素即^A像素RO々條的左右々I^^象素GO、 G3中提取圖#^莫式的 情;Xi^ti兌明。另夕卜，對於說明重複的部分，省略詳細的說明。
本實施例的々[i^象素模^C取電路32首先分別計算出徵泉像素RO兩邊的 々N^象素GO、 G3的+字方向的周圍4 ^^象素的平均之間的差^f言號(^f值) Sub+30、 Sub+31,並將這些差^j言號中較小的一方置為Sub+min。同樣，分 別計算出々J^f象素GO、 G3的交叉方向的周圍4個4象素的平均值之間的差* 號(糹^ t值)Subx30、 Subx31，並將該差^ft號較小的一方置為Subxmin。
接著，通錄所求出的差^H言號Sub+min、 S油xmin中，選#^_小的一方 或者較大一方，可以判定與+字方向周圍像素Gl、 G3、 G5、 G7或者G0、 G2、 G4、 G10,或者交X^r向的周圍像素G2、 G4、 G6、 G8、或Gl、 G5、 G9、 Gll哪一方的相關'I"嫩強。
在判定為相對於+字方向的周圍像素Gl、 G3、 G5、 G7或者GO、 G2、 G4、 G10的相關4嫩強的+字模式的情況下，將Y01方向的判定值置為"1"，將Y02方向的判定值置為"O"。相反，在判定為相對於交W向的周圍像素G2、 G4、 G6、 G8或者G1、 G5、 G9、 Gll的相關性較強的交X^莫式的情況下，將 Y01方向的判定值置為"O"，將Y02方向的判定值置為"l"。
》b^的處理，^^f亍與例如圖11所述的^泉像素置艦對目同的處理。
另夕卜，在圖11所示的^泉像素置^t理電路33中也可以具有對應於模式 信息Yl(-YOl)、 Y2 ( -Y02),單純3*^1^擇+字方向的周圍像素Rl、 R3、 R5、 R7或者交X^向周圍像素R2、 R4、 R6、 R8中<樹一方的信號的結構。
進一步，可以對々條於斑點像素R0的上下々N^象素Gb的^H言號增加上 述的模 狄理。
當然，在上述第1~第10實施例中，通過增加用於模i^l取的^^象素的 數量，可以提高模iU^取的精度。第十一實施例
圖16~圖18狄別用於說明才財居本發明第11實施例的逸泉修正電路31 中的#^象素模^_取電路32的動作的視圖。^實施例中，說明在圖<糾莫式 提取中，通過檢查有無白棘黑^MM^測判定像素即斑點像素。另外，對於說 明重複的部分，省略詳細的說明。
圖16所示的々N^象素模^^取電路32首先判定々I^^象素GO是否為徵泉 像素。例如，對々N^f象素GO和其+字方向的周圍像素Gl、 G3、 G5、 G7的5 W象素信號按照電平大小重新排列(DSD1)。同樣，對々N^f象素GO和其交叉 方向的周圍^(象素G2、 G4、 G6、 G8的5個4象素的4言號按照電平大小i^frt新 排列(C5^:i)。
接著，判斷所重新氺剛信號的最大值D5與其次大的中間值D4之間的差分 信號的絕對M否比閾值電平LevN更大，在大的情況下，判斷持有最大值D5 的像素有白斑的可能性。同樣，通過判斷最大值C5與其次大的中間值C4之間 的差^f言號的M^HIbl:否大於閾值電平LevN，在大的情況下，判斷持有最大值 C5的像素有白斑的可能性。如果才娥2個差^f言號的^t值分別判定了有白斑 的可能f生，則最終AND電路32g的輸出成為"l",並判定為在+字方向的5個 像素GO、 Gl、 G3、 G5、 G7中存在白斑。
另夕卜，判斷所重新排列信號的最小值Dl與其次大的中間值D2之間的差分 信號的糹^tM否比閾值電平LevN更大，在大的情況下，判斷持有最小值D1的像素有黑斑的可能I"生。同樣，通過判斷最小值C1與其次大的中間值C2之間 的差分信號的糹^H4A否大於閾值電平LevN，在大的情況下，判斷持有最小值 Cl的像素有黑斑的可能性。如果根據2個差分信號的絕對值分別判定了有黑斑 的可能性，則最終AND電路32h的輸出成為"l"，並判定在交X^r向的5^H象 素GO、 G2、 G4、 G6、 G8申存在黑斑0
如此，如^"測出白滅黑斑的至少一方，那麼就將NOR電路32i的輸出 Pkiz (控制信號)置為"0"，並將々|5#1象素GO判斷為圾泉像素。
圖17所示4N^f象素模i^^取電路32首先分別按照電平大小順序重新排列 々N^f象素GO及其+字方向的周圍像素Gl、 G3、 G5、 G7的5^f象素的信號和 々N^f象素G0及其交X^向周圍像素G2、 G4、 G6、 G8的5^f象素的信號。
另夕卜，判斷所重新排列信號的最大值D5、 C5的平均佳及其次大中間值D4、 C4的平均值之間的差分信號的^^Hi^否大於閾值電平LevN，在大的情況下， 判定持有最大值D5、 C5的像素具有白斑。同樣，判斷最小值D1、 Cl的平均 ^iA其次大中間值D2、 C2的平均值之間的差分信號的多樹iiA否大於閾值電 平LevN，在大的情況下，判定持有最小值D1、 Cl的像素具有黑斑。如此，如^^則出白滅黑斑的至少一方，則NOR電路32j的輸出Pkiz (控制信號)成為"0",並將々N^象素G0判斷為孰泉像素。
圖18所示々]i^象素模iUC取電路32首先分別按照電平大小順序重新排列 々N^象素G0及其+字方向的周圍像素G1、 G3、 G5、 G7的5個像素的信號和 々N^象素G0及其交X^向周圍像素G2、 G4、 G6、 G8的5 ^H象素的信號。
另夕卜，判斷所重新排列信號的最大值D5、 C5的差分信號的絕對M否為 "0",在為"0，，的情況下，判定持有最大值D5、 C5的像素具有白斑。同樣，判 斷最小值D1、 Cl的差^f言號的^f奴否為"0"，在為"0"的情況下，判定持 有最小值D1、 Cl的像素具有黑斑。
如此，如^r測出白絲黑斑的至少一方，則NOR電路32k的輸出Pkiz (控制信號)成為"0",並，p^f象素GO判斷為徵泉像素。
如上所述，##本實施例，在4^f可一種結構中，都可以大幅簡化用於判斷 徵氛像素的電路。
第12實施例
圖19是表示用於說明才娥本發明第12實施例的瓶泉修正電路31的動作的視圖。林實施例中，對增加^M、像素置m理，並進一步^Vf亍斷氐噪聲的處 理的情況進行說明。其中，對說明重複的部分，省略詳細的說明。
本實施例的徵氛修正電路31首先判斷是否存在判定像素即^泉像素。在判 斷斑點像素中，例如，可以^^]上ii^7實施例(參照圖12)所示的々I^^象素 模iU^取電路32或者第11實施例(參照圖16~18)所示的^f象素模i^l取 電路32等。
接著，才M居斑點像素的判斷結果，！^亍圖^f莫式提絲斑點置換、噪聲降 低的處理。在圖4斜莫i(^取中，例如，可以^J ]上麟6實施例(參照圖IO) 所示的々N^象素模^U^取電路32、第7實施例(參照圖12)所示的々[i^象素模 ^J^取電路32、第8實施例(參照圖13)所示的々[l^象素模^^取電路32， 或者第9實施例(參照圖14)所示的々P^f象素模iU^取電路32等。
接著，才M居圖^^莫iC^取的結果，銜則剛料莫式^^部分，在沒有^;則到
ii^部分的情況下，批J亍PH氐平坦部分噪聲處理。圖像模式ii^部分的檢測和 平坦部絲聲的l^f氐例如圖20所示，首先，從圖#^莫^€麟果中選擇+字模 式或交3U莫式。
以下，對選擇+字模式的情況進行說明。在選擇了+字模式的情況下，按 照電平大小重新排列々N^象素GO和與其+字方向々條的同色的周圍4像素 Gl、 G3、 G5、 G7的5個像素信號。然後，得到其最大值D5和最小值Dl之 間的差分信號(絕對值)Sub51。
接著，比録^f言號Sub51和閾值電平LevN，如果判0^^言號Sub 51 Jp懷大，那麼就判定々P"^象素G0存在於圖4斜莫式的ii^部分。相反，如果判 U^f言號Sub 51比較小，那麼就判定々P^f象素G0存在於圖l斜莫式的平坦部 分。
作為平坦部分噪聲斷狄理例:ftait過4衞^4N^象素G0的信號進^^口重 處理，計算出該4皿和+字方向的周圍4個像素Gl、 G3、 G5、 G7 ^H言 號的平均^RM言號G0，。然後，將該平均^f言號G0，與瓶泉像素R0的信號置換。
其中，作為平均化信號G0，也可以不用加重處理々P4^(象素G0的信號來計算 出，並且可以任意i議用於加重處理的增益。
另外，除了按照大小順序重新排列的信號的最大值D5和最小值Dl W卜， 還可以才W中間值D4、 D3、 D2的平均4^f言號，置艦泉像素RO的信號。一方面，4#^測出圖<斜莫式的^^^部分的情況下，例如，通過^JU圖11所
示的徵氛像素置M理電路33，在進行徵泉像素置M理的同時，能夠制組 緣部分的隨才幾噪聲。
如此，在能夠同時處理瓶泉像素置^h理和噪聲斷氐處理的情況下，可以 共用用於提取圖#^莫式的電路和用於置M理的電路，從而能夠大幅斷氐電路 的糾莫。
其中，在上述各個實施例中，對於4^f可一種情況，都以例子說明了將彩色 濾波器的色濾波器排列進行財排列的情況。然而，並不局限於此，例如，RGB 的各像素以具有45度角度的濾波器排列(稱為蜂窩排列)等情況也同樣適用。
另外，不局限於CMOS型彩色圖像傳感器，也可以適用於黑白傳感器。
另夕卜，作為閾值電平LevN，通過使其相應於信號能量和/或才對以電路的增 益等可變，可以進行最佳判定。例如，通it^fWJ:的時候將電路噪聲賦予假 定的值，在光量較高的情況下，通過^fl^立噪聲，增大閾值電平LevN iM￡ 行控制。如此，可以實S^效抑制隨機噪聲的處理。
特別地，在^f亍由透鏡10的光學特性所引起的^f修正處理的情況下，對 於畫面的中心，在接Ui下端、左右端、角落部分等，通過數字增益^MUd言 號。由jtbi曽加了畫面上下端、左右端、角落部分的隨才幾噪聲。因此，在合併了 數字增益的情況下，如#畫面的上下端、左右端和角落部分控制得較大，那 麼就可以增大噪聲抑制效果，並能夠改善畫質。
這樣，通it^目應於信號量、畫面位置、色信息、增益信息等來變更各種閾 值電平LevN，可以進^"^L佳徵泉修正。
進而，並不局限於CMOS型的圖像傳感器，也可適用於CCD (電荷M 設備)和層積型傳感器。
對;M貞域熟練技權員來說，4膝易發現雞的優點，並JU隨易進^W'務
改。因此，本發明在其更寬的方面並不局限於在j^斤表示^i兌明的具體細節和 ^^性的實施例。相應地，在不脫離如在所附權利要求書和它們的等同物中所 定義的總的發明構思的樹申和範圍的情況下，可以作出M修改。
權利要求
1、一種攝像裝置，二維地配置了由光電變換元件構成的多個像素，對於由濾波器排列以矩陣2×2為基本排列的攝像部分別輸出的圖像信號，通過斑點修正電路實施規定的信號處理，所述攝像裝置的特徵在於所述斑點修正電路包括模式提取電路，依據所述圖像信號中鄰接判定像素的鄰接像素的信號和分別與所述鄰接像素接近並與所述鄰接像素同色的周圍像素的信號，提取圖像模式信息；和置換電路，根據與所述圖像模式信息相對應的、分別接近所述判定像素並與所述判定像素同色的周圍像素的信號，置換所述判定像素的信號。
2、 擬居糊要求1所述的攝像裝置，絲棘於 所i^慮波器排列為以矩陣2x2為缽的正方形排列。
3、 ##權利要求1所述的攝像裝置，皿#於 所述濾波器排列為以矩陣2x2為基本，並使該排列傾斜45度角度的蜂窩排列。
4、 才Nt權利要求l所述的攝像裝置，^M^絲於 所i^莫^^取電路包括差分信號計算處理，用於計算出所述々P^f象素的信號與其周圍像素的Vh 信號之間的差^1言號；和電平判斷處理，在所述差分f言號小於規定的閾值電平的情況下，判斷對應 的周圍1象素的信號與所述々I^^象素的信號為相同的電平；和提取處理，才娥所述々N^象素的哪一方向J^在具有與所述々N^象素的信 號相同電平的信號的周圍像素，提,予所述置換電路的所述圖像模式信息。
5、 才^^U'J要求4所述的攝像裝置，^##於 所錄錄取電路還包括產生部，才,對M周圍像素的信號的所迷電平判斷處理的結果，產生用 於控制所述置換電路的控制信號，在判定為全部的周圍像素的信號與所述々N^象素的信號不為相同電平的情況下，生成所述控制信號，並對所述々Ii^f象素^^於置艦理。
6、 才財居權利要求4所述的攝像裝置，，^於 所述模iy^取電路通過提^^斤述々li^象素的上方、下方、左方、右方、左上方、左下方、右上方和右下方8個方向的所述圖像模式信息，控制所述置換 電路。
7、 條權利要求6所述的攝像裝置，絲 於 所述置換電糾時居基於所述圖像模式信息所選擇的、分別接近於判定像素的與所^i判定《象素同色的周圍<象素的4言號，或分別接近於所述判定像素的與所 述判定像素同色的周圍像素的信號的平均值，來置4^斤述判定像素的信號。
8、 才財居權利要求4所述的攝像裝置，^JW^棘於所述模^y^取電路通過提^^斤述々i^^象素的上-下方向、左-右方向、左上-右下方向和右上-左下方向4個方向的所述圖1斜莫式信息，控制所述置換 電路。
9、 才財居權利要求8所述的攝像裝置，^#*於 所述模iU^取電路進一步分別對所述4個方向判斷所述々N^象素的信號和對應的周圍像素的2 ^H言號之間的差^f言號的大小關係，選擇所述差^J言號較 小的一方的周圍像素的1 W言號。
10、 條權利要求8所述的攝像裝置，鉼棘於 所述置換電糾N^基於所述圖^^式信息所選擇的、分別接近判定像素的與所述，判定《象素同色的周圍《象素的4言號的平均值，來置^^斤述判定像素的信號。
11、 W權利要求8所述的攝像裝置，*#棘於所述置換電驗照大小順序重新排列判定像素的1 ^f言號和基於所述圖像 模式信息所選擇的、分別接i^斤述判定像素的+字方向的與所述判定像素同色 的周圍像素的4個信號或者分別接i^斤述判定像素的x字方向的與所述判定像 素同色的周圍像素的4個信號，在所述按照大小順序重新排列的所述判定像素 的1個信號和所述周圍像素的4個信號中，除了最大值和最小值"卜，在作為 其他中間值的3個信號中，由電平大的2個信號計算出第1平均化信號和第1 差刺言號，並且由電平小的2 ^f言號計算出第2平均^M言號和第2差^j言號， 判定所述第1差分信號和所述第2差分信號的大小關係，在所述第2差分信號 大於所述第1差分信號的情況下，利用所述第1平均化信號置^^斤述判定像素 的1個信號，在所述第1差分信號大於所述第2差^f言號的情況下，利用所述 第2平均^/f言號置^^斤述判定像素的1個f言號。
12、 才M居權利要求8所迷的攝像裝置，員;^於 所述模^C取電路進一步分別對所述4個方向，判斷所述々N^象素的信號和對應的周圍像素的2個信號的差分信號是否小於M^的閾值電平，^it擇所 述差分f言號小的一方的周圍像素的1個信號。
13、 才M居權利要求8所述的攝像裝置，^##於 所述模iU^取電路進一步分別對所述4個方向判斷對應的周圍像素的2個信號的平均值與所述々N^象素的信號之間的差分信號是否小於規定的閾值電平來判斷所述4個方向是否有相關性。
14、 條糊要求4所述的攝絲置，絲棘於 所，^^1取電*別對所述々154^象素的上-下方向、左-右方向、左上-右下方向和右上-左下方向的4個方向，通過判斷對應的周圍像素的2個信 號的平均值和所迷々Ii^象素的信號之間的差分信號是否小於規定的閾值電平， 來判斷關於所iiJi -下方向和所述左-右方向的+字方向與所述左上-右下方 向和右上-左下方向的x字方向的2個方向有i^目關性，通過提取關於所述2 個方向的所述圖像模式信息，控制所述置換電路。
15、 才娥權利要求4所述的攝像裝置，^##於所i^莫iU^取電絲照大小順序重新排列所述^^f象素的1 ^H言號和分別 接近於所述鄰^^象素的+字方向的與所述々N^象素同色的周圍像素的4個信 號，在所述按照大小順序重新排列的所述#^象素的1 ^H言號和所述周圍像素 的4^f言號中，除了最大值和最小值"卜，在作為，中間值的3^f言號中， 由電平大的2個信號計算出第1平均化信號和第1差分信號，並且由電平小的 2個信號計算出第2平均化信號和笫2差分信號，在所述第2差分信號的一方 小於所述第1差分信號的情況下，選棒所述第1平均化信號，按照大小順序重新排列所述々N^f象素的i ^Ht號和分別接近於所述々N^象素的x字方向的與所述々p^^象素同色的周圍像素的4個信號，在所述按照大小順序重新排列的所述々N^i象素的i ^M言號和所述周圍像素的4 ^f言號中，除了最大值和最小值^卜，在作為其他中間值的3個信號中，由電平大的2個信號計 算出第3平均化信號和第3差分信號，並且由電平小的2個信號計算出第4平 均化信號和第4差分信號，在所述第4差分信號的一方小於所述第3差分信號 的情況下，選擇所述第3平均化信號，通過選擇所述第1平均^M言號或所述第3平均^f言號較小的一方或者較大 的一方，判斷關於所述+字方向和所述x字方向的2個方向有^目關性，通過提 取關於所述2個方向上的所述圖像模式信息，來控制所述置換電路。
16、 條權利要求4所述的攝像裝置，絲棘於 所i^莫iC^取電躲照大小順序重新排列所述々F^象素的1 ^M言號和分別接近於所述々^^象素的+字方向的與所述鄰##素同色的周圍像素的4個信 號，才Wt為所述按照大小順序重新排列的所述々P"^象素的1 4M言號以A^斤述 周圍像素的4個f言號的中央值的1個f言號與所述々N^象素的1個信號求得第1 差分信號，按照大小順序重新排列所述々I5^f象素的1 ^H言號和分別接近於所述^^象素的x字方向的與所述々N^象素同色的周圍像素的4個ft號，才M,為所述按照 大小順序重新排列的所述々I^^象素的i ^H言號以^^斤述周圍像素的4 ^M言號的中央值的1個信號與所述々Ii^象素的1個信號求得第2差分信號，通itit擇所述第1差分信號或所述第2差分信號較小的一方或者較大的一方，判斷關於所述+字方向和所述x字方向的2個方向有iM目關性，通過提取關 於所述2個方向的所述圖^^莫式信息，絲制所述置換電路。
17、 條權利要求4所述的攝像裝置，絲棘於 所i^莫iUC取電糾N居所述々N^象素的1 ^H言號和分別接近於所述々P^f象素的+方向的與所述々P4^象素同色的周圍像素的4個信號求得第1平均化信號， 並且才娥所述第1平均^4言號和所述々N^象素的1 ^f言號計算出第1差雑號，才M居所述々P"I^象素的1個信號和分別接近於所述々I^^象素的x方向的與所 述々N^象素同色的周圍像素的4個信號求得第2平均化/f言號，並且才M居所ii^ 2平均化信號和所述々Ii^象素的1個信號計算出第2差分信號，通過選擇所述第1差分信號或所述第2差分信號較小的一方或者較大的一 方，判斷關於所述+字方向和所述x字方向的2個方向有iL4目關性，通過提取關 於所述2個方向的所述圖《財莫式信息，綠制所述置換電路。
18、 才財居權利要求4所述的攝像裝置，^#棘於 所述模iC^取電糾M居分別接近於所述々N^象素的+方向的與所^i々N^f象素同色的周圍像素的4 ^H言號求得第1平均^4言號，並且才 所述第1平均化信號和所述々F^f象素的1 ^H言號計算出第1差刺言號，才,分別接近於所述々N^象素的x方向的與所述4[i^象素同色的周圍像素的4個信號求得第2平均化信號，並且才娥所述第2平均^f言號和所述々N^f象 素的1個信號計算出第2差分信號，通過選擇所述第1差分信號或所述第2差^f言號較小的一方或者較大的一 方，判斷關於所述+字方向和所述x字方向的2個方向有W目關性，通過提取關 於所述2個方向的所述圖<緣式信息，^fe制所述置換電路。
19、 粉居權利要求4所述的攝像裝置，絲棘於 所i^莫iU^取電樹M^分別接近於與判定像素々峰的第1々N^象素的+方向的與所述第1々[i^f象素同色的周圍像素的4個信號求得第1平均化信號，並 且根據所述第1平均化信號和所述第1々P^f象素的1個信號計算出第1差分信 !號，根據分別接近於與所述判定像素鄰接的第鄰接象素的+方向的與所述第2 鄰接象素同色的周圍像素的4個ft號求得第2平均化信號，並劃^所述第2 平均化信號和所述第2鄰樹象素的1個信號計算出第2差分信號，選擇所述第1差^j言號或所述第2差^j言號較小的一方作為第3差^1言號， 並且，根據分別接近於與所述判定像素鄰接的第1鄰接象素的x方向的與所述第1 々N^象素同色的周圍像素的4個f言號求得第3平均化信號，並劃 所述第3 平均^4言號和所述第1々P^象素的1 W言號計算出第4差刺言號，根據分別接近於與所述判定像素々條的第2鄰接象素的x方向的與所述第2鄰接象素同色的周圍像素的4個信號求得第4平均化4言號，並劃^所述第4 平均化信號和所述第2鄰接象素的1個信號計算出第5差分信號，選擇所述第4差分信號或所述第5差分信號較小的一方作為第6差分信號， 通過選擇所述第3差分信號或所述第6差分信號較小的一方或者較大的一 方，判斷關於所述+字方向和所述x字方向的2個方向有iM目關性，通過提取關 於所述2個方向的所述圖1斜莫式信息，綠制所迷置換電路。
20、根據權利要求1所述的攝像裝置，絲棘於 所i^莫iU^取電i^f亍如下處理差分信號計算處理，在所述判定像素的信號比其周圍像素的各個信號的最 大值大的情況下或者比最小值小的情況下，將所述判定像素判斷為缺陷像素， 計算出所述々Ii^象素的信號和與+字方向上々條的周圍像素的各^M言號的差分 信號、和所述々Ii^象素的信號和與x字方向々條的周圍1象素的^M言號的差分信號；相關性判狄理，才M居所述差刺言號的計算結杲，判斷對於所述々N^象素的+字方向的周圍像素和x字方向的周圍像素的相關性；和生成處理，^^所勤目關性判定處理的結果，生成用於控制所述置換電路 的控制信號。
全文摘要
本發明提供一種能夠進行高精度的缺陷像素修正處理的攝像裝置，其對於由濾波器排列以矩陣2×2為基本排列的攝像部輸出的圖像信號，通過斑點修正電路實施規定的信號處理。所述斑點修正電路包括依據鄰接判定像素的鄰接像素的信號和分別與所述鄰接像素接近並與所述鄰接像素同色的周圍像素的信號，提取圖像模式信息的模式提取電路；和根據所述圖像模式信息，使用分別接近於所述判定像素並與所述判定像素同色的周圍像素的信號置換所述判定像素的信號的置換電路。
文檔編號H04N5/335GK101420537SQ200810173800
公開日2009年4月29日 申請日期2008年4月25日 優先權日2007年4月27日
發明者江川佳孝 申請人:株式會社東芝