固態成像設備的製作方法
2023-05-24 06:40:16 3
專利名稱：固態成像設備的製作方法
技術領域：
本發明涉及具有用於攝像機的固態(solid-state)圖像拾取元件的固態成像設備，尤其涉及具有用於校正信號的校正裝置的固態成像設備，所述信號由固態圖像拾取元件輸出，用於缺陷像素(defective pixel)。
背景技術：
圖10是示出具有缺陷像素校正功能的常規固態成像設備的配置的圖，所述常規固態成像設備在日本專利公告No.Hei.5-41868中公開。在常規固態成像設備中，圖像數據通過透鏡101被幀讀取(frame-reading)圖像拾取元件檢測。獲得的圖像信號被預處理器103預處理，並且所產生的信號被A/D轉換器104轉換為數字圖像信號。
此數字圖像信號被1H延遲電路105延遲一個水平掃描周期，並還被1H延遲電路106延遲一個水平掃描周期(總和為兩個水平掃描周期)。由A/D轉換器104輸出的數字圖像信號、延遲了一個水平掃描周期的數字圖像信號、以及延遲了兩個水平掃描周期的數字圖像信號被傳輸到色彩信號處理器107以產生色彩信號，並且也為了濾波而被分別傳輸到數字低通濾波器108、109和110。
已經被濾波的三個圖像信號被傳輸到缺陷像素檢測器111，以檢測缺陷像素，並且被與閾值112比較。缺陷像素校正電路113接收這三個被濾波的圖像信號和由缺陷像素檢測器111獲得的缺陷像素檢測信號，校正用於缺陷像素的像素信號，並且將圖像信號輸出到其後產生亮度信號的亮度信號處理器114。
常規缺陷像素檢測器111從圖像信號中抽取用於將對其作出確定的像素的像素數據和鄰近的外圍像素的像素數據，並且為這些像素執行加法/減法過程或比較以計算投影值(projection value)(用於目標像素的像素數據和用於外圍像素的像素數據之間的差)。缺陷像素檢測器111隨後比較投影值與閾值112，以確定目標像素是否有缺陷。
從被幀讀取固態圖像拾取元件102讀取的像素數據中，常規固態成像設備將用於由濾波器108、109和110輸出的兩個垂直像素的數據相加，還將用於兩個水平像素的數據相加，以獲得亮度信號。隨後，缺陷像素校正裝置利用外圍像素數據校正用於被確定有缺陷的像素的像素數據。因此，由缺陷像素產生的影響擴散到用於外圍像素的像素數據，並且因此對缺陷像素正確檢測和校正像素數據是不可能的。
發明內容
因此，本發明的一個目的是提供具有缺陷像素校正功能的固態成像設備，所述設備能夠校正用於缺陷像素的輸出信號，而不會將由缺陷像素產生的影響擴散到外圍像素。
為了達到此目的，根據本發明的固態成像設備包括缺陷像素檢測單元，用於從幀讀取固態圖像拾取元件輸出的信號中，抽取用於將對其作出確定的目標像素的像素數據和其外圍像素的像素數據；並且用於利用從與目標像素相同的濾波器中的外圍像素中選擇的像素的像素數據來確定目標像素是否是缺陷像素；以及缺陷像素校正單元，用於利用外圍像素的像素數據來校正缺陷像素的像素數據。優選地，通過使用包括在像素數據中的信號電平，缺陷像素檢測單元確定目標像素是否為缺陷像素。
通過此配置，缺陷像素的輸出信號可以被校正而不會將缺陷像素產生的影響擴散到外圍像素。進一步說，不需要用於存儲缺陷像素位置的存儲器，固態圖像拾取元件可以檢測缺陷像素並校正其像素數據。
缺陷像素檢測單元進一步地確定當以下情況時目標像素是缺陷像素，即當用於目標像素的像素數據，與包括在從外圍像素中選擇的、與目標像素相同的濾波器中的像素數據，具有等於或大於第一閾值的差時；並且當用於不同濾波器中的鄰近於且不同於目標像素的像素的像素數據，包括等於或小於第二閾值的差時，所述像素數據從與鄰近像素相同的濾波器中的像素的像素數據中抽取。通過此配置，可以容易地確定目標像素是缺陷像素還是表示圖像的邊緣部分的像素。
而且，為了確定等於或大於第一閾值的差是否存在，缺陷像素檢測單元將目標像素的像素數據，和用於相同濾波器中的外圍像素之一的像素的像素數據進行比較，該外圍像素之一具有最大像素數據值。通過此配置，因為可以根據缺陷的電平任意設置閾值，所以缺陷像素的位置可以被指定，並且缺陷像素可以被校正。
另外，為了確定等於或小於第二閾值的差是否存在，缺陷像素檢測單元將用於鄰近像素的像素數據，和相同濾波器中具有至少第二大像素數據值的像素的像素數據進行比較。通過此配置，可以根據缺陷的電平設置任意閾值，並且確定鄰近於缺陷像素的像素的像素數據是否可以被投影(project)到外圍遠處是可能的。
當確定目標像素有缺陷時，利用目標像素的像素數據，以及從外圍像素中選擇的與目標像素相同的濾波器中的像素的像素數據，缺陷像素校正單元校正目標像素的像素數據。通過此配置，因為缺陷像素被校正到接近於外圍像素電平的電平，所以缺陷像素的像素數據可以在任一類型的目標中都不太顯著。
而且，當確定目標像素是缺陷像素時，利用目標像素的像素數據，和從外圍像素中選擇的、與目標像素相同的濾波器中的像素的像素數據之間的差；以及從外圍像素中選擇的、不同的濾波器中的像素的像素數據，和鄰近像素的像素數據之間的差，缺陷像素校正單元校正目標像素的像素數據。通過此配置，當目標像素和鄰近像素的投影值(projection value)接近於閾值的投影值時，校正值可以根據獲得的投影值而平滑改變，並且可以減少由於諸如噪音的不利影響(adverse affect)而來的缺陷像素的閃爍。
另外，由缺陷像素檢測單元執行的缺陷像素確定過程，和由缺陷像素校正單元執行的校正過程，對於沿多路垂直的行的像素同時執行。通過此配置，對於由亮度信號處理器和色彩信號處理器使用的全部輸入信號，缺陷像素可以被檢測並校正。
圖1是示出根據本發明的一個實施例的固態成像設備的配置的圖；圖2是示出用於由根據本發明實施例的固態成像設備使用的固態圖像拾取元件的範例色彩濾波器排列的圖；圖3是示出用於根據本發明實施例的固態成像設備的固態圖像拾取元件的輸出信號的圖；圖4是示出由根據本發明實施例的固態成像設備使用的缺陷像素校正電路的輸出信號的圖；圖5A和5B是示出根據本發明實施例的固態成像設備的單獨部分的輸出信號的圖；圖6是示出用於根據本發明的實施例檢測缺陷像素的區域的圖；圖7A和7B是用於解釋根據本發明的實施例的缺陷像素檢測方法的圖；圖8A是示出目標像素的投影距離(projection distance)和用於根據本發明實施例執行的缺陷像素校正的校正係數k1之間的關係的圖；並且圖8B是示出目標像素的投影距離和用於根據本發明實施例執行的缺陷像素校正的校正係數k2之間的關係的圖；圖9是示出根據本發明實施例對其缺陷像素的檢測和校正可以同時執行的目標像素的圖；圖10是示出常規固態成像設備的配置的圖。
具體實施例方式
現在將參照附圖描述本發明的一個實施例。
圖1是示出根據本發明的實施例的固態成像設備的配置的圖。此固態成像設備包括透鏡1；位於透鏡1的焦點的幀讀取固態圖像拾取元件(在下文中被簡單稱作「固態圖像拾取元件」)；預處理器3，用於預處理固態圖像拾取元件2的輸出信號(此預處理器包括CDS(相關雙採樣，CorrelatedDouble Sampling)電路，用於採樣信號並保持採樣信號；以及AGC(自動增益控制)電路，用於提供自動增益控制；以及A/D轉換器4，用於將由預處理器3輸出的模擬信號轉換為數位訊號。
固態成像設備還包括1H延遲電路5，用於延遲A/D轉換器4輸出的信號(在下文中被稱作信號(a))；1H延遲電路6，用於將1H延遲電路5的輸出信號(在下文中被稱作信號(b))延遲一個水平掃描周期(1H延遲電路6的輸出信號在下文中被稱作信號(c))；缺陷像素檢測器8，用於接收信號(a)、(b)和(c)，並且以稍後將被描述的方式檢測缺陷像素；以及缺陷像素校正電路9，用於接收缺陷像素檢測器8的檢測結果和信號(a)、(b)和(c)，並且以稍後將被描述的方式校正缺陷像素的輸出信號。
缺陷像素校正電路9輸出信號(d)、(e)和(f)。信號(d)是通過校正用於信號(a)中的缺陷像素的像素數據獲得的信號(當沒有檢測到缺陷像素時，信號(d)與信號(a)相同)。與信號(d)一樣，信號(e)和(f)是通過校正信號(b)和(c)獲得的信號。
為了利用信號(d)、(e)和(f)產生亮度信號，用於此實施例的固態成像設備包括加法電路10，1H延遲電路11，三個數字低通濾波器12、13和14，以及亮度信號處理器15。
加法電路10包括加法器16，用於將信號(d)和(e)相加並且輸出信號(g)；以及加法器17，用於將信號(e)和(f)相加並且輸出信號(h)。1H延遲電路11接收信號(h)，並且輸出延遲了一個水平掃描周期的信號(i)；低通濾波器12、13和14分別接收信號(g)、(h)和(i)，並且將被濾波的信號輸出到亮度信號處理器15。亮度信號處理器15取出三個低通濾波器12、13和14的輸出信號，產生並輸出亮度信號。
為了利用信號(e)、(f)和(h)產生色彩信號，根據本發明的固態成像設備包括加法電路18、延遲調整電路19和色彩信號處理器20。加法電路18包括延遲單元21，用於輸出通過延遲信號(e)獲得的信號(j)；以及加法器22，用於將信號(j)和(f)相加，並且輸出信號(k)。
延遲調整電路19包括延遲單元23，用於輸出通過延遲信號(k)獲得的信號(m)；以及選擇器24，用於選擇信號(m)或信號(k)，並且將被選擇的信號輸出到信號(n)。色彩信號處理器20取出信號(n)和加法電路10通過將信號(e)和(f)相加而獲得的輸出信號(h)，並且產生和輸出色彩信號。
固態成像設備的全部操作現在將被描述。圖2是用於解釋固態圖像拾取元件2的圖。在此實施例中，固態圖像拾取元件2通過從單獨的像素經黃色(Ye)、深紅色(magenta)(Mg)、青色(Cy)和綠色(G)色彩濾波器傳送光來拾取圖像。當光從像素經圖2中的色彩濾波器傳送時，圖1中的信號(a)、(b)和(c)轉變為圖3中所示的那些。即，當第三行上的數據由固態圖像拾取元件2輸出時，信號(a)是一個其中青色(Cy)、黃色(Ye)、青色(Cy)、黃色(Ye)、…像素數據排列的信號，同時，延遲了一個水平掃描周期的信號(b)是一個其中深紅色(Mg)、綠色(G)、深紅色(Mg)、綠色(G)、…像素數據排列的信號。
當缺陷像素在由缺陷像素校正電路9輸出的信號(d)、(e)和(f)中不存在時，如圖4中所示的這些信號與圖3中所示的那些相同。加法電路10將信號(d)和(e)相加，或將信號(e)和(f)相加，並且產生和輸出信號(Cy+Mg)和(Ye+G)，需要其以產生亮度信號Y＝{(Cy+Mg)+(Ye+G)}×1/2。
如圖5A和5B所示，加法電路18使用信號(j)和(f)產生信號(k)，即，信號(Mg+Ye)和(G+Cy)，其被需要以產生一個色彩差信號R-Y。
根據行選擇信號FH2(見圖2)，延遲調整電路19開關選擇器24以選擇信號(m)或信號(k)作為信號(n)，信號(m)通過延遲信號(k)而被獲得。因為對每一行，信號(k)中的(Ye+Mg)和(Cy+G)被交換，選擇器24根據行選擇信號FH2開關，行選擇信號FH2的高電平和低電平在每一水平掃描周期重複。
因為用於三行的信號被亮度信號處理器15在產生垂直輪廓增強信號(vertical contour emphasis signal)的時刻需要，所以1H延遲電路11將信號(h)延遲一個水平掃描周期以產生信號(i)，並且將信號(i)連同信號(g)和(h)傳輸到亮度信號處理器15。
亮度信號處理器15取出用於三行的亮度信號，即，由低通濾波器12、13和14輸出的信號，為這些輸出信號執行伽瑪(gamma)校正和增益調整，並將水平和垂直輪廓增強信號相加，並且輸出這樣獲得的信號以作為亮度信號Y。
色彩信號處理器20使用由延遲調整電路24輸出的信號(n)和由加法電路10輸出的信號(m)，以產生基於以下等式的色彩差信號(R-Y，B-Y)。
R-Y＝(Mg+Ye)-(G+Cy)B-Y＝(Mg+Cy)-(G+Ye)色彩信號處理器20交替輸出色彩信號(R-Y)和(B-Y)。
現在對其中缺陷像素存在於固態圖像拾取元件2中的情況給出解釋。當缺陷像素存在時，圖像缺陷在亮度信號中顯現為白點或黑點。用於檢測顯現為白點的缺陷像素的方法現在將參照圖6描述。
如圖6中所示，缺陷像素檢測器8抽取將對其作出確定的像素B，和作為且環繞B的外圍的相同濾波器中的像素A、C、D、E以及F，並且還抽取鄰近像素B的不同濾波器中的像素，即，不同濾波器中的幀25中的像素a2、a3、b2、b3和c2，和除了幀25中的那些像素的外圍像素a1到a8、b1到b8和c1到c7。用於這些被抽取的像素的輸出數據隨後被使用以確定像素B是否是缺陷像素。
首先，為了檢查像素B被投影到超過外圍像素多遠，計算像素B和相同濾波器中的外圍像素A、C、D、E以及F的最大值之間的差。當差等於或大於預定閾值thw1時，確定像素B是被投影的像素。此確定過程可以表示為確定表達式1[將被確定的目標像素的投影距離的確定]|B-max(A、C、D、E、F)|≥thw1…(確定表達式1)其中thw1中的「w」表示白色。此確定表達式被定義為第一條件，其中像素B是缺陷像素。
此後，在鄰近目標像素b的不同濾波器中的像素處檢查距離，即，幀25中的像素a2、a3、b2、b3和c2被投影到外圍像素以外。例如，通過計算像素a2和具有除最大值之外的諸如具有第二最大值像素之間的差而獲得在像素a2處被投影的距離，所述像素被從不同濾波器中的環繞在像素a2的外圍的像素a1、a3、a5、a6和a7中選擇。當差等於或小於預定閾值thw2時，確定像素a2未被投影。
對於其它像素a3、b2、b3和c2，投影距離以相同的方式被檢查，並且第二條件被定義為這樣的條件，其中幀25中的像素a2、a3、b2、b3和c2沒有一個被投影。
此第二條件由下面的確定表達式表示。
{|a2-max2(a1、a3、a5、a6、a7)|thw2}
{|a3-max2(a2、a4、a6、a7、a8)|thw2}
{|b2-max2(b1、b3、b5、b6、b7)|thw2}
{|c2-max2(c1、c3、c5、c6、c7)|thw2}
{|b3-max2(b1、b3、b5、b6、b7)|thw2}…(確定表達式2)其中，在括號中的像素中，max2表示具有第二最大值的像素。
當第一條件和第二條件成立時，即，當確定表達式1和確定表達式2同時為真時，那就是說， {確定表達式1}∩{確定表達式2}＝真 …(確定表達式3)成立時，確定目標像素B是缺陷像素，並且用於像素B的輸出數據將如後所述被校正。
對於缺陷像素的判定，確定目標像素是缺陷像素還是表示圖像數據中的邊緣(輪廓)的像素是困難的。根據用於此實施例的缺陷像素檢測方法，當「目標像素被投影」且「沒有鄰近於目標像素的像素被投影」時，通過使用確定表達式3，確定目標像素是缺陷像素。因此，容易確定目標像素是表示邊緣部分的一個像素，還是缺陷像素。這將參照圖7A和7B討論。
圖7A是示出圖像數據的邊緣部分中的像素狀態的圖，並且圖7B是示出缺陷像素的狀態的圖。由「1」表示的像素是那些已根據第一和第二條件被確定被投影的像素。
在圖7A中，因為，對於邊緣部分，投影像素(由「1」表示的像素)在「鄰近於目標像素的像素」中存在，即使當其被投影時也不能確定目標像素是缺陷像素。然而，當目標像素被隔離且如圖7B所示被投影時，可以根據確定表達式3確定目標像素是缺陷像素，並且缺陷像素可以被容易地與表示邊緣的外部部分的像素區分開。
用於校正缺陷像素的像素數據的方法現在將被描述。在此實施例中，用於目標像素的數據值和相同濾波器中用於外圍像素的數據被用於校正缺陷像素的數據。同時參照圖6，當確定目標像素是缺陷時，用於像素B的校正值由校正方程1獲得。
校正值＝k×max(A、C、D、E、F)+(1-k)× B…(校正方程1)在此方程中，k表示係數(0 k 1)，該係數通過使用目標像素B的投影距離和鄰近於目標像素B的像素(幀25中的像素)的投影距離確定。在下文中，此係數被稱作校正係數。
圖8A和8B是示出係數k1(0 k1 1)和k2(0 k2 1)的特徵的圖，該特徵的變化與目標像素的投影距離和鄰近於目標像素的像素的投影距離一致，所述投影距離沿水平軸表示。這些係數k1和k2與校正方程1的校正係數k之間的關係如下所示。
k＝min(k1、k2)…(校正方程2)
在圖8A和8B中，點P表示其中目標像素的投影距離大於閾值thw1，和鄰近像素的投影距離接近閾值thw2的情況。此時，k1＝1並且k2＝0.5，並且根據校正方程2，校正係數是k＝0.5。
因此，用於缺陷像素B的數據的校正值通過將k替代到校正方程1中而被獲得校正值＝0.5×max(A、C、D、E、F)+0.5×B，並且該數據通過使用外圍像素的最大值和目標像素B的值之間的中間值而被校正。
在圖8A和8B中，點Q表示其中目標像素的投影距離大於閾值thw1，和進一步地，鄰近像素的投影距離小於閾值thw2的情況。此時，k1＝1並且k2＝1，並且根據校正方程2，校正係數是k＝1。
因此，用於缺陷像素B的數據的校正值通過將k替代到校正方程1中的情況下而被獲得校正值＝1×max(A、C、D、E、F)+0×B，並且該數據通過使用外圍像素的最大值被校正。
如實施例中所描述，當目標像素和鄰近像素的投影值接近閾值時，固態成像設備根據投影距離平滑改變數據校正值。因此，當由於噪音使目標像素和鄰近像素的投影值超過閾值，且用於缺陷校正的條件重複成立或不成立時，缺陷像素的閃爍，即在此情況下白色像素的閃爍可以被減弱。
用於檢測白色缺陷像素的方法和用於校正圖像數據的方法已經被解釋。相同的原理可以用於為黑色缺陷像素執行的檢測和校正。對應於確定表達式1、2和3和校正方程1和2的表達式如下所示。
|B-min(A、C、D、E、F)|≥thb1…(確定表達式1b)其中黑色由「thb」中的「b」表示。
{|a1-min2(a1、a3、a5、a6、a7)|thb2}
{|a3-min2(a2、a4、a6、a7、a8)|thb2}
{|b2-min2(b1、b3、b5、b6、b7)|thb2}
{|c2-min2(c1、c3、c5、c6、c7)|thb2}
{|b3-min2(b1、b3、b5、b6、b7)|thb2}…(確定表達式2b)其中，在括號中的像素中，min2表示具有第二最大值的像素。
{確定表達式1b}∩{確定表達式2b}＝真…(確定表達式3b)[用於缺陷像素的數據校正]校正值＝k×min(A、C、D、E、F)+(1-k)×B…(校正方程1b)[用於校正係數的校正]k＝min(k1、k2)…(校正方程2b)根據實施例的固態成像設備，因為缺陷像素檢測器8同時取出用於多行的像素數據，並且因為缺陷像素校正電路9同時取出用於多行的像素數據，所以缺陷像素確定過程和校正過程可以為用於圖9中多路垂直排列的行的單獨的目標像素而被同時執行。因此，對於被亮度信號處理器和色彩信號處理器使用的全部輸入信號，缺陷像素可以被檢測和校正。
在此實施例中，因為對於數據的校正，缺陷像素確定依據每一圖像信號(像素數據)的接收而被執行，所述圖像信號由固態圖像拾取元件2順序地傳輸，不需要用於存儲缺陷像素位置的存儲器。因此，製造成本可以被降低，並且當在固態成像設備操作期間出現新像素的故障時，此故障可以被立即處理。
根據本發明，缺陷像素的輸出信號可以被校正，同時可歸因於缺陷像素的不利影響被防止擴散到外圍像素。因此，即使當固態圖像拾取元件中包括缺陷像素時，其中沒有缺陷像素存在的乾淨和自然的圖像可以供屏幕顯示。
權利要求
1.一種固態成像設備，包括缺陷像素檢測單元，用於從幀讀取固態圖像拾取元件輸出的信號中，抽取用於將對其作出確定的目標像素的像素數據和用於其外圍像素的像素數據；並且用於利用像素的像素數據，並根據用於目標像素的所述像素數據，和從在與所述目標像素相同的濾波器中的所述外圍像素中選擇的像素的像素數據，確定所述目標像素是否是缺陷像素；以及缺陷像素校正單元，用於利用所述外圍像素的所述像素數據，校正所述缺陷像素的像素數據。
2.如權利要求1中所述的固態成像設備，其中，所述缺陷像素校正單元通過使用包括在所述像素數據中的信號電平，確定所述目標像素是否為缺陷像素。
3.如權利要求1中所述的固態成像設備，其中，當在以下情況時，所述缺陷像素檢測單元確定所述目標像素是缺陷像素，即當所述目標像素的所述像素數據，和包括在從所述外圍像素中選擇的、與所述目標像素相同的濾波器中的所述像素數據具有等於或大於第一閾值的差時；並且當不同於且鄰近於所述目標像素的不同濾波器中的像素的所述像素數據，和與所述鄰近像素相同的濾波器中的像素的像素數據，具有等於或小於第二閾值的差時。
4.如權利要求3中所述的固態成像設備，其中，為了確定等於或大於第一閾值的差是否存在，所述缺陷像素檢測單元將所述目標像素的所述像素數據，和相同濾波器中的所述外圍像素之一的所述像素的所述像素數據進行比較，所述外圍像素之一具有最大像素數據值。
5.如權利要求3中所述的固態成像設備，其中，為了確定等於或小於第二閾值的差是否存在，所述缺陷像素檢測單元將所述鄰近像素的所述像素數據，和相同濾波器中具有至少第二大像素數據值的所述像素的所述像素數據進行比較。
6.如權利要求1中所述的固態成像設備，其中，當確定所述目標像素是缺陷像素時，所述缺陷像素校正單元利用所述目標像素的所述像素數據，和用於從所述外圍像素中選擇的、與所述目標像素相同的濾波器中的所述像素的像素數據，校正所述目標像素的所述像素數據。
7.如權利要求1中所述的固態成像設備，其中，當確定所述目標像素是缺陷像素時，所述缺陷像素校正單元利用所述目標像素的所述像素數據，和用於從所述外圍像素中選擇的、與所述目標像素相同的濾波器中的所述像素的所述像素數據之間的差；以及從所述外圍像素中選擇的、不同濾波器中的所述像素的所述像素數據，和所述鄰近像素的所述像素數據之間的差，校正所述目標像素的所述像素數據。
8.如權利要求1中所述的固態成像設備，其中，由所述缺陷像素檢測單元執行的缺陷像素確定過程，和由所述缺陷像素校正單元執行的校正過程，對於沿多路垂直的行的像素同時執行。
全文摘要
一種固態成像設備包括缺陷像素檢測器(8)，用於從由幀讀取固態圖像拾取元件(2)輸出的信號中，抽取用於將對其作出確定的目標像素的像素數據和其外圍像素的像素數據，並且用於利用從與目標像素相同的濾波器中的外圍像素中選擇的像素的像素數據，來確定目標像素是否是缺陷像素；以及缺陷像素校正單元(9)，用於利用外圍像素的像素數據，來校正缺陷像素的像素數據。通過此配置，缺陷像素的輸出信號可以被校正而不會將缺陷像素產生的影響擴散到外圍像素，並且可以顯示自然的圖像。
文檔編號H04N5/367GK1426238SQ0214441
公開日2003年6月25日 申請日期2002年9月27日 優先權日2001年9月28日
發明者豐田圭司, 杉岡勇一郎, 刈谷政樹 申請人:松下電器產業株式會社