信號處理裝置的製作方法
2023-04-25 10:49:51 1
專利名稱：信號處理裝置的製作方法
技術領域：
本發明涉及檢測包含在攝像元件的受光像素區域和光學黑體區域中的缺陷像素並對其進行修正的信號處理裝置。
背景技術：
圖8是表示現有的攝像裝置的結構的框圖。圖8所示的攝像裝置具備模擬處理電路4、箝位脈衝產生電路68、A/D轉換電路16和數字處理電路17。
如圖9所示，CCD固體攝像元件將多個受光像素行列配置，以構成受光像素區域2i，並將與入射光對應而產生的信息電荷存儲在各受光像素中，在該受光像素區域2i的外周設定以鋁等進行遮光的光學黑體區域2b，在該光學黑體區域2b中與受光像素區域相同，也配置了存儲像素(以下，稱為黑色像素)。在這種CCD固體攝像元件中，存儲在黑色像素中的信息電荷與存儲在受光像素中的信息電荷一起被轉送。因此，如圖10所示，在來自CCD固體攝像元件的輸出信號Y(t)中，包含在水平掃描期間或者垂直掃描期間的一部分期間內來自黑色像素的黑色基準B(t)。
模擬處理電路4構成為具備箝位電路6、CDS電路12和AGC電路14，對CCD輸出信號Y(t)實施模擬信號處理。箝位電路6應答從箝位脈衝產生電路68輸出的箝位脈衝CLP，對包含在CCD輸出信號Y(t)中的黑色基準B(t)進行箝位，並將CCD輸出信號Y(t)的全黑電平進行電位固定。在該箝位電路6中，在箝位脈衝CLP上升的期間內，一邊模擬地將輸入的黑色基準B(t)平均化，一邊進行箝位。CDS電路12對箝位電路6輸出的信號進行饋通電平和信號電平的採樣，並輸出從信號電平中減去饋通電平的信號。AGC電路14以一個畫面或者一個垂直掃描期間為單位，對從CDS電路12輸出的信號進行積分，並生成調整了增益的圖像信號Y(t1)，以使該積分值收納在規定的範圍內。
箝位脈衝產生電路68基於水平同步信號HD和基準時鐘CK，生成箝位脈衝CLP並向箝位電路6輸出。在箝位脈衝產生電路68中，通過在水平掃描期間1H的開始的規定期間內使箝位脈衝CLP上升，來設定箝位期間，以便對表現為一行份的CCD輸出信號Y(t)前頭的黑色基準B(t)進行箝位。
A/D轉換電路16以一個像素為單位，對從模擬處理電路4輸出的像素信號Y(t1)進行量子化並生成第一圖像數據Y(n1)，同時，將在箝位電路6中已經箝位過的黑色基準B(t)量子化並生成黑色數據B(n)。並且，從第一圖像數據Y(n1)中減去黑色數據B(n)，以生成第二圖像數據Y(n2)。該第二圖像數據Y(n2)的值成為實際上被再生顯示的圖像數據的值。
數字處理電路17對A/D轉換電路16輸出的第二像素數據Y(n2)，實施顏色分離、矩陣運算等數位訊號處理，以生成包含亮度信號和色差信號的第三圖像數據Y(n3)。另外，進行控制CCD固體攝像元件的曝光狀態的曝光控制或控制CCD輸出信號Y(t)的白平衡的白平衡控制。
專利文獻1特開平6-86095在如上所述的結構中，在CCD固體攝像元件中，在受光像素區域和光學黑體區域的各個區域中都存在缺陷像素。該缺陷像素是由於在CCD固體攝像元件的製作過程中帶有的劃傷以及隨著時間的推移而產生惡化等原因造成的。
例如，如果在光學黑體區域中存在缺陷像素，並且從光學黑體區域中得到黑色基準是正極性的情況下，則在黑色基準中包含了電壓電平的極端高的部分，並將其輸出。在這種情況下，箝位之後的黑色基準電壓電平上升，黑色數據B(t)值增大，結果是第二圖像數據Y(n2)的值小於實際的信號電平。這種缺點會在對一行進行一次箝位處理的情況下，跨越一行的圖像數據而同樣產生，結果是在顯示了一個畫面的再生圖像時，形成了只有一部分行相對變暗的橫條圖像。
另一方面，在受光像素區域中存在缺陷像素的情況下，始終從同一受光像素輸出缺陷圖像信號，並在再生圖像中產生固定圖案的噪音。這種噪音會使拍攝圖像的視覺性顯著惡化，並強調了圖像整體的噪音感。作為解決這種缺陷像素的方法之一，雖然有實施將畫面整體模糊的濾波處理而緩和噪音感的方法，但是，在這種方法中，由於在缺陷像素以外的圖像上同樣實施濾波處理，所以會產生清晰度惡化的問題。
發明內容
因此，本發明的目的在於，提供一種即使在光學黑體區域或者受光像素區域中存在缺陷像素，也可以得到正確的再生圖像數據的信號處理裝置。
本發明鑑於上述課題，提供一種信號處理裝置，其對圖像信號實施規定的處理，該圖像信號從在受光像素區域的至少一部分中設置了光學黑體區域的攝像元件輸出，並在水平掃描期間或者垂直掃描期間的一部分期間內，包含有與上述光學黑體區域對應的黑色基準，其特徵在於，具備與圖像信號同步，產生箝位脈衝的箝位脈衝產生電路；應答上述箝位脈衝，並對上述黑色基準進行箝位的箝位電路；和檢測出包含在取出上述黑色基準的上述光學黑體區域中的缺陷像素的缺陷檢測電路，在上述缺陷檢測電路中，上述光學黑體區域中的缺陷像素的位置和箝位脈衝上升狀態的位置重疊時，上述箝位脈衝產生電路取消箝位脈衝的上升。
根據本發明，可以迴避光學黑體區域中所包含的缺陷黑色像素的影響，可以得到僅一部分行相對變暗的缺點消失的良好的再生圖像。
圖1是表示本發明的第一實施方式的結構的框圖。
圖2是說明目視像素和外周像素的圖。
圖3是說明判斷基準範圍的圖。
圖4是說明圖1動作的流程圖。
圖5是說明箝位脈衝CLP的狀態的時間圖。
圖6是說明箝位脈衝CLP的其他狀態的時間圖。
圖7是表示本發明的第二實施方式的結構的框圖。
圖8是表示現有的攝像裝置的結構的框圖。
圖9是表示受光像素區域和光學黑體區域的圖。
圖10是表示箝位定時的時間圖。
圖中4-模擬處理電路，6-箝位電路，12-CDS電路，14-AGC電路，16-A/D轉換電路，17-數字處理電路，68-箝位脈衝產生電路，70-缺陷處理電路，72-缺陷檢測電路，74-缺陷修正電路，76-判斷電路，78-位置存儲器，80-插補電路。
具體實施例方式
圖1是表示本發明的實施方式的結構的框圖。在該圖中，對具有與之前圖8所示的相同結構附加相同的符號。
圖1所示的信號處理裝置1具備模擬處理電路4、A/D轉換電路16、缺陷處理電路70、箝位脈衝產生電路68和數字處理電路17。模擬處理電路4具備箝位電路6、CDS電路12和AGC電路14，對CCD輸出信號Y(t)實施規定的模擬信號處理。箝位電路6應答從箝位脈衝產生電路68輸出的箝位脈衝CLP，對包含在CCD輸出處理信號Y(t)中的黑色基準B(t)進行箝位，並對CCD輸出信號Y(t)的全黑電平進行電位固定。CDS電路12對箝位電路6輸出的信號採樣饋通電平和信號電平，並輸出從信號電平中減去饋通電平的信號。AGC電路14以一個畫面或者一個垂直掃描期間為單位，對從CDS電路12輸出的信號進行積分，並生成調整了增益的圖像信號Y(t1)，以便該積分值收納在規定範圍內。
A/D轉換電路16在以一個像素為單位將從模擬處理電路4輸出的圖像信號Y(t1)量子化，並生成第一圖像數據Y(n1)的同時，將在箝位電路6中被箝位的黑色基準B(t)量子化並生成黑色數據B(n)。並且，從第一圖像數據Y(n1)中減去黑色數據B(n)，來生成第二圖像數據Y(n2)。
缺陷處理電路70具備缺陷檢測電路72、缺陷修正電路74、判斷電路76和位置存儲器78。缺陷檢測電路72依序取出從A/D轉換電路16依序輸出的第二圖像數據Y(n2)，並檢測出包含在第二圖像數據Y(n2)中的缺陷圖像的圖像數據。
例如，如圖2所示，參考外周八個像素的第二圖像數據Y(1)～Y(8)，在對目視像素的第二圖像數據Y(0)檢測出缺陷像素的情況下，在缺陷檢測電路72中，設定利用外周像素的第二圖像數據Y(1)～Y(8)的判斷基準範圍。圖3是說明設定判斷基準範圍的一例的圖。首先，將第二圖像數據Y(1)～Y(8)平均化之後生成平均電平Lave，同時，生成第二圖像數據Y(1)～Y(8)的最大電平Lmax、最小電平Lmin。之後，將平均電平Lave和最大電平Lmax的差ΔLH與最大值Lmax相加，來設定判斷基準範圍的上限。並且，從最小值Lmin中減去平均電平Lave和最小電平Lmin之差ΔLL，設定判斷基準範圍的下限。
作為設定判斷基準範圍的另一例，還有以下方法。首先，生成第二圖像數據Y(1)～Y(8)的最大電平Lmax、最小電平Lmin，並將最大電平Lmax和最小電平Lmin的中心設為中心電平Lcen。之後，將中心電平Lcen和最大電平Lmax的差ΔL與最大值Lmax相加，來設定判斷基準範圍的上限。並且，從最小值Lmin中減去中心電平Lcen和最小電平Lmin之差ΔL，設定判斷基準範圍的下限。
在缺陷檢測電路72中，如果輸入的第二圖像數據Y(0)處於判斷基準範圍之外，則被判定為缺陷受光像素，並使相對於缺陷修正電路74的第一檢測信號DS1上升。此時，在缺陷檢測電路72中，在第一檢測信號DS1上升的同時，將目視像素的第二圖像數據Y(0)和外周的Y(1)～Y(8)輸出到缺陷修正電路74。即，缺陷檢測電路72內置存儲電路和延遲電路，並在僅延遲了判斷動作的處理時間之後輸出目視像素的第二圖像數據Y(0)和外周的Y(1)～Y(8)。
另外，缺陷檢測電路72對A/D轉換電路16中生成的黑色數據B(0)也同樣，與參照外周B(1)～B(8)而生成的判斷基準範圍進行比較。並且，在檢測出缺陷黑色像素的情況下，使相對於判斷電路76的第二檢測信號DS2上升。另外，在檢測出黑色數據B(n)的缺陷黑色像素之際，僅輸出第二檢測信號DS2，而不輸出目視像素的黑色數據B(0)或外周的黑色數據B(1)～B(8)。
進而，缺陷檢測電路72構成為接收定時控制電路或控制微機中生成的選擇信號SEL，並與選擇信號SEL對應而切換動作。例如，在選擇信號SEL指示檢測缺陷黑色像素時，對於從A/D轉換電路16輸入一行數據的期間，僅在輸入黑色數據B(n)的期間內進行檢測動作，並在輸入第二圖像數據Y(n2)的期間內停止動作。相反，在選擇信號SEL指示檢測缺陷受光像素時，僅在輸入第二圖像數據Y(n2)的期間內進行檢測動作。
缺陷修正電路74在從第二圖像數據Y(n2)的外周像素生成修正數據Y』(n2)的同時，將判斷為缺陷受光像素的第二圖像數據Y(n2)與修正數據Y』(n2)置換。例如，修正數據Y』(n2)是通過將目視像素的第二圖像數據Y(n2)的外周四個像素平均化而生成的，在缺陷修正電路74中，僅在第一檢測信號DS1上升時，才將該修正數據Y』(n2)與目視像素的第二圖像數據Y(n2)置換並輸出。
判斷電路76監視第二檢測信號DS2，並判斷第二檢測信號DS2上升了的黑色像素為缺陷黑色像素的候補。而且，生成判斷為缺陷候補的黑色像素的位置信息，並輸出到位置存儲器78中。進而，在判斷電路76中，跨越多個畫面來監視第二檢測信號DS2，並將該監視結果與存儲在位置存儲器78中的位置信息進行核對，並從根據位置信息表示的缺陷黑色像素的候補中判定真正的缺陷黑色像素。即，對於相同的黑色像素，通過跨越多個畫面而監視缺陷候補的頻率，來確認缺陷判斷的連續性，並防止將由於與缺陷不同的原因而形成噪音的部分判斷為缺陷黑色像素。再有，再次將判定為缺陷黑色像素的像素的位置信息輸出到位置存儲器78中。
位置存儲器78存儲來自判斷電路76的位置信息，並輸出到箝位脈衝產生電路68。位置存儲器78由DRAM、SRAM、快閃記憶體等可自由寫入及讀取的存儲介質構成，接收並存儲在判斷電路76中判斷過的缺陷黑色像素候補和真正的缺陷黑色像素的位置信息。在位置存儲器78是快閃記憶體類的非易失性存儲器的情況下，即使切斷電源也能存儲數據。
數字處理電路17對從缺陷修正電路74輸出的第二圖像數據Y(n2)或者Y』(n2)實施顏色分離、矩陣運算等數據信號處理，並生成包含亮度信號和色差信號的第三圖像數據Y(n3)。另外，進行控制CCD固體攝像元件的曝光狀態的曝光控制、控制CCD輸出信號Y(t)的白平衡的白平衡控制。
參照圖4的流程圖，對具有上述結構的信號處理裝置的動作進行說明。
首先，在步驟S1中，進行缺陷黑色像素候補的檢測。在該步驟S1中，開始攝像動作並生成黑色數據B(n)，並從生成的黑色數據B(n)中檢測出缺陷黑色像素候補。此時，被提供給缺陷檢測電路72的選擇信號SEL指示缺陷黑色像素的檢測，由此，僅在輸入來自A/D轉換電路16的輸出信號中、黑色數據B(n)的期間內成為缺陷檢測的對象。在步驟S1中，對一個畫面中的所有黑色像素進行缺陷黑色像素候補的檢測，並進行包含在攝像開始的一個畫面中的缺陷黑色像素候補的檢測。
接下來，在步驟S2中，從缺陷黑色像素候補中判斷出真正的缺陷黑色像素。在步驟S2中，接著步驟S1的攝像，進行第二個畫面、第三個畫面和多個畫面的攝像，每次攝像都與步驟S1相同，檢測出缺陷黑色像素候補。如果結束跨越多個畫面的缺陷黑色像素候補的檢測，則從多個畫面的缺陷黑色像素候補中判斷出真正的黑色像素。之後，生成判定為真正缺陷黑色像素的黑色像素的位置信息，並存儲到位置存儲器78中。並且，在這以後的攝像動作中，按照存儲到位置存儲器78中的位置信息來生成箝位脈衝CLP，如圖5所示，在缺陷黑色像素的位置信息和箝位脈衝的上升狀態的位置重疊時，取消箝位脈衝CLP的上升。並且，如圖6所示，使箝位脈衝CLP上升，以迴避缺陷黑色像素的位置信息所示的黑色基準B(t)。由此，因為可以迴避缺陷黑色像素的影響，故防止了不經意地將箝位處理後的黑色基準B(t)的電壓電平上升。因此，即使在A/D轉換電路16的減法運算處理後，也可以使第二圖像數據Y(n2)的值小於實際值的現象消失，並且可以防止一部分行相對變暗的橫條圖像。
接下來，在步驟S3中，切換缺陷檢測電路72的檢測動作。在步驟S3中，使選擇信號SEL的電平反轉，並將指示從缺陷黑色像素的檢測切換到缺陷受光像素的檢測。由此，在輸入來自A/D轉換電路16的輸出信號中、黑色數據B(n)的期間內成為缺陷檢測的對象外，相反，僅在輸入第二圖像數據Y(n2)的期間內成為缺陷檢測的對象。
接下來，在步驟S4中，對於依次向缺陷檢測電路72中輸入的第二圖像數據Y(n2)，逐次進行判斷基準範圍的設定以及與判斷基準範圍的比較。並且，對應於缺陷受光像素的檢測，使第一檢測信號DS1上升。
接下來，在步驟S5中，對步驟S4中檢測出的缺陷受光像素實施修正處理。在該步驟S5中，應答來自缺陷檢測電路72的第一檢測信號DS1的上升，將缺陷受光像素的圖像數據Y(n)置換為修正數據Y』(n)。另外，在步驟S5的處理中，如之前的步驟S2所示，不進行缺陷像素判斷的連續性的確認，而對判斷為缺陷受光像素的圖像數據，實時地實施修正處理。因此，無需準備可以存儲一個畫面的圖像數據的位置信息的存儲器，可以迴避晶片面積的增加或成本的增加。並且，不僅對由於缺陷像素的原因而成為噪音的數據，而且對由於其他原因而成為噪音的數據，也同樣實施修正處理。此時，因為無需對沒有成為噪音的圖像數據實施修正處理，故不會使清晰度極度下降，可以得到良好的再生圖像。
圖7是表示本發明的第二實施方式的結構的框圖。在該第二實施方式中，與之前第一實施方式的不同點在於設置插補電路80，根據其他行的黑色數據B(n)來插補包含缺陷黑色像素的行的黑色數據B(n)。
插補電路80在一行的黑色像素中包含了較多判斷為缺陷黑色像素的像素的情況下，則存儲與該行不同的行的黑色數據B(n)。並且，在檢測處理以後的攝像動作中，在將缺陷黑色像素的比例較高的行的黑色基準B(t1)輸入到A/D轉換電路16時，將已存儲的其他行的黑色基準B(t1)輸出到A/D轉換電路16中。即，在一行的黑色像素區域中存在較多缺陷黑色像素的情況下，因為如果迴避其而提高箝位脈衝CLP，則箝位期間不足，故省略相對於該行的箝位脈衝CLP的上升，而是以其他行的黑色基準B(t1)進行插補。
權利要求
1.一種信號處理裝置，其對圖像信號實施規定的處理，該圖像信號從在受光像素區域的至少一部分中設置了光學黑體區域的攝像元件輸出，並在水平掃描期間或者垂直掃描期間的一部分期間內，包含有與上述光學黑體區域對應的黑色基準，其特徵在於，具備與圖像信號同步，產生箝位脈衝的箝位脈衝產生電路；應答上述箝位脈衝，並對上述黑色基準進行箝位的箝位電路；和檢測出包含在取出上述黑色基準的上述光學黑體區域中的缺陷像素的缺陷檢測電路，在上述缺陷檢測電路中，上述光學黑體區域中的缺陷像素的位置和箝位脈衝上升狀態的位置重疊時，上述箝位脈衝產生電路取消箝位脈衝的上升。
2.根據權利要求1所述的信號處理裝置，其特徵在於，還具備存儲上述缺陷檢測電路所生成的位置信息的存儲器。
3.根據權利要求1或2所述的信號處理裝置，其特徵在於，還具備插補電路，其根據上述缺陷檢測電路的檢測結果，基於其他行的黑色基準來插補包含上述缺陷像素的行的黑色基準。
4.根據權利要求1所述的信號處理裝置，其特徵在於，上述缺陷檢測電路從由上述受光像素區域的受光元件得到的圖像信號中檢測出缺陷信號，該信號處理裝置還具備對上述缺陷檢測電路檢測出的上述缺陷信號進行修正的缺陷修正電路。
5.根據權利要求4所述的信號處理裝置，其特徵在於，上述缺陷檢測電路根據指示上述光學黑體區域中的缺陷像素的檢測或者包含在從上述受光像素得到的圖像信號中的缺陷信號的檢測的任何一方的選擇信號進行動作，並根據上述選擇信號切換檢測動作。
全文摘要
本發明提供一種即使在光學黑體區域或受光像素區域中存在缺陷像素，也可以得到正確的再生圖像數據的信號處理裝置。首先，開始攝像動作之後生成黑色數據B(n)，並從已生成的黑色數據B(n)中檢測出缺陷黑色像素候補。並且，進行多個畫面的攝像，每次攝像都檢測出缺陷黑色像素候補。若結束跨越多個畫面的缺陷黑色像素候補的檢測，則從多個畫面的缺陷黑色候補中判斷出真正的缺陷黑色像素。之後，生成判斷為真正的缺陷黑色像素的黑色像素的位置信息，並存儲在位置存儲器(78)中。並且，在以後的攝像動作中，根據存儲在位置存儲器(78)中的位置信息，生成箝位脈衝CLP。
文檔編號H04N5/341GK1601755SQ20041007704
公開日2005年3月30日 申請日期2004年9月9日 優先權日2003年9月24日
發明者松山久, 渡邊透 申請人:三洋電機株式會社