成像裝置和閃爍檢測方法
2023-08-05 04:27:36
專利名稱：成像裝置和閃爍檢測方法
技術領域：
本發明涉及一種併入到數位相機等等的成像裝置，並且尤其是涉 及具有對由於諸如螢光燈這樣的光源的亮度波動而在拍攝圖像中所產生的閃爍(flicker)進行檢測的功能的成像裝置。
背景技術：
為固態圖像傳感器之一的CMOS (互補金屬氧化物半導體)傳感 器執行所謂的行曝光。因此，按照每一行(掃描行)，組成CMOS傳 感器的拍攝表面的每個像素(光電二極體)的電荷積聚定時(timing)根 據每個像素的掃描定時存在偏差。因此，當在對象的亮度周期性變化 的環境中例如在具有非逆變器型螢光燈(non-inverter type fluorescent light)的室內中利用CMOS傳感器拍攝圖像時，在拍攝圖像中產生了亮 暗橫條紋。將在拍攝圖像中產生橫條紋的現象稱為閃爍。
作為抑制在拍攝圖像中閃爍的發生的一個方法，存在用於將CMOS傳感器的電荷積聚時間(快門速度)配置成光源的閃光周期(blink cycle)的整數倍這樣的方法(例如參見專利引文1)。在具有調節的電 荷積聚時間的成像裝置中，光源在每個像素的電荷積聚時間之內的光 強波動是均勻的，即使電荷積聚的定時根據每個像素而不同。因此可 抑制閃爍的發生。
例如，上述非逆變器型螢光燈的閃光頻率是商用交流電源的電源 頻率的兩倍。也就是說，在電源頻率為50Hz的區域中螢光燈的閃光周 期是1 / 100秒並且在電源頻率為60Hz的區域中是1 / 120秒。因此，在電源頻率為50Hz的區域中，電荷積聚時間是N / IOO秒並且在電源 頻率為60Hz的區域中電荷積聚時間是M/120秒。在這裡，N和M是 正整數。然而在專利引文1中，沒有公幵如下所述的方法，例如，用 於對閃爍本身進行檢測的方法以及用於響應對閃爍的檢測而使CMOS 傳感器的電荷積聚時間最佳化的方法。
在專利引文2中，公開了用於利用根據CMOS傳感器獲得的圖像 所計算的閃爍指標值來對閃爍發生進行檢測並且根據所檢測的結果來對電荷積聚時間進行切換的成像裝置。
更具體地說，專利引文2中所公開的成像裝置可在與第一電源頻 率(例如50Hz)相對應的第一電荷積聚時間(例如N/100秒)和與第 二電源頻率(例如60Hz)相對應的第二電荷積聚時間(例如M / 120 秒)之間對CMOS傳感器的電荷積聚時間進行切換。此外，專利引文 2的成像裝置計算下述投影值(projection value)D並且計算用於表示多 個幀之間的投影輸出值D的變化量的閃爍指標值I，所述投影值D是 包含在CMOS傳感器所拍攝的圖像中的預定行之內的多個像素的像素 值的累積。例如由以下公式(1)計算利用4幀的圖像所計算的閃爍指 標值I。注意的是，在公式(1)中，D (n)是第n幀的預定行的投影輸出值。
/ = Z|Z)(" + 1)-(1)
通過對閃爍指標值II與閃爍指標值12進行比較來執行專利引文2 中所公開的成像裝置對電荷積聚時間進行切換。閃爍指標值Il是從利 用第一電荷積聚時間所拍攝的圖像獲得的。閃爍指標值12是從利用第 二電荷積聚時間所拍攝的圖像獲得的。在專利引文2中所公開的成像 裝置選擇具有更小閃爍指標值的電荷積聚時間。此外，例如，如果在 被配置成第一電荷積聚時間時，閃爍指標值Il增大超過了預定閾值， 那麼執行從第一電荷積聚時間切換到第二電荷積聚時間。[專利引文1]
日本未審專利申請公開No. 2003 — 189172 [專利引文2]
日本未審專利申請公開No. 2002 — 8446
發明內容
技術問題
如上所述，專利引文2中所公開的成像裝置計算與連續拍攝的多 個圖像的預定行有關的像素值的累積值(投影值)。此外，專利引文2 中所公開的成像裝置通過跨過預定數目的幀的2個圖像中的投影輸出 值的差進行測量獲得閃爍指標值。此外，在專利引文2中所公開的成 像裝置利用所獲得的閃爍指標值對閃爍進行檢測。然而，在專利引文2 中所公開的成像裝置的閃爍檢測方法中，存在如下所述的對幀速率的 依賴性很大的這樣的問題。
專利引文2中所公開的閃爍估計方法利用拍攝圖像的預定行中的 每個像素的光電變換的定時與光源的閃光周期不同步來對拍攝圖像中 的閃爍進行檢測(例如參見專利引文2中的段落43至46)。因此，例 如，如果1幀時段與光源的閃光周期同步，也就是說，如果1幀時段 是光源的閃光周期的整數倍，那麼圖像的預定行中的每個像素的積聚 電荷量不會在連續拍攝的多個圖像之間波動。也就是說，在這種情況 下，難以通過專利引文2中所公開的方法對閃爍進行檢測。如上所述， 通過專利引文2中所公開的成像裝置的閃爍檢測方法具有對幀速率的 依賴性很大這樣的問題。
技術方案
在本發明的一個實施例中，成像裝置包括成像傳感器、控制單元、 以及閃爍檢測單元。控制單元控制通過被調節為第一電荷積聚時間的成像傳感器拍攝第一圖像和控制通過被調節為第二電荷積聚時間的成 像傳感器拍攝第二圖像。第一電荷積聚時間不會在以第一閃光周期閃 光的光源之下拍攝的圖像中引起閃爍。第二電荷積聚時間與第一電荷 積聚時間不同。閃爍檢測單元根據被調節為第一電荷積聚時間的成像 傳感器所拍攝的第一圖像與被調節為第二電荷積聚時間的成像傳感器 所拍攝的第二圖像之間的亮度差來對第二圖像中的閃爍發生進行檢
當在以第一閃光周期閃光的光源下利用如上配置的成像裝置執行 拍攝時，以第一電荷積聚時間所獲得的第一圖像中不會出現閃爍。另 一方面，以第二電荷積聚時間所獲得的第二圖像中，不管第二圖像的l 幀時段是否是光源的第一閃光周期的整數倍，如果第二電荷積聚時間 與第一閃光周期不同步，則會由於閃爍而出現橫條紋。因此，通過利 用第一與第二圖像的亮度差，不管第一和第二圖像的1幀時段是否是
光源的閃光周期的整數倍，則可進行閃爍檢測。因此，利用根據本發 明一個實施例的成像裝置，可降低閃爍檢測精確度對幀速率的依賴性 並且可提高閃爍檢測精確度。
在本發明的另一實施例中，提供了一種閃爍檢測方法。更具體地 說，在第一電荷積聚時間與第二電荷積聚時間之間對成像傳感器的電 荷積聚時間進行切換以便執行通過被調節為第一電荷積聚時間的成像 傳感器拍攝第一圖像和執行通過被調節為第二電荷積聚時間的成像傳 感器拍攝第二圖像。第一電荷積聚時間與光源的第一閃光周期同步並 且不會在以第一閃光周期閃光的光源之下所拍攝的圖像中產生閃爍。 第二電荷積聚時間與第一電荷積聚時間不同。此外，根據第一圖像與 第二圖像之間的亮度差來對第二圖像中的閃爍發生進行檢測。
利用根據本發明另一實施例的閃爍檢測方法，通過利用第一與第 二圖像的亮度差，不管第一和第二圖像的1幀時段是否是光源的閃光 周期的整數倍，可進行閃爍檢測。因此，可降低閃爍檢測精確度對幀
7速率的依賴性並且可提高閃爍檢測精確度。
本發明可提供一種降低閃爍檢測精確度對幀速率的依賴性並且可 提高閃爍檢測精確度的成像裝置。
圖1是根據本發明第一實施例的成像裝置1的方框圖。圖2是用於對在根據第一實施例的成像裝置1中的差分圖像 (difference image)產生的說明性示例進行說明的圖。圖3A是用於對根據第一實施例的成像裝置1所產生的差 分圖像進行說明的概念圖。圖3B是用於對根據第一實施例的成像裝置1所產生的差分 圖像進行說明的概念圖。圖4是示出了根據第一實施例的成像裝置1的閃爍檢測過程 的示例的流程圖。圖5是示出了根據本發明第二實施例的成像裝置1的閃爍檢 測過程的流程圖。圖6是示出了根據第二實施例的成像裝置1的閃爍檢測過程 的流程圖。圖7是根據本發明第三實施例的成像裝置2的方框圖。 [圖8A]圖8A是用於對根據第三實施例的成像裝置2利用差分圖 像對閃爍的檢測和閃爍頻率的檢測進行說明的示意圖。圖8B是用於對根據第三實施例的成像裝置2利用差分圖像
對閃爍的檢測和閃爍頻率的檢測進行說明的示意圖。圖8C是用於對根據第三實施例的成像裝置2利用差分圖像
對閃爍的檢測和閃爍頻率的檢測進行說明的示意圖。圖9是示出了根據第三實施例的成像裝置2的閃爍檢測過程 的流程圖。對附圖標記的說明
1， 2 成像裝置
10 CMOS傳感器
11 CDS (相關雙採樣)電路
12 放大器
13 A/D轉換器
14像素值累積單元
15 曝光控制單元
16 定時產生器
17差分圖像產生單元 18， 28 閃爍檢測單元
具體實施方式
現在在這裡參考說明性實施例對本發明進行描述。本領域技術人 員將意識到，利用本發明的教導可實現許多可選的實施例並且本發明 並不局限於為了說明性目的所說明的實施例。
在下文中，參考附圖對併入本發明的具體實施例進行詳細地描述。 在每個附圖中，由與其中那些相同的參考數字來表示相同部件，其中 為使該說明清楚起見的需要而省去重複描述。
第一實施例
圖1是根據這個實施例的成像裝置1的方框圖。在圖1中，CMOS 傳感器10是通過使CMOS集成電路的製造過程轉用而製造的固態圖像 傳感器。CMOS傳感器IO具有由與矩陣中的每個像素相對應的光電二 極管所形成的拍攝表面。另外，對於CMOS傳感器10的每個像素而言， 配置了用於有選擇地讀取積聚在每個像素中的信號電荷的電晶體以及 用於對積聚在每個像素中的信號電荷進行復位的電晶體。在如上所形成的CMOS傳感器10中，與CCD圖像傳感器相反，形成拍攝表面的 每個像素的電荷積聚定時根據每個像素的掃描定時而不同，並且對於 每個像素在不同定時執行電荷積聚以產生圖像信號。
CDS(相關雙採樣)電路11通過執行相關雙採樣除去CMOS傳感 器10所產生的圖像信號的噪聲。放大器12對由CDS電路11除去噪聲 後的圖像信號進行放大。隨後描述的曝光控制單元15對放大器12的 增益以及CMOS傳感器10的電荷積聚時間進行控制以便使由CMOS 傳感器拍攝的圖像具有期望亮度。
A/D轉換器13對由放大器12所放大的圖像信號進行採樣以 將其轉換成數位訊號。將從A / D轉換器13輸出的數字圖像信號輸入 到未示出的圖像處理單元並且由圖像處理單元(未示出)執行色信號 內插、色校正、以及白平衡調節等等。
像素值累積單元14輸入來自A/D轉換器13的輸出信號，按照每 一圖像幀，累積包含在整個圖像平面或者圖像平面一部分之內的像素 的像素值、並且將所獲得的累積值提供給曝光控制單元15。像素值累 積單元14可以利用像素值的累積值來計算圖像幀中的像素值的平均值 並且可以將所獲得的平均值提供給曝光控制單元15。
曝光控制單元15根據像素值累積單元14所提供的圖像的像素值 的累積值或者平均值來確定CMOS傳感器10的電荷積聚時間(快門速 度)和放大器12的增益。曝光控制單元15將設置信號輸出到定時產 生器16以對CMOS傳感器IO進行控制，以便CMOS傳感器10的電 荷積聚時間是所確定的值。另外，曝光控制單元15將設置信號輸出到 放大器12以便對放大器12的增益進行配置。
此外，曝光控制單元15對CMOS傳感器10的電荷積聚時間進行 控制以獲得是隨後所述的差分圖像產生單元17所產生的差分圖像DP
10的基礎的圖像Pl和P2，以便執行該實施例的閃爍檢測。
更具體地說，曝光控制單元15通過在兩個電荷積聚時間Tl與T2 之間對CMOS傳感器10的電荷積聚時間進行交替切換來執行圖像拍 攝。電荷積聚時間之一T1與諸如螢光燈這樣的光源的第一閃光周期同 步，並且是不會在以第一閃光周期閃光的光源之下CMOS傳感器10的 拍攝圖像中產生閃爍的第一電荷積聚時間。另一電荷積聚時間T2是與 第一電荷積聚時間不同的第二電荷積聚時間。隨後所述的多個示例是 第二電荷積聚時間的說明性示例。
例如如果光源的第一閃光周期是1/100秒(閃光頻率100Hz)， 那麼第一電荷積聚時間Tl是光源的第一閃光周期的整數倍，即N/ 100 秒，並且第二電荷積聚時間T2是除了光源的第一閃光周期的整數倍之 外的值。另外，例如，如果光源的第一閃光周期是1 / 120秒(閃光頻 率120Hz),那麼第一電荷積聚時間T1是光源的第一閃光周期的整數 倍，即N/120秒，並且第二電荷積聚時間T2是除了N/120秒之外的 值。在這裡，N是正整數。在下文中，在該實施例中，說明假定光源 的第一閃光周期是1/100秒。
定時產生器16將用於定義積聚在每個像素中的電荷的復位定時的 脈衝信號以及用於定義讀取積聚在每個像素中的信號電荷的縱向選擇 的脈衝信號輸出到CMOS傳感器10，以便CMOS傳感器10中的每個 像素的電荷積聚時間是曝光控制單元15所表示的值。
差分圖像產生單元17輸入與以依據曝光控制單元15的控制的2 個不同電荷積聚時間Tl和T2所拍攝的2幀的圖像Pl和P2有關的圖 像信號。差分圖像產生單元17產生2幀的圖像P1和P2之間的差分圖 像DP。在這裡，差分圖像DP是通過計算2幀的圖像之間在拍攝表面 的橫向和縱向位置中相對應的像素的像素值的差所獲得的圖像。參考圖2對差分圖像產生單元17的過程的說明性示例進行描述。
圖2的示例將1幀圖像21劃分成縱向24個塊和橫向8個塊以劃分成 總共192個塊，並且使每個塊的像素值累積。另外，通過橫向上合計 每個塊的累積值而獲得總共24個塊(圖2中的參考數字22)的像素值 的平均值。在為2幀圖像Pl和P2的每一個計算圖2中所示的平均值 之後，差分圖像產生單元17通過計算這2幀之間每個塊的平均值的差 而產生用於閃爍檢測的差分圖像DP。也就是說，通過執行圖2的示例 中的計算，產生橫向以l個塊合計並且縱向以24個塊合計的差分圖像 DP。
注意的是，圖2的示例僅是差分圖像DP的產生過程的示例。也 就是說，可對1幀圖像的整個圖像平面或者該圖像平面的一部分產生 差分圖像DP。為了產生該圖像的圖像平面的一部分的差分圖像，可以 使用包括與1個圖像中的閃爍引起的亮暗條紋的周期相對應的亮暗條 紋的至少1個周期的行的數量。可利用光源的閃光周期(或者閃光頻 率)和成像裝置1的1幀時段(或者幀速率)來計算1個圖像中的閃 爍引起的亮暗條紋的周期。
此外，如利用圖2所描述的，通過以預定部分區域為單元，使像 素值累積所獲得的累積值之間的差或者通過像素值的平均值之間的差 而產生差分圖像DP,而不是通過像素值之間的直接差。另外，例如可 從圖像Pl和P2的亮度值的差產生差分圖像DP。從具有拜耳排列(Bayer arrangement)的色信息的圖像信號產生每個像素的亮度值。另外，根據 RGB信號當中最接近亮度信號的G信號，從圖像Pl和P2的G信號值 的差產生差分圖像DP。
現在回到圖l繼續該說明。在圖1中，閃爍檢測單元18輸入差分 圖像產生單元17所產生的差分圖像DP。在與圖像Pl和P2的掃描方 向相垂直的方向(是差分圖像DP的圖像平面的縱向)上，閃爍檢測單 元18根據差分圖像DP的像素值的波動(亮度波動)來對第二圖像P2中的閃爍發生進行檢測。因此，可以認為閃爍檢測單元18包括在差分 圖像DP的圖像平面的縱向上的亮度波動檢測單元。換句話說，可以認 為閃爍檢測單元18包括用於差分圖像DP的亮暗條紋檢測單元。
在這裡，參考圖3A和3B對利用差分圖像DP的閃爍檢測的原理 進行描述。圖3A示出了當成像裝置1的拍攝環境不在閃光源之下時， 例如室外日光，以電荷積聚時間Tl所拍攝的圖像Pl和以電荷積聚時 間T2所拍攝的圖像P2的差分圖像DP。在圖3A的情況下，因為在圖 像Pl和P2中閃爍沒有發生，因此除了攝影被攝體的移動和噪聲之外， 圖像P1和P2是相同圖像。因此，差分圖像DP的像素值或者亮度值在 整個圖像平面上理論上是零，並且檢測不到差分圖像DP的圖像平面的 縱向上的亮度波動。
另一方面，圖3B示出了在以第一閃光周期閃光的閃光源之下所拍 攝的圖像P1和圖像P2的差分圖像DP。在圖3B的情況下，因為圖像 Pl的電荷積聚時間T1與光源的閃光周期同步，因此在圖像PI中不會 產生閃爍。然而，如果圖像P2的電荷積聚時間T2與光源的第一閃光 周期不同步，則在圖像P2中閃爍發生。因此，包含在圖像P2中的閃 爍引起的亮暗橫條紋被加強並且出現在差分圖像DP中。也就是說，在 差分圖像DP中，亮度波動沿著縱向而出現。因此，通過閃爍檢測單元 18對差分圖像DP縱向上的亮度波動進行檢測，可對第二圖像P2中的 閃爍的發生進行檢測。
可通過各種方法來對差分圖像DP縱向上的亮度波動進行檢測。 例如，閃爍檢測單元18可利用對差分圖像DP的亮度值的統計分析結 果來對亮度波動進行檢測。更具體地說，閃爍檢測單元18可計算差分 圖像DP縱向上的亮度值的平均值和標準偏差或者方差，並且可估計出 所計算的平均值和標準偏差更接近不具有閃爍的差分圖像DP的亮度
值的平均值和標準偏差或者具有閃爍的差分圖像DP的亮度值的平均 值和標準偏差。
另外，可利用數字匹配濾波器對差分圖像DP縱向上的亮度波動 進行檢測。根據光源的閃光周期(或者閃光頻率)以及成像裝置1的1 幀時段(或者幀速率)，理論上可計算包含在1圖像幀之內的閃爍引 起的橫條紋的數目。例如，如果光源的閃光頻率是100Hz並且成像裝 置1的幀拍攝速率是20幀/秒，那麼包含在1圖像幀之內的閃爍條紋的 數目理論上是5。按照這種方式，理論上計算用於表示由於閃爍條紋所 造成的差分圖像的亮度波動的參考波形，並且可利用數字匹配濾波器 來計算參考波形與所觀察到的差分圖像DP的亮度波動波形之間的互 相關性。同樣地，可利用數字匹配濾波器來計算不具有閃爍引起的亮 度波動的參考波形(直流波形)與所觀察到的差分圖像DP的亮度波動 波形之間的互相關性。這可確定所觀察到的差分圖像DP的亮度波動是 接近具有閃爍的情況還是不具有閃爍的情況。
另外，或者，對差分圖像DP執行傅立葉變換以便根據差分圖像 DP的空間頻譜來對差分圖像DP的亮度波動進行檢測。
在下文中，參考圖4的流程圖對成像裝置1的閃爍檢測過程進行 描述。在步驟S101中，通過曝光控制單元15的控制，CMOS傳感器 10以電荷積聚時間Tl執行圖像拍攝以獲得第一圖像Pl。接下來，在 步驟S102中，曝光控制單元15將CMOS傳感器10的電荷積聚時間切 換到電荷積聚時間T2， CMOS傳感器10以電荷積聚時間T2執行圖像 拍攝以獲得第二圖像P2。在步驟S103中，差分圖像產生單元17產生 圖像P1與P2之間的差分圖像DP。在步驟S104中，閃爍檢測單元18 對差分圖像DP縱向上的亮度波動進行檢測。
如果在步驟S104中未檢測到縱向上的亮度波動，則檢測到圖像 Pl和P2中不存在閃爍，換句話說，它不是會產生由於光源的閃光所引 起的閃爍的拍攝環境(步驟S105)。另一方面，如果在步驟S104中檢 測到差分圖像DP的亮度波動，則檢測到在圖像P2中發生了由於光源的閃光所引起的閃爍，換句話說，它是會產生由於光源的閃光所引起 的閃爍的環境(步驟S106)。
在圖4的流程圖中，沒有限制獲得圖像P1和P2的順序。也就是 說，可在以第一電荷積聚時間Tl拍攝圖像之前以第二電荷積聚時間 T2拍攝圖像。
如上所述，根據這個實施例的成像裝置1獲得了以不同電荷積聚 時間所拍攝的2個圖像Pl和P2，產生圖像Pl與P2之間的差分圖像 DP以便提取這2個圖像P1與P2之間的亮度差，並且檢測圖像DP的 縱向(與圖像Pl和P2的掃描方向相垂直的方向)上的亮度波動引起 的閃爍。
在以第二電荷積聚時間T2所獲得的圖像P2中，即使當圖像P2 的1幀時段是光源的閃光周期的整數倍，也會出現由於閃爍引起的橫 條紋。因此，利用該實施例的成像裝置1，通過利用圖像P1與P2之間 的亮度差，可對閃爍進行檢測而不管圖像Pl和P2的1幀時段是否是 光源的閃光周期的整數倍。因此，成像裝置1可降低閃爍檢測精確度 對幀速率的依賴性，並且提高閃爍檢測精確度。
注意的是，專利引文2中所公開的成像裝置具有另一問題，艮P， 因為對閃爍進行檢測需要大量圖像幀，因此要對閃爍進行檢測所需的 時間很長。如公式(1)中所示的，專利引文2中所公開的成像裝置使 圖像幀之間的像素值的變化量累積，並且利用該變化量的累積值作為 閃爍指標值來執行對閃爍指標值的閾值估計。因此專利引文2中所公 開的成像裝置需要至少3個圖像幀以對閃爍進行檢測。此外，認為需 要許多圖像幀以對閃爍進行檢測的專利引文2的方法很可能由於攝影 被攝體的移動引起的像素值變化而產生假檢測。另外，為了確定閃爍 或者攝影被攝體移動是否引起了閃爍指標值的波動，專利引文2描述 了必須在更多數目的幀上對閃爍指標值進行測量(例如專利引文2中
15的段落63至79)。按照這種方式提高估計精確度容易使與閃爍檢測時 間的長度有關的上述問題更加嚴重。
與此相比，該實施例的成像裝置1可根據以不同電荷積聚時間所 拍攝的至少2個圖像幀來對閃爍進行檢測。也就是說，因為要對閃爍 進行檢測所需的圖像幀的數目小，因此可降低要對閃爍進行檢測所需 的時間，並且具有如下的優點，即，很難產生由於攝影被攝體的移動 引起的像素值變化而造成的假檢測。
注意的是，在其上安裝了成像裝置1的數位相機等等中，成像裝 置1的閃爍檢測最好是在電源起動時、當CMOS傳感器IO所拍攝的圖 像的亮度大大變化時、以及當由於用戶的操作而使諸如曝光調節這樣 的預設給數位相機的拍攝模式變化時被執行。另外，在其上安裝了成 像裝置1的照相機等等進行操作的同時，可利用對電荷積聚時間進行 交替切換而反覆獲得圖像Pl和P2以反覆通過成像裝置1對閃爍進行 檢測。利用這種配置，可快速地對拍攝環境的變化做出響應。
另外，成像裝置1可多次獲得圖像Pl和P2以產生多個差分圖像 DP，以便根據多個差分圖像DP對閃爍的發生進行檢測。例如，可4 次產生差分圖像DP，並且如果連續4次檢測到差分圖像DP縱向上的 亮度波動，那麼成像裝置1可檢測到閃爍的發生。利用這種配置，可 提高對閃爍存在的檢測精確度。
第二實施例
如果僅在光源的閃光周期是第一閃光周期(在該實施例中是1 / 100秒)的環境和區域中使用具有根據第一實施例的成像裝置1的數碼 相機等等，那麼通過圖4所示的閃爍檢測過程，可對100Hz閃爍的發 生進行檢測。然而，考慮到當具有成像裝置1的數位相機等等被用在 具有不同的光源閃光周期的若干環境和區域中時的情況，可通過圖4 的過程對閃爍發生進行檢測，但是不可檢測到從光源的哪個閃光頻率產生了閃爍。因此，僅僅通過圖4的過程，無法改變諸如CMOS傳感 器10的電荷積聚時間以及放大器12的增益這樣的配置，以便防止閃 爍的發生。因此，參考圖5和6對圖4所示的閃爍檢測過程的變化示 例進行描述。
在這裡，作為第一種情況，考慮當在以第一閃光周期(1/100秒) 閃光的光源下執行圖像Pl和P2的拍攝時的情況。在第一種情況中， 在圖像Pl和P2這兩者中不會發生閃爍。因此，除了攝影被攝體的移 動和噪聲之外，圖像P1和P2是相同圖像，因此檢測不到差分圖像DP1 縱向上的亮度波動。因此，在第一種情況中，檢測不到閃爍(步驟S205)。 這可確定出當前拍攝環境是不會在以如至少N/100秒的電荷積聚時間 所拍攝的圖像中產生閃爍的環境(在以第一閃光周期閃光的光源或者 諸如戶外這樣的不具有閃爍的環境)。
接下來，作為第二種情況，考慮當在以第二閃光周期(1/120秒) 閃光的光源下執行圖像Pl和P2的拍攝時的情況。在第二種情況中， 在圖像Pl中不會發生閃爍，但是在圖像P2中發生閃爍。因此在步驟 S104中檢測到差分圖像DP1縱向上的亮度波動。因此，在第二種情況 下檢測到閃爍發生(步驟S206)。根據閃爍的發生的原理，明顯的是， 這種情況下的閃爍不是由於以第一閃光周期(1 / 100秒)閃光的光源 引起的。因此，如果對光源的閃光周期的選項僅是第一閃光周期(1 / 100 秒)和第二閃光周期(W120秒)這樣的2種方式，那麼可確定出圖像 P1和P2的拍攝環境處於第二閃光周期(1/120秒)的光源之下。
因此，如果在上述步驟S201至S206中未檢測到閃爍發生，那麼 可以將在通過來自用戶的指令執行普通拍攝時CMOS傳感器10的電荷 積聚時間設置為N/100秒。另外，如果已將處於普通拍攝的CMOS傳 感器10的電荷積聚時間設置為N/100秒，那麼可繼續該配置。同時， 如果在上述步驟S201至206中檢測到閃爍發生，那麼將處於普通拍攝 的CMOS傳感器10的電荷積聚時間設置為M/120秒。在這裡，N和 M是正整數。
如上所述，如果光源的閃光周期的選項僅是第一閃光周期(1/100 秒)和第二閃光周期(1/120秒)這樣的2種方式，那麼通過檢測到閃 爍發生(步驟S206)，可確定出圖像P1和P2的拍攝環境處於第二閃光周期U/120秒)的光源之下。因此在步驟S207中，將處於普通拍 攝的CMOS傳感器10的電荷積聚時間配置為M/ 120秒。在此之後， 如果確定出步驟S208之後的確認過程是不必要的，則閃爍檢測過程在 這裡結束。
另一方面，在步驟S208中，如果確定附加的確認過程是必需的， 那麼該過程進行圖6所示的確認過程。在步驟S209和S210中，CMOS 傳感器10以M / 120秒和W/ 120秒的電荷積聚時間執行圖像拍攝以獲 得圖像P3和P4。在這裡，M和W是正整數。另外，如圖5所述的， 優選的是，M/ 120秒或者W/ 120秒的任一個是1 / 100秒與1 / 120秒 的公倍數並且另一個不是1 / 100秒與1 / 120秒的公倍數。
在步驟S211中，產生圖像P3與P4之間的差分圖像DP2。在步驟 S212中，對所產生的差分圖像DP2縱向上的亮度波動進行檢測。在這 種情況下，如果成像裝置1中不存在故障等等，那麼檢測不到差分圖 像DP2縱向上的亮度波動並且閃爍檢測過程結束(步驟S213)。另一 方面，在檢測到差分圖像DP2縱向上的亮度波動的異常情況下，再次 回到步驟S201並且再次執行閃爍檢測過程(步驟S214)。作為重新執 行閃爍檢測過程的結果，如果再次在步驟S213中檢測到亮度波動，那 麼認為發生了諸如成像裝置1的故障這樣的某種異常事件。因此將某 種通知信號輸出到成像裝置1外部。這裡的通知信號可以是用於向外 部處理器通知發生了異常事件的電信號，或者可以是用於顯示或音頻 輸出以通知用戶的信號。
假定光源的閃光周期是下述2種方式這樣的情況對圖5和6進行 說明，所述2種方式假定是閃爍的發生的原因。因此，如果引起閃爍 的發生的光源的閃光周期是3種方式或更多，那麼在圖6的步驟S212 中，可檢測到差分圖像DP2縱向上的亮度波動。在這種情況下，將CMOS 傳感器10的電荷積聚時間配置成與第三閃光周期相對應的時間，並且 按照與圖6的過程相同的方式來執行下述的進一步的確認過程，艮P，
19不會以與第三閃光周期相對應的電荷積聚時間產生閃爍。
在按照上面所說明的過程執行了閃爍檢測過程以獲得不是閃爍發 生原因的電荷積聚時間之後，通過曝光控制單元15，可獲得不具有閃 爍的圖像，所述曝光控制單元15對定時產生器16的脈衝傳輸定時和 放大器12的增益進行配置以便以不形成閃爍的電荷積聚時間執行普通 拍攝。這可提高其上安裝了成像裝置1的數位相機等等的用戶的便利 性。注意的是，執行閃爍的檢測過程的定時可以是在本發明第一實施 例中所描述的各個定時，例如在電源起動時。
另外，在圖5中，說明了這樣的示例，g卩，在該示例中，通過對 以2次拍攝所獲得的圖像Pl和P2的差分圖像DPI的亮度波動進行檢 測來對閃爍的存在進行檢測。然而，與本發明的上述第一實施例一樣， 反覆獲得圖像Pl和P2以反覆閃爍檢測。利用這種配置，可快速地對 拍攝環境的變化做出響應。或者，與本發明的上述第一實施例一樣， 可以多次獲得圖像Pl和P2以產生多個差分圖像DP1，以便根據多個 差分圖像DPI對閃爍的發生進行檢測。利用這種配置，可提高對閃爍 的發生的檢測精確度。注意，不用說的是，這不局限於圖5而是還可 應用於圖6。
第三實施例
根據本發明的上述第一或第二實施例的成像裝置1通過下述配置 被說明，即，所述配置通過利用以不同電荷積聚時間所拍攝的2個圖 像Pl和P2所產生的差分圖像DP的亮度波動的存在來對閃爍進行檢 測。將該實施例的成像裝置2配置成根據差分圖像DP的圖像平面的縱 向上的亮度波動的周期(像素值的波動周期)來對即是閃爍頻率的光 源的閃光頻率進行進一步檢測。當具有成像裝置2的數位相機等等用 在下述區域中時這種配置尤其有效，SP，在所述區域中，在CMOS傳 感器10的圖像中產生閃爍的光源的閃光頻率處於2種方式，例如在日 本。商業電源在日本具有50或者60Hz的頻率。在下文中，對根據該實施例的成像裝置2的配置以及閃爍檢測過程進行詳細地描述。
圖7中示出了成像裝置2的方框圖。在圖7中，除了閃爍檢測單 元28之外的部件與包含在上述成像裝置1之內的那些相同，因此，由 圖1中的附圖標記來表示該部件並且省略對該部件的詳細說明。注意 的是，包含在成像裝置2中的曝光控制單元15與成像裝置1的相似點 在於，通過在Tl禾口 T2這2個電荷積聚時間之間對CMOS傳感器10 的電荷積聚時間進行交替切換來執行拍攝。然而，將此時的電荷積聚 時間Tl和T2分別配置成相應於光源的第一閃光周期(例如1 / 100秒) 和第二閃光周期(例如1/120秒)。在下文中，在該實施例中，說明 了光源的第一閃光周期是1 / 100秒並且與此相對應的第一電荷積聚時 間T1是N/100秒。另外，說明了光源的第二閃光周期是1/120秒並 且與此相對應的第二電荷積聚時間T2是M/120秒。這裡，N和M是 正整數。然而，確定第二電荷積聚時間T2是除了光源的第一閃光周期 "1/100秒"的整數倍之外的值。
閃爍檢測單元28輸入由差分圖像產生單元17所產生的差分圖像 DP，以根據差分圖像DP的圖像平面的縱向上的像素值的波動(亮度 波動)來對在第一圖像Pl或者第二圖像P2中的閃爍發生進行檢測。 此外，通過對差分圖像DP的圖像平面的縱向上的亮度波動的周期進行 分析，閃爍檢測單元28檢測在圖像P1和P2的哪一個中產生了閃爍， 換句話說，檢測拍攝環境是在第一閃光周期(1 / 100秒)或者第二閃 光周期(1 / 120秒)的光源之下。也就是說，可以認為閃爍檢測單元 28包括用於對差分圖像DP的亮度波動的頻率(閃爍頻率)進行檢測 的閃爍頻率檢測單元。因此，在圖7中，為了闡明與圖1的差別，對 嵌入在閃爍檢測單元28的塊中的閃爍頻率檢測單元進行描述。
如在本發明的第一實施例中所描述的，當以N/ 100秒的第一電荷 積聚時間Tl禾Q M / 120秒的第二電荷積聚時間T2產生了差分圖像DP 時，通過對差分圖像DP的圖像平面的縱向上的亮度波動的存在進行檢湖'J，可檢測是否產生了閃爍。然而，通過僅對差分圖像DP的亮度波動 的存在進行檢測，無法確定出成像裝置2的拍攝環境是在100HZ閃爍
的光源之下還是在120Hz閃爍的光源之下。因此在該實施例中，通過 按照下述方式對差分圖像DP的亮度波動的周期或者頻率進行分析，確
定拍攝環境的閃爍頻率。
圖8A至8C是示出了在差分圖像DP的屏幕縱向上的亮度波動的 波形。圖8A示出了當在圖像P1和P2的任何一個中沒有產生閃爍時差 分圖像DP的亮度波動。在這種情況下，除了攝影被攝體的移動和噪聲 之外，圖像P1和P2是相同圖像。因此，差分圖像DP的像素值(亮度) 表示如圖8A中的直流波形。
此外，圖8C示出了當光源的閃光頻率是120Hz並且在圖像Pl中 產生了閃爍時差分圖像DP的亮度波動。根據拍攝圖像P1和P2時光源 的閃光頻率(120Hz)和幀速率來確定這種情況下的差分圖像DP的像 素值(亮度)的波動頻率。
如圖8B和8C所示，差分圖像DP的亮度波動的頻率與光源的閃 光頻率成正比。因此，通過對差分圖像DP的亮度波動的周期或者頻率 進行分析，可確定產生了 100Hz閃爍和120Hz閃爍中的哪一個。
在下文中，參考圖9的流程圖對成像裝置2的閃爍檢測過程進行 描述。在步驟S301中，通過曝光控制單元15的控制，CMOS傳感器 10以電荷積聚時間T1 (N/100秒)執行圖像拍攝以獲得第一圖像P1。 接下來，在步驟S302中，曝光控制單元15將CMOS傳感器10的電荷 積聚時間切換為第二電荷積聚時間T2 (M / 120秒)，CMOS傳感器 10以電荷積聚時間T2執行圖像拍攝以獲得第二圖像P2。在步驟S303 中，差分圖像產生單元17產生圖像P1與P2之間的差分圖像DP。在 步驟S304中，閃爍檢測28對差分圖像DP的縱向上的亮度波動頻率fs 進行測量。
如果所測量的亮度波動頻率幾乎是零，那麼閃爍檢測單元28檢測 到"沒有閃爍"，也就是說，差分圖像DP的亮度波動波形接近直流波形 (步驟S305和S306)。此外，如果所測量的亮度波動頻率fs是與光 源的100Hz閃爍相對應的頻率，那麼閃爍檢測單元28檢測到在圖像 P2中產生了由光源的閃光所引起的100Hz閃爍，換句話，它是會產生 由光源的閃光所引起的100Hz閃爍的拍攝環境(步驟S305和307)。
23另外，如果所測量的亮度波動頻率fs是與光源的120HZ閃爍相對應的 頻率，那麼閃爍檢測單元28檢測到在圖像Pl中產生了由光源的閃光
所引起的120Hz閃爍，換句話，它是會產生由光源的閃光所引起的 120Hz閃爍的拍攝環境(步驟S305和308)。
如上所述，該實施例的成像裝置2以2個電荷積聚時間Tl和T2 獲得了圖像Pl和P2，所述時間Tl和T2的每一個都與光源的2種方 式的閃光頻率相同步，並且產生圖像P1與P2之間的差分圖像DP。此 夕卜，將成像裝置2配置成通過對差分圖像DP的圖像平面的下述縱向上 的亮度波動的周期或頻率進行分析來檢測該閃爍是由2種方式的閃光 頻率(例如100Hz和120Hz)中的哪一個引起的，所述縱向是與圖像 P1和P2的掃描方向相垂直的方向。注意的是，在對閃爍進行檢測之後 曝光控制單元15等等中的配置變化以及對普通拍攝的響應幾乎與在上 述第一和第二實施例中所述的內容一樣，因此，在這裡省略重新的說 明。
利用這種配置，不但可對閃爍進行檢測而且還可對閃爍頻率進行 檢測。另外，利用這種配置，不但在諸如使用2種方式的電源頻率50Hz 和60Hz的日本這樣的區域閃爍檢測是可能的，而且在諸如電源頻率僅 是50Hz的歐洲以及電源頻率僅是60Hz的北美洲這樣的區域閃爍檢測 也是可能的。因此，可普遍使用成像裝置2，而與使用區域無關。
注意的是，用於在其上安裝了成像裝置2的數位相機等等中執行 閃爍的檢測處理的定時可以是在本發明的第一實施例中所描述的各個 定時，例如在電源起動時。
另外，成像裝置2可多次獲得圖像Pl和P2以產生多個差分圖像 DP，以便根據多個差分圖像DP對閃爍的發生進行檢測。例如，可以4 次產生差分圖像DP，並且如果連續4次檢測到差分圖像DP的縱向上 的亮度波動並且閃爍頻率不變，那麼成像裝置2可檢測到閃爍的發生。利用這種配置，可抑制對閃爍存在和閃爍頻率的錯誤判定，並且可提 高對閃爍存在和閃爍頻率的檢測精確度。
很明顯的是，本發明並不局限於上述實施例，而是在不脫離本發 明的範圍和精神的情況下可做出修改和變化。
本發明的其他實施例2
根據本發明的其他實施例1的成像裝置，其中對第一和第二圖像 的一部分通過差分圖像產生單元產生差分圖像。
本發明的其他實施例3--種成像裝置，包括 成像傳感器；
控制單元，配置為通過被調節為第一電荷積聚時間的成像傳感器 來對拍攝第一圖像進行控制，並且通過被調節為第二電荷積聚時間的 成像傳感器來對拍攝第二圖像進行控制，第一電荷積聚時間不會在以 第一閃光周期閃光的光源之下成像傳感器所拍攝的圖像中引起閃爍， 第二電荷積聚時間會在以第一閃光周期閃光的光源之下成像傳感器所 拍攝的圖像中引起閃爍；以及
閃爍檢測單元，配置為根據第一圖像與第二圖像之間的亮度差來 對第二圖像中的閃爍發生進行檢測，
其中第一電荷積聚時間是1/100秒的整數倍並且第二電荷積聚時 間是1/120秒的整數倍。
本發明的其他實施例4
一種用於對閃爍進行檢測的方法，包括
在第一電荷積聚時間與第二電荷積聚時間之間對成像傳感器的電 荷積聚時間進行切換，以便通過被調節為第一電荷積聚時間的成像傳 感器來執行拍攝第一圖像並且通過被調節為第二電荷積聚時間的成像 傳感器來執行拍攝第二圖像，第一電荷積聚時間與光源的第一閃光周 期同步並且不會在以第一閃光周期閃光的光源之下所拍攝的圖像中引 起閃爍，第二電荷積聚時間與第一電荷積聚時間不同；以及
根據第一圖像與第二圖像之間的亮度差來對第二圖像中的閃爍發 生迸行檢測，
其中按照第一電荷積聚時間的拍攝與按照第二電荷積聚時間的拍 攝交替地反覆，並且
利用交替地反覆拍攝的第一和第二圖像反覆對第二圖像中的閃爍 發生進行檢測。
本發明的其他實施例5
一種用於對閃爍進行檢測的方法，包括在第一電荷積聚時間與第二電荷積聚時間之間對成像傳感器的電 荷積聚時間進行切換，以便通過被調節為第 一 電荷積聚時間的成像傳 感器來執行拍攝第一圖像並且通過被調節為第二電荷積聚時間的成像 傳感器來執行拍攝第二圖像，第一電荷積聚時間與光源的第一閃光周 期同步並且不會在以第一閃光周期閃光的光源之下所拍攝的圖像中引 起閃爍，第二電荷積聚時間與第 一 電荷積聚時間不同；
在第一與第二圖像之間產生差分圖像；以及
根據在與第一和第二圖像的掃描方向相垂直的方向上的差分圖像 的像素值的波動來對第二圖像中的閃爍發生進行檢測。
本發明的其他實施例6
根據本發明的其他實施例5的方法，其中通過計算第一和第二圖 像的每個相應像素之間的像素值差來產生差分圖像。
本發明的其他實施例7
根據本發明的其他實施例5的方法，其中通過計算第一圖像的橫 向上的像素值的累積值與第二圖像的橫向上的像素值的累積值的差來 計算差分圖像。
本發明的其他實施例8
根據本發明其他實施例6或7的方法，其中對第一和第二圖像的 一部分產生差分圖像。
本發明的其他實施例9
根據本發明其他實施例5的方法，其中第二電荷積聚時間會在以 第一閃光周期閃光的光源之下所拍攝的圖像中引起閃爍，並且第二電 荷積聚時間與光源的第二閃光周期同步並且不會在以第二閃光周期閃 光的光源之下所拍攝的圖像中引起閃爍。
本發明的其他實施例10根據本發明其他實施例9的方法，其中第 一 電荷積聚時間是1 / 10 0
秒的整數倍並且第二電荷積聚時間是1 / 120秒的整數倍。
本發明的其他實施例11
根據本發明其他實施例9的方法，其中對閃爍發生進行檢測包括 根據在與第一和第二圖像的掃描方向相垂直的方向上的差分圖像的像 素值的波動周期或波動頻率來檢測在第一圖像或第二圖像的哪一個中 產生了閃爍。
本發明的其他實施例12
一種成像裝置，包括 成像傳感器；
裝置，用於通過被調節為第一電荷積聚時間的成像傳感器來對拍 攝第一圖像進行控制並且通過被調節為第二電荷積聚時間的成像傳感 器來對拍攝第二圖像進行控制，第一電荷積聚時間不會在以第一閃光 周期閃光的光源之下成像傳感器所拍攝的圖像中引起閃爍，第二電荷 積聚時間與第一閃光周期不同步並且會在以第一閃光周期閃光的光源 之下成像傳感器所拍攝的圖像中引起閃爍；
裝置，用於產生第一圖像與第二圖像之間的差分圖像；以及 裝置，用於根據該差分圖像來對第二圖像中的閃爍發生進行檢測。
28
權利要求
1.一種成像裝置，包括成像傳感器；控制單元，配置為控制通過被調節為第一電荷積聚時間的所述成像傳感器拍攝第一圖像和控制通過被調節為第二電荷積聚時間的所述成像傳感器拍攝第二圖像，所述第一電荷積聚時間不會在以第一閃光周期閃光的光源之下所述成像傳感器所拍攝的圖像中引起閃爍，所述第二電荷積聚時間與所述第一電荷積聚時間不同；以及閃爍檢測單元，配置為根據所述第一圖像與所述第二圖像之間的亮度差來對所述第二圖像中的閃爍發生進行檢測。
2. 根據權利要求l所述的成像裝置，其中所述控制單元控制所述成像傳感器反覆地交替執行以所述第一電荷積聚時間進行拍攝以及以 所述第二電荷積聚時間進行拍攝。
3. 根據權利要求1所述的成像裝置，進一步包括 差分圖像產生單元，配置為產生所述第一圖像與所述第二圖像之間的差分圖像，其中所述閃爍檢測單元根據與所述第一圖像和所述第二圖像的掃 描方向相垂直的方向上的所述差分圖像的像素值的波動來對所述第二 圖像中的閃爍發生進行檢測。
4. 根據權利要求3所述的成像裝置，其中通過計算所述第一圖像和所述第二圖像的每一相應像素之間的像素值差來產生所述差分圖 像。
5. 根據權利要求2所述的成像裝置，進一步包括差分圖像產生單元，配置為產生所述第一圖像與所述第二圖像之 間的差分圖像，其中所述閃爍檢測單元根據與所述第一圖像和所述第二圖像的掃 描方向相垂直的方向上的所述差分圖像的像素值的波動來對所述第二 圖像中的閃爍發生進行檢測。
6. 根據權利要求5所述的成像裝置，其中通過計算所述第一圖像 和所述第二圖像的每一相應像素之間的像素值差來產生所述差分圖 像。
7. 根據權利要求1所述的成像裝置，其中所述第二電荷積聚時間 在以所述第一閃光周期閃光的所述光源之下所拍攝的圖像中會引起閃 爍，並且所述第二電荷積聚時間與所述光源的第二閃光周期同步並且 不會在以所述第二閃光周期閃光的所述光源之下所拍攝的圖像中引起 閃爍。
8. 根據權利要求7所述的成像裝置，進一步包括 差分圖像產生單元，配置為產生所述第一圖像與所述第二圖像之間的差分圖像，其中所述閃爍檢測單元根據與所述第一圖像和所述第二圖像的掃 描方向相垂直的方向上的所述差分圖像的像素值的波動周期和波動頻 率兩者的至少之一來檢測在所述第一圖像和所述第二圖像的哪一個中 產生了閃爍。
9. 一種用於對閃爍發生進行檢測的方法，包括執行通過被調節為第一電荷積聚時間的成像傳感器拍攝第一圖 像，所述第一電荷積聚時間不會在以第一閃光周期閃光的光源之下所 述成像傳感器所拍攝的圖像中引起閃爍；執行通過被調節為第二電荷積聚時間的所述成像傳感器拍攝第二圖像，所述第二電荷積聚時間與所述第一電荷積聚時間不同；以及根據所述第一圖像與所述第二圖像之間的亮度差來對所述第二圖 像中的閃爍發生進行檢測。
全文摘要
曝光控制單元(15)對CMOS傳感器(10)的電荷積聚時間進行控制。CMOS傳感器(10)以電荷積聚時間T1拍攝圖像P1並且以電荷積聚時間T2拍攝圖像P2。電荷積聚時間T1不會在以第一閃光周期閃光的光源之下的圖像中引起閃爍。電荷積聚時間T2與電荷積聚時間T1不同。差分圖像產生單元(17)產生用於加強示出圖像P1和P2的亮度差的差分圖像DP。閃爍檢測單元(18)根據在差分圖像DP中出現的P1與P2之間的亮度差來對圖像P2中的閃爍發生進行檢測。
文檔編號H04N3/15GK101622859SQ20078004949
公開日2010年1月6日 申請日期2007年9月27日 優先權日2007年3月5日
發明者新倉謙太郎 申請人:恩益禧電子股份有限公司