攝像設備和攝像設備的控制方法
2023-10-28 00:23:12
專利名稱：攝像設備和攝像設備的控制方法
技術領域：
本發明涉及一種攝像設備和攝像設備的控制方法，尤其涉及一種用於校正所拍攝圖像中包含的由手抖動所引起的圖像失真的技木。
背景技術：
近來，諸如數字攝像機等的攝像設備普遍地採用與CXD傳感器相比功耗較低的CMOS傳感器作為圖像傳感器。CCD傳感器和CMOS傳感器不僅功耗不同，而且拍攝時的曝光方法也不同。在CCD傳感器中，在拍攝ー個圖像吋，針對圖像傳感器的所有像素，曝光時刻和曝光時間段都是相同的。相反，在CMOS傳感器中，由於快門開/閉時刻在圖像傳感器的各行之間有所不同，因而曝光時間段改變。將CMOS傳感器的驅動方法稱為捲簾快門方法。 在利用捲簾快門型圖像傳感器進行拍攝時，由於曝光期間的被攝體的移動或曝光期間把持攝像設備的用戶的手抖動，使得被攝體圖像按照圖像傳感器的各行進行移動，因而所拍攝圖像可能失真。將發生失真的現象稱為「捲簾快門效應」或「焦平面效應」。特別地，與使用機械快門的靜止圖像拍攝時相比，在不使用機械快門的運動圖像拍攝時，可能更顯著地出現由捲簾快門效應所引起的失真。日本特開2006-186481公開了用於對由捲簾快門效應所產生的失真中的由用戶的手抖動所引起的失真進行校正的技術。在日本特開2006-186481中，通過對設置在攝像設備中的角速度傳感器所檢測到的手抖動速度進行積分來獲得手抖動的時間特性。根據攝像設備在針對圖像傳感器的各行的拍攝時的位置變化來校正失真。然而，角速度傳感器的採樣頻率是幾kHz至幾十kHz，而手抖動頻率約為OHz至15Hz。這些頻率在級別上顯著不同。當使用日本特開2006-186481所述的FIR(有限脈衝響應)濾波器進行信號處理以從角速度傳感器的輸出信號中獲得手抖動的時間特徵時，需要許多接頭，從而増大電路規模。為了避免電路規模的増大，可以使用IIR(無限脈衝響應)濾波器而不使用FIR濾波器。然而，IIR濾波器不具有直線相位，並且在各頻帶中發生不同的相位延遲或相位超前。使用IIR濾波器所獲得的手抖動的時間特性具有依賴於IIR濾波器的相位特性的相位偏移。針對某些手抖動頻率，可能無法精確地計算出用於校正由捲簾快門效應所引起的失真的校正量。即，當使用根據使用IIR濾波器所獲得的手抖動的時間特性所計算出的校正量來校正由捲簾快門效應所引起的失真時，在圖像中可能發生欠校正或過校正。
發明內容
已經作出了本發明以解決傳統的缺陷。本發明減少了校正由捲簾快門效應所引起的失真時的欠校正或過校正。本發明的第一方面提供ー種攝像設備，其包括由捲簾快門方法進行驅動的圖像傳感器，所述攝像設備還包括檢測部件，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動；獲得部件，用於獲得所述檢測部件所檢測到的所述抖動的時間特性；分析部件，用於針對所述抖動的時間特性，對由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析；確定部件，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；ネト償部件，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及校正部件，用於通過使用根據所述補償部件補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。本發明的第二方面提供ー種攝像設備，其包括由捲簾快門方法進行驅動的圖像傳感器，所述攝像設備還包括檢測部件，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動；獲得部件，用於獲得所述檢測部件所檢測到的所述抖動的時間特性；第一選擇部件，用於基於所述攝像設備在拍攝所述圖像時的參數來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率；分析部件，用於針對所述抖動的時間特性，對由於所述抖動中的所述檢波頻率而在所述圖像中所生 成的被攝體圖像的失真量的頻率分布進行分析；確定部件，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；補償部件，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及校正部件，用於通過使用根據所述補償部件補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。本發明的第三方面提供ー種攝像設備的控制方法，所述攝像設備包括由捲簾快門方法進行驅動的圖像傳感器，所述控制方法包括以下步驟檢測步驟，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動；獲得步驟，用於獲得在所述檢測步驟中所檢測到的所述抖動的時間特性；分析步驟，用於針對所述抖動的時間特性，對由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析；確定步驟，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；補償步驟，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及校正步驟，用於通過使用根據所述補償步驟中補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。本發明的第四方面提供ー種攝像設備的控制方法，所述攝像設備包括由捲簾快門方法進行驅動的圖像傳感器，所述控制方法包括以下步驟檢測步驟，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動；獲得步驟，用於獲得在所述檢測步驟中所檢測到的所述抖動的時間特性；第一選擇步驟，用於基於拍攝所述圖像時的參數來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率；分析步驟，用於針對所述抖動的時間特性，對由於所述抖動中的所述檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析；確定步驟，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；補償步驟，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及校正步驟，用於通過使用根據所述補償步驟中補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。通過以下(參考附圖)對典型實施例的說明，本發明的其它特徵將變得明顯。
圖I是示出根據本發明實施例的數字攝像機的功能結構的框圖；圖2A、2B和2C是各自示出根據本發明實施例的失真校正量計算單元106的功能結構的框圖；圖3是示出根據本發明實施例的照相機抖動量計算單元201的結構的框圖；圖4是示出根據本發明第一實施例的照相機抖動量分析単元202的結構的框圖；
圖5A、5B、5C和是用於說明根據本發明第一實施例的中心頻率確定方法的圖；圖6是示出根據本發明實施例的相位補償單元205的結構的電路圖；圖7A和7B是用於說明根據本發明實施例的相位補償的圖；圖8是用於說明根據本發明實施例的拍攝圖像校正量計算方法的圖；圖9A和9B是分別用於說明根據本發明的第二實施例以及第一變形例和第二變形例的拍攝狀況估計方法的圖和表；圖10是舉例說明根據本發明的第二實施例以及第一變形例和第二變形例的估計出的拍攝狀況中的失真量的一般中心頻率的圖；圖IlAUlB和IlC是各自舉例說明根據本發明的第二實施例和第二變形例的針對估計出的拍攝狀況的檢波頻率集合的圖；圖12A、12B和12C是用於說明根據本發明的第二實施例以及第一變形例和第二變形例的用於確定對手抖動的時間特性進行檢波的檢波頻率集合的方法的圖；圖13是示出根據本發明的第二實施例以及第一變形例和第二變形例的與手抖動的時間特性的照相機抖動量相對應的檢波頻率的頻率分布的圖；圖14是舉例說明根據本發明第一變形例的針對各輔助信息參數所估計出的拍攝狀況的可靠性的表；圖15A和15B是用於說明根據本發明第一變形例的用於選擇與拍攝狀況可靠性相對應的檢波頻率的方法的圖；以及圖16A和16B是用於說明根據本發明第二變形例的檢波頻率確定方法的圖。
具體實施例方式第一實施例現在將參考附圖詳細說明本發明的優選實施例。在以下實施例中，將本發明應用於如下數字攝像機，其中該數字攝像機用作能夠校正由捲簾快門效應所產生的失真中的由手抖動所引起的失真的攝像設備的例子。然而，還可以將本發明應用於能夠校正由捲簾快門效應所產生的失真中的由手抖動所引起的失真的任意裝置。在本說明書中，將「由捲簾快門效應所產生的失真」中的由手抖動所引起的失真稱之為「捲簾失真」。數字攝像機100的功能結構圖I是示出根據本發明實施例的數字攝像機100的功能結構的框圖。
控制單元101例如是CPU，並控制數字攝像機100的各塊的操作。例如，控制單元101讀出ROM 102中所存儲的拍攝處理等的處理程序，在易失性存儲器(未示出)中展開該處理程序，並執行該處理程序。ROM 102是可重寫非易失性存儲器，並且除存儲上述處理程序以外，還存儲各塊的操作所需的參數等。在本實施例中，在數字攝像機100中被配置為硬體的各塊中實現各處理。然而，本發明的實施不限於此，並且可以通過進行與各塊的處理相同的處理的程序來實現各塊的處理。攝像單元103包括諸如CMOS傳感器等的捲簾快門型圖像傳感器。攝像單元103對模擬圖像信號應用A/D轉換處理，從而輸出數字圖像信號(圖像數據)，其中，該模擬圖像信號是通過對經由光學系統(未示出)在圖像傳感器上所形成的光學圖像進行光電轉換而獲得的。例如，圖像存儲器104臨時存儲從攝像単元103所輸出的圖像數據。
圖像處理單元107對通過攝像單元103所獲得的並存儲在圖像存儲器104中的圖像數據應用諸如增益調整和白平衡調整等的圖像處理。通過使用(稍後所述的)失真校正量計算單元106所計算出的失真校正量，圖像處理單元107針對各行校正存儲在圖像存儲器104中的圖像數據中所發生的捲簾失真。在利用數字攝像機100進行運動圖像拍攝吋，圖像處理單元107根據預定編碼方法對已經過圖像處理單元107的各種圖像處理或捲簾失真校正處理的圖像數據進行編碼。將編碼後的運動圖像數據發送至記錄介質108並記錄在記錄介質108上。照相機抖動檢測單元105例如是角速度傳感器，並檢測由施加至數字攝像機100的(由用戶的手抖動所引起的)照相機抖動所生成的角速度。照相機抖動檢測單元105將所檢測到的數字攝像機100的三個軸的角速度例如輸出至失真校正量計算單元106。作為此時的照相機抖動檢測單元105的檢測軸，將光軸定義為Z軸，並且將垂直於Z軸並且同時彼此垂直的方向定義為X軸和Y軸。失真校正量計算單元106是計算用於校正由於手抖動所引起的圖像數據內的圖像中所生成的捲簾失真的校正量的塊。失真校正量計算單元106將所計算出的校正量信息輸出至圖像處理單元107。失真校正量計算單元106的內部結構將參考附圖詳細說明失真校正量計算單元106的內部結構和要在失真校正量計算單元106內進行的處理。圖2A是示出根據第一實施例的失真校正量計算單元106的內部結構的框圖。失真校正量計算單元106接收在ー幀圖像的攝像期間所發生的並由照相機抖動檢測單元105所檢測到的角速度變化的信息。根據所輸入的在一幀圖像的攝像期間所發生的角速度變化的信息，照相機抖動量計算單元201獲得由於角速度變化而產生的以圖像傳感器上的像素為單位的圖像的照相機抖動量的時間特性。照相機抖動量計算單元201具有如圖3所示的結構。首先，IIR濾波器301根據手抖動頻率對所輸入的角速度變化信息進行信號處理。然後，積分器302對從IIR濾波器301所輸出的角速度變化信息進行積分處理，從而輸出該信息作為手抖動角移位信息Θ。注意，例如針對可能發生捲簾失真的、相對於圖像傳感器的攝像面的俯仰方向和橫擺方向上的角度，輸出手抖動角移位信息Θ。照相機抖動量轉換器303將從積分器302所輸出的角移位信息Θ轉換成由於角移位而產生的以圖像傳感器上的像素為單位的圖像的照相機抖動量。更具體地，照相機抖動量轉換器303使用以下表達式將角移位信息Θ轉換成圖像傳感器上的圖像的照相機抖
動量fL · tan Θ /p其中，fL是焦距，以及P是圖像傳感器上的像素間距。 照相機抖動量計算單元201將所計算出的照相機抖動量的時間特性輸出至相位補償單元205和照相機抖動量分析単元202。注意，照相機抖動量計算單元201生成IIR濾波器301中與手抖動頻率相對應的相位偏移以及由積分器302的積分計算所引起的π/2的相位延遲。利用積分器302的積分計算所引起的相位延遲是與手抖動頻率無關的固定的相位偏移，並且可以通過使相位提前η /2來消除其影響。在本實施例中，為了減少與手抖動頻率相對應的相位偏移，從ー幀的攝像期間所生成的手抖動的頻率分布中指定手抖動的中心頻率。在(稍後所述的)照相機抖動量分析單元202、中心頻率確定單元203和相位補償控制單元204的處理中，計算相位補償參數，以使得至少在中心頻率處，相位偏移僅變為由積分計算所引起的η/2。然後，將相位補償參數輸出至相位補償單元205。照相機抖動量分析単元202通過對所輸入的手抖動的時間特性執行離散傅立葉變換來分析手抖動的頻率分布。可以通過具有如圖4所示的電路結構的硬體來執行照相機抖動量分析單元202中的離散傅立葉變換。乘法器401和402將所輸入的手抖動的時間特性分別與期望頻率的正弦波和餘弦波相乗。將乘法器401和402的乘法結果分別輸入至加法器403和404。移位寄存器405使來自加法器403的輸出延遲，並將該輸出輸出至乘法器407和加法器403。同樣，移位寄存器406使來自加法器404的輸出延遲，並將該輸出輸出至乘法器408和加法器404。乘法器407和408分別對來自移位寄存器405和406的輸出進行平方。加法器409將乘法結果相加，並且平方根計算單元410計算平方根。以這種方式，可以通過硬體來執行離散傅立葉變換。將由照相機抖動量分析單兀202分析後的照相機抖動量的頻率分布輸出至中心頻率確定單元203。通常，如圖4所示，照相機抖動量的頻率分布的範圍為O 15Hz。頻率越低，則照相機抖動量的頻率分布所表示的照相機抖動量、即手抖動振幅(最大照相機抖動量)趨向于越大。中心頻率確定單元203根據所輸入的照相機抖動量的頻率分布來確定ー幀的攝像期間所生成的手抖動的中心頻率。根據照相機抖動量分析單兀202分析後的照相機抖動量的頻率分布，可以按照如下所示使用用作手抖動的時間特性中的單個頻率f處的最大照相機抖動量的振幅A (f)來表示該頻率處的抖動。A (f) · sin (ω t) (ω = 2 π f)對手抖動的時間特性進行微分，由此生成如下所示的各頻率處的抖動速度。A(f) ω .cos(cot)
例如，將圖像傳感器的連續的行之間的曝光開始時刻的差定義為At，以及將圖5A的At內的中心時刻、處的速度認為是平均速度。然後，可以按照如下表達式來表示給定行的攝像開始之後直到下一行的攝像開始的時間段At中的圖像移位量。A(f) ω · cos(cot0) · Δ t從該表達式分離出照相機抖動量分析単元202已獲得的A(f)(圖5B)，並且在cot。為常數的情況下來近似該表達式。然後，可以將剩餘項變形為如下表達式。ω.COS(Ot0).At=^> 2π.COS(Ot0).At x f = c x f (c=常數)如圖5C所示，可以通過相對於頻率的線性函數來表示圖像移位量。更具體地，中心頻率確定單元203將所輸入的如圖5B所示的照相機抖動量的頻率 分布與圖5C所示的線性函數相乘，從而獲得圖所示的所拍攝圖像中的失真量的頻率分布。在本實施例中，將所拍攝圖像中的失真量的頻率分布中照相機抖動量變成最大的頻率fa確定為中心頻率。在(稍後所述的)相位補償控制単元204中設置相位補償參數，以使得由IIR濾波器301所引起的相位延遲在中心頻率處變為π/2。利用該設置，可以在如下頻率(中心頻率)處消除失真，其中，在該頻率處，失真量最大，即相位偏移發生時由圖像的欠校正或過校正所引起的失真容易引人注意。相位補償控制單元204計算相位補償參數，以使得在相位補償單元205對手抖動的時間特性的相位補償處理中，由中心頻率確定單元203所確定的中心頻率附近的相位延遲變為η/2。相位補償控制単元204將相位補償參數輸出至相位補償單元205。注意，通過已知的方法確定相位補償參數，以使得在中心頻率附近的頻帶中，相位補償後的照相機抖動量的相位變為目標相位-π /2。相位補償單元205是相位補償濾波器，並且該相位補償濾波器具有圖7Α所示的相位特性。相位補償單元205對所輸入的手抖動的時間特性的相位偏移進行補償，其中，該相位偏移是IIR濾波器301在中心頻率確定單元203確定出的中心頻率處生成的。相位補償単元205對相位進行補償，以使得中心頻率確定單元203所確定出的中心頻率處的相位延遲變為積分器302中所生成的π /2。相位補償單元205具有圖6所示的內部結構。加法器601將所輸入的手抖動的時間特性(照相機抖動量)和來自(稍後所述的)放大器603的輸出相加，並將相位補償後的照相機抖動量輸出至拍攝圖像失真量計算單元206。移位寄存器602使所輸入的相位補償後的照相機抖動量延遲，並將該照相機抖動量輸出至放大器603。放大器603將來自移位寄存器602的輸出與用作從相位補償控制單元204所輸入的相位補償參數的濾波係數K相乘。放大器603將乘積輸出至加法器601。利用該結構，可以通過使用相位補償控制単元204適當設置的相位補償參數，將從相位補償單元205所輸出的照相機抖動量的相位特性在圖7Β所示的中心頻率處調整為-π /2。通過使用所輸入的相位補償後的手抖動的時間特性，拍攝圖像失真量計算單元206計算要補償照相機抖動量計算單元201中生成的相位偏移的、針對圖像傳感器的各行的、由捲簾快門效應所引起的所拍攝圖像的失真量。當舉例說明第N行和第(Ν+1)行之間所生成的失真量時，如圖8所示，可以根據曝光開始時刻的照相機抖動量的差來計算圖像傳感器的這兩行之間的拍攝圖像失真量。圖像處理單元107可以通過使用為了消除所計算出的失真量而確定的校正量，針對圖像傳感器的各行，來校正由捲簾快門效應所引起的拍攝圖像失真。第二實施例第一實施例說明了用於通過分析照相機抖動量在手抖動的時間特性的所有頻率處的頻率分布來確定中心頻率的方法。第二實施例將說明用於通過分析針對有限頻率的照相機抖動量的頻率分布來確定中心頻率的方法。失真校[H暈計算單元106的內部結構圖2B是示出根據第二實施例的失真校正量計算單元106的內部結構的框圖。在第二實施例的失真校正量計算單元106中，與第一實施例中相同的附圖標記表示相同的部 件，並且將不重複對這些部件的說明。將僅說明第二實施例的特徵結構或處理。第二實施例中的失真校正量計算單元106接收ー幀圖像的攝像期間所發生的並由照相機抖動檢測單元105所檢測到的角速度變化的信息。另外，失真校正量計算單元106從控制単元101接收表示拍攝該圖像時的數字攝像機100的狀態的輔助信息。輔助信息是諸如陀螺儀傳感器(未示出)的最大加速度(陀螺儀數據)、焦距、主被攝體信息或快門速度等的信息。在本實施例中，將輔助信息輸入至輔助信息分析單元211。基於所輸入的輔助信息，輔助信息分析単元211估計雙手把持拍攝、單手把持拍攝和步行拍攝中的哪ー種是數字攝像機100的拍攝狀況。通常，如圖9A所示，數字攝像機100中所生成的手抖動的頻率分布根據用戶的把持或移動狀態而在這些拍攝狀況之間有所不同。更具體地，在用戶邊移動邊拍攝的步行拍攝時，手抖動所產生的照相機抖動量被認為相對較大。相反，在用戶在不移動的情況下雙手把持數字攝像機100的雙手把持拍攝時，手抖動所產生的照相機抖動量被認為相對較小。關於陀螺儀數據，例如，對大約2 3Hz的ー個較低頻率進行檢波，並且使用閾值將該頻率處的照相機抖動量分類成「太」、「標準」和「小」的照相機抖動量。輔助信息分析単元211估計為在照相機抖動量較大的情況下，拍攝狀況是「歩行拍攝」，而在照相機抖動量較小的情況下，拍攝狀況是「雙手把持拍攝」。關於焦距，變焦位置越靠近遠攝端，手抖動越容易表現為圖像失真。因此，用戶被認為將利用穩定固定的數字攝像機100進行拍攝。據此，輔助信息分析単元211估計為在焦距較長的情況下，拍攝狀況是「雙手把持拍攝」，而在焦距較短的情況下，拍攝狀況是「步行拍攝」。關於主被攝體信息，在靠近廣角端的變焦位置處所拍攝的圖像中的主被攝體的大小較小或者與主被攝體的距離較長的情況下，被認為是在靠近遠攝端的變焦位置處進行拍攝。輔助信息分析単元211估計為在主被攝體大小較小或者與主被攝體的距離較長的情況下，拍攝狀況是「雙手把持拍攝」，而在主被攝體大小較大或者與主被攝體的距離較短的情況下，拍攝狀況是「步行拍攝」。關於快門速度，在曝光時間較長的情況下，所累積的照相機抖動的影響變得顯著，並且由低頻照相機抖動所引起的拍攝圖像失真被認為幾乎看不出來。輔助信息分析単元211估計為在快門速度較低的情況下，拍攝狀況是低頻成分的照相機抖動量較小的「雙手把持拍攝」。然後，將相位補償頻率調整為靠近高頻側。更具體地，如圖9B所示，輔助信息分析単元211使用預定狀態和閾值對所輸入的輔助信息的參數進行分類，並針對輔助信息的各參數估計拍攝狀況。利用該設置，(稍後所述的)檢波頻率確定單元212可以確定要進行檢波的頻率，以根據一般照相機抖動量的頻率分布來確定實際手抖動的時間特性的中心頻率。檢波頻率確定單元212根據輔助信息分析單元211所估計出的輔助信息的各參數的拍攝狀況，確定用於對針對實際手抖動的時間特性的照相機抖動量的頻率分布進行檢波的頻率(檢波頻率)(第一選擇)。考慮所拍攝圖像中的失真量的頻率分布，中心頻率針對各拍攝狀況具有例如圖10所示的趨勢。基於該趨勢，可以估計出實際手抖動的時間特性的中心頻率。換句話說，可以認為能夠通過重點在所估計出的中心頻率附近的頻率處對針對實際手抖動的時間特性的照相機抖動量的頻率分布進行檢波來容易地指定實際的中心頻率。 檢波頻率確定單元212離散地選擇針對輔助信息的各參數的檢波頻率。更具體地，檢波頻率確定單元212與針對輔助信息的各參數所估計出的拍攝狀況相對應地，針對各參數來選擇如圖IlAUlB或IlC所示基於一般照相機抖動量的頻率分布的中心頻率而預先設置的離散檢波頻率集合。然後，檢波頻率確定單元212對針對輔助信息的各個參數所選擇的離散檢波頻率集合進行組合，從而確定用於在(稍後所述的)照相機抖動量檢波單元213中對實際手抖動的時間特性進行檢波的最終檢波頻率集合。例如，將考慮使用輔助信息的兩個參數來確定最終檢波頻率集合的情況。當針對一個參數選擇圖12A中的檢波頻率集合併且針對另ー參數選擇圖12B中的檢波頻率集合時，通過按照如下分別對第一頻率至第五頻率進行平均來獲得最終檢波頻率集合。第一頻率(2+2)/2= 2Hz第二頻率(3+7)/2 = 5Hz第二頻率(4+8)/2 = 6Hz
第四頻率(5+9) /2 = 7Hz第五頻率(12+12)/2 = 12Hz(圖12C中示出最終檢波頻率集合)。在離散確定出的頻率處，根據實際手抖動的時間特性來檢波照相機抖動量的頻率分布。與在所有頻率處對照相機抖動量的頻率分布的分析(檢波)相比，可以減少該處理的負荷。關於所輸入的手抖動的時間特性，照相機抖動量檢波單元213對檢波頻率確定單元212所確定出的檢波頻率集合中所包含的頻率進行離散傅立葉變換，從而獲得各個頻率處的照相機抖動量的頻率分布。如圖13所示，所獲得的照相機抖動量的頻率分布是離散的。中心頻率確定單元203將該頻率分布與2 · cos (ω 0) · Δ 相乘,從而將表示相對最大失真量的頻率確定為中心頻率。如上所述，根據本實施例的攝像設備估計拍攝狀況並確定檢波頻率，從而簡化了用於計算手抖動的時間特性的中心頻率的處理。通過使用所獲得的中心頻率，與第一實施例相同，可以在由欠校正或過校正所引起的失真容易引人注意的頻率處補償通過使用IIR濾波器所生成的相位偏移。第一奪形例在第二實施例中，檢波頻率確定單元212對針對輔助信息的各個參數所選擇出的固定檢波頻率集合進行平均，從而確定用於對實際手抖動的時間特性進行檢波的檢波頻率集合。第一變形例將說明用於對針對輔助信息的各參數所估計出的拍攝狀況設置可靠性並基於各拍攝狀況的中心頻率的可靠性來確定檢波頻率集合的方法。例如，將考慮對針對輔助信息的各參數所估計出的拍攝狀況設置圖14所示的估計可靠性的情況。檢波頻率確定單元212針對輔助信息分析単元211通過針對輔助信息的各參數所估計出的拍攝狀況來選擇圖10所示的預定中心頻率，並選擇以該中心頻率為中心的檢波頻率集合。進行如下假定當所估計出的拍攝狀況的可靠性為I時，如圖15A所示，以6Hz的中心頻率為中心的檢波頻率集合包括以IHz為間隔的頻率4Hz、5Hz、6Hz、7Hz和8Hz。當針 對輔助信息的一個參數所估計出的拍攝狀況的可靠性為O. 5吋，檢波頻率確定單元212選擇檢波頻率集合，以使得該檢波頻率集合的間隔與可靠性為I的檢波頻率集合相比變為拍攝狀況可靠性的倒數、即2倍。即，針對該參數，檢波頻率確定單元212選擇圖15B所示的檢波頻率集合，其中，在該檢波頻率集合中，使用所估計出的拍攝狀況的中心頻率6Hz作為中心，並且要進行檢波的頻率的間隔是作為2倍的2Hz。檢波頻率確定單元212對針對輔助信息的各個參數基於拍攝狀況的可靠性所選擇出的檢波頻率集合進行平均，從而確定用於對實際手抖動的時間特性進行檢波的最終檢波頻率集合。以這種方式，當根據用作輔助信息的拍攝時的數字攝像機100的狀態來估計拍攝狀況時，使用估計可靠性。可以使用與拍攝狀態靈活對應的檢波頻率來對手抖動的時間特性進行檢波。在該變形例的說明中，使用中心頻率作為中心以頻率間隔為可靠性的倒數的方式來選擇檢波頻率集合。然而，本發明的實施不限於此。例如，可以預先針對各可靠性確定頻率間隔或者頻率間隔可以根據中心頻率而改變。此外，檢波頻率集合中的頻率間隔不需要為等間隔。第二變形例在第二實施例和第一變形例中，針對檢波頻率確定單元212所確定出的檢波頻率集合來進行檢波。將表示檢波頻率集合中的相對最大失真量的頻率確定為手抖動的時間特性的中心頻率。第二變形例將說明用於通過對作為對檢波頻率處的手抖動的時間特性的檢波結果的失真量的頻率分布進行反饋、來確定更精確的中心頻率的方法。失真校正量計算單元106的內部結構圖2C是示出根據本變形例的失真校正量計算單元106的內部結構的框圖。在本變形例的失真校正量計算單元106中，與第一實施例和第二實施例中相同的附圖標記表示相同的部件，並且將不重複對這些部件的說明。將僅說明本變形例的特徵結構或處理。檢波頻率調整單元221是用於基於作為中心頻率確定單元203所獲得的手抖動的時間特性的檢波結果的失真量的頻率分布、來控制照相機抖動量檢波單元213進行檢波所使用的檢波頻率集合的塊。
例如，將考慮如下情況如圖16A所示，中心頻率確定單元203將包括檢波頻率的照相機抖動量的頻率分布乘以2 31 · Cos(Ot0) · At，從而獲得所拍攝圖像中的失真量的頻率分布。在該頻率分布中，具有相對最大失真量的頻率為4Hz，並且在頻率4Hz夾在其中間的頻率2Hz和頻率6Hz處，失真量減小。因此，手抖動的時間特性的精確的中心頻率被認為存在於2 6Hz的頻帶中。在從中心頻率確定單元203接收到頻率分布結果時，檢波頻率調整單元221確定上述趨勢，並對已從檢波頻率確定單元212輸入且已向照相機抖動量檢波單元213輸出ー次的檢波頻率集合進行改變。例如，當獲得圖16A所示的頻率分布結果時，如圖16B所示，檢波頻率調整単元221使檢波頻率中的中心頻率偏移並設置新的檢波頻率集合(第二選擇)。然後，檢波頻率調整單元221將新的檢波頻率集合輸出至照相機抖動量檢波單元213。中心頻率確定單元203可以使用多個檢波結果來確定中心頻率,從而進一步提高了 IIR濾波器301所生成的相位偏移的補償精度。注意，將第一變形例和第二變形例作為單獨變形例進行了說明，但對於本領域技術人員而言，容易想像，這些變形例是可以進行組合的。其它實施例還可以利用讀出並執行記錄在存儲器裝置上的程序以進行上述實施例的功能的系統或設備的計算機(或者CPU或MPU等裝置)和通過下面的方法來實現本發明的各方面，其中，系統或設備的計算機通過例如讀出並執行記錄在存儲器裝置上的程序以進行上述實施例的功能來進行上述方法的各步驟。為此，例如經由網絡或者通過用作存儲器裝置的各種類型的記錄介質(例如，計算機可讀介質)將該程序提供給計算機。儘管已經參考典型實施例說明了本發明，但是應該理解，本發明不限於所公開的典型實施例。所附權利要求書的範圍符合最寬的解釋，以包含所有這類修改、等同結構和功 倉^:。
權利要求
1.ー種攝像設備，其包括由捲簾快門方法進行驅動的圖像傳感器，所述攝像設備還包括 檢測部件，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動； 獲得部件，用於獲得所述檢測部件所檢測到的所述抖動的時間特性； 分析部件，用於針對所述抖動的時間特性，對由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定部件，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償部件，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及 校正部件，用於通過使用根據所述補償部件補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。
2.ー種攝像設備，其包括由捲簾快門方法進行驅動的圖像傳感器，所述攝像設備還包括 檢測部件，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動； 獲得部件，用於獲得所述檢測部件所檢測到的所述抖動的時間特性； 第一選擇部件，用於基於所述攝像設備在拍攝所述圖像時的參數來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率； 分析部件，用於針對所述抖動的時間特性，對由於所述抖動中的所述檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定部件，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償部件，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及 校正部件，用於通過使用根據所述補償部件補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。
3.根據權利要求2所述的攝像設備，其特徵在於，還包括第二選擇部件，所述第二選擇部件用於基於所述分析部件分析得到的所述失真量的頻率分布來選擇與所述檢波頻率不同的新的檢波頻率，其中， 所述分析部件針對所述抖動的時間特性，對由於所述抖動中的所述新的檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析，以及 所述確定部件使用包括所述檢波頻率的失真量的頻率分布和包括所述新的檢波頻率的失真量的頻率分布來確定所述中心頻率。
4.根據權利要求2所述的攝像設備，其特徵在幹， 拍攝所述圖像時的參數是拍攝所述圖像時的抖動、焦距、主被攝體信息和快門速度至少之一，以及所述第一選擇部件基於拍攝所述圖像時的參數來估計拍攝所述圖像時的所述攝像設備的拍攝狀況，並且使用針對所估計出的各拍攝狀況而預先確定的頻率來選擇所述檢波頻率。
5.根據權利要求4所述的攝像設備，其特徵在幹，所述第一選擇部件基於針對所估計出的各拍攝狀況而預先確定的頻率和該拍攝狀況的估計可靠性來選擇所述檢波頻率。
6.根據權利要求I至5中任ー項所述的攝像設備，其特徵在於，所述分析部件對由於所述圖像傳感器的連續行之間從給定行的曝光開始之後直到下一行的曝光開始為止的時間段內的所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析。
7.ー種攝像設備的控制方法，所述攝像設備包括由捲簾快門方法進行驅動的圖像傳感器，所述控制方法包括以下步驟 檢測步驟，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動； 獲得步驟，用於獲得在所述檢測步驟中所檢測到的所述抖動的時間特性； 分析步驟，用於針對所述抖動的時間特性，對由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定步驟，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償步驟，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及 校正步驟，用於通過使用根據所述補償步驟中補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。
8.ー種攝像設備的控制方法，所述攝像設備包括由捲簾快門方法進行驅動的圖像傳感器，所述控制方法包括以下步驟 檢測步驟，用於在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設備在所述圖像傳感器的曝光期間的抖動； 獲得步驟，用於獲得在所述檢測步驟中所檢測到的所述抖動的時間特性； 第一選擇步驟，用於基於拍攝所述圖像時的參數來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由於所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率； 分析步驟，用於針對所述抖動的時間特性，對由於所述抖動中的所述檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定步驟，用於從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償步驟，用於補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及 校正步驟，用於通過使用根據所述補償步驟中補償後的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由於所述抖動而產生的被攝體圖像的失真。
全文摘要
本發明涉及一種攝像設備和攝像設備的控制方法。當使用由捲簾快門方法進行驅動的圖像傳感器拍攝圖像時，檢測攝像設備在圖像傳感器的曝光期間的抖動，並且獲得所檢測到的抖動的時間特性。針對抖動的時間特性，對由於抖動而在圖像中所生成的被攝體圖像的失真量的頻率分布進行分析。至少針對中心頻率，補償抖動的時間特性，以消除獲得抖動的時間特性時所生成的相位偏移。使用根據補償後的抖動的時間特性所計算出的校正量，針對圖像傳感器的各行，校正由於抖動而產生的被攝體圖像的失真。
文檔編號H04N5/217GK102694979SQ20121007855
公開日2012年9月26日 申請日期2012年3月22日 優先權日2011年3月22日
發明者成田優 申請人:佳能株式會社