圖像穩定設備和圖像穩定方法與流程

2023-07-06 22:09:27 2

本發明涉及一種圖像穩定設備和圖像穩定方法。

背景技術：

已知有一種包括如下圖像穩定設備的攝像設備和可更換鏡頭，其中該圖像穩定設備用於檢測照相機抖動並且使得被配置為能夠移動以校正由於所檢測到的照相機抖動而引起的圖像抖動的透鏡或圖像傳感器進行移動。這種方法的圖像穩定功能被已知為光學圖像穩定。此外，近年來，存在用於針對運動圖像通過提取如下的幀圖像來進行輸出的圖像穩定功能，並且這在小型化/輕量化攝像設備以及具有攝像設備的行動電話中使用，其中該幀圖像的位置在用於抵消照相機抖動的方向上發生偏移。這種方法的圖像穩定被已知為電子圖像穩定。

作為用於檢測抖動的方法，角速度傳感器(陀螺儀傳感器)是代表性的，並且通過基於所檢測到的角速度使透鏡或圖像傳感器在用於抵消抖動的方向上移動來校正該抖動。在日本特開2005-43780中，公開了如下內容：通過將根據運動矢量所計算出的角速度傳感器的偏移實時反饋回至圖像穩定驅動量以修改角速度傳感器偏移，來進行預測。

此外，近年來，根據攝像設備幀頻的高速化和圖像處理的改進，已知有用於通過分析幀之間的圖像的抖動以獲得運動矢量來檢測抖動的技術。

另一方面，作為先進的攝像方法，存在搖攝，並且存在被攝體處於近距離的微距攝像。微距攝像是在被攝體處於近距離時所進行的攝像，並且在這些情況下，由於無法忽視除正常角度抖動以外的攝像設備的平移抖動成分，因此圖像穩定的需求因照相機抖動大於普通攝像時的照相機抖動而有所增加。結果，存在如下技術：通過使用加速度傳感器檢測平移抖動、並根據角度抖動單獨計算平移抖動成分，來提高照相機抖動校正量的精度。此外，存在如下技術：在沒有包括加速度傳感器的情況下，通過根據圖像穩定設備的驅動量和位置信號預測攝像設備的加速度成分、並根據預測得到的加速度計算平移抖動成分，來改善微距攝像時的圖像穩定效果。

搖攝是在根據移動的被攝體而使攝像設備傾斜或平搖的情況下所進行的攝像。在這種攝像方法中，通過在不使正移動的被攝體抖動而特意使移動的被攝體的背景流過而進行攝像，使該被攝體突出並且使該被攝體具有運動。這種攝像方法要求複雜的技術，因此存在用於通過驅動圖像穩定設備校正圖像模糊來進行輔助的技術。

在日本特開2014-211531中，在用於輔助搖攝的方法中，公開了如下內容：根據角速度傳感器的角速度檢測信號和運動矢量來計算平搖量，並且使用角速度檢測信號和平搖量之間的差來執行圖像穩定。據此，降低了由於搖攝輔助功能中的圖像穩定而引起的不利影響。

此外，日本特開2008-192060公開了如下技術：在利用運動矢量的抖動檢測中，將圖像分割成小塊，針對各塊計算局部運動矢量，然後根據多個局部運動矢量來計算全體的全局運動矢量。據此，可以去除因由於圖像噪聲所引起的運動矢量的錯誤計算或者由於被攝體的移動所引起的模糊而造成的照相機抖動以外的元素。

然而，在使用角速度傳感器的圖像穩定設備中，由於以下兩個原因，因而無法充分地提高圖像穩定的性能。

第一個原因是角速度傳感器中的偏移計算誤差。由於角速度傳感器包含傳感器特有的偏移噪聲和因溫度變動所引起的低頻帶噪聲，因此在計算圖像穩定值時的積分處理中無法施加完全積分。在針對積分處理以低通濾波器(lpf)進行偽積分(pseudointegral)時，需要犧牲超低頻成分的性能。

第二個原因是角速度傳感器靈敏度變化。在出廠時對攝像設備進行各種調整以降低靈敏度變化，但由於必然殘留調整誤差成分，因而必然無法實現100％的圖像穩定效果。

此外，在通過使用加速度傳感器改善了微距攝像時的圖像穩定效果的情況下，由於包含了加速度傳感器而使成本有所增加。另一方面，在根據圖像穩定設備的驅動量和位置信號來預測攝像設備的加速度的情況下，存在如下問題：如果抖動是微小抖動，則估計精度差。

此外，在日本特開2005-43780中，由於通過反饋控制實時更新角速度傳感器的偏移，因此存在防抖動性能在預測中途(等待靜止圖像期間)劣化的情況。儘管這依賴於反饋控制的反饋增益的設計，但在使反饋增益變大的情況下，即使預測的收斂較快，仍存在防抖動性能劣化的問題。此外，在使反饋增益變小的情況下，儘管預測期間的防抖動性能的劣化程度變小，但收斂速度變慢。

此外，在日本特開2014-211531中，在根據角速度傳感器的輸出和運動矢量差來進行平搖量的計算和平搖判斷的情況下，沒有考慮到靈敏度變化以及作為角速度傳感器特有的噪聲的偏移成分。由於該原因，存在如下情況：計算結果殘留有誤差，並且無法實現充分的搖攝判斷精度和輔助精度。

技術實現要素：

本發明是考慮到上述情形而做出的，並且在進行搖攝期間提高了使用角速度傳感器的圖像穩定處理中的校正效果。

根據本發明，提供了一種圖像穩定設備，包括：轉換單元，用於基於照相機抖動檢測單元的輸出變化來校正所述照相機抖動檢測單元所檢測到的角速度信號，並且將校正後的角速度信號轉換為照相機抖動量；分離單元，用於將從圖像傳感器所輸出的圖像的各幀分割為多個區域，並且使用轉換得到的照相機抖動量將各自根據圖像的幀之間在各區域的差所計算出的運動矢量分離為與被攝體相對應的被攝體矢量和與背景相對應的背景矢量；識別單元，用於基於所述轉換單元校正之前的角速度信號、所述背景矢量和表示用以光學地校正抖動的校正單元的位置的位置信號，來識別所述照相機抖動檢測單元的輸出變化；以及改變單元，用於將所述被攝體矢量改變為所述校正單元的驅動量，其中，所述轉換單元基於所述識別單元所識別出的輸出變化來校正所述角速度信號。

此外，根據本發明，提供了一種圖像穩定方法，包括以下步驟：基於照相機抖動檢測單元的輸出變化來校正所述照相機抖動檢測單元所檢測到的角速度信號；將校正後的角速度信號轉換為照相機抖動量；將從圖像傳感器所輸出的圖像的各幀分割為多個區域；使用轉換得到的照相機抖動量將根據圖像的幀之間在各區域的差所計算出的運動矢量分離為與被攝體相對應的被攝體矢量和與背景相對應的背景矢量；基於校正之前的角速度信號、所述背景矢量和表示用以光學地校正抖動的校正單元的位置的位置信號，來識別所述照相機抖動檢測單元的輸出變化；以及將所述被攝體矢量改變為所述校正單元的驅動量，其中，基於所識別出的輸出變化來校正所述角速度信號。

根據以下(參考附圖)對典型實施例的說明，本發明的其它特徵將變得明顯。

附圖說明

包含並構成說明書一部分的附圖示出了本發明的實施例，並與說明書一起用來解釋本發明的原理。

圖1是示出根據本發明實施例的攝像設備的功能結構的框圖；

圖2是示出根據第一實施例的圖像穩定控制單元的結構的框圖；

圖3是說明用於根據角速度信號、位置信號和運動矢量來識別角速度傳感器的偏移和靈敏度的方法的圖；

圖4是示出根據第一實施例的抖動信號系統識別單元的結構的框圖；

圖5是根據第一實施例的抖動信號系統識別處理的流程圖；

圖6是示出一般的一階iir濾波器的結構的框圖；

圖7是根據第一實施例的變形例的抖動信號系統識別處理的流程圖；

圖8是示出根據第二實施例的圖像穩定控制單元的結構的框圖；

圖9是根據第二實施例的圖像穩定單元的說明圖；

圖10a和10b是示出根據第三實施例的被攝體以及用於檢測運動矢量的塊配置的示例的圖；

圖11是示出根據第三實施例的運動矢量的直方圖的圖；

圖12是示出根據第三實施例的搖攝輔助控制單元的結構的框圖；以及

圖13是示出根據第三實施例的抖動信號修改單元和被攝體/背景矢量計算單元的詳細結構的框圖。

具體實施方式

以下將根據附圖來詳細說明本發明的各典型實施例。

第一實施例

圖1是示出根據本發明第一實施例的包括圖像穩定設備的攝像設備(這裡為用於拍攝靜止圖像和運動圖像的數位照相機)的功能結構的框圖。

在圖1中，光學系統被配置為包括：變焦單元101，其包括放大/縮小用的變焦透鏡；光圈/快門單元103；圖像穩定單元105；以及調焦單元107，其包括用於調節焦點的透鏡。對於變焦單元101，通過變焦驅動控制單元102來進行驅動控制，並且對於光圈/快門單元103，通過光圈/快門驅動控制單元104來進行驅動控制。此外，對於圖像穩定單元105，通過圖像穩定控制單元106來進行驅動控制，並且對於調焦單元107，通過調焦驅動控制單元108來進行驅動控制。

攝像單元109進行穿過上述光學系統的光學圖像向電信號的光電轉換。將從攝像單元109輸出的電信號通過圖像信號處理單元110轉換成視頻信號，並且根據期望用途通過視頻信號處理單元111進一步進行處理。顯示單元112基於從視頻信號處理單元111輸出的信號，根據需要來進行圖像顯示。

電源單元113根據期望用途向攝像設備整體供電。外部輸入輸出端子單元114相對於外部設備(未示出)進行通信信號和視頻信號的輸入/輸出。

操作單元115用於對系統進行操作，並且包括圖像穩定on/off(開啟/關閉)開關、快門釋放按鈕、運動圖像記錄開關、重放模式選擇開關和放大/縮小開關。

圖像穩定on/off開關使得能夠針對圖像穩定選擇on/off，並且在通過圖像穩定on/off開關針對圖像穩定選擇了on的情況下，照相機系統控制單元118指示圖像穩定控制單元106進行圖像穩定操作。接收到該指示的圖像穩定控制單元106進行圖像穩定操作，直到進行了圖像穩定off指示為止。

快門釋放按鈕被配置為使得能夠進行兩級操作，以根據該按鈕的按壓量來順次接通第一開關(sw1)和第二開關(sw2)。構造如下：在近似半按下快門釋放按鈕(第一級)的情況下，接通第一開關sw1，並且在完全按下快門釋放按鈕(第二級)的情況下，接通第二開關sw2。在第一開關sw1接通的情況下，調焦驅動控制單元108驅動包括調焦透鏡的調焦單元107以進行焦點調節，並且光圈/快門驅動控制單元104驅動光圈/快門單元103以設置適當的曝光量。在第二開關sw2接通的情況下，將從攝像單元109上曝光的光學圖像所獲得的圖像數據存儲在存儲單元116中。

在按下運動圖像記錄開關的情況下，開始運動圖像拍攝，並且在記錄期間再次按下運動圖像記錄開關的情況下，記錄結束。還可以通過在運動圖像拍攝期間按下第一開關sw1和第二開關sw2，來應對運動圖像記錄期間的靜止圖像拍攝。

在按下重放模式選擇開關的情況下，選擇重放模式。注意，在處於重放模式時，停止圖像穩定操作。

放大/縮小開關是用於進行變焦放大/縮小的指示的開關。在通過放大/縮小開關進行了變焦放大/縮小指示的情況下，變焦驅動控制單元102在經由照相機系統控制單元118接收到該指示之後，驅動變焦單元101以使變焦單元101移動到所指示的變焦位置。與此同時，調焦驅動控制單元108基於從攝像單元109發送來的並且在圖像信號處理單元110和視頻信號處理單元111中處理後的圖像信息來驅動調焦單元107以進行焦點調節。

存儲單元116存儲諸如視頻信息等的各種數據。照相機抖動檢測單元117是角速度傳感器，其中該角速度傳感器使用諸如陀螺儀傳感器等的傳感器來檢測照相機抖動量作為角速度，並且輸出要轉換成電壓的抖動信號(角速度信號)。照相機系統控制單元118控制攝像設備整體。運動矢量檢測單元119對從圖像信號處理單元110所輸出的視頻信號的幀圖像之間的抖動進行分析以檢測運動矢量。

圖2是示出根據第一實施例的圖像穩定控制單元106的結構的框圖。注意，由於針對俯仰方向和橫擺方向而言結構均相同，因此將僅針對一個圖像穩定軸給出說明。

在圖2中，ad轉換單元201將照相機抖動檢測單元117所輸出的模擬角速度信號轉換成數字角速度信號。

高通濾波器(hpf)202從ad轉換單元201轉換得到的角速度信號中去除照相機抖動檢測單元117的偏移成分和溫度漂移成分。積分單元203主要通過使用低通濾波器(lpf)的偽積分進行積分，來將從hpf202輸出的角速度信號轉換為角度數據。乘法單元204將通過積分單元203所獲得的角度數據轉換為圖像穩定單元105中所包括的校正透鏡的驅動量。使乘法單元204的靈敏度成為針對各焦距而有所不同的值，並且無論何時焦距改變時，靈敏度也改變。此外，還反映與照相機抖動檢測單元117的角速度傳感器的靈敏度調整相對應的校正量，並且吸收靈敏度變化。以下，該信號輸出將被稱為第一照相機抖動校正量。

另一方面，積分單元206主要通過使用低通濾波器的偽積分，來對去除了稍後將說明的抖動信號系統識別單元214所識別出的偏移值的角速度信號進行積分，以將該角速度信號轉換為角度數據。乘法單元207具有與乘法單元204相同的結構，並且將從積分單元206所獲得的角度數據轉換為校正透鏡的驅動量。以下，該信號輸出將被稱為第二照相機抖動校正量。由於該第二照相機抖動校正量與第一照相機抖動校正量相比並沒有通過hpf，因此可以補償包括比第一照相機抖動校正量低的頻帶的抖動的抖動。

信號選擇單元208選擇第一照相機抖動校正量或第二照相機抖動校正量。例如，為了在具有諸如靜止圖像拍攝前或平搖操作等的重要照相機操作的運動圖像拍攝期間改善視頻的表現，選擇了頻帶較窄的第一照相機抖動校正量。另一方面，為了在靜止圖像曝光期間或者在除平搖操作外的運動圖像拍攝期間增加圖像穩定效果，選擇了作為寬頻帶信號的第二照相機抖動校正量。

位置檢測單元212檢測校正透鏡的位置並將該位置作為電壓輸出，並且ad轉換單元213將作為校正透鏡的位置的模擬電壓(位置信號)轉換為數字位置信號。

限制器單元209將信號選擇單元208所選擇的第一照相機抖動校正量或第二照相機抖動校正量鉗位到包括校正透鏡的圖像穩定單元105能夠移動的範圍。pid控制單元210輸入了取值為表示從ad轉換單元213輸出的校正透鏡的位置的位置信號與限制器單元209鉗位後的照相機抖動校正量的差的信號，並且基於所輸入的差信號來輸出用於控制校正透鏡的位置的控制信號。驅動器單元211將該控制信號轉換為電壓，並且提供用於驅動圖像穩定單元105的電流。

將如下的三種信號輸入至抖動信號系統識別單元214：從ad轉換單元201輸出的角速度信號、表示從ad轉換單元213輸出的校正透鏡位置的位置信號、以及從運動矢量檢測單元119輸出的運動矢量。抖動信號系統識別單元214根據這三種輸入數據來進行角速度傳感器偏移和靈敏度及其各自的誤差擴散值的總計四個計算。然後，根據這些計算的結果，改變從角速度信號減去的偏移值、積分單元206中的積分濾波器特性、以及乘法單元207中的轉換為校正透鏡的偏移量的增益。

接著，使用圖3來說明用於根據角速度信號、位置信號和運動矢量來同時識別角速度傳感器偏移和靈敏度的原理。

在施加了攝像設備中的角速度w的情況下，在攝像設備內所包含的角速度傳感器中，在將角速度w轉換為角速度信號的情況下，與靈敏度變動a相乘並將作為角速度傳感器的個體變化成分的偏移噪聲b與相乘得到的角速度信號相加。此外，通過lpf402從輸出中截除高頻，由此檢測到觀測值(角速度信號)g。這裡，將lpf402的特性表示為l(s)，其中s是拉普拉斯變換中所使用的複數。注意，在圖3中，lpf402示出在角速度傳感器的內部，但即使lpf402處於角速度傳感器的外部也同樣如此。

通過圖像穩定控制單元106來將角速度信號g轉換為校正透鏡的驅動量。這裡，將圖像穩定控制單元106的轉換特性表示為i(s)。該驅動量將被觀測為位置檢測單元212所檢測到的位置信號h。

另一方面，儘管攝像設備的角速度w利用單純積分(404)成為攝像設備整體的真實抖動角度，但無法觀測到該信號。在從攝像設備整體的抖動角度減去位置信號h的情況下，變為剩餘抖動角度，並且獲得該剩餘抖動角度的幀之間的差(405)作為利用運動矢量檢測單元119的運動矢量v。

可以通過以下的等式(1)來表示圖3的從角速度w到運動矢量v的傳遞特性。

v＝w-sh...(1)

此外，可以通過以下的等式(2)來表示圖3的從角速度w到角速度信號g的傳遞特性。

g＝l(s)(aw+b)...(2)

等式(3)對應於如下情況：從上述等式(1)和(2)中去除無法觀測到的實際角速度w。

g＝al(s)(sh+v)+l(s)b...(3)

此外，由於照相機抖動的頻帶通常為20hz以下並且角速度傳感器的lpf402的截止頻率主流為數百hz，因此這裡可以近似為l(s)≈1。在這種情況下，等式(3)變為以下等式(4)。

g＝a(sh+v)+b...(4)

到此為止已經說明了連續系統，接著將說明離散系統。

進行如下設定：角速度信號g(k)是y(k)(等式(4)左側的g)，δh(k)+v(k)是x(k)(等式(4)右側的sh+v)，並且識別參數為θ(k)t＝(a(k),b(k))。a(k)是角速度傳感器的靈敏度，b(k)是角速度傳感器的偏移，並且k是離散時間。

y(k)＝g(k)

x(k)＝δh(k)+v(k)

此外，按照如下來定義新變量z(k)。

根據等式(4)、(5)和(6)，可以得到以下的狀態方程。

θ(k+1)＝θ(k)+ε

y(k)＝θ(k)tz(k)+ω...(7)

其中，ε是表示識別參數的變動成分的系統噪聲參數，並且ω是觀測噪聲參數。

如從等式(7)可以看出，可以從作為觀測量的角速度信號g(k)、位置信號h(k)和運動矢量v(k)這三種數據，來識別作為可被表示為狀態變量的識別參數的角速度傳感器的偏移和靈敏度。此外，通過設計作為系統噪聲參數的ε，適當地，可以進行包括角速度傳感器靈敏度和角速度傳感器偏移的溫度變動成分的識別。

此外，用於使用卡爾曼濾波器來識別等式(7)的θ的濾波步驟如下所述。

(步驟1)卡爾曼增益計算

(步驟2)識別參數計算

θ(k)＝θ(k-1)+k(k){y(k)-zt(k)·θ(k-1)}...(9)

(步驟3)識別誤差擴散計算

其中，k是離散時間(濾波步驟數)，k是卡爾曼增益(1行×2列)，p是識別誤差協方差矩陣(2行×2列)，並且σω是角速度信號的觀測噪聲擴散參數(標量)。此外，rε是考慮了識別參數的溫度變動的系統參數(2行×2列)。對於識別誤差擴散矩陣p的初始值，賦予適當的大值作為設計值。然而，如果設置了非常大的值，則識別結果將會發散，因此對於該參數而言需要根據觀測噪聲進行調整。

此外，對於σω，可以使用角速度信號的實際觀測噪聲值，但如從等式(8)和(10)可以看出，該參數越大，識別收斂越慢，並且該參數越小，收斂越快。另一方面，較大的值將使濾波器穩定，而該值越小，越存在識別結果將發散的風險。由於該原因，還可以將該值視為用於確定濾波器的收斂速度的調整參數。

另一方面，在卡爾曼濾波器的步驟(3)(等式(10))中，還同時計算識別誤差擴散。該識別誤差擴散是作為表示給定時刻j的識別結果θ(j)從k＝0到k＝j改變了多少的指標的值，並且可以被視為與時刻j的識別參數θ的可靠性相對應的值。

如上所述，識別參數θ時時刻刻收斂並且可靠性增大，但即使在使用遞歸最小二乘法而非卡爾曼濾波器的情況下也同樣如此。然而，利用遞歸最小二乘法，沒有考慮觀測噪聲和系統噪聲(識別參數變動成分)，因此濾波魯棒性較低，並且同樣無法適用於參數溫度變動，因此識別值將收斂於恆定值。由於該原因，在實際設計中使用卡爾曼濾波器是有利的。

上述是用於識別角速度傳感器的靈敏度變動a和角速度傳感器的偏移b的方法的詳細說明，但簡要說明如下所述。

利用等式(4)，在作為觀測值的角速度信號g是y、並且作為圖像穩定角速度和運動矢量的總和的sh+v是x的情況下，等式(4)變為簡單的線性模型y＝ax+b，並且可以根據觀測值來確定直線y＝ax+b的斜率a和y截距b。該斜率是角速度傳感器的靈敏度，並且y截距是角速度傳感器的偏移。

注意，通過上述方法所獲得的角速度傳感器的靈敏度在被攝體距離對應於無限遠的情況下是純角速度傳感器靈敏度，但在被攝體距離是近距離的情況下並非如此。存在攝像設備的兩種類型的抖動：角度抖動和平移抖動。等式(11)表示攝像面上的抖動量。

δ＝(1+β)fθ(t)+βy(t)...(11)

其中，δ是攝像面上的抖動量[mm]，β是攝像倍率，f是焦距[mm]，θ(t)是抖動角度[度]，並且y(t)是驅動量[mm]。等式(11)右側的(1+β)fθ(t)是角度抖動成分，並且右側的βy(t)是平移抖動成分。

如從等式(11)可以看出，在被攝體距離短的情況下，即在微距攝像的情況下，攝像倍率β大，因此無法忽視平移抖動成分。在這種情況下，在許多先前示例中，通過加速度傳感器來感測作為平移抖動成分的元素的驅動量y(t)，單獨計算平移抖動校正量，並且通過將平移抖動校正量與利用角速度信號所獲得的角度抖動成分進行合成來校正這兩種抖動成分。然而，在本發明的識別方法中，在被攝體距離近的情況下將剩餘平移抖動檢測作為運動矢量，因此識別出包括平移抖動成分的校正靈敏度。也就是說，通過使用上述識別方法，可以在無需使用加速度傳感器的情況下識別角度抖動和平移抖動這兩種抖動成分的總增益，並且可以消除抖動。

然而，在計算出考慮了平移抖動成分的靈敏度變動的情況下，需要適當地設計作為系統變動成分參數的rε。此外，在被攝體距離發生預定值以上的變動的情況下，為了增加之後的識別參數的收斂速度，需要將識別誤差擴散復位為初始值或者使作為系統噪聲的rε變大。

接著，將使用圖4來說明抖動信號系統識別單元214的結構。以觀測數據採樣中最慢的運動矢量採樣所用的30hz或60hz來進行抖動信號系統識別處理的採樣。在ad轉換單元201和213中以數khz的速率來對角速度信號和位置信號進行採樣，並且使用攝像曝光重心定時信號來與運動矢量進行同步。據此，在平均值計算單元501中計算角速度信號的曝光重心間的幀之間的平均值，並且在差計算單元502中根據位置信號的曝光重心之間的差來計算幀之間的圖像穩定角速度。此外，在轉換單元503中，運動矢量被轉換為角速度單位的運動矢量，並且與幀之間的圖像穩定角速度相加。將各個信號輸入至lpf504和505，以降低混疊(aliasing)。然後，通過將lpf504和505的輸出輸入至卡爾曼濾波器506，來識別角速度傳感器的偏移和靈敏度。還同時輸出表示識別結果的可靠性的識別誤差擴散。

接著，使用圖5的流程圖來說明抖動信號系統識別處理。

首先，在步驟s101中，獲得運動矢量、角速度信號和圖像穩定角速度這三種觀測數據，注意，角速度信號是曝光重心之間的平均值，並且圖像穩定角速度是位置信號曝光重心之間的圖像穩定角度的微分值。此外，在該階段，對這三種觀測數據的單位系進行匹配。在步驟s102中，進行用於利用lpf504和505進行抗混疊的低通濾波處理。

接著，在步驟s103中，判斷攝像設備的運動。在抖動小的情況下(即，在攝像設備安裝於三腳架的情況下，在攝像設備放置在不存在抖動的基座上且處於靜止狀態的情況下，等等)，這三種觀測數據大致是恆定值。在這些情況下，在執行上述的卡爾曼濾波步驟時，由於觀測基準點是固定的，因此無法進行正確的識別。相反，由於受到觀測數據噪聲的影響，因而識別結果精度較低。這是因為s/n比差。在相反地抖動大的情況下(即，在快速平搖攝像設備的情況下，在把持攝像設備的同時行走或跑動的情況下，等等)，運動矢量的精度較低。通常，運動矢量檢測範圍比利用角速度傳感器的範圍窄，並且無法檢測到大的角速度。此外，存在如下情況：針對大的抖動，攝像時所拍攝的圖像自身模糊，並且無法檢測到正確的運動矢量。

附加地，針對大的抖動，存在如下可能性：運動矢量將會由於以下兩種原因而變形。第一個原因是如下情況：將作為抖動成分其中之一的攝像設備的側傾方向的抖動作為噪聲疊加在俯仰方向和橫擺方向的運動矢量上，並且俯仰/橫擺方向的運動矢量檢測結果發生變形。這在行走的同時進行攝像或者在跑動的同時進行攝像的情況下特別顯著。關於第二個原因，在攝像設備使用捲簾快門的情況下，存在俯仰/橫擺方向的運動矢量上所疊加的相應失真成分。這在超過光學圖像穩定設備的校正界限的足夠大的抖動的情況下特別顯著。

僅在步驟s103中所觀測到的抖動量由於這些原因而大於預先確定的預定值δ1並小於預先確定的預定值δ2(處於預先確定的範圍內)的情況下，處理進入步驟s104，否則處理返回至步驟s101。注意，抖動量可以是角速度信號自身，或者可以是運動矢量和位置信號的總和(模型角速度)。步驟s104、步驟s105和步驟s106是與卡爾曼濾波器相對應的濾波步驟，並且在這些步驟中分別進行與上述的等式(8)、等式(9)和等式(10)相對應的處理。

從步驟s107起，判斷作為卡爾曼濾波器計算結果的參數識別值的收斂程度。在步驟s107中，判斷識別誤差擴散p(k)是否處於預定值t1和t2之間，並且如果識別誤差擴散p(k)處於預定值t1和t2之間，則將識別參數反映在圖像穩定控制單元106中(步驟s108)。此外，在積分單元206的lpf濾波器特性在該特性良好的方向上改變(步驟s109)之後，處理返回至步驟s101。

在步驟s107中，如果識別誤差擴散p(k)未處於預定值t1和t2之間，則在步驟s110中判斷識別誤差擴散p(k)是否小於或等於預定值t2。如果識別誤差擴散p(k)小於或等於預定值t2，則將識別參數反映在圖像穩定控制單元106中(步驟s111)，並且積分單元206的lpf濾波器特性在該特性比步驟s109更良好的方向(截止頻率較低的方向)上進一步改變(步驟s112)。注意，在圖5所示的處理中，由於紙張的空間，因而僅記載了用於判斷識別結果的可靠性的兩種模式，但還可以準備更多模式。在這些情況下，在識別誤差擴散p(k)低於預定值的情況下，濾波器特性在該特性較為良好的方向(截止頻率較低的方向)上改變。

利用如上所述的第一實施例，可以高精度地識別角速度傳感器的靈敏度和偏移，並且由於可以將所識別出的靈敏度和偏移反映到照相機抖動校正量中，因而可以改善圖像穩定效果。

注意，在步驟s109和步驟s112中改變濾波器特性的情況下，如果利用iir型濾波器來設計用於進行偽積分的lpf，則根據從攝像設備啟動起直到濾波器特性改變定時為止的時間來同時改變作為中間變量的z是有利的。通常，在通過cpu來進行逐次運算濾波器處理的情況下，可以認為，由於處理負荷而將會通常使用iir型濾波器。

接著，將使用圖6來說明中間變量z。圖6是一般的一階iir濾波器(lpf)的框圖。在圖6中，將輸入in從信號輸入單元301輸入，並且將濾波器處理後的輸出out從信號輸出單元306輸出。通過係數乘法單元302的係數k1來確定作為lpf的頻帶的lpf的截止頻率。此外，係數乘法單元303和304的係數k2和k3是用於確定lpf輸出的增益的係數，並且在lpf的情況下，k2＝k3。在偽積分中，作為輸出增益的積分增益是固定的，並且即使在特性改變的情況下，該積分增益也不改變。通過在改變特性的情況下使係數k1變大，改善了積分特性的低頻成分特性。對此，可以利用以下的等式(12)來表示濾波器中間變量z(305)。注意，n是等式(12)中的步驟數。

z(n+1)＝k1×zn+in...(12)

由於中間變量z極大地依賴於係數k1並且利用該值來確定來自信號輸出單元306的輸出，因此極大地影響了圖像穩定的性能。

由於中間變量z也依賴於步驟數n，因此需要進行如下操作：測量從攝像設備啟動起直到濾波器特性改變為止的時間，並且據此來高精度地計算中間變量z以進行該改變。然而，如果步驟數n充分大，則中間變量z近似地獨立於步驟數n，由此並非上述情況。

然而，可能存在如下情況：根據cpu處理性能，無法在預期時間內高精度地獲得中間變量z。由於在精度不夠良好的情況下在改變中將發生信號的不連續並且攝像設備的視角將急劇地移動，因此在通過圖2的信號選擇單元208選擇了第二照相機抖動校正量(乘法單元207的輸出)的情況下，中間變量z不改變。濾波器特性變化的收斂需要時間，但不會產生急劇的視角變動。這是如下情況：主要在運動圖像拍攝期間進行瞄準時，在無需平搖等的情況下增加了運動圖像穩定性能。

另一方面，在信號選擇單元208選擇第一照相機抖動校正量(乘法單元204的輸出)的情況下，即使精度不夠良好，中間變量z也同時改變，並且瞬間切換積分單元206的濾波器特性。由於利用第一照相機抖動校正量的圖像穩定處於執行中，因此第二照相機抖動校正量的不連續性在圖像中不明顯。存在使得在靜止圖像拍攝前成為本發明的目的的情形。

變形例

在上述的第一實施例中，給出了通常可以檢測到運動矢量的情況的說明，但考慮到實際環境和照相機使用狀況，可以認為將會存在如下情況：無法檢測到運動矢量，或者儘管可以檢測到運動矢量，但可靠性低。無法檢測到運動矢量的情況是在例如照相機用於重放模式以及正瀏覽過去拍攝的圖像時圖像傳感器沒有啟動的情況。此外，運動矢量的可靠性低的情況是例如照相機所拍攝的被攝體是低對比度或者是重複圖案等的情況。如果無法檢測到運動矢量，則必然無法執行識別處理。另一方面，如果運動矢量的可靠性低，則存在識別精度將會由於運動矢量的值而下降的可能性，因此不執行識別處理是有利的。

然而，如果沒有執行識別處理的時間持續了固定間隔以上，則該時間段內所識別出的角速度信號的輸出變化自身將發生變動。在按照原樣反映發生變動的輸出變化的狀態下執行圖像穩定的情況下，圖像穩定的性能將變差。因此，如果發生上述情形，則積分單元206的濾波器特性返回至原本的濾波器特性(使頻帶變窄)，並且將識別誤差擴散值復位為初始值。由此，可以避免圖像穩定性能的劣化。此外，在可以檢測到運動矢量並且返回至高可靠性狀態的情況下，識別誤差擴散的值大，因此可以快速地再次識別發生變動的角速度信號的輸出變化部分。

使用圖7的流程圖來說明上述處理。注意，對於與圖5相同的處理，賦予相同的步驟編號並且省略對其的說明。與圖5的差別在於：首先，在步驟s203中，與抖動量一起，進一步判斷運動矢量的可靠性。如果在該判斷中進行了不執行識別處理的判斷，則轉變至步驟s214。在步驟s214中，對不執行識別處理的時間段進行計數。在步驟s215中，判斷計數值是否大於預定值r。如果計數值小於或等於預定值r，則處理返回至步驟s101。另一方面，如果計數值大於預定值r，則判斷為不執行識別處理的時間段持續了預定持續時間，並且在步驟s216中將此時的識別誤差擴散復位為初始值p0。此外，在步驟s217中，積分單元206的濾波器特性返回至初始值(頻帶與步驟s109或步驟s112中所設置的濾波器特性相比變窄)。之後，處理返回至步驟s101。注意，在識別處理即使執行一次的情況下，也在步驟s213中復位步驟s214中計數得到的值。

接著，假定了包括能夠改變焦距的變焦透鏡的攝像設備。由於在焦距較短的情況下視角較寬，因此與一個像素相對應的角度較大並且運動矢量檢測解析度能力較低。相反，由於在焦距較長的情況下視角較窄，因此與一個像素相對應的角度較小並且運動矢量檢測解析度能力較大。也就是說，檢測到的運動矢量的變化根據焦距而發生變動。因此，在使得識別處理中的卡爾曼濾波器的參數固定的情況下，根據焦距，在識別精度中發生變化。

有鑑於此，通過改變作為等式(8)中的參數的觀測噪聲擴散參數σω，識別收斂速度發生改變，但防止了識別精度變差。更具體地，通過在焦距較短的情況下使σω變大，收斂速度變慢，並且避免了識別精度變差。相反，通過在焦距較長的情況下使σω變小，可以使收斂速度保持較快，並且識別精度高。

此外，考慮了幹擾的影響。攝像設備大幅抖動時的幹擾的原因是如先前所述那樣，並且記載了在存在大幅抖動時不進入識別處理序列。相反，可以認為幹擾原因將會極少的情形是用戶拍攝被攝體並且正保持sw1的情況，因此在這種情況下，將不存在大幅抖動的可能性高。此外，在伴隨自動調焦而變為對焦之後，在諸如低對比度等的情況下檢測到可靠性低的運動矢量的可能性低。在這種情況下，可以認為通過相對地提高識別收斂速度將會增大識別精度。

更具體地，在保持sw1期間聚焦之後，通過使等式(8)的觀測噪聲擴散參數σω變得相對較小，來使卡爾曼增益變大，由此提高了識別收斂速度。此外，通過單純提高圖像傳感器的幀頻來提高識別收斂速度。據此，可以在幹擾原因減少的高速識別處理中進一步提高識別精度。

第二實施例

接著，說明本發明的第二實施例。在上述的第一實施例中，說明了可以通過位置檢測單元212來檢測圖像穩定單元105的校正透鏡的位置的情況，但在第二實施例中，將說明不存在位置檢測單元212並且利用開放式控制來進行圖像穩定的情況。注意，第二實施例中的攝像設備的結構與第一實施例中參考圖1所述的結構相同，並且將省略對其的說明。

圖8是示出在根據第二實施例的開放式控制的情況下的圖像穩定控制單元106的結構的框圖。注意，對於與第一實施例中參考圖2所述的結構相同的結構，賦予了相同的附圖標記，並且適當省略對其的說明。

由於在通過開放式控制單元810所執行的開放式控制中不存在位置信號，因而在第二實施例中根據角速度信號來預測位置信號。圖像穩定單元建模單元813定義圖像穩定控制單元106的機械模型，並且進行用於預測與所進行的輸入(輸入[n])相關的輸出(位置[m])的處理。通過使用圖像穩定單元建模單元813所預測出的位置信號，如第一實施例那樣，與角速度信號和運動矢量一起，在抖動信號系統識別單元214中識別角速度信號的輸出變化。

接著，針對圖像穩定單元建模單元813給出說明。圖9是用於以二階彈簧質量阻尼模型簡單地表示圖像穩定單元建模單元813的圖。進行如下設定：作為圖像穩定單元105的可移動單元的校正透鏡的重量是m[kg]，彈簧常數為k[n/m]，阻尼係數為d[n·s/m]，透鏡驅動位移量為x(t)[m]，並且施加於透鏡的力是u(t)[n]。在這種情況下，根據運動方程，以下的等式(13)成立。

在對上述等式進行拉普拉斯變換並且利用傳遞函數來表示控制對象的情況下，以下的等式(14)成立。h(s)是作為控制對象的圖像穩定單元105的數學模型的傳遞函數。

據此，圖像穩定透鏡近似為二階控制對象，並且表現了傳遞特性。

這裡施加於透鏡的力u(t)是從驅動器單元211所輸出的透鏡驅動命令信號r(t)[n]和與加速度幹擾相對應的力d[n]的合成，並且以下等式(15)成立。

u(t)＝r(t)+d(t)…(15)

可以使用加速度傳感器來補償幹擾d[n]。

利用以上所述，預測出位置信號，並且與第一實施例相同，通過將預測出的位置信號、角速度信號和運動矢量輸入至抖動信號系統識別單元214，可以識別角速度傳感器的靈敏度和偏移。

第三實施例

接著，說明本發明的第三實施例。在第三實施例中，將說明用於在跟蹤運動被攝體的同時進行拍攝的搖攝輔助功能。

通常，搖攝中使背景流過的快門速度tv的設置被設置得較慢，但該快門速度變得越慢，則實際被攝體的移動和攝像設備的平搖速度之間的偏移將作為被攝體的模糊而殘留越多。因此，用於通過以作為被攝體的實際移動速度和攝像設備的速度之間的差的速度對圖像穩定單元進行驅動來抵消被攝體的模糊的功能是搖攝輔助功能。

對此，需要使用運動矢量來檢測被攝體的速度。對於運動矢量，針對畫面內的各小塊來生成局部運動矢量，並且對於各個局部運動矢量，包括了除被攝體矢量以外的由於平搖所引起的背景矢量。這樣，由於存在兩種類型的運動矢量，因此變得需要進行用於使被攝體矢量和背景矢量分離的處理。

圖10a是示出存在相對於畫面1101進行移動的被攝體1102的情況的圖。此外，圖10b是配置有用於檢測局部運動矢量的區域(塊)的圖，並且作為示例，示出了縱向5個塊×橫向5個塊。此外，假定被攝體沿向右方向移動，並且還假定平搖方向是向右方向以使得能夠跟蹤被攝體。

在這種情況下，從存在運動被攝體的塊(陰影塊1104)中檢測到程度較小的抖動量作為運動矢量。另一方面，從剩餘的背景塊(非陰影塊1103)，檢測與平搖匹配的大運動矢量。後者的平搖速度與根據表示角速度傳感器所檢測到的抖動量的角速度信號轉換得到的圖像的抖動像素量一致，因此抖動像素量附近的運動矢量是背景矢量，並且將其它運動矢量分離為被攝體矢量。

圖11是如下的直方圖：對於針對5×5個區域中的各區域所獲得的局部運動矢量，在橫軸上表示運動矢量的大小並且在縱軸上表示頻率。虛線是角速度傳感器的輸出被轉換為圖像的抖動像素時的值。如上所述，角速度傳感器的輸出與背景矢量應當一致，並且對於被攝體矢量，理想地，存在分離的峰作為抖動像素。

然而，實際上，存在由於溫度和角速度傳感器特有的偏移噪聲所引起的變動，並且由於存在因靈敏度變化和溫度所引起的靈敏度變動，因此圖11的虛線受到該噪聲的影響而變動。由於該原因，噪聲越大，越難以將背景矢量和被攝體矢量分離，因此也影響到搖攝輔助精度。

因此，在第三實施例中，使用角速度傳感器的輸出以及運動矢量來識別角速度傳感器的輸出變化，並且通過將識別結果反映在角速度傳感器的輸出中的信號與運動矢量進行比較來進行被攝體矢量和背景矢量的分離。

圖12是示出第三實施例的搖攝輔助控制單元1200的結構的框圖。代替圖像穩定控制單元106而是配置搖攝輔助控制單元1200，但結構可以使用圖像穩定控制單元106的部分結構。注意，除了搖攝輔助控制單元1200以外，第三實施例的攝像設備的結構與第一實施例中參考圖1所述的結構相同，因此將省略說明。此外，對於圖12中的具有與第一實施例中參考圖2所述的功能相同的功能的結構，賦予相同的附圖標記並且省略對其的說明。

附圖標記1301是抖動信號修改單元，其中將背景矢量、來自照相機抖動檢測單元117的角速度信號和來自ad轉換單元213的位置信號這三個觀測值作為輸入而輸入至該抖動信號修改單元。附圖標記1302是被攝體/背景矢量計算單元，其中該被攝體/背景矢量計算單元用於使用多個運動矢量以及抖動信號修改單元1301修改後的抖動信號來計算被攝體矢量和背景矢量。

圖13是示出圖12所示的抖動信號修改單元1301和被攝體/背景矢量計算單元1302的詳細結構的框圖。將來自ad轉換單元213的位置信號、來自照相機抖動檢測單元117的被ad轉換單元1401進行ad轉換得到的角速度信號、以及背景矢量輸入至抖動信號系統識別單元1402。利用輸入的這三個信號，與第一實施例同樣地，識別角速度傳感器的靈敏度和偏移。在偏移減法單元1404中從角速度信號中減去所識別出的偏移，並且在增益乘法單元1405中以相乘來反映所識別出的靈敏度。

另一方面，在直方圖處理單元1406中基於運動矢量檢測單元119在各區域中檢測到的運動矢量來生成直方圖。另一方面，抖動信號修改單元1301修改了輸出變化的角速度信號被輸入至被攝體/背景矢量分離單元1407，與運動矢量進行比較，並且如上所述，進行被攝體矢量和背景矢量分離處理。被攝體矢量生成單元1408通過對被判斷為被攝體矢量的運動矢量組進行平均處理來生成一個被攝體矢量。背景矢量生成單元1411通過對被判斷為背景矢量的運動矢量組進行平均處理來生成一個背景矢量。

此外，從圖1所示的變焦驅動控制單元102，輸入當前焦距信息。被攝體矢量角速度轉換單元1410使用該焦距信息來將被攝體矢量從圖像的像素轉換值轉換成角速度轉換值。背景矢量角速度轉換單元1412使用該焦距信息來將背景矢量從圖像的像素轉換值轉換成角速度轉換值。

通過針對每一幀進行該處理序列，識別精度增大，並且所分離出的被攝體矢量的精度增大。此外，通過執行以下操作校正了曝光期間移動的被攝體的模糊，該操作為：使用通過反映緊挨在靜止圖像曝光之前的精度高的識別偏移和識別增益所分離出的高精度被攝體矢量而在靜止圖像曝光期間進行圖像穩定控制。

這樣，利用第三實施例，由於可以以良好的精度進行背景矢量和被攝體矢量的分離，因此可以改善搖攝輔助精度。

注意，在上述實施例中，說明了通過驅動圖像穩定單元105中所包括的校正透鏡來光學地進行圖像穩定的情況，但本發明不限於此。例如，可以採用驅動攝像單元109的結構，或者可以採用一起驅動校正透鏡和攝像單元109的結構。

儘管已經參考典型實施例描述了本發明，但是應該理解，本發明不局限於所公開的典型實施例。所附權利要求書的範圍符合最寬泛的解釋，以包含所有這類修改、等同結構和功能。