自動聚焦靜止和視頻圖像的製作方法

2023-05-30 05:15:56

專利名稱：：自動聚焦靜止和視頻圖像的製作方法
技術領域：
：本發明涉及自動聚焦系統，用於可用來捕獲視頻或突發捕獲的圖像序列以及靜止圖像的圖像捕獲裝置。
背景技術：
：通常用來捕獲靜止圖像和視頻片段的靜止圖像序列的數位相機中的自動聚焦經常使用通過透鏡的自動聚焦系統，該自動聚焦系統基於對例如5-20或更多個亞採樣的自動聚焦圖像的序列的對比度分析，上述亞採樣的自動聚焦圖像是用處於不同位置的可移動透鏡拍攝的。隨後，對自動聚焦圖像進行對比度分析，並且將提供最高對比度圖像的可移動透鏡位置視為最佳聚焦條件。然後，在靜止圖像被捕獲之前，可移動透鏡返回提供最高對比度的位置或至少兩個自動聚焦圖像之間的內插位置。雖然該方法的確提供了精確的聚焦條件，由於必須捕獲和分析大量自動聚焦圖像，該方法比較慢。在視頻捕獲的過程中，從組成視頻片段的相同的靜止圖像或幀序列中提取自動聚焦圖像。因此，每當場景改變時，自動聚焦的處理使得視頻中產生5-20或更多個焦點未對準的幀。因此，在場景連續改變的情況下隨著相機搖攝移動的視頻捕獲過程中，視頻片段的大部分實際上是失焦的。理想地，在捕獲視頻以及靜止圖像時自動聚焦系統要更快，在視頻捕獲的情況下，每一幀都要被聚焦以減少失焦幀的數量。這對於使得來自視頻片段中的圖像能夠被列印或以其它形式使用是特別重要的。為了自動聚焦變快到足以實現30幀/秒的典型視頻幀速率下的逐幀自動聚焦，整個自動聚焦系統中需要若干改進。第一，需要聚焦測量系統，其可提供可在1/30秒內或更快速地完成的聚焦質量的測量。為了同樣在1/30秒內獲得要求的聚焦質量，聚焦測量必須提供足夠的信息以在距離和方向方面準確地引導可移動透鏡的移動。第二，可移動透鏡移動控制系統必須快速到足以在1/30秒內重定位可移動透鏡。第三，由聚焦測量系統和可移動透鏡移動控制系統組成的整個自動聚焦系統必須在捕獲視頻的時間長度上準確，所述時間長度通常是分鐘級的，但也可能更長。現有技術中有幾種快速到足以滿足1/30秒要求的聚焦測量系統雙透鏡測距儀模塊，分色濾色片系統，分孔徑裝置。為了提供逐幀自動聚焦，所有這些聚焦測量系統需要特別的改進以在視頻環境中操作。可從FujiElectric(富士電機)買到雙透鏡測距儀衝莫塊的幾種樣式，例如FM6260W。在授予Haruki的US4,606,630中描述了FujiElectric測距儀才莫塊。雙透鏡測距儀衝莫塊包含兩個分隔一定距離的透鏡和兩個匹配傳感器區域，以使得匹配的低解析度圖像的對能夠被捕獲。然後對匹配的低解析度圖像的對進行兩個圖像之間的相關性分析，以確定由兩個透鏡之間的間隔所導致的兩個圖像之間的偏移。然後，通過三角測量將偏移信息與透鏡間隔距離一起用於計算到場景的距離。計算的到場景的距離被用於引導可移動透鏡的定位，以便於基於雙透鏡測距儀模塊測量的到場景的距離和通過透鏡自動聚焦系統產生的最佳聚焦圖像序列之間建立的校準曲線來產生最佳的圖像質量。FujiFM6260W模塊在高靈敏度模式下的響應時間被宣傳為Q.004秒，這完全在視頻自動聚焦所要求的1/30秒之內。然而，雙透鏡測距儀模塊的準確度通常受到例如溫度或溼度變化的環境條件變化的影響。通常來說，這些雙透鏡測距儀模塊不獨立用於數位相機中的自動聚焦，而是用作基於通過透鏡對比度的自動聚焦系統所附加的聚焦粗調。雙透鏡測距儀模塊的問題在於，雙透鏡測距儀模塊和可移動透鏡位置之間的校正在數位相機的普通操作環境中不穩定。例如溫度和溼度變化的環境條件可導致雙透鏡測距儀模塊所產生的計算的到場景的距離的改變超過10%。另外，可移動透鏡控制系統中可移動透鏡的測量位置也易於隨環境改變。分色濾色片系統和分孔徑裝置都使用透鏡系統中的分孔徑，以便產生可為獲得聚焦信息而解釋的圖像。分孔徑至少產生兩條光路，用於光通過透鏡以在傳感器處至少產生兩個自動聚焦圖像。通過在透鏡系統的孔徑處分開光路，上述至少兩條光路中的每一條光路在圖像傳感器處從分孔徑中產生沒有陰影而光強減弱的完整圖像。在分色濾色片系統的情況下，分色濾色片在孔徑位置處插入透鏡的光路。分色濾色片被構造成使得濾色片區域被分為至少兩個不同的區域，不同區域中的顏色不同。然後，同時捕獲兩個自動聚焦圖像，其中6第一自動聚焦圖像重疊在第二自動聚焦圖像上，但是由於第一和第二自動聚焦圖像的顏色不同，在重疊後的圖像中二者沒有重疊的區域可對它們進行區分。在分孔徑裝置的情況下，在孔徑的至少兩個不同部分上按順序部分地遮擋孔徑，以產生至少兩條光路。由於分孔徑裝置中的上述至少兩條光路沒有不同的顏色，分孔徑裝置要求對每個部分遮擋情況捕獲自動聚焦圖像，導致至少捕獲兩個自動聚焦圖像。在這兩種情況下，至少兩條光路之間的差導致這些自動聚焦圖像與圖像中目標物體的散焦程度以及散焦方向成比例地橫向移位。在KeiichiJP2001-174496中描述了用於自動聚焦的分色濾色片系統。在這種情況下，由孔徑相對側上的兩種不同顏色構成的分色濾色片在傳感器上產生兩個不同顏色(通常為藍色和紅色)的重疊圖像。存在於圖像中的任何散焦在這兩個圖像之間產生偏移，該偏移隨後在圖像中目標物體的任一側上顯示為彩色邊緣。聚焦透鏡的移動根據離開聚焦的距離來減小或放大圖像中的彩色邊緣。當圖像完全聚焦時，彩色邊緣消失。焦點之內的散焦導致這些邊緣在圖像中目標物體的一側上為一種顏色，而在另一側上為另一種顏色。焦平面之外的散焦導致彩色邊緣的顏色相反。因此，利用該方法，通過分色濾色片拍攝的一個圖像提供自動聚焦圖像，可對該其進行分析以確定散焦程度和散焦方向。Keiichi不將分色濾色片系統用於視頻過程中的自動聚焦，而且Keiichi使用的分色濾色片固定在光路中，使得在視頻圖像捕獲過程中由光路中的分色濾色片產生相當的光損耗。一般來說，光路中分色濾色片的加入向光學系統引入了光損耗，這易於降低自動聚焦系統的速度，並使得在低亮度條件下難以進行自動聚焦。Kurahashi、Horikawa和Wolbarsht分別在JP1997-184973、US4，631，394和US4,201，456中描述了用於自動聚焦的分孔徑裝置。在這些公開中，交替地對孔徑進行部分遮擋，從而產生多條光路。當對多條交替光路中的每一條捕獲的自動聚焦圖像互相比較時，這些圖像與離開聚焦的距離成比例地橫向偏移。在光學系統被聚焦的情況下，當交替地對孔徑進行部分遮擋時，多個圖像在互相比較時不一黃向偏移。對部分遮擋孔徑的光路中的至少兩條採集一組圖像。該圖像組的比較使得能夠確定圖像之間的橫向偏移以及計算相關的離開聚焦的距離。因此，利用在孔徑的至少兩個不同的部分遮掩的情況下的一組圖像，該至少兩個圖像7之間的橫向差異指出散焦程度和散焦方向。然而，Kurahashi、Horikawa和Wolbarsht沒有將分孔徑裝置用於靜止圖像的快速自動聚焦或用於視頻捕獲過程中的自動聚焦。因此，為了在視頻捕獲過程中使用自動聚焦系統以提供逐幀自動聚焦，需要對自動聚焦系統進行改進。
發明內容本發明的目的之一是提供一種用於圖像捕獲的自動聚焦系統，其克服了上面指出的問題。通過操作用於在電子成像器上聚焦圖像的自動聚焦系統的方法來實現該目的，所述方法包括a.提供可調透鏡系統，其為場景光確定光路，並具有至少一個可移動透鏡以將場景的圖像聚焦到電子成像器上；b.使場景光的第一部分被遮擋，以便電子成像器捕獲第一自動聚焦圖像，並且使場景光的第二不同部分被遮擋，以便電子成像器捕獲第二自動聚焦圖像，其中第一和第二自動聚焦圖像的部分是偏移的；以及c.將可移動透鏡移動到一位置，使得要捕獲的圖像將焦點對準。本發明提供一種用於圖像捕獲設備的自動聚焦的方法，其允許基於逐幀的自動聚焦。例如如果視頻捕獲過程中視頻幀的至少相當一部分是24幀/秒或更快(通常是30幀/秒)，本發明確保基本上所有的視頻圖像將焦點對準。該自動聚焦方案對於靜止圖像的捕獲過程中的自動聚焦也是有用的。隨著數字捕獲設備所捕獲的視頻圖像的解析度和圖像質量的提高，對於消費者來說，單個的視頻圖像的列印質量將變得越來越重要。通過提高所有視頻圖像的聚焦質量，視頻的整體質量將被提高，並且每個視頻圖像的列印質量也將被提高。因此，連續使用能夠對視頻圖像或靜止圖像進行聚焦調節的自動聚焦系統，例如分孔徑裝置，將是重要的。本發明的所有分孔徑裝置實施例共同具有以下優點。第一，由於取像透鏡既用於自動聚焦圖像捕獲也用於視頻圖像捕獲，不存在視差問題。第二，由於高質量取像透鏡與全解析度傳感器一同用於捕獲自動聚焦圖像，有可能像在多點自動聚焦中那樣在極高解析度圖像或圖像的高解析度部分上進行自動聚焦。第三，分孔徑裝置還可用於突發模式中多個圖像的自動聚焦或單個靜止圖像的捕獲過程中的自動聚焦。第四，所有分孔徑裝置實施例和用於圖像捕獲設備的快門一樣操作。圖1是示出主要元件的典型現有技術數字相機的示意圖2是用於現有技術靜止圖像捕獲的自動聚焦系統的流程圖；圖3是典型現有技術視頻捕獲的流程圖4是根據本發明的自動聚焦系統的示意性框圖；用於在電子成像器上聚焦圖像；圖5是圖4的自動聚焦系統的一部分的透視圖6a、6b和6c示出下半孔徑被遮擋時、上半孔徑一皮遮擋時和孔徑不被遮擋時圖4的自動聚焦系統所捕獲的圖像；圖7a、7b和7c示出電光學分孔徑裝置的三種不同操作狀態；圖8a和8b示出本發明的兩個不同的實施例；圖9示出圖4的自動聚焦系統的透鏡散焦與圖像偏移的關係曲線圖；而圖10是供在視頻圖像捕獲中用於補償自動聚焦系統和場景中目標物體之間相對移動的自動聚焦系統的示意性框圖。具體實施例方式由於使用用於信號捕獲和校正以及用於曝光控制的成像裝置和相關電路的數位相機是熟知的，本說明書將特別涉及形成根據本發明的方法和設備的一部分的元件，或者與根據本發明的方法和設備更直接地配合的元件。文中沒有特別示出或描述的元件是從領域中已知的元件中選擇的。以軟體提供將要描述的實施例的各特定方面。在以下材料中給出根據本發明示出和描述的系統的情況下，文中沒有特別示出、描述或暗示的對於實施本發明有用的軟體是常規的，並且在該領域的普通技術範圍內。具體相機配置的說明是本領域技術人員所熟悉的，並且明顯存在多種改變和附加特性。所述自動聚焦系統包括可被拆卸和替換的透鏡。應當理解的是，本發明適用於任何類型的數位相機，其中由可替代的元件提供相似的功能。還可使用例如行動電話和機動車的非相機設備來實施本發明。9示出主要系統元件的典型現有技術數位相機的示意圖在圖1中示出。數位相機包括可調透鏡系統12，其具有至少一個將圖像聚焦到電子成像器16上的可移動透鏡14;按鈕18,當操作員按下該按鈕18時，啟動對靜止圖像、突發情況下的短圖像序列、或像在視頻中那樣的較長圖像序列的捕獲；以及孔徑或光圏20,其用於控制通向電子成像器16的光量。數位訊號處理器22能夠分析數據以確定提供最佳聚焦質量的聚焦條件。數位訊號處理器22還控制用於移動可移動透鏡14的常規結構，以將圖像聚焦到電子成像器16上。此外，數字存儲元件24用於存儲與靜止圖像或構成視頻的圖像序列對應的數字信息。圖2中示出圖1的現有技術數位相機的用於捕獲靜止圖像的典型現有技術事例程序的流程圖。步驟30中，壓下按鈕18以啟動捕獲程序。更特別地，按鈕18具有將在本公開中的下文描述的三個不同的位置S0、Sl和S2。步驟32中，用在一系列不同的位置的可移動透鏡14以常規方式捕獲5-20或更多個自動聚焦圖像。步驟34中，數位訊號處理器22分析數位化自動聚焦圖像以確定將產生最佳聚焦的可移動透鏡位置。步驟36中，可移動透鏡14被移至產生最佳聚焦的位置。步驟38中，圖l的數位相機自動捕獲聚焦的圖像。圖3中示出用於視頻圖像捕獲的現有技術自動聚焦系統的流程圖。步驟40中，壓下按鈕18以啟動視頻捕獲。用於視頻的自動聚焦使用與用於靜止圖像捕獲的程序類似的程序，其不同之處在於，自動聚焦圖像和視頻圖像是相同的圖像。自動聚焦圖像是每個視頻圖像的一小部分。在通過透鏡自動聚焦的方法中，為了確定最佳聚焦的條件，必須利用不同位置的可移動透鏡產生5-20或更多個自動聚焦圖像，結果導致很多視頻圖像沒有良好聚焦。見步驟42。步驟44中，用數位訊號處理器22測量每個圖像的對比度。步驟46中，數位訊號處理器22將具有最高對比度的圖像確定為具有最佳聚焦條件的圖像。步驟48中，可移動透鏡被移至與具有最高對比度的圖像對應的位置。步驟50中繼續視頻圖像的捕獲。步驟52中，數字圖像處理器22重複類似的功能以估計重新聚焦的需求。每當在視頻捕獲過程中檢測到場景中聚焦條件的變化時，重複自動聚焦程序，並且產生更多的沒有良好聚焦的視頻圖像。當現有技術自動聚焦系統用於靜止圖像或視頻的捕獲時，必須用不同位置的可移動透鏡捕獲5-20或更多個自動聚焦圖像的序列。然後，對每個自動聚焦圖像的一部分進行分析以確定產生最佳聚焦質量的可移動透鏡的位置。然後，可移動透鏡被移回至產生最佳聚焦質量的位置，並且捕獲靜止圖像。儘管該方法產生高度準確聚焦的圖像，由於在捕獲圖像的時刻之前必須捕獲和為對比度測量大量自動聚焦圖像，在操作員按下捕獲按鈕的時刻和圖像被捕獲的時刻之間產生很大的延遲時間。因此，該方法不適合於在例如運動事件的需要快速自動聚焦的情況下的靜止圖像捕獲，或聚焦質量很重要的視頻捕獲情況。以下信息應當有助於在更詳細地討-淪本發明之前對其進行理解。應當理解的是，本發明的一個重要特徵提供了一種自動聚焦系統，其能夠單獨地聚焦視頻的每一幀，使得基本上所有的視頻圖像都被良好聚焦。聚焦,'本發明能夠以八1/30秒的周期連續操作。根據本說明書，逐幀自動聚焦的闡述裡包括其中在視頻幀的捕獲之前進行聚焦測量和可移動透鏡的移動的情況；其中在自動聚焦圖像或視頻圖像的捕獲過程中進行聚焦測量或可移動透鏡的移動的情況；以及其中在一個視頻幀中收集自動聚焦信息並且可移動透鏡的移動被應用於下一個視頻幀的情況。在所有的情況中，自動聚焦控制將被應用於每個視頻圖像幀。一般來說，聚焦條件變化以及修正從一幀到下一幀聚焦條件變化所需的可移動透鏡的相關移動是很小的。在一些情況下，如果計算的離開聚焦的距離在透鏡的模糊圈(blurcircle)之內，不重定位可移動透鏡是優選的。在另一些情況下，限制幀之間可移動透鏡位置的變化量以提供幀之間聚焦的更平滑的轉變，是優選的。本發明描述了用於產生快速和準確的聚焦測量的方案，可用在自動聚焦系統中，以便於當以大約24幀/秒或更快的視頻捕獲速率捕獲視頻圖像序列時，基於逐幀針對聚焦條件變化進行調節。根據本發明的自動聚焦系統提供了一種聚焦測量，其可用於在24幀/秒或更快的幀速率下測量圖像的聚焦質量，使得可在為圖像捕獲提高聚焦準確度以及增加可利用光的使用的同時在視頻片段的每一幀上進行聚焦調節。通過使得每一幀都能夠被聚焦，視頻的整體圖像質量被提高，從而在視頻捕獲和靜止圖像捕獲的過程中，基於視頻版本的，相機上顯示的預覽圖像的圖像質量被提高。ii本發明依靠半孔徑遮擋器的使用來交替地遮擋孔徑一側的一部分，以及之後遮擋孔徑另一側的一部分。在一些情況下，移開半孔徑遮擋器或使其對視頻幀捕獲或靜止圖像捕獲的一部分基本透明，是有利的。半孔徑遮擋器可有若干種形式，既可以是電光學形式如液晶元件或電致變色器件；或者也可以是機械裝置如移去部分的轉盤或樞轉部件或滑動部件。在本發明的精神下，任何能夠提供以下三(3)種操作狀態的裝置將為本發明提供適當的功能首先，在孔徑的一側上限制光；然後，在孔徑的另一側上限制光；然後，基本不限制光。還應當注意的是，半孔徑遮擋器的取向不重要如果半孔徑遮擋器交替地遮擋孔徑頂部和底部或孔徑相對側，裝置的操作將同樣良好。圖4中示出具有如本發明所描述的分孔徑裝置的自動聚焦系統的示意性框圖，而圖5中示出具有如本發明所描述的分孔徑裝置60的透鏡組件的透視圖。在這種情況下，在孔徑的兩側被交替地遮擋例如各1/120秒的情況下，捕獲兩個自動聚焦圖像；與自動聚焦圖像分開地在不遮擋孔徑的情況下捕獲視頻幀，或者與兩個自動聚焦圖像同時捕獲視頻幀。當在電子成像器16上進行捕獲時，自動聚焦圖像和視頻幀可採用相同或不同的像素。聚焦的分孔徑測量類似於分色濾色片的聚焦測量通過交替遮擋一半孔徑來建立兩條光路。然而，在使用分孔徑裝置的本發明的情況下，在不同時刻建立兩條光路並從而產生兩個自動聚焦圖像。如圖6a、6b和6c所示，通過測量兩個圖像之間的橫向偏移來檢測離開聚焦的距離。在圖6a中，通過遮擋孔徑的下半部分來捕獲自動聚焦靜止圖像。在圖6b中，通過遮擋孔徑的上半部分來捕獲相同的圖像。應當注意的是，圖6b中的自動聚焦圖像與圖6a中的自動聚焦圖像相比有垂直方向的偏移。通過互相相關兩個自動聚焦圖像並確定它們之間的像素偏移來完成兩個自動聚焦圖像之間的橫向偏移。如果圖像的期望部分良好聚焦，對應於該部分的兩個自動聚焦圖像將精確地相互疊加，並且將衝全測不到偏移。如果圖像的期望部分失焦，該部分中兩個圖像相互之間將有偏移。兩個自動聚焦圖像之間的偏移距離和偏移方向與可移動透鏡必須移動以聚焦圖像該部分的距離和方向有關。參照圖4和圖5以及圖7a、7b和7c對使用液晶元件的分孔徑裝置60進行描述。液晶元件在本領域中是熟知的。在這種情況下，液晶元件12具有兩個遮擋器，它們可在兩種不同條件下獨立操作。在第一種條件下，第一遮擋器透明並透射光。在第二種條件下，第二遮擋器不透明，並使沿光軸X-X的光被遮掩或被遮擋，第一像素上沒有施加電壓差，並且第一像素是不透明的。第二像素上施加了電壓差，並且第二像素是透明的。相似地，在圖7b中，第二像素上沒有施加電壓差並且第二像素是不透明的，而第一像素上施加了電壓差並且第一像素是透明的。在圖7c中，兩個像素上都施加了電壓差並且兩個像素都是透明的。現在應當清楚的是，分孔徑裝置60包括第一和第二部分或像素，其中在第一和第二條件下，每個像素有效地分別透射沿光路X-X的光，或限制該光達到電子成像器16。圖5通過定義光路X-X並包括固定透鏡64和可移動透鏡14來示出可調透鏡系統。可調透鏡系統使得圖像被聚焦在電子成像器16上。特別地，回到圖4，示出了固定透鏡64、可移動透鏡14、分孔徑裝置60以及電子成像器16。如圖7a、7b和7c所示，圖像順序控制器70決定分孔徑裝置60的操作順序。半快門控制器72接收來自順序控制器70的輸入並在分孔徑裝置60中的液晶元件的不同部分或像素上施加電壓差。自動聚焦系統通過圖7a-7c所示的順序進行操作。在圖7a中，電子成像器16捕獲自動聚焦圖像，其中液晶元件的第一像素不透明。該圖像被導入模數轉換器74。圖像順序控制器70將自動聚焦圖像導入自動聚焦臨時儲存存儲器76。然後，順序控制器使得第二自動聚焦圖像被捕獲(見圖7b)並將其導入臨時儲存存儲器78。可作為微處理器一部分的步驟80對兩個已存儲自動聚焦圖像進行相關，以測量兩個已存儲自動聚焦圖像之間的偏移。當圖像有偏移時產生誤差信號，該信號被提供給操作透鏡移動裝置84的可移動透鏡位置控制器82。透鏡移動裝置84對可移動透鏡14進行平移，以使得在要捕獲聚焦的圖像時，場景的圖像焦點對準。在聚焦後，聚焦的圖像被捕獲並移入圖像存儲器79。如本領域中所熟知的，該圖像可被列印或傳送給其他裝置。圖8a示出機械式分孔徑裝置60的實施例，該機械式分孔徑裝置60使用第一半孔徑遮擋器61和第二半孔徑遮擋器62。在第一操作狀態中，半快門控制器72向第一半孔徑遮擋器控制器66發信號，使得第一半孔徑遮擋器61滑動並限制沿光路X-X的光達到成像器16。在第二操作狀態中，半快門控制器72向第二半孔徑遮擋器控制器67發信號，使得第二半孔徑遮擋器62滑動並限制沿光路X-X的光達到電子成像器16。當分孔徑裝置在第一操作狀態中時，電子成像器16捕獲第一自動聚焦圖像(見圖7a)。該圖像被導入模數轉換器74。圖像順序控制器70將該自動聚焦圖像導入自動聚焦臨時儲存存儲器76。然後，順序控制器使得當分孔徑裝置處於第二操作狀態時，第二自動聚焦圖像被電子成像器16捕獲(見圖7b)。該第二自動聚焦圖像被導入臨時儲存存儲器78。然後，步驟80計算兩個圖像之間的偏移。所得到的誤差信號被提供給對平移可移動透鏡14的透鏡移動裝置84進行操作的可移動透鏡位置控制器82,使得當聚焦的圖像被捕獲時場景的圖像焦點對準。在聚焦之後，半快門控制器72向半孔徑遮擋器控制器66、67兩者發信號，以便允許沿光路X-X的所有光都照射成像器(見圖7c)。在該第三操作狀態中，聚焦的圖像被捕獲並被移入圖像存儲器79。圖8b示出使用電動機63以旋轉盤65的機械式分孔徑裝置60的實施例。盤65不透明，並具有兩個分隔的開口。在第一操作狀態中，盤65被旋轉並停止，使得允許沿光路X-X的光照射成像器16的第一部分。在第二操作狀態中，盤65被旋轉並停止，使得允許沿光路X-X的光照射成像器16的第二部分。當分孔徑裝置處於第一操作狀態時，電子成像器16捕獲第一自動聚焦圖像(見圖7a)。該圖像被導入模數轉換器74。圖像順序控制器70將該自動聚焦圖像導入自動聚焦臨時儲存存儲器76。然後，順序控制器使得當分孔徑裝置處於第二操作狀態時，第二自動聚焦圖像被電子成像器16捕獲(見圖7b)。該第二自動聚焦圖像被導入自動聚焦臨時儲存存儲器78。然後，步驟80計算兩個圖像之間的偏移。所得到的誤差信號被提供給對平移可移動透鏡14的透鏡移動裝置84進行操作的可移動透鏡位置控制器82,使得當捕獲聚焦的圖像時場景的圖像焦點對準。在聚焦之後，盤65被旋轉並停止，使得允許沿光路X-X的所有光都照射成像器(見圖7c)。在第三操作狀態中，聚焦的圖像被捕獲並被移入圖像存儲器79。應當注意的是，本領域的技術人員能夠認識到該實施例可被進一步改進，以便於允許使用連續旋轉的盤。在步驟80中，產生圖9所示曲線圖示出的誤差信號。根據相機的設計，每個特定相機具有其特有的曲線圖。在該示例性實例中，當圖像偏差或偏移時，如曲線圖的X軸所示，誤差信號是可移動透鏡14所需14的位置變化的量。本領域技術人員可以理解的是，可將該曲線圖包含在查詢表中，對於任何特定的相機設計，可通過實驗確定該曲線圖。在捕獲^L頻時，也可使用如圖4所示的系統。如圖7a、7b和7c所示的遮擋方案為每一幀重複一次。例如，如果視頻有1800幀，自動聚焦系統將為基本上所有的幀調節可移動透鏡14。在本發明的精神下，在本發明的不同實施例下，兩個自動聚焦圖像和一見頻幀的捕獲順序可不同。圖10是供在視頻幀捕獲中使用的包括補償自動聚焦系統和場景中目標物體之間相對移動的自動聚焦系統的示意性框圖。利用本領域技術人員所熟知的微處理器(見圖l)可實施圖10中的步驟。如果步驟與圖4中的步驟對應，將採用相同的附圖標記。為了校正場景中的目標物體與自動聚焦系統之間的相對移動，兩個基本聚焦的圖像必須被捕獲並存儲在圖像存儲器77中。以如圖4所述的相同方式捕獲這些圖像。然後，在步驟90中對最後兩個捕獲的視頻圖像進行相關以確定兩個視頻圖像之間的移動。該相關是熟知的，並且必須利用兩個圖像之間的對比度差異來進行。參見例如，共同轉讓的美國專利第4,673，276號，通過引用將其公開結合在本文中。步驟76和78中執行的自動聚焦處理與圖4中相同。在步驟92中，倒數第二個自動聚焦圖像被修正以補償步驟90中計算得到移動。因此，事實上產生了一個新的自動聚焦圖像並且步驟80提供如圖4所述的功能。更特別地，在本發明的一個優選實施例中，如表1(如下所示)所示交替地捕獲自動聚焦圖像和視頻圖像。例如，當以30幀/秒捕獲視頻圖像時，可用於每個自動聚焦圖像和每個視頻幀的交替採集的時間各為1/60秒。聚焦條件的計算是基於最後兩個捕獲的自動聚焦圖像。15表1-利用分孔逕自動聚焦的視頻捕獲時間秒按鈕操作孔徑操作自動聚焦圖像捕獲操作視頻圖像捕獲操作圖像分析操作0按下按鈕SO到S2不遮擋孑L逕啟動第一視頻捕獲1/60遮擋第一半孔逕啟動第一自動聚焦捕獲卸栽視頻捕獲並復位全部像素1/30不遮擋孔徑卸載第一自動聚焦圖像並復位全部像素啟動第二視頻捕獲3/60遮擋第二半孔逕啟動第二自動聚焦捕獲卸載視頻捕獲並復位全部像素對第一和第二視頻圖像進行相關以確定場景內移動(和相才幾移動)2/30不遮擋孔徑卸載第二自動聚焦圖像並復位全部像素啟動第三視頻捕獲為場景內移動校正第二自動聚焦圖像並計算聚焦圖像需要的透鏡位移5/60遮擋第一半孔逕啟動第三自動聚焦捕獲卸載視頻捕獲並復位全部像素對第二和第三視頻圖像進行相關以確定場景內移動(和相才幾移動)3/30不遮^當孑L徑卸載第三自動聚焦圖像並復位全部像素啟動第四視頻捕獲為場景內移動校正第三自動聚焦圖像並計算聚焦圖像需要的透鏡位移到結束重複重複重複重複重複16在該實施例中，由於自動聚焦圖像的捕獲在時間上是分開的，相機或自動聚焦系統的移動和場景中的移動有可能降低聚焦條件計算的準確度。為了進一步提高聚焦測量的準確度，增加了對相機移動或場景中移動的校正。移動校正包括在步驟90中互相比4交最後兩個一見頻圖像以確定相機和場景中目標物體之間的相對移動。然後，可基於確定的場景中的移動或相機的移動來修正一個或兩個自動聚焦圖像，以校正相機的移動或場景中的移動。通過修正一個或兩個自動聚焦圖像以校正場景中的移動或相機中的移動，提高了聚焦計算的準確度。該實施例的另一優點是，通過分開自動聚焦圖像捕獲與視頻圖像捕獲，在視頻幀中避免了由遮擋一半孔徑產生的散射光帶來的任何圖像惡化。應當注意的是，本發明的任何實施例的自動聚焦圖像可以是亞採樣圖像以減少像素的數量，以便實現從成像器中快速卸載自動聚焦圖像。已描述的自動聚焦方案很適合用於靜止圖像以及視頻幀的自動聚焦，在靜止圖像的捕獲過程中，分孔徑裝置要求對自動聚焦的操作進行一些修正。表2和3(如下所示)示出利用分孔徑裝置進行靜止圖像捕獲的自動聚焦的操作時間線。17表2-利用分孔徑裝置的靜止圖像捕獲tableseeoriginaldocumentpage18表3-利用分孔徑裝置的靜止圖像捕獲時間秒按鈕操作孔徑操作自動聚焦圖像捕獲操作靜止圖像捕獲操作圖像分析操作0按下按鈕so到Sl並保持遮擋第一半孔逕啟動亞採樣自動聚焦捕獲1/60切換至遮擋第二半孔徑卸載第一亞採樣自動聚焦圖像，復位自動聚焦像素並啟動第二亞採樣自動聚焦捕荻1/30卸載第二亞採樣自動聚焦圖像，復位傳感器3/60將孔徑遮擋器從孔徑處移開分析自動聚焦捕獲，計算聚焦圖像需要的透鏡位移，計算曝光2/30移動透鏡來聚焦，為了啄光調節孔徑和快門其後按下按鈕Sl到S2啟動全解析度靜止圖像捕獲卸載全解析度靜止圖像並復位傳感器19表2示出特別針對靜止圖像捕獲的方案的操作時間線，在這種情況下，將捕獲按鈕從SQ—直按下到S2。其中，捕獲按鈕具有三種位置SO是在操作員還沒有按下捕獲按鈕的情況下的起始位置；Sl是其中相機計算自動聚焦和自動曝光而不啟動圖像捕獲的中間位置；S2是其中一旦自動聚焦和自動曝光完成，相機啟動圖像捕獲的位置。在將捕獲按鈕從SO直接按下到S2的情況下，在捕獲靜止圖像之前分孔徑裝置必須捕獲兩個自動聚焦圖像，分析自動聚焦圖像以得到偏移，計算誤差，計算曝光，將可移動透鏡移至正確位置以及為了曝光調整孔徑和快門。在這種情況下，由於圖像可能失焦，必須在可捕獲靜止圖像之前測量並校正圖像聚焦。不同於視頻圖像捕獲的情況，在靜止圖像捕獲的過程中，在捕獲了自動聚焦圖像之後，可使兩個半孔徑遮擋器在靜止圖像捕獲的過程中基本透明，以便為靜止圖像捕獲提供更多的光，從而為靜止圖像捕獲增加送至圖像傳感器的光。例如，自動聚焦所需的時間大約就是捕獲一個視頻幀的時間或1/30秒。該方法比基於通過透鏡的對比度的典型自動聚焦系統快很多，所述典型自動聚焦系統需要捕獲並分析5到20個自動聚焦圖像，使得自動聚焦時間為0.4到2.0秒。表3示出另一方案的操作時間線，其中首先將按鈕從SO按下一半到Sl,以便於在將按鈕從S1接著按下到S2以捕獲靜止圖像之前允許相機自動聚焦和自動曝光。在這種情況下，利用各自通過遮擋一半孔徑捕獲的兩個自動聚焦圖像來實現自動聚焦。和表2所述的情況一樣，在捕獲了自動聚焦圖像之後，可使半孔徑遮擋器基板透明，從而允許更多的光達到圖像傳感器以捕獲靜止圖像。在這種情況下，由於在將按鈕從S1按下到S2之前實現了自動聚焦和自動曝光，當將按鈕從Sl按下到S2時，捕獲所需的最終時間基本為零。表4(如下所示)示出用於視頻捕獲的分孔徑裝置的另一操作時間線。在該實施例中，當按下按鈕18時，使第一半孔徑遮擋器基本不透明而使第二半孔徑遮擋器基本透明，並且同時啟動第一自動聚焦圖像捕獲和視頻捕獲。對於該特定實例，在大約1/60秒後，從傳感器卸載第一自動聚焦圖像，傳感器的該部分被復位，使第一半孔徑遮擋器基本透明並且使第二半孔徑遮擋器基本不透明。然後，當視頻圖像的捕獲繼續時，啟動第二自動聚焦圖像的捕獲。在1/30秒後，從傳感器卸載第二自動聚焦圖像並且從傳感器卸載視頻圖像，使第二半孔徑遮擋器基本透20明並復位傳感器。然後，重複該處理，同時分析自動聚焦圖像以確定偏移和誤差，改進聚焦所需的可移動透鏡位移，以及計算曝光。然後，將可移動透鏡移至新的聚焦位置，並對快門進行調整以校正曝光。21表4-利用分孔逕自動聚焦裝置的視頻捕獲tableseeoriginaldocumentpage22本發明的該方案的優點在於其為自動聚焦圖像捕獲和視頻圖像提供了相對長的曝光；由於自動聚焦圖像較慢的幀速率，半孔徑遮擋器的移動相對筒單；以及自動聚焦圖像和視頻圖像的卸載速度相對慢。該方案很適合於其中與視頻幀相比，電子成像器上的不同像素被用於自動聚焦圖像的情況。本發明的另一方案使用用於自動聚焦視頻圖像的分孔徑裝置，其中第一和第二半孔徑遮擋器用於自動聚焦圖像的快速捕獲，可單獨地使第一和第二半孔徑遮擋器基本透明或基本不透明，以交替地遮擋孔徑的一側並隨後遮擋孔徑的另一側。例如，首先在將孔徑的兩側交替地各遮擋1/120秒時捕獲兩個自動聚焦圖像。在自動聚焦圖像的捕獲之後，使兩個半孔徑遮擋器都基本透明以捕獲視頻幀。表5(如下所示)中示出用於該方案的時間線。23表5-利用分孔逕自動聚焦的視頻捕獲時間秒按鈕操作孔徑操作自動聚焦圖像捕獲操作視頻圖像捕獲操作圖像分析操作0按下按鈕SO到S2遮擋第一半孔逕啟動自動聚焦捕獲1/120切換至遮擋第二半孔徑卸載第一自動聚焦圖像，復位自動聚焦像素並啟動第二自動聚焦捕獲1/60卸載第二自動聚焦圖像，復位自動聚焦像素並啟動下一自動聚焦捕獲啟動一見頻捕獲分析自動聚焦捕獲，計算聚焦圖像需要的透鏡位移，計算曝光1/30卸載視頻捕獲並復位移動透鏡來聚焦，為了曝光調節快門5/120重複重複重複重複24本發明的另一方案也使用具有半孔徑遮擋器的用於自動聚焦的分孔徑裝置，可使半孔徑遮擋器基本透明或基本不透明，以便於交替地遮擋孔徑的一側並隨後遮擋孔徑的另一側。例如，在將孔徑的兩側交替地各遮擋1/120秒時捕獲兩個自動聚焦圖像。在自動聚焦圖像的捕獲之後，使兩個半孔徑遮擋器都基本透明1/60秒。在該方案中，視頻圖像捕獲實際上在遮擋一半孔徑時捕獲兩個自動聚焦圖像的時間上以及在不遮擋孔徑的時間內累計1/30秒的時間，是積分的。該方案可為一見頻圖像捕獲提供很長的曝光。實例1作為一實例描述一個優選實施例。在該例子中使用快速液晶元件，如可/人LC-TecDisplay(LC-TECDISPLAYAB，Tunavagen281，SE-78173Borlange,瑞典)購買的，例如FOS-PSCT型號。通過施加大約100伏特的電壓，該元件從白色變成透明。以兩個可獨立控制的部分來布置該元件，以一次遮擋一半孔徑(一半白色，一半透明)，該元件還能夠在基本無限制模式(兩部分基本都透明)下或完全白色模式(兩部分都為白色)下操作。另外，存在至少一部分像素未濾色或是全色的成像器，其中未濾色或全色像素用於從基本覆蓋整個可見光範圍的波長中捕獲單色自動聚焦圖像。該液晶元件的優點在於，其能夠在小於0.001秒的時間內從打開轉換為關閉，並且透射從透明操作狀態中的80%以上轉到白色操作狀態中的小於5%。該液晶元件的缺點在於，白色操作狀態中快門對光進行散射，使得在自動聚焦圖像捕獲的過程中產生一定水平的漫射光。使用至少一部分像素未濾色或是全色的成像器的優點在於，消除了由傳感器上的濾色片陣列帶來的光損耗，從而允許很快速的自動聚焦圖像捕獲而不需要像素裝倉或像素累加，像素裝倉或像素累加會減小自動聚焦圖像的解析度並從而降低聚焦測量的準確度。通過使用具有用於單色自動聚焦圖像的至少一部分未濾色或全色像素的成像器，由於可在為自動聚焦圖像捕獲分配的時間內更有效地收集光線，還提高了弱光情形下的自動聚焦速度和準確度。圖4示出分孔徑裝置的優選實施例，該分孔徑裝置具有布置為在自動聚焦圖像捕獲過程中交替地一次遮擋一半孔徑的快速液晶元件。特定的成像器具有彩色像素，並且一些未濾色或全色的像素沒有在圖4中示25出，但它是實現如本發明中所述的自動聚焦圖像的快速捕獲的重要特徵。表5示出分孔徑裝置的優選實施例的時間線，其中與視頻圖像捕獲分開地捕獲自動聚焦圖像。在這種情況下，當隨著用如圖4所示的高速液晶元件交替地遮擋一半孔徑來以30幀/秒捕獲一見頻時，兩個自動聚焦圖像各在大約1/120秒內被捕獲。在兩個自動聚焦圖像的捕獲之後，在大約1/60秒的視頻捕獲時間內不遮擋孔徑。在視頻捕獲時間內，根據需要對兩個自動聚焦圖像進行分析並對可移動透鏡進行重定位。然後，重複該處理以聚焦視頻片段的每一幀。該快速液晶元件和具有至少一部分未濾色或全色像素的成像器的優點之一在於，可與視頻圖像分開地捕獲自動聚焦圖像。當以30幀/秒捕獲視頻時，快速液晶元件可以足夠快的速度交替地遮擋一半孔徑來進行自動聚焦圖像捕獲，以支持用於自動聚焦圖像捕獲的1/120秒的曝光時間。通過分開地捕獲自動聚焦圖像，遮擋過程中高速液晶元件所產生的散射的漫射光不影響視頻圖像的圖像質量。並且，通過使用具有至少一部分未濾色或全色像素的成像器，傳感器的光收集效率高到足以實現在1/120秒內捕獲自動聚焦圖像。實例2在作為特別適合於靜止圖像捕獲的實例的另一優選實施例中使用分孔徑裝置。在該實施例中，在捕獲自動聚焦圖像之前，可移動透鏡被定位在極限位置一近景深點(nearfocus)或者遠景深點(farfocus)位置，圖像將顯著失焦，確保兩個自動聚焦圖像之間有很大的差異。該實施例的優點在於，為分析提供了大信號以確定最佳聚焦質量所需的可移動透鏡位置。此後，捕獲自動聚焦圖像和靜止圖像的時間安排將類似於表2和3所示的時間安排。實例3在作為實例的另一優選實施例中，在場景內容快速變化的情況下，幀到幀的聚焦變化可能比所期望的要快。在這種情況下，可對幀間的聚焦變化速率加以限制。每一幀還是將被單獨聚焦，但是不允許幀間的聚焦變化超過該限制。通過限制幀間的聚焦變化，視頻片段中的聚焦變化將顯得更平滑。實例426在另一優選實施例中，使用了類似於實例1中所述的系統，其具有可一次遮擋一半孔徑或基本不遮擋孔徑的高速液晶元件。如表5所示，自動聚焦圖像和視頻圖像被交替地捕獲。在該實施例中，當以30幀/秒捕獲視頻圖像時，可用於捕獲自動聚焦圖像的時間增加到1/60秒，以提高低亮度條件下的自動聚焦性能。那麼，聚焦條件的計算基於最後兩個捕獲的自動聚焦圖像。在這種情況下，由於自動聚焦圖像捕獲在時間上是分開的，場景內移動有可能降低聚焦條件計算的準確度。為了實現對場景內移動或相機移動的校正，對兩個一見頻圖像進行互相相關，以確定任何場景內移動或相機移動。然後，修正至少一個自動聚焦圖像以在計算聚焦條件之前校正場景內移動和相機移動。然後對下一視頻圖像捕獲應用聚焦調節。附圖標記12可調透鏡系統14可移動透鏡16電子成像器18啟動捕獲的按鈕20光圏22數位訊號處理器24數字存儲元件30啟動捕獲程序步驟32捕獲自動聚焦圖像步驟34分析自動聚焦圖像步驟36移動可移動透鏡步驟38捕獲圖像步驟40啟動連續視頻圖像捕獲步驟42用可移動透鏡捕獲圖像步驟44測量對比度步驟46確定具有最高對比度的圖像步驟48移動可移動透鏡步驟50捕獲連續視頻圖像步驟52評估圖像步驟60分孔徑裝置61第一半孔徑遮擋器62第二半孔徑遮擋器63電動枳j64透鏡組件65盤66第一半孔徑遮擋器控制器67第二半孔徑遮擋器控制器70圖像順序控制器72半快門控制器74模數轉換器76最後自動聚焦圖像臨時存儲器77視頻圖像存儲器78倒數第二自動聚焦圖像臨時存儲器79視頻或靜止圖像存儲器80自動聚焦圖像相關步驟82可移動透鏡定位器控制器84聚焦透鏡移動器電動機90視頻圖像相關步驟92偏移倒數第二自動聚焦圖像步驟28權利要求1.一種用於操作用於在電子成像器上聚焦圖像的自動聚焦系統的方法，包括a.提供可調透鏡系統，其為場景光確定光路，並具有至少一個可移動透鏡以將場景的圖像聚焦到電子成像器上；b.使場景光的第一部分被遮掩，以便電子成像器捕獲第一自動聚焦圖像，並且使場景光的第二不同部分被遮掩，以便電子成像器捕獲第二自動聚焦圖像，其中第一和第二自動聚焦圖像的部分是偏移的；以及c.響應於該偏移將可移動透鏡移動到一位置，使得要捕獲的圖像將焦點對準。2.如權利要求1所述的用於操作自動聚焦系統的方法，還包括分孔徑裝置，其在分別遮擋光和透射光的第一和第二條件中起作用。3.如權利要求2所述的用於操作自動聚焦系統的方法，其中分孔徑裝置由至少一個具有兩個獨立操作的像素的液晶元件形成。4.如權利要求2所述的用於操作自動聚焦系統的方法，其中分孔徑裝置是具有第一、第二和第三操作狀態的機械式快門；其中第一和第二操作狀態分別限制在光路的第一和第二部分中的光，並且第三操作狀態允許光基本不受限制地通過以照射電子成像器。5.如權利要求4所述的用於操作自動聚焦系統的方法，其中機械式快門是旋轉盤，其中該盤的一些部分被去掉以提供第一、第二和第三操作狀態。6.如權利要求4所述的用於操作自動聚焦系統的方法，其中機械式快門由提供第一、第二和第三操作狀態的一個或多個滑動部件組成。7.如權利要求1所述的用於操作自動聚焦系統的方法，其中在視頻捕獲過程中重複使用該自動聚焦系統以聚焦視頻幀。8.如權利要求7所述的用於操作自動聚焦系統的方法，其中與視頻幀交替地捕獲第一和第二自動聚焦圖像。9.如權利要求7所述的用於操作自動聚焦系統的方法，其中為在第一和第二自動聚焦圖像之間發生的自動聚焦系統和場景中的目標物體的相對移動，對自動聚焦圖像進行校正。10.如權利要求7所述的用於操作自動聚焦系統的方法，其中視頻圖像之間的聚焦變化被限制為保持在選定的值以下，以隨場景改變產生更平滑的聚焦轉變。11.如權利要求1所述的用於操作自動聚焦系統的方法，其中電子成像器包括彩色像素和未濾色或全色的像素。12.如權利要求11所述的用於操作自動聚焦系統的方法，其中未濾色或全色的像素被用於第一和第二自動聚焦圖像。13.—種用於在電子成像器上聚焦圖像的自動聚焦系統，包括a.確定光路的可調透鏡系統，其具有至少一個可移動透鏡以將圖像聚焦到電子成像器上；b.包括第一和第二光透射部分的分孔徑裝置，該第一和第二光透射部分各自在分別限制沿光路的光達到電子成像器和將光透射到電子成像器上的第一和第二條件中起作用；c.用於操作分孔徑裝置的裝置，使第一部分在第一條件中而第二部分在笫二條件中，以便電子成像器捕獲第一自動聚焦圖像，然後使第一部分在第二條件中而第二部分在第一條件中，以便電子成像器捕獲第二自動聚焦圖像，其中第一和第二自動聚焦圖像的部分是偏移的；d.響應於該偏移使可調透鏡系統將圖像聚焦到電子成像器上的裝置；以及e.用於使分孔徑裝置的第一部分和第二部分在電子成像器捕獲聚焦的圖像時在第二條件中的裝置。14.如權利要求13所述的自動聚焦系統，其中分孔徑裝置是電光學形式，並且第一和第二部分在分別遮擋光和透射光的第一和第二條件中起作用。15.如權利要求14所述的自動聚焦系統，其中分孔徑裝置由至少一個具有兩個獨立操作的像素的液晶元件形成。16.如權利要求13所述的自動聚焦系統，其中分孔徑裝置是具有第一、第二和第三操作狀態的機械式快門；其中第一和第二操作狀態分別限制在光路的第一和第二部分中的光，並且第三操作狀態允許光基本不受限制地通過以照射電子成像器。17.如權利要求13所述的自動聚焦系統，其中在視頻捕獲過程中重複使用該自動聚焦系統以聚焦視頻幀。18.如權利要求17所述的自動聚焦系統，其中與視頻幀交替地捕獲第一和第二自動聚焦圖像。19.如權利要求17所述的自動聚焦系統，其中為在第一和笫二自動聚焦圖像之間發生的自動聚焦系統和場景中的目標物體的相對移動，對自動聚焦圖像進行校正。20.如權利要求13所述的自動聚焦系統，其中電子成像器包括彩色像素和未濾色或全色的像素。21.如權利要求20所述的自動聚焦系統，其中未濾色或全色的像素用於捕獲自動聚焦圖像。全文摘要一種用於操作用於在電子成像器上聚焦圖像的自動聚焦系統的方法包括提供可調透鏡系統，其為場景光確定光路，並具有至少一個可移動透鏡以將場景的圖像聚焦到電子成像器上；以及使場景光的第一部分被遮掩，以便電子成像器捕獲第一自動聚焦圖像，並且使場景光的第二不同部分被遮掩，以便電子成像器捕獲第二自動聚焦圖像，其中第一和第二自動聚焦圖像的部分是偏移的。該方法進一步包括將可移動透鏡移至一位置，使得要捕獲的將焦點對準。文檔編號H04N5/232GK101480042SQ200780024468公開日2009年7月8日申請日期2007年6月18日優先權日2006年6月29日發明者B·H·皮爾曼,J·N·博德,L·施林-本茲,R·J·帕倫申請人:伊斯曼柯達公司