圖像的聚焦誤差估計的製作方法

2023-07-12 10:13:11 2

圖像的聚焦誤差估計的製作方法
【專利摘要】估計圖像中的聚焦誤差包括訓練階段和應用階段。在訓練階段，光學系統由點-擴散函數表示。圖像傳感器陣列由一個或多個波長靈敏度函數、一個或多個噪聲函數和一個或多個空間取樣函數表示。點-擴散函數被應用到指定範圍內的多個散焦程度的每一個的圖像塊以產生訓練數據。使用波長靈敏度和空間取樣函數對每個散焦程度(即聚焦誤差)的每個圖像進行取樣。使用噪聲函數添加噪聲。從傳感器陣列到訓練數據的響應被用於生成用於估計指定範圍內的聚焦誤差的散焦濾波器。然後，散焦濾波器被應用到訓練數據的圖像塊，並且對每個散焦程度的濾波器響應的聯合概率分布進行表徵。在應用階段，獲得並結合對任意圖像塊的濾波器響應以推導出每個任意圖像塊的聚焦誤差的連續的、帶符號的估計。
【專利說明】圖像的聚焦誤差估計
[0001]相關申請的交叉引用
[0002]本申請是與2011年2月25日申請的、發明名稱為「單個自然圖像中的散焦估計」、序號為61 / 446566的美國臨時中請共同未決的非臨時專利申請。為了所有的目的，該臨時申請通過全文引用特別地合併在此。
[0003]關於對聯邦資助的研究或科研做出的發明的權利的聲明
[0004]根據國立健康研究院資助的2R01EY11747號的條款的規定，美國政府可擁有本發明的某些權利。
【技術領域】
[0005]本發明涉及自動聚焦光學系統，更特別地涉及對通過光學系統接收的圖像中的誤差的估計。
【背景技術】
[0006]自動聚焦光學系統(如數位相機、數位相機、顯微鏡、微加工設備)使用傳感器、控制系統和電機來全自動聚焦或手動聚焦到選擇的點或區域。自動聚焦光學系統用來確定正確焦點的聚焦方法主要有兩類。一類是被稱為「主動的，，的自動聚焦。此類自動聚焦通過發射信號(如紅外線、超聲波)來確定焦點。在發射聲波的情況下，通過測量聲波的反射延時來計算到對象的距離。在發射紅外線的情況下，通過三角定位到對象的距離來計算目標距離。當主動自動聚焦方法工作於非常低亮度的條件下時，不能聚焦到非常近的物體(如微距攝影)，並且由於玻璃會反射發射的信號，因而不能透過窗戶進行聚焦。
[0007]自動聚焦的另一類方法被稱為「被動的」或「基於圖像」的自動聚焦。焦點是通過分析進入光學系統的圖像來確定的。因此，被動的自動對焦方法通常不能朝對象引導任何能量，如超聲波或紅外光波。被動自動對焦的兩種主要方法是對比度測量和相位檢測。
[0008]對比度測量是通過測量小區域內的圖像傳感器上的像素的強度差異來實現的。傳感器的相鄰像素間的強度差異通常隨著聚焦誤差的減少而增加。因此直到檢測到最大對比度才調節光學系統。然而，因為此聚焦方法搜索而不是獲得焦距的必需變化的估計，所以該方法是緩慢的。此外，該方法依賴於假設對比度完全跟隨聚焦誤差。但該假設並不完全正確。進一步地，對比度測量不提供散焦符號的估計。也就是說，它不計算光學系統是否聚焦在對象的前面或後面。
[0009]相位檢測自動聚焦是通過將入射光分到成對的圖像並比較它們來實現的。系統耦合有光束分離器、一個小副鏡和兩個光學稜鏡來將光線引導到光學系統內的專用自動聚集傳感器上。兩個光學稜鏡捕獲來自透鏡的反面的光線並將光線轉向到自動聚焦傳感器，構成具有與光圈直徑類似的基礎的簡單測距儀。然後為相似光強度模型(峰與谷)分析這兩個圖像並計算相位差異以確定聚焦誤差的量級，並確定光學系統是否聚焦在對象的前面或後面。儘管相位檢測方法較快、較精確並且估計散焦符號，但因為需要特別的光束分離器、鏡子、稜鏡和傳感器，所以實施的代價很高。而且，額外的硬體增加了光學系統的尺寸和重量。此外，此方法不能運行於「實時取景」模式(特點是允許光學系統的顯示屏如數位相機的顯示屏作為取景器使用)。
[0010]然而，如果可開發出不需要重複搜索和附加光學器件來完成聚焦誤差估計的技術，那麼人們可獲得對比度和相位檢測方法的效益而避開它們的缺點。

【發明內容】

[0011]在本發明的一個實施例中，在將物體的圖像數據接收到光學系統的傳感器陣列上後，通過計算光學系統的一個或更多個散焦濾波器的每一個的濾波器響應值來估計光學系統的聚焦誤差，從而計算的響應值包含接收的圖像數據的濾波器響應矢量，然後識別每個可能散焦程度的概率，從這些概率估計散焦程度。在此方式中，不需要分離物鏡和傳感器陣列間的光學路徑就可估計聚焦誤差，確定步驟中的最後一個步驟變為關於接收的圖像數據的濾波器響應矢量的相對簡單的代數運算。因此，聚焦誤差在一個計算步驟中確定，相比於對比度技術這是更高效的過程，並且不需要相位檢測技術的複雜硬體器件。
[0012]在本發明的其他方面，估計圖像中的聚焦誤差的方法包括收集一組圖像塊以獲得圖像的統計學描述。該方法進一步包括通過用於在散焦程度範圍內的多個散焦程度中每一個的點-擴散(point-spread)函數來表現光學系統。而且，該方法包括通過至少一個波長靈敏度函數和空間取樣函數來表現傳感器陣列。另外，該方法包括使用用於多個散焦程度中的每一個的點擴散函數來計算一組指向傳感器陣列的散焦圖像塊。進一步地，該方法包括對在使用傳感器陣列的波長、空間-取樣和噪聲函數的傳感器陣列上的一組散焦圖像塊中的每一個進行取樣。該方法進一步包括從該傳感器陣列獲得用於給定類別傳感器的響應。另外，該方法包括為多個散焦程度的每一個從來自傳感器陣列的傳感器響應生成一組散焦濾波器。另外，該方法包括為用於一組圖像塊的多個散焦程度的每一個確定濾波器響應分布的參數化描述。此外，該方法包括由處理器從任意濾波器響應矢量和該濾波器響應分布的參數化描述來計算聚焦誤差。
[0013]如上所述的該方法的實施例的其他形式可在系統和電腦程式產品中提供。
[0014]前述內容已相當綜合地概括了本發明的一個或更多個實施例的特徵和技術優勢，以便更好地理解後續的本發明的詳細說明。以下將說明形成本發明的權利要求的主題的本發明的附加特徵和優勢。
【專利附圖】

【附圖說明】
[0015]當結合下列附圖考慮下列詳細說明時，可獲得對本發明的更好的理解，其中:
[0016]圖1為按照本發明實施例配置的系統的示意圖。
[0017]圖2為闡明用於確定圖1系統中的估計的聚焦誤差的圖1系統的操作的流程圖。
[0018]圖3為闡明在利用圖1系統的聚焦誤差確定法的裝置內的調焦的流程圖。
[0019]圖4為顯示根據本發明實施例配置的計算機系統的細節的框圖。
[0020]圖5為根據本發明的實施例闡明對圖像中的聚焦誤差進行估計的流程圖。
[0021]圖6為根據本發明實施例闡明產生散焦濾波器的流程圖。
[0022]圖7顯示了用於如圖1所示的示例性光學系統的散焦濾波器。
[0023]圖8顯示了對用於兩個圖7的濾波器的訓練組圖像內的光譜的響應。[0024]圖9顯示了適於圖8的濾波器響應的高斯分布。
[0025]圖10顯示了對訓練組圖像的散焦估計。
【具體實施方式】
[0026]本發明包括用於估計圖像內的散焦(即聚焦誤差)的方法、系統和電腦程式產品。在本發明的一個實施例中，由點-擴散函數的波動光學模型表徵光學系統並由每個傳感器類的波長靈敏度、空間取樣和噪聲函數表徵傳感器陣列。收集了清晰圖像塊的訓練組。為指定範圍內的多個散焦程度的每一個，對每個傳感器類計算點-擴散函數。另外，每個散焦程度的點-擴散函數被應用於每個圖像塊，然後使用用於傳感器陣列內的每種傳感器的波長靈敏度和空間取樣函數對該圖像塊進行取樣。將噪聲添加到傳感器陣列中的每種傳感器的每個傳感器元件的取樣響應上。通過統計學學習步驟，來自傳感器陣列的傳感器響應被用於生成一組最優散焦濾波器。然後該最優散焦濾波器被應用於對訓練組中的每個圖像塊的傳感器響應。用於圖像塊的訓練組內的多個散焦程度的每一個的聯合濾波器響應分布(即條件似然分布)被確定並以參數化函數(如多維高斯函數)來表徵。
[0027]前述的步驟表明了如何學習最優散焦濾波器。後續描述的步驟表明怎樣使用最優散焦濾波器來獲得用於任意圖像塊的最優散焦估計。
[0028]為了估計具有任意聚焦誤差的任意塊的聚焦誤差，計算對於任意圖像塊的濾波器響應矢量(即每個濾波器的響應)。濾波器響應矢量和訓練濾波器響應分布的參數化描述被用於確定指定範圍內的每個可能散焦程度的概率。從此概率分布可獲得聚焦誤差的連續貝葉斯最優估計。用此方式，能夠開發軟體技術來執行聚焦誤差估計，而不需要相位檢測自動聚焦方法的昂貴的硬體需求。該方式還具有額外的優點，其可被應用「實時取景」模式並可實施於蜂窩電話的相機、無反光鏡可換鏡頭照相機、傻瓜相機和其他當前使用對比度測量自動聚焦並且由於太小或太低價而不能實現相位檢測自動聚焦的成像系統。
[0029]在下面的描述中，提出了很多詳細細節以提供對本發明的完全的理解。然而，對本領域技術人員來說顯而易見的是，可在沒有這些詳細細節的情況下實行本發明。在其他情況下，眾所周知的電路以框圖方式顯示以不使本發明模糊在不必要的細節中。在很大程度上，考慮定時注意事項或類似的細節被省略，因為這些細節對於完全理解本發明不是必需的，並且在相關領域內的普通技術人員的技術範圍之內。
[0030]圖1是按照本發明實施例配置的系統的示意圖。系統100接收從外部物體102進入將該物體光線成像到傳感器陣列106上的光學系統104的光線。通過可相對彼此移動來調整光學系統104的焦距的物鏡108和目鏡110,該光學系統被不意性地表現在圖1中，但是可以理解的是，在可被調整用以將物體光線聚焦到傳感器陣列106上可被使用任意數量和任意布置的光學元件。傳感器陣列106可利用各種組件，可包括如響應於接收預定波長，如長(如紅色)、中(如綠色)或短(如藍色)波長的光而生成電能的光電傳感器。在典型的系統100中，傳感器陣列106包括用於紅色光的多個傳感器和用於藍色光的多個傳感器。陣列中的每個傳感器根據它接收的光強生成小電流。每個傳感器被看作接收的傳感器圖像的像素。
[0031]來自陣列106的每個傳感器的電流被提供給用於計算的處理器112。處理器利用下面將進一步說明的從數據存儲器114、如存儲器讀取的聚焦誤差數據。處理器根據它的基於存儲器114中的數據的處理來確定接收的圖像中的聚焦誤差的符號和量級，並確定接收的圖像的聚焦誤差。通過調整光學系統104以實現補償方向性符號(如後聚焦或前聚焦)並補償量級從而使得接收的圖像充分聚焦在傳感器陣列106上，處理器112能夠補償確定的聚焦誤差。也就是說，基於來自傳感器陣列的一組接收圖像數據，處理器112可計算對光學系統104的調整，該調整是在該光學系統的動作下促使接收圖像準確對焦時所需的。通過光學系統的光路是直接的光路，在此情況下，從物體102到傳感器陣列106的光路不會被分散採集的光線的中間結構所中斷。也就是說，光路不包含光束分離器或類似的器件。因而，避免了對比度聚焦系統的重複聚焦技術，並且不需要相位檢測聚焦系統的複雜的光路和稜鏡。
[0032]利用此處說明的聚焦誤差估計的系統100可被實施於在包括通過光學系統接收光線的傳感器陣列的各種設備中。例如，光學系統可位於具有光敏傳感器陣列和可根據估計的聚焦誤差調整光學系統的焦距的鏡頭聚焦系統的數位相機中。可利用此處說明的聚焦誤差估計的其他系統包括具有光敏傳感器陣列和可根據估計的聚焦誤差調整顯微鏡的光學系統的焦距的透鏡聚焦系統的數碼顯微鏡。類似地，示例性設備可包括具有光敏傳感器陣列和可根據估計的聚焦誤差調整望遠鏡的光學系統的焦距的鏡頭聚焦系統的數碼望遠鏡。可利用此處說明的聚焦誤差估計的另一示例性設備可包括具有光學傳感器陣列和可接收包含視頻幀的傳感器陣列上的圖像、並可根據估計的聚焦誤差調整相機的光學系統的焦距的鏡頭聚焦系統的數位相機。也就是說，每幀視頻可使用此處說明的技術實現聚焦。由接收圖像的數位相機系統和分析系統控制的多種多樣的機械設備可從此處描述的用於焦距估計和設備控制的技術獲益。例如，微加工、機器人和專家系統可從此處描述的技術獲益。本領域技術人員可獲知能夠使用此處描述的聚焦誤差確定技術的其他適當的設備和系統。
[0033]圖2是闡明為確定聚焦誤差而說明的操作的流程圖。在第一操作202，通過光學系統在傳感器陣列上從外部物體接收圖像數據。在從傳感器陣列的每個像素產生圖像數據後，在下一操作204，為光學系統的一個或更多個散焦濾波器的每一個計算接收的圖像數據的濾波器響應值，從而計算的響應值包括接收的圖像數據的濾波器響應矢量。在【專利附圖】

【附圖說明】的實施例中，使用下面將進一步說明的統計學學習技術來識別一組散焦濾波器。濾波器響應值是為陣列中的一個或更多個傳感器類型計算的。例如，傳感器陣列可包括分別對紅、藍或綠光波敏感的光敏像素。如果要估計聚焦誤差的符號，濾波器將處理自這三個傳感器通道中的任意挑選的至少兩個傳感器通道的圖像數據。如果只需估計量級，濾波器將處理來自一個或更多個傳感器通道的數據。
[0034]在估計聚焦誤差時，給定觀測的濾波器響應矢量，系統下一步計算指定範圍內的每個可能散焦程度的概率。這表示於流程圖方框206中。散焦處理的下一步驟，如方框208處，是基於計算的每個散焦程度的概率獲得接收的圖像數據的聚焦誤差的估計。使用標準技術(如最小均方誤差(MMSE)估計或最大後驗(MAP)估計)從概率分布獲得聚焦誤差的貝葉斯最優估計。用此方法確定的聚焦誤差可提供聚焦誤差的符號(方向)和聚焦誤差的量級。產生針對訓練激勵的濾波器響應矢量的數學細節將在下面進一步說明。
[0035]圖3提供了闡明應用到設備上的聚焦誤差估計技術的操作的流程圖。
[0036]在圖3的第一操作中，相應於第一個方框302，由設備的用戶發起圖像接收過程。例如，如果該設備是數位相機，用戶可充分按下快門按鈕以發起圖像處理但不足以發起圖像捕獲。此「圖像預覽」操作在傳統數位相機中是眾所周知的。類似的圖像預覽操作在按照本發明構造的數位相機、攝像機、數碼顯微鏡或數碼望遠鏡中是可用的。在下一操作方框304中，使用本文件中說明的、例如聯合圖2的操作說明的技術確定接收圖像中估計的聚焦誤差。聚焦誤差確定後，在方框306，在單次操作中調整設備的光學系統的焦距以適應該估計誤差並移動光學系統組件以便促使外部物體充分進入恰當的焦距內。然後用戶可繼續處理另一個圖像，即確定方框308是「是」，或者用戶可繼續該接收圖像的圖像捕獲，即確定方框是「否」。在「是」的情形下，設備操作循環返回方框302的圖像接收處理。
[0037]圖4是顯示按照本發明實施例配置的計算機系統的細節的框圖。圖4表明了實踐本發明的硬體環境的典型的計算機系統400的硬體配置的實施方式。在圖4中，計算機系統400可包括通過系統總線402耦合到各種其他組件的處理器401。作業系統403可在處理器401上運行以便提供控制並協調圖4的各種組件的功能。根據本發明根據此處的描述執行各種功能或服務的原則，處理器401通過作業系統403執行程序指令以提供應用404。應用404可包括例如如下面進一步討論的用於圖像內的估計散焦的功能和操作。
[0038]再如圖4所示，只讀存儲器(ROM) 405可耦合到系統總線402並可包括控制計算機系統400的某些基本功能的基本輸入/輸出系統(BIOS)。隨機接入存儲器(RAM) 406和磁碟適配器407也可耦合到系統總線402。應該注意的是，包括作業系統403和應用404的軟體組件可加載到作為計算機系統400的主存儲器RAM406中以便執行。磁碟適配器407可以是電子集成驅動器(DE)適配器或類似的與存儲單元408如存儲器單元，硬碟驅動或固態硬碟驅動進行通信的適配器。應注意的是，如下面進一步討論的用於估計圖像中散焦的程序可駐存於硬碟單元408或應用404中。
[0039]計算機系統400可進一步包括耦合到總線402的通信適配器409。通信適配器409可通過網絡接口將總線402與外部網絡(未示出)互連，因而允許計算機系統400與其他類似設備進行通信。可替代地，計算機系統400可嵌入到設備中，例如相機或數字顯微鏡，它們均具有將光線從物體引導到傳感器陣列上以便可根據此處的描述調整光學系統到恰當的聚焦的光學系統。
[0040]輸入/輸出(I / O)設備可通過用戶接口適配器410和顯示器適配器411連接到計算機系統400。鍵盤412、滑鼠413和揚聲器414都可通過用戶接口適配器410與總線402互連。數據可通過任意這些設備輸入計算機系統400中。顯示監視器415可通過顯示器適配器411連接到系統總線402。在此方式中，用戶可通過鍵盤412或滑鼠413提供到計算機系統400的輸入，可通過顯示器415或揚聲器414從計算機系統400接收輸出。
[0041]本領域技術人員能夠理解的是，本發明的方面可表現為系統、方法或電腦程式產品。相應地，本發明的方面可採取完全硬體實施方式、完全軟體實施方式(包括固件、常駐軟體、微代碼等)或聯合軟體和硬體方面的一般在此被稱為為「電路」、「模塊」或「系統」的實施方式。此外，本發明的方面可採取體現在具有計算機可讀程序代碼的一個或更多個計算機可讀介質內的電腦程式產品的方式。
[0042]可以利用一個或更多個計算機可讀介質的任意組合。計算機可讀介質可以是計算機可讀信號介質或非易失性計算機可讀存儲介質。計算機可讀存儲介質可以是但不限於例如電子的、磁的、光學的、電磁的、紅外線的、或半導體系統、裝置或設備或前述的任意合適的組合。非易失性計算機可讀存儲介質的更具體的例子(非窮盡列表)可包括下列:便攜計算機磁碟、硬碟、隨機接入存儲器(RAM)、只讀存儲器(ROM)、可擦寫可編程只讀存儲器(EPR0M或快閃記憶體)、數據存儲介質如光碟只讀存儲器(CD-ROM)、光學存儲設備、磁存儲設備、或前述的任意合適的組合。本文本的上下文中，計算機只讀存儲介質可以是包含或存儲程序的任意有形介質，以供指令執行系統、裝置或設備使用或與指令執行系統、裝置或設備聯合使用。
[0043]計算機可讀信號介質可包括傳播的數據信號，其中結合有計算機可讀程序代碼，例如，在基帶或作為載波的一部分。此傳播信號可採用多種形式，包括但不限於電磁、光或它們的任意恰當的組合。計算機可讀信號介質可以是非計算機可讀存儲介質、並可通信、傳播或傳輸程序的任意計算機可讀介質，以供指令執行系統、裝置或設備使用或與指令執行系統、裝置或設備聯合使用。。
[0044]結合於在計算機可讀介質上的程序代碼可使用任意適當的介質來傳輸，包括但不限於無線、電纜、光纜、射頻等或上述的任意合適的組合。
[0045]執行本發明的方面的操作的電腦程式代碼可聯合一種或多種程式語言來編寫，包括面向對象的編程語目如Java、Smalltalk、C++或類似的語目，傳統的過程編程語目如C程式語言或類似程式語言。程序代碼可完全地在用戶的計算機上、部分地在用戶的計算機上、作為獨立軟體包、部分地在用戶的計算機上且部分地在遠程計算機上、或完全在遠程計算機或伺服器上執行。在後者的場景中，遠程計算機可通過任意類型網絡連接到用戶的計算機，包括區域網(LAN)或廣域網(WAN)，或者該連接可連接到外部計算機(如通過使用網際網路服務提供商的網際網路)。
[0046]本發明的各方面可參考根據本發明的實施例的流程圖附圖和/或方法、裝置(系統)和電腦程式產品的框圖來描述。可以理解的是，流程圖附圖和/或框圖的每個方框、流程圖附圖和/或框圖的方框的組合，可由電腦程式指令實施。電腦程式指令可提供至普通用途計算機、特殊用途計算機或其他可編程數據處理裝置的處理器，用於生產這樣的機器，以便通過計算機或其他可編程數據處理裝置執行的指令產生執行流程圖和/或框圖的方框中詳細說明的功能/動作的方法。
[0047]這些電腦程式指令也可存儲於可引導計算機、可編程數據處理裝置或其他設備以特殊方式運行的計算機可讀介質中，以便存儲在計算機可讀介質中的指令產生包括執行流程圖和/或框圖方框中詳細說明的功能/動作的指令的製造產品。
[0048]電腦程式指令可也加載到計算機/其他可編程數據處理裝置、或其他設備上以引起一系列操作步驟，此操作步驟在計算機、其他可編程裝置或其他設備上執行，以產生計算機執行的過程，從而執行於計算機或其它可編程裝置上的指令能夠提供用於執行流程圖和/或框圖的方框中詳細說明的功能/動作的處理。
[0049]如在【背景技術】部分陳述的，通過將入射光分開到成對圖像上並對他們進行比較來實現相位檢測自動聚焦。該系統耦合有光束分離器、一小副鏡以及兩個光學稜鏡，來將光引導到光學系統內的專用自動聚焦傳感器。兩個光學稜鏡捕獲來自鏡頭反面的光線，將它們轉向到自動聚焦傳感器，生成具有與透鏡直徑一致基準的簡單測距儀。然後為相似光強度模型(峰與谷)分析這兩個圖像並計算相位差以便發現物體在前焦或是後焦位置。儘管該相位檢測方法快且準確並能估計散焦符號，但因為需要特殊光束分離器、鏡子、稜鏡和傳感器，實現起來成本很大。進一步地，外部硬體增加了光學系統的尺寸和重量。此外，此方法不能操作於視頻模式或「實時取景」模式(特點是允許光學系統的顯示屏如數位相機的顯示屏作為取景器使用)。然而，如果開發軟體技術來執行最優聚焦誤差估計，那麼就不再需要相位檢測自動聚焦方法的昂貴的硬體需求。而且光學系統的重量可減輕。
[0050]因而，使用此處描述的聚焦誤差估計，有時與相對較大的相位檢測系統相關的改進的性能可在小型系統內獲得，如行動電話的照相機系統，無鏡面可換鏡頭照相機(即非單鏡頭反射相機)，以及當前使用對比度檢測聚焦系統的類似相機。
[0051]本發明的原理提供了執行聚焦誤差估計的技術，該技術不需要對比度測量所需的緩慢重複程序，也不需要可應用於下面進一步討論的「實時取景」模式的相位檢測自動聚焦方法的昂貴的硬體需求。圖5是估計通過光學系統獲得的圖像內的聚焦誤差的方法的流程圖。圖6是生成最優散焦濾波器的方法的流程圖。
[0052]如圖5所示，第一操作501表明光學系統(如數位相機或數碼顯微鏡)以點-擴散函數建模或表徵。
[0053]討論光學系統的建模前，需要對散焦概念進行簡單的討論。目標圖像區域的散焦被定義為鏡頭系統的當前功率與促使目標區域聚焦所需的功率之間的差值，如下面的式I所示:
[0054]Δ D=Dfocus-D


target

(式I)
[0055]也就是說，此處描述的技 術估計例如自然圖像或計算機生成的圖像(或任意其他種類的圖像)的圖像的每個局部區域內的聚焦誤差(AD)，也稱其為散焦。
[0056]類似於很多視覺估計任務,估計散焦也會遭受「逆光學(inverse optics) 」問題:不可能僅從圖像準確地確定圖像模糊是否由散焦或一些場景屬性(如霧)造成。聚焦誤差估計能夠受到符號模糊的影響。在一些條件下，比焦距近或遠同一屈光距離的點目標將被完全相同的成像。然而，此處描述的技術尋求可能的解決方法會受到一些限制。
[0057]在描述的聚焦誤差估計的方法中，對於每個波長λ，來自場景的輸入可由給出在光學系統的傳感器陣列的平面內的每個X=(x，y)位置上的光線的理想化圖像I U，λ來表現。總之，光學系統降級理想化圖像並由式psf U，λ, AD)給出的點-擴散函數表徵，該式描述了穿過傳感器陣列的光線的空間分布，由波長λ和散焦AD的點目標產生。可擴展點-擴散函數以使確定其形式的參數更明確，如下式2:
[0058]psf (X, λ ；a(z), W(ζ, λ , ΔD))(式 2)
[0059]其中a(z)表示光圈的形狀、尺寸和透光率，W(z，λ，AD)是波畸變函數，其依賴於光圈平面內的位置ζ、光的波長λ，散焦程度AD和由鏡頭系統引進的其他畸變。散焦程度是指圖像失焦的屈光度有多少，如果有的話。光圈函數決定了衍射對鏡頭系統的光學質量的影響。波畸變函數決定並非由衍射造成的圖像質量的退化。完美的鏡頭系統(即僅受限於衍射和散焦的鏡頭系統)將源於目標物體上的點的光轉變到聚合的球面波前。波畸變函數描述了實際聚合波前怎樣不同於在瞳孔孔徑(pupil aperture)內的每個點上的完美球形波前。
[0060]在下一操作502，傳感器陣列由波長靈敏度函數SeO，每類傳感器c的空間取樣函數samp。(X)表現，其中一類傳感器指的是那些具有同一波長靈敏度簡檔(光譜靈敏度函數)的傳感器。例如，當另一類傳感器用於檢測短波長(如藍)光時，一類傳感器可用於檢測長波長(如紅)光。這兩種傳感器類必須具有不同的波長靈敏度函數。在一實施例中，使用兩類或更多傳感器類來對色差加以利用，色差可被用於確定散焦的符號(即聚焦誤差的方向)，如在此進一步所述的。也就是說，使用兩個或更多傳感器類來利用色差，色差除了連續估計散焦量級外，還可用於確定物體位於焦點前或是焦點後。在另一實施例中，使用一類或更多傳感器類對單色像差(如散光和球形像差)加以利用。可同時使用單色像差和色差來估計圖像(如自然圖像或任意其他種類的圖像，包括如計算機生成圖像的圖像)散焦。為特殊種類的傳感器，使用空間取樣函數samp。(X)來對每部分圖像(在此稱為「塊」)進行取樣。
[0061]在下一操作503，確定最優散焦濾波器。在一實施例中，散焦的最具診斷性的空間頻率濾波器被發現並隨後使用濾波器響應獲得在此進一步描述的連續的聚焦誤差估計。下面結合圖6討論用於生成最優散焦濾波器的操作503的子步驟的詳細描述。
[0062]如圖6所示，在第一操作601中，收集一組隨機選擇的良好聚焦的(即清晰)圖像塊(如部分圖像)。然後圖像塊由用於散焦程度範圍內的每個散焦程度的點-擴散函數進行散焦。例如，在典型數位相機系統中，散焦程度可處於如從近似-2.25屈光度到近似2.25屈光度範圍的散焦範圍內。散焦程度的範圍與光學系統的聚焦範圍相匹配。散焦的範圍以離散增加的屈光度步長(如以0.25屈光度步長)來設置。增加的屈光度步長大小應該按需調整以為設備確保良好的連續估計性能。更特別地，散焦程度的範圍和離散屈光度步長的間距是根據可用的光圈設置和執行聚焦誤差估計計算的系統的聚焦範圍預先確定的。如本領域技術人員所知的，可根據系統資源和應用(如數位相機、數碼顯微鏡、數碼望遠鏡或數位相機)選擇散焦程度的其他範圍和增加的屈光度步長。
[0063]需要注意的是，包括用於單個圖像的傳感器陣列數據的圖像塊，典型地限定為圖像內的任意像素塊區域。例如，執行功率譜、變換和類似的計算的塊區域可包括與由用戶查看的光學系統的聚焦十字線對應的圖像區域。此塊區域的尺寸典型的是處於圖像中心的量級為64x64像素區域或128x128像素區域。
[0064]在下一步驟602，為到每個圖像塊的每個散焦程度應用點-擴散函數。
[0065]在下一步驟603，每個失焦的圖像塊由傳感器陣列取樣，傳感器陣列由用於每類傳感器c的波長靈敏度函數ScU)和空間取樣函數samp。(X)表現。
[0066]此外，噪聲函數可包含在計算中。噪聲函數可包括例如被添加作為用於光學系統內的噪聲程度的仿真(代理)的噪聲隨機值，如響應於光學系統的傳感器的噪聲。
[0067]在下一操作604，為給定類別傳感器獲得傳感器陣列響應。在步驟605，為每個散焦程度從來自傳感器陣列的響應生成光學散焦濾波器。光學系統的散焦濾波器的典型數目是6個到8個。散焦濾波器的數目是由可用的系統資源和期望的操作精確度確定的。如上所述的，可由統計學學習技術確定散焦濾波器。散焦濾波器表示出可表徵聚焦誤差的訓練組內的圖像的特徵。
[0068]在一實施例中，通過稱為準確性最大化分析(AMA)的技術獲得最優散焦濾波器，這是用於降維的以任務為中心的統計技術。AMA技術實質上勝過降維的傳統方法，如主成分分析(PCA)。實際上，AMA技術為散焦估計任務的執行返回最優濾波器(即，基)，在如Geisler, ff.S ；Najemnik, J.;和Ing, A.D.(2009)所作的《自然任務的最優激勵編碼器》，第9(13)版期刊:17，1-16( 「ΑΜΑ文件，，)中描述了 AMA技術。AMA文件通過參考結合於此。
[0069]在一實施例中，給定類別傳感器的響應的空間模式如下式3:[0070]
【權利要求】
1.一種聚焦誤差處理方法，該方法包括: 接收光學系統的傳感器陣列上物體的圖像數據； 為光學系統的一組一個或更多散焦濾波器中的每個散焦濾波器計算針對接收的圖像數據的圖像塊的散焦濾波器的濾波器響應值，從而計算的用於所述散焦濾波器組的濾波器響應值產生接收的圖像數據的濾波器響應矢量； 從所述接收的圖像數據的所述濾波器響應矢量計算散焦程度的預定組中的多個散焦程度的每一個的概率；以及 基於計算的所述多個散焦程度的概率，確定所述接收的圖像數據的聚焦誤差的估計。
2.根據權利要求1所述的方法，其中計算多個散焦程度的每一個的概率包括使用包括具有對應於散焦程度的預定組的散焦程度的圖像塊的訓練組圖像的參數化函數，為所述散焦程度的預定組的每個散焦程度確定概率。
3.根據權利要求1所述的方法，其中確定聚焦誤差的估計包括從與與散焦程度相關聯的訓練濾波器響應矢量最相似的散焦程度的預定組中選擇散焦程度。
4.根據權利要求3所述的方法，其中選擇散焦程度包括根據確定最相似訓練濾波器響應矢量的最近鄰技術從散焦程度的預定組中進行選擇。
5.根據權利要求1所述的方法，其中為一組一個或更多散焦濾波器內的每個散焦濾波器計算濾波器響應值包括: 計算接收的圖像數據的圖像塊的傅立葉變換； 從接收的圖像數據的傅立葉變 換計算徑向平均功率譜；以及 計算每個散焦濾波器的徑向平均功率譜的點積，為每個濾波器產生響應值； 其中，濾波器的響應值組包括所述濾波器響應矢量。
6.根據權利要求1所述的方法，進一步包括: 調整所述光學系統以補償聚焦誤差所確定的估計，在傳感器陣列上獲得充分對焦的圖像。
7.根據權利要求6所述的方法，其中所述光學系統包括數位相機。
8.根據權利要求6所述的方法，其中所述光學系統包括數碼顯微鏡。
9.根據權利要求6所述的方法，其中所述光學系統包括數碼望遠鏡。
10.根據權利要求6所述的方法，其中所述光學系統包括數碼攝像機。
11.根據權利要求6所述的方法，其中所述光學系統包括響應於接收圖像數據進行控制的設備。
12.—種聚焦誤差處理系統，所述系統包括: 光學系統； 接收通過所述光學系統查看的物體的圖像數據的傳感器陣列；以及處理器，其被配置為光學系統的一個或更多散焦濾波器中的每一個計算對接收的圖像數據的圖像塊的散焦濾波器的濾波器響應值，從而計算的濾波器響應值包含接收的圖像數據的濾波器響應矢量； 從所述接收的圖像數據的所述濾波器響應矢量計算散焦程度的預定組中的多個散焦程度的每一個的概率；以及 基於計算的所述多個散焦程度的概率，確定所述接收的圖像數據中的聚焦誤差的估if ο
13.根據權利要求12所述的系統，其中所述處理器計算多個散焦程度的每一個的概率是使用包括具有對應於散焦程度的所述預定組的散焦程度的圖像塊的訓練組圖像的參數化函數，為所述散焦程度的預定組的每個散焦程度確定概率。
14.根據權利要求12所述的系統，其中所述處理器確定聚焦誤差的估計是通過從與與散焦程度相關聯的訓練濾波器響應矢量最相似的散焦程度的預定組中選擇散焦程度。
15.根據權利要求14所述的系統，其中所述處理器選擇散焦程度是通過根據確定最相似訓練濾波器響應矢量的最近鄰技術從散焦程度的預定組中進行選擇。
16.根據權利要求12所述的系統，其中所述處理器計算包含用於一個或更多散焦濾波器的每一個的濾波器響應值的濾波器響應矢量是通過: 計算接收的圖像數據的圖像塊的傅立葉變換，從接收的圖像數據的傅立葉變換計算徑向平均功率譜，並且計算每個散焦濾波器的徑向平均功率譜的點積，為每個濾波器產生響應值，其中，濾波器響應值組包括所述濾波器響應矢量。
17.根據權利要求12所述的系統，其中所述處理器進一步配置為調整所述光學系統以補償聚焦誤差的所確定的估計，並獲得充分對焦的傳感器陣列上的圖像。
18.根據權利要求17所述的方法，其中所述光學系統包括數位相機。
19.根據權利要求17所 述的方法，其中所述光學系統包括數碼顯微鏡。
20.根據權利要求17所述的方法，其中所述光學系統包括數碼望遠鏡。
21.根據權利要求17所述的方法，其中所述光學系統包括數碼攝像機。
22.根據權利要求17所述的方法，其中所述光學系統包括響應於接收圖像數據進行控制的設備。
23.一種估計通過光學系統接收的圖像內的聚焦誤差的方法，所述方法包括: 為來自訓練組圖像的一組圖像塊、為訓練組圖像中的每個圖像塊的散焦程度的預定組內的多個散焦程度的每一個、為光學系統的一組散焦濾波器內的一個或更多散焦濾波器的每一個，計算濾波器響應； 為所述多個散焦程度的每個散焦程度，從用於來自所述訓練組圖像的一組圖像塊的所述計算的濾波器響應獲得濾波器響應矢量的分布；以及 基於濾波器響應矢量的所述分布為每個散焦程度估計聚焦誤差。
24.根據權利要求23所述的方法，其中所述一組散焦濾波器是為用於訓練組圖像中的每個圖像塊的散焦程度的預定組內的多個散焦程度的每一個，使用表示光學系統的點-擴散函數從用於每個散焦程度的所述訓練組圖像確定的； 其中，使用用於光學系統的傳感器陣列內的至少一類傳感器的至少一個波長靈敏度函數，至少一個空間取樣函數和至少一個噪聲函數，對訓練組圖像內的每個圖像塊進行取樣，在傳感器陣列上產生通過所述光學系統接收的圖像的表示； 其中，從來自用於所述多個散焦程度的每一個的所述傳感器陣列的所述傳感器響應獲得散焦濾波器的所述組。
25.根據權利要求23所述的方法，其中，使用包括準確性最大化分析(AMA)的統計技術，從用於所述多個散焦程度的每一個的所述濾波器響應獲得散焦濾波器的所述組。
26.根據權利要求23所述的方法，其中，使用包括主成分分析(PCA)的統計技術，從用於所述多個散焦程度的每一個的所述濾波器響應獲得散焦濾波器的所述組。
27.根據權利要求23所述的方法，所述方法進一步包括: 通過使參數化函數服從每個所述濾波器響應矢量分布，對所述分布進行表徵，其中所述參數化函數包括條件似然分布函數。
28.根據權利要求27所述的方法，所述方法進一步包括: 為具有訓練散焦程度的所述組內的散焦程度之間的值的散焦程度，內插條件似然分布。
29.根據權利要求23所述的方法，進一步包括: 通過響應於任意圖像塊為一個或更多散焦濾波器的每一個計算散焦濾波器響應值，使用條件似然分布的所述組並使用所述訓練濾波器響應矢量計算每個散焦程度的概率，來為任意圖像塊估計聚焦誤差； 其中，響應於任意圖像塊從散焦濾波器的所述組、散焦濾波器的所述組的濾波器響應的所述組合，來生成所述訓練濾波器響應矢量。
30.根據權利要求23所述的方法，其中散焦誤差的所述範圍是在大約0.25屈光度間隔內從大約O屈光度到大約2.25屈光度的範圍內。
31.根據權利要求23所述的方法，其中散焦誤差的所述範圍是在大約0.25屈光度的間隔內從大約-2.25屈光度到大約2.25屈光度的範圍內。`
32.根據權利要求23所述的方法，進一步包括: 為所述類的傳感器，對來自所述傳感器陣列的所述傳感器響應執行傅立葉變換。
33.根據權利要求23所述的方法，進一步包括: 為傳感器陣列內的超過一類的傳感器，從傳感器陣列獲得響應。
34.根據權利要求23所述的方法，其中為光學系統的傳感器陣列內的超過一類的傳感器，確定散焦濾波器的所述組，從而散焦濾波器的所述組提供確定散焦程度的量級和符號的信息。
35.一種結合於計算機可讀存儲介質中的用於估計聚焦誤差的電腦程式產品，所述電腦程式產品包括記錄在所述介質中的可編程指令，當被計算機處理器執行時，所述可編程指令提供方法用於: 為來自訓練組圖像的一組圖像塊、為訓練組圖像中的每個圖像塊的散焦程度的預定組內的多個散焦程度的每一個、為光學系統的一組散焦濾波器內的一個或更多散焦濾波器的每一個，計算濾波器響應； 為所述多個散焦程度的每個散焦程度，從用於來自所述訓練組圖像的一組圖像塊的所述計算的濾波器響應獲得濾波器響應矢量的分布；以及 基於濾波器響應矢量的所述分布為每個散焦程度估計聚焦誤差。
36.根據權利要求35所述的電腦程式產品，其中所述一組散焦濾波器是為用於訓練組圖像中的每個圖像塊的散焦程度的預定組內的多個散焦程度的每一個，使用表示光學系統的點擴散函數，從用於的每個散焦程度的所述訓練組圖像確定的； 其中，使用用於光學系統的傳感器陣列內的至少一類傳感器的至少一個波長靈敏度函數，至少一個空間取樣函數和至少一個噪聲函數，對訓練組圖像內的每個圖像塊進行取樣，在傳感器陣列上產生通過所述光學系統接收的圖像的表示；其中，從來自用於所述多個散焦程度的每一個的所述傳感器陣列的所述傳感器響應獲得散焦濾波器的所述組。
37.根據權利要求35所述的電腦程式產品，其中，使用包括準確性最大化分析(AMA)的統計技術，從用於所述多個散焦程度的每一個的所述濾波器響應獲得散焦濾波器的所述組。
38.根據權利要求35所述的電腦程式產品，其中，使用包括主成分分析(PCA)的統計技術，從用於所述多個散焦程度的每一個的所述濾波器響應獲得散焦濾波器的所述組。
39.根據權利要求35所述的電腦程式產品，其中所述處理器進一步執行: 通過使參數化函數服從每個所述濾波器響應矢量分布，對所述分布進行表徵，其中所述參數化函數包括條件似然分布函數。
40.根據權利要求27所述的電腦程式產品，所述方法進一步包括: 為訓練散焦程度的所述組內的散焦程度之間的值的散焦程度，內插條件似然分布。
41.根據權利要求35所述的電腦程式產品，其中所述處理器進一步執行: 通過響應於任意圖像塊為一個或更多散焦濾波器的每一個計算散焦濾波器響應值，使用條件似然分布的所述組並使用所述訓練濾波器響應矢量計算每個散焦程度的概率，來為任意圖像塊估計聚焦誤差； 其中，響應於任意圖像塊，從散焦濾波器的所述組、散焦濾波器的所述組的濾波器響應的所述組合，來生成所述訓練濾波器響應矢量。
42.根據權利要求35所述的電腦程式產品，其中散焦誤差的所述範圍是在大約0.25屈光度間隔內從大約O屈光度到大約2.25屈光度的範圍內。
43.根據權利要求35所述的電腦程式產品，其中散焦誤差的所述範圍是在大約0.25屈光度的間隔內從大約-2.25屈光度到大約2.25屈光度的範圍內。
44.根據權利要求35所述的電腦程式產品，進一步包括: 為所述類的傳感器，對來自所述傳感器陣列的所述傳感器響應執行傅立葉變換。
45.根據權利要求35所述的電腦程式產品，進一步包括: 為傳感器陣列內的超過一類的傳感器，從所述傳感器陣列獲得響應。
46.根據權利要求35所述的電腦程式產品，其中為光學系統的傳感器陣列內的超過一類的傳感器，確定散焦濾波器的所述組，從而散焦濾波器的所述組提供確定散焦程度的量級和符號的信息。
47.一種系統,包括: 存儲用於估計圖像內的聚焦誤差的電腦程式的存儲單元； 耦合到所述存儲單元的處理器，其中所述處理器包括電路，響應於執行所述電腦程式，來: 為來自訓練組圖像的一組圖像塊、為訓練組圖像中的每個圖像塊的散焦程度的預定組內的多個散焦程度的每一個、為光學系統的一組散焦濾波器內的一個或更多散焦濾波器的每一個，計算濾波器響應； 為所述多個散焦程度的每個散焦程度，從用於來自所述訓練組圖像的一組圖像塊的所述計算的濾波器響應獲得濾波器響應矢量的分布；以及 基於濾波器響應矢量的所述分布為每個散焦程度估計聚焦誤差。
48.根據權利要求47所述的系統，其中所述一組散焦濾波器是為用於訓練組圖像中的每個圖像塊的散焦程度的預定組內的多個散焦程度的每一個，使用表示光學系統的點擴散函數，從用於每個散焦程度的所述訓練組圖像確定的； 其中，使用用於光學系統的傳感器陣列內一類傳感器的至少一個波長靈敏度函數，空間取樣函數和至少一個噪聲函數，對訓練組圖像內的每個圖像塊進行取樣，在傳感器陣列上產生通過所述光學系統接收的圖像的表示； 其中，從來自用於所述多個散焦程度的每一個的所述傳感器陣列的所述傳感器響應獲得散焦濾波器的所述組。
49.根據權利要求47所述的系統，其中，使用包括準確性最大化分析(AMA)的統計技術，從用於所述多個散焦程度的每一個的所述濾波器響應獲得散焦濾波器的所述組。
50.根據權利要求47所述的系統，其中，使用包括主成分分析(PCA)的統計技術，從用於所述多個散焦程度的每一個的所述濾波器響應獲得散焦濾波器的所述組。
51.根據權利要求47所述的系統，其中所述處理器進一步執行: 通過使參數化函數服從每個所述濾波器響應矢量分布，對所述分布進行表徵，其中所述參數化函數包括條件似然分布函數。
52.根據權利要求51所述的系統，所述方法進一步包括: 為具有訓練散焦程度的所述組內的散焦程度之間的值的散焦程度，內插條件似然分布。
53.根據權利要求47所述的系統，其中所述處理器進一步執行: 通過響應於任意圖像塊為一個或更多散焦濾波器的每一個計算散焦濾波器響應值，使用條件似然分布的所述組並使用所述訓練濾波器響應矢量計算每個散焦程度的概率，來為任意圖像塊估計聚焦誤差； 其中，響應於任意圖像塊，從散焦濾波器的所述組、散焦濾波器的所述組的濾波器響應的所述組合，生成所述訓練濾波器響應矢量。
54.根據權利要求47所述的系統，其中散焦誤差的所述範圍是在大約0.25屈光度間隔內從大約O屈光度到大約2.25屈光度的範圍內。
55.根據權利要求47所述的系統，其中散焦誤差的所述範圍是在大約0.25屈光度的間隔內從大約-2.25屈光度到大約2.25屈光度的範圍內。
56.根據權利要求47所述的系統，進一步包括: 為所述類的傳感器，對來自所述傳感器陣列的所述傳感器響應執行傅立葉變換。
57.根據權利要求47所述的系統，進一步包括: 為傳感器陣列內的超過一類的傳感器，從所述傳感器陣列獲得響應。
58.根據權利要求47所述的系統,其中為光學系統的傳感器陣列內的超過一類的傳感器，確定散焦濾波器的所述組，從而散焦濾波器的所述組提供確定散焦程度的量級和符號的信息。
59.一種確定在光學系統的傳感器陣列上接收的圖像內的聚焦誤差的方法，所述方法包括: 為一組在傳感器陣列上接收的、在使用表示光學系統的點-擴散函數的仿真中失焦的訓練圖像塊，為用於在訓練圖像塊組內的每個圖像塊的散焦範圍內的多個散焦程度的每一個，為多個濾波器，計算濾波器響應； 使用表示所述傳感器陣列的波長靈敏度函數和空間取樣函數，對在所述傳感器陣列上的所述組的訓練圖像塊的每一個進行取樣； 從傳感器陣列獲得傳感器陣列內的一類傳感器的響應； 為所述多個散焦程度的每一個，從來自所述傳感器陣列的傳感器響應生成一組散焦濾波器； 通過獲得用於具有與在所述組的訓練圖像塊內相同散焦程度的所有圖像塊的濾波器響應矢量的分布，確定每個濾波器響應矢量的概率似然度； 使用參數化多維函數對對應於所述訓練組中的每個散焦程度的濾波器響應分布進行表徵； 為在所述訓練組中的散焦程度之間的散焦程度，內插條件似然分布；以及 為具有未知聚焦誤差的任意圖像塊導出聚焦誤差估計，通過: 計算響應於所述任意塊的所述濾波器響應矢量， 計算在指定範圍內的每個散焦程度的概率，以及 從概率分布導出聚焦誤差的估計。`
【文檔編號】G02B7/36GK103503433SQ201280008944
【公開日】2014年1月8日 申請日期:2012年2月27日 優先權日:2011年2月25日
【發明者】W·吉斯勒, J·伯格 申請人:德克薩斯系統大學董事會