基於臉部檢測和追蹤的連續自動聚焦的製作方法

2023-06-11 07:21:36 1

專利名稱：基於臉部檢測和追蹤的連續自動聚焦的製作方法
基於臉部檢測和追蹤的連續自動聚焦
背景技術：
數位相機如今通常包括自動聚焦機制。兩種常規的自動聚焦機制是對比度檢測自動聚焦和相位檢測自動聚焦。對比度檢測自動聚焦利用對比度檢測自動聚焦，相機鏡頭最初被定位在最近的聚焦點上。遞增地移動該鏡頭並且在每一步都估計圖像清晰度。當達到清晰度峰值時，停止鏡頭移動。對比度檢測自動聚焦用於常規數碼靜物相機或DSC、可攜式攝像機相機手機、網絡攝像頭和監控攝像頭。基於像素級測量和精細掃描，它們非常精確。它們可以聚焦在畫面內部的任何地方，但是它們通常僅圍繞畫面的中心聚焦。然而，對比度檢測自動聚焦機制是緩慢的，因為它們涉及掃描聚焦範圍。它們還不允許追蹤所獲取的對象。涉及進一步的掃描以確定該對象是否已經移動到前焦點或後焦點，被稱為獵焦。對比度檢測自動聚焦機制通常是便宜的並且粗糖的。相位檢測自動聚焦相位檢測自動聚焦通常涉及包括副鏡、分離器鏡頭和聚焦傳感器的特殊光電子器件。分離器鏡頭將來自鏡頭的相反側的光線引向自動聚焦傳感器。測量兩個圖像之間的相位差。將該鏡頭移動到與該相位差相對應的距離。相位檢測自動聚焦用於常規單眼相機或SLR中。它們通常不如對比度檢測自動聚焦機制精確，因為不能總是非常準確地估計該相位差。它們僅可以在畫面內部的固定點中獲得焦點，並且通常由相機用戶手動地指示這些。它們通常是快速的，因為可以由單個測量檢測對象的相對位置。它們允許追蹤，因為可以確定對象是否已經移動到前焦點或後焦點，但是僅僅通過從一個焦點跳到另一個焦點。相位檢測自動聚焦機制通常是昂貴的並且脆弱的。圖1示出了相位檢測自動聚焦機制如何工作，即如中間的圖形所示當相位差為零時，則將對象理解為被對焦。希望具有一種不具有對比度檢測自動聚焦機制和相位檢測自動聚焦機制中的任意一個的顯著缺點的改進的自動聚焦機制。美國專利申請公布號2010/0208091描述了一種檢測由相機所獲取的圖像中的臉部並且計算該臉部的尺寸的相機。其從大量以前存儲的臉部尺寸之中選擇一個最接近所計算臉部尺寸的尺寸。其獲取與所選擇的以前存儲的臉部尺寸相關聯的以前存儲的鏡頭焦點位置。其發信號使數位相機的可移動鏡頭系統移動到由所獲取的以前存儲的鏡頭焦點位置給出的最終焦點位置。US 2010/0208091中所述技術的問題在於由於它們模糊的失焦狀態，它將具有相當高的臉部的未檢測的比率。除非提供進一步的增強，否則將導致不能令人滿意地緩慢的圖像捕獲過程。

發明內容
提供了一種用於基於臉部檢測的數字圖像獲取設備的自動聚焦方法。該方法涉及該設備的鏡頭、圖像傳感器和處理器的使用。獲取包括一個或多個失焦臉部和/或部分臉部的場景的數字圖像。該方法包括通過應用在失焦臉部上訓練的一個或多個分類器集合，檢測數字圖像之中的一個或多個失焦臉部和/或部分臉部。在該數字圖像中確定一個或多個各自的失焦臉部和/或部分臉部的一個或多個尺寸。基於該數字圖像中的一個或多個失焦臉部和/或部分臉部的該一個或多個尺寸，確定該一個或多個失焦臉部和/或部分臉部的一個或多個各自的深度。調整該鏡頭的一個或多個各自的焦點位置，以近似地聚焦在所確定的一個或多個各自的深度上。利用被聚焦在一個或多個分別地調整的焦點位置上的鏡頭，獲取包括一個或多個臉部和/或部分臉部中的至少一個臉部和/或部分臉部的場景的一個或多個其他圖像。在調整一個或多個各自的焦點位置之後，該方法可以進一步包括執行精細掃描，並且基於該精細掃描精細調整該一個或多個各自的焦點位置。該場景可以包括通過應用該一個或多個臉部分類器集合未檢測到的至少一個失焦臉部和/或部分臉部，並且其中，該方法進一步包括應用對比度檢測掃描或相位檢測掃描或者這兩者來獲取通過應用在失焦臉部上訓練的所述一個或多個分類器集合未檢測到的所述至少一個失焦臉部或部分臉部或者這兩者。一個或多個部分臉部可以包括眼睛區域。該方法可以包括當該一個或多個臉部和/或部分臉部中的至少一個臉部和/或部分臉部的尺寸至少改變閾值量時，調整該一個或多個各自的焦點位置中的至少一個。該方法還包括追蹤臉部和/或部分臉部中的至少一個，並且基於該追蹤確定一個或多個臉部和/或部分臉部中的至少一個臉部和/或部分臉部的尺寸的改變。該方法可以進一步包括通過縮小該數字圖像獲取設備的光圈，增加景深。該一個或多個臉部和/或部分臉部可以包括分別位於多個不同深度的多個臉部和/或部分臉部，其中基於它們的不同的確定尺寸近似地確定該多個不同深度。該一個或多個深度的確定可以包括分配與該一個或多個確定尺寸中的至少一個確定尺寸相對應的至少一個平均深度。該一個或多個深度的確定可以包括識別所檢測臉部或部分臉部或這兩者屬於具體的個人，從存儲器調用與具體的臉部或部分臉部或這兩者相對應的已知臉部或部分臉部的空間參數，並且確定與確定尺寸和該已知臉部或部分臉部空間參數相對應的深度。該一個或多個各自的焦點位置的調整可以利用MEMS (微機電系統)組件。還提供了一個或多個處理器可讀介質，其具有實現在其中用於對處理器編程以執行本文所述的任意方法的代碼。還提供了一種包括鏡頭、圖像傳感器、處理器和存儲器的數字圖像獲取設備，該存儲器具有嵌入在其中用於對該處理器編程以執行本文所述的任意方法的代碼。


圖1示出了常規的相位檢測自動聚焦機制。圖2a是根據特定實施方式的數字圖像獲取設備中的清晰度對鏡頭的焦點位置的圖。圖2b示出了包括已失焦的但仍具有圍繞檢測的臉部區域的臉部檢測框的臉部的
數字圖像。圖3a_3b示出了每個均根據特定實施方式檢測的分別包括清晰臉部和失焦臉部的數字圖像的第一示例。
圖4a_4b示出了每個均根據特定實施方式檢測的分別包括清晰臉部和失焦臉部的數字圖像的第二示例。圖5示出了包括清晰臉部和失焦臉部的數字圖像。圖6是示出了根據特定實施方式的方法的流程圖。圖7示出了基於臉部尺寸的焦點距離的計算。圖8a_8d示出了包括相對清晰的臉部8a和Sc以及相對失焦的臉部Sb和8d的數
字圖像。圖9示出了根據特定實施方式的數位相機圖像傳遞途徑。
具體實施例方式標準的對比度檢測自動聚焦是緩慢的並且當對象移動出焦點時進行獵取。當未檢測到模糊臉部時，回退到對比度檢測自動聚焦可能經常放緩由US 2010/0208091提供的處理。提供了一種使用臉部檢測來加速聚焦並且減少連續自動聚焦中的獵焦的方法。首先即使當通過提供用於失焦臉部和/或部分臉部的一個或多個經訓練的分類器集合而未聚焦臉部時，也提供高度可靠的臉部檢測。可以例如提供三個臉部分類器集合:一個被訓練為用於清晰臉部，另一個被訓練為用於有點模糊的臉部，以及第三個被訓練為用於甚至更模糊並且失焦的臉部。可以訓練並且使用不同數量的分類器集合。該有利的技術將比US 2010/0208091的技術具有少得多的未檢測的情況，導致更快速並且更可靠的圖像捕獲過程。如美國專利號 7, 362，368,7, 616，233,7, 315，630,7, 269，292,7, 471，846、7，574，016、7，440，593、7，317，815、7，551，755、7，558，408、7，587，068、7，555，148、7，564，994,7, 565，030,7, 715，597,7, 606，417,7, 692，696,7, 680，342,7, 792，335、7，551，754、7，315，631、7，469，071、7，403，643、7，460，695、7，630，527、7，469，055、7，460，694、7，515，740、7，466，866、7，693，311,7, 702，136、7，620，218、7，634，109、7，684，630,7, 796，816 和 7，796，822 以及美國專利申請公布號 US 2006-0204034、US2007-0201725,US 2007-0110305,US 2009-0273685、US 2008-017548UUS 2007-0160307、US 2008-0292193、 US 2007-0269108、 US 2008-0013798、 US 2008-0013799、 US2009-0080713,US 2009-0196466,US 2008-0143854,US 2008-0220750、US 2008-0219517、US 2008-0205712, US 2009-0185753、 US 2008-0266419、 US 2009-0263022、 US2009-0244296、US 2009-0003708、US 2008-0316328、US 2008-0267461、US 2010-0054549、US 2010-0054533、 US 2009-0179998、 US 2009-0052750、 US 2009-0052749、 US2009-0087042、US 2009-0040342、US 2009-0002514、US 2009-0003661、US 2009-0208056、US 2009-0190803, US 2009-0245693、 US 2009-0303342、 US 2009-0238419、 US
2009-0238410,US2010_0014721、US 2010-0066822,US 2010-0039525,US 2010-0165150、US 2010-0060727、 US 2010-0141787、 US 2010-0141786、 US 2010-0220899、 US
2010-0092039、US2010-0188530、US 2010-0188525、US 2010-0182458、US 2010-0165140和US 2010-0202707所述的，本發明的受讓人已經廣泛地研究並且開發了特別是通過訓練臉部分類器的臉部檢測，其中可以(或者可以不)均勻地照射、前置和銳聚焦該臉部分類器。在失焦臉部和/或部分臉部的檢測之後，該技術涉及依賴於臉部尺寸來確定對象所位於的距離。即當鏡頭的焦點位置未被布置成提供在圖2a所示的清晰度峰值的值處的最佳清晰圖像時，則該對象臉部將失焦，如圖2b所示。利用如本文所提供的被訓練為用於檢測失焦臉部的有利的分類器，正如由取景該對象的臉部的矩形所示的，仍然檢測圖2b所示的模糊臉部。臉部檢測通過分析臉部尺寸的改變(更大=向前，更小=向後)知道對象已經朝向焦點移動還是遠離焦點移動。這允許臉部檢測隨著臉部靠近/遠離相機移動而追蹤該臉部。圖3a_3b示出了每個均根據特定實施方式檢測的分別包括清晰臉部和失焦臉部的數字圖像的第一示例。在圖3a中，到對象的距離是I米以及到焦平面的距離是I米，因而臉部清晰並且不需要移動聚焦元件。在圖3b中，到對象的距離是I米但是到焦平面的距離是0.2米，因此臉部模糊，儘管該臉部仍然有利地通過使用被訓練用於檢測模糊臉部的分類器(正如由取景該對象的臉部的矩形所示的)而被檢測。根據這些實施方式，基於圖3b的模糊臉部的檢測，將移動聚焦元件以聚焦在I米而不是0.2米處，因為基於檢測的臉部的尺寸估計到臉部的距離是I米。圖4a_4b示出了每個均根據特定實施方式檢測的分別包括清晰臉部和失焦臉部的數字圖像的第二示例。在圖4a中，到對象的距離是0.5米以及到焦平面的距離是0.5米，因而臉部清晰並且不需要移動聚焦元件。在圖4b中，到對象的距離是0.5米但是到焦平面的距離是0.25米，因此臉部模糊，儘管該臉部仍然有利地通過使用被訓練用於檢測模糊臉部的分類器而被檢測。注意到，焦點不像圖3b中那麼遠，並且因此可以使用與用於檢測圖3b的臉部的分類器集合不同的被訓練用於檢測更不模糊的臉部的分類器集合。根據這些實施方式，基於圖4b的模糊臉部的檢測，將移動聚焦元件以聚焦在0.5米而不是0.25米處，因為基於檢測的臉部的尺寸估計到臉部的距離是0.5米。一旦通過根據例如基於圖7提供的公式的查找表的計算或估計確定到對象的距離，則可以直接將相機的聚焦元件移動到將導致其聚焦在對應距離上的位置而無需掃描整個聚焦範圍。此外，在連續模式中，可以通過測量臉部尺寸的改變來確定對象是否已經在前焦點或後焦點的方向上移動。這使得聚焦元件能夠在正確的方向上移動，因此減少焦點獵取。仍然可以通過利用如美國專利7, 769，281,7, 747，155,7, 729，603,7, 729，601、7，702，226,7,697，834,7,697，831,7,697，829,7, 693，408,7, 663，817,7, 663，289、7，660，056,7, 646，969,7, 640，803,7, 583，006,7, 565，070,7, 560，679,7, 555，210、7，545，591、7，515，362、7，495，852、7，477，842、7，477，400、7，403，344、7，3 59，131、7，359，130,7, 345，827,7, 266，272,7, 113，688 和 / 或 6，934，087 中的任意一個中所述的MEM技術進一步加速該處理。可以將該思想推廣到可以被識別並且被追蹤的任意對象，即使事先不知道它的尺寸。如本文所述的，提供高度有利的特徵，由此即使當臉部失焦時，也對臉部可靠地執行臉部檢測過程。這使得根據本文描述的實施方式的有利自動聚焦技術能夠在實際開始聚焦到臉部上之前檢測臉部。一旦檢測到模糊的失焦臉部，則可以計算到對象的粗略距離。這是可能的，因為人臉的尺寸不會相當大的變化。通過使用臉部識別可以提供進一步的精確性，而由此通過與存儲在資料庫中的人的其他臉部數據的比較、或者通過用戶手動指示、或者因為最近已經拍攝了同一個人的一張或多張照片、或者這些技術與其他臉部識別技術的組合來識別具體的人的臉部。然後，可以使用該個人的具體已知的臉部尺寸。
也可以通過考慮鏡頭的焦距(如果不是35毫米等效的話，則還考慮傳感器尺寸)來計算到對象的距離。當已知到對象的距離時，可以直接向對應的位置移動聚焦元件而無需任何附加的掃描。然後圍繞該距離僅選擇性地執行精細的對比度檢測掃描。如果臉部太大並且/或者只檢測到部分臉部，則在臉部區域上或者在臉部的眼睛區域上測量對比度。這對於減少用於計算對比度的計算量是有利的。在視頻模式中，每當在新的臉部上將要實現聚焦時可以執行相同的步驟。一旦在特定臉部上實現聚焦，根據特定實施方式監視臉部尺寸的變化。如果改變不顯著，則該算法測量臉部矩形(或眼睛區域或其他部分臉部區域)上的對比度，並且如果該對比度沒有下降到特定值之下，則不調整焦點位置。相反，如果對比度下降但是臉部尺寸未改變，則可以圍繞當前焦點距離完成精細的再聚焦。如果發現臉部尺寸改變大於特定裕度，則將新尺寸與舊尺寸比較以確定該對象是否已經移動到前焦點或後焦點。基於此，朝向合適的方向(向後或向前)移動聚焦元件，直到重新獲取焦點為止。有利地，提供焦點追蹤而無需獵取。例如，如果臉部尺寸增加，則可以確定對象已經向前焦點移動，從而移動聚焦元件以便其更近地聚焦。如前所述，可以將該方法推廣給已知尺寸的任意對象。例如，可以對寵物檢測改變臉部檢測。此外，可以將該方法推廣給未知尺寸的對象。一旦使用標準的對比度檢測和/或相位檢測算法獲得關於特定對象的焦點，則可以關於它的尺寸變化追蹤並且監視該對象。該方法涉及確定該對象是否已經變大或變小以及變化多少，並且甚至在未知尺寸的對象上提供持續聚焦而無需獵取。當如圖5所示場景包括多個臉部時，可以檢測該畫面中的多個臉部。然後計算與這些臉部中的每個臉部的尺寸相對應的距離。對於多個臉部，分類並且存儲該距離。可以貫穿焦點距離地執行分而治之(divide-et-1mpera)型搜索。在每個步驟上，可以針對給定鏡頭光圈、焦距和焦點距離的每個距離計算COC直徑。在一個實施方式中，給定這些直徑，可以跨多個面部測量總體清晰度的度量。這些搜索的結果將是將理論上最大化跨照片中的所有臉部的清晰度的焦點距離。鏡頭將被直接聚焦到該距離上，並且如果需要，可以完成精細掃描順序以確保甚至更大的精確度。甚至可以將該技術與自動曝光技術結合，從而如果不能獲得足夠的焦深或D0F，則自動聚焦或AF算法可以決定縮小光圈以便增加D0F。許多其他選項是可用的，例如，可以通過多個圖像的快速獲取(在每個計算的焦點位置獲取一個圖像)來提供清晰臉部的合成圖像，或者用戶可以選擇何時聚焦到臉部上，或者可以聚焦到最大的臉部上，以及其他可能。在以上所引用的較早申請中討論了臉部的加權。圖6是示出了根據特定實施方式的方法的流程圖。在602輸入感興趣的區域或ROI。在604確定ROI是否是臉部。如果不是，則在606對於最佳級別執行具有恆定步驟的迭代搜索。如果檢測到臉部，則在608確定其是否是新的臉部。如果不是，則在610確定臉部尺寸是否與以前確定的臉部尺寸相同或者接近。如果是，則不需要焦點調整，但是如果確定以前檢測的臉部的尺寸已改變尺寸，則在612執行到臉部距離的粗略聚焦。如果在608確定所檢測的臉部是新的臉部，則在612執行到臉部距離的粗略聚焦。可以在614計算清晰度級別。如果在614計算的級別在616確定為行，則處理結束，但是如果該級別不行，則在618執行圍繞當前距離的精細再聚焦。圖7示出了到對象的距離的計算。在該實施方式中，到對象的距離與以像素為單位的圖像解析度和與35mm等效焦距成正比，並且與所檢測臉部的以像素為單位的尺寸成反比。還存在乘數150/36。圖8a-8d簡單地示出了不同的臉部距離和焦深的示例，其中每個圖中的左邊的表中的第一行顯示基於圖7所示的計算到物體/對象的計算距離或估計距離。圖9示出了數位相機圖像傳遞途徑。可以使用由硬體實現的加速來獲得更快的臉部檢測。根據本文所述的實施方式的技術在許多類別中得分很高。例如，它是快速的，需要非常低的功率並且產生非常低的馬達磨損。在視頻模式中，它知道對象是否已經向前焦點或後焦點移動，因此它不需要獵取。該特徵可以允許在用於DSC和相機手機的電影模式中的連續自動聚焦，這在當前技術中是不可用的。此外，該技術不需要任何附加的硬體，因此其實現是便宜的，並且它是壯實的(通過任意跌落測試)而且完成這些都沒有以任何方式危害聚焦的質量。它還是高度準確的。還提供多臉部自動聚焦，這允許相機在位於各種深度的多個臉部上聚焦。利用根據本文所述的實施方式的多臉部AF，這個可以通過估計臉部的尺寸、計算到每個臉部的距離並且隨後決定最大化跨全部這些臉部的清晰度的虛擬焦點距離或如上所述的其他步驟來完成。此外，然後將幾乎即時地實現聚焦，而無需掃描聚焦範圍或測量圖像中的多個區域的清晰度，即如果它們一起覆蓋畫面的大的區域，則這可能是非常緩慢的。在可以根據本文的優選實施方式執行並且可能已被上文描述的方法中，已經按照所選擇的字面印刷順序描述了操作。然而，為字面印刷方便起見，已經選擇並且如此安排了該順序，並且該順序並非旨在暗示用於執行該操作的任何特定次序，除非可能明確地闡述了特定次序或者本領域的普通技術人員可能認為特定次序是必要的。
權利要求
1.一種基於臉部檢測的用於數字圖像獲取設備的自動聚焦方法，包括: 使用數字圖像獲取設備的鏡頭、圖像傳感器和處理器； 獲取包括一個或多個失焦臉部或部分臉部或這二者的場景的數字圖像； 通過應用在失焦臉部上訓練的一個或多個分類器集合，檢測所述數字圖像之中的所述一個或多個失焦臉部或部分臉部或這二者； 在所述數字圖像中確定一個或多個各自的失焦臉部或部分臉部或這二者的一個或多個尺寸； 基於所述數字圖像中的所述一個或多個臉部或部分臉部或這二者的所述一個或多個尺寸，確定所述一個或多個失焦臉部或部分臉部或這二者的一個或多個各自的深度； 調整所述鏡頭的一個或多個各自的焦點位置，以近似地聚焦在所確定的一個或多個各自的深度上；以及 利用被聚焦在一個或多個分別地調整的焦點位置上的所述鏡頭，獲取包括所述一個或多個臉部或部分臉部或這二者中的至少一個的場景的一個或多個其他圖像。
2.如權利要求1所述的方法，還包括:基於調整所述一個或多個各自的焦點位置，執行精細掃描，並且基於所述精細掃描，精細調整所述一個或多個各自的焦點位置。
3.如權利要求2所述的方法，其中，所述場景包括通過應用所述一個或多個臉部分類器集合未檢測到的至少一個失焦臉部或部分臉部或這二者，並且其中，所述方法進一步包括應用對比度檢測掃描或相位檢測掃描或這二者來獲取通過應用所述一個或多個臉部分類器集合未檢測到的所述至少一個失焦臉部或部分臉部或這二者。
4.如權利要求1所 述的方法，其中，所述一個或多個部分臉部中的至少一個包括眼睛區域。
5.如權利要求1所述的方法，還包括當所述一個或多個臉部或部分臉部中的至少一個或這二者的尺寸至少改變閾值量時，調整所述一個或多個各自的焦點位置中的至少一個焦點位置。
6.如權利要求5所述的方法，還包括追蹤所述臉部或部分臉部的至少一個或這二者，並且基於所述追蹤確定所述一個或多個臉部或部分臉部的所述至少一個或者這二者的尺寸的所述改變。
7.如權利要求1所述的方法，進一步包括通過縮小所述數字圖像獲取設備的光圈來增加景深。
8.如權利要求1所述的方法，其中，所述一個或多個臉部或部分臉部或這二者包括分別位於多個不同深度的多個臉部或部分臉部或這二者，其中基於它們的不同的確定尺寸近似地確定所述多個不同深度。
9.如權利要求1所述的方法，其中，所述一個或多個深度的所述確定包括分配與所述一個或多個確定尺寸中的至少一個確定尺寸相對應的至少一個平均深度。
10.如權利要求1所述的方法，其中，所述一個或多個深度的所述確定包括識別所檢測臉部或部分臉部或這二者屬於具體的個人，從存儲器調用與具體的臉部或部分臉部或這二者相對應的已知臉部或部分臉部的空間參數，並且確定與確定尺寸和所述已知臉部或部分臉部的空間參數相對應的深度。
11.如權利要求1所述的方法，其中，所述一個或多個各自的焦點位置的所述調整包括利用MEMS (微機電系統)組件。
12.—個或多個處理器可讀介質，其具有實現在其中用於對具有處理器的設備編程以執行以上方法的任一方法，其中所述設備使用鏡頭和圖像傳感器來獲取包括一個或多個失焦臉部或部分臉部或這二者的場景的數字圖像。
13.一種數字圖像獲取設備，包括鏡頭、圖像傳感器、處理器和存儲器，所述存儲器具有嵌入在其中用於對所述處理器編程以執行根據權利要求1到11中的任一方法的基於臉部檢測的自動聚焦方法 的代碼。
全文摘要
一種自動聚焦方法包括獲取包括一個或多個失焦臉部和/或部分臉部的場景的數字圖像。該方法包括通過應用在失焦臉部上訓練的一個或多個分類器集合，檢測數字圖像之中的一個或多個失焦臉部和/或部分臉部。在該數字圖像中確定一個或多個各自的失焦臉部和/或部分臉部的一個或多個尺寸。基於該數字圖像中的一個或多個臉部和/或部分臉部的該一個或多個尺寸，確定該一個或多個失焦臉部和/或部分臉部的一個或多個各自的深度。調整該鏡頭的一個或多個各自的焦點位置，以近似地聚焦在所確定的一個或多個各自的深度上。
文檔編號H04N5/232GK103155537SQ201180046708
公開日2013年6月12日 申請日期2011年9月28日 優先權日2010年9月28日
發明者F·納努, C·N·斯坦, P·科科朗 申請人:數字光學歐洲有限公司