照相機閃光模塊及其控制方法

2023-10-18 03:04:44

專利名稱：照相機閃光模塊及其控制方法
技術領域：
本發明總體上涉及照相機閃光模塊，並且更具體地涉及通過自動曝光算法控制的 照相機閃光模塊。
背景技術：
當在不充分的環境光下拍攝圖片時，諸如在完全黑暗中或在低光中，通常使用照 相機閃光燈。而且，即使在環境光不太低的時候，照相機閃光燈也可以用於補光目的。儘管 諸如氙氣閃光燈這樣的照相機閃光燈可以提供高強度的光源以便照亮大距離的場景，但是 無法容易地控制它們來產生一致的光量。已知可以通過控制觸發脈衝的寬度來增加或減少 由氙氣閃光燈產生的光量。當脈衝寬度短時，閃光強度可以明顯變化。因而，有利的是，提 供一種用於控制照相機閃光燈以便改進閃光強度的可重複性的方法。

發明內容
本發明涉及一種用於控制照相機閃光燈的自動曝光算法。該算法使用圖像處理來 標識受到閃光燈影響的圖像的重要區域，同時忽視高度反射/照明區域，並且使用ND過濾 器來使得在高度反射場景情況下的閃光觸發線性化。根據本發明，在拍攝圖片過程中使用照相機閃光燈是由兩個階段中的自動曝光算 法來控制的預閃光階段，之後是主閃光階段。在預閃光階段，來自預覽時段期間的圖像的 圖像數據也被自動曝光算法用於控制照相機閃光照度。通過調整被應用到照相機閃光燈的 觸發脈衝的寬度以及通過使用光圈(iris)或中性密度過濾器，閃光照度或強度可以從最 小強度調整到最大強度。在預閃光階段，在關於曝光時間、增益、光圈和解析度方面相同的照相機設置下捕 獲兩個圖像。被稱為暗圖像的一個圖像是在沒有使用閃光燈的情況下捕獲的。被稱為min_ flash (最小_閃光)圖像的另一圖像是在最小閃光強度的情況下捕獲的。這兩個預閃光階 段圖像的曝光時間是通過在預覽時段期間所獲得的場景的平均亮度來確定的。這防止了預 閃光階段圖像被過度曝光。預閃光階段圖像含有與以下內容有關的信息在最小強度情況下閃光燈的影響以 及環境照度。該信息被自動曝光算法用於控制在主閃光階段中的閃光強度。特別地，通過 從min_flash圖像中減去暗圖像而獲得差別圖像。因為min_flash圖像與暗圖像的不同之 處僅在於閃光燈的使用，所以該差別圖像主要含有受到閃光燈影響的區域。通過搜索該差 別圖像中具有最大值的像素來評估該影響。該特定像素(稱為重要像素)被認為是受到預 閃光階段中的閃光燈使用影響最多的物體的一部分。在兩個預閃光階段圖像中的重要像素 的亮度用於估計主閃光階段中的適當閃光強度。如果在min_flash圖像中的一些像素有可 能是鏡面反射的結果，則自動曝光算法將不考慮這些像素。此外，還將消除屬於小物體的像器o使用查找表，例如，可以確定用於捕獲主閃光階段圖像的主閃光強度和曝光、增益和光圈。因而，本發明的第一方面是一種用於使用自動曝光算法來控制閃光強度的方法。 該方法包括在不使用閃光燈的情況下捕獲第一測試圖像；使用具有預定強度的閃光燈來捕獲第二測試圖像，其中，所述預定強度是最小強 度；獲得指示所述第二測試圖像與所述第一測試圖像之差的差別圖像，其中，所述差 別圖像包括多個差別圖像像素，每個差別圖像像素具有一像素值；標識所述差別圖像像素當中的參考像素，其中，所述第一測試圖像包括與所述參 考像素相對應的第一測試像素，並且所述第二測試圖像包括與所述參考像素相對應的第二 測試像素，其中，至少部分地基於所述差別圖像像素當中的最高像素值來標識所述參考像 素；以及至少部分地基於第一測試像素的像素值和第二測試像素的像素值來計算由閃光 燈用於後續圖像捕獲的照明量。根據本發明的各種實施例，在標識所述參考像素之前，期望移除一些所述差別圖 像像素，諸如屬於比預定尺寸要小的物體的像素以及屬於反射物體的像素。根據本發明的各種實施例，計算了照相機設置，包括閃光燈的曝光時間和預定強 度，用於所述第一測試圖像和所述第二測試圖像的捕獲。特別地，一個或多個預覽圖像的平 均亮度被用於確定閃光燈的預定強度，從而使得所述第二測試圖像的平均亮度在預定範圍 之內，以便防止所述第二測試圖像曝光不足或過度曝光。根據本發明的各種實施例，通過由具有脈衝寬度的觸發脈衝使得閃光燈提供閃光 強度，可獲得由所述閃光燈用於後續圖像捕獲的照明量，其中當所述脈衝寬度小於預定值 時，所述脈衝寬度被增加，並且通過使用中性密度過濾器或光圈來相應地減少閃光強度，以 便維持所述閃光燈的照明量或者保持增益與強度減少因子的比率。根據本發明的各種實施例，在確定所述閃光燈的照明量之前，移除了在第一測試 圖像中的正確照明區域以及在第二測試圖像中的校正區域，其中，通過在第一測試圖像中 確定具有處在特定預定範圍之內的像素值的區域，標識所述正確照明區域。本發明的第二方面是一種計算機可讀存儲介質，其中嵌入了用於在照相機中使用 的軟體程序，其中，所述軟體程序包括用於執行用於使用自動曝光算法來控制閃光強度的 方法的編程代碼。本發明的第三方面是一種用於在照相機中使用的閃光模塊，該模塊適於控制照相 機閃光燈。所述模塊包括用於觸發所述照相機閃光燈的機構；以及處理器，所述處理器被布置以便從所述照相機接收圖像數據，其中所述處理器適 於執行在沒有使用所述照相機閃光燈的情況下捕獲第一測試圖像；使用具有預定強度的所述照相機閃光燈捕獲第二測試圖像；獲得指示所述第二測試圖像與所述第一測試圖像之差的差別圖像，其中，所述差 別圖像包括多個差別圖像像素，每個差別圖像像素具有像素值；
6
標識所述差別圖像像素當中的參考像素，其中，所述第一測試圖像包括與所述參 考像素相對應的第一測試像素，並且所述第二測試圖像包括與所述參考像素相對應的第二 測試像素；以及至少部分地基於所述第一測試像素的像素值和所述第二測試像素的像素值來計 算由閃光燈用於後續圖像捕獲的照明量。根據本發明的各種實施例，所述處理器包括軟體程序，所述軟體程序具有用於執 行獲得、標識和計算任務的編程代碼。本發明的第四方面是一種具有如上所述的閃光模塊的照相機。在閱讀了結合圖1至圖4所進行的描述時，本發明將變得顯而易見。


圖1是根據本發明實施例的示出了照相機閃光模塊的框圖。圖2是圖示了確定用於捕獲預閃光圖像的照相機設置的步驟的流程圖。圖3是圖示了確定用於捕獲主閃光圖像的照相機設置的步驟的流程圖。圖4示出了在移除邊界像素和小物體像素中使用的示例性過濾器。
具體實施例方式本發明涉及控制在拍攝圖片時由照相機閃光燈所提供的光量。如圖1所示，照相 機閃光燈20由電源22供電，並且通過由觸發控制項24所提供的觸發脈衝來觸發。諸如機械 光圈或中性密度(ND)濾光片26這樣的閃光強度衰減器或縮減器可以放置在照相機閃光燈 20前面以減少閃光強度。例如，曝光控制模塊40具有嵌入到計算機可讀存儲介質中的軟體 程序42，以便實現基於環境光、自然場景和拍攝模式的閃光強度控制算法。例如，無論是否 有閃光燈，光傳感器30都可以用於檢測場景亮度。另外，在自動曝光計算中使用來自照相 機60的圖像數據。通常，照相機60具有成像傳感器64以及一個或多個鏡頭62，以便在成 像傳感器64上形成圖像。在將圖像數據提供給曝光控制模塊40之前，來自成像傳感器64 的圖像數據以受控方式被讀出並由圖像數據處理器50來處理。根據本發明，可以通過觸發脈衝的寬度來部分地控制照相機閃光燈照度。例如，觸 發脈衝的寬度可以是5 i! s到250 i! S。當脈衝寬度小時，氙氣閃光燈的閃光強度可能不太精 確。這意味著，當脈衝寬度小時，強度可以在相同脈衝寬度的情況下明顯地變化。在本發明 的一個實施例中，中性密度過濾器被放置在照相機閃光燈前面以便衰減閃光強度。同時，脈 衝寬度成比例地增加以便補償該衰減。例如，如果中性密度過濾器允許五分之一的閃光燈 光線通過，並且由曝光控制模塊40計算的觸發脈衝的目標脈衝寬度是5 y s，則脈衝寬度將 被增加到25 y s。具有25 y s脈衝寬度的閃光強度的變化是非常小的，並且因而該閃光燈照 度更為精確並且可重複。當不需要衰減閃光強度時，將中性密度過濾器從照明路徑上移出。類似地，孔徑或機械光圈還可以用於減少到達該場景的閃光燈的光量。與具有固 定衰減因子的中性密度過濾器不同，光圈還將影響景深並且衰減可能影響在宏觀情形下所 拍攝的圖片的光。因而，當所計算的脈衝寬度超過特定級別時可以將光圈開大，從而使得光 圈對閃光強度沒有影響。而且，可以使用較小尺寸光圈的尺寸，從而使得強度減少因子可以 隨所計算的脈衝寬度而變化。例如，如果所計算的脈衝寬度是5 i! S，則可以調整光圈，從而使得僅允許閃光燈光線的五分之一到達該場景。但是當所計算的脈衝寬度是lOy s時，可 以選擇另一光圈，從而使得閃光燈光線的五分之二將到達該場景。如此，在這兩種情況下的 「被增加的」脈衝寬度可以與在25 ys處的相同，但是具有不同的景深。由曝光控制處理器40進行的對脈衝寬度的計算是以環境光為基礎並且由於預閃 光而受到場景上的反射率的影響。在預閃光階段中估計該場景上受到閃光燈的影響，並且 在預覽時段中，在預閃光階段之前收集關於環境光的信息。預閃光階段之後就是主閃光階 段，在主閃光階段中，基於所計算的脈衝寬度來觸發照相機閃光燈，以便允許用戶拍攝「正 常的」高解析度圖片。當用戶在拍攝圖片(圖像捕獲)之前預覽場景時，收集關於環境光的信息。在預 覽期間，例如，在取景器顯示器上顯示在成像傳感器上形成的圖像。例如，使用圖像數據處 理器50內的統計模塊，可以在逐幀的基礎上動態地訪問這些「預覽」圖像，以便確定場景的 平均亮度。在預覽期間，自動聚焦(AF)算法用於估計該場景中的(一個或多個)目標物體 的近似距離。為了有效地收集信息，例如，使用低解析度圖像。此外，可以預先確定用於預 覽圖像的曝光時間。基於從預覽圖像收集的信息，可以確定總曝光、在圖像數據上的模擬增益，以及光 圈的尺寸，從而使得它們可以用於拍攝預閃光階段圖像。在預閃光階段中，捕獲沒有閃光燈 情況下所捕獲的暗圖像以及在最小閃光強度情況下所捕獲的min_flaSh圖像。例如，根據 這兩個預閃光階段圖像，通過減法可以獲得差別圖像。可能的是，該場景具有將閃光燈光線反射回照相機的一些反射表面。例如，在該場 景中的人可能佩戴反射閃光燈光線的眼鏡。如果在計算目標閃光強度時考慮了來自眼鏡的 反射，則整體圖像可能變得曝光不足。為了簡化起見，來自反射物體的反射被稱為「鏡面反射」。根據本發明的一個實施例，在將差別圖像用於確定主閃光階段中的照相機閃光強 度之前，從差別圖像中消除鏡面反射。此外，為了減少例如環境照明(燈、蠟燭等)的非常 亮的小物體對曝光估計的影響，將從差別圖像中消除那些物體。在從差別圖像中消除了鏡 面反射和小物體(如果有的話)之後，搜索差別圖像中具有最大值的像素。該像素被稱為 「重要」像素，因為它被認為是受到閃光燈光線最多影響的物體的一部分。在標識了重要像 素之後，自動曝光算法至少部分地基於重要像素的亮度來估計要在主閃光階段中使用的適 當的閃光強度曝光、增益和光圈。本發明提供了用於控制照相機閃光燈的自動曝光算法(XAE)。該算法使用圖像處 理來標識受到閃光燈影響的圖像的重要區域，同時忽視高度反射/照明區域，並且使用中 性密度(ND)過濾器來使得在高度反射場景情況下的閃光燈觸發線性化。在預閃光階段中XAE的操作包括以下步驟在步驟1，基於從預覽模式獲取的數據，計算和存儲用於暗圖像的曝光時間、增益 和ND過濾器設置。在步驟2，將用於預閃光圖像的曝光時間設置成等於照相機的單幀快門速度。在步驟3，標識重要像素並且實現對「暗亮度(dark luma) 」值的估計。在步驟4，估計「明亮度(light luma)」值。明亮度是所預測的由於閃光燈而導致 的重要像素的增量。
在步驟5，計算亮度。亮度是暗亮度和明亮度的總和。在步驟6，如果亮度超過用於預閃光的目標值，則應用ND過濾器並且增加增益以 補償圖像信號方面的減少。在步驟7，如果增益低於最小值或高於最大值，則將增益裁切成最小或最大值。在步驟8，存儲以上計算的值，並且收集暗圖像和預閃光圖像這二者。如果氙氣模 塊併入了光傳感器，則在禁用光傳感器的情況下捕獲預閃光圖像。主閃光階段的操作包括以下步驟在步驟1，建立在尺寸方面與整體預閃光圖像成比例的興趣窗口(W0I)。在步驟2，利用閃光燈進行捕獲的曝光時間被建立為以下中的較小者指定的最 大值，或者用於無閃光燈情況下的圖像的曝光時間。在步驟3，如果需要，則進行幀變換。在步驟4，執行幀減法。在這一點，執行進一步的處理，以避免從預閃光圖像中選擇「錯誤的」重要像素的 問題。以下描述了在預閃光圖像中的潛在問題。在「高解析度」行上，預閃光圖像僅在物體 位置而不是亮度方面與暗圖像不同。結果，差別圖像失真，因為物體的位置在該幀中已經偏 移。如果以低解析度獲取了預閃光圖像，則情況變得更糟。在低解析度下，當一半像素覆蓋 了背景而另一半像素是物體的一部分時，「假」像素可能出現在預閃光圖像中。在減法之後， 這些像素保留在差別圖像中，因為它們實際上存在於預閃光幀中而不是在暗幀中。如果這 些像素之一被選為重要像素，則可能發生預測問題。該解決方案在於在對所述幀進行減法時移除物體的邊界像素，從而當生成差別 圖像時僅考慮物體的中間部分。排除邊界像素可能不足以確保精確的差別圖像。由於鏡面反射而在預閃光幀中可 能存在過度曝光的區域。所有過度曝光的像素都被計數並且與該圖像的像素的總數目進行 比較。在步驟5，確定過度曝光的像素的百分比是否超過了定義的門限。如果過度曝光的 像素的百分比超過了門限，則認為預閃光幀被過度曝光並且無法可靠地用於進一步的自動 曝光計算。在這種情況下，根據平均值來估計亮度，並且該過程在步驟9開始。通過過濾算法可以確定預閃光幀是否過度曝光。在步驟6，將丟棄小物體。假設重要像素不會是非常小物體的一部分。否則，小物 體將被曝光，但是圖像整體將是暗的。在運行過濾器之前，製作差別圖像的副本。小物體過濾器的操作是簡明的。再次使用像素掩模，並且將中心像素與它周圍的 像素進行比較。丟棄具有大於中心像素差值的門限百分比的像素。在步驟7，計算來自差別圖像的紅色、綠色和藍色的直方圖，並且設置用於該計算 的 W0I。在步驟8，XAE標識出在差別圖像內處在W0I中的重要像素，如上所述考慮了鏡面 反射。該算法的重要方面在於移除符合XAE的目標的在未使用閃光燈情況下曝光的正 確照明區域。這標識了該場景中已經例如由光線(假設在該場景內打開了檯燈)正確照明 的區域。如果這沒有被檢測到並且沒有根據AE計算被移除，則將減少閃光強度並且該場景
9曝光不足。對於該特定目的，該XAE算法並不搜索照明好或照明差的區域。相反，該算法搜 索將被環境光和閃光燈的組合照明最多的區域。從那些區域中排除由環境光過度曝光的區 域以及表現得像氙氣光的鏡面的區域。因而，如果一區域被環境光很好地照明但是它的亮 度沒有(或幾乎不)受到閃光燈的影響，則它很可能不會影響最終的閃光強度。如果一區 域由環境光很好地照明並且其亮度還受到閃光燈的影響(這通常是由用戶所強迫的高亮 和閃光燈使用的情況)，那麼主閃光強度將是弱的，以便不過度曝光該區域。在步驟9，確定是否標識了重要像素。如果沒有發現重要像素，則主閃光階段中的 參數將使用最大閃光強度以及在沒有閃光燈情況下的用於進行捕獲的曝光、增益和光圈， 並且將繞過所有其它步驟。一旦標識了重要像素，XAE便為主閃光捕獲計算與先前為預閃光圖像所計算的暗 亮度和明亮度相對應的值(dark_luma_cap和light_luma_cap)。如果所估計的亮度太高 並且沒有光傳感器可用，則ND過濾器被縮窄並且按照以下方式來增加增益保持增益與ND 過濾器的比率(增益*ND過濾器)。在步驟10，在捕獲設備上沒有光傳感器可用的情況下，XAE計算曝光、增益、ND過 濾器和閃光強度。如果不存在光傳感器，則由觸發脈衝寬度來控制閃光燈。閃光模塊可以 發射在製造商指定的最小和最大閃光強度之間的任何光量。然後，XAE計算主閃光強度，使 得整體亮度等於目標值。如果全閃光不夠並且ND過濾器被打開，則XAE將增益增加到最大值。在步驟11，確定閃光強度是否可以達到特定門限，以便判定如果有光傳感器的話 是否使用光傳感器。如果閃光強度小於定義的門限，則在步驟12啟用光傳感器。下一步驟 將是在步驟13提供輸出參數。光傳感器可以被配置以便調節氙氣光，從而對不同距離處的不同場景獲得統一的 亮度級別。如果非光傳感器算法確定應當使用全閃光，則統一的亮度可能不是正確的。因 而，僅當物體足夠接近於照明範圍之內時，才可以使用用於光傳感器的XAE。使用差別圖像，XAE計算在重要像素的亮度與差別圖像的平均亮度之間的比率。如 果在捕獲期間使用了統一的條件，則平均亮度將是相對應的統一亮度。XAE根據所述比率 以及基本亮度來計算重要像素的亮度。如果使用了基本條件，則這是light_luma_Cap。然 後，XAE計算初始條件下的light_lUma_cap。初始條件下重要像素的整體亮度是如上計算 的dark_luma_cap加上light_luma_cap。然後，XAE調整增益和ND過濾器，以便提供重要 像素的目標亮度。在這種情況下，預閃光圖像僅對於確定以下內容是必要的與由光傳感器 所提供的平均亮度相比，重要像素會更亮到何種程度。上述算法結合具有但不限於集成的氙氣閃光模塊(例如，LED閃光燈)的照相機 來進行操作。下面呈現了與該系統的優選實施例有關的細節，描述了在各種距離和照度級 別上的閃光模塊的操作模式。這些氙氣閃光燈/照相機設置的主要目的在於確保從場景中精確地記錄在預閃 光期間所捕獲的圖像數據，從而使得AE和AWB算法可以可靠地進行操作。在這是不可能的 情況下，即，在AF聚焦失敗期間，或者在極限距離處，這些設置可以用作在捕獲期間的預設 設置。這應當減少不良曝光圖像的出現。如下通過圖2和圖3所示的流程圖進一步說明了本發明。
預覽信息使用在圖像處理IC中的特殊統計模塊，按照逐幀的基礎來動態訪問預覽圖像。可 以在諸如VGA圖像的低解析度預覽圖像上聚集統計數據，並且例如可以使用33ms的滾動快 門來獲得圖像數據。諸如照度級別或場景的平均亮度這樣的統計數據可以用於確定預閃光 階段圖像的總曝光以及圖像數據的增益。在預覽階段中應用的自動聚焦算法可以聚集「到 目標的距離」信息，從而使得可以在宏觀場景中減少用於min_flash圖像的閃光強度，或者 當目標的位置超出了特定距離時增加用於min_flash圖像的閃光強度。當用戶選擇「場景 模式」(例如宏觀或風景等)時，還可以假設關於距離的補充信息，其可以在AF失敗的情況 下用於設置預設值。因而，使用從預覽圖像和場景模式聚集的信息來設置用於預閃光階段 的總曝光、增益和光圈。鏡面反射消除在預閃光階段中，從暗圖像(沒有閃光燈)和min_flaSh圖像(具有最小閃光強 度)獲得差別圖像。如果在該差別圖像中的一些像素的值超過了特定門限(鏡面門限)，則 那些像素可以被認為是過度曝光的並且被移除。例如，可以通過對在差別圖像中紅色、綠色 和藍色的直方圖分析來估計鏡面門限。預閃光階段在準備拍攝兩個預閃光階段圖像時，選擇照相機設置，諸如用於拍攝這些圖像的 曝光時間、增益和光圈，從而使得預閃光階段圖像不會是過度曝光的。如圖2所示，在流程 圖100中圖示了用於選擇照相機設置的步驟。在步驟110，估計和存儲預定的照相機參數。 特別地，在步驟120，曝光時間被設置成等於照相機的單幀快門速度，諸如33ms。應當注意， 利用滾動快門模式來實現在預閃光階段中對min_flash圖像的捕獲。在這種模式下，成像 傳感器逐行地從圖像的頂部到底部進行曝光。氙氣閃光燈發射出光的的時間相比於曝光 時間很短。通常，用於預閃光階段的氙氣閃光燈觸發脈衝低於lOiis。出於此原因，用於預 閃光階段圖像的曝光時間被設置成33ms的一幀。在步驟130和140，估計prV_dark_luma 和prV_light_luma，其中prV_dark_luma是乘以常數的平均Y級別(預覽期間所獲得的照 度)，該常數被調諧成匹配於特定照相機模塊並且在SW編譯時間值「C」處被定義。該編譯 時間定義的值表示最亮像素與預覽圖像中的平均像素的比率。暗亮度計算的例子如下prv_dark_luma = ave_y_level*C ；prv_dark_luma = (prv_dark_luma*l_frame_exposure)/prv_exposure ；在查找表的幫助下估計在預覽階段中的明亮度值，例如，該查找表含有明亮度的 值，其是在33ms的曝光時間、xl的增益以及用於從5cm到150cm距離(以5cm的步幅)的 寬光圈的情況下提前測量的。根據AF算法，在預覽階段中獲得的近似目標距離可以用於 從查找表中選擇明亮度值。舉例來說，在查找表中的值對應於最壞情況的「白色片(white sheet)」，即，無反射特徵物體。可以如下計算明亮度prv_light_luma = luma_vs_dist[obj_dist_index]；//以增益xl並且沒有NDFprv_light_luma = (prv_light_luma氺gain—mult)/256 ；//應用當前增益
prv_light_luma = (prv_light_luma氺blend—mult)/ IRIS APERTURE_RATIO ；
II應用當前孔徑或ND過濾器在預覽階段計算暗亮度值和明亮度值的主要目的是建立用於捕獲預閃光階段圖 像的照相機設置，從而使得這些預閃光階段圖像在所有條件下都不會太暗或過度曝光。如 果預閃光階段圖像被過度曝光，則它們不會含有可靠信息。如果它們太暗，則量化誤差相比 於信號會變得太大。在任一情況下，數據都可能不可用於在主閃光階段中的精確處理。在步驟150，計算照度，或者prv_dark_luma和prv_light_luma的總和。如果所計 算的照度沒有超過目標值，則前進到步驟160。否則，在步驟154，減少光圈尺寸，從而使得 所估計的照度將不超過目標值。同時，增加增益，以便補償閃光強度的減少。如果增益低於 最小增益，則將它設置在最小增益。在步驟160，如果增益大於最大增益，則將它設置在最大 增益。在步驟170，對預閃光階段圖像的照相機設置準備好用於捕獲預閃光階段圖像。如果氙氣閃光模塊在其中包括光傳感器，則光傳感器在預閃光階段中被禁用。主閃光階段當準備在主閃光階段中拍攝圖像時，選擇照相機設置，諸如曝光時間、增益、光圈 和閃光強度。在本發明的一個實施例中，根據如圖3所示的流程圖200來選擇對主閃光階 段的照相機設置。在步驟210，建立在尺寸方面與整體預閃光階段圖像成比例的興趣窗口(W0I)。 W0I的大小可以取決於手動現場加權(如果實現的話)，但是通常是預閃光階段圖像的尺寸 的分數值，例如，1/2，1/4等。W0I定義了這樣的區域，S卩，在該區域中，使用預閃光階段圖像來進行信息收集。存 在兩個預閃光階段圖像在沒有閃光燈情況下所捕獲的暗圖像，以及在最小閃光強度情況 下所捕獲的min_flash圖像。在步驟212，建立用於捕獲在預閃光階段中的min_f lash圖像的曝光時間。該曝光 時間應當小於指定的最大值，或者短於暗圖像的曝光時間。如果暗圖像的曝光時間大於最 大值，則調整增益和ND過濾器值，從而使得曝光時間不會超過最大值。曝光時間的調整防 止了背景被過度曝光。如果需要的話，在步驟214實現幀變換。如果沒有以綠紅綠藍(GRGB)格式捕獲預 閃光階段圖像，則將它們轉換成GRGB格式。在幀變換期間，計算暗圖像和min_flash圖像的 平均照度以及平均差。平均差是min_flash圖像的平均照度減去暗圖像的平均照度之差。在步驟216中，執行幀減法，其中，從min_flash圖像中逐個像素地減去暗圖像。進 一步的處理對於減法過程中的誤差校正可能是必要的。理想地，min_flash圖像和暗圖像 相同，造成統一的黑色差別圖像，除了受到最小閃光強度影響的區域之外。因為預閃光階段 圖像的曝光時間通常足夠長，所以該場景很可能由於用戶引入的照相機搖動或者由於場景 中物體的運動而引起稍微的改變。在高解析度下，min_flash圖像與暗圖像僅在物體位置方面而不是在照亮方面有 所不同。結果，差別圖像失真，因為物體的位置已經在該幀中有所偏移。如果以低解析度獲 取預閃光階段圖像，則情況變得更糟。在低解析度下，當一半的像素覆蓋了背景並且另一半 像素是物體的一部分時，「假」像素可能出現在min_f lash圖像中。在減法之後，這些像素保
12持在差別圖像中，因為它們實際上存在於min_flash幀中而不是在暗幀中。如果這些像素 之一被選擇為重要像素，則對主閃光階段的閃光強度估計可能含有實質誤差。根據本發明 的一個實施例，丟棄在差別圖像中物體的邊界像素。如此，僅考慮在差別圖像中物體的中間 部分。使用如圖4所示的使用邊界過濾器的過濾算法，可以消除邊界像素。在一個實施例中，在min_flash圖像上移動3X3像素掩模。在掩模的中心處標 記為「X」的像素是指示用於進一步處理的像素。第一，針對過度曝光來檢查該像素。如果 該像素在min_flash圖像中被過度曝光，但是在暗圖像中的相同位置上的像素沒有過度曝 光，則過度曝光被確定為是min_flash的結果，並且然後檢查相鄰像素。第二，還丟棄與過 度曝光的像素相鄰的像素。第三，該算法估計垂直、水平和對角梯度，以便確定該像素是否 在邊界處。下面示出了示例性梯度估計技術hor_grad = L-R ；//水平梯度ver_grad = |U_D| ；//垂直梯度diagl_grad = |UL-DR| ； //第一對角梯度diag2_grad = |UR-DL|。 //第二對角梯度然後，將所估計的梯度與中心像素相比較。如果梯度與中心像素的比率超過預定 門限，則該像素被認為是在邊界處並且被丟棄。過濾器可以與幀減法並行地運行，並且輸出被直接存儲在差別圖像緩衝器中。在 這種情況下，min_flash圖像和暗圖像並不丟失。對邊界像素的排除可能不足以確保精確的差別圖像。在min_flash圖像中可能仍 然存在一些由於鏡面反射而導致的過度曝光區域。因而，當在min_flash圖像上移動掩模 時，對過度曝光的像素進行計數，並且計算過度曝光的像素的總數目與圖像像素的總數目 的比率。在步驟218，確定該比率是否超過預定門限。如果該比率超過門限，則min_flash 幀被認為是過度曝光的，並且無法可靠地用於進一步的自動曝光計算。在該情況下，在步驟 230根據平均像素值來估計照度。如果沒有過度曝光min_f lash幀，則該過程將繼續進行到步驟220，其中，在差別 圖像中丟棄小的物體，以便減少明亮但小的物體在曝光估計上的影響。在步驟220，使用如 圖4所示的相同的掩模來過濾差別圖像。在過濾期間，將中心像素與周圍像素相比較。如果 中心像素的值比周圍像素高特定的百分比，則中心像素及其周圍像素可能屬於小物體。這 些像素應當被丟棄，從而使得重要像素將不是這樣的小物體的一部分。在步驟222，計算來自差別圖像的紅色、綠色和藍色的直方圖，並且設置用於該計 算的W0I。在估計直方圖之後，分別針對這三種顏色來檢查圖像。每個顏色具有範圍從0到 255的值，並且計算對於每個值的一階導數。如果一階導數的值超過了給定門限，則停止搜 索並且返回該值。本質上，標識了直方圖中的斜率並且該值變成鏡面門限值。該直方圖分 析步驟用於標識鏡面反射。在步驟224，該自動曝光算法忽視鏡面反射和小物體，標識出在差別圖像內處在 W0I中的重要像素。重要像素是在W0I內具有最高值的像素。重要像素可以是紅色、綠色或 藍色。如果該像素是紅色或藍色的，則檢查相鄰像素。如果該區域的顏色很強(例如，紅色 > 2*綠色)，則不認為對應的紅色或藍色像素是重要的，因為該像素可能被過度曝光並且 不認為是重要像素。
13
應當注意，在由2個綠色、1個藍色和1個紅色組成的4個像素的塊中根據像素的 Bayer模式來構造彩色圖像。可以使用各種重構方法，但是通常綠色像素被用於提供照度信 息(圖像亮度)，並且然後RGB的比例給出了色度(顏色)信息。因而，將足以獲得用於確 定照度的綠色重要像素。還檢查含有其它主要顏色的場景，以確保在那些場景中不存在過 度曝光的區域。這將不會在主閃光圖像的顏色方面產生顯著變化。然而，如果該區域不具 有強烈的色彩，則過度曝光任一像素將產生變化(或者所謂的顏色的「燃燒」)。因而，在一 些情況下紅色和藍色像素可以被認為是重要的。在步驟232，確定是否標識了重要像素。在無法發現重要像素的情況下，用於在主 閃光圖像捕捉中使用的照相機設置將是用於捕捉暗圖像的曝光、增益和光圈，但是閃光強 度將在步驟240被設置成最大。在大多數情況下，在步驟232發現重要像素，並且在步驟 234將計算照相機設置，假設沒有使用光傳感器。使用差別圖像，自動曝光算法計算在重要像素的亮度與差別圖像的平均亮度之間 的比率。該自動曝光算法使用dark_luma和light_luma的總和來計算用於主閃光圖像的 閃光強度，這主要由觸發脈衝寬度來確定。darlluma值是暗圖像中的重要像素的值，並且 light_luma是min_flash圖像中的重要像素的值。如下描述了觸發脈衝帶寬的計算。如先前所述，利用相同的曝光/增益來捕獲暗圖像和預閃光圖像。差(「diff_ luma」)是對氙氣光的場景反射的測量。dark_luma是對環境光的測量。曝光時間沒有因 XAE算法而改變(對於將不使用氙氣的情況，在預覽期間計算曝光時間)。其目的是保持由 環境光最佳照亮的場景。氙氣應當僅在必要時添加光。XAE的另一目的是最小化所使用的 增益並且根據氙氣光進行補償。曝光時間僅影響從環境光而不是從氙氣獲得的亮度。增益 和孔徑影響環境光和氙氣光這二者。它們在需要的情況下由XAE來控制，但是對於將不使 用閃光燈的情況，它們的最大值等於預覽AE所要求的值。這就迫使XAE離開過度曝光的區 域，這些區域被正常(無閃光燈)的AE判定成由環境光過度曝光。XAE嘗試使用相同的孔 徑，這是非閃光燈AE在預覽期間所要求的。如果場景太靠近並且甚至最小閃光都將對其過 度曝光，那麼XAE減小孔徑。通過獲知用於暗圖像/預閃光圖像的曝光/增益/光圈(eXp_dark、gain_dark, iris_dark)以及用於捕獲的推薦值(exp_capture、iris_capture), XAE 計算 dark_luma 禾口 diff_luma，它們在捕獲中將出現的是預閃光強度，用於主捕獲，從gair^capture = xl開 始。dark—luma—capture =dark_luma*exp_capture/exp_dark*gain_capture/gain_dark*iris_capture/ iris—darkdiff_luma_capture = diff_luma*gain_capture/gain_dark*iris_capture/ iris—dark這裡，對於傳遞給XAE的圖像的每個像素和每個顏色(R，G，B)(它們是暗圖像和預 閃光圖像的縮小版本)計算dark_luma_capture和diff_luma_capture。然後，發現了具有最大dark_luma_capture+diff_luma_capture 的像素(該像素 在dark_luma_capture中沒有過度曝光，並且不是鏡面反射)。
在從現在開始的計算中涉及該像素。因為氙氣強度僅影響diff_lUma_CaptUre，所以用於捕獲的必要的氙氣強度可以 如下計算xenon—capture =xenon_preflash*(target_luma_dark_luma)/diff_luma_capturediff_luma_ capture = diff—luma—capture氺xenon—capture/xenon—preflashif (xenon_capture > max possible xenon intensity)then recalculategain_ capture gain—capture = gain—capture 氺 target—luma/ (dark—luma—cap ture+diff—luma— capture)if (xenon_capture < min possible xenon intensity)then reduce the aperture iris—capture = iris—capture 氺 target—luma/ (dark—luma—cap ture+diff—luma— capture)通過XAE來報告關於全氙氣能量的百分比(最小...100% )的氙氣強度。通常， 預閃光強度是最小值「min」。這是可以發射的最小能量並且足可重複(例如，+/_20%)。然後，在一個這樣的實施例中，氙氣閃光燈驅動器將該值轉換成所需要的觸發脈 衝寬度，並且使用查找表。然而，還可以使用替代的計算方法。估計主閃光強度，從而使得整體照度等於門限或目標值，如在步驟236所確定的。如果整體照度高於門限並且沒有光傳感器可用，則減少光圈或孔徑，同時改變增 益，從而使得增益和孔徑的乘積保持不變。如果整體照度小於目標值，則自動曝光算法將增益增加到最大值，並且在步驟242 判定是否使用光傳感器來控制閃光強度。當使用了光傳感器時，在它所感測到的強度達到 門限值時切斷閃光燈輸出。如果全閃光不足以正確地曝光圖像，則將充分地打開光圈(以 及移除ND過濾器)。增益也被增加到最大值以便提供可能的最亮的圖像。光傳感器的基本特徵是它可以用於調節閃光強度，以便對不同的場景以及對不同 的目標距離基本上獲得相同的平均亮度。根據傳感器的靈敏度來將光傳感器調諧到亮度門 限，可以計算或以其它方式測量圖像的平均亮度，這可以在使用光傳感器以及無環境光情 況中完全暗條件下的給定照相機模塊模擬增益和孔徑時獲得，令該值稱為「基本亮度」。曝 光時間並不是關鍵的。總之，本發明提供了一種自動曝光算法，用於與諸如氙氣閃光燈這樣的照相機閃 光燈一起使用。諸如氙氣自動曝光(XAE)形狀識別算法這樣的形狀識別算法用於標識在預 覽和預閃光場景中所標識的重要物體的反射率/照度(例如，反射表面、鏡面、光)，並且然 後例如通過調整閃光強度、照相機孔徑(ND過濾器)和增益(ISO膠片速度)來進行照相機 調整，以便提供最優曝光的圖像。它還以新穎的方式使用ND過濾器來擴展閃光強度控制的 動態範圍並且克服氙氣閃光燈在低光強度級別(即，用於高度反射或近處(宏觀)場景) 的非線性性。這樣的算法可以分成兩個階段預閃光和主閃光。在預閃光階段，以「預覽模式」捕獲具有統一曝光、增益和孔徑大小的兩個圖像。通 常以比最終捕獲的圖像的解析度更低的解析度來獲取這兩個圖像。在沒有閃光燈的情況下捕獲被稱為「暗圖像」的第一圖像，而在最小強度閃光的情況下捕獲被稱為「預閃光圖像」的 第二圖像。最小強度閃光門限是通過氙氣閃光模塊亮度效率和總能量存儲來定義的。關於 環境照度和最小強度閃光的影響的信息可以從預閃光圖像中提取，並且作為輸入提供給主 閃光階段。在主閃光階段，通過從預閃光圖像中減去暗圖像來計算「差別圖像」。理想地，差別 圖像將僅含有受到閃光燈影響的區域。通過標識具有最大差值的像素來評估該影響。該像 素被稱為「重要像素」，並且它被視為是受到最小強度預閃光影響最多的所拍攝物體的一部 分。在孤立重要像素時，可以丟棄被認為是鏡面反射的結果的那些像素。基於重要像素的照度來進行計算。例如，使用用於閃光強度的查找表，計算最終強 度以及用於捕獲的曝光、增益和ND過濾器(或孔徑)。XAE算法以及圖像捕獲的操作可以總結成以下步驟在沒有使用閃光燈的情況下捕獲第一測試圖像(暗圖像)；使用具有預定強度的閃光燈來捕獲第二測試圖像(預閃光圖像)；獲得指示第二測試圖像與第一測試圖像之差的差別圖像，其中，該差別圖像包括 多個差別圖像像素，每個差別圖像像素具有像素值；標識差別圖像像素當中的參考像素，其中，所述第一測試圖像包括與所述參考像 素(重要像素)相對應的第一測試像素，並且第二測試圖像包括與所述參考像素相對應的 第二測試像素，其中，基於差別圖像像素當中的最高像素值來標識所述參考像素；以及基於第一測試像素的像素值和第二測試像素的像素值來計算由閃光燈用於後續 圖像捕獲的照明量。期望移除屬於小物體或反射物體的一些差別圖像像素。例如，通過使用像素過濾 器來移除陣列的邊緣像素並且將剩餘像素與預定尺寸相比較，可以基於具有差別圖像像素 當中的最高像素值的像素陣列中的鄰接像素的數目來標識小於預定尺寸的物體。例如，可 以通過對彩色圖像像素進行直方圖分析，以便基於直方圖的斜率或一階導數來確定反射物 體並移除反射物體，從而標識反射物體。在捕獲第一測試圖像和第二測試圖像之前，有必要確定照相機設置，其中，照相機 設置包括閃光燈的曝光時間和預定強度。例如，一個或多個預覽圖像的平均照度可以用於 設置閃光燈的預定強度，從而使得第二測試圖像的平均照度在預定範圍之內。根據本發明的各種實施例，通過由具有脈衝寬度的觸發脈衝使得閃光燈提供閃光 強度，可以獲得由閃光燈用於後續圖像捕獲的照明量，其中，當脈衝寬度小於預定值時，脈 衝寬度被增加，並且通過中性密度或光圈來減小閃光強度，以便維持閃光燈的照明量。如果第一測試圖像或暗圖像含有正確照明區域，則應當在標識參考像素或重要像 素以及計算用於主閃光階段的閃光燈的閃光強度之前，移除在差別圖像中的相應區域。可 以根據在特定預定範圍之內的暗圖像的像素值，從暗圖像中標識出正確照明區域。XAE算法可以通過嵌入到計算機可讀存儲介質中的軟體程序來實現，該計算機可 讀存儲介質可以是在閃光模塊中或者在具有閃光模塊的照相機中的處理器的一部分。閃光 模塊可以包括用於觸發照相機閃光燈的機構；以及被布置以便從照相機接收圖像數據的 處理器。該處理器適於執行在沒有使用照相機閃光燈的情況下捕獲第一測試圖像；使用 具有預定強度的照相機閃光燈來捕獲第二測試圖像；獲得指示第二測試圖像和第一測試圖像之差的差別圖像，其中，該差別圖像包括多個差別圖像像素，每個差別圖像像素具有像素 值；標識所述差別圖像像素當中的參考像素，其中，所述第一測試圖像包括與所述參考像素 相對應的第一測試像素，並且所述第二測試圖像包括與所述參考像素相對應的第二測試像 素；以及基於所述第一測試像素的像素值和所述第二測試像素的像素值，計算閃光燈用於 後續圖像捕獲的照明量。 因而，儘管已經針對本發明的一個或多個實施例描述了本發明，但是本領域的技 術人員將理解，在不背離本發明的範圍的情況下，可以在形式和細節上做出對本發明的前 述和各種其它的改變、省略和異化。
權利要求
一種方法，其包括在不使用閃光燈的情況下捕獲第一測試圖像；使用具有預定強度的閃光燈來捕獲第二測試圖像；獲得指示所述第二測試圖像與所述第一測試圖像之差的差別圖像，其中，所述差別圖像包括多個差別圖像像素，每個差別圖像像素具有像素值；標識所述差別圖像像素當中的參考像素，其中，所述第一測試圖像包括與所述參考像素相對應的第一測試像素，並且所述第二測試圖像包括與所述參考像素相對應的第二測試像素；以及至少部分地基於第一測試像素的像素值和第二測試像素的像素值來計算由所述閃光燈用於後續圖像捕獲的照明量。
2.根據權利要求1所述的方法，其中，至少部分地基於所述差別圖像像素當中的最高 像素值來標識所述參考像素。
3.根據權利要求1所述的方法，其進一步包括在所述標識之前，移除所述差別圖像中屬於比預定尺寸更小的物體的一個或多個所述差別圖像像素。
4.根據權利要求3所述的方法，其中，至少部分地基於具有所述差別圖像像素當中的 最高像素值的像素陣列中鄰接像素的數目，標識比所述預定尺寸更小的物體中的每個物 體。
5.根據權利要求4所述的方法，其中，所述像素陣列包括多個邊緣像素，所述方法包括應用像素過濾器來移除所述邊緣像素，從而獲得所述像素陣列中的剩餘像素，其中，所 述剩餘像素的數目被用於與所述預定尺寸進行比較。
6.根據權利要求1所述的方法，其進一步包括在所述標識之前，移除所述差別圖像中屬於反射物體的一些所述差別圖像像素。
7.根據權利要求6所述的方法，其中，所述差別圖像像素包括彩色圖像像素，所述方法 進一步包括對所述彩色圖像像素進行直方圖分析，用於確定所述反射物體。
8.根據權利要求1所述的方法，其進一步包括確定用於捕獲所述第一測試圖像和所述第二測試圖像的照相機設置，其中，所述照相 機設置包括所述閃光燈的預定強度和曝光時間，其中，一個或多個預覽圖像的平均照度被 用於設置閃光燈的預定強度，從而使得所述第二測試圖像的平均照度在預定範圍之內。
9.根據權利要求1所述的方法，其中，通過由具有脈衝寬度的觸發脈衝使得所述閃光 燈提供閃光強度，可獲得由所述閃光燈用於後續圖像捕獲的照明量，其中，當所述脈衝寬度 小於預定值時，增加所述脈衝寬度並且相應地減少所述閃光強度，以便維持所述閃光燈的 照明量。
10.根據權利要求9所述的方法，其中，中性密度過濾器被用於減少所述閃光強度。
11.根據權利要求9所述的方法，其中，光圈被用於減少所述閃光強度。
12.根據權利要求1所述的方法，其中，所述第一測試圖像包括多個第一圖像像素，所 述第一像素中的每個像素均具有像素值，所述方法進一步包括在所述第一測試圖像中確定這樣的區域，即，所述區域所具有的第一圖像像素有著在 預定範圍之內的像素值；在所述計算之前，移除在所述差別圖像中的對應區域。
13.一種用於在照相機中使用的閃光模塊，所述模塊適於控制照相機閃光燈，所述模塊 包括用於觸發所述照相機閃光燈的機構；以及處理器，所述處理器被布置以便從所述照相機接收圖像數據，其中所述處理器適於執行在沒有使用所述照相機閃光燈的情況下捕獲第一測試圖像；使用具有預定強度的所述照相機閃光燈捕獲第二測試圖像；獲得指示所述第二測試圖像與所述第一測試圖像之差的差別圖像，其中，所述差別圖 像包括多個差別圖像像素，每個差別圖像像素具有像素值；標識所述差別圖像像素當中的參考像素，其中，所述第一測試圖像包括與所述參考像 素相對應的第一測試像素，並且所述第二測試圖像包括與所述參考像素相對應的第二測試 像素；以及至少部分地基於所述第一測試像素的像素值和所述第二測試像素的像素值來計算由 所述閃光燈用於後續圖像捕獲的照明量。
14.根據權利要求13所述的閃光模塊，其中，所述處理器包括具有用於執行所述獲得、 標識和所述計算的編程代碼的軟體程序。
15.根據權利要求13所述的閃光模塊，其進一步包括中性密度過濾器，其中，通過由具 有脈衝寬度的觸發脈衝使得所述閃光燈提供閃光強度，可獲得由所述閃光燈用於後續圖像 捕獲的照明量，其中，當所述脈衝寬度小於門限值時，應用所述中性密度過濾器來減少所述 閃光強度，同時增加所述脈衝寬度，以便維持所述閃光燈的照明量。
16.根據權利要求13所述的閃光模塊，其進一步包括光圈，其中，通過由具有脈衝寬度 的觸發脈衝使得所述閃光燈提供閃光強度，可獲得由所述閃光燈用於後續圖像捕獲的照明 量，其中，當所述脈衝寬度小於門限值時，應用所述光圈來減少所述閃光強度，同時增加所 述脈衝寬度，以便維持所述閃光燈的照明量。
17.一種計算機可讀存儲介質，其中嵌入了用於在照相機中使用的軟體程序，所述軟體 程序包括用於執行權利要求1的方法的編程代碼。
18.一種照相機，其包括如權利要求11中所定義的閃光模塊；成像傳感器；以及光學模塊，所述光學模塊用於在所述成像傳感器上形成圖像，其中，所述成像傳感器被 配置以便提供所述圖像數據。
19.一種設備，其包括用於在不使用閃光燈的情況下捕獲第一測試圖像以及使用具有預定強度的閃光燈來 捕獲第二測試圖像的裝置；用於獲得指示所述第二測試圖像與所述第一測試圖像之差的差別圖像的裝置，其中， 所述差別圖像包括多個差別圖像像素，每個差別圖像像素具有像素值；用於標識所述差別圖像像素當中的參考像素的裝置，其中，所述第一測試圖像包括與 所述參考像素相對應的第一測試像素，並且所述第二測試圖像包括與所述參考像素相對應 的第二測試像素；以及用於至少部分地基於第一測試像素的像素值和第二測試像素的像素值來計算由所述 閃光燈用於後續圖像捕獲的照明量的裝置，其中，至少部分地基於所述差別圖像像素當中 的最高像素值來標識所述參考像素。
20.根據權利要求19所述的設備，其進一步包括用於在標識所述參考像素之前，移除所述差別圖像中屬於比預定尺寸更小的物體的一 個或多個所述差別圖像像素，以及移除所述差別圖像中屬於反射物體的一些所述差別圖像 像素的裝置。
全文摘要
一種用於控制照相機閃光燈的自動曝光算法，其使用圖像處理來標識受到閃光燈影響的圖像的重要區域，同時忽視高度反射/照明區域，並且使用ND過濾器來使得在高度反射場景情況下的閃光燈觸發線性化。照相機閃光燈由兩個階段中的自動曝光算法來控制預閃光階段，之後是主閃光階段。在預閃光階段，在關於曝光時間、增益、光圈和解析度方面的相同照相機設置下捕獲兩個圖像。一個圖像是在具有閃光燈的情況下捕獲的並且一個是在沒有閃光燈的情況下捕獲的。根據這兩個圖像之差，使用參考像素來確定主閃光階段中的閃光強度。
文檔編號G06T5/50GK101889435SQ200880119755
公開日2010年11月17日 申請日期2008年12月19日 優先權日2007年12月21日
發明者A·埃瓦諾夫, E·基裡洛夫, I·瓦西列夫, P·特裡維廉 申請人:諾基亞公司