曝光控制系統及其方法與流程
2023-10-17 11:15:14
本發明涉及圖像處理，特別涉及可依據長曝光圖像及短曝光圖像而調整當前曝光模式的一種曝光控制系統及其方法。
背景技術：
市面上較常見的相機或攝像機，其內部感光元件所能捕捉的動態範圍大約為1000：1(意即最亮像素與最暗像素的亮度比)。專業的相機或攝像機的感光元件，其動態範圍也往往不會超過104：1。然而，常見的室內場景的動態範圍大多超過2000：1，室外場景更高達106：1以上。換句話說，上述相機或攝像機的感光元件僅能捕捉到場景的部分信息。
一般而言，傳統曝光控制系統均是將整張畫面的亮度平均值調整至使用者所設定的亮度，但這對於具有高動態範圍的動態圖像的圖像效果並不佳。因此，需要一種曝光控制系統及其方法以解決上述問題。
技術實現要素：
本發明提供一種曝光控制系統，包括：一圖像提取單元，用以一第一曝光值及一第二曝光值對一場景提取一長曝光圖像及一短曝光圖像；以及一處理器，用以分別計算該長曝光圖像及該短曝光圖像的直方圖，並依據長曝光圖像及短曝光圖像的直方圖、第一曝光值、及第二曝光值計算一曝光比，其中當曝光比小於一第一閾值時，處理器將曝光控制系統之一當前曝光模式切換至一低動態範圍模式，並設定第一曝光值等於第二曝光值，其中當曝光比大於一第二閾值時，處理器將曝光控制系統的當前曝光模式切換至一高動態範圍模式，並將長曝光圖像及短曝光圖像合成為一高動態範圍圖像，且第二閾值大於第一閾值，其中當曝光比介於第一閾值及第二閾值之間時，處理器不切換當前曝光模式。
本發明還提供一種曝光控制方法，用於一曝光控制系統，其中該曝光控制系統包括一圖像提取單元，該方法包括：利用該圖像提取單元以一第一曝 光值及一第二曝光值對一場景提取一長曝光圖像及一短曝光圖像；計算該長曝光圖像及該短曝光圖像的直方圖，並依據該長曝光圖像及該短曝光圖像的直方圖、該第一曝光值、及該第二曝光值計算一曝光比；當該曝光比小於一第一閾值時，將該曝光控制系統的一當前曝光模式切換至一低動態範圍模式，並設定該第一曝光值等於該第二曝光值；當該曝光比大於一第二閾值時，將該曝光控制系統的該當前曝光模式切換至一高動態範圍模式，並將該長曝光圖像及該短曝光圖像合成為一高動態範圍圖像，其中該第二閾值大於該第一閾值；以及當該曝光比介於該第一閾值及該第二閾值之間時，不切換該當前曝光模式。
附圖說明
圖1是顯示依據本發明一實施例中的曝光控制系統100的方塊圖。
圖2A及圖2B是顯示依據本發明一實施例中分別用於長曝光圖像及短曝光圖像的直方圖。
圖3A及圖3B是顯示依據本發明另一實施例中分別用於長曝光圖像及短曝光圖像的直方圖亮度區間的示意圖。
圖4是顯示依據本發明一實施例中的曝光控制方法的流程圖。
【符號說明】
100～曝光控制系統；
110～圖像提取單元；
120～處理器；
130～存儲器單元；
140～存儲單元；
210－240～曲線；
S410－S450～步驟。
具體實施方式
為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉一優選實施例，並配合附圖，作詳細說明如下。
圖1是顯示依據本發明一實施例中的曝光控制系統100的方塊圖。如圖1所示，曝光控制系統100包括一圖像提取單元110、一處理器120、一存儲 器單元130、以及一存儲單元140。圖像提取單元110用以提取一場景的圖像。存儲單元140存儲用於圖像處理的高動態範圍成像(high dynamic range imaging)等等。舉例來說，存儲器單元130為一易失性存儲器，例如是一動態隨機存取存儲器(DRAM)。存儲單元140為一非易失性存儲器，例如是硬碟、快閃記憶體等等。處理器120將存儲於存儲單元140中的高動態範圍成像模塊的程序代碼載入至存儲器單元130，並對圖像提取單元110所提取的圖像執行相應的圖像處理。
圖像提取單元110具有多重曝光(multi exposure)的功能，意即在圖像提取單元110中的圖像傳感器(image sensor)所提取的圖像可用不同的曝光值進行曝光以產生兩張不同曝光值的圖像，曝光時間的增加或是感光度的增加，都會使曝光值上升。
圖2A及圖2B是顯示依據本發明一實施例中分別用於長曝光圖像及短曝光圖像的直方圖。在一個特定位置的場景中，其動態範圍在一段時間內的變化不大。因此，本發明先利用初始拍攝的圖像中的前百分之x的暗點以及前百分之y的亮點的亮度來估算此場景的動態範圍，然而上述x及y的比例可隨著應用及傳感器的不同而進行調整。因為傳感器所能捕捉到的動態範圍是有限的，為了讓傳感器捕捉到上面兩點的亮度信息，曝光控制系統100讓前百分之x的暗點能被長曝光圖像捕捉到。同樣地，也會讓前百分之y的亮點能被短曝光圖像捕捉到。更進一步而言，曝光控制系統100在產生高動態範圍圖像時，會考慮到動態圖像的連續性及收斂速度，並設計讓前百分之x的暗點以及前百分之y的亮點落在指定範圍內。當曝光值收斂後，曝光控制系統100則可依據曝光比以估計場景的動態範圍。
在本實施例中，初始的長曝光時間TL，INIT以及初始的短曝光時間TS，INIT並沒有特別要求，只要TL，INIT曝光時間大於等於TS，INIT即可。舉例來說，於一具體實施例中，初始的長曝光時間TL，INIT可以是100ms，初始的短曝光時間TS，INIT可以是51ms。在本發明的高動態範圍成像模塊的設定中，長曝光圖像中的亮度低於一第一預定亮度值(例如10)的像素數量需小於全部像素數量的一第一比例(例如2％，即前述的x＝2)。處理器120先依據第一圖像的直方圖計算在該直方圖中的像素亮度小於該第一預定亮度值的像素數量。
如圖2A所示，若初始長曝光圖像中針對相對較低亮度像素的直方圖如曲線210所表示，且在初始長曝光圖像中亮度低於一第一預定亮度值(例如10) 的像素數量大於第一比例(例如2％)。詳細而言，曲線210中，亮度低於10的像素數量共佔4％，其大於第一比例(如2％)，因此無法符合預設的長曝光圖像中亮度低於第一預定亮度值的像素數量小於第一比例的條件(亮度低於10的像素數量只要佔2％)。
故，處理器120會判斷在初始長曝光圖像中低亮度的像素過多，需將曲線210往右移動或擴展，使得在調整後的直方圖曲線220中亮度低於第一預定亮度值(例如10)的像素數量小於第一比例(例如2％)。舉例來說，處理器120可增加長曝光圖像的曝光值(例如可調整曝光時間或感光度)，使得低亮度的像素數量相對地減少，藉以符合預設的長曝光圖像中亮度低於第一預定亮度值的像素數量小於第一比例的條件。
換句話說，假設圖像提取單元110的傳感器具有一線性相機光電轉換函數(linear camera opto-electronic conversion function)時，當曝光值增加，圖像提取單元110所提取到的像素亮度也會隨著線性增加。為了便於說明，上述曝光值僅考慮曝光時間，並假定在曲線210中亮度10以下的像素數量小於第一比例(2％)，且在曲線220中亮度20以下的像素數量小於第一比例(2％)。此時，處理器120則計算目標長曝光時間TL＝TL，INIT*(20/10)＝200ms。
在本發明的高動態範圍成像模塊的設定中，短曝光圖像中的亮度高於一第二預定亮度值(例如1020)的像素數量需小於全部像素數量的一第二比例(例如2％，即前述的y＝2)。處理器120先依據第一圖像的直方圖計算在該直方圖中的像素亮度小於該第二預定亮度值的像素數量。
如圖2B所示，若初始圖像中針對相對較低亮度像素的直方圖由曲線230所表示，且在初始圖像中亮度高於第二預定亮度值(例如1020)的像素數量(例如為4％)大於第二比例(2％)。此時，處理器120判斷在初始短曝光圖像中高亮度的像素數量過多，需將曲線230往左移動或擴展，使得在調整後的直方圖曲線240中亮度高於第二預定亮度值(例如1020)的像素數量小於第二比例(例如2％)。舉例來說，處理器120可降低短曝光圖像的曝光值(例如可調整曝光時間或感光度)，使得高亮度的像素數量相對地減少，藉以符合預設的短曝光圖像中亮度高於第二預定亮度值的像素數量小於第二比例的條件。
同樣地，假設圖像提取單元110的傳感器具有線性相機光電轉換函數時，當曝光值降低，圖像提取單元110所提取到的像素亮度也會隨著線性降低。為了便於說明，上述曝光值僅考慮曝光時間，並假定在曲線230中亮度1020 以上的像素數量小於第一比例(2％)，且在曲線240中亮度1000以上的像素數量小於第一比例(2％)。此時，處理器120則計算目標長曝光時間TS＝TS，INIT*(1000/1020)＝50ms。
當分別調整完長曝光圖像的曝光時間TL及短曝光圖像的曝光時間TS後，處理器120則依據目標長曝光時間TL及目標短曝光間TS計算曝光比R＝TL/TS，並可藉由調整後的長曝光圖像以及短曝光圖像以產生一高動態範圍圖像。
在實際應用中，並非所有的實際場景皆須使用上述的高動態範圍圖像。舉例來說，如果實際場景的動態範圍不大(低動態範圍場景)，此時可採用現今相機內建的自動曝光系統拍攝單一圖像即可。現今相機內建的自動曝光系統通常先計算此單一圖像於拍攝後的平均亮度值或中位數等將落於特定範圍，例如亮度128，而後根據相關的參數(光圈、快門與感光度)拍攝此單一圖像。
處理器可根據上述調整後的曝光時間TL及TS所產生的曝光比R判斷目前場景高動態範圍抑或低動態範圍，進而分別採取高動態範圍模式(即通過上述流程以產生高動態範圍圖像，或是採取低動態範圍模式(即直接採用相機內建的自動曝光系統的參數而直接拍攝單一圖像)。
詳細而言，若曝光比R小於或等於一第一閾值時(例如2)，表示目標長曝光時間TL比目標短曝光時間Ts接近，甚至目標長曝光時間TL比目標短曝光時間Ts小(若曝光比R小於1)，代表所拍攝的長曝光圖像及短曝光圖像的動態範圍有限，是以圖像提取單元110使用低動態範圍模式即可涵蓋此時該場景中的動態範圍。因此若曝光比R小於第一閾值，處理器120判斷目前場景為低動態範圍場景，此時進入低動態範圍模式，進而採用相機內建的自動曝光系統拍攝單一圖像即可。
相對的，若曝光比R大於一第二閾值時(例如3)，第二閾值大於或等於第一閾值，代表長曝光圖像與短曝光圖像的曝光時間差距較大，表示所拍攝的長曝光圖像及短曝光圖像所涵蓋的動態範圍較大，是以圖像提取單元110需使用高動態範圍模式才足以涵蓋此時目前場景中的動態範圍。因此，若曝光比R大於第二閾值時，處理器120判斷目前場景為高動態範圍場景，此時進入高動態範圍模式，進而通過上述流程以分別拍攝的長曝光圖像以及短曝光圖像產生一高動態範圍圖像。
在實際應用中，由於圖像提取單元110持續拍攝視頻圖像，雖然同一場景所拍攝的視頻圖像的動態範圍通常是固定的，然而視頻圖像的前後幀可能會因為場景切換(scene change)，而造成所提取的前後張圖像的直方圖變化很大，此時，若貿然在低動態範圍模式及高動態範圍模式之間進行切換，則很可能會造成圖像的閃動(flicker)或瑕疵(artifact)。
為解決上述問題，處理器120閾值閾值可設定第二閾值大於第一閾值，例如將第一閾值設定為2，且將第二閾值設定3，如此定義出介於第二閾值及第一閾值的一區間。當曝光比R小於或等於第一閾值時，處理器120將當前曝光模式切換為低動態範圍模式。當曝光比R大於或等於第二閾值時，處理器120則將當前曝光模式切換為高動態模式。當曝光比R介於第一閾值及第二閾值的區間時，處理器120則不切換當前曝光模式，即依循上一張圖像產生的模式，如此即可避免在低動態範圍模式及高動態範圍模式快速切換的次數。需注意的是，上述第一閾值及第二閾值可視實際情況進行調整。此外，當前曝光模式也不會因為畫面像素處於某一邊界條件附近或是有噪聲產生而一直造成在低動態範圍模式及高動態範圍模式之間切換而造成圖像的閃動。
需特別說明的是，以視頻圖像所拍攝的時間順序觀之，處理器120系統計第N張圖像的直方圖，並且計算第N張圖像的長曝光圖像及短曝光圖像的目標曝光時間。在圖像提取單元110提取第N+1張圖像時，即是利用所計算出的第N張圖像的目標曝光時間做為第N+1張圖像的長曝光圖像及短曝光圖像的當前曝光時間。同樣地，第N+1張圖像的長曝光圖像及短曝光圖像的當前曝光時間，則分別用來計算第N+2張圖像的長曝光圖像及短曝光圖像的目標曝光時間。
圖3A及圖3B是顯示依據本發明另一實施例中分別用於長曝光圖像及短曝光圖像的直方圖亮度區間的示意圖。在另一實施例中，處理器120在計算長曝光圖像及短曝光圖像的目標曝光時間時，處理器120分別統計在直方圖中的不同亮度區間(interval)內的像素數量。如圖3A所示，當處理器120在計算長曝光圖像的目標曝光時間時，處理器120分別統計亮度區間0～10、0～20、0～40、0～80、0～160的累積像素數量，依此類推。例如在區間0～20內的像素數量(例如4％)大於第一比例(例如2％)，處理器120同樣可將圖3A的亮度區間往右擴展，例如亮度區間0～20的像素會分別擴展至亮度區間0～40。因此，在亮度20以下的累積像素數量可控制在小於第一比例。簡單來說， 在此實施例中，若初始長曝光時間TL，INIT例如是100ms，則目標長曝光時間TL＝TL，INIT*2＝200ms。
如圖3B所示，當處理器120在計算短曝光圖像的目標曝光時間時，處理器120分別統計亮度區間1000～1023、950～1023、910～1023的像素數量，依此類推。例如在區間1000～1023內的像素數量(例如4％)大於第二比例(例如2％)，處理器120同樣可將圖3B的亮度區間往左擴展，例如亮度區間1000～1023的像素會分別擴展至亮度區間950～1023。因此，在亮度1000以上的像素數量可控制在小於第二比例。同樣地，處理器120更依據相應的調整比例計算目標短曝光時間。需注意的是，為了便於說明，上述實施例中的亮度區間以等比數列進行計算，本發明的亮度區間可以隨著實際情況進行調整，並不限於上述數值，亦非限於等比數列，只要能通過曝光決定策略的統計穩定性以達成防閃爍的目的即可。
圖4是顯示依據本發明一實施例中的曝光控制方法的流程圖。在步驟S410，圖像提取單元110以一第一曝光值及一第二曝光值對一場景提取一長曝光圖像及一短曝光圖像。需注意的是處理器120在每張畫面處理完後更新第一曝光值及第二曝光值，且圖像提取單元110則利用更新後的第一曝光值及第二曝光值拍攝下一張長曝光圖像及短曝光圖像。
在步驟S420，處理器120計算長曝光圖像及短曝光圖像的直方圖，並依據長曝光圖像及短曝光圖像的直方圖、該第一曝光值、及該第二曝光值計算一曝光比。曝光比的計算方式可參考圖2A～圖2B及圖3A～圖3B的實施例。
在步驟S430，當該曝光比小於一第一閾值時，處理器120將曝光控制系統100的一當前曝光模式切換至一低動態範圍模式。需注意的是，在曝光比小於第一閾值時，表示目標長曝光時間與目標短曝光時間接近，意即同一時間所拍攝的長曝光圖像及短曝光圖像的動態範圍有限，此時圖像提取單元110使用低動態範圍模式即可涵蓋此時該場景中的動態範圍。
在步驟S440，當該曝光比大於一第二閾值時，處理器120將曝光控制系統100的當前曝光模式切換至一高動態範圍模式，並將長曝光圖像及短曝光圖像合成為一高動態範圍圖像，其中該第二閾值大於該第一閾值。需注意的是，若所計算出的曝光比R較大時，即長曝光圖像與短曝光圖像的曝光時間差距較大，表示同一時間所拍攝的長曝光圖像及短曝光圖像的動態範圍較大。此時，圖像提取單元110需使用高動態範圍模式才能涵蓋此時該場景中的動 態範圍。
在步驟S450，當該曝光比介於該第一閾值及該第二閾值之間時，處理器120不切換曝光控制系統100的當前曝光模式。需注意的是，曝光控制系統100的當前曝光模式不會因為畫面像素處於某一邊界條件附近或是有噪聲產生而一直造成在低動態範圍模式及高動態範圍模式之間切換而造成圖像的閃動。
本發明的方法，或特定形態或其部分，可以以程序代碼的形態包含於物理介質，如軟盤、光碟、硬碟、或是任何其他機器可讀取(如計算機可讀)存儲介質，其中，當程序代碼被機器，如計算機載入且執行時，此機器變成用以參與本發明的裝置或系統。本發明的方法、系統與裝置也可以以程序代碼形態通過一些傳送介質，如電線或電纜、光纖、或是任何傳輸形態進行傳送，其中，當程序代碼被機器，如計算機接收、載入且執行時，此機器變成用以參與本發明的裝置或系統。當在一般用途處理器實作時，程序代碼結合處理器提供一操作類似於應用特定邏輯電路的獨特裝置。
本發明雖以優選實施例公開如上，然其並非用以限定本發明的範圍，本領域技術人員，在不脫離本發明的精神和範圍內，當可做些許的更動與潤飾，因此本發明的保護範圍當視所附權利要求書界定範圍為準。