成像設備和用於成像設備的曝光控制方法
2023-05-08 16:20:11 4
專利名稱：成像設備和用於成像設備的曝光控制方法
技術領域：
本發明涉及增益設定為實現高信噪比的成像設備和用於該成像設備的曝光控制方法。
背景技術：
曾經提出過一種使用白色(灰色)像素用於編碼的圖像傳感器。圖像傳感器內信號處理中的白平衡典型地參照綠色像素進行。但是，由於白色(灰色)像素將早於其他顏色濾色器飽和，包括白色(灰色)像素的彩色編碼會引發以下多種問題。其中一個問題是在信號處理後線性的降低。當使用白色像素信號的關聯來產生色度信號和照度信號時，色度信號和照度信號在飽和區內失效。另一個問題是，儘管白色像素作為照度信號分量有貢獻，但是白色像素早於其他彩色像素飽和導致解析度降低和動態範圍減小。已經提出了用於提高圖像傳感器靈敏度的包括白色(灰色)像素的彩色編碼(例如，參見PCT專利申請WO2002/056603的再公布文本)。
發明內容
要解決的技術問題是由白色像素早於其他顏色像素飽和引起的解析度降低和動態範圍減小。
希望以適應的方式確定電平圖(level diagram)中的參考色，從而提高標準照度區域中的解析度和動態(D)範圍，並提高低照度區域中的靈敏度。
根據本發明的實施例，提供一種成像設備，包括傳感器，其通過使用對入射光的靈敏度高於彩色像素的高靈敏度像素來編碼；以及自動曝光功能，其允許所述成像設備根據成像環境的照度來控制曝光。所述自動曝光功能中根據照度確定電平圖中參考色的算法使用所述高靈敏度像素作為所述傳感器增益設定為最大值的低照度區域中的參考色，並使用作為彩色像素的綠色像素作為所述傳感器增益設定為最小值的標準照度區域中的參考色。
在根據本發明該實施例的所述成像設備中，具有高於彩色像素的靈敏度的高靈敏度像素的使用提供了一種高靈敏度成像設備。具體地，使用具有高靈敏度的高靈敏度像素作為低照度區域中的參考色提供了高靈敏度。使用綠色像素作為標準照度區域中的參考色提供標準照度區域中的高解析度和寬動態範圍。
根據本發明的另一個實施例，提供一種用於成像設備的曝光控制方法，該成像設備包括傳感器，其通過使用對入射光的靈敏度高於彩色像素的高靈敏度像素來編碼；以及自動曝光功能，其允許所述成像設備根據成像環境的照度來控制曝光。所述自動曝光功能中根據照度確定電平圖中參考色的算法使用所述高靈敏度像素作為所述傳感器增益設定為最大值的低照度區域中的參考色，並使用作為彩色像素的綠色像素作為所述傳感器增益設定為最小值的標準照度區域中的參考色。
在根據本發明該實施例的所述用於成像設備的曝光控制方法中，具有高於彩色像素的靈敏度的高靈敏度像素的使用提供了高靈敏度。具體地，使用具有高靈敏度的高靈敏度像素作為低照度區域中的參考色在增強了低照度區域中的靈敏度。使用綠色像素作為標準照度區域中的參考色提高了標準照度區域中的解析度和動態範圍。
在根據本發明上述實施例的所述成像設備中，能夠提高靈敏度，特別是低照度區域中的靈敏度，從而即使在黑暗成像環境中或部分黑暗的成像環境中，也能獲取高靈敏度狀況下的圖像。在標準照度區域中，能夠增強解析度並增加動態範圍，從而獲得清晰的圖像。
在根據本發明所述實施例的用於成像設備的所述曝光控制方法中，能夠提高成像設備的靈敏度，特別是低照度區域中的靈敏度，從而即使在黑暗成像環境中或部分黑暗的成像環境中，也能獲取高靈敏度狀況下的圖像。在標準照度區域中，能夠增強解析度並增加動態範圍，從而獲得清晰的圖像。
圖1示出作為根據本發明的實施例的主要特徵的確定電平圖中的參考色的算法；圖2是示出根據本發明的實施例的所述成像設備的框圖；圖3示出每個像素的光譜特性；圖4示出所述傳感器輸出和照度之間的關係並示出白編碼的特性；
圖5示出確定電平圖中的參考色的算法；圖6是示出根據本發明的實施例的主要特徵的流程圖；圖7解釋僅針對白色像素的控制曝光原理；圖8解釋分別根據現有技術和本發明的實施例的白平衡原理。
具體實施例方式
將參照圖1至8描述根據本發明的實施例的成像設備和用於該成像設備的曝光控制方法。
首先，將參照圖2的框圖描述該成像設備。如圖2所示，成像設備1包括三個塊結構基於透鏡的光學系統2、傳感器3、以及信號處理器4。成像設備1輸出通用YC信號(照度信號/色度信號)作為輸出。
基於透鏡的光學系統2包括透鏡21和光闌22。光闌22具有例如藉助通過螺線管23供給電流打開或關閉葉片光闌的機構。
傳感器3主要包括四個塊結構傳感器塊31，將光轉換為電荷信號；掃描器32，產生時鐘信號用於讀出來自傳感器塊31的電荷；增益放大器33，具有將電荷轉換為電壓信號並在電荷量小時放大信號的功能；以及模數(A/D)轉換器34，將信號電壓轉換為數字數據。
傳感器塊31特點在於如顯示像素輸出和波長之間關係的圖3以及顯示像素輸出和照度之間關係的圖4所示，高靈敏度像素，如白色像素(W像素)或灰色像素(圖中顯示白色像素)，與具有顏色濾色器(如R/G/B顏色濾色器)的彩色像素相比，對入射光具有更高的靈敏度，允許提高特別是低照度環境中的靈敏度特性。本發明利用該特性。
信號處理器4主要包括四個塊結構檢測電路41，對從模數(A/D)轉換器34輸出的數位訊號求積分，計算整個信號的平均值，用該計算結果作為用於控制曝光的輸入信息；白平衡增益42，校正傳感器塊31中白色像素和RGB像素的靈敏度變化，以控制用於校正顏色再現的各通道的增益；微型計算機43，使用來自檢測電路41的信息作為輸入，以計算用於控制光闌22的值、用於控制掃描器32的電子快門的值、用於控制增益放大器33的值、和用於控制白平衡增益42的值；以及插值電路(插值)/非線形處理(γ校正)/RGB信號校正電路(顏色矩陣RGB)44。
插值電路/非線性處理/RGB信號校正電路44包括對關於各顏色像素的三條RGB信息進行空間插值的電路、校正顯示器輸入/輸出特性的非線性處理器、以及校正所述傳感器的光譜特性變化以校正RGB信號而實現理想顏色再現的電路。
在視頻攝像機等中，最低主體照度定義為在其中攝像機能執行成像操作的最黑暗環境中的照度。例如，在圖5中所示的條件3中，參照白色像素獲得的白平衡允許最低主體照度設定到一個低值。也就是，增加每個GRB像素的增益以與白色像素增益匹配。但是，使用白色像素的缺點是，與其他顏色像素(如RGB像素)相比白色像素更容易在明亮環境中飽和，諸如圖5中所示的條件1。此時，參照綠色(G)獲得白平衡並操作電子快門以遮擋白色像素。
在信號處理器4中，參照來自顏色布置中具有最高靈敏度的彩色像素的信號確定電平圖。因此，當使用白色像素時，參照白色像素確定電平圖。但是，靈敏度高於其他彩色像素的白色像素具有易於飽和的缺點。因此，根據本發明該實施例的所述成像設備參照來自低照度區域中的高靈敏度像素(例如，白色像素)的信號來確定電平圖，從而有效使用白色像素的高靈敏度。根據本發明該實施例的所述成像設備的特點還在於，在標準照度區域中，使用來自作為彩色像素的綠色像素的信號作為參考，以靈敏度設定為低值的方式僅控制白色像素的曝光，從而提高解析度和動態範圍。在下面描述中，白色像素用作高靈敏度像素的示例，R(紅色)、G(綠色)和B(藍色)像素用作彩色像素的示例。可選擇地，RGB的補色可以用作彩色像素。
現在將參照圖1描述作為本發明主要特徵的用於以適應方式確定電平圖中的參考色的示範性算法。
如圖1所示，成像設備1具有自動曝光(AE)功能，其允許成像設備1根據成像環境中的照度控制曝光。能夠通過檢測來自所述傳感器的輸出信號來測量照度。例如，使用白色的傳感器能夠設置四種類型的控制區域。
曝光控制按照度遞減次序分為四種類型光闌控制區域，RGB像素電子快門控制區域，AGC(自動增益控制)增益控制區域、和白色像素電子快門控制區域。
在光闌控制區域中，由機械地調節光亮的光闌執行控制操作。當光闌達到全開端時，控制切換到電子快門控制區。
在RGB像素電子快門控制區域中，電子快門調節曝光量。當環境變得更暗時，電子快門的曝光時間達到上限，控制切換到AGC增益控制區。使用電子快門以這樣調節曝光量能夠阻擋來自達到飽和電平的白色像素的信號。
AGC增益控制區域具有以這樣的方式放大所述傳感器輸出信號的功能使用模擬或數字增益控制將來自所述成像設備的輸出信號保持在固定電平。
在光闌控制區、RGB像素電子快門控制區、和AGC增益控制區，參照綠色來設定電平圖，並且獨立於其他顏色像素控制白色像素的電子快門操作，使得白色像素不會飽和。
當成像環境中的照度開始下降到低於用於綠色像素的最低主體照度時，在白色像素電子快門控制區域中用於白色像素的曝光量逐漸增加。當用於白色像素的曝光控制量最終等於用於綠色像素的曝光控制量時，達到最低主體照度。這樣，在低照度區域中提高了靈敏度。
在標準照度區域切換到低照度區域的過程中可以將白色像素設定為參考色。甚至僅使用綠色像素作為標準照度區域中的參考色也可以提供在標準照度區域中增強解析度和提高動態範圍的優點。
下面，將參照圖6的流程圖描述用於實現上述算法的具體方法。
如圖6所示，首先執行步驟S10「初始化設定」。在步驟S10「初始化設定」中，將光闌初始化為關閉狀態，從而阻擋光到達傳感器。掃描器也被初始化。掃描器具有確定快門速度(或曝光時間)的控制電子快門的功能。獨立於用於RGB像素的電子快門控制來設定用於白色像素的電子快門控制。首先，將白色像素電子快門設定到從電路設計角度可實現的最短曝光時間。設A(秒)為最短曝光時間。接著，將RGB像素電子快門設定為具有滿足下面等式的B(秒)。
B＝A×a(秒)(參考字符a是白色像素輸出(w)與綠色像素輸出(g)的比率，a＝w/g)通過滿足上述等式，能夠設定其中白色像素不會早於其他RGB像素飽和的曝光條件。將增益放大器設定為從電路設計角度可實現的最低增益。
在上述初始化後，啟動自動曝光(AE)。
首先，執行步驟S11「光闌的F數是否為最小值」。當步驟S11「光闌的F數是否為最小」的結果為「否」時，執行步驟S12「打開光闌一級」。步驟S12「打開光闌一級」控制光闌並將其打開一級。在光闌打開一級之後，在步驟S13「對檢測電路中的信號求積分」中對輸入信號求積分。該操作增加檢測電路中的信號。然後，執行步驟S14「信號(S)是否處於目標值範圍內」。在步驟S14「信號(S)是否處於目標值範圍內」中，判斷信號(S)是否已達到目標值(最大值(Max)，最小值(Min))。當信號(S)已達到目標值，即，當結果為「是」時，控制在該點終止。然後，控制進行到步驟S15「維持狀態」，意味著維持控制終止時的狀態。
另一方面，當步驟S14「信號(S)是否處於目標值範圍內」的結果為「否」時，即，當信號(S)即使在光闌完全打開的狀態下仍沒有達到目標值時，再次執行步驟S11「光闌的F數是否為最小值」以判斷光闌的F數是否為最小。當結果為「否」時，再次控制光闌並重複執行上述步驟。這樣控制光闌使其每次打開一級。
當步驟S11「光闌的F數是否為最小值」的結果為「是」時，即，當光闌的F數為最小值時，控制進行到下一個RGB像素電子快門控制區域。
接著，在步驟S21「RGB電子快門是否設定為最大值」中，判斷RGB電子快門(曝光時間)是否設定為最大值。當結果為「否」時，執行步驟S22「擴大RGB電子快門(曝光時間)一級」。步驟S22「擴大RGB電子快門(曝光時間)一級」控制RGB電子快門(曝光時間)並將其擴大一級。在擴大RGB電子快門(曝光時間)之後，在步驟S23「對檢測電路中的信號求積分」中，對輸入信號求積分。步驟S23「對檢測電路中的信號求積分」和步驟S13「對檢測電路中的信號求積分」可以是共用的步驟。
也就是，在步驟S23「對檢測電路中的信號求積分」中對輸入信號求積分增加了檢測電路中的信號。然後，執行步驟S24「信號(S)是否處於目標值範圍內」。在步驟S24「信號(S)是否處於目標值範圍內」，判斷信號(S)是否已達到目標值(最大值(Max)，最小值(Min))。當信號(S)已達到目標值時，即，當結果為「是」時，控制在該點終止。然後，控制進行到步驟S15「維持狀態」，意味著維持控制終止時的狀態。步驟S24「信號(S)是否處於目標值範圍內」和步驟S14「判斷信號(S)是否處於目標值範圍內」可以是共用步驟。
另一方面，當步驟S24「信號(S)是否處於目標值範圍內」的結果為「否」時，即，當信號(S)即使在RGB電子快門的曝光時間設定為最大值的狀態下仍沒有達到目標值時，再次執行步驟S21「RGB電子快門是否設定為最大值」，以判斷RGB電子快門(曝光時間)是否設定為最大值，並重複上述步驟。
另一方面，當步驟S21「RGB電子快門是否設定為最大值」的結果為「是」時，控制進行到AGC增益控制區域。
然後，在步驟S31「增益放大器是否設定為最大值」中，判斷增益放大器是否設定為最大值。當結果為「否」時，執行步驟S32「增大增益一級」。步驟S32「增大增益一級」控制增益放大器以將增益增大一級。在增益增加之後，在步驟S33「對檢測電路中的信號求積分」中，對輸入信號求積分。步驟S33「對檢測電路中的信號求積分」和步驟S13「對檢測電路中的信號求積分」可以是共用步驟。
也就是，在步驟S33「對檢測電路中的信號求積分」中對輸入信號求積分增加了檢測電路中的信號。然後，執行步驟S34「信號(S)是否處於目標值範圍內」。在步驟S34「信號(S)是否處於目標值範圍內」中，判斷信號(S)是否已達到目標值(最大值(Max)，最小值(Min))。當信號(S)已達到目標值時，即，當結果為「是」時，控制在該點終止。然後，控制進行到步驟S15「維持狀態」，意味著維持控制終止時的狀態。步驟S34「信號(S)是否處於目標值範圍內」和步驟S14「信號(S)是否處於目標值範圍內」可以是共用步驟。
另一方面，當步驟S34「信號(S)是否處於目標值範圍內」的結果為「否」時，即，當信號(S)即使在增益放大器設定為最大值的狀態下仍沒有達到目標值時，再次執行步驟S31「增益放大器是否設定為最大值」，以判斷增益放大器是否設定為最大值，並重複上述步驟。
另一方面，當步驟S31「增益放大器是否設定為最大值」的結果為「是」時，即，當增益設定為最大值時，控制將進行到下一個白色像素電子快門控制區域。
然後，在步驟S41「白色像素電子快門是否設定為最大值」中，判斷白色像素電子快門(曝光時間)是否設定為最大值。當結果為「否」時，執行步驟S42「擴大白色像素電子快門(曝光時間)一級」。步驟S42「擴大白色像素電子快門(曝光時間)一級」控制白色像素電子快門(曝光時間)並將其擴大一級。在白色像素電子快門(曝光時間)擴大之後，在步驟S43「對檢測電路中的信號求積分」中，對輸入信號求積分。步驟S43「對檢測電路中的信號求積分」和步驟S13「對檢測電路中的信號求積分」可以是共用步驟。
也就是，在步驟S43「對檢測電路中的信號求積分」中對輸入信號求積分增加了檢測電路中的信號。然後，執行步驟S44「信號(S)是否處於目標值範圍內」。在步驟S44「信號(S)是否處於目標值範圍內」中，判斷信號(S)是否已達到目標值(最大值(Max)，最小值(Min))。當信號(S)已達到目標值時，也就是當結果為「是」時，控制在該點終止。然後，控制進行到步驟S15「維持狀態」，意味著維持控制終止時的狀態。步驟S44「信號(S)是否處於目標值範圍內」和步驟S14「信號(S)是否處於目標值範圍內」可以是共用步驟。
另一方面，當步驟S44「信號(S)是否處於目標值範圍內」的結果為「否」時，也就是當信號(S)即使在RGB電子快門的曝光時間設定為最大值的狀態下仍沒有達到目標值時，再次執行步驟S41「白色像素電子快門是否設定為最大值」，以判斷RGB電子快門(曝光時間)是否設定為最大值，並重複上述步驟。
將參照圖7描述僅針對白色像素控制曝光的原理。
如圖7中所示，當白色像素設置為鋸齒形棋盤圖案時，包括白色像素的行僅由白色像素形成。此時，可以獨立於其他行僅為白色像素行重置曝光信號。
下面，將描述當參照圖7的描述執行曝光控制時的白平衡控制。
如圖8中(1)所示，當信號處理未使用任何白色像素時，為了使其他顏色像素(例如R和B像素)的電平與參考電平匹配，典型地使用最大輸出信號(例如G像素信號電平)作為用於執行白平衡(放大)操作的參考。放大的結果由實線表示。但是，如圖8中(2)所示，當顏色布置包括白色像素時，因為白色像素提供最大輸出，所以使用白色像素作為參考以將其他顏色像素(例如由虛線表示的R，G和B像素)的電平調整到參考電平。調整後的結果由實線表示。在圖8所示的基於白色像素的白平衡原理的示例中，將白色像素的曝光時間設置為RGB像素曝光時間的一半。這樣，即使在明亮成像環境中，也能夠不僅以白色不飽和的方式執行信號處理，而且可以最大化靈敏度。
如上所述，根據本實施例，能夠增加靈敏度，特別是低照度區域中的靈敏度。這樣，即使是在黑暗成像環境或在部分黑暗的成像環境中，也能夠獲得高靈敏度狀況下的圖像。在標準照度區域中，可以提高解析度並可以增大動態範圍。因此，能夠獲得清晰的圖像。
儘管以上對其中使用「白色像素」作為高靈敏度像素的示例的情況進行了描述，但是高靈敏度像素不限於嚴格意義上的(理想的)白色或透明像素，而可以是其它像素，只要其靈敏度高於用於獲得色彩再現的顏色成分的傳統原色像素或補色像素的靈敏度。例如，高靈敏度像素可以是由將少量遮擋光的成分與理想白色或透明狀態混合而獲得的灰色濾色器提供的像素、或者由將少量染料成分與理想白色或透明狀態混合而獲得的濾色器提供的像素。但是，從執行信號處理的角度看，其中透光的顏色組分很好地均衡的濾色器，如灰色濾色器，與其中以不均衡方式混合特定染料成分的濾色器相比，更為優選。
本領域技術人員應該理解，根據設計需要和其他因素，可進行各種修改、組合、子組合和改變，只要它們在所附權利要求書或其等價物的範圍內。
對相關申請的交叉引用本申請包含的主題涉及2006年4月17日向日本專利局遞交的日本專利申請JP 2006-113272，其全部內容併入本說明書中作為參考。
權利要求
1.一種成像設備，包括傳感器，其通過使用對入射光的靈敏度高於彩色像素的高靈敏度像素進行顏色編碼；以及自動曝光功能，其允許所述成像設備根據成像環境中的照度來控制曝光，其中，所述自動曝光功能中根據照度確定電平圖中參考色的算法使用所述高靈敏度像素作為所述傳感器增益設定為最大值的低照度區域中的參考色，同時使用作為彩色像素的綠色像素作為所述傳感器增益設定為最小值的標準照度區域中的參考色。
2.一種成像設備，包括傳感器，其通過使用對入射光的靈敏度高於彩色像素的高靈敏度像素進行顏色編碼；以及自動曝光功能，其允許所述成像設備根據成像環境中的照度來控制曝光，其中，所述自動曝光功能中根據照度確定電平圖中參考色的算法使用作為彩色像素的綠色像素作為所述傳感器增益設定為最小值的標準照度區域中的參考色。
3.根據權利要求1所述的成像設備，其中，控制電子快門使得在標準照度區域中只有高靈敏度像素經歷曝光控制。
4.根據權利要求1所述的成像設備，其中，以如下的方式執行白平衡，執行調整以在低照度區域中與高靈敏度像素的電平匹配。
5.根據權利要求1所述的成像設備，其中，在標準照度區域切換到低照度區域的過程中將所述高靈敏度像素設定為參考色。
6.一種成像設備的曝光控制方法，該成像設備包括傳感器，其通過使用對入射光的靈敏度高於彩色像素的高靈敏度像素進行顏色編碼；以及自動曝光功能，其允許所述成像設備根據成像環境中的照度來控制曝光，其中，所述自動曝光功能中根據照度確定電平圖中參考色的算法使用所述高靈敏度像素作為所述傳感器增益設定為最大值的低照度區域中的參考色，同時使用作為彩色像素的綠色像素作為所述傳感器增益設定為最小值的標準照度區域中的參考色。
全文摘要
一種成像設備，包括傳感器，其通過使用對入射光的靈敏度高於彩色像素的高靈敏度像素進行顏色編碼；和自動曝光功能，其允許所述成像設備根據成像環境中的照度來控制曝光。所述自動曝光功能中根據照度確定電平圖中參考色的算法使用所述高靈敏度像素作為所述傳感器增益設定為最大值的低照度區域中的參考色，並使用作為彩色像素的綠色像素作為所述傳感器增益設定為最小值的標準照度區域中的參考色。
文檔編號H04N9/07GK101068313SQ20071010538
公開日2007年11月7日 申請日期2007年4月17日 優先權日2006年4月17日
發明者齊藤新一郎, 佐藤正章, 張洪偉 申請人:索尼株式會社