圖像數據處理方法、圖像數據處理裝置和電腦程式的製作方法

2023-10-16 21:29:19

專利名稱：圖像數據處理方法、圖像數據處理裝置和電腦程式的製作方法
技術領域：
本發明涉及一種圖像處理方法、一種圖像處理裝置以及一種電腦程式，具體地說，本發明涉及實現適當白平衡處理和獲得清楚圖像的一種圖像處理方法、一種圖像處理裝置和電腦程式。
背景技術：
當利用攝影機捕獲圖像時，閃光(電子閃光，頻閃儀)被用做一輔助光源。近年來，已經迅速流行一種DSC(數字靜態圖片攝影機)，並經常利用所述DSC執行閃光成像。通過利用所述閃光，可以執行諸如補助光(一種當在人的面部具有很強的陰影時消弱該陰影的技術)、背景光補償(一種在諸如利用背景陽光拍照情況下避免黑暗曝光的技術)、捕光(一種引入一「光點」照射到眼瞳中，從而使所述瞳孔被描述為具有一非常美麗外觀的技術)和日光同步(日光同步；一種在白天或夜間使用輔助眼的技術)等的各種成像處理。另一方面，當執行閃光成像時，可能出現色彩的不平衡或變白。本發明的目的就是提供一種能夠校正在這種閃光成像中產生的不希望現像的適當的裝置。
通常，數字攝影機提供一白平衡(WB)調節，以便可以捕獲例如白色的白色目標。例如，當在其中使用自然光、照明光和閃光(頻閃光)等照射目標的光具有高色溫和強藍(B)光分量的光分量場合下執行成像時，所述白平衡被調節為抑制對藍光的敏感度並對紅光的敏感度相對高，相反，當在其中用於照射目標的光具有低色溫和強紅(R)光的光分量場合執行成像時，所述白平衡被調節為抑制對紅光的敏感度和使對藍光(B)的敏感度相對高。
所述白平衡調節對於執行一調節處理是非常有用的，在該調節處理中，根據在成像時所使用光源設置一調節參數。例如，當執行閃光成像時，根據對應於將被使用的閃光所具有的光分量的參數執行所述白平衡調節。
但是，在其中具有除所述閃光以外的周圍光的場合下，當執行閃光成像時，所述閃光和周圍光這兩種光都照射到所述目標上，從而使反射光到達所述攝影機的圖像分量上，並進而執行所述成像。當執行這種成像時，如果根據所述閃光執行所述白平衡調節，那麼，被更多閃光照射的目標部分被調節為自然顏色。但是，在所述閃光沒有到達並僅藉助於反射周圍光執行成像的區域，例如背景圖像區域，如果根據基於所述閃光的光分量所設置的參數執行白平衡調節，那麼將不能適當地執行所述白平衡調節，從而使得該區域可能作為具有一非自然顏色的區域被輸出。
相反，如果對所捕獲到的所有圖像執行所述白平衡調節，可以認為所述白平衡調節是根據所述背景部分執行的，即僅通過周圍光執行成像，和具有較多閃光的部分被調節為非自然顏色。
為了解決這些問題，已經提出了一系列結構。例如，日本專利申請公開No.8-51632披露了一種結構，在這種結構中，獲取沒有燃亮閃光所捕獲到的圖像和燃亮閃光所捕獲到的圖像，這兩個被捕獲到的圖像被分成多個塊，比較用於每個塊的亮度值，和基於所述亮度值比較的結果，相對於通過燃亮所述閃光捕獲到的圖像執行每個塊均不相同的白平衡調節。
通過選擇根據用於每個塊的所述閃光的白平衡調節、根據所述閃光和周圍光的中間的白平衡調節或根據所述周圍光的白平衡調節中的任一白平衡調節執行所述白平衡調節。但是，利用這樣一種結構，必須在每個塊基礎上執行處理，因此，存在一個問題，即當發生塊失真或目標移動等時，不能精確地執行所述處理。
日本專利申請公開No.2000-308068披露了下述處理結構，在這種處理結構中，以光圈被全部打開的方式通過燃亮所述閃光執行成像，曝光時間被縮短，然後在不燃亮所述閃光並以原始預期的曝光條件執行所述成像。這裡，前者被認為是第一圖像，和後者被認為是第二圖像。此外，在所述第一圖像中，多於一預定級別的像素被註冊為一主目標區域，其它的則被註冊為一背景區域。然後，根據所述閃光對該第一圖像進行白平衡調節，根據周圍光對該第二圖像進行白平衡調節，然後，第一圖像的所述主目標區域和第二圖像的所述背景區域被結合到一起作為最後的記錄圖像。
但是，在這個結構中，對於那些被周圍光和閃光同時照射到的目標不能正確地執行所述白平衡調節。
此外，除了上述日本專利申請公開No.2000-308068以外，日本專利申請公開No.2000-307940還披露了一種被添加有一圖像模糊檢測裝置的結構。當它確定存在一模糊時，上述第一圖像被原樣地改變成一記錄圖像，從而不執行結合所述第一圖像和所述第二圖像的處理。因此，當檢測到所述模糊時，將不能排除由於所述閃光和周圍光之間的色溫差而導致的不自然。
此外，日本專利申請公開No.H8-340542披露了一種結構，在這種結構中，在通過燃亮所述閃光和不燃亮所述閃光捕獲的相應圖像像素的亮度值之間執行一分割，從而獲得所述閃光的組成比，然後，在所述組成比的基礎上，針對通過燃亮所述閃光而捕獲的圖像執行所述白平衡調節。
但是，在該結構中，對於藉助於反射的閃光和周圍光的混合所捕獲的圖像，基於所述閃光的組成比，對所述閃光和周圍光簡單地插入一白平衡參數，從而以生成所述最後圖像。但是，當考慮實際光的反射模型時，應當獨立處理所述閃光的分量和所述周圍光的分量，並且，不可能僅僅通過對藉助於所述閃光和反射的周圍光的混合所捕獲到的圖像進行處理來生成較佳的最後圖像。
最近的攝影機是在用於機械的燃亮所述閃光的頻閃儀和所述攝影機的成像單元之間交換信息，並使所述頻閃儀發射精確的光數量，從而使所述攝影機能夠利用精確的曝光執行成像。該系統被稱之為TTL(經過鏡頭)自動曝光控制系統，並且這種技術被廣泛使用。
圖1示出了一典型照片10的例子，該照片是在這種情況下使用一頻閃儀在暗室中對個人外形成像所獲得的。個人A的投影圖像是11。在暗室中的投影圖像是12。取得該照片的過程如下所述。個人A已經處於所述暗室之中。成像器攜帶具有所述頻閃儀的攝影機並靠近個人A取像。
在成像期間，所述TTL自動曝光控制系統累積和測量由所述頻閃儀發射並從一對像目標反射後返回到所述攝影機的每個光的數量。在測量一精確數量光的定時處，所述攝影機指令頻閃儀側停止發射光，藉此能夠獲得一精確曝光的圖像。
但是，與圖1所示的照片相似，當個人A的投影圖像11很小時，從所述頻閃儀發射的絕大部分光都沒有照射到所述個人A上，而是由位於相對遠處的室內牆壁所反射的光。因此，返回光的數量很小，從而所述TTL自動曝光控制系統確定光的數量是不充分的，並且調節而增加從所述頻閃儀發射的光的數量。
該調節處理的結果使成像時所述頻閃光的數量增加，從而使得由直接靠近所述成像裝置(攝影機)的個人A所反射的總的光數量相對於所述頻閃光而言被明顯增加，藉此，所述個人A的投影圖像部分的像素數據的值極度地增高並處於飽和狀態。
通過使用數字值，所述像素數據被表示如下。在上述的例子中，雖然一方法是公知的，每個像素數據中的紅(R)、綠(G)和藍(B)中的每一個都被表示為256(0-256)標度，但個人A(特別是諸如臉部的淺褐色部分)是由(R，G，B)＝(255，255，255)表示的。這是由於由所述頻閃儀發射的閃光太多地照射到靠近攝影機站立的個人A上所引起的。
換言之，這是由於頻閃光的數量很高，從而使得在由個人A反射的總光量中的R分量超過了255，G分量超過了255和B分量也超過了255。(R，G，B)＝(255，255，255)表示最亮的白。這就是所謂的「白化」。個人A臉部的投影圖像不是淺褐色而是純白色。
當(R，G，B)＝(255或更多，255或更多，255或更多)時所獲取的像素數據中的每一個實際上都具有不同的色調。但是，光是被過度地照射到所述目標上的，因此，它們可以被統一表示為(R，G，B)＝(255，255，255)，和變成純白色。
在日本專利申請公開No.2000-278598中描述了一種為解決所謂的「白化」問題而提出的結構。該專利申請公開披露了一種對過曝光圖像中具有高亮度的圖像信號進行移位補償處理的結構。具體地說，該結構生成一輸入信號亮度級別和一輸出信號亮度級別的移位轉換特徵曲線，以便調節所述輸出信號的高亮度部分，即利用一灰度係數(gamma)校正表對所述高亮度部分進行補償。
但是，即使是應用上述日本專利申請公開No.2000-278598中描述的技術，每個具有(R，G，B)＝(255，255，255)的輸入信號被轉換為某個設置輸出值。事實上，具有(R，G，B)＝(255或更多，255或更多，255或更多)的像素數據總是具有不能解決上述「白化」問題的相同的值。換言之，應當具有各種像素值的目標圖像被設置為相同的顏色和亮度，從而不能再現這些目標顏色和亮度的分布。

發明內容
針對相關技術中存在的上述問題做出了本發明，並提供了一種圖像數據處理方法、一種圖像數據處理裝置和一種電腦程式，它們能夠允許對在周圍光和閃光被混合在一起的環境下捕獲到的圖像執行一較佳的白平衡調節，並且即使是當檢測到一圖像模糊時也允許一較佳的白平衡調節而不會發生失敗。
此外，在執行到所述目標的光照射以便捕獲圖像的結構中，本發明提供了一種圖像數據處理方法、一種圖像數據處理裝置和一種電腦程式，它們能夠解決所述目標太靠近所述成像裝置以及照射到所述目標上面的光量過多而導致所述目標圖像的值(R，G，B)被飽和為白化的問題，和即使是對於一被過度照射的目標也可以生成再現其精確顏色和亮度的圖像。
本發明的第一方面是一圖像數據處理方法，其特徵在於一從構成藉助於使第一光源發光導致的一成像處理所獲取的第二數據圖像的每個像素的像素值中減去藉助於使前述第一光源不發光導致的一圖像處理所獲取的第一圖像數據的相應像素值，藉此以獲得與在僅有前述第一光源照射環境下捕獲到的圖像相對應的差圖像數據的步驟；一差圖像數據像素值調節處理步驟，用於針對前述差圖像數據執行像素值調節處理；和一最終像素值調節圖像生成步驟，用於使用在前述差圖像數據像素調節處理步驟中生成的經調節的一像素數據，以便生成一最終像素值調節圖像。
此外，根據本發明圖像數據處理方法的一較佳實施例，前述圖像數據處理方法的特徵還在於包括一第一圖像數據像素值調節處理步驟，用於對前述第一圖像數據執行像素值調節處理，其中，前述最終像素值調節圖像生成步驟是一對由前述差圖像數據像素值調節處理步驟和前述第一圖像數據像素值調節處理步驟獲取的經調節像素值的兩個圖像數據的相應像素執行像素值加法處理、從而生成一最終像素值調節圖像數據的步驟。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述像素值調節處理是一白平衡調節處理，前述差圖像數據像素值調節處理步驟是根據基於前述第一光源的光分量設置的參數的白平衡調節處理，和前述第一圖像數據像素值調節處理步驟是根據基於不包含前述第一光源的周圍光分量設置的參數的白平衡調節處理。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述參數是由3×3矩陣表示的參數，和所述矩陣被用於對構成每個像素顏色的顏色分量轉換。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述3×3矩陣是除對角分量以外被設置為0的矩陣。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述圖像數據處理方法的特徵在於還包括一像素值加法步驟，用於將在前述差圖像數據像素值調節處理步驟中生成的經調節像素值的圖像數據的每個像素的像素值加到前述第一圖像數據的相應像素的像素值上，其中，前述最終像素值調節圖像生成步驟是一對在前述像素值加法步驟中生成的圖像數據執行所述像素值調節從而生成所述最終像素值調節圖像數據的步驟。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述像素值調節處理是所述白平衡調節處理，和前述差圖像數據像素值調節處理步驟是根據基於不包含前述第一光源的周圍光分量所設置參數的白平衡調節處理。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述圖像數據處理方法的特徵在於還包括一用於根據多個圖像數據的差數據檢測其中目標移動的的移動部分的移動檢測步驟，和一用於對前述移動部分執行像素值調節處理的移動部分像素值調節步驟。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述移動部分像素值調節步驟的特徵在於包括一當前述第一光源被導致發光或不發光時計算兩個光源的光強度標量比，作為對應於與移動部分相鄰的靜止部分的一像素的數據的步驟；一使用一徑向基礎函數(RBFRadial Basis Function)計算與所述移動部分的每個像素對應的光強度標量比的步驟；一第一像素值計算步驟，用於在與所述移動部分的每個像素對應的所述光強度標量比的基礎上計算在與僅具有前述第一光源的照射環境中捕獲的圖像等效的一圖像中所述移動部分每個像素的像素值作為所述第一像素值；一第二像素值計算步驟，用於在與所述移動部分的每個像素對應的所述光強度標量比的基礎上計算在與不包括前述第一光源的周圍光照射環境中捕獲的圖像的一圖像中所述移動部分的每個像素的像素值作為所述第二像素值；一第一像素值調節處理步驟，用於基於在前述第一像素值計算步驟中計算的所述第一像素值執行所述像素值調節處理；一第二像素值調節處理步驟，用於基於在前述第二像素值計算步驟計算的所述第二像素值執行所述像素值調節處理；和一像素值加法步驟，用於將在前述第一像素值調節處理步驟和在前述第二像素值調節處理步驟所生成的兩個調節像素值相加。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述像素值調節處理是所述白平衡調節處理，前述第一像素值調節處理步驟是根據基於所述第一光源的前述光分量所設置的參數的所述白平衡調節處理，和前述第二像素值調節處理步驟是根據基於不包含前述第一光源的周圍光所設置的參數的白平衡調節處理。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述移動部分像素值調節步驟的特徵在於還包括一計算所述移動部分的內部周邊像素的像素值與和所述移動部分內部周邊像素相鄰的所述移動部分的外部周邊相素的平均相素值的顏色分量比(αr，αg，αb)的步驟；一通過將所述移動部分中的所有內部周邊像素認為是採樣點並在每個像素對應的所屬顏色分量比的基礎上構成所述徑向基礎函數(RBFRadial Basis Function)的步驟；和在前述徑向基礎函數(RBF)的基礎上計算與所述移動部分的每個像素對應的顏色分量比，並倍增將被補償圖像的顏色分量比，以便獲得一補償像素值的步驟。
此外，根據本發明圖像數據處理方法的一較佳實施例，前述圖像數據處理方法的特徵在於還包括一用於根據多個圖像數據的差數據檢測其中一目標在移動的移動部分的移動檢測步驟；一當前述移動部分整個圖像的比例大於一預定閾值時在藉助於使前述第一光源發光導致的一圖像處理所獲取的圖像數據的基礎上執行所述像素值調節處理的步驟，其中，基於所述第二圖像數據的所述像素值調節數據被設置為一最終像素值調節數據。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，基於前述第二圖像數據的所述像素值調節處理的特徵在於是根據基於前述第一光源的光分量所設置的參數的白平衡調節處理、根據基於不包含前述第一光源的周圍光所設置的參數的白平衡調節處理或根據基於在前述第一光源和不包含前述第一光源光分量的周圍光分量之間的一中間分量所設置的參數的白平衡調節處理。
此外，根據本發明的第二方面提供了一種圖像數據處理裝置，其特徵在於包括一存儲器，用於存儲藉助於使所述第一光源不發光導致的一成像處理所獲取的一第一圖像數據，和藉助於使前述第一光源發光導致的一成像處理所獲取的一第二圖像數據；和一數據處理單元，用於基於在前述存儲器中存儲的所述圖像數據執行一像素值調節處理，其中，前述數據處理單元具有一差圖像數據獲取單元，用於從構成前述第二圖像數據的每個像素的像素值中減去前述第一圖像數據的相應像素的像素值，以便獲取與僅具有前述第一光源的照射環境中捕獲到的所述圖像相對應的所述差圖像數據；一差圖像數據像素值調節單元，用於對前述差圖像數據執行所述像素值調節處理；和一最終像素值調節單元，用於使用在前述差圖像數據像素值調節單元中生成的經調節像素值的圖像數據執行一最終像素值調節。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述數據處理單元還包括一第一圖像數據像素值調節單元，用於執行關於前述第一圖像數據的所述像素值調節處理，和前述最終像素值調節單元被配置成對在前述差圖像數據像素值調節單元和前述第一圖像數據像素值調節單元中生成的經調節像素值的兩個圖像數據的相應像素執行像素值加法處理，並生成所述最終像素值調節圖像數據。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述像素值調節處理是所述白平衡調節處理，前述差圖像數據像素值調節單元被配置成根據基於前述第一光源的光分量所設置的參數執行所述白平衡調節處理，和前述第一圖像數據像素值調節單元根據基於不包括前述第一光源的周圍光分量所設置的參數執行所述白平衡調節處理。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述數據處理單元還包括一像素值加法單元，用於將在前述差圖像數據像素值調節單元中生成的經調節像素值的所述圖像數據的每個像素的像素值加到前述第一圖像數據的相應像素的一像素值上，和前述最終像素值圖像生成單元執行關於在前述像素值加法單元中生成的所述圖像數據的像素值調節，並生成所述最終像素值調節圖像數據。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述像素值調節處理是所述白平衡調節處理，和前述差圖像數據像素值調節單元根據基於不包括前述第一光源的周圍光分量所設置的參數執行所述白平衡調節處理。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述數據處理單元的特徵在於還包括一移動檢測單元，用於在多個圖像數據的所述差數據的基礎上檢測一目標的移動部分；還包括一移動部分像素值調節單元，用於執行關於前述移動部分的像素值調節處理。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述移動部分像素值調節單元的特徵在於當前述第一光源被導致發光和不發光時計算兩個光源的光強度標量比作為對應於與一移動部分相鄰的靜止部分的一像素對應的數據；使用一徑向基礎函數(RBFRadial Basis Function)計算與所述移動部分每個像素對應的所述光強度標量比；在與所述移動部分的每個像素對應的光強度標量比的基礎上，計算在等效於僅具有前述第一光源的照射環境中捕獲的圖像的一圖像中所述移動部分的每個像素的所述像素值，作為所述第一像素值；在與所述移動部分的每個像素對應的所述光強度標量比的基礎上，計算在等效於其中不包括前述第一光源的周圍光照射環境中捕獲的圖像的一圖像中所述移動部分的每個像素的像素值，作為所述第二像素值；在前述第一像素值的基礎上，執行所述像素值調節處理；在前述第二像素值的基礎上，執行所述像素值調節處理；和將所生成的兩個調節像素值相加，以此執行一移動部分像素值調節處理。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述像素值調節處理是所述白平衡調節處理，作為所述白平衡調節處理，執行根據基於前述第一光源的光分量所設置的參數的前述第一像素值調節處理作為所述白平衡調節處理，執行根據基於不包括前述第一光源的周圍光分量所設置的參數的前述第二像素值調節處理。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述移動部分像素值調節單元的特徵在於計算所述移動部分一內部周邊像素的像素值與和所述移動部分的該內部周邊像素相鄰的所述移動部分的一外部周邊像素的像素值的顏色分量比(αr，αg，αb)，在認定所述移動部分中的所有內部周邊像素是採樣點並基於對應於每個像素的所述顏色分量比構建一徑向基礎函數(RBFRadial Basis Fuction)，在前述徑向基礎函數(RBF)的基礎上計算與所述移動部分的每個像素對應的所述顏色分量比，和倍增將被補償的一圖像的所述顏色分量比並由此獲得一補償的像素值。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，前述數據處理單元的特徵在於當由前述移動檢測單元檢測到的前述移動部分的整個圖像的比例大於一預定閾值時，基於藉助於使前述第一光源發光的成像處理所獲取的第二圖像數據執行所述像素值調節處理，從而使基於前述第二圖像數據的所述像素值調節數據被設置為所述最終像素值調節數據。
此外，根據本發明所述圖像數據處理裝置的一較佳實施例，基於前述第二圖像數據的所述像素值調節處理的特徵在於根據基於前述第一光源的光分量所設置的參數執行所述白平衡調節處理、根據基於不包括前述第一光源的周圍光分量所設置的參數執行白平衡調節處理或根據基於在前述第一光源的光分量和不包括前述第一光源的周圍光分量之間的一中間光分量所設置的參數執行所述白平衡調節處理。
此外，本發明的第三方面是一種圖像數據處理方法，該方法的特徵在於一藉助於使前述第一光源不發光導致的一成像處理獲取第一圖像數據的步驟；一藉助於使前述第一光源發光導致的一成像處理獲取一第二圖像數據的步驟；一從構成前述第二圖像數據的每個像素的像素值中減去前述第一圖像數據的相應像素的像素值，以便獲取與在只有前述第一光源的照射環境中捕獲的圖像對應的一差圖像數據的步驟；一差圖像數據像素值調節處理步驟，用於執行關於前述差圖像數據的像素值調節處理；和一最終像素值調節圖像生成步驟，用於使用在前述差圖像數據像素值調節處理步驟中生成的經調節的像素值圖像數據生成一最終像素值調節圖像。
此外，本發明的第四方面是一種圖像數據處理方法，其特徵在於一在所述第一光源的發光條件相同的場合獲取不同時間捕獲到的多個圖像數據的步驟；一基於在前述多個圖像數據中的比較獲取移動信息的步驟；和一根據基於前述移動信息所設置的白平衡執行關於前述多個圖像數據中的一個、一部分、全部或者其它圖像數據的處理的步驟。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，在根據基於前述移動信息所設置的白平衡執行關於在捕獲前述多個圖像數據的時間周期內捕獲到的所述其它圖像數據的處理的步驟中，剛好在捕獲前述多個圖像數據的前後調節相應部分的白平衡。
此外，根據本發明的所述圖像數據處理方法的一較佳實施例，在根據基於前述移動信息所設置的白平衡執行所述處理的步驟中，當基於前述移動信息確定一移動較大時，在周圍光、所述閃光或虛擬光源的中間周圍光和所屬閃光的基礎上執行所述白平衡調節處理。
此外，根據本發明的所述圖像數據處理方法的一較佳實施例，基於前述移動信息執行所述白平衡處理的步驟的特徵在於還包括一自適應地轉換用於所述圖像每個部分的白平衡調節處理，而不是用於整個圖像的均衡處理的步驟，其中，在前述移動信息的基礎上，進一步根據與一相應部分相鄰的靜止部分的圖像數據內插所述圖像，以獲得所述相應部分的圖像數據。
此外，本發明的第五方面是一種圖像數據處理裝置，其特徵在於一成像裝置，用於藉助於使一第一光源不發光導致的一成像處理和使前述第一光源發光導致的一成像處理獲取多個圖像數據；一存儲器，用於存儲藉助於使前述第一光源不發光導致的所述成像處理獲取的第一圖像數據和藉助於使前述第一光源發光導致的所述成像處理獲取的第二圖像數據；和一數據處理單元，用於在存儲在前述存儲器中的圖像數據的基礎上執行一像素值調節處理，其中，前述數據處理單元包括一差圖像數據獲取單元，用於從構成前述第二圖像數據的每個像素的像素值中減去前述第一圖像數據相應像素的像素值，從而獲取與在僅有前述第一光源的照射環境中捕獲到的所述圖像對應的一差圖像數據；一差圖像數據像素值調節單元，用於執行關於前述差圖像數據的像素值調節處理；和一最終像素值調節單元，用於通過使用在前述差圖像數據像素值調節單元中生成的經調節的像素值的圖像數據執行一最終像素值調節。
此外，本發明的第六方面是一種圖像數據處理裝置，其特徵在於一用於在所述第一光源的發光和成像條件相同的場合獲取不同時間捕獲到的多個圖像數據的裝置；
一用於在前述多個圖像數據當中進行比較的基礎上獲取移動信息的裝置；和一用於根據基於前述移動信息所設置的白平衡執行關於前述多個圖像數據中的一個、一部分、全部或者其它圖像數據處理的裝置。
此外，本發明的第七方面是一種電腦程式，用於執行與所述圖像數據相關的處理，該電腦程式的特徵在於一藉助於使一第一光源不發光導致的一成像處理獲取一第一圖像數據的步驟；一藉助於使前述第一光源發光導致的一成像處理獲取一第二圖像數據的步驟；一從構成前述第二圖像數據的每個像素的像素值中減去前述第一圖像數據相應像素的像素值，從而獲取與在前述僅有前述第一光源的照射環境中捕獲到的所述圖像對應的一差圖像數據的步驟；一差圖像數據像素值調節處理步驟，用於執行關於前述差圖像數據的像素值調節處理；和一最終像素值調節圖像生成步驟，用於通過使用在前述差圖像數據像素值調節處理步驟中生成的經調節的像素值圖像數據生成一最終像素值調節圖像。
此外，本發明的第八方面是一種圖像數據處理方法，用於對一具有飽和像素值的圖像數據執行一像素值補償處理，該方法的特徵在於一臨時補償像素值計算步驟，用於輸入包括將被補償並具有其中所述圖像數據中的至少部分像素被設置為最大像素值的一飽和像素的第一圖像數據以及在不同於所述第一圖像數據的曝光條件下捕獲到的一個或多個子圖像數據的多個圖像數據，基於多個輸入圖像數據中相互對應的像素值差獲取一指出在獲取每個圖像數據時曝光條件差的曝光條件差數據，和在所述曝光條件差數據的基礎上計算在前述第一圖像數據中所述飽和像素的臨時補償像素值；和一補償像素值計算步驟，用於執行一標準化處理，以便將前述臨時補償像素值校正為可輸出範圍內的一像素值。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述第一圖像數據在所述飽和像素位置(Xc，Yc)中具有所述像素值(Rc1、Gc1，Bc1)，並且是在不飽和像素(Xu，Yu)中具有所述像素值(Ru1，Gu1，Bu1)的圖像數據；前述子圖像數據包括作為曝光強度低於前述第一圖像數據的捕獲圖像的所述第二圖像數據和作為曝光強度低於所述第二圖像數據的捕獲圖像的第三圖像數據，前述臨時補償像素值計算步驟根據下述等式執行一計算，假設在所述第二圖像數據和第三圖像數據中對應於前述第一圖像數據的不飽和像素(Xu，Yu)的部分中的像素值是(Ru2，Gu2，Bu2)和(Ru3，Gu3，Bu3)，P(Xu,Yu)=((Ru1-Ru3)(Ru2-Ru3))2+((Gu1-Gu3)(Gu2-Gu3))2+((Bu1-Bu3)(Bu2-Bu3))2]]>…(等式1)S=P(Xu,Yu)n]]>…(等式2)和在上述等式1和2的基礎上計算所述曝光條件差數據S。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述補償像素值計算步驟的特徵在於還根據下述等式執行一處理，假設在所述第二圖像數據和第三圖像數據中與前述第一圖像數據的飽和像素(Xc，Yc)對應的位置的像素值是(Rc2，Gc2，Bc2)和(Rc3，Gc3，Bc3)，Rcq＝(Rc2-Rc3)×S+Rc3Gcq＝(Gc2-Gc3)×S+Gc3Bcq＝(Bc2-Bc3)×S+Bc3 …(等式3)和基於前述等式3，計算前述第一圖像數據中所述飽和像素的臨時補償像素值(Rcq，Gcq，Bcq)。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述補償像素值計算步驟的特徵在於計算前述第一像素的不飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)的所有數據的最大值Dmax、關於所述飽和像素(Xc，Yc)的前述臨時補償像素值(Rcq，Gcq，Bcq)，根據下述等式執行所述計算處理，在不飽和像素(Xu，Yu)的情況下，Ruf＝Ru/DmaxGuf＝Gu/DmaxBug＝Bu/Dmax，在飽和像素(Xc，Yc)的情況下，
Rcf＝Rcq/DmaxGcf＝Gcq/DmaxBcf＝Bcq/Dmax …(等式4)和基於前述等式4，計算前述第一圖像數據的不飽和像素的補償像素值(Ruf，Guf，Buf)以及所述飽和像素的補償像素值(Rcf，Gcf，Bcf)。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，在前述第一圖像數據和一個或多個子圖像數據之間的曝光條件的差是照射光強度的差，和前述臨時補償像素值計算步驟基於在多個圖像數據的照射光強度的差計算照射光量的比值，作為前述曝光條件差數據。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，在前述第一圖像數據和一個或多個子圖像數據之間的曝光條件的差是曝光時間的差，和前述臨時補償像素值計算步驟基於多個圖像數據曝光時間的差計算照射光強度的比值，作為前述曝光條件差數據。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述臨時補償像素值計算步驟和前述補償像素值計算步驟的特徵在於計算與前述第一圖像中彩色圖像的每個信號分量相關的補償數據。
此外，根據本發明所述圖像數據處理方法的一較佳實施例，前述臨時補償像素值計算步驟和前述補償像素值計算步驟的特徵在於根據前述第一圖像的亮度分量計算所述補償數據。
此外，本發明的第九方面是一種成像方法，用於捕獲將被存儲到一存儲器中的圖像數據，該方法的特徵在於一成像步驟，用於通過設置不同的曝光條件捕獲圖像；一臨時補償像素值計算步驟，用於輸入包括將被補償並具有其中該圖像數據中的至少部分像素被設置為一最大像素值的第一圖像數據和一個或多個在不同於所述第一圖像數據曝光條件下捕獲的子圖像數據的多個圖像，基於在所述多個圖像數據中彼此對應的像素值差獲取用於指出在獲取每個圖像數據時曝光條件的差的曝光條件差數據，和基於所述曝光條件差計算在前述第一圖像數據中的飽和像素的臨時補償像素值；一補償像素值計算步驟，用於執行一標準化處理，以便將前述臨時補償像素值校正為一可輸出範圍的像素值；和一存儲步驟，用於存儲由前述補償像素值計算步驟補償的像素所組成的所述圖形數據。
此外，根據本發明所述成像方法的一較佳實施例，在前述曝光條件之間的差是照射光強度的差或者是曝光時間的差，前述成像步驟在照射光強度或曝光時間的不同設置條件下捕獲多個圖像，和前述臨時補償像素值計算步驟在所述多個圖像數據的照射光強度或曝光時間差的基礎上計算照射光強度比作為前述曝光條件差數據。
此外，本發明的第十方面是一種圖像數據處理裝置，用於對一具有一飽和像素值的圖像數據執行像素值補償處理，所述圖像數據處理裝置的特徵在於包括一臨時補償像素值計算裝置，用於輸入包括將被補償並具有其中該圖像數據中的至少部分像素被設置為一最大像素值的飽和像素的一第一圖像數據和一個或多個在不同於所述第一圖像數據的曝光條件下捕獲的子圖像數據的多個圖像數據，基於多個圖像數據中彼此對應的像素值差獲取一用於指出在獲取每個圖像數據時曝光調節差的曝光條件差數據，和基於所述曝光條件差數據計算前述第一圖像數據中所述飽和像素的臨時補償像素值；和一補償像素值計算裝置，用於執行一標準化處理，以便將前述臨時補償像素值校正為在一可輸出範圍內的像素值。
此外，本發明的第十一方面是一電腦程式，用於對具有一飽和像素值的圖像數據執行包括像素值補償處理的圖像數據處理，所述電腦程式的特徵在於一臨時補償像素值計算步驟，用於輸入包括將被補償並具有其中所述圖像數據中的至少部分像素被設置為一最大像素值的飽和像素的第一圖形數據和一個或多個在不同於所述第一圖像數據的曝光條件下捕獲的子圖像數據的多個圖像，在多個輸入圖像數據中相應像素值差的基礎上獲取一指出在獲取每個圖像數據時曝光條件差的曝光條件差數據，和在所述曝光條件差的基礎上計算在前述第一圖像數據中所述飽和像素的臨時補償像素值；和一補償像素值計算步驟，用於執行一格式化處理，以便將前述臨時補償像素值校正為在一可輸出範圍內的像素值。
根據本發明的所述結構，可以就在諸如周圍光、閃光等不同光分量相互混合在一起的環境中所捕獲到的圖像穩定地調節所述白平衡，並能夠獲取自然色調的圖像數據。
此外，根據本發明的結構，由於它被結構成能夠就將被在諸如周圍光、閃光等多種不同種類照射光條件下捕獲的圖像轉換成在單種光照射環境中捕獲或生成所述圖像，並相對於單種光照射的每個環境中的圖像執行根據基於每種照射光顏色分量(色溫)所設置的參數的白平衡調節以合成所述圖像，藉此，實現了其中減少了閃光和周圍光之間的色溫差的穩定的白平衡調節處理。
此外，根據本發明的結構，由於它被結構成就目標本身的移動部分能夠以與靜止部分相鄰的像素值為基礎調節和設置所述像素值，所以可以產生像素間平滑變化的自然圖像數據。
此外，本發明的結構對所述像素數據提供適當的像素值補償，在所述像素數據中，由於靠近所述成像裝置的目標處於諸如附著到諸如攝影機的成像裝置上的頻閃儀的照射光的過度照射之下，所以，該目標圖像的所述像素值被飽和。
此外，根據本發明的結構，基於在不同曝光條件下的多個圖像數據獲得所述飽和像素值的臨時補償像素值，和該臨時補償像素值被標準化處理，從而再次被校正為所述可輸出的像素值並進而被輸出或記錄，藉此，在一精確補償像素值計算和所述補償像素值的基礎上，可以輸出和存儲一個清晰的圖像數據。
此外，根據本發明的結構，輸入多個圖像數據，包括將被補償和具有其中是該圖像數據中至少部分像素被設置為一最大像素值的飽和像素的第一圖像數據和一個或多個在不同於所述第一圖像數據曝光條件下捕獲的子圖像數據；基於所述多個圖像數據中相互對應的像素值差，獲取所述曝光條件差數據，該數據指出在獲取每個圖像數據時的曝光條件的差；在所述曝光條件差數據的基礎上，計算前述第一圖像數據中的所述飽和像素的臨時補償像素值；和執行一格式化處理，以將前述臨時補償像素值校正為一可輸出範圍內的像素值，然後，在一精確補償像素值計算和所述補償像素值的基礎上，輸出和存儲一清晰的圖像數據。
另外，一與本發明相符的電腦程式是一種能夠被提供用於一計算機系統的電腦程式，所述計算機系統能夠例如藉助於一種以計算機可讀形式提供的記錄介質和通信媒體執行各種程序碼，所述記錄介質諸如是CD、FD和MO，所述通信媒體諸如是一個網絡。通過提供這種計算機可讀形式的程序，可以在計算機系統上實現根據該程序的處理。
通過下面基於本發明的例子和附圖的詳細描述，本發明的其它方面、特性和優點將變得更加明顯。


圖1用於解釋有關在利用頻閃儀等照射下捕獲的圖像的問題；圖2用於解釋在本發明一圖像處理裝置中捕獲的多個圖像的曝光條件；圖3用於解釋本發明所述圖像處理裝置的硬體結構的例子；圖4用於解釋本發明所述圖像處理裝置中圖像獲取的例子，圖5用於解釋本發明所述圖像處理裝置中多個被捕獲到的圖像的例子；圖6的流程圖用於解釋本發明所述圖像處理裝置中的像素值補償處理；圖7的流程圖用於解釋本發明所述圖像處理裝置中的像素值補償處理；圖8的流程圖用於解釋本發明所述圖像處理裝置中的像素值補償處理；圖9的功能框圖示出了用於在本發明所述圖像處理裝置中執行的與每個功能相關的像素值補償；圖10用於解釋在本發明的所述圖像處理裝置中捕獲的多個圖像的曝光條件；圖11示出了本發明所述圖像數據處理裝置的結構；圖12的流程圖用於解釋本發明圖像數據處理方法的過程；圖13的流程圖用於解釋本發明圖像數據處理方法中基於多個圖像數據的白平衡調節處理的過程；圖14的曲線示出了本發明圖像數據處理方法中基於多個圖像數據的白平衡調節處理的原理；圖15用於解釋在本發明所述圖像數據處理方法中基於所述多個圖像數據的移動部分的檢測處理；圖16的流程圖用於解釋在本發明所述圖像數據處理方法中所述移動部分的像素值調節處理；圖17的曲線用於解釋本發明所述圖像數據處理方法中所述移動部分的像素值調節處理；圖18用於解釋一種機制，在該機制下執行本發明所述圖像數據處理方法中基於所述多個圖像數據的白平衡像素值調節處理；
圖19的流程圖用於解釋在本發明所述圖像數據處理方法中基於所述多個圖像數據的白平衡調節處理的過程；圖20用於解釋一種機制，在該機制下，執行本發明所述圖像處理方法中基於所述多個圖像的像素值調節處理。
具體實施例方式
此後，將結合附圖描述一圖像數據處理方法，一成像裝置，以及用於根據本發明對圖像進行處理的一裝置和方法。將依次描述以下二個主題。
1.用於由於過度光照射而導致的飽和像素值的補償處理2.在其中周圍光和閃光被相互混合的環境中圖像的較佳白平衡調節處理[1.用於由於過度光照射而導致的飽和像素值的補償處理]首先，描述本發明用於對由於過度光照射而導致的飽和像素值執行補償處理的圖像處理裝置、成像裝置和方法的概況。在本發明中，捕獲至少三個或更多個以不同成像模式捕獲的圖像。如圖2(a)和(b)所示，所述多個圖像的成像模式在所述圖像的曝光時間和光強度方面是變化的。第一圖像是將要被補償的圖像，和第二圖像和第三圖像是被用於對所述第一圖像進行補償處理的子圖像。
與傳統方式類似，當例如頻閃儀的發光裝置發射光時，將被進行補償處理的所述第一圖像被曝光。因此，當將被捕獲圖像的目標存在於相對於所述成像裝置一近距離位置和一遠距離位置時，過度的光量被照射到位於靠近所述成像裝置的成像目標上，從而所述圖像(稱做第一圖像)的值(R，G，B)被飽和。另外，在下面的描述中，雖然所述發射裝置被描述為頻閃儀或一閃光，但當所述發射裝置不僅利用了所述頻閃儀和閃光，而且還有其它不同的光照射裝置時，也可以應用本發明的結構。
作為所述子圖像的第二圖像是通過將所述曝光時間設置得短於所述第一圖像的曝光時間所捕獲到的圖像，或者是在其中所述頻閃儀的光強度被減小到所述第一圖像成像時的光強度的情況中捕獲的圖像(稱做第二圖像)。
此外，作為第三圖像的子圖像是一個通過將所述曝光時間設置為比所述第二圖像的曝光時間更短時捕獲到的圖像，或者是在其中所述頻閃儀的光強度仍然低於所述第二圖像成像(或沒有發射光)的情況中捕獲的圖像(稱做第三圖像)。
由於第二圖像與第三圖像具有較少的頻閃光(strobe light)的曝光時間和較低的強度，所以，從整體上看圖像變得較暗。即使它是一個靠近所述成像裝置(攝影機)和距離作為光發射裝置的頻閃儀比較近的目標，照射光的強度也減小，因此，所捕獲到圖像的像素也不會出現飽和的情況。
由於所述第二圖像和第三圖像是暗圖像，所以它沒有被用於觀看。但是，它們包括被所述第一圖像丟失的有用信息。即，有關色度的信息。換言之，從所述第二圖像和第三圖像中可以獲得每個像素中R∶G∶B的比例關係。根據這個信息，恢復第一圖像中飽和像素的數據(特別是色度)。
下面將說明本發明的一特定結構。首先，結合圖3說明本發明一圖像處理裝置的硬體結構的例子。結合圖3描述圖像處理裝置100的每個構成組件。另外，圖3所示的圖像處理裝置100也能夠被插入到所述成像裝置(攝影機)中。
作為該圖像處理裝置100的主控器的CPU(中央處理單元)101在作業系統(OS)的控制下執行各種應用程式。CPU101能夠執行一應用程式以補償從作為成像裝置的數字攝影機150經外部設備接口106一次下載到一HDD111中的圖像。如圖所示，CPU101藉助總線107與其它設備互連。
存儲器102是一個用於存儲在CPU101中執行的程序碼或用於臨時存儲運行中操作數據的存儲設備。應當理解，圖示存儲器102既包括諸如ROM的非易失存儲器，也包括諸如DRAM的易失存儲器。
顯示控制器103是一專用控制器，用於實際處理由CPU101發出的繪製命令。在顯示控制器103中處理的一繪製數據例如在被一次寫入一幀緩存器(未示出)之後通過顯示器108輸出給一屏幕。例如，從HDD(111)再現的圖像和由CPU101處理的圖像被顯示在屏幕108上，藉此使用戶能夠看到它們。
輸入設備接口104是一個用於將諸如鍵盤109、滑鼠110等用戶輸入設備連接到系統100上的設備。所述用戶能夠經過鍵盤109和滑鼠110輸入用於處理和顯示所述圖像的命令等。
網絡接口105可以根據諸如乙太網(Ethernet)的一預定通信協議將系統100連接到諸如LAN(區域網)的本地網絡和諸如網際網路(Internet)的廣域網上。
在一網絡上，以透明狀態連接多個主機端和伺服器(未示出)，和建立一分布式計算環境。在所述網絡上，可以對分布軟體程序和數據內容等提供服務。例如，一圖像數據可被從其中保存有由其它伺服器捕獲到的圖像的其它伺服器中經過所述網絡下載到HDD(111)。
外部設備接口106是一用於將諸如數字攝影機、硬碟驅動器(HDD)111和媒體設備112的外部設備連接到系統100的設備。
HDD111是一個用於固定地承載作為存儲介質的磁碟、在存儲容量、數據傳輸速度等方面優於其它外部存儲裝置並能夠提供隨機訪問的外部存儲裝置。把將被執行的軟體程序放置到所述HDD111上被稱之為在所述系統中「安裝(to install)」所述程序。通常，將由CPU101執行的作業系統的程序碼、應用程式和設備驅動程序等被以非易失方式存儲在HDD111中。例如，下面將要描述的圖像補償程序可以被安裝到HDD111中。
媒體驅動器112是一個被安裝在諸如CD(高密度盤)、MO(磁光碟)、DVD(數字通用盤)的可攜式介質160上的設備，用於訪問它們的數據記錄側。
可攜式介質160被用於主要備份一軟體程序和數據文件等作為計算機可讀的數據，並用於在系統之間移動它們(即，包括銷售、流通和分配)。通過使用這些可攜式介質，可以在多個設備當中實際流通和分配用於執行成像處理的應用程式。
另外，圖3所示成像處理裝置100的例子可以被實現為來自美國IBM公司的個人計算機「PC/AT(Personal Computer/Advanced Technology)」的一兼容機或一後繼的機器。當然，就該實施例而言，也可以使用裝備有其它作為圖像處理裝置100的結構的計算機。此外，還可以通過將其插入到所述數字攝影機內將其實現為在所述數字攝影機內執行處理的結構。
下面將描述在本發明圖像處理裝置中執行的圖像處理的一特定例子。如圖4所示，一攝影者利用作為所述成像裝置的攝影機(數字攝影機)210對個人A(250)成像。所述個人A(250)位於暗室200中，所述攝影者利用頻閃儀211承載攝影機(數字攝影機)210，和所述攝影機210位於靠近個人A(250)的位置處。
攝影機210檢測周圍光的強度並以「頻閃串行成像(strobe serialimaging)」的模式自動成像。另一方面，攝影者操作一有意添加到所述數字攝影機上的按鈕，以便以「頻閃串行成像」的模式成像。另外，所述「頻閃串行成像」模式是這樣一種模式，在這種模式下，持續地捕獲將被在所述圖像處理裝置中進行處理的多個圖像，並且這不是一個通用術語。
在所述「頻閃串行成像」模式下，當所述攝影者推動一個釋放按鈕時，自動地執行多個圖像(例如三個圖像)的串行成像。在所述「頻閃串行成像」模式下，當一釋放按鈕被推動時，首先執行所述成像，同時使一頻閃儀以一傳統方式發射光。所捕獲到的圖像被立即捕獲到所述數字攝像機中的一存儲器(幀存儲器)中作為第一圖像。
在將所述第一圖像捕獲到所述存儲器之中後，再次執行成像，同時使所述頻閃儀發射弱於成像所述第一圖像時的光。然後，將其捕獲到所述攝像機中的存儲器中作為第二圖像。此外，在此之後，在不使所述頻閃儀發光的情況下再次執行所述成像。然後，將其捕獲到所述數字攝像機的存儲器中作為第三圖像。
另外，不存在獲取這些圖像的順序規則。另一方面，可以通過使用多個成像裝置在基本上相同的時間處執行成像。此外，通過推動所述釋放按鈕三次，在有意控制所述頻閃儀的光強度的同時，上述第一圖像、第二圖像以及第三圖像都可以被所述攝影者捕獲到。
根據所述成像可獲得例如圖5所示的圖像。圖5(a)是利用普通光照射捕獲到的所述第一圖像，圖5(b)是利用低強度光照射捕獲到的所述第二圖像，和圖5(c)是利用更低強度的光照射捕獲到的第三圖像。
圖6以流程圖的形式示出了在本發明所述圖像處理裝置100中執行的處理過程。通過使用圖6，將參考圖3所示的圖像處理裝置詳細說明本發明所述圖像處理裝置中執行的處理。
首先，在圖6的步驟1，所述圖像處理裝置100的使用者將用於成像的數字攝像機連接到外部接口106上。另一方面，當所捕獲到的數據位於諸如MO的可攜式介質中時，所述可攜式介質被安裝在媒體驅動器112中。
在步驟2，從諸如數字攝像機或MO的所述可攜式介質中取出將被處理的圖像數據，並將其複製到例如HDD111中。這裡，被捕獲到的圖像數據是多個在上述「頻閃串行成像」模式下捕獲到的多個圖像，即在不同曝光條件下捕獲到的多個圖像數據。例如，它們是如圖5所示的三個圖像數據。在步驟2S，所述圖像數據被進一步發送給存儲器102。當然，雖然它不需要被一次複製到HDD111中，但是，最好將它們複製到HDD111中，以便可以在不連接到諸如數字攝像機或MO的所述可攜式介質的情況下再次觀看它們。然後，處理進行到步驟3。
在步驟3，CPU101分析第一圖像數據，例如圖5(a)所示利用普通光照射所捕獲到的第一圖像數據，並提取一飽和的圖像數據區域，該區域是通過由CPU101判斷所述圖像數據中的每個像素是否存在具有三個分量R、G和B當中的255像素值的一個或多個分量而確定的。
換言之，提取具有像素值R＝255或像素值G＝255或像素值B＝255的值的一像素作為一飽和像素。所述飽和像素位置被設置為(Xc，Yc)。不飽和的像素位置被設置為(Xu，Yu)。然後，處理進行到步驟4。
在步驟4，在所述第二圖像和第三圖像的基礎上計算在步驟3中獲得的所述第一圖像中的飽和像素位置(Xc，Yc)的補償像素數據，即在所述第二圖像和第三圖像的基礎上計算所述補償像素圖像。下面將結合圖7和圖8描述步驟4的特定處理。另外，在圖7和圖8中，步驟41-45示出了圖6所示步驟4的詳細處理，和步驟51-52示出了圖6所示步驟5的詳細處理(格式化處理)。這些處理是由CPU101執行下述的處理實現的。
首先，在步驟41，確定所述第一圖像的飽和的像素(飽和像素)的位置(Xc，Yc)和所述第一圖像中沒有飽和的像素(未飽和像素)的位置(Xu，Yu)，從而獲取像素位置信息。所述飽和的像素(飽和像素)是其中R、G和B中的任何一個都被設置為最大值(例如，255)的一個像素。所述未飽和像素是其它像素，即其中R、G和B的任何一個都沒有被設置為所述最大值(例如，255)的像素。
接著，在步驟42，從所述第二圖像和第三圖像中取出與所述第一圖像中飽和的像素(飽和像素)的位置(Xc，Yc)相同位置中的像素。所述第一飽和的像素的R、G和B分別被表示為Rc1、Gc1和Bc1。在從第二圖像取出的相同位置處的像素的R、G和B被分別表示為Rc2、Gc2和Bc2。此外，在從第三圖像取出的相同位置處的像素的R、G和B被分別表示為Rc3、Gc3和Bc3。
此外，從所述第二圖像和第三圖像中取出與在所述第一圖像中還沒有飽和的像素(未飽和像素)的位置(Xu，Yu)相同位置中的像素。所述第一未飽和像素的R、G和B分別由Ru1、Gu1個Bu1表示。從所述第二圖像中取出的相同位置中的像素的R、G和B分別由Ru2、Gu2和Bu2表示。此外，從所述第三圖像中取出的相同位置中的像素的R、G和B分別由Ru3、Gu3和Bu3表示。
接著，在步驟42，針對所述第一圖像中沒有飽和的像素(飽和像素)的每個位置(Xu，Yu)如下計算(等式1)P(Xu，Yu)P(Xu,Yu)=((Ru1-Ru3)(Ru2-Ru3))2+((Gu1-Gu3)(Gu2-Gu3))2+((Bu1-Bu3)(Bu2-Bu3))2]]>…(等式1)相對於在所述第一圖像中關於沒有飽和的所述像素的位置(Xu，Yu)，利用等式1計算P(Xu，Yu)。進一步，在步驟44，計算所有像素位置的P(Xu，Yu)的平均值S，所述平均值是由下述(等式2)計算的S=P(Xu,Yu)n]]>(等式2)在上述(等式1)和(等式2)中，(Xu，Yu)是所述第一圖像中沒有飽和的像素的位置。n是所述第一圖像中沒有飽和的像素的總數。
由上述(等式1)和(等式2)計算的S指出「當成像第一圖像時所發射的頻閃光的強度＝[高強度頻閃光]」與「當成像第二圖像時所發射的頻閃光的強度＝[低強度頻閃光]」的比值。即，可以是，S指出隨著每個圖像數據的曝光條件不同數據的照射光強度的比值。
換言之，(Ru1-Ru3、Gu1-Gu3、Bu1-Bu3)是通過從關於所述第一圖像中未飽和像素(未飽和像素)的所述第一圖像的像素值(Ru1、Gu1、Bu1)分別減去所述第三圖像的相應位置中的像素值(Ru3、Gu3、Bu3)所得到的差值。所述差值指出通過消除周圍光分量在純碎利用所述[高強度照射光]直接照射的投影位置中的像素值。這裡所述[高強度照射光]是指當獲取所述第一圖像時發射的頻閃光。
類似的，(Ru2-Ru3，Gu2-Gu3，Bu2-Bu3)是通過從在與在所述第一圖像中未飽和的像素(未飽和像素)對應的位置中的所述第二圖像的像素值(Ru2，Gu2，Bu2)中減去在所述第三圖像的相應位置中的像素值(Ru3，Gu3，Bu3)所得到的差值。通過消除周圍光分量，所述差值構成了純碎利用所述[低強度頻閃光]照射的一投影圖像的差值。這裡所述[低強度頻閃光]是指當獲取所述第二圖像時發射的光。
因此，藉助於上述(等式2)所計算的曝光條件差數據S指出「當成像所述第一圖像時發射的頻閃光的強度＝[高強度頻閃光]」與「當成像所述第二圖像時發射的頻閃光的強度＝[低強度頻閃光]」的比值。
由此，藉助於在不同發光條件下捕獲到的三個圖像的基礎上執行的圖像分析處理，可以計算「當成像所述第一圖像時發射的頻閃光的強度＝[高強度頻閃光]」與「當成像所述第二圖像時發射的頻閃光的強度＝[讀強度頻閃光]」的比值S。
另外，在所述成像裝置(攝像機)側或連接到所述攝像機的控制單元，如果可以正確地控制頻閃發射的強度以獲取指出「當成像所述第一圖像時發射的頻閃光的強度＝[高強度頻閃光]」與「當成像所述第二圖像時發射的頻閃光的強度＝[低強度頻閃光]」的比值的數據，那麼，所獲取的數據被作為S。
接著，在步驟45(圖8)，捕獲在所述第一圖像中被飽和的所述像素(飽和像素)的位置(Xc，Yc)，和根據下述(等式3)使用所述曝光條件差數據S計算每個位置(Xc，Yc)中的臨時補償像素值(Rcq，Gcq，Bcq)。
Rcq＝(Rc2-Rc3)×S+Rc3Gcq＝(Gc2-Gc3)×S+Gc3Bcq＝(Bc2-Bc3)×S+Bc3(等式3)然後，利用(等式3)表示的所述臨時補償像素值(Rcq，Gcq，Bcq)分別被設置為相對於在第一像素中的飽和像素位置(Xc，Yc)的臨時補償像素值。
其中，(Xc，Yc)是所述第一圖像中被飽和像素(飽和像素)的位置。由上述(等式3)所計算的值(Rcq，Gcq，Bcq)是所述像素的值，假設所發射的光強度是「當成像所述第二圖像時所發射的頻閃光的強度＝[低強度頻閃光]」的S倍。換言之，它們是假設當利用「當取所述第一圖像時的頻閃光的強度＝[高強度頻閃光]」照射時它們沒有被飽和的前提下的所述像素的值。
因此，由上述(等式3)所計算的像素值可以是超過實際圖像像素值的最大值(例如，255)的值。
由此，在圖6所示處理流程的步驟4(圖7和8的步驟41-45)中，執行一處理，用於利用假設其沒有被飽和的一個假設的像素值、即一個假設的臨時補償像素值(Rcq，Gcq，Bcq)來替換所述第一圖像中的飽和像素。
接著，在步驟5，對於在步驟4對應於在所述飽和像素位置(Xc，Yc)中的像素(Rc，Gc，Bc)和在未飽和像素位置(Xu，Yu)中由像素(Ru，Gu，Bu)構成的所述第一圖像的組成像素值所計算的臨時補償像素值(Rcq，Gcq，Bcq)執行一格式化處理。
如上所述，對於在步驟4像素數據替換處理中所計算的臨時補償像素值(Rcq，Gcq，Bcq)，所有Rc、Bcq或Gcq的值並不總是被設置在範圍0-255之內，其中的任何一個值都可以超過255。在這種場合下不能輸出圖像。然後，執行所述格式化處理，以便使所有像素的R、G和B的值都可以被限制到可允許的輸出值，例如在0-255的範圍內，從而正確的計算補償像素值(Rcf，Gcf，Bcf)。
下面將結合圖8的步驟51和52描述一具體的格式化處理。首先，在步驟51，計算所述第一圖像的最大像素值Dmax。
換言之，分別獲得所述第一圖像的未飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)和由根據所述飽和像素(Xc，Yc)在步驟4(＝步驟41-45)計算的所述臨時補償像素值(Rcq，Gcq，Bcq)構成的所述第一圖像的所有像素的像素值，並計算所有的最大值Dmax。
接著，在步驟52，將所述第一圖像的組成像素的每個像素值除以在步驟51中計算的最大像素值Rmax、Gmax或Bmax，和利用下述(等式4)分別計算在所述未飽和像素位置(Xu，Yu)中的補償像素值(Rus，Guf，Buf)和在所述飽和像素位置(Xc，Yc)中的補償像素值(Rcf，Gcf，Bcf)。
(1)在未飽和像素(Xu，Yu)的情況下，Ruf＝(Ru/Dmax)×255Guf＝(Gu/Dmax)×255Buf＝(Bu/Dmax)×255在飽和像素(Xc，Yc)情況下，Rcf＝(Rcq/Dmax)×255Gcf＝(Gcq/Dmax)×255Bcf＝(Bcq/Dmax)×255 (等式4)由上述(等式4)計算的像素值，即在未飽和像素位置(Xu，Yu)中的補償像素值(Ruf，Guf，Buf)和在飽和像素位置(Xc，Yc)中的補償像素值(Rcf，Gcf，Bcf)可以被保持在0-255之間的值。這些補償像素值被用作輸出像素值。
所述格式化處理並不局限於上述處理。也可以使用諸如在日本專利申請No.2002-025464中描述其它格式化處理。上述日本專利申請是同樣由本發明的申請人申請的專利申請。它提供了一種用於將具有寬動態範圍的圖像(即具有超過255的值的圖像)轉換成具有較窄動態範圍的圖像(即其所有像素值的R，G和B都在0-255範圍之間的圖像)而不會被人的視覺感到不適應的處理方法。通過使用這種處理方法，計算構成所述第一圖像的未飽和像素位置(Xu，Yu)中的補償像素值(Ruf，Guf，Buf)和飽和像素位置(Xc，Yc)中的補償像素值(Rcf，Gcf，Bcf)，藉此以將所有像素的R、G和B的值保持在0-255的範圍內。
在圖6的步驟5(圖8的步驟51和52)的格式化處理之後，處理移動到步驟6。在步驟6，在步驟5重新寫入的所述第一圖像被輸出和處理結束。這個圖像是由在未飽和像素位置(Xu，Yu)中的補償像素值(Ruf，Guf，Buf)和在飽和像素位置(Xc，Yc)中的補償像素值(Rcf，Gcf，Bcf)構成的。
被如此獲得的圖像是這樣一個圖像，在該圖像中，利用假設沒有被飽和所述像素來替換所述第一原始圖像中被飽和的像素，這消除了傳統的缺陷。換言之，能夠避免當一目標在附近時由於頻閃成像導致所述(R，G，B)的值被飽和和導致最亮的白色。
圖9示出了一功能框圖，用於解釋本發明圖像處理裝置中的處理。所述圖像處理裝置能夠以例如具有如前面使用圖3描述的一CPU的PC等來實現。在所述CPU中執行如參考圖6-8所描述的其中記錄有所述處理過程的程序，從而實現所述補償像素值的計算。圖9是一功能框圖，該圖示出了主要在所述CPU中執行並被單獨分塊的處理功能。
在成像單元301中，捕獲其中上述曝光條件是變化的多個圖像(見圖2和圖5)，和該多個圖像被存儲在存儲器302中。在像素值鑑別單元303中，相對於存儲在所述存儲器302中的多個圖像執行像素值鑑別處理，和執行所述多個圖像的像素值的獲取處理。
在像素區域劃分單元304中，在像素值鑑別單元303中獲得的所述第一圖像中的像素值被分成一飽和像素區域和一未飽和像素。所述飽和像素是其中三個分量R，G和B中一個或者多個分量具有最大值(例如，255)的像素。其它的像素是未飽和像素。
第一到第三圖像的所有像素值數據都被取入臨時補償像素值計算單元305。通過使用上述等式1-3，計算所述第一圖像中所述飽和像素位置(Xc，Yc)內的臨時補償像素值(Rcq，Gcq，Bcq)。
在補償像素值計算單元(格式化處理單元)306中，從像素區域劃分單元304輸入所述第一圖像的未飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)。此外，從臨時補償像素值計算單元305輸入所述第一圖像的飽和像素(Xc，Yc)的臨時補償像素值(Rcq，Gcq，Bcq)。根據上述的(等式4)，分別計算在未飽和像素位置(Xu，Yu)中的所述補償像素值(Ruf，Guf，Buf)和在飽和像素位置(Xc，Yc)中的所述補償像素值(Rcf，Gcf，Bcf)。
在輸出單元307中，輸出根據在補償像素值計算單元(格式化處理單元)306中所計算的補償像素值的圖像數據。
另外，圖9所示的結構也可以被配置為一成像裝置(攝像機)。如果是這種情況，如結合上述圖3所述的圖像處理裝置結構可以被插入到所述成像裝置(攝像機)中，藉此以在由例如DVD、CD、快閃記憶體等構成的存儲器單元中存儲所述補償圖像數據。所述成像單元根據上述描述執行持續設置不同曝光條件的處理，獲取多個圖像(見圖2和圖5)，和使所述成像處理單元(見圖3)包含在所述成像裝置中提供的CPU，以便執行上述處理，從而基於在所述存儲器單元中的補償像素值計算所述補償像素值並存儲所述圖像數據。
在根據當前結構的成像裝置中，基於多個圖像所補償的圖像數據被存儲在所述存儲器單元中，從而可以保留其中所述飽和像素值被補償的清晰圖像數據作為記錄數據。
根據本發明的圖像處理裝置或成像裝置，對於具有其中由於普通照射光而導致過度照射光從而使所述像素值為最大並處於飽和狀態的像素區域的圖像數據，通過補償所述像素值計算較佳像素值，藉此輸出或記錄所述清晰的圖像數據。
另外，在上述的例子中，雖然描述了利用普通頻閃光成像、利用低強度頻閃光成像和利用最小強度頻閃光成像的基於三種類型圖像執行像素值補償的結構例，但是它也可以被配置成使用在不同曝光條件下捕獲的四種或更多種圖像執行補償處理。在這種情況下，計算其中每一個都具有利用上述(等式2)所獲得的強度的多個頻閃光的比值。通過將(等式3)運用於它們當中的每一個，計算所述臨時補償像素值。在將所述臨時補償像素值的平均值設置為一最終臨時補償像素值之後，可以藉助於(等式4)執行所述格式化處理。
此外，在上述的較佳實施例中，雖然描述了使用通過改變所述頻閃光的強度捕獲的多個圖像的處理，但是，可以對通過改變曝光時間而捕獲的多個圖像執行類似的補償處理，換言之，可以藉助於上述(等式2)計算基於每個圖像數據曝光時間差的照射光量的比值S，執行類似的補償像素值計算處理等等。
此外，如圖10所示，在取所述第一圖像之前，在不發射所述頻閃光的情況可以捕獲一第三』圖像(third』image)，捕獲(1)第三』圖像(沒有頻閃光)(2)第一圖像(普通頻閃光)(3)第二圖像(低強度頻閃光)，和(4)第三圖像(沒有頻閃光)，計算「所述第三圖像和所述第三圖像的平均值」，和所計算的圖像可以被用作上述中的所述第三圖像。由此，通過執行平均處理，可以補償在串行成像期間由個人A的移動所引起的「圖像間的位移」，並可以減少噪聲。
此外，在上述的較佳實施例中，所述像素值被表示為關於由三種主要顏色(R，G，B)構成的所述圖像數據的補償的例子。藉助於類似的處理，也可以對不是彩色圖像的黑白圖像、即只有亮度數據的圖像執行亮度補償。此外，對於由除RGB以外的顏色所表示的圖像數據，可以通過補償每個數據值來補償飽和的數據。
下面將描述用於在其中周圍光和閃光被混合環境中成像的較佳白平衡調節處理裝置。
圖11示出了根據移實施例的當前例的一成像裝置的結構。如圖11所示，根據該較佳實施例的成像裝置裝備有透鏡501、可變光圈502、固態圖像組件503、關聯雙採樣電路504、A/D轉換器505、DSP塊506、定時發生器507、D/A轉換器508、視頻編碼器509、視頻監視器510、編碼解碼器(CODEC)511、存儲器512、CPU513、輸入設備514、閃光控制單元515和閃光發射裝置516。
這裡，輸入設備514包括諸如是在攝像機殼體中的記錄按鈕的多個手動操作按鈕。此外，DSP塊506是一個具有用於信號處理的處理器和用於圖像的RAM的塊，所述用於信號處理的處理器能夠對存儲在所述用於圖像的RAM中的圖像數據執行先前所編程的圖像處理。所述DSP塊在下面將簡稱之為DSP。
下面將描述較佳實施例的這些例子的操作。
通過一光學系統併到達所述固態圖像組件503的入射光首先到達成像表面上的每個光接收器，然後藉助於在所述光接收器處的光電轉換被轉換為電信號，藉助於關聯雙採樣電路504消除噪聲，藉助於A/D轉換器505轉換為數位訊號，然後暫時存儲在數位訊號處理單元(DSP)506中的圖像存儲器中。另外，如果需要，閃光發射裝置516可以在成像情況下經過閃光控制單元515被導致發光。
在成像期間，定時發生器507控制一信號處理系統，以便以一固定的幀速率保持圖像捕獲。在一像素流也被以一固定速率傳送到其中執行了適當的圖像處理的數位訊號處理單元(DSP)506之後，圖像數據被傳送給D/A轉換器508和/或編碼解碼器(CODEC)511。D/A轉換器508將從數位訊號處理單元(DSP)506傳送的所述圖像數據轉換為模擬信號，該模擬信號並由視頻編碼器509轉換為視頻信號，藉此，可以藉助於視頻監視器510監視所述視頻信號。視頻監視器510在實施例的當前例中起所述攝像機的取景器的作用。此外，編碼解碼器(CODEC)511對從數位訊號處理單元(DSP)506接收的所述圖像數據編碼，和編碼後的圖像數據被記錄在存儲器512中。這裡，存儲器512可以是使用半導體的記錄設備、磁記錄介質、磁光記錄介質和光記錄介質等。
雖然上面描述了實施例的較佳例子的數字攝影機的整個系統，但是在施例的當前例子中，本發明是在數位訊號處理單元(DSP)506中的圖像處理中實現的。下面將詳細描述所述圖像處理的一部分。
如上所述，實施例當前例的圖像處理單元實際上是在數位訊號處理單元(DSP)506中提供的。因此，在實施例當前例的結構中，所述圖像處理單元對輸入的圖像信號流的操作是如下實現的即所述操作單元順序地執行在數位訊號處理單元(DPS)506中的預定程序碼所描述的操作。在下面的說明中，藉助於一流程圖來描述在所述程序中執行的每個處理的過程。但是，除了所述實施例的當前例所描述的所述程序的較佳實施例以外，本發明還可以被結構安裝一硬體電路，該硬體電路被用於實現與下述功能等效的處理。
圖12的流程圖用於解釋對所述數位訊號處理單元(DSP)506內輸入的圖像信號流執行的所述白平衡(WB)調節處理的過程。
在步驟101，使用預先設置的光圈和快門速度，在沒有閃光的情況下執行成像，在步驟102，在沒有閃光情況下捕獲到的圖像被作為一圖像數據I1存儲在一存儲器中。
在步驟103，與步驟101類似，使用預先設置的所述光圈和快門速度，藉助於閃光執行所述成像。在步驟104，利用閃光所捕獲到的該圖像被作為圖像數據I2存儲在所述存儲器中。
接著，在步驟105，與步驟101類似，使用預先設置的光圈和快門速度，再次在沒有閃光的情況下執行成像。在步驟106，在沒有閃光情況下捕獲到的所述圖像被作為圖像數據I3存儲在所述存儲器中。
另外，當繼續成像時，例如以約1/100的第二間隔連續成像時，執行步驟101、103和105的成像。使用從各成像步驟中獲得的多個圖像，執行所述白平衡調節處理並生成其白平衡(WB)被調節的圖像數據。
此外，在步驟102、104和106中存儲在所述存儲器中的圖像數據I1、I2和I3被認為是在模糊補償中得到調節的圖像。換言之，當在攝取三個圖像I1、I2和I3的時間處發生模糊時，所述模糊首先被補償，然後被存儲在所述存儲器中。
換言之，當所捕獲到的圖像是一模糊圖像時，在步驟101和102之間、步驟103和104之間以及步驟105和106之間補償所述模糊，然後經過補償的圖像被存儲到所述存儲器中。因此，存儲在所述存儲器中的圖像數據I1、I2和I3就像一攝像機被安裝在三腳架上的情況下它們被連續捕獲一樣。
另外，模糊補償處理可以使用一傳統已知的處理。例如，使用一加速傳感器檢測位移從而移動透鏡的方法、讀出適當的部分以便可以使用一圖像組件捕獲解析度高於目標解析度的圖像從而不引起位移的方法、或者僅藉助於不使用傳感器的圖像處理校正模糊的方法都是傳統和被廣泛使用的方法。
接著在步驟107，檢測在步驟101、103和105成像三個圖像期間是否存在緣自所述成像目標本身移動的圖像模糊。檢測是否存在由所述成像目標本身的移動導致的任一圖像模糊的處理是通過比較三個圖像中的兩個圖像執行的。例如，使用所述圖像I1和圖像I3能夠檢測一移動部分。作為一個例子，對圖像圖像I1和圖像I3的每個像素取一個差。當所述差大於某個閾值時，相應的像素可以被註冊為一移動部分。當它確定不存在由於成像目標本身的移動而導致的圖像模糊時(步驟108No)，處理進行到步驟112。而當檢測到一移動時(步驟108Yes)，處理進行到步驟109。
在步驟109，確定是否可應用對在步驟107檢測到的所述移動部分執行白平衡(WB)調節的補償處理。該確定處理使用，例如基於在步驟107中被註冊為所述移動部分的像素數量與整個圖像的相書數量的比值所執行的處理。例如，當被註冊為所述移動部分的像素數量與整個圖像的像素數量的比值[比值A]大於某個預定的固定閾值[閾值]時，它確定不可能補償所述像素。當所述比值小於所述閾值時，則確定可以對其進行補償。
當在步驟109確定不可能對其進行補償時，處理進行到步驟113。當確定可以對其進行補償時，處理進行到步驟110。
在步驟113，對利用閃光捕獲到的圖像數據I2執行白平衡(WB)調節，生成輸出圖像R，所述處理結束。用於所述白平衡調節的參數值是根據周圍光分量設置的參數、根據閃光分量設置的參數、或者是基於周圍光和閃光的中間分量設置的參數。由於設置了三種參數，所以能夠執行所述白平衡(WB)調節。另外，這個白平衡調節方法是一種傳統執行的方法，因此，在這裡省略對它們的描述。另外，將被使用的參數是由一3×3矩陣表示的參數，並且是用於轉換構成每個像素顏色的顏色分量的矩陣。至於所述3×3矩陣，使用了除對角以外設置為0的一矩陣。
下面將描述基於步驟110和步驟S112的多個圖像數據的白平衡(WB)調節處理。在步驟110和步驟S112的處理是相同的處理。下面將結合圖13詳細描述該處理。
在步驟201，取得在利用閃光捕獲圖像數據I2的分量和在沒有閃光情況下捕獲的圖像I1的所述像素的每種顏色的分量之間的差，以便生成一差圖像F＝I2-I1，並將其存儲在所述存儲器中。如果所述成像目標在其中沒有閃光執行成像的步驟101和在其中利用閃光執行成像的步驟103中確實沒有移動，那麼，所述差圖像F＝I2-I1等效於在某種場合下僅利用閃光照射成像目標捕獲到的一圖像，在所述場合下，沒有周圍光，只有從所述成像目標反射的閃光，併入射到所述攝像機的所述固態成像組件上。接著，在步驟202，相對於圖像F執行依據所述閃光的色溫的白平衡(WB)調節。換言之，在根據通過依據所述閃光調節所述差圖像數據F所建立的參數的基礎上執行所述白平衡(WB)調節。此外，當所述閃光太亮或太暗時，執行一強度調節，以便使所述圖像的亮度可以變得較佳，從而生成一補償圖像F』。
接著，在步驟203，根據周圍光執行關於在沒有閃光情況下捕獲到的圖像數據I1的白平衡(WB)調節。換言之，基於通過依據周圍光調節在沒有閃光情況下捕獲到的圖像數據I1所建立的參數執行所述白平衡(WB)調節，並由此生成一補償圖像I1』。
這是通過一種傳統使用和廣泛公知的白平衡(WB)調節執行的。在日本專利申請公開No.2001-78202中披露了一種可應用的技術。在日本專利申請公開No.2001-78202中，獲得目標顏色分量數據和周圍光的頻譜分布作為來自利用閃光捕獲到的圖像I2和沒有利用閃光捕獲到的圖像I1之間的差圖像F的發光分量數據，以及一已知閃光的頻譜特徵。使用所述發光分量數據，執行圖像I1的所述白平衡(WB)調節。
接著，在步驟204，通過將所述差圖像F』加到所述補償圖像I1』上生成白平衡(WB)調節圖像R。根據上述步驟，所述白平衡(WB)調節圖像R是這樣一種圖像，即相對於沒有移動的部分，藉助於閃光的分量和藉助於周圍光的分量獨自地受到所述白平衡(WB)調節。
圖14的曲線用於解釋根據圖13所示流程執行的基於兩個圖像的白平衡(WB)調節處理圖像R的生成原理。換言之，該曲線用於解釋基於沒有閃光捕獲到的圖像I1和利用閃光捕獲到的圖像I2生成所述白平衡(WB)調節圖像R的原理。
圖14(a)的曲線示出了利用閃光捕獲到的所述圖像數據I2的坐標位置(x，y)中作為RGB空間上的矢量V3的一像素。所述矢量V3具有作為(R，G，B)的值的(ir，ig，ib)。所述矢量V3是一個基於包括周圍光分量和閃光分量的照射光而獲取的像素值。
因此，該矢量V3等效於矢量V1和V2的和，所述矢量V1基於通過只利用周圍光分量成像獲取的相同坐標(x，y)中的所述像素值，即在沒有閃光情況下捕獲到的像素數據I1，和所述矢量V2包括當在只有閃光而沒有周圍光的假定條件下執行成像時捕獲到的圖像的像素值分量。
因此，由矢量V1表示的像素值被從矢量V3中減掉，以便獲取矢量V2的像素值，即當在只有閃光而沒有周圍光的假定條件下執行成像時捕獲到的所述圖像的像素值。圖14(b)的矢量V2示出了這個結果。根據基於在由所述矢量V2表示的僅有閃光照射條件的像素值中的閃光分量所設置的參數，執行所述白平衡調節，以便計算補償像素值並獲得具有所述補償像素值的矢量V2』。由利用矢量V2』表示的像素值所構成的圖像對應於作為在圖3所示步驟202中所述白平衡調節的結果的所述補償圖像F』。換言之，圖14(a)和圖14(b)的處理等效於圖13所示流程中的步驟201和202。
圖14(c)示出了一處理，在該處理中，根據基於周圍光分量所設置的參數對與基於在沒有閃光捕獲到的所述圖像數據I1的像素值的矢量V1對應的像素值執行所述白平衡(WB)調節，藉此獲得所述補償像素值並獲得具有該補償像素值的矢量V1』。由矢量V1』表示的像素值構成的圖像對應於作為圖13所示步驟203中白平衡調節結果獲得的補償圖像I1』。換言之，圖14(c)的處理等效於圖13所示流程的步驟203。
圖14(d)示出了一處理，在該處理中，由對應於圖14(b)所示補償圖像F』的矢量V2』表示的所述像素值被加到由對應於圖14(c)所示補償圖像I1』的矢量V1』表示的像素值上，藉此以生成具有一最終白平衡調節像素值的白平衡調節圖像數據R。換言之，在某個坐標(x，y)處的白平衡調節像素值是由對應於圖14(b)所示補償圖像F』的矢量V2』所表示的像素值與由對應於圖14(c)所示補償圖像I1』的矢量V1』表示的像素值的結果之和。即，圖14(d)的處理等效於圖13所示流程的步驟204。
在這種方式中，實施例當前例的白平衡調節處理被安排為包含周圍光分量和閃光分量的圖像被分割成兩個圖像，即僅利用周圍光分量捕獲的圖像和僅利用閃光分量捕獲的圖像。僅利用周圍光分量捕獲的圖像被根據基於所述周圍光分量所設置的參數進行白平衡調節處理，和僅利用閃光分量捕獲的圖像被根據基於閃光分量所設置的參數進行所述白平衡調節處理，從而將這些補償像素值再次相相加，以獲得以最終的所述白平衡調節圖像R。在這種方式下，藉助於適用於每個光學分量的參數相對於兩個獨立的光學分量執行所述白平衡調節，從而可以執行以精確的白平衡調節。換言之，可以就像在其中周圍光和閃光是相同顏色的場合中被捕獲一樣地生成一經過調節的圖像。
步驟的描述將繼續返回到圖12所示的流程。當執行如上步驟112所述基於多個圖像的白平衡調節時，所述白平衡調節圖像R被設置為一最終輸出圖像，和處理結束。
另一方面，如果執行如上述步驟110所述基於多個圖像的白平衡調節處理，那麼其情況如下確定是否存在由成像目標本身的移動所導致的圖像模糊和確定將可能對所述圖像模糊進行補償。在步驟111，在步驟110中生成的白平衡調節圖像R當中，對由成像目標本身移動所導致的模糊圖像區域、即所述移動部分區域執行所述像素值補償處理。換言之，對在步驟107檢測到的所述移動部分執行一消除處理，從而校正所述白平衡調節圖像R。考慮到利用閃光捕獲到的圖像數據I2的像素值對應於一從中檢測到作為一輸入的所述移動的所述部分，所以，所述校正處理可以確定關於在所述白平衡調節圖像R中沒有移動部分的像素值的從中檢測到所述移動的所述部分的像素值，藉此例如以合成一最終圖像。
該合成技術將予以描述。在圖像中出現的目標的顏色如下通過所述目標反射光，併入射到一圖像組件並被捕獲。例如，當在所述白光源下在所述圖像上的某個目標是紅色的時，所述目標將反射其頻率等於紅色的可見光，並準確地吸收頻率等於其它顏色的光。換言之，一個目標能夠具有對每個頻率光的特殊反射係數。現在假設所述目標的RGB各顏色分量的光反射係數由(Or，Og，Ob)表示，某種色溫的光由(lr，lg，lb)表示。當所述光出現時，即當利用所述攝像機捕獲到由目標(Or，Og，Ob)反射的光(lr，lg，lb)時，構成被捕獲圖像的所述像素的值(ir，Ig，Ib)可用下述(等式5)表示(ir，Ig，Ib)＝(k*ir*Or，k*Ig*Og，k*Ib*Ob) … (等式5)在上述的等式中，k是一表示所述光的強度的標度值。然後，例如具有諸如周圍光和閃光的作為兩種照射光的光源l(l1r，l1g，l1b)光源2(l2r，l2g，l2b)。當攝像機捕獲到由某個目標(Or，Og，Ob)反射的這兩種光的光時，被所述攝像機捕獲到的圖像的像素值(ir，Ig，Ib)可由下述等式(等式6)來表示(ir，Ig，Ib)＝((k1*l1r+k2*l2r)*Or，(k1*l1g+k2*l2g)*Og，(k1*l1b+k2*l2b)*Ob)…(等式6)其中，k1是表示光源1的強度的標度值，和k2是表示光源2的強度的標度值。
現在假設，Or』＝k1*Or，Og』＝k1*Og，和Ob』＝k1*Ob，則上述等式(等式6)可以被轉換為下述等式(等式7)(ir，Ig，Ib)＝((l1r+k』*l2r)*Or』，(l1g+k』*l2g)*Og』，(l1b+k』*l2b)*Ob』)
(等式7)其中，k』＝k2/k1，和k』是兩個光源的光強度標度比值。即，k』是在由感興趣的像素捕獲的所述目標的一部分中由光源1和光源2發射的光的強度的標度比值。
現在，讓我們考慮某個像素值(ir，ig，ib)，該像素值位於通過所述目標反射周圍光和閃光這兩種光所捕獲的圖像I2上。在上述等式(等式7)中的光源1是周圍光，和光源2是所述閃光。周圍光的顏色(l1r，l1g，l1b)可以利用傳統的用於自動白平衡調節的方法進行測量。此外，由於所述閃光的顏色(l2r，l2g，l2b)為閃光設備所特有，所以，它們是已知的並能夠被事先設置。當k』也是已知的時，像素(ir，ig，ib)可以被分解成周圍光分量(l1r*Or』，l1g*Og』，l1b*Ob』)和閃光分量(k』*l2r*Or』，k』*l2g*Og』，k』*l2b*Ob』)。所述周圍光分量和閃光分量被分離並單獨承受一WB處理。通過將需要重新結構的圖像相加，可以消除由周圍光和閃光之間的色溫差引起的圖像的不自然性。
在結合圖12所述的流程中，相對於在步驟S107檢測到的移動部分，根據上述處理在步驟S111執行所述像素值補償。此後，將描述該處理的一特定例子。
如上所述，在步驟107中，檢測由所述目標本身的移動而導致的圖像模糊是否是在步驟101、103和105中的三個圖像成像期間。通過比較所述三個圖像中的兩個圖像執行是否存在任何由所述目標本身引起的圖像模糊的檢測處理。
例如如圖15所示，當在執行串行成像(a)沒有閃光的圖像I1、(b)利用閃光的圖像I2和(c)沒有閃光的圖像I3的同時球600滾動時，捕獲在(a)的圖像I1和(c)的圖像I3之間的差圖像(d)I3-I1，並檢測區域610，該區域產生了由所述目標本身的移動引起的圖像模糊。
結合圖16和17說明所述移動部分的像素值補償處理的特定處理過程。圖16的流程圖示出了所述移動部分的像素值補償處理的一特定處理過程，圖17示出了包括用於補償的所述移動部分的像素區域，該區域在圖15中是區域610的一部分。
如圖17所示，在確定將要移動的圖像區域內，確定將不移動的所述圖像區域的相鄰像素(包括在周圍8個像素中的位置中的像素)被定義為所述移動部分的內部周邊像素650。另外，在確定將要移動的一圖像區域內，除所述內部周邊像素650以外的像素是移動非周邊像素652。
此外，在確定將不移動的所述圖像區域內，確定將要移動的所述圖像區域的相鄰像素(包括在周圍8個像素中的位置中的像素)被定義為所述移動部分的外部周邊像素651。另外，在步驟103確定將不移動的部分中，除所述移動部分的所述外部周邊像素651以外的像素是靜止部分653的非周邊像素。
相對於所述移動部分的像素，光源1(周圍光)的強度(標度值)k1與光源2(閃光)的強度(標度值)k2的比值，即光強標度比k』＝k2/k1是未知的。現在假設一正確經受目標白平衡(WB)調節和所述移動部分已經被補償的像素具有一種所述移動部分和所述靜止部分的像素值平滑改變的像素結構。在該假設情況下，相對於所述移動部分的外部周邊像素651計算光強標度比k』的值。相對於所述移動部分的外部周邊像素651，由於在上述等式(等式7)中的周圍光分量(l1r*Or』，l1g*Og』，和l1b*Ob』)等於沒有閃光捕獲的圖像數據I1中的對應像素的值，所以，可以在利用閃光捕獲的圖像數據I2的像素值(ir，ig，ib)和等式(等式7)的基礎上計算所述光強標度比k』＝k2/k1的值。相對於移動部分651，外部周邊像素651的光源1(周圍光)的強度(標度值)k1與光源2(閃光)的強度(標度值)k2的比值k』＝k2/k1的計算處理是在圖16所示步驟301執行的。
根據步驟301的處理，可以計算相對於移動部分的外部周邊像素651的光強標度比k』。但是，與包括在所述移動部分中的像素對應的光強標度比k』的值是未知的。根據對應於所述移動部分的外部周邊像素651所計算的k』的值對對應於包括在所述移動部分中的像素的光強標度比k』的值進行內插。作為內插方法的一個例子所給出的處理是使用徑向基礎函數(RBFRadialBasis Function)。有關使用所述RBF進行數據內插的文獻例如是J.C.Carr的「利用Radial Basis Function(徑向基礎函數)的三維對像的重構和表示」，ACMSIGGRAPH2001，Los Angeles，CA，pp67-76，和12-17 August2001。
所述Radial Basis Function(徑向基礎函數)是指其中一個色調值隨著到一中心點的距離的增加(或減少)而減少(或增加)，輪廓線變成一超球面(兩維中的圓或橢圓)。為了通過構建一個被用於使一條線穿過其高度未知的採樣點並變得儘可能平滑的函數解決估計一未知點高度值的問題，已經知道可以僅添加位於已知採樣點中心的RBF。具體地說，當所述採樣點位於兩維空間時，使所述採樣點是{Ci=(Cix,Ciy)}(1in)]]>(其中，Cix，Ciy分別表示在一採樣點處的一X坐標值和一Y坐標值)和使各點處的高度為{hi}(1≤i≤n)，然後，使用所述RBF以下述等式(等式8)表示預期函數 f(x)=p(x)++J=1ndj(x-cj)]]>… (等式8)其中，p(x)=p0+p1x+p2y.]]>另外，作為一基礎函數 的例子，還有(x)=|x|]]>或(x)=|x|2log|x|]]>等。但是，不能只利用上述等式(等式8)來規定{di}(1≤i≤n)，{pi}(0≤i≤2)。然後計算滿足下述等式(等式9)的{di}(1≤i≤n)，{pi}(0≤i≤2)j=1ndj=j=1ndjcjx=j=1ndjcjy=0]]>… (等式9)因此，可以根據f(ci)=p(ci)+j=1ndi(ci-cj)]]>和等式(等式9)計算(未知數n+3，等數n+3){di}(1≤i≤n)，{pi}(0≤i≤2)。
如果 是通過假設在是一個採樣的所述移動部分中的所述外部周邊像素651中的光強標度比k』構成的，那麼，可以計算在任一位置中的光強標度此k』。這個處理是基於圖16步驟302所示的所述採樣點的光強標度比k』(在所述移動部分的外部周邊像素651中的k』)的RBF結構處理。
藉助於所述RBF結構處理，可以假定被確定將要移動部分的光源1(周圍光)的強度(標度值)k1與對應於利用閃光捕獲的圖像數據I2上每個像素的光源2(閃光)的強度(標度值)k2的比值，即對應於包括在所述移動部分中的每個像素的光強標度比K』∶k』＝k2/k1。通過使用與每個像素對應的假定光強標度比k』，所述圖像I2的移動區域部分被分解為周圍光分量和閃光分量，和根據每種光的色溫分別執行所述白平衡(WB)調節處理。
換言之，由於能夠計算所述移動部分的每個像素位置中的光強標度比k』，所以，所述k』、在利用閃光捕獲的圖像數據I2的每個像素位置中的像素值(ir，ig，ib)和光源1(周圍光)的已知光分量(l1r，l1g，l1b)以及光源2(閃光)的光分量(l2r，l2g，l2b)都被代入到上述等式(等式7)中，從而獲得僅僅基於所述光源(周圍光)的所述目標的反射係數(Or』，Og』，Ob』)。
此外，計算當只利用周圍光分量照射時的所述目標的像素值(l1r*Or』，l1g*Og』，l1b*Ob』)和只利用閃光分量照射時所述目標的像素值(k』*l2r*Or』，k』*l2g*Og』，k』*l2b*Ob』)，並通過根據在前結合圖13和14描述的各光分量所設置的獨立參數對其中的每一個執行二次白平衡調節。藉助於所述調節數據的重組處理，計算所述最終白平衡調節像素值。
概括地說，所述移動部分的像素值的補償過程執行下述a-f的處理。
a.首先，作為與移動部分相鄰的靜止部分的像素對應的數據，計算在所捕獲到的目標的部分像素中的兩種光之間的光強標度比，這兩種光是僅從上述第一光源發射的光和從沒有上述第一光源的周圍光發射的光。
b.使用徑向基礎函數(RBFRadial Basis Function)，計算對應於所述移動部分的每個像素的所述光強標度比。
c.在對應於所述移動部分的每個像素的所述光強標度比的基礎上，計算與僅利用所述第一光源的照射環境下捕獲到的圖像等效的圖像中所述移動部分的每個像素的像素值，作為所述第一像素值。
d.在對應於所述移動部分的每個像素的所述光強標度比的基礎上，計算與在不包括所述第一光源的周圍光照射環境下捕獲到的圖像等效的圖像中所述移動部分的每個像素的像素值，作為所述第二像素值。
e.在所述第一像素值的基礎上執行所述像素值調節處理(白平衡調節)，和在所述第二像素值的基礎上執行所述像素值調節處理(白平衡調節)。
f.將兩個生成的被調節的像素值相加。
由此，相對於包括在所述移動部分中的所述像素的白平衡(WB)調節像素值重寫在圖12步驟110中生成的圖像數據R，藉此以獲得所述第一補償圖像數據R』。換言之，只有相對於由所述目標的移動引起的所述移動區域的像素值被重置以用於在步驟111中所捕獲到的圖像，並重寫在步驟110所生成的白平衡調節圖像R，以便獲得所述第一補償圖像數據R』。
另外，如在圖13所示處理流程中所述，當執行所述閃光的級別(level)補償(S202)時，在執行等效級別補償之後以及當計算所述移動部分的像素值時，基於周圍光分量和閃光分量的白平衡調節像素值被相加。
由此，所述移動部分的像素值被重置，和與所述圖像R的移動部分區域對應的像素被改寫。這個處理是圖16步驟303中的處理。
但是，在以在上述移動區域中重置的像素值重寫已經在步驟110中生成的所述白平衡調節圖像R的方式獲得的所述第一補償圖像R』中，在所述移動部分的所述重置像素和原始圖像R的靜止部分的像素之間的邊界不可能是平滑的。一個原因是不可能精確地測量周圍光的顏色。另一個原因是在利用閃光等捕獲的圖像I2中可能發生增白現像。因此，為了照顧這種情況，還要執行平滑設置所述邊界部分的顏色轉換處理。
具體地說，執行圖16中步驟304-306所示的處理。首先，在步驟304，在所述第一補償圖像R』的移動部分的所述內部周邊像素650的像素值的某個像素a654(見圖17)的像素值和與所述像素a654相鄰的像素(在包括在8個周圍像素中的位置中的像素)的所述移動部分的外部周邊像素(圖17中的像素655)的所述第一補償圖像R』的值的平均值之間計算每種顏色分量的比值(αr，αg，αb)。該比值被用作對應於所述像素a654的顏色補償比數據。類似的，計算與在所述移動部分中所述內部周邊像素650的所有位置中的每個像素對應的每個顏色分量的比值(αr，αg，αb)，作為與所述像素對應的顏色補償比數據，並用作與每個像素對應的顏色補償比值數據。接著，在步驟305，使用作為採樣點的所述移動部分中所有內部周邊像素650建立基於所述顏色補償比值數據的RBF。
最後，在步驟306，相對於所述移動部分的每個像素，根據基於所建立的顏色補償比值數據的RBF，計算與所述移動部分的每個像素對應的顏色補償比值數據(αr，αg，αb)，和將在所述第一補償圖像R』中設置的每個像素的像素值乘以對應像素的顏色補償比值數據(αr，αg，αb)，藉此以獲得一個新的像素值，並在將所述像素值認定為是所述移動部分的像素的情況下執行一第二顏色轉換。通過執行所述第二顏色轉換除了所獲得的第二補償圖像R」是所述輸出圖像。這個處理是在圖16所示步驟306中執行的處理。
另外，在通過圖16所示步驟303執行的處理獲得的所述第一補償圖像R』中，當在所述移動部分的圖像和靜止部分的圖像之間的邊界具有平滑連接時，可以省略步驟304到步驟306的處理。
在上面的描述中，描述了相對於在其它點處內插在所述採樣點處的值的方法以及使用所述RBF的方法，但是，其它的方法也可以被用於內插。上述處理是圖12中的步驟111的處理的具體例子。因此，當從串行捕獲的多個圖像中檢測到基於目標本身移動的圖像模糊時，執行根據圖16所示流程的處理，由上述處理生成的所述第二補償圖像R」或所述第一補償圖像R』是最後輸出的圖像。
另外，當事先已知所述目標本身沒有移動時，不再需要圖12中的步驟107到111的處理。此外，由於步驟108的判定總是「NO」，所以，不需要執行步驟108的判定處理，因此，不再需要創建和存儲用於在步驟108進行判定的數據的步驟105和106。
因此，當事先已知所述目標本身沒有移動時，在步驟105中沒有閃光捕獲到的圖像I3不再是需要的圖像。在這種情況下，只有沒有閃光捕獲到的圖像I1和利用閃光捕獲到的圖像I2這兩種圖像。
此外，使用將閃光稱之為當所述目標是暗的時發射光的發光裝置的術語進行了描述。除此之外，所述閃光還經常被稱之為頻閃光，它並不局限於所述閃光，由此，本發明被應用於當所述目標是暗的時通常發光的發光裝置。
如上所述，在較佳實施例的例子中，關於利用多種不同光、閃光、周圍光等照射捕獲到的圖像，獲取並生成在單一照射光環境下捕獲到的圖像；相對於在各單一照射光環境下的圖像，執行根據基於各照射光的顏色分量(色溫)所設置的參數的白平衡調節處理；通過合成這些圖像，可以實現其中閃光和周圍光的色溫差被減小的精確白平衡調節處理。
圖18的框圖示出了執行根據所述較佳實施例的例子的處理的數位訊號處理單元(DSP)(與圖11的DSP506等效)的功能結構。
下面將描述圖18所示的所述數位訊號處理單元(DSP)中的處理並與圖12所示的流程對比。
分別在圖12的步驟101-106中捕獲的沒有閃光的圖像I1、利用閃光的圖像I2和沒有閃光的圖像I3分別被存儲在幀存儲器701、702和703中。另外，內置於所述數位訊號處理單元(DSP)中的一存儲器或連接到總線上的一存儲器(圖11的存儲器512)可被用做存儲圖像的幀存儲器。
在移動檢測單元709中執行步驟S107的移動檢測。如前結合圖15所述，該處理是藉助於沒有閃光的圖像I1和沒有閃光的圖像I3的差數據執行的檢測處理。
在步驟112基於多個圖像數據的白平衡調節處理是如先前結合圖13和圖14所描述處理。
首先，在沒有閃光的圖像I1和利用閃光的圖像I2的基礎上，在一差圖像計算單元704中計算所述差圖像數據F＝I2-I1(見圖13，S201)。接著，在一白平衡調節單元707中根據基於所述閃光的分量所設置的參數對所述差圖像數據F＝I2-I1、即與僅利用閃光照射捕獲到的圖像等效的圖像F執行所述白平衡調節處理(圖13，S202)。此外，在白平衡調節單元705中對沒有閃光的圖像I1執行根據基於在周圍光分量假定單元706中估計的周圍光分量的估計值所設置的參數的白平衡調節處理(圖13，S203)。
此外，在像素值加法單元708中將由這兩種白平衡調節處理所捕獲的兩個圖像的像素值相加(圖13，S204)。
當移動部分沒有包括在所捕獲到的圖像中時，在移動部分補償像素值計算單元710中不執行處理，但具有在所述像素值加法單元708中相加的像素值的圖像數據被經過一輸出開關單元712輸出，作為一白平衡調節圖像。目的地是一用於進行數字-模擬轉換的D/A轉換器508(見圖11)、用於編碼處理的編解碼器511等。
另一方面，所述目標本身的移動區域是作為在移動檢測單元709中藉助於基於沒有閃光的圖像I1和沒有閃光的圖像I3的差數據的移動檢測的結果檢測的。此外，在移動部分補償像素值計算單元710中，執行如在前結合圖16和圖17所述的所述移動部分像素值的補償(轉換)，經過輸出開關單元712輸出具有其中所述移動部分已經被替換為所述補償像素值的像素值的圖像。
白平衡調節單元711執行圖12處理流程中步驟113的處理。換言之，當在移動檢測單元709中檢測到所述移動區域時，但是如果由於在整個圖像中移動區域的比例太大而確定補償是不可能的，那麼，輸入利用閃光的圖像I2，和執行根據預定參數的白平衡調節，從而經過所述輸出開關單元712輸出它。
另外，圖18所示的結構示出了每個獨立的處理單元，以便解釋所述功能，但是，實際的處理可以利用所述DSP中的一處理器根據一用於執行與上述每個處理流程相符的程序來執行。
(白平衡調節處理的實施例的第二個例子)在上述白平衡調節處理中，如結合圖13和圖14所述，可以計算關於周圍光分量和閃光分量中每種光分量的單一照射光圖像數據。相對於所述圖像，描述了所述結構例，在這種結構中，根據基於周圍光分量和閃光分量所設置的參數執行所述白平衡調節處理。
下面將說明關於對應於僅具有閃光照射光條件的差圖像數據F＝I2-I1的結構例子，其中，所述白平衡調節處理是根據基於周圍光分量所設置的參數執行的。
圖19示出了基於等效於圖13所示流程的實施例的當前例的多個圖像數據的白平衡調節處理流程。
在步驟401，獲得在利用閃光捕獲到的圖像數據I2的像素和沒有閃光捕獲的圖像I1的像素之間的每個顏色分量的差，以生成將被存儲在所述存儲器中的差圖像F＝I2-I1。所述差圖像F＝I2-I1與以其中在沒有周圍光場合下僅利用閃光照射所述成像目標、僅有從所述成像目標反射的閃光入射到攝像機固態成像組件上的方式捕獲到的圖像等效。接著，在步驟402，相對於所述圖像F，執行根據周圍光的色溫的白平衡(WB)調節以生成補償圖像F』。即，根據基於所述差圖像數據F與所述周圍光的色溫相匹配所設置的參數執行所述白平衡(WB)調節，從而生成所述補償圖像F』。
在這種情況下，由於允許在所述差圖像F和沒有閃光捕獲到的圖像I1的各個像素之間進行直接補償，所以，執行所述白平衡調節處理，以便使所述閃光可以與所述周圍光的顏色相匹配。作為該WB處理的一特定的例子，使用在沒有閃光情況下捕獲到的像素(ri，gi，bi)，位於與所述差圖像F的像素(rf，gf，bf)相同位置處的像素、所述差圖像F的所述像素的分量R、B與在沒有閃光情況下捕獲到的圖像I1的像素的G信號的級別相匹配，然後，使用下述(等式10)和(等式11)執行所述像素值的轉換。
rf′＝rf*(gi/gf)… (等式10)bf′＝bf*(gi/gf)… (等式11)然後，通過比較rf′和ri以及bf′和bi得到下述值。
ar＝ri/rf′＝(ri*gf)/(rf*gi)… (等式12)aB＝bi/bf′＝(bi*gf)/(bf*gi)… (等式13)通過對所有的像素使用上述(等式12)和(等式13)獲得的ar和ab來計算所述WB參數。通過將所獲得的參數乘以所述圖像F的每個像素的R分量和B分量執行所述白平衡調節。根據該處理，圖像F被轉換成如同在利用與周圍光具有相同顏色的閃光照射時所捕獲到的圖像，從而被用做所述圖像F』。
進一步，在步驟403，所述差圖像F』與在沒有閃光時捕獲到的圖像I1被合成到一起，從而生成第一白平衡調節圖像R1。所述第一白平衡調節圖像R1變成其周圍光和閃光的色溫彼此相互匹配的圖像。
最後，在步驟404，執行相對於所述第一白平衡調節圖像R1的白平衡調節處理，並進一步生成一第二白平衡調節圖像R2。
在步驟404，由用戶設置的值可被用於所述WB的參數。通過使用已知的自動白平衡技術，可以被改變，以便使所述第二白平衡調節處理圖像R2可以具有一自然的色調。
通過使用根據較佳實施例的該例子的處理，獲得了強調了周圍光分量的所述白平衡調節。具體地說，當由於晚間光而使周圍光微紅時，即當具有較高的R分量時，根據周圍光的調節，獲得諸如將整個圖像調節到微紅色調的結果。
圖20的框圖示出了執行根據較佳實施例的該例子的所述數位訊號處理單元(DSP)(等效於圖11所示的DSP506)的基本結構。
下面將結合圖20描述在數位訊號處理單元(DSP)中執行的處理並與圖19所示的流程對比。
在圖12的步驟101-106中捕獲的沒有閃光的圖像I1、利用閃光的圖像I2和沒有閃光的圖像I3被分別存儲在幀存儲器801、802和803中。
在沒有閃光的圖像I1和利用閃光的圖像I2的基礎上，在差圖像計算單元804中計算所述差圖像數據F＝I2-I1(圖19，S401)。接著，在白平衡調節單元805中對所述差圖像數據F＝I2-I1，即與僅具有閃光照射條件下捕獲到的圖像等效的所述圖像F執行根據基於周圍光分量所設置的參數的白平衡調節處理(圖19，S402)。進一步，在像素值加法單元806中，通過該白平衡調節處理所捕獲到的補償圖像F』的像素值和沒有閃光的圖像I1的像素值被相相加，並生成第一白平衡調節圖像R1(圖19，S403)。然後，在所述白平衡調節單元807中，執行相對於所述第一白平衡調節圖像R1的白平衡調節，並生成第二白平衡調節圖像R2。
當所述移動部分沒有包括在所捕獲的圖像中時，在移動部分補償像素值計算單元809中不執行所述處理，經過輸出開關單元811輸出作為所述白平衡調節圖像的第二白平衡調節圖像R2。目的地是執行數字-模擬的轉換的D/A轉換器508(見圖11)、執行編碼處理的編碼器511。
另一方面，作為藉助於基於沒有閃光的圖像I1和沒有閃光的圖像I3的差數據移動檢測的結果，在運動檢測單元808中檢測目標本身的移動區域。此外，在移動部分補償像素值計算單元809中，執行如前面結合圖16和圖17所述的移動部分的像素值的補償(轉換)，並經過輸出開關單元811輸出具有其中所述移動部分已經被所述補償像素值替換的像素值數據的圖像。
白平衡調節單元810在圖12所示的處理流程的步驟113執行所述處理。換言之，當在移動檢測單元808中檢測到所述移動區域時，但是如果它確定由於整個圖像中的移動區域的比例太大而導致不可能進行補償，那麼，輸入利用閃光的圖像I2，並執行根據一預定參數的白平衡調節，從而經過所述輸出開關單元811輸出它。
另外，圖20所示的結構單獨地示出了每個處理單元，以便解釋所述功能，但是，實際處理可以是通過在所述DSP中的一處理器根據用於執行與上述每個處理流程相符的處理的程序執行的。
根據較佳實施例的該例子，能夠獲得強調了周圍光分量的白平衡調節。
已經就特定的實施例詳細地描述了本發明，但是，對於本領域普通技術人員來講很明顯，在不脫離本發明的範圍的前提下可以對所述較佳實施例的例子做出修改或替換。換言之，僅僅是藉助於舉例披露了本發明，因此該說明的內容並不是作為限制，所附權利要求被解釋為確定本發明的特性。
另外，可以藉助於硬體、軟體或軟硬體的結合來執行上述的一系列處理。當藉助於軟體執行處理時，具有所記錄的處理順序的程序可以被插入到置於一專用硬體設備內部的一計算機內的一存儲器中，另外，可以使用能夠執行各種處理插入其中和執行所述程序的一通用計算機。
例如，所述程序可以事先被記錄到作為記錄介質的一硬碟或一ROM(只讀存儲器)中。另外，所述程序還可以被永久或暫時地存儲到諸如軟盤、CD-ROM(高密度盤只讀存儲器)、MO(磁光)盤、DVD(數字通用盤)、磁帶、半導體存儲器等的可拆卸記錄介質中。
另外，所述程序可以經過上述可拆卸記錄介質安裝到一計算機中、從下載一側無線發送給所述計算機、或者經導線或諸如LAN(區域網)、Internet等的網絡發送給所述計算機。所述計算機可以接收待被安裝到諸如內置硬碟的記錄介質中的如此發送的程序。
另外，上述說明書中所描述的各種處理不僅可以按照上述的時間順序執行，還可以根據需要或根據執行所述處理的設備的吞吐能力來執行。此外，在該說明書中，系統是指多個設備的邏輯組結構，因此，不必在同一個殼體中提供每個設備。
工業實用性如上所述，根據本分明的結構，可以精確地調節在諸如周圍光和閃光的不同光分量相互混合的環境下所捕獲到的圖像的白平衡，並獲取自然色調的圖像數據。
此外，根據本發明的結構，由於它是被如下構建的，即就將被在諸如周圍光和閃光等多個不同種類照射光下捕獲的圖像而言，在單種光照環境中捕獲或生成所述圖像，並根據基於每種照射光的顏色分量(色溫)所設置的參數執行關於在每個單種照射光環境下圖像的白平衡調節，以便合成它們，所以可以實現一其中閃光和周圍光之間的色溫差被減小的精確白平衡調節處理。
此外，根據本發明的結構，由於它是被如下構建的，即就所述目標本身的移動部分而言，基於相鄰的無移動部分的像素值調節和設置所述像素值，所以，可以生成像素間可以平滑變化的自然圖像數據。
此外，根據本發明的結構，可以對所述圖像數據提供一種適當的像素值補償，在所述圖像數據中，由於靠近諸如攝像機的成像裝置的所述目標被諸如頻閃儀的照射光的過度照射而導致所述目標圖像的像素值被飽和。
此外，根據本發明的結構，在不同曝光條件下基於多個圖像數據獲得所述飽和像素的臨時補償像素值，和對該臨時補償像素值執行格式化處理，以便將其再次校正為可輸出的像素值，然後輸出或記錄，藉此，能夠在精確補償像素值計算和所述補償像素值的基礎上輸出和存儲一清晰的圖像數據。
此外，根據本發明的結構，輸入包括將被補償和具有其中所述圖像數據中的至少部分像素值被設置為最大像素值的第一圖像數據和一個或多個在不同於所述第一圖像數據的曝光條件下捕獲的子圖像數據的多個圖像數據；在所述多個輸入圖像數據的相應像素值差的基礎上，獲取曝光條件差數據，該數據指出在獲取每個圖像數據時所述曝光條件的差；在所述曝光條件差的基礎上，計算在上述第一圖像數據中所述飽和像素的臨時補償像素值；和執行所述格式化處理，以便將所述臨時補償像素值校正為一可輸出範圍內的像素值，由此，在所述精確補償像素值計算和所述補償像素值的基礎上，輸出和存儲所述清晰的圖像數據。
權利要求
1.一種捕獲的圖像數據處理方法，其特徵在於一相減步驟，從構成藉助於一第一光源發光導致的成像處理獲取的第二圖像數據的每個像素的像素值減去藉助於一使所述第一光源不發光導致的成像處理獲取的第一像素數據的相應像素的像素值，和獲得與僅有所述第一光源照射環境下所捕獲的一圖像對應的差圖像數據；一差圖像數據像素值調節處理步驟，相對於所述差圖像數據執行一像素值調節處理；和一最終像素值調節圖像生成步驟，應用在所述差圖像數據像素值調節處理步驟中生成的經調節的像素值的圖像數據，並生成一最終像素值調節圖像。
2.根據權利要求1所述的捕獲的圖像數據處理方法，其特徵在於還包括一第一圖像數據像素值調節處理步驟，相對於所述第一圖像數據執行像素值調節處理；其中所述最終像素值調節圖像生成步驟是一對通過所述差圖像數據像素值調節處理步驟和所述第一圖像數據像素值調節處理步驟獲取的經調節像素值的兩個圖像數據的相應像素執行像素值加法處理並生成最終像素值調節圖像數據的步驟。
3.根據權利要求2所述的捕獲的圖像數據處理方法，其特徵在於所述像素值調節處理是一白平衡調節處理；所述差圖像數據像素值調節處理步驟是根據基於所述第一光源的光分量所設置參數的白平衡調節處理，和所述第一圖像數據像素值調節處理步驟是根據基於不包含所述第一光源的周圍光分量所設置參數的白平衡調節處理。
4.根據權利要求3所述的捕獲的圖像數據處理方法，其特徵在於所述參數是由一3×3矩陣表示的，所述矩陣用於構成每個像素顏色的顏色分量的轉換。
5.根據權利要求4所述的捕獲的圖像數據處理方法，其特徵在於所述3×3矩陣是一除了對角分量以外被設置為0的矩陣。
6.根據權利要求1所述的捕獲的圖像數據處理方法，其特徵在於還包括一將在所述差圖像數據像素值調節處理步驟中生成的經調節像素值的圖像數據的每個像素的像素值加到所述第一圖像數據的相應像素的像素值上的像素值加法步驟；其中，所述最終像素值調節圖像生成步驟是一對在所述像素值加法步驟中生成的所述圖像數據執行所述像素值調節並生成所述最終像素值調節圖像數據的步驟。
7.根據權利要求6所述的捕獲的圖像數據處理方法，其特徵在於所述像素值調節處理是一白平衡調節處理；所述差圖像數據像素值調節處理步驟是一根據基於不包含所述第一光源的周圍光分量所設置的參數的白平衡調節處理。
8.根據權利要求1所述的捕獲的圖像數據處理方法，其特徵在於還包括一移動檢測步驟，根據多個圖像數據的所述差數據檢測其中一目標移動的移動部分；和一移動部分像素值調節步驟，相對於所述移動部分執行像素值調節處理。
9.根據權利要求8所述的捕獲的圖像數據處理方法，其特徵在於所述移動部分像素值調節步驟具有一當所述第一光源發射光和不發射光時計算兩個光源的光強度標量比，以作為與一移動部分相鄰的無移動部分的像素對應的數據的步驟；一使用一徑向基礎函數(RBF)計算與所述移動部分的每個像素對應的光強度標量比的步驟；一第一像素值計算步驟，在與所述移動部分的每個像素對應的所述光強度標量比的基礎上計算與在僅有所述第一光源照射環境中捕獲的圖像等效的圖像中作為所述第一像素值的所述移動部分的每個像素的像素值；一第二像素值計算步驟，在與所述移動部分的每個像素對應的所述光強度標量比的基礎上計算與在其中不包括所述第一光源的周圍光照射環境中捕獲的圖像等效的圖像中作為所述第二像素值的所述移動部分的每個像素的像素值；一第一像素值調節處理步驟，基於在所述第一像素值計算步驟計算的所述第一像素值執行所述像素值調節處理；一第二像素值調節處理步驟，基於在所述第二像素值計算步驟計算的所述第二像素值執行所述像素值調節處理；和一像素值加法步驟，將在所述第一像素值調節處理步驟和所述第二像素值調節處理步驟中生成的兩個調節像素值相加。
10.根據權利要求9所述的捕獲的圖像數據處理方法，其特徵在於所述像素值調節處理是一白平衡調節處理；所述第一像素值調節處理步驟是根據基於所述第一光源的光分量所設置的參數的白平衡調節處理；和所述第二像素值調節處理步驟是根據基於不包含所述第一光源的周圍光分量所設置的參數的白平衡調節處理。
11.根據權利要求8所述的捕獲的圖像數據處理方法，其特徵在於所述移動部分像素值調節步驟還具有一計算所述移動部分的內部周邊像素的像素值和與所述移動部分的內部周邊像素相鄰的所述移動部分的外部周邊像素的平均像素值的顏色分量比(αr、αg、αb)的步驟；一通過將所述移動部分的所有內部周邊像素看作是多個採樣點並基於與每個像素對應的所述顏色分量比構成所述徑向基礎函數(RBF)的步驟；和一在所述徑向基礎函數(RBF)的基礎上計算與所述移動部分的每個像素對應的顏色分量比，並倍增將被補償圖像的顏色分量比和獲得一補償像素值的步驟。
12.根據權利要求1所述的捕獲的圖像數據處理方法，其特徵在於還包括一移動檢測步驟，用於根據多個圖像數據的所述差數據檢測其中一目標移動的移動部分；和一當所述移動部分的整個圖像的比例高於一預定閾值時，在藉助於使所述第一光源發光的一成像處理獲取的所述第二圖像數據的基礎上執行所述像素值調節處理的步驟；其中基於所述第二圖像數據的所述像素值調節數據被設置為一最終像素值調節數據。
13.根據權利要求12所述的捕獲的圖像數據處理方法，其特徵在於基於所述第二圖像數據的所述像素值調節處理是根據基於所述第一光源的光分量所設置的參數的白平衡調節處理、根據基於不包含所述第一光源周圍光分量所設置的參數的白平衡調節處理或根據基於在所述第一光源和不包含所述第一光源的光分量的周圍光分量之間的一中間光分量所設置的參數的白平衡調節處理。
14.一種捕獲的圖像數據處理裝置，其特徵在於包括一存儲器，用於存儲藉助於使所述第一光源不發光導致的一成像處理獲取的一第一圖像數據，和藉助於使所述第一光源發光導致的一成像處理獲取的一第二圖像數據；和一數據處理單元，用於在所述存儲器中存儲的所述圖像數據的基礎上執行一像素值調節處理；所述數據處理單元包括一差圖像數據獲取單元，用於從構成所述第二圖像數據的每個像素的一像素值中減去所述第一圖像數據的相應像素的像素值，從而獲取與僅有所述第一光源的照射環境中捕獲的圖像相對應的差圖像數據；一差圖像數據像素值調節單元，用於執行相對於所述差圖像數據的所述像素值調節處理；和一最終像素值調節單元，用於通過使用在所述差圖像數據像素值調節單元中生成的經調節的像素值的圖像數據執行一最終像素值調節。
15.根據權利要求14所述的捕獲的圖像數據處理裝置，其特徵在於所述數據處理單元還包括一第一圖像數據像素值調節單元，用於對所述第一圖像數據執行像素值調節處理；其中所述第一像素值調節單元被配置成對在所述差圖像數據像素值調節單元和所述第一圖像數據像素值調節單元中生成的經調節的像素值的兩個圖像數據的相應像素執行像素值加法處理，並生成所述最終像素值調節圖像數據。
16.根據權利要求15所述的捕獲的圖像數據處理裝置，其特徵在於所述像素值調節處理是一白平衡調節處理；所述差圖像數據像素值調節單元被配置成根據基於所述第一光源的光分量所設置的參數執行所述白平衡調節處理；和所述第一圖像數據像素值調節單元被配置成根據基於不包括所述第一光源的周圍光分量所設置的參數執行所述白平衡調節處理。
17.根據權利要求14所述的捕獲的圖像數據處理裝置，其特徵在於所述數據處理單元還包括一像素值加法單元，用於將在所述差圖像數據像素值調節單元中生成的經調節的像素值的像素數據的每個像素的像素值加到所述第一像素數據的相應像素的像素值上，和所述最終像素值調節圖像生成單元相對於在所述像素值加法單元中生成的圖像數據執行像素值調節，並生成所述最終像素值調節圖像數據。
18.根據權利要求17所述的捕獲的圖像數據處理裝置，其特徵在於所述像素值調節處理是一白平衡調節處理；所述差圖像數據像素值調節單元根據基於不包括所述第一光源的周圍光分量所設置的參數執行所述白平衡調節處理。
19.根據權利要求14所述的捕獲的圖像數據處理裝置，其特徵在於所述數據處理單元包括一移動檢測單元，用於在多個圖像數據之間的差數據的基礎上檢測一目標的移動部分；和一移動部分像素值調節單元，用於相對於所述移動部分執行像素值調節處理。
20.根據權利要求19所述的捕獲的圖像數據處理裝置，其中，所述移動部分像素值調節單元的特徵在於當所述第一光源被導致發光或不發光時，計算兩個光源的光強度標量比，作為與一移動部分相鄰的一靜止部分的像素對應的數據；通過應用一徑向基礎函數(RBF)計算與所述移動部分的每個像素對應的光強度標量比；在對應於所述移動部分的每個像素的光強度標量比的基礎上，計算作為與在僅有所述第一光源的照射環境中捕獲的圖像等效的一圖像中的所述移動部分的每個像素的第一像素值的一像素值；在對應於所述移動部分的每個像素的光強度標量比的基礎上，計算作為與其中不包括所述第一光源的周圍光照射環境中捕獲的圖像等效的一圖像中的所述移動部分的每個像素的第二像素值的一像素值；在所述第一像素值的基礎上執行像素值調節處理；在所述第二像素值的基礎上執行像素值調節處理；和將所生成的兩個調節像素值相加以執行一移動部分像素值調節處理。
21.根據權利要求20所述的捕獲的圖形數據處理裝置，其特徵在於所述像素值調節處理是一白平衡調節處理；根據基於所述第一光源的光分量所設置的參數執行所述第一像素值調節處理作為所述白平衡調節處理；和根據基於不包括所述第一光源的周圍光分量所設置的參數執行所述第二像素值調節處理作為一白平衡調節處理。
22.根據權利要求19所述的捕獲的圖形數據處理裝置，其中，所述移動部分像素值調節單元的特徵在於計算所述移動部分的一內部周邊像素的像素值與所述移動部分的該內部周邊像素相鄰的所述移動部分的一外部周邊像素的像素值的平均值的顏色分量比(αr，αg，αb)；通過將所述移動部分中的所有內部周邊像素看作是採樣點在對應於每個像素的所述顏色分量比的基礎上構成一徑向基礎函數(RBF)；在所述徑向基礎函數(RBF)的基礎上，計算與所述移動部分的每個像素對應的所述顏色分量比；和倍增將被補償圖像的所述顏色分量比，和獲得一補償像素值。
23.根據權利要求19所述的捕獲的圖像數據處理裝置，其中，所述數據處理單元的特徵在於當由所述移動檢測單元檢測到的所述移動部分的整個圖像的比例高於一預定閾值時，在藉助於使所述第一光源發光導致的成像處理獲取的所述第二圖像數據的基礎上執行所述像素值調節處理，和基於所述第二像素數據的所述像素值調節數據被設置為最終像素值調節數據。
24.根據權利要求23所述的捕獲的圖像數據處理裝置，其特徵在於基於所述第二圖像數據的所述像素值調節處理執行根據基於所述所述第一光源的光分量所設置的參數的白平衡調節處理、根據基於不包括所述第一光源的周圍光分量所設置的參數的白平衡調節處理或根據基於在所述第一光源的光分量和不包括所述第一光源的周圍光分量之間的中間光分量設置的參數的白平衡調節處理。
25.一種捕獲的圖像數據處理方法，其特徵在於包括一藉助於使所述第一光源不發光導致的一成像處理獲取一第一圖像數據的步驟；一藉助於使所述第一光源發光導致的一成像處理獲取一第二圖像數據的步驟；一從構成所述第二圖像數據的每個像素的像素值中減去所述第一圖像數據的相應像素的像素值，和獲取與在只有所述第一光源的照射環境中捕獲的所述圖像對應的一差圖像數據的步驟；一差圖像數據像素值調節處理步驟，相對於所述差圖像數據執行像素值調節處理；和一最終像素值調節圖像生成步驟，通過使用在所述差圖像數據像素值調節處理步驟中生成的經調節的像素值圖像數據生成一最終像素值調節圖像。
26.一種捕獲的圖像數據處理方法，其特徵在於一獲取在一第一光源發光條件相同的場合下在相互不同的時間處所捕獲多個圖像數據的步驟；一基於在所述多個圖像數據中進行的比較獲取移動信息的步驟；和一根據基於所述移動信息所設置的白平衡執行相對於所述多個圖像、它們的一部分、它們的全部或其它圖像數據的處理的步驟。
27.根據權利要求26所述的捕獲的圖像數據處理方法，其特徵在於在根據基於所述移動信息所設置的白平衡執行處理的步驟中，在捕獲所述多個圖像數據的期間內或者剛好在捕獲所述多個圖像數據的前後相對於對應於捕獲的其它圖像數據的部分調節所述白平衡。
28.根據權利要求26所述的捕獲的圖像數據處理方法，其特徵在於在根據基於所述移動信息所設置的白平衡執行所述處理的步驟中，當根據所述移動信息確定一移動較大時，在周圍光、閃光或在周圍光和所述閃光之間的一虛擬光源的基礎上執行所述白平衡調節處理。
29.根據權利要求26所述的捕獲的圖像數據處理方法，其特徵在於基於所述移動信息設置的白平衡加工處理的步驟還包括自適應地轉換用於所述圖像每個部分的白平衡調節處理而不是用於整個圖像的均勻處理，和在所述移動信息的基礎上，根據與一相應部分相鄰的一靜止部分的圖像數據內插所述圖像，從而獲得所述相應部分的圖像數據的步驟。
30.一種捕獲的圖像數據處理裝置，其特徵在於包括一成像裝置，用於藉助於使一第一光源不發光導致的成像處理和一使所述第一光源發光導致的一成像處理獲取多個圖像數據；一存儲器，用於存儲藉助於使所述第一光源不發光導致的所述成像處理獲取的第一圖像數據和藉助於使所述第一光源發光導致的所述成像處理獲取一第二圖像數據；和一數據處理單元，用於基於存儲在所述存儲器中的所述圖像數據執行一像素值調節處理；其中所述數據處理單元包括一差圖像數據獲取單元，用於從構成所述第二圖像數據的每個像素的像素值中減去所述第一圖像數據相應像素的一像素值，從而獲取與在僅具有所述第一光源的照射環境中捕獲到的所述圖像對應的一差圖像數據；一差圖像數據像素值調節單元，用於相對於所述差圖像數據執行一像素值調節處理；和一最終像素值調節單元，用於通過使用在所述差圖像數據像素值調節單元中生成的經調節的像素值的圖像數據執行一最終像素值調節。
31.一種捕獲的圖像數據處理裝置，其特徵在於包括；一用於在一第一光源的發光和成像條件相同的場合獲取在相互不同時間處捕獲到的多個圖像的裝置；一用於在所述多個圖像數據之間比較的基礎上獲取移動信息的裝置；和一用於根據基於所述移動信息所設置的白平衡相對於所述多個圖像數據、它們的一部分、它們的全部或者其它圖像數據執行一處理的裝置。
32.一種計算機可讀程序，用於使一計算機執行多個圖像數據處理的步驟，所述電腦程式的特徵在於包括一藉助於使一第一光源不發光導致的一成像處理獲取一第一圖像數據的步驟；一藉助於使所述第一光源發光導致的一成像處理獲取一第二圖像數據的步驟；一從構成所述第二圖像數據的每個像素的像素值中減去所述第一圖像數據相應像素的一像素值，和獲取與在僅有所述第一光源的照射環境中捕獲的所述圖像對應的一差圖像數據的步驟；一差圖像數據像素值調節處理步驟，相對於所述差圖像數據執行一像素值調節處理；和一最終像素值調節圖像生成步驟，通過使用在所述差圖像數據像素值調節處理步驟中生成的經調節的像素值圖像數據生成一最終像素值調節圖像。
33.一種圖像數據處理方法，用於相對於具有一飽和像素值的圖像數據執行一像素值補償處理，該方法的特徵在於包括一臨時補償像素值計算步驟，輸入多個圖像數據，所述多個圖像數據包括將被補償並具有其中所述圖像數據的至少部分像素被設置為最大像素值的飽和像素的第一圖像數據和一個或多個在不同於所述第一圖像數據的曝光條件下捕獲到的子圖像數據；在多個輸入圖像數據彼此對應像素值差的基礎上，獲取曝光條件差數據，該數據指出在獲取每個圖像數據時的曝光條件差；和基於所述曝光條件差數據計算所述第一圖像數據中所述飽和像素的臨時補償像素值；和一補償像素值計算步驟，執行一標準化處理，以便將所述臨時補償像素值校正為在一可輸出範圍內的像素值。
34.根據權利要求33所述的圖像數據處理方法，其特徵在於所述第一圖像數據具有在飽和像素位置(Xc，Yc)中的像素值(Rc1，Gc1，Bc1)和在非飽和像素位置(Xu，Yu)中的像素值(Ru1，Gu1，Bu1)；所述子圖像數據包括曝光強度低於所述第一圖像數據曝光強度時捕獲到的一第二圖像數據和其曝光強度低於所述第二圖像數據的曝光強度時捕獲到的一第三圖像數據；所述臨時補償像素值計算步驟根據下述等式執行一計算處理，並假設在所述第二圖像數據和第三圖像數據中與所述第一圖像數據的非飽和像素(Xu，Yu)對應的位置中的所述像素值是(Ru2，Gu2，Bu2)和(Ru3，Gu3，Bu3)，P(Xu,Yu)=((Ru1-Ru3)(Ru2-Ru3))2+((Gu1-Gu3)Gu2-Gu3)2+((Bu1-Bu3)(Bu2-Bu3))2]]>...(等式1)S=P(Xu,Yu)n]]>...(等式2)和基於上述(等式1)和(等式2)計算一曝光條件差數據S。
35.根據權利要求33所述的圖像數據處理方法，其特徵在於所述補償像素值計算步驟根據下述等式執行一計算處理，假設在所述第二圖像數據和第三圖像數據中與所述第一圖像數據的飽和像素(Xc，Yc)對應的位置的像素值是(Rc2，Gc2，Bc2)和(Rc3，Gc3，Bc3)Rcq＝(Rc2-Rc3)xS+Rc3Gcq＝(Gc2-Gc3)xS+Gc3Bcq＝(Bc2-Bc3)xS+Bc3... (等式3)和基於上述(等式3)，計算所述第一圖形數據的所述飽和像素的臨時補償像素值(Rcq，Gcq，Bcq)。
36.根據權利要求33所述的圖像數據處理方法，其特徵在於所述補償像素值計算步驟根據下述等式執行計算處理，計算所述第一圖像的非飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)的所有數據的最大值Dmax，相對於飽和像素(Xc，Yc)的臨時補償像素值(Rcq，Gcq，Bcq)，其中，非飽和像素(Xu，Yu)，Ruf＝Ru/DmaxGuf＝Gu/DmaxBuf＝Bu/Dmax其中，飽和像素(Xc，Yc)，Rcf＝Rcq/DmaxGcf＝Gcq/DmaxBcf＝Bcq/Dmax...... (等式4)和基於(等式4)，計算所述第一圖像數據的非飽和像素的補償像素值(Ruf，Guf，Buf)和所述飽和像素的補償像素值(Rcf，Gcf，Bcf)。
37.根據權利要求33所述的圖像數據處理方法，其特徵在於在照射光強度方面，在所述第一圖像數據和一個或多個子圖像數據之間的曝光條件的差是不同的；和所述臨時補償像素值計算步驟基於作為所述曝光調節差數據的多個圖像數據的照射光強的差計算照射光數量的比值。
38.根據權利要求33所述的圖像數據處理方法，其特徵在於在曝光時間方面，在所述第一圖像數據和所述一個或多個子圖像數據之間的曝光條件差是不同的，和所述臨時補償像素值計算步驟基於在作為曝光條件差數據的多個圖像數據的曝光時間差計算照射光強的比值。
39.根據權利要求33所述的圖像數據處理方法，其特徵在於所述臨時補償像素值計算步驟和所述補償像素值計算步驟的特徵在於計算關於所述第一圖像中彩色圖像的每個信號分量的補償數據。
40.根據權利要求33所述的圖像數據處理方法，其特徵在於所述臨時補償像素值計算步驟和所述補償像素值計算步驟根據所述第一圖像的亮度分量計算所述補償數據。
41.一種用於捕獲將被存儲到一存儲單元中的圖像數據的方法，其特徵在於一成像步驟，基於所設置的不同曝光條件捕獲圖像；一臨時補償像素值計算步驟，輸入多個圖像數據，該多個圖像數據包括將被補償並且具有其中所述圖像數據中的至少部分像素被設置為最大像素值的飽和像素的第一圖像數據和其曝光條件不同於所述第一圖像數據曝光條件下捕獲的一個或多個子圖像數據；基於所述多個輸入圖像數據的彼此對應的像素值差獲取一曝光條件差數據，該數據指出獲取每個圖像數據時曝光條件的差；和基於所述曝光條件差數據計算所述第一圖像數據中飽和像素的臨時補償像素值；一補償像素值計算步驟，用於執行一標準化處理，以便將所述臨時補償像素值校正為在一可輸出範圍內的像素值；和一存儲步驟，用於存儲由利用所述補償像素值計算步驟所補償的像素值所構成的圖像數據。
42.根據權利要求41所述的成像方法，其特徵在於在所述曝光條件之間的差是所述照射光強方面的差或是在曝光時間方面的差，所述成像步驟在照射光強或曝光時間的不同設置條件下捕獲多個圖像數據，和所述臨時補償像素值計算步驟基於作為曝光條件差數據的所述多個圖像數據的照射光強或曝光時間的差計算照射光強的比值。
43.一種捕獲的圖像數據處理裝置，用於相對於具有一飽和像素值的圖像數據執行像素值補償處理，所述圖像數據處理裝置的特徵在於包括一臨時補償像素值計算裝置，用於輸入多個圖像數據，該多個圖像數據包括將被補償並具有其中至少部分所述圖像數據的的像素被設置為一最大值的飽和像素的第一圖像數據和在與不同於所述第一圖像數據曝光條件下捕獲的一個或多個子圖像數據；基於所述多個輸入圖像數據中彼此對應的像素值差獲取一曝光條件差數據，該數據指出在獲取每個圖像數據時曝光條件的差，和基於所述曝光條件差數據計算所述第一圖像中所述飽和像素的一臨時補償像素值；和一補償像素值計算裝置，用於執行一標準化處理，以便將所述臨時補償像素值校正為在一可輸出範圍內的像素值。
44.一種電腦程式，用於執行包括關於具有一飽和像素值的圖像數據的像素值補償處理的圖像數據處理，所述電腦程式的特徵在於一臨時補償像素值計算步驟，用於輸入多個圖像數據，所述多個圖像數據包括將被補償並且具有其中所述圖像數據中至少部分像素被設置為最大值的飽和像素的第一圖像數據和在不同於所述第一圖像數據的曝光條件下捕獲一個或多個子圖像數據；基於所述多個輸入圖像數據的相應的像素值差獲取一曝光條件差數據，該數據指出在獲取每個圖像數據時曝光條件的差，和基於所述曝光條件差數據計算所述第一圖像數據中所述飽和像素的一臨時補償像素值；和一補償像素值計算步驟，用於執行一標準化處理，以便將所述臨時補償像素值校正為在一可輸出範圍內的像素值。
全文摘要
提供了一種用於在諸如周圍光和閃光被相互混合的不同顏色環境下捕獲的圖像的精確白平衡調節處理。相對於將被在諸如周圍光和閃光的多種不同類型照射光下捕獲到的圖像，在單一光照射環境中捕獲或生成所述圖像。對在每種單一光照射環境中的圖像執行根據基於每種照射光的顏色分量(色溫)所設置參數的所述白平衡，併合成它們。此外，相對於目標本身的移動部分，本發明被配置為基於相鄰靜止部分的像素值補償和建立所述像素值，因為可以生成具有像素間平滑變化的自然圖像數據。
文檔編號H04N5/235GK1669333SQ0381717
公開日2005年9月14日 申請日期2003年6月19日 優先權日2002年7月18日
發明者山田類, 大木光晴 申請人:索尼株式會社