圖像合成設備、圖像拾取設備、圖像合成方法和程序的製作方法
2023-04-29 23:33:16 1
專利名稱：圖像合成設備、圖像拾取設備、圖像合成方法和程序的製作方法
技術領域：
本發明涉及被配置以合成在不同圖像拾取條件下拍攝的兩個或多個圖像 的圖像合成設備、圖像拾取設備、圖像合成方法和程序。
背景技術：
在逆光拍攝場景或拍攝亮度差大的場景時，可能僅關於具有與拍照對象
的亮度匹配的曝光時間段的標準圖像發生白色模糊(white-out)或黑色模糊 (black-out)效應。
為了克服該問題，拍攝具有不同曝光時間的兩個或多個非標準圖像以由 通過將非標準圖像乘以在標準圖像中過亮或過暗的區域中的合成增益獲得的 圖像替代，以增大產生的圖像的動態範圍，然後與輸出比特匹配地壓縮該產 生的圖像。
在這種情況下由合成增益連接標準圖像和非標準圖像，以使得不合適的 合成增益可能導致連接的邊界中的假輪廓(false contouring )。
所以，如日本專利特開No. Hei 7-131708公開的，通過在長/短替換的亮 度級的像素中，獲得將非標準圖像乘以兩個圖像信號之間的比率的合成增益， 可以忽略由於入射光強度的差異造成的光電轉換的差異等。
發明內容
然而，如果在背光場景中出現汙跡，例如，由不合適的合成增益的計算 引起假輪廓(圖1)。
並且，當拍攝移動對象時，在兩個或多個圖像中相同像素位置的信號並 不總是相同對象的。在這種情況下，獲得不合適的圖像信號比率，使得計算 不合適的合成增益，造成假輪廓。
因此，本發明的一個實施例提出與現有技術的方法和設備相關的上述標 識的及其他問題，並通過提供被配置以防止由於汙跡的影響、對象的運動等 造成出現假輪廓的圖像合成設備、圖像拾取設備、圖像合成方法和程序來解決所述提出的問題。
在執行本發明時且根據其第一實施例，提供了圖像合成設備。該圖像合 成設備具有被配置以從具有不同曝光時間的多個圖像信號確定合成增益的合
成控制模塊；和被配置以利用由合成控制模塊確定的合成增益來合成多個圖
像信號的合成處理模塊。在該圖像合成設備中，在確定合成增益時，合成控 制模塊參考預定的預測圖像信號比率，以從合成增益確定的對象中排除具有 不適於確定合成增益的圖像信號的像素位置的域。
在執行本發明時且根據其第二實施例，提供了圖像拾取設備。該圖像拾 取設備具有被配置以連續地拍攝具有不同曝光時間的多個圖像的圖像拾取單
元；和被配置以合成由圖像拾取單元拍攝的多個圖像的圖像合成單元。在該 圖像拾取設備中，圖像合成單元具有用於從由圖像拾取單元拍^t聶的具有不同 曝光時間的多個圖像信號確定合成增益的合成控制模塊和用於利用由合成控 制模塊確定的合成增益來合成多個圖像信號的合成處理模塊，且合成控制模 塊在確定合成增益時，參考預定預測圖像信號比率以從合成增益確定的對象 中排除具有不適於合成增益的確定的圖像信號的像素位置的域。
適當地，上述合成控制模塊從適當地曝光的圖像中的替換閾值的信號電 平計算具有在預測誤差內的信號電平的像素的信號電平的比率。
適當地，上述合成控制模塊從曝光時間的比率來對預測圖像信號比率進 行預測，以利用在預測誤差內的信號比率來從預測圖像信號比率計算合成增 益。
在執行本發明時且根據其第三實施例，提供了圖像合成方法。該固像合 成方法具有步驟從具有不同曝光時間的多個圖像信號確定合成增益；和利 用在合成增益確定步驟中確定的合成增益來合成多個圖像信號。在該圖像合 成方法中，在合成增益確定步驟中，在確定合成增益時，參考預定的預測圖 像信號比率，以從合成增益確定的對象中排除具有不適於確定合成增益的圖 像信號的像素位置的域。
在執行本發明時且根據其第四實施例，提供了被配置以使得計算機執行 圖像合成處理的程序。該圖像合成處理具有步驟從具有不同曝光時間的多 個圖像信號確定合成增益；和利用在合成增益確定步驟中確定的合成增益來 合成多個圖像信號。在該圖像合成處理中，在合成增益確定步驟中，在確定 合成增益時，參考預定的預測圖像信號比率，以從合成增益確定的對象中排除具有不適於確定合成增益的圖像信號的像素位置的域。
如上所述，根據本發明的實施例，在從具有不同曝光時間的兩個或多個 圖像信號確定合成增益時，圖像控制模塊預先確定適當的預測圖像信號比率。 然後，圖像控制模塊參考預測圖像信號比率以從合成增益確定的對象排除中 具有不適於合成增益的確定的圖像信號的像素位置的域。
根據本發明的實施例，可以抑制由於汙跡的影響造成的假輪廓的出現。
圖1是示出由於出現汙跡而出現假輪廓的圖2是圖示應用作為本發明的一個實施例實踐的圖像合成設備的圖像拾
取設備的示例性配置的示意圖3是圖示與上述實施例相關的合成控制模塊的示例性配置的框圖； 圖4是示出由與上述實施例相關的增益確定部分進行的未受汙跡等的影
響而影響的增益確定過程的流程圖5是圖示在標準圖像和非標準圖像之間的相關性的示意圖6是示出在分開的域中的圖像信號比率的示例性直方圖的圖7是圖示直到圖4所示的步驟ST12和步驟ST13中的合成增益計算的
流程的第一特定示例的圖；且
圖8是圖示直到圖4所示的步驟ST12和步驟ST13中的合成增益計算的
流程的第二特定示例的圖。
具體實施例方式
將參考附圖通過其實施例的方式進一步詳細地描述本發明。 現在，參考圖2,示出了應用實踐為本發明的一個實施例的圖像合成設 備的圖像拾取設備的示例性配置。
在與上述實施例相關的圖像合成設備中，當從具有不同曝光時間的兩個 或多個圖像信號確定合成增益時，預先確定適當的預測圖像信號比率。該圖 像合成設備被配置以通過經由參考預測圖像信號比率，從合成增益確定部分 排除具有不適於合成增益確定部分的圖像信號的像素位置的域，來抑制出現 假輪廓。
圖像拾取設備10具有圖像拾取單元20和圖像合成單元30。圖像拾取單元20具有鏡頭21、光低通濾波器22、圖像拾取裝置23、圖 像拾取裝置控制模塊24和模數(A/D)轉換器25。
圖像合成單元30具有存儲器31、合成控制模塊32、合成處理模塊33 和壓縮模塊34。
應當注意，這裡，存儲器是圖像合成單元30的部件；然而，可以僅從圖 像合成單元30訪問存儲器，以使得例如，可以將存儲器布置在圖像拾取單元 20 —側或布置在圖像拾取單元20和圖像合成單元30之間。
在圖像拾取單元20中，從鏡頭21通過光低通濾波器22將拍照對象圖像 投影到圖像拾取裝置23的圖像拾取表面。圓像拾取裝置23由電荷耦合器件 (CCD)傳感器或者互補金屬氧化物半導體(CMOS)傳感器組成。
該圖像拾取裝置控制模塊24被配置以對圖像拾取裝置23執行控制，以 使得在一個圖像拾取操作拍攝具有不同曝光的兩個或多個圖像。在本實施例 中，拍攝兩個圖像信號；以適當的曝光拍攝的具有白色模糊的標準圖像信號 和以相對短的時間拍攝的具有黑色模糊的非標準圖像信號。由A/D轉換器25 將所拍攝的圖像信號轉換為待記錄到存儲器31的數位訊號。
合成控制模塊32通過參考記錄到存儲器31的圖像信號，來確定用於圖 像合成的合成增益G和替換閾值電平T。將在之後描述用於由合成控制模塊 32確定合成增益G和替換閾值電平T的特定處理。合成控制模塊32向合成 處理模塊33提供所確定的合成增益G和替換閾值電平T。
合成處理模塊33通過利用從合成控制模塊32提供的合成增益G和替換 閾值電平T,來合成記錄到存儲器31的標準圖像信號SIM和非標準圖像信號 NSIM。然後，合成處理模塊33向壓縮模塊34提供產生的合成圖像。
壓縮模塊34壓縮由合成處理模塊33合成的圖像，且輸出產生的已壓縮 圖像。
以下進一步詳細地描述合成控制模塊32的配置與功能。
參考圖3,示出了與本實施例相關的合成控制模塊32的示例性配置的框圖。
合成控制模塊32具有確定如上所述由合成處理模塊33參考的長/短替換 閾值電平T和合成增益G的功能。
如圖3所示，合成控制模塊32由閾值確定部分321和增益確定部分322 組成。閾值確定部分321從存儲器31讀取標準圖像信號SIM和非標準圖像信 號NSIM，並參考這些信號以確定長/短替換閾值電平T。閾值確定部分321 向增益確定部分322和合成處理模塊33提供所確定的長/短替換閾值電平T。
應當注意，長/短替換閾值電平可以是恆定的而無論圖像信號如何或者可 以是圖像信號的直方圖。
增益確定部分322將從存儲器31讀取並參考的標準圖像信號SIM和非 標準圖像信號NSIM相加，並參考從閾值確定部分321提供的長/短替換閾值 電平T以根據長/短替換閾值電平T確定合成增益G,向合成處理模塊33提 供所確定的合成壻益G。
參考圖4,示出了指示將要由增益確定部分322執行的未受汙跡(smear) 等影響的增益確定過程的流程圖。
以下參考圖4所示的流程圖描述將要由增益確定部分322執行的未受汙 跡等影響的增益確定過程。
在步驟ST10,增益確定部分322從存儲器31讀取標準圖像信號和非標 準圖像信號以初始化將要用於步驟ST14的加法處理的suml和sum2。
在步驟ST11,增益確定部分322在長/短替換閾值電平T預測標準圖像 信號和非標準圖像信號的預測圖像信號比率GP。
在對預測圖像信號比率Gp進行預測的特定方法中，例如，從以標準圖像 信號SIM和非標準圖像信號NSIM的曝光時間用作變元的查詢表(LUT)來 計算預測圖像信號比率Gp。通過從沒有汙跡的兩個或多個標準圖像中計算圖 像信號比率的均值來創建LUT。
在連續幀處理的情況下，比如運動圖像的情況下，例如，參考在前幀的 合成增益G或者根據入射光強度和光電轉換效率的特性的差異來估計預測圖 像信號比率Gp也是可行的。在這時，還確定預測圖像信號比率Gp的預測誤 差THb。
在步驟ST12,增益確定部分322參考由閾值確定部分321確定的長/短 替換閾值電平T以從標準圖像信號劃分長/短替換閾值電平T的域。如果產生 的域小於可允許的值，則劃分長/短替換閾值電平的域± THA。THA可以是恆定的而不論圖像信號如何，或者THA的值可以增加直到待
劃分的域超過可允許的值為止。
在步驟ST13,增益確定部分322參考與在步驟ST12獲得的域的像素位 置對應的標準圖像信號和非標準圖像信號，以從每個信號電平的比率計算圖 像信號比率。如果所計算的圖像信號比率被包括在步驟ST11中預測的預測圖 像信號比率Gp的預測誤差THB的範圍中，則過程到達步驟ST14;否則，過 程到達步驟ST15。
作為選擇地，增益確定部分322可以參考與在步驟ST12獲得的域的像 素位置對於的非標準圖像信號，以確定所計算的圖像信號比率是否被包括在 與在步驟ST11預測的圖像信號比率Gp預測誤差THB的範圍對應的非標準圖 像信號的範圍中。
圖5和圖6通過示例的方式示意性地示出了步驟ST12和步驟STI3。圖 5示意性地示出了標準圖像信號SIM和非標準圖像信號NSIM之間的相關性。 圖6示出了在通過劃分獲得的域中圖像信號比率的直方圖的示例在本實施例中，從適當地曝光的圖像中的替換閾值電平T的信號電平計 算具有匹配土THA的信號電平的像素的信號電平的比率。如圖6所示，從曝 光時間的比率以經驗為主地對預測圖像信號比率Gp進行預測，且通過利用在 預測圖像信號比率Gp的± THB內的信號比率來計算合成增益。
因為由於汙跡的緣故，圖像信號比率取顯著不同於初始比率的值，因此 排除受到汙跡影響的任何圖像信號比率，由此實現寬動態範圍而即使對於包 括汙跡的場景，也不引起由於汙跡造成的^f叚輪廓。另外，還可以以同樣方式 忽略除了汙跡之外的運動對象和噪聲的影響。
圖7示出了直到在步驟ST12和ST13的合成增益的計算的處理的流程的 第一特定示例。
在該示例中，如圖7所示在步驟ST12劃分長/短替換閾值電平的域 T士THa。在步驟ST13，確定圖像信號比率是否落入預測圖像信號比率的範圍 Gp士THb。包括在兩個域中的範圍提供用於合成增益的計算的域。
圖8示出了直到在步驟ST12和ST13的合成增益的計算的處理的流程的 第二特定示例。
在該示例中，如圖8所示在步驟ST12劃分長/短替換閾值電平的域T±THA。在步驟ST13,確定圖像信號比率是否落入在步驟ST13的非標準圖 像(T士THa ) / ( GP±THB )的範圍。然後，包括在兩個域中的範圍提供用於合 成增益的計算的域。
在步驟ST14中，增益確定部分322將在步驟ST13參考的像素位置處的 標準圖像信號電平加到suml並將非標準圖像信號電平加到sum2,此時過程 到達步驟ST15。作為選擇地，增益確定部分322可以將在步驟ST13參考的 像素位置處的標準圖像信號和非標準圖像信號的比率相加，並存儲進行加法 的次數。
在步驟ST15,增益確定部分322確定是否已經在步驟ST12獲得的域內 的像素位置上執行了步驟ST13的處理。如果已經在全部像素位置上執行了步 驟ST13的處理，那麼過程到達步驟ST16;否則，在每個未處理的像素位置， 過程到達步驟STB。
在步驟ST16,增益確定部分322確定將要提供給合成處理模塊33的合 成增益G。由增益確定部分322從在步驟ST14相加的suml和sum2之間的 比率確定合成增益G。
以下描述在如圖2所示的配置中執行的操作。
在圖像拾取單元20中，從鏡頭21通過光低通濾波器22將對象圖像投影 到圖像拾取裝置23的圖像拾取表面。圖像拾取裝置23由CCD或者CMOS 傳感器組成。
圖像拾取裝置控制模塊24被配置以對圖像拾取裝置23執行控制，以使 得在一個圖像拾取操作拍攝具有不同曝光的兩個或多個圖像。在本實施例中， 拍攝兩個圖像信號；以適當的曝光拍攝的具有白色模糊的標準圖像信號和以 相對短的時間拍攝的具有黑色模糊的非標準圖像信號。由A/D轉換器25將 所拍攝的圖像信號轉換為待記錄到存儲器31的數位訊號。之後，參考存儲器 31中的信息，合成控制模塊32確定合成增益G和替換閱值電平T。然後， 基於這些值，由合成處理模塊33合成標準圖像信號和非標準圖像信號，由壓 縮模塊34壓縮，輸出已壓縮的合成信號。
如上所述，根據本實施例，從適當地曝光的圖像中的替換閾值T的信號電平，碌定具有匹配士THa的信號電平的像素的信號電平的比率。從曝光時
間的比率以經驗為主地對預測圖像信號比率Gp進行預測，且通過利用預測圖 像信號比率Gp的±THB內的信號比率計算合成增益。
因為由於汙跡的緣故，圖像信號比率取顯著不同於初始比率的值，因此 排除受到汙跡影響的任何圖像信號比率，由此實現寬動態範圍而即使對於包 括汙跡的場景，也不引起由於汙跡造成的假輪廓。另外，還可以以同樣方式 忽略除了汙跡之外的運動對象和噪聲的影響。
應當注意，以上詳細描述的方法可以形成為對應於上述過程的軟體程序， 由比如CPU之類的計算機執行該軟體程序。這種軟體程序可以被配置以從其 中存儲該軟體程序的包括半導體存儲器、磁碟和光碟、軟盤(註冊商標)的 記錄介質執行，這種存儲介質被設置到訪問這些存儲介質的計算機。
本申請包括與在2008年5月19日在日本專利局提交的日本優先權專利 申請JP 2008- 131249中公開的主題相關的主題，將其全部內容通過引用完全 包括於此。
組合，部分組合和變更，只要它們在所附的權利要求或者其等效的範圍之內。
權利要求
1.一種圖像合成設備，包括合成控制模塊，被配置以從具有不同曝光時間的多個圖像信號確定合成增益；和合成處理模塊，被配置以利用由所述合成控制模塊確定的合成增益來合成多個圖像信號，其中，在確定所述合成增益時，所述合成控制模塊參考預定的預測圖像信號比率，以從合成增益確定的對象中排除具有不適於合成增益確定的圖像信號的像素位置的域。
2. 如權利要求1所述的圖像合成設備，其中，所述合成控制模塊從適當 地曝光的圖像中的替換閾值的信號電平計算具有在預測誤差內的信號電平的 像素的信號電平的比率。
3. 如權利要求2所述的圖像合成設備，其中，所述合成控制模塊從曝光 時間的比率對預測圖像信號比率進行預測，以利用在預測誤差內的信號比率 從所述預測圖像信號比率來計算合成增益。
4. 一種圖像拾取設備，包括圖像拾取單元，被配置以連續地拍攝具有不同曝光時間的多個圖像；和 圖像合成單元，被配置以合成由所述圖像拾取單元拍攝的多個圖像，其中，所述圖像合成單元包括合成控制模塊，用於從由所述圖像拾取單元拍攝的具有不同曝光時 間的多個圖像信號來確定合成增益，和合成處理模塊，用於利用由所述合成控制模塊確定的所述合成增益 來合成多個圖像信號，和在確定所述合成增益時，所述合成控制模塊參考預定的預測圖像信號比 率，以從合成增益確定的對象中排除具有不適於合成增益確定的圖像信號的 像素位置的域。
5. 如權利要求4所述的圖像拾取設備，其中，所述合成控制模塊從適當 地曝光的圖像中的替換閾值的信號電平計算具有在預測誤差內的信號電平的 像素的信號電平的比率。
6. 如權利要求5所述的圖像拾取設備，其中，所述合成控制模塊從曝光 時間的比率對預測圖像信號比率進行預測，以通過利用在預測誤差內的信號 比率從所述預測圖像信號比率來計算合成增益。
7. —種圖像合成方法，包括步驟 從具有不同曝光時間的多個圖像信號確定合成增益；和 利用在所述合成增益確定步驟中確定的合成增益來合成多個圖像信號，其中，在所述合成增益確定步驟中，在確定所述合成增益時，參考預定的預測 圖像信號比率，以從合成增益確定的對象中排除具有不適於合成增益確定的 圖像信號的像素位置的域。
8. —種被配置以使得計算機執行圖像合成處理的程序，所述圖像合成處 理包括步驟從具有不同曝光時間的多個圖像信號確定合成增益；和 利用在所述合成增益確定步驟中確定的合成增益來合成多個圖像信號， 其中，在所述合成增益確定步驟中，在確定所述合成增益時，參考預定的預測 圖像信號比率，以從合成增益確定的對象中排除具有不適於合成增益確定的 圖像信號的像素位置的域。
9. 一種圖像合成設備，包括合成控制裝置，用於從具有不同曝光時間的多個圖像信號確定合成增益；和合成處理裝置，用於利用由所述合成控制裝置確定的合成增益來合成多 個圖像信號，其中，在確定所述合成增益時，所述合成控制裝置參考預定的預測圖像信號比 率，以從合成增益確定的對象中排除具有不適於合成增益確定的圖像信號的 像素位置的域。
10. —種圖像拾取設備，包括圖像拾取裝置，用於連續地拍攝具有不同曝光時間的多個圖像；和 圖像合成裝置，合成由所述圖像拾取裝置拍攝的所述多個圖像，其中， 所述圖像合成裝置包括合成控制裝置，用於從由所述圖像拾取裝置拍攝的具有不同曝光時間的多個圖像信號來確定合成增益，和合成處理裝置，用於利用由所述合成控制裝置確定的所述合成增益 來合成多個圖像信號，和在確定所述合成增益時，所述合成控制裝置參考預定的預測圖像信號比 率，以從合成增益確定的對象中排除具有不適於合成增益確定的圖像信號的 像素位置的域。
全文摘要
本發明提供圖像合成設備、圖像拾取設備、圖像合成方法和程序。所述圖像合成設備包括被配置以從具有不同曝光時間的多個圖像信號確定合成增益的合成控制模塊；和被配置以通過利用由合成控制模塊確定的合成增益來合成多個圖像信號的合成處理模塊，其中，在確定合成增益時，合成控制模塊參考預定的預測圖像信號比率，以從合成增益確定的對象排除具有不適於合成增益確定的圖像信號的像素位置的域。
文檔編號H04N5/20GK101588446SQ20091020306
公開日2009年11月25日 申請日期2009年5月19日 優先權日2008年5月19日
發明者川添大介 申請人:索尼株式會社