圖像處理設備和方法以及圖像捕獲設備的製作方法

2023-04-23 04:58:06

專利名稱：圖像處理設備和方法以及圖像捕獲設備的製作方法
技術領域：
本發明涉及圖像處理設備和方法，以及圖像捕獲設備，更具體地說，涉及一種考慮了傳感器所檢測的信號與現實世界之間的差異的圖像處理設備和方法以及圖像捕獲設備。
背景技術：
用於檢測現實世界發生的事件和處理從圖像傳感器輸出的樣本數據的技術已經被廣泛使用。
例如，如果對象的運動速度比較快，則會在通過利用攝像機捕獲在預定靜止背景前方運動的對象而獲得的圖像中出現運動模糊。
然而，當對象在靜止背景前方運動時，不僅會出現由運動對象本身的混合所引起的運動模糊，而且會出現由背景圖像和對象圖像的混合所引起的運動模糊。迄今為止，還沒有考慮到對應於背景圖像和運動對象的混合狀態的處理。

發明內容
本發明是考慮到上述現有技術的情況下做出的。因此，本發明目的了解圖像的混合狀態。
本發明的第一圖像處理設備包括區域指定裝置，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；以及混合比檢測裝置，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成，其中至少區域指定裝置和混合比檢測裝置之一根據多種類型的分量執行圖像處理。
該區域指定裝置可以包括分量混合區域檢測裝置，用於針對多種類型的分量中的每一個檢測混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定裝置，用於根據由對應於該分量混合區域檢測裝置檢測到的多種類型的分量的混合區域的檢測結果，指定對應於該圖像數據的混合區域。
該區域指定裝置可以包括空間相關性值計算裝置，用於根據對應於指定像素的多種類型的分量(plurality of types of components)，計算指示對應於圖像數據的指定幀的指定像素的指定像素數據與在空間方向上定位於指定像素的鄰域的空間鄰接像素(sapce neighboring pixel)的像素數據之間的相關性的空間相關性值(correlation value)；時間相關性值計算裝置，用於根據對應於指定像素的多種類型的分量，計算指示指定的像素數據與在時間方向上定位於指定像素的鄰域的時間鄰接像素(time neighboring pixel)的像素數據之間的相關性的時間相關性值；以及前景區域指定裝置，用於根據對應於指定像素的空間相關性值和時間相關性值，指定僅由前景對象分量構成的前景區域。
該區域指定裝置可以包括混合區域指定裝置，用於根據指定幀的前景區域和指定幀的鄰域中的鄰接幀的前景區域，指定混合區域。
混合比檢測裝置可以包括分量混合比檢測裝置，用於針對多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測裝置，用於通過積分由分量混合比檢測裝置所檢測到的、對應於多種類型的分量的混合比檢測結果，檢測對應於圖像數據的混合比。
混合比檢測裝置可以包括積分裝置，用於針對每個像素積分(integrating)多種類型的分量的像素值，並且將該值作為積分數據輸出；以及積分數據混合比檢測裝置，用於根據該積分數據檢測對應於圖像數據的混合比。
該積分裝置可以將針對每個像素的多種類型的分量的像素值相加，並且可以將相加的結果作為積分數據輸出。
本發明的圖像處理方法包括區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成；以及輸出控制步驟，用於控制所檢測到的混合比的輸出，其中至少區域指定步驟和混合比檢測步驟之一根據多種類型的分量執行圖像處理。
該區域指定步驟可以包括分量混合區域檢測步驟，用於針對多種類型的分量中的每一個檢測混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定步驟，用於根據在該分量混合區域檢測步驟中檢測到的、對應於多種類型的分量的混合區域的檢測結果，指定對應於該圖像數據的混合區域。
該區域指定步驟可以包括空間相關性值計算步驟，用於根據對應於指定像素的多種類型的分量，計算指示對應於圖像的指定幀的指定像素的指定像素數據與在空間方向上定位於指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算步驟，用於根據對應於指定像素的多種類型的分量，計算指示指定的像素數據與在時間方向上定位於指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定步驟，用於根據對應於指定像素的空間相關性值和時間相關性值，指定僅由前景對象分量構成的前景區域。
該區域指定步驟可以包括混合區域指定步驟，用於根據指定幀的前景區域和指定幀的鄰域中的鄰接幀的前景區域，指定混合區域。
混合比檢測步驟可以包括分量混合比檢測步驟，用於針對多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測步驟，用於通過積分對應於由分量混合比檢測步驟所檢測到的多種類型的分量的混合比檢測結果，檢測對應於圖像數據的混合比。
混合比檢測步驟可以包括積分步驟，用於積分每個像素的多種類型的分量的像素值，並且將該值作為積分數據輸出；以及積分數據混合比檢測步驟，用於根據該積分數據檢測對應於圖像數據的混合比。
在該積分步驟中，可以將針對每個像素的多種類型的分量的像素值相加，並且可以將相加的結果作為積分數據輸出。
本發明的第一記錄介質的程序包括區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成；以及輸出控制步驟，用於控制所檢測到的混合比的輸出，其中至少區域指定步驟和混合比檢測步驟之一根據多種類型的分量執行圖像處理。
該區域指定步驟可以包括分量混合區域檢測步驟，用於針對多種類型的分量中的每一個檢測混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定步驟，用於根據在該分量混合區域檢測步驟中檢測到的、對應於多種類型的分量的混合區域的檢測結果，指定對應於該圖像數據的混合區域。
該區域指定步驟可以包括空間相關性值計算步驟，用於根據對應於指定像素的多種類型的分量，計算指示對應於圖像的指定幀的指定像素的指定像素數據與在空間方向上定位於指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算步驟，用於根據對應於指定像素的多種類型的分量，計算指示指定的像素數據與在時間方向上定位於指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定步驟，用於根據對應於指定像素的空間相關性值和時間相關性值，指定僅由前景對象分量構成的前景區域。
該區域指定步驟可以包括混合區域指定步驟，用於根據指定幀的前景區域和指定幀的鄰域中的鄰接幀的前景區域，指定混合區域。
混合比檢測步驟可以包括分量混合比檢測步驟，用於針對多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測步驟，用於通過積分對應於由分量混合比檢測步驟所檢測到的多種類型的分量的混合比檢測結果，檢測對應於圖像數據的混合比。
混合比檢測步驟可以包括積分步驟，用於積分每個像素的多種類型的分量的像素值，並且將該值作為積分數據輸出；以及積分數據混合比檢測步驟，用於根據該積分數據檢測對應於圖像數據的混合比。
在該積分步驟中，可以將針對每個像素的多種類型的分量的像素值相加，並且可以將相加的結果作為積分數據輸出。
本發明的第一程序促使計算機執行區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成；以及輸出控制步驟，用於控制所檢測到的混合比的輸出，其中，至少區域指定步驟和混合比檢測步驟之一根據多種類型的分量執行圖像處理。
該區域指定步驟可以包括分量混合區域檢測步驟，用於針對多種類型的分量中的每一個檢測混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定步驟，用於根據在該分量混合區域檢測步驟中檢測到的、對應於多種類型的分量的混合區域的檢測結果，指定對應於該圖像數據的混合區域。
該區域指定步驟可以包括空間相關性值計算步驟，用於根據對應於指定像素的多種類型的分量，計算指示對應於圖像的指定幀的指定像素的指定像素數據與在空間方向上定位於指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算步驟，用於根據對應於指定像素的多種類型的分量，計算指示指定的像素數據與在時間方向上定位於指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定步驟，用於根據對應於指定像素的空間相關性值和時間相關性值，指定僅由前景對象分量構成的前景區域。
該區域指定步驟可以包括混合區域指定步驟，用於根據指定幀的前景區域和指定幀的鄰域中的鄰接幀的前景區域，指定混合區域。
混合比檢測步驟可以包括分量混合比檢測步驟，用於針對多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測步驟，用於通過積分對應於由分量混合比檢測步驟所檢測到的多種類型的分量的混合比檢測結果，檢測對應於圖像數據的混合比。
混合比檢測步驟可以包括積分步驟，用於積分每個像素的多種類型的分量的像素值，並且將該值作為積分數據輸出；以及積分數據混合比檢測步驟，用於根據該積分數據檢測對應於圖像數據的混合比。
在該積分步驟中，可以將針對每個像素的多種類型的分量的像素值相加，並且可以將相加的結果作為積分數據輸出。
本發明的第一圖像捕獲設備包括圖像捕獲裝置，用於輸出由包括具有時間積分功能的預定數量的像素的圖像捕獲器件捕獲的主題(subiect)圖像，作為由在同一像素位置上具有多種類型的分量的預定數量的像素數據形成的圖像數據；區域指定裝置，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；以及混合比檢測裝置，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成，其中，至少區域指定裝置和混合比檢測裝置之一根據多種類型的分量執行圖像處理。
該區域指定裝置可以包括分量混合區域檢測裝置，用於針對多種類型的分量中的每一個檢測混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定裝置，用於根據由對應於該分量混合區域檢測裝置檢測到的多種類型的分量的混合區域的檢測結果，指定對應於該圖像數據的混合區域。
該區域指定裝置可以包括空間相關性值計算裝置，用於根據對應於指定像素的多種類型的分量，計算指示對應於圖像的指定幀的指定像素的指定像素數據與在空間方向上定位於指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算裝置，用於根據對應於指定像素的多種類型的分量，計算指示指定的像素數據與在時間方向上定位於指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定裝置，用於根據對應於指定像素的空間相關性值和時間相關性值，指定僅由前景對象分量構成的前景區域。
該區域指定裝置可以包括混合區域指定裝置，用於根據指定幀的前景區域和指定幀的鄰域中的鄰接幀的前景區域，指定混合區域。
混合比檢測裝置可以包括分量混合比檢測裝置，用於針對多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測裝置，用於通過積分由分量混合比檢測裝置所檢測到的、對應於多種類型的分量的混合比檢測結果，檢測對應於圖像數據的混合比。
混合比檢測裝置可以包括積分裝置，用於積分每個像素的多種類型的分量的像素值，並且將該值作為積分數據輸出；以及積分數據混合比檢測裝置，用於根據該積分數據檢測對應於圖像數據的混合比。
該積分裝置可以將針對每個像素的多種類型的分量的像素值相加，並且可以將相加的結果作為積分數據輸出。
本發明的第二圖像處理設備包括用於獲得圖像數據的圖像數據獲得裝置；以及處理執行裝置，用於根據所獲得的圖像數據的多種類型的分量，執行下列處理之一(i)區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，(ii)混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
該處理執行裝置可以根據所獲得的圖像數據的多種類型的分量執行一區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
該處理執行裝置可以根據所獲得的圖像數據的多種類型的分量執行一混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
本發明的第二圖像處理方法包括用於獲得圖像數據的圖像數據獲得步驟；以及處理執行步驟，用於根據所獲得的圖像數據的多種類型的分量，執行下列處理之一(i)區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，(ii)混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
在該處理執行步驟中，可以根據所獲得的圖像數據的多種類型的分量執行一區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
在該處理執行步驟中，可以根據所獲得的圖像數據的多種類型的分量執行一混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
本發明的第二記錄介質的程序包括用於獲得圖像數據的圖像數據獲得步驟；以及處理執行步驟，用於根據所獲得的圖像數據的多種類型的分量，執行下列處理之一(i)區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，(ii)混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
在該處理執行步驟中，可以根據所獲得的圖像數據的多種類型的分量執行一區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
在該處理執行步驟中，可以根據所獲得的圖像數據的多種類型的分量執行一混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
本發明的第二程序促使計算機執行用於獲得圖像數據的圖像數據獲得步驟；以及處理執行步驟，用於根據所獲得的圖像數據的多種類型的分量，執行下列處理之一(i)區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，(ii)混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
在該處理執行步驟中，可以根據所獲得的圖像數據的多種類型的分量執行一區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
在該處理執行步驟中，可以根據所獲得的圖像數據的多種類型的分量執行一混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
本發明的第二圖像捕獲設備包括圖像捕獲裝置，用於輸出由包括具有時間積分功能的預定數量的像素的圖像捕獲器件捕獲的主題圖像，作為由在同一像素位置上具有多種類型的分量的預定數量的像素數據形成的圖像數據；以及處理執行裝置，用於根據所獲得的圖像數據的多種類型的分量，執行下列處理之一(i)區域指定裝置，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，(ii)混合比檢測裝置，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
該處理執行裝置可以根據所獲得的圖像數據的多種類型的分量執行一區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
該處理執行裝置可以根據所獲得的圖像數據的多種類型的分量執行一混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
相應於圖像數據，指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。至少區域指定操作和混合比檢測操作之一根據多種類型的分量執行圖像處理。
獲得圖像數據，並且根據所獲得的圖像數據的多種類型的分量，執行下列處理之一(i)區域指定步驟，用於對應於圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，(ii)混合比檢測步驟，用於對應於圖像數據、在一混合區域中檢測指示前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由前景對象分量和背景對象分量混和而成。
因此，可以得出圖像的混合狀態。


圖1示出本發明的圖像處理設備的一個實施例；圖2是圖示圖像處理設備的方框圖；圖3圖示由一個傳感器執行的圖像捕獲；圖4圖示像素的排列；圖5圖示檢測裝置的操作；圖6A圖示通過圖像捕獲(image-capture)對應於運動前景的對象和對應於靜止背景的對象而獲得的圖像；圖6B圖示通過圖像捕獲對應於運動前景的對象和對應於靜止背景的對象而獲得的圖像的模型；圖7圖示背景區域、前景區域、混合區域、被覆蓋的背景區域和未被覆蓋的背景區域；圖8圖示通過在時間方向上擴展在圖像中並排排列的多個像素的像素值而獲得的模型，其中所述圖像是通過圖像捕獲對應於靜止前景的對象和對應於靜止背景的對象獲得的；圖9圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期(period)的模型；圖10圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖11圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖12圖示提取前景區域、背景區域和混合區域中的像素的實例；圖13圖示多個像素與通過在時間方向上擴展像素值而獲得的模型之間的關係；圖14圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖15圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖16圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖17圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖18圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖19是圖示用於調整運動模糊量的處理的流程圖；圖20是圖示區域指定單元103的配置的實例的方框圖；圖21圖示當對應於前景的對象正在運動時的圖像；圖22圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖23圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖24圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖25圖示用於確定區域的條件；圖26A圖示通過區域指定單元103指定區域而獲得的結果的實例；圖26B圖示通過區域指定單元103指定區域而獲得的結果的實例；圖26C圖示通過區域指定單元103指定區域而獲得的結果的實例；圖26D圖示通過區域指定單元103指定區域而獲得的結果的實例；圖27圖示通過區域指定單元103指定區域而獲得的結果的實例；圖28是圖示區域指定處理的流程圖；圖29是圖示區域指定單元103的配置的方框圖；圖30圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖31圖示背景圖像的實例；圖32是圖示二進位對象圖像(binary object image)提取部分302的配置的方框圖；圖33A圖示相關性值的計算；圖33B圖示相關性值的計算；
圖34A圖示相關性值的計算；圖34B圖示相關性值的計算；圖35圖示二進位對象圖像的實例；圖36是圖示時間變化檢測器303的配置的方框圖；圖37圖示由區域確定部分342作出的確定；圖38圖示由時間變化檢測器303作出的確定的實例；圖39是圖示由區域指定單元103執行的區域指定處理的流程圖；圖40是圖示區域指定處理的細節的流程圖；圖41是圖示區域指定單元103的再一個配置的方框圖；圖42是圖示加強處理(robust processing)部分361的配置的方框圖；圖43圖示由運動補償器381執行的運動補償；圖44圖示由運動補償器381執行的運動補償；圖45是圖示區域指定處理的流程圖；圖46是圖示加強處理的細節的流程圖；圖47是圖示混合比計算器104的配置的方框圖；圖48圖示理想混合比α的實例；圖49圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖50圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖51圖示使用前景分量的相關性的逼近；圖52圖示C、N和P之中的關係；圖53是圖示估算混合比處理器401的配置的方框圖；圖54是圖示估算混合比的實例；圖55是圖示混合比計算器104的配置的方框圖；圖56是圖示計算混合比的處理的流程圖；圖57是圖示用於計算估算混合比的處理的流程圖；圖58圖示用於逼近混合比α的直線；圖59圖示用於逼近混合比α的平面；圖60圖示當計算混合比α時多個幀中多個像素的關係；圖61是圖示混合比估算處理器401的另一個配置的方框圖；
圖62圖示估算混合比的例子；圖63是圖示利用對應於被覆蓋的背景區域的模型的混合比估算處理的流程圖；圖64是圖示背景/前景分離器105的配置的實例的方框圖；圖65A圖示輸入圖像、前景分量圖像和背景分量圖像；圖65B圖示輸入圖像、前景分量圖像和背景分量圖像的模型；圖66圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖67圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖68圖示在時間方向上擴展像素值以及劃分對應於快門時間的周期的模型；圖69是圖示分離部分601的配置的實例的方框圖；圖70A圖示分離的前景分量圖像的實例；圖70B圖示分離的背景分量圖像的實例；圖71是圖示用於分離前景和背景的處理的流程圖；圖72是圖示運動模糊調整單元106的配置的實例的方框圖；圖73圖示處理單元；圖74圖示在時間方向上擴展像素值並且劃分對應於快門時間的周期的模型；圖75圖示在時間方向上擴展像素值並且劃分對應於快門時間的周期的模型；圖76圖示在時間方向上擴展像素值並且劃分對應於快門時間的周期的模型；圖77圖示在時間方向上擴展像素值並且劃分對應於快門時間的周期的模型；圖78圖示運動模糊調整單元106的另一個配置的實例；圖79是圖示用於通過運動模糊調整單元106調整包含在前景分量圖像中的運動模糊量的處理的流程圖；圖80是圖示運動模糊調整單元106的另一個配置的實例的方框圖；圖81圖示指示在各像素值與各前景分量之間的關係的模型的實例；
圖82圖示前景分量的計算；圖83圖示前景分量的計算；圖84是圖示消除包含在前景中的運動模糊的處理的流程圖；圖85是圖示圖像處理設備的功能的另一配置的方框圖；圖86圖示合成器1001的配置；圖87是圖示圖像處理設備的功能的再一配置的方框圖；圖88是圖示混合比計算器1101的配置的方框圖；圖89是圖示前景/背景分離器1102的配置的方框圖；圖90是圖示圖像處理設備的功能的再一配置的方框圖；圖91圖示合成器1201的配置；圖92示出圖像處理設備的實施例，用於根據作為分量信號輸入的輸入圖像產生區域信息；圖93圖示分量1、分量2和分量3之間的關係；圖94是圖示用於利用分量信號確定區域的處理的流程圖；圖95示出圖像處理設備的另實施例，用於根據作為分量信號輸入的輸入圖像產生區域信息；圖96是圖示用於利用分量信號確定區域的另一處理的流程圖；圖97示出圖像處理設備的再實施例，用於根據作為分量信號輸入的輸入圖像產生區域信息；圖98示出在靜止區域和在運動區域中的空間相關性和時間相關性之間的關係；圖99圖示空間相關性的計算的實例；圖100圖示時間相關性的計算的實例；圖101圖示在靜止區域中的時間相關性和空間相關性；圖102圖示在運動區域中的時間相關性和空間相關性；圖103示出輸入圖像的實例；圖104示出運動區域或靜止區域的確定結果；圖105示出利用15×15像素作為單位的塊，確定運動區域或靜止區域的結果；圖106示出確定前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的結果；
圖107是圖示利用分量信號確定區域的處理的流程圖；圖108示出圖像處理設備的實施例，用於根據作為分量信號輸入的輸入圖像和區域信息計算混合比；圖109圖示在每個分量信號中的各混合比之間的關係；圖110是圖示用於利用分量信號計算混合比的處理的流程圖；圖111示出圖像處理設備的另實施例，用於根據作為分量信號輸入的輸入圖像和區域信息計算混合比；圖112是圖示利用分量信號確定區域的另一處理的流程圖；圖113示出圖像處理設備的再實施例，用於根據作為分量信號輸入的輸入圖像和區域信息計算混合比；圖114是圖示混合比計算器1421的配置的方框圖；以及圖115圖示用於根據作為分量信號輸入的輸入圖像和區域信息計算混合比的再一處理。
具體實施例方式
圖1示出本發明的圖像處理設備一個實施例。CPU(中央處理單元)21根據存儲在ROM(只讀存儲器)22或者存儲單元28中的程序執行各種處理。CPU21執行的程序以及數據按照需要被存儲在RAM(隨機存取存儲器)23中。CPU21、ROM22和RAM23通過總線24彼此連接。
輸入/輸出接口25還經由總線24連接到CPU21。由鍵盤、滑鼠、麥克風等構成的輸入單元26和由顯示器、揚聲器等構成的輸出單元27連接到輸入/輸出接口25。CPU21響應從輸入單元26輸入的命令執行各種處理。CPU21隨後輸出作為對輸出單元27處理的結果而獲得的圖像或者聲音。
連接到輸入/輸出接口25的存儲單元28由例如硬碟構成，並且存儲由CPU 21執行的程序和各種數據。通信單元29經由網際網路或者其它網絡與外部裝置通信。在該實例中，通信單元29用作一個獲取傳感器輸出的獲取單元。
作為選擇，程序可以經由通信單元29獲得，並存儲到存儲單元28中。
連接輸入/輸出接口25的驅動器30驅動磁碟51、光碟52、磁光碟53、半導體存儲器54或者類似物，當此類存儲媒介被連接到驅動器30上時，驅動器30獲得相應媒介上的程序和數據。驅動器30獲得存儲在對應的媒體中的程序或者數據。如果有必要，則將獲得的程序或者數據傳遞給存儲單元28並存儲在其中。
圖2是圖示圖像處理設備的方框圖。
圖像處理設備的各個功能是由硬體還是由軟體實施並不重要。也就是說，本說明書的方框圖可以是硬體方框圖或者軟體功能方框圖。
在該說明書中，對應於現實世界的對象的、將要捕獲的圖像被稱作圖像對象。
供應給圖像處理設備的輸入圖像被供應給對象提取單元101、區域指定單元103、混合比計算器104和前景/背景分離器105。
對象提取單元101提取對應於包含在輸入圖像中的前景對象的粗圖像對象，並把提取得圖像對象供應給運動檢測器102。對象提取單元101例如檢測包含在輸入圖像中的前景圖像的輪廓，以便提取對應於前景對象的粗圖像對象。
對象提取單元101提取對應於包含在輸入圖像中的背景對象的粗圖像對象，並且把提取的圖像對象供應給運動檢測器102。對象提取單元101從例如輸入圖像與對應於前景對象的所提取的圖像對象之間的差異，提取對應於背景對象的粗圖像對象。
作為選擇，例如，對象提取單元101可以從內置背景存儲器中存儲的背景圖像與輸入圖像之間的差異，提取對應於前景對象的粗圖像對象和對應於背景對象的粗圖像對象。
運動檢測器102根據諸如塊匹配、梯度、相位相關性，或者像素遞歸技術計算對應於前景對象的粗略地提取的圖像對象的運動向量，並且把所計算的運動向量和運動向量位置信息(是用於指定對應於運動向量的像素的位置的信息)供應給區域指定單元103和運動模糊提取單元106。
運動檢測器102輸出的運動向量包含對應於運動量v的信息。
運動檢測器102可以將每個圖像對象的運動向量與指定圖像對象的像素的像素位置信息一同輸出給運動模糊調整單元106。
運動量v是以像素間距單位指示在對應於運動對象的圖像中的位置變化的值。例如，如果對應於前景的對象圖像正在運動，使該對象圖像位於後續幀時被顯示在遠離基準幀四個像素的位置上，則對應於前景的對象圖像的運動量v是4。
當調整對應於運動對象的運動模糊量時，需要對象提取單元101和運動檢測器102。
區域指定單元103確定輸入圖像的每個像素屬於前景區域、背景區域或者混合區域的哪一個，並且把指示每個像素屬於哪個區域的信息(以下稱之為「區域信息」)供應給混合比計算器104、前景/背景分離器105以及運動模糊調整單元106。
混合比計算器104根據輸入圖像和從區域指定單元103供應的區域信息，計算對應於包含在混合區域63中的像素的混合比(以下稱之為「混合比α」)，並且將該混合比α供應給前景/背景分離器105。
該混合比α是指示對應於背景對象的圖像分量(以下稱之為「背景分量」)與如下所示方程(3)所表示的像素值的比值的一個值。
前景/背景分離器105根據從區域指定單元103供應的區域信息和從混合比計算器104供應的混合比α，將輸入圖像分離成僅由對應於前景對象的圖像分量構成的前景分量圖像(以下稱之為「前景分量」)和僅由背景分量構成的背景分量圖像，並且將前景分量圖像供應給運動模糊調整單元106和選擇器107。所分離的前景分量圖像可以被設置為最終輸出。與僅僅指定前景和背景而不考慮混合區域的已知方法比較，本發明可以獲得更精確地的前景和背景。
運動模糊調整單元106根據從運動向量獲得的運動量v和區域信息，確定指示包含在前景分量圖像中的至少一個像素的處理單位。該處理單位用於指定一組將要接受運動模糊調整的像素的數據。
根據輸入到圖像處理設備中的運動模糊將被調整的量、從前景/背景分離器105供應的前景分量圖像、從運動檢測器102供應的運動向量及其位置信息以及處理單位，運動調整單元106通過消除、減少或者增加包含在前景分量圖像中的運動模糊來調整包含在前景分量圖像中的運動模糊量。運動模糊調整單元106隨後向選擇器107輸出調整了運動模糊量的前景分量圖像。但是，使用運動向量及其位置信息並不是必需的。
運動模糊是包含在對應於一運動對象的圖像中的失真，該運動對象由現實世界中將要捕獲的對象以及傳感器的圖像捕獲特性所引起。
選擇器107根據反映用戶選擇的一個選擇信號，選擇從前景/背景分離器105供應的前景分量圖像和從運動模糊調整單元106供應的調整了運動模糊量的前景分量圖像之一，並且輸出所選擇的前景分量圖像。
下面參考圖3至圖18討論供應給圖像處理設備的輸入圖像。
圖3圖示由傳感器執行的圖像捕獲。傳感器由例如裝備了CCD(電荷耦合器件)區域傳感器的一個CCD攝像機構成，它是固態圖像捕獲器件。對應於現實世界前景的對象111例如在對應於背景的對象112與傳感器之間水平地從左向右運動。
傳感器捕獲對應於前景的對象111的圖像和對應於背景的對象112的圖像。傳感器按幀為單位輸出已捕獲的圖像。例如，傳感器輸出具有每秒30幀的圖像。傳感器的曝光時間可以是1/30秒。曝光時間是傳感器開始把輸入光轉換成電荷到完成從輸入光轉換成電荷的周期。曝光時間也被稱之為「快門時間」。
圖4圖示像素的排列。在圖4中，A至I指示各個像素。這些像素被布置在對應的圖像的平面上。對應於每個像素的檢測裝置被設置在傳感器上。當傳感器執行圖像捕獲時，每個檢測裝置輸出形成圖像的對應像素的像素值。例如，X方向的檢測裝置的位置對應於圖像的水平方向，而Y方向的檢測裝置的位置對應於圖像的垂直方向。
如圖5所示，檢測裝置(例如是CCD)在對應於快門時間的周期期間，把輸入光轉換成電荷，並且存儲已轉換的電荷。電荷量幾乎與輸入光的光強以及輸入該光的周期成比例。在對應於快門時間的周期期間檢測裝置順序地把從輸入光轉換的電荷添加到已存儲的電荷上。也就是說，檢測裝置在對應於快門時間的周期期間積分輸入光，並且存儲對應於被積分光的光量的電荷。可以認為檢測裝置具有關於時間的積分功能。
檢測置中存儲的電荷由一個電路(未示出)轉換成電壓值，該電壓值被進一步轉換成像素值，比如數字數據，然後輸出。因此，傳感器輸出的每個像素值是投射到線性空間上的值，它是關於快門時間積分對應於前景或者背景的對象的某一三維部分的結果。
圖像處理設備通過傳感器的存儲操作提取插入到輸出信號中的有效信息，例如混合比α。圖像處理設備調整失真量，例如調整由於前景圖像對象本身的混合造成的運動模糊量。圖像處理設備還調整由於前景圖像對象和背景圖像對象的混合造成的失真量。
圖6A圖示通過捕獲對應於運動前景的對象和對應於靜止背景的對象而獲得的圖像。圖6B圖示通過捕獲對應於運動前景的對象和對應於靜止背景的對象而獲得的圖像的模型。
圖6A圖示通過捕獲對應於運動前景的對象和對應於靜止背景的對象而獲得的圖像。在圖6A所示的實例中，對應於前景的對象正在從屏幕左邊水平地移動到屏幕右邊。
圖6B圖示通過在時間方向上擴展對應於圖6A中所示一行圖像的像素值而獲得的模型。圖6B中所示的水平方向對應於圖6A中的空間方向X。
背景區域中像素的值僅僅由背景分量構成，也就是由對應於背景對象的圖像分量構成。前景區域中像素的值僅僅由前景分量構成，也就是由對應於前景對象的圖像分量構成。
混合區域的像素的值由背景分量和前景分量構成。由於混合區域中像素的值由背景分量和前景分量構成，因此它被稱之為「失真區域」。混合區域還被進一步分成被覆蓋的背景區域和未被覆蓋的背景區域。
被覆蓋的背景區域是對應於前景對象正在運動的方向上的前端的位置上的混合區域，其中背景分量隨時間流逝而被前景逐漸覆蓋。
相反，未被覆蓋的背景區域是對應於前景對象正在運動方向上的尾端的混合區域，其中背景分量隨時間流逝而逐漸出現。
按照以上討論，包含前景區域、背景區域、被覆蓋的背景區域或者未被覆蓋的背景區域的圖像作為輸入圖像輸入到區域指定單元103、混合比計算單元104和前景/背景分離器105。
圖7圖示以上討論的背景區域、前景區域、混合區域、被覆蓋的背景區域和未被覆蓋的背景區域。在對應於圖6A所示的圖像的區域中，背景區域是靜止部分，前景區域是運動部分，混合區域的被覆蓋的背景區域是從背景區域到前景區域變化的部分，混合區域的未被覆蓋的背景區域是從前景到背景變化的部分。
圖8圖示通過在時間方向上擴展在圖像中並排排列的多個像素的像素值而獲得的模型，其中所述圖像是通過捕獲對應於靜止前景的對象圖像和對應於靜止背景的對象圖像獲得的。例如，可以把屏幕上一行中排列的像素選作並排排列的像素。
圖8所示的F01至F04所示的像素值是對應於靜止前景對象的像素值。圖8所示的B01至B04所示的像素值是對應於靜止背景對象的像素值。
在圖8的垂直方向，時間從圖8的頂部到底部地流逝。圖8中矩形的頂端上的位置對應於傳感器開始把輸入光變換成電荷的時間，圖8中矩形的底端上的位置對應於傳感器完成從輸入光變換成電荷的時間。也就是說，從圖8中矩形的頂端至底端的距離對應於快門時間。
現在說明圖8所示的像素，假定例如快門時間等於幀長。
圖8的水平方向對應於圖6A中的空間方向X。更具體地說，在圖8中所示的實例中，從圖8的「F01」指示的矩形的左邊到由「B04」指示的矩形的右邊是像素間距的八倍，即，八個相鄰像素。
當前景對象和背景對象都是靜止的時，進入傳感器的光在對應於快門時間的周期期間不變化。
對應於快門時間的周期被分成兩個或多個等周期部分。例如，如果虛擬劃分部分的數量是4，則圖8所示的模型可以由圖9所示的模型代表。可以在快門時間內，根據對應於前景的對象的運動量v設置虛擬劃分部分的數量。例如，當運動量v是4時，虛擬劃分部分的數量被設置為4，並且把對應於快門時間的周期分成四個部分。
圖9的最上行對應於快門打開時的第一划分周期。圖9的第二行對應於快門打開時的第二劃分周期。圖9的第三行對應於快門打開時的第三劃分周期。圖9的第四行對應於快門打開時的第四劃分周期。
根據運動量v劃分的快門時間在下文中還被稱之為「快門時間/v」。
當對應於前景的對象是靜止的時，進入傳感器的光不變化，因而前景分量F01/v等於通過用虛擬劃分部分數量除像素值F01獲得的值。同樣，當對應於前景的對象是靜止的時，前景分量F02/v等於通過用虛擬劃分部分數量除像素值F02獲得的值，前景分量F03/v等於通過用虛擬劃分部分數量除像素值F03獲得的值，前景分量F04/v等於通過用虛擬劃分部分數量除像素值F04獲得的值。
當對應於背景的對象是靜止的時，進入傳感器的光不變化，因而背景分量B01/v等於通過用虛擬劃分部分數量除像素值B01獲得的值。同樣，當對應於背景的對象是靜止的時，背景分量B02/v等於通過用虛擬劃分部分數量除像素值B02獲得的值，背景分量B03/v等於通過用虛擬劃分部分數量除像素值B03獲得的值，背景分量B04/v等於通過用虛擬劃分部分數量除像素值B04獲得的值。
更具體地說，當對應於前景的對象是靜止不動時，對應於進入傳感器的前景對象的光在對應於快門時間的周期期間不變化。所以，對應於快門打開時快門時間/v的第一部分的前景分量F01/v、對應於快門打開時快門時間/v的第二部分的前景分量F01/v、對應於快門打開時快門時間/v的第三部分的前景分量F01/v、對應於快門打開時快門時間/v的第四部分的前景分量F01/v成為相同的值。如F01/v的情況同樣適用於F02/v至F04/v。
當對應於背景的對象靜止不動時，對應於進入傳感器的背景對象輸入的光在對應於快門時間的周期期間不變化。所以，對應於快門打開時快門時間/v的第一部分的背景分量B01/v、對應於快門打開時快門時間/v的第二部分的背景分量B01/v、對應於快門打開時快門時間/v的第三部分的背景分量B01/v、對應於快門打開時快門時間/v的第四部分的背景分量B01/v成為相同的值。上述情況同樣適用於B02/v至B04/v。
這裡給出了這樣一種情況的說明對應於前景的對象正在運動，而對應於背景的對象靜止不動。
圖10圖示當對應於前景的對象正在向圖10的右邊運動時，通過在時間方向上對包括被覆蓋的背景區域的一行中像素的像素值進行擴展而獲得的模型。在圖10中，運動量v是4。由於一幀是短周期，因此可以假定對應於前景的對象是以等速度運動的剛體。在圖10中，對應於前景的對象圖像正在運動，這樣，當在後續幀顯示它時，它被定位到基準幀的向右四個像素。
在圖10中，從最左邊像素到第四像素的各像素屬於前景區域。在圖10中，從左數第五像素到第七像素的像素屬於混合區域，即，被覆蓋的背景區域。在圖10中，最右邊的像素屬於背景區域。
對應於前景的對象正在運動，使得它隨時間變化逐漸覆蓋對應於背景的對象。因此，屬於被覆蓋的背景區域的這些像素的像素值中含有的分量在對應於快門時間的周期期間的某一時刻從背景分量變化到前景分量。
例如，由圖10中粗線框(thick frame)包圍的像素值M由以下方程(1)表示。
M＝B02/v+B02/v+F07/v+f06/v(1)例如，左數第五像素包含對應於快門時間/v的一個部分的背景分量和對應於快門時間/v的三個部分的前景分量，因而左數第五像素的混合比α是1/4。左數第六像素包含對應於快門時間/v的兩個部分的背景分量和對應於快門時間/v的兩個部分的前景分量，因此，左數第六像素的混合比α是1/2。左數第七像素包含對應於快門時間/v的三個部分的背景分量和對應於快門時間/v的一個部分的前景分量，因此，左數第七像素的混合比α是3/4。
可以假定對應於前景的對象是剛體，該前景對象正在以等速度運動，使得它被顯示到後續幀的向右四個像素。因此，例如，當快門打開時對應於快門時間/v的第一部分的圖10中從左數第四像素的前景分量F07/v等於當快門打開時對應於快門時間/v的第二部分的圖10中從左數第五像素的前景分量。同樣，前景分量F07/v等於當快門打開時對應於快門時間/v的第三部分的圖10中從左數第六像素的前景分量，以及等於當快門打開時對應於快門時間/v的第四部分的圖10中從左數第七像素的前景分量。
可以假定對應於前景的對象是剛體，該前景對象正在以等速度運動，使得它被顯示到後續幀的向右四個像素。因此，例如，當快門打開時對應於快門時間/v的第一部分的圖10從左數第三像素的前景分量F06/v等於當快門打開時對應於快門時間/v的第二部分的圖10從左數第四像素的前景分量。同樣，前景分量F06/v等於當快門打開時對應於快門時間/v的第三部分的圖10從左數第五像素的前景分量，以及當快門打開時對應於快門時間/v的第四部分的圖10從左數第六像素的前景分量。
可以假定對應於前景的對象是剛體，該前景對象正在以等速度運動，使得它被顯示到後續幀的向右四個像素。因此，例如，當快門打開時對應於快門時間/v的第一部分的圖10中從左數第二像素的前景分量F05/v等於當快門打開時對應於快門時間/v的第二部分的圖10中從左數第三像素的前景分量。同樣，前景分量F05/v等於當快門打開時對應於快門時間/v的第三部分的圖10中從左數第四像素的前景分量，以及等於當快門打開時對應於快門時間/v的第四部分的圖10中從左數第五像素的前景分量。
可以假定對應於前景的對象是剛體，該前景對象正在以等速度運動，使得它被顯示到後續幀的向右四個像素。因此，例如，當快門打開時對應於快門時間/v的第一部分的圖10中最左邊像素的前景分量F04/v等於當快門打開時對應於快門時間/v的第二部分的圖10中從左數第二像素的前景分量。同樣，前景分量F04/v等於當快門打開時對應於快門時間/v的第三部分的圖10中從左數第三像素的前景分量，以及等於當快門打開時對應於快門時間/v的第四部分的圖10中從左數第四像素的前景分量。
由於對應於運動對象的前景區域包含如上述討論的運動模糊，因此它也可以被稱之為「失真區域」。
圖11中圖示當對應於前景的對象正在向圖11中的右邊運動時，通過在時間方向上對包括一個未被覆蓋的背景區域的一行中像素的像素值進行擴展而獲得的模型。在圖11中，運動量v是4。由於一幀是短周期，因此可以假定對應於前景的對象是以等速度運動的剛體。在圖11中，對應於前景的對象圖像正在運動到右邊，這樣當在後續幀顯示它時，它被定位到基準幀的向右四個像素。
在圖11中，從最左邊像素到第四像素的多個像素屬於背景區域。在圖11中，從左數第五像素到第七像素的像素屬於混合區域，即，未被覆蓋的背景區域。在圖11中，最右邊像素屬於前景區域。
對應於前景的對象正在運動，使得它隨時間變化逐漸從對應於背景的對象中移出，其中所述前景覆蓋對應於背景的對象。因此，屬於未被覆蓋的背景區域的這些像素的像素值中含有的分量在對應於快門時間的周期的某一時刻從前景分量變化成背景分量。
例如，由圖11中粗體框包圍的像素值M由以下方程(2)表示。
M′＝F02/v+F01/v+B26/v+B26/v(2)例如，左數第五像素包含對應於快門時間/v的三個部分的背景分量和對應於快門時間/v的一個快門部分的前景分量，因而左數第五像素的混合比α是3/4。左數第六像素包含對應於快門時間/v的兩個部分的背景分量和對應於快門時間/v的兩個部分的前景分量，因此，左數第六像素的混合比α是1/2。左數第七像素包含對應於快門時間/v的一個部分的背景分量和對應於快門時間/v的三個部分的前景分量，因此，左數第七像素的混合比α是1/4。
當歸納方程(1)和(2)時，像素值M可以由方程(3)表達M=B+iFi/v......(3)]]>其中α是混合比，B指示背景的像素值，以及Fi/v指定前景分量。
可以假定對應於前景的對象是正在以等速度運動的剛體，並且運動量是4。因此，例如，當快門打開時對應於快門時間/v的第一部分的圖11中從左數第五像素的前景分量F01/v等於當快門打開時對應於快門時間/v的第二部分的圖11中從左數第六像素的前景分量。同樣，前景分量F01/v等於當快門打開時對應於快門時間/v的第三部分的圖11中從左數第七像素的前景分量，以及等於當快門打開時對應於快門時間/v的第四部分的圖11中從左數第八像素的前景分量。
可以假定對應於前景的對象是正在以等速度運動的剛體，並且運動量v是4。因此，例如，當快門打開時對應於快門時間/v的第一部分的圖11中從左數第六像素的前景分量F02/v等於當快門打開時對應於快門時間/v的第二部分的圖11中從左數第七像素的前景分量。同樣，前景分量F02/v等於當快門打開時對應於快門時間/v的第三部分的圖11中從左數第八像素的前景分量。
可以假定對應於前景的對象是正在以等速度運動的剛體，並且運動量v是4。因此，例如，當快門打開時對應於快門時間/v第一部分的圖11中從左數第七像素的前景分量F03/v等於當快門打開時對應於快門時間/v的第二部分的圖11中從左數第八像素的前景分量。
上面已經結合圖9至圖11說明了虛擬劃分部分的數量是4的情況。虛擬劃分部分的數量相當於運動量v。通常，運動量v相當於對應於前景的對象的運動速度。例如，如果對應於前景的對象正在運動，使得當它定位於後續幀時被顯示到某一幀的向右四個像素，則運動量v被設置為4。根據該運動量v，將虛擬劃分部分的數量設置為4。同樣，當對應於前景的對象正在運動，使得當它定位於後續幀時被顯示到某一幀的右邊六個像素，運動量v被設置為6，並且將虛擬劃分部分的數量設置為6。
圖12和圖13圖示關於與快門時間的劃分周期對應的前景分量和背景分量的前景區域、背景區域和混合區域的關係，該混合區域由以上討論的被覆蓋的背景或者未被覆蓋的背景組成。
圖12圖示從圖像中提取前景區域、背景區域和混合區域中的像素的實例，所述圖像包含對應於在靜止背景的前方運動的對象的前景。在圖12的實例中，對應於前景的對象正在相對於屏幕水平運動。
幀#n+1是幀#n之後的幀，#n+2是幀#n+1之後的幀。
前景區域、背景區域和混合區域中的像素從幀#n至#n+2之一中提取，並且運動量v被設置為4。圖13顯示了通過在時間方向上擴展所提取的像素的像素值而獲得的模型。
由於對應於前景的對象正在運動，因此前景區域中的像素值由對應於快門時間/v的四個不同前景分量構成。例如，圖13所示的前景區域中像素的最左邊像素由F01/v、F02/v、F03/v和F04/v組成。也就是說，前景中的像素包含運動模糊。
由於對應於背景的對象是靜止的，在快門時間期間進入對應於背景的傳感器的光不改變。在該情況下，背景區域中的像素值不包含運動模糊。
由一個被覆蓋的背景區域或者一個未被覆蓋的背景區域組成的混合區域中的像素值由前景分量和背景分量構成。
下面給出通過在時間方向擴展多個像素的像素值而獲得的模型的說明，所述的多個像素在多個幀中被並排排列，並且當對應於對象的圖像正在運動而導致這些幀重疊的時候這些像素位於同一位置。例如，當對應於對象的圖像正在相對於屏幕水平運動時，排列在屏幕上的像素可以被選擇為並排排列的像素。
圖14圖示通過在時間方向擴展多個像素而獲得的模型，所述多個像素被並排排列在通過捕獲對應於靜止背景的對象而獲得的圖像的三個幀中，並且當這些幀重疊時這些像素位於同一位置上。幀#n是幀#n-1之後的幀，幀#n+1是幀#n之後的幀。上述說明適用於其它幀。
圖14中所示像素值B01至B12是對應於靜止背景對象的像素值。由於對應於背景的對象靜止不動，因此幀#n-1至#n+1中對應像素的像素值不改變。例如，幀#n的像素和位於具有幀#n-1中像素值B05的像素的對應位置的#n+1中的像素具有像素值B05。
圖15圖示通過在時間方向擴展多個像素而獲得的模型，所述多個像素被並排排列在通過捕獲與正在向圖15的右邊運動的前景相對應的對象和對應於靜止背景的對象而獲得的圖像的三個幀中，並且當這些幀重疊時這些像素位於同一位置上。圖15所示的模型包含被覆蓋的背景區域。
在圖15中，可以假定對應於前景的對象是以恆等速度運動的剛體，並且正在運動，使得它被顯示到後續幀的向右四個像素。所以運動量v是4，並且虛擬劃分部分的數量是4。
例如，當快門打開時對應於快門時間/v的第一部分的圖15中幀#n-1的最左邊像素的前景分量是F12/v，並且當快門打開時對應於快門時間/v的第二部分的圖15中從左數第二像素的前景分量也是F12/v。當快門打開時對應於快門時間/v的第三部分的圖15中從左數第三像素的前景分量和當快門打開時對應於快門時間/v的第四部分的圖15中從左數第四像素的前景分量也是F12/v。
當快門打開時對應於快門時間/v的第二部分的圖15中幀#n-1的最左邊像素的前景分量是F11/v。當快門打開時對應於快門時間/v的第三部分的圖15中從左數第二像素的前景分量也是F11/v。當快門打開時對應於快門時間/v的第四部分的圖15中從左數第三像素的前景分量是F11/v。
當快門打開時對應於快門時間/v的第三部分的圖15中幀#n-1的最左邊像素的前景分量是F10/v。當快門打開時對應於快門時間/v的第四部分的圖15中從左數第二像素的前景分量也是F10/v。當快門打開時對應於快門時間/v的第四部分的圖15中幀#n-1的最左像素的前景分量是F09/v。
在圖15的幀#n-1中，最左邊像素屬於背景區域，以及左數第二至第四像素屬於被覆蓋的背景區域的混合區域。
從圖15中幀#n-1左數第五至第十二像素屬於背景區域，其像素值分別是B04至B11。
從圖15中幀#n中左數第一至五像素屬於前景區域。幀#n的前景區域中快門時間/v中前景分量是F05/v至F12/v的任何一個。
可以假定對應於前景的對象是以恆等速度運動的剛體，並且正在運動，使前景圖像被顯示到後續幀向右四個像素。所以，當快門打開時對應於快門時間/v的第一部分的圖15中幀#n中左數第五像素的前景分量是F12/v，並且當快門打開時對應於快門時間/v的第二部分的圖15中左數第六像素的前景分量也是F12/v。當快門打開時對應於快門時間/v的第三部分的圖15中左數第七像素的前景分量，以及當快門打開時對應於快門時間/v的第四部分的圖15中左數第八像素的前景分量也是F12/v。
當快門打開時對應於快門時間/v的第二部分的圖15中幀#n中左數第五像素的前景分量是F11/v。當快門打開時對應於快門時間/v的第三部分的圖15中左數第六像素的前景分量也是F11/v。當快門打開時對應於快門時間/v的第四部分的圖15中左數第七像素的前景分量是F11/v。
當快門打開時對應於快門時間/v的第三部分的圖15中幀#n中左數第五像素的前景分量是F10/v。當快門打開時對應於快門時間/v的第四部分的圖15中左數第六像素的前景分量也是F10/v。當快門打開時對應於快門時間/v的第四部分的圖15中幀#n中左數第五像素的前景分量是F09/v。
由於對應於背景的對象是靜止的，因此當快門打開時對應於快門時間/v的第一部分的圖15中幀#n中左數第六像素的背景分量是B05/v。當快門打開時對應於快門時間/v的第一和第二部分的圖15中幀#n中左數第七像素的背景分量是B06/v。當快門打開時對應於快門時間/v的第一至第三部分的圖15中幀#n中左數第八像素的背景分量是B07/v。
在圖15中的幀#n中，左數第六至第八像素屬於混合區域，即屬於被覆蓋的背景區域。
圖15中幀#n中左數第九至第十二像素屬於背景區域，並且其像素值分別是B08至B11。
圖15中幀#n+1左數第一至第九像素屬於前景區域，幀#n+1的前景區域中的快門時間/v的前景分量是F01/v至F12/v的任一個。
可以假定對應於前景的對象是以恆等速度運動的剛體，並且正在運動，使前景圖像被顯示到後續幀向右四個像素。所以，當快門打開時對應於快門時間/v的第一部分的圖15中幀#n+1左數第九像素的前景分量是F12/v。當快門打開時對應於快門時間/v的第二部分的圖15左數第十像素的前景分量是F12/v。當快門打開時對應於快門時間/v的第三部分的圖15左數第十一像素的前景分量和當快門打開時對應於快門時間/v的第四部分的圖15左數第十二像素的前景分量是F12/v。
當快門打開時對應於快門時間/v的第二部分的圖15幀#n+1左數第九像素的前景分量是F11/v。當快門打開時對應於快門時間/v的第三部分的圖15左數第十像素的前景分量是F11/v。當快門打開時對應於快門時間/v的第四部分的圖15左數第十一像素的前景分量是F11/v。
當快門打開時對應於快門時間/v的第三部分的圖15中幀#n+1左數第九像素的前景分量是F10/v。當快門打開時對應於快門時間/v的第四部分的圖15左數第十像素的前景分量也是F10/v。當快門打開時對應於快門時間/v的第四部分的圖15幀#n+1左數第九像素的前景分量是F09/v。
由於對應於背景的對象是靜止的，因此當快門打開時對應於快門時間/v的第一部分的圖15左數第十像素的背景分量是B09/v。當快門打開時對應於快門時間/v的第一和第二部分的圖15中幀#n+1左數第十一像素的背景分量是B10/v。當快門打開時對應於快門時間/v的第一和第三部分的圖15中幀#n+1左數第十二像素的背景分量是B11/v。
在圖15中的幀#n+1中，左數第十至第十二像素屬於混合區域，它是被覆蓋的背景區域。
圖16圖示從圖15所示的像素中提取前景分量而獲得的像素的一個模型。
圖17圖示通過在時間方向上擴展多個像素而獲得的模型，這些像素在圖像的三個幀中並排排列，並且當這些幀重疊時位於相同位置上，所述的圖像是通過捕獲對應於正在向圖17右邊運動的前景的對象和對應於靜止背景的對象而獲得的。圖17所示的模型包含未被覆蓋的背景區域。
在圖17中，可以假定對應於前景的對象是以恆等速度運動的剛體，並且正在運動，使得它被顯示到後續幀的向右四個像素。所以，運動量v是4。
例如，當快門打開時對應於快門時間/v的第一部分的圖17中幀#n-1最左邊像素的前景分量是F13/v，以及當快門打開時對應於快門時間/v的第二部分的圖17左數第二像素的前景分量也是F13/v。當快門打開時對應於快門時間/v的第三部分的圖17左數第三像素的前景分量和當快門打開時對應於快門時間/v的第四部分的圖17左數第四像素的前景分量是F13/v。
當快門打開時對應於快門時間/v的第一部分的圖17中幀#n-1左數第二像素前景分量是F14/v。當快門打開時對應於快門時間/v的第二部分的圖17左數第三像素的前景分量也是F14/v。當快門打開時對應於快門時間/v的第三部分的圖17左數第三像素的前景分量是F15/v。
由於對應於背景的對象是靜止的，因此當快門打開時對應於快門時間/v的第二至第四部分的圖17中幀#n-1的最左邊像素的背景分量是B25/v。當快門打開時對應於快門時間/v的第三和第四部分的圖17中幀#n-1左數第二像素的背景分量是B26/v。當快門打開時對應於快門時間/v的第四部分的圖17中#n-1左數第三像素的背景分量是B27/v。
在圖17的幀#n-1中，最左邊像素至第三像素屬於混合區域，是未被覆蓋的背景區域。
圖17中幀#n-1左數第四至第十二像素屬於前景區域。該幀的前景分量是F13/v至F24/v的任何一個。
圖17中幀#n中左數最左邊像素至第三像素屬於背景區域，並且其像素值分別是B25至B28。
可以假定對應於前景的對象是以恆等速度運動的剛體，並且正在運動，使前景圖像被顯示到後續幀向右四個像素。所以，當快門打開時對應於快門時間/v的第一部分的圖17中幀#n中左數第五像素的前景分量是F13/v，並且當快門打開時對應於快門時間/v的第二部分的圖17中左數第六像素的前景分量也是F13/v。當快門打開時對應於快門時間/v的第三部分的圖17中左數第七像素的前景分量，以及當快門打開時對應於快門時間/v的第四部分的圖17中左數第八像素的前景分量是F13/v。
當快門打開時對應於快門時間/v的第一部分的圖17中幀#n中左數第六像素的前景分量是F14/v。當快門打開時對應於快門時間/v的第二部分的圖17中左數第七像素的前景分量也是F14/v。當快門打開時對應於快門時間/v的第一部分的圖17中左數第八像素的前景分量是F15/v。
由於對應於背景的對象是靜止的，因此當快門打開時對應於快門時間/v的第二至第四部分的圖17中幀#n中左數第五像素的背景分量是B29/v。當快門打開時對應於快門時間/v的第三和第四部分的圖17中幀#n中左數第六像素的背景分量是B30/v。當快門打開時對應於快門時間/v的第四部分的圖17中幀#n中左數第七像素的背景分量是B31/v。
在圖17中的幀#n中，左數第五至第七像素屬於混合區域，它是未被覆蓋的背景區域。
圖17中幀#n中左數第八至第十二像素屬於前景區域。對應於快門時間/v周期的幀#n的前景區域中的前景分量值是F13/v至F20/v的任一個。
圖17中幀#n+1最左邊像素至左數第八像素屬於背景區域，並且其像素值分別是B25至B32。
可以假定對應於前景的對象是以恆等速度運動的剛體，並且正在運動，使前景圖像被顯示到後續幀向右四個像素。所以，當快門打開時對應於快門時間/v的第一部分的圖17中幀#n+1左數第九像素的前景分量是F13/v。當快門打開時對應於快門時間/v的第二部分的圖17左數第十像素的前景分量是F13/v。當快門打開時對應於快門時間/v的第三部分的圖17左數第十一像素的前景分量和當快門打開時對應於快門時間/v的第四部分的圖17左數第十二像素的前景分量是F13/v。
當快門打開時對應於快門時間/v的第一部分的圖17中幀#n+1左數第十像素的前景分量是F14/v。當快門打開時對應於快門時間/v的第二部分的圖17左數第十一像素的前景分量是F14/v。當快門打開時對應於快門時間/v的第三部分的圖17左數第十二像素的前景分量是F15/v。
由於對應於背景的對象是靜止的，因此當快門打開時對應於快門時間/v的第二至第四部分的圖17幀#n+1左數第九像素的背景分量是B33/v。當快門打開時對應於快門時間/v的第三和第四部分的圖17中幀#n+1左數第十像素的背景分量是B34/v。當快門打開時對應於快門時間/v的第四部分的圖17中幀#n+1左數第十一像素的背景分量是B35/v。
在圖17中的幀#n+1中，從圖17左數第九至第十一像素屬於混合區域，它是未被覆蓋的背景區域。
圖17中幀#n+1左數第十二像素屬於前景區域。幀#n+1的前景區域中快門時間/v中的前景分量分別是F13至F16的任一個。
圖18圖示通過從圖17所指的像素值中提取前景分量獲得的圖像的一個模型。
再參考圖2，區域指定單元103通過使用多個幀的像素值指定多個標記，以指示輸入幀的各個像素屬於前景區域、背景區域、被覆蓋的背景區域或者未被覆蓋的背景區域之中的哪一個，並且將這些標記作為區域信息供應給混合比計算器104和運動模糊調整單元106。
混合比計算器104根據多個幀的像素值和區域信息計算包含在混合區域中的每個像素的混合比α，並把所計算的混合比α供應給前景/背景分離器105。
前景/背景分離器105根據多個幀的像素值、區域信息和混合比α提取僅僅由前景分量組成的前景分量圖像，並且把前景分量圖像供應給運動模糊調整單元106。
運動模糊調整單元106根據從前景/背景分離器105供應的前景分量圖像、從運動檢測器102供應的運動向量和從區域指定單元103供應的區域信息來調整前景分量圖像中包含的運動模糊量，然後輸出調整了運動模糊的前景分量圖像。
下面參考圖19的流程圖說明由圖像處理設備執行調整運動模糊量的處理。在步驟S11中，區域指定單元103根據輸入圖像執行區域指定處理，用於生成區域信息，該區域信息指示輸入圖像的每個像素屬於前景區域、背景區域、被覆蓋的背景區域或者未被覆蓋的背景區域之中的哪一個。下面說明區域指定處理的細節。區域指定單元103向混合比計算器104供應所生成的區域信息。
在步驟S11中，區域指定單元103根據輸入圖像生成區域信息，以指示輸入圖像的每個像素屬於前景區域、背景區域或者混合區域(不考慮每個像素是屬於被覆蓋的背景區域還是屬於未被覆蓋的背景區域)中的哪一個。在此情況下，前景/背景分離器105和運動模糊調整單元106根據運動向量的方向確定混合區域是被覆蓋的背景區域還是未被覆蓋的背景區域。如果輸入圖像在運動矢量方向上以前景區域、混合區域和背景區域的次序設置，則確定混合區域是未被覆蓋的背景區域。
在步驟S12中，混合比計算器104根據輸入圖像和區域信息計算混合區域中包含的每個像素的混合比α。下面給出混合比計算處理的細節。混合比計算處理器104將計算的混合比α供應給前景/背景分離器105。
在步驟S13中，前景/背景分離器105根據區域信息和混合比α從輸入圖像中提取前景分量，並且把前景分量作為前景分量圖像供應給運動模糊調整單元106。
在步驟S14中，運動模糊調整單元106根據運動矢量和區域信息生成處理單位，並調整對應於該處理單位的前景分量中包含的運動模糊量，其中，所述處理單位指示在運動方向上布置的連續像素的位置，並且這些連續像素屬於未被覆蓋的背景區域、前景區域和被覆蓋的背景區域的任一個。下面給出調整運動模糊量的處理細節。
在步驟S15中，圖像處理設備確定是否完成用於整個屏幕的處理。如果確定沒有完成用於整個屏幕的處理，則處理前進到步驟S14，並且重複調整對應於處理單位的前景分量的運動模糊量的處理。
如果在步驟S15中確定用於整個屏幕的處理已經完成，則結束該處理。
在此方式中，圖像處理設備能夠通過分離前景和背景來調整前景中包含的運動模糊量。也就是說，圖像處理設備能夠調整被包含在指示前景像素的像素值的抽樣數據中的運動模糊量。
下面說明區域指定單元103、混合比計算器104、前景/背景分離器105和運動模糊調整單元106中每個的配置。
圖20是圖示說明區域指定單元103的配置的一個實例的方框圖。圖20中顯示的區域指定單元103不使用運動向量。幀存儲器201按幀為單位存儲輸入圖像。當待處理的圖像是#n時，幀存儲器201存儲幀#n-2(是幀#n前兩個幀的幀)、幀#n-1(是幀#n前一個幀的幀)、幀#n、幀#n+1(是幀#n後一個幀的幀)、幀#n+2(是幀#n後二個幀的幀)。
靜止/運動確定部分202-1從幀存儲器201中讀取位於與幀#n的指定像素相同位置上的幀#n+2的像素的像素值，在#n幀中確定該像素屬於的區域，並且從幀存儲器201中讀取位於與幀#n的該指定像素相同位置上的幀#n+1的像素的像素值，並計算所讀出的像素值之間差值的絕對值。靜止/運動確定部分202-1確定幀#n+2的像素值與幀#n+1的像素值之間差值的絕對值是否大於預置的閾值Th。如果確定該差值大於閾值Th，則把表示「運動」的靜止/運動確定供應給區域確定部分203-1。如果確定幀#n+2的像素的像素值與幀#n+1的像素的像素值之間差值的絕對值小於或者等於閾值Th，則靜止/運動確定部分202-1把表示「靜止」的靜止/運動確定供應給區域確定部分203-1。
靜止/運動確定部分202-2從幀存儲器201中讀取幀#n的指定像素的像素值，在#n中確定該特定像素屬於的區域，並且從幀存儲器201中讀取位於與幀#n的該指定像素相同位置上的幀#n+1的像素的像素值，並計算這些像素值之間差值的絕對值。靜止/運動確定部分202-2確定幀#n+1的像素值與幀#n的像素值之差的絕對值是否大於閾值Th。如果確定這些像素之差的絕對值大於閾值Th，則把表示「運動」的靜止/運動確定供應給區域確定部分203-1和區域確定部分203-2。如果確定幀#n+1的像素的像素值與幀#n的像素的像素值之差的絕對值小於或者等於閾值Th，則靜止/運動確定部分202-2把表示「靜止」的靜止/運動確定供應給區域確定部分203-1和區域確定部分203-2。
靜止/運動確定部分202-3從幀存儲器201中讀取幀#n的指定像素的像素值，在幀#n中確定該指定像素屬於的區域，並且從幀存儲器201中讀取位於與幀#n的該指定像素相同位置上的幀#n-1的像素的像素值，並計算這些像素值之間差值的絕對值。靜止/運動確定部分202-3確定幀#n的像素值與幀#n-1的像素值之間差值的絕對值是否大於閾值Th。如果確定這些像素之間差值的絕對值大於閾值Th，則把表示「運動」的靜止/運動確定供應給區域確定部分203-2和區域確定部分203-3。如果確定幀#n的像素的像素值與幀#n-1的像素的像素值之間差值的絕對值小於或者等於閾值Th，則靜止/運動確定部分202-3把表示「靜止」的靜止/運動確定供應給區域確定部分203-2和區域確定部分203-3。
靜止/運動確定部分202-4從幀存儲器201中讀取位於與幀#n的指定像素相同位置上的幀#n-1的像素的像素值，在幀#n中確定該像素屬於的區域，並且從幀存儲器201中讀取位於與幀#n的該指定像素相同位置上的幀#n-2的像素的像素值，並計算這些像素值之間差值的絕對值。靜止/運動確定部分202-4確定幀#n-1的像素值與幀#n-2的像素值之差的絕對值是否大於預置的閾值Th。如果確定這些像素之差的絕對值大於閾值Th，則把表示「運動」的靜止/運動確定供應給區域確定部分203-3。如果確定幀#n-1的像素的像素值與幀#n-2的像素的像素值之間差值的絕對值小於或者等於閾值Th，則靜止/運動確定部分202-4把表示「靜止」的靜止/運動確定供應給區域確定部分203-3。
當從靜止/運動確定部分202-1供應的靜止/運動確定指示為「靜止」以及當從靜止/運動確定部分202-2供應的靜止/運動確定指示為「運動」時，區域確定部分203-1確定幀#n的指定像素屬於未被覆蓋的背景區域，並把指示該被指定像素屬於未被覆蓋的背景區域的「1」設置在與該指定像素關聯的未被覆蓋的背景區域確定標誌中。
當從靜止/運動確定部分202-1供應的靜止/運動確定表示「運動」以及當從靜止/運動確定部分202-2供應的靜止/運動確定表示「靜止」時，區域指定單元203-1確定幀#n的指定像素不屬於未被覆蓋的背景區域，並把指示該被指定像素不屬於未被覆蓋的背景區域的「0」設置在與該被指定像素關聯的未被覆蓋的背景區域確定標誌中。
區域確定部分203-1向存儲確定標誌的幀存儲器204供應按照以上討論設置為「1」或「0」的未被覆蓋的背景區域確定標誌。
當從靜止/運動確定部分202-2供應的靜止/運動確定表示「靜止」以及當從靜止/運動確定部分202-3供應的靜止/運動確定表示「靜止」時，區域確定部分203-2確定幀#n的被指定像素屬於靜止區域，並把指示該像素屬於靜止區域的「1」設置在與該被指定像素關聯的靜止區域確定標誌中。
當從靜止/運動確定部分202-2供應的靜止/運動確定表示「運動」或者當從靜止/運動確定部分202-3供應的靜止/運動確定表示「運動」時，區域確定單元203-2確定幀#n的特定像素不屬於靜止區域，並把指示該像素不屬於靜止區域的「0」設置在與該特定像素關聯的靜止區域確定標誌中。
區域確定部分203-2向存儲確定標誌的幀存儲器204供應按照以上討論設置為「1」或「0」的靜止區域確定標誌。
當從靜止/運動確定部分202-2供應的靜止/運動確定表示「運動」以及當從靜止/運動確定部分202-3供應的靜止/運動確定表示「運動」時，區域確定部分203-2確定幀#n的被指定像素屬於運動區域，並把指示該被指定像素屬於運動區域的「1」設置在與該被指定像素關聯的運動區域確定標誌中。
當從靜止/運動確定部分202-2供應的靜止/運動確定表示「靜止」或者當從靜止/運動確定部分202-3供應的靜止/運動確定表示「靜止」時，區域確定部分203-2確定幀#n的被指定像素不屬於運動區域，並把指示該被指定像素不屬於運動區域的「0」設置在與該被指定像素關聯的運動區域確定標誌中。
區域確定部分203-2向存儲確定標誌的幀存儲器204供應按照以上討論設置為「1」或「0」的運動區域確定標誌。
當從靜止/運動確定部分202-3供應的靜止/運動確定表示「運動」以及當從靜止/運動確定部分202-4供應的靜止/運動確定表示「靜止」時，區域確定部分203-3確定幀#n的指定像素屬於被覆蓋的背景區域，並把指示該指定像素屬於被覆蓋的背景區域的「1」設置在與該特定像素關聯的被覆蓋的背景區域確定標誌中。
當從靜止/運動確定部分202-3供應的靜止/運動確定表示「靜止」或者當從靜止/運動確定部分202-4供應的靜止/運動確定表示「運動」時，區域確定部分203-3確定幀#n的指定像素不屬於被覆蓋的背景區域，並把指示該被指定像素不屬被覆蓋的背景區域的「0」設置在與該指定像素關聯的被覆蓋的背景區域確定標誌中。
區域確定部分203-3向存儲確定標誌的幀存儲器204供應按照以上討論設置為「1」或「0」的被覆蓋的背景區域確定標誌。
存儲確定標誌的幀存儲器204存儲從區域確定部分203-1供應的未被覆蓋的背景區域確定標誌、從區域確定部分203-2供應的靜止區域確定標誌、從區域確定部分203-2供應的運動區域確定標誌以及從區域確定部分203-3供應的被覆蓋的背景區域確定標誌。
存儲確定標誌的幀存儲器204把所存儲的未被覆蓋的背景區域確定標誌、靜止區域確定標誌、運動區域確定標誌以及被覆蓋的背景區域確定標誌供應給合成器205。合成器205根據從存儲確定標誌的幀存儲器204供應的未被覆蓋的背景區域確定標誌、靜止區域確定標誌、運動區域確定標誌和被覆蓋的背景區域確定標誌來生成區域信息，以指示每個像素屬於未被覆蓋的背景區域、靜止區域、運動區域或者被覆蓋的背景區域中的哪一個，並且把區域信息供應給存儲確定標誌的幀存儲器206。
存儲確定標誌的幀存儲器206存儲從合成器205供應的區域信息，並且還輸出所存儲的區域信息。
下面參考圖21至25說明由區域指定單元103執行的處理的一個實例。
當對應於前景的對象正在運動時，對應於屏幕上對象的圖像的位置在每幀中變化。如圖21所示，與位於由幀#n中Yn(x，y)所指示的位置上的對象相對應的圖像被定位在幀#n之後的幀#n+1的Yn+1(x，y)上。
圖22示出通過在時間方向上擴展沿對應於前景對象的圖像的運動方向並排排列的像素的像素值而獲得的模型。例如，如果對應於前景對象的圖像的運動方向是關於屏幕水平的，則圖22中所示的模型是通過在時間方向擴展在一行上並排排列的多個像素的像素值而獲得的模型。
在圖22中，幀#n中的行等於幀#n+1中的行。
對應於包含在幀#n中左數第二像素至第十三像素中的對象的前景分量被包含在幀#n+1左數第六像素至第十七像素中。
在幀#n中，屬於被覆蓋的背景區域的多個像素是從左數第七至第十三像素，屬於未被覆蓋的背景區域的多個像素是從左數第二至第四像素。在幀#n+1中，屬於被覆蓋的背景區域的多個像素是從左數第十五至第十七像素，屬於未被覆蓋的背景區域的多個像素是從左數第六至第八像素。
在圖22所顯示的實例中，由於幀#n中包含的前景分量被幀#n+1中四個像素移動，因此運動量v是4。虛擬劃分部分的數量是與運動量v相應的4。
下面給出在被指定幀前後的多個幀中屬於混合區域的像素的像素值的變化的說明。
在圖23中，屬於幀#n中被覆蓋的背景區域的像素是左數第十五至第十七像素，在幀#n中背景是靜止的並且前景中的運動量v是4。由於運動量v是4，因此從前幀#n-1左數第十五至第十七幀僅僅包含背景分量並且屬於背景區域。從幀#n-2(幀#n-1之前的幀)左數第十五至第十七像素僅包含背景分量，並且屬於背景區域。
由於對應於背景的對象是靜止的，因此幀#n-1左數第十五像素的像素值不會改變幀#n-2左數第十五像素的像素值。同樣，幀#n-1左數的第十六像素的像素值不會改變幀#n-2左數第十六像素的像素值，並且幀#n-1左數的第十七像素的像素值不會改變幀#n-2左數第十七像素的像素值。
也就是說，與屬於幀#n中被覆蓋的背景區域的多個像素相對應的幀#n-1和幀#n-2中的像素僅僅由背景分量組成，其像素值不改變。因此，這些像素值的差值的絕對值幾乎等於0。因而由靜止/運動確定部分202-4作出的關於對應於屬於幀#n中混合區域的多個像素的幀#n-1和幀#n-2中多個像素的靜止/運動確定是「靜止」。
由於屬於幀#n中被覆蓋的背景區域的多個像素包含前景分量，因此其像素值不同於僅由背景分量組成的幀#n-1的像素的像素值。因此，由靜止/運動確定部分202-3作出的關於屬於幀#n中混合區域的多個像素和幀#n-1中對應的多個像素的靜止/運動確定是「運動」。
當靜止/運動確定部分202-3供應表示「運動」的靜止/運動確定結果時，以及當靜止/運動確定部分202-4供應表示「靜止」的靜止/運動確定結果時，按照以上討論，區域確定部分203-3確定該對應的多個像素屬於被覆蓋的背景區域。
在圖24中，在背景靜止不動和前景的運動量v是4的幀#n中，包含在一個未被覆蓋的背景區域中的多個像素是左數第二至第四像素。由於運動量v是4，因此後續幀#n+1中左數第二至第四像素僅包含背景分量，並且屬於背景區域。在幀#n+1之後的幀#n+2中，左數第二至第四像素僅包含背景分量並且屬於背景區域。
由於對應於背景的對象靜止不動，因此幀#n+2中左數第二像素的像素值不改變幀#n+1左數第二像素的像素值。同樣，幀#n+2中左數第三像素的像素值不改變幀#n+1左數第三像素的像素值，幀#n+2中左數第四像素的像素值不改變幀#n+1左數第四像素的像素值。
也就是說，與屬於幀#n中未被覆蓋的背景區域的多個像素相對應的幀#n+1和幀#n+2中多個像素僅僅由背景分量組成，並且其像素值不變化。因此，這些像素值的差值的絕對值幾乎等於0。這樣，由靜止/運動確定部分202-1作出的關於與屬於幀#n中混合區域的多個像素相對應的幀#n+1和幀#n+2中多個像素的靜止/運動確定是「靜止」。
由於屬於幀#n中未被覆蓋的背景區域的像素包含前景分量，因此其像素值不同於僅僅由背景分量組成的幀#n+1的像素值。所以，由靜止/運動確定部分202-2作出的關於屬於幀#n中混合區域的多個像素和幀#n+1中對應的多個像素的靜止/運動確定是「運動」。
當靜止/運動確定部分202-2供應表示「運動」的靜止/運動確定結果時，以及當靜止/運動確定部分202-1供應表示「靜止」的靜止/運動確定結果時，按照以上討論，區域確定部分203-1確定該對應的多個像素屬於未被覆蓋的背景區域。
圖25圖示由區域指定單元103作出的幀#n的確定條件。當位於與待處理的幀#n的像素相同的圖像位置上的幀#n-2的像素的確定結果和位於與幀#n的像素相同的圖像位置上的幀#n-1的像素的確定結果是靜止的時，以及當幀#n的像素和位於與幀#n的像素相同的圖像位置上的幀#n-1的像素的確定結果是運動的時，區域指定單元103確定幀#n+1中的像素屬於被覆蓋的背景區域。
當幀#n中像素和位於與幀#n的像素相同的圖像位置上的幀#n-1的像素的確定結果是靜止的時，以及當幀#n的像素確定結果位於與幀#n的指定像素相同的圖像位置上的幀#n+1的像素的確定結果是靜止的時，區域指定單元103確定幀#n中的像素屬於靜止區域。
當幀#n中像素的確定結果和位於與幀#n的像素相同的圖像位置上的幀#n-1的像素的確定結果是運動的時，以及當幀#n的像素的確定結果和當位於與幀#n的指定像素相同的圖像位置上的幀#n+1的像素的確定結果是運動的時，區域指定單元103確定幀#n中的像素屬於運動區域。
當幀#n中像素的確定結果和位於與幀#n的像素相同的圖像位置上的幀#n+1的像素的確定結果是運動的時，以及當位於與幀#n的像素的相同位置上的幀#n+1的像素的確定結果和位於與幀#n的指定像素相同的圖像位置上的幀#n+2的像素的確定結果是靜止的時，區域指定單元103確定幀#n中的像素屬於未被覆蓋的背景區域。
圖26A至26D圖示區域指定單元103獲得的確定結果的實例。在圖26A中，用白色指示被確定為屬於被覆蓋的背景區域的像素。在圖26B中，用白色指示被確定為屬於未被覆蓋的背景區域的像素。
在圖26C中，用白色指示被確定為屬於運動區域的像素。在圖26D中，用白色指示被確定為屬於靜止區域的像素。
圖27圖示區域信息，該區域信息指示從存儲確定標誌的幀存儲器輸出的區域信息中選擇圖像形式的混合區域。在圖27中，用白色指示被確定為屬於被覆蓋的背景區域或者未被覆蓋的背景區域的像素，即，被確定為屬於混合區域的像素。指示從存儲確定標誌的幀存儲器206輸出的混合區域的區域信息指定混合區域和具有紋理(texture)的部分，該紋理由前景區域中沒有紋理的部分環繞。
下面結合圖28的流程圖說明區域指定單元103執行的區域指定處理。在步驟S201中，幀存儲器201獲得包括待確定的#n在內的幀#n-2至#n+2的圖像。
在步驟S202中，靜止/運動確定部分202-3確定位於相同位置上的幀#n-1中的像素和幀#n中的像素的確定結果是否是靜止的。如果確定該確定結果是靜止的，則處理前進到步驟S203，由靜止/運動確定部分202-2確定位於同一位置上的幀#n中像素和#n+1中像素的確定結果是否為靜止的。
如果在步驟S203中確定位於同一位置上的幀#n中像素和#n+1中像素的確定結果是靜止的，則處理前進到步驟S204。在步驟S204，區域確定部分203-2將指示待處理的像素屬於靜止區域的「1」設置在與待處理的像素關聯的靜止區域確定標誌中。區域確定部分203-2向存儲確定標誌的幀存儲器204供應靜止區域確定標誌，並前進到步驟S205。
如果在步驟S202中確定位於同一位置上的幀#n-1中像素和#n中像素的確定結果是運動的，或者如果在步驟S203中確定位於同一位置的幀#n的像素和#n+1中像素的確定結果是運動的，則待處理的像素不屬於靜止區域。因此，步驟S204的處理被跳過，處理前進到步驟S205。
在步驟S205，靜止/運動確定部分202-3確定位於同一位置的幀#n-1的像素和#n的像素的確定結果是運動的。如果確定該確定結果是運動的，則處理前進到步驟S206，在此步驟中，靜止/運動確定部分202-2確定位於同一位置的幀#n中的像素和幀#n+1中的像素的確定結果是否是運動的。
如果在步驟S206中確定位於同一位置上的幀#n中像素和#n+1中像素的確定結果是運動的，則處理前進到步驟S207。在步驟S207中，區域確定部分203-2將指示待處理的像素屬於運動區域的「1」設置在與該待處理的像素關聯的運動區域確定標誌中。區域確定部分203-2向存儲確定標誌的幀存儲器204供應運動區域確定標誌，然後處理前進到步驟S208。
如果在步驟S205中確定位於同一位置上的幀#n-1中像素和#n中像素的確定結果是靜止的，或者如果在步驟S203中確定位於同一位置的幀#n的像素和#n+1中像素的確定結果是靜止的，則幀#n中像素不屬於運動區域。因此，步驟S207的處理被跳過，處理前進到步驟S208。
在步驟S208，靜止/運動確定部分202-4確定位於同一位置的幀#n-2的像素和#n-1的像素的確定結果是靜止的。如果確定該確定結果是靜止的，則處理前進到步驟S209，在此步驟中，靜止/運動確定部分202-3確定位於同一位置的幀#n-1中的像素和幀#n中的像素是運動的。
如果在步驟S209中確定位於同一位置上的幀#n-1中像素和#n中像素的確定結果是運動的，則處理前進到步驟S210。在步驟S210中，區域確定部分203-3將指示待處理的像素屬於被覆蓋的背景區域的「1」設置在與該待處理的像素關聯的被覆蓋的背景區域確定標誌中。區域確定部分203-3向存儲確定標誌的幀存儲器204供應被覆蓋的背景區域確定標誌，並前進到步驟S211。
如果在步驟S208中確定位於同一位置上的幀#n-2中像素和#n-1中像素的確定結果是運動的，或者如果在步驟S209中確定位於同一位置的幀#n-1的像素和#n中的像素的確定結果是靜止的，則幀#n中像素不屬於被覆蓋的背景區域。因此，步驟S210的處理被跳過，於是處理前進到步驟S211。
在步驟S211，靜止/運動確定部分202-2確定位於同一位置的幀#n的像素和#n+1的像素的確定結果是運動的。如果在步驟S211中確定該確定結果是運動的，則處理前進到步驟S212，在此步驟中，靜止/運動確定部分202-1確定位於同一位置的幀#n+1中的像素和幀#n+2中的像素的確定結果是否為靜止的。
如果在步驟S212中確定位於同一位置上的幀#n+1中像素和#n+2中像素的確定結果是靜止的，則處理前進到步驟S213。在步驟S213中，區域確定部分203-2將指示待處理的像素屬於未被覆蓋的背景區域的「1」設置在與該待處理的像素關聯的未被覆蓋的背景區域確定標誌中。區域確定部分203-1向存儲確定標誌的幀存儲器204供應未被覆蓋的背景區域確定標誌，並前進到步驟S214。
如果在步驟S211中確定位於同一位置上的幀#n中像素和#n+1中像素的確定結果是靜止的，或者如果在步驟S212中確定幀#n+1的像素和幀#n+2中像素的確定結果是運動的，則幀#n中像素不屬於未被覆蓋的背景區域。因此，步驟S213的處理被跳過，處理前進到步驟S214。
在步驟S214中，區域指定單元103確定幀#n的所有像素的區域是否被指定。如果確定幀#n的所有像素的區域還未被指定，則處理返回到步驟S202，並且對於剩餘像素重複區域指定處理。
如果在步驟S214中確定幀#n中所有像素都被指定，則處理前進到步驟S215。在步驟S215中，合成器215根據存儲在存儲確定標誌的幀存儲器204中的未被覆蓋的背景區域確定標誌和被覆蓋的背景區域確定標誌，生成指示混合區域的區域信息，還生成指示每個像素屬於未被覆蓋的背景區域、靜止區域、運動區域、或者被覆蓋的背景區域之中的哪一個的區域信息，並且在確定標誌存儲幀存儲器206中設置所生成的區域信息。然後結束該處理。
如上討論，區域指定單元103能夠生成指示包含在一個幀中每個像素屬於運動區域、靜止區域、未被覆蓋的背景區域或者被覆蓋的背景區域之中的哪一個的區域信息。
區域指定單元103可以把邏輯OR應用於對應於未被覆蓋的背景區域的區域信息和對應於被覆蓋的背景區域的區域信息，以便生成對應於混合區域的區域信息，然後可以生成由多個標誌組成的區域信息，以指示包含在幀中的各個像素屬於運動區域、靜止區域或者混合區域之中的哪一個。
當對應於前景的對象具有紋理時，區域指定單元103能夠更精確地指定運動區域。
區域指定單元103能夠輸出指示運動區域的區域信息，以作為指示前景區域的區域信息，並且輸出指示靜止區域的區域信息，以作為指示背景區域的區域信息。
上面已經描述了假定對應於背景的對象是靜止的實施例。然而，即使對應於背景區域的圖像包括運動，也可以應用上述的區域指定處理。例如，如果對應於背景區域的圖像正在均勻運動，則區域指定單元103根據該運動位移整個圖像，並且按照類似於對應於背景的對象是靜止的情況的方式執行處理。如果對應於背景區域的圖像包含局部不同的運動，則區域指定單元103選擇對應於該運動的像素，並且執行上述的處理。
圖29是圖示區域指定單元103的配置的另一個實例。圖29所示的區域指定單元103不使用運動向量。背景圖像生成器301生成對應於輸入圖像的背景圖像，並且向二進位對象圖像提取部分302供應所生成的背景圖像。背景圖像生成器301提取例如對應於包含在輸入圖像中的背景對象的圖像對象，並且生成背景圖像。
圖30示出通過在時間方向擴展沿著對應於前景對象的圖像的運動方向並排排列的多個像素的像素值而獲得的模型的實例。例如，如果對應於前景對象的圖像的運動方向是關於屏幕水平的，則圖30所示的模型是通過在時域中對單行上並排排列的像素的像素值進行擴展而獲得的模型。
在圖30中，幀#n中行與幀#n-1中的行以及幀#n+1中的行是相同的。
在幀#n中，對應於包含在左數第六至第十七像素中的對象的前景分量被包含在幀#n-1左數第二至第十三像素中，並且還包含在幀#n+1左數第十至第二十一像素中。
在幀#n-1中，屬於被覆蓋的背景區域的多個像素是左數第十一至第十三像素，屬於未被覆蓋的背景區域的像素是左數第二至第四像素。在幀#n中，屬於被覆蓋的背景區域的像素是左數第十五至第十七像素，並且屬於未被覆蓋的背景區域的像素是左數第六至第八像素。在幀#n+1中，屬於被覆蓋的背景區域的像素是左數第十九至第二十一像素，並且屬於未被覆蓋的背景區域的像素是左數第十至第十二像素。
在幀#n-1中，屬於背景區域的多個像素是左數第一像素，並且是左數第十四至第二十一像素。在幀#n中，屬於背景區域的像素是左數第一至第五像素，並且是左數第十八至第二十一像素。在幀#n+1中，屬於背景區域的像素是左數第一至第九像素。
圖31示出由背景圖像生成器301生成的對應於圖30所示的實例的背景圖像的例子。背景圖像由對應於背景對象的多個像素組成，但是不包括對應於前景對象的圖像分量。
二進位對象圖像提取部分302根據背景圖像與輸入圖像之間的相關性生成二進位對象圖像，並且向時間變化檢測器303供應所生成的二進位對象圖像。
圖32是圖示二進位對象圖像提取部分302的配置的方框圖。相關性值計算器321計算從背景圖像生成器301供應的背景圖像與輸入圖像之間的相關性，以便生成相關性值，並且將所生成的相關性值供應給閾值處理器322。
相關性值計算器321將方程(4)運用於例如中心具有X4的3×3背景圖像塊(如圖33A所示)，並且運用於例如對應於背景圖像塊的中心具有Y4的3×3背景圖像塊(如圖33B所示)，從而計算對應於Y4的相關性值。 X=i=08Xi9......(5)]]>Y=i=08Yi9......(6)]]>相關性值計算器321向閾值處理器322供應以上討論的為每個像素計算的相關性值。
作為選擇，相關性值計算器321可以將方程(7)運用於例如中心具有X4的3×3背景圖像塊(如圖34A所示)，並且運用於例如對應於背景圖像塊的中心具有Y4的3×3背景圖像塊(如圖34B所示)，從而計算對應於Y4的差值的絕對值之和。 相關性值計算器321向閾值處理器322供應作為相關性值的以上計算的差值的絕對值之和。
閾值處理器322將相關性圖像的像素值與閾值th0進行比較。如果該相關性值小於或等於閾值th0，則把1設置在二進位對象圖像的像素值中。如果相關性值大於閾值th0，則把0設置在二進位對象圖像的像素值中。閾值處理器322隨後輸出其像素值被設置為0或者1的二進位對象圖像。閾值處理器322可以預先存儲閾值th0，或者可以使用從外部源輸入的閾值th0。
圖35說明對應於圖30所示的輸入圖像的模型的二進位對象圖像。在二進位對象圖像中，在與背景圖像有較高相關性的像素的像素值中設置0。
圖36是圖示時間變換檢測器303配置的方框圖。當確定幀#n的像素區域時，幀存儲器341存儲從二進位對象圖像提取部分302供應的幀#n-1、幀#n和幀#n+1的二進位對象圖像。
區域確定部分342根據幀#n-1、幀#n和幀#n+1的二進位對象圖像確定幀#n的每個像素的區域，以便生成區域信息，並且輸出所生成的區域信息。
圖37圖示由區域確定部分342作出的確定。當幀#n中二進位對象圖像的指定像素是0時，區域確定部分342確定幀#n的指定像素屬於背景區域。
當幀#n中二進位對象圖像的指定像素為1時，和當幀#n-1中二進位對象圖像的對應像素為1時，以及當幀#n+1中二進位對象圖像的對應像素為1時，區域確定部分342確定幀#n中的指定像素屬於前景區域。
當幀#n中二進位對象圖像的指定像素為1時，以及當幀#n-1中二進位對象圖像的對應像素為0時，區域確定部分342確定幀#n中的指定像素屬於被覆蓋的背景區域。
當幀#n中二進位對象圖像的指定像素為1時，以及當幀#n+1中二進位對象圖像的對應像素為0時，區域確定部分342確定幀#n中的指定像素屬於未被覆蓋的背景區域。
圖38圖示由時間變化檢測器303作出的關於對應於圖30所示的輸入圖像的模型的二進位對象圖像的確定的一個實例。時間變化檢測器303確定幀#n中左數第一至第五像素屬於背景區域，因為幀#n的二進位對象圖像的對應像素為0。
時間變化檢測器303確定左數第六至第九像素屬於未被覆蓋的背景區域，因為幀#n中二進位對象圖像的像素為1，以及幀#n+1中的對應像素為0。
時間變化檢測器303確定左數第十至第十三像素屬於前景區域，因為幀#n中二進位對象圖像的像素為1，幀#n-1中的對應像素為1，以及幀#n+1中的對應像素為1。
時間變化檢測器303確定左數第十四至第十七像素屬於被覆蓋的背景區域，因為幀#n中二進位對象圖像的像素為1，幀#n-1中對應像素為0。
時間變化檢測器303確定左數第十八至第二十一像素屬於背景區域，因為幀#n中二進位對象圖像的對應像素為0。
下面參考圖39的流程圖說明由區域指定單元103執行的區域指定處理。在步驟S301中，區域指定單元103的背景圖像生成器301例如根據輸入圖像提取與包含在輸入圖像中的背景對象相對應的圖像對象，以便生成背景圖像，並且向二進位圖像提取部分302供應所生成的背景圖像。
在步驟S302中，二進位對象圖像提取部分302根據例如參考圖33所討論的計算來計算輸入圖像與背景圖像生成器301供應的背景圖像之間的相關性值。在步驟S303中，二進位對象圖像提取部分302通過例如比較相關性值與閾值th0，從該相關性值和閾值th0中算出二進位對象圖像。
在步驟S304中，時間變化檢測器303執行區域確定處理，並結束該處理。
下面參考圖40的流程圖說明步驟S304中的區域確定處理的細節。在步驟S321中，時間變化檢測器303的區域確定部分342確定幀存儲器341中存儲的幀#n中的指定像素是否為0。如果確定幀#n中指定像素為0，則處理前進到步驟S322。在步驟S322中，確定幀#n中指定像素屬於背景區域，然後結束該處理。
如果在步驟S321中確定幀#n中指定像素為1，則處理前進到步驟S323。在步驟S323中，時間變化檢測器303的區域確定部分342確定幀存儲器341中存儲的幀#n的指定像素是否為1，並確定幀#n-1中的對應像素是否為0。如果確定幀#n中指定像素為1，以及幀#n-1中對應像素為0，則處理前進到步驟S324。在步驟S324中，確定幀#n中指定像素屬於被覆蓋的背景區域，然後結束該處理。
如果在步驟S323中確定幀#n中的指定像素為0，或者幀#n-1的對應像素為1，則處理前進到步驟S325。在步驟S325中，時間變化檢測器303的區域確定部分342確定幀存儲器341中存儲的幀#n的指定像素是否為1，並確定幀#n+1中的對應像素是否為0。如果確定幀#n中指定像素為1，以及幀#n+1中對應像素為0，則處理前進到步驟S326。在步驟S326中，確定幀#n中指定像素屬於未被覆蓋的背景區域，並結束該處理。
如果在步驟S325中確定幀#n中的指定像素為0，或者幀#n+1的對應像素為1，則處理前進到步驟S327。在步驟S327中，時間變化檢測器303的區域確定部分342確定幀#n的指定像素屬於前景區域，並結束該處理。
如上所述，區域指定單元103能夠根據輸入圖像與對應的背景圖像之間的相關性值指定輸入圖像的每個像素屬於前景區域、背景區域、被覆蓋的背景區域或者未被覆蓋的背景區域之中的哪一個，並生成對應於特定結果的區域信息。
圖41是圖示說明區域指定單元103的另一個配置的方框圖。圖41所示的區域指定單元103使用從運動檢測器102供應的運動向量及其位置信息。圖41中與圖29所示部件相同的部件由相似參考標號表示，並省略其說明。
加強處理(robust processing)部分361根據從二進位對象圖像提取部分302供應的N個幀的二進位對象圖像生成一個加強二進位對象圖像，並且向時間變化檢測器303輸出加強(robust)二進位對象圖像。
圖42是圖示加強處理部分361的配置的方框圖。運動補償器381根據從運動檢測器102供應的運動向量及其位置信息補償N個幀的二進位對象圖像的運動，並且把運動補償二進位對象圖像輸出給開關382。
下面結合圖43和圖44所示的實例討論由運動補償器381執行的運動補償。例如，假定幀#n中的區域是將要處理的。當輸入圖43所示的幀#n-1、幀#n和幀#n+1的二進位對象圖像時，運動補償器381根據從運動檢測器102供應的運動向量補償幀#n-1的二進位對象圖像和幀#n+1的二進位對象圖像的運動，如圖44的實例所示，並且把運動補償二進位對象圖像供應給開關382。
開關382把第一幀的運動補償二進位對象圖像輸出給幀存儲器383-1，並且把第二幀的運動補償二進位對象圖像輸出給幀存儲器383-2。同樣，開關382把第三幀至第(N-1)幀的運動補償二進位對象圖像輸出給幀存儲器393-3至383-(N-1)，並且把第N幀的運動補償二進位對象圖像輸出給幀存儲器383-N。
幀存儲器381-1存儲第一幀的運動補償二進位對象圖像，並且把所存儲的二進位對象圖像輸出給加權部分384-1。幀存儲器383-2存儲第二幀的運動補償二進位對象圖像，並且把所存儲的二進位對象圖像輸出給加權部分384-2。
同樣，幀存儲器381-3至383-(N-1)存儲第三至第(N-1)幀的運動補償二進位對象圖像，並且把所存儲的二進位對象圖像輸出給加權部分384-3至384-(N-1)。幀存儲器383-N存儲第N幀的運動補償二進位對象圖像，並且把所存儲的二進位對象圖像輸出給加權部分384-N。
加權部分384-1用一個預定權(weigh)w1乘幀存儲器383-1供應的第一幀的運動補償二進位對象圖像的像素值，並且向一個累積器385供應加權的二進位對象圖像。加權部分384-2用一個預定權w2乘幀存儲器383-2供應的第二幀的運動補償二進位對象圖像的像素值，並且向累積器385供應加權的二進位對象圖像。
同樣，加權部分384-3至384-(N-1)用預定權w3至w(N-1)乘幀存儲器383-3至383-(N-1)供應的第三至第(N-1)幀的運動補償二進位對象圖像的像素值，並且向累積器385供應加權的二進位對象圖像。加權部分384-N用一個預定權wN乘幀存儲器383-N供應的第N幀的運動補償二進位對象圖像的像素值，並且向累積器385供應加權的二進位對象圖像。
累積器385累積被第一至第N幀的權w1至wN相乘的運動補償二進位對象圖像的像素值，並且比較所累積的像素值與預定的閾值th0，從而生成二進位對象圖像。
如上所述，加強處理部分361從N個二進位對象圖像中生成加強二進位對象圖像，並且供應給時間變化檢測器303。所以，按圖41配置的區域指定單元103能夠比圖29更精確地指定區域，即使在輸入圖像中含有噪聲的情況下也是如此。
下面參考圖45的流程圖說明按照圖41配置的區域指定單元103執行的區域指定處理。步驟S341至步驟S343的處理類似於結合圖39的流程圖討論的步驟S301至步驟S303的處理，因而省略其說明。
在步驟S344中，加強處理部分361執行加強處理。
在步驟S345中，時間變化檢測器303執行區域確定處理，並結束該處理。步驟S345的處理細節類似於結合圖40的流程圖所討論的處理，因此省略其說明。
下面參考圖46的流程圖給出對應於圖45中的步驟S344的處理的加強處理的細節。在步驟S361中，運動補償器381根據從運動檢測器102供應的運動向量及其位置信息執行輸入二進位對象圖像的運動補償。在步驟S362中，幀存儲器383-1至383-N之一存儲經由開關382供應的對應的運動補償二進位對象圖像。
在步驟S363中，加強處理部分361確定是否存儲了N個二進位對象圖像。如果確定未存儲N個二進位對象圖像，則處理返回到步驟S361，並且重複補償二進位對象圖像運動的處理以及存儲二進位對象圖像的處理。
如果在步驟S363中確定存儲了N個二進位對象圖像，則處理前進到執行加權的步驟S364。在步驟S364中，加權部分384-1至384-N用權w1至wN乘對應的N個二進位對象圖像。
在步驟S365中，累積器385累積N個加權二進位對象圖像。
在步驟S366中，累積器385例如通過比較所累積的值與預定閾值th1，從累積的圖像中生成二進位對象圖像，然後結束該處理。
如上所述，按照圖41配置的區域指定單元103能夠根據加強二進位對象圖像生成區域信息。
正如從上述說明所看到的，區域指定單元103能夠生成區域信息，以指示包含在一個幀中的每個像素屬於運動區域、靜止區域、未被覆蓋的背景區域或者被覆蓋的背景區域之中的哪一個。
圖47是圖示混合比計算器104配置的一個實例的方框圖。估算混合比處理器401通過根據輸入圖像計算被覆蓋的背景區域的模型，來計算每個像素的估算混合比，並且把計算的估算混合比供應給混合比確定部分403。
估算混合比處理器402通過根據輸入圖像計算未被覆蓋的背景區域的一個模型，來計算每個像素的估算混合比，並且把計算的估算混合比供應給混合比確定部分403。
由於可以假定對應於前景的對象在快門時間正在以恆等速度運動，因此屬於一個混合區域的像素的混合比α展現以下特徵。也就是說，混合比α根據像素的位置變化而線性變化。如果像素的位置變化是一維的，可以線性地表示混合比α的變化。如果像素的位置變化是二維的，可以在平面上表示混合比α的變化。
由於一幀的周期很短，因此可以假定對應於前景的對象是以恆等速度運動的剛體。
混合比α的梯度與前景的快門時間內的運動量v成反比。
圖48示出理想的混合比α的實例。混合區域中的理想混合比α的梯度1可以由運動量v的倒數表示。
如圖48所示，理想混合比α在背景區域具有1的值，在前景區域具有0的值，在混合區域具有大於0小於1的值。
在圖49所示的實例中，幀#n中左數第七像素的像素值C06可以由使用幀#n-1左數第七像素的像素值P06的方程(8)來表示。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v......(8)]]>=2/vP06+i=12Fi/v]]>
在方程(8)中，像素值C06由混合區域中的像素的像素值M表示，而像素值P06由背景區域的像素的像素值B表示。也就是說，混合區域的像素的像素值M和背景區域的像素的像素值B可以分別由方程(9)和方程(10)表示。
M＝C06 (9)B＝P06 (10)在方程(8)中，2/v相當於混合比α。由於運動量v是4，因此幀#n中左數第七像素的混合比α是0.5。
如上所述，指定幀#n中的像素值C被認為是混合區域的像素值，而幀#n之前的幀#n-1的像素值P被認為是背景區域中的像素值。所以，指示混合比α的方程(3)可以由方程(11)表示C＝α·P+f (11)其中，方程(11)中的f指示包含在指定像素中的前景分量∑iFi/v之和。方程(11)中含有的變量是兩個因數，即，混合比α和前景分量之和f。
同樣，圖50示出通過在時間方向上擴展像素值而獲得的模型，在該像素值中運動量v是4，因而虛擬劃分部分的數量在未被覆蓋的背景區域中是4。
如被覆蓋的背景區域的表示那樣，在未被覆蓋的背景區域中，指定幀#n的像素值C被認為是混合區域中的像素值，而幀#n之後的幀#n+1的像素值N被認為是背景區域。因此，指示混合比α的方程(3)可以由方程(12)表示。
C＝α·N+f (12)上面已經說明了假定背景對象是靜止的實施例。然而，通過使用對應於背景的運動量v定位的像素的像素值，可以將方程(8)至方程(12)應用於背景對象正在運動的情況。例如，現在假定在圖49中，對應於背景的對象的運動量v是2，以及虛擬劃分部分數量是2。在此情況下，當對應於背景的對象正在向圖49的右邊運動時，方程(10)中的背景區域中的像素的像素值B由像素值P04表示。
由於方程(11)和(12)每一個都包含兩個變量，因此不修改方程就不能確定混合比α。一般來說，圖像具有強空間相關性，所以彼此非常逼近的像素幾乎具有相同的像素值。
由於前景分量在空間上強相關性，所以修改所述方程，使得前景分量之和f可以從在前或者在後幀中演算出來，從而確定混合比α。
圖51中幀#n中左數第七像素的像素值Mc可以由方程(13)表達。Mc=2vB06+i=1112Fi/v.....(13)]]>方程(13)右邊的第一項2/v對應於混合比α。方程(13)右邊的第二項可以由利用後續幀#n+1中像素值的方程(14)表達。i=1112Fi/v=i=710Fi/v......(14)]]>現在假定方程(15)是通過利用前景分量的空間相關性成立。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12(15)利用方程(15)可以將方程(14)替換成方程(16)。i=1112Fi/v=2vF=4vF......(16)]]>結果，可以用方程(17)表達ββ＝2/4(17)一般來說，如果假定混合區域中的多個前景分量相等，如圖方程(15)所示，則根據內比的關係，方程(18)對混合區域中的所有像素成立。
β＝1-α (18)如果方程(18)成立，則方程(11)被展開成方程(19)。C=P+f]]>=P+(1-)i=rr+v-1Fi/v......(19)]]>=P+(1-)N]]>同樣，如果方程(18)成立，則方程(12)可以被展開成方程(20)。C=N+f]]>=N+(1-)i=+v-1Fi/v......(20)]]>=N+(1-)P]]>
在方程(19)和(20)中，由於C、N和P是已知像素值，因此包含在方程(19)和(20)中的變量僅僅是混合比α。圖52示出方程(19)和(20)中的C、N和P之間的關係。C是用於計算混合比α的幀#n中指定像素的像素值。N是定位在對應於指定像素的空間位置上的幀#n+1中像素的像素值。P是定位在對應於指定像素的空間位置上的幀#n-1中像素的像素值。
由於方程(19)和(20)的每個中包含一個變量，因此利用三個幀中的像素計算混合比α。下面說明通過解方程(19)和(20)求解正確混合比α的條件，該條件是有關於混合區域的前景分量相等，即，在前景對象靜止時捕獲的前景的圖像對象中，在對應於前景對象的運動方向的圖像對象的、定位在邊界上的運動量v的兩倍的連續像素的像素值是固定的。
如上所述，屬於被覆蓋的背景區域的像素的混合比α通過方程(21)計算，屬於未被覆蓋的背景區域的像素的混合比α通過方程(22)計算。
α＝(C-N)/(P-N) (21)α＝(C-P)/(N-P) (22)圖53是圖示估算混合比處理器401的配置的方框圖。幀存儲器421按多個幀為單位存儲輸入圖像，並且把作為輸入圖像輸入的幀之後的一幀供應給幀存儲器422和混合比計算器423。
幀存儲器422按多個幀為單位存儲輸入圖像，並且把幀存儲器421供應的幀之後的一幀供應給混合比計算器423。
因此，當幀#n+1作為輸入圖像輸入給混合比計算器423時，幀存儲器423把幀#n供應給混合比計算器423，並且幀存儲器422把幀#n-1供應給混合比計算器423。
混合比計算器423根據幀#n中指定像素的像素值C、定位於與指定像素的位置相對應的位置上的幀#n+1的像素的像素值N以及定位於與指定像素的位置相對應的位置上的幀#n-1的像素的像素值P，通過解方程(21)來計算估算混合比，輸出所計算的估算混合比。例如，當背景靜止時，混合比計算器423根據幀#n中指定像素的像素值C、位於與指定像素相同位置上的幀#n+1中像素的像素值N和位於與指定像素相同位置上的像素的像素值P，計算指定像素的估算混合比，並輸出所計算的估算混合比。
這樣，估算混合比計算器401根據輸入圖像計算估算混合比，並且將此供應給混合比確定部分403。
除了估算混合比計算器401通過解方程(21)計算指定像素的估算混合比，估算混合比計算器402通過解方程(22)計算指定像素的估算混合比外，估算混合比計算器402配置成與估算混合比計算器401相同。因此，省略對估算混合比計算器402的解釋。
圖54圖示由估算混合比處理器401計算的估算混合比的實例。圖54所示的估算混合比是示出在對應於以恆等速度運動的對象的前景的運動量是11時，一行的結果。
如圖48所示，可以看出估算混合比在混合區域幾乎是線性變化的。
參見圖47，混合比確定部分403根據從區域指定單元103供應的區域信息設置混合比α，該區域信息指示將要計算混合比α的像素屬於背景區域、被覆蓋的背景區域或者未被覆蓋的背景區域之中的哪一個。當對應像素屬於背景區域時混合比確定部分403將混合比α設置為0，並且當對應像素屬於背景區域時將混合比設置為1。當對應像素屬於未被覆蓋的背景區域時，混合比確定部分403將混合比α設置為估算混合比處理器401所供應的估算混合比。當對應像素屬於未被覆蓋的背景區域時，混合比確定部分403將混合比α設置為估算混合比處理器402所供應的估算混合比。混合比確定部分403輸出根據區域信息設置的混合比α。
圖55是圖示混合比估算計算器104的另一個配置的方框圖。選擇器441根據從區域指定單元103供應的區域信息向估算混合比處理器442供應屬於被覆蓋的背景區域的像素以及在前和在後幀中的對應像素。選擇器441根據從區域指定單元103供應的區域信息向估算混合比處理器443供應屬於未被覆蓋的背景區域的像素以及在前和在後幀中的對應像素。
估算混合比處理器442根據從選擇器441輸入的像素值，通過方程(21)表示的計算來計算屬於被覆蓋的背景區域的指定像素的估算混合比，並且向選擇器444供應所計算的估算混合比。
估算混合比處理器443根據從選擇器441輸入的像素值，通過方程(22)表示的計算來計算屬於未被覆蓋的背景區域的指定像素的估算混合比，並且向選擇器444供應所計算的估算混合比。
根據區域指定單元103所指定的區域信息，當指定像素屬於前景區域時選擇器444將混合比α設置為0，而當指定像素屬於背景區域時將混合比α設置為1。當指定像素屬於被覆蓋的背景區域時，選擇器444選擇從估算混合比處理器442供應的估算混合比，並將其設置為混合比α。當指定像素屬於未被覆蓋的背景區域時，選擇器444選擇從估算混合比處理器443供應的估算混合比，將其設置為混合比α。然後，選擇器444輸出根據區域信息選擇和設置的混合比α。
如上所述，按圖55所示配置的混合比計算器104能夠為圖像中含有的每個像素計算混合比α，並且輸出所計算的混合比α。
下面參考圖56討論由圖47所示的混合比計算器104所執行的混合比α的計算處理。在步驟S401中，混合比計算器104獲得從區域指定單元103供應的區域信息。在步驟S402中，估算混合比處理器401通過使用對應於被覆蓋的背景區域的模型進行對混合比的估算處理，並且將所估算的混合比供應給混合比確定部分403。下面參考圖57討論對混合比進行估算處理的細節。
在步驟S403中，估算混合比處理器402使用對應於未被覆蓋的背景區域的模型對混合比進行估算處理，並且將估算混合比供應給混合比確定部分403。
在步驟S404中，混合比計算器104確定是否已經為整個幀估算了混合比。如果確定還沒有為整個幀估算混合比，則處理返回到步驟S402，並且為後續像素進行混合比的估算處理。
如果在步驟S404中確定已經為整個幀估算了混合比，則處理前進到步驟S405。在步驟S405中，混合比確定部分403根據從區域指定單元103供應的區域信息設置混合比，該區域信息指示將要計算混合比α的像素屬於前景區域、背景區域、被覆蓋的背景區域或者未被覆蓋的背景區域之中的哪一個。當對應像素屬於前景區域時，混合比確定部分403將混合比α設置為0；當對應像素屬於背景區域時，混合比確定部分403將混合比α設置為1。當對應像素屬於被覆蓋的背景區域時，混合比確定部分403將估算混合比處理器401供應的估算混合比設置為混合比α。當對應像素屬於未被覆蓋的背景區域時，混合比確定部分403將估算混合比處理器402供應的估算混合比設置為混合比α，然後結束該處理。
如上所述，混合比計算器104能夠根據從區域指定單元103供應的區域信息和輸入圖像計算指示對應於每個像素的特徵量(feature quantity)的混合比α。
由配置成圖55所示的混合比計算器104執行的、計算混合比α的處理類似於結合圖56所討論的情況，因此省略其對說明。
下面結合圖57的流程圖說明在圖56的步驟S402中使用對應於被覆蓋的背景區域的模型進行的混合比估算處理。
在步驟S421中，混合比計算器423從幀存儲器421中獲得幀#n中的指定像素的像素值C。
在步驟S422中，混合比計算器423從幀存儲器422中獲得對應於包含在輸入圖像中的指定像素的幀#n-1中像素的像素值P。
在步驟S423中，混合比計算器423獲得對應於包含在輸入圖像中的指定像素的幀#n+1中像素的像素值N。
在步驟S424中，混合比計算器423根據幀#n中指定像素的像素值C、幀#n-1中像素的像素值P和幀#n+1中像素的像素值N計算估算混合比。
在步驟S425中，混合比計算器423確定是否完成針對整個幀的估算混合比。如果確定還未完成針對整個幀的計算混合比的處理，則處理返回到步驟S421，重複針對後續像素的計算估算混合比的處理。
當在步驟S425中確定針對整個幀的計算估算混合比的處理已經完成時，結束該處理。
如上所述，估算混合比處理器401能夠根據輸入圖像計算估算混合比。
在圖56的步驟S403中使用對應於未被覆蓋的背景區域的模型執行的混合比估算處理類似於使用對應於未被覆蓋的背景區域的模型執行的由圖57的流程圖指示的處理，因而省略對其解釋。
圖55所示的估算混合比處理器442和估算混合比處理器443通過執行類似於圖57的流程圖的處理來計算估算混合比，因此省略對其解釋。
已經說明的實施例假定對應於背景的對象是靜止的。但是即使對應於背景區域的圖像包含運動也可以應用上述確定混合比α的處理。例如，如果對應於背景區域的圖像正在勻速運動，則估算混合比處理器401根據背景的運動移位整個圖像，並且以類似於對應於背景的對象是靜止情形的方式執行處理。如果對應於背景區域的圖像包含局部不同的運動，則估算混合比處理器401把對應於該運動的像素選作屬於混合區域的對應像素，並且執行上述處理。
估算混合比計算器104通過使用對應於被覆蓋的背景區域的模型可以僅僅執行用於所有像素的混合比估算處理，並把計算的估算混合比作為混合比α輸出。在此情況下，混合比α指示針對屬於被覆蓋的背景區域的像素的背景分量比，並且指示針對屬於未被覆蓋的背景區域的像素的背景分量比。對於屬於未被覆蓋的背景區域的像素，計算混合比α與1之差的絕對值，並且將所計算的絕對值設置為混合比α。從而圖像處理設備能夠確定指示屬於未被覆蓋的背景區域的像素的背景分量比。
同樣，混合比計算器104可以僅僅通過使用對應於未被覆蓋的背景區域的模型執行關於所有像素的混合比估算處理，並把計算的估算混合比作為混合比α輸出。
下面說明利用混合比α線性地變化這一特徵計算混合比α的混合比計算器104。
如上所述，由於方程(11)和(12)都包含兩個變量，所以不用對方程進行修改就可以用於確定混合比α。
利用因為對應於前景的對象正在恆等速度運動，混合比α根據像素的位置變化而線性變化這一特徵，建立在空間方向逼近混合比α以及前景分量之和f的方程。通過利用多組屬於混合區域的像素的像素值和屬於背景區域的像素的像素值，求解該逼近混合比α以及前景分量之和f的方程。
當混合比α的變化逼近為直線時，混合比α可以由方程(23)表示。
α＝i1+p (23)在方程(23)中，i表示當指定像素的位置被設置為0時的空間索引，1是指混合比α的直線的梯度，p是指混合比α的直線的截距，也表示指定像素的混合比α。在方程(23)中，索引i是已知的，梯度1和截距p是未知的。
圖58示出索引i、梯度1和截距P之間的關係。在圖58中，白色的點表示指定像素，黑色的點表示逼近該指定像素的各像素。
通過依據方程(23)逼近混合比α，可以用兩個變量表示多個像素的多個不同混合比α。在圖58所示的實例中，五個像素的五個混合比由兩個變量，即梯度1和截距p表示。
當在圖59所示的平面中逼近混合比α時，通過將運動量v考慮成對應於兩個方向，即圖像的水平方向和垂直方向，把方程(23)擴展到該平面中，並且可以用方程(24)表示混合比α。在圖5中，白點指示該指定像素。
α＝jm+kq+p(24)
在方程(24)中，j是指定像素的位置為0時的水平方向的索引(index)，k是指定像素的位置為0時的垂直方向的索引。在方程(24)中，m指在該平面中混合比α的水平梯度，q指在該平面中混合比α的垂直梯度。在方程(24)中，p指該平面中混合比α的截距。
例如，在圖49所示的幀#n中，方程(25)至(27)分別對C05至C07有效。
C05＝α05·B05/v+F05 (25)C06＝α06·B06/v+F06 (26)C07＝α07·B07/v+F07 (27)假定定位在彼此逼近的位置上的前景分量是彼此相等的，即F01至F03相等，則通過用Fc替代F01至F0 3使方程(28)成立。
f(x)＝(1-α(x))·Fc (28)在方程(28)中，x指示在空間方向上的位置。
當α(x)由方程(24)替代時，方程(28)可以用方程(29)表示。
f(x)＝(1-(jm+kq+p))·Fc＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝js+kt+u (29)在方程(29)中，(-m·Fc)、(-q·Fc)和(1-p)·Fc分別被方程(30)至(32)所示的s、t、u替代。
s＝-m·Fc (30)t＝-q·Fc (31)u＝(1-p)·Fc (32)在方程(29)中，j是指定像素的位置為0時的水平方向的索引，k是指定像素的位置為0時的垂直方向的索引。
如上所述，由於可以假定對應於前景的對象在快門時間內正以恆等速度運動，並且彼此逼近定位的前景分量是一致的，因此，可以通過方程(29)逼近前景分量之和。
當混合比α被直線逼近時，可以由方程(33)表示前景分量。
f(x)＝is+u (33)通過使用方程(24)和(29)替代方程(13)中的混合比α和前景分量之和，可以用方程(34)表示像素值M。
M＝(jm+kq+p)·B+js+kt+u＝jB·m+kB·q+B·p+j·s+k·t+u (34)在方程(34)中，未知變量是六個因子，比如該平面中的混合比α的水平梯度(horizontal gradient)m，該平面內的混合比α的垂直梯度q，該平面內的混合比α的截距、p、s、t和u。
像素值M和像素值B被設置在與逼近於指定像素的多個像素相符的方程(34)中，然後以最小二乘法求解設置了像素值M和像素值B的多個方程，從而計算混合比α。
例如，指定像素的水平索引j被設置為0，指定像素的垂直索引k被設置為0。那麼，當像素值M或者像素值B被設置在由方程(34)表示的法方程中、用於定位於逼近指定像素的3×3像素時，可以得到方程(35)至(43)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u(35)M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (36)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(37)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (38)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u (39)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (40)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u(41)M0，+1＝(0)·B0，+1·m+(+1)·B0，-1·q+B0，+1·p+(0)·s+(+1)·t+u (42)M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u(43)由於指定像素的水平索引j是0，指定像素的垂直索引k是0，因此，指定像素的混合比α等於當方程(24)中j為0和k為0時的值，即混合比α等於方程(24)中的截距p。
所以，根據九個方程，即方程(35)至(43)，通過最小二乘法計算水平梯度q和截距p、s、t、u，並且把截距p輸出為混合比α。
下面說明通過應用最小二乘法計算混合比α的具體處理。
當索引i和索引k被單一索引x表示時，可以用方程(44)表示索引i、索引k和索引x之間的關係。
x＝(j+1)·3+(k+1) (44)現在假定水平梯度m、垂直梯度q和截距p、s、t、u分別由變量w0、w1、w2、w3、w4、w5表示，以及jB、kB、B、j、k和1分別由a0、a1、a2、a3、a4和a5表示。在考慮誤差ex的情況下，方程(35)至(43)可以被修改成方程(45)。Mx=y=05aywy+ex......(45)]]>在方程(45)中，x是整數0至8的任何一個。
可以從方程(45)得到方程(46)。ex=Mx-y=05aywy......(46)]]>由於應用了最小二乘法，因此可以按方程(47)定義誤差的平方和E。E=x=08ex2......(47)]]>為了最小化誤差，關於誤差的平方和E的變量Wv的偏微分值應當為0。v是整數0至5的任何一個。因而確定wy以滿足方程(48)。EWv=2x=08exexWv......(48)]]>=2x=08exav=0]]>通過把方程(46)代入方程(48)，可以獲得方程(49)。x=08(avy=05ayWy)=x=08avWx......(49)]]>例如，將消去法(高斯-若當消去法)應用於由六個方程組成的法方程，該六個方程是通過將整數0至5之任一個代入方程(49)中的v而獲得的，從而得到wy。如上所述，w0是水平梯度m，w1是垂直梯度q，w2是截距m，w3是s，w4是t，w5是u。
如上所述，通過將最小二乘法應用到其中設置了像素M和像素B的方程，可以確定水平梯度m、垂直梯度q和截距p、s、t和u。
通過假設包含在混合區域中的像素的像素值是M，包含在背景區域中的像素的像素值是B，結合方程(35)至(43)給出一說明。在此情況下，必須為在被覆蓋的背景區域中包含指定像素或者在未被覆蓋的背景區域中包含指定像素的每一種情形，設置法方程。
例如，當在圖49所示幀#n的被覆蓋的背景區域中包含的像素的混合比α被確定時，在法方程中設置幀#n的像素的C04至C08以及幀#n-1的像素的像素值P04至P08。
為了確定包含在圖50所示幀#n的未被覆蓋的背景區域中的像素的混合比α，在法方程中設置幀#n的像素的C28至C32以及幀#n+1的像素的像素值N28至N32。
此外，例如，如果包含在圖60所示被覆蓋的背景區域中像素的混合比α被計算出來，則設置下列方程(50)至(58)。在圖60中，白色點表示屬於背景的像素，黑色點表示屬於混合區域的像素。用於計算混合比α的像素的像素值是Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u (50)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (51)Mc 3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u(52)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (53)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u (54)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (55)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u (56)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (57)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u (58)為了計算包含在幀#n的被覆蓋的背景區域中的像素的混合比α，使用分別對應於方程(50)至(58)內幀#n的像素的幀#n-1中背景區域的像素的像素值Bc1至Bc9。
當例如在圖60所示的未被覆蓋的背景區域中包含的像素的混合比α被計算時，設置下列方程(59)-(67)。計算出混合比α的像素的像素值是Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u(59)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (60)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u(61)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (62)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u(63)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (64)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u(65)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (66)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u(67)
為了計算包含在幀#n的未被覆蓋的背景區域中的像素的混合比α，使用分別對應於方程(59)至(67)內幀#n的像素的幀#n+1中背景區域的像素的像素值Bu1至Bu9。
圖61是圖示估算混合比處理器401的配置的方框圖。輸入到估算混合比處理器中的圖像被供應給延遲電路501和加法器502。
延遲電路501延遲一幀的輸入圖像，並把該圖像供應給加法器502。當幀#n作為輸入圖像供應給加法器502時，延遲電路501將幀#n-1供應給加法器502。
加法器502設置鄰近於計算出混合比α的像素的像素的像素值，並且設置法方程中的幀#n-1的像素值。例如，加法器502分別根據方程(50)至(58)設置法方程中的像素值Mc1至Mc9以及像素值Bc1至Bc9。加法器502將在其內設置了像素值的法方程供應給計算器503。
計算器503通過採用例如消去法(sweep out)求解從加法器502供應的法方程來確定估算混合比(estimated mixture ratio)，並輸出所確定的估算混合比。
這樣，估算混合比處理器401能夠根據輸入圖像計算估算混合比，並且將其供應給混合比確定部分403。
估算混合比處理器402配置成類似於估算混合比處理器401，因而省略對其說明。
圖62圖示由估算混合比處理器401計算的估算混合比的一個實例。對於圖62所示的估算混合比，對應於以恆等速度運動的對象的前景運動v是11，並且利用7×7像素塊為單位由生成方程計算到的結果是針對一行所示出的。
從圖61可以看出，在混合區域中，估算混合比幾乎線性地變化。
下面參考圖63的流程圖說明估算混合比處理器401通過使用對應於被覆蓋的背景區域的模型執行對混合比進行估算的處理，其中估算混合比處理器401具有圖61中的配置。
在步驟S521中，加法器502在對應於被覆蓋的背景區域的模型的法方程中，設置包含在輸入圖像中的像素值和包含在從延遲電路501供給的圖像中的像素值。
在步驟S522中，估算混合比處理器401確定目標像素的設置是否完成。如果確定目標像素的設置沒有完成，則將處理過程返回步驟S521，並重複在法方程中設置像素值的處理。
如果確定目標像素的設置已經完成，則將處理過程前進到步驟S523。在步驟S523中，計算器503根據設置了像素值的法方程計算估算混合比，並輸出所計算到的混合比。
如上所述，具有圖61中的配置的估算混合比處理器401能夠根據輸入的圖像計算出估算混合比。
通過使用對應於未被覆蓋的背景區域的模型的混合比估算處理，類似於通過利用對應於未被覆蓋的背景區域的模型的法方程的、由圖63所指示的處理，因此，其解釋在此省略。
該實施例是在假設對應於背景的對象是靜止的情況下進行描述的。但上述混合比計算處理可以應用於甚至對應於背景區域包含運動的圖像。例如，如果對應於背景區域的圖像是勻速運動的，則估算混合比處理器401根據這個運動移動整個圖像，並且以類似於對應於背景的對象是靜止的情況下的方式執行處理。如果對應於背景區域的圖像包含局部不同的運動，則估算混合比處理器401將對應於運動的像素作為對應於混合區域的像素，並執行上述處理。
如上所述，混合比計算器102能夠根據從區域指定單元101供應的輸入圖像和區域信息計算作為對應於每個像素的特徵量的混合比α。
通過利用該混合比α，能夠分離包含在像素值中的前景分量和背景分量，同時保持包含在對應於運動對象的圖像中的運動模糊的信息。
通過根據混合比α合成圖像，能夠產生包含匹配運動對象的速度的正確的運動模糊並真實地反映現實世界的圖像。
下面討論前景/背景分離器105。圖64是圖示前景/背景分離器105的配置的一個實例的方框圖。供應給前景/背景分離器105的輸入圖像被供應到分離部分601、開關602和開關604。從區域指定單元103供應的指示被覆蓋的背景區域和未被覆蓋的背景區域的信息的區域信息被供應給分離部分601。指示前景區域的區域信息被供應給開關602。指示背景區域的區域信息被供應給開關604。
從混合比計算器104供應的混合比α被供應給分離部分601。
分離部分601根據指示被覆蓋的背景區域的區域信息、指示未被覆蓋的背景區域的區域信息以及混合比α，從輸入圖像中分離出前景分量，並且將所分離的前景分離供應給合成器603。分離部分601還從輸入圖像中分離背景分量，並將所分離的背景分量供應給合成器605當根據指示前景區域的區域信息輸入對應於前景的像素時，開關602閉合，並且僅僅把對應於包含在輸入圖像中的前景的像素供應給合成器603。
當根據指示背景區域的區域信息輸入對應於背景的像素時，開關604閉合，並且僅僅把對應於包含在輸入圖像中的背景的像素供應給合成器605。
合成器603根據從分離部分601供應的前景分量和對應於從開關602供應的前景的像素合成前景分量圖像，並且輸出所合成的前景分量圖像。由於前景區域和混合區域不重疊，因此，合成器603把例如邏輯OR應用於前景分量和前景像素，從而合成前景分量圖像。
在針對前景分量圖像的合成處理開始時執行的初始化處理中，合成器603在內置幀存儲器中存儲其像素值都為0的圖像。然後，在針對前景分量圖像的合成處理中，合成器603存儲該前景分量圖像(用該前景分量圖像改寫在前的圖像)。因此，將0存儲在與合成器603輸入的前景分量圖像的背景區域相對應的多個像素中。
合成器605根據從分離部分601供應的背景分量和對應於從開關604供應的背景的像素合成背景分量圖像，並且輸出所合成的背景分量圖像。由於背景區域和混合區域不重疊，因此，合成器605把例如邏輯OR應用於背景分量和背景像素，從而合成背景分量圖像。
在針對背景分量圖像的合成處理開始時執行的初始化處理中，合成器605在內置幀存儲器中存儲其像素值都為0的圖像。然後，在針對背景分量圖像的合成處理中，合成器605存儲背景分量圖像(用該背景分量圖像改寫在前圖像)。因此，將0存儲在與合成器605輸入的背景分量圖像的前景區域相對應的多個像素中。
圖65A圖示輸入前景/背景分離器105的輸入圖像和從前景/背景分離器105輸出的前景分量圖像和背景分量圖像。圖65B圖示一個模型，它對應於輸入前景/背景分離器105的輸入圖像和從前景/背景分離器105輸出的前景分量圖像和背景分量圖像。
圖65A是圖示將要顯示的圖像的示意圖，圖65B是一個模型，它通過在時間方向上擴展排列在對應於圖65A所示的一行中的像素，該行包括屬於前景區域的像素、屬於背景區域的像素和屬於混合區域的像素。
如圖65A和圖65B所示，從前景/背景分離器105輸出的背景分量圖像由屬於背景區域的像素和包含在混合區域的像素中的背景分量組成。
如圖65A和圖65B所示，從前景/背景分離器105輸出的前景分量圖像由屬於前景區域的像素和包含在混合區域的像素中的前景分量組成。
前景/背景分離器105將混合區域中的像素的像素值分離成背景分量和前景分量。所分離的背景分量形成背景分量圖像和屬於背景區域的像素。所分離的前景分量形成前景分量圖像和屬於前景區域的像素。
如上所述，在前景分量圖像中，將對應於背景區域的像素的像素值設置為0，並且在對應於前景區域的像素和對應於混合區域的像素中設置有效像素值。同樣，在背景分量圖像中，將對應於背景區域的像素的像素值設置為0，並且在對應於背景區域的像素和對應於混合區域的像素中設置有效像素值。
下面對分離部分601執行的處理進行說明，該分離部分601從屬於混合區域的像素中分離出前景分量和背景分量。
圖66圖示指示兩個幀中前景分量和背景分量的圖像的模型，這兩個幀包含在圖66中從左向右運動的前景對象。在圖66所示的圖像的模型中，運動量v是4，虛擬劃分部分的數量是4。
在幀#n中，最左邊像素和左數第十四至第十八像素僅僅由背景分量組成，並且屬於背景區域。在幀#n中，左數第二至第四像素包含背景分量和前景分量，並且屬於未被覆蓋的背景區域。在幀#n中，左數第十一至第十三像素包含背景分量和前景分量，並且屬於被覆蓋的背景區域。在幀#n中，左數第五至第十像素僅僅包含前景分量，並且屬於前景區域。
在幀#n+1中，左數第一至第五像素僅僅由背景分量組成，並且屬於背景區域。在幀#n+1中，左數第六至第八像素包含背景分量和前景分量，並且屬於未被覆蓋的背景區域。在幀#n+1中，左數第十五至第十七像素包含背景分量和前景分量，並且屬於被覆蓋的背景區域。在幀#n+1中，左數第九至第十四像素僅僅由前景分量組成，並且屬於前景區域。
圖67圖示從屬於被覆蓋的背景區域的像素中分離前景分量的處理。在圖67中，α1至α18表示幀#n的各個像素的混合比。在圖67中，左數第十四至第十七像素屬於被覆蓋的背景區域。
幀#n中左數第十五像素的像素值C15可以由方程(68)表示
C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v (68)其中α15表示幀#n中左數第十四像素的混合比，P15表示幀#n-1中左數第十五像素的像素值。
幀#n中左數第十五像素的前景分量之和f15可以由基於方程(68)的方程(69)表達。
f15＝F09/v+F08/v+F07/v＝C15-α15·P15 (69)同樣，幀#n中左數第十六像素的前景分量之和f16可以由方程(70)表達，幀#n中左數第十七像素的前景分量之和f17可以由方程(71)表達。
f16＝C16-α16·P16 (70)f17＝C17-α17·P17 (71)這樣，包含在屬於被覆蓋的背景區域的像素的像素值C中的前景分量fc可以由方程(72)表達fc＝C-α·P (72)其中P表示對應於在前幀中像素的像素值。
圖68圖示從屬於未被覆蓋的背景區域的像素中分離前景分量的處理。在圖68中，α1至α18表示幀#n的各像素的混合比。在圖68中，左數第二至第四像素屬於未被覆蓋的背景區域。
幀#n中左數第二像素的像素值C02可以由方程(73)表示C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (73)其中α2表示幀#n中左數第二像素的混合比，N02表示幀#n+1中左數第二像素的像素值。
幀#n中左數第二像素的前景分量之和f02可以由基於方程(73)的方程(74)表達。
f02＝F01/v＝C02-α2·N02 (74)同樣，幀#n中左數第三像素的前景分量之和f03可以由方程(75)表達，幀#n中左數第四像素的前景分量之和f04可以由方程(76)表達。
f03＝C03-α3·N03 (75)f04＝C04-α4·N04 (76)這樣，包含在屬於未被覆蓋的背景區域的像素的像素值C中的前景分量fu可以由方程(77)表達fu＝C-α·N (77)其中N表示對應於後續幀中像素的像素值。
如上所述，分離部分601能夠根據包含在區域信息中的指示被覆蓋的背景區域的信息和指示未被覆蓋的背景區域的信息以及每個像素的混合比α，從屬於混合區域的像素中分離前景分量，以及從屬於混合區域的像素中分離背景分量。
圖69是圖示執行上述處理的分離部分601配置的一個實例的方框圖。輸入到分離部分601中的圖像被供應給幀存儲器621，從混合比計算器104供應的指示被覆蓋的背景區域和未被覆蓋的背景區域的區域信息以及混合比α被供應給分離處理單元622。
幀存儲器621以幀單位存儲輸入圖像。當待處理的一幀是幀#n時，幀存儲器621存儲幀#n-1(是幀#n的前一幀)、幀#n和幀#n+1(是幀#n的後一幀)。
幀存儲器621把幀#n-1、幀#n和幀#n+1中的對應像素供應給分離處理單元622。
分離處理單元622根據指示被覆蓋的背景區域和未被覆蓋的背景區域的區域信息以及混合比α，把參考圖67和圖68討論的計算應用於從幀存儲器6 21供應的幀#n-1、幀#n和幀#n+1中的對應像素的像素值，以便從屬於幀#n中混合區域的像素中分離前景分量和背景分量，並且將它們供應給幀存儲器623。
分離處理單元622由未覆蓋的區域處理器631、覆蓋的區域處理器632、合成器633和合成器634構成。
未覆蓋的區域處理器631的乘法器641用混合比α乘幀存儲器621所供應的幀#n+1中像素的像素值，並且把所得到的像素值輸出給開關642。當從幀存儲器621供應的幀#n的像素(相當於幀#n+1中的像素)屬於未覆蓋的區域時，閉合開關642，並且把乘法器641供應的被混合比α相乘的像素值供應給計算器643和合成器634。通過由開關624輸出的混合比α乘幀#n+1中像素的像素值而獲得的值相當於幀#n中對應像素的像素值的背景分量。
計算器643從幀存儲器621供應的幀#n中像素的像素值中減去從開關642供應的背景分量，以便獲得前景分量。計算器643向合成器633供應屬於未被覆蓋的背景區域的幀#n中像素的前景分量。
覆蓋的區域處理器632的乘法器651用混合比α乘幀存儲器621所供應的幀#n-1中像素的像素值，並且把所得到的像素值輸出給開關652。當從幀存儲器621供應的幀#n的像素(相當於幀#n-1中的像素)屬於被覆蓋的背景區域時，閉合開關652，並且把乘法器651供應的被混合比α相乘的像素值供應給計算器653和合成器634。通過由開關652輸出的混合比α乘幀#n-1中像素的像素值而獲得的值相當於幀#n中對應像素的像素值的背景分量。
計算器653從幀存儲器621供應的幀#n中像素的像素值中減去從開關652供應的背景分量，以便獲得前景分量。計算器653向合成器633供應屬於被覆蓋的背景區域的幀#n中像素的前景分量。
合成器633將計算器643所供應的屬於未被覆蓋的背景區域的像素的前景分量與計算器653所供應的屬於被覆蓋的背景區域的像素的前景分量相合併，並且把合成的前景分量供應給幀存儲器623。
合成器634將計算器642所供應的屬於未被覆蓋的背景區域的像素的背景分量與開關652所供應的屬於被覆蓋的背景區域的像素的背景分量相合併，並且把合成的背景分量供應給幀存儲器623。
幀存儲器623存儲從分離處理單元622供應的幀#n的混合區域中像素的前景分量和背景分量。
幀存儲器623輸出所存儲的幀#n中混合區域的像素的前景分量和所存儲的幀#n中混合區域的像素的背景分量。
通過利用表示特徵量的混合比α，可以完全分離包含在像素中的前景分量和背景分量。
合成器603將分離部分601輸出的幀#n中混合區域的像素的前景分量與屬於前景區域的像素相合併，以便生成前景分量圖像。合成器605將分離部分601輸出的幀#n中混合區域的像素的背景分量與屬於背景區域的像素相合併，以便生成背景分量圖像。
圖70A圖示對應於圖66中幀#n的前景分量圖像的一個實例。在分離前景和背景之前，最左像素和左數第十四像素僅僅由背景分量組成，因此像素值被設置為0。
在分離前景和背景之前，左數第二至第四像素屬於未被覆蓋的背景區域。因此，背景分量被設置為0，並且保持前景分量。在分離前景和背景之前，左數第十一至第十三像素屬於被覆蓋的背景區域。因此，背景分量被設置為0，並且保持前景分量。左數第五至第十像素僅僅由如此保持的前景分量組成。
圖70B圖示對應於圖66中幀#n的背景分量的一個實例。在分離前景和背景之前，最左像素和左數第十四像素僅僅由背景分量組成，從而保持背景分量。
在分離前景和背景之前，左數第二至第四像素屬於未被覆蓋的背景區域。因此，前景分量被設置為0，並且保持背景分量。在分離前景和背景之前，左數第十一至第十三像素屬於被覆蓋的背景區域。因此，前景分量被設置為0，並且保持背景分量。左數第五至第十像素僅僅由前景分量組成，因而像素值被設置為0。
下面參考圖71的流程圖說明由前景/背景分離器105執行的分離前景和背景的處理。在步驟S601中，分離部分601的幀存儲器621獲得輸入圖像，並且存儲用於分離前景和背景的幀#n以及在前幀#n-1和後續幀#n+1。
在步驟S602中，分離部分601的分離處理單元622獲取從混合比計算器104供應的區域信息。在步驟S603中，分離部分601的分離處理單元622獲取從混合比計算器104供應的混合比α。
在步驟S604中，未覆蓋的區域處理器631根據區域信息和混合比α從幀存儲器621供應的屬於未被覆蓋的背景區域的像素的像素值中提取背景分量。
在步驟S605中，未覆蓋的區域處理器631根據區域信息和混合比α從幀存儲器621供應的屬於未被覆蓋的背景區域的像素的像素值中提取前景分量。
在步驟S606中，覆蓋的區域處理器632根據區域信息和混合比α從幀存儲器621供應的屬於被覆蓋的背景區域的像素的像素值中提取背景分量。
在步驟S607中，覆蓋的區域處理器632根據區域信息和混合比α從幀存儲器621供應的屬於被覆蓋的背景區域的像素的像素值中提取前景分量。
在步驟S608中，合成器633將步驟S605的處理中提取的屬於未被覆蓋的背景區域的像素的前景分量與在步驟S607處理中提取的屬於被覆蓋的背景區域的像素的前景分量相合併。所合成的前景分量被供應給合成器603。合成器603進一步將經由開關602供應的屬於前景區域的像素與從分離部分601供應的前景分量相合併，以便生成前景分量圖像。
在步驟S609中，合成器634將在步驟S604處理中提取的屬於未被覆蓋的背景區域的像素的背景分量與在步驟S606處理中提取的屬於被覆蓋的背景區域的像素的背景分量相合併。合成的背景分量被供應給合成器605。合成器605進一步將經由開關604供應的屬於背景區域的像素與從分離部分601供應的背景分量相合併，以便生成背景分量圖像。
在步驟S610中，合成器603輸出前景分量圖像。在步驟S611中，合成器605輸出背景分量圖像。然後結束該處理。
如上所述，前景/背景分離器105能夠根據區域信息和混合比α從輸入圖像中分離出前景分量和背景分量，並且輸出僅僅由前景分量組成的前景分量圖像和僅僅由背景分量組成的背景分量圖像。
下面描述從背景分量圖像中調整運動模糊量。
圖72是圖示運動模糊調整單元106的配置的一個實例的方框圖。
將從運動檢測器102供給運動向量及其位置信息和從區域指定單元103供給的區域信息供給處理單位確定部分801和模型形成部分802。從前景/背景分離器105供給的區域信息被供給加法器804。
處理單位確定部分801將處理單位和區域信息與運動向量一起供給模型形成部分802，其中所述處理單位根據運動向量及其位置信息產生。處理單位確定部分801將所產生的處理單位供給加法器804。
像由圖73中所示的「A」指示的實例那樣，由處理單位確定部分801所產生的處理單位指示排列在移動方向上，起始於對應於前景分量圖像的被覆蓋的背景區域的像素、到對應於未被覆蓋的背景區域的像素為止的相鄰像素，或者指示排列在移動方向上，起始於對應於未被覆蓋的背景區域的像素、到對應於被覆蓋的背景區域的像素為止的相鄰像素。處理單位由兩段數據構成，這些數據指示例如左上角點(是由該處理單位所指定的圖像中的最左邊或最上邊的像素的位置)和右下角點。
模型形成部分802根據運動向量和輸入的處理單位形成模型。更具體地說，例如，模型形成部分802可以事先按照包含在處理單位中的像素數、時間方向上像素值的虛擬劃分部分的數量以及每個像素的前景分量數，存儲多個模型。然後，模型形成部分802可以選擇這樣的模型，在其中，像圖74中那樣，根據處理單位和時間方向上像素值的虛擬劃分部分的數量指定像素和前景分量之間的相關性。
現在假設例如對應於處理單位的像素數是12，快門時間內的運動量是5。那麼，模型形成部分802將虛擬劃分部分的數量設置成5，並選擇一由八種類型的前景分量構成的模型，以便最左邊的像素包含前景分量，左起第二像素包含兩個前景分量，左起第三像素包含三個前景分量，左起第四像素包含四個前景分量，左起第五像素包含五個前景分量，左起第六像素包含五個前景分量，左起第七像素包含五個前景分量，左起第八像素包含五個前景分量，左起第九像素包含四個前景分量，左起第十像素包含三個前景分量，左起第十一像素包含兩個前景分量，左起第十二像素包含前景分量。
代替從預先存儲的模型中選擇模型，當供給運動向量和處理單位時，模型形成部分802可以根據運動向量和處理單位產生模型。
模型形成部分802將所選擇的模型供給方程生成器803。
方程生成器803根據模型形成部分802供給的模型產生方程。
下面參考圖74所示的前景分量圖像的模型，描述在前景分量數為8、對應於處理單位的像素數是12、運動量v是5的情況下，由方程生成器803產生的方程。
當包含在對應於快門時間/v的前景分量圖像中的前景分量是F01/v至F08/v時，F01/v至F08/v之間的關係和像素值C01至C012可以由方程(78)至(89)表示。
C01＝F01/v (78)C02＝F02/v+F01/v(79)C03＝F03/v+F02/v+F01/v (80)C04＝F04/v+F03/v+F02/v+F01/v(81)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (82)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (83)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (84)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (85)C09＝F08/v+F07/v+F06/v+F05/v(86)
C10＝F08/v+F07/v+F06/v (87)C11＝F08/v+F07/v (88)C12＝F08/v (89)方程生成器803通過修改所產生的方程來產生方程。由方程生成器803所產生的方程由方程(90)至(101)指示。
C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(90)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(91)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(92)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(93)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v(94)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v(95)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v(96)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(97)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(98)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v(99)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v(100)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v(101)方程(90)至(101)可以被表示成方程(102)Cj=i=0108aijFi/v......(102)]]>在方程(102)中，j指定像素的位置。在該實例中，j具有值1到12之一。在方程(102)中，i指定前景值的位置。在該實例中，i具有值1到8之一。在方程(102)中，aij根據i和j的值具有0或1值。
再考慮到誤差的情況下，方程(102)可以表達成方程(103)。Cj=i=0108aijFi/v+ej......(103)]]>在方程(103)中，ej指定包含在指定的像素Cj中的誤差。
方程(103)可以修改成方程(104)。ej=Cj-i=0108aijFi/v......(104)]]>為了使用最小二乘法，可以按方程(105)定義誤差的平方和E。E=j=0112ej2......(105)]]>為了最小化誤差，誤差的平方和E關於變量Fk的偏微分值應當為0。確定Fk以滿足方程(106)。EFk=2j=0112ejejFk.....(106)]]>=2j=0112(Cj-i=018aijFi/v)(-akj/v)=0]]>在方程(106)中，由於運動量v是固定的值，因此可以導出方程(107)。j=0112akj(Cj-i=018aijFi/v)=0......(107)]]>展開方程(107)並移項，可得到方程(108)。j=0112(akji=018aijFi)=vj=0112akjCj......(108)]]>通過將1到8之間的各個整數代入方程(108)中的k，方程(108)展開成八個方程。所獲得的八個方程可以被表達成一個矩陣方程。這個方程稱為「法方程」。
方程(109)指示由方程生成器803根據最小二乘法產生的法方程的實例。5432100045432100345432102345432112345432012345430012345400012345F01F02F03F04F05F06F07F08=vi=0812Cii=0711Cii=0610Cii=0509Cii=0408Cii=0308Cii=0207Cii=0106Ci......(109)]]>方程(109)由A·F＝v·C表達，其中C、A和v已知，F未知。A和v在模型形成時知道，而C在加法處理過程中輸入像素值時知道。
通過根據基於最小二乘法的法方程計算前景分量，可以分布包含在像素C中的誤差。
方程生成器803將按照上述所討論的方法生產的法方程供應給加法器804。
加法器804基於由處理單位確定部分801供應的處理單位，在方程生成器803所供給的矩陣方程中，設置包含在前景分量圖像中的像素值C。加法器804將這樣的矩陣供應給計算器805，其中所述矩陣被設置了像素值C。
計算器805通過諸如消去法(高斯-若當(Gauss-Jordan)消元法)之類的解法，計算已經從其中消除了運動模糊的前景分量Fi/v，以便獲得對應於指示整數1到8之一的i、被從其中消除了運動模糊的像素值Fi。接著，計算器805輸出由沒有運動模糊的、如圖75中那樣的像素值組成的前景分量圖像到運動模糊加法器806和選擇器807。
在圖75所示的沒有運動模糊的前景分量圖像中，在C03和C010中分別設置F01至F08的原因是，相對於屏幕，前景分量圖像的位置不變化。然而，可以設置F01至F08在所希望的任何位置上。
運動模糊加法器806能夠通過增加用於調整運動模糊的量v′來調整該運動模糊量。該運動量v′不同於運動量v，例如用於調整運動模糊的量v′是運動量v的數值的一半，或者用於調整運動模糊的量v′與運動量v無關。例如，如圖76所示，運動模糊加法器806用用於調整運動模糊的量v′除沒有運動模糊的前景像素值Fi，以便獲得前景分量Fi/v′。然後，運動模糊加法器806計算前景分量Fi/v′之和，從而生成調整了運動模糊量的像素值。例如，當用於調整運動模糊的量v′是3時，像素值C02被設置為(F01)/v′，像素值C3被設置為(F01+F02)/v′，像素值C04被設置為(F01+F02+F03)/v′，以及像素值C05被設置為(F02+F03+F04)/v′。
運動模糊加法器806向選擇器807供應調整了運動模糊量的前景分量圖像。
選擇器807根據反映用戶選擇的選擇信號，選擇從計算器805供應的沒有運動模糊的前景分量圖像和從運動模糊加法器806供應的調整了運動模糊量的前景分量圖像之一，並且輸出所選擇的前景分量圖像。
如上所述，運動模糊調整單元106能夠根據選擇信號和用於調整運動模糊的量v′來調整運動模糊量。
此外，例如，當對應於像素單位的像素數為8並且運動量為4(如圖77中所示)時，運動模糊調整單元106生成由(110)表達的矩陣方程。4321034321234321234301234F01F02F03F04F05=vi=0508Cii=0407Cii=0306Cii=0205Cii=0104Ci......(110)]]>按照這種方式，運動模糊調整單元106通過根據處理單位的長度建立方程來計算Fi，Fi是調整了運動模糊量的像素值。同樣，例如，當包含在處理單位中的像素數為100時，生成對應於100個像素的方程來計算Fi。
圖78圖示運動模糊調整單元106的另一配置的例子。在其中用相同的參考號指示與圖72的實例中同樣的元素，並且省略其解釋。
選擇器821基於選擇信號直接將輸入的運動向量和其位置信號供應給處理單位確定部分801和模型形成部分802。或者，選擇器821可以用用於調整運動模糊的量v′代替運動模糊的量，然後再將輸入的運動向量和其位置信號供應給處理單位確定部分801和模型形成部分802。
利用這種安排，圖78中所示的運動模糊調整單元106的處理單位確定部分801至計算器805，能夠按照運動量v和用於調整運動模糊的量v′調整模糊量。例如，當運動量v是5和用於調整運動模糊的量v′是3時，圖78中所示的運動模糊調整單元106的處理單位確定部分801至計算器805，按照圖76中所示的、用於調整運動模糊的量v′是3的模型，執行對圖74中所示的、運動量v是5的前景分量圖像的計算。結果，獲得包含具有運動量v的運動模糊(運動量v)/(用於調整運動模糊的量v′)＝5/3(即約1.7)的圖像。在這種情況下，所計算出來的圖像不包含對應於運動量v為3的運動模糊。因此，應該注意，運動量v和用於調整運動模糊的量v′之間的關係不同於運動模糊加法器806的結果。
如上所述，運動模糊調整單元106按照運動量v和處理單位生成方程，並在所生成的方程中設置前景分量圖像的像素值，從而計算出在其中調整運動模糊量的前景分量圖像。
以下參考圖79的流程圖，描述通過由運動模糊調整單元106執行調整包含在前景分量圖像中的運動模糊量的處理。
在步驟S801中，運動模糊調整單元106的處理單位確定部分801基於運動向量和區域信息生成處理單位，並將所生成的處理單位供應給模型形成部分802。
在步驟S802中，運動模糊調整單元106的模型形成部分802基於運動向量v和處理單位選擇或生成模型。在步驟S803中，方程生成器803根據所選定的模型生成法方程。
在步驟804中，加法器804在所生成的法方程中設置前景分量圖像的像素值。在步驟805中，加法器804確定是否已經設置對應於處理單位的所有像素的像素值。如果確定還未設置對應於處理單位的所有像素的像素值，則處理返回到步驟S804，並且重複在法方程中設置像素值的處理。
如果在步驟S805中確定已經設置了對應於處理單位的所有像素的像素值，則處理前進到步驟S806。在步驟806，計算器805根據從加法器804供應的設置了像素值的法方程來計算在其中調整運動模糊的前景的像素值。然後結束該處理過程。
如上所述，運動模糊調整單元106能夠根據運動向量和區域信息調整包含運動模糊的前景圖像中的運動模糊量。
亦即，調整包含在像素值(即樣本數據)中的運動模糊量成為可能。
從前面的描述中可以看出，圖2所示的圖像處理設備能夠調整包含在輸入圖像中的運動模糊量。圖2所示的圖像處理設備能夠計算作為嵌入信息的混合比α，並輸出所計算到的混合比α。
圖80是圖示運動模糊調整單元106的配置的另一實例的方框圖。運動檢測器102所供應的運動向量及其位置信息被供應給處理單位確定部分901和調整部分905。區域指定單元103供應的區域信息被供應給處理單位確定部分901。前景/背景分離器105供應的前景分量圖像被供應給計算器904。
處理單位確定部分901將處理單位和區域信息與運動向量一起供給模型形成部分902，其中所述處理單位根據運動向量及其位置信息產生。
模型形成部分902根據運動向量和輸入的處理單位形成模型。更具體地說，例如，模型形成部分902可以事先按照包含在處理單位中的像素數、時間方向上像素值的虛擬劃分部分的數量以及每個像素的前景分量數，存儲多個模型。然後，模型形成部分902可以選擇這樣的模型，在其中，像圖81中那樣，根據處理單位和時間方向上像素值的虛擬劃分部分的數量指定像素和前景分量之間的相關性。
現在假設例如對應於處理單位的像素數是12，快門時間內的運動量v是5。那麼，模型形成部分902將虛擬劃分部分的數量設置成5，並選擇一由八種類型的前景分量構成的模型，以便最左邊的像素包含前景分量，左起第二像素包含兩個前景分量，左起第三像素包含三個前景分量，左起第四像素包含四個前景分量，左起第五像素包含五個前景分量，左起第六像素包含五個前景分量，左起第七像素包含五個前景分量，左起第八像素包含五個前景分量，左起第九像素包含四個前景分量，左起第十像素包含三個前景分量，左起第十一像素包含兩個前景分量，左起第十二像素包含前景分量。
代替從預先存儲的模型中選擇模型，當供給運動向量和處理單位時，模型形成部分902可以根據運動向量和處理單位產生模型。
方程生成器903根據模型形成部分902供給的模型產生方程。
下面參考圖81-84所示的前景分量圖像的模型，描述在前景分量數為8、對應於處理單位的像素數是12、運動量v是5的情況下，由方程生成器903產生的方程。
當包含在對應於快門時間/v的前景分量圖像中的前景分量是F01/v至F08/v時，F01/v至F08/v和像素值C01至C012之間的關係可以由以上所述的方程(78)至(89)表示。
考慮像素值C12和C11，按照方程(111)的表達，像素值C12僅僅包含前景分量F08/v，像素值C11包括前景分量F08/v和前景分量F07/v的積和(product sum)。因此，可以從方程(112)中獲得前景分量F07/v。
F08/v＝C12 (111)F07/v＝C11-C12 (112)同樣，通過考慮包含在像素值C10和C01中的前景分量，可以分別通過方程(113)至(118)獲得前景分量F06/v至F01/v。
F06/v＝C10-C11 (113)F05/v＝C09-C10 (114)F04/v＝C08-C09 (115)F03/v＝C07-C08+C12 (116)F02/v＝C06-C07+C11-C12 (117)F01/v＝C05-C06+C10-C11 (118)像方程(111)至(118)所指示的實例那樣，方程生成器903生成用於通過像素值之間的差來計算前景分量的方程。方程生成器903將所生成的方程供應給計算器904。
計算器904在由方程生成器903生成的方程中設置前景分量圖像的像素值，以便基於設置了像素值的方程獲得前景分量。例如，當從方程生成器903供應方程(111)至(118)時，計算器904在方程(111)至(118)中設置像素值C05至C12。
計算器904基於設置了像素值的方程計算前景分量。例如，像在圖82中那樣，計算器904基於設置了像素值C05至C12的方程(111)至(118)計算前景分量F01/v至F08/v。計算器904將前景分量F01/v至F08/v供應給調整部分905。
調整部分905將計算器904供應的前景分量乘以包含在由處理單位確定部分901所供給的運動向量中的運動量v，以便獲得消除了運動模糊的前景像素值。例如，當從計算器904供應前景分量F01/v至F08/v時，調整部分905將前景分量F01/v至F08/v中的每個乘以運動量v(即5)，以便獲得消除了運動模糊的前景像素值F01至F08，如圖83所示。
調整部分905將由按上述方式計算到的、沒有運動模糊的前景像素值組成的前景像素圖像供應給運動模糊加法器906和選擇器907。
運動模糊加法器906能夠使用用於調整運動模糊的量v′來調整該運動模糊量，該運動量v′不同於運動量v，例如用於調整運動模糊的量v′是運動量v數值的一半，或者用於調整運動模糊的量v′與運動量v無關。例如，如圖76所示，運動模糊加法器906用用於調整運動模糊的量v′除沒有運動模糊的前景像素值Fi，以便獲得前景分量Fi/v′。然後，運動模糊加法器906計算前景分量Fi/v′之和，從而生成調整了運動模糊量的像素值。例如，當用於調整運動模糊的量v′是3時，像素值C02被設置為(F01)/v′，像素值C3被設置為(F01+F02)/v′，像素值C04被設置為(F01+F02+F03)/v′，以及像素值C05被設置為(F02+F03+F04)/v′。
運動模糊加法器906向選擇器907供應調整了運動模糊量的前景分量圖像。
選擇器907根據反映用戶選擇的選擇信號，選擇從計算器905供應的沒有運動模糊的前景分量圖像或從運動模糊加法器906供應的調整了運動模糊量的前景分量圖像，並且輸出所選擇的前景分量圖像。
如上所述，運動模糊調整單元106能夠根據選擇信號和用於調整運動模糊的量v′來調整運動模糊量。
以下參考圖84的流程圖，描述通過由配置成如圖80所示的運動模糊調整單元106執行的調整前景的運動模糊量的處理。
在步驟S901中，運動模糊調整單元106的處理單位確定部分901基於運動向量和區域信息生成處理單位，並將所生成的處理單位供應給模型形成部分902和調整部分905。
在步驟S902中，運動模糊調整單元106的模型形成部分902基於運動向量v和處理單位選擇或生成模型。在步驟S903中，方程生成器903根據所選定的模型生成方程，該方程用於依靠像素分量圖像的像素值之間的差來計算前景分量。
在步驟904中，計算器904在所生成的方程中設置前景分量圖像的像素值，並且根據設置了像素值的方程，使用像素值之間的差提取前景分量。在步驟905中，計算器904確定是否已經提取了對應於處理單位的所有前景分量。如果確定還未提取對應於處理單位的所有前景分量，則處理返回到步驟S904，並且重複提取前景分量的處理。
如果在步驟S905中確定已經提取了對應於處理單位的所有前景分量，則處理前進到步驟S906。在步驟906，調整部分905根據運動量調整計算器904供應的前景分量F01/v至F08/v中的每一個，以便獲得消除了運動模糊的前景像素值F01/v至F08/v。
在步驟S907中，運動模糊加法器906計算調整了運動模糊量的前景像素值，而選擇器907選擇沒有運動模糊的圖像或者調整了運動模糊量的圖像，並且輸出所選擇的圖像。然後結束該處理過程。
如上所述，配置成如圖80所示的運動模糊調整單元106能夠更迅速地根據更簡單的計算調整包含運動模糊的前景圖像中的運動模糊量。
用於部分地消除運動模糊的已知技術(諸如維納(Wiener)濾波器)在被用於理想狀態時有效，但對於被量化和包含噪聲的實際圖像是不夠的。相反，業已證明，配置成如圖80所示的運動模糊調整單元106對於被量化和包含噪聲的實際圖像是足夠有效的。因此，高精度地消除運動模糊成為可能。
圖85是圖示圖像處理設備功能的另一配置的方框圖。
該圖像處理設備與圖2類似的部件由類似的標號表示，因此省略對其的說明。
區域指定單元103將區域指定信息供應給混合比計算器104和合成器1001。
混合比計算器104將混合比α供應給前景/背景分離器105和合成器1001。
前景/背景分離器105將前景分量供應給合成器1001。
合成器1001根據從混合比計算器104供應的混合比α以及從區域指定單元103供應的區域信息，組合確定的背景圖像與從前景/背景分離器105供應的前景分量圖像，並且輸出組合了確定的背景圖像和前景分量圖像的合成圖像。
圖86圖示合成器1001的配置。背景分量生成器1021根據混合比α和確定的背景圖像生成一背景分量圖像，並且向混合區域圖像合成部分1022供應背景分量圖像。
混合區域圖像合成器1022組合從背景分量生成器1021供應的背景分量圖像與前景分量圖像，以便生成混合區域合成圖像，並且將所生成的混合區域合成圖像供應給圖像合成部分1023。
圖像合成部分1023根據區域信息，組合前景分量圖像、從混合區域圖像合成部1022供應的混合區域合成圖像以及確定的背景圖像，以便生成合成圖像並輸出該圖像。
如上所述，合成器1001能夠組合前景分量圖像與確定的背景圖像。
通過根據混合比α(是特徵量)組合前景分量與確定的背景圖像而獲得的圖像，比簡單組合像素而獲得的圖像更加自然。
圖87是圖示調整運動模糊量的圖像處理設備的功能的再一配置的方框圖。圖2所示的圖像處理設備順序地執行區域制定操作和針對混合比α的計算。相反，圖87所示的圖像處理設備同時執行區域指定處理和針對混合比α的計算。
圖87中與圖2的方框圖類似的功能部件由類似的參考標號表示，因此省略對其說明。
輸入圖像被供應給混合比計算器1101、前景/背景分離器1102、區域指定單元103和對象提取單元101。
混合比計算器1101根據輸入圖像計算當假定輸入圖像中包含的每一像素屬於被覆蓋的背景區域時的估算混合比α以及當假定包含在輸入圖像中的每一像素屬於未被覆蓋的背景區域時的估算混合比，並且將以上述方式計算的估算混合比供應給前景/背景分離器1102。
圖88是圖示混合比計算器1101配置的方框圖。
圖88所示的估算混合比處理器401與圖47所示的估算混合比處理器401相同。圖88所示的估算混合比處理器402與圖47所示的估算混合比處理器402相同。
估算混合比處理器401根據輸入圖像通過對應於被覆蓋的背景區域的計算算出針對每個像素的估算混合比，並且輸出所算出的估算混合比。
估算混合比處理器402根據輸入圖像通過對應於未被覆蓋的背景區域的計算算出針對每個像素的估算混合比，並且輸出所算出的估算混合比。
前景/背景分離器1102根據當假定像素屬於從混合比計算器1101供應的被覆蓋的背景區域時計算的估算混合比、當假定像素屬於從混合比計算器1101供應的未被覆蓋的背景區域時計算的估算混合比以及從區域指定單元103供應的區域信息，從輸入圖像中生成前景分量圖像，並且將所生成的前景分量圖像供應給運動模糊調整單元106和選擇器107。
圖89是圖示前景/背景分離器1102配置的一個實例的方框圖。
圖89中與圖64所示前景/背景分離器105類似的部件由類似的參考標號表示，因此省略對其說明。
選擇器1121根據從區域指定單元103供應的區域信息，選擇當假定像素屬於從混合比計算器1101供應的被覆蓋的背景區域時計算的估算混合比，或者選擇當假定像素屬於從混合比計算器1101供應的未被覆蓋的背景區域時計算的估算混合比，並且將所選擇的估算混合比作為混合比α供應給分離部分601。
分離部分601根據從選擇器1121供應的混合比α和區域信息，從屬於混合區域的像素的像素值中提取前景分量和背景分量，並且把所提取的前景分量供應給合成器603，以及把所提取的背景供應給合成器605。
分離部分601可以被配置為類似圖69所示的對應物。
合成器603合成前景分量圖像並輸出它。合成器605合成背景分量圖像並輸出它。
圖87所示的運動模糊調整單元106可以被配為類似於圖2所示的對應物。運動模糊調整單元106根據區域信息和運動向量，調整包含在從前景/背景分離器1102供應的前景分量圖像中的運動模糊量，並且輸出調整了運動模糊量前景分量圖像。
圖87所示的選擇器107根據例如反映用戶選擇的選擇信號，選擇從前景/背景分離器1102供應的前景分量圖像，或者選擇從運動模糊調整單元106供應的調整了運動模糊量的前景分量圖像，並輸出所選擇的前景分量圖像。
如上所述，圖87所示的圖像處理設備能夠調整包含在對應於輸入圖像的前景對象的圖像中的運動模糊，並輸出所得到的前景對象圖像。如第一實施例，圖87所示的圖像處理設備能夠計算作為嵌入信息的混合比α，並且輸出所計算的混合比α。
圖90是圖示用於組合前景分量圖像與確定背景圖像的圖像處理設備的再一功能配置的方框圖。圖85所示的圖像處理設備順序地執行區域指定操作和混合比α的計算。相反，圖90所示的圖像處理設備同時執行區域指定操作和混合比α的計算。
圖90中與圖87方框所示部件類似的功能部件由類似的參考標號表示，因此省略對其說明。
圖90所示的混合比計算器1101根據輸入圖像，計算當假定輸入圖像中包含的每一像素屬於被覆蓋的背景區域時的估算混合比、當假定包含在輸入圖像中的每一像素屬於未被覆蓋的背景區域時的估算混合比，並且將以上述方式計算的估算混合比供應給前景/背景分離器1102和合成器1201。
圖90所示的前景/背景分離器1102根據當假定像素屬於從混合比計算器1101供應的被覆蓋的背景區域時計算的估算混合比、當假定像素屬於從混合比計算器1101供應的未被覆蓋的背景區域時計算的估算混合比以及從區域指定單元103供應的區域信息，從輸入圖像中生成前景分量圖像，並且將所生成的前景分量圖像供應給合成器1201。
合成器1201根據當假定像素屬於從混合比計算器1101供應的被覆蓋的背景區域時計算的估算混合比、當假定像素屬於從混合比計算器1101供應的未被覆蓋的背景區域時計算的估算混合比以及從區域指定單元103供應的區域信息，組合確定的背景圖像與從前景/背景分離器1102供應的前景分量圖像，並且輸出組合了背景圖像與前景分量圖像的合成圖像。
圖91圖示合成器1201的配置，該合成器1201與圖86的方框圖類似的功能部件用類似參考標號表示，因此省略對其說明。
選擇器1221根據從區域指定單元103供應的區域信息，選擇當假定像素屬於從混合比計算器1101供應的被覆蓋的背景區域時計算的估算混合比，或者選擇當假定像素屬於從混合比計算器1101供應的未被覆蓋的背景區域時計算的估算混合比，並且將所選擇的估算混合比作為混合比α供應給背景分量生成器1021。
圖91所示的背景分量生成器1021根據從選擇器1221供應的混合比α和某一背景圖像，生成背景分量圖像，並且把背景分量圖像供應給混合區域圖像合成部分1022。
圖91所示的混合區域圖像合成部分1022組合從背景分量生成器1021供應的背景分量圖像與前景分量圖像，以便生成混合區域合成圖像，並且把所生成的混合區域合成圖像供應給圖像合成部分1023。
圖像合成部分1023根據區域信息，組合前景分量圖像、從混合區域圖像合成部1022供應的混合區域合成圖像以及背景圖像，以便生成合成圖像並輸出該圖像。
這樣，合成部分1201能夠組合前景分量圖像與某一背景圖像。
以下描述根據本發明的、用於處理作為分量信號輸入的輸入圖像的圖像處理設備。
在本說明書中，分量指的是單獨的信號，諸如分量形式的亮度信號、色差信號或RGB(紅、綠、藍)信號。
下面根據分量1為亮度值Y、分量2為色差U以及分量3為色差V的實例進行描述。
圖92示出用於基於作為分量信號輸入的輸入圖像生成區域信息的圖像處理設備的實施例。
作為輸入圖像的分量信號之一的分量1被輸入到區域指定單元103-1。作為另一個輸入圖像的分量信號的分量2被輸入到區域指定單元103-2。作為再一個輸入圖像的分量信號的分量3被輸入到區域指定單元103-3。
區域指定單元103-1根據分量1生成區域信息1，並且將所生成的區域信息1供應給邏輯OR處理器1301。區域指定單元103-1和區域指定單元103具有同樣的結構，因此省略對其的解釋。
區域指定單元103-2根據分量2生成區域信息2，並且將所生成的區域信息2供應給邏輯OR處理器1302。區域指定單元103-2和區域指定單元103具有同樣的結構，因此省略對其的解釋。
區域指定單元103-3根據分量3生成區域信息3，並且將所生成的區域信息3供應給邏輯OR處理器1303。區域指定單元103-3和區域指定單元103具有同樣的結構，因此省略對其的解釋。
根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯OR處理器1301計算由區域信息1所指示的前景區域、區域信息2所指示的前景區域以及區域信息3所指示的前景區域的邏輯OR，並且生成設置了由邏輯OR計算出來的前景區域的區域信息。根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯OR處理器1301計算由區域信息1所指示的背景區域、區域信息2所指示的背景區域以及區域信息3所指示的背景區域的邏輯OR，並且生成設置了由邏輯OR計算出來的背景區域的區域信息。
根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯OR處理器1301計算由區域信息1所指示的被覆蓋的背景區域、區域信息2所指示的被覆蓋的背景區域以及區域信息3所指示的被覆蓋的背景區域的邏輯OR，並且生成設置了由邏輯OR計算出來的被覆蓋的背景區域的區域信息。根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯OR處理器1301計算由區域信息1所指示的未被覆蓋的背景區域、區域信息2所指示的未被覆蓋的背景區域以及區域信息3所指示的未被覆蓋的背景區域的邏輯OR，並且生成設置了由邏輯OR計算出來的未被覆蓋的背景區域的區域信息。
邏輯OR處理器1301輸出設置了前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的區域信息。
圖93圖示包含在分量信號中的分量1分量2和分量3之間的關係。參考字母A表示分量1，參考字母B表示分量2，而參考字母C表示分量3。
傳感器例如具有三個對應於分量1、分量2和分量3的CCD區域傳感器。對應於分量1的CCD區域傳感器的特性、對應於分量2的CCD區域傳感器的特性和對應於分量3的CCD區域傳感器的特性相同，並且出現在分量1、分量2和分量3中的失真相同。
該傳感器捕獲對應於單一前景的對象111和對應於單一背景的對象112的圖像，並輸出分量1、分量2和分量3。
由對應於單一(single)前景的對象111和對應於單一背景的對象112組成的現實世界是一個，出現在現實世界中的現象(phenomenon)是一個(one)。即，例如，對應於單一前景的對象111的形狀是一個，對應於單一前景的對象111的運動是一個。
因此，當傳感器捕獲到對應於單一前景的對象111的圖像和對應於單一背景的對象112的圖像時，分量1的前景區域、背景區域、混合區域和混合比α，分量2的前景區域、背景區域、混合區域和混合比α，以及分量3的前景區域、背景區域、混合區域和混合比α是相同的。
然而，當基於分量1、分量2和分量3的每一個執行同樣的處理時，不是總能夠針對每一個計算到相同的區域信息和相同的混合比。
例如，當捕獲對應於前景的對象111的圖像和對應於背景的對象112的圖像，這些圖像具有其中對應於分量3(是一個色差信號)的色差信號逼近為零的色度時，亮度信號分量1和色差信號分量2包含有效值，而色差信號分量3幾乎不包含有效值。在這種情況下，即使根據分量3計算出來混合比α，也不可能確定有效值。
此外，例如，當亮度信號分量1在時間方向和空間方向上幾乎不變化，而只有色差信號在時間方向或空間方向上變化時，即使根據分量1計算出來了區域信號和混合比α，也不可能確定有效值，但如果根據分量2或3計算出區域信號和混合比α，則可以確定有效值。
此外，存在這樣的情況對應於具體分量的CCD區域傳感器可能引起誤差。
如上所述，作為執行使用對應於要計算的單一區域信息和單一混合比α的多個分量的處理的結果，與例如使用單一分量信號或單一合成信號的處理相比，獲得具有更高的精度的結果。
當使用多個分量執行統計處理過程時，由於數據量增加，處理結果的精度進一步提高。此外，例如，通過將最小二乘法應用於多個分量計算出來的混合比α的精度高於通過使用單一分量信號或單一合成信號的處理所計算出來的混合比α的精度。
接下來參考圖94中的流程圖描述由配置成圖92所示的圖像處理設備使用分量信號執行的區域確定處理。
在步驟S1301中，區域指定單元103-1根據分量1執行區域指定處理以生成區域信息1，並將所生成的區域信息1供應給邏輯OR處理器1301。步驟S1301的處理與步驟S11的處理相同，因此這裡省略對其的解釋。
在步驟S1302中，區域指定單元103-2根據分量2執行區域指定處理以生成區域信息2，並將所生成的區域信息2供應給邏輯OR處理器1301。步驟S1302的處理與步驟S11的處理相同，因此這裡省略對其的解釋。
在步驟S1303中，區域指定單元103-3根據分量3執行區域指定處理以生成區域信息3，並將所生成的區域信息3供應給邏輯OR處理器1301。步驟S1303的處理與步驟S11的處理相同，因此這裡省略對其的解釋。
在步驟S1304中，邏輯OR處理器1301計算由分量1所指定的前景區域、由分量2所指定的前景區域以及由分量3所指定的前景區域的邏輯OR，並設置由邏輯OR運算計算出來的前景區域作為區域信息。
在步驟S1305中，邏輯OR處理器1301計算由分量1所指定的背景區域、由分量2所指定的背景區域以及由分量3所指定的背景區域的邏輯OR，並設置由邏輯OR運算計算出來的背景區域作為區域信息。
在步驟S1306中，邏輯OR處理器1301計算由分量1所指定的被覆蓋的背景區域、由分量2所指定的被覆蓋的背景區域以及由分量3所指定的被覆蓋的背景區域的邏輯OR，並設置由邏輯OR運算所計算出來的被覆蓋的背景區域作為區域信息。
在步驟S1307中，邏輯OR處理器1301計算由分量1所指定的未被覆蓋的背景區域、由分量2所指定的未被覆蓋的背景區域以及由分量3所指定的未被覆蓋的背景區域的邏輯OR，並設置由邏輯OR運算所計算出來的未被覆蓋的背景區域作為區域信息。邏輯OR處理器1301輸出設置了前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的區域信息，然後結束該處理過程。
如上所述，配置成如圖92所示的圖像處理設備針對分量信號的每個分量指定一個區域，並確定所指定的區域的邏輯OR，以便生成最終的區域信息。配置成如圖92所示的圖像處理設備能夠徹底地輸出指定了前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的區域信息。
圖95示出用於根據按照分量信號輸入的輸入圖像生成區域信息的圖像處理設備的另一實施例。
圖95中與圖92所示的元素相同的元素用同樣的參考號標記，並在這裡省略其解釋。
根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯AND處理器1321計算由區域信息1所指示的前景區域、由區域信息2所指示的前景區域以及由區域信息3所指示的前景區域的邏輯AND，並且生成設置了由邏輯AND計算出來的前景區域的區域信息。根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯AND處理器1321計算由區域信息1所指示的背景區域、區域信息2所指示的背景區域以及區域信息3所指示的背景區域的邏輯AND，並且生成設置了由邏輯AND計算出來的背景區域的區域信息。
根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯AND處理器1321計算由區域信息1所指示的被覆蓋的背景區域、區域信息2所指示的被覆蓋的背景區域以及區域信息3所指示的被覆蓋的背景區域的邏輯AND，並且生成設置了由邏輯AND計算出來的被覆蓋的背景區域的區域信息。根據區域指定單元103-1所供應的區域信息1、區域指定單元103-2所供應的區域信息2和區域指定單元103-3所供應的區域信息3，邏輯AND處理器1321計算由區域信息1所指示的未被覆蓋的背景區域、區域信息2所指示的未被覆蓋的背景區域以及區域信息3所指示的未被覆蓋的背景區域的邏輯AND，並且生成設置了由邏輯AND計算出來的未被覆蓋的背景區域的區域信息。
邏輯AND處理器1321輸出設置了前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的區域信息。
接下來參考圖96中的流程圖描述由配置成圖92所示的圖像處理設備執行的、使用多個分量的區域確定處理。
在步驟S1321中，區域指定單元103-1根據分量1執行區域指定處理以生成區域信息1，並將所生成的區域信息1供應給邏輯AND處理器1321。步驟S1321的處理與步驟S11的處理相同，因此這裡省略對其的解釋。
在步驟S1322中，區域指定單元103-2根據分量2執行區域指定處理以生成區域信息2，並將所生成的區域信息2供應給邏輯AND處理器1321。步驟S1322的處理與步驟S11的處理相同，因此這裡省略對其的解釋。
在步驟S1323中，區域指定單元103-3根據分量3執行區域指定處理以生成區域信息3，並將所生成的區域信息3供應給邏輯AND處理器1321。步驟S1323的處理與步驟S11的處理相同，因此這裡省略對其的解釋。
在步驟S1324中，邏輯AND處理器1321計算由分量1所指定的前景區域、由分量2所指定的前景區域以及由分量3所指定的前景區域的邏輯AND，並設置由邏輯AND運算計算出來的前景區域作為區域信息。
在步驟S1325中，邏輯AND處理器1321計算由分量1所指定的背景區域、由分量2所指定的背景區域以及由分量3所指定的背景區域的邏輯AND，並設置由邏輯AND運算計算出來的背景區域作為區域信息。
在步驟S1326中，邏輯AND處理器1321計算由分量1所指定的被覆蓋的背景區域、由分量2所指定的被覆蓋的背景區域以及由分量3所指定的被覆蓋的背景區域的邏輯AND，並設置由邏輯AND運算所計算出來的被覆蓋的背景區域作為區域信息。
在步驟S1327中，邏輯AND處理器1321計算由分量1所指定的未被覆蓋的背景區域、由分量2所指定的未被覆蓋的背景區域以及由分量3所指定的未被覆蓋的背景區域的邏輯AND，並設置由邏輯AND運算所計算出來的未被覆蓋的背景區域作為區域信息。邏輯AND處理器1321輸出設置了前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的區域信息，然後結束該處理過程。
如上所述，配置成如圖95所示的圖像處理設備針對每個分量指定一個區域，並確定所指定的區域的邏輯AND，以便生成最終的區域信息。配置成如圖95所示的圖像處理設備能夠輸出具有小誤差量的區域信息。
圖97示出用於根據作為分量信號輸入的輸入圖像生成區域信息的圖像處理設備的再一實施例。
區域指定單元1331針對每一個像素添加包含在輸入的分量信號中的分量1、分量2和分量3，並根據針對每一個像素所添加的分量1、分量2和分量3，確定像素屬於運動區域還是靜止區域。區域指定單元1331根據確定像素屬於運動區域還是靜止區域的確定結果生成區域信息，並輸出所生成的區域信息。
參考圖98至102解釋區域指定單元1331的處理。
如圖98所示，從圖像的統計特徵的觀點來看，在圖像的靜止區域中，時間相關性強於空間相關性。與此相反，在圖像的運動區域中，空間相關性強於時間相關性。
當如圖99所示，要計算例如關於指定的像素是中心像素的5×5像素的塊的像素的、用於確定是運動區域還是靜止區域的空間相關性時，區域指定單元1331計算相鄰像素的像素值之差，並且計算所計算出來的差的絕對值的總和。區域指定單元1331通過將所計算出來的差的絕對值的總和除以差值數，來計算對應於空間相關性的時間相關性。
例如，當指定的像素是x33，包含在該塊中的像素的像素值是x11至x55時，區域指定單元1331計算差的絕對值的總和，即相鄰像素的像素值的差的絕對值的總和，被顯示在方程(119)中
差的絕對值的總和＝|(x11-x12)|+|(x12-x13)|+|(x13-x14)|+...
+|(x52-x53)|+|(x53-x54)|+|(x54-x55)|+|(x11-x21)|+|(x21-x31)|+|(x31-x41)|+...
+|(x25-x35)|+|(x35-x45)|+|(x45-x55)|(119)區域指定單元1331通過將該差的絕對值的總和除以差值數40，來計算對應於空間相關性的相關性值。
當要計算用於確定是運動區域還是靜止區域的時間相關性時，區域指定單元1331計算指定像素的像素值與前一幀中的相應位置處的像素的像素值之間的差，並且還計算指定像素的像素值與後續幀中的相應位置處的像素的像素值之間的差。為了防止由於使用指示較強的相關性的差而區域被確定為在邊界上寬，區域指定單元1331選擇關於前一幀中的相應位置處的像素的像素值的差與關於後續幀中的相應位置處的像素的像素值的差中的較小的差。
區域指定單元1331計算所選擇的差的絕對值的總和。區域指定單元1331通過將所選擇的差的絕對值的總和除以差值數，來計算對應於時間相關性的相關性值。
例如，當指定幀是如圖100所示的幀#n時，區域指定單元1331計算一3×3像素塊的各個像素之間的、例如關於作為中心的指定像素x22的差。
區域指定單元1331計算幀#n中的像素的像素值x11與幀#n-1中的相應位置處的像素的像素值x11之間的差，以及幀#n中的像素的像素值x11與幀#n+1中的相應位置處的像素的像素值x11之間的差。區域指定單元1331選擇關於幀#n-1中的相應位置處的像素的像素值x11的差與關於幀#n+1中的相應位置處的像素的像素值x11的差中的較小的差。
類似地，區域指定單元1331計算幀#n中的像素的像素值x12至x33之中的每一個與幀#n-1中的相應位置處的像素的像素值x12至x33之中的每一個之間的差，以及幀#n中的像素的像素值x12至x33之中的每一個與幀#n+1中的相應位置處的像素的像素值x12至x33之中的每一個之間的差。區域指定單元1331選擇關於幀#n-1中的相應位置處的像素的像素值x12至x33之中的每一個的差與關於幀#n+1中的相應位置處的像素的像素值x12至x33之中的每一個的差中的較小的差。
區域指定單元1331確定所選擇的九個差的絕對值的總和。區域指定單元1331通過將所計算出的差的絕對值的總和除以差值數9，來確定對應於時間相關性的相關性值。
此外，區域指定單元1331可以計算每個像素的時間相關性和空間相關性。區域指定單元1331除了計算該差的絕對值的總和以外，還計算指示其它相關性的值(諸如差的平方和)來作為指示時間相關性和空間相關性值。
在本發明中，包含在要計算時間相關性和空間相關性的塊中的像素數是不受限制的。
圖101圖解靜止區域中的時間相關性和空間相關性。例如，在靜止區域中，由於圖像是靜止的，因此指定像素的像素值J和對應位置處的像素的像素值J相同。所以，在靜止區域中時間相關性很強。
相反，鄰接於指定的像素的像素具有不同於像素值J的像素值I或者像素值K。
如上述所討論，在靜止區域中空間相關性弱於時間相關性。
圖102圖解運動區域中的時間相關性和空間相關性。例如，在包含於運動區域的指定像素中的圖像的分量I/4、J/4、K/4和L/4中，圖像的分量I/4、J/4和K/4包含在相鄰的像素中，圖像的分量J/4、K/4和L/4包含在另外的相鄰的像素中。因此，在運動區域中空間相關性很強。
相反，對應於指定的像素的相鄰幀的像素包含不同圖像分量。
如上述所討論，在運動區域中時間相關性弱於空間相關性。
正如從上述描述中所看到的那樣，區域指定單元1331通過確定時間相關性和空間相關性以及將時間相關性與空間相關性值比較，能夠知道指定的像素包含在運動區域還是靜止區域。
區域指定單元1331執行關於包含在幀中的全部像素是運動區域還是靜止區域的確定。
根據是運動區域還是靜止區域的確定結果，區域指定單元1331確定每個像素屬於前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域中那一個，並生成區域信息。
例如，當與前景區域相同的區域被確定為運動區域時，區域指定單元1331以以下方式做出關於是否為前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的確定。當幀#n中的指定像素被確定為運動時，區域指定單元1331確定幀#n中的指定像素屬於前景區域。
當幀#n中的指定像素被確定為靜止，並且位於與該圖像的幀#n中的指定像素的相同位置處的、幀#n+1中的像素被確定為運動時，區域指定單元1331確定幀#n中的指定像素屬於被覆蓋的背景區域。
當幀#n中的指定像素被確定為靜止，並且位於與該圖像的幀#n中的指定像素的相同位置處的、幀#n-1中的像素被確定為運動時，區域指定單元1331確定幀#n中的指定像素屬於未被覆蓋的背景區域。
區域指定單元1331將被確定為靜止並且不屬於被覆蓋的背景區域或未被覆蓋的背景區域的像素確定為背景區域。
當由背景區域和混合區域形成的區域被確定為運動區域時，區域指定單元1331通過參考相鄰幀的靜止區域，對每個像素做出關於是否為前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的確定。
現在參考圖103至106描述處理結果的實例。
圖103示出對應於分量1、分量2和分量3的輸入圖像的實例，這些分量被輸入區域指定單元1331。
圖104示出區域指定單元1331以對應於圖103所示的輸入圖像這樣的一種方式，對每個像素做出關於是運動區域還是靜止區域的確定的結果。在圖104中，白色指示運動區域、黑色指示靜止區域。可以看出，雖然存在不正確地確定的部分，但總體上來說，幾乎指定了運動區域或靜止區域。
圖105示出區域指定單元1331已經以對應於圖103所示的輸入圖像這樣的一種方式，使用15×15像素塊為單位做出關於是運動區域還是靜止區域的確定的結果。在圖105中，白色指示運動區域、黑色指示靜止區域。可以看出，幾乎精確地指定了運動區域或靜止區域。
圖106示出區域指定單元1331根據圖105所示的、是運動區域還是靜止區域的確定的結果，已經做出的關於是否為前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域的確定結果。在圖106中，參考字母A指示背景區域。參考字母B指示未被覆蓋的背景區域。參考字母C指示前景區域。參考字母D指示被覆蓋的背景區域。
可以看出，既然該區域是根據運動區域或靜止區域的幾乎精確的指定所確定的，因此可以幾乎精確地指定前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域。
下面參考圖107的流程描述由區域指定單元1331執行的、使用分量的區域指定處理。
在步驟S1331，區域指定單元1331計算每個像素的分量總和。
在步驟S1332，區域指定單元1331使用例如由預定像素述所構成的塊作為單位，確定空間相關性。在步驟S1333，區域指定單元1331使用例如由預定像素述所構成的塊作為單位，確定時間相關性。
在步驟S1334，區域指定單元1331對每個像素將空間相關性與時間相關性進行比較，以便確定時間相關性是否強於空間相關性。當確定為時間相關性強於空間相關性時，處理過程前進到步驟S1335，在其中區域指定單元1331將指定的像素設置為在靜止區域，然後處理過程前進到步驟S1337。
當確定為時間相關性不強於空間相關性時，由於空間相關性強於時間相關性，處理過程前進到步驟S1336，在其中區域指定單元1331將指定的像素設置為在運動區域，然後處理過程前進到步驟S1337。
步驟S1334至S1336從該幀中的全部像素的每一個中執行。
在步驟S1337，根據靜止或運動設置，區域指定單元1331做出關於是否為前景區域、背景區域、被覆蓋的背景區域或被覆蓋的背景區域的確定，然後處理過程結束。
例如，當在步驟S1337確定幀#n中的指定像素被確定為是運動的時候，區域指定單元1331確定幀#n中的指定像素屬於前景區域。
當確定幀#n中的指定像素被確定為是靜止的，並且在圖像中位於與幀#n中的指定像素位置同樣的位置處的、幀#n+1中的指定像素是運動的時候，區域指定單元1331確定幀#n中的指定像素屬於被覆蓋的背景區域。
當確定幀#n中的指定像素被確定為是靜止的，並且在圖像中位於與幀#n中的指定像素位置同樣的位置處的、幀#n-1中的指定像素是運動的時候，區域指定單元1331確定幀#n中的指定像素屬於未被覆蓋的背景區域。
區域指定單元1331確定被確定為靜止並且不屬於被覆蓋的背景區域或未被覆蓋的背景區域的像素屬於背景區域。
如上所述，根據分量，圖97中所示的區域指定單元1331能夠指定前景區域、背景區域、被覆蓋的背景區域或未被覆蓋的背景區域。
圖108示出用於根據作為分量信號輸入的輸入圖像和區域信息、計算混合比α的圖像處理設備的實施例。
混合比計算器104-1根據區域信息和分量1計算混合比1，並將所計算出的混合比1供應給平均處理器1401。混合比計算器104-1與估算混合比計算器104有相同的配置，因此，在這裡省略其解釋。
混合比計算器104-2根據區域信息和分量2計算混合比2，並將所計算出的混合比2供應給平均處理器1401。混合比計算器104-2與估算混合比計算器104有相同的配置，因此，在這裡省略其解釋。
混合比計算器104-3根據區域信息和分量3計算混合比3，並將所計算出的混合比3供應給平均處理器1401。混合比計算器104-3與估算混合比計算器104有相同的配置，因此，在這裡省略其解釋。
平均處理器1401計算混合比計算器104-1供應的混合比1、混合比計算器104-2供應的混合比2和混合比計算器104-3供應的混合比3的平均值，並將所計算出的平均值作為混合比α輸出。
正如圖109中的「A」所指示，在預定像素中，對應於作為分量1的亮度值Y的混合比α、對應於作為分量2的色差U的混合比α和對應於作為分量3的色差V的混合比α相同。配置成如圖108所示的圖像處理設備通過使用分量1、分量2和分量3計算混合比α，能夠更精確地計算混合比α。
參考圖110的流程圖，描述由配置成如圖108所示的圖像處理設備執行的、用於使用分量信號計算混合比α的處理。
在步驟S1401，混合比計算器104-1根據區域信息和分量1計算混合比1。混合比計算器104-1將所計算出的混合比1供應給平均處理器1401。步驟S1401的處理與步驟S12的處理相同，因此，在這裡省略其解釋。
在步驟S1402，混合比計算器104-2根據區域信息和分量2計算混合比2。混合比計算器104-2將所計算出的混合比2供應給平均處理器1401。步驟S1402的處理與步驟S12的處理相同，因此，在這裡省略其解釋。
在步驟S1403，混合比計算器104-3根據區域信息和分量3計算混合比3。混合比計算器104-3將所計算出的混合比3供應給平均處理器1401。步驟S1403的處理與步驟S12的處理相同，因此，在這裡省略其解釋。
在步驟S1404，平均處理器1401計算基於分量1的混合比1、基於分量2的混合比2和基於分量3的混合比3的平均值，並將所計算出的平均值作為混合比α輸出。然後結束該處理過程。
如上所述，配置成如圖108所示的圖像處理設備計算關於每個分量的混合比，並計算所獲得混合比的平均值，以生成最終的混合比α。配置成如圖108所示的圖像處理設備能夠計算混合比α，在其中，降低了由發生在一個分量中的誤差產生的影響。
圖111示出用於根據作為分量信號輸入的輸入圖像和區域信息、計算混合比α的圖像處理設備的另一實施例。在圖111中，與圖108相同的元素用同樣的參考號指示，因此，這裡省略其解釋。
擇多(majority)處理器1411將在預定間隔中，分類從混合比計算器104-1供應的混合比1、從混合比計算器104-2供應的混合比2和從混合比計算器104-3供應的混合比3，並確定對應於該間隔的代表值的頻率。擇多處理器1411根據對應於該間隔的代表值的頻率確定混合比α並輸出所確定的混合比α。
例如，當間隔寬度是0.1，代表值是0.0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9和1.0，並且混合比1是0.12，混合比2是0.13，混合比3是0.41時，擇多處理器1411確定代表值0.1的頻率是2，確定代表值0.4的頻率是1。擇多處理器1411設置對應於最大的頻率2的代表值0.1為混合比α。
參考圖112的流程圖，描述由配置成如圖111所示的圖像處理設備執行的、用於使用分量信號計算混合比α的處理。
步驟S1411至步驟S1413的處理分別與步驟S1401至步驟S1403的處理相同，因此，在這裡省略其解釋。
在步驟S1414，擇多處理器1411在預定間隔中分類每個分量的混合比，並確定頻率。
在步驟S1415，擇多處理器1411根據該頻率確定混合比α，然後結束該處理過程。
如上所述，配置成如圖111所示的圖像處理設備根據所計算的混合比的頻率計算關於每個分量的混合比，並生成最終的混合比α。配置成如圖111所示的圖像處理設備能夠高可靠性地計算混合比α，在其中，消除了其值由於單一分量的誤差而極大地不同的混合比的影響。
圖113示出用於根據作為分量信號輸入的輸入圖像和區域信息、計算混合比α的圖像處理設備的再一實施例。
混合比計算器1421對每個像素，將所輸入的分量1、分量2和分量3的像素值相加，根據分量1、分量2和分量3的加起來的像素值和區域信息計算混合比α，並且輸出所計算出的混合比α。
圖114是圖解混合比計算器1421的配置的方框圖。加法器1431對每個像素，將所輸入的分量1、分量2和分量3的像素值相加，並將加起來的像素值供應給估算混合比處理器401和估算混合比處理器402。
根據對每個像素將所輸入的分量1、分量2和分量3的像素值相加而得的值，估算混合比處理器401利用對應於被覆蓋的背景區域中的模型的計算，為每個像素計算估算混合比，並且將所計算到的估算混合比供應給混合比確定部分403。
對每個分量，方程(120)至方程(122)可以表達示出屬於被覆蓋的背景區域的像素的混合比α的方程(21)αY≈(CY-NY)/(PY-NY) (120)αU≈(CU-NU)/(PU-NU) (121)αV≈(CV-NV)/(PV-NV) (122)CY表示作為亮度值Y的分量1中的幀#n的像素值。NY表示分量1中幀#n的後續幀#n+1的像素值。PY表示分量1中幀#n的前一幀#n-1的像素值。
CU表示作為色差U的分量2中的幀#n的像素值。NU表示分量2中幀#n的後續幀#n+1的像素值。PU表示分量2中幀#n的前一幀#n-1的像素值。
CV表示作為色差V的分量3中的幀#n的像素值。NV表示分量3中幀#n的後續幀#n+1的像素值。PV表示分量3中幀#n的前一幀#n-1的像素值。
由於要計算的混合比α在分量1至3中是相同的，因此，方程(123)成立αY＝αU＝αV (123)方程(124)可以從方程(120)至(122)導出CY-NY)/(PY-NY)＝(CU-NU)/(PU-NU)＝(CV-NV)/(PV-NV)(124)此外，可以從方程(124)導出用於計算混合比α的方程(125)α＝((CY+CU+CV)-(NY+NU+NV))/((PY+PU+PV)-(NY+NU+NV)) (125)如上所述，混合比α可以根據將分量1、分量2和分量3的像素值加起來所得的值進行計算。
估算混合比處理器402根據關於將分量1、分量2和分量3的像素值加起來所得的值，利用對應於未被覆蓋的背景區域的模型的計算，為每一像素計算一估算混合比，並將所計算出的估算混合比供應給混合比確定部分403。
當目標像素屬於前景區域時，混合比確定部分403將混合比α設置為0，而當目標像素屬於背景區域時，混合比確定部分403將混合比α設置為1。當目標像素屬於被覆蓋的背景區域時，混合比確定部分403將估算混合比處理器401供應的混合比作為混合比α。當目標像素屬於未被覆蓋的背景區域時，混合比確定部分403將估算混合比處理器402供應的混合比作為混合比α。混合比確定部分403已經根據區域信息設置的混合比α。
如上所述，通過使用分量1、分量2和分量3，混合比計算器1421能夠計算出具有比根據單一信號所計算出的混合比α更高精度的混合比α。
接下來參考圖115的流程圖，描述由圖113的圖像處理設備根據作為分量信號輸入的輸入圖像和區域信息所執行的、用於計算混合比α的處理。在步驟S1421，加法器1431關於每個像素將分量1、分量2和分量3的像素值加起來。加法器1431將所加起來的像素值供應給估算混合比處理器401和估算混合比處理器402。
在步驟S1422，估算混合比處理器401根據所加起來的像素值，利用對應於被覆蓋的背景區域的模型的計算，為每個像素計算估算混合比。估算混合比處理器401將所計算出的估算混合比供應給混合比確定部分403。步驟S1422的處理細節與步驟S402的處理細節相同，因此，這裡省略其解釋。
在步驟S1423，估算混合比處理器402根據所加起來的像素值，利用對應於未被覆蓋的背景區域的模型的計算，為每個像素計算估算混合比。估算混合比處理器402將所計算出的估算混合比供應給混合比確定部分403。步驟S1422的處理細節與步驟S403的處理細節相同，因此，這裡省略其解釋。
在步驟S1424，混合計算器104確定是否已經對整個幀估算了混合比。如果確定還沒有對整個幀估算混合比，則該處理過程前進到步驟S1422，並重複用於估算後續像素的混合比的處理。
如果在步驟S1424確定已經對整個幀估算了混合比，則該處理過程前進到步驟S1425。在步驟S1425，混合比確定部分403根據指示像素所屬於的前景區域、背景區域、被覆蓋的背景區域和未被覆蓋的背景區域區域信息，來設置混合比α。當目標像素屬於前景區域時，混合比確定部分403將混合比α設置為0，而當目標像素屬於背景區域時，混合比確定部分403將混合比α設置為1。當目標像素屬於被覆蓋的背景區域時，混合比確定部分403將估算混合比處理器401供應的混合比作為混合比α。當目標像素屬於未被覆蓋的背景區域時，混合比確定部分403將估算混合比處理器402供應的混合比作為混合比α。該處理過程結束。
如上所述，配置成如圖113所示的圖像處理設備能夠根據區域信息、分量1、分量2和分量3，高精度地計算對應於每個像素的混合比α(是一個特徵量)。
上面通過設置混合比α為包含在像素值中的背景分量的比例，討論了實施例。然而，混合比α可以被設置為包含在像素值中的前景分量的比例。
上面通過設置前景對象的運動方向為從左到右的方向，討論了實施例。然而，運動方向不限於上述方向。
在上面的說明中，通過使用攝像機將具有三維空間和時間軸信息的現實空間圖像投影到具有二維空間和時間軸信息的時間空間上。然而，本發明不限於此實例，本發明也可以適用於下述情形。當一維空間中較大的第一信息量被投影到二維空間中較小的第二信息量時，可以校正由於投影生成的失真，可以提取有效信息，或者可以合成更多的自然圖像。
傳感器不限於CCD，它可以是其它類型的傳感器，比如固態成像裝置，如CMOS(互補金屬氧化物半導體)圖像傳感器、BBD(組桶式器件)、CID((Charge Injection Device，電荷注入器件)或者CPD(Charge PrimingDevice，電荷灌注裝置)。此外，傳感器不一定是以矩陣方式安排檢測裝置的傳感器，它可以是按一行安排檢測裝置的傳感器。
記錄執行本發明的圖像處理的程序的記錄媒體可以由記錄程序的軟體包媒體構成，該軟體包媒體被配置為與計算機分離地向用戶提供程序，如圖1所示，該媒體可以是比如磁碟51(包括軟盤)、光碟52(CD-ROM(光碟只讀存儲器)和DVD(數字通用光碟))，磁光碟53(包括MD(袖珍盤)(註冊商標名稱)、或者半導體存儲器54。記錄媒體還可以由ROM22或者包含在記錄程序的存儲單元28中硬碟構成，這種記錄媒體在計算機中預存後被提供給用戶。
形成在記錄媒體中記錄的程序的步驟可以根據說明書所述的順序運行。然而它們不一定按照時間順序方式運行，也可以同時或者單獨地運行。
工業應用性根據第一發明，能夠識別圖像的混合狀態。
根據第二發明，能夠識別圖像的混合狀態。
權利要求
1.一種處理圖像數據的圖像處理設備，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述圖像處理設備包括區域指定裝置，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；以及混合比檢測裝置，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成，其中，至少所述區域指定裝置和所述混合比檢測裝置之一根據所述多種類型的分量執行圖像處理。
2.根據權利要求1的圖像處理設備，其中，所述區域指定裝置包括分量混合區域檢測裝置，用於針對所述多種類型的分量中的每一個檢測混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定裝置，用於根據對應於由所述分量混合區域檢測裝置檢測到的所述多種類型的分量的所述混合區域的檢測結果，指定對應於所述圖像數據的所述混合區域。
3.根據權利要求1的圖像處理設備，其中，所述區域指定裝置包括空間相關性值計算裝置，用於根據對應於指定像素的所述多種類型的分量，計算指示在對應於所述圖像數據的指定幀的所述指定像素的指定像素數據與在空間方向上定位於所述指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算裝置，用於根據對應於指定像素的所述多種類型的分量，計算指示在所述指定像素數據與在時間方向上定位於所述指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定裝置，用於根據對應於所述指定像素的所述空間相關性值和所述時間相關性值，指定僅由所述前景對象分量構成的前景區域。
4.根據權利要求3的圖像處理設備，其中，所述區域指定裝置還包括混合區域指定裝置，用於根據指定幀的所述前景區域和所述指定幀的鄰域中的鄰接幀的所述前景區域，指定所述混合區域。
5.根據權利要求1的圖像處理設備，其中，所述混合比檢測裝置包括分量混合比檢測裝置，用於針對所述多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測裝置，用於通過積分對應於由所述分量混合比檢測裝置所檢測到的所述多種類型的分量的混合比檢測結果，檢測對應於所述圖像數據的混合比。
6.根據權利要求1的圖像處理設備，其中，所述混合比檢測裝置包括積分裝置，用於針對每個像素積分所述多種類型的分量的像素值，並且將所述值作為積分數據輸出；以及積分數據混合比檢測裝置，用於根據所述積分數據檢測對應於所述圖像數據的混合比。
7.根據權利要求6的圖像處理設備，其中，所述積分裝置將針對每個像素的所述多種類型的分量的像素值相加，並且將相加的結果作為所述積分數據輸出。
8.一種用於處理圖像數據的圖像處理設備的圖像處理方法，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述圖像處理方法包括區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成；以及輸出控制步驟，用於控制所檢測到的混合比的輸出，其中至少所述區域指定步驟和所述混合比檢測步驟之一根據所述多種類型的分量執行圖像處理。
9.根據權利要求8的圖像處理方法，其中，所述區域指定步驟包括分量混合區域檢測步驟，用於針對所述多種類型的分量中的每一個檢測所述混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定步驟，用於根據對應於在所述分量混合區域檢測步驟中檢測到的所述多種類型的分量的所述混合區域的檢測結果，指定對應於所述圖像數據的所述混合區域。
10.根據權利要求8的圖像處理方法，其中，所述區域指定步驟包括空間相關性值計算步驟，用於根據對應於指定像素的所述多種類型的分量，計算指示在對應於所述圖像數據的指定幀的指定像素的指定像素數據與在空間方向上定位於所述指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算步驟，用於根據對應於所述指定像素的所述多種類型的分量，計算指示在所述指定像素數據與在時間方向上定位於所述指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定步驟，用於根據對應於所述指定像素的所述空間相關性值和所述時間相關性值，指定僅由所述前景對象分量構成的前景區域。
11.根據權利要求10的圖像處理方法，其中，所述區域指定步驟包括混合區域指定步驟，用於根據所述指定幀的所述前景區域和所述指定幀的鄰域中的鄰接幀的所述前景區域，指定所述混合區域。
12.根據權利要求8的圖像處理方法，其中，所述混合比檢測步驟包括分量混合比檢測步驟，用於針對所述多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測步驟，用於通過積分對應於由所述分量混合比檢測步驟所檢測到的所述多種類型的分量的混合比檢測結果，檢測對應於所述圖像數據的混合比。
13.根據權利要求8的圖像處理方法，其中，所述混合比檢測步驟包括積分步驟，用於針對每個像素積分所述多種類型的分量的像素值，並且將所述值作為積分數據輸出；以及積分數據混合比檢測步驟，用於根據所述積分數據檢測對應於所述圖像數據的混合比。
14.根據權利要求13的圖像處理方法，其中，在所述積分步驟中，將針對每個像素的所述多種類型的分量的所述像素值相加，並且將相加的結果作為所述積分數據輸出。
15.一種已經在其上記錄了用於處理圖像數據的計算機可讀程序的記錄介質，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述程序包括區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成；以及輸出控制步驟，用於控制所檢測到的混合比的輸出，其中，至少所述區域指定步驟和所述混合比檢測步驟之一根據所述多種類型的分量執行圖像處理。
16.根據權利要求15的記錄介質，其中，所述區域指定步驟包括分量混合區域檢測步驟，用於針對所述多種類型的分量中的每一個檢測所述混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定步驟，用於根據對應於在所述分量混合區域檢測步驟中檢測到的所述多種類型的分量的所述混合區域的檢測結果，指定對應於所述圖像數據的所述混合區域。
17.根據權利要求15的記錄介質，其中，所述區域指定步驟包括空間相關性值計算步驟，用於根據對應於指定像素的所述多種類型的分量，計算指示在對應於所述圖像數據的指定幀的指定像素的指定像素數據與在空間方向上定位於所述指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算步驟，用於根據對應於所述指定像素的所述多種類型的分量，計算指示在所述指定像素數據與在時間方向上定位於所述指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定步驟，用於根據對應於所述指定像素的所述空間相關性值和所述時間相關性值，指定僅由所述前景對象分量構成的前景區域。
18.根據權利要求17的記錄介質，其中，所述區域指定步驟包括混合區域指定步驟，用於根據所述指定幀的所述前景區域和所述指定幀的鄰域中的鄰接幀的所述前景區域，指定所述混合區域。
19.根據權利要求15的記錄介質，其中，所述混合比檢測步驟包括分量混合比檢測步驟，用於針對所述多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測步驟，用於通過積分對應於由所述分量混合比檢測步驟所檢測到的所述多種類型的分量的混合比檢測結果，檢測對應於所述圖像數據的混合比。
20.根據權利要求15的記錄介質，其中，所述混合比檢測步驟包括積分步驟，用於針對每個像素積分所述多種類型的分量的像素值，並且將所述值作為積分數據輸出；以及積分數據混合比檢測步驟，用於根據所述積分數據檢測對應於所述圖像數據的混合比。
21.根據權利要求20的記錄介質，其中，在所述積分步驟中，將針對每個像素的所述多種類型的分量的所述像素值相加，並且將相加的結果作為所述積分數據輸出。
22.一種能讓計算機執行的程序，所述計算機被用於處理圖像數據，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述程序包括區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成；以及輸出控制步驟，用於控制所檢測到的混合比的輸出，其中，至少所述區域指定步驟和所述混合比檢測步驟之一根據所述多種類型的分量執行圖像處理。
23.根據權利要求22的程序，其中，所述區域指定步驟包括分量混合區域檢測步驟，用於針對所述多種類型的分量中的每一個檢測所述混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定步驟，用於根據對應於在所述分量混合區域檢測步驟中檢測到的所述多種類型的分量的所述混合區域的檢測結果，指定對應於所述圖像數據的所述混合區域。
24.根據權利要求22的程序，其中，所述區域指定步驟包括空間相關性值計算步驟，用於根據對應於指定像素的所述多種類型的分量，計算指示在對應於所述圖像數據的指定幀的指定像素的指定像素數據與在空間方向上定位於所述指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算步驟，用於根據對應於所述指定像素的所述多種類型的分量，計算指示在所述指定像素數據與在時間方向上定位於所述指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定步驟，用於根據對應於所述指定像素的所述空間相關性值和所述時間相關性值，指定僅由所述前景對象分量構成的前景區域。
25.根據權利要求24的程序，其中，所述區域指定步驟包括混合區域指定步驟，用於根據所述指定幀的所述前景區域和所述指定幀的鄰域中的鄰接幀的所述前景區域，指定所述混合區域。
26.根據權利要求22的程序，其中，所述混合比檢測步驟包括分量混合比檢測步驟，用於針對所述多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測步驟，用於通過積分對應於由所述分量混合比檢測步驟所檢測到的所述多種類型的分量的混合比檢測結果，檢測對應於所述圖像數據的混合比。
27.根據權利要求22的程序，其中，所述混合比檢測步驟包括積分步驟，用於針對每個像素積分所述多種類型的分量的像素值，並且將所述值作為積分數據輸出；以及積分數據混合比檢測步驟，用於根據所述積分數據檢測對應於所述圖像數據的混合比。
28.根據權利要求27的程序，其中，所述積分步驟將針對每個像素的所述多種類型的分量的所述像素值相加，並且將相加的結果作為所述積分數據輸出。
29.一種圖像捕獲設備，包括圖像捕獲裝置，用於輸出由包括具有時間積分功能的預定數量的像素圖像捕獲器件捕獲的主題圖像，作為由在同一像素位置上具有多種類型的分量的預定數量的像素數據形成的圖像數據；區域指定裝置，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象；以及混合比檢測裝置，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成，其中，至少所述區域指定裝置和所述混合比檢測裝置之一根據所述多種類型的分量執行圖像處理。
30.根據權利要求29的圖像捕獲設備，其中，所述區域指定裝置包括分量混合區域檢測裝置，用於針對所述多種類型的分量中的每一個檢測所述混合區域，並輸出對應於各個分量的檢測結果作為分量混合區域信息；以及混合區域指定裝置，用於根據由所述分量混合區域檢測裝置檢測到的、對應於多種類型的分量的混合區域的檢測結果，指定對應於所述圖像數據的混合區域。
31.根據權利要求29的圖像捕獲設備，其中，所述區域指定裝置包括空間相關性值計算裝置，用於根據對應於指定像素的所述多種類型的分量，計算指示在對應於所述圖像數據的指定幀的指定像素的指定像素數據與在空間方向上定位於所述指定像素的鄰域的空間鄰接像素的像素數據之間的相關性的空間相關性值；時間相關性值計算裝置，用於根據對應於所述指定像素的所述多種類型的分量，計算指示在所述指定像素數據與在時間方向上定位於所述指定像素的鄰域的時間鄰接像素的像素數據之間的相關性的時間相關性值；以及前景區域指定裝置，用於根據對應於所述指定像素的所述空間相關性值和所述時間相關性值，指定僅由所述前景對象分量構成的前景區域。
32.根據權利要求31的圖像捕獲設備，其中，所述區域指定裝置包括混合區域指定裝置，用於根據所述指定幀的所述前景區域和所述指定幀的鄰域中的鄰接幀的所述前景區域，指定所述混合區域。
33.根據權利要求29的圖像捕獲設備，其中，混合比檢測裝置包括分量混合比檢測裝置，用於針對所述多種類型的分量中的每一個檢測混合比；以及分量積分混合比檢測裝置，用於通過積分由分量混合比檢測裝置所檢測到的、對應於多種類型的分量的混合比檢測結果，檢測對應於圖像數據的混合比。
34.根據權利要求29的圖像捕獲設備，其中，所述混合比檢測裝置包括積分裝置，用於針對每個像素積分所述多種類型的分量的像素值，並且將所述值作為積分數據輸出；以及積分數據混合比檢測裝置，用於根據所述積分數據檢測對應於所述圖像數據的混合比。
35.根據權利要求34的圖像捕獲設備，其中，所述積分裝置將針對每個像素的所述多種類型的分量的所述像素值相加，並且將相加的結果作為所述積分數據輸出。
36.一種用於處理圖像數據的圖像處理設備，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述圖像處理設備包括用於獲得圖像數據的圖像數據獲得裝置；以及處理執行裝置，用於根據所獲得的圖像數據的所述多種類型的分量，執行下列處理之一(i)區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，和(ii)混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
37.根據權利要求36的圖像處理設備，其中，所述處理執行裝置根據所獲得的圖像數據的所述多種類型的分量執行一區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
38.根據權利要求36的圖像處理設備，其中，所述處理執行裝置根據所獲得的圖像數據的所述多種類型的分量執行一混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
39.一種用於處理圖像數據的圖像處理方法，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述圖像處理設備包括用於獲得圖像數據的圖像數據獲得步驟；以及處理執行步驟，用於根據所獲得的圖像數據的所述多種類型的分量，執行下列處理之一(i)區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，和(ii)混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
40.根據權利要求39的圖像處理方法，其中，在所述處理執行步驟中，根據所獲得的圖像數據的所述多種類型的分量執行一區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
41.根據權利要求39的圖像處理方法，其中，在所述處理執行步驟中，根據所獲得的圖像數據的所述多種類型的分量執行一混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
42.一種已經在其上記錄了用於處理圖像數據的計算機可讀程序的記錄介質，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述程序包括用於獲得圖像數據的圖像數據獲得步驟；以及處理執行步驟，用於根據所獲得的圖像數據的所述多種類型的分量，執行下列處理之一(i)區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，和(ii)混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
43.根據權利要求42的記錄介質，其中，在所述處理執行步驟中，根據所獲得的圖像數據的所述多種類型的分量執行一區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
44.根據權利要求42的記錄介質，其中，在所述處理執行步驟中，根據所獲得的圖像數據的所述多種類型的分量執行一混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
45.一種能讓計算機執行的程序，所述計算機被用於處理圖像數據，所述圖像數據由預定數量的像素數據構成，在同一像素位置上具有多種類型的分量，且由包括具有時間積分功能的預定數量的像素的圖像捕獲器件獲得，所述程序包括用於獲得圖像數據的圖像數據獲得步驟；以及處理執行步驟，用於根據所獲得的圖像數據的所述多種類型的分量，執行下列處理之一(i)區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，和(ii)混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
46.根據權利要求45的程序，其中，在所述處理執行步驟中，根據所獲得的圖像數據的所述多種類型的分量執行一區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
47.根據權利要求45的程序，其中，在所述處理執行步驟中，根據所獲得的圖像數據的所述多種類型的分量執行一混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
48.一種圖像捕獲設備，包括圖像捕獲裝置，用於輸出由包括具有時間積分功能的預定數量的像素的圖像捕獲器件捕獲的主題圖像，作為由在同一像素位置上具有多種類型的分量的預定數量的像素數據形成的圖像數據；以及處理執行裝置，用於根據所獲得的圖像數據的所述多種類型的分量，執行下列處理之一(i)區域指定裝置，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象，和(ii)混合比檢測裝置，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
49.根據權利要求48的圖像捕獲設備，其中，所述處理執行裝置根據所獲得的圖像數據的所述多種類型的分量執行一區域指定步驟，用於相應於所述圖像數據、指定由前景對象分量和背景對象分量混和而成的混合區域，其中，所述前景對象分量構成前景對象，所述背景對象分量構成背景對象。
50.根據權利要求48的圖像捕獲設備，其中，所述處理執行裝置根據所獲得的圖像數據的所述多種類型的分量執行一混合比檢測步驟，用於相應於所述圖像數據、在一混合區域中檢測指示所述前景對象分量的混合與背景對象分量的混合之比的混合比，其中，所述混合區域由所述前景對象分量和所述背景對象分量混和而成。
全文摘要
能夠了解圖像的混合狀態。區域識別單元(103)識別圖像數據的混合區域，在該混合區域中，構成前景對象的前景對象分量與構成背景對象背景對象分量相混合。根據圖像數據，混合比計算單元(104)識別混合區域，在該混合區域中，構成前景對象的前景對象分量與構成背景對象背景對象分量相混合。參考圖像數據，混合比計算單元(104)計算一個混合比，該混合比指示在混合了前景對象分量的混合區域中，前景對象分量和背景對象分量的混合比。
文檔編號H04N5/217GK1471692SQ02802754
公開日2004年1月28日 申請日期2002年6月26日 優先權日2001年6月27日
發明者近藤哲二郎, 石橋淳一, 澤尾貴志, 藤原直樹, 永野隆浩, 和田成司, 三宅徹, 一, 司, 志, 樹, 浩 申請人:索尼公司