信號處理方法與設備以及記錄介質的製作方法

2023-05-06 08:53:36 2

專利名稱：信號處理方法與設備以及記錄介質的製作方法
技術領域：
本發明涉及一種信號處理方法與設備，並且涉及一種記錄介質。更具體地說，本發明涉及一種考慮到由傳感器檢測到的信號和現實世界之間的差別的信號處理方法與設備以及記錄介質。
背景技術：
這樣的技術廣泛地使用於通過傳感器檢測現實世界的事件以及處理由傳感器輸出的採樣數據，例如與圖像、語音、溫度、壓力、加速度或氣味關聯的數據。
例如，在物體以較高速度移動的情況下，使用CCD的攝像機成像在預定的靜止背景之間的移動的物體時所獲得的圖像易受到移動模糊(motionblurring)的影響。
例如，在物體以較高速度移動的情況下，使用CCD的攝像機成像在預定的靜止背景之前的移動的物體時所獲得的圖像易受到移動模糊的影響。也就說在用CCD作為傳感器檢測現實世界時，作為採樣數據的圖像會產生失真。
抑制這種移動模糊的常規實踐是提高例如電子快門的速度，已提供更短的曝光時間。
但在這種方式下升高快門速度的情況下，必須在進行攝影之前調整攝像機的快門速度。因此不能校正以前獲得的模糊的圖像來獲得清晰的圖像。
另一方面，如果一物體在靜止背景之前移動，那麼不僅會發生歸因於就是該移動物體的圖像的混合的移動模糊，還會發生背景圖像和該移動圖像的混合。在常規系統中，沒有給出任何關於檢測背景圖像和該移動物體的混合的狀態的考慮。
而且，通過傳感器獲取到具有空間和時間軸的現實世界的信息，並產生數據。這種由傳感器獲取的數據是在投影在比現實世界的維(dimension)更低的時間和空間中的現實世界的信息時所獲得的信息。因此，投影上所獲得的信息由於投影而失真。換句話說，傳感器輸出的數據相對於現實世界的信息失真。此外，因投影而失真的數據也包括用於校正該失真的重要信息。
在對由傳感器獲取的採樣數據進行常規信號處理期間，傳感器獲得的採樣數據被視為最可靠的數據，以至於在後續的數據處理例如傳輸、記錄或再現中，在考慮到由例如數據傳輸引起的惡化的情況下，唯一關心的是弄清儘量接近原始數據的狀態的數據狀態。
迄今為止，該傳感器輸出的採樣數據被認為是最可靠的數據，以至於沒有進行任何準備比採樣數據更高質量的數據的嘗試，或執行提取因投影而模糊的重要信息的信號處理。

發明內容
因此本發明的一個目的是提供一種信號處理設備，在其中由傳感器輸出的採樣數據可以無失真，或者可以從該採樣數據中提取該重要信息，例如，如果採樣數據是圖像的採樣數據的話，提供對包含在該檢測信號中的移動模糊量的調整。
本發明提供一種信號處理設備，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該信號處理設備包括區域指定裝置，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從前景物體分量和背景物體分量混合而來的混合區域；混合比檢測裝置，用於至少在該混合區域中檢測前景物體分量和背景物體分量的混合比；以及分離裝置，用於基於由區域指定裝置的指定結果和混合比將前景物體和背景物體相互分離。
本發明也提供一種信號處理方法，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該信號處理方法包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從前景物體分量和背景物體分量混合而來的混合區域；混合比檢測步驟，用於至少在該混合區域中檢測前景物體分量和背景物體分量的混合比；以及分離步驟，用於基於由區域指定裝置的指定結果和混合比將前景物體和背景物體相互分離。
本發明也提供一種在其上已經記錄了計算機可讀程序的記錄介質，該計算機可讀程序包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從前景物體分量和背景物體分量混合而來的混合區域；混合比檢測步驟，用於至少在該混合區域中檢測前景物體分量和背景物體分量的混合比；以及分離步驟，用於基於由區域指定裝置的指定結果和混合比將前景物體和背景物體相互分離。
本發明也提供一種信號處理設備，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該信號處理設備包括區域指定裝置，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從前景物體分量和背景物體分量混合而來的混合區域；以及混合比檢測裝置，用於基於由區域指定裝置的指定結果檢測至少在該混合區域中前景物體分量和背景物體分量之間的混合比。
本發明也提供一種信號處理方法，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該信號處理方法包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從前景物體分量和背景物體分量混合而來的混合區域；以及混合比檢測步驟，用於基於由區域指定裝置的指定結果檢測至少在該混合區域中前景物體分量和背景物體分量之間的混合比。
本發明也提供一種在其上已經記錄了計算機可讀程序的記錄介質，該信號處理方法用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該計算機可讀程序包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從前景物體分量和背景物體分量混合而來的混合區域；以及混合比檢測步驟，用於基於由區域指定裝置的指定結果檢測至少在該混合區域中前景物體分量和背景物體分量之間的混合比。
本發明也提供一種信號處理設備，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該信號處理設備包括混合比檢測裝置，用於在該混合區域中檢測前景物體分量和背景物體分量的混合比，由組成前景物體的所述前景物體分量和組成背景物體的所述背景物體分量以該混合比混合；以及分離裝置，用於基於該混合比將前景物體和背景物體相互分離。
本發明也提供一種信號處理方法，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該信號處理方法包括混合比檢測步驟，用於在該混合區域中檢測前景物體分量和背景物體分量的混合比，在那裡由組成前景物體的所述前景物體分量和組成背景物體的所述背景物體分量以該混合比混合；以及分離步驟，用於基於該混合比將前景物體和背景物體相互分離。
本發明也提供一種在其上已經記錄了計算機可讀程序的記錄介質，該信號處理方法用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，該計算機可讀程序包括混合比檢測步驟，用於在該混合區域中檢測前景物體分量和背景物體分量的混合比，由組成前景物體的所述前景物體分量和組成背景物體的所述背景物體分量以該混合比混合；以及分離步驟，用於基於該混合比將前景物體和背景物體相互分離。


圖1說明本發明的原理；圖2是示出實施本發明的一系統的說明性結構的方框圖；圖3是示出圖2的信號處理器的說明性結構的方框圖；圖4是用於說明圖2的系統操作的流程圖；圖5說明在圖4的步驟S1獲取的典型圖像；圖6說明混合區域的像素值；圖7說明減去圖6的區間D1至D3中的背景的圖像分量的結果；圖8說明移動模糊的結構；圖9是一流程圖，用於說明圖2的系統的另一個典型的處理；圖10是示出信號處理器12的方框圖；
圖11說明通過傳感器攝像；圖12說明像素排列；圖13說明檢測器件的操作；圖14說明在成像對應於移動前景的物體和對應於靜止背景的物體時所獲得的圖像；圖15說明一背景區域、一前景區域、一混合區域、一被覆蓋的背景區域和一未被覆蓋的背景區域；圖16是一示意圖，它隨在時間軸方向延伸的像素值，示出在成像對應於靜止前景的物體時所獲得的圖像或成像對應於靜止背景的物體時所獲得的圖像中，以相互鄰近關係擺放成一行的像素的像素值；圖17是一示意圖，示出隨對應於被分開示出的快門時間的時間間隔，在時間軸方向延伸的像素值；圖18是一示意圖，示出隨對應於被分開示出的快門時間的時間間隔，在時間軸方向延伸的像素值；圖19是一示意圖，示出隨對應於被分開示出的快門時間的時間間隔，在時間軸方向延伸的像素值；圖20示出一前景區域、一背景區域和一混合區域中被提取的像素；圖21示出像素和在時間軸方向上擴展像素值時所獲得的模型之間的對應關係；圖22是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖23是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖24是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖25是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖26是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖27是一流程圖，用於說明調整移動模糊量的處理；圖28是一方框圖，示出區域指定單元103的說明性結構；
圖29說明一在對應於前景的物體是移動的情況下的圖像；圖30是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖31是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖32是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖33說明適用於區域判定的條件；圖34A、34B、34C和34D說明區域指定單元103的區域識別結果；圖35說明區域指定單元103的區域識別結果；圖36是一流程圖，用於說明適用於區域識別的處理；圖37是一方框圖，示出了混合比計算單元104的說明性結構；圖38示出典型的理想混合比α；圖39是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖40是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖41是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖42說明C、N和P之間的關係；圖43是一方框圖，示出被估計的混合比處理器201的結構；圖44示出一典型的被估計的混合比；圖45是一方框圖，示出了混合比計算單元104的改進型結構；圖46是一流程圖，用於說明適用於計算該被估計的混合比的處理；圖47是一流程圖，用於說明適用於該被估計的混合比的操作的處理；圖48是一方框圖，示出了前景/背景分離單元105的說明性結構；圖49A和49B示出一輸入圖像，一前景分量圖像和一背景分量圖像；圖50是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖51是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；
圖52是一示意圖，示出在時間軸方向上擴展的像素值，並示出對應於被分開示出的快門周期的時間間隔；圖53是一方框圖，示出分離單元251的說明性結構；圖54A和54B說明示出作為相互分離的一前景分量圖像和一背景分量圖像的典型示例；圖55是一流程圖，用於說明適用於將前景和背景相互分離的處理；圖56是一方框圖，示出移動模糊調整單元106的說明性結構；圖57說明一處理單元；圖58是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值並示出對應於被分開示出的快門周期的時間間隔；圖59是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值並示出對應於被分開示出的快門周期的時間間隔；圖60是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值並示出對應於被分開示出的快門周期的時間間隔；圖61是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值並示出對應於被分開示出的快門周期的時間間隔；圖62示出移動模糊調整單元106的改進型結構；圖63是一流程圖，用於說明適用於調整包含在前景分量圖像中的移動模糊量的處理；圖64是一方框圖，示出信號處理器12的改進功能結構；圖65示出合成單元371的結構；圖66是一方框圖，示出信號處理器12的另一改進型功能結構；圖67是一方框圖，示出混合比計算單元401的結構；圖68是一方框圖，示出前景/背景分離單元402的結構；圖69是一方框圖，示出信號處理器12的更進一步的改進功能結構；圖70示出合成單元431的結構；圖71示出根據本發明的信號處理設備的另一說明性結構；圖72是一流程圖，用於說明適用於通過信號處理器452調整移動模糊量的處理；圖73示出一根據本發明的信號處理設備的說明性結構；圖74示出一壓力區域傳感器501的結構；
圖75說明施加到壓力區域傳感器501的負荷；圖76說明由壓力區域傳感器501輸出的典型重量(weight)數據；圖77是一流程圖，用於說明由信號處理器502執行的負荷計算處理；圖78是一方框圖，示出產生每幀都有增加的像素的圖像的結構，它作為信號處理器12的另一功能；圖79說明像素排列和對應於在水平密度方面加倍的像素的區域；圖80說明對應於輸入到區域A至r的光的圖像的圖像分量；圖81A、81B、81C和81D說明對應於像素的兩個區域的圖像分量的計算；圖82示出一典型的輸入圖像；圖83示出一典型的雙水平密度圖像；圖84示出一典型的雙垂直密度圖像；圖85示出一雙密度圖像；圖86是一流程圖，用於說明適用於通過圖78所示的信號處理器12產生雙密度圖像的處理。
具體實現方式圖1說明本發明的原理。正如從圖1所見到的那樣，由傳感器2獲取作為具有空間軸和時間軸的現實世界的信息的第一信號，並將其製作成數據。作為傳感器2獲取的數據3的檢測信號是在將現實世界1的信息投影在比現實世界1更低維的時空上時所獲得的信息。因此，投影所產生的信息包含由於投影而引起的失真。換句話說，傳感器2輸出的數據3相對於現實世界1的信息來說發生失真。此外，由於投影而發生了失真的數據3也包括可使用的或校正該失真的重要信息。
因此，根據本發明，傳感器2輸出的數據由信號處理器4進行處理，由此消除、減少或調整該失真。或者，用信號處理器4處理由傳感器2輸出的數據以提取該重要信息。
圖2示出根據本發明的信號處理設備的一說明性結構。傳感器11例如包括攝像機，它拍攝現實世界的圖像以輸出產生的圖像數據給信號處理器12。該信號處理器例如包括個人計算機，用於處理從傳感器11輸入的數據、調整投影所產生的失真量、指定包含由該投影所掩藏的重要信息的區域、從一指定區域提取該重要信息以及基於所提取的重要信息處理被輸入的數據。
該重要信息例如可以是以後將要解釋的混合比。
同時，指示出包含由該投影所掩藏的重要信息的區域的信息也可以被認為是重要信息。這裡，以後將要解釋的區域信息對應於該重要信息。
信號處理器12例如被結構成如圖3所示。CPU(中央處理單元)21按照存儲在ROM(只讀存儲器)22或貯存單元28中存儲的程序執行各種處理操作。在RAM(隨機存取存儲器)23中按照需要存儲由CPU 21執行的程序或數據。CPU 21、ROM 22和RAM 23互連在一總線24上。
輸入/輸出接口25經過總線24連接到CPU 21。輸入/輸出接口25連接到包括鍵盤、滑鼠和麥克風的輸入單元26，以及包括顯示器和擴音器的輸出單元27。CPU 21響應輸入單元26輸入的命令執行各種處理操作。CPU 21將處理時所獲得的圖像、語音等輸出到輸出單元27。
連接到輸入/輸出接口25的貯存單元28例如由硬碟構成，用於存儲由CPU 21執行的程序以及各種數據。通信單元29經過諸如英特網這樣的網絡與外部設備通信。在本實施例中，通信單元29用於獲取傳感器11的輸出。
為了在貯存單元28中貯存，也可以經過通信單元29獲取程序。
連接到輸入/輸出接口25的驅動器30在磁碟51、光碟52、磁光碟53或半導體存儲器54連接到該驅動器時驅動這些器件，以獲取記錄在其中的程序和數據。這樣獲取的程序和數據必要時被傳輸到貯存單元28，以貯存在那裡。
參考圖4的流程圖解釋由該信號處理設備基於存儲在貯存單元28中的程序實施的操作。首先在步驟S1，傳感器11獲取的一物體的圖像是通過例如通信單元29獲取的。信號處理器12的CPU 21發送所獲取的圖像數據給貯存單元28，以貯存在那裡。
圖5示出與所獲取圖像數據關聯的一圖像。示出在該實施例中的該圖像包括排在背景61前面的前景62。這裡，該前景是一架以預定速度在靜止的背景61前面向該附圖右邊移動的玩具飛機。結果，前景62的圖像是一經受了所謂移動模糊的圖像。相反，背景61的圖像是靜止的，因此是沒有移動模糊的清晰的圖像。混合區域63是一個圖像，它包括作為背景61的物體和作為前景62的物體的混合。
然後在步驟S2，CPU 21檢測該物體的混合區域。在圖5的實施例中，將混合區域63作為兩個物體的混合區域進行檢測。
CPU 21在步驟S3判定該物體是否被混合。如果該物體未混合，即，如果沒有任何混合區域63，則該圖像不是本信息處理設備要處理的，因此結束處理。
相反，如果在步驟步驟S3做出物體被混合的判定，則CPU 21轉到步驟步驟S4以在檢測到的混合區域中得到物體的混合比。該混合比可以通過得到前景62相對於背景61的移動向量以及通過擬合該移動向量來得到，因此混合區域63中的混合比將在0到1範圍內變化。在步驟S5，CPU 21實施分離混合區域63中的物體的處理，在混合區域63中基於所找到的混合比將多個物體混合在一起。
將使用圖5的圖像作為示例，更進一步詳細地解釋上述處理。如果繪製關於圖5的混合區域63的右邊的部分63A的一條線的圖像數據，則其結果如圖6所示，在其中橫坐標表示X坐標(圖5的水平方向上的坐標)，而縱坐標表示關於X坐標的像素值。
曲線L1表示關於第一定時的線的像素值，而曲線L2表示關於下一定時的另一線的像素值。類似地，曲線光發射層3和L4表示後續相鄰定時的線的像素值。換句話說，圖6示出關於在四個相鄰定時上所關聯的線的像素值方面的變化。
曲線L1示出第一定時中的狀態，在這種狀態下前景62還沒有被成像。因此曲線L1代表背景61的像素。
在曲線L1上，在X坐標140的附近該像素值為大約75，而在X坐標145處增加為大約130。然後該像素值降低，並且在X坐標149的附近該像素值為大約120。當X坐標增加時，該像素值再次增加並在X坐標154的附近達到大約160。然後該像素值再次降低，並且在X坐標162的附近該像素值達到大約130。接下來，在X坐標165的附近，該像素值接近180，而在X坐標170的附近，該像素值再次降低到大約125。接下來，在X坐標172的附近，該像素值增加到大約175，而在X坐標178的附近，該像素值降低到大約60。隨後，在X坐標178至195的區間內該像素值在60至80之間輕微波動。在大約195的更右邊上的X坐標中，該像素值再次增加到大約160。
關於下一幀的曲線L2，直到145、該像素值都是大約200的常數。接著，在X坐標145至X坐標160之間的範圍內，該像素值逐漸降低，在那個X坐標160處該像素值為大約125。然後該曲線經歷按照類似於曲線L1的變化的變化。
隨後，直到X坐標158附近、曲線光發射層3的像素值都是大約200的常數，並且在X坐標164處該像素值降低到大約164，在這以後其增加到大約190。然後該曲線經歷按照類似於曲線L1的變化的變化。
從X坐標140附近到X坐標170附近，曲線L4的像素值都是大約200的常數，並且從X坐標170附近到X坐標180附近該像素值急速降低，X坐標170附近的像素值為大約70。然後該曲線經歷按照類似於曲線L1的變化的變化。
曲線L2至L4的像素值的這些變化歸因於這樣的事實，即雖然在曲線L1的狀態下存在只有背景61的圖像，但隨著前景62的圖像的移動即隨著時間的消逝，前景62的圖像逐漸增加。
特別地，正如從比較下面定時的曲線L1和曲線L2可以看見的那樣，直到X坐標147附近，曲線L2至L4的這些值在值方面實際上是相等的。從X坐標147附近開始，曲線L2的值不同於曲線發射層3、L4的值，在X坐標159附近變成等於曲線L1的值。隨後，曲線L2的像素值近似等於曲線L1的像素值。即，在對應於從X坐標146至X坐標159的區間D1的區域R1中的曲線L2的值，指示出在一個單元周期中已經從區間D1的左端向右端移動了前景62的最前面部分。
類似地，在對應於從X坐標159至X坐標172的區間D2的區域剛性基底2中的下一定時的曲線反射層3的像素值，指示出已經在過渡時期移動了前景62的最前面部分。在對應於從X坐標172至X坐標184的區間D3的區域R3中的下一定時的曲線L4的像素值，指示出已經在過渡時期移動了前景62的最前面部分。
因此，如果從曲線L2的像素值中減去以前景62與背景61的混合比為基礎加權的曲線L1的像素值，則獲得示出在圖7中的曲線L11。該曲線L11對應於在混合區域63中從前景62的像素減去對應於背景61的值的差，它代表具有0像素值的背景上的前景的圖像。同時，在圖7中，橫坐標和縱坐標分別表示提取的前景的位置和像素值。關於位置，左端和右端分別對應於圖6中的區間D1的左端和右端。
類似地，如果在圖6中的區間D2中從曲線光反射層3的像素值中減去以該混合比加權的曲線L1的像素值，則獲得示出在圖7中的曲線L12，反之，如果在圖6中的區間D3中從曲線L4減去以該混合比加權的曲線L1的像素值，則獲得示出在圖7中的曲線L13。如圖7所示，曲線L12、L13實際上與曲線L11一致。這指示出前景62正在三個定時單元周期期間以幾乎相等的速度移動，並且已經通過加權減法正確地獲得了黑背景，該黑背景是具有0像素值的背景上的前景像素值。
如果結合通過參考圖8的像素來解釋上述操作，在其中橫坐標表示部分63A的X坐標，而縱坐標表示從上向下指引的時間軸，由於在本實施例中的移動量為5，因此在t1至t5的時間間隔(快門時間內)中進行曝光。在圖8中，b1至bf表示背景61的各自像素的像素值，A1至A6表示前景62的像素值。
即，前景62的像素A1至A6出現在背景61的像素b3至b8的位置，而前景62的像素A1至A6在定時t2處向右移動一個像素，即移動到在背景61的像素b4至b9的位置。
隨後當時間從t3流逝到t5時，按照類似方式，以一個像素的間距向右順序移動前景62的像素A1至A6。在這種情況下，在平均定時t1至t5的各自線的像素時所獲得的像素值y1至yf構成成像時獲得的像素，即這些像素以下列方程代表的值展示移動模糊y3=15a1+45b3---(1)]]>y4=15(a1+a2)+35b4---(2)]]>y5=15(a1+a2+a3)+25b5---(3)]]>y6=15(a1+a2+a3+a4)+15b6---(4)]]>y7=15(a1+a2+a3+a4+a5)---(5)]]>y8=15(a1+a2+a3+a4+a5+a6)---(6)]]>y9=15(a3+a4+a5+a6)+15b9---(7)]]>
ya=15(a4+a5+a6)+25ba---(8)]]>yb=15(a5+a6)+35bb---(9)]]>yc=15a6+45bc---(10)]]>同時，y1、y2、yd、ye和yf分別等於背景像素b1、b2、bd、be和bf。
如果去除背景的像素b1至bf，則混合區域63中的背景61和前景62可以相互分離。即，可以相互分離多個物體。此外，可以通過利用例如最小二乘法，在假定了要通過諸如使用快門時間(幀)的前和後的像素值知道的背景的像素b1至bf下，求解上述方程得到背景像素b1至bf。這使得前景圖像免於移動模糊。按照這種方式，可以減少由投影引起的現實世界的信息的失真，以諸如通過解析度創建處理創建清晰的圖像。
在圖4中，它是被執行的判別性的處理，即前面的處理用作基礎，下面的處理在假設前面的處理結果正確的前提下執行。或者，正如現在參考圖9所示的說明性處理所解釋的那樣，也可以是統計處理。
特別地，當執行統計處理時，CPU 21在步驟S21獲取圖像數據。這個處理類似於圖4中的步驟S1實施的處理。
接下來在步驟S22，CPU 21實施從步驟S21獲得圖像數據得到前景比背景的混合比的處理。在步驟S23，CPU 21基於步驟S22得到的混合比執行分離前景和背景的處理。
如果使用統計處理，則判定是否存在物體邊界的、諸如圖4的步驟S23中的處理不是必須要有的，因此使得相互分離前景和背景更快捷。
前面的描述示出了關於如何能夠從在拍攝在背景61前面移動的前景62的圖像時獲得的移動模糊圖像中分離和提取前景62的清晰圖像的方式。
現在解釋一信號處理設備的更特殊的實施例，該信號處理設備用於識別在其中掩藏了重要信息的區域，或者用於從通過判別性的處理自傳感器獲取的數據中提取這樣的被掩藏的重要信息。在下面的實施例中，CCD線傳感器或CCR區域傳感器對應於該傳感器，而區域信息或混合比對應於該重要信息且前景和背景的混合或移動模糊對應於失真。
圖10是示出信號處理器12的方框圖。
同時，信號處理器12的各個功能由硬體還是由軟體實現並不重要。也就是說，本說明書的方框圖可以被認為是硬體方框圖、或者功能軟體方框圖。
應該注意到，移動模糊指的是包含在移動物體中的失真，這種失真是正在被成像的現實世界的物體的移動和傳感器11特有的成像特性產生的。
在本說明書中，對應於現實世界的一物體的圖像稱為圖像物體。
供給信號處理器12的輸入圖像供應給物體提取單元101、區域指定單元103、混合比計算單元104和前景/背景分離單元105。
物體提取單元101粗略地提取對應於包含在輸入的圖像中的前景物體的圖像物體，以將提取的圖像物體發送到移動檢測單元102。物體提取單元101檢測對應於包含在輸入的圖像中的前景物體的圖像物體的輪廓，以粗略地提取對一個域該前景物體的圖像物體。
物體提取單元101粗略地提取對應於包含在輸入的圖像中的前景物體的圖像物體，以將提取的圖像物體傳遞到移動檢測單元102。物體提取單元101基於輸入圖像和對應於提取的前景物體的圖像物體之間的差別，粗略地提取對應於該背景物體的圖像物體。
物體提取單元101也可以基於存儲在內部的背景存儲器中的背景圖像和輸入圖像之間的差別，粗略地提取對應於該前景物體的圖像物體和對應於該背景物體的圖像物體。
移動檢測單元102利用諸如塊匹配法、梯度法、相位相關法或像素遞歸(Pel-Recursive)法，計算對應於粗略地被提取的前景的圖像物體的移動向量，以將這樣計算出的移動向量和該移動向量的位置信息(指定對應於該移動向量的像素的位置的信息)傳遞到移動模糊調整單元106。
在移動檢測單元102輸出的移動向量中，包含對應於移動量v的信息。
移動檢測單元102也可以將基於圖像物體的移動向量與為圖像物體指定像素的像素位置信息一起，輸出到移動模糊調整單元106。
移動量v是一個值，用於以像素到像素的間隔最為單元代表對應於移動物體的圖像的位置改變。例如，如果移動對應於該前景的物體的圖像，使得以相對於在緊接著前一幀的幀中偏移了四個像素的位置顯示，對應於該前景的物體的移動量v為4。
同時，當在移動模糊調整單元106中調整關聯於移動物體的移動模糊量時，使用物體提取單元101和移動檢測單元102。
區域指定單元103將指定輸入的圖像的每個像素的信息逐個像素地發送到前景區域、背景區域或混合區域之一，用於指示該像素屬於前景區域、背景區域或混合區域中的那一個，該信息還發送到混合比計算單元104、前景/背景分離單元105和移動模糊調整單元106。前述信息在下面將稱為區域信息。
混合比計算單元104基於該輸入圖像和從區域指定單元103供給的區域信息，計算包含在混合區域63中的像素的混合比，以將這樣計算出的混合比傳遞給前景/背景分離單元105。這個混合比在下面將被稱為混合比α。
該混合比α指示在對應於背景物體的圖像的分量的像素值中的比例，如後面將要描述的方程(13)所指示的那樣。這些分量在下面也被稱為背景分量。
前景/背景分離單元105基於區域指定單元103供給的區域信息和混合比計算單元104供給的混合比α，將輸入圖像分離成前景分量圖像和背景分量圖像以將該前景分量圖像傳遞到移動模糊調整單元106和選擇單元107，其中前景分量圖像僅由關聯於前景的圖像分量組成，以下也被稱為前景分量，而背景分量圖像僅由背景分量組成。該被分離出來的前景分量圖像也可能是最後的輸出。得到比在不考慮常規混合區域的情況下、只能指定前景和背景的常規系統中獲得的前景和背景更精確的前景和背景是可能的。
移動模糊調整單元106基於正如從該移動向量中得到的移動量v和該區域信息，判定指示包含在該前景分量圖像中的一個或多個像素的處理單元。該處理單元是用於指定一組將要進行調整移動模糊量處理的像素的數據。
移動模糊調整單元106諸如通過去除包含在前景分量圖像中的移動模糊、減少移動模糊量或增加移動模糊量，基於輸入信號處理器12的移動模糊調整量、前景/背景分離單元105供給的前景分量圖像、移動檢測單元102供給的移動向量以及對應的位置信息和該處理單元，來調整包含在前景分量圖像中的移動模糊量，以將適合於移動模糊量調整的前景分量圖像輸出到選擇單元107。如果有必要，可以不使用帶有其位置信息的移動向量。
選擇單元107選擇關於該移動模糊量進行了調整的、前景/背景分離單元105供給的前景分量圖像和移動模糊調整單元106供給的前景分量圖像之一，以輸出選中的前景分量圖像。
參考圖11至26來解釋發送到信號處理器12的輸入圖像。
圖11說明通過由配備CCD(電荷耦合器件)的CCD攝像機構成的傳感器11的攝像，其中CCD是一種固態成像器件。對應於現實世界中的前景的物體在現實世界的背景的物體和傳感器11之間移動，例如水平地由左向右移動。
傳感器11將對應於前景的物體和對應於背景的物體一起成像。傳感器11輸出按幀拍攝的圖像。例如，傳感器11每秒輸出30幀圖像。傳感器11的曝光時間可以設置為1/30秒。曝光時間是自開始將輸入到傳感器11的光轉換成電荷起，至結束將輸入的光轉換成電荷為止這段時間。這個曝光時間在下面有時稱為快門時間。
參考圖12，它示出像素排列，A至I表示單獨的像素。這些像素排列在對應於一圖像的平面內。在傳感器11上排列一與一個像素關聯的檢測元件。當傳感器11拍攝圖像時，一個檢測元件輸出與屬於該圖像的一個像素關聯的像素值。例如，檢測器件沿X方向的位置對應於在圖像中橫向上的位置，而沿Y方向的位置對應於在圖像中縱向上的位置。
參考圖13，在對應於快門時間的時間期間，諸如CCD這樣的檢測器件將輸入的光轉換成電荷，以存儲這樣所轉換的電荷。該電荷量近似等於輸入光的強度和該光被輸入的時間期間。該檢測器件將對應於快門時間的時間期間，從輸入光轉換來的、已經被存儲的電荷加起來。即，檢測器件積分對應於快門時間的時間期間的輸入光，以以對應於被積分的光的量累積電荷。這種檢測器件被說成具有關於時間的積分效應。
在檢測器件中累積的電荷由未示出的電路轉換成電壓。該電壓又轉換成諸如數字數據這樣的像素值，以輸出。因此由傳感器11輸出的各個像素是映射到一維空間的值中的，它是關於對應於前景或背景的物體的空間延伸部分的快門時間的積分結果。
信號處理器12通過傳感器11的這種積累操作，提取掩藏在輸出信號中的重要信息，例如混合比α。信號處理器12調整由就是前景圖像物體的混合引起的失真量，例如，移動模糊量。信號處理器12也調整由前景圖像物體與背景圖像物體的混合產生的失真量。
圖14說明在成像對應於移動前景的物體和對應於靜止背景的物體時所獲得的圖像。圖14A示出在成像對應於移動前景的物體和對應於靜止背景的物體時所獲得的圖像。在圖14A示出的實施例中，對應於前景的物體正在水平地、相對於該圖像從左到右移動。
圖14B是示出對應於圖14A所示的圖像的單線的像素值的示意圖，正如沿時間軸延伸的那樣。圖14B的橫向對應於圖14A的空間方向X。
背景區域的像素僅由背景分量，即對應於背景物體的圖像的分量構成。前景區域的像素僅由前景分量，即對應於前景的圖像的分量構成。
混合區域的像素根據背景和前景分量構成。其像素是根據背景和前景分量構成的的混合區域可以說是失真區域。該混合區域還進一步分成被覆蓋的背景區域和未被覆蓋的背景區域。
被覆蓋的背景區域是沿該前景的前進方向、與最前面部分相互對準的混合區域的一部分，並且是隨時間的流逝背景分量被前景掩藏的區域。
另一方面，未被覆蓋的背景區域是沿該前景的前進方向、與後面部分相互對準的混合區域的一部分，並且是隨時間的流逝背景分量自己出現的區域。
包括前景區域、背景區域、被覆蓋的背景區域或未被覆蓋的背景區域的圖像作為輸入圖像輸入到區域指定單元103、混合比計算單元104和前景/背景分離單元105。
圖15說明上述的背景區域、前景區域、混合區域、被覆蓋的背景區域和未被覆蓋的背景區域。關於圖14所示的圖像，背景區域為靜止部分，前景區域為移動部分，混合區域的被覆蓋的背景區域為圖像由背景變成前景的那部分區域，而混合區域的未被覆蓋的背景區域為圖像由前景變成背景的那部分區域。
圖16示意性地示出隨沿著時間軸方向延伸的所示像素值，在成像對應於靜止前景的物體時所獲得的圖像或成像對應於靜止背景的物體時所拍攝的圖像中，一行中的相鄰像素的像素值。作為排列在一行中的相鄰像素，選擇排列在圖像的單線上的像素是可能的。
如圖16所示，F01至F04的像素值是靜止前景的物體的像素的像素值。如圖16所示，B01至B04的像素值是靜止背景的物體的像素的像素值。
在圖16中，時間從上到下流逝。圖16的矩形上邊的位置對應於傳感器11開始將輸入光轉換成電荷的時間，而圖16的矩形下邊的位置對應於傳感器11結束將輸入光轉換成電荷的時間。即從圖16的矩形上邊到下邊的距離對應於快門時間。
在下面的描述中，假設快門時間等於幀間隔。
圖16的橫向對應於空間方向X，參考圖14進行解釋。更具體地說，從圖16中的矩形「F01」的左邊到矩形「B04」的右邊的距離是像素間距的八倍，即八個相鄰像素的跨度。
如果前景和背景物體是靜止的，那麼輸入到傳感器11的光在對應於快門時間的時間期間不改變。
對應於快門時間的時間跨度被分開成兩個或多個相等的時間間隔。例如，如果實際分開的時間間隔數是四，則圖16的圖表可以表示成圖17的圖表。實際分開的時間間隔數關聯於例如對應於前景的物體的快門時間的移動量v進行設置。例如，如果該移動量v為四，則實際分開的時間間隔數為4，與將對應於快門時間的時間跨度分開成四相一致。
該附圖中的最頂行對應於自快門打開時間以來的第一分開時間間隔。第二行對應於自快門打開時間以來的第二分開時間間隔。第三行對應於自快門打開時間以來的第三分開時間間隔，而第四行對應於自快門打開時間以來的第四分開時間間隔。
在這以後，關聯於移動量v的快門時間分開也被稱為快門時間/v。
當對應於前景的物體處於靜止狀態時，輸入傳感器11的光不改變。因此前景分量F01/v等於像素值F01除以實際分開的時間間隔數。類似地，當對應於前景的物體處於靜止狀態時，前景分量F02/v等於像素值F02除以實際分開的時間間隔數，而前景分量F03/v等於像素值F03除以實際分開的時間間隔數，前景分量F04/v等於像素值F04除以實際分開的時間間隔數。
當對應於背景的物體處於靜止狀態時，輸入傳感器11的光不改變。因此背景分量B01/v等於像素值B01除以實際分開的時間間隔數。類似地，當對應於背景的物體處於靜止狀態時，背景分量B02/v等於像素值B02除以實際分開的時間間隔數，而背景分量B03/v等於像素值B03除以實際分開的時間間隔數，背景分量B04/v等於像素值B04除以實際分開的時間間隔數。
即，當對應於前景的物體處於靜止狀態時，在對應於快門時間的時間期間，輸入傳感器11的、對應於前景的光保持不變。因此對應於從快門打開起的快門時間/v的第一前景分量F01/v、對應於從快門打開起的快門時間/v的第二前景分量F02/v、對應於從快門打開起的快門時間/v的第三前景分量F03/v和對應於從快門打開起的快門時間/v的第四前景分量F04/v是等值的。上述關於F01/v成立的描述也對F02/v值F04/v成立。
當對應於背景的物體處於靜止狀態時，在對應於快門時間的時間期間，輸入傳感器11的、對應於背景物體的光保持不變。因此對應於從快門打開起的快門時間/v的第一背景分量B01/v、對應於從快門打開起的快門時間/v的第二背景分量B02/v、對應於從快門打開起的快門時間/v的第三背景分量B03/v和對應於從快門打開起的快門時間/v的第四背景分量B04/v是等值的。上述關於B01/v成立的描述也對B02/v值B04/v成立。
在下面的描述中，假設對應於前景的物體正在移動，而對應於背景的物體處於靜止狀態。
圖18示意性地示出在對應於前景的物體正在附圖中向右移動時，排列在包括被覆蓋的背景區域的一條線上的像素的像素值，被示出的像素值隨時間軸方向延伸。在圖18中，前景的移動量v為4。由於一幀是一短時期，因此可以假設對應於前景的物體是剛體，並且正在勻速移動。在圖18中，移動對應於前景的物體的圖像，以使得在緊接前面的基準幀的幀中向右顯示四個像素。
在圖18中，最左邊至從左起第四像素屬於前景區域。在圖18中，左起第五至左起第七像素屬於是被覆蓋的背景區域的混合區域。在圖18中，最右邊的像素屬於背景區域。
由於移動對應於前景的物體以隱藏對應於背景的物體，因此隨著時間的流逝，包含屬於被覆蓋的背景區域的像素的像素值中的分量在對應於快門時間的時間間隔的某個時間點，從背景分量圖像切換到前景分量圖像。
例如，在圖18中用粗線框顯示出的像素值M由方程(11)代表M＝B02/v+B02/v+F07/v+F06/v(11)例如，在圖18中用粗線框顯示出的像素值M包含對應於一個快門時間/v的背景分量和對應於三個快門時間/v的前景分量，左起第五像素的混合比α為1/4。左起第六像素包含對應於兩個快門時間/v的背景分量和對應於兩個快門時間/v的前景分量，因此混合比α為1/2。左起第七像素包含對應於三個快門時間/v的背景分量和對應於一個快門時間/v的前景分量，因此混合比α為3/4。
由於對應於前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的左起第四像素的、關於自快門打開時間起的第一快門時間/v的第一前景分量F07/v，等於圖18中的左起第五像素的、對應於自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F07/v等於圖18中的左起第六像素的、對應於自快門打開時間起的第三快門時間/v的前景分量，以及等於圖18中的左起第七像素的、對應於自快門打開時間起的第四快門時間/v的前景分量。
由於對應於前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的左起第三像素的、關於自快門打開時間起的第一快門時間/v的第一前景分量F06/v，等於圖18中的左起第四像素的、對應於自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F06/v等於圖18中的左起第五像素的、對應於自快門打開時間起的第三快門時間/v的前景分量，以及等於圖18中的左起第六像素的、對應於自快門打開時間起的第四快門時間/v的前景分量。
由於對應於前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的左起第二像素的、關於自快門打開時間起的第一快門時間/v的第一前景分量F05/v，等於圖18中的左起第四像素的、對應於自快門打開時間起的第二快門時間/v的第三前景分量。類似地，前景分量F05/v等於圖18中的左起第四像素的、對應於自快門打開時間起的第三快門時間/v的前景分量，以及等於圖18中的左起第五像素的、對應於自快門打開時間起的第四快門時間/v的前景分量。
由於對應於前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的最左邊的像素的、關於自快門打開時間起的第一快門時間/v的第一前景分量F04/v，等於圖18中的左起第二像素的、對應於自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F04/v等於圖18中的左起第三像素的、對應於自快門打開時間起的第三快門時間/v的前景分量，以及等於圖18中的左起第四像素的、對應於自快門打開時間起的第四快門時間/v的前景分量。
因此對應於該移動物體的前景區域包含移動模糊，並且可以被說成失真區域。
圖19示意性地示出在前景正在附圖中向右移動的情況下，在包括未被覆蓋的背景區域的一條線上的像素的像素值，被示出的像素值隨時間軸方向延伸。在圖19中，前景的移動量v為4。由於一幀是一短時期，因此可以假設對應於前景的物體是剛體，並且正在勻速移動。在圖19中，移動對應於前景的物體的圖像，以使得在緊接前面幀的幀中向右顯示四個像素。
在圖19中，最左邊至從左起第四像素屬於背景區域。在圖19中，左起第五至左起第七像素屬於是被覆蓋的背景區域的混合區域。在圖19中，最右邊的像素屬於背景區域。
由於移動了對應於前景的物體，該前景隱藏了對應於背景的物體，因而使得從在對應於背景的物體的前面一個位置上移動該對應於前景的物體，隨著時間的流逝，包含在屬於被覆蓋的背景區域的像素的像素值中的分量在對應於快門時間的時間間隔的某個時間點上，被從背景分量圖像切換到前景分量圖像。
例如，在圖19中用粗線框顯示出的像素值M由方程(12)代表M′＝F02/v+F01/v+B26/v+B26/v (12)例如，左起第五像素包含對應於三個快門時間/v的背景分量和對應於一個快門時間/v的前景分量，左起第五像素的混合比α為3/4。左起第六像素包含對應於兩個快門時間/v的背景分量和對應於兩個快門時間/v的前景分量，因此混合比α為1/2。左起第七像素包含對應於一個快門時間/v的背景分量和對應於三個快門時間/v的前景分量，因此混合比α為1/4。
如果推廣方程(11)、(12)，像素值M可以用下列方程(13)表示M=B+iFi/v]]>式中α為混合比，B為背景的像素值，而Fi/v為前景分量。
由於對應於前景的物體是剛體，並且可以假設以移動量4勻速移動，因此圖19中的左起第五像素的、關於自快門打開時間起的第一快門時間/v的第一前景分量F01/v，等於圖19中的左起第六像素的、對應於自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F01/v等於圖19中的左起第七像素的、對應於自快門打開時間起的第三快門時間/v的前景分量，以及等於圖19中的左起第八像素的、對應於自快門打開時間起的第四快門時間/v的前景分量。
由於對應於前景的物體是剛體，並且可以假設以移動量4勻速移動，因此圖19中的左起第六像素的、關於自快門打開時間起的第一快門時間/v的第一前景分量F02/v，等於圖19中的左起第七像素的、對應於自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F02/v等於圖19中的左起第八像素的、對應於自快門打開時間起的第三快門時間/v的前景分量。
由於對應於前景的物體是剛體，並且可以假設以移動量4勻速移動，因此圖19中的左起第七像素的、關於自快門打開時間起的第一快門時間/v的第一前景分量F03/v，等於圖19中的左起第八像素的、對應於自快門打開時間起的第二快門時間/v的第二前景分量。
雖然在參考圖17和19的描述中實際分開的時間間隔數為四，但實際分開的時間間隔數對應於移動量v。一般來說，移動量v對應於與前景對應的物體的移動速度。例如，如果對應於前景的物體正在移動使得在緊接著前面的基準幀的幀中向右顯示四個像素，則移動量v為4。與移動量v關聯起來設置實際分開的時間間隔數為4。類似地，如果對應於前景的物體正在移動使得在緊接著前面的基準幀的幀中向右顯示六個像素，則移動量v為6，與實際分開的時間間隔數為六一致。
圖20和21示出前景區域、背景區域和混合區域之間的關係，其中混合區域一方面包括被覆蓋的背景區域和未被覆蓋的背景區域，另一方面又包括對應於分開的快門時間的前景和背景分量，如上所述。
圖20示出一象從對應於在靜止背景前移動的物體的圖像中提取那樣，提取前景區域、背景區域和混合區域的像素的示例。在圖20所示的實施例中，對應於前景的物體關於該圖像水平地移動。
幀#n+1是緊接著幀#n的幀，而幀#n+2是緊接著幀#n+1的幀。
圖21示意性地示出在提取前景區域、背景區域和混合區域的像素，而這些區域由是以移動量v為4依次從幀#n至#n+2之一中提取時，和在沿時間軸方向擴展所提取像素的像素值時所獲得的模型。
由於移動了對應於前景的物體，因此前景區域的像素值由對應於快門時間/v周期的四個不同前景分量構成。例如，圖21所示的前景區域的像素的最左邊一個是F01/v、F02/v、F03/v和F04/v。即前景區域的像素包容因移動模糊而破壞。
由於對應於背景的物體處於靜止狀態，對應於輸入到傳感器11的背景的光在對應於快門時間的時間期間不改變。在這種情況下，背景的像素值不受移動模糊的影響。
屬於由被覆蓋的背景區域或未被覆蓋的區域組成的混合區域的像素值或像素包括前景和背景分量。
解釋包括多幀中的一行中的相鄰像素的模型，在其中處於一幀的同一位置的像素的像素值隨著移動對應於一物體的圖像，在時間軸方向延伸。例如，如果對應於該物體的圖像正在水平地相對該圖像移動，則排列在該圖像上的同一行中的像素可以被選擇為以圖像中的一行中的像素。
圖22示意性地示出在臨時擴展排列在對應於靜止背景的被拍攝的物體的圖像的三個幀的每一個的一行中的像素的像素值時所獲得的模型，其中被擴展的像素位於各個幀中的同一位置。幀#n是緊接著幀#n·1的幀，而幀#n+1是緊接著幀#n的幀。其餘的幀以類似方式命名。
圖22所示的B01至B02的像素值是對應於靜止背景的物體的像素的像素值。由於對應於該背景的物體處於靜止狀態，因此在幀#n·1至#n+1中的對應像素的像素值不改變。例如，在幀#n·1中對應於具有B05像素值的像素的位置的、幀#n中的像素和幀#n+1中的像素是B05的像素值。
圖23示出對應於在圖23中向右移動的前景的物體的被拍攝的圖像的三個幀的每一個的一行中相鄰像素的像素值，連同對應於靜止背景的物體，其中被示出的像素值沿時間軸方向擴展。顯示在圖23的模型包括一被覆蓋的背景區域。
在圖23中，對應於前景的物體是剛體，並且可以假設隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素。因此，該前景的移動量v為4，與實際分開的時間間隔數是4一致。
例如，圖23中的幀#n·1的最左邊的像素的前景分量，關於自快門打開起的第一快門時間/v，為F12/v，而左起第二像素的前景分量，關於自快門打開起的第二快門時間/v，也為F12/v。圖23中的左起第三像素的前景分量，關於自快門打開起的第三快門時間/v，以及圖23中的左起第四像素的前景分量，關於自快門打開起的第四快門時間/v都為F12/v。
例如，圖23中的幀#n·1的最左邊的像素的前景分量，關於自快門打開起的第二快門時間/v，為F11/v，而左起第二像素的前景分量，關於自快門打開起的第三快門時間/v，也為F11/v。圖23中的左起第三像素的前景分量，關於自快門打開起的第四快門時間/v為F11/v。
圖23中的幀#n·1的最左邊的像素的前景分量，關於自快門打開起的第三快門時間/v，為F10/v，而左起第二像素的前景分量，關於自快門打開起的第四快門時間/v，也為F10/v。圖23中的最左邊的前景分量，關於自快門打開起的第四快門時間/v為F09/v。
由於對應於該背景的物體處於靜止狀態，因此圖23中的幀#n·1的左起第二像素的背景分量，關於自快門打開起的第一快門時間/v，為B01/v。圖23中的幀#n·1的左起第三像素的背景分量，關於自快門打開起的第一和二快門時間/v，是B02/v，而圖23中的幀#n·1的左起第四像素的背景分量，關於自快門打開起的第一至第三快門時間/v為B03/v。
在圖23的幀#n·1中，最左邊的像素屬於前景區域，而左起第二至第四像素屬於為被覆蓋的背景區域的混合區域。
圖23中的幀#n·1的左起第五至第十二像素屬於背景區域，對應的像素值分別為B04至B11。
圖23中幀#n·1的第一至第五像素屬於背景區域。幀#n的前景區域中的前景分量，關於快門時間/v為F05/v至F12/v之一。
由於對應於前景的物體是剛體，並且可以假設隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖23中的幀#n的左起第五像素的前景分量，關於自快門打開起的第一快門時間/v，為F12/v，而左起第六像素的前景分量，關於自快門打開起的第二快門時間/v，也為F12/v。圖23中的左起第七像素的前景分量，關於自快門打開起的第三快門時間/v，以及圖23中的左起第八像素的前景分量，關於自快門打開起的第四快門時間/v都為F12/v。
在圖23中的幀#n的左起第五像素的前景分量，關於自快門打開起的第二快門時間/v，為F11/v，而左起第六像素的前景分量，關於自快門打開起的第三快門時間/v，也為F11/v。圖23中的左起第七像素的前景分量，關於自快門打開起的第四快門時間/v為F11/v。
在圖23中的幀#n的左起第五像素的前景分量，關於自快門打開起的第三快門時間/v，為F10/v，而左起第六像素的前景分量，關於自快門打開起的第四快門時間/v，也為F10/v。在圖23中的左起第五像素的前景分量，關於自快門打開起的第四快門時間/v為F09/v。
由於對應於該背景的物體處於靜止狀態，因此圖23中的幀#n的左起第六像素的背景分量，關於自快門打開起的第一快門時間/v，為B05/v。圖23中的幀#n的左起第七像素的背景分量，關於自快門打開起的第一和二快門時間/v，是B06/v，而圖23中的幀#n的左起第八像素的背景分量，關於自快門打開起的第一至第三快門時間/v為B07/v。
在圖23的幀#n·1中，左起第一至第九像素屬於前景區域，而左起第六至第八像素屬於為被覆蓋的背景區域的混合區域。
圖23中的幀#n+1的左起第一至第九至第十二像素屬於前景區域，像素值分別為B08至B11。
圖23中幀#n+1的第一至第九像素屬於前景區域。幀#n+1的前景區域中的前景分量，關於快門時間/v為F01/v至F12/v之一。
由於對應於前景的物體是剛體，並且可以假設隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖23中的幀#n+1的左起第九像素的前景分量，關於自快門打開起的第一快門時間/v，為F12/v，而左起第十像素的前景分量，關於自快門打開起的第二快門時間/v，也為F12/v。圖23中的左起第十一像素的前景分量，關於自快門打開起的第三快門時間/v，以及圖23中的左起第十二像素的前景分量，關於自快門打開起的第四快門時間/v都為F12/v。
在圖23中的幀#n+1的左起第九像素的前景分量，關於自快門打開起的第二快門時間/v，為F11/v，而左起第十像素的前景分量，關於自快門打開起的第三快門時間/v，也為F11/v。圖23中的左起第十一像素的前景分量，關於自快門打開起的第四快門時間/v為F11/v。
在圖23中的幀#n+1的左起第九像素的前景分量，關於自快門打開起的第三快門時間/v，為F10/v，而左起第十像素的前景分量，關於自快門打開起的第四快門時間/v，也為F10/v。在圖23中的幀n+1的左起第九像素的前景分量，關於自快門打開起的第四快門時間/v為F09/v。
由於對應於該背景的物體處於靜止狀態，因此圖23中的幀#n+1的左起第十像素的背景分量，關於自快門打開起的第一快門時間/v，為B09/v。圖23中的幀#n+1的左起第十一像素的背景分量，關於自快門打開起的第一和二快門時間/v，是B10/v，而圖23中的幀#n+1的左起第十二像素的背景分量，關於自快門打開起的第一至三快門時間/v為B11/v。
在圖23的幀#n+1中，左起第十至十二對應於為被覆蓋的背景區域的混合區域。
圖24示意性地示出在從圖23所示的像素值中提取前景分量時所獲得的圖像。
圖25示出對應於在附圖中向右移動的前景的被拍攝的圖像的三個幀的每一個的一行中的相鄰像素，連同該靜止背景。在圖25中也示出了未被覆蓋的背景區域。
在圖25中，對應於前景的物體是剛體，並且可以假設隨著該前景圖像被移動而以勻速移動，以使得該前景圖像在下一幀中向右顯示四個像素。因此，該前景的移動量v為4。
例如，圖25中的幀#n·1的最左邊的像素的前景分量，關於自快門打開起的第一快門時間/v，為F13/v，而左起第二像素的前景分量，關於自快門打開起的第二快門時間/v，也為F13/v。圖23中的左起第三像素的前景分量，關於自快門打開起的第二快門時間/v，以及圖25中的左起第四像素的前景分量，關於自快門打開起的第四快門時間/v都為F13/v。
例如，圖23中的幀#n·1的左起第二像素的前景分量，關於自快門打開起的第一快門時間/v，為F14/v，而左起第三像素的前景分量，關於自快門打開起的第二快門時間/v，也為F14/v。圖25中的左起第三像素的前景分量，關於自快門打開起的第一快門時間/v為F15/v。
由於對應於該背景的物體處於靜止狀態，因此圖25中的幀#n·1的最左邊的像素的背景分量，關於自快門打開起的第二至第四快門時間/v，為B01/v。圖25中的幀#n·1的左起第二像素的背景分量，關於自快門打開起的第三和第四快門時間/v，是B26/v，而圖25中的幀#n·1的左起第三像素的背景分量，關於自快門打開起的第四快門時間/v為B27/v。
在圖25的幀#n·1中，左起第一至第三像素屬於為被覆蓋的背景區域的混合區域。
圖25中的幀#n·1的左起第四至第十二像素屬於前景區域，而該幀的前景的前景分量為F13/v至F24/v之一。
圖25中幀#n的第一至第四像素屬於背景區域，像素值分別為B25至B28。
由於對應於前景的物體是剛體，並且可以假設隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖23中的幀#n的左起第五像素的前景分量，關於自快門打開起的第一快門時間/v，為F13/v，而左起第六像素的前景分量，關於自快門打開起的第二快門時間/v，也為F13/v。圖25中的左起第七像素的前景分量，關於自快門打開起的第三快門時間/v，以及圖25中的左起第八像素的前景分量，關於自快門打開起的第四快門時間/v都為F13/v。
在圖25中的幀#n的左起第六像素的前景分量，關於自快門打開起的第一快門時間/v，為F14/v，而左起第七像素的前景分量，關於自快門打開起的第二快門時間/v，也為F14/v。圖25中的左起第八像素的前景分量，關於自快門打開起的第一快門時間/v為F15/v。
由於對應於該背景的物體處於靜止狀態，因此圖25中的幀#n的左起第五像素的背景分量，關於自快門打開起的第二至第四快門時間/v，為B29/v。圖25中的幀#n的左起第六像素的背景分量，關於自快門打開起的第三和第四快門時間/v，是B30/v，而圖23中的幀#n的左起第七像素的背景分量，關於自快門打開起的第四快門時間/v為B31/v。
在圖25的幀#n中，左起第一至第九像素屬於前景區域，而左起第五至第七像素屬於為被覆蓋的背景區域的混合區域。
圖25中的幀#n+1的左起第八至第十二像素屬於前景區域，像素值分別為B25至B32。
圖25中的幀#n+1的第一至第八像素屬於背景區域，像素值分別為B25至B32。
由於對應於前景的物體是剛體，並且可以假設隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖25中的幀#n+1的左起第九像素的前景分量，關於自快門打開起的第一快門時間/v，為F13/v，而左起第十像素的前景分量，關於自快門打開起的第二快門時間/v，也為F13/v。圖25中的左起第十一像素的前景分量，關於自快門打開起的第三快門時間/v，以及圖25中的左起第十二像素的前景分量，關於自快門打開起的第四快門時間/v都為F13/v。
在圖25中的幀#n+1的左起第十像素的前景分量，關於自快門打開起的第一快門時間/v，為F14/v，而左起第十一像素的前景分量，關於自快門打開起的第二快門時間/v，也為F14/v。圖25中的左起第十二像素的前景分量，關於自快門打開起的第一快門時間/v為F15/v。
由於對應於該背景的物體處於靜止狀態，因此圖25中的幀#n+1的左起第九像素的背景分量，關於自快門打開起的第二至四快門時間/v，為B33/v。圖25中的幀#n+1的左起第十像素的背景分量，關於自快門打開起的第三和第四快門時間/v，是B34/v，而圖25中的幀#n+1的左起第十一像素的背景分量，關於自快門打開起的第四快門時間/v為B35/v。
在圖25的幀#n+1中，左起第九至第十一像素對應於為被覆蓋的背景區域的混合區域。
在圖25中，幀#n+1的左起第十二像素屬於前景區域。幀#n+1的前景區域中的關於快門時間/v的前景分量為F13/v至F16/v之一。
圖26示意性地示出在從圖25所示的像素值中提取前景分量時獲得的圖像。
回到圖10，區域指定單元103利用多個幀的像素值，逐個像素地關聯一指示已知圖像屬於前景區域、背景區域、被覆蓋的背景區域或未被覆蓋的背景區域的標誌，並且將產生的區域信息傳遞給混合比計算單元104和移動模糊調整單元106。
基於該多幀的像素值和該區域信息，混合比計算單元104為每個包含在混合區域的像素計算混合比α，並將計算出的混合比α發送到前景/背景分離單元105。
基於該多幀的像素值、該區域信息和混合比α，前景/背景分離單元105提取僅由前景分量構成的前景分量圖像，以將所提取的分量圖像發送到移動模糊調整單元106。
基於從前景/背景分離單元105發送來的前景分量圖像、從移動檢測單元102發送的移動向量和從區域指定單元103發送來的區域信息，移動模糊調整單元106調整包含在該前景分量圖像中的移動模糊量、以輸出關於移動模糊進行了調整的前景分量圖像。
參考圖27的流程，解釋調整由信號處理器12引起的移動模糊的處理。在步驟S101，區域指定單元103執行區域指定處理，用於從輸入圖像的一個像素到另一個像素地產生指示前景區域、背景區域、被覆蓋的背景區域或未被覆蓋的背景區域中那一個屬於輸入的圖像的像素的區域信息。該區域指定處理將在後面參考圖36的流程進行解釋。區域指定單元103發送所產生的區域信息到混合比計算單元104。
同時，在步驟S101的區域指定單元103可以從輸入圖像的一個像素到另一個像素地、基於輸入圖像產生指示前景區域、背景區域或混合區域中那一個屬於輸入的圖像的像素的區域信息。在這種情況下，在被覆蓋的背景區域和未被覆蓋的背景區域之間沒有區別。在這種情況下，前景/背景分離單元105和移動模糊調整單元106基於移動向量的方向，判定混合區域是被覆蓋的背景區域還是未被覆蓋的背景區域。例如，如果前景區域、混合區域和背景區域以與該移動向量的方向關聯的形式順序排列，則將該混合區域驗證為被覆蓋的背景區域，反之，如果背景區域、混合區域和前景區域以與該移動向量的關聯方向的形式順序排列，則將該混合區域驗證為未被覆蓋的背景區域。
在步驟S102，混合比計算單元104基於輸入的圖像和區域信息，從包含在彼此混合區域的一個像素中計算混合比α。後面將參考圖46的流程詳細解釋計算該混合比的處理。混合比計算單元104發送所計算出的混合比α到前景/背景分離單元105。
在步驟S103，基於移動向量和區域信息，前景/背景分離單元105從輸入的圖像中提取前景分量，以將所提取的分量作為前景分量圖像發送到移動模糊調整單元106。
在步驟S104，移動模糊調整單元106產生處理單元，用於基於該移動向量和區域信息，在未被覆蓋的背景區域、前景區域和被覆蓋的背景區域中的每一個的移動方向上相鄰地排列的像素圖像上指示一個位置，以調整包含在對應於該處理單元的前景分量中的移動模糊量。後面將參考圖63的流程解釋用於調整該移動模糊量的該處理。
在步驟S105，信號處理器12驗證該處理對整個圖像來說是否已經完成。如果信號處理器12已經驗證該處理對整個圖像來說還沒有完成，則轉到步驟S104以重複調整包含在對應於該處理單元的前景分量中的移動模糊量的處理。
如果在步驟S106驗證該處理對整個圖像來說已經完成，則終止該處理。
按這種方式，信號處理器12能夠互相分開前景和背景，以調整包含在前景分量中的移動模糊量。即，信號處理器12能夠調整包含在作為該前景像素的像素值的採樣數據中的移動模糊量。
在下面，將解釋區域指定單元103、混合比計算單元104、前景/背景分離單元105和移動模糊調整單元106的說明性結構。
圖28是一方框圖，示出區域指定單元103的說明性結構。幀存儲器121以幀為基礎存儲輸入圖像。當正在處理的幀為幀#n時，幀存儲器121存儲幀#n·2作為幀#n的前兩幀的幀，存儲#n·1作為幀#n的前一幀的幀，存儲#n+1作為幀#n的後一幀的幀，以及存儲幀#n+2作為幀#n的後兩幀的幀。
靜止/移動判別單元122-1從幀存儲器121讀出位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n+2的像素的像素值，以及位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n+1的像素的像素值，以計算被讀出的像素值的差的絕對值。靜止/移動判別單元122-1驗證幀#n+2和幀#n+1的像素值之間的差的絕對值是否大於一預定閾值Th。如果驗證該差的絕對值大於該閾值Th，則靜止/移動判別單元122-1傳遞指定移動判定的靜止/移動判定傳遞到區域判定單元123-1。如果驗證幀#n+2的像素值和幀#n+1的像素值之間的差的絕對值不大於該預定閾值Th，則靜止/移動判別單元122-1將指定靜止判定的靜止/移動判定傳遞到區域判定單元123-1。
靜止/移動判別單元122-2從幀存儲器121讀出位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n+1的像素的像素值，以及位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n+1的像素的像素值，以計算被讀出的像素值的差的絕對值。靜止/移動判別單元122-2驗證幀#n+1和幀#n的像素值之間的差的絕對值是否大於一預定閾值Th。如果驗證該差的絕對值大於該閾值Th，則靜止/移動判別單元122-2傳遞指定移動判定的靜止/移動判定傳遞到區域判定單元123-1和區域判定單元123-2。如果驗證幀#n+1的像素值和幀#n的像素值之間的差的絕對值不大於該預定閾值Th，則靜止/移動判別單元122-1將指定靜止判定的靜止/移動判定傳遞到區域判定單元123-1和區域判定單元123-2。
靜止/移動判別單元122-3從幀存儲器121讀出位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n的像素的像素值，以及位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n·1的像素的像素值，以計算被讀出的像素值的差的絕對值。靜止/移動判別單元122-3驗證幀#n和幀#n·1的像素值之間的差的絕對值是否大於一預定閾值Th。如果驗證該差的絕對值大於該閾值Th，則靜止/移動判別單元122-3傳遞指定移動判定的靜止/移動判定傳遞到區域判定單元123-1和區域判定單元123-3。如果驗證幀#n的像素值和幀#n·1的像素值之間的差的絕對值不大於該預定閾值Th，則靜止/移動判別單元122-3將指定靜止判定的靜止/移動判定傳遞到區域判定單元123-2和區域判定單元123-3。
靜止/移動判別單元122-4讀出位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n·1的像素的像素值，以及位於和是被指定區域的幀#n的像素圖像上的位置同樣的位置處的幀#n·2的像素的像素值，以計算像素值的差的絕對值。靜止/移動判別單元122-4驗證幀#n·1和幀#n·2的像素值之間的差的絕對值是否大於一預定閾值Th。如果驗證幀#n·1的像素值和幀#n·2的像素值之間的差的絕對值不大於該預定閾值Th，則傳遞指示移動判定的靜止/移動判定傳遞到區域判定單元123-3。如果驗證幀#n·1的像素值和幀#n·2的像素值之間的差的絕對值不大於該預定閾值Th，則靜止/移動判別單元122-4將指示靜止判定的靜止/移動判定傳遞到區域判定單元123-3。
如果從靜止/移動判別單元122-1傳遞來的靜止/移動判定指示靜止，而從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示移動，那麼區域判定單元123-1判定被指定的區域的幀#n上的像素屬於未被覆蓋的背景區域，並在關聯於被指定區域的像素的未被覆蓋的背景區域判定標誌中設置「1」，用於指示該像素屬於該未被覆蓋的背景區域。
如果從靜止/移動判別單元122-1傳遞來的靜止/移動判定指示移動，而從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示靜止，那麼區域判定單元123-1判定被指定的區域的幀#n上的像素不屬於未被覆蓋的背景區域，並在關聯於被指定區域的像素的未被覆蓋的背景區域判定標誌中設置「0」，用於指示該像素不屬於該未被覆蓋的背景區域。
區域判定單元123-1以這種方式將具有「1」或「0」的未被覆蓋的背景區域判定標誌傳遞到判定標誌貯存存儲器124。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示靜止，而從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示靜止，那麼區域判定單元123-2判定被指定的區域的幀#n上的像素屬於該靜止區域，並在關聯於被指定區域的像素的靜止區域判定標誌中設置「1」，用於指示該像素屬於該未被覆蓋的背景區域。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示移動，或者從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示移動，那麼區域判定單元123-2判定被指定的區域的幀#n上的像素不屬於該靜止區域，並在關聯於被指定區域的像素的靜止區域判定標誌中設置「0」，用於指示該像素不屬於該靜止區域。
區域判定單元123-2將具有在其中設置「1」或「0」的靜止區域判定標誌傳遞到判定標誌貯存存儲器124。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示移動，並且從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示移動，那麼區域判定單元123-2判定被指定的區域的幀#n上的像素屬於該移動區域，並在關聯於被指定區域的像素的移動區域判定標誌中設置「1」，用於指示該像素屬於該移動區域。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示靜止，或者從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示靜止，那麼區域判定單元123-2判定被指定的區域的幀#n上的像素不屬於該移動區域，並在關聯於被指定區域的像素的移動區域判定標誌中設置「0」，用於指示該像素不屬於該移動區域。
區域判定單元123-2將具有在其中設置「1」或「0」的移動區域判定標誌傳遞到判定標誌貯存存儲器124。
如果從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示移動，而從靜止/移動判別單元122-4傳遞來的靜止/移動判定指示靜止，那麼區域判定單元123-3判定被指定的區域的幀#n上的像素屬於該未被覆蓋的背景區域，並在關聯於被指定區域的像素的被覆蓋的背景區域判定標誌中設置「1」，用於指示該像素屬於該被覆蓋的背景區域。
如果從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示靜止，或者從靜止/移動判別單元122-4傳遞來的靜止/移動判定指示靜止，那麼區域判定單元123-3判定被指定的區域的幀#n上的像素屬於不該被覆蓋的背景區域，並在關聯於被指定區域的像素的被覆蓋的背景區域判定標誌中設置「0」，用於指示該像素不屬於該被覆蓋的背景區域。
區域判定單元123-2將具有在其中設置「1」或「0」的被覆蓋的背景區域判定標誌傳遞到被覆蓋的背景區域的判定標誌貯存存儲器124。
判定標誌貯存存儲器124存儲從區域判定單元123-1發送來的未被覆蓋的背景區域判定標誌、從區域判定單元123-2發送來的靜止區域判定標誌、從區域判定單元123-2發送來的移動區域判定標誌和從區域判定單元123-3發送來的未被覆蓋的背景區域判定標誌。
判定標誌貯存存儲器124發送未被覆蓋的背景區域判定標誌、靜止區域判定標誌、移動區域判定標誌和被覆蓋的背景區域判定標誌到合成單元125。基於判定標誌貯存存儲器124供給的未被覆蓋的背景區域判定標誌、靜止區域判定標誌、移動區域判定標誌和被覆蓋的背景區域判定標誌，該合成單元產生一指示各個像素屬於未被覆蓋的背景區域、靜止區域、移動區域和被覆蓋的背景區域中的那一個的區域信息，並將該信息傳遞到判定標誌貯存幀存儲器126。
判定標誌貯存幀存儲器126存儲從合成單元125供給的區域信息，同時輸出存儲在其中的區域信息。
參考圖29至33，解釋用區域指定單元103的典型處理。
當對應於前景的物體正在移動時，對應於圖像屏幕上的物體的圖像位置一幀一幀地改變。參考圖29，對應於幀#n中位置Yn(x，y)的物體的圖像定位在下一幀#n+1中的Yn+1(x，y)。
圖30示意性地示出沿對應於前景的圖像的移動方向相互鄰接的像素行的像素值的模型。例如，如果對應於該前景的圖像的移動方向相對於圖像屏幕是水平的，則圖30的示意圖示出一模型，在其中在時間軸方向上擴展單線上的相互領接的像素的像素值。
在圖30中，幀#n中的該線與幀#n+1中的一條線相同。
在幀#n中，對應於包含在左起第二至第十三像素中的物體的前景的分量被包括在幀#n+1的左起第六至第十七像素。
屬於幀#n中的被覆蓋的背景區域的像素是左起第十一至第十三像素，而屬於未被覆蓋的背景區域的像素是左起第二至第四像素。屬於幀#n+1中的被覆蓋的背景區域的像素是左起第十五至第十七像素，而屬於未被覆蓋的背景區域的像素是左起第六至第八像素。
在圖30所示的示例中，由於幀#n中的前景分量在幀#n+1中被移動四個像素，因此移動量v為4。實際分開的時間間隔數相當於移動量並等於4。
解釋屬於被考慮的幀的前後的混合區域的像素的像素值的變化。
在圖31所示的幀#n中，該背景是靜止的而前景的移動量v為4，屬於被覆蓋的背景區域的像素是左起第十五至第十七像素。由於移動量v為4，因此在緊接著前面的幀#n·1中左起第十五至第十七像素只包含背景分量，並且屬於該背景。在更前面的幀#n·2中左起第十五至第十七像素只包含背景分量，並且屬於該背景。
由於對應於該背景的物體是靜止的，幀#n·1中的左起第十五像素的像素值不根據幀#n·2中的左起第十五像素的像素值變化。類似地，幀#n·1中的左起第十六像素的像素值不根據幀#n·2中的左起第十六像素的像素值變化，而幀#n·1中的左起第十七像素的像素值不根據幀#n·2中的左起第十七像素的像素值變化。
即，對應於屬於被覆蓋的背景區域的像素的幀#n·1和幀#n·2的像素僅僅包括背景分量，並且不改變，因此該差的絕對值實際上為0。所以關於對應於幀#n的混合區域的幀#n·1和幀#n·2的像素的靜止/移動判定像靜止狀態那樣由靜止/移動判別單元122-4產生。
由於幀#n中屬於被覆蓋的背景區域的像素包含前景分量，所以對應的像素值不同於僅由幀#n·1中的背景分量組成的像素的值。因此，屬於幀#n中的混合區域的像素和幀#n·1的對應像素通過靜止/移動判別單元122-3驗證是移動像素。
當從靜止/移動判別單元122-3供給指示移動的靜止/移動判定，以及從靜止/移動判別單元122-4供給指示靜止的靜止/移動判定時，區域判定單元123-3判定所關心的像素屬於被覆蓋的背景區域。
包含在背景是靜止的並且前景移動量v為4的幀#n中的未被覆蓋的背景區域中的像素是左起第二至第四像素。由於移動量v為4，下一幀#n+1中左起第二至第四像素只包含該背景分量並且屬於該背景區域。在往下第二幀#n+2中，左起第二至第四像素只包含該背景分量並且屬於該背景區域。
由於對應於該背景的物體是靜止的，幀#n+2中的左起第二像素的像素值不根據幀#n+1中的左起第二像素的像素值變化。類似地，幀#n+2中的左起第二像素的像素值不根據幀#n+1中的左起第二像素的像素值變化，而幀#n+2中的左起第三像素的像素值不根據幀#n+1中的左起第四像素的像素值變化。
即，對應於屬於未被覆蓋的背景區域的像素的幀#n+1和幀#n+2的像素僅僅包括背景分量，並且像素值不改變。因此該差的絕對值近似等於0。所以關於對應於幀#n的混合區域的像素的幀#n+1和幀#n+2的像素由靜止/移動判別單元122-1判定是靜止像素。
由於幀#n中屬於未被覆蓋的背景區域的像素包含前景分量，所以與僅由背景分量組成的幀#n+1中的像素的像素值不同。因此，屬於幀#n中的混合區域的像素和對應幀#n·1的像素通過靜止/移動判別單元122-2驗證是移動像素。
按這種方式，從靜止/移動判別單元122-2給區域判定單元123-1供給指示移動的結果。如果從靜止/移動判別單元122-1供給指示靜止的結果，則區域判定單元123-1判定對應的像素屬於未被覆蓋的背景區域。
圖33示出在幀#n中區域指定單元103的判定條件。當處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·2的像素和幀#n·1的像素被判定為靜止，同時處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·1的像素和幀#n的像素被判定為移動時，區域指定單元103判定正被驗證的幀#n的像素屬於被覆蓋的背景區域。
當處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·1的像素和幀#n的像素被判定為靜止，同時處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n的像素和幀#n+1的像素被判定為靜止時，區域指定單元103判定正被驗證的幀#n的像素屬於該靜止區域。
當處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·1的像素和幀#n的像素被判定為移動，同時處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n的像素和幀#n+1的像素被判定為靜止時，區域指定單元103判定正被驗證的幀#n的像素屬於該移動區域。
當處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n的像素和幀#n+1的像素被判定為移動，並且處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n+1的像素和處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n+1的像素和處於和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n+2的像素被判定為靜止時，區域指定單元103判定正被驗證的幀#n的像素屬於該未被覆蓋的背景區域。
圖34示出通過區域指定單元103的區域判定的示例。在圖34中A，以白色示出被判定屬於該被覆蓋的背景區域的像素。在圖34B中，以白色示出被判定屬於該未被覆蓋的背景區域的像素。
在圖34C中，以白色示出被判定屬於該移動區域的像素。在圖34D中，以白色示出被判定屬於該靜止區域的像素。
圖35示出代表該混合區域的區域信息，在由判定標誌貯存幀存儲器126輸出的該區域信息中，作為圖像。在圖35中，以白色示出被判定屬於被覆蓋的背景區域或未被覆蓋的背景區域即混合區域的像素。指示混合區域、由判定標誌貯存幀存儲器126輸出的區域信息，在前景區域和混合區域中指示由非紋理部分包圍的紋理部分。
參考圖36的流程，解釋通過區域指定單元103的區域識別的處理。在步驟S121，幀存儲器121獲取幀#n·2至幀#n+2，包括幀#n的圖像。
在步驟S122，靜止/移動判別單元122-3檢查處於幀#n·1和幀#n相同位置的像素是否是靜止的。如果判定該像素示靜止的，該處理過程轉移到步驟S123，在其中靜止/移動判別單元122-2檢查處於幀#n和幀#n+1相同位置的像素是否是靜止的。
如果在步驟S123判定處於幀#n和幀#n+1相同位置的像素是靜止的，則該處理過程轉移到步驟S124，在其中區域判定單元123-2在對應於正被驗證的區域中的像素的靜止區域判定標誌中設置「1」，其中該標誌用於指示該像素屬於該靜止區域。區域判定單元123-2將該靜止區域判定標誌發送到判定標誌貯存存儲器124。然後該處理過程轉移到步驟S125。
如果在步驟S122判定處於幀#n·1和幀#n相同位置的像素是移動的、或者在步驟S123中判定處於幀#n和幀#n+1相同位置的像素是移動的，那麼幀#n的像素不屬於靜止區域，因此該處理過程跳過步驟S124的處理，轉移到步驟S125。
在步驟S125，靜止/移動判別單元122-3檢查處於幀#n·1和幀#n相同位置的像素是否是移動的。如果該像素被判定是移動的，則該處理過程轉移到步驟S126，在其中靜止/移動判別單元122-2判定處於幀#n和幀#n+1相同位置的像素是否是移動的。
如果在步驟S126判定處於幀#n和幀#n+1相同位置的像素是移動的，則該處理過程轉移到步驟S127，在其中區域判定單元123-2在對應於正被驗證的區域中的像素的移動區域判定標誌中設置「1」，其中該標誌用於指示該像素屬於該移動區域。區域判定單元123-2將該移動區域判定標誌發送到判定標誌貯存存儲器124。然後該處理過程轉移到步驟S128。
如果在步驟S125判定處於幀#n·1和幀#n相同位置的像素是靜止的、或者在步驟S126中判定處於幀#n和幀#n+1相同位置的像素是靜止的，那麼幀#n的像素不屬於該移動區域，因此該處理過程跳過步驟S127的處理，轉移到步驟S128。
在步驟S128，靜止/移動判別單元122-4檢查處於幀#n·2和幀#n·1相同位置的像素是否是靜止的。如果該像素被判定是靜止的，則該處理過程轉移到步驟S129，在其中靜止/移動判別單元122-3判定處於幀#n·1和幀#n相同位置的像素是否是移動的。
如果在步驟S129判定處於幀#n·1和幀#n相同位置的像素是移動的，則該處理過程轉移到步驟S130，在其中區域判定單元123-3在對應於正被驗證的區域中的像素的被覆蓋的背景區域判定標誌中設置「1」，其中該標誌用於指示該像素屬於被覆蓋的背景區域。區域判定單元123-3將該被覆蓋的背景區域判定標誌發送到判定標誌貯存存儲器124。然後該處理過程轉移到步驟S131。
如果在步驟S128判定處於幀#n·2和幀#n·1相同位置的像素是移動的、或者在步驟S129中判定處於幀#n·1和幀#n相同位置的像素是靜止的，那麼幀#n的像素不屬於該被覆蓋的背景區域，因此該處理過程跳過步驟S130的處理，轉移到步驟S131。
在步驟S131，靜止/移動判別單元122-2檢查處於幀#n和幀#n+1相同位置的像素是否是靜止的。如果該像素被判定是移動的，則該處理過程轉移到步驟S132，在其中靜止/移動判別單元122-1判定處於幀#n+1和幀#n+2相同位置的像素是否是移動的。
如果在步驟S132判定處於幀#n+1和幀#n+2相同位置的像素是移動的，則該處理過程轉移到步驟S133，在其中區域判定單元123-1在對應於正被驗證的區域中的像素的未被覆蓋的背景區域判定標誌中設置「1」，其中該標誌用於指示該像素屬於未被覆蓋的背景區域。區域判定單元123-1將該未被覆蓋的背景區域判定標誌發送到判定標誌貯存存儲器124。然後該處理過程轉移到步驟S134。
如果在步驟S131判定處於幀#n和幀#n+1相同位置的像素是靜止的、或者在步驟S132中判定處於幀#n+1和幀#n+2相同位置的像素是移動的，那麼幀#n的像素不屬於該未被覆蓋的背景區域，因此該處理過程跳過步驟S133的處理，轉移到步驟S134。
在步驟S134，區域指定單元103檢查是否已經為幀#n的像素全體指定了區域。如果判定還沒有為幀#n的像素全體指定區域，則該處理過程返回步驟S122，以重複為其餘像素的區域指定處理。
如果在步驟S134判定已經為幀#n的像素全體指定了區域，則該處理過程轉移到步驟S135，在其中合成單元125基於存儲在判定標誌貯存存儲器124中的未被覆蓋的背景區域判定標誌和被覆蓋的背景區域的判定標誌，產生指示混合區域的區域信息，同時也產生指示每個像素屬於未被覆蓋的背景區域、靜止區域、移動區域和被覆蓋的背景區域中的哪一個的區域信息。合成單元125在判定標誌貯存幀存儲器126中設置所產生的信息，已經結束該處理。
按照這種方式，區域指定單元103能夠為每個包括在幀內的像素產生區域信息，指示所關心的像素屬於移動區域、靜止區域、被覆蓋的背景區域或者未被覆蓋的背景區域。
區域指定單元103也可以對對應於未被覆蓋的背景區域和被覆蓋的背景區域的區域信息施加邏輯和，以為每個包括在幀內的像素產生包括指示包含在該幀中的已知像素屬於移動區域、靜止區域或混合區域的標誌的區域信息。
如果關聯於該前景的物體包括紋理，則區域指定單元103能夠更精確地指定該移動區域。
區域指定單元103能夠輸出指示移動區域的區域信息作為指示前景區域的信息，或者輸出指示靜止區域的區域信息作為指示該背景區域的區域信息。
在前面假設了對應於背景的物體是靜止的。但上述區域指定處理可以應用於甚至關聯與該背景區域的圖像包含移動的情況。例如，如果對應於該背景區域的圖像均勻地移動，則區域指定單元103關聯與該移動移動整個圖像，以與對應於該背景的物體為靜止時所用的相同方式執行該處理。如果與該背景區域關聯的圖像包含對不同位置有不同的移動，那麼區域指定單元103選擇對應於該移動的像素以執行上述處理。
圖37示出一個示出混合比計算單元104的說明性結構的方框圖。被估計的混合比處理器201通過計算對應於被覆蓋的背景區域的模型、基於輸入的圖像，逐個像素地計算被估計的混合比，以傳遞所計算的被估計的混合比到混合比判定單元203。
被估計的混合比處理單元202計算通過對應於未被覆蓋的背景區域的模型的計算、基於輸入的圖像，逐個像素地計算被估計的混合比，以傳遞所計算的被估計的混合比到混合比判定單元203。
由於對應於前景的物體可以被假設在快門時間內以等速度移動，所以屬於混合區域的像素的混合比α具有下列特性即混合比α線性地相對於像素位置的變化而變化。如果像素位置的變化是一維的，那麼混合比α的變化可以表示成一平面。
由於一幀的周期很短，因此可以假設對應於前景的物體是剛體構件，並且以等速移動。
同時，混合比α的斜率與快門時間內的前景的移動量v成反比。
圖38示出理想混合比α的示例。在具有理想混合比α的混合區域中的斜率1可以表示成該移動量v的倒數。
在圖39的實施例中，利用幀#n·1中的左起第七像素的像素值P06，通過方程(14)可以將幀#n中的左起第七像素的像素值C06表示C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v---(14)]]>=2/vP06+i2Fi/v]]>在方程(14)中，像素值C06被表達成混合區域的像素的像素值M，同時像素值P06被表達成背景區域的像素的像素值B。即，混合區域的像素值M和背景的像素值B可以由方程(15)和(16)分別表示M＝C06(15)C＝αP+f (16)在方程(14)，2/v對應於混合比α。由於移動量v為4，所以幀#n中的左起第七像素的混合比α為0.5。
通過假設正在考慮的幀#n的像素值C和幀#n的緊前一幀#n·1的像素值P分別作為混合區域的像素值和背景的像素值，可以將指示混合比α的方程(13)改寫成下列方程(17)C＝αP+f (17)式中f表示包含在所考慮的像素中的前景分量的總和∑iFi/v。在方程(17)中存在兩個變量，即混合比α和前景分量的總和f。
圖40示出一模型，在該模型中在未被覆蓋的背景區域中的移動量是4，並且隨被示出的像素沿該時間軸方向擴展，沿時間軸的實際分開時間間隔數為4。
在未被覆蓋的背景區域中，通過假設正在考慮的幀#n的像素值C和緊跟幀#n的幀#n+1的像素值P分別作為混合區域的像素值和背景的像素值，像上面所討論的被覆蓋的背景區域一樣，可以將指示混合比α的方程(13)改寫成下列方程(18)
C＝αN+f (18)雖然在上述描述中假設該背景物體時靜止的，但通過使用關聯於該背景移動量v的像素的像素值，即使該背景物體時移動的，方程(14)至(18)也可以應用。例如，如果當對應於該背景的物體的移動量v為2並且實際分開的時間間隔數也為2，則對應於該背景的物體在附圖中向右移動，方程(16)中的該背景區域的像素的像素值B為像素值P04。
由於方程(17)和(18)都包含兩個變量，所以不能直接得到混合比α。應該注意到，圖像通常展示出較強的空間相關性，因此相互鄰近的像素是近似相同的像素值。
由於前景分量展示出較強的空間相關性，所以改進該方程以使得通過前景分量總和的混合比α將從前面的幀或後續的幀導出。
圖41的幀#n的左起第七像素的像素值Mc可以用下列方程(19)表示Mc=2vB06+i=1112Fi/v---(19)]]>式中右邊第一項2/v對應於混合比α。通過使用後續幀#n+1的像素值，方程(19)的右邊的第二項可以用方程(20)表示i=1112Fi/v=i=7110Fi/v---(20)]]>這裡通過使用前景分量的空間相關性，假設下列方程(21)成立F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12 (21)它可以用於改寫方程(20)為i=1112Fi/v=2vF---(22)]]>=4vF]]>結果，β可以用下列方程(23)表示成β＝22/4 (23)通常，如果假設關於混合區域的前景分量相等，如由方程(21)所示，則下列方程(24)β＝1·α (24)通過內分比、對混合區域的像素全體成立。
如果方程(24)成立，那麼方程(17)可以像方程(25)那樣展開C=N+f]]>=N+(1-)i=+V-1Fi/v---(25)]]>=N+(1-)P]]>如果方程(24)成立，那麼方程(18)可以像方程(26)那樣展開C=P+f]]>=P+(1-)i=+V-1Fi/v---(26)]]>=P+(1-)N]]>在方程(25)和(26)中，由於C、N和P是已知的像素值，因此在方程(25)和(26)中只包含一個變量，即混合比α。方程(25)和(26)中的C、N和P之間的關係示出在圖42中。應該注意到，C、N和P分別是正在考慮的幀#n的一個像素的像素值、其空間方向上的位置與被考慮的像素的位置互相對準的幀#n+1的一個像素的像素值以及其空間方向上的位置與被考慮的像素的位置互相對準的幀#n·1的一個像素的像素值。
因此，方程(25)和(26)的每一個中包含每一個變量，因而可以利用這三幀的各像素的像素值來計算混合比α。通過解方程(25)和(26)來計算校正混合比α的條件是有關於該混合區域的前景分量相等，也就是一系列兩倍於移動量x相鄰的像素的各個像素值是常數，其中的像素在靜止狀態下成像的前景的圖像物體中，並且位於與該前景的移動方向關聯的圖像物體的邊界上。
屬於被覆蓋的背景區域的像素的混合比α由方程(27)來計算，而屬於未被覆蓋的背景區域的像素的混合比α由下列方程(27)和(28)來計算α＝(C·N)/(P·N) (27)α＝(C·P)/(N·P) (28)在示出被估計的混合比處理器201的結構的方框圖43中，幀存儲器221以幀為基礎存儲輸入圖像，並饋送緊跟在被作為輸入圖像輸入的幀的一幀到幀存儲器222和混合比計算單元223。
幀存儲器222存儲以幀為基礎存儲輸入圖像並傳遞緊接著從幀存儲器221供給的下一幀的一幀到混合比計算單元223。
因此，如果幀#n+1正在被作為輸入圖像輸入到混合比計算單元223，那麼幀存儲器221傳遞幀#n到混合比計算單元223，同時幀存儲器222傳遞幀#n·1到混合比計算單元223。
混合比計算單元223通過關於正在考慮的幀#n的像素的像素值C、空間位置與所考慮的像素的空間位置互相對準的幀#n+1的像素的像素值、空間位置與所考慮的像素的空間位置互相對準的幀#n·1的像素的像素值計算方程(27)，來計算所考慮的像素的被估計的混合比。並輸出所計算出來的被估計的混合比。例如，如果該背景處於靜止狀態，則混合比計算單元223從正在考慮的幀#n的像素的像素值C、在幀中的位置與所考慮的像素的位置相同的幀#n+1的像素的像素值N、在幀中的位置與所考慮的像素的位置相同的幀#n·1的像素的像素值P，計算所考慮的像素的被估計的混合比，並輸出所計算出來的被估計的混合比。
按這種方式，被估計的混合比處理器201基於輸入圖像計算被估計的混合比，以將所計算出來的被估計的混合比傳遞到混合比判定單元203。
被估計的混合比處理單元202類似於被估計的混合比處理器201，但被估計的混合比處理器201按照方程(27)計算所考慮的像素的被估計的混合比，而被估計的混合比處理單元202按照方程(28)計算所考慮的像素的被估計的混合比，因此為了簡潔起見，省略了對應的描述。
圖44示出一由被估計的混合比處理器201計算的被估計的混合比的示例。圖44示出對於單線、關於對應於以等於11的恆定速度移動的一物體的前景的移動量v的被估計的混合比。
應該看到，被估計的混合比在該混合區域中接近線性地變化，如圖38所示。
回到圖37，混合比判定單元203基於來自區域指定單元103的區域信息設置混合比α，其中來自區域指定單元103的區域信息指示作為計算混合比α的基礎從區域指定單元103供給的像素屬於前景區域、背景區域、被覆蓋的背景區域或未被覆蓋的背景區域中的哪個。如果作為計算的基礎的像素分別屬於前景區域或屬於背景區域，則混合比判定單元203分別將混合比設置為0或1。另一方面，如果作為計算的基礎的像素屬於被覆蓋的背景區域，則混合比判定單元203將被估計的混合比處理器201供給的被估計的混合比設置為混合比α，而如果作為計算的基礎的像素屬於未被覆蓋的背景區域，則混合比判定單元203將被估計的混合比處理單元202供給的被估計的混合比設置為混合比α。混合比判定單元203輸出基於區域信息設置的該混合比α。
在示出混合比計算單元104的另一個結構的方框圖45中，選擇單元231基於從區域指定單元103供給的區域信息，將屬於被覆蓋的背景區域的像素和有關的前面和後續幀的像素傳遞到被估計的混合比處理器232。選擇單元231基於從區域指定單元103供給的區域信息，將屬於未被覆蓋的背景區域的像素和有關的前面和後續幀的像素傳遞到被估計的混合比處理器233。
被估計的混合比處理器232基於從選擇單元231輸入的像素值、通過按照方程(27)的計算，計算屬於被覆蓋的背景區域的所考慮的像素的被估計的混合比，以將計算出來的被估計的混合比傳遞到選擇單元234。
被估計的混合比處理器233基於從選擇單元231輸入的像素值、通過按照方程(28)的計算，計算屬於未被覆蓋的背景區域的所考慮的像素的被估計的混合比，以將計算出來的被估計的混合比傳遞到選擇單元234。
選擇單元234基於來自區域指定單元103的區域信息設置混合比α，其中來自區域指定單元103的區域信息指示作為計算混合比α的基礎從區域指定單元103供給的像素屬於前景區域、背景區域、被覆蓋的背景區域或未被覆蓋的背景區域中的哪個。如果作為計算的基礎的像素分別屬於前景區域或屬於背景區域，則混合比判定單元203分別將混合比設置為0或1。另一方面，如果作為計算的基礎的像素屬於被覆蓋的背景區域，則選擇單元234將被估計的混合比處理器232供給的被估計的混合比設置為混合比α，而如果作為計算的基礎的像素屬於未被覆蓋的背景區域，則將被估計的混合比處理器233供給的被估計的混合比設置為混合比α。選擇單元234輸出所選擇、並且基於區域信息設置的該混合比α。
具有圖45的改進結構的混合比計算單元104在圖像上逐個像素地計算混合比α，以輸出所計算的混合比α。
參考圖46的流程圖，解釋用於計算其結構示出在圖37中的混合比計算單元104的混合比α的處理。在步驟S151，混合比計算單元104獲取從區域指定單元103供給的區域信息。在步驟S151，混合比計算單元104獲取從區域指定單元103供給的區域信息。在步驟S152，被估計的混合比判定單元203用對應於被覆蓋的背景區域的一種模型計算被估計的混合比，以將所計算的被估計的混合比傳遞到被估計的混合比處理器201。用於計算該被估計的混合比的這種處理將在後面通過參考圖47的流程詳細進行解釋。
在步驟S153，被估計的混合比處理單元202用對應於被覆蓋的背景區域的一種模型計算被估計的混合比，以將所計算的被估計的混合比傳遞到混合比判定單元203。
在步驟S154，混合比計算單元104檢查是否已經對整個幀估計了混合比α。如果發現沒有對整個幀估計混合比α，則處理過程轉到步驟S152以執行對下一像素的、估計混合比α的處理。
如果在步驟S154判定已經對整個幀估計了混合比α，那麼該處理過程轉到步驟S155，在其中混合比判定單元203基於區域指定單元103供給的區域信息設置混合比α，並且它指示該像素屬於前景區域、背景區域、被覆蓋的背景區域或未被覆蓋的背景區域中的哪個。如果作為計算的基礎的像素分別屬於前景區域或屬於背景區域，則混合比判定單元203分別將混合比設置為0或1。另一方面，如果作為計算的基礎的像素屬於被覆蓋的背景區域，則混合比判定單元203將被估計的混合比處理器201供給的被估計的混合比設置為混合比α，而如果作為計算的基礎的像素屬於未被覆蓋的背景區域，則混合比判定單元203將被估計的混合比處理單元202供給的被估計的混合比設置為混合比α。然後結束該處理。
按這種方式，混合比計算單元104能夠基於區域指定單元103供給的區域信息和輸入圖像，將混合比α作為每個像素的特徵值進行計算。
用圖45所示的混合比計算單元104計算混合比α的處理類似於通過參考圖46的流程解釋的處理，因此不進行具體解釋。
參考圖47的流程，解釋類似於圖46的步驟S152的、用於通過對應於被覆蓋的背景區域的模型估計該混合比的處理。
在步驟S171，混合比計算單元223從幀存儲器221獲取幀#n的被考慮的像素的像素值C。
在步驟S172，混合比計算單元223從幀存儲器222獲取幀#n·1的被考慮的像素的像素值C。
在步驟S173，混合比計算單元223獲取對應於包含在輸入圖像的被考慮的像素的幀#n+1的像素值N。
在步驟S174，混合比計算單元223基於幀#n的被考慮的像素的像素值C、幀#n·1的像素的像素值P和幀#n+1的像素的像素值N，計算被估計的混合比。
在步驟S175，混合比計算單元223檢查是否已經完成了對整個幀進行計算被估計的混合比的處理。如果判定沒有完成對整個幀進行計算被估計的混合比的處理，則該處理過程轉到步驟S171，以重複為下一個像素計算被估計的混合比的處理。
如果在步驟S175認定已經完成了對整個幀進行計算被估計的混合比的處理，則結束該處理。
按這種方式，被估計的混合比處理器201能夠基於輸入圖像計算被估計的混合比。
圖46的步驟S153中通過對應於未被覆蓋的背景區域的模型估計混合比的處理類似於使用對應於未被覆蓋的背景區域的模型的方程的處理，如圖47的流程所示，因此不進行具體解釋。
同時，由於圖45所示的被估計的混合比處理器232和被估計的混合比處理器233通過執行類似於圖47的流程的處理的處理，來計算被估計的混合比，因此為了簡單，省略對應的操作。
在前面的解釋中，假設了對應於背景的物體是處於靜止狀態的。但是找到混合比α的處理也可以用於對應於背景的圖像包含移動的情況。例如，如果對應於背景區域的圖像正在勻速移動，則被估計的混合比處理器201與背景的該移動協調地移動整個圖像，以就象對應於該背景的物體處於靜止狀態一樣執行該處理。另一方面，如果對應於該背景區域的圖像包含對於一個位置與另一位置來說不同的背景移動，那麼被估計的混合比處理器201將關聯與該背景移動的像素選擇為對應於屬於混合區域的像素的像素，以執行上述處理。
圖37或45所示的混合比計算單元104的結構僅僅是說明性的。
混合比計算單元104也能夠只執行用於通過對應於被覆蓋的背景區域的模型來估計混合比的處理、以將所計算出的被估計的混合比作為混合比α輸出。在這種情況下，混合比α分別為屬於被覆蓋的背景區域的像素和屬於未被覆蓋的背景區域的像素指示前景和背景的比例。如果計算出所計算的混合比α和1的差的絕對值以將計算出的該絕對值設置為混合比α，則信號處理器12能夠得到為屬於未被覆蓋的背景區域的像素指示背景分量的比例值的混合比α。
也能夠只執行用於通過對應於未被覆蓋的背景區域的模型為全體像素來估計混合比的處理、以將所計算出的被估計的混合比作為混合比α輸出。
現在解釋前景/背景分離單元105。在示出前景/背景分離單元105的說明性結構的方框圖48中，饋送給前景/背景分離單元105的輸入圖像被施加到分離單元251、開關252和開關254。來自區域指定單元103的、指定指示被覆蓋的背景區域信息的信息和指示未被覆蓋的背景區域信息的信息的區域信息被饋送到分離單元251，而指示前景信息的區域信息和指示背景區域的區域信息被分別傳遞到開關252、開關254。
將從混合比計算單元104供給的混合比α發送到分離單元251。
分離單元251基於指示被覆蓋的背景區域信息的區域信息、指示未被覆蓋的背景區域信息的區域信息和混合比α，從輸入圖像分離前景分量，並將所分出的前景分量供給合成單元253，同時從輸入的圖像分離出背景分量以將所分出的背景分量傳遞到合成單元255。
當輸入對應於前景的像素時，基於指示前景區域的區域信息閉合開關252，以僅僅傳遞對應於包含在輸入圖像中的前景的像素到合成單元253。
當輸入對應於背景的像素時，基於指示背景區域的區域信息閉合開關254，以僅僅傳遞對應於包含在輸入圖像中的背景的像素到合成單元255。
合成單元253基於來自分離單元251對應於前景的分量以及來自開關252對應於前景的分量合成一前景分量圖像，以輸出合成的前景分量圖像。由於該前景區域和混合區域不重疊，所以合成單元253對對應於該前景的分量和對應於該前景的像素應用邏輯和處理，以合成前景分量圖像。
在用於合成前景分量圖像的處理中首先被執行的初始化處理中，合成單元253在內幀存儲器中存儲一帶有全部零像素值的圖像，以在用於合成前景分量圖像的處理中存儲(改寫)前景分量圖像。因此，在對應於背景區域的像素中，在合成單元253輸出的前景分量圖像中，0作為像素值存儲。
合成單元255基於對應於背景的、來自分離單元251的分量以及來自開關254的分量合成背景分量圖像，以輸出合成的背景分量圖像。由於該背景區域和混合區域不重疊，所以合成單元255對對應於該背景的分量和對應於該背景的像素應用邏輯和處理，以合成背景分量圖像。
在用於合成背景分量圖像的處理中首先被執行的初始化處理中，合成單元255在內幀存儲器中存儲一帶有全部零像素值的圖像，以在用於合成背景分量圖像的處理中存儲(改寫)背景分量圖像。因此，在對應於前景區域的像素中，在合成單元255輸出的背景分量圖像中，0作為像素值存儲。
圖49示出一饋送到前景/背景分離單元105的輸入圖像，以及從前景/背景分離單元105輸出的前景分量圖像和背景分量圖像。
圖49A示意性地示出顯示的圖像，而圖49B示意性地示出在沿時間軸擴展包括屬於該前景區域的像素、屬於該背景區域的像素和混合區域中的像素的單線像素時獲得一模型。
參考圖49A和49B，從前景/背景分離單元105輸出的背景圖像由包含在屬於該背景區域的像素和屬於混合區域的像素中的背景分量組成。
參考圖49A和49B，從前景/背景分離單元105輸出的前景成分圖像由包含在屬於該前景區域的像素和屬於混合區域的像素中的前景分量組成。
混合區域的像素的像素值通過前景/背景分離單元105分離成背景分量和前景分量。因此而分離出來的背景分量與屬於背景區域的像素一起構成背景分量圖像。分離出來的前景分量與屬於前景區域的像素一起構成前景分量圖像。
按這種方式，關聯於背景區域的前景分量圖像的像素的像素值設置為0，而在對應於前景區域的像素和對應於混合區域的像素中設置有意義的像素值。同樣，關聯於前景區域的背景分量圖像的像素的像素值設置為0，而在對應於背景區域的像素和對應於混合區域的像素中設置有意義的像素值。
解釋在從屬於混合區域的像素中分離前景和背景分量時通過分離單元251執行的處理。
圖50示意性地示出顯示包括對應於在附圖中從左向右移動的物體的前景的兩幀的前景和背景分量的圖像模型。在圖50的圖像模型中，由於實際分開的時間間隔是4，所以前景的移動量為4。
在幀#n中，最左邊的像素和左起第十四至第十八像素僅僅包括背景分量，並且屬於背景區域。在幀#n中，左起第二至第四像素包括背景和前景分量，並且屬於未被覆蓋的背景區域。在幀#n中，左起第十一至第十三像素包括背景和前景分量並且屬於被覆蓋的背景區域。在幀#n，左起第五至第十像素只包括前景分量並且屬於被覆蓋的背景區域。
在幀#n+1中，左起第一至第五像素和左起第十八像素僅僅包括背景分量，並且屬於背景區域。在幀#n+1中，左起第六至第八像素包括背景和前景分量，並且屬於未被覆蓋的背景區域。在幀#n+1中，左起第十五至第十七像素包括背景和前景分量並且屬於被覆蓋的背景區域。在幀#n+1，左起第九至第十四像素只包括前景分量並且屬於被覆蓋的背景區域。
圖51說明了用於從屬於被覆蓋的背景區域的像素中分離前景分量的處理。在圖51中，α1至α8代表關聯於幀#n的各個像素的混合比值。在圖51中，左起第十五至第十七像素屬於被覆蓋的背景區域。
幀#n的左起第十五的像素值C15由下列方程(29)表示C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v (29)式中，α15是幀#n左起第十五像素的混合比，P15是幀#n·1的左起第十五像素的混合比。
基於方程(29)，幀#n的第十五像素的前景分量的總和f15由方程(30)表示f15＝F09/v+F08/v+F07/v＝C15·α15·P15 (30)類似地，幀#n的左起第十六像素的前景分量的總和f16和幀#n的第十七像素的前景分量的總和f17分別由方程(31)和(32)表示f16＝C16·α16·P16(31)f17＝C17·α17·P17(32)按這種方式，包含在屬於被覆蓋的背景區域中的像素的像素值C中的前景分量fc可以由方程(33)計算fc＝C·α·P (33)圖52說明了用於從屬於未被覆蓋的背景區域的像素中分離前景分量的處理。在圖52中，α1至α18代表關聯於幀#n的各個像素的混合比值。在圖52中，左起第二至第四像素屬於未被覆蓋的背景區域。
幀#n的左起第二像素的像素值C02由下列方程(34)表示C15＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v(34)
式中，α2是幀#n的左起第二像素的混合比，N02是幀#n+1的左起第二像素的混合比。
基於方程(34)，幀#n的左起第二像素的前景分量的總和f02由方程(35)表示f02＝F01/v＝C02·α2·N02(35)類似地，幀#n的左起第三像素的前景分量的總和f03和幀#n的左起第四像素的前景分量的總和f04分別由方程(36)和(37)表示f03＝C03·α3·N03 (36)f04＝C04·α4·N04 (37)包含在屬於未被覆蓋的背景區域中的像素的像素值C中的前景分量fu由下列方程(38)計算fu＝C·α·N (38)式中，N是下一幀的對應像素的像素值。
按這種方式，分離單元251能夠基於包含在該區域信息中指示被覆蓋的背景區域的信息和指示被覆蓋的背景區域的信息以及基於像素的混合比α，從屬於混合區域的像素中分離前景分量和背景分量。
在示出適用於執行上述處理的分離單元251的說明性結構的圖53中，輸入到分離單元251的圖像被輸入到幀存儲器301，而指示被覆蓋的背景區域和未被覆蓋的背景區域的信息以及混合比α輸入到分離處理模塊302。
幀存儲器301以幀為基礎存儲輸入圖像。如果處理的物體是幀#n，則幀存儲器301存儲幀#n的緊前一幀#n·1、#n和緊跟#n的下一幀#n+1。
幀存儲器301將對應於幀#n·1、幀#n和幀#n+1的像素傳遞到分離處理模塊302。
基於指示被覆蓋的背景區域的信息和未被覆蓋的背景區域的信息以及基於混合比α，如圖51和52所示，分離處理模塊302對從幀存儲器301供給的、幀#n·1、#n和幀#n+1的對應像素的像素值執行計算，以從屬於幀#n的混合區域的像素中分離前景和背景分量，並傳遞分離出的分量到幀存儲器303。
分離處理模塊302由未被覆蓋的背景區域處理器311、被覆蓋的區域處理器312、合成單元313和合成單元314構成。
未被覆蓋的區域處理器311包括乘法器321，它將由幀存儲器301供給的幀#n+1的像素的像素值與混合比α相乘，以將產生的乘積傳遞到開關322，開關322在從幀存儲器301供給的幀#n的像素(對應於幀#n+1的像素)位於未被覆蓋的背景區域時是閉合的，以將被從乘法器321發送的混合比α乘過的像素傳遞到運算單元323和合成單元314。來自開關322的被混合比α乘過的幀#n+1的像素的像素值等於幀#n的對應的像素的像素值的背景分量。
運算單元323從幀存儲器301供給的幀#n的像素的像素值中減去開關322供給的背景分量，以得到前景分量。運算單元323傳遞屬於未被覆蓋的背景區域的幀#n的像素的前景分量到合成單元313。
被覆蓋的區域處理器312包括乘法器331它將由幀存儲器301供給的幀#n·1的像素的像素值與混合比α相乘，以將產生的乘積傳遞到開關332，開關322在從幀存儲器301供給的幀#n的像素(對應於幀#n·1的像素)位於被覆蓋的背景區域時是閉合的，以將被從乘法器331發送的混合比α乘過的像素傳遞到運算單元333和合成單元313。來自開關332的被混合比α乘過的幀#n·1的像素的像素值等於幀#n的對應的像素的像素值的背景分量。
運算單元333從幀存儲器301供給的幀#n的像素的像素值中減去開關322供給的背景分量，以得到前景分量。運算單元333傳遞屬於被覆蓋的背景區域的幀#n的像素的前景分量到合成單元313。
合成單元313將來自運算單元323的屬於未被覆蓋的背景區域的像素的前景分量合成到屬於被覆蓋的背景區域的像素的前景分量，以傳遞產生的總和到幀存儲器303。
合成單元314將來自運算單元323的屬於未被覆蓋的背景區域的像素的背景分量合成到屬於被覆蓋的背景區域的來自開關332的像素的背景分量，以傳遞產生的總和到幀存儲器303。
幀存儲器303存儲由分離處理模塊302供給的幀#n的混合區域的像素的前景和背景分量。
幀存儲器303輸出被存儲的幀#n的混合區域的像素的前景分量和被存儲的幀#n的混合區域的像素的背景分量。
通過將混合比α用作特徵值，包含在像素值中的前景和背景分量可以完全彼此分離。
合成單元253將由分離單元251輸出的幀#n的混合區域的像素的前景分量和屬於前景區域的像素互相合成，以產生前景分量圖像。合成單元255將由分離單元251輸出的幀#n的混合區域的像素的背景分量和屬於背景區域的像素互相合成，以產生背景分量圖像。
圖54示出對應於圖50的幀#n的背景分量圖像的一個示例以及前景分量圖像的一個示例。
圖54A示出對應於圖50的幀#n的前景分量圖像的一個示例。最左邊的像素和左起第十四像素的像素值在前景/背景分離之前僅僅包括背景分量，因此它們等於0。
在前景/背景分離之前屬於未被覆蓋的背景區域的左起第二至第四像素，背景分量為0而前景分量保持原封不動。在前景/背景分離之前屬於被覆蓋的背景區域的左起第十一至第十三像素，背景分量為0而前景分量保持原封不動。因為這些像素僅僅包括背景分量，所以左起第五至第十像素保持原封不動。
圖54B示出對應於圖50的幀#n的背景分量圖像的一個示例。最左邊的像素和左起第十四像素在前景/背景分離之前僅僅包括背景分量，因此它們保持原封不動。
在前景/背景分離之前屬於未被覆蓋的背景區域的左起第二至第四像素，前景分量為0而背景分量保持原封不動。在前景/背景分離之前屬於被覆蓋的背景區域的左起第十一至第十三像素，背景分量為0而前景分量保持原封不動。因為這些像素僅僅包括前景分量，所以左起第五至第十像素的像素值僅僅包括前景分量。
參考圖55的流程，解釋由前景/背景分離單元105用於前景/背景分離的處理。在步驟S201，分離單元251的幀存儲器301獲取輸入的圖像並將進行前景/背景分離處理的幀#n與其前面的幀#n·1和後面的幀#n+1一起存儲。
在步驟S202，分離單元251的分離處理模塊302獲取從混合比計算單元104供給的區域信息。在步驟S203，分離單元251的分離處理模塊302獲取從混合比計算單元104傳遞來的混合比α。
在步驟S204，未被覆蓋的區域處理器311基於幀存儲器301供給的該區域信息和混合比α、屬於未被覆蓋的背景區域的像素的像素值提取背景分量。
在步驟S205，未被覆蓋的區域處理器311基於幀存儲器301供給的該區域信息和混合比α、屬於未被覆蓋的背景區域的像素的像素值提取前景分量。
在步驟S206，被覆蓋的區域處理器312基於幀存儲器301供給的該區域信息和混合比α、屬於被覆蓋的背景區域的像素的像素值提取背景分量。
在步驟S207，被覆蓋的區域處理器312基於幀存儲器301供給的該區域信息和混合比α、屬於被覆蓋的背景區域的像素的像素值提取前景分量。
在步驟S208，合成單元313合成屬於未被覆蓋的背景區域、由步驟S205的處理提取的前景分量和屬於被覆蓋的背景區域、由步驟S207的處理提取的前景分量。將合成的前景分量傳遞到合成單元253，它接著合成屬於經由開關252供給的前景區域的像素和從分離單元251供給的前景分量，以產生前景分量圖像。
在步驟S209，合成單元314合成屬於未被覆蓋的背景區域、由步驟S204的處理提取的背景分量和屬於被覆蓋的背景區域、由步驟S206的處理提取的背景分量。將合成的背景分量傳遞到合成單元255，它接著合成屬於經由開關254供給的背景區域的像素和從分離單元251供給的背景分量，以產生背景分量圖像。
在步驟S210，合成單元253輸出該前景分量圖像。在步驟S211，合成單元255輸出該背景分量圖像，以終止該處理。
按這種方式，前景/背景分離單元105能夠基於區域信息和混合比α，從輸入的圖像分離前景分量和背景分量以輸出僅由前景分量組成的前景分量圖像和僅由背景分量組成的背景分量圖像。
解釋從前景分量圖像調整移動模糊量。
在示出移動模糊調整單元106的說明性結構的方框圖56中，將從移動檢測單元102供給的移動向量，對應的位置信息和從區域指定單元103供給的區域信息傳遞到處理單元判定單元351和模型建立單元352。發送從前景/背景分離單元105供給的前景分量圖像到加法單元354。
處理單元判定單元351基於移動向量、對應的位置信息和區域信息，將所產生的處理單元和移動向量一起傳遞到模型建立單元352。
由處理單元判定單元351產生的處理單元表示從對應於前景分量圖像的被覆蓋的背景區域的像素起始、沿移動方向延伸到對應於未被覆蓋的背景區域的像素的相鄰像素，或者從對應於前景分量圖像的未被覆蓋的背景區域的像素起始、沿移動方向延伸到對應於被覆蓋的背景區域的像素的相鄰像素，例如圖57所示。該處理單元例如由左上點和右下點構成。左上點是由該處理單元指定的像素的位置，位於圖像的最左邊或最上邊的點。
模型建立單元352基於移動向量和輸入的處理單元執行模型建立(modelling)。更具體地說，模型建立單元352在開始時可以擁有相當於包含在該處理單元中的像素、在時間軸方向的像素值的實際分開間隔數以及基於像素的前景分量數的多個模型，以根據該處理單元和時間軸方向的像素值的實際分開間隔數選擇指定像素值和前景分量之間的對應關係的模型，如圖58所示。
例如，由於對應於處理單元的像素數為12並且該快門時間中的移動量v為5，所以模型建立單元352選擇總共八個前景分量，最左邊的像素包括一個前景分量、左起第二像素包括兩個前景分量、左起第三像素包括三個前景分量、左起第四像素包括四個前景分量、左起第五像素包括五個前景分量、左起第六像素包括五個前景分量、左起第七像素包括五個前景分量、左起第八像素包括五個前景分量、左起第九像素包括四個前景分量、左起第十像素包括三個前景分量、左起第十一像素包括兩個前景分量以及左起第十二像素包括一個前景分量。
代替從預先存儲的模型中選擇，在供給移動向量和處理單元時，模型建立單元352可以基於該移動向量和處理單元產生模型。
模型建立單元352發送選中的模型到方程產生單元353。
方程產生單元353基於模型建立單元352供給的模型產生一方程。參考圖58所示的前景分量圖像的模型，解釋由方程產生單元353在前景分量為8、對應於處理單元的像素數為12、移動量v為5並且實際分開間隔數為5時，產生的方程。
當對應於包含在前景成分圖像中的快門時間/v的前景分量是F01/v至F08/v，前景分量F01/v至F08/v和像素值C01至C12之間的關係被表示成方程(39)至(50)C01＝F01/v(39)C02＝F02/v+F01/v (40)C03＝F03/v+F02/v+F01/v(41)C04＝F04/v+F03/v+F02/v+F01/v (42)C05＝F05/v+F04/v+F03/v+F02/v+F01/v(43)C06＝F06/v+F05/v+F04/v+F03/v+F02/v(44)C07＝F07/v+F06/v+F05/v+F04/v+F03/v(45)
C08＝F08/v+F07/v+F06/v+F05/v+F04/v(46)C09＝F08/v+F07/v+F06/v+F05/v (47)C10＝F08/v+F07/v+F06/v(48)C11＝F08/v+F07/v (49)C12＝F08/v(50)方程產生單元353改進所產生的這些方程，以產生方程組。由方程產生單元353產生的方程組由方程(51)至(62)指示C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(51)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(52)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(53)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(54)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v(55)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v(56)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v(57)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(58)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(59)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v(60)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v(61)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v(62)
方程(51)至(62)也可以由方程(63)表示Cj=i=0108aijFi/v---(63)]]>式中j指示像素位置。在這種情況下，j假設為值1至12之一。另一方面，i表示前景值的位置，並且假設為值1至8之一。aij具有關聯於i和j值的值0或1。
如果考慮到誤差，則方程(63)可以由方程(64)表示Cj=i=0108aijFi/v+ej---(64)]]>式中ej包含在所考慮的像素Cj中的誤差。
方程(64)可以改寫成方程(65)ej=Cj-i=0108aijFi/v---(65)]]>為了應用最小二乘和(least square sum)，誤差E的平方和被定義為由方程(66)指示的形式E=j=0112ej2---(66)]]>為了使該誤差極小，只要誤差平方和E關於變量Fk的偏導數值為0就足夠了。得到Fk滿足方程(67)EFk=2j=0112ejejFk]]>=2j=0112{(Cj-i=0108aijFi/v)(-akj/v)=0---(67)]]>由於方程(67)中的移動量v為常數，所以可以導出方程(68)j=0112akj(Cj-i=0108aijFi/v)=0---(68)]]>展開方程(68)並移項，可以獲得方程(69)j=0112(akji=0108aijFi)=vj=0112akjCj---(69)]]>
通過代入整數1至8之一，方程(69)展開成八個方程。產生的八個方程可以藉助於稱為法方程的專用方程用矩陣表示。
由方程產生單元353基於最小二乘法產生的法方程的一個示例是下列方程(70)5432100045432100345432102345432112345432012345430012345400012345F01F02F03F04F05F06F07F08=vi=0812Cii=0711Cii=0610Cii=059Cii=048Cii=037Cii=026Cii=015Ci---(70)]]>如果方程(70)被表達成A·F＝v·C，則C、A和v已知，而F未知。另一方面，在模型建立階段A和v已知，則在加法運算中輸入像素值時，C成為已知的。
通過藉助基於最小二乘法的法方程計算前景分量，可以有效散射包含在像素值C中的誤差。
方程產生單元353將所產生的法方程發送到加法單元354。
基於從處理單元判定單元351供給的處理單元，加法單元354設置在方程產生單元353供給的矩陣方程中、包含在前景分量圖像中的像素值C。加法單元354將已經在其中設置了像素值C的矩陣發送到運算單元355。
運算單元355通過基於諸如高斯-若當(Gauss-Jordan)消去法這樣的求解方法，計算無移動模糊Fi/v的前景分量，以得到對應於作為無移動模糊的前景的像素值的i的整數0至8之一的Fi，以將由無移動模糊Fi的像素值組成的前景分量圖像輸出到移動模糊相加單元356和選擇單元357。
同時，在無移動模糊的前景分量圖像中，將F01至F08設置到C03至C10，以使得不產生相對於圖像屏幕的前景分量圖像的位置方面的變化。可以設置任意位置。
移動模糊相加單元356能夠通過給予不同於移動量v的移動模糊調整量v′以調整移動模糊量的值來調整移動模糊量，例如，該移動模糊調整量v′等於移動量v的一半，或者該移動模糊調整量v′與移動量v無關。例如，移動模糊相加單元356將無移動模糊的前景的像素值Fi除以移動模糊調整值v′，來計算前景分量Fi/v′，並且將這些前景分量Fi/v′求和，以產生適合於移動模糊量調整的像素值，如圖60所示。例如，如果該移動模糊調整量v′為3，則像素值C02為(F01/v′)、像素值C03為(F01+F02)/v′、像素值C04為(F01+F02+F03)/v′以及像素值C05為(F01+F02+F03+F04)/v′。
移動模糊相加單元356將適合於移動模糊量調整的前景分量圖像發送到選擇單元357。
基於對應於用戶選擇的選擇信號，選擇單元357在從運算單元355發送來的、無移動模糊前景分量圖像和從移動模糊相加單元356發送的、適合於移動模糊量調整的前景分量圖像中選擇之一，以輸出所選的前景分量圖像。
因此移動模糊調整單元106能夠基於該選擇信號和該移動模糊調整量v′調整移動模糊量。
例如，如果關聯於選擇信號獲得像素數為八，並且移動量v為四，如圖61所示，則移動模糊調整單元106能夠產生矩陣方程(71)4321034321234321234301234F01F02F03F04F05=vi=0508Cii=0407Cii=0306Cii=0205Cii=0104Ci---(71)]]>因此移動模糊調整單元106建立了一系列對應於處理單元的長度的方程，以計算適合於移動模糊量調整的像素值Fi。按照這種方式，如果包含在處理單元中的像素數是100，則移動模糊調整單元106產生關聯於這100個像素的100個方程，以計算Fi。
在圖62中示出了移動模糊調整單元106的另一種結構。與圖56所示的配件類似的配件或部分由同樣的參考號指示，不再進行具體解釋。
選擇單元361傳遞輸入的移動向量和對應的、位置信號到處理單元判定單元351和模型建立單元352。或者，選擇單元361用移動模糊調整量v′替代移動向量的幅度，以直接傳遞該移動向量、已經用移動模糊調整量v′替代的幅度和對應的、位置信號到處理單元判定單元351和模型建立單元352。
通過這種處理，圖62的移動模糊調整單元106的處理單元判定單元351至355能夠調整關聯於移動量v和移動模糊調整量v′的移動模糊量。例如，如果移動模糊量為5並且移動模糊調整量v′為3，則圖62的移動模糊調整單元106的處理單元判定單元351至355以圖58的移動量為5、按照圖60所示的、對應於移動模糊調整量v′為3的模型，執行針對前景分量圖像的處理，以計算包含對應於(移動量v)/(移動模糊調整量v′)＝5/3(即近似於1.7)的移動量v的移動模糊的圖像。由於所計算出的圖像無對應於移動量v為3的移動模糊，所以直接注意到這樣的事實移動量v和移動模糊調整量v′之間的關係根據移動模糊相加單元356的結果而具有不同的意義。
移動模糊調整單元106產生一個關聯於移動量v和該處理單元的方程，並且在所產生的方程中設置前景分量圖像的像素值，以計算適合於移動模糊量調整的前景分量圖像。
參考圖63的流程，解釋用於通過移動模糊調整單元106調整前景分量圖像的移動模糊量的處理。
在步驟S251，移動模糊調整單元106的處理單元判定單元351基於移動向量和區域信息產生一處理單元，以將所產生的處理單元發送到模型建立單元352。
在步驟S252，移動模糊調整單元106的模型建立單元352選擇和產生關聯於移動量v和處理單元的模型。在步驟S253，方程產生單元353基於所選的模型產生法方程。
在步驟S254，加法單元354在所產生的法方程中設置前景分量圖像的像素值。在步驟S255，加法單元354驗證是否已經設置了處理單元的全部像素的像素值。如果驗證為沒有設置完處理單元的全部像素的像素值，則該處理過程返回步驟S254，以重複在法方程中設置像素值的處理。
如果在步驟S255中判定已經設置了對應於處理單元的全部像素的像素值，則該處理過程返回到步驟S256，在其中運算單元355基於來自加法單元354已經設置了像素值的法方程，計算適合於移動模糊量調整的前景的像素值，以終止該處理。
按照這種方式，移動模糊調整單元106能夠基於移動向量和區域信息，從包含移動模糊的的前景分量圖像中調整移動模糊量。
即，移動模糊調整單元106能夠調整在作為採樣數據的像素值中的移動模糊量。
同時，示出在圖56中的移動模糊調整單元106的結構僅僅是一個示例，不意味著限制本發明。
結構示出在圖10的信號處理器12能夠調整包含在輸入圖像中的模糊量。該結構示出在圖10的信號處理器12能夠計算混合比α作為掩藏信息，以輸出所計算出的混合比α。
圖64是一方框圖，示出信號處理器12的功能的改進型結構。
與圖10所示的配件類似的配件或部分由同樣的記號指示，不再進行具體解釋。
區域指定單元103將區域信息發送到混合比計算單元104和合成單元371。
混合比計算單元104將該區域信息發送到前景/背景分離單元105和合成單元371。
前景/背景分離單元105將前景分量圖像發送到合成單元371。
基於混合比計算單元104供給的混合比α和區域指定單元103供給的區域信息，合成單元371合成從前景/背景分離單元105供給的任意背景圖像和前景分量圖像，以輸出根據該任意背景圖像和前景分量圖像合成的圖像。
圖65示出合成單元371的結構。背景分量產生單元381基於混合比α和可選背景圖像產生一背景分量圖像，以傳遞所產生的背景分量圖像到混合區域圖像合成單元382。
混合區域圖像合成單元382合成從背景分量產生單元381供給的背景分量圖像和該前景分量圖像，以產生將被傳遞到圖像合成單元383的混合區域合成圖像。
基於區域信息，圖像合成單元383合成該前景分量圖像、從混合區域圖像合成單元382供給的混合區域合成圖像和一任意背景圖像，以產生和輸出合成的圖像。
按這種方式，合成單元371能夠將該前景分量圖像合成到任意背景圖像。
基於作為特徵值的混合比α在將前景分量圖像與任意背景圖像合成時所獲得的圖像，比直接合成這些像素示獲得的圖像更自然。
圖66以一方框圖示出適用於調整移動模糊量的信號處理器12的功能的一改進型結構。圖10所示的信號處理器12計算混合比α並且接著指定該區域，而圖66所示的信號處理器12指定該區域並且以並行處理計算混合比α。
類似於圖10的方框圖中所示的功能的功能用同樣的參考標號表示，不再進行具體解釋。
將輸入的圖像發送到混合比計算單元401、前景/背景分離單元402、區域指定單元103和物體提取單元101。
基於輸入的圖像，混合比計算單元401為包含在輸入圖像中的每一個像素計算在假設像素屬於被覆蓋的背景區域的情況下被估計的混合比，以及在假設像素屬於未被覆蓋的背景區域的情況下所計算的被估計的混合比，以將在假設像素屬於被覆蓋的背景區域的情況下的被估計的混合比和在假設像素屬於未被覆蓋的背景區域的情況下的被估計的混合比供給前景/背景分離單元402。
圖67以一方框圖示出混合比計算單元401的結構。
圖67所示的被估計的混合比處理器201類似於圖37所示的被估計的混合比處理器201。圖67所示的被估計的混合比處理單元202和圖37所示的被估計的混合比處理單元202相同。
被估計的混合比處理器201基於輸入的圖像、用對應於被覆蓋的背景區域的模型的算法，逐個像素地計算被估計的混合比，以輸出所計算出的被估計的混合比。
被估計的混合比處理單元202基於輸入的圖像、用對應於未被覆蓋的背景區域的模型的算法，逐個像素地計算被估計的混合比，以輸出所計算出的被估計的混合比。
基於混合比計算單元401供給的、在假設像素屬於被覆蓋的背景區域的情況下被估計的混合比以及在假設像素屬於未被覆蓋的背景區域的情況下被估計的混合比，以及基於區域指定單元103供給的區域信息，前景/背景分離單元402從輸入圖像產生一前景分量圖像，以傳遞所產生的前景分量圖像到移動模糊調整單元106和選擇單元107。
圖68是一方框圖，示出前景/背景分離單元402的說明性結構。
與圖48所示的前景/背景分離單元105的配件類似的配件或部分由同樣的參考標號指示，不再進行具體解釋。
基於區域指定單元103供給的區域信息，選擇單元421選擇從混合比計算單元401供給的、在假設像素屬於被覆蓋的背景區域的情況下被估計的混合比以及在假設像素屬於未被覆蓋的背景區域的情況下被估計的混合比之一，並將所選擇的混合比作為混合比α傳遞到分離單元251。
基於選擇單元421供給的混合比α和區域信息，分離單元251從屬於混合區域的像素值分離該前景分量和背景分量，以將被提取前景分量發送到合成單元253，並且將背景分量發送到合成單元255。
分離單元251可以以類似於圖53所示的結構配置。
合成單元253合成和輸出前景分量圖像。合成單元255合成和輸出背景分量圖像。
圖66所示的移動模糊調整單元106可以配置成圖10那樣。基於區域信息和移動向量，移動模糊調整單元106調整前景/背景分離單元402供給的移動模糊量，以輸出適合於移動模糊量調整的前景分量圖像。
基於對應於用戶的選擇的選擇信號，選擇單元107從適合於移動模糊量調整的、前景/背景分離單元402供給的前景分量圖像和來自移動模糊調整單元106的前景分量圖像中選擇之一，以輸出選擇的前景分量圖像。
按這種方式，結構如圖66所示的信號處理器12能夠調整對應於包含在輸入圖像中的前景物體的物體的圖像，以輸出產生的圖像。結構如圖66所示的信號處理器12能夠像第一實施例中那樣，將混合比α作為掩藏信息進行計算，以輸出所計算出的混合比α。
圖69是一方框圖，示出適用於將前景分量圖像合成到任意背景圖像的信號處理器12的功能的改進型。圖64所示的信號處理器12順序地執行區域識別和混合比α計算，而圖69所示的信號處理器12並行地執行區域識別和混合比α計算。
與圖66所示的方框圖中功能類似的功能由同樣的參考標號表示，不再進行具體解釋。
基於輸入的圖像，圖69所示的混合比計算單元401對包含在輸入圖像中的每一個像素，計算在假設像素屬於被覆蓋的背景區域的情況下的被估計的混合比，以及在假設像素屬於未被覆蓋的背景區域的情況下的被估計的混合比，以將在假設像素屬於被覆蓋的背景區域的情況下的被估計的混合比和在假設像素屬於未被覆蓋的背景區域的情況下的被估計的混合比供給前景/背景分離單元402和合成單元431。
基於從混合比計算單元401供給的在假設像素屬於被覆蓋的背景區域的情況下的被估計的混合比，以及在假設像素屬於未被覆蓋的背景區域的情況下的被估計的混合比，並基於區域指定單元103供給的區域信息，圖69所示的前景/背景分離單元402從輸入圖像中產生前將分量圖像，以將所產生的前景分量圖像傳遞到合成單元431。
基於從混合比計算單元401供給的在假設像素屬於被覆蓋的背景區域的情況下的被估計的混合比，以及在假設像素屬於未被覆蓋的背景區域的情況下的被估計的混合比，並基於區域指定單元103供給的區域信息，合成單元431合成從前景/背景分離單元402供給的一任意背景區域和一前景分量圖像，以輸出根據該任意背景區域和前景分量圖像合成的圖像。
圖70示出合成單元431的結構。與圖65所示的方框圖中功能類似的功能由同樣的參考標號表示，不再進行具體解釋。
基於區域指定單元103供給的區域信息，選擇單元441選擇從混合比計算單元401供給的、在假設像素屬於被覆蓋的背景區域的情況下被估計的混合比以及在假設像素屬於未被覆蓋的背景區域的情況下被估計的混合比之一，並將所選擇的混合比作為混合比α傳遞到背景分量產生單元381。
基於選擇單元441供給的混合比α和任意背景分量圖像，圖70所示的背景分量產生單元381產生背景分量圖像，以將所產生的圖像傳遞到混合區域圖像合成單元382。
圖70所示的混合區域圖像合成單元382將背景分量產生單元381供給的背景分量圖像合成到前景分量圖像，以產生混合區域合成圖像，它被傳遞到圖像合成單元383。
基於該區域信息，圖像合成單元383合成該前景分量圖像、混合區域圖像合成單元382供給的混合區域合成圖像以及一任意背景圖像，以產生和輸出合成圖像。
按這種方式，合成單元431能夠將該前景分量圖像合成到一任意背景圖像。
雖然混合比α作為包含在像素值中的背景分量的比例進行解釋，但它也可以是包含在像素值中的前景分量的比例。
雖然作為前景的物體的移動方向被解釋成從左至右，當然這個方向不是限制性的。
解釋這樣一個實施例，在該實施例中，移動模糊量的總量包含在溫度或壓力數據中，通過類似於由信號處理器12所執行的處理進行處理。
圖71示出根據本發明的信號處理設備的一說明性結構。溫度記錄器件451檢測從一物體輻射的IR(紅外線)射線，其中的物體是正在由諸如IR CCD這樣的密封的IR傳感器測量的物體，以產生對應於檢測到的IR射線的波長和強度。溫度記錄器件451模擬/數字轉換所產生的信號、以比較轉換過信號與對應於基準溫度的基準數據，從而產生指示物體的各個點的溫度的溫度數據，輸出所產生的溫度數據到信號處理器452。
類似於傳感器11，溫度記錄器件451具有關於空間和時間的積分效應。
溫度記錄器件451傳遞到信號處理器452的溫度數據的配置類似於電影畫面的圖像數據，並且是這樣的數據，即在這些數據中指示正在被測量的物體的各個點的溫度的值(對應於圖像數據的像素值)沿關聯於圖像數據幀的空間方向以兩維形式排列，並且也在時間方向排列。
信號處理器452調整包含在輸入溫度數據中的失真，這種失真是已經作為正在被測量的物體的移動結果產生的。例如，信號處理器452提取正在被測量的物體的所希望的點的更精確的溫度。
圖72是一流程圖，示出用於通過信號處理器452調整移動模糊量的處理。在步驟S301，信號處理器452獲取溫度數據，在該數據中指示正在被測量的物體的各個點的溫度的值以兩維形式排列。基於該溫度數據，信號處理器452產生指定移動的數據。
在步驟S302，信號處理器452指定溫度數據的區域到僅包括指示對應於所希望的物體的溫度值的前景區域、僅包括指示對應於非所希望的物體的溫度值的背景區域以及包括對應於所希望的物體的溫度信息和對應於非所希望的物體的溫度信息的混合區域。
在步驟S303，信號處理器452檢測該溫度值是否屬於該溫度數據。如果信號處理器452判定指示值的溫度屬於混合區域，則信號處理器452轉到步驟S304，以利用類似於圖27的步驟S102的處理計算混合比α。
在步驟S305，信號處理器452利用類似於圖27的步驟S103的處理，來分離對應於希望進行溫度度量的物體的溫度信息，然而該處理轉到步驟S306。
為了在步驟S305中分離溫度信息，可以將該溫度信息基於基爾霍夫(Kirchhoff)定律或諸如史蒂芬-玻爾茲曼(Stephen-Boltzmann)定律這樣的、指定物體溫度和輻射的IR射線之間關係的定律，轉換成從希望進行溫度度量的物體輻射的IR射線的能量，以分離被轉化的IR射線的能量，然後從新將被分離的能量轉換成溫度。通過先於分離轉換成IR射線能量，信號處理器452能夠比直接分離溫度信息分離出更精確的溫度信息。
如果在步驟S303中，指示包含在該溫度數據中的值的溫度不屬於混合區域，那麼就沒有必要分離對應於希望測量溫度的物體的溫度信息。因此，跳過步驟S304和步驟S305的處理，並且該處理轉到步驟S306。
在步驟S306，信號處理器452從指示屬於前景溫度的溫度的值和關於使得該溫度度量對應於所希望的物體的溫度的信息，產生溫度數據，用於使得溫度度量對應於所希望的物體。
在步驟S307，信號處理器452利用類似於步驟S251的處理的處理，產生對應於所產生的溫度數據的模型。
在步驟S308，信號處理器452利用類似於圖63的步驟S252至步驟S255的處理的處理，基於所產生的模型，調整包含在對應於需要進行溫度度量的物體的溫度數據中的移動模糊量，以終止該處理。
按這種方式，信號處理器452調整包含在由正在被測量的物體的移動產生的溫度數據中的移動模糊量，以計算各個物體部分的更精確的溫度差。
圖73示出一根據本發明的信號處理設備的說明性結構，用於稱重度量。壓力區域傳感器501由多個壓力傳感器構成，以測量每個單元的平坦區域的負荷，即壓力。壓力區域傳感器501具有由多個壓力傳感器511-1-1至511-M-N的底面上的二維陣列組成的結構。當正在被測量重量的物體512移動到壓力區域傳感器501時，壓力區域傳感器501測量施加到壓力傳感器511-1-1至511-M-N中的每一個上的壓力，以為壓力傳感器511-1-1至511-M-N中的每一個被測量的範圍產生重量數據，然後將所產生的重量數據輸出到信號處理器502。
壓力傳感器511-1-1至511-M-N中的每一個都由使用當外力施加到透明彈性材料或所謂的光彈性材料時生產的雙折射的傳感器構成。
圖75說明施加到組成壓力區域傳感器501的各個壓力傳感器511-1-1至511-M-N的物體512的每一部分的重量關聯的負荷。
對應於圖75中的物體512的最左邊部分的重量的負荷A被施加到壓力傳感器511-m-1。對應於物體512的左起第二部分的重量的負荷b被施加到壓力傳感器511-m-2。對應於物體512的左起第四部分的重量的負荷c被施加到壓力傳感器511-m-3。對應於物體512的左起第四部分的重量的負荷d被施加到壓力傳感器511-m-4。
對應於物體512的左起第二部分的重量的負荷e被施加到壓力傳感器511-m-5。對應於物體512的左起第四部分的重量的負荷f被施加到壓力傳感器511-m-6。對應於物體512的左起第四部分的重量的負荷g被施加到壓力傳感器511-m-7。
由壓力區域傳感器501輸出的重量數據對應於壓力傳感器511-1-1至511-M-N的的排列，並且由在空間方向排成兩維的重量值構成。
圖76說明在物體512正在移動時，以具有積分效應的壓力區域傳感器501，由壓力區域傳感器501輸出的典型重量數據。
在壓力傳感器511-m-1上在度量的單位時間中，施加對應於物體512的最左邊部分的重量的負荷A，值A作為指示包括在重量數據中的重量的值輸出。
在度量的單位時間中，給壓力傳感器511-m-2施加對應於物體512的左起第二部分的重量的負荷b和對應於物體512的最左邊部分的重量的負荷d，因此壓力傳感器511-m-2輸出值A+b作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-3施加對應於物體512的左起第三部分的重量的負荷c、對應於物體512的左起第二部分的重量的負荷b和接著對應於物體512的左起第二部分的重量的負荷A，因此壓力傳感器511-m-2輸出值A+b+c作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-4施加對應於物體512的左起第四部分的重量的負荷d、對應於物體512的左起第三部分的重量的負荷c、對應於物體512的左起第二部分的重量的負荷b和接著對應於物體512的最左邊部分的重量的負荷A，因此壓力傳感器511-m-2輸出值A+b+c+d作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-5施加對應於物體512的左起第五部分的重量的負荷e、對應於物體512的左起第四部分的重量的負荷d、對應於物體5 12的左起第三部分的重量的負荷c和接著對應於物體5 12的左起第二部分的重量的負荷b，因此壓力傳感器511-m-5輸出值b+c+d+e作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-6施加對應於物體512的左起第六部分的重量的負荷f、對應於物體512的左起第五部分的重量的負荷e、對應於物體512的左起第四部分的重量的負荷d和接著對應於物體512的左起第三部分的重量的負荷c，因此壓力傳感器511-m-6輸出值c+d+e+f作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-7施加對應於物體512的左起第七部分的重量的負荷g、對應於物體512的左起第六部分的重量的負荷f、對應於物體512的左起第五部分的重量的負荷e和接著對應於物體512的左起第四部分的重量的負荷d，因此壓力傳感器511-m-7輸出值d+e+f+g作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-8施加對應於物體512的左起第七部分的重量的負荷g、對應於物體512的左起第六部分的重量的負荷f和接著對應於物體512的左起第五部分的重量的負荷e，因此壓力傳感器511-m-8輸出值e+f+g作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-9施加對應於物體512的左起第七部分的重量的負荷g和對應於物體512的左起第六部分的重量的負荷f，因此壓力傳感器511-m-9輸出值f+g作為指示包括在重量數據中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-10施加對應於物體512的左起第七部分的重量的負荷g，因此壓力傳感器511-m-10輸出值g作為指示包括在重量數據中的重量的值。
壓力區域傳感器501輸出重量數據，該重量數據由壓力傳感器511-m-1輸出的值A、壓力傳感器511-m-2輸出的值A+b、壓力傳感器511-m-3輸出的值A+b+c、壓力傳感器511-m-4輸出的值A+b+c+d、壓力傳感器511-m-4輸出的值b+c+d+e、由壓力傳感器511-m-3輸出的值A+b+c、壓力傳感器511-m-4輸出的值A+b+c+d、壓力傳感器511-m-5輸出的值b+c+d+e、壓力傳感器511-m-6輸出的值c+d+e+f、壓力傳感器511-m-7輸出的值d+e+f+g、壓力傳感器511-m-8輸出的值e+f+g、壓力傳感器511-m-9輸出的值f+g和壓力傳感器511-m-10輸出的值g組成。
信號處理器502從壓力區域傳感器501供給的重量數據中，調整由正在被測量的物體512的移動產生的失真。例如，信號處理器502提取正在被測量的物體512的所希望的點的更精確的重量。例如信號處理器502從值A、A+b、A+b+c、A+b+c+d、b+c+d+e、c+d+e+f、d+e+f+g、e+f+g、f+g和g組成的重量數據中提取負荷A和b。
參考圖77的流程，解釋用於計算由信號處理器502執行的處理。
在步驟S401，信號處理器502獲取由壓力區域傳感器501輸出的重量數據。在步驟S402，信號處理器502基於從壓力區域傳感器501獲取的重量數據判定物體512的負荷是否正在被施加到壓力區域傳感器501。如果判定物體512的負荷是正在被施加到壓力區域傳感器501，則信號處理器502轉到步驟S403來基於重量數據的變化獲取物體512的移動。
在步驟S404，信號處理器502獲取沿由步驟S403中的處理獲取的移動的方向、包含在重量數據中的壓力傳感器511的單線數據。
在步驟S405，信號處理器502計算對應於物體512的各個部分的重量的負荷，以終止該處理。信號處理器502通過與參考圖63的流程解釋過的處理類似的處理計算對應於物體512的各個部分的重量的負荷。
如果在步驟S402中，物體512的負荷未被施加到壓力區域傳感器501，則不存在任何要被處理的重量數據，因此終止該處理。
按這種方式，該重量度量系統能夠計算對應於移動物體的每個部分的重量的正確負荷。
解釋在空間方向產生較高解析度的圖像的信號處理器12。
圖78是一方框圖，作為信號處理器12的另一個功能、示出通過增加每幀的像素數來產生高解析度圖像的圖像的配置。
幀存儲器701以幀為基礎存儲輸入的圖像，並將所存儲的圖像發送到像素值產生器702和相關性計算單元703。
相關性計算單元703計算在橫向上互相鄰接的、包含在從幀存儲器701供給的圖像中的像素值的相關值，以將所計算出的相關值發送到像素值產生器702。像素值產生器702基於相關性計算單元703供給的相關值，從中心像素的像素值計算雙密度圖像分量，以用所計算出的圖像分量作為像素值產生水平雙密度圖像。像素值產生器702將所產生的水平雙密度圖像發送的幀存儲器704。
幀存儲器704存儲從像素值產生器702供給的該水平雙密度圖像，以將所存儲的水平雙密度圖像發送到像素值產生器705和相關性計算單元706。
相關性計算單元706計算在縱向上互相鄰接的、包含在從幀存儲器704供給的圖像中的像素值的相關值，以將所計算出的相關值發送到像素值產生器705。像素值產生器705基於相關性計算單元703供給的相關值，從中心像素的像素值計算雙密度圖像分量，以用所計算出的圖像分量作為像素值產生水平雙密度圖像。像素值產生器705輸出所產生的水平雙密度圖像。
解釋用於由像素值產生器702產生水平密度圖像的處理。
圖79示出配備在作為CCD的傳感器11中的一種像素排列，以及水平雙密度圖像的像素數據區域。在圖79中，A至I指示獨立的像素。區域A至r中的每一個表示在經線方向對分獨立像素A至I所獲得的一光接收區域。和像素A至I中的每一個的光接收區域的寬度21一致，區域A至r中的每一個的寬度是I。像素值產生器702計算關聯於區域A至r的像素數據的像素值。
圖80說明對應於區域A至r的入射光的像素數據。在圖80中，f(x)表示關聯於輸入光和空間上微小的域的、空間上理想的像素值。
如果用理想的像素值f(x)的均勻積分(uniform integration)表示像素數據的像素值，則關聯於區域i的像素數據的像素值Y1由方程(72)表示Y1=f(x)dx1e---(72)]]>而關聯於區域j的圖像數據的像素值Y2和像素E的像素值Y3由方程(73)和(74)分別表示Y2=x2x3f(x)dx1e---(73)]]>和
Y3=x1x3f(x)dx12e---(74)]]>=Y1+Y22]]>在上述方程(72)至(74)中，x1、x2和x3分別是像素E的光接收區域、區域i和區域j的各個邊界的空間坐標。
通過改進方程(74)，可以導出方程(75)、(76)Y1＝2·Y3·Y2(75)Y2＝2·Y3·Y1(76)因此，如果已知像素E的像素值Y3和對應於區域j的像素數據的像素值Y2，則可以從方程(75)可以計算對應於區域i的像素數據的像素值Y1。此外，如果已知像素E的像素值Y3和對應於區域i的像素數據的像素值Y1，則可以從區域j計算出對應於區域j的像素數據的像素值Y2。
如果已知對應於一個像素的像素值和對應於該像素的兩個區域的像素數據的像素值之一，則可以計算對應於該像素的另一像素區域的另一像素數據的像素值。
參考圖81，解釋計算對應於一個像素的兩個區域的像素數據的像素值的方法。圖81A示出像素D、E和F之間的相關性以及空間上理想的像素值f(x)。
由於像素D至F擁有積分效應，並且一個像素輸出一個像素值，所以按圖81B那樣輸出每一個像素值。由像素E輸出的像素值對應於像素值f(x)在光接收區域的範圍中的積分值。
相關性計算單元703產生像素D的像素值和像素E的像素值之間的相關值以及像素E的像素值和像素F的像素值之間的相關值，以傳遞所產生的相關值到像素值產生器702。基於像素D的像素值和像素E的像素值之間的差或像素E的像素值和像素F的像素值之間的差，計算由相關性計算單元703計算的相關值。當鄰接的像素的像素值互相接近時，這些像素可以被認為具有較高的相關性。即，像素值之間的較小的差值指示較強的相關性。
因此，如果像素D的像素值和像素E的像素值之間的差或像素E的像素值和像素F的像素值之間的差直接用作相關值，那麼該相關值即較小差值展示較強的相關性。
例如，如果像素D的像素值和像素E的像素值之間的相關性比像素E的像素值和像素F的像素值之間的相關性強，則像素值產生器702將像素D的像素值除以2，以將產生的值作為區域i的像素數據使用。
基於像素E的像素值和區域i的像素值，像素值產生器702按照方程(75)或(76)計算區域j的像素數據的像素值，如圖81D所示。
像素值產生器702例如為像素D計算區域g的像素數據的像素值以及區域h的像素數據的像素值，以計算區域i的像素數據的像素值以及區域j的像素數據的像素值，然後接著計算區域k的像素數據的像素值以及區域l的像素數據的像素值等等，以像上述那樣計算該圖像中的像素數據的像素值來產生一包含所計算出的像素數據的像素值的水平雙密度圖像，以將所產生的水平雙密度圖像供應給幀存儲器704。
類似於像素值產生器702，像素值產生器705從相關性計算單元706供給的、水平雙密度圖像的三個縱向排列的像素的像素值的相關性，以及該三個像素的像素值，計算對應於縱向分開該像素的光接收區域時獲得的兩個區域的圖像數據的像素值，從而產生雙密度圖像。
當給像素值產生器702饋送例如圖82所示的圖像時，像素值產生器702產生例如圖83所示的雙密度圖像。
當給像素值產生器705饋送例如圖82所示的一圖像時，像素值產生器705產生例如圖84所示的一圖像。當給像素值產生器705饋送例如圖83所示的一水平雙密度圖像時，像素值產生器705產生例如圖85所示的一雙密度圖像。
圖86是一流程圖，用於說明適用於通過圖78所示結構的信號處理器12產生雙密度圖像的處理。在步驟S601，信號處理器12獲取輸入圖像以將其存儲在幀存儲器701。
在步驟S602，相關性計算單元703基於存儲在幀存儲器701中的像素值選擇作為考慮的像素的圖像中的像素之一，並找到水平地鄰接於所考慮的像素的像素。在步驟S603，像素值產生器702從展示較強相關性即較高相關值的像素值中，產生位於水平雙密度圖像的單邊上的像素數據的像素值。
基於CCD的特性，像素值產生器702在步驟S604產生水平雙密度圖像的其他像素數據的像素值。具體地說，像素值產生器702基於由步驟S603的處理計算出的像素值和輸入圖像的圖像數據的像素值、按照參考圖80進行解釋的方程(75)和(76)計算水平雙密度圖像的其他像素數據的像素值。由步驟S603和步驟S604的處理產生的、關於被考慮的像素的水平雙密度圖像的圖像數據，被存儲在幀存儲器704。
在步驟S605，像素值產生器702檢查整個圖像的處理是否已經結束。如果判別整個圖像的處理已經結束，則該處理過程返回步驟S602，以選擇下一像素作為被考慮的像素來重複產生水平雙密度圖像的處理。
如果在步驟S605判別整個圖像的處理已經結束，則相關性計算單元706選擇作為被考慮的像素的圖像中的像素之一，以基於存儲在幀存儲器704的水平雙密度圖像的像素值、得到在縱向上鄰接於被考慮的像素的像素相關值。在步驟S607，像素值產生器705從該較強的相關性的像素值、基於相關性計算單元706供給的相關值產生該雙密度圖像的單邊的像素值。
在步驟S608，像素值產生器705像在步驟S604那樣，基於CCD的特性產生該雙密度圖像的其他像素值。具體地說，像素值產生器702基於由步驟S607的處理計算出的像素值、以及該水平雙密度圖像的像素數據的像素值，按照參考圖80解釋過的方程(75)和(76)，計算該雙密度圖像的其他圖像數據的像素值。
在步驟S609，像素值產生器705判定整個圖像的處理是否已經結束。如果判定整個圖像的處理還沒有結束，則該處理過程返回步驟S606，以選擇下一像素作為被考慮的像素來重複產生水平雙密度圖像的處理。
如果在步驟S609判定整個圖像的處理已經結束，則像素值產生器705輸出所產生的雙密度圖像以結束該處理。
按這種方式，在垂直方向和水平方向的像素數都被加倍的雙密度圖像可以由信號處理器12從輸入圖像產生，信號處理器12的結構示出在圖78中。
結構示出在圖78中的信號處理器12能夠通過執行考慮到關於該空間的像素相關性和CCD的積分效應的信號處理，產生高空間解析度的圖像。
在以上描述中，具有三維空間的真實空間的圖像和時間軸信息被映射在具有兩維空間的時空和使用攝像機的時間軸信息上。然而本發明不限於這個實施例，並且可以應用到由從較高階的第一維的第一信息投影到較低階的第二維所引起的失真的校正、重要信息的提取或者多個自然圖像的合成。
傳感器11也可以是例如BBD(組桶式器件)、CID(電荷注入器件)或CDD(電荷啟動器件)這樣的傳感器，而不限於CCD。傳感器11也可以是檢測器件排成一行而不是矩陣的傳感器。
已經在其中記錄了用於執行本發明的信號處理的程序的記錄介質不僅可以由被發行以用於脫離計算機供應該程序的給用戶的數據包介質構造，包括諸如軟盤這樣的、已經在其上記錄了該程序的磁碟51，諸如CD-ROM、緻密盤、只讀存儲器或DvD(數字視頻盤)這樣的光碟52，諸如MD(小型盤)或半導體存儲器54這樣的磁光碟53。而且該記錄介質還可以由以在計算機中預編譯的狀態供應給用戶的、在其上已經記錄了的程序ROM 22以及包括在貯存單元28中的硬碟構造。
應該注意，在本說明書中，用於啟動記錄於一記錄介質中的程序的步驟不僅包括以年月日的順序指定的順序實施該處理，而且包括不需要以年月日的順序進行而是以並行或批處理形式進行的處理。
因此，基於指定僅由構成圖像數據中的前景物體的前景物體分量構成的前景區域的區域信息、僅由構成圖像數據中的背景物體的背景物體分量構成的前景區域的區域信息，和基於圖像數據的前景物體分量和背景物體分量混合而成的混合區域，以及基於該圖像數據，設置包括在前景物體的移動方向的前端形成的被覆蓋的背景區域和在前景物體的後端形成的未被覆蓋的背景區域的混合區域、由位於至少一條在與前景物體的移動方向一致的方向上、從被覆蓋的背景區域的外端延伸到未被覆蓋的背景區域的外端的直線上的像素數據構成的、以前景區域居為中心的處理單元。然後通過在所判定的處理單元中設置像素的像素值，基於該處理單元和一預定分割數分割混合區域的前景物體分量時獲得的未知的分割值，產生法方程。用最小二乘法解該法方程，以產生適合於移動模糊量調整的前景物體分量，從而調整該移動模糊量。
此外，作為對應於現實世界中的前景的前景採樣數據提取出現在位於被考慮的檢測數據的前面和後面的檢測數據的採樣數據，在其中存在正在被考慮的採樣數據，同時作為對應於現實世界中的背景的背景採樣數據提取出現在位於被考慮的檢測數據的前面和後面的的檢測數據的採樣數據，在其中存在正在被考慮的採樣數據，並且基於被考慮的採樣數據、前景採樣數據和背景採樣數據檢測被考慮的採樣數據的混合比，從而允許混合比檢測。
基於該檢測數據給定靜止/移動判定，包含採樣數據的混合區域包括現實世界中的多個物體的混合物，從而允許混合比檢測。
通過檢測具有映射在第二維比第一維低的傳感器上的第一維的現實世界的第一信號，獲取第二維的第二信號，並且關於該第二信號執行該信號處理，從而允許從該第二信號提取由於投影而隱藏的重要信息。
由於通過由一比第一維低的第二維的第二信號並且出現相對於第一信號的失真的傳感器檢測具有第一維的現實世界的第一信號，獲取該第二信號，並且減輕了相對於該第二信號中的失真的第三信號通過基於第二信號的處理被產生，所以可能減輕該信號失真。
在該檢測信號中，指定僅由構造前景物體的前景物體分量組成的前景區域、僅由構造背景物體的背景物體分量組成的背景區域以及由該前景物體分量和該背景物體分量組成的混合區域，至少在混合區域中檢測前景物體分量和背景物體分量的混合比，以及基於指定的結果和混合比互相分離前景物體分量和背景物體分量，因此允許將該前景和背景物體作為較高質量的數據利用。
在該檢測信號中，指定僅由構造前景物體的前景物體分量組成的前景區域、僅由構造背景物體的背景物體分量組成的背景區域以及由該前景物體分量和該背景物體分量組成的混合區域，以及基於指定的結果判別至少混合區域中的前景和背景物體分量的混合比，因此允許作為重要信息的混合比的檢測。
檢測由構造前景物體的前景物體分量和由構造背景物體的背景物體分量組成的混合區域中的前景和背景物體分量的混合比，以及基於該混合比互相分離前景和背景物體分量，因此允許將該前景和背景物體作為較高質量的數據利用。
權利要求
1.一種信號處理設備，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述信號處理設備包括區域指定裝置，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從所述前景物體分量和所述背景物體分量混合而來的混合區域；混合比檢測裝置，用於至少在所述混合區域中檢測所述前景物體分量和所述背景物體分量的混合比；以及分離裝置，用於基於由所述區域指定裝置的指定結果和所述混合比將所述前景物體和所述背景物體相互分離。
2.根據權利要求1的信號處理設備，還包括移動模糊量調整裝置，用於調整所述前景物體的移動模糊量。
3.一種信號處理方法，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述信號處理方法包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從所述前景物體分量和所述背景物體分量混合而來的混合區域；混合比檢測步驟，用於至少在所述混合區域中檢測所述前景物體分量和所述背景物體分量的混合比；以及分離步驟，用於基於由所述區域指定裝置的指定結果和所述混合比將所述前景物體和所述背景物體相互分離。
4.一種已經在其中記錄了計算機可讀程序的記錄介質，所述電腦程式包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從所述前景物體分量和所述背景物體分量混合而來的混合區域；混合比檢測步驟，用於至少在所述混合區域中檢測所述前景物體分量和所述背景物體分量的混合比；以及分離步驟，用於基於由所述區域指定裝置的指定結果和所述混合比將所述前景物體和所述背景物體相互分離。
5.一種信號處理設備，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述信號處理設備包括區域指定裝置，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從所述前景物體分量和所述背景物體分量混合而來的混合區域；以及混合比檢測裝置，用於基於由區域指定裝置的指定結果檢測至少在所述混合區域中所述前景物體分量和所述背景物體分量之間的混合比。
6.根據權利要求5的信號處理設備，還包括分離裝置，用於基於所述混合比相互分離所述前景物體和所述背景物體。
7.根據權利要求5的信號處理設備，還包括移動模糊量調整裝置，用於調整包含在所述前景物體中的移動模糊量。
8.根據權利要求5的信號處理設備，還包括移動檢測裝置，用於檢測所述前景物體和所述背景物體至少之一的移動；所述移動模糊調整裝置基於所檢測到的移動調整該移動模糊量。
9.一種信號處理方法，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述信號處理方法包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從所述前景物體分量和背景物體分量混合而來的混合區域；以及混合比檢測步驟，用於基於由所述區域指定裝置的指定結果檢測至少在所述混合區域中所述前景物體分量和所述背景物體分量之間的混合比。
10.一種在其上已經記錄了計算機可讀程序的記錄介質，所述信號處理方法用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述計算機可讀程序包括區域指定步驟，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從所述前景物體分量和背景物體分量混合而來的混合區域；以及混合比檢測步驟，用於基於由所述區域指定裝置的指定結果檢測至少在所述混合區域中所述前景物體分量和所述背景物體分量之間的混合比。
11.一種信號處理設備，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述信號處理設備包括混合比檢測裝置，用於在該混合區域中檢測前景物體分量和背景物體分量的混合比，由組成前景物體的所述前景物體分量和組成背景物體的所述背景物體分量以該混合比混合；以及分離裝置，用於基於所述混合比將所述前景物體和所述背景物體相互分離。
12.根據權利要求11的信號處理設備，還包括移動模糊量調整裝置，用於調整所述前景物體的移動模糊量。
13.根據權利要求12的信號處理設備，還包括移動檢測裝置，用於檢測所述前景物體和所述背景物體至少之一的移動；所述移動模糊調整裝置基於所檢測到的移動調整該移動模糊量。
14.一種信號處理方法，用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述信號處理方法包括混合比檢測步驟，用於在該混合區域中檢測前景物體分量和背景物體分量的混合比，在那裡由組成前景物體的所述前景物體分量和組成背景物體的所述背景物體分量以該混合比混合；以及分離步驟，用於基於所述混合比將所述前景物體和所述背景物體相互分離。
15.一種在其上已經記錄了計算機可讀程序的記錄介質，所述信號處理方法用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號，所述計算機可讀程序包括混合比檢測步驟，用於在該混合區域中檢測前景物體分量和背景物體分量的混合比，由組成前景物體的所述前景物體分量和組成背景物體的所述背景物體分量以該混合比混合；以及分離步驟，用於基於所述混合比將所述前景物體和所述背景物體相互分離。
全文摘要
一種用於處理通過由一預定數量的具有時間積分效應的檢測元件構成的傳感器獲取的預定數量的檢測信號的信號處理設備，包括區域指定裝置，用於指定僅由組成前景物體的前景物體分量構成的前景區域，僅由組成背景物體的背景物體分量構成的背景區域，以及從所述前景物體分量和所述背景物體分量混合而來的混合區域；混合比檢測裝置，用於至少在所述混合區域中檢測所述前景物體分量和所述背景物體分量的混合比；以及分離裝置，用於基於由所述區域指定裝置的指定結果和所述混合比將所述前景物體和所述背景物體相互分離。
文檔編號G06T1/00GK1658238SQ200510059138
公開日2005年8月24日 申請日期2000年12月28日 優先權日1999年12月28日
發明者近藤哲二郎, 石橋淳一, 澤尾貴志, 和田成司, 三宅徹, 永野隆浩, 藤原直樹 申請人:索尼公司