圖像處理設備和方法、以及圖像拍攝設備的製作方法

2023-04-23 04:53:41 2

專利名稱：圖像處理設備和方法、以及圖像拍攝設備的製作方法
技術領域：
本發明涉及圖像處理設備和方法以及圖像拍攝設備，尤其涉及考慮到傳感器檢測的信號與現實世界(real world)之間的差異的圖像處理設備和方法以及圖像拍攝設備。
背景技術：
通常情況下，通過傳感器檢測在現實世界中發生的現象，和處理從圖像傳感器輸出的取樣數據的技術得到廣泛應用。
例如，對於視頻攝像機拍攝在預定靜止背景前運動的對象獲得的圖像，如果運動速率相對較高，則會出現運動模糊(motion blur)。
但是，當拍攝運動對象作為運動圖像時，運動對象的圖像根據拍攝一幀的曝光間隔，也就是快門間隔來進行拍攝。傳統上並不考慮如何獲取指示快門間隔內對象的運動的運動量。

發明內容
本發明就是在考慮了上述背景之後作出的。因此，本發明的目的是使得獲取指示曝光間隔對象的運動的運動量成為可能。
根據本發明的圖像處理設備的特徵在於包括混合比檢測裝置，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測裝置，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
該圖像處理設備可以如下配置，即，混合比檢測裝置包括關係式生成裝置，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
該圖像處理設備可以如下配置，即，所述關係式生成裝置根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
該圖像處理設備可以如下配置，即，當已經獲得所述圖像數據時，所述運動量檢測裝置檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
根據本發明的圖像處理方法的特徵在於包括混合比檢測步驟，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測步驟，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
該圖像處理方法可以如下配置，即，混合比檢測步驟包括關係式生成步驟，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
該圖像處理方法可以如下配置，即，在關係式生成步驟中，根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
該圖像處理方法可以如下配置，即，在運動量檢測步驟中，當已經獲得所述圖像數據時，檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
根據本發明的記錄媒體中的程序的特徵在於包括混合比檢測步驟，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測步驟，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
該記錄媒體可以如下配置，即，在混合比檢測中步驟包括關係式生成步驟，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
該記錄媒體可以如下配置，即，在關係式生成步驟中，根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
該記錄媒體可以如下配置，即，在運動量檢測步驟中，當已經獲得所述圖像數據時，檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
根據本發明的程序的特徵在於使計算機執行如下步驟混合比檢測步驟，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測步驟，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
該程序可以如下配置，即，在混合比檢測步驟中包括關係式生成步驟，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
該程序可以如下配置，即，在關係式生成步驟中，根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
該程序可以如下配置，即，在運動量檢測步驟中，當已經獲得所述圖像數據時，檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
根據本發明的圖像拍攝設備的特徵在於包括圖像拍攝裝置，用於輸出由具有時間積分效應的、包括預定個像素的圖像拍攝器件拍攝的對象的圖像，作為由預定個數像素數據組成的圖像數據；混合比檢測裝置，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測裝置，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
該圖像拍攝設備可以如下配置，即，混合比檢測裝置包括關係式生成裝置，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
該圖像拍攝設備可以如下配置，即，所述關係式生成裝置根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
該圖像拍攝設備可以如下配置，即，當已經獲得所述圖像數據時，所述運動量檢測裝置檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
由此，可以獲取指示曝光間隔對象的運動的運動量。


圖1是顯示根據本發明的實施例的圖像處理設備的圖；圖2是顯示圖像處理設備的結構的方塊圖；圖3顯示傳感器進行的圖像拍攝(capture)；圖4顯示像素的排列；圖5顯示檢測器件的操作；圖6A顯示拍攝與運動前景相對應的對象、和與靜止背景相對應的對象的圖像獲得的圖像；圖6B顯示拍攝與運動前景相對應的對象、和與靜止背景相對應的對象的圖像獲得的圖像的模型(model)；圖7顯示背景區域、前景區域、混合區域、覆蓋背景區域、和未覆蓋背景區域；圖8顯示沿著時間方向展開在對與靜止前景相對應的對象和與靜止背景相對應的對象進行圖像拍攝所獲得的圖像中、一個接一個排列成一行的像素的像素值而獲得的模型；圖9顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔(period)的模型；圖10顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖11顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖12顯示從前景區域、背景區域和混合區域中提取像素的例子；圖13顯示像素與沿著時間方向展開像素值獲得的模型之間的關係；圖14顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖15顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖16顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖17顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；
圖18顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖19顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖20顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖21顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖22顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖23顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖24是描述調整運動模糊量的處理的流程圖；圖25是顯示區域指定單元101的配置例子的方塊圖；圖26顯示當與前景相對應的對象移動時所獲取的圖像；圖27顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖28顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖29顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖30顯示確定區域的條件；圖31A顯示區域指定單元101指定區域所獲得的結果的例子；圖31B顯示區域指定單元101指定區域所獲得的結果的例子；圖31C顯示區域指定單元101指定區域所獲得的結果的例子；圖31D顯示區域指定單元101指定區域所獲得的結果的例子；圖32顯示區域指定單元101指定區域所獲得的結果的例子；圖33是描述區域指定處理的流程圖；圖34是顯示區域指定單元101的另一個配置例子的方塊圖；圖35顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；
圖36顯示背景圖像的例子；圖37是顯示二值(binary)對象圖像提取部分302的配置的方塊圖；圖38A顯示相關值的計算；圖38B顯示相關值的計算；圖39A顯示相關值的計算；圖39B顯示相關值的計算；圖40顯示二值對象圖像的例子；圖41是顯示時間變化檢測器303的配置的方塊圖；圖42顯示區域確定部分342進行的確定；圖43顯示時間變化檢測器303所進行的確定的例子；圖44是描述區域指定單元101進行區域指定的處理的流程圖；圖45是詳細描述區域指定的處理的流程圖；圖46是顯示混合比計算器102的配置的方塊圖；圖47顯示理想混合比α的例子；圖48顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖49顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖50顯示用於近似混合比α的直線；圖51顯示用於近似混合比α的平面；圖52顯示計算混合比α時多個幀中的像素之間的關係；圖53是顯示混合比估計處理器401的配置的方塊圖；圖54顯示從混合比確定部分403輸出的運動向量；圖55顯示估計混合比的例子；圖56是顯示混合比計算器102的另一結構的方框圖；圖57是顯示計算混合比和運動向量的處理的流程圖；圖58是描述使用與覆蓋背景區域相對應的模型用於估計混合比和運動向量的處理的流程圖；圖59是顯示前景/背景分離器103的配置例子的方塊圖；圖60A顯示輸入圖像、前景成分圖像、和背景成分圖像；圖60B顯示輸入圖像、前景成分圖像、和背景成分圖像的模型；
圖61顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖62顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖63顯示沿著時間方向展開像素值和分割與快門時間相對應的間隔的模型；圖64是顯示分離部分601的配置例子的方塊圖；圖65A是顯示分離前景成分圖像的例子；圖65B是顯示分離背景成分圖像的例子；圖66是描述分離前景和背景的處理的流程圖；圖67是顯示運動模糊調整單元104的配置例子的方塊圖；圖68顯示處理單元；圖69顯示沿著時間方向展開前景成分圖像的像素值，和分割與快門時間相對應的間隔的模型；圖70顯示沿著時間方向展開前景成分圖像的像素值，和分割與快門時間相對應的間隔的模型；圖71顯示沿著時間方向展開前景成分圖像的像素值，和分割與快門時間相對應的間隔的模型；圖72顯示沿著時間方向展開前景成分圖像的像素值，和分割與快門時間相對應的間隔的模型；圖73顯示運動模糊調整單元104的另一個配置；圖74是描述由運動模糊調整單元104執行的調整包含在前景成分圖像中的運動模糊量的處理的流程圖；圖75是顯示運動模糊調整單元104的另一個配置例子的圖；圖76顯示其中表示了像素值和前景成分之間的關係的模型示例；圖77顯示前景成分的計算；圖78顯示前景成分的計算；圖79是描述調整包含在前景中的運動模糊量的處理的流程圖；圖80是顯示圖像處理設備的另一功能配置的方框圖；圖81顯示合成器1001的配置；圖82仍是顯示圖像處理設備的另一功能配置的方框圖；
圖83是顯示混合比計算器1101的配置的方框圖；圖84是顯示前景/背景分離器1102的配置的方框圖；和圖85是顯示運動模糊調整單元1103的配置的方框圖。
具體實施例方式
圖1顯示根據本發明的實施例的圖像處理設備。CPU(中央處理單元)21遵照存儲在ROM(只讀存儲器)22或存儲單元28中的程序，執行各種類型的處理。RAM(隨機存取存儲器)23存儲CPU 21執行的程序、和數據等。CPU 21、ROM 22、和RAM 23通過總線24相互連接。
通過總線24，輸入/輸出接口25也連接到CPU 21。由諸如鍵盤、滑鼠、麥克風等構成的輸入單元26，和由諸如顯示器、揚聲器等構成的輸出單元27連接到輸入/輸出接口25。CPU 21響應從輸入單元26輸入的命令執行各種類型的處理。然後，CPU 21把作為處理結果獲得的圖像、聲音等輸出到輸出單元27。
與輸入/輸出接口25相連接的存儲單元28包括例如硬碟，並存儲CPU 21執行的程序和各種類型的數據。通信單元29通過網際網路或其它網絡與外部設備通信。在本例中，通信單元29還用作獲取來自傳感器的輸出的獲取單元。
此外，可以通過通信單元29獲取程序，並將其存儲在存儲單元28中。
驅動器30與輸入/輸出接口25相連接，當把磁碟51、光碟52、磁光碟53、半導體存儲器54等記錄媒體安裝在驅動器30上時，驅動器30驅動它們，獲取存儲在相應媒體中的程序或數據。如有必要，把獲取的程序或數據發送到存儲單元28，存儲在其中。
圖2是顯示圖像處理設備的方塊圖。
圖像處理設備的每種功能由硬體來實現還是由軟體來實現是無關緊要的。也就是說，本說明書中的每個方塊圖不僅可以被當作硬體方塊圖，而且可以被當作軟體功能方塊圖。
在本說明書中，與現實世界中的對象相對應而被拍攝的圖像稱為圖像對象。
將發送到圖像處理設備的輸入圖像提供給區域指定單元101、混合比計算器102、和前景/背景分離器103。
區域指定單元101確定輸入圖像的每一個像素屬於前景區域、背景區域、或混合區域中的哪一個區域，並且把指示每個像素所屬區域的信息(下文中稱作「區域信息」)提供給混合比計算器102、前景/背景分離器103、和運動模糊調整單元104。
混合比計算器102根據輸入圖像和區域指定單元101供應的區域信息，計算與包含在混合區域中的像素相對應的混合比(下文中稱作「混合比α」)並將混合比α供應給前景/背景分離器103。
混合比α是表示與背景對象相對應的圖像成分(下文中稱作「背景成分」)和像素值之間的比例的值，用在下文中所示的方程式(3)表示。
混合比計算器102根據輸入圖像和區域指定單元101供應的區域信息，生成運動向量和指示與運動向量相對應的像素或圖像對象的位置信息，並將所生成的運動向量和位置信息提供給運動模糊調整單元104。
從混合比計算器102輸出的運動向量包括在快門時間內與運動量v相對應的信息。
快門時間內的運動量v是表示以像素間距(pitch)為單位與運動對象相對應的圖像的位置改變的值。例如，如果與前景相對應的對象圖像的一個成分發生移動，致使被包括在一個幀的4個像素中，那麼，與前景相對應的對象圖像在快門時間內的運動量v是4。
根據區域指定單元101供應的區域信息、和混合比計算器102供應的混合比α，前景/背景分離器103把輸入圖像分離成只由與前景對象相對應的圖像成分(下文中稱作「前景成分」)組成的前景成分圖像、和只由背景成分組成的背景成分圖像，並且把前景成分圖像供應給運動模糊調整單元104和選擇器105。所分離的前景成分圖像可以用作最終的輸出。與僅指定前景和背景而不考慮混合區域並分離的方法相比，可以獲得更為精確的前景和背景。
運動模糊調整單元104根據區域信息、和從運動向量導出的快門時間內的運動量v，確定指示包含在前景成分圖像中的至少一個像素的處理單元。處理單元(unit)是指示將被進行運動模糊調整的一組像素的數據。
根據輸入到圖像處理設備的運動模糊調整量、前景/背景分離器103提供的前景成分圖像、混合比計算器102提供的運動向量和其位置信息、以及處理單元，運動模糊調整單元104通過消除、減少或增加包含在前景成分圖像中的運動模糊，調整包含在前景成分圖像中的運動模糊量。然後運動模糊調整單元104輸出已經經過運動模糊量調整的前景成分圖像給選擇器105。不一定必須使用運動向量和其位置信息。
運動模糊是包含在與運動對象相對應的圖像中的失真，它是由被拍攝對象在現實世界中的運動與傳感器的圖像拍攝特性造成的。
選擇器105根據例如反映用戶選擇的選擇信號，從前景/背景分離器103提供的前景成分圖像和運動模糊調整單元104提供的已經經過運動模糊量調整的前景成分圖像中選擇一個，並將所選擇的前景成分圖像輸出。
現在參照圖3到圖23描述供應給前景/背景成分圖像生成器91的輸入圖像。
圖3顯示傳感器進行的圖像拍攝。傳感器由例如CCD(電荷耦合器件)視頻攝像機構成，CCD視頻攝像機配置有作為固態圖像拍攝器件的CCD面傳感器。例如，在該圖中，現實世界中與前景相對應的對象111在與背景相對應的對象112與傳感器之間、沿著水平方向從左邊移動到右邊。
傳感器拍攝與前景相對應的對象111、以及與背景相對應的對象112的圖像。傳感器以幀為單位輸出拍攝的圖像。例如，傳感器每秒輸出30個幀的圖像。
在本說明書中，幀的時間間隔稱作幀間隔時間(frame interval time)。
傳感器的曝光時間可以設置為1/30秒。曝光時間代表傳感器開始把輸入光轉換成電荷直到把輸入光轉換成電荷結束之間的間隔。曝光時間在下文也被稱為「快門時間(shutter time)」。
圖4顯示像素的排列。在圖4中，A到I表示各個像素。這些像素排列在與圖像相對應的平面上。在傳感器上布置著與像素一一對應的檢測元件。當傳感器執行圖像拍攝時，每一個檢測元件輸出與組成圖像的一個像素相對應的像素值。例如，檢測元件的X方向的位置對應於圖像上水平方向的位置，和檢測元件的Y方向的位置對應於圖像上垂直方向的位置。
如圖5所示，檢測元件例如CCD在與快門時間相對應的間隔內把輸入光轉換成電荷，並且累積轉換電荷。電荷量基本上與輸入光的強度和輸入光的間隔成正比。檢測元件在與快門時間相對應的間隔中，把從輸入光轉換而來的電荷順序加入累積的電荷中。也就是說，檢測元件在與快門時間相對應的間隔中，積分輸入光，並且累積與積分光相對應的的電荷量。也可以認為，檢測元件具有對時間的積分效應。
在檢測元件中累積的電荷由圖中未示出的電路轉換成電壓值，再把電壓值轉換成諸如數字數據等的像素值，然後輸出它。因此，從傳感器輸出的各個像素值是通過將與前景或背景相對應的對象的給定三維部分投影到一維空間上所獲得的值，該值為在快門時間內積分所得的結果。
圖像處理設備提取由於傳感器的累積操作而隱埋在輸出信號中的有效信息，譬如，混合比α。圖像處理設備調整由於前景圖像對象本身的混合造成的失真量，譬如，運動模糊量。此外，圖像處理設備調整由於前景圖像對象與背景圖像對象的混合造成的失真量。
圖6A顯示了拍攝與前景相對應的運動對象、和與背景相對應的靜止對象的圖像獲得的圖像。圖6B顯示了拍攝與前景相對應的運動對象、和與背景相對應的靜止對象的圖像獲得的圖像的模型。
圖6A顯示了拍攝與前景相對應的運動對象、和與背景相對應的靜止對象的圖像獲得的圖像。在圖6A所示的例子，與前景相對應的對象在屏幕上沿著水平方向從左邊移動到右邊。
圖6B顯示沿著時間方向展開與圖6A所示的圖像的一行相對應的像素值所獲得的模型圖。圖6B中的水平方向對應於圖6A中的空間方向X。
背景區域中的像素值只由背景成分，即，與背景對象相對應的圖像成分組成。前景區域中的像素值只由前景成分，即，與前景對象相對應的圖像成分組成。
混合區域內的像素值由背景成分和前景成分組成。由於混合區域內的像素值由背景成分和前景成分組成，因此，也可以認為混合區域是「失真區域」。混合區域進一步分為覆蓋背景區域和未覆蓋背景區域。
覆蓋背景區域是沿著前景對象的運動方向，與領先部分相對應的混合區域，其中，隨著時間的流逝背景成分逐漸被前景覆蓋。
與此相反，未覆蓋背景區域是沿著前景對象的運動方向，與尾隨部分相對應的混合區域，其中，背景成分隨著時間的流逝而逐漸出現。
如上所述，包括前景區域、背景區域、或覆蓋背景區域、或未覆蓋背景區域的圖像被當作輸入圖像輸入到區域指定單元101、混合比計算器102、和前景/背景分離器103。
圖7顯示如上所述的背景區域、前景區域、混合區域、覆蓋背景區域、和未覆蓋背景區域。當以圖6A所示的圖像作為例子時，背景區域是靜止部分，前景區域是運動部分，混合區域的覆蓋背景區域是從背景變成前景的部分，和混合區域的未覆蓋背景區域是從前景變成背景的部分。
圖8顯示沿著時間方向展開當對與靜止前景相對應的對象和與靜止背景相對應的對象進行拍攝時所得的圖像中、一個接一個排列成行的像素的像素值所獲得的模型圖。例如，可以選擇屏幕中排列在一行上的像素，作為一個接一個排列成行的像素。
圖8所示的像素值F01到F04是與靜止前景對象相對應的像素的像素值。圖8所示的像素值B01到B04是與靜止背景對象相對應的像素的像素值。
圖8中的垂直方向對應於時間，並且圖8中時間自上而下的流逝。圖8中長方形的上側位置對應於傳感器開始把輸入光轉換成電荷的時間，和圖8中長方形的下側位置對應於傳感器結束把輸入光轉換成電荷的時間。也就是說，圖8中從長方形的上側到下側的距離對應於快門時間。
圖8中的水平方向對應於在圖6A中所述的空間方向X。更明確地說，如圖8中的例子所示，從圖8中用「F01」表示的長方形的左側到用「B04」表示的長方形的右側的距離是像素間距的8倍長，也就是說，對應於8個連續像素的長度。
當前景對象和背景對象靜止時，輸入到傳感器的光在與快門時間相對應的間隔內不會發生改變。
將與快門時間相對應的間隔分割成兩個或更多個等間隔的部分。例如，如果將虛擬分割數設置為4，圖8所示的模型圖可以用圖9所示的模型圖來表示。虛擬分割數可以根據例如快門時間內與前景相對應的對象的運動量v相對應地設置。例如，當快門時間內運動量v是4時，虛擬分割數設置為4，並且把與快門時間相對應的間隔分割成4個部分。
圖中的最上行對應於從打開快門開始的第1個分(divided)間隔。圖中第2行對應於從打開快門開始的第2個分間隔。圖中第3行對應於從打開快門開始的第3個分間隔。圖中第4行對應於從打開快門開始的第4個分間隔。
根據快門時間內的運動量v進行分割的快門時間在下文中也被稱為「快門時間/v」。
當與前景相對應的對象靜止時，由於輸入傳感器的光不發生改變，因此前景成分F01/v等於像素值F01除以虛擬分割數所得的值。類似地，當與前景相對應的對象靜止時，前景成分F02/v等於像素值F02除以虛擬分割數所得的值，前景成分F03/v等於像素值F03除以虛擬分割數所得的值，和前景成分F04/v等於像素值F04除以虛擬分割數所得的值。
當與背景相對應的對象靜止時，由於輸入傳感器的光不發生改變，因此背景成分B01/v等於像素值B01除以虛擬分割數所得的值。類似地，當與背景相對應的對象靜止時，背景成分B02/v等於像素值B02除以虛擬分割數所得的值，背景成分B03/v等於像素值B03除以虛擬分割數所得的值，和背景成分B04/v等於像素值B04除以虛擬分割數所得的值。
更具體地說，當與前景相對應的對象靜止時，在與快門時間相對應的間隔內，輸入傳感器的、與前景對象相對應的光不發生改變。因此，與從快門打開算起的第1快門時間/v相對應的前景成分F01/v、與從快門打開算起的第2快門時間/v相對應的前景成分F01/v、與從快門打開算起的第3快門時間/v相對應的前景成分F01/v、和與從快門打開算起的第4快門時間/v相對應的前景成分F01/v具有相同的值。F02/v到F04/v具有與F01/v相同的關係。
當與背景相對應的對象靜止時，在與快門時間相對應的間隔內，輸入傳感器的、與背景對象相對應的光不發生改變。因此，與從快門打開算起的第1快門時間/v相對應的背景成分B01/v、與從快門打開算起的第2快門時間/v相對應的背景成分B01/v、與從快門打開算起的第3快門時間/v相對應的背景成分B01/v、和與從快門打開算起的第4快門時間/v相對應的背景成分B01/v是相同的。B02/v到B04/v具有與B01/v相同的關係。
現在描述其中與背景相對應的對象保持靜止並且與前景相對應的對象運動的情況。
圖10顯示當與前景相對應的對象在圖中朝著右側移動時，沿著時間方向展開包括覆蓋背景區域的一行上的像素的像素值所獲得的模型圖。
由於一個幀是一個短間隔，因此，可以假設與前景相對應的對象是剛體並以恆速運動。在圖10中，與前景相對應的對象圖像的一個成分發生移動，致使其被包括在4個像素中。
例如，前景成分F04/v包括在最左邊像素到從左算起第4個的像素中。
在圖10中，快門時間內的運動量v是4。
在圖10中，最左邊像素到從左算起第4個像素屬於前景區域。在圖10中，從最左算起第5個像素到第7個像素屬於混合區域的覆蓋背景區域。在圖10中，最右邊像素屬於背景區域。
由於與前景相對應的對象發生移動，致使隨著時間的流逝逐漸覆蓋了與背景相對應的對象。因此，在與快門時間相對應的間隔的某個時間點上，包含在屬於覆蓋背景區域的像素的像素值中的成分從背景成分變成前景成分。
例如，圖10中用粗線框(frame)圍繞的像素值M由方程式(1)表示M＝B02/v+B02/v+F07/v+F06/v (1)例如，由於從左邊算起第5個像素包括與一個快門時間/v相對應的背景成分和與3倍的快門時間/v相對應的前景成分，因此，從左邊算起第5個像素的混合比α是1/4。由於從左邊算起第6個像素包括與2倍的快門時間/v相對應的背景成分和與2倍的快門時間/v相對應的前景成分，因此，從左邊算起第6個像素的混合比α是1/2。由於從左邊算起第7個像素包括與3倍的快門時間/v相對應的背景成分和與一個快門時間/v相對應的前景成分，因此，從左邊算起第7個像素的混合比α是3/4。
可以假設與前景相對應的對象是剛體，以及任何前景成分以恆速運動，致使其被包括在4個像素中。因此，例如，圖10中相應於快門打開算起的第1快門時間/v的從左邊算起第4個像素中的前景成分F07/v等於圖10中與從快門打開算起的第2快門時間/v相對應的從左邊算起第5個像素的前景成分。類似地，前景成分F07/v分別等於圖10中與從快門打開算起的第3快門時間/v相對應的從左邊算起第6個像素的前景成分、和圖10中與從快門打開算起的第4快門時間/v相對應的從左邊算起第7個像素的前景成分。
可以假設與前景相對應的對象是剛體，以及任何前景成分以恆速運動，致使其被包括在4個像素中。因此，例如，圖10中相應於從快門打開算起的第1快門時間/v的從左邊算起第3個像素的前景成分F06/v等於圖10中與從快門打開算起的第2快門時間/v相對應的從左邊算起第4個像素的前景成分。類似地，前景成分F06/v分別等於圖10中與從快門打開算起的第3快門時間/v相對應的從左邊算起第5個像素的前景成分、和圖10中與從快門打開算起的第4快門時間/v相對應的從左邊算起第6個像素的前景成分。
可以假設與前景相對應的對象是剛體，以及任何前景成分以恆速運動，致使其被包括在4個像素中。因此，例如，圖10中相應於從快門打開算起的第1快門時間/v的從左邊算起第2個像素的前景成分F05/v等於圖10中與從快門打開算起的第2快門時間/v相對應的從左邊算起第3個像素的前景成分。類似地，前景成分F05/v分別等於圖10中與從快門打開算起的第3快門時間/v相對應的從左邊算起第4個像素的前景成分、和圖10中與從快門打開算起的第4快門時間/v相對應的從左邊算起第5個像素的前景成分。
可以假設與前景相對應的對象是剛體，以及任何前景成分以恆速運動，致使其被包括在4個像素中。因此，例如，圖10中與從快門打開算起的第1快門時間/v相對應的最左邊像素的前景成分F04/v等於圖10中與從快門打開算起的第2快門時間/v相對應的從左邊算起第2個像素的前景成分。類似地，前景成分F04/v分別等於圖10中與從快門打開算起的第3快門時間/v相對應的從左邊算起第3個像素的前景成分、和圖10中與從快門打開算起的第4快門時間/v相對應的從左邊算起第4個像素的前景成分。
如上所述，由於與運動對象相對應的前景區域包括運動模糊，因此，可以認為這是「失真區域」。
圖11顯示當前景在圖中朝著右側移動時，沿著時間方向展開包括未覆蓋背景區域的一行上的像素的像素值所獲得的模型圖。在圖11中，運動量v是4。
由於一個幀是一個短間隔，因此，可以假設與前景相對應的對象是一個剛體並作恆速運動。在圖11中，與前景相對應的對象圖像的任何成分運動致使其被包括在4個像素中。
例如，前景成分F01/v運動致使其被包括從左算起的第5到第8個像素中。
在圖11中，快門時間內前景的運動量v是4。
在圖11中，最左邊像素到第4個像素屬於背景區域。在圖11中，從最左算起第5個像素到第7個像素屬於作為未覆蓋背景區域的混合區域。在圖11中，最右邊像素屬於前景區域。
由於與覆蓋相應於背景的對象的前景相對應的對象發生移動，致使隨著時間的流逝逐漸從與背景相對應的對象的前面移走。因此，在與快門時間相對應的間隔的某個時間點上，包含在屬於未覆蓋背景區域的像素的像素值中的成分從前景成分變成背景成分。
例如，圖11中用粗線框圍繞的像素值M′由方程式(2)表示M′＝F02/v+F01/v+B26/v+B26/v(2)例如，從左邊算起第5個像素包括與3倍的快門時間/v相對應的背景成分和與一個快門時間/v相對應的前景成分，因此，從左邊算起第5個像素的混合比α是3/4。從左邊算起第6個像素包括與2倍的快門時間/v相對應的背景成分和與2倍的快門時間/v相對應的前景成分，因此，從左邊算起第6個像素的混合比α是1/2。從左邊算起第7個像素包括與一個快門時間/v相對應的背景成分和與3倍的快門時間/v相對應的前景成分，因此，從左邊算起第7個像素的混合比α是1/4。
當推廣方程式(1)和方程式(2)時，像素值M可以由方程式(3)表示M=B+iFi/v---(3)]]>這裡，α表示混合比。B表示背景的像素值，和Fi/v表示前景成分。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，快門時間內的運動量v是4。因此，例如，圖11中與從快門打開算起的第1快門時間/v相對應的從左邊算起第5個像素的前景成分F01/v等於圖11中與從快門打開算起的第2快門時間/v相對應的從左邊算起第6個像素的前景成分。類似地，前景成分F01/v分別等於圖11中與從快門打開算起的第3快門時間/v相對應的從左邊算起第7個像素的前景成分、和圖11中與從快門打開算起的第4快門時間/v相對應的從左邊算起第8個像素的前景成分。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，虛擬分割數是4。因此，例如，圖11中與從快門打開算起的第1快門時間/v相對應的從左邊算起第6個像素的前景成分F02/v等於圖11中與從快門打開算起的第2快門時間/v相對應的從左邊算起第7個像素的前景成分。類似地，前景成分F07/v等於圖11中與從快門打開算起的第3快門時間/v相對應的從左邊算起第8個像素的前景成分。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，運動量v是4。因此，例如，圖11中與從快門打開算起的第1快門時間/v相對應的從左邊算起第7個像素的前景成分F03/v等於圖11中與從快門打開算起的第2快門時間/v相對應的從左邊算起第8個像素的前景成分。
已經參照圖9到圖11描述了虛擬分割數是4的情況。虛擬分割數對應於快門時間內的運動量v。快門時間內的運動量v一般對應於與前景相對應的對象的運動速度。例如，如果前景成分移動，致使其被包括在一幀中的4個像素，則快門時間內的運動量v設定為4。根據快門時間內的運動量v，虛擬分割數也設定為4。
類似地，例如，當前景成分移動，致使其被包括在一幀中的6個像素，則快門時間內的運動量v設定為6，並且虛擬分割數也設定為6。
圖12和圖13顯示了如上所述的前景區域、背景區域以及由覆蓋背景區域或未覆蓋背景區域組成的混合區域與相應於分隔快門時間的前景成分和背景成分之間的關係。
圖12顯示了從包括與在靜止背景的前面移動的對象相對應的前景的圖像中提取前景區域、背景區域、和混合區域的像素的例子。在圖12所示的例子中，用A表示的與前景相對應的對象在屏幕上沿著水平方向移動。
幀#n+1是接在幀#n之後的幀，和幀#n+2是接在幀#n+1之後的幀。
從幀#n到幀#n+2之一中提取前景區域、背景區域、和混合區域的像素，快門時間內的運動量v設置為4。圖13顯示了沿著時間方向展開的提取像素的像素值所獲得的模型。
由於與前景相對應的對象發生移動，前景區域的像素值由與快門時間/v的間隔相對應的4個不同前景成分組成。例如，圖13所示的前景區域的像素的最左邊像素由F01/v、F02/v、F03/v、和F04/v組成。也就是說，前景區域的像素包含了運動模糊。
由於與背景相對應的對象保持靜止，因此，輸入傳感器的、與背景相對應的光在快門時間內不發生改變。在這種情況下，背景區域的像素值不包含運動模糊。
屬於由覆蓋背景區域或未覆蓋背景區域組成的混合區域的像素的像素值由前景成分和背景成分組成。
下面描述當與對象相對應的圖像發生移動時，沿著時間方向展開在多個幀中一個接一個排列並位於相同位置上的像素的像素值所獲得的模型。例如，當與對象相對應的圖像在屏幕上沿著水平方向移動時，可以選擇在屏幕上排列成一行的像素，作為一個接一個排列的像素。
圖14顯示沿著時間方向展開在拍攝與靜止背景相對應的對象所得的圖像的三個幀中一個接一個排列並位於相同位置上的像素的像素值所獲得的模型圖。在圖14中，快門時間與幀間隔時間具有相同的長度。
幀#n是接在#n-1之後的幀，和幀#n+1是接在#n之後的幀。其它幀用相同的方式表示。
圖14所示的像素值B01到B12是與靜止背景對象相對應的像素的像素值。由於與背景相對應的對象保持靜止，因此，在幀#n-1到幀#n+1中，相應像素的像素值不發生改變。例如，在與幀#n-1中具有像素值B05相對應的位置上幀#n中的像素和幀#n+1中的像素分別具有像素值B05。
下面參照圖15和圖16描述快門時間等於幀間隔時間時所拍攝的包括覆蓋背景區域的圖像。
圖15顯示沿著時間方向展開在拍攝與圖中向右移動的前景相對應的對象、以及與靜止背景相對應的對象所得圖像的三個幀中一個接一個排列並位於相同位置上的像素的像素值所獲得的模型圖。
在圖15中可以假設與前景相對應的對象是剛體並以恆速運動。此外，任一前景成分發生移動，致使被包括在一幀的4個像素中。因此，快門時間內的運動量v是4，虛擬分割數也設置4。
例如，與從快門打開算起的第1快門時間/v相對應的圖15中幀#n-1的最左邊像素的前景成分是F12/v，與從快門打開算起的第2快門時間/v相對應的圖15中從左邊算起第2個像素的前景成分也是F12/v。與從快門打開算起的第3快門時間/v相對應的圖15中從左邊算起第3個像素的前景成分，和與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第4個像素的前景成分都是F12/v。
與從快門打開算起的第2快門時間/v相對應的圖15中的幀#n-1中的最左邊像素的前景成分是F11/v，和與從快門打開算起的第3快門時間/v相對應的圖15中從左邊算起第2個像素的前景成分也是F11/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第3個像素的前景成分是F11/v。
與從快門打開算起的第3快門時間/v相對應的圖15中的幀#n-1中的最左邊像素的前景成分是F10/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第2個像素的前景成分也是F10/v。與從快門打開算起的第4快門時間/v相對應的圖15中的幀#n-1中的最左邊像素的前景成分是F09/v。
由於與背景相對應的對象保持靜止，所以與從快門打開算起的第1快門時間/v相對應的圖15中的幀#n-1中從左邊算起第2個像素的背景成分是B01/v。與從快門打開算起的第1和第2快門時間/v相對應的圖15中的幀#n-1中從左邊算起第3個像素的背景成分都是B02/v。與從快門打開算起的第1到第3快門時間/v相對應的圖15中的幀#n-1中從左邊算起第4個像素的背景成分B03/v。
在圖15中的幀#n-1中，最左邊的像素屬於前景區域，和從左邊算起第2個到第4個像素屬於作為覆蓋背景區域的混合區域。
在圖15中的幀#n-1中從左邊算起的第5個像素到第12個像素屬於背景區域，和其像素值分別是B04到B11。
在圖15中的幀#n中從左邊算起的第1個像素到第5個像素屬於前景區域。在幀#n中的前景區域中與快門時間/v相對應的前景成分是F05/v到F12/v之一。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，快門時間內的運動量v是4，並且快門時間等於幀間隔時間，在下一幀中前景圖像向右移動4個像素並顯示。
因此，與從快門打開算起的第1快門時間/v相對應的圖15中的幀#n中從左邊算起第5個像素的前景成分是F12/v。與從快門打開算起的第2快門時間/v相對應的圖15中從左邊算起第6個像素的前景成分也是F12/v。與從快門打開算起的第3快門時間/v相對應的圖15中從左邊算起第7個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第8個像素的前景成分都是F12/v。
與從快門打開算起的第2快門時間/v相對應的圖15中的幀#n中從左邊算起第5個像素的前景成分是F11/v。與從快門打開算起的第3快門時間/v相對應的圖15中從左邊算起第6個像素的前景成分也是F11/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第7個像素的前景成分是F11/v。
與從快門打開算起的第3快門時間/v相對應的圖15中的幀#n中從左邊算起第5個像素的前景成分是F10/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第6個像素的前景成分也是F10/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第5個像素的前景成分是F09/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第1快門時間/v相對應的圖15中的幀#n中從左邊算起第6個像素的背景成分是B05/v。與從快門打開算起的第1和第2快門時間/v相對應的圖15中的幀#n中從左邊算起第7個像素的背景成分都是B06/v。與從快門打開算起的第1到第3快門時間/v相對應的圖15中的幀#n中從左邊算起第8個像素的背景成分B07/v。
在圖15中的幀#n中，從左邊算起第6個到第8個像素屬於作為覆蓋背景區域的混合區域。
在圖15中的幀#n中從左邊算起的第9個像素到第12個像素屬於背景區域，和像素值分別是B08到B11。
在圖15中的幀#n+1中從左邊算起的第1個到第9個像素屬於前景區域。在幀#n+1中的前景區域中與快門時間/v相對應的前景成分是F01/v到F12/v之一。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，快門時間內的運動量v是4，並且快門時間等於幀間隔時間。因此，與從快門打開算起的第1快門時間/v相對應的圖15中的幀#n+1中從左邊算起第9個像素的前景成分是F12/v，和與從快門打開算起的第2快門時間/v相對應的圖15中從左邊算起第10個像素的前景成分也是F12/v。與從快門打開算起的第3快門時間/v相對應的圖15中從左邊算起第11個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第12個像素的前景成分都是F12/v。
與從快門打開算起的第2快門時間/v相對應的圖15中的幀#n+1中從左邊算起第9個像素的前景成分是F11/v。與從快門打開算起的第3快門時間/v相對應的圖15中從左邊算起第10個像素的前景成分也是F11/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第11個像素的前景成分是F11/v。
與從快門打開算起的第3快門時間/v相對應的圖15中的幀#n+1中從左邊算起第9個像素的前景成分是F10/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第10個像素的前景成分也是F10/v。與從快門打開算起的第4快門時間/v相對應的圖15中從左邊算起第9個像素的前景成分是F09/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第1快門時間/v相對應的圖15中的幀#n+1中從左邊算起第10個像素的背景成分是B09/v。與從快門打開算起的第1和第2快門時間/v相對應的圖15中的幀#n+1中從左邊算起第11個像素的背景成分都是B10/v。與從快門打開算起的第1到第3快門時間/v相對應的圖15中的幀#n+1中從左邊算起第12個像素的背景成分B11/v。
在圖15中的幀#n+1中，從左邊算起第10個到第12個像素屬於作為覆蓋背景區域的混合區域。
圖16顯示從圖15所示的像素值中提取前景成分所獲得的圖像模型圖。
圖17顯示沿著時間方向展開在拍攝與靜止背景相對應的對象所得的圖像的三個幀中一個接一個排列並位於相同位置上的像素的像素值所獲得的模型圖。在圖17中，幀間隔時間為快門時間的2倍。
圖17所示的像素值B01到B12是與靜止背景對象相對應的像素的像素值。由於與背景相對應的對象保持靜止，因此，在幀#n-1到幀#n+1中，相應像素的像素值不發生改變。例如，在與幀#n-1中具有像素值B05相對應的位置上幀#n中的像素和幀#n+1中的像素分別具有像素值B05。
這樣，即使快門時間和幀間隔時間之間的關係發生改變，包括在通過僅拍攝靜止背景所獲得的圖像中的圖像成分也是相同的。
下面參照圖18和圖19描述快門時間等於幀間隔時間的一半時所拍攝的包括覆蓋背景區域的圖像。
圖18顯示沿著時間方向展開在拍攝與圖中向右移動的前景相對應的對象、以及與靜止背景相對應的對象所得圖像的三個幀中一個接一個排列並位於相同位置上的像素的像素值所獲得的模型圖。
在圖18中可以假設與前景相對應的對象是剛體並以恆速運動。此外，任一前景成分發生移動，致使被包括在一幀的4個像素中。因此，快門時間內的運動量v是4，虛擬分割數也設置4。
例如，與從快門打開算起的第1快門時間/v相對應的圖18中幀#n-1的最左邊像素的前景成分是F20/v，與從快門打開算起的第2快門時間/v相對應的圖18中從左邊算起第2個像素的前景成分也是F20/v。與從快門打開算起的第3快門時間/v相對應的圖18中從左邊算起第3個像素的前景成分，和與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第4個像素的前景成分都是F20/v。
與從快門打開算起的第2快門時間/v相對應的圖18中的幀#n-1中的最左邊像素的前景成分是F19/v。與從快門打開算起的第3快門時間/v相對應的圖18中從左邊算起第2個像素的前景成分也是F19/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第3個像素的前景成分是F19/v。
與從快門打開算起的第3快門時間/v相對應的圖18中的幀#n-1中的最左邊像素的前景成分是F18/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第2個像素的前景成分也是F18/v。與從快門打開算起的第4快門時間/v相對應的圖18中的幀#n-1中的最左邊像素的前景成分是F17/v。
由於與背景相對應的對象保持靜止，所以與從快門打開算起的第1快門時間/v相對應的圖18中的幀#n-1中從左邊算起第2個像素的背景成分是B01/v。與從快門打開算起的第1和第2快門時間/v相對應的圖18中的幀#n-1中從左邊算起第3個像素的背景成分都是B02/v。與從快門打開算起的第1到第3快門時間/v相對應的圖18中的幀#n-1中從左邊算起第4個像素的背景成分B03/v。
在圖18中的幀#n-1中，最左邊的像素屬於前景區域，和從左邊算起第2個到第4個像素屬於作為覆蓋背景區域的混合區域。
在圖18中的幀#n-1中從左邊算起的第5個像素到第12個像素屬於背景區域，和其像素值分別是B04到B19。
在圖18中的幀#n中從左邊算起的第1個像素到第9個像素屬於前景區域。在幀#n中的前景區域中與快門時間/v相對應的前景成分是F09/v到F20/v之一。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，快門時間內的運動量v是4，並且幀間隔時間是快門時間的2倍，在下一幀中前景圖像向右移動8個像素並顯示。
因此，與從快門打開算起的第1快門時間/v相對應的圖18中的幀#n中從左邊算起第9個像素的前景成分是F20/v，與從快門打開算起的第2快門時間/v相對應的圖18中從左邊算起第10個像素的前景成分也是F20/v。與從快門打開算起的第3快門時間/v相對應的圖18中從左邊算起第11個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第12個像素的前景成分都是F20/v。
與從快門打開算起的第2快門時間/v相對應的圖18中的幀#n中從左邊算起第9個像素的前景成分是F19/v。與從快門打開算起的第3快門時間/v相對應的圖18中從左邊算起第10個像素的前景成分也是F19/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第11個像素的前景成分是F19/v。
與從快門打開算起的第3快門時間/v相對應的圖18中的幀#n中從左邊算起第9個像素的前景成分是F18/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第10個像素的前景成分也是F18/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第9個像素的前景成分是F17/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第1快門時間/v相對應的圖18中的幀#n中從左邊算起第10個像素的背景成分是B09/v。與從快門打開算起的第1和第2快門時間/v相對應的圖18中的幀#n中從左邊算起第11個像素的背景成分都是B10/v。與從快門打開算起的第1到第3快門時間/v相對應的圖18中的幀#n中從左邊算起第12個像素的背景成分B11/v。
在圖18中的幀#n中，從左邊算起第10個到第12個像素屬於作為覆蓋背景區域的混合區域。
在圖18中的幀#n中從左邊算起的第13個像素到第20個像素屬於背景區域，和像素值分別是B12到B19。
在圖18中的幀#n+1中從左邊算起的第1個到第17個像素屬於前景區域。在幀#n+1中的前景區域中與快門時間/v相對應的前景成分是F01/v到F20/v之一。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，快門時間內的運動量v是4，並且幀間隔時間是快門時間的2倍。因此，與從快門打開算起的第1快門時間/v相對應的圖18中的幀#n+1中從左邊算起第17個像素的前景成分是F20/v，和與從快門打開算起的第2快門時間/v相對應的圖18中從左邊算起第18個像素的前景成分也是F20/v。與從快門打開算起的第3快門時間/v相對應的圖18中從左邊算起第19個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第20個像素的前景成分都是F20/v。
與從快門打開算起的第2快門時間/v相對應的圖18中的幀#n+1中從左邊算起第17個像素的前景成分是F19/v。與從快門打開算起的第3快門時間/v相對應的圖18中從左邊算起第18個像素的前景成分也是F19/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第19個像素的前景成分是F19/v。
與從快門打開算起的第3快門時間/v相對應的圖18中的幀#n+1中從左邊算起第17個像素的前景成分是F18/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第18個像素的前景成分也是F18/v。與從快門打開算起的第4快門時間/v相對應的圖18中從左邊算起第17個像素的前景成分是F17/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第1快門時間/v相對應的圖18中的幀#n+1中從左邊算起第18個像素的背景成分是B17/v。與從快門打開算起的第1和第2快門時間/v相對應的圖18中的幀#n+1中從左邊算起第19個像素的背景成分都是B18/v。與從快門打開算起的第1到第3快門時間/v相對應的圖18中的幀#n+1中從左邊算起第20個像素的背景成分B19/v。
在圖18中的幀#n+1中，從左邊算起第18個到第20個像素屬於作為覆蓋背景區域的混合區域。
圖19顯示從圖18所示的像素值中提取前景成分所獲得的圖像模型圖。
下面參照圖20和圖21描述快門時間等於幀間隔時間時所拍攝的包括未覆蓋背景區域的圖像。
圖20顯示沿著時間方向展開在拍攝與圖中向右移動的對象相對應的前景、以及靜止背景所得圖像的三個幀中一個接一個排列並位於相同位置上的像素的像素值所獲得的模型圖。
在圖20中，可以假設與前景相對應的對象是剛體並以恆速運動。此外，前景成分運動致使被包括在一個幀的4個像素中。因此，快門時間內的運動量v是4。
例如，與從快門打開算起的第1快門時間/v相對應的圖20中的幀#n-1的最左邊像素的前景成分是F13/v，與從快門打開算起的第2快門時間/v相對應的圖20中從左邊算起第2個像素的前景成分也是F13/v。與從快門打開算起的第3快門時間/v相對應的圖20中從左邊算起第3個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖20中從左邊算起第4個像素的前景成分都是F13/v。
與從快門打開算起的第1快門時間/v相對應的圖20中的幀#n-1中從左邊算起第2個像素的前景成分是F14/v。與從快門打開算起的第2快門時間/v相對應的圖20中從左邊算起第3個像素的前景成分也是F14/v。與從快門打開算起的第1快門時間/v相對應的圖20中從左邊算起第3個像素的前景成分是F15/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第2到第4快門時間/v相對應的圖20中的幀#n-1中的最左邊像素的背景成分是B25/v。與從快門打開算起的第3和第4快門時間/v相對應的圖20中的幀#n-1中從左邊算起第2個像素的背景成分都是B26/v。與從快門打開算起的第4快門時間/v相對應的圖20中的幀#n-1中從左邊算起第3個像素的背景成分B27/v。
在圖20中的幀#n-1中，最左邊像素到第3個像素屬於作為未覆蓋背景區域的混合區域。
在圖20中的幀#n-1中從左邊算起的第4個像素到第12個像素屬於前景區域。幀中的前景成分是F13/v到F24/v之一。
在圖20中的幀#n中最左邊像素到從左邊算起的第4個像素屬於背景區域，和像素值分別是B25到B28。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，一個前景成分發生移動，致使被包括在一個幀的4個像素中。因此，與從快門打開算起的第1快門時間/v相對應的圖20中的幀#n中從左邊算起第5個像素的前景成分是F13/v，和與從快門打開算起的第2快門時間/v相對應的圖20中從左邊算起第6個像素的前景成分也是F13/v。與從快門打開算起的第3快門時間/v相對應的圖20中從左邊算起第7個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖20中從左邊算起第8個像素的前景成分都是F13/v。
與從快門打開算起的第1快門時間/v相對應的圖20中的幀#n中從左邊算起第6個像素的前景成分是F14/v。與從快門打開算起的第2快門時間/v相對應的圖20中從左邊算起第7個像素的前景成分也是F14/v。與從快門打開算起的第1快門時間/v相對應的圖20中從左邊算起第8個像素的前景成分是F15/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第2到第4快門時間/v相對應的圖20中的幀#n中從左邊算起第5個像素的背景成分是B29/v。與從快門打開算起的第3和第4快門時間/v相對應的圖20中的幀#n中從左邊算起第6個像素的背景成分都是B30/v。與從快門打開算起的第4快門時間/v相對應的圖20中的幀#n中從左邊算起第7個像素的背景成分B31/v。
在圖20中的幀#n中，從左邊算起第5個到第7個像素屬於作為未覆蓋背景區域的混合區域。
在圖20中的幀#n中從左邊算起的第8個像素到第12個像素屬於前景區域。在幀#n的前景區域中與快門時間/v相對應的值是F13/v到F20/v之一。
在圖20中的幀#n+1中的最左邊像素到從左邊算起的第8個像素屬於背景區域，和其像素值分別是B25到B32。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，一個前景成分發生移動，致使被包括在一個幀的4個像素中。因此，與從快門打開算起的第1快門時間/v相對應的圖20中的幀#n+1中從左邊算起第9個像素的前景成分是F13/v，和與從快門打開算起的第2快門時間/v相對應的圖20中從左邊算起第10個像素的前景成分也是F13/v。與從快門打開算起的第3快門時間/v相對應的圖20中從左邊算起第11個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖20中從左邊算起第12個像素的前景成分都是F13/v。
與從快門打開算起的第1快門時間/v相對應的圖20中的幀#n+1中從左邊算起第10個像素的前景成分是F14/v。與從快門打開算起的第2快門時間/v相對應的圖20中從左邊算起第11個像素的前景成分也是F14/v。與從快門打開算起的第1快門時間/v相對應的圖20中從左邊算起第12個像素的前景成分是F15/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第2到第4快門時間/v相對應的圖20中的幀#n+1中從左邊算起第9個像素的背景成分都是B33/v。與從快門打開算起的第3和第4快門時間/v相對應的圖20中的幀#n+1中從左邊算起第10個像素的背景成分都是B34/v。與從快門打開算起的第4快門時間/v相對應的圖20中的幀#n+1中從左邊算起第11個像素的背景成分B35/v。
在圖20中的幀#n+1中，從左邊算起第9個到第11個像素屬於作為未覆蓋背景區域的混合區域。
圖20中的幀#n+1中從左邊算起的第12個像素屬於前景區域。在幀#n+1中的前景區域中與快門時間/v相對應的前景成分是F13/v到F16/v之一。
圖21顯示從圖20所示的像素值中提取前景成分所獲得的圖像模型圖。
下面參照圖22和圖23描述幀間隔時間是快門時間的2倍時所拍攝的包括未覆蓋背景區域的圖像。
圖22顯示沿著時間方向展開在拍攝與圖中向右移動的對象相對應的前景、以及靜止背景所得圖像的三個幀中一個接一個排列並位於相同位置上的像素的像素值所獲得的模型圖。
在圖22中，可以假設與前景相對應的對象是剛體並以恆速運動。此外，任意前景成分運動致使被包括在一個幀的4個像素中。因此，快門時間內的運動量v是4。
例如，與從快門打開算起的第1快門時間/v相對應的圖22中的幀#n-1的最左邊像素的前景成分是F13/v，與從快門打開算起的第2快門時間/v相對應的圖22中從左邊算起第2個像素的前景成分也是F13/v。與從快門打開算起的第3快門時間/v相對應的圖22中從左邊算起第3個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖22中從左邊算起第4個像素的前景成分都是F13/v。
與從快門打開算起的第1快門時間/v相對應的圖22中的幀#n-1中從左邊算起第2個像素的前景成分是F14/v。與從快門打開算起的第2快門時間/v相對應的圖22中從左邊算起第3個像素的前景成分也是F14/v。與從快門打開算起的第1快門時間/v相對應的圖22中從左邊算起第3個像素的前景成分是F15/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第2到第4快門時間/v相對應的圖22中的幀#n-1中的最左邊像素的背景成分是B25/v。與從快門打開算起的第3和第4快門時間/v相對應的圖22中的幀#n-1中從左邊算起第2個像素的背景成分都是B26/v。與從快門打開算起的第4快門時間/v相對應的圖22中的幀#n-1中從左邊算起第3個像素的背景成分B27/v。
在圖22中的幀#n-1中，最左邊像素到第3個像素屬於作為未覆蓋背景區域的混合區域。
在圖22中的幀#n-1中從左邊算起的第4個像素到第20個像素屬於前景區域。幀中的前景成分是F13/v到F32/v之一。
在圖22中的幀#n中最左邊像素到從左邊算起的第8個像素屬於背景區域，和像素值分別是B25到B32。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，快門時間內的運動量是4，並且幀間隔時間是快門時間的2倍。因此，在下一個幀中前景圖像向右移動8個像素並被顯示。
與從快門打開算起的第1快門時間/v相對應的圖22中的幀#n中從左邊算起第9個像素的前景成分是F13/v，和與從快門打開算起的第2快門時間/v相對應的圖22中從左邊算起第10個像素的前景成分也是F13/v。與從快門打開算起的第3快門時間/v相對應的圖22中從左邊算起第11個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖22中從左邊算起第12個像素的前景成分都是F13/v。
與從快門打開算起的第1快門時間/v相對應的圖22中的幀#n中從左邊算起第10個像素的前景成分是F14/v。與從快門打開算起的第2快門時間/v相對應的圖22中從左邊算起第11個像素的前景成分也是F14/v。與從快門打開算起的第1快門時間/v相對應的圖22中從左邊算起第12個像素的前景成分是F15/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第2到第4快門時間/v相對應的圖22中的幀#n中從左邊算起第9個像素的背景成分是B33/v。與從快門打開算起的第3和第4快門時間/v相對應的圖22中的幀#n中從左邊算起第10個像素的背景成分都是B34/v。與從快門打開算起的第4快門時間/v相對應的圖22中的幀#n中從左邊算起第11個像素的背景成分B35/v。
在圖22中的幀#n中，從左邊算起第9個到第11個像素屬於作為未覆蓋背景區域的混合區域。
在圖22中的幀#n中從左邊算起的第12個像素到第20個像素屬於前景區域。在幀#n的前景區域中與快門時間/v相對應的值是F13/v到F24/v之一。
在圖22中的幀#n+1中的最左邊像素到從左邊算起的第16個像素屬於背景區域，和其像素值分別是B25到B40。
可以假設與前景相對應的對象是剛體並以恆速運動。此外，一個前景成分發生移動，致使被包括在一個幀的4個像素中。因此，與從快門打開算起的第1快門時間/v相對應的圖22中的幀#n+1中從左邊算起第17個像素的前景成分是F13/v，和與從快門打開算起的第2快門時間/v相對應的圖22中從左邊算起第18個像素的前景成分也是F13/v。與從快門打開算起的第3快門時間/v相對應的圖22中從左邊算起第19個像素的前景成分、和與從快門打開算起的第4快門時間/v相對應的圖22中從左邊算起第20個像素的前景成分都是F13/v。
與從快門打開算起的第1快門時間/v相對應的圖22中的幀#n+1中從左邊算起第18個像素的前景成分是F14/v。與從快門打開算起的第2快門時間/v相對應的圖22中從左邊算起第19個像素的前景成分也是F14/v。與從快門打開算起的第1快門時間/v相對應的圖22中從左邊算起第19個像素的前景成分是F15/v。
由於與背景相對應的對象保持靜止，與從快門打開算起的第2到第4快門時間/v相對應的圖22中的幀#n+1中從左邊算起第17個像素的背景成分都是B41/v。與從快門打開算起的第3和第4快門時間/v相對應的圖22中的幀#n+1中從左邊算起第18個像素的背景成分都是B42/v。與從快門打開算起的第4快門時間/v相對應的圖22中的幀#n+1中從左邊算起第19個像素的背景成分B43/v。
在圖22中的幀#n+1中，從左邊算起第17個到第19個像素屬於作為未覆蓋背景區域的混合區域。
圖22中的幀#n+1中從左邊算起的第20個像素屬於前景區域。在幀#n+1中的前景區域中與快門時間/v相對應的前景成分是F13/v到F16/v之一。
圖23顯示從圖22所示的像素值中提取前景成分所獲得的圖像模型圖。
返回到圖2，區域指定單元101利用多個幀中的像素值，指定指示輸入圖像的各個像素屬於前景區域、背景區域、覆蓋背景區域或未覆蓋背景區域中哪一個的標誌，並且把標誌供應給混合比計算器102和運動模糊調整單元104，作為區域信息。
混合比計算器102根據多個幀中的像素值和區域信息，為包含在混合區域內的每一個像素計算混合比α，並且把計算的混合比α供應給前景/背景分離器103。
混合比計算器102根據輸入圖像以及從區域指定單元供應的區域信息，生成運動向量和指示與所述運動向量相對應的像素或圖像對象的位置信息，並將所生成的運動向量和位置信息發送給運動模糊調整單元104。混合比計算器102所生成的運動向量的大小指示快門時間內的運動量v。
前景/背景分離器103根據多個幀中的像素值、區域信息、和混合比α，提取只由前景成分組成的前景成分圖像，並且將該前景成分圖像供應給運動模糊調整單元104。
運動模糊調整單元104根據前景/背景分離器103供應的前景成分圖像、混合比計算器102供應的運動向量、和區域指定單元101供應的區域信息，調整包含在前景圖像中的運動模糊量，並且輸出已經經過運動模糊調整的前景成分圖像。
下面參照圖24的流程圖描述圖像處理設備所執行的調整運動模糊量的處理。在步驟S11中，根據輸入圖像，區域指定單元101進行區域指定處理，生成指示輸入圖像的每個像素屬於前景區域、背景區域、覆蓋背景區域、或未覆蓋背景區域的哪一個的區域信息。區域指定處理以後再加以描述。區域指定單元101把生成的區域信息供應給混合比計算器102。
在步驟S11中，區域指定單元101可以根據輸入圖像，生成指示輸入圖像的每個像素屬於前景區域、背景區域、或混合區域(不考慮每一個像素是屬於覆蓋背景區域還是屬於未覆蓋背景區域)的哪一個的區域信息。在這種情況下，前景/背景分離器103和運動模糊調整單元104根據運動向量的方向，確定混合區域是覆蓋背景區域還是未覆蓋背景區域。例如，如果輸入圖像在運動向量的方向上按照前景區域、混合區域、和背景區域的順序排列，則確定混合區域是覆蓋背景區域。如果輸入圖像在運動向量的方向上按照背景區域、混合區域、和前景區域的順序排列，則確定混合區域是未覆蓋背景區域。
在步驟S12中，混合比計算器102根據輸入圖像和區域信息，為包含在混合區域內的每個像素計算混合比α和運動向量。混合比和運動向量計算的處理以後再作詳細描述。混合比計算器102把計算的混合比α供應給前景/背景分離器103，並將運動向量供應給運動模糊調整單元104。
在步驟S13中，前景/背景分離器103根據區域信息和混合比α，從輸入圖像中提取前景成分，並且將前景成分作為前景成分圖像供應給運動模糊調整單元104。
在步驟S14中，運動模糊調整單元104根據運動向量和區域信息，生成指示沿著運動方向排列並屬於未覆蓋背景區域、前景區域、或覆蓋背景區域之一的連續像素的位置的處理單元(processing unit)，並且調整與處理單元相對應的包含在前景成分中的運動模糊量。調整運動模糊量的處理以後再加以描述。
在步驟S15中，圖像處理設備確定整個屏幕的處理是否已經結束。如果確定對整個屏幕的處理還沒有結束，流程轉到步驟S14，重複調整與處理單元相對應的前景成分的運動模糊量的處理。
如果在步驟S15中確定對整個屏幕的處理已經結束，則處理結束。
通過這種方式，該圖像處理設備可以通過分離前景和背景，調整包含在前景中的運動模糊量。也就是說，該圖像處理設備可以調整包含在表示前景像素的像素值的取樣數據中的運動模糊量。
下面描述區域指定單元101、混合比計算器102、前景/背景分離器103、運動模糊調整單元104各自的配置。
圖25是顯示區域指定單元101的配置例子的方塊圖。圖25所示的區域指定單元101不使用運動向量。幀存儲器201以幀為單位存儲輸入圖像。當被處理的圖像是幀#n時，幀存儲器201存儲比幀#n早2個幀的幀#n-2、比幀#n早1個幀的幀#n-1、幀#n、比幀#n晚1個幀的幀#n+1、和比幀#n晚2個幀的幀#n+2。
靜止/運動確定部分202-1從幀存儲器201中讀出幀#n+2中、處在與幀#n中像素所屬區域已經確定的指定像素相同位置上的像素的像素值，以及讀出幀#n+1中、處在與幀#n中所述指定像素相同位置上的像素的像素值，並且計算讀出像素值之差的絕對值。靜止/運動確定部分202-1確定幀#n+2中的像素值與幀#n+1中的像素值之差的絕對值是否大於預定閾值Th。如果確定差值的絕對值大於閾值Th，則靜止/運動確定部分202-1把指示「運動」的靜止/運動判斷結果供應給區域確定部分203-1。如果確定幀#n+2中的像素值與幀#n+1中的像素值之差的絕對值小於等於閾值Th，則靜止/運動確定部分202-1把指示「靜止」的靜止/運動判斷結果供應給區域確定部分203-1。
靜止/運動確定部分202-2從幀存儲器201中讀出幀#n中像素所屬區域已經確定的指定像素的像素值，以及讀出幀#n+1中、處在與幀#n中所述指定像素相同位置上的像素的像素值，並且計算像素值之差的絕對值。靜止/運動確定部分202-2確定幀#n+1中的像素值與幀#n中的像素值之差的絕對值是否大於預定閾值Th。如果確定像素值之差的絕對值大於閾值Th，則把指示「運動」的靜止/運動判斷結果供應給區域確定部分203-1和區域確定部分203-2。如果確定幀#n+1中的像素的像素值與幀#n中的像素的像素值之差的絕對值小於等於閾值Th，則靜止/運動確定部分202-2把指示「靜止」的靜止/運動判斷結果供應給區域確定部分203-1和區域確定部分203-2。
靜止/運動確定部分202-3從幀存儲器201中讀出幀#n中像素所屬區域已經確定的指定像素的像素值，以及讀出幀#n-1中、處在與幀#n中所述指定像素相同位置上的像素的像素值，並且計算像素值之差的絕對值。靜止/運動確定部分202-3確定幀#n中的像素值與幀#n-1中的像素值之差的絕對值是否大於預定閾值Th。如果確定像素值之差的絕對值大於閾值Th，則把指示「運動」的靜止/運動判斷結果供應給區域確定部分203-2和區域確定部分203-3。如果確定幀#n中的像素的像素值與幀#n-1中的像素的像素值之差的絕對值小於等於閾值Th，則靜止/運動確定部分202-3把指示「靜止」的靜止/運動判斷結果供應給區域確定部分203-2和區域確定部分203-3。
靜止/運動確定部分202-4從幀存儲器201中讀出幀#n-1中、處在與幀#n中像素所屬區域已經確定的指定像素相同位置上的像素的像素值，以及讀出幀#n-2中、處在與幀#n中所述指定像素相同位置上的像素的像素值，並且計算像素值之差的絕對值。靜止/運動確定部分202-4確定幀#n-1中的像素值與幀#n-2中的像素值之差的絕對值是否大於預定閾值Th。如果確定像素值之差的絕對值大於閾值Th，則把指示「運動」的靜止/運動判斷結果供應給區域確定部分203-3。如果確定幀#n-1中的像素的像素值與幀#n-2中的像素的像素值之差的絕對值小於等於閾值Th，則靜止/運動確定部分202-4把指示「靜止」的靜止/運動判斷結果供應給區域確定部分203-3。
當靜止/運動確定部分202-1供應的靜止/運動判斷結果指示「靜止」，和靜止/運動確定部分202-2供應的靜止/運動判斷結果指示「運動」時，區域確定部分203-1確定幀#n中所述指定像素屬於未覆蓋背景區域，並且把與所述指定像素相對應的未覆蓋背景區域確定標誌設置成指示像素屬於未覆蓋背景區域的「1」。
當靜止/運動確定部分202-1供應的靜止/運動判斷結果指示「運動」，或靜止/運動確定部分202-2供應的靜止/運動判斷結果指示「靜止」時，區域確定部分203-1判斷幀#n中所述指定像素不屬於未覆蓋背景區域，並且把所述指定像素相對應的未覆蓋背景區域確定標誌設置成指示像素不屬於未覆蓋背景區域的「0」。
區域確定部分203-1把如上所述，已經設置成「1」或「0」的未覆蓋背景區域確定標誌供應給確定標誌存儲幀存儲器204。
當靜止/運動確定部分202-2供應的靜止/運動判斷結果指示「靜止」，和靜止/運動確定部分202-3供應的靜止/運動判斷結果指示「靜止」時，區域確定部分203-2確定幀#n中所述指定像素屬於靜止區域，並且把與所述指定像素相對應的靜止區域確定標誌設置成指示像素屬於靜止區域的「1」。
當靜止/運動確定部分202-2供應的靜止/運動判斷結果指示「運動」，或靜止/運動確定部分202-3供應的靜止/運動判斷結果指示「運動」時，區域確定部分203-2確定幀#n中所述指定像素不屬於靜止區域，並且把與所述指定像素相對應的靜止區域確定標誌設置成指示像素不屬於靜止區域的「0」。
區域確定部分203-2把如上所述，已經設置成「1」或「0」的靜止區域確定標誌供應給確定標誌存儲幀存儲器204。
當靜止/運動確定部分202-2供應的靜止/運動判斷結果指示「運動」，和靜止/運動確定部分202-3供應的靜止/運動判斷結果指示「運動」時，區域確定部分203-2確定幀#n中所述指定像素屬於運動區域，並且把與所述指定像素相對應的運動區域確定標誌設置成指示所述指定像素屬於運動區域的「1」。
當靜止/運動確定部分202-2供應的靜止/運動判斷結果指示「靜止」，或靜止/運動確定部分202-3供應的靜止/運動判斷結果指示「靜止」時，區域確定部分203-2判斷幀#n中所述指定像素不屬於運動區域，並且把與所述指定像素相對應的運動區域確定標誌設置成指示像素不屬於運動區域的「0」。
區域確定部分203-2把如上所述，已經設置成「1」或「0」的運動區域確定標誌供應給確定標誌存儲幀存儲器204。
當靜止/運動確定部分202-3供應的靜止/運動判斷結果指示「運動」，和靜止/運動確定部分202-4供應的靜止/運動判斷結果指示「靜止」時，區域確定部分203-3確定幀#n中所述指定像素屬於覆蓋背景區域，並且把與所述指定像素相對應的覆蓋背景區域確定標誌設置成指示所述指定像素屬於覆蓋背景區域的「1」。
當靜止/運動確定部分202-3供應的靜止/運動判斷結果指示「靜止」，或靜止/運動確定部分202-4供應的靜止/運動判斷結果指示「運動」時，區域確定部分203-3確定幀#n中所述指定像素不屬於覆蓋背景區域，並且把與所述指定像素相對應的覆蓋背景區域確定標誌設置成指示所述指定像素不屬於覆蓋背景區域的「0」。
區域確定部分203-3把如上所述，已經設置成「1」或「0」的覆蓋背景區域確定標誌供應給確定標誌存儲幀存儲器204。
確定標誌存儲幀存儲器204存儲區域確定部分203-1供應的未覆蓋背景區域確定標誌、區域確定部分203-2供應的靜止區域確定標誌、區域確定部分203-2供應的運動區域確定標誌、和區域確定部分203-3供應的覆蓋背景區域確定標誌。
確定標誌存儲幀存儲器204把存儲在其中的未覆蓋背景區域確定標誌、靜止區域確定標誌、運動區域確定標誌、和覆蓋背景區域確定標誌供應給合成器205。根據確定標誌存儲幀存儲器204供應的未覆蓋背景區域確定標誌、靜止區域確定標誌、運動區域確定標誌、和覆蓋背景區域確定標誌，合成器205生成指示每個像素屬於未覆蓋背景區域、靜止區域、運動區域、或覆蓋背景區域的哪一個的區域信息，並且把區域信息供應給確定標誌存儲幀存儲器206。
確定標誌存儲幀存儲器206存儲合成器205供應的區域信息，並且輸出存儲的區域信息。
現在參照圖26到圖30描述幀間隔時間具有與快門時間相同的長度時區域指定單元101所進行的處理的例子。
當與前景相對應的對象發生移動時，屏幕上與對象相對應的圖像的位置隨著每個幀而改變。如圖26所示，在幀#n中，處在Yn(x，y)所指示的位置上與對象相對應的圖像在幀#n的下一幀#n+1中處在位置Yn+1(x，y)上。
圖27示出沿著時間方向展開在與前景對象相對應的圖像的運動方向上一個接一個排列的像素的像素值所獲得的模型圖。例如，如果與前景對象相對應的圖像的運動方向相對於屏幕是水平的，則圖27所示的模型是通過沿著時間方向展開一個接一個排列成一行的像素的像素值所獲得的模型。
在圖27中，幀#n中的行與幀#n+1中的行相同。
包含在幀#n中從左邊算起第2個像素到第13個像素中的、與對象相對應的前景成分包含在幀#n+1中從左邊算起第6個到第17個像素中。
在幀#n中，屬於覆蓋背景區域的像素是從左邊算起的第11個到第13個像素，和屬於未覆蓋背景區域的像素是從左邊算起的第2個到第4個像素。在幀#n+1中，屬於覆蓋背景區域的像素是從左邊算起的第15個到第17個像素，和屬於未覆蓋背景區域的像素是從左邊算起的第6個到第8個像素。
在圖27所示的例子中，由於包含在幀#n中的前景成分移動致使被包括在4個像素中，因此，運動量v是4。與運動量v相對應，虛擬分割數也是4。
接著，對屬於指定幀之前和之後的幀中的混合區域的像素的像素值的變化加以描述。
在圖28中，在背景保持靜止和快門時間內前景的運動量v是4的幀#n中，屬於覆蓋背景區域的像素是從左邊算起的第15個到第17個像素。由於快門時間內的運動量v是4，因此，在前一幀#n-1中，從左邊算起的第15個到第17個像素只包括背景成分，並且屬於背景區域。此外，在幀#n-1一幀之前的幀#n-2中，從左邊算起的第15個到第17個像素只包括背景成分，並且屬於背景區域。
由於與背景相對應的對象保持靜止，幀#n-1中從左邊算起的第15個像素的像素值與幀#n-2中從左邊算起的第15個像素的像素值沒有發生變化。同樣，幀#n-1中從左邊算起的第16個像素的像素值與幀#n-2中從左邊算起的第16個像素的像素值沒有發生變化，和幀#n-1中從左邊算起的第17個像素的像素值與幀#n-2中從左邊算起的第17個像素的像素值沒有發生變化。
也就是說，與幀#n中屬於覆蓋背景區域的像素相對應的幀#n-1和幀#n-2的像素只由背景成分組成，其像素值不會改變。因此，像素值之間的差值的絕對值幾乎為零。於是，靜止/運動確定部分202-4作出與幀#n中屬於混合區域的像素相對應的幀#n-1和幀#n-2的像素的靜止/運動判斷結果是「靜止」的判斷。
由於幀#n中屬於覆蓋背景區域的像素包括前景成分，因此，像素值與幀#n-1中的像素值只由背景成分組成的情況不同。於是，靜止/運動確定部分202-3作出幀#n中屬於混合區域的像素和與之相對應的幀#n-1中的像素的靜止/運動判斷結果是「運動」的判斷。
如上所述，當靜止/運動確定部分202-3供應指示「運動」的靜止/運動判斷結果，和靜止/運動確定部分202-4供應指示「靜止」的靜止/運動判斷結果時，區域確定部分203-3確定相應的像素屬於覆蓋背景區域。
在圖29中，在背景保持靜止和快門時間內前景的運動量v是4的幀#n中，包含在未覆蓋背景區域中的像素是從左邊算起的第2個到第4個。由於幀間隔時間具有與快門時間相同的長度，並且運動量v是4，因此，在接在幀#n之後的幀#n+1中，從左邊算起的第2個到第4個像素只包括背景成分，並且屬於背景區域。此外，在接在幀#n+1之後的幀#n+2中，從左邊算起的第2個到第4個像素只包含背景成分，並且屬於背景區域。
由於與背景相對應的對象保持靜止，幀#n+2中從左邊算起的第2個像素的像素值與幀#n+1中從左邊算起的第2個像素的像素值沒有發生變化。同樣，幀#n+2中從左邊算起的第3個像素的像素值與幀#n+1中從左邊算起的第3個像素的像素值沒有發生變化，和幀#n+2中從左邊算起的第4個像素的像素值與幀#n+1中從左邊算起的第4個像素的像素值沒有發生變化。
也就是說，與幀#n中的未覆蓋背景區域相對應的幀#n+1和幀#n+2的像素只由背景成分組成，並且其像素值不會改變。因此，像素值之間的差值的絕對值接近零。於是，靜止/運動確定部分202-1作出與幀#n中屬於混合區域的像素相對應的幀#n+1和幀#n+2的像素的靜止/運動判斷結果是「靜止」的判斷。
由於幀#n中屬於未覆蓋背景區域的像素包括前景成分，因此，像素值與幀#n+1中像素值只由背景成分組成的情況不同。於是，靜止/運動確定部分202-2作出幀#n中屬於混合區域的像素和幀#n+1中與之相對應的像素的靜止/運動判斷結果是「運動」的判斷。
如上所述，當靜止/運動確定部分202-2供應指示「運動」的靜止/運動判斷結果，和靜止/運動確定部分202-1供應指示「靜止」的靜止/運動判斷結果時，區域確定部分203-1確定相應的像素屬於未覆蓋背景區域。
圖30顯示區域指定單元101對幀#n的判斷條件。當對幀#n-2中、處在與幀#n中將被處理的像素相同圖像位置上的像素，和對幀#n-1中、處在與所述像素相同位置上的像素的判斷結果為「靜止」時，以及當對幀#n中的像素，和對幀#n-1中、處在與幀#n中的所述像素相同圖像位置上的像素的判斷結果為「運動」時，區域指定單元101確定幀#n中的所述像素屬於覆蓋背景區域。
當對幀#n中的像素以及對幀#n-1中、處在與幀#n中的所述像素相同圖像位置上的像素的判斷結果為「靜止」時，以及當對幀#n中的像素和對幀#n+1中、處在與幀#n中的所述像素相同圖像位置上的像素的判斷結果為「靜止」時，區域指定單元101確定幀#n中的所述像素屬於靜止區域。
當對幀#n中的像素以及對幀#n-1中、處在與幀#n中的所述像素相同圖像位置上的像素的判斷結果為「運動」時，以及當對幀#n中的像素和對幀#n+1中、處在與幀#n中的所述像素相同圖像位置上的像素的判斷結果為「運動」時，區域指定單元101確定幀#n中的所述像素屬於運動區域。
當對幀#n中的像素以及對幀#n+1中、處在與幀#n中的所述像素相同圖像位置上的像素的判斷結果為「運動」時，以及當對幀#n+1中、處在與幀#n中的所述像素相同圖像位置上的像素，和對幀#n+2中、處在與幀#n中的所述像素相同圖像位置上的像素的判斷結果為「靜止」時，區域指定單元101確定幀#n中的所述像素屬於未覆蓋背景區域。
圖31A到31D顯示由區域指定單元101所獲得的區域確定結果的例子。在圖31A中，用白色顯示被確定為屬於覆蓋背景區域的像素。在圖31B中，用白色顯示被確定為屬於未覆蓋背景區域的像素。
在圖31C中，用白色顯示被確定為屬於運動區域的像素。在圖31D中，用白色顯示被確定為屬於靜止區域的像素。
圖32以圖像形式顯示從確定標誌存儲幀存儲器206輸出的區域信息中所選擇的、指示混合區域的區域信息。在圖32中，用白色顯示被確定為屬於覆蓋背景區域或未覆蓋背景區域的像素，即被確定為屬於混合區域的像素。確定標誌存儲幀存儲器206輸出的、指示混合區域的區域信息指定混合區域和在前景區域內具有被沒有紋理(texture)的部分包圍著的紋理的部分。
下面參照圖33的流程圖描述區域指定單元101進行的區域指定處理。在步驟S201中，幀存儲器201獲取包括幀#n在內的幀#n-2到幀#n+2的圖像。
在步驟S202中，靜止/運動確定部分202-3確定對幀#n-1中的像素和對處在相同位置上的幀#n中的像素的判斷結果是否為靜止。如果確定判斷結果為靜止，則流程轉到步驟S203，在步驟S203中，靜止/運動確定部分202-2確定對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果是否為靜止。
在步驟S203中，如果確定對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果為靜止，流程轉到步驟S204。在步驟S204中，區域確定部分203-2把與被處理的像素相對應的靜止區域確定標誌設置成指示被處理的像素屬於靜止區域的「1」。區域確定部分203-2把靜止區域確定標誌供應給確定標誌存儲幀存儲器204，然後，過程轉到步驟S205。
在步驟S202中，如果確定對幀#n-1的像素和對處在相同位置上的幀#n的像素的判斷結果為運動，或者，在步驟S203中，如果確定對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果為運動，則被處理的像素不屬於靜止區域。於是，跳過步驟S204中的處理，過程轉到步驟S205。
在步驟S205中，靜止/運動確定部分202-3確定對幀#n-1的像素和處在相同位置上的幀#n的像素的判斷結果是否為運動。如果確定判斷結果為運動，則流程轉到步驟S206，在步驟S206中，靜止/運動確定部分202-2確定對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果是否為運動。
在步驟S206中，如果確定對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果為運動，那麼，過程轉到步驟S207。在步驟S207中，區域確定部分203-2把與被處理的像素相對應的運動區域確定標誌設置成指示被處理的像素屬於運動區域的「1」。區域確定部分203-2把運動區域確定標誌供應給確定標誌存儲幀存儲器204，然後，過程轉到步驟S208。
在步驟S205中，如果對幀#n-1的像素和對處在相同位置上的幀#n的像素的判斷結果為靜止，或者，在步驟S206中，如果對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果為靜止，那麼，幀#n的像素不屬於運動區域。因此，跳過步驟S207中的處理，過程轉到步驟S208。
在步驟S208中，靜止/運動確定部分202-4確定對幀#n-2的像素和對處在相同位置上的幀#n-1的像素的判斷結果是否為靜止。如果確定判斷結果為靜止，則流程轉到步驟S209，在步驟S209中，靜止/運動確定部分202-3確定對幀#n-1的像素和對處在相同位置上的幀#n的像素的判斷結果是否為運動。
在步驟S209中，如果確定對幀#n-1的像素和對處在相同位置上的幀#n的像素的判斷結果為運動，那麼，過程轉到步驟S210。在步驟S210中，區域確定部分203-3把與被處理的像素相對應的覆蓋背景區域確定標誌設置成指示被處理的像素屬於覆蓋背景區域的「1」。區域確定部分203-3把覆蓋背景區域確定標誌供應給確定標誌存儲幀存儲器204，然後，過程轉到步驟S211。
在步驟S208中，如果確定對幀#n-2的像素和對處在相同位置上的幀#n-1的像素的判斷結果為運動，或者，在步驟S209中，如果確定對幀#n-1的像素和對處在相同位置上的幀#n的像素的判斷結果為靜止，那麼，幀#n的像素不屬於覆蓋背景區域。因此，跳過步驟S210中的處理，過程轉到步驟S211。
在步驟S211中，靜止/運動確定部分202-2確定對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果是否為運動。如果在步驟S211中確定判斷結果為運動，流程轉到步驟S212，在步驟S212中，靜止/運動確定部分202-1確定對幀#n+1的像素和對處在相同位置上的幀#n+2的像素的判斷結果是否為靜止。
在步驟S212中，如果確定對幀#n+1的像素和對處在相同位置上的幀#n+2的像素的判斷結果為靜止，那麼，流程轉到步驟S213。在步驟S213中，區域確定部分203-1把與被處理的像素相對應的未覆蓋背景區域確定標誌設置成指示被處理的像素屬於未覆蓋背景區域的「1」。區域確定部分203-1把未覆蓋背景區域確定標誌供應給確定標誌存儲幀存儲器204，然後，過程轉到步驟S214。
在步驟S211中，如果確定對幀#n的像素和對處在相同位置上的幀#n+1的像素的判斷結果為靜止，或者，在步驟S212中，如果確定對幀#n+1的像素和對處在相同位置上的幀#n+2的像素的判斷結果為運動，那麼，幀#n的像素不屬於未覆蓋背景區域。因此，跳過步驟S213中的處理，過程轉到步驟S214。
在步驟S214中，區域指定單元101確定幀#n中的所有像素是否都得到區域指定。如果確定並非幀#n中的所有像素都得到區域指定，過程返回到步驟S202，為其它像素重複執行區域指定處理。
在步驟S214中，如果確定幀#n中的所有像素都得到區域指定，那麼，流程轉到步驟S215。在步驟S215中，合成器205根據存儲在確定標誌存儲幀存儲器204中的未覆蓋背景區域確定標誌和覆蓋背景區域確定標誌，生成指示混合區域的區域信息，並且還生成指示每個像素屬於未覆蓋背景區域、靜止區域、運動區域、或覆蓋背景區域的哪一個的區域信息，把生成的區域信息設置到確定標誌存儲幀存儲器206中，然後，結束處理。
如上所述，區域指定單元101可以生成指示包含在幀中的每個像素屬於運動區域、靜止區域、未覆蓋背景區域、或覆蓋背景區域的哪一個的區域信息。
區域指定單元101可以求出與未覆蓋背景區域相對應的區域信息和與覆蓋背景區域相對應的區域信息的邏輯「或」，從而生成與混合區域相對應的區域信息，並進而生成由指示包含在幀中的每個像素屬於運動區域、靜止區域、或混合區域的哪一個的標誌組成的區域信息。
當與前景相對應的對象具有紋理時，區域指定單元101可以更精確地指定運動區域。
區域指定單元101可以輸出指示運動區域的區域信息，作為指示前景區域的區域信息，或輸出指示靜止區域的區域信息，作為指示背景區域的區域信息。
已經對假定與背景相對應的對象保持靜止的實施例作了描述。但是，即使與背景區域相對應的圖像涉及到運動，也可以應用上述指定區域的處理。例如，如果與背景區域相對應的圖像勻速運動，那麼，區域指定單元101根據該運動平移整個圖像，並且以與背景相對應的對象保持靜止的情況相同的方式進行處理。如果與背景區域相對應的圖像包括局部不同的運動，那麼，區域指定單元101選擇與運動相對應的像素，進行上述處理。
圖34是顯示區域指定單元101的另一個配置例子的方塊圖。背景圖像生成器301生成與輸入圖像相對應的背景圖像，並且把生成的背景圖像供應給二值對象圖像提取部分302。背景圖像生成器301提取，例如，包含在輸入圖像中與背景對象相對應的圖像對象，並生成背景圖像。
通過將與前景對象相對應、沿著圖像的運動方向一個接一個排列的像素的像素值沿著時間方向展開所獲得的模型圖的例子顯示在圖35中。例如，如果與前景對象相對應的圖像的運動方向相對於屏幕是水平的，則圖35所示的模型圖是通過在時域中展開一行中一個接一個排列的像素的像素值所獲得的模型。
在圖35中，幀#n中的行與幀#n-1中的行和幀#n+1中的行相同。
在幀#n中，包含在從左邊算起第6個像素到第17個像素中的、與對象相對應的前景成分包含在幀#n-1中從左邊算起第2個到第13個像素中，也包含在幀#n+1中從左邊算起第10個到第21個像素中。
在幀#n-1中，屬於覆蓋背景區域的像素是從左邊算起的第11個到第13個像素，和屬於未覆蓋背景區域的像素是從左邊算起的第2個到第4個像素。在幀#n中，屬於覆蓋背景區域的像素是從左邊算起的第15個到第17個像素，和屬於未覆蓋背景區域的像素是從左邊算起的第6個到第8個像素。在幀#n+1中，屬於覆蓋背景區域的像素是從左邊算起的第19個到第21個像素，和屬於未覆蓋背景區域的像素是從左邊算起的第10個到第12個像素。
在幀#n-1中，屬於背景區域的像素是從左邊算起的第1個、和從左邊算起的第14個到第21個像素。在幀#n中，屬於背景區域的像素是從左邊算起的第1個到第5個像素、和從左邊算起的第18個到第21個像素。在幀#n+1中，屬於背景區域的像素是從左邊算起的第1個到第9個像素。
由背景圖像生成器301生成的、與圖35所示的例子相對應的背景圖像的例子顯示在圖36中。背景圖像由與背景對象相對應的像素組成，不包括與前景對象相對應的圖像成分。
二值對象圖像提取部分302根據背景圖像和輸入圖像之間的相關性，生成二值對象數據，並且把生成的二值對象圖像供應給時間變化檢測器303。
圖37是顯示二值對象圖像提取部分302的結構的方塊圖。相關值計算器321計算背景圖像生成器301供應的背景圖像與輸入圖像之間的相關性，生成相關值，並且把生成的相關值供應給閾值處理器322。
相關值計算器321把方程式(4)作用於如圖38A所示，以X4為中心的3×3背景圖像塊、和如圖38B所示，與上述背景圖像塊相對應的以Y4為中心的3×3背景圖像塊，從而計算與Y4相對應的相關值。 X=i=08Xi9---(5)]]>Y=i=08Yi9---(6)]]>相關值計算器321把如上所述為每個像素計算的相關值供應給閾值處理器322。
此外，相關值計算器可以321把方程式(7)作用於如圖39A所示，以X4為中心的3×3背景圖像塊、和如圖39B所示，與上述背景圖像塊相對應的以Y4為中心的3×3背景圖像塊，從而計算與Y4相對應的差值的絕對值之和。 相關值計算器321把如上所述計算的差值的絕對值之和作為相關值供應給閾值處理器322。
閾值處理器322將圖像像素的相關值與閾值th0相比較。如果相關值小於等於閾值th0，則把二值對象圖像的像素值設置成1。如果相關值大於閾值th0，則把二值對象圖像的像素值設置成0。閾值處理器322然後輸出其每個像素值被設置成0或1的二值對象圖像。閾值處理器322可以事先存儲閾值th0，也可以使用從外部輸入的閾值th0。
圖40顯示與圖35所示的輸入圖像的模型相對應的二值對象圖像例子。在二值對象圖像中，與背景圖像相關性高的像素的像素值被設置成0。
圖41是顯示時間變化檢測器303的結構的方塊圖。當確定幀#n中的像素的區域時，幀存儲器341存儲二值對象圖像提取部分302供應的幀#n-1、幀#n、和幀#n+1的二值對象圖像。
區域確定部分342根據幀#n-1、幀#n、和幀#n+1的二值對象圖像，確定幀#n的每個像素的區域，從而生成區域信息，並且輸出生成的區域信息。
圖42是描述區域確定部分342進行判斷的圖。當幀#n中二值對象圖像的指定像素是0時，區域確定部分342確定幀#n中的指定像素屬於背景區域。
當幀#n中二值對象圖像的指定像素是1，幀#n-1中二值對象圖像的相對應的像素的像素值是1，和幀#n+1的二值對象圖像的相對應的像素是1時，區域確定部分342確定幀#n中的指定像素屬於前景區域。
當幀#n中的二值對象圖像的指定像素是1，和幀#n-1的二值對象圖像的相對應的像素是0時，區域確定部分342確定幀#n中的指定像素屬於覆蓋前景區域。
當幀#n中的二值對象圖像的指定像素是1，和幀#n+1中的二值對象圖像的相對應的像素是0時，區域確定部分342確定幀#n的指定像素屬於未覆蓋前景區域。
圖43顯示時間變化檢測器303對與圖35所示的輸入圖像的模型相對應的二值對象圖像進行判斷的例子。由於幀#n中二值對象圖像的相應像素是0，時間變化檢測器303確定幀#n中從左邊算起的第1個到第5個像素屬於背景區域。
由於幀#n的二值對象圖像的像素是1，和幀#n+1的相應像素是0，時間變化檢測器303確定從左邊算起的第6個到第9個像素屬於未覆蓋背景區域。
由於幀#n的二值對象圖像的像素是1，幀#n-1的相應像素是1，和幀#n+1的相應像素是1，時間變化檢測器303確定從左邊算起的第10個到第13個像素屬於前景區域。
由於幀#n的二值對象圖像的像素是1，和幀#n-1的相應像素是0，時間變化檢測器303確定從左邊算起的第14個到第17個像素屬於覆蓋背景區域。
由於幀#n的二值對象圖像的相應像素是0，時間變化檢測器303判斷從左邊算起的第18個到第21個像素屬於背景區域。
現在參照圖44所示的流程圖，描述區域確定部分103執行的區域指定處理。在步驟S301中，例如，區域確定部分103的背景圖像生成器301根據輸入圖像，提取與包含在輸入圖像中的背景對象相對應的圖像對象，從而生成背景圖像，並且把生成的背景圖像供應給二值對象圖像提取部分302。
在步驟S302中，二值對象圖像提取部分302根據，例如，參照圖38B所述的計算，計算輸入圖像和背景圖像生成器301供應的背景圖像之間的相關值。在步驟S303中，二值對象圖像提取部分302通過，例如，將相關值與閾值th0相比較，從相關值和閾值th0中計算二值對象圖像。
在步驟S304中，時間變化檢測器303進行區域確定處理，然後，結束處理。
下面參照圖45所示的流程圖，詳細描述步驟S304中的區域確定處理。在步驟S321中，時間變化檢測器303的區域確定部分342確定存儲在幀存儲器341中的幀#n中的指定像素是否是0。如果確定幀#n中的指定像素是0的判斷的情況下，流程轉到步驟S322。在步驟S322中，確定幀#n中的指定像素屬於背景區域，然後，結束處理。
如果在步驟S321中確定幀#n中的指定像素是1，則流程轉到步驟S323。在步驟S323中，時間變化檢測器303的區域確定部分342確定存儲在幀存儲器341中的幀#n中的指定像素是否是1，和幀#n-1中的相應像素是否是0。如果確定幀#n中的指定像素是1，和幀#n-1中相應像素是0，則流程轉到步驟S324。在步驟S324中，確定幀#n中的指定像素屬於覆蓋背景區域，然後，結束處理。
如果在步驟S323中確定幀#n中的指定像素是0，或幀#n-1中的相應像素是1，則流程轉到步驟S325。在步驟S325中，時間變化檢測器303的區域確定部分342確定存儲在幀存儲器341中的幀#n中的指定像素是否是1，和幀#n+1中的相應像素是否是0。如果確定幀#n中的指定像素是1，和幀#n+1中的相應像素是0，則流程轉到步驟S326。在步驟S326中，確定幀#n中的指定像素屬於未覆蓋背景區域的設置，然後，結束處理。
如果在步驟S325中確定幀#n中的指定像素是0，或幀#n+1中的相應像素是1，則流程轉到步驟S327。在步驟S327中，時間變化檢測器303的區域確定部分342確定幀#n中的指定像素屬於前景區域，然後，結束處理。
如上所述，區域指定單元101可以根據輸入圖像和相應的背景圖像之間的相關值，為輸入圖像的每一個像素指定屬於前景區域、背景區域、覆蓋背景區域、或未覆蓋背景區域中的哪一個，並且生成與指定結果相對應的區域信息。
圖46是顯示混合比計算器102的結構的方塊圖。根據輸入圖像通過計算覆蓋背景區域的模型，估計混合比處理器401為每個像素計算估計混合比，並且把計算的估計混合比供應給混合比確定部分403。根據為每個像素計算的估計混合比通過計算覆蓋背景區域的模型，估計混合比處理器401計算估計運動向量，並且把計算的估計運動向量供應給混合比確定部分403。
根據輸入圖像通過計算未覆蓋背景區域的模型，估計混合比處理器402為每個像素計算估計混合比，並且把計算的估計混合比供應給混合比確定部分403。根據為每個像素計算的估計混合比通過計算未覆蓋背景區域的模型，估計混合比處理器402計算估計運動向量，並且把計算的估計運動向量供應給混合比確定部分403。
混合比確定部分403根據區域指定單元101供應的表明為其計算混合比α的像素屬於前景區域、背景區域、覆蓋背景區域、或者未覆蓋背景區域中的哪一個的區域信息，設置混合比α。當相應的像素屬於前景區域時，混合比確定部分403將混合比α設為0，而當相應的像素屬於背景區域時，則將混合比α設為1。當相應的像素屬於覆蓋背景區域時，混合比確定部分403將估計混合比處理器401供應的估計混合比設為混合比α。當相應的像素屬於未覆蓋背景區域時，混合比確定部分403將估計混合比處理器402供應的估計混合比設為混合比α。混合比確定部分403輸出根據區域信息所指定的混合比α。
當根據區域指定單元101供應的區域信息，相應的像素屬於覆蓋背景區域時，混合比確定部分403將估計混合比處理器401供應的估計運動向量設為運動向量。當根據區域指定單元101供應的區域信息，相應的像素屬於未覆蓋背景區域時，混合比確定部分403將估計混合比處理器402供應的估計運動向量設為運動向量。混合比確定部分403輸出根據區域信息所指定的運動向量和該運動向量的位置信息。
由於可以假設與前景相對應的對象在快門時間內作恆速運動，屬於混合區域的像素的混合比α具有如下所述的性質。也就是說，根據像素的位置改變，混合比α線性地改變。如果在像素中位置改變為一維，則混合比α的改變可以線性地表示。如果在像素中位置改變為二維，則混合比α的改變可以以平面的方式來表示。
由於一個幀的間隔很短，可以假設與前景相對應的對象是剛體並以恆速運動。
在前景的快門時間內混合比α的斜率與運動量v成反比。
圖47示出理想混合比α的例子。在混合區域中理想混合比α的斜率l可以用運動量v的倒數表示。
如圖47所示，理想混合比α在背景區域中值為1，在前景區域中值為0，在混合區域中的值大於0小於1。
在圖48所示的例子中，可以利用幀#n-1中從左邊算起第7個像素的像素值P06把幀#n中從左邊算起第7個像素的像素值C06表達成方程式(8)。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v---(8)]]>=2/vP06+i=12Fi/v]]>在方程式(8)中，像素值C06被表示成混合區域中像素的像素值M，而像素值P06被表示成背景區域中像素的像素值B。也就是說，混合區域中像素的像素值M和背景區域中像素的像素值B可以被分別表示成方程式(9)和方程式(10)。
M＝C06 (9)B＝P06 (10)方程式(8)中的2/v對應於混合比α。由於快門時間內的運動量v是4，因此，幀#n中從左邊算起第7個幀的混合比α是0.5。
如上所述，把指定幀#n中的像素值C當作混合區域的像素值，而把幀#n之前的幀#n-1的像素值P當作背景區域的像素值。因此，表示混合比α的方程式(3)可以被重寫成方程式(11)。
C＝α·P+f (11)
方程式(11)中的f表示包含在指定像素中的前景成分之和∑iFi/v。包含在方程式(11)中的變量為兩個，即混合比α和前景成分f之和。
類似地，圖49示出通過沿著時間方向擴展未覆蓋背景區域中快門時間內的運動量是4、虛擬分割數也是4的像素值所獲得的模型。
與在覆蓋背景區域中表示的相同，在未覆蓋背景區域中，把指定幀#n中的像素值C當作混合區域的像素值，而把幀#n之後的幀#n+1的像素值N當作背景區域的像素值。因此，表示混合比α的方程式(3)可以重寫成方程式(12)。
C＝α·N+f(12)已經對假定背景對象是靜止的實施例作了描述。但是，通過使用位於與快門時間內背景的運動量v相對應的位置的像素的像素值，方程式(8)到方程式(12)也可以應用到在背景對象是在運動的情況中。例如，在圖48中，假定快門時間內與背景相對應的對象的運動量v是2，並且虛擬分割數也是2。在這種情況下，當與背景相對應的對象在圖中向右邊移動時，在方程式(10)中，背景區域中的像素的像素值B用像素值P04表示。
由於方程式(11)和方程式(12)每一個都包含2個變量，因此，不經過修正就無法確定混合比α。
由於在快門時間內與前景相對應的對象恆速運動，所以混合比α根據像素位置的變化而線性地變化。利用該特性，可以得到其中在空間上將混合比α和前景成分之和f近似了的方程式。通過利用多組屬於混合區域的像素的像素值以及屬於背景區域的像素的像素值，可以求解其中將混合比α和前景成分之和f近似了的方程式。
當將混合比α的變化近似為直線時，混合比α可以用方程式(13)表示。
α＝il+p (13)在方程式(13)中，當指定像素的位置設置為0時i表示空間索引，l表示混合比α的直線斜率，p表示混合比α的直線的截距，也表示指定像素的混合比α。在方程式(13)中，索引i是已知的，但是斜率l和截距p是未知數。
索引i、斜率l和截距p的關係示於圖50。在圖50中，白圈表示指定像素，黑圈表示接近指定像素的像素。
通過將混合比α近似為方程式(13)，用於多個像素的多個不同的混合比α可以用兩個變量表示。在圖50所示的例子中，用兩個變量，也就是斜率l和截距p表示了5個像素的5個混合比。
當將混合比α近似為圖51所示的平面時，通過考慮與兩個方向，即圖像的水平方向和垂直方向相對應的運動量v，可以將方程式(13)擴展到平面，並且混合比α可以表示為方程式(14)。在圖51中，白圈表示指定像素。
α＝jm+kq+p(14)在方程式(14)中，當指定像素的位置是0時，j是水平方向上的索引，k是垂直方向上的索引。在方程式(14)中，m表示混合比α的平面水平斜率，q表示混合比α的平面垂直斜率。在方程式(14)中，p表示混合比α的平面截距。
例如，在圖48所示的幀#n中，方程式(15)至(17)對於C05至C07分別成立。
C05＝α05·B05/v+f05(15)C06＝α06·B06/v+f06(16)C07＝α07·B07/v+f07(17)假定位於彼此接近位置上的前景成分彼此相等，也就是說，F01至F03相等，則將F01至F03用Fc代替，方程式(18)成立。
f(x)＝(1-α(x))·Fc (18)在方程式(18)中，x表示在空間方向上的位置。
當α(x)用方程式(14)替換時，方程式(18)可以表示為(19)。
f(x)＝(1-(jm+kq+p))·Fc＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝js+kt+u (19)在方程式(19)中，(-m·Fc)，(-q·Fc)和(1-p)·Fc分別用方程式(20)至(22)替代。
s＝-m·Fc (20)t＝-q·Fc (21)u＝(1-p)·Fc(22)在方程式(19)中，當指定像素的位置是0時，j是水平方向上的索引，k是垂直方向上的索引。
如上所述，由於可以假設在快門時間內與前景相對應的對象恆速運動，並且位於鄰近位置上的前景成分是均勻的，因此，可以用方程式(19)近似前景成分之和。
當將混合比α近似為直線時，前景成分之和可以用方程式(23)表示。
f(x)＝is+u (23)使用方程式(14)和(19)，替換方程式(13)中的混合比α以及前景成分之和，可以用方程式(24)表示像素值M。
M＝(jm+kq+p)·B+js+kt+u＝jB·m+kB·q+B·p+j·s+k·t+u (24)在方程式(24)中，未知變量為6個，混合比α的平面水平斜率m，混合比α的平面垂直斜率q，以及混合比α的平面截距p、s、t和u。
根據鄰近指定像素的像素設置正規方程式(24)中的像素值M或像素值B，然後通過最小二乘法求解多個其中設置了像素值M或像素值B的正規方程，並由此計算混合比α。
例如，假定將指定像素的水平索引j設為0，並且將指定像素的垂直索引k設為0。在這種情況下，當使用鄰近指定像素的3×3像素設置方程式(24)所表示的正規方程中的像素值M或像素值B時，可以得到方程式(25)至(33)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u(25)M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (26)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(27)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (28)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u (29)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (30)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u(31)M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (32)M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u(33)由於指定像素的水平索引j是0，以及指定像素的垂直索引k也是0，所以指定像素的混合比α等於方程式(24)中j等於0和k等於0時的值，也就是說，混合比α等於方程式(24)中的截距p。
因此，根據上述9個方程式(25)至(33)，利用最小二乘法可以計算出水平斜率m、垂直斜率q、以及截距p、s、t和u，並將截距p作為混合比α輸出。
通過應用最小二乘法計算混合比α的具體過程如下所述。
當索引i和索引k用單個索引x表示時，索引i、索引k和索引x之間的關係可以用方程式(34)表示。
x＝(j+1)·3+(k+1) (34)現在假定水平斜率m、垂直斜率q、以及截距p、s、t和u分別用變量w0、w1、w2、w3、w4和w5表示，並且jB、kB、B、j、k和l分別用a0、a1、a2、a3、a4和a5表示。考慮到誤差ex，則方程式(25)至(33)可以修正為方程式(35)。Mx=y=05aywy+ex---(35)]]>在方程式(35)中，x是從0到8的整數之一。
從方程式(35)可以得出方程式(36)。ex=Mx-y=05aywy---(36)]]>由於應用最小二乘法，所以將誤差平方和E定義為下式(37)。E=x=08ex2---(37)]]>為了使誤差最小，變量Wv相對於誤差平方和E的偏微分值應該為0。v是0到5的整數之一。由此，可以確定wy，並且滿足方程式(38)。Ewv=2x=08exexwv]]>=2x=08exav=0---(38)]]>將方程式(36)代入方程式(38)中，可以得到方程式(39)。x=08(avy=05aywy)=x=08avMx---(39)]]>例如，將消元法(sweep-out method)(高斯-約旦消元法，Gauss-Jordanelimination)應用到通過將0到5的整數之一代入方程式(39)中的v而得到的6個方程式，從而獲得wy。如上所述，w0是水平斜率，w1是垂直斜率，w2是截距p，w3是s，w4是t，以及w5是u。
如上所述，通過將最小二乘法應用到其中設置了像素值M和像素值B的方程式中，可以確定水平斜率m、垂直斜率q、以及截距p、s、t和u。
參照方程式(25)至(33)描述了假定包含在混合區域中的像素的像素值是M、以及包含在背景區域中的像素的像素值是B的情況。在這種情況下，需要為指定像素包含在覆蓋背景區域中或指定像素包含在未覆蓋背景區域中的每一種情況設置正規方程。
例如，如果確定圖48所示的幀#n中的覆蓋背景區域所包含的像素的混合比α，將幀#n中的像素的像素值C04至C08和幀#n-1中的像素的像素值P04至P08設置到正規方程中。
如果確定圖49所示的幀#n中的未覆蓋背景區域所包含的像素的混合比α，將幀#n中的像素的像素值C28至C32和幀#n+1中的像素的像素值N28至N32設置到正規方程中。
而且，例如，如果計算包含在圖52所示的覆蓋背景區域中的像素的混合比α，則設置下述的方程式(40)至(48)。在圖52中，白圈表示被考慮為屬於背景的像素，黑圈表示被考慮為屬於混合區域的像素。為其計算混合比α的像素的像素值為Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u (40)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u(41)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u (42)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u(43)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u (44)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u(45)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u (46)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u(47)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u (48)當計算包含幀#n中的在覆蓋背景區域中的像素的混合比α時，在方程式(40)至(48)中分別使用與#n中的像素相對應的幀#n-1中的背景區域中的像素的像素值Bc1至Bc9。
如果，例如計算包含在圖52所示的未覆蓋背景區域中的像素的混合比α，則設置下述的方程式(49)至(57)。為其計算混合比α的像素的像素值為Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u (49)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u(50)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u (51)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u(52)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u (53)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u(54)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u (55)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u(56)
Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u (57)當計算包含幀#n中的在未覆蓋背景區域中的像素的混合比α時，在方程式(49)至(57)中分別使用與#n中的像素相對應的幀#n+1中的背景區域中的像素的像素值Bu1至Bu9。
圖53是顯示估計混合比處理器401的配置的方框圖。輸入到估計混合比處理器401的圖像提供給延遲電路421和加法器(adder)422。
延遲電路421將輸入圖像延遲一幀，並將圖像供應給加法器422。當幀#n作為輸入圖像供應給加法器422時，延遲電路421將幀#n-1供應給加法器422。
加法器422設置與為其計算混合比α的像素鄰近的像素的像素值、以及正規方程中幀#n-1的像素值。例如，根據方程式(40)至(48)，加法器422分別設置正規方程中的像素值Mc1至Mc9和像素值Bc1至Bc9。加法器422將設置了像素值的正規方程供應給計算器423。
計算器423例如採用消元法或其它方法，通過求解從加法器422供應的正規方程來確定估計混合比，並輸出所確定的估計混合比。
計算器423使用方程式(58)根據混合比的斜率a計算快門時間內的運動量v。
a＝1/v (58)更具體地說，計算器423根據在方程式(24)中表示的混合比的平面水平方向上的斜率m和混合比的平面垂直方向上的斜率q，計算快門時間內x方向上的運動量vix和快門時間內y方向上的運動量viy。
vix＝1/m (59)viy＝1/q (60)計算器423輸出快門時間內x方向上的運動量vix和快門時間內y方向上的運動量viy表示的估計運動向量。
如圖54所示，從計算器423輸出的估計運動向量的大小對應於快門時間內的運動量v。
幀間運動量vf表示兩個相鄰幀之間對象的運動量。例如，當與前景相對應的對象的圖像發生移動致使圖像顯示在特定幀和下一幀之間相隔8個像素的位置上時，與前景相對應的對象的圖像的幀間運動量vf是8。在圖54中，A表示背景對象。
通過這種方式，估計混合比處理器401能夠根據輸入圖像計算估計混合比和估計運動向量，並將它們供應給混合比確定部分403。
估計混合比處理器402的結構類似於估計混合比處理器401，因此省去其詳細描述。
圖55顯示估計混合比處理器401計算估計混合比的例子。圖55所示的估計混合比是當與恆速運動的對象相對應的前景的運動量v是11時、以7×7像素塊為單位生成並求解方程通過計算所獲得的結果，並用一條線表示。
如圖55所示，可以看出在混合區域估計混合比幾乎線性地變化。
圖56是顯示混合比計算器102的另一種配置的方框圖。
與圖46中相同的部分用相同的標號表示，並由此略去其描述。
選擇器441根據從區域指定單元101供應的區域信息，將屬於覆蓋背景區域的像素以及在前一和後一幀中的相應像素供應給估計混合比處理器401。選擇器441根據從區域指定單元101供應的區域信息，將屬於未覆蓋背景區域的像素以及在前一和後一幀中的相應像素供應給估計混合比處理器402。
估計混合比處理器401根據從選擇器441輸入的像素值，計算屬於覆蓋背景區域的指定像素的估計混合比，並將所計算的估計混合比供應給選擇器442。估計混合比處理器401根據所計算的估計混合比，計算估計運動向量，並將所計算的估計運動向量供應給選擇器442。
估計混合比處理器402根據從選擇器441輸入的像素值，計算屬於未覆蓋背景區域的指定像素的估計混合比，並將所計算的估計混合比供應給選擇器442。估計混合比處理器402根據所計算的估計混合比，計算估計運動向量，並將所計算的估計運動向量供應給選擇器442。
根據從區域指定單元101供應的區域信息，當指定像素屬於前景區域時，選擇器442選擇估計混合比0，並將混合比α設置為0，而當指定像素屬於背景區域時，選擇器442選擇估計混合比1，並將混合比α設置為1。當指定像素屬於覆蓋背景區域時，選擇器442選擇從估計混合比處理器401供應的估計混合比並將其設置為混合比α。當指定像素屬於未覆蓋背景區域時，選擇器442選擇從估計混合比處理器402供應的估計混合比並將其設置為混合比α。選擇器442然後輸出已經根據所述區域信息選擇和設定的混合比α。
根據從區域指定單元101供應的區域信息，當指定像素屬於覆蓋背景區域時，選擇器442選擇從估計混合比處理器401供應的估計運動向量並將其設置為運動向量。當指定像素屬於未覆蓋背景區域時，選擇器442選擇從估計混合比處理器402供應的估計運動向量並將其設置為運動向量。選擇器442然後輸出已經根據所述區域信息選擇和設定的運動向量。
如上所述，混合比計算器102為包含在圖像中的每個像素計算混合比α，計算運動向量，並且輸出所計算的混合比α和所計算的運動向量。
下面參照圖57的流程圖描述混合比計算器102執行的計算混合比α和運動向量的處理。在步驟S401中，混合比計算器102獲取區域指定單元101供應的區域信息。在步驟S402中，估計混合比處理器401使用與覆蓋背景區域相對應的模型，計算估計混合比和估計運動向量，並且把計算的估計混合比和計算的估計運動向量供應給混合比確定部分403。估計混合比的處理細節以後將參照圖58所示的流程圖加以描述。
在步驟S403中，估計混合比處理器402使用與未覆蓋背景區域相對應的模型，計算估計混合比和估計運動向量，並且把計算的估計混合比和計算的估計運動向量供應給混合比確定部分403。
在步驟S404中，混合比計算器102確定是否對整個幀都估計了混合比α。如果確定還沒有對整個幀估計混合比α，則流程返回到步驟S402，執行為下一個像素估計混合比α的處理。
如果在步驟S404中確定已經對整個幀都估計了混合比，則流程轉到步驟S405。在步驟S405中，混合比確定部分403根據從區域指定單元101供應的、表明為其計算混合比α和運動向量的像素屬於前景區域、背景區域、覆蓋背景區域、未覆蓋背景區域中的哪一個的區域信息設置混合比α和運動向量。當相應像素屬於前景區域時，混合比確定部分403設置混合比α為0，而當相應像素屬於背景區域時，混合比確定部分403設置混合比α為1。當相應像素屬於覆蓋背景區域時，混合比確定部分403設置混合比α為從估計混合比處理器401供應的估計混合比。當相應像素屬於未覆蓋背景區域時，混合比確定部分403設置混合比α為從估計混合比處理器402供應的估計混合比。
根據從區域指定單元101供應的區域信息，當指定像素屬於覆蓋背景區域時，混合比確定部分403選擇從估計混合比處理器401供應的估計運動向量並將其設置為運動向量。當相應像素屬於未覆蓋背景區域時，混合比確定部分403選擇從估計混合比處理器402供應的估計運動向量並將其設置為運動向量。然後，結束處理。
如上所述，混合比計算器102根據區域指定單元101供應的區域信息和輸入圖像，計算與每一個像素相對應的指示其特徵量的混合比α和運動向量。
如圖56所示配置的混合比計算器102所執行的計算混合比α的處理與參照圖57的流程圖所描述的類似，由此略去其詳細描述。
下面參照圖58的流程圖描述估計混合比處理器401通過使用與覆蓋背景區域相對應的模型所執行的混合比和運動向量估計處理，該處理相應於步驟S402的處理。
在步驟S421中，加法器422在與覆蓋背景區域的模型相對應的正規方程中設置包含在輸入圖像中的像素值以及包含在從延遲電路421供應的圖像中的像素值。
在步驟S422中，估計混合比處理器401確定目標像素的設置是否完成。如果確定還沒有完成目標像素的設置，則處理返回到步驟S421，繼續設置正規方程中的像素值的處理。
如果在步驟S422中確定已經完成目標像素的設定，則處理前進到步驟S423。在步驟S423中，計算器423根據其中已經設定了像素值的正規方程計算估計混合比，並輸出所計算估計混合比。
在步驟S424中，計算器423根據所獲得的估計混合比的斜率計算估計運動向量，並結束處理。
如上所述，具有如圖53所示配置的估計混合比處理器401根據輸入圖像計算估計混合比和估計運動向量。
通過使用與未覆蓋背景區域的模型相對應的正規方程，採用與未覆蓋背景區域相對應的模型所進行的混合比和運動向量估計處理與圖58的流程圖所示的處理類似，由此省去其詳細描述。
已經描述了假定與背景相對應的對象是靜止的實施例。但是，即使與背景區域相對應的圖像包含運動，也可以應用上述混合比計算處理。例如，如果與背景區域相對應的圖像相一致地運動，則估計混合比處理器401根據該運動移動整個圖像，並與相應於背景區域的對象是靜止的情況相類似地方式進行處理。如果與背景區域相對應的圖像包含局部不同的運動，則估計混合比處理器401選擇與運動相對應的像素作為屬於混合區域的像素，並執行上述處理。
混合比計算器102可以僅通過使用與覆蓋背景區域相對應的模型為所有的像素執行混合比估計處理，並輸出所計算的估計混合比作為混合比α。在這種情況下，混合比α為屬於覆蓋背景區域的像素的背景成分指示背景成分的比例，而為屬於未覆蓋背景區域的像素指示前景成分的比例。對於屬於未覆蓋背景區域的像素，當計算的混合比α與1的差值的絕對值確定，並將所計算的絕對值設置為混合比α時，所述圖像處理設備能夠為屬於未覆蓋背景區域的像素確定指示背景成分的比例的混合比α。
類似地，混合比計算器102可以僅通過使用與未覆蓋背景區域相對應的模型為所有的像素執行混合比估計處理，並輸出所計算的估計混合比作為混合比α。
如上所述，混合比計算器102根據輸入圖像和從區域指定單元101供應的區域信息計算作為與每一個像素相對應的特徵量的混合比α和運動向量。
通過利用混合比計算器102所計算的混合比α，能夠從像素值中分離前景成分和背景成分，而保持在與運動對象相對應的圖像中所包含的運動模糊信息。
通過組合基於混合比α的圖像，可以合成包含已經校正了與運動對象的速度相一致的運動模糊的圖像，就象現實世界被真實地拍攝一樣。
混合比計算器102所計算的運動向量表明快門時間內的運動量v，這在傳統上是不能進行檢測的。
使用混合比計算器102所計算的運動向量，可以調整包括在與運動對象相對應的圖像中的運動模糊量。
混合比計算器102可以設置運動向量為相應於0到1但不包括0和1的估計混合比所估計的向量。在這種情況下，混合比計算器102可以不用區域信息生成運動向量。
現在描述前景/背景分離器103。圖59是顯示前景/背景分離器103的結構的一個例子的方塊圖。把供應給前景/背景分離器103的輸入圖像供應給分離部分601、切換器602、和切換器604。把區域指定單元101供應的、指示覆蓋背景區域的信息和指示未覆蓋背景區域的信息供應給分離部分601。把指示前景區域的區域信息供應給切換器602。把指示背景區域的區域信息供應給切換器604。
把混合比計算器102供應的混合比α供應給分離部分601。
根據指示覆蓋背景區域的區域信息、指示未覆蓋背景區域的區域信息、和混合比α，分離部分601從輸入圖像中分離前景成分，並且把分離的前景成分供應給合成器603。分離部分601還從輸入圖像中分離出背景成分，並且把分離的背景成分供應給合成器605。
當輸入與前景相對應的像素時，根據指示前景區域的區域信息，閉合切換器602，並且只把包含在輸入圖像中與前景相對應的像素供應給合成器603。
當輸入與背景相對應的像素時，根據指示背景區域的區域信息，閉合切換器604，並且只把包含在輸入圖像中與背景相對應的像素供應給合成器605。
合成器603根據分離部分601供應的前景成分、切換器602供應的與前景相對應的像素，合成前景成分圖像，並且輸出合成的前景成分圖像。由於前景區域和混合區域不重疊，因此，合成器603通過，例如，把邏輯「或」運算作用於前景成分和前景像素，從而合成前景成分圖像。
在前景成分圖像合成處理的開始階段進行的初始化處理中，合成器603把其中所有像素值都是0的圖像存儲在內置幀存儲器中。然後，在前景成分圖像合成處理中，合成器603存儲前景成分圖像(用前景成分圖像覆寫先前的圖像)。因此，在從合成器603輸出的前景成分圖像中、與背景區域相對應的像素存儲0。
合成器605根據從分離部分601供應的背景成分、和切換器604供應的與背景相對應的像素，合成背景成分圖像，並且輸出合成的背景成分圖像。由於背景區域和混合區域不重疊，因此，合成器605通過，例如，把邏輯「或」運算作用於背景成分和背景像素，合成背景成分圖像。
在背景成分圖像合成處理的開始階段進行的初始化處理中，合成器605把其中所有像素值都是0的圖像存儲在內置幀存儲器中。然後，在背景成分圖像合成處理中，合成器605存儲背景成分圖像(用背景成分圖像覆寫先前的圖像)。因此，在從合成器605輸出的背景成分圖像中與前景區域相對應的像素存儲0。
圖60A顯示輸入到前景/背景分離器103的輸入圖像、和從前景/背景分離器103輸出的前景成分圖像和背景成分圖像。圖60B顯示與輸入到前景/背景分離器103的輸入圖像、和從前景/背景分離器103輸出的前景成分圖像和背景成分圖像相對應的模型。
圖60A是所顯示圖像的示意圖，和圖60B顯示與圖60A相對應，在一行上排列的包括屬於前景區域的像素、屬於背景區域的像素、和屬於混合區域的像素的像素沿著時間方向展開所獲得的模型圖。
如圖60A和60B所示，從前景/背景分離器103輸出的背景成分圖像由屬於背景區域的像素、和包含在混合區域的像素內的背景成分組成。
如圖60A和60B所示，從前景/背景分離器103輸出的前景成分圖像由屬於前景區域的像素、和包含在混合區域的像素內的前景成分組成。
混合區域內的像素的像素值被前景/背景分離器103分離成背景成分和前景成分。分離的背景成分與屬於背景區域的像素一起組成背景成分圖像。分離的前景成分與屬於前景區域的像素一起組成前景成分圖像。
如上所述，在前景成分圖像中，與背景區域相對應的像素的像素值被設置成0，與前景區域相對應的像素和與混合區域相對應的像素的像素值被設置成有效像素值。類似地，在背景成分圖像中，與前景區域相對應的像素的像素值被設置成0，與背景區域相對應的像素和與混合區域相對應的像素的像素值被設置成有效像素值。
現在對幀間隔時間等於快門時間時分離部分601從屬於混合區域的像素中分離出前景成分和背景成分的處理加以描述。
圖61顯示在包括圖中從左邊移動到右邊的前景對象的兩個幀中、指示前景成分和背景成分的圖像的模型。在圖61所示的圖像的模型中，快門時間內的運動量v是4，並且虛擬分割數設置為4。
在幀#n中，最左邊像素和從左邊算起第14個到18個像素只由背景成分組成，並且屬於背景區域。在幀#n中，從左邊算起第2個到4個像素包含背景成分和前景成分，並且屬於未覆蓋背景區域。在幀#n中，從左邊算起第11個到13個像素包含背景成分和前景成分，並且屬於覆蓋背景區域。在幀#n中，從左邊算起第5個到10個像素只由前景成分組成，並且屬於前景區域。
在幀#n+1中，從左邊算起第1個到第5個和第18個像素只由背景成分組成，並且屬於背景區域。在幀#n+1中，從左邊算起第6個到8個像素包含背景成分和前景成分，並且屬於未覆蓋背景區域。在幀#n+1中，從左邊算起第15個到17個像素包含背景成分和前景成分，並且屬於覆蓋背景區域。在幀#n+1中，從左邊算起第9個到14個像素只由前景成分組成，並屬於前景區域。
圖62顯示從屬於覆蓋背景區域的像素中分離前景成分的處理。在圖62中，α1到α18分別表示幀#n中各個像素的混合比。在圖62中，從左邊算起第15個到第17個像素屬於覆蓋背景區域。
幀#n中從左邊算起第15個像素的像素值C15被表示成方程式(61)C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+ F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v (61)這裡，α15表示幀#n中從左邊算起第15個像素的混合比。P15表示幀#n-1中從左邊算起第15個像素的像素值。
根據方程式(61)，幀#n中從左邊算起第15個像素的前景成分之和f15被表示成方程式(62)f15＝F09/v+F08/v+F07/v＝C15-α15·P15 (62)類似地，幀#n中從左邊算起第16個像素的前景成分之和f16被表示成方程式(63)，和幀#n中從左邊算起第17個像素的前景成分之和f17被表示成方程式(64)f16＝C16-α16·P16 (63)f17＝C17-α17·P17 (64)以這種方式，包含在屬於覆蓋背景區域的像素的像素值C中的前景成分fc通過方程式(65)來計算fc＝C-α·P(65)其中，P表示前一幀中的相對應的像素的像素值。
圖63顯示從屬於未覆蓋背景區域的像素中分離前景成分的處理。在圖63中，α1到α18分別表示幀#n中各個像素的混合比。在圖63中，從左邊算起第2個到第4個像素屬於未覆蓋背景區域。
幀#n中從左邊算起第2個像素的像素值C02被表示成方程式(66)C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v(66)這裡，α2表示幀#n中從左邊算起第2個像素的混合比。N02表示幀#n+1中從左邊算起第2個像素的像素值。
根據方程式(66)，幀#n中從左邊算起第2個像素的前景成分和f02被表示成方程式(67)f02＝F01/v＝C02-α2·N02(67)類似地，幀#n中從左邊算起第3個像素的前景成分和f03被表示成方程式(68)，和幀#n中從左邊算起第4個像素的前景成分和f04被表示成方程式(69)f03＝C03-α3·N03(68)f04＝C04-α4·N04(69)以這種方式，包含在屬於未覆蓋背景區域的像素的像素值C中的前景成分fu通過方程式(70)來計算fu＝C-α·N (70)其中，N表示後一幀中的相對應的像素的像素值。
如上所述，根據包含在區域信息中的指示覆蓋背景區域的信息、指示未覆蓋背景區域的信息、以及每個像素的混合比α，分離部分601可以從屬於混合區域的像素中分離出前景成分和從屬於混合區域的像素中分離出背景成分。
圖64是顯示進行上述處理的分離部分601的結構例子的方塊圖。把輸入分離部分601的圖像供應給幀存儲器621，和把混合比計算器102供應的指示覆蓋背景區域和未覆蓋背景區域的區域信息、和混合比α輸入分離處理模塊622中。
幀存儲器621以幀為單元存儲輸入圖像。當被處理的幀是幀#n時，幀存儲器621存儲比幀#n早一個幀的幀#n-1、幀#n、和比幀#n晚一個幀的幀#n+1。
幀存儲器621把幀#n-1、幀#n、和#n+1中的相應像素供應給分離處理模塊622。
分離處理模塊622根據指示覆蓋背景區域和未覆蓋背景區域的區域信息、和混合比α，把參照圖62和圖63所述的計算應用於從幀存儲器621供應的幀#n-1、幀#n、和#n+1中相應像素的像素值，以便從幀#n中屬於混合區域的像素中分離出前景成分和背景成分，並且把它們供應給幀存儲器623。
分離處理模塊622包括未覆蓋區域處理器631、覆蓋區域處理器632、合成器633、和合成器634。
未覆蓋區域處理器631的乘法器641將幀存儲器621供應的幀#n+1的像素的像素值乘以混合比α，並且將得到的結果像素值輸出到切換器642。在幀存儲器621供應的幀#n中的像素(與幀#n+1的像素相對應)屬於未覆蓋背景區域時，閉合切換器642，將乘法器641供應的被乘以混合比α的像素值供應給計算器643和合成器634。從切換器642輸出的幀#n+1的像素的像素值被乘以混合比α所得的值與幀#n中相應像素的像素值的背景成分相同。
計算器643從幀存儲器621供應的幀#n的像素的像素值中減去切換器642供應的背景成分，從而獲得前景成分。計算器643把屬於未覆蓋背景區域的幀#n中的像素的前景成分供應給合成器633。
覆蓋區域處理器632的乘法器651將幀存儲器621供應的幀#n-1的像素的像素值乘以混合比α，並且將得到的結果像素值輸出到切換器652。在幀存儲器621供應的幀#n中的像素(與幀#n-1的像素相對應)屬於覆蓋背景區域時，閉合切換器652，將乘法器651供應的被乘以混合比α的像素值供應給計算器653和合成器634。從切換器652輸出的幀#n-1的像素的像素值被乘以混合比α所得的值與幀#n中相應像素的像素值的背景成分相同。
計算器653從幀存儲器621供應的幀#n的像素的像素值中減去切換器652供應的背景成分，從而獲得前景成分。計算器653把屬於覆蓋背景區域的幀#n中的像素的前景成分供應給合成器633。
合成器633合成計算器643供應的幀#n中屬於未覆蓋背景區域的像素的前景成分、和計算器653供應的屬於覆蓋背景區域的像素的前景成分，並且把合成的前景成分供應給幀存儲器623。
合成器634合成切換器642供應的幀#n中屬於未覆蓋背景區域的像素的背景成分、和切換器652供應的屬於覆蓋背景區域的像素的背景成分，並且把合成的背景成分供應給幀存儲器623。
幀存儲器623分別存儲分離處理模塊622供應的、幀#n中混合區域內的像素的前景成分和背景成分。
幀存儲器623輸出所存儲的幀#n中混合區域內的像素的前景成分、和存儲的幀#n中混合區域內的像素的背景成分。
利用作為特徵量的混合比α能夠把包含在像素值中的前景成分和背景成分完全分離開。
合成器603合成從分離部分601輸出的、幀#n中混合區域內的像素的前景成分、和屬於前景區域的像素，從而生成前景成分圖像。合成器605合成從分離部分601輸出的、幀#n中混合區域內的像素的背景成分、和屬於背景區域的像素，從而生成背景成分圖像。
圖65A顯示與圖61中的幀#n相對應的前景成分圖像的例子。在把前景和背景分開之前，最左邊像素和從左邊算起第14個像素只由背景成分組成，因此，像素值設置為0。
在前景和背景被分開之前，從左邊算起第2個到第4個像素屬於未覆蓋背景區域。因此，背景成分設置為0，前景成分保持原來值。在把前景和背景分開之前，從左邊算起第11個到第13個像素屬於覆蓋背景區域。因此，背景成分設置為0，前景成分保持原來值。由於從左邊算起第5個到第10個像素只由前景成分組成，因此，那些前景成分保持原來值。
圖65B顯示了與圖61所示中的幀#n相對應的背景成分圖像的例子。在前景和背景被分開之前，最左邊像素和從左邊算起第14個像素由背景成分組成，因此，那些背景成分保持原來值。
在前景和背景被分開之前，從左邊算起第2個到第4個像素屬於未覆蓋背景區域。因此，前景成分設置為0，背景成分保持原來值。在前景和背景被分開之前，從左邊算起第11個到第13個像素屬於覆蓋背景區域，因此，前景成分設置為0，背景成分保持原來值。在前景和背景被分開之前，從左邊算起第5個到第10個像素只由前景成分組成，因此，像素值設置為0。
現在參照圖66所示的流程圖，描述前景/背景分離器103執行的前景和背景分離處理。在步驟S601中，分離部分601的幀存儲器621獲取輸入圖像，並且存儲為其分離前景和背景的幀#n、以及前一幀#n-1和後一幀#n+1。
在步驟S602中，分離部分601的分離處理模塊622獲取混合比計算器102供應的區域信息。在步驟S603中，分離部分601的分離處理模塊622獲取混合比計算器102供應的混合比α。
在步驟S604中，未覆蓋區域處理器631根據區域信息和混合比α，從幀存儲器621供應的屬於未覆蓋背景區域的像素的像素值中提取背景成分。
在步驟S605中，未覆蓋區域處理器631根據區域信息和混合比α，從幀存儲器621供應的屬於未覆蓋背景區域的像素的像素值中提取前景成分。
在步驟S606中，覆蓋區域處理器632根據區域信息和混合比α，從幀存儲器621供應的屬於覆蓋背景區域的像素的像素值中提取背景成分。
在步驟S607中，覆蓋區域處理器632根據區域信息和混合比α，從幀存儲器621供應的屬於覆蓋背景區域的像素的像素值中提取前景成分。
在步驟S608中，合成器633合成在步驟S605的處理中提取的、屬於未覆蓋背景區域的像素的前景成分、和在步驟S607的處理中提取的、屬於覆蓋背景區域的像素的前景成分。把合成的前景成分供應給合成器603。此外，合成器603合成通過切換器602供應的、屬於前景區域的像素、和分離部分601供應的前景成分，生成前景成分圖像。
在步驟609中，合成器634合成在步驟S604的處理中提取的、屬於未覆蓋背景區域的像素的背景成分、和在步驟S606的處理中提取的、屬於覆蓋背景區域的像素的背景成分。把合成的背景成分供應給合成器605。此外，合成器605合成通過切換器604供應的、屬於背景區域的像素、和分離部分601供應的背景成分，生成背景成分圖像。
在步驟S610中，合成器603輸出前景成分圖像。在步驟S611中，合成器605輸出背景成分圖像，然後，結束處理。
如上所述，根據區域信息和混合比α，前景/背景分離器103可以從輸入圖像中分離出前景成分和背景成分，並且輸出只由前景成分組成的前景成分圖像、和只由背景成分組成的背景成分圖像。
現在描述對前景成分圖像調整運動模糊量的處理。
圖67是顯示運動模糊調整單元104的結構例子的方塊圖。把混合比計算器102供應的運動向量和其位置信息供應給處理單元確定部分801、建模部分802和計算器805。把區域指定單元101供應的區域信息供應給處理單元確定部分801。把前景/背景分離器103供應的前景成分圖像供應給加法器804。
處理單元確定部分801根據運動向量和其位置信息、以及區域信息生成處理單元，並把生成的處理單元供應給建模部分802。處理單元確定部分801把生成的處理單元供應給加法器804。
例如，在圖68中用A表示的、處理單元確定部分801生成的處理單元表示從與前景成分圖像的覆蓋背景區域相對應的像素開始、直到與未覆蓋背景區域相對應的像素結束沿著運動方向依次排列的像素，或者從與未覆蓋背景區域相對應的像素開始、直到與覆蓋背景區域相對應的像素結束沿著運動方向依次排列的像素。處理單元由指示，例如，左上點(作為通過處理單元指定的圖像中最左或最高像素的位置)和右下點的兩段數據組成。
建模部分802根據運動向量和輸入的處理單元，進行建模。更明確地說，例如，建模部分802可以根據包含在處理單元中的像素個數、像素值沿著時間方向的虛擬分割數、和前景成分的個數，為每個像素事先存儲多個模型。然後建模部分802可以根據處理單元和像素值沿著時間方向的虛擬分割數，選擇如圖69所示的指定像素值與前景成分之間的相關關係的模型。
例如，假定與處理單元相對應的像素個數是12，快門時間內的運動量v是5。那麼，建模部分802把虛擬分割數設置成5，並且選擇總共由8種前景成分組成的模型，以便使得最左邊位置的像素包括1個前景成分，從左邊算起第2個像素包括2個前景成分，從左邊算起第3像素包括3個前景成分，從左邊算起第4個像素包括4個前景成分，從左邊算起第5個像素包括5個前景成分，從左邊算起第6個像素包括5個前景成分，從左邊算起第7個像素包括5個前景成分，從左邊算起第8個像素包括5個前景成分，從左邊算起第9個像素包括4個前景成分，從左邊算起第10個像素包括3個前景成分，從左邊算起第11個像素包括2個前景成分，和從左邊算起第12個像素包括1個前景成分。
建模部分802也可以不是從事先存儲的模型中選擇模型，而是在供應運動向量和處理單元的情況下，根據運動向量和處理單元生成模型。
建模部分802把所選的模型供應給方程式生成器803。
方程式生成器803根據建模部分802供應的模型，生成方程式。
下面參照圖69所示的前景成分圖像的模型，在前景成分的個數是8，與處理單元相對應的像素個數是12，快門時間內的運動量v是5的情況下，描述方程式生成器803生成的方程式。
當包含在前景成分圖像中與快門時間/v相對應的前景成分是F01/v到F08/v時，F01/v到F08/v與像素C01到C12之間的關係被表示成方程式(71)到方程式(82)C01＝F01/v (71)C02＝F02/v+F01/v (72)C03＝F03/v+F02/v+F01/v (73)C04＝F04/v+F03/v+F02/v+F01/v (74)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (75)
C06＝F06/v+F05/v+F04/v+F03/v+F02/v (76)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (77)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (78)C09＝F08/v+F07/v+F06/v+F05/v(79)C10＝F08/v+F07/v+F06/v (80)C11＝F08/v+F07/v(81)C12＝F08/v (82)通過變換生成的方程式，方程式生成器803生成另一組方程式。由方程式生成器803生成的另一組方程式被表示成方程式(83)到方程式(94)C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (83)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (84)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (85)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (86)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v (87)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v (88)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v (89)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (90)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (91)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v (92)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v (93)
C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v (94)方程式(83)到方程式(94)可以用方程式(95)來表示Cj=i=0108aijFi/v---(95)]]>在方程式(95)中，j表示像素位置。在本例中，j具有1到12之間的值之一。在方程式(95)中，i表示前景值的位置。在本例中，i具有1到8之間的一個值。在方程式(95)中，根據i和j的值，aij具有0或1的值之一。
考慮到誤差，方程式(95)可以用方程式(96)來表示Cj=i=0108aijFi/v+ej---(96)]]>在方程式(96)中，ej表示包含在指定像素Cj中的誤差。
可以把方程式(96)重寫成方程式(97)ej=Cj-i=0108aijFi/v---(97)]]>為了使用最小二乘法，把誤差的平方和E定義成方程式(98)E=j=0112ej2---(98)]]>為了使誤差達到最小，應該使變量Fk關於誤差的平方和E的偏導數的值為0。求出滿足方程式(99)的Fk。EFk=2j=0112ejejFk]]>=2j=0112{(Cj-i=0108aijFi/v)(-akj/v)}=0---(99)]]>在方程式(99)中，快門時間內的運動量v是固定值，因此，可以導出方程式(100)j=0112akj(Cj-i=0108aijFi/v)=0---(100)]]>展開方程式(100)和移動變元，得到方程式(101)j=0112(akji=0108aijFi)=vj=0112akjCj---(101)]]>通過把1到8之間的整數之一代入方程式(101)中的k，將方程式(101)展開成8個方程式。獲得的8個方程式可以用一個矩陣方程式表示。這個方程式被稱為「正規方程」。
方程式生成器803根據最小二乘法生成的正規方程的例子被表示成方程式(102)。 當把方程式(102)表示成A·F＝v·C時，C、A和v是已知的，F是未知的。此外，雖然A和v在建模時就是已知的，但是，通過在相加處理中輸入像素值，C才成為已知的。
按照最小二乘法，根據正規方程計算前景成分，可以處理包含在像素C中的誤差。
方程式生成器803把如上所述生成的正規方程供應給加法器804。
加法器804根據處理單元確定部分801供應的處理單元，為方程式生成器803供應的矩陣方程式設置包含在前景成分圖像中的像素值C。加法器804把設置了像素值C的矩陣供應給計算器805。
計算器805通過基於諸如消元法(Gauss-Jordan消元法)之類的方法的處理，計算已經消除運動模糊的前景成分Fi/v，從而獲得作為已經經過運動模糊消除的像素值的、與1到8之間的整數i之一相對應的Fi。然後計算器805把由，例如，如圖70所示的、由不含運動模糊的像素值Fi組成的前景成分圖像輸出到運動模糊加法器806和選擇器807。
在如圖70所示不含運動模糊的前景成分圖像中，C03到C10的每一個分別被設置成F01到F08的每一個是為了不改變前景成分圖像相對於屏幕的位置。但是，F01到F08可以被設置到任何期望的位置。
運動模糊加法器806通過加入與運動量v不同的通過其調整運動模糊的量v′，例如，通過其調整運動模糊的量v′是快門時間內的運動量v的一半、或通過其調整運動模糊的量v′與快門時間內的運動量v沒有任何關係，可以調整運動模糊量。例如，如圖71所示，運動模糊加法器806將不含運動模糊的前景像素值Fi除以通過其調整運動模糊的量v′，從而獲得前景成分Fi/v′。然後運動模糊加法器806計算前景成分Fi/v′之和，生成已經調整過運動模糊量的像素值。例如，當通過其調整運動模糊的量v′是3時，像素值C02設為F01/v′，像素值C03設為(F01+F02)/v′，像素值C04設為(F01+F02+F03)/v′，和像素值C05設為(F02+F03+F04)/v′。
運動模糊加法器806把已經經過運動模糊量調整的前景成分圖像供應給選擇器807。
選擇器807根據反映用戶選擇的選擇信號，選擇計算器805供應的、沒有運動模糊的前景成分圖像，或者選擇運動模糊加法器806供應的、已經調整了運動模糊量的前景成分圖像，並且輸出所選的前景成分圖像、區域信息和混合比α。
如上所述，運動模糊調整單元104可以根據選擇信號和通過其調整運動模糊的量v′來調整運動模糊量。
此外，例如，如圖72所示，當與處理單元相對應的像素個數是8，快門時間內的運動量v是4時，運動模糊調整單元104生成用方程式(103)表示的矩陣方程式4321034321234321234301234F01F02F03F04F05=vi=0508Cii=0407Cii=0306Cii=0205Cii=0104Ci---(103)]]>以這種方式，運動模糊調整單元104根據處理單元的長度通過建立方程計算運動模糊量已經經過調整的像素值Fi。類似地，例如，在包含在處理單元中的像素個數是100時，生成與100個像素相對應的方程式，從而計算Fi。
圖73顯示運動模糊調整單元104的另一配置例子。與圖67所示相同的部分用相同的標號表示，並且，略去不述。
根據選擇信號，選擇器821直接把輸入的運動向量和其位置信息供應給處理單元確定部分801和建模部分802。或者，選擇器821用通過其調整運動模糊的量v′替代運動向量的大小，然後將該運動向量和其位置信息供應給處理單元確定部分801和建模部分802。
利用該配置，圖73所示的運動模糊調整單元104的處理單元確定部分801到計算器805可以根據快門時間內的運動量v和通過其調整運動模糊的量v＇調整運動模糊量。例如，當快門時間內的運動量v是5和通過其調整運動模糊的量v′是3時，圖73所示的運動模糊調整單元104的處理單元確定部分801到計算器805根據圖71所示的其中通過其調整運動模糊的量v′是3的模型，對如圖69所示的快門時間內運動量v是5的前景成分圖像進行計算。結果，獲得包括具有(快門時間內的運動量v)/(運動模糊調整量v′)＝5/3，即，約1.7的快門時間內的運動量v的運動模糊的圖像。在這種情況下，計算的圖像不包含與3的快門時間內的運動量v相對應的運動模糊。因此，應該注意到，快門時間內的運動量v與通過其調整運動模糊的量v′之間的關係與運動模糊加法器806的結果是不同的。
如上所述，運動模糊調整單元104根據快門時間內的運動量v和處理單元生成方程式，為生成的方程式設置前景成分圖像的像素值，從而計算運動模糊量得到調整的前景成分圖像。
現在參照圖74所示的流程圖，描述運動模糊調整單元104執行的調整包含在前景成分圖像中的運動模糊量的處理。
在步驟S801中，運動模糊調整單元104的處理單元確定部分801根據運動向量和區域信息，生成處理單元，並且把生成的處理單元供應給建模部分802。
在步驟S802中，運動模糊調整單元104的建模部分802根據快門時間內的運動量v和處理單元選擇或生成模型。在步驟S803中，方程式生成器803根據所選的模型，建立正規方程。
在步驟S804中，加法器804為建立的正規方程設置前景成分圖像的像素值。在步驟S805中，加法器804確定與處理單元相對應的所有像素的像素值是否都得到設置。如果確定與處理單元相對應的像素的像素值還沒有全部得到設置，流程返回到步驟S804，重複為正規方程設置像素值的處理。
如果在步驟S805中確定與處理單元相對應的像素的像素值全部得到設置，流程轉到步驟S806。在步驟S806中，計算器805根據加法器804供應的像素值得到設置的正規方程，計算運動模糊量已經得到調整的前景的像素值。然後，結束處理。
如上所述，運動模糊調整單元104根據運動向量和區域信息，可以調整包含運動模糊的前景成分圖像中的運動模糊量。
也就是說，包含在像素值中的，也就是說包含在取樣數據中的運動模糊量可以得到調整。
圖75是顯示運動模糊調整單元104的另一不同結構例子的圖。把混合比計算器102供應的運動向量和其位置信息供應給處理單元確定部分901和調整部分905。把區域指定單元101供應的區域信息供應給處理單元確定部分901。把前景/背景分離器103供應的前景成分圖像供應給計算器904。
處理單元確定部分901根據運動向量、其位置信息、和區域信息，生成處理單元，並將生成的處理單元和運動向量供應給建模部分902。
建模部分902根據運動向量和輸入的處理單元進行建模。更明確地說，例如，建模部分902可以根據包含在處理單元中的像素個數、像素值沿著時間方向的虛擬分割數、和前景成分的個數，為每個像素事先存儲多個模型。然後建模部分902可以根據處理單元和像素值沿著時間方向的虛擬分割數，選擇如圖76所示的指定像素值與前景成分之間的相關關係的模型。
例如，假定與處理單元相對應的像素個數是12，快門時間內的運動量v是5。那麼，建模部分902把虛擬分割數設置成5，並且選擇總共由8種前景成分組成的模型，以便使得最左邊位置的像素包括1個前景成分，從左邊算起第2個像素包括2個前景成分，從左邊算起第3像素包括3個前景成分，從左邊算起第4個像素包括4個前景成分，從左邊算起第5個像素包括5個前景成分，從左邊算起第6個像素包括5個前景成分，從左邊算起第7個像素包括5個前景成分，從左邊算起第8個像素包括5個前景成分，從左邊算起第9個像素包括4個前景成分，從左邊算起第10個像素包括3個前景成分，從左邊算起第11個像素包括2個前景成分，和從左邊算起第12個像素包括1個前景成分。
建模部分902也可以不是從事先存儲的模型中選擇模型，而是在供應運動向量和處理單元的情況下，根據運動向量和處理單元生成模型。
方程式生成器903根據建模部分902供應的模型，生成方程式。
現在參照圖76到圖78所示的前景成分圖像的模型，對在前景成分的個數是8，與處理單元相對應的像素個數是12，和快門時間內的運動量v是5的情況下，方程式生成器903生成的方程式例子加以描述。
當包含在前景成分圖像中與快門時間/v相對應的前景成分是F01/v到F08/v時，F01/v到F08/v與像素值C01到C12之間的關係被表示成如上所述的方程式(71)到(82)。
考慮像素值C12和C11，像素值C12隻包括如方程式(104)所表示的前景成分F08/v，像素值C11由前景成分F08/v和前景成分F07/v之和組成。因此，前景成分F07/v通過方程式(105)來計算。
F08/v＝C12 (104)F07/v＝C11-C12 (105)類似地，對包含在像素值C10到C01中的前景成分加以考慮，前景成分F06/v到F01/v分別通過方程式(106)到方程式(111)來計算F06/v＝C10-C11 (106)F05/v＝C09-C10 (107)F04/v＝C08-C09 (108)F03/v＝C07-C08+C12 (109)F02/v＝C06-C07+C11-C12 (110)F01/v＝C05-C06+C10-C11 (111)方程式生成器903通過，例如，方程式(104)到方程式(111)所表示的像素值之差，生成用於計算前景成分的方程式。方程式生成器903把生成的方程式供應給計算器904。
計算器904為方程式生成器903供應的方程式設置前景成分圖像的像素值，從而根據設置了像素值的方程式獲取前景成分。例如，在方程式生成器903供應方程式(104)到方程式(111)時，計算器904為方程式(104)到方程式(111)設置像素值C05到C12。
計算器904根據設置了像素值的方程式，計算前景成分。例如，如圖77所示，計算器904根據設置了像素值C05到C12的方程式(104)到方程式(111)的計算，計算前景成分F01/v到F08/v。計算器904把前景成分F01/v到F08/v供應給調整部分905。
調整部分905將計算器904供應的前景成分與包含在混合比計算器102供應的運動向量中的快門時間內的運動量v相乘，以便獲得運動模糊已經消除的前景像素值。例如，在從計算器904供應前景成分F01/v到F08/v時，調整部分905將前景成分F01/v到F08/v的每一個與快門時間內的運動量v，即5相乘，從而獲取運動模糊已經消除的前景像素值F01到F08，如圖78所示。
調整部分905把由通過如上所述計算的、由沒有運動模糊的前景像素值組成的前景成分圖像供應給運動模糊加法器906和選擇器907。
運動模糊加法器906通過使用與快門時間內的運動量v不同的、通過其調整運動模糊的量v′，例如，通過其調整運動模糊的量v′是快門時間內的運動量v的一半、或通過其調整運動模糊的量v′與快門時間內的運動量v沒有任何關係，可以調整運動模糊量。例如，如圖71所示，運動模糊加法器906將不含運動模糊的前景像素值Fi除以通過其調整運動模糊的量v′，從而獲得前景成分Fi/v′。然後運動模糊加法器906計算前景成分Fi/v′之和，生成已經調整過運動模糊量的像素值。例如，當通過其調整運動模糊的量v′是3時，像素值C02設為F01/v′，像素值C03設為(F01+F02)/v′，像素值C04設為(F01+F02+F03)/v′，和像素值C05設為(F02+F03+F04)/v′。
運動模糊加法器906把已經經過運動模糊量調整的前景成分圖像供應給選擇器907。
選擇器907根據反映用戶選擇的選擇信號，選擇調整部分905供應的、沒有運動模糊的前景成分圖像，或者選擇運動模糊加法器906供應的、已經調整了運動模糊量的前景成分圖像，並且輸出所選的前景成分圖像。
如上所述，運動模糊調整單元104可以根據選擇信號和通過其調整運動模糊的量v′調整運動模糊量。
現在參照圖79所示的流程圖，對如圖75所示配置的運動模糊調整單元104執行的調整前景的運動模糊量的處理加以描述。
在步驟S901中，運動模糊調整單元104的處理單元確定部分901根據運動向量和區域信息，生成處理單元，並且把生成的處理單元供應給建模部分902和調整部分905。
在步驟S902中，運動模糊調整單元104的建模部分902根據快門時間內的運動量v和處理單元選擇或生成模型。在步驟S903中，方程式生成器903根據選擇或生成的模型，通過前景成分圖像的像素值之間的差值，生成用於計算前景成分的方程式。
在步驟S904中，計算器904為生成的方程式設置前景成分圖像的像素值，並且，根據設置了像素值的方程式，使用像素值的差值來提取前景成分。在步驟S905中，計算器904確定與處理單元相對應的所有前景成分是否都得到提取。如果確定與處理單元相對應的前景成分還沒有全部得到提取，流程返回到步驟S904，重複提取前景成分的處理。
如果在步驟S905中確定與處理單元相對應的前景成分全部得到提取，流程轉到步驟S906。在步驟S906中，調整部分905根據快門時間內的運動量v，調整計算器904供應的前景成分F01/v到F08/v的每一個，以便獲取已經消除運動模糊的前景像素值F01到F08。
在步驟S907中，運動模糊加法器906計算已經調整運動模糊量的前景像素值，和選擇器907選擇沒有運動模糊的圖像或運動模糊量已經調整過的圖像，並且輸出所選的圖像。然後，結束處理。
如上所述，如圖75所示的運動模糊調整單元104通過較簡單的計算，可以更迅速地調整前景圖像中的運動模糊。
雖然在理想狀態下藉助於諸如Winner(溫納)濾波器等可以部分消除運動模糊的傳統技術能夠達到一定效果，但是對於已經被量化和包含噪聲的實際圖像，沒有達到顯著效果。與此相反，利用如圖75所示配置的運動模糊調整單元104，對於已經被量化和包含噪聲的實際圖像，可以達到顯著效果。由此可以更精確地消除運動模糊。
如上所述，如圖2所示配置的圖像處理設備能夠調整包含在輸入圖像中的運動模糊量。
圖80是顯示該圖像處理設備功能的另一配置的方框圖。圖80所示的圖像處理設備不使用運動向量。
與圖2所示的部件相同的部件用相同的標號表示，並由此略去其描述。
區域指定單元101將區域信息供應給混合比計算器102和合成器1001。
混合比計算器102將混合比α供應給前景/背景分離器103和合成器1001。
前景/背景分離器103將前景成分圖像供應給合成器1001。
合成器1001根據混合比計算器102供應的混合比α、和區域指定單元101供應的區域信息，合成任意背景圖像和前景/背景分離器103供應的前景成分圖像，並且輸出其中已經合成了任意背景圖像和前景成分圖像的合成圖像。
圖81顯示合成器1001的配置。背景成分生成器1021根據混合比α和任意背景圖像，生成背景成分圖像，並且把這個背景成分圖像供應給混合區域圖像合成部分1022。
混合區域圖像合成部分1022將背景成分生成器1021供應的背景成分圖像與前景成分圖像合成在一起，從而生成混合區域合成圖像，並且把生成的混合區域合成圖像供應給圖像合成部分1023。
圖像合成部分1023根據區域信息合成前景成分圖像、混合區域圖像合成部分1022供應的混合區域合成圖像、和任意背景圖像，從而生成合成的圖像並輸出。
如上所述，合成器1001將前景成分圖像與任意背景圖像合成在一起。
根據作為特徵值的混合比α將前景成分圖像與任意背景圖像合成在一起獲得的圖像比簡單合成像素獲得的圖像更加自然。
圖82是顯示用於調整運動模糊量的該圖像處理設備功能的另一配置的方框圖。圖2所示的圖像處理設備順序地執行區域指定操作和混合比α的計算。與此相反，圖82所示的圖像處理設備同時執行區域指定操作和混合比α的計算。
與圖2所示方框圖中相同的部件用相同的參考標號表示，並由此略去其描述。
輸入圖像供應給混合比計算器1101、前景/背景分離器1102和區域指定單元101。
區域指定單元101根據輸入圖像生成區域信息，並將所生成的區域信息供應給前景/背景分離器1102和運動模糊調整單元1103。
混合比計算器1101根據輸入圖像，計算假定包括在輸入圖像中的每一個像素屬於覆蓋背景區域時所獲得的估計混合比、以及計算假定包括在輸入圖像中的每一個像素屬於未覆蓋背景區域時所獲得的估計混合比，並將所計算的假定包括在輸入圖像中的每一個像素屬於覆蓋背景區域時獲得的估計混合比、以及所計算的假定包括在輸入圖像中的每一個像素屬於未覆蓋背景區域時獲得的估計混合比供應給前景/背景分離器1102。
混合比計算器1101根據假定包括在輸入圖像中的每一個像素屬於覆蓋背景區域時所計算的估計混合比、計算假定包括在輸入圖像中的每一個像素屬於覆蓋背景區域時所獲得的估計運動向量，以及根據假定包括在輸入圖像中的每一個像素屬於未覆蓋背景區域時所計算的估計混合比、計算假定包括在輸入圖像中的每一個像素屬於未覆蓋背景區域時所獲得的估計運動向量，並將所計算的假定包括在輸入圖像中的每一個像素屬於覆蓋背景區域時獲得的估計運動向量、以及所計算的假定包括在輸入圖像中的每一個像素屬於未覆蓋背景區域時獲得的估計運動向量供應給運動模糊調整單元1103。
圖83是顯示混合比計算器1101的配置例子的方框圖。
圖83所示的估計混合比處理器401與圖47所示的估計混合比處理器401相同。圖83所示的估計混合比處理器402與圖47所示的估計混合比處理器402相同。
估計混合比處理器401根據輸入圖像通過與覆蓋背景區域的模型相對應的計算，為每一個像素計算估計混合比，並輸出所計算的估計混合比。估計混合比處理器401根據所計算的估計混合比計算估計運動向量，並輸出所計算的估計運動向量。
估計混合比處理器402根據輸入圖像通過與未覆蓋背景區域的模型相對應的計算，為每一個像素計算估計混合比，並輸出所計算的估計混合比。估計混合比處理器402根據所計算的估計混合比計算估計運動向量，並輸出所計算的估計運動向量。
前景/背景分離器1102根據混合比計算器1101供應的假定像素屬於覆蓋背景區域時所計算的估計混合比、混合比計算器1101供應的假定像素屬於未覆蓋背景區域時所計算的估計混合比、以及區域指定單元101所供應的區域信息，從輸入圖像中生成前景成分圖像，並將所生成的前景成分圖像供應給運動模糊調整單元1103和選擇器105。
圖84是顯示前景/背景分離器1102的配置例子的方框圖。
與圖59所示的前景/背景分離器103的部件相同的那些部件用相同的參考標號表示，並由此略去其描述。
選擇器1121根據區域指定單元101所供應的區域信息，選擇混合比計算器1101供應的假定像素屬於覆蓋背景區域時所計算的估計混合比，或者選擇混合比計算器1101供應的假定像素屬於未覆蓋背景區域時所計算的估計混合比，並將所選擇的估計混合比作為混合比α供應給分離部分601。
分離部分601根據選擇器1121供應的混合比α和區域信息，從屬於混合區域的像素的像素值中提取前景成分和背景成分，並將所提取的前景成分供應給合成器603，將背景成分供應給合成器605。
分離部分601可以具有與圖64所示的結構完全相同的結構。
合成器603合成前景成分圖像並輸出。合成器605合成背景成分圖像並輸出。
運動模糊調整單元1103根據區域指定單元101供應的區域信息、混合比計算器1101供應的假定像素屬於覆蓋背景區域時所計算的估計運動向量、以及混合比計算器1101供應的假定像素屬於未覆蓋背景區域時所計算的估計運動向量，調整包括在前景/背景分離器1102所供應的前景成分圖像中的運動模糊量，並輸出已經調整了運動模糊量的前景成分圖像。
圖85是顯示運動模糊調整單元1103的結構的方框圖。
與圖67所示的部件相同的那些部件用相同的參考標號表示，並由此略去其描述。
選擇器1131根據區域指定單元101供應的區域信息，選擇混合比計算器1101供應的假定像素屬於覆蓋背景區域時所計算的估計運動向量、或者選擇混合比計算器1101供應的假定像素屬於未覆蓋背景區域時所計算的估計運動向量；將所選擇的估計運動向量指定為運動向量；並將該運動向量供應給處理單元確定部分801、建模部分802、以及計算器805。
返回圖82，選擇器105根據例如反映用戶選擇的選擇信號，從前景/背景分離器1102提供的前景成分圖像和運動模糊調整單元1103提供的已經經過運動模糊量調整的前景成分圖像中選擇一個，並輸出所選擇的前景成分圖像。
如上所述，具有如圖82所示結構的圖像處理設備調整包括在與輸入圖像的前景對象相對應的圖像中的運動模糊量，並輸出所得到的前景對象圖像。
上面已經描述了將混合比α設置成包含在像素值中的背景成分的比例的實施例。但是，混合比α也可以設置成包含在像素值中的前景成分的比例。
上面已經描述了將前景對象的運動方向設置成從左邊移動到右邊的方向。但是，運動方向不局限於上述方向。
在上面的描述中，通過利用視頻攝像機，把具有三維空間和時間軸信息的真實空間圖像投影到具有二維空間和時間軸信息的時空上。但是，本發明不受這個例子的限制，並且可以應用到下述情形中，即，當把較多數量的第一維空間中的第一信息投影到較少數量的第二維空間中的第二信息時，能夠校正由於投影引起的失真，能夠提取重要的信息，或者合成更自然的圖像。
傳感器不限於CCD，可以是其它類型的固態圖像拍攝器件，比如CMOS(互補型金屬氧化物半導體)、BBD(Bucket Brigade Device，鬥鏈器件)、CID(Charge Injection Device，電荷注入器件)、或CPD(Charge Priming Device，電荷啟動器件)等。並且，傳感器不限於檢測元件排列成矩陣狀的傳感器，可以是檢測元件排列成一行的傳感器。
如圖1所示，記錄執行本發明的信號處理的程序的記錄媒體可以被配置成其中記錄程序的封裝媒體，與計算機分開分發以提供程序給用戶，譬如，磁碟51(包括軟盤(註冊商標))、光碟52(包括CD-ROM(只讀光碟存儲器)和DVD(數字多功能盤)、磁光碟53(包括MD(小型盤)(註冊商標))或半導體存儲器54。記錄媒體也可以被配置成包含在用於記錄程序的存儲單元28中的ROM(只讀存儲器)22或硬碟，此類型的記錄媒體與計算機組裝在一起事先提供給用戶。
在本說明書中，描述記錄在記錄媒體中的程序的步驟包括按照如上所述次序以時間順序執行的處理，也包括不必按照時間順序的方式而是並行地或單獨地執行的處理。
工業可應用性根據本發明，可以獲取指示曝光間隔內對象的運動的運動量。
權利要求
1.一種圖像處理設備，用於對包括預定個數像素的圖像拍攝器件獲取、由預定個數像素數據組成的圖像數據進行處理，所述像素具有時間積分效應，所述圖像處理設備包括混合比檢測裝置，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測裝置，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
2.根據權利要求1所述的圖像處理設備，其特徵在於混合比檢測裝置包括關係式生成裝置，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
3.根據權利要求2所述的圖像處理設備，其特徵在於，所述關係式生成裝置根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
4.根據權利要求3所述的圖像處理設備，其特徵在於，當已經獲得所述圖像數據時，所述運動量檢測裝置檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
5.一種圖像處理方法，用於對包括預定個數像素的圖像拍攝器件獲取、由預定個數像素數據組成的圖像數據進行處理，所述像素具有時間積分效應，所述圖像處理方法包括混合比檢測步驟，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測步驟，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
6.根據權利要求5所述的圖像處理方法，其特徵在於混合比檢測步驟包括關係式生成步驟，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
7.根據權利要求6所述的圖像處理方法，其特徵在於在關係式生成步驟中，根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
8.根據權利要求7所述的圖像處理方法，其特徵在於，在運動量檢測步驟中，當已經獲得所述圖像數據時，檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
9.一種其上記錄有計算機可讀程序的記錄媒體，用於對包括預定個數像素的圖像拍攝器件獲取、由預定個數像素數據組成的圖像數據進行處理，所述像素具有時間積分效應，所述程序包括混合比檢測步驟，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測步驟，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
10.根據權利要求9所述的記錄媒體，其特徵在於混合比檢測步驟包括關係式生成步驟，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
11.根據權利要求10所述的記錄媒體，其特徵在於在關係式生成步驟中，根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
12.根據權利要求11所述的記錄媒體，其特徵在於，在運動量檢測步驟中，當已經獲得所述圖像數據時，檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
13.一種使計算機執行如下步驟的程序，用於對包括預定個數像素的圖像拍攝器件獲取、由預定個數像素數據組成的圖像數據進行處理，所述像素具有時間積分效應混合比檢測步驟，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測步驟，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
14.根據權利要求13所述的程序，其特徵在於混合比檢測步驟包括關係式生成步驟，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
15.根據權利要求14所述的程序，其特徵在於在關係式生成步驟中，根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
16.根據權利要求15所述的程序，其特徵在於，在運動量檢測步驟中，當已經獲得所述圖像數據時，檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
17.一種圖像拍攝設備，其特徵在於包括圖像拍攝裝置，用於輸出由具有時間積分效應的、包括預定個像素的圖像拍攝器件拍攝的對象的圖像，作為由預定個數像素數據組成的圖像數據；混合比檢測裝置，用於在圖像數據中從構成前景對象的前景對象成分和構成背景對象的背景對象成分混合在一起的混合區域檢測指示前景對象成分和背景對象成分之間的混合比例的混合比；以及運動量檢測裝置，用於與所述混合比相對應，當已經獲得構成圖像數據的像素數據時檢測曝光間隔前景對象的運動量。
18.根據權利要求17所述的圖像拍攝設備，其特徵在於混合比檢測裝置包括關係式生成裝置，用於與所述圖像數據的指定幀中的指定像素相對應、提取靠近所述指定幀的鄰近幀中的像素數據作為與背景對象相對應的背景像素數據，還用於提取所述指定幀中指定像素的指定像素數據和鄰近指定像素的鄰近像素的鄰近像素數據；以及用於生成指示指定像素數據、鄰近像素數據和對應於指定像素和鄰近像素的背景像素數據之間的關係的多個關係式；並且，根據所述關係式檢測指定像素和鄰近像素的混合比。
19.根據權利要求18所述的圖像拍攝設備，其特徵在於，所述關係式生成裝置根據其中前景對象的成分的值是相同的第一近似、所述成分包括在指定像素數據和鄰近像素數據中、以及其中混合比根據像素在混合區域中的位置線性地變化的第二近似，生成所述關係式。
20.根據權利要求19所述的圖像拍攝設備，其特徵在於，當已經獲得所述圖像數據時，所述運動量檢測裝置檢測混合區域中與像素位置相對應的混合比線性變化的斜率的倒數，作為曝光間隔前景對象的運動量，並輸出所檢測的運動量。
全文摘要
可以獲取指示曝光時間期間對象的運動的運動量。估計混合比處理模塊執行與覆蓋背景區域的模型相對應的計算，從而為每一個像素計算估計混合比和估計運動向量，並將所計算的估計混合比和估計運動向量供應給混合比確定模塊。估計混合比處理模塊(402)執行與未覆蓋背景區域的模型相對應的計算，從而為每一個像素計算估計混合比和估計運動向量，並將所計算的估計混合比和估計運動向量供應給混合比確定模塊(403)。混合比確定模塊(403)根據指示像素屬於前景區域、背景區域、覆蓋背景區域、以及未覆蓋背景區域中的哪一個的區域信息，設置混合比和運動向量。本發明可以應用到圖像處理設備中。
文檔編號G06T7/00GK1465033SQ02802518
公開日2003年12月31日 申請日期2002年6月25日 優先權日2001年6月26日
發明者近藤哲二郎, 藤原直樹, 石橋淳一, 澤尾貴志, 永野隆浩, 三宅徹, 和田成司 申請人:索尼公司