信號處理設備和信號處理方法、以及程序和記錄介質的製作方法

2023-06-21 06:24:21

專利名稱：信號處理設備和信號處理方法、以及程序和記錄介質的製作方法
技術領域：
本發明涉及一種信號處理設備和信號處理方法、以及程序和記錄介質，尤其涉及一種使得圖像等能夠更接近真實世界信號的信號處理設備和信號處理方法、以及程序和記錄介質。
背景技術：
使用傳感器檢測現實世界(真實世界)中的現象並處理從傳感器輸出的採樣數據的技術得到廣泛使用。例如，現實世界使用成像傳感器來成像並且處理作為圖像數據的採樣數據的圖像處理技術被廣泛使用。
同樣，已知這種方案，其具有維度比通過用傳感器檢測第一信號而獲得的第一維度少的第二維度，該第一信號是具有第一維度的真實世界的信號，獲得包括關於第一信號的畸變的第二信號，以及基於第二信號執行信號處理，從而產生與第二信號相比較具有減輕的畸變的第三信號(例如，日本未經審查專利申請公開號2001-250119)。
但是，常規地，考慮真實世界信號連續性的信號處理還沒有執行，所以獲得更接近真實世界信號的圖像等是困難的。

發明內容
考慮到上述情況而提出本發明，並且提供更接近真實世界信號的圖像等的獲得。
根據本發明的一種信號處理設備包括現實世界估計裝置，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成裝置，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
根據本發明的一種信號處理方法包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成步驟，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
根據本發明的一種程序包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分用樣條函數近似的與現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成步驟，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
根據本發明的一種記錄介質存儲程序，該程序包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成步驟，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
使用根據本發明的信號處理設備和信號處理方法，程序以及記錄介質，現實世界函數被估計，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失，圖像通過以預先確定的增量在至少一維方向上積分現實世界函數來產生。


圖1是說明本發明原理的圖。
圖2是說明信號處理設備4的硬體構造實例的框圖。
圖3是說明圖1中所示信號處理設備4的一種實施方案的構造實例的框圖。
圖4是詳細描述由信號處理設備4執行的信號處理原理的圖。
圖5是描述圖像傳感器上像素陣列實例的圖。
圖6是描述作為CCD的檢測設備的操作的圖。
圖7是描述投射到與像素D至像素F相對應的檢測元件中的光與像素值之間關係的圖。
圖8是描述時間的消逝、投射到與一個像素相對應的檢測元件中的光、以及像素值之間關係的圖。
圖9是說明現實世界1中線形對象的圖像實例的圖。
圖10是說明由實際成像獲得的圖像數據的像素值實例的圖。
圖11是說明具有不同於背景的顏色、具有單色和線形邊緣的對象的現實世界1圖像實例的圖。
圖12是說明由實際成像獲得的圖像數據的像素值實例的圖。
圖13是圖像數據的示意圖。
圖14是描述用M塊數據162估計模型161的圖。
圖15是描述現實世界1的信號與數據3之間關係的圖。
圖16是說明創建表達式時所關注的數據3的實例的圖。
圖17是描述現實世界1中兩個對象的信號，以及創建表達式時屬於混合區域的值的圖。
圖18是描述由表達式(18)，表達式(19)，和表達式(22)表示的連續性的圖。
圖19是說明從數據3中選取的M塊數據162的實例的圖。
圖20是描述數據3中現實世界1的信號在時間方向和二維空間方向上的積分的圖。
圖21是描述當產生具有空間方向上更高解析度的高解析度數據時積分區域的圖。
圖22是描述當產生具有時間方向上更高解析度的高解析度數據時積分區域的圖。
圖23是描述當產生具有時間-空間方向上更高解析度的高解析度數據時積分區域的圖。
圖24是說明輸入圖像的原始圖像的圖。
圖25是說明輸入圖像實例的圖。
圖26是說明通過應用常規類型分類適應處理而獲得的圖像的圖。
圖27是說明檢測細線區域的結果的圖。
圖28是說明從信號處理設備4輸出的輸出圖像實例的圖。
圖29是描述使用信號處理設備4的信號處理的流程圖。
圖30是說明數據連續性檢測單元101的構造的框圖。
圖31是說明在背景前面具有細線的現實世界1中圖像的圖。
圖32是描述使用平面近似背景的圖。
圖33是說明細線圖像已經投影的圖像數據橫截面形狀的圖。
圖34是說明細線圖像已經投影的圖像數據橫截面形狀的圖。
圖35是說明細線圖像已經投影的圖像數據橫截面形狀的圖。
圖36是描述檢測峰值和檢測單調增大/減小區域的處理的圖。
圖37是描述檢測細線區域的處理的圖，其中峰值的像素值超過閾值，而相鄰像素的像素值等於或低於閾值。
圖38是表示在由圖37中虛線AA′指示的方向上排列的像素的像素值的圖。
圖39是描述檢測單調增大/減小區域中連續性的處理的圖。
圖40是說明檢測細線圖像已經投影到其中的區域的另一種處理實例的圖。
圖41是描述連續性檢測處理的流程圖。
圖42是描述檢測時間方向上數據連續性的處理的圖。
圖43是說明非連續性分量提取單元201的構造的框圖。
圖44是描述剔除次數的圖。
圖45是描述提取非連續性分量的處理的流程圖。
圖46是描述提取連續性分量的處理的流程圖。
圖47是描述提取連續性分量的另一種處理的流程圖。
圖48是描述提取連續性分量的再一種處理的流程圖。
圖49是說明連續性分量提取單元101的另一種構造的框圖。
圖50是描述具有數據連續性的輸入圖像中活動性的圖。
圖51是描述檢測活動性的塊的圖。
圖52是描述數據連續性相對於活動性的角度的圖。
圖53是說明數據連續性檢測單元101的詳細構造的框圖。
圖54是描述一組像素的圖。
圖55是描述像素組的位置與數據連續性的角度之間關係的圖。
圖56是描述檢測數據連續性的處理的流程圖。
圖57是說明當檢測時間方向和空間方向上數據連續性角度時選取的一組像素的圖。
圖58是描述函數近似的原理的圖，其是圖3中所示現實世界估計單元的一種實施方案的實例。
圖59是描述在傳感器是CCD的情況下積分效應的圖。
圖60是描述圖59中所示傳感器的積分效應的特定實例的圖。
圖61是描述圖59中所示傳感器的積分效應的另一個特定實例的圖。
圖62是表示圖60中所示包含細線的現實世界區域的圖。
圖63是描述與圖58中所示實例相比較，圖3中所示現實世界估計單元的一種實施方案的實例原理的圖。
圖64是表示圖60中所示包含細線的數據區域的圖。
圖65是包含在圖64中所示包含細線數據區域中的每個像素值繪製在曲線圖上的圖。
圖66是近似圖65中所示包含在包含細線數據區域中的像素值的近似函數繪製在曲線圖上的圖。
圖67是描述圖60中所示包含細線現實世界區域具有的空間方向上連續性的圖。
圖68是包含在圖64中所示包含細線數據區域中的每個像素值繪製在曲線圖上的圖。
圖69是描述圖68中指示的輸入像素值的每個以預先確定移位量移位的狀態的圖。
圖70是考慮到空間方向連續性、近似圖65中所示包含在包含細線數據區域中的像素值的近似函數繪製在曲線圖上的圖。
圖71是描述空間混合區域的圖。
圖72是描述近似空間混合區域中現實世界信號的近似函數的圖。
圖73是考慮到傳感器積分性質和空間方向連續性、近似與圖65中所示包含細線數據區域相對應的現實世界信號的近似函數繪製在曲線圖上的圖。
圖74是描述使用具有圖58中所示原理的函數近似技術中初級多項式近似的現實世界估計單元的構造實例的框圖。
圖75是描述具有圖74中所示構造的現實世界估計單元執行的現實世界估計處理的流程圖。
圖76是描述分接範圍的圖。
圖77是描述具有空間方向上連續性的現實世界信號的圖。
圖78是描述在傳感器是CCD的情況下積分效應的圖。
圖79是描述橫截面方向上距離的圖。
圖80是描述使用具有圖58中所示原理的函數近似技術中二次多項式近似的現實世界估計單元的構造實例的框圖。
圖81是描述具有圖80中所示構造的現實世界估計單元執行的現實世界估計處理的流程圖。
圖82是描述分接範圍的圖。
圖83是描述時間-空間方向上連續性方向的圖。
圖84是描述在傳感器是CCD的情況下積分效應的圖。
圖85是描述具有空間方向上連續性的現實世界信號的圖。
圖86是描述具有空間-時間方向上連續性的現實世界信號的圖。
圖87是描述使用具有圖58中所示原理的函數近似技術中三次多項式近似的現實世界估計單元的構造實例的框圖。
圖88是描述具有圖87中所示構造的現實世界估計單元執行的現實世界估計處理的流程圖。
圖89是描述再積分原理的圖，其是圖3中所示圖像生成單元的一種實施方案的實例。
圖90是描述輸入像素的實例以及近似對應於輸入像素的現實世界信號的近似函數的圖。
圖91是描述從圖90中所示的近似函數中，在圖90中所示的一個輸入像素中創建四個高解析度像素的實例的圖。
圖92是描述使用具有圖89中所示原理的再積分技術中一維再積分技術的圖像生成單元的構造實例的框圖。
圖93是描述具有圖92中所示構造的圖像生成單元執行的圖像生成處理的流程圖。
圖94是說明輸入圖像的原始圖像實例的圖。
圖95是說明與圖94中所示圖像相對應的圖像數據的實例的圖。
圖96是表示輸入圖像實例的圖。
圖97是表示與圖96中所示圖像相對應的圖像數據的實例的圖。
圖98是說明通過使輸入圖像經歷常規類型分類適應處理而獲得的圖像實例的圖。
圖99是表示與圖98中所示圖像相對應的圖像數據的實例的圖。
圖100是說明通過使輸入圖像經歷一維再積分技術而獲得的圖像實例的圖。
圖101是說明與圖100中所示圖像相對應的圖像數據的實例的圖。
圖102是描述具有空間方向上連續性的現實世界信號的圖。
圖103是描述使用具有圖89中所示原理的再積分技術中二維再積分技術的圖像生成單元的構造實例的框圖。
圖104是描述橫截面方向上距離的圖。
圖105是描述具有圖103中所示構造的圖像生成單元執行的圖像生成處理的流程圖。
圖106是描述輸入像素實例的圖。
圖107是描述使用二維再積分技術，在圖106中所示一個輸入像素中創建四個高解析度像素的實例的圖。
圖108是描述空間-時間方向上連續性方向的圖。
圖109是描述使用具有圖89中所示原理的再積分技術中三維再積分技術的圖像生成單元的構造實例的框圖。
圖110是描述具有圖109中所示構造的圖像生成單元執行的圖像生成處理的流程圖。
圖111是說明圖1中所示信號處理設備4的另一種實施方案的構造實例的框圖。
圖112是描述圖111中所示信號處理設備4的處理的流程圖。
圖113是說明圖111中所示信號處理設備4的另一種應用實施方案的構造實例的框圖。
圖114是描述信號處理類型的圖。
圖115是描述圖113中所示信號處理設備4的處理的流程圖。
圖116是描述圖像傳感器的積分效應的圖。
圖117是描述圖像傳感器的積分效應的圖。
圖118是說明捕捉處於靜止狀態的背景對象，以及在其前面運動的前景對象的場景的圖。
圖119是描述前景區域、背景區域，和混合區域的圖。
圖120是說明相當於圖113中的信號處理設備4、用於去除運動模糊的設備的構造實例的框圖。
圖121是描述圖120中所示設備的處理的流程圖。
圖122是說明前景區域、背景區域，和混合區域的圖。
圖123是說明前景分量和背景分量的圖。
圖124是說明三維樣條函數的圖。
圖125是說明使用樣條函數Ck(x)來近似光信號函數F(x)的物理模型的圖。
圖126是描述圖125的物理模型中獲得的像素值的圖。
圖127是說明像素中積分範圍的圖。
圖128是說明計算像素值分量S1的積分範圍的圖。
圖129是說明計算像素值分量S2的積分範圍的圖。
圖130是說明計算像素值分量S3，p的積分範圍的圖。
圖131是描述計算像素值分量S3，p的待積分樣條函數的圖。
圖132是說明計算像素值分量S3，p的積分範圍的圖。
圖133是說明計算像素值分量S4，p的積分範圍的圖。
圖134是說明計算像素值分量S4，p的積分範圍的圖。
圖135是描述獲得運動模糊去除的像素值的積分方法的圖。
圖136是描述獲得運動模糊去除的高解析度像素值的積分方法的圖。
圖137是說明圖120中所示運動模糊調節單元17035的構造實例的框圖。
圖138是描述圖137中所示運動模糊調節單元17035的處理的流程圖。
圖139是描述約束條件的圖。
圖140是描述使用約束條件表達式估計現實世界的方法的圖。
圖141是說明圖120中所示運動模糊調節單元17035的另一種構造實例的框圖。
圖142是描述圖141中所示運動模糊調節單元17035的處理的流程圖。
圖143是說明執行現實處理的現實處理單元17100的框圖。
圖144是說明圖143中所示現實處理單元17100的構造實例的框圖。
圖145是描述圖144中所示現實處理單元17100的處理的流程圖。
圖146是說明圖143中所示現實處理單元17100的另一種構造實例的框圖。
圖147是描述圖146中所示現實處理單元17100的處理的流程圖。
圖148是說明物理模型的圖，假設圖125中物理模型的運動量v為0。
圖149是描述獲得高解析度像素值的積分方法的圖。
圖150是說明圖143中所示現實處理單元17100的再一種構造實例的框圖。
圖151是描述圖150中所示現實處理單元17100的處理的流程圖。
圖152是描述圖113中所示信號處理設備4的處理的流程圖。
圖153是描述用戶I/F 17006由用戶的操作的圖。
圖154是說明相當於圖113中所示信號處理設備4的設備的構造實例的框圖。
圖155是描述圖154中所示設備的處理的流程圖。
圖156是說明圖154中所示運動模糊去除處理單元17303的構造實例的框圖。
圖157是描述圖156中所示運動模糊去除處理單元17303的處理的流程圖。
圖158是說明圖154中所示運動模糊去除處理單元17303的另一種構造實例的框圖。
圖159是描述圖158中所示運動模糊去除處理單元17303的處理的流程圖。
圖160是說明連續性設置單元17002的構造實例的框圖。
圖161是描述運動量的圖。
圖162是說明當前景對象經過背景對象前面時由照相機拍攝的、從照相機輸出的圖像的像素值的圖。
圖163是說明圖162中所示圖像中像素的像素值的差值的圖。
圖164是描述檢測運動量的處理的流程圖。
圖165是描述檢測相關性的處理的流程圖。
具體實施例方式
圖1說明本發明的原理。如附圖中所示，具有空間、時間和質量維度的現實世界1中的事件(現象)由傳感器2獲取，並形成數據。現實世界1中的事件指光(圖像)、聲音、壓力、溫度、質量、溼度、亮度/暗度或氣味等。現實世界1中的事件分布在空間-時間方向上。例如，現實世界1的圖像是現實世界1的光強在空間-時間方向上的分布。
注意傳感器2，具有空間、時間和質量維度的現實世界1中的事件中，傳感器2可以獲取的現實世界1中的事件由傳感器2轉換成數據3。可以說指示現實世界1中事件的信息由傳感器2獲取。
也就是說，傳感器2將指示現實世界1中事件的信息轉換成數據3。可以說，作為指示具有空間、時間和質量維度的現實世界1中事件(現象)的信息的信號由傳感器2獲取並形成數據。
以下，現實世界1中事件例如圖像、聲音、壓力、溫度、質量、溼度、亮度/暗度或氣味等的分布將稱作現實世界1的信號，其作為指示事件的信息。同樣，作為指示現實世界1的事件的信息的信號也將簡稱作現實世界1的信號。在本說明書中，信號將被理解為包括現象和事件，並且還包括在傳輸側沒有目的的那些事物。
從傳感器2輸出的數據3(檢測信號)是通過將指示現實世界1的事件的信息投影到維度比現實世界1少的空間-時間上而獲得的信息。例如，作為運動圖像的圖像數據的數據3是通過將現實世界1的三維空間方向和時間方向的圖像投影到具有二維空間方向和時間方向的時間-空間上而獲得的信息。而且，如果數據3是例如數字數據，數據3根據採樣增量捨入。如果數據3是模擬數據，數據3的信息根據動態範圍壓縮，或者信息的一部分由限幅器等刪除。
因此，通過將所示作為指示具有預先確定維度數目的現實世界1中事件的信息的信號投影到數據3(檢測信號)上，指示現實世界1中事件的信息的一部分被丟棄。也就是說，指示現實世界1中事件的信息的一部分從傳感器2輸出的數據3中丟棄。
但是，即使指示現實世界1中事件的信息的一部分因投影而丟棄，數據3包括用於估計作為指示現實世界1中事件(現象)的信息的信號的有用信息。
對於本發明，具有包含在現實世界1或數據3中的連續性的信息用作估計作為現實世界1信息的信號的有用信息。連續性是重新定義的概念。
注意現實世界1，現實世界1中的事件包括在預先確定維度方向上恆定的特性。例如，現實世界1中的對象(有形對象)具有在空間方向或時間方向上連續的形狀、圖案或顏色，或者具有形狀、圖案或顏色的重複圖案。
因此，指示現實世界1中事件的信息包括在預先確定維度方向上恆定的特性。
對於更具體的實例，線形對象例如線、細繩或粗繩具有在長度方向上也就是空間方向上恆定的特性，即橫截面形狀在長度方向上任意位置處是相同的。空間方向上的恆定特性即橫截面形狀在長度方向上任意位置處相同，來自於線形對象為長形的特性。
因此，線形對象的圖像具有在長度方向也就是空間方向上恆定的特性，即橫截面形狀在長度方向上任意位置處是相同的。
而且，作為在空間方向上展開的有形對象的單調對象可以假定具有這樣的恆定特性，即在空間方向上具有相同顏色而不管其部分。
同樣地，作為在空間方向上展開的有形對象的單調對象的圖像具有這樣的恆定特性，即在空間方向上具有相同顏色而不管其部分。
這樣，現實世界1(真實世界)中的事件具有在預先確定維度方向上恆定的特性，所以現實世界1的信號具有在預先確定維度方向上恆定的特性。
在本說明書中，在預先確定維度方向上恆定的這種特性將稱作連續性。現實世界1(真實世界)的信號的連續性意思是指示現實世界1(真實世界)的事件的信號具有的、在預先確定維度方向上恆定的特性。
現實世界1(真實世界)中存在無數這種連續性。
接下來，注意數據3，數據3由指示具有預先確定維度的現實世界1事件的信息的信號由傳感器2投影而獲得，並且包括與真實世界中信號連續性相對應的連續性。可以說，數據3包括現實世界信號的連續性已經投影於其中的連續性。
但是，如上所述，在從傳感器2輸出的數據3中，現實世界1的信息的一部分已經丟失，所以包含在現實世界1(真實世界)信號中的連續性的一部分可能從數據中丟失。
換句話說，數據3包含現實世界1(真實世界)信號連續性中的至少一部分連續性作為數據連續性。數據連續性意思是數據3具有的、在預先確定維度方向上恆定的特性。
對於本發明，現實世界1信號的連續性，或者數據3具有的數據連續性用作估計作為指示現實世界1事件的信息的信號的重要數據。
例如，對於信號處理設備4，指示現實世界1中事件的、已經丟失的信息由數據3的信號處理使用數據連續性而產生。
現在，對於信號處理設備4，作為用作指示現實世界1中事件的信息的信號維度的長度(空間)、時間和質量中，空間方向或時間方向上的連續性被使用。
在圖1中，傳感器2由例如數字靜物照相機、視頻攝影機等形成，並且拍攝現實世界1的圖像，並將作為獲得數據3的圖像數據輸出到信號處理設備4。傳感器2也可以是溫度記錄設備、使用光致彈性的壓力傳感器等。
信號處理設備4由例如個人計算機等構成，並且執行關於數據3的信號處理。
信號處理設備4例如如圖2中所示構成。CPU(中央處理單元)21根據存儲在ROM(只讀存儲器)22或存儲單元28中的程序執行各種類型的處理。RAM(隨機存取存儲器)23在適當的時候存儲待由CPU21執行的程序、數據等。CUP 21、ROM 22和RAM 23通過總線24互相連接。
同樣經由總線24連接到CPU 21的是輸入/輸出接口25。由鍵盤、滑鼠、麥克風等構成的輸入設備26，以及由顯示器、揚聲器等構成的輸出單元27連接到輸入/輸出接口25。CPU 21執行與從輸入單元26輸入的命令相對應的各種類型的處理。然後，CPU 21將作為處理結果而獲得的圖像和音頻等輸出到輸出單元27。
連接到輸入/輸出接口25的存儲單元28由例如硬碟構成，並存儲CPU 21執行的程序和各種類型的數據。通信單元29經由網際網路和其它網絡與外部設備通信。在該實例的情況下，通信單元29用作獲取從傳感器2輸出的數據3的獲取單元。
而且，配置可以這樣進行，其中程序經由通信單元29獲得並存儲在存儲單元28中。
連接到輸入/輸出接口25的驅動器30驅動安裝在那裡的磁碟51、光碟52、磁光碟53、或半導體存儲器54等，並且獲得記錄在其中的程序和數據。獲得的程序和數據根據需要傳送到存儲單元28並存儲。
圖3是說明信號處理設備4的框圖。
注意，信號處理設備4的功能由硬體實現還是由軟體實現不相關。也就是說，本說明書中的框圖可以看作硬體框圖或可以看作軟體功能框圖。
對於其構造如圖3中所示的信號處理設備4，作為數據3的實例的圖像數據輸入，並且數據連續性從輸入圖像數據(輸入圖像)中檢測。接下來，由傳感器2獲取的現實世界1的信號從檢測的數據連續性中估計。然後，基於現實世界1的估計信號，圖像生成，並且生成的圖像(輸出圖像)被輸出。也就是說，圖3是說明作為圖像處理設備的信號處理設備4構造的圖。
輸入到信號處理設備4的輸入圖像(作為數據3的實例的圖像數據)提供給數據連續性檢測單元101和現實世界估計單元102。
數據連續性檢測單元101從輸入圖像中檢測數據的連續性，並將指示檢測的連續性的數據連續性信息提供給現實世界估計單元102和圖像生成單元103。數據連續性信息包括例如輸入圖像中具有數據連續性的像素區域的位置、具有數據連續性的像素區域的方向(時間方向和空間方向的角度或梯度)、或具有數據連續性的像素區域的長度等。數據連續性檢測單元101的詳細構造將隨後描述。
現實世界估計單元102基於輸入圖像和從數據連續性檢測單元101提供的數據連續性信息估計現實世界1的信號。也就是說，現實世界估計單元102估計作為在獲取輸入圖像時投射到傳感器2中的現實世界信號的圖像。現實世界估計單元102將指示現實世界1信號估計結果的現實世界估計信息提供給圖像生成單元103。現實世界估計單元102的詳細構造將隨後描述。
圖像生成單元103基於從現實世界估計單元102提供的、指示現實世界1的估計信號的現實世界估計信息生成更接近現實世界1信號的信號，並輸出生成的信號。或者，圖像生成單元103基於從數據連續性檢測單元101提供的數據連續性信息，以及從現實世界估計單元102提供的、指示現實世界1的估計信號的現實世界估計信息生成更接近現實世界1信號的信號，並輸出生成的信號。
也就是說，圖像生成單元103基於現實世界估計信息生成更接近現實世界1圖像的圖像，並輸出生成的圖像作為輸出圖像。或者，圖像生成單元103基於數據連續性信息和現實世界估計信息生成更接近現實世界1圖像的圖像，並輸出生成的圖像作為輸出圖像。
例如，圖像生成單元103通過基於現實世界估計信息，在空間方向或時間方向的期望範圍內積分現實世界1的估計圖像，來生成與輸入圖像相比較具有空間方向或時間方向上更高解析度的圖像，並輸出生成的圖像作為輸出圖像。例如，圖像生成單元103通過外插/內插生成圖像，並輸出生成的圖像作為輸出圖像。
圖像生成單元103的詳細構造將隨後描述。
接下來，將參考圖4來描述本發明的原理。
例如，現實世界1的信號，其是例如圖像，成像在作為傳感器2實例的CCD(電荷耦合器件)的感光面上。作為傳感器2實例的CCD具有積分性質，所以差異在從CCD輸出的、關於現實世界1圖像的數據3中產生。傳感器2的積分性質的細節將隨後描述。
對於信號處理設備4的信號處理，由CCD獲得的現實世界1的圖像與由CCD獲取並輸出的數據3之間的關係被明確地考慮。也就是說，數據3與作為由傳感器2獲得的現實世界信息的信號之間的關係被明確地考慮。
更具體地說，如圖4中所示，信號處理設備4使用模型161來近似(描述)現實世界1。模型161由例如N個變量表示。更準確地說，模型161近似(描述)現實世界1的信號。
為了預測模型161，信號處理設備4從數據3中選取M塊數據162。當從數據3中選取M塊數據162時，信號處理設備4使用例如包含在數據3中的數據連續性。換句話說，信號處理設備4基於包含在數據3中的數據連續性，選取預測模型161的數據162。因此，在該情況下，模型161由數據連續性約束。
也就是說，模型161近似具有連續性(預先確定維度方向上的恆定特性)的現實世界1的事件(指示事件的信息(信號))，當使用傳感器2獲取時該連續性產生數據3中的數據連續性。
現在，如果數據162的數目M為N或更多，其中N是模型的變量數目，由N個變量表示的模型161可以從M塊數據162中預測。
這樣，信號處理設備4可以通過預測近似(描述)現實世界1(的信號)的模型161來考慮作為現實世界1信息的信號。
接下來，將描述傳感器2的積分效應。
在成像真實世界時，圖像傳感器例如CCD或CMOS(互補金屬氧化物半導體)傳感器等，其作為獲取圖像的傳感器2，將作為真實世界信息的信號投影到二維數據上。圖像傳感器的像素每個具有預先確定的面積，作為所謂感光面(感光區域)。到具有預先確定面積的感光面的入射光在每個像素的空間方向和時間方向上積分，並且轉換成每個像素的單個像素值。
將參考圖5至圖8來描述圖像的空間-時間積分。
圖像傳感器成像真實世界中的主體(對象)，並輸出獲得的圖像數據為單幀累加的成像結果。也就是說，圖像傳感器獲取現實世界1的信號，該信號為從現實世界1的主體反射的光，並輸出數據3。
例如，圖像傳感器輸出每秒30幀的圖像數據。在該情況下，圖像傳感器的曝光時間可以為1/30秒。曝光時間是從圖像傳感器開始入射光到電荷的轉換，到入射光到電荷的轉換結束的時間。以下，曝光時間也將稱作快門時間。
圖5是描述圖像傳感器上像素陣列實例的圖。在圖5中，A～I表示各個像素。像素設置在與由圖像數據顯示的圖像相對應的平面上。與單個像素相對應的單個檢測元件設置在圖像傳感器上。當圖像傳感器獲取現實世界1的圖像時，一個檢測元件輸出與構成圖像數據的一個像素相對應的一個像素值。例如，檢測元件空間方向X上的位置(X坐標)對應於由圖像數據顯示的圖像上的水平位置，並且檢測元件空間方向Y上的位置(Y坐標)對應於由圖像數據顯示的圖像上的垂直位置。
現實世界1的光強分布在三維空間方向和時間方向上展開，但是圖像傳感器在二維空間方向和時間方向上獲取現實世界1的光，並產生表示二維空間方向和時間方向上光強分布的數據3。
如圖6中所示，檢測設備例如CCD在對應於快門時間的時期中將投射到感光面(感光區域)(檢測區域)上的光轉換成電荷，並積累轉換的電荷。該光是現實世界1的信息(信號)，關於其的強度由三維空間位置和時間點確定。現實世界1的光強分布可以由函數F(x，y，z，t)表示，其中三維空間中的位置x，y，z以及時間點t為變量。
在檢測設備CCD中積累的電荷量與投射到具有二維空間展開的整個感光面上的光強、以及光投射到其上的時間量近似成比例。檢測設備將從投射到整個感光面上的光中轉換的電荷加到在對應於快門時間的時期中已經積累的電荷。也就是說，檢測設備積分投射到具有二維空間展開的整個感光面上的光，並累積與在對應於快門時間的時期中積分的光相對應的量的變化。檢測設備也可以說具有關於空間(感光面)和時間(快門時間)的積分效應。
檢測設備中累積的電荷由未顯示的電路轉換成電壓值，電壓值進一步轉換成像素值例如數字數據等，並且作為數據3輸出。因此，從圖像傳感器輸出的各個像素值具有投影到一維空間上的值，該值是關於快門時間的時間方向和檢測設備感光面的空間方向積分具有時間-空間展開的現實世界1信息(信號)的部分的結果。
也就是說，一個像素的像素值表示為F(x，y，t)的積分。F(x，y，t)是表示檢測設備感光面上的光強分布的函數。例如，像素值P由表達式(1)表示。
P=t1t2y1y2x1x2F(x,y,t)dxdydt---(1)]]>在表達式(1)中，x1表示檢測設備感光面的左側邊界處的空間坐標(X坐標)。x2表示檢測設備感光面的右側邊界處的空間坐標(X坐標)。在表達式(1)中，y1表示檢測設備感光面的上側邊界處的空間坐標(Y坐標)。y2表示檢測設備感光面的下側邊界處的空間坐標(Y坐標)。並且，t1表示入射光到電荷的轉換開始的時間點。t2表示入射光到電荷的轉換結束的時間點。
注意實際上，從圖像傳感器輸出的圖像數據的像素值的增益對於例如整個幀而校正。
圖像數據的每個像素值是投射到圖像傳感器的每個檢測元件的感光面上的光的積分值，並且投射到圖像傳感器上的光中，比檢測元件感光面更細的現實世界1的光的波形在作為積分值的像素值中隱藏。
以下，在本說明書中，用預先確定維度表示作為參考的信號的波形可以簡稱作波形。
因此，現實世界1的圖像(光信號)以像素為增量在空間方向和時間方向上積分，所以現實世界1的圖像連續性的一部分從圖像數據中丟失，從而現實世界1的圖像連續性的另一部分留在圖像數據中。或者，可能存在這種情況，其中已經從現實世界1的圖像連續性變化的連續性包括在圖像數據中。
將進一步描述由具有積分效應的圖像傳感器獲取的圖像在空間方向上的積分效應。
圖7是描述到與像素D至像素F相對應的檢測元件的入射光與像素值之間關係的圖。圖7中的F(x)是以空間中(檢測設備上)空間方向X上的坐標x作為變量、表示現實世界1的光強分布的函數的實例。換句話說，F(x)是表示空間方向Y和時間方向恆定的、現實世界1的光強分布的函數的實例。在圖7中，L表示與像素D至像素F相對應的檢測設備感光面的空間方向X上的長度。
單個像素的像素值表示為F(x)的積分。例如，像素E的像素值P由表達式(2)表示。
P=x1x2F(x)dx---(2)]]>在表達式(2)中，x1表示與像素E相對應的檢測設備感光面左側邊界處的空間方向X上的空間坐標。x2表示與像素E相對應的檢測設備感光面右側邊界處的空間方向X上的空間坐標。
同樣地，將進一步描述由具有積分效應的圖像傳感器獲取的圖像在時間方向上的積分效應。
圖8是描述消逝的時間、到與單個像素相對應的檢測元件的入射光，以及像素值之間關係的圖。圖8中的F(t)是以時間點t作為變量、表示現實世界1的光強分布的函數。換句話說，F(t)是表示空間方向Y和空間方向X恆定的、現實世界1的光強分布的函數的實例。Ts表示快門時間。
幀#n-1是時間方向上幀#n之前的幀，而幀#n+1是時間方向上幀#n之後的幀。也就是說，幀#n-1、幀#n和幀#n+1以幀#n-1、幀#n和幀#n+1的順序顯示。
注意，在圖8中所示實例中，快門時間ts和幀間隔是相同的。
單個像素的像素值表示為F(t)的積分。例如，幀#n的像素的像素值P由表達式(3)表示。
P=t1t2F(t)dt---(3)]]>
在表達式(3)中，t1表示入射光到電荷的轉換開始的時刻。t2表示入射光到電荷的轉換結束的時刻。
以下，傳感器2在空間方向上的積分效應將簡稱作空間積分效應，而傳感器2在時間方向上的積分效應也將簡稱作時間積分效應。並且，空間積分效應或時間積分效應將簡稱作積分效應。
接下來，將描述由具有積分效應的圖像傳感器獲取的數據3中包括的數據連續性的實例。
圖9是說明現實世界1的線形對象(例如細線)，即光強分布的實例的圖。在圖9中，到附圖上側的位置表示光強(光度)，到附圖右上側的位置表示在作為圖像空間方向的一個方向的空間方向X上的位置，並且到附圖右側的位置表示在作為圖像空間方向的另一個方向的空間方向Y上的位置。
現實世界1的線形對象的圖像包括預先確定的連續性。也就是說，圖9中所示圖像具有在長度方向上任意位置處橫截面形狀方面的連續性(關於與長度方向垂直的方向上位置的變化，光度變化)。
圖10是說明與圖9中所示圖像相對應、由實際圖像拍攝獲得的圖像數據的像素值的實例的圖。
也就是說，圖10是通過使用圖像傳感器對直徑比每個像素的感光面長度L短，並且在從圖像傳感器像素陣列(像素的垂直或水平陣列)偏移的方向上延伸的線形對象的圖像成像而獲得的圖像數據的模型圖。圖10中所示圖像數據獲取時投射到圖像傳感器中的圖像是圖9中所示現實世界1的線形對象的圖像。
在圖10中，到附圖上側的位置表示像素值，到附圖右上側的位置表示作為圖像空間方向的一個方向的空間方向X上的位置，並且到附圖右側的位置表示作為圖像空間方向的另一個方向的空間方向Y上的位置。圖10中表示像素值的方向對應於圖9中光度的方向，並且圖10中的空間方向X和空間方向Y也與圖9中的方向相同。
如果使用圖像傳感器獲取直徑比每個像素的感光面長度L短的線形對象的圖像，在模型表示中，例如，線形對象在作為圖像獲取結果而獲得的圖像數據中表示為以對角偏移方式排列的、具有預先確定長度的多個弧形(半盤)。弧形具有近似相同的形狀。一個弧形形成在垂直地一行像素上，或者水平地一行像素上。例如，圖10中所示的一個弧形形成在垂直地一行像素上。
因此，對於由例如圖像傳感器獲取並獲得的圖像數據，現實世界1的線形對象圖像具有的、在長度方向上任意位置處空間方向Y上橫截面形狀相同的連續性丟失。而且，可以說，現實世界1的線形對象圖像具有的連續性已經變成這種連續性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形狀的弧形以預先確定的間隔排列。
圖11是說明具有直邊且具有不同於背景的單色的對象在現實世界1中的圖像，即光強分布實例的圖。在圖11中，到附圖上側的位置表示光強(光度)，到附圖右上側的位置表示作為圖像空間方向的一個方向的空間方向X上的位置，並且到附圖右側的位置表示作為圖像空間方向的另一個方向的空間方向Y上的位置。
具有直邊且具有不同於背景的單色的現實世界1的對象的圖像包括預先確定的連續性。也就是說，圖11中所示圖像具有這種連續性，即在邊緣長度方向上任意位置處橫截面形狀(關於在與長度方向垂直的方向上位置的變化，光度變化)相同。
圖12是說明與圖11中所示圖像相對應、由實際圖像拍攝獲得的圖像數據的像素值的實例的圖。如圖12中所示，圖像數據為階梯形，因為圖像數據由以像素為增量的像素值構成。
圖13是說明圖12中所示圖像數據的模型圖。
圖13中所示模型圖是通過使用圖像傳感器對具有直邊以及不同於背景的單色，並且在從圖像傳感器像素陣列(像素的垂直或水平陣列)偏移的方向上延伸的現實世界1對象的圖像成像而獲得的圖像數據的模型圖。圖13中所示圖像數據獲取時投射到圖像傳感器中的圖像是圖11中所示具有直邊以及不同於背景的單色的現實世界1對象的圖像。
在圖13中，到附圖上側的位置表示像素值，到附圖右上側的位置表示作為圖像空間方向的一個方向的空間方向X上的位置，以及到附圖右側的位置表示作為圖像空間方向的另一個方向的空間方向Y上的位置。圖13中表示像素值的方向對應於圖11中光度的方向，並且圖13中的空間方向X和空間方向Y與圖11中的方向相同。
如果使用圖像傳感器獲取具有直邊以及不同於背景的單色的現實世界1對象的圖像，在模型表示中，例如，直邊在作為圖像獲取結果而獲得的圖像數據中表示為以對角偏移方式排列的、具有預先確定長度的多個爪形。爪形具有近似相同的形狀。一個爪形形成在垂直地一行像素上，或者水平地一行像素上。例如，圖13中所示的一個爪形形成在垂直地一行像素上。
因此，具有直邊以及不同於背景的單色的現實世界1對象的圖像的連續性，即在邊緣長度方向上任意位置處橫截面形狀相同，例如，在通過使用圖像傳感器成像而獲得的圖像數據中丟失。而且，可以說，具有直邊以及不同於背景的單色的現實世界1對象的圖像具有的連續性已經變成這種連續性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形狀的爪形以預先確定的間隔排列。
數據連續性檢測單元101檢測例如作為輸入圖像的數據3的這種數據連續性。例如，數據連續性檢測單元101通過檢測在預先確定維度方向上具有恆定特性的區域來檢測數據連續性。例如，數據連續性檢測單元101檢測例如圖10中所示相同的弧形以恆定間隔排列的區域。同樣，例如，數據連續性檢測單元101檢測例如圖13中所示相同的爪形以恆定間隔排列的區域。
而且，數據連續性檢測單元101通過檢測指示相同形狀排列的空間方向上的角度(梯度)來檢測數據的連續性。
而且，例如，數據連續性檢測單元101通過檢測指示空間方向和時間方向上相同形狀排列的空間方向和時間方向上的角度(運動)來檢測數據的連續性。
此外，例如，數據連續性檢測單元101通過檢測在預先確定維度方向上具有恆定特性的區域的長度來檢測數據中的連續性。
以下，數據3中傳感器2已經投影具有直邊以及不同於背景的單色的現實世界1對象的圖像的部分也將稱作二值邊緣。
現在，使用常規信號處理，期望高解析度數據例如從數據3中產生。
相反地，使用信號處理設備4的信號處理，現實世界1從數據3中估計，並且高解析度數據基於估計結果而產生。也就是說，現實世界1從數據3中估計，並且高解析度數據基於考慮數據3的估計的現實世界1而產生。
為了從現實世界1中產生高解析度數據，需要考慮現實世界1與數據3之間的關係。例如，考慮現實世界1如何由傳感器2即CCD投影到數據3上。
傳感器2即CCD如上所述具有積分性質。也就是說，數據3的一個單位(例如像素值)可以通過關於傳感器2的檢測設備(例如CCD)的檢測區域(例如感光面)積分現實世界1的信號來計算。
將此應用到高解析度數據，高解析度數據可以通過施加處理到估計的現實世界1而獲得，其中虛擬高解析度傳感器將現實世界1的信號投影到數據3。
換句話說，如果現實世界1的信號可以從數據3中估計，包含在高解析度數據中的一個值可以通過對虛擬高解析度傳感器的檢測元件的每個檢測區域(在時間-空間方向上)積分現實世界1的信號來獲得。
例如，如果現實世界1信號的變化小於傳感器2的檢測元件檢測區域的大小，數據3不能表示現實世界1信號的小變化。因此，指示現實世界1信號的小變化的高解析度數據可以通過關於比現實世界1信號的變化小的每個區域(在時間-空間方向上)積分從數據3中估計的現實世界1的信號來獲得。
也就是說，對關於虛擬高解析度傳感器的每個檢測元件的檢測區域積分估計的現實世界1的信號，能夠獲得高解析度數據。
對於信號處理設備4，圖像生成單元103通過關於虛擬高解析度傳感器的檢測元件的區域在時間-空間方向上積分估計的現實世界1的信號，來產生高解析度數據。
接下來，為了從數據3中估計現實世界1，在信號處理設備4處，數據3與現實世界1之間的關係、連續性以及數據3中的空間或時間混合(空間混合或時間混合)被使用。
這裡，混合意思是數據3中的值，其中現實世界1中兩個對象的信號混合以產生單個值。
空間混合意思是因傳感器2的空間積分效應，空間方向上兩個對象的信號的混合。時間混合將隨後描述。
現實世界1自身由無數事件構成，因此，為了用數學表達式表示現實世界1自身，例如，需要具有無數個變量。從數據3中預測現實世界1的所有事件是不可能的。
同樣地，從數據3中預測現實世界1的所有信號是不可能的。
因此，使用信號處理設備4，現實世界1的信號中，具有連續性且可以由函數f(x，y，z，t)表示的部分被關注，並且可以由函數f(x，y，z，t)表示且具有連續性的現實世界1信號的部分用由N個變量表示的模型161近似。如圖14中所示，模型161從數據3中的M塊數據162中預測。
為了使得模型161能夠從M塊數據162中預測，首先，需要基於連續性用N個變量表示模型161，第二，基於傳感器2的積分性質，產生使用N個變量、指示由N個變量表示的模型161與M塊數據162之間關係的表達式。因為模型161基於連續性由N個變量表示，可以說使用N個變量、指示由N個變量表示的模型161與M塊數據162之間關係的表達式，描述具有連續性的現實世界1信號的部分與具有數據連續性的數據3的部分之間的關係。
換句話說，由N個變量表示的模型161近似的、具有連續性的現實世界1信號的部分產生數據3中的數據連續性。
數據連續性檢測單元101檢測數據連續性已經由具有連續性的現實世界1信號的部分產生的數據3的部分，以及數據連續性已經產生的部分的特性。
例如，如圖15中所示，在具有直邊以及不同於背景的單色的現實世界1對象的圖像中，圖15中由A指示的關注位置處的邊緣具有梯度。圖15中的箭頭B指示邊緣的梯度。預先確定的邊緣梯度可以表示為關於參考軸的角度或者關於參考位置的方向。例如，預先確定的邊緣梯度可以表示為空間方向X的坐標軸與邊緣之間的角度。例如，預先確定的邊緣梯度可以表示為由空間方向X的長度和空間方向Y的長度指示的方向。
當具有直邊以及不同於背景的單色的現實世界1對象的圖像在傳感器2處獲得並且數據3輸出時，對應於邊緣的爪形排列在數據3中與現實世界1的圖像中邊緣的關注位置(A)相對應的位置處，其在圖15中由A′指示，並且對應於邊緣的爪形在與現實世界1中圖像邊緣的梯度相對應的方向上，圖15中由B′指示的梯度的方向上排列。
用N個變量表示的模型161近似產生數據3中數據連續性的現實世界1信號的這種部分。
當列出使用N個變量、指示由N個變量表示的模型161與M塊數據162之間關係的表達式時，使用數據連續性在數據3中產生的部分的值。
在該情況下，在圖16中所示數據3中，注意數據連續性在其中產生並且屬於混合區域的值，表達式用積分現實世界1的信號、與由傳感器2的檢測元件輸出的值相等的值列出。例如，多個表達式可以關於數據連續性在其中產生的數據3中多個值而列出。
在圖16中，A表示邊緣的關注位置，A′表示與現實世界1的圖像中關注邊緣的位置(A)相對應的像素(位置)。
現在，混合區域意思是現實世界1中兩個對象的信號混合併變為一個值的數據3中的數據區域。例如，這樣的像素值屬於混合區域，其中在具有直邊以及不同於數據3中背景的單色的現實世界1對象的圖像中，具有直邊的對象的圖像和背景的圖像被積分。
圖17是描述在列出表達式的情況下，現實世界1中兩個對象的信號以及屬於混合區域的值的圖。
圖17的左側說明與在空間方向X和空間方向Y上具有預先確定展開的現實世界1中兩個對象相對應的現實世界1的信號，該信號在傳感器2的單個檢測元件的檢測區域處獲取。圖17的右側說明數據3中單個像素的像素值P，圖17中左側說明的現實世界1的信號已經由傳感器2的單個檢測元件投影到其中。也就是說，說明數據3中單個像素的像素值P，與在空間方向X和空間方向Y上具有預先確定展開的現實世界1中兩個對象相對應、並且由傳感器2的單個檢測元件獲取的現實世界1的信號已經投影到其中。
圖17中的L表示與現實世界1中一個對象相對應的現實世界1的信號的光度，其在圖17中以白色顯示。圖17中的R表示與現實世界1中另一個對象相對應的現實世界1的信號的光度，其在圖17中顯示為陰影。
這裡，混合比α是投射到在空間方向X和空間方向Y上具有預先確定展開的傳感器2的一個檢測元件的檢測區域中、與兩個對象相對應的信號(面積)比。例如，混合比α表示投射到在空間方向X和空間方向Y上具有預先確定展開的傳感器2的一個檢測元件的檢測區域中的光度L信號的面積，關於傳感器2的單個檢測元件的檢測區域的面積的比值。
在該情況下，光度L、光度R和像素值P之間的關係可以由表達式(4)表示。
α×L+f(1-α)×R＝P …(4)注意，可能存在這種情況，其中光度R可以看作位於關注像素右側的數據3中像素的像素值，並且可能存在這種情況，其中光度L可以看作位於關注像素左側的數據3中像素的像素值。
而且，對於混合比α和混合區域，時間方向可以與空間方向相同的方法考慮。例如，如果作為圖像獲取對象的現實世界1中的對象正關於傳感器2運動，投射到傳感器2的單個檢測元件的檢測區域中的兩個對象的信號比在時間方向上變化。已經投射到傳感器2的單個檢測元件的檢測區域中、其比值在時間方向上變化的兩個對象的信號由傳感器2的檢測元件投影到數據3的單個值中。
因傳感器2的時間積分效應兩個對象的信號在時間方向上的混合將稱作時間混合。
數據連續性檢測單元101檢測現實世界1中兩個對象的現實世界1的信號例如已經投影到其中的數據3中的像素區域。數據連續性檢測單元101例如檢測與現實世界1中圖像邊緣的梯度相對應的數據3中的梯度。
現實世界估計單元102通過基於例如具有由數據連續性檢測單元101檢測的預先確定混合比α的像素區域以及區域的梯度，列出使用N個變量、表示由N個變量表示的模型161與M塊數據162之間關係的表達式，並求解列出的表達式來估計現實世界1的信號。
將進一步描述現實世界1的具體估計。
在由函數F(x，y，z，t)表示的現實世界的信號中，讓我們考慮使用由空間方向X上的位置x、空間方向Y上的位置y以及時間點t確定的近似函數f(x，y，t)，來近似空間方向Z上橫截面處(傳感器2的位置)由函數F(x，y，t)表示的現實世界的信號。
現在，傳感器2的檢測區域具有在空間方向X和空間方向Y上的展開。換句話說，近似函數f(x，y，t)是近似由傳感器2獲取的、具有在空間方向和時間方向上的展開的現實世界1的信號的函數。
讓我們假定，來自傳感器2的現實世界1的信號的投影產生數據3的值P(x，y，t)。數據3的值P(x，y，t)是例如作為圖像傳感器的傳感器2輸出的像素值。
現在，如果傳感器2的投影可以用公式表示，通過投影近似函數f(x，y，t)而獲得的值可以表示為投影函數S(x，y，t)。
獲得投影函數S(x，y，t)具有下面的問題。
首先，通常，表示現實世界1的信號的函數F(x，y，z，t)可以是具有無窮階數的函數。
第二，即使現實世界的信號可以描述為函數，經由傳感器2投影的投影函數S(x，y，t)通常不能確定。也就是說，傳感器2的投影動作，換句話說，傳感器2的輸入信號與輸出信號之間的關係是未知的，所以投影函數S(x，y，t)不能確定。
對於第一個問題，讓我們考慮用作為可描述函數(例如具有有窮階數的函數)的函數fi(x，y，t)與變量wi的乘積的和來表示近似現實世界1的信號的函數f(x，y，t)。
同樣，對於第二個問題，用公式表示傳感器2的投影允許我們從函數fi(x，y，t)的描述中描述函數Si(x，y，t)。
也就是說，用函數fi(x，y，t)與變量wi的乘積的和來表示近似現實世界1的信號的函數f(x，y，t)，可以獲得表達式(5)。
f(x,y,t)=i=1Nwifi(x,y,t)---(5)]]>例如，如表達式(6)中所示，數據3與現實世界信號之間的關係可以通過用公式表示傳感器2的投影從表達式(5)中如表達式(7)中所示而列出。
Si(x，y，t)＝∫∫∫fi(x，y，t)dxdydt …(6)Pj(xj,yj,tj)=i=1NwiSi(xj,yj,tj)---(7)]]>在表達式(7)中，j表示數據的索引。
如果M個數據組(j＝1～M)與N個變量wi(i＝1～N)存在於表達式(7)中，表達式(8)滿足，所以現實世界的模型161可以從數據3中獲得。
N≤M …(8)N是表示近似現實世界1的模型161的變量數目。M是包括在數據3中的數據塊162的數目。
用表達式(5)表示近似現實世界1信號的函數f(x，y，t)允許變量部分wi可以獨立地處理。這裡，i表示變量數目。而且，由fi表示的函數的形式可以獨立地處理，並且期望的函數可以用於fi。
因此，變量wi的數目N可以不依賴於函數fi而定義，並且變量wi可以從變量wi的數目N與數據塊的數目M之間的關係中獲得。
也就是說，使用下面三條允許現實世界1從數據3中估計。
首先，確定N個變量。也就是說，確定表達式(5)。這使得可以使用連續性描述現實世界1。例如，現實世界1的信號可以用模型161描述，其中橫截面用多項式表示，並且相同的橫截面形狀在恆定方向上連續。
第二，例如傳感器2的投影用公式表示，描述表達式(7)。例如，這用公式表示使得現實世界2的信號的積分結果是數據3。
第三，M塊數據162被收集以滿足表達式(8)。例如，數據162從具有已經用數據連續性檢測單元101檢測的數據連續性的區域中收集。例如，作為連續性的實例恆定的橫截面連續的區域的數據162被收集。
這樣，數據3與現實世界1之間的關係用表達式(5)描述，並且M塊數據162被收集，從而滿足表達式(8)，且現實世界1可以估計。
更具體地說，如果N＝M，變量數目N和表達式數目M相等，所以變量wi可以通過列出聯立方程而獲得。
同樣，如果N＜M，各種求解方法可以應用。例如，變量wi可以由最小二乘法獲得。
現在，將詳細描述最小二乘法的求解方法。
首先，從現實世界1預測數據3的表達式(9)將根據表達式(7)顯示。
Pj(xj,yj,tj)=i=1NwiSi(xj,yj,tj)---(9)]]>在表達式(9)中，P′j(xj，yj，tj)是預測值。
預測值P′與觀測值P的方差和E由表達式(10)表示。
E=j=1M(Pj(xj,yj,tj)-Pj(xj,yj,tj))2---(10)]]>變量wi獲得使得方差和E最小。因此，表達式(10)對於每個變量wk的偏微分值為0。也就是說，表達式(11)成立。
Ewk=-2j=1MwiSk(xj,yj,tj)(Pj(xj,yj,tj)-i=1NwiSi(xj,yj,tj))=0---(11)]]>表達式(11)產生表達式(12)。
j=1M(Sk(xj,yj,tj)i=1NwiSi(xj,yj,tj))=j=1MSk(xj,yj,tj)Pj(xj,yj,tj)---(12)]]>
當表達式(12)對k＝1～N成立時，獲得最小二乘法的解。其正則方程在表達式(13)中顯示。
注意，在表達式(13)中，將Si(xj，yj，tj)描述為Si(j)。
WMAT=w1w2WN---(15)]]>PMAT=j=1MS1(j)Pj(j)j=1MS2(j)Pj(j)j=1MSN(j)Pj(j)---(16)]]>從表達式(14)到表達式(16)中，表達式(13)可以表示為SMATWMAT＝PMAT。
在表達式(13)中，Si表示現實世界1的投影。在表達式(13)中，Pi表示數據3。在表達式(13)中，wi表示描述和獲得現實世界1的信號的特性的變量。
因此，將數據3輸入表達式(13)中並通過矩陣解法等獲得WMAT使得現實世界1可以被估計。也就是說，現實世界1可以通過計算表達式(17)來估計。
WMAT=SMAT-1PMAT---(17)]]>注意，如果SMAT不是正則的，SMAT的轉置矩陣可以用來獲得WMAT。
現實世界估計單元102通過例如將數據3輸入表達式(13)中並由矩陣解法等獲得WMAT來估計現實世界1。
現在，將描述更詳細的實例。例如，現實世界1的信號的橫截面形狀，即關於位置變化的光度變化將用多項式描述。讓我們假設現實世界1的信號的橫截面形狀是恆定的，並且現實世界1的信號的橫截面以恆定速度運動。來自傳感器2的現實世界1的信號到數據3的投影由現實世界1的信號在時間-空間方向上的三維積分來用公式表示。
現實世界1的信號的橫截面以恆定速度運動的假設產生表達式(18)和表達式(19)。
dxdt=vx---(18)]]>dydt=vy---(19)]]>這裡，vx和vy是恆定的。
使用表達式(18)和表達式(19)，現實世界1的信號的橫截面形狀可以在表達式(20)中表示。
f(x′，y′)＝f(x+vxt，y+vyt)…(20)由現實世界1的信號在時間-空間方向上的三維積分表示來自傳感器2的現實世界1的信號到數據3的投影產生表達式(21)。
S(x,y,t)=xsxeysyetstef(x,y)dxdydt]]>=xsxeysyetstef(x+vxt,y+vyt)dxdydt---(21)]]>在表達式(21)中，S(x，y，t)表示從空間方向X的位置xs到位置xe、從空間方向Y的位置ys到位置ye，以及從時間方向t的時間點ts到時間點te的區域，也就是表示為空間-時間立方體的區域的積分值。
使用表達式(21)可以由此確定的期望函數f(x′，y′)來求解表達式(13)使得現實世界1的信號可以被估計。
在下文中，我們將使用表達式(22)中指示的函數作為函數f(x′，y′)的實例。
f(x′，y′)＝w1x′+w2y′+w3＝w1(x+vxt)+w2(y+vyt)+w3…(22)也就是說，現實世界1的信號被估計以包括表達式(18)、表達式(19)以及表達式(22)中表示的連續性。這指示具有恆定形狀的橫截面在空間-時間方向上運動，如圖18中所示。
將表達式(22)代入表達式(21)產生表達式(23)。
S(x,y,t)=xsxeysyetstef(x+vxt,y+vyt)dxdydt]]>=Volume(w02(xe+xs+vx(te+ts))+w12(ye+ys+vy(te+ts))+w2)]]>=w0S0(x,y,t)+w1S1(x,y,t)+w2S2(x,y,t)---(23)]]>其中Volume＝(xe-xs)(ye-ys)(te-ts)s0(x，y，t)＝Volume/2×(xe+xs+vx(te+ts))s1(x，y，t)＝Volume/2×(ye+ys+vy(te+ts))s2(x，y，t)＝1成立。
圖19是說明從數據3中選取的M塊數據162的實例的圖。例如，讓我們假定27個像素值被選取作為數據162，並且選取的像素值為Pj(x，y，t)。在該情況下，j為0～26。
在圖19中所示的實例中，如果與t為n的時間點處關注位置相對應的像素的像素值為P13(x，y，t)，並且具有數據連續性的像素的像素值的陣列方向(例如由數據連續性檢測單元101檢測的形狀相同的爪形排列的方向)是連接P4(x，y，t)、P13(x，y，t)和P22(x，y，t)的方向，則t為n的時間點處的像素值P9(x，y，t)～P17(x，y，t)、時間上早於n的n-1的時間點t處的像素值P0(x，y，t)～P8(x，y，t)，以及時間上遲於n的n+1的時間點t處的像素值P18(x，y，t)～P26(x，y，t)被選取。
現在，作為從為傳感器2的圖像傳感器輸出的數據3的像素值已經獲得的區域具有時間方向和二維空間方向展開。現在，例如，與像素值相對應的立方體的重心(像素值已經獲得的區域)可以用作空間-時間方向上的像素位置。
從27個像素值P0(x，y，t)～P26(x，y，t)以及表達式(23)中產生表達式(13)，並獲得W，使得現實世界1可以被估計。
這樣，現實世界估計單元102從27個像素值P0(x，y，t)～P26(x，y，t)以及表達式(23)中產生表達式(13)，並獲得W，從而估計現實世界1的信號。
注意，高斯函數、S形函數等可以用於函數fi(x，y，t)。
將參考圖20至圖23來描述從估計的現實世界1信號中產生與數據3相對應的、具有更高解析度的高解析度數據的處理實例。
如圖20中所示，數據3具有現實世界1的信號在時間方向和二維空間方向上積分的值。例如，作為已經從為傳感器2的圖像傳感器輸出的數據3的像素值具有這樣的值，其中作為投射到檢測設備中的光的現實世界1的信號在時間方向上以作為檢測時間的快門時間積分，並且在空間方向上以檢測元件的感光區域積分。
相反地，如圖21中所示，具有空間方向上更高解析度的高解析度數據通過在時間方向上以與已經輸出數據3的傳感器2的檢測時間相同的時間、以及在空間方向上以比已經輸出數據3的傳感器2的檢測元件感光區域窄的區域，積分估計的現實世界1信號而產生。
注意，當產生具有空間方向上更高解析度的高解析度數據時，現實世界1的估計信號被積分的區域可以完全脫離已經輸出數據3的傳感器2的檢測元件感光區域而設置。例如，高解析度數據可以提供有這樣的解析度，其為在空間方向上放大整數倍的數據3的解析度，當然，還可以提供有這樣的解析度，其為在空間方向上放大有理數例如5/3倍的數據3的解析度。
同樣，如圖22中所示，具有時間方向上更高解析度的高解析度數據通過在空間方向上以與已經輸出數據3的傳感器2的檢測元件感光區域相同的區域、以及在時間方向上以比已經輸出數據3的傳感器2的檢測時間短的時間，積分估計的現實世界1信號而產生。
注意，當產生具有時間方向上更高解析度的高解析度數據時，現實世界1的估計信號被積分的時間可以完全脫離已經輸出數據3的傳感器2的檢測元件快門時間而設置。例如，高解析度數據可以提供有這樣的解析度，其為在時間方向上放大整數倍的數據3的解析度，當然，還可以提供有這樣的解析度，其為在時間方向上放大有理數例如7/4倍的數據3的解析度。
去除了運動模糊的高解析度數據通過僅在空間方向而不在時間方向上積分估計的現實世界1信號來產生。
此外，如圖23中所示，具有時間方向和空間方向上更高解析度的高解析度數據通過在空間方向上以比已經輸出數據3的傳感器2的檢測元件感光區域小的區域，以及在時間方向上以比已經輸出數據3的傳感器2的檢測時間短的時間，積分估計的現實世界1信號而產生。
在該情況下，積分估計的現實世界1信號的區域和時間可以完全不相關於已經輸出數據3的傳感器2的檢測元件的感光區域和快門時間而設置。
從而，圖像生成單元103通過例如以期望的空間-時間區域積分估計的現實世界1信號，來產生具有時間方向或空間方向上更高解析度的數據。
因此，關於現實世界1的信號更精確並且具有時間方向或空間方向上更高解析度的數據可以通過估計現實世界1的信號來產生。
圖24至圖28說明輸入圖像的實例以及用於信號處理的信號處理設備4處理結果的實例。
圖24是說明輸入圖像的原始圖像(相當於現實世界1的光信號)的圖。圖25是說明輸入圖像實例的圖。圖25中所示輸入圖像是通過取屬於由圖24中所示圖像的2×2像素構成的塊的像素的像素值平均值作為單個像素的像素值而產生的圖像。也就是說，輸入圖像是通過對圖24中所示圖像應用空間方向積分，模仿傳感器的積分性質而獲得的圖像。
圖24中所示原始圖像包含從垂直方向順時針方向傾斜大約5度的細線的圖像。同樣地，圖25中所示輸入圖像包含從垂直方向順時針方向傾斜大約5度的細線的圖像。
圖26是說明通過對圖25中所示輸入圖像應用常規類型分類適應處理而獲得的圖像。現在，類型分類處理由類型分類處理和適應處理構成，其中數據由類型分類適應處理基於其特性來分類，並對每一類進行適應處理。在適應處理中，例如低圖像質量或標準圖像質量圖像通過經歷使用預先確定抽頭係數的映射(映射)轉換成高圖像質量圖像。
也就是說，使用適應處理，第一數據通過使用預先確定抽頭係數被映射(映射)而轉換成第二數據。
現在，適應處理將關於使用抽頭係數的映射方法來描述，其中例如線性組合模型被使用，而且通過用低通濾波器過濾高解析度HD(高清晰度)圖像而獲得的低解析度圖像或標準解析度SD(標準清晰度)圖像用作第一數據，而用於獲得SD圖像的HD圖像用作第二數據。
現在，在上述條件下，構成HD圖像的HD像素y可以使用從構成SD圖像的SD像素中選取的多個SD像素作為預測HD圖像的預測抽頭以及抽頭係數，通過下面的線性表達式(線性組合)獲得。
y=n=1Nwnxn---(24)]]>其中，在表達式(24)中，xn表示構成關於HD像素y的預測抽頭、SD圖像中第n個像素的像素值，並且wn表示與第n個SD像素(的像素值)相乘的第n個抽頭係數。注意在表達式(24)中，預測抽頭由N個SD像素x1，x2，…，xN構成。
現在，HD像素的像素值y可以由二次表達式或更高，代替表達式(24)中所示線性表達式來獲得。
現在，在HD圖像中，假定yk表示第k個HD像素(的像素值)的真實值，並且yk′表示由表達式(24)獲得的真實值yk的預測值，其預測誤差ek如下面的表達式中表示，例如。
ek＝yk-yk′ …(25)表達式(25)中的預測值yk′根據表達式(24)獲得，所以將依照表達式(24)的yk′代入表達式(25)中產生下面的表達式。
ek=yk-(n=1Nwnxn,k)---(26)]]>其中，在表達式(26)中，xn，k表示構成第k個HD像素的預測抽頭的第n個SD像素。
雖然表達式(26)中預測誤差ek為0的抽頭係數wn對於預測HD像素是最佳的，對於所有HD像素獲得這種抽頭係數wn通常是困難的。
因此，作為表示最佳的抽頭係數wn的規則，使用最小二乘法例如，意思是最佳抽頭係數wn可以通過使得作為統計誤差的例如下面表達式中表示的均方誤差的求和E達到最小來獲得。
E=k=1Kek2---(27)]]>其中，在表達式(27)中，k表示由HD像素yk以及構成關於該HD像素yk的預測抽頭的SD像素x1，k，x2，k，…，xN，k構成的樣品集的數目。
使得表達式(27)中的均方誤差的求和E最小(最小值)的抽頭係數Wn是這樣的，即求和E對於抽頭係數wn的偏微分為0。因此，下面的表達式必須滿足。
Ewn=e1e1wn+e2e2wn++ekek2wn=0(n=1,2,,N)---(28)]]>現在，上面表達式(26)對抽頭係數wn的偏微分產生下面的表達式。
ekw1=-x1,k,ekw2=-x2,k,,ekwN=-xN,k,(k=1,2,,K)---(29)]]>表達式(28)和(29)產生下面的表達式。
k=1kekx1,k=0,k=1kekx2,k=0,k=1kekxN,k=0---(30)]]>用表達式(26)代替表達式(30)中的ek使得表達式(30)能夠以表達式(31)中的正則方程的形式表示。
準備一定數目的HD像素yk和SD像素xn，k的集合允許與抽頭係數wn數據相同的列出的表達式(31)中正則方程可以獲得，並且求解表達式(31)可以獲得最佳抽頭係數wn。注意掃描(高斯-約旦消除)等例如可以用於求解表達式(31)。
如上所述，適應處理涉及取大量HD像素y1，y2，…，yk作為導師數據以用作為抽頭係數學習的導師，同樣取構成關於每個HD像素yk的預測抽頭的SD像素x1，k，x2，k，…，xN，k作為學生數據以用作為抽頭係數學習的學生，並且求解表達式(31)，從而執行獲得最佳抽頭係數wn的學習，進一步使用最佳抽頭係數wn來執行根據表達式(24)SD圖像到HD圖像的映射(轉換)。
現在，對於構成HD像素yk的預測抽頭的SD像素x1，k，x2，k，…，xN，k，空間上或時間上接近對應於HD像素yk的SD圖像上位置的SD像素可以使用。
同樣，使用類型分類適應處理，抽頭係數wn的學習以及使用抽頭係數wn的映射可以根據類型執行。使用類型分類適應處理，類型分類處理關於關注的HD像素yk執行，並且抽頭係數wn的學習以及使用抽頭係數wn的映射對於由類型分類處理獲得的每個類而執行。
關於HD像素yk的類型分類處理的一個實例是從SD圖像中選取多個SD像素用作用於HD像素yk類型分類的類抽頭，並且使用由多個SD像素構成的類抽頭來執行M位ADRC(自適應動態範圍編碼)。
在M位ADRC處理中，構成類抽頭的SD像素的最大值MAX和最小值MIN被檢測，DR＝MAX-MIN設置為局部動態範圍，並且構成類抽頭的SD像素基於該動態範圍DR重新量化為k位。也就是說，最小值MIN從構成類抽頭的SD像素中減去，並且減少值除以DR/2k(量化)。因此，如果類抽頭經歷例如1位ADRC處理，構成類抽頭的每個SD像素是一位。在該情況下，通過以預先確定順序排列關於構成已經如上所述獲得的類抽頭的每個SD像素的1位像素值而獲得的位串作為ADRC編碼輸出，並且ADRC編碼看作表示類的類編碼。
注意，類型分類適應處理不同於例如簡單的內插處理等，在於沒有包括在SD圖像中但是包括在HD圖像中的分量被再現。也就是說，使用類型分類適應處理，通過僅看表達式(24)看起來這與使用所謂內插濾波器的內插處理相同，但是相當於內插濾波器抽頭係數的抽頭係數wn已經通過使用用作導師數據的HD圖像和用作學生數據的SD圖像學習來獲得，所以包含在HD圖像中的分量可以再現。
現在，執行各種類型轉換的抽頭係數wn可以依賴於使用哪種類型組合的導師數據y和學生數據x在抽頭係數wn學習中獲得。
也就是說，在取高解析度HD圖像作為導師數據y並且取HD圖像的解析度已經退化的SD圖像作為學生數據x例如的情況下，將圖像映射到解析度提高的圖像的抽頭係數wn可以獲得。此外，在取HD圖像作為導師數據y並且取HD圖像的像素數目已經減少的SD圖像作為學生數據x例如的情況下，將圖像映射到具有構成圖像的增大數目像素的圖像的抽頭係數wn可以獲得。
圖26是通過使圖25中所示輸入圖像經歷例如上述類型分類適應處理的映射而獲得的圖像。可以理解，在圖26中所示圖像中，細線的圖像不同於圖24中原始圖像。
圖27是說明由數據連續性檢測單元101從圖25中實例中所示的輸入圖像中檢測細線區域的結果的圖。在圖27中，白色區域表示細線區域，即圖10中所示弧形排列於其中的區域。
圖28是說明通過以圖25中所示圖像作為輸入圖像，在信號處理設備4處執行信號處理而獲得的輸出圖像的實例的圖。如圖28中所示，信號處理設備4產生更接近圖24中所示原始圖像的細線圖像的圖像。
圖29是描述使用信號處理設備4的信號處理的流程圖。
在步驟S101中，數據連續性檢測單元101執行檢測連續性的處理。數據連續性檢測單元101檢測包含在作為數據3的輸入圖像中的數據連續性，並將指示檢測的數據連續性的數據連續性信息提供給現實世界估計單元102和圖像生成單元103。
數據連續性檢測單元101檢測與現實世界的信號的連續性相對應的數據的連續性。在步驟S101的處理中，由數據連續性檢測單元101檢測的數據連續性或者是包含在數據3中的現實世界1圖像連續性的一部分，或者是已經從現實世界1信號的連續性變化的連續性。
例如，數據連續性檢測單元101通過檢測在預先確定維度方向上具有恆定特性的區域來檢測數據連續性。同樣，例如，數據連續性檢測單元101通過檢測指示相同形狀排列的空間方向上的角度(梯度)來檢測數據連續性。
步驟S101中的連續性檢測處理的細節將隨後描述。
注意，數據連續性信息可以用作指示數據3特性的特徵。
在步驟S102中，現實世界估計單元102執行估計現實世界的處理。也就是說，現實世界估計單元102基於輸入圖像以及從數據連續性檢測單元101提供的數據連續性信息來估計現實世界的信號。在步驟S102的處理中例如，現實世界估計單元102通過預測近似(描述)現實世界1的模型161來估計現實世界1的信號。現實世界估計單元102將指示現實世界1的估計信號的現實世界估計信息提供給圖像生成單元103。
例如，現實世界估計單元102通過預測線形對象的寬度來估計現實世界1信號。同樣，例如，現實世界估計單元102通過預測指示線形對象顏色的光度來估計現實世界1信號。
步驟S102中估計現實世界的處理細節將隨後描述。
注意，現實世界估計信息可以用作指示數據3特性的特徵。
在步驟S103中，圖像生成單元103執行圖像生成處理，並且處理結束。也就是說，圖像生成單元103基於現實世界估計信息產生圖像，並輸出生成的圖像。或者，圖像生成單元103基於數據連續性信息和現實世界估計信息產生圖像，並輸出生成的圖像。
例如，在步驟S103的處理中，圖像生成單元103基於現實世界估計信息，在空間方向上積分估計的真實世界的光，從而產生與輸入圖像相比較具有空間方向上更高解析度的圖像，並輸出生成的圖像。例如，圖像生成單元103基於現實世界估計信息，在時間-空間方向上積分估計的真實世界的光，從而生成與輸入圖像相比較具有時間方向和空間方向上更高解析度的圖像，並輸出生成的圖像。步驟S103中的圖像生成處理的細節將隨後描述。
因此，信號處理設備4從數據3中檢測數據連續性，並從檢測的數據連續性中估計現實世界1。信號處理設備4然後基於估計的現實世界1產生更接近現實世界1的信號。
如上所述，如果執行估計現實世界的信號的處理，可以獲得準確且高度精確的處理結果。
另外，如果作為具有第一維度的真實世界信號的第一信號被投影，與真實世界信號的丟失連續性相對應的數據連續性對於具有第二維度的第二信號而檢測，該第二維度具有少於第一維度的維度數目，真實世界信號的連續性的一部分從其中丟失，並且第一信號通過基於檢測的數據連續性估計丟失的真實世界信號連續性而估計，準確且高度精確的處理結果可以關於真實世界中的事件而獲得。
接下來，將描述數據連續性檢測單元101的構造細節。
圖30是說明數據連續性檢測單元101的構造的框圖。
當獲取細線對象的圖像時，其構造如圖30中所示的數據連續性檢測單元101檢測包含在數據3中的數據連續性，該連續性從對象具有的橫截面形狀相同的連續性中產生。也就是說，具有圖30中所示構造的數據連續性檢測單元101檢測包含在數據3中的數據連續性，該連續性從作為細線的現實世界1的圖像具有的連續性中產生，即關於垂直於長度方向的方向上位置變化的光度變化在長度方向上任意位置處相同。
更具體地說，其構造如圖30中所示的數據連續性檢測單元101在通過用具有空間積分效應的傳感器2獲取細線圖像而獲得的數據3中，檢測具有預先確定長度的多個弧形(半盤)以對角偏移相鄰方式排列的區域。
數據連續性檢測單元101從作為數據3的輸入圖像中提取除具有數據連續性的細線圖像已經投影到其中的圖像數據部分(下文中，具有數據連續性的細線圖像已經投影到其中的圖像數據部分也將稱作連續性分量，並且其它部分將稱作非連續性分量)之外的圖像數據部分(以下稱作非連續性分量)，從提取的非連續性分量和輸入圖像中檢測現實世界1的細線圖像已經投影到其中的像素，並檢測由現實世界1的細線圖像已經投影到其中的像素構成的輸入圖像的區域。
非連續性分量提取單元201從輸入圖像中提取非連續性分量，並將指示提取的非連續性分量的非連續性分量信息與輸入圖像一起提供給峰值檢測單元202和單調增大/減小檢測單元203。
例如，如圖31中所示，如果細線存在於具有近似恆定光度的背景前面的現實世界1的圖像投影在數據3上，非連續性分量提取單元201通過在平面上近似作為數據3的輸入圖像中的背景來提取作為背景的非連續性分量，如圖32所示。在圖32中，實線表示數據3的像素值，而虛線說明由近似背景的平面表示的近似值。在圖32中，A表示細線的圖像已經投影到其中的像素的像素值，而PL表示近似背景的平面。
這樣，具有數據連續性的圖像數據的部分處多個像素的像素值關於非連續性分量是不連續的。
非連續性分量提取單元201檢測作為數據3的圖像數據的多個像素的像素值的不連續部分，其中作為現實世界1光信號的圖像已經投影到其中並且現實世界1圖像連續性的一部分已經丟失。
使用非連續性分量提取單元201提取非連續性分量的處理細節將隨後描述。
峰值檢測單元202和單調增大/減小檢測單元203基於從非連續性分量提取單元201提供的非連續性分量信息，從輸入圖像中去除非連續性分量。例如，峰值檢測單元202和單調增大/減小檢測單元203通過將僅背景圖像投影到其中的輸入圖像像素的像素值設置為0而從輸入圖像中去除非連續性分量。同樣，例如，峰值檢測單元202和單調增大/減小檢測單元203通過從輸入圖像的每個像素的像素值中減去由平面PL近似的值而從輸入圖像中去除非連續性分量。
因為背景可以從輸入圖像中去除，峰值檢測單元202至連續性檢測單元204可以僅處理細線投影到其中的圖像數據的部分，從而進一步簡化峰值檢測單元202至連續性檢測單元204的處理。
注意，非連續性分量提取單元201可以將非連續性分量已經從輸入圖像中去除的圖像數據提供給峰值檢測單元202和單調增大/減小檢測單元203。
在下述處理的實例中，非連續性分量已經從輸入圖像中去除的圖像數據，即僅由包含連續性分量的像素構成的圖像數據作為對象。
現在，將描述峰值檢測單元202至連續性檢測單元204將檢測的、細線圖像已經投影到其上的圖像數據。
如果沒有光學LPF，如圖31中所示細線圖像已經投影到其上的圖像數據在空間方向Y上的橫截面圖像(關於空間方向上位置的變化，像素值變化)可以看作圖33中所示的梯形，或圖34中所示的三角形，因作為傳感器2的圖像傳感器的空間積分效應。但是，普通的圖像傳感器具有光學LPF，圖像傳感器獲得已經通過光學LPF的圖像，並將獲得的圖像投影到數據3上，所以實際上，在空間方向Y上具有細線的圖像數據的橫截面形狀具有類似高斯分布的形狀，如圖35中所示。
峰值檢測單元202至連續性檢測單元204檢測由細線圖像已經投影到其上的像素構成的區域，其中相同的橫截面形狀(關於空間方向上位置的變化，像素值變化)以恆定間隔在屏幕中垂直方向上排列，並且，通過檢測與現實世界1細線的長度方向相對應的區域連接，檢測由細線圖像已經投影到其上的像素構成的區域，即具有數據連續性的區域。也就是說，峰值檢測單元202至連續性檢測單元204檢測弧形(半盤形)在輸入圖像中單個垂直行像素上形成的區域，並確定檢測的區域是否在水平方向上相鄰，從而檢測與作為現實世界1信號的細線圖像長度方向相對應的、弧形形成的區域的連接。
同樣，峰值檢測單元202至連續性檢測單元204檢測由細線圖像已經投影到其上的像素構成的區域，其中相同的橫截面形狀以恆定間隔在屏幕中水平方向上排列，並且，通過檢測與現實世界1細線的長度方向相對應的檢測區域的連接，檢測由細線圖像已經投影到其上的像素構成的區域，即具有數據連續性的區域。也就是說，峰值檢測單元202至連續性檢測單元204檢測弧形在輸入圖像中單個水平行像素上形成的區域，並確定檢測的區域是否在垂直方向上相鄰，從而檢測與作為現實世界1信號的細線圖像長度方向相對應的、弧形形成的區域的連接。
首先，將描述檢測細線圖像已經投影到其上的像素區域的處理，其中相同的弧形以恆定間隔在屏幕中垂直方向上排列。
峰值檢測單元202檢測像素值比周圍像素大的像素，即峰值，並將指示峰值位置的峰值信息提供給單調增大/減小檢測單元203。如果以在屏幕中單個垂直方向行中排列的像素作為對象，峰值檢測單元202比較屏幕中上方的像素位置的像素值與屏幕中下方的像素位置的像素值，並檢測具有較大像素值的像素作為峰值。峰值檢測單元202從單個圖像例如從單幀圖像中檢測一個或多個峰值。
單個屏幕包含幀或場。這在下面的描述中同樣成立。
例如，峰值檢測單元202從還沒有取作關注像素的一幀圖像的像素中選擇關注像素，比較關注像素的像素值與在關注像素上方的像素的像素值，比較關注像素的像素值與在關注像素下方的像素的像素值，檢測像素值大於其上方像素的像素值並大於其下方像素的像素值的關注像素，並取檢測的關注像素作為峰值。峰值檢測單元202將指示檢測峰值的峰值信息提供給單調增大/減小檢測單元203。
存在峰值檢測單元202沒有檢測到峰值的情況。例如，如果圖像的所有像素的像素值是相同值，或者如果像素值在一個或兩個方向上減小，檢測不到峰值。在該情況下，沒有細線圖像投影在圖像數據上。
單調增大/減小檢測單元203基於從峰值檢測單元202提供的指示峰值位置的峰值信息，檢測由細線圖像已經投影到其上的像素構成的區域的候選，其中像素關於由峰值檢測單元202檢測的峰值垂直地排列在單行中，並且將指示檢測的區域的區域信息與峰值信息一起提供給連續性檢測單元204。
更具體地說，單調增大/減小檢測單元203檢測由具有參考峰值像素值單調減小的像素值的像素構成的區域，作為由細線圖像已經投影到其上的像素構成的區域的候選。單調減小意思是，在距離方向上離峰值較遠的像素的像素值比離峰值較近的像素的像素值小。
同樣，單調增大/減小檢測單元203檢測由具有參考峰值像素值單調增大的像素值的像素構成的區域，作為由細線圖像已經投影到其上的像素構成的區域的候選。單調增大意思是，在距離方向上離峰值較遠的像素的像素值比離峰值較近的像素的像素值大。
下面，關於具有單調增大像素值的像素區域的處理與關於具有單調減小像素值的像素區域的處理相同，因此其描述將省略。同樣，對於關於檢測細線圖像已經投影到其上的像素區域的處理的描述，其中相同的弧形以恆定間隔在屏幕中水平排列，關於具有單調增大像素值的像素區域的處理與關於具有單調減小像素值的像素區域的處理相同，因此其描述將省略。
例如，單調增大/減小檢測單元203獲得關於峰值的垂直行中每個像素的像素值、關於上方像素的像素值的差、以及關於下方像素的像素值的差。單調增大/減小檢測單元203然後通過檢測差符號改變的像素來檢測像素值單調減小的區域。
此外，單調增大/減小檢測單元203使用峰值的像素值的符號作為參考，從像素值單調減小的區域中檢測由具有與峰值像素值符號相同的像素值的像素構成的區域，作為由細線圖像投影到其上的像素構成的區域的候選。
例如，單調增大/減小檢測單元203比較每個像素的像素值的符號與上方像素的像素值的符號以及下方像素的像素值的符號，並且檢測像素值符號改變的像素，從而檢測像素值單調減小的區域中具有與峰值符號相同的像素值的像素區域。
因此，單調增大/減小檢測單元203檢測由在垂直方向上排列的像素形成的區域，其中像素值關於峰值單調減小，並且與峰值具有相同的符號。
圖36是描述峰值檢測和單調增大/減小區域檢測的處理的圖，該處理用於從關於空間方向Y上位置的像素值中，檢測細線圖像已經投影到其中的像素區域。
在圖36至圖38中，P表示峰值。在其構造如圖30中所示的數據連續性檢測單元101的描述中，P表示峰值。
峰值檢測單元202比較像素的像素值與在空間方向Y上與其相鄰的像素的像素值，並通過檢測像素值大於在空間方向Y上相鄰的兩個像素的像素值的像素，來檢測峰值P。
由峰值P以及在空間方向Y上在峰值P兩側的像素構成的區域是單調減小區域，其中在空間方向Y上兩側像素的像素值關於峰值P的像素值單調減小。在圖36中，由A表示的箭頭和由B表示的箭頭代表在峰值P任一側上存在的單調減小區域。
單調增大/減小檢測單元203獲得每個像素的像素值與在空間方向Y上相鄰的像素的像素值之間的差，並檢測差符號改變的像素。單調增大/減小檢測單元203取差符號改變的檢測像素與(在峰值P側上)緊鄰其在其之前的像素之間的邊界，作為由細線圖像已經投影到其中的像素構成的細線區域的邊界。
在圖36中，細線區域的邊界，即差符號改變的像素與(在峰值P側上)緊鄰其在其之前的像素之間的邊界，由C表示。
此外，單調增大/減小檢測單元203比較每個像素的像素值的符號與在空間方向Y上與其相鄰的像素的像素值，並檢測單調減小區域中像素值符號改變的像素。單調增大/減小檢測單元203取像素值符號改變的檢測像素與(在峰值P側上)緊鄰其在其之前的像素之間的邊界作為細線區域的邊界。
在圖36中，細線區域的邊界，即像素值符號改變的像素與(在峰值P側上)緊鄰其在其之前的像素之間的邊界，由D表示。
如圖36中所示，由細線圖像已經投影到其中的像素構成的細線區域F是細線區域邊界C與細線區域邊界D之間的區域。
單調增大/減小檢測單元203從由這種單調增大/減小區域構成的細線區域F中獲得長於預先確定閾值的細線區域F，即細線區域F具有比閾值更多的像素數目。例如，如果閾值為3，單調增大/減小檢測單元203檢測到包括4個或更多像素的細線區域F。
另外，單調增大/減小檢測單元203將從這樣檢測的細線區域F中的峰值P的像素值、峰值P右側的像素的像素值、以及峰值P左側的像素的像素值，每個與閾值相比較，檢測具有這種峰值P的細線像素區域F，其中峰值P的像素值超過閾值，峰值P右側的像素的像素值為閾值或更小、以及峰值P左側的像素的像素值為閾值或更小，並取檢測的細線區域F作為由包含細線圖像分量的像素構成的區域的候選。
換句話說，確定具有這種峰值P的細線區域F，其中峰值P的像素值為閾值或更小，或者峰值P右側的像素的像素值超過閾值，或者峰值P左側的像素的像素值超過閾值，不包含細線圖像的分量，並且從由包括細線圖像分量的像素構成的區域的候選中去除。
也就是，如圖37中所示，單調增大/減小檢測單元203比較峰值P的像素值與閾值，並且也比較在空間方向X(由虛線AA′表示的方向)上與峰值P相鄰的像素的像素值與閾值，從而檢測峰值P所屬的細線區域F，其中峰值P的像素值超過閾值，並且在空間方向X上與其相鄰的像素的像素值等於或小於閾值。
圖38是說明在由圖37中虛線AA′表示的空間方向X上排列的像素的像素值的圖。峰值P所屬的細線區域F，其中峰值P的像素值超過閾值Ths，並且在空間方向X上與其相鄰的像素的像素值等於或小於閾值Ths，包含細線分量。
注意，配置可以這樣進行，其中單調增大/減小檢測單元203以背景的像素值作為參考，將峰值P的像素值和背景的像素值之間的差與閾值相比較，並且也將在空間方向X上與峰值P相鄰的像素的像素值和背景的像素值之間的差與閾值相比較，從而檢測峰值P所屬的細線區域F，其中峰值P的像素值和背景的像素值之間的差超過閾值，並且其中在空間方向X上相鄰的像素的像素值和背景的像素值之間的差等於或小於閾值。
單調增大/減小檢測單元203將指示由以峰值P作為參考像素值單調減小並且像素值的符號與峰值P的相同的像素構成的區域的單調增大/減小區域信息提供給連續性檢測單元204，其中峰值P超過閾值並且其中峰值P右側的像素的像素值等於或低於閾值，以及峰值P左側的像素的像素值等於或低於閾值。
如果檢測在屏幕垂直方向上以單行排列、細線圖像已經投影到其中的像素區域，屬於由單調增大/減小區域信息指示的區域的像素在垂直方向上排列，並且包括細線圖像投影到其中的像素。也就是說，由單調增大/減小區域信息指示的區域包括由在屏幕垂直方向上以單行排列、細線圖像已經投影到其中的像素形成的區域。
這樣，峰值檢測單元202和單調增大/減小檢測單元203使用細線圖像已經投影到其中的像素中，空間方向上像素值的變化近似高斯分布的特性，檢測由細線圖像已經投影到其中的像素構成的連續性區域。
在由垂直方向上排列的像素構成的、由從單調增大/減小檢測單元203提供的單調增大/減小區域信息指示的區域中，連續性檢測單元204檢測包括在水平方向上相鄰的像素的區域，即具有類似像素值變化且在垂直方向上重複的區域作為連續區域，並且輸出峰值信息和指示檢測的連續區域的數據連續性信息。數據連續性信息包括單調增大/減小區域信息、指示區域的連接的信息等。
弧形以與細線已經投影到其中的像素相鄰的方式以恆定間隔排列，所以檢測的連續區域包括細線已經投影到其中的像素。
檢測的連續區域包括弧形以相鄰方式以恆定間隔排列、細線已經投影到其中的像素，所以檢測的連續區域看作連續性區域，並且連續性檢測單元204輸出指示檢測的連續區域的數據連續性信息。
也就是說，連續性檢測單元204使用在通過成像細線而獲得的數據3中弧形以相鄰方式以恆定間隔排列的連續性，該連續性因現實世界1中細線圖像的連續性而產生，該連續性的特性在長度方向上連續，以便進一步縮小使用峰值檢測單元202和單調增大/減小檢測單元203檢測的區域的候選。
圖39是描述檢測單調增大/減小區域的連續性的處理的圖。
如圖39中所示，如果由在屏幕垂直方向上以單行排列的像素形成的細線區域F包括在水平方向上相鄰的像素，連續性檢測單元204確定在兩個單調增大/減小區域之間存在連續性，並且如果不包括在水平方向上相鄰的像素，確定兩個細線區域F之間不存在連續性。例如，如果包含在水平方向上與細線區域F0的像素相鄰的像素，由在屏幕垂直方向上以單行排列的像素構成的細線區域F-1被確定與由在屏幕垂直方向上以單行排列的像素構成的細線區域F0連續。如果包含在水平方向上與細線區域F1的像素相鄰的像素，由在屏幕垂直方向上以單行排列的像素構成的細線區域F0被確定與由在屏幕垂直方向上以單行排列的像素構成的細線區域F1連續。
這樣，由在屏幕垂直方向上以單行排列、細線圖像已經投影到其中的像素構成的區域由峰值檢測單元202至連續性檢測單元204檢測。
如上所述，峰值檢測單元202至連續性檢測單元204檢測由在屏幕垂直方向上以單行排列、細線圖像已經投影到其中的像素構成的區域，並且還檢測在屏幕水平方向上以單行排列、細線圖像已經投影到其中的像素構成的區域。
注意，處理順序並不特別地限制，並且當然可以並行執行。
也就是說，峰值檢測單元202對於在屏幕水平方向上以單行排列的像素，檢測具有比位於屏幕上左側的像素的像素值以及位於屏幕上右側的像素的像素值大的像素值的像素作為峰值，並且將指示檢測峰值的位置的峰值信息提供給單調增大/減小檢測單元203。峰值檢測單元202從一個圖像例如一幀圖像中檢測一個或多個峰值。
例如，峰值檢測單元202從還沒有取作關注像素的一幀圖像的像素中選擇關注像素，比較關注像素的像素值與在關注像素左側的像素的像素值，比較關注像素的像素值與在關注像素右側的像素的像素值，檢測像素值大於關注像素左側的像素的像素值並大於關注像素右側的像素的像素值的關注像素，並取該檢測的關注像素作為峰值。峰值檢測單元202將指示檢測峰值的峰值信息提供給單調增大/減小檢測單元203。
存在峰值檢測單元202沒有檢測到峰值的情況。
單調增大/減小檢測單元203檢測關於由峰值檢測單元202檢測的峰值在水平方向上以單行排列、細線圖像已經投影到其中的像素構成的區域的候選，並且將指示檢測的區域的單調增大/減小區域信息與峰值信息一起提供給連續性檢測單元204。
更具體地說，單調增大/減小檢測單元203檢測由以峰值的像素值作為參考具有單調減小的像素值的像素構成的區域，作為由細線圖像已經投影到其中的像素構成的區域的候選。
例如，單調增大/減小檢測單元203對於關於峰值在水平方向上以單行排列的每個像素，獲得每個像素的像素值、關於左側像素的像素值的差、以及關於右側像素的像素值的差。單調增大/減小檢測單元203然後通過檢測差符號改變的像素來檢測像素值單調減小的區域。
此外，單調增大/減小檢測單元203參考峰值的像素值的符號，從像素值單調減小的區域中檢測由具有與峰值像素值符號相同的像素值的像素構成的區域，作為由細線圖像已經投影到其中的像素構成的區域的候選。
例如，單調增大/減小檢測單元203比較每個像素的像素值的符號與左側像素的像素值的符號或右側像素的像素值的符號，並且檢測像素值符號改變的像素，從而從像素值單調減小的區域中檢測由具有與峰值符號相同的像素值的像素構成的區域。
因此，單調增大/減小檢測單元203檢測由在水平方向上排列且具有與峰值符號相同的像素值的像素構成的區域，其中像素值關於峰值單調減小。
從由這種單調增大/減小區域構成的細線區域中，單調增大/減小檢測單元203獲得長於預先設置的閾值的細線區域，即細線區域具有比閾值更多的像素數目。
另外，從這樣檢測的細線區域中，單調增大/減小檢測單元203將峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值，每個與閾值相比較，檢測這種峰值所屬的細線區域，其中峰值的像素值超過閾值，峰值上方的像素的像素值在閾值內、以及峰值下方的像素的像素值在閾值內，並取檢測的細線區域作為由包含細線圖像分量的像素構成的區域的候選。
另一種說法是，峰值所屬的細線區域，其中峰值的像素值在閾值內，或峰值上方的像素的像素值超過閾值，或峰值下方的像素的像素值超過閾值，被確定不包含細線圖像分量，並且從由包含細線圖像分量的像素構成的區域的候選中去除。
注意，單調增大/減小檢測單元203可以配置以取背景像素值作為參考，將峰值的像素值和背景的像素值之間的差與閾值相比較，並且也將背景的像素值和在垂直方向上與峰值相鄰的像素的像素值之間的差與閾值相比較，並且取檢測的細線區域作為由包含細線圖像分量的像素構成的區域的候選，其中峰值的像素值和背景的像素值之間的差超過閾值，而背景的像素值和在垂直方向上相鄰的像素的像素值之間的差在閾值內。
單調增大/減小檢測單元203將指示由具有與峰值相同的像素值符號以及關於作為參考的峰值單調減小的像素值的像素構成的區域的單調增大/減小區域信息提供給連續性檢測單元204，其中峰值超過閾值，並且峰值右側的像素的像素值在閾值內，以及峰值左側的像素的像素值在閾值內。
如果檢測在屏幕水平方向上以單行排列、細線圖像已經投影到其中的像素構成的區域，屬於由單調增大/減小區域信息指示的區域的像素包括在水平方向上排列、細線圖像已經投影到其中的像素。也就是說，由單調增大/減小區域信息指示的區域包括由在屏幕水平方向上以單行排列、細線圖像已經投影到其中的像素構成的區域。
在由從單調增大/減小檢測單元203提供的單調增大/減小區域信息中指示的水平方向上排列的像素構成的區域中，連續性檢測單元204檢測包括在垂直方向上相鄰的像素的區域，即具有類似像素值變化且在水平方向上重複的區域作為連續區域，並且輸出指示峰值信息和檢測的連續區域的數據連續性信息。數據連續性信息包括指示區域的連接的信息。
在細線已經投影到其中的像素處，弧形以相鄰方式以恆定間隔排列，所以檢測的連續區域包括細線已經投影到其中的像素。
檢測的連續區域包括弧形以相鄰方式以恆定間隔排列、細線已經投影到其中的像素，所以檢測的連續區域看作連續性區域，並且連續性檢測單元204輸出指示檢測的連續區域的數據連續性信息。
也就是說，連續性檢測單元204使用在通過成像細線而獲得的數據3中弧形以相鄰方式以恆定間隔排列的連續性，該連續性從在長度方向上連續的現實世界1中細線圖像的連續性中產生，以便進一步縮小由峰值檢測單元202和單調增大/減小檢測單元203檢測的區域的候選。
因此，數據連續性檢測單元101能夠檢測包含在作為輸入圖像的數據3中的連續性。也就是說，數據連續性檢測單元101可以檢測由作為已經投影到數據3上的細線的現實世界1圖像產生的、包括在數據3中的數據連續性。數據連續性檢測單元101從數據3中檢測由作為細線的現實世界1圖像已經投影到其中的像素構成的區域。
圖40是說明使用數據連續性檢測單元101檢測細線圖像已經投影到其中、具有連續性的區域的另一種處理的實例的圖。
如圖40中所示，數據連續性檢測單元101計算每個像素與相鄰像素的像素值差的絕對值。計算的差的絕對值與像素相對應地放置。例如，在例如圖40中所示的情況下，其中排列有具有各自像素值P0，P1和P2的像素，數據連續性檢測單元101計算差d0＝P0-P1和差d1＝P1-P2。另外，數據連續性檢測單元101計算差d0和差d1的絕對值。
如果包含在像素值P0，P1和P2中的非連續性分量相同，僅與細線分量相對應的值設置為差d0和差d1。
因此，在與像素對應放置的差的絕對值中，如果相鄰的差值相同，數據連續性檢測單元101確定與兩個差的絕對值相對應的像素(差的兩個絕對值之間的像素)包含細線分量。但是，如果差的絕對值小，數據連續性檢測單元101不需要檢測細線。例如，如果差的絕對值等於或大於閾值，數據連續性檢測單元101確定像素包含細線分量。
數據連續性檢測單元101也可以使用例如這樣的簡單方法檢測細線。
圖41是描述連續性檢測處理的流程圖。
在步驟S201中，非連續性分量提取單元201從輸入圖像中提取非連續性分量，其是除細線已經投影到其中的部分之外的部分。非連續性分量提取單元201將指示提取的非連續性分量的非連續性分量信息與輸入圖像一起提供給峰值檢測單元202和單調增大/減小檢測單元203。提取非連續性分量的處理細節將隨後描述。
在步驟S202中，峰值檢測單元202基於從非連續性分量提取單元201提供的非連續性分量信息，從輸入圖像中去除非連續性分量，以便只留下輸入圖像中包括連續性分量的像素。此外，在步驟S202中，峰值檢測單元202檢測峰值。
也就是說，如果以屏幕的垂直方向作為參考執行處理，在包含連續性分量的像素中，峰值檢測單元202比較每個像素的像素值與上方和下方像素的像素值，並檢測像素值大於上方像素的像素值和下方像素的像素值的像素，從而檢測峰值。同樣，在步驟S202中，如果以屏幕的水平方向作為參考執行處理，在包含連續性分量的像素中，峰值檢測單元202比較每個像素的像素值與右側和左側像素的像素值，並檢測像素值大於右側像素的像素值和左側像素的像素值的像素，從而檢測峰值。
峰值檢測單元202將指示檢測的峰值的峰值信息提供給單調增大/減小檢測單元203。
在步驟S203中，單調增大/減小檢測單元203基於從非連續性分量提取單元201提供的非連續性分量信息，從輸入圖像中去除非連續性分量，以便只留下輸入圖像中包括連續性分量的像素。此外，在步驟S203中，單調增大/減小檢測單元203基於從峰值檢測單元202提供的指示峰值位置的峰值信息，通過檢測關於峰值的單調增大/減小，檢測由具有數據連續性的像素構成的區域。
如果以屏幕垂直方向作為參考執行處理，單調增大/減小檢測單元203基於峰值的像素值以及關於峰值垂直排列的一行像素的像素值，檢測由單個細線圖像已經投影到其中、垂直排列的一行像素構成的單調增大/減小，從而檢測由具有數據連續性的像素構成的區域。也就是說，在步驟S203中，如果以屏幕垂直方向作為參考執行處理，對於峰值以及關於峰值垂直排列的一行像素，單調增大/減小檢測單元203獲得每個像素的像素值與上方或下方像素的像素值之間的差，從而檢測差符號改變的像素。同樣，對於峰值以及關於峰值垂直排列的一行像素，單調增大/減小檢測單元203比較每個像素的像素值的符號與上方或下方像素的像素值的符號，從而檢測像素值符號改變的像素。另外，單調增大/減小檢測單元203將峰值的像素值以及峰值右側和左側像素的像素值與閾值相比較，並檢測由其中峰值的像素值超過閾值並且峰值右側和左側像素的像素值在閾值內的像素構成的區域。
單調增大/減小檢測單元203取這樣檢測的區域作為單調增大/減小區域，並將指示單調增大/減小區域的單調增大/減小區域信息提供給連續性檢測單元204。
如果以屏幕水平方向作為參考執行處理，單調增大/減小檢測單元203基於峰值的像素值以及關於峰值水平排列的一行像素的像素值，檢測由單個細線圖像已經投影到其中、水平排列的一行像素構成的單調增大/減小，從而檢測由具有數據連續性的像素構成的區域。也就是說，在步驟S203中，如果以屏幕水平方向作為參考執行處理，對於峰值以及關於峰值水平排列的一行像素，單調增大/減小檢測單元203獲得每個像素的像素值與右側或左側像素的像素值之間的差，從而檢測差符號改變的像素。同樣，對於峰值以及關於峰值水平排列的一行像素，單調增大/減小檢測單元203比較每個像素的像素值的符號與右側或左側像素的像素值的符號，從而檢測像素值符號改變的像素。另外，單調增大/減小檢測單元203將峰值的像素值以及峰值上方和下方像素的像素值與閾值相比較，並檢測由其中峰值的像素值超過閾值並且峰值上方和下方像素的像素值在閾值內的像素構成的區域。
單調增大/減小檢測單元203取這樣檢測的區域作為單調增大/減小區域，並將指示單調增大/減小區域的單調增大/減小區域信息提供給連續性檢測單元204。
在步驟S204中，單調增大/減小檢測單元203確定是否所有像素的處理已經結束。例如，非連續性分量提取單元201對於輸入圖像的單個屏幕(例如幀、場等)的所有像素檢測峰值，並確定是否已經檢測單調增大/減小區域。
如果在步驟S204中確定並不是所有像素的處理都已結束，即還存在沒有經歷峰值檢測和單調增大/減小區域檢測處理的像素，則流程返回到步驟S202，還沒有經歷峰值檢測和單調增大/減小區域檢測處理的像素選作處理的對象，並且重複峰值檢測和單調增大/減小區域檢測的處理。
如果在步驟S204中確定所有像素的處理已經結束，即峰值和單調增大/減小區域已經關於所有像素而檢測，則流程前進到步驟S205，在那裡連續性檢測單元204基於單調增大/減小區域信息檢測已檢測區域的連續性。例如，如果由單調增大/減小區域信息指示的、由在屏幕垂直方向上排列的一行像素構成的單調增大/減小區域包括在水平方向上相鄰的像素，則連續性檢測單元204確定在兩個單調增大/減小區域之間存在連續性，而如果不包括在水平方向上相鄰的像素，確定在兩個單調增大/減小區域之間不存在連續性。例如，如果由單調增大/減小區域信息指示的、由在屏幕水平方向上排列的一行像素構成的單調增大/減小區域包括在垂直方向上相鄰的像素，則連續性檢測單元204確定在兩個單調增大/減小區域之間存在連續性，而如果不包括在垂直方向上相鄰的像素，確定在兩個單調增大/減小區域之間不存在連續性。
連續性檢測單元204取檢測的連續區域作為具有數據連續性的連續性區域，並輸出指示峰值位置和連續性區域的數據連續性信息。數據連續性信息包含指示區域的連接的信息。從連續性檢測單元204輸出的數據連續性信息指示由現實世界1細線圖像已經投影到其中的像素構成的、作為連續性區域的細線區域。
在步驟S206中，連續性方向檢測單元205確定是否所有像素的處理已經結束。也就是說，連續性方向檢測單元205確定區域連續是否已經關於輸入圖像某一幀的所有像素而檢測。
如果在步驟S206中確定並不是所有像素的處理都已結束，即還存在沒有取作區域連續的檢測對象的像素，則流程返回到步驟S205，還沒有經歷區域連續性檢測處理的像素選作處理像素，並且重複區域連續性檢測的處理。
如果在步驟S206中確定所有像素的處理已經結束，即所有像素都已取作區域連續性檢測的對象，則處理結束。
因此，包含在作為輸入圖像的數據3中的連續性被檢測。也就是說，由已經投影到數據3上的作為細線的現實世界1圖像產生的、包括在數據3中的數據連續性被檢測，並且具有數據連續性、由作為細線的現實世界1圖像已經投影到其中的像素構成的區域從數據3中檢測。
現在，其構造如圖30中所示的數據連續性檢測單元101可以基於具有從數據3的幀中檢測的數據連續性的區域，檢測時間方向的數據連續性。
例如，如圖42中所示，連續性檢測單元204通過連接幀#n中具有檢測的數據連續性的區域、幀#n-1中具有檢測的數據連續性的區域、以及幀#n+1中具有檢測的數據連續性的區域的邊緣，來檢測時間方向的數據連續性。
幀#n-1是在時間方向上幀#n之前的幀，而幀#n+1是在時間方向上幀#n之後的幀。也就是說，幀#n-1、幀#n以及#n+1以幀#n-1、幀#n以及#n+1的順序顯示。
更具體地說，在圖42中，G表示通過連接幀#n中具有檢測的數據連續性的區域、幀#n-1中具有檢測的數據連續性的區域、以及幀#n+1中具有檢測的數據連續性的區域的一個邊緣而獲得的運動矢量，而G′表示通過連接具有檢測的數據連續性的區域的另一個邊緣而獲得的運動矢量。運動矢量G和運動矢量G′是時間方向上數據連續性的實例。
另外，其構造如圖30中所示的數據連續性檢測單元101可以輸出指示具有數據連續性的區域的長度的信息作為數據連續性信息。
圖43是說明非連續性分量提取單元201構造的框圖，其執行作為不具有數據連續性的圖像數據部分的非連續性分量的平面近似，並提取非連續性分量。
其構造如圖43中所示的非連續性分量提取單元201從輸入圖像中選取由預先確定數目的像素構成的塊，執行塊的平面近似，使得塊與平面值之間的誤差小於預先確定的閾值，從而提取非連續性分量。
輸入圖像提供給塊選取單元221，並且也被輸出而不改變。
塊選取單元221從輸入圖像中選取由預先確定數目的像素構成的塊。例如，塊選取單元221選取由7×7個像素構成的塊，並將其提供給平面近似單元222。例如，塊選取單元221以光柵掃描順序運動用作被提取塊中心的像素，從而從輸入圖像中順序地選取塊。
平面近似單元222在預先確定的平面上近似包含在塊中的像素的像素值。例如，平面近似單元222在由表達式(32)表示的平面上近似包含在塊中的像素的像素值。
z＝ax+by+c …(32)在表達式(32)中，x表示在屏幕一個方向(空間方向X)上像素的位置，而y表示在屏幕另一個方向(空間方向Y)上像素的位置。z表示由平面表示的應用值。a表示平面的空間方向X的梯度，而b表示平面的空間方向Y的梯度。在表達式(32)中，c表示平面的偏移量(截距)。
例如，平面近似單元222通過回歸處理獲得梯度a、梯度b和偏移量c，從而在由表達式(32)表示的平面上近似包含在塊中的像素的像素值。平面近似單元222通過包括剔除的回歸處理獲得梯度a、梯度b和偏離量c，從而在由表達式(32)表示的平面上近似包含在塊中的像素的像素值。
例如，平面近似單元222使用最小二乘法獲得由表達式(32)表示的平面，其中關於塊的像素的像素值的誤差最小，從而在平面上近似包含在塊中的像素的像素值。
注意，雖然平面近似單元222已被描述為在由表達式(32)表示的平面上近似塊，但是這不局限於由表達式(32)表示的平面，而是可以在由具有更高自由度的函數，例如n階多項式(其中n為任意整數)表示的平面上近似塊。
重複確定單元223計算由塊的像素值已經近似到其上的平面表示的近似值與塊的像素的相應像素值之間的誤差。表達式(33)是顯示誤差ei的表達式，該誤差是由塊的像素值已經近似到其上的平面表示的近似值與塊的像素的相應像素值zi之間的差。
ei=zi-z^=zi-(a^xi+b^yi+c^)---(33)]]>在表達式(33)中，z-帽(z上具有^的符號將被描述為z-帽。相同的描述將在本說明書的下文中使用)表示由塊的像素值近似到其上的平面表示的近似值，a-帽表示塊的像素值近似到其上的平面的空間方向X的梯度，b-帽表示塊的像素值近似到其上的平面的空間方向Y的梯度，以及c-帽表示塊的像素值近似到其上的平面的偏移量(截距)。
重複確定單元223剔除這樣的像素，即近似值與塊的像素的相應像素值之間的誤差ei最大，如表達式(33)中所示。從而，細線已經投影到其中的像素，即具有連續性的像素被剔除。重複確定單元223將指示剔除像素的剔除信息提供給平面近似單元222。
另外，重複確定單元223計算標準誤差，並且如果標準誤差等於或大於預先設置以確定近似的結束的閾值，且塊的像素的一半或更多像素沒有被剔除，則重複確定單元223使得平面近似單元222重複包含在塊中的像素上的平面近似處理，剔除像素已經從其中去除。
具有連續性的像素被剔除，所以在平面上近似剔除像素已經去除的像素意味著平面近似非連續性分量。
當標準誤差小於確定近似結束的閾值，或者塊的像素的一半或更多的像素已被剔除時，重複確定單元223結束平面近似。
對於由5×5個像素構成的塊，標準誤差es可以用例如表達式(34)計算。
es=(zi-z^)/(n-3)]]>={(zi-(a^xi+b^yi+c^)}/(n-3)---(34)]]>
這裡，n是像素數目。
注意，重複確定單元223並不局限於標準誤差，並且可以設置以對包含在塊中的所有像素計算誤差平方和，並執行下面的處理。
現在，當塊的平面近似在光柵掃描方向上運動一個像素時，如圖44中所示，由附圖中黑色圓點指示的、具有連續性的像素，即包含細線分量的像素，將被多次剔除。
一旦完成平面近似，重複確定單元223輸出表示用於近似塊的像素值的平面的信息(表達式32的平面的梯度和截距)作為非連續性信息。
注意，配置可以這樣進行，其中重複確定單元223比較每個像素剔除的次數與預置的閾值，並取剔除次數等於或大於閾值的像素作為包含連續性分量的像素，並輸出指示包含連續性分量的像素的信息作為連續性分量信息。在該情況下，峰值檢測單元202至連續性方向檢測單元205在由連續性分量信息指示的、包含連續性分量的像素上執行各自的處理。
剔除次數、近似塊的像素的像素值的平面的空間方向X的梯度、近似塊的像素的像素值的平面的空間方向Y的梯度、由近似塊的像素的像素值的平面表示的近似值，以及誤差ei可以用作輸入圖像的特徵。
圖45是描述使用其構造如圖43中所示的非連續性分量提取單元201提取非連續性分量的處理的流程圖，該處理對應於步驟S201。
在步驟S221中，塊選取單元221從輸入圖像中選取由預先確定數目的像素構成的塊，並將選取的塊提供給平面近似單元222。例如，塊選取單元221選擇還沒有被選擇的輸入像素的像素的一個像素，並選取以所選像素為中心的7×7個像素構成的塊。例如，塊選取單元221可以光柵掃描順序選擇像素。
在步驟S222中，平面近似單元222在平面上近似選取的塊。例如，平面近似單元222通過回歸處理在平面上近似選取塊的像素的像素值。例如，平面近似單元222通過回歸處理在平面上近似除剔除像素以外的選取塊的像素的像素值。在步驟S223中，重複確定單元223執行重複確定。例如，重複確定通過從塊的像素的像素值和平面近似值中計算標準誤差，並計數剔除像素的數目來執行。
在步驟S224中，重複確定單元223確定標準誤差是否等於或大於閾值，並且如果確定標準誤差等於或大於閾值，則流程前進到步驟S225。
注意，配置可以這樣進行，其中重複確定單元223在步驟S224中確定是否塊的一半或更多像素已被剔除，以及標準誤差是否等於或大於閾值，並且如果確定塊的一半或更多像素已被剔除，以及標準誤差等於或大於閾值，流程前進到步驟S225。
在步驟S225中，重複確定單元223計算塊的每個像素的像素值與近似的平面近似值之間的誤差，剔除具有最大誤差的像素，並通知平面近似單元222。該過程返回到步驟S222，並且平面近似處理和重複確定處理關於除剔除像素以外的塊的像素而重複。
在步驟S225中，如果在步驟S221的處理中選取在光柵掃描方向上移位一個像素的塊，(由附圖中黑色圓點指示的)包含細線分量的像素被剔除多次，如圖44中所示。
如果在步驟S224中確定標準誤差不等於或大於閾值，塊已經在平面上近似，從而流程前進到步驟S226。
注意，配置可以這樣進行，其中重複確定單元223在步驟S224中確定是否塊的一半或更多像素已被剔除，以及標準誤差是否等於或大於閾值，並且如果確定塊的一半或更多像素已被剔除，以及標準誤差等於或大於閾值，流程前進到步驟S225。
在步驟S226中，重複確定單元223輸出用於近似塊的像素的像素值的平面的梯度和截距作為非連續性分量信息。
在步驟S227中，塊選取單元221確定是否輸入圖像一個屏幕的所有像素的處理都已結束，並且如果確定仍然存在還沒有取作處理對象的像素，則流程返回到步驟S221，塊從還沒有經歷處理的像素中選取，並重複上面的處理。
如果在步驟S227中確定處理對輸入圖像一個屏幕的所有像素都已結束，處理結束。
因此，其構造如圖43中所示的非連續性分量提取單元201可以從輸入圖像中提取非連續性分量。非連續性分量提取單元201從輸入圖像中提取非連續性分量，從而峰值檢測單元202和單調增大/減小檢測單元203可以獲得輸入圖像與由非連續性分量提取單元201提取的非連續性分量之間的差，以便執行關於包含連續性分量的差的處理。
注意，在執行剔除的情況下的標準誤差、在不執行剔除的情況下的標準誤差、像素的剔除次數、平面的空間方向X的梯度(表達式(32)中的a-帽)、平面的空間方向Y的梯度(表達式(32)中的b-帽)、平面轉移的水平(表達式(32)中的c-帽)、以及輸入圖像的像素值與由在平面近似處理中計算的平面表示的近似值之間的差可以用作特徵。
圖46是描述與步驟S201相對應的、使用其構造如圖43中所示的非連續性分量提取單元201提取連續性分量的處理，代替提取非連續性分量的處理的流程圖。步驟S241至步驟S245的處理與步驟S221至步驟S225的處理相同，所以其描述將省略。
在步驟S246中，重複確定單元223輸出由平面表示的近似值與輸入圖像的像素值之間的差作為輸入圖像的連續性分量。也就是說，重複確定單元223輸出平面近似值與真實像素值之間的差。
注意，重複確定單元223可以配置以輸出由平面表示的近似值與輸入圖像的像素值之間的差，關於其差等於或大於預先確定預置的像素的像素值，作為輸入圖像的連續性分量。
步驟S247的處理與步驟S227的處理相同，因此其描述將省略。
平面近似非連續性分量，所以非連續性分量提取單元201可以通過從輸入圖像中每個像素的像素值中減去由近似像素值的平面表示的近似值，從輸入圖像中去除非連續性分量。在該情況下，峰值檢測單元202至連續性檢測單元204可以只處理輸入圖像的連續性分量，即細線圖像已經投影到其中的值，從而使用峰值檢測單元202至連續性檢測單元204的處理變得更加容易。
圖47是描述與步驟S201相對應的、使用其構造如圖43中所示的非連續性分量提取單元201提取連續性分量的另一種處理，代替提取非連續性分量的處理的流程圖。步驟S261至步驟S265的處理與步驟S221至步驟S225的處理相同，因此其描述將省略。
在步驟S266中，重複確定單元223存儲每個像素的剔除次數，流程返回到步驟S262，並且重複處理。
在步驟S264中，如果確定標準誤差不等於或大於閾值，塊已經在平面上近似，所以流程前進到步驟S267，重複確定單元223確定是否輸入圖像一個屏幕的所有像素的處理都已結束，並且如果確定仍然存在還沒有取作處理對象的像素，則流程返回到步驟S261，關於還沒有經歷處理的像素，選取塊，並重複上面的處理。
如果在步驟S267中確定處理對輸入圖像一個屏幕的所有像素都已結束，則流程前進到步驟S268，重複確定單元223選擇還沒有被選擇的像素，並確定所選像素的剔除次數是否等於或大於閾值。例如，重複確定單元223在步驟S268中確定所選像素的剔除次數是否等於或大於預先存儲的閾值。
如果在步驟S268中確定所選像素的剔除次數等於或大於閾值，則所選像素包含連續性分量，從而流程前進到步驟S269，在那裡重複確定單元223輸出所選像素的像素值(輸入圖像中的像素值)作為輸入圖像的連續性分量，並且流程前進到步驟S270。
如果步驟S268中確定所選像素的剔除次數不等於或大於閾值，則所選像素不包含連續性分量，從而跳過步驟S269中的處理，並且過程前進到步驟S270。也就是說，不輸出已經確定剔除次數不等於或大於閾值的像素的像素值。
注意，配置可以這樣進行，其中重複確定單元223對於已經確定剔除次數不等於或大於閾值的像素，輸出設置為0的像素值。
在步驟S270中，重複確定單元223確定是否輸入圖像一個屏幕的所有像素的處理都已結束，以確定剔除次數是否等於或大於閾值，並且如果確定處理並不是對所有像素都已結束，這意味著仍然存在還沒有取作處理對象的像素，從而流程返回到步驟S268，選擇還沒有經歷處理的像素，並重複上面的處理。
如果在步驟S270中確定處理對輸入圖像一個屏幕的所有像素都已結束，處理結束。
因此，輸入圖像的像素中，非連續性分量提取單元201可以輸出包含連續性分量的像素的像素值作為連續性分量信息。也就是說，輸入圖像的像素中，非連續性分量提取單元201可以輸出包含細線圖像的分量的像素的像素值。
圖48是描述與步驟S201相對應的、使用其構造如圖43中所示的非連續性分量提取單元201提取連續性分量的再一種處理，代替提取非連續性分量的處理的流程圖。步驟S281至步驟S288的處理與步驟S261至步驟S268的處理相同，因此其描述將省略。
在步驟S289中，重複確定單元223輸出由平面表示的近似值與所選像素的像素值之間的差作為輸入圖像的連續性分量。也就是說，重複確定單元223輸出非連續性分量已經從輸入圖像中去除的圖像作為連續性信息。
步驟S290的處理與步驟S270的處理相同，因此其描述將省略。
因此，非連續性分量提取單元201可以輸出非連續性分量已經從輸入圖像中去除的圖像作為連續性信息。
如上所述，在真實世界光信號被投影，真實世界光信號的一部分連續性已經丟失的第一圖像數據的多個像素的像素值的非連續性部分被檢測，數據連續性從檢測的非連續性部分中檢測，近似光信號的模型(函數)通過基於檢測的數據連續性估計真實世界光信號的連續性而產生，並且第二圖像數據基於產生的函數而產生的情況下，關於真實世界中的事件更準確且具有更高精度的處理結果可以獲得。
圖49是說明數據連續性檢測單元101的另一種構造的框圖。
使用其構造如圖49中所示的數據連續性檢測單元101，關注像素的像素值的變化，該關注像素是輸入圖像的空間方向上的關注像素，即輸入圖像的空間方向上的活動性被檢測，由垂直方向上一行中或水平方向上一行中的預先確定數目的像素構成的多組像素對於基於關注像素和根據檢測活動性的參考軸的每個角度而選取，選取的像素組的相關性被檢測，並且基於輸入圖像中參考軸的數據連續性的角度基於相關性而檢測。
數據連續性的角度意思是由參考軸以及恆定特性在數據3中重複出現的預先確定維度方向所成的角度。恆定特性重複出現意思是例如數據3中關於位置改變的值的變化，即橫截面形狀相同等。
參考軸可以是例如指示空間方向X(屏幕的水平方向)的軸、指示空間方向Y(屏幕的垂直方向)的軸等。
輸入圖像提供給活動性檢測單元401和數據選擇單元402。
活動性檢測單元401檢測關於輸入圖像空間方向的像素值的變化，即空間方向上的活動性，並將指示檢測結果的活動性信息提供給數據選擇單元402和連續性方向推導單元404。
例如，活動性檢測單元401檢測關於屏幕水平方向的像素值的變化和關於平面垂直方向的像素值的變化，並比較檢測的水平方向上像素值的變化和垂直方向上像素值的變化，從而檢測是否與垂直方向上像素值的變化相比較水平方向上像素值的變化較大，或者是否與水平方向上像素值的變化相比較垂直方向上像素值的變化較大。
活動性檢測單元401將活動性信息提供給數據選擇單元402和連續性方向推導單元404，該活動性信息是指示與垂直方向上像素值的變化相比較水平方向上像素值的變化較大，或者與水平方向上像素值的變化相比較垂直方向上像素值的變化較大的檢測結果。
如果與垂直方向上像素值的變化相比較水平方向上像素值的變化較大，例如圖50所示，弧形(半盤形)或爪形在垂直方向上的一行像素上形成，並且弧形或爪形在垂直方向上多次重複地形成。也就是說，如果與垂直方向上像素值的變化相比較水平方向上像素值的變化較大，取參考軸為表示空間方向X的軸，輸入圖像中基於參考軸的數據連續性的角度是45～90度的任意值。
如果與水平方向上像素值的變化相比較垂直方向上像素值的變化較大，弧形或爪形在垂直方向上的一行像素上形成，並且弧形或爪形在水平方向上多次重複地形成。也就是說，如果與水平方向上像素值的變化相比較垂直方向上像素值的變化較大，取參考軸為表示空間方向X的軸，輸入圖像中基於參考軸的數據連續性的角度是0～45度的任意值。
例如，活動性檢測單元401從輸入圖像中選取由以關注像素為中心的3×3的9個像素構成的塊，如圖51中所示。活動性檢測單元401計算關於垂直相鄰像素的像素值的差的和、以及關於水平相鄰像素的像素值的差的和。關於水平相鄰像素的像素值的差的和hdiff可以用表達式(35)獲得。
hdiff＝∑(Pi+1，j-Pi，j)…(35)同樣地，關於垂直相鄰像素的像素值的差的和vdiff可以用表達式(36)獲得。
vdiff＝∑(Pi，j+1-Pi，j)…(36)在表達式(35)和表達式(36)中，P表示像素值，i表示水平方向上像素的位置，以及j表示垂直方向上像素的位置。
配置可以這樣進行，其中活動性檢測單元401比較計算的關於水平相鄰像素的像素值的差的和hdiff與關於垂直相鄰像素的像素值的差的和vdiff，以便確定輸入圖像中基於參考軸的數據連續性的角度範圍。也就是說，在該情況下，活動性檢測單元401確定由關於空間方向上位置的像素值的變化所指示的形狀是在水平方向上重複形成，還是在垂直方向上重複形成。
例如，關於在一水平行中的像素上形成的弧形水平方向上像素值的變化大於垂直方向上像素值的變化，關於在一水平行中的像素上形成的弧形垂直方向上像素值的變化大於水平方向上像素值的變化，並且可以說，數據連續性的方向，即作為數據3的輸入圖像具有的恆定特徵的預先確定維度方向的變化與數據連續性的正交方向上的變化相比較較小。換句話說，與數據連續性方向正交的方向(以下也稱作非連續性方向)的差與數據連續性方向上的差相比較較大。
例如，如圖52中所示，活動性檢測單元401比較計算的關於水平相鄰像素的像素值的差的和hdiff與關於垂直相鄰像素的像素值的差的和vdiff，並且如果關於水平相鄰像素的像素值的差的和hdiff較大，確定基於參考軸的數據連續性的角度是45～135度的任意值，而如果關於垂直相鄰像素的像素值的差的和vdiff較大，確定基於參考軸的數據連續性的角度是0～45度的任意值、或135～180度的任意值。
例如，活動性檢測單元401將指示確定結果的活動性信息提供給數據選擇單元402和連續性方向推導單元404。
注意，活動性檢測單元401可以通過選取任意大小的塊，例如由5×5的25個像素構成的塊、由7×7的49個像素構成的塊等來檢測活動性。
數據選擇單元402從輸入圖像的像素中順序選擇關注像素，並基於從活動性檢測單元401提供的活動性信息，對於基於關注像素和參考軸的每個角度，選取由垂直方向上一行中或水平方向上一行中的預先確定數目的像素構成的多組像素。
例如，如果活動性信息指示與垂直方向上像素值的變化相比較水平方向上像素值的變化較大，這意味著數據連續性角度是45～135度的任意值，所以數據選擇單元402對於基於關注像素和參考軸的45～135度範圍內的每個預先確定角度，選取由垂直方向上一行中的預先確定數目的像素構成的多組像素。
如果活動性信息指示與水平方向上像素值的變化相比較垂直方向上像素值的變化較大，這意味著數據連續性角度是0～45度或135～180度的任意值，所以數據選擇單元402對於基於關注像素和參考軸的0～45度或135～180度範圍內的每個預先確定角度，選取由水平方向上一行中的預先確定數目的像素構成的多組像素。
而且，例如，如果活動性信息指示數據連續性的角度是45～135度的任意值，數據選擇單元402對於基於關注像素和參考軸的45～135度範圍內的每個預先確定角度，選取由垂直方向上一行中的預先確定數目的像素構成的多組像素。
如果活動性信息指示數據連續性的角度是0～45度或135～180度的任意值，數據選擇單元402對於基於關注像素和參考軸的0～45度或135～180度範圍內的每個預先確定角度，選取由水平方向上一行中的預先確定數目的像素構成的多組像素。
數據選擇單元402將由選取像素構成的多組提供給誤差估計單元403。
誤差估計單元403檢測相對於多組選取像素的每個角度的像素組的相關性。
例如，關於與一個角度相對應的、由垂直方向上一行中的預先確定數目的像素構成的多組像素，誤差估計單元403檢測在像素組的相應位置處像素的像素值的相關性。關於與一個角度相對應的、由水平方向上一行中的預先確定數目的像素構成的多組像素，誤差估計單元403檢測在組的相應位置處像素的像素值的相關性。
誤差估計單元403將指示檢測的相關性的相關性信息提供給連續性方向推導單元404。誤差估計單元403計算從數據選擇單元402提供的包括關注像素的一組像素的像素值的和作為指示相關性的值，以及在其它組中相應位置處像素的像素值的差的絕對值，並將差的絕對值的和作為相關性信息提供給連續性方向推導單元404。
基於從誤差估計單元403提供的相關性信息，連續性方向推導單元404檢測輸入圖像中基於參考軸的數據連續性角度，其對應於現實世界1的光信號的丟失連續性，並輸出指示角度的數據連續性信息。例如，基於從誤差估計單元403提供的相關性信息，連續性方向推導單元404檢測與具有最大相關性的像素組相對應的角度作為數據連續性角度，並輸出指示與已經檢測的具有最大相關性的像素組相對應的角度的數據連續性信息。
下面將描述0～90度(所謂第一象限)範圍內的數據連續性角度的檢測。
圖53是說明圖49中所示數據連續性檢測單元101的更詳細構造的框圖。
數據選擇單元402包括像素選擇單元411-1至像素選擇單元411-L。誤差估計單元403包括估計誤差計算單元412-1至估計誤差計算單元412-L。連續性方向推導單元404包括最小誤差角度選擇單元413。
首先，將描述如果由活動性信息指示的數據連續性角度是45～135度的任意值，像素選擇單元411-1至像素選擇單元411-L的處理。
像素選擇單元411-1至像素選擇單元411-L設置經過關注像素的相互不同預先確定角度的直線，以指示空間方向X的軸作為參考軸。像素選擇單元411-1至像素選擇單元411-L選擇，屬於關注像素所屬垂直行像素的像素中，關注像素上方的預先確定數目的像素、關注像素下方的預先確定數目的像素以及關注像素作為一組。
例如，如圖54中所示，像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素的像素中，選擇以關注像素為中心的9個像素作為一組像素。
在圖54中，一個格形方塊(一格)表示一個像素。在圖54中，中心處所示的圓形表示關注像素。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素左側的垂直行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。在圖54中，關注像素左下方的圓形表示所選像素的實例。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬垂直行像素左側的垂直行像素的像素中，選擇所選像素上方的預先確定數目的像素、所選像素下方的預先確定數目的像素以及所選像素作為一組像素。
例如，如圖54中所示，像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素左側的垂直行像素的像素中，選擇以最接近直線的位置處的像素為中心的9個像素作為一組像素。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素次左側的垂直行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。在圖54中，遠處左邊的圓形表示所選像素的實例。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬垂直行像素次左側的垂直行像素的像素中，選擇所選像素上方的預先確定數目的像素、所選像素下方的預先確定數目的像素以及所選像素作為一組像素。
例如，如圖54中所示，像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素次左側的垂直行像素的像素中，選擇以最接近直線的位置處的像素為中心的9個像素作為一組像素。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素右側的垂直行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。在圖54中，關注像素右上方的圓形表示所選像素的實例。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬垂直行像素右側的垂直行像素的像素中，選擇所選像素上方的預先確定數目的像素、所選像素下方的預先確定數目的像素以及所選像素作為一組像素。
例如，如圖54中所示，像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素右側的垂直行像素的像素中，選擇以最接近直線的位置處的像素為中心的9個像素作為一組像素。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素次右側的垂直行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。在圖54中，遠處右邊的圓形表示所選像素的實例。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬垂直行像素次右側的垂直行像素的像素中，選擇所選像素上方的預先確定數目的像素、所選像素下方的預先確定數目的像素以及所選像素作為一組像素。
例如，如圖54中所示，像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬垂直行像素次右側的垂直行像素的像素中，選擇以最接近直線的位置處的像素為中心的9個像素作為一組像素。
從而，像素選擇單元411-1至像素選擇單元411-L每個選擇五組像素。
像素選擇單元411-1至像素選擇單元411-L為相互不同的角度(設置為相互不同角度的直線)選擇像素組。例如，像素選擇單元411-1選擇關於45度的像素組，像素選擇單元411-2選擇關於47.5度的像素組，以及像素選擇單元411-3選擇關於50度的像素組。像素選擇單元411-4至像素選擇單元411-L選擇關於從52.5度至135度的每2.5度的角度的像素組。
注意，像素組的數目是可選數目，例如3或7，而不限制本發明。而且，選作一組的像素數目是可選數目，例如5或13，而並不限制本發明。
注意，像素選擇單元411-1至像素選擇單元411-L可以配置以從垂直方向上預先確定範圍內的像素中選擇像素組。例如，像素選擇單元411-1至像素選擇單元411-L可以從垂直方向上的121個像素(關注像素上方的60個像素和下方的60個像素)中選擇像素組。在該情況下，數據連續性檢測單元101可以檢測關於表示空間方向X的軸高達88.09度的數據連續性的角度。
像素選擇單元411-1將所選像素組提供給估計誤差計算單元412-1，並且像素選擇單元411-2將所選像素組提供給估計誤差計算單元412-2。同樣地，每個像素選擇單元411-3至像素選擇單元411-L將所選像素組提供給每個估計誤差計算單元412-3至估計誤差計算單元412-L。
估計誤差計算單元412-1至估計誤差計算單元412-L檢測從像素選擇單元411-1至像素選擇單元411-L的每個提供的多組中位置處的像素的像素值的相關性。例如，估計誤差計算單元412-1至估計誤差計算單元412-L計算包含關注像素的組的像素的像素值與從像素選擇單元411-1至像素選擇單元411-L的一個提供的另一組中相應位置處像素的像素值之間的差的絕對值的和，作為指示相關性的值。
更具體地說，基於包含關注像素的組的像素的像素值，以及從像素選擇單元411-1至像素選擇單元411-L的一個提供的、由屬於關注像素左側一垂直行像素的像素構成的組的像素的像素值，估計誤差計算單元412-1至估計誤差計算單元412-L計算最頂端像素的像素值的差，然後計算次頂端像素的像素值的差等等，以便計算從頂端像素開始順序的像素值的差的絕對值，進一步計算所計算的差的絕對值的和。基於包含關注像素的組的像素的像素值，以及從像素選擇單元411-1至像素選擇單元411-L的一個提供的、由屬於關注像素次左側一垂直行像素的像素構成的組的像素的像素值，估計誤差計算單元412-1至估計誤差計算單元412-L計算從頂端像素開始順序的像素值的差的絕對值，並計算所計算的差的絕對值的和。
然後，基於包含關注像素的組的像素的像素值，以及從像素選擇單元411-1至像素選擇單元411-L的一個提供的、由屬於關注像素右側一垂直行像素的像素構成的組的像素的像素值，估計誤差計算單元412-1至估計誤差計算單元412-L計算最頂端像素的像素值的差，然後計算次頂端像素的像素值的差等等，以便計算從頂端像素開始順序的像素值的差的絕對值，進一步計算所計算的差的絕對值的和。基於包含關注像素的組的像素的像素值，以及從像素選擇單元411-1至像素選擇單元411-L的一個提供的、由屬於關注像素次右側一垂直行像素的像素構成的組的像素的像素值，估計誤差計算單元412-1至估計誤差計算單元412-L計算從頂端像素開始順序的像素值的差的絕對值，並計算所計算的差的絕對值的和。
估計誤差計算單元412-1至估計誤差計算單元412-L將這樣計算的像素值差的絕對值的和全部加起來，從而計算像素值的差的絕對值的總計。
估計誤差計算單元412-1至估計誤差計算單元412-L將指示檢測的相關性的信息提供給最小誤差角度選擇單元413。例如，估計誤差計算單元412-1至估計誤差計算單元412-L將計算的像素值差的絕對值的總計提供給最小誤差角度選擇單元413。
注意，估計誤差計算單元412-1至估計誤差計算單元412-L並不局限於像素值差的絕對值的和，同樣可以計算其它值作為相關性值，例如像素值的平方差的和、或基於像素值的相關性係數等。
最小誤差角度選擇單元413基於由估計誤差計算單元412-1至估計誤差計算單元412-L關於相互不同角度檢測的相關性，檢測輸入圖像中基於參考軸的數據連續性角度，其對應於作為丟失的現實世界1光信號的圖像的連續性。也就是說，基於由估計誤差計算單元412-1至估計誤差計算單元412-L關於相互不同角度檢測的相關性，最小誤差角度選擇單元413選擇最大相關性，並取所選相關性關於其檢測的角度作為基於參考軸的數據連續性角度，從而檢測輸入圖像中基於參考軸的數據連續性角度。
例如，在從估計誤差計算單元412-1至估計誤差計算單元412-L提供的像素值差的絕對值的總計中，最小誤差角度選擇單元413選擇最小總計。關於所選總計被計算的像素值，最小誤差角度選擇單元413參考屬於關注像素次左側一垂直行像素並且位於距離直線最近像素位置處的像素，以及屬於關注像素次右側一垂直行像素並且位於距離直線最近像素位置處的像素。
如圖54中所示，最小誤差角度選擇單元413獲得參考像素位置與關注像素位置在垂直方向上的距離S。如圖55中所示，最小誤差角度選擇單元413從表達式(37)中檢測作為圖像數據的輸入圖像中基於作為參考軸的指示空間方向X的軸的數據連續性的角度θ，其對應於丟失的現實世界1光信號連續性。
=tan-1S2---(37)]]>接下來，將描述如果由活動性信息指示的數據連續性角度是0～45度和135～180度的任意值，像素選擇單元411-1至像素選擇單元411-L的處理。
像素選擇單元411-1至像素選擇單元411-L設置經過關注像素的預先確定角度的直線，以指示空間方向X的軸作為參考軸，並且從屬於關注像素所屬水平行像素的像素中，選擇關注像素左側的預先確定數目的像素、關注像素右側的預先確定數目的像素以及關注像素作為一個像素組。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬水平行像素上方的水平行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬水平行像素上方的水平行像素的像素中，選擇所選像素左側的預先確定數目的像素、所選像素右側的預先確定數目的像素以及所選像素作為一個像素組。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬水平行像素次上方的水平行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬水平行像素次上方的水平行像素的像素中，選擇所選像素左側的預先確定數目的像素、所選像素右側的預先確定數目的像素以及所選像素作為一個像素組。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬水平行像素下方的水平行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬水平行像素下方的水平行像素的像素中，選擇所選像素左側的預先確定數目的像素、所選像素右側的預先確定數目的像素以及所選像素作為一個像素組。
像素選擇單元411-1至像素選擇單元411-L從屬於關注像素所屬水平行像素次下方的水平行像素的像素中，選擇最接近為每個而設置的直線的位置處的像素。像素選擇單元411-1至像素選擇單元411-L然後從屬於關注像素所屬水平行像素次下方的水平行像素的像素中，選擇所選像素左側的預先確定數目的像素、所選像素右側的預先確定數目的像素以及所選像素作為一個像素組。
從而，像素選擇單元411-1至像素選擇單元411-L每個選擇五組像素。
像素選擇單元411-1至像素選擇單元411-L為相互不同的角度選擇像素組。例如，像素選擇單元411-1選擇關於0度的像素組，像素選擇單元411-2選擇關於2.5度的像素組，以及像素選擇單元411-3選擇關於5度的像素組。像素選擇單元411-4至像素選擇單元411-L選擇關於從7.5度至45度和從135度至180度的每2.5度的角度的像素組。
像素選擇單元411-1將所選像素組提供給估計誤差計算單元412-1，並且像素選擇單元411-2將所選像素組提供給估計誤差計算單元412-2。同樣地，每個像素選擇單元411-3至像素選擇單元411-L將所選像素組提供給每個估計誤差計算單元412-3至估計誤差計算單元412-L。
估計誤差計算單元412-1至估計誤差計算單元412-L檢測從像素選擇單元411-1至像素選擇單元411-L的每個提供的多組中位置處的像素的像素值的相關性。估計誤差計算單元412-1至估計誤差計算單元412-L將指示檢測的相關性的信息提供給最小誤差角度選擇單元413。
最小誤差角度選擇單元413基於由估計誤差計算單元412-1至估計誤差計算單元412-L檢測的相關性，檢測輸入圖像中基於參考軸的數據連續性角度，其對應於作為丟失的現實世界1光信號的圖像的連續性。
接下來，將參考圖56中的流程圖描述其構造如圖49中所示的數據連續性檢測單元101的處理，該處理對應於步驟S101中的處理。
在步驟S401中，活動性檢測單元401和數據選擇單元402從輸入圖像中選擇作為關注像素的關注像素。活動性檢測單元401和數據選擇單元402選擇同一個關注像素。例如，活動性檢測單元401和數據選擇單元402以光柵掃描順序從輸入圖像中選擇關注像素。
在步驟S402中，活動性檢測單元401檢測關於關注像素的活動性。例如，活動性檢測單元401基於在由以關注像素為中心的預先確定數目的像素構成的塊的垂直方向上排列的像素的像素值的差，以及在水平方向上排列的像素的像素值的差來檢測活動性。
活動性檢測單元401檢測關於關注像素在空間方向上的活動性，並將指示檢測結果的活動性信息提供給數據選擇單元402和連續性方向推導單元404。
在步驟S403中，數據選擇單元402從包括關注像素的一行像素中選擇以關注像素為中心的預先確定數目的像素作為一個像素組。例如，數據選擇單元402選擇關注像素上方或左側的預先確定數目的像素、關注像素下方或右側的預先確定數目的像素，其是屬於關注像素所屬水平或垂直行像素的像素，以及關注像素，作為一個像素組。
在步驟S404中，數據選擇單元402對於基於由步驟S402的處理檢測的活動性的預先確定範圍內的每個角度，從預先確定數目的像素行中選擇每個預先確定數目的像素作為一個像素組。例如，數據選擇單元402設置具有預先確定範圍內的角度、經過關注像素的直線，以指示空間方向X的軸作為參考軸，選擇在水平方向或垂直方向上距離關注像素一行或兩行並且離直線最近的像素，並且選擇所選像素上方或左側的預先確定數目的像素、所選像素下方或右側的預先確定數目的像素、以及最接近直線的所選像素作為一個像素組。數據選擇單元402對每個角度選擇像素組。
數據選擇單元402將所選像素組提供給誤差估計單元403。
在步驟S405中，誤差估計單元403計算以關注像素為中心的像素組與為每個角度所選的像素組之間的相關性。例如，誤差估計單元403對於每個角度計算包括關注像素的組的像素的像素值與在其它組中相應位置處像素的像素值的差的絕對值的和。
數據連續性的角度可以基於為每個角度選擇的像素組之間的相關性來檢測。
誤差估計單元403將指示計算的相關性的信息提供給連續性方向推導單元404。
在步驟S406中，基於在步驟S405的處理中計算的相關性，從具有最強相關性的像素組的位置，連續性方向推導單元404檢測作為圖像數據的輸入圖像中基於參考軸的數據連續性角度，其對應於丟失的現實世界1光信號連續性。例如，連續性方向推導單元404選擇像素值的差的絕對值的總計中的最小總計，並從所選總計關於其計算的像素組的位置中檢測數據連續性角度θ。
連續性方向推導單元404輸出指示已經檢測的數據連續性的角度的數據連續性信息。
在步驟S407中，數據選擇單元402確定是否所有像素的處理都已結束，並且如果確定所有像素的處理還沒有結束，則流程返回到步驟S401，關注像素從還沒有取作關注像素的像素中選擇，並重複上述處理。
如果在步驟S407中確定所有像素的處理都已結束，處理結束。
因此，數據連續性檢測單元101可以檢測圖像數據中基於參考軸的數據連續性角度，其對應於丟失的現實世界1光信號連續性。
注意，配置可以這樣進行，其中其構造如圖49中所示的數據連續性檢測單元101關於作為關注幀的關注幀中作為關注像素的關注像素，檢測輸入圖像的空間方向上的活動性；根據檢測的活動性，對於基於關注像素和空間方向參考軸的每個角度和運動矢量，從關注幀中以及從在時間方向上在關注幀之前或之後的每個幀中選取由垂直方向上一行或水平方向上一行中的預先確定數目的像素構成的多個像素組；檢測選取的像素組的相關性；以及基於該相關性，檢測輸入圖像中時間方向和空間方向上的數據連續性角度。
例如，如圖57中所示，數據選擇單元402根據檢測的活動性，對於基於關注像素和空間方向參考軸的每個角度和運動矢量，從作為關注幀的幀#n、幀#n-1以及幀#n+1中選取由垂直方向上一行或水平方向上一行中的預先確定數目的像素構成的多個像素組。
幀#n-1是時間方向上幀#n之前的幀，而幀#n+1是時間方向上幀#n之後的幀。也就是說，幀#n-1、幀#n和幀#n+1以幀#n-1、幀#n和幀#n+1的順序顯示.
誤差估計單元403關於已經選取的多組像素檢測每個單個角度和單個運動矢量的像素組的相關性。連續性方向推導單元404基於像素組的相關性檢測輸入圖像中時間方向和空間方向上的數據連續性角度，其對應於丟失的現實世界1光信號連續性，並輸出指示角度的數據連續性信息。
接下來，將參考圖58至圖88描述現實世界估計單元102(圖3)的另一種實施方案實例。
圖58是描述本實施方案實例的原理的圖。
如圖58中所示，現實世界1中的信號(光強分配)，其是投射到傳感器2上的圖像，用預先確定的函數F表示。注意以下，對於該實施方案實例的描述，用作現實世界1中圖像的信號特別地稱作光信號，並且函數F特別地稱作光信號函數F。
對於該實施方案實例，如果用光信號函數F表示的現實世界1中的光信號具有預先確定的連續性，現實世界估計單元102通過用使用來自傳感器2的輸入圖像(包括與連續性相對應的數據連續性的圖像數據)，以及來自數據連續性檢測單元101的數據連續性信息(與輸入圖像數據的連續性相對應的數據連續性信息)的預先確定函數f近似光信號函數F來估計光信號函數F。注意對於該實施方案實例的描述，以下，函數f特別地稱作近似函數f。
換句話說，對於該實施方案實例，現實世界估計單元102使用由近似函數f表示的模型161(圖4)近似(描述)由光信號函數F表示的圖像(現實世界1中的光信號)。因此，以下，該實施方案實例稱作函數近似方法。
現在，在進入函數近似方法的具體描述之前，將描述本申請已經發明的函數近似方法的背景。
圖59是描述在傳感器2看作CCD的情況下的積分效應的圖。
如圖59中所示，多個檢測元件2-1布置在傳感器2的平面上。
對於圖59中的實例，平行於檢測元件2-1的預先確定邊的方向取作作為空間方向中的一個方向的X方向，並且與X方向正交的方向取作作為空間方向中的另一個方向的Y方向。而且，與X-Y平面垂直的方向取作用作時間方向的方向t。
而且，對於圖59中的實例，傳感器2的每個檢測元件2-1的空間形狀用一邊長度為1的正方形表示。傳感器2的快門時間(曝光時間)用1表示。
此外，對於圖59中的實例，傳感器2的一個檢測元件2-1的中心取作空間方向(X方向和Y方向)上的原點(X方向上位置x＝0，並且Y方向上y＝0)，並且曝光時間的中間時間點取作時間方向(t方向)上的原點(t方向上位置t＝0)。
在該情況下，其中心在空間方向上原點(x＝0，y＝0)的檢測元件2-1使得光信號函數F(x，y，t)經歷X方向上-0.5～0.5的範圍，Y方向上-0.5～0.5的範圍，以及t方向上-0.5～0.5的範圍的積分，並且輸出其積分值作為像素值P。
也就是說，從其中心位於空間方向上原點的檢測元件2-1輸出的像素值P用下面的表達式(38)表示。
P=-0.5+0.5-0.5+0.5-0.5+0.5F(x,y,t)dxdydt---(38)]]>其他檢測元件2-1同樣地也通過取主體檢測元件2-1的中心為空間方向上的原點來輸出表達式(38)中所示的像素值P。
圖60是描述傳感器2的積分效應的特定實例的圖。
在圖60中，X方向和Y方向代表傳感器2的X方向和Y方向(圖59)。
現實世界1中光信號的部分2301(以下，這種部分稱作區域)代表具有預先確定連續性的區域的實例。
注意，區域2301是連續的光信號的部分(連續區域)。另一方面，在圖60中，區域2301顯示為實際上劃分成20個小區域(正方形區域)。這是因為表示區域2301的大小相當於X方向上傳感器2的四個檢測元件(像素)，以及Y方向上傳感器2的五個檢測元件(像素)排列於其中的大小。也就是說，區域2301中的20個小區域(可視區域)的每個相當於一個像素。
而且，區域2301內附圖中所示白色部分表示與細線相對應的光信號。因此，區域2301具有細線連續的方向上的連續性。以下，區域2301稱作包含細線的現實世界區域2301。
在該情況下，當包含細線的現實世界區域2301(現實世界1中光信號的一部分)由傳感器2檢測時，輸入圖像(像素值)的區域2302(以下，它稱作包含細線的數據區域2302)因積分效應從傳感器2輸出。
注意，包含細線的數據區域2302的每個像素在附圖中表示為圖像，但是實際上是代表預先確定值的數據。也就是說，包含細線的現實世界區域2301由傳感器2的積分效應而變成(畸變)包含細線的數據區域2302，其劃分成每個具有預先確定像素值的20個像素(X方向上4個像素且Y方向上5個像素的總共20個像素)。
圖61是描述傳感器2的積分效應的另一個特定實例(不同於圖60的實例)的圖。
在圖61中，X方向和Y方向代表傳感器2的X方向和Y方向(圖59)。
現實世界1中光信號的部分(區域)2303代表具有預先確定連續性的區域的另一個實例(不同於圖60中包含細線的現實世界區域2301的實例)。
注意，區域2303是與包含細線的現實世界區域2301具有相同大小的區域。也就是說，區域2303實際上與包含細線的現實世界區域2301一樣，也是現實世界1中的連續光信號的一部分(連續區域)，但是在圖61中顯示為劃分成20個相當於傳感器2一個像素的小區域(正方形區域)。
而且，區域2303包括具有預先確定第一光強(值)的第一部分，以及具有預先確定第二光強(值)的第二部分邊緣。因此，區域2303具有邊緣連續的方向上的連續性。以下，區域2303稱作包含二值邊緣的現實世界區域2303。
在該情況下，當包含二值邊緣的現實世界區域2303(現實世界1中光信號的一部分)由傳感器2檢測時，輸入圖像(像素值)的區域2304(以下，稱作包含二值邊緣的數據區域2304)因積分效應從傳感器2輸出。
注意，包含二值邊緣的數據區域2304的每個像素值與包含細線的數據區域2302一樣在附圖中表示為圖像，但是實際上是代表預先確定值的數據。也就是說，包含二值邊緣的現實世界區域2303由傳感器2的積分效應而變成(畸變)包含二值邊緣的數據區域2304，其劃分成每個具有預先確定像素值的20個像素(X方向上4個像素且Y方向上5個像素的總共20個像素)。
常規圖像處理設備已經將從傳感器2輸出的圖像數據，例如包含細線的數據區域2302，包含二值邊緣的數據區域2304等看作原點(基礎)，並且也使得圖像數據經歷隨後的圖像處理。也就是說，儘管從傳感器2輸出的圖像數據已經因積分效應而變成(畸變)不同於現實世界1中光信號的數據，常規圖像處理設備基於不同於現實世界1中光信號的數據是正確的假設而執行圖像處理。
結果，常規圖像處理設備提出一個問題，即基於現實世界中其細節在圖像數據從傳感器2輸出的階段畸變的波形，非常難以從波形中恢復原始細節。
因此，對於函數近似方法，為了解決該問題，如上所述(圖58中所示)，現實世界估計單元102通過用基於從傳感器2輸出的圖像數據(輸入圖像)例如包含細線的數據區域2302和包含二值邊緣的數據區域2304的近似函數f近似光信號函數F(現實世界1中的光信號)來估計光信號函數F。
因此，在現實世界估計單元102隨後的階段(在該情況下，圖3中的圖像生成單元103)，處理可以通過取已經考慮積分效應的圖像數據，即可以用近似函數f表示的圖像數據作為原點來執行。
以下，將參考附圖獨立地描述這種函數近似方法的三種具體方法(第一至第三函數近似方法)。
首先，將參考圖62至圖76描述第一函數近似方法。
圖62是再次表示上述圖60中所示包含細線的現實世界區域2301的圖。
在圖62中，X方向和Y方向代表傳感器2的X方向和Y方向(圖59)。
第一函數近似方法是使用例如用作n維(n是任意整數)多項式的近似函數f(x)近似一維波形(以下，這種波形稱作X橫截面波形F(x))的方法，其中與例如圖62中所示包含細線的現實世界區域2301相對應的光信號函數F(x，y，t)在X方向(附圖中箭頭2311的方向)上投影。因此，以下，第一函數近似方法特別地稱作一維近似函數。
注意，對於一維近似方法，將被近似的X橫截面波形F(x)當然並不局限於與圖62中包含細線的現實世界區域2301相對應的波形。也就是說，如隨後描述的，對於一維近似方法，任意波形可以被近似只要X橫截面波形F(x)對應於具有連續性的現實世界1中的光信號。
而且，光信號函數F(x，y，t)的投影方向並不局限於X方向，Y方向或t方向可以使用。也就是說，對於一維近似方法，光信號函數F(x，y，t)在Y方向上投影的函數F(y)可以用預先確定的近似函數f(y)近似，或者光信號函數F(x，y，t)在t方向上投影的函數F(t)可以用預先確定的近似函數f(t)近似。
更具體地說，一維近似方法是使用用作例如下面表達式(39)中所示的n維多項式的近似函數f(x)來近似X橫截面波形F(x)的方法。
f(x)=w0+w1x+w2x2++wnxn=i=0nwixi---(39)]]>也就是說，對於一維近似方法，現實世界估計單元102通過計算表達式(39)中xi的係數(特徵)wi來估計X橫截面波形F(x)。
特徵wi的該計算方法並不局限於特定的方法，例如下面第一至第三方法可以使用。
也就是說，第一方法是到目前為止已經使用的方法。
另一方面，第二方法是本申請者最新發明的方法，其是關於第一方法考慮空間方向上連續性的方法。
但是，如隨後描述的，對於第一和第二方法，傳感器2的積分效應沒有考慮。因此，通過將由第一方法或第二方法計算的特徵wi代入上面表達式(39)而獲得的近似函數f(x)是關於輸入圖像的近似函數，但是嚴格地說，不能稱作X橫截面波形F(x)的近似函數。
因此，本申請者發明了關於第二方法進一步考慮傳感器2積分效應的計算特徵wi的第三方法。通過將使用該第三方法計算的特徵wi代入上面表達式(39)而獲得的近似函數f(x)可以稱作X橫截面波形F(x)的近似函數，因為傳感器2的積分效應被考慮。
因此，嚴格地說，第一方法和第二方法不能稱作一維近似方法，而只有第三方法可以稱作一維近似方法。
換句話說，如圖63中所示，第二方法不同於一維近似方法。也就是說，圖63是描述與第二方法相對應的實施方案原理的圖。
如圖63中所示，對於與第二方法相對應的實施方案，如果用光信號函數F表示的現實世界1中的光信號具有預先確定的連續性，現實世界估計單元102不是用來自傳感器2的輸入圖像(包含與連續性相對應的數據連續性的圖像數據)，以及來自數據連續性檢測單元101的數據連續性信息(與輸入圖像數據的連續性相對應的數據連續性信息)近似X橫截面波形F(x)，而是用預先確定的近似函數f2(x)近似來自傳感器2的輸入圖像。
因此，難說第二方法是與第三方法具有同等水平的方法，因為僅輸入圖像的近似被執行而沒有考慮傳感器2的積分效應。但是，第二方法是優於常規第一方法的方法，因為第二方法考慮了空間方向上的連續性。
以下，將以該順序獨立地描述第一方法、第二方法和第三方法的細節。
注意以下，如果由第一方法、第二方法和第三方法產生的各自近似函數f(x)與其他方法的相區分，它們分別特別地稱作近似函數f1(x)、近似函數f2(x)以及近似函數f3(x)。
首先，將描述第一方法的細節。
對於第一方法，如果上面表達式(39)中所示近似函數f1(x)在圖64中包含細線的現實世界區域2301內成立，下面的預測公式(40)被定義。
P(x，y)＝f1(x)+e…(40)在表達式(40)中，x表示關於X方向相對於關注像素的像素位置。y表示關於Y方向相對於關注像素的像素位置。e表示誤差限度。特別地，例如，如圖64中所示，讓我們假定關注像素是包含細線的數據區域2302(包含細線的現實世界區域2301(圖62)由傳感器2檢測並輸出其數據)中，附圖中X方向上從左起第二像素以及Y方向上從底部起第三像素。而且，讓我們假定關注像素的中心是原點(0，0)，並且其軸是分別平行於傳感器2的X方向和Y方向(圖59)的x軸和y軸的坐標系(以下，稱作關注像素坐標系)被設置。在該情況下，關注像素坐標系的坐標值(x，y)表示相對像素位置。
而且，在表達式(40)中，P(x，y)表示相對像素位置(x，y)中的像素值。特別地，在該情況下，包含細線的數據區域2302中的P(x，y)例如圖65中所示。
圖65以圖形方式表示該像素值P(x，y)。
在圖65中，曲線圖的各個垂直軸表示像素值，而水平軸表示X方向上距離關注像素的相對位置x。而且，在附圖中，分別地，從頂部開始第一曲線圖中的虛線表示輸入像素值P(x，-2)，從頂部開始第二曲線圖中的斷續三重虛線表示輸入像素值P(x，-1)，從頂部開始第三曲線圖中的實線表示輸入像素值P(x，0)，從頂部開始第四曲線圖中的斷續線表示輸入像素值P(x，1)，並且從頂部開始第五(從底部開始第一)曲線圖中的斷續雙重虛線表示輸入像素值P(x，2)。
當圖65中所示20個輸入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)(但是，x是-1～2的任意一個整數值)分別代入上面表達式(40)時，如下面表達式(41)中所示20個公式產生。注意，每個ek(k是1～20的整數值的任意一個)表示誤差限度。
P(-1，-2)＝f1(-1)+e1P(0，-2)＝f1(0)+e2P(1，-2)＝f1(1)+e3P(2，-2)＝f1(2)+e4P(-1，-1)＝f1(-1)+e5P(0，-1)＝f1(0)+e6P(1，-1)＝f1(1)+e7P(2，-1)＝f1(2)+e8P(-1，0)＝f1(-1)+e9P(0，0)＝f1(0)+e10
P(1，0)＝f1(1)+e11P(2，0)＝f1(2)+e12P(-1，1)＝f1(-1)+e13P(0，1)＝f1(0)+e14P(1，1)＝f1(1)+e15P(2，1)＝f1(2)+e16P(-1，2)＝f1(-1)+e17P(0，2)＝f1(0)+e18P(1，2)＝f1(1)+e19P(2，2)＝f1(2)+e20…(41)表達式(41)由20個公式構成，所以如果近似函數f1(x)的特徵wi的數目少於20，也就是如果近似函數f1(x)是具有少於19的維度數目的多項式，特徵wi可以使用例如最小二乘法計算。注意，最小二乘法的具體解法將隨後描述。
例如，如果我們假定近似函數f1(x)的維度數目是五，使用表達式(41)用最小二乘法計算的近似函數f1(x)(由計算的特徵wi產生的近似函數f1(x))變成圖66中所示的曲線。
注意在圖66中，垂直軸表示像素值，而水平軸表示距離關注像素的相對位置x。
也就是說，例如，如果我們補充沿著x軸構成圖64中包含細線的數據區域2302而沒有任何修改的各個20個像素值P(x，y)(圖65中所示各個輸入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2))(如果我們認為Y方向上的相對位置y恆定，並且重疊圖65中所示的五個曲線圖)，與x軸平行的多條線(虛線、斷續三重虛線、實線、斷續線、以及斷續雙重虛線)被分布，例如圖66中所示。
但是，在圖66中，分別地，虛線表示輸入像素值P(x，-2)，斷續三重虛線表示輸入像素值P(x，-1)，實線表示輸入像素值P(x，0)，斷續線表示輸入像素值P(x，1)，以及斷續雙重虛線表示輸入像素值P(x，2)。而且，在相同像素值的情況下，多於2條線的線實際上重疊，但是在圖66中，線被畫出以便區分每條線，以便不重疊每條線。
這樣分布的各個20個輸入像素值(P(x，-2)，P(x，-1)，P(x，0)，P(x，1)，以及P(x，2))，以及回歸曲線(通過將使用最小二乘法計算的特徵wi代入上面表達式(38)而獲得的近似函數f1(x))以使得值f1(x)的誤差達到最小，變成圖66中所示的曲線(近似函數f1(x))。
因此，近似函數f1(x)只表示在X方向上連接Y方向上P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)的像素值(具有X方向上距離關注像素的相同相對位置x的像素值)的平均值的曲線。也就是說，近似函數f1(x)沒有考慮包括在光信號中的空間方向上連續性而產生。
例如，在該情況下，包含細線的現實世界區域2301(圖62)看作待近似的主體。該包含細線的現實世界區域2301具有空間方向上的連續性，其由梯度GF表示，如圖67中所示。注意在圖67中，X方向和Y方向代表傳感器2的X方向和Y方向(圖59)。
因此，數據連續性檢測單元101(圖58)可以輸出例如圖67中所示的角度θ(用與梯度GF相對應的梯度Gf表示的數據連續性方向，與X方向之間產生的角度θ)作為與作為空間方向上連續性的梯度GF相對應的數據連續性信息。
但是，對於第一方法，從數據連續性檢測單元101中輸出的數據連續性信息根本不使用。
換句話說，例如圖67中所示，包含細線的現實世界區域2301的空間方向上的連續性方向是普通角度θ方向。但是，第一方法是基於包含細線的現實世界區域2301的空間方向上的連續性方向是Y方向的假設(也就是假設角度θ是90°)計算近似函數f1(x)的特徵wi的方法。
所以，近似函數f1(x)變成其波形變緩和的函數，並且細節比原始像素值減少。換句話說，雖然附圖中沒有顯示，對於使用第一方法產生的近似函數f1(x)，其波形變成不同於實際X橫截面波形F(x)的波形。
為此，本申請者已經發明相對於第一方法通過進一步考慮空間方向上連續性(利用角度θ)計算特徵wi的第二方法。
也就是說，第二方法是基於包含細線的現實世界區域2301的連續性方向是普通角度θ方向的假設計算近似函數f2(x)的特徵wi的方法。
特別地，例如，表示與空間方向上連續性相對應的數據連續性的梯度Gf用下面的表達式(42)表示。
Gf=tan=dydx---(42)]]>注意在表達式(42)中，dx表示例如圖67中所示X方向上細微運動的量，dy表示例如圖67中所示關於dx在Y方向上細微運動的量。
在該情況下，如果我們如下面表達式(43)中所示定義移位量Cx(y)，對於第二方法，與第一方法中使用的表達式(40)相對應的公式變成例如下面的表達式(44)。
Cx(y)=yGf---(43)]]>P(x，y)＝f2(x-Cx(y))+e …(44)也就是說，第一方法中使用的表達式(40)表示像素中心位置(x，y)的X方向上的位置x是關於位於相同位置中的任何像素的像素值P(x，y)的相同值。換句話說，表達式(40)表示具有相同像素值的像素在Y方向上連續(表現出Y方向上的連續性)。
另一方面，第二方法中使用的表達式(44)表示其中心位置為(x，y)的像素的像素值P(x，y)與位於X方向上距離關注像素(其中心位置為原點(0，0)的像素)x的位置的像素的像素值(近似相當於f2(x))不同，而是與位於X方向上以移位量Cx(y)進一步遠離其像素的位置的像素(位於X方向上距離關注像素x+Cx(y)的位置中的像素)的像素值(近似相當於f2(x)+Cx(y)相同的值。換句話說，表達式(44)表示具有相同像素值的像素在對應於移位量Cx(y)的角度θ方向上連續(表現出普通角度θ方向上的連續性)。
因此，移位量Cx(y)是考慮空間方向上連續性(在該情況下，圖67中用梯度GF表示的連續性(嚴格地說，用梯度Gf表示的數據連續性))的校正量，並且表達式(44)通過用移位量Cx(y)校正表達式(40)而獲得。
在該情況下，當圖64中所示包含細線的數據區域2302的20個像素值P(x，y)(但是，x是-1～2的任意一個整數值，且y是-2～2的任何一個整數值)分別代入上面表達式(44)時，如下面表達式(45)中所示的20個公式產生。
P(-1，-2)＝f2(-1-Cx(-2))+e1P(0，-2)＝f2(0-Cx(-2))+e2P(1，-2)＝f2(1-Cx(-2))+e3P(2，-2)＝f2(2-Cx(-2))+e4P(-1，-1)＝f2(-1-Cx(-1))+e5P(0，-1)＝f2(0-Cx(-1))+e6P(1，-1)＝f2(1-Cx(-1))+e7P(2，-1)＝f2(2-Cx(-1))+e8P(-1，0)＝f2(-1)+e9P(0，0)＝f2(0)+e10P(1，0)＝f2(1)+e11P(2，0)＝f2(2)+e12P(-1，1)＝f2(-1-Cx(1))+e13P(0，1)＝f2(0-Cx(1))+e14P(1，1)＝f2(1-Cx(1))+e15P(2，1)＝f2(2-Cx(1))+e16P(-1，2)＝f2(-1-Cx(2))+e17
P(0，2)＝f2(0-Cx(2))+e18P(1，2)＝f2(1-Cx(2))+e19P(2，2)＝f2(2-Cx(2))+e20…(45)與上面表達式(41)一樣，表達式(45)由20個公式構成。因此，對於第二方法，與第一方法一樣，如果近似函數f2(x)的特徵wi的數目少於20，也就是如果近似函數f2(x)是具有少於19的維度數目的多項式，特徵wi可以使用例如最小二乘法計算。注意，關於最小二乘法的具體解法將隨後描述。
例如，與第一方法一樣，如果我們假定近似函數f1(x)的維度數目是五，對於第二方法，特徵wi如下計算。
也就是說，圖68以圖形方式表示表達式(45)左側中顯示的像素值P(x，y)。圖68中所示各個五個曲線圖基本上與圖65中所示的相同。
如圖68中所示，最大像素值(與細線相對應的像素值)在用梯度Gf表示的數據連續性方向上連續。
所以，對於第二方法，如果我們例如沿著x軸補充圖68中所示的各個輸入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)，我們補充像素值在圖69中所示狀態中改變的像素值，而不是與第一方法一樣補充像素值而沒有任何修改(讓我們假設y是恆定的，並且五個曲線圖在圖68中所示的狀態中重疊)。
也就是說，圖69表示圖68中所示的各個輸入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)以上面表達式(43)中所示的移位量Cx(y)移位的狀態。換句話說，圖69表示圖68中所示的五個曲線圖運動好像表示數據連續性實際方向的梯度GF看作梯度GF′的狀態(在附圖中，由虛線構成的直線看作由實線構成的直線)。
在圖69中的狀態中，如果我們例如沿著x軸補充各個輸入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(在圖69中所示的狀態中，如果我們重疊五個曲線圖)，與x軸平行的多條線(虛線、斷續三重虛線、實線、斷續線、以及斷續雙重虛線)被分布，例如圖70中所示。
注意在圖70中，垂直軸表示像素值，並且水平軸表示距離關注像素的相對位置x。而且，分別地，虛線表示輸入像素值P(x，-2)，斷續三重虛線表示輸入像素值P(x，-1)，實線表示輸入像素值P(x，0)，斷續線表示輸入像素值P(x，1)，以及斷續雙重虛線表示輸入像素值P(x，2)。而且，在同樣像素值的情況下，多於2條線的線實際上重疊，但是在圖70中，線被畫出以便區分每條線，以便不重疊每條線。
這樣分布的各個20個輸入像素值P(x，y)(但是，x是-1～2的任意一個整數值，並且y是-2～2的任意一個整數值)，以及回歸曲線(通過將使用最小二乘法計算的特徵wi代入上面表達式(38)而獲得的近似函數f2(x))以使得值f2(x+Cx(y))的誤差達到最小，變成圖70中實線所示的曲線f2(x)。
因此，使用第二方法產生的近似函數f2(x)表示在X方向上連接從數據連續性檢測單元101(圖58)輸出的角度θ方向(也就是普通空間方向上的連續性方向)上輸入像素值P(x，y)的平均值的曲線。
另一方面，如上所述，使用第一方法產生的近似函數f1(x)只表示在X方向上連接Y方向(也就是與空間方向上的連續性不同的方向)上輸入像素值P(x，y)的平均值的曲線。
因此，如圖70中所示，使用第二方法產生的近似函數f2(x)變成其波形的緩和度減小，而且關於原始像素值的細節減少程度比使用第一方法產生的近似函數f1(x)減少得小的函數。換句話說，雖然附圖中沒有顯示，對於使用第二方法產生的近似函數f2(x)，其波形變成比使用第一方法產生的近似函數f1(x)更接近實際X橫截面波形F(x)的波形。
但是，如上所述，近似函數f2(x)是考慮空間方向上連續性的函數，但是僅是輸入圖像(輸入像素值)看作原點(基礎)而產生的函數。也就是說，如上述圖63中所示，近似函數f2(x)僅是近似不同於X橫截面波形F(x)的輸入圖像的函數，並且難說近似函數f2(x)是近似X橫截面波形F(x)的函數。換句話說，第二方法是基於上面表達式(44)成立的假設計算特徵wi的方法，但是沒有考慮上述表達式(38)中的關係(沒有考慮傳感器2的積分效應)。
因此，本申請者已經發明相對於第二方法通過進一步考慮傳感器2的積分效應計算近似函數f3(x)的特徵wi的第三方法。
也就是說，第三方法是引入空間混合或時間混合概念的方法。現在，考慮空間混合和時間混合將使得描述複雜，所以空間混合和時間混合中僅空間混合將在這裡考慮，而時間混合將忽略。
在第三方法的描述之前，將參考圖71描述空間混合。
在圖71中，現實世界1中光信號的部分2321(以下，稱作區域2321)表示與傳感器2的一個檢測元件(像素)具有相同面積的區域。
當傳感器2檢測區域2321時，傳感器2輸出由區域2321經歷時間和空間方向(X方向、Y方向和t方向)上的積分而獲得的值(一個像素值)2322。注意，像素值2322在附圖中表示為圖像，但實際上是代表預先確定值的數據。
現實世界1中的區域2321清楚地分類成與前景(例如上面的細線)相對應的光信號(附圖中白色區域)，以及與背景相對應的光信號(附圖中黑色區域)。
另一方面，像素值2322是由與前景相對應的現實世界1中光信號和與背景相對應的現實世界1中光信號經歷積分而獲得的值。換句話說，像素值2322是與對應於前景的光度與對應於背景的光度空間混合的光度相對應的值。
因此，如果與現實世界1中光信號的一個像素(傳感器2的檢測元件)相對應的部分不是具有相同光度的光信號在空間上均勻分布的部分，而是具有不同光度的光信號例如前景和背景分布於其中的部分，當其區域由傳感器2檢測時，區域變成一個像素值，好像不同光度因傳感器2的積分效應而空間混合(在空間方向上積分)。因此，由對應於前景的圖像(現實世界1中光信號)和對應於背景的圖像(現實世界1中光信號)經歷空間積分，也就是好像被混合，即空間混合的像素構成的區域在這裡稱作空間混合區域。
因此，對於第三方法，現實世界估計單元102(圖58)通過使用用作例如圖72中所示一維多項式的近似函數f3(x)近似X橫截面波形F(x)，來估計表示現實世界1中原始區域2321(現實世界1中光信號，部分2321對應於傳感器2的一個像素)的X橫截面波形F(x)。
也就是說，圖72表示與用作空間混合區域的像素值2322(圖71)相對應的近似函數f3(x)，即近似與現實世界1中區域2331中的實線(圖71)相對應的X橫截面波形F(x)的近似函數f3(x)的實例。在圖72中，附圖中水平方向上的軸表示與從對應於像素值2322(圖71)的像素的左上端xs到右下端xe的邊平行的軸，其看作x軸。附圖中垂直方向上的軸看作表示像素值的軸。
在圖72中，下面的表達式(46)被定義，如果由使得近似函數f3(x)經歷從xs到xe的範圍(像素寬度)內的積分而獲得的結果通常與從傳感器2輸出的像素值P(x，y)完全相同(僅取決於誤差限度e)。
P=xsxef3(x)dx+e]]>=xsxe(w0+w1x+w2x2+wnxn)dx+e]]>=w0(xe-xs)++wn-1xen-xsnn+wnxen+1-xsn+1n+1+e---(46)]]>在該情況下，近似函數f3(x)的特徵wi從圖67中所示包含細線的數據區域2302的20個像素值P(x，y)(但是，x是-1～2的任意一個整數值，並且y是-2～2的任意一個整數值)中計算，所以表達式(46)中的像素值P變成像素值P(x，y)。
而且，與第二方法一樣，考慮空間方向上的連續性是必需的，因此，表達式(46)中積分範圍中的開始位置xs和結束位置xe的每個取決於移位量Cx(y)。也就是說，表達式(46)中積分範圍的開始位置xs和結束位置xe例如下面表達式(47)中表示。
xs＝x-Cx(y)-0.5xe＝x-Cx(y)+0.5 …(47)在該情況下，當圖67中所示包含細線的數據區域2302的每個像素值，即圖68中所示輸入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(但是，x是-1～2的任意一個整數值)的每個代入上面表達式(46)(積分範圍是上面表達式(47))時，下面表達式(48)中的20個公式產生。
P(-1,-2)=-1-Cx(-2)-0.5-1-Cx(-2)+0.5f3(x)dx+e1,]]>P(0,-2)=0-Cx(-2)-0.50-Cx(-2)+0.5f3(x)dx+e2,]]>P(1,-2)=1-Cx(-2)-0.51-Cx(-2)+0.5f3(x)dx+e3,]]>P(2,-2)=2-Cx(-2)-0.52-Cx(-2)+0.5f3(x)dx+e4,]]>P(-1,-1)=-1-Cx(-1)-0.5-1-Cx(-1)+0.5f3(x)dx+e5,]]>P(0,-1)=0-Cx(-1)-0.50-Cx(-1)+0.5f3(x)dx+e6,]]>P(1,-1)=1-Cx(-1)-0.51-Cx(-1)+0.5f3(x)dx+e7,]]>P(2,-1)=2-Cx(-1)-0.52-Cx(-1)+0.5f3(x)dx+e8,]]>P(-1,0)=-1-0.5-1+0.5f3(x)dx+e9,]]>P(0,0)=0-0.50+0.5f3(x)dx+e10,]]>P(1,0)=0-0.50+0.5f3(x)dx+e11,]]>P(2,0)=2-0.52+0.5f3(x)dx+e12,]]>P(-1,1)=-1-Cx(1)-0.5-1-Cx(1)+0.5f3(x)dx+e13,]]>P(0,1)=0-Cx(1)-0.50-Cx(1)+0.5f3(x)dx+e14,]]>P(1,1)=1-Cx(1)-0.51-Cx(1)+0.5f3(x)dx+e15,]]>
P(2,1)=2-Cx(1)-0.52-Cx(1)+0.5f3(x)dx+e16,]]>P(-1,2)=-1-Cx(2)-0.5-1-Cx(2)+0.5f3(x)dx+e17,]]>P(0,2)=0-Cx(2)-0.50-Cx(2)+0.5f3(x)dx+e18,]]>P(1,2)=1-Cx(2)-0.51-Cx(2)+0.5f3(x)dx+e19,]]>P(2,2)=2-Cx(2)-0.52-Cx(2)+0.5f3(x)dx+e20---(48)]]>與上面表達式(45)一樣，表達式(48)由20個公式構成。因此，對於第三方法，與第二方法一樣，如果近似函數f3(x)的特徵wi的數目少於20，也就是如果近似函數f3(x)是具有少於19的維度數目的多項式，例如，特徵wi可以使用最小二乘法計算。注意，最小二乘法的具體解法將隨後描述。
例如，如果我們假定近似函數f3(x)的維度數目是五，使用表達式(48)用最小二乘法計算的近似函數f3(x)(用計算的特徵wi產生的近似函數f3(x))變成圖73中實線所示的曲線。
注意在圖73中，垂直軸表示像素值，而水平軸表示距離關注像素的相對位置x。
如圖73中所示，如果用第三方法產生的近似函數f3(x)(附圖中用實線顯示的曲線)與用第二方法產生的近似函數f2(x)(附圖中用虛線顯示的曲線)相比較，x＝0處的像素值變大，而且曲線的梯度產生陡峭波形。這是因為細節增加多於輸入像素，導致與輸入像素的解析度無關。也就是說，我們可以說近似函數f3(x)近似X橫截面波形F(x)。因此，雖然附圖中沒有顯示，近似函數f3(x)變成比近似函數f2(x)更接近X橫截面波形F(x)的波形。
圖74表示使用這種一維近似方法的現實世界估計單元102的構造實例。
在圖74中，現實世界估計單元102通過使用例如上面第三方法(最小二乘法)計算特徵wi，並且使用計算的特徵wi產生上面表達式(39)的近似函數f(x)來估計X橫截面波形F(x)。
如圖74中所示，現實世界估計單元102包括條件設置單元2331，輸入圖像存儲單元2332，輸入像素值獲取單元2333，積分分量計算單元2334，正則方程生成單元2335，以及近似函數生成單元2336。
條件設置單元2331設置用於估計對應於關注像素的X橫截面波形F(x)的像素範圍(以下，稱作分接範圍)，以及近似函數f(x)的維度數目n。
輸入圖像存儲單元2332臨時地存儲來自傳感器2的輸入圖像(像素值)。
輸入像素值獲取單元2333從輸入圖像存儲單元2332中存儲的輸入圖像中，獲取與由條件設置單元2331設置的分接範圍相對應的輸入圖像區域，並且將其作為輸入像素值表提供給正則方程生成單元2335。也就是說，輸入像素值表是描述包括在輸入圖像區域中的像素的各個像素值的表。注意，輸入像素值表的具體實例將隨後描述。
現在，現實世界估計單元102使用上面的表達式(46)和表達式(47)在這裡用最小二乘法計算近似函數f(x)的特徵wi，但是上面表達式(46)可以例如下面表達式(49)表示。
P(x，y)=i=0nwi(x-Cx(y)+0.5)i+1-(x-Cx(y)-0.5)i+1i+1+e]]>=i=0nwiSi(xs,xe)+e---(49)]]>在表達式(49)中，Si(xs，xe)表示i維項的積分分量。也就是說，積分分量Si(xs，xe)在下面表達式(50)中顯示。
Si(xs,xe)=xei+1-xsi+1i+1---(50)]]>積分分量計算單元2334計算積分分量Si(xs，xe)。
特別地，表達式(50)中所示的積分分量Si(xs，xe)(但是，值xs和值xe是上面表達式(46)中顯示的值)可以計算，只要相對像素位置(x，y)，移位量Cx(y)，以及i維項的i已知。而且，這些中，分別地，相對像素位置(x，y)由關注像素和分接範圍確定，移位量Cx(y)由角度θ(由上面表達式(41)和表達式(43))確定，並且i的範圍由維度數目n確定。
因此，積分分量計算單元2334基於由條件設置單元2331設置的分接範圍和維度數目，以及從數據連續性檢測單元101輸出的數據連續性信息的角度θ來計算積分分量Si(xs，xe)，並且將計算結果作為積分分量表提供給正則方程生成單元2335。
正則方程生成單元2335產生上面的表達式(46)，即正則方程，在使用從輸入像素值獲取單元2333提供的輸入像素值表，以及從積分分量計算單元2334提供的積分分量表，用最小二乘法獲得表達式(49)右側的特徵wi的情況下，並且將其作為正則方程表提供給近似函數生成單元2336。注意正則方程的具體實例將隨後描述。
近似函數生成單元2336通過使用矩陣解法求解包括在從正則方程生成單元2335提供的正則方程表中的正則方程，來計算上面表達式(49)的各個特徵wi(也就是用作一維多項式的近似函數f(x)的各個係數wi)，並且將這些輸出到圖像生成單元103。
接下來，將參考圖75中的流程圖描述使用一維近似方法的現實世界估計單元102(圖74)的現實世界估計處理(圖29的步驟S102中的處理)。
例如，讓我們假定作為從傳感器2輸出的一幀輸入圖像、包括上述圖60中包含細線的數據區域2302的輸入圖像已經存儲在輸入圖像存儲單元2332中。而且，讓我們假定數據連續性檢測單元101已經在步驟S101(圖29)的連續性檢測處理中使包含細線的數據區域2302經歷其處理，並且已經輸出角度θ作為數據連續性信息。
在該情況下，條件設置單元2331在圖75的步驟S2301中設置條件(分接範圍和維度數目)。
例如，讓我們假定圖76中所示的分接範圍2351被設置，並且5維度設置為維度數目。
也就是說，圖76是描述分接範圍實例的圖。在圖76中，X方向和Y方向分別是傳感器2的x方向和Y方向(圖59)。而且，分接範圍2351表示由X方向上4個像素以及Y方向上5個像素總共20個像素(附圖中20個正方形)構成的像素組。
此外，如圖76中所示，讓我們假定關注像素設置在分接範圍2351中附圖中從左起第二像素以及從底部起第三像素處。而且，讓我們假定每個像素根據距離關注像素的相對像素位置(x，y)(關注像素坐標系的坐標值，其中關注像素的中心(0，0)取作原點)用例如圖76中所示數字l表示(l是0～19的任意整數值)。
現在，描述將返回圖75，其中在步驟S2302中，條件設置單元2331設置關注像素。
在步驟S2303中，輸入像素值獲取單元2333基於由條件設置單元2331設置的條件(分接範圍)獲取輸入像素值，並且產生輸入像素值表。也就是說，在該情況下，輸入像素值獲取單元2333獲取包含細線的數據區域2302(圖64)，並且產生由20個輸入像素值P(l)構成的表作為輸入像素值表。
注意在該情況下，輸入像素值P(l)與上面輸入像素值P(x，y)之間的關係是下面表達式(51)中所示的關係。但是，在表達式(51)中，左側表示輸入像素值P(l)，而右側表示輸入像素值P(x，y)。
P(0)＝P(0，0)P(1)＝P(-1，2)P(2)＝P(0，2)P(3)＝P(1，2)P(4)＝P(2，2)P(5)＝P(-1，1)P(6)＝P(0，1)P(7)＝P(1，1)P(8)＝P(2，1)P(9)＝P(-1，0)P(10)＝P(1，0)
P(11)＝P(2，0)P(12)＝P(-1，-1)P(13)＝P(0，-1)P(14)＝P(1，-1)P(15)＝P(2，-1)P(16)＝P(-1，-2)P(17)＝P(0，-2)P(18)＝P(1，-2)P(19)＝P(2，-2) …(51)在步驟S2304中，積分分量計算單元2334基於由條件設置單元2331設置的條件(分接範圍和維度數目)，以及從數據連續性檢測單元101提供的數據連續性信息(角度θ)計算積分分量，並且產生積分分量表。
在該情況下，如上所述，輸入像素值不是P(x，y)而是P(l)，並且作為像素編號l的值而獲取，所以積分分量計算單元2334將表達式(50)中上面積分分量Si(xs，xe)計算為l的函數，例如下面表達式(52)左側中所示的積分分量Si(l)。
Si(l)＝Si(xs，xe) …(52)特別地，在該情況下，下面表達式(53)中所示的積分分量Si(l)被計算。
Si(0)＝Si(-0.5，0.5)Si(1)＝Si(-1.5-Cx(2)，-0.5-Cx(2))Si(2)＝Si(-0.5-Cx(2)，0.5-Cx(2))Si(3)＝Si(0.5-Cx(2)，1.5-Cx(2))Si(4)＝Si(1.5-Cx(2)，2.5-Cx(2))Si(5)＝Si(-1.5-Cx(1)，-0.5-Cx(1))Si(6)＝Si(-0.5-Cx(1)，0.5-Cx(1))Si(7)＝Si(0.5-Cx(1)，1.5-Cx(1))Si(8)＝Si(1.5-Cx(1)，2.5-Cx(1))
Si(9)＝Si(-1.5，-0.5)Si(10)＝Si(0.5，1.5)Si(11)＝Si(1.5，2.5)Si(12)＝Si(-1.5-Cx(-1)，-0.5-Cx(-1))Si(13)＝Si(-0.5-Cx(-1)，0.5-Cx(-1))Si(14)＝Si(0.5-Cx(-1)，1.5-Cx(-1))Si(15)＝Si(1.5-Cx(-1)，2.5-Cx(-1))Si(16)＝Si(-1.5-Cx(-2)，-0.5-Cx(-2))Si(17)＝Si(-0.5-Cx(-2)，0.5-Cx(-2))Si(18)＝Si(0.5-Cx(-2)，1.5-Cx(-2))Si(19)＝Si(1.5-Cx(-2)，2.5-Cx(-2)) …(53)注意在表達式(53)中，左側表示積分分量Si(l)，而右側表示積分分量Si(xs，xe)。也就是說，在該情況下，i是0～5，因此20個S0(l)，20個S1(l)，20個S2(l)，20個S3(l)，20個S4(l)以及20個S5(l)總共120個Si(l)被計算。
更具體地說，首先積分分量計算單元2334使用從數據連續性檢測單元101提供的角度θ計算移位量Cx(-2)，Cx(-1)，Cx(1)，和Cx(2)的每個。接下來，積分分量計算單元2334使用計算的移位量Cx(-2)，Cx(-1)，Cx(1)，和Cx(2)關於i＝0～5的每個計算表達式(52)右側中顯示的20個積分分量Si(xs，xe)的每個。也就是說，計算120個積分分量Si(xs，xe)。注意對於積分分量Si(xs，xe)的該計算，使用上面表達式(50)。隨後，積分分量計算單元2334根據表達式(53)將計算的120個積分分量Si(xs，xe)的每個轉換成相應的積分分量Si(l)，並且產生包括轉換後的120個積分分量Si(l)的積分分量表。
注意，步驟S2303中的處理和步驟S2304中的處理的順序並不局限於圖75中的實例，步驟S2304中的處理可以首先執行，或者步驟S2303中的處理和步驟S2304中的處理可以同時執行。
接下來，在步驟S2305中，正則方程生成單元2335基於在步驟S2303的處理中由輸入像素值獲取單元2333產生的輸入像素值表，以及在步驟S2304的處理中由積分分量計算單元2334產生的積分分量表來產生正則方程表。
特別地，在該情況下，對應於上面表達式(49)的下面表達式(54)的特徵wi使用最小二乘法計算。與此對應的正則方程表示為下面的表達式(55)。
P(l)=i=0nwiSi(l)+e---(54)]]> 注意在表達式(55)中，L表示分接範圍中像素編號l的最大值。n表示用作多項式的近似函數f(x)的維度數目。特別地，在該實例中，n＝5且L＝19。
如果我們將表達式(55)中所示的正則方程的每個矩陣定義為下面的表達式(56)～(58)，正則方程表示為下面的表達式(59)。
WMAT=w0w1wn---(57)]]>
PMAT=l=0LS0(l)P(l)l=0LS1(l)P(l)l=0LSn(l)P(l)---(58)]]>SMATWMAT＝PMAT…(59)如表達式(57)中所示，矩陣WMAT的各個分量是待獲得的特徵wi。因此，在表達式(59)中，如果左側的矩陣SMAT和右側的矩陣PMAT被確定，矩陣WMAT(也就是特徵wi)可以使用矩陣解法計算。
特別地，如表達式(56)中所示，矩陣SMAT的各個分量可以計算，只要上面積分分量Si(l)已知。積分分量Si(l)包括在從積分分量計算單元2334提供的積分分量表中，所以正則方程生成單元2335可以使用積分分量表計算矩陣SMAT的每個分量。
而且，如表達式(58)中所示，矩陣PMAT的各個分量可以計算，只要積分分量Si(l)和輸入像素值P(l)已知。積分分量Si(l)與包括在矩陣SMAT的各個分量中的那些相同，並且輸入像素值P(l)包括在從輸入像素值獲取單元2333提供的輸入像素值表中，所以正則方程生成單元2335可以使用積分分量表和輸入像素值表計算矩陣PMAT的每個分量。
因此，正則方程生成單元2335計算矩陣SMAT和矩陣PMAT的每個分量，並將計算結果(矩陣SMAT和矩陣PMAT的每個分量)作為正則方程表輸出到近似函數生成單元2336。
當正則方程表從正則方程生成單元2335輸出時，在步驟S2306中，近似函數生成單元2336基於正則方程表計算用作上面表達式(59)中矩陣WMAT的各個分量的特徵wi(也就是，用作一維多項式的近似函數f(x)的係數wi)。
特別地，上面表達式(59)中的正則方程可以轉換為下面的表達式(60)。
WMAT=SMAT-1PMAT---(60)]]>在表達式(60)中，左側矩陣WMAT的各個分量是待獲得的特徵wi。關於矩陣SMAT和矩陣PMAT的各個分量包括在從正則方程生成單元2335提供的正則方程表中。因此，近似函數生成單元2336通過使用正則方程表計算表達式(60)右側中的矩陣來計算矩陣WMAT，並將計算結果(特徵wi)輸出到圖像生成單元103。
在步驟S2307中，近似函數生成單元2336確定是否所有像素的處理都已完成。
在步驟S2307中，如果確定所有像素的處理還沒有完成，處理返回到步驟S2302，其中隨後的處理重複地執行。也就是說，沒有變成關注像素的像素順序地取作關注像素，並且步驟S2302～S2307中的處理重複地執行。
如果所有像素的處理都已完成(在步驟S2307中，如果確定所有像素的處理都已完成)，現實世界1的估計處理結束。
注意使用這樣計算的係數(特徵)wi產生的近似函數f(x)的波形變成例如上述圖73中近似函數f3(x)的波形。
因此，對於一維近似方法，用作一維多項式的近似函數f(x)的特徵在例如與一維X橫截面波形F(x)具有相同形式的波形在連續性方向上連續的假設下計算。因此，對於一維近似方法，近似函數f(x)的特徵可以使用比其他函數近似方法少量的計算處理而計算。
接下來，將參考圖77至圖83描述第二函數近似方法。
也就是說，第二函數近似方法是具有用例如圖77中所示梯度GF表示的空間方向上連續性的現實世界1中光信號看作X-Y平面上(在用作空間方向一個方向的X方向，以及與X方向正交的Y方向上的平面水平上)的波形F(x，y)的方法，並且波形F(x，y)使用用作二維多項式的近似函數f(x，y)近似，從而估計波形F(x，y)。因此，以下，第二函數近似方法稱作二維多項式近似方法。
注意在圖77中，分別地，水平方向表示用作空間方向的一個方向的X方向，右上方向表示用作空間方向的另一個方向的Y方向，以及垂直方向表示光度。GF表示作為空間方向上連續性的梯度。
而且，對於二維多項式近似方法的描述，讓我們假定傳感器2是由布置在其平面上的多個檢測元件2-1構成的CCD，例如圖78中所示。
對於圖78中的實例，平行於檢測元件2-1的預先確定邊的方向取作用作空間方向的一個方向的X方向，並且與X方向正交的方向取作用作空間方向的另一個方向的Y方向。與X-Y平面正交的方向取作用作時間方向的t方向。
而且，對於圖78中的實例，傳感器2的每個檢測元件2-1的空間形狀取作一邊長度為1的正方形。傳感器2的快門時間(曝光時間)取作1。
此外，對於圖78中的實例，傳感器2的某個檢測元件2-1的中心取作空間方向(X方向和Y方向)上的原點(X方向上位置為x＝0，且Y方向上位置為y＝0)，而且曝光時間的中間時間點取作時間方向(t方向)上的原點(t方向上位置為t＝0)。
在該情況下，其中心在空間方向上原點(x＝0，y＝0)的檢測元件2-1使得光信號函數F(x，y，t)經歷X方向上-0.5～0.5的範圍，Y方向上-0.5～0.5的範圍，以及t方向上-0.5～0.5的範圍的積分，並且輸出積分值作為像素值P。
也就是說，從其中心位於空間方向上原點的檢測元件2-1輸出的像素值P用下面的表達式(61)表示。
P=-0.5+0.5-0.5+0.5-0.5+0.5F(x,y,t)dxdydt---(61)]]>類似地，其他檢測元件2-1通過將待處理檢測元件2-1的中心取作空間方向上的原點來輸出表達式(61)中所示的像素值P。
順便提及，如上所述，二維多項式近似方法是現實世界1中的光信號作為例如圖77中所示波形F(x，y)處理，並且二維波形F(x，y)使用用作二維多項式的近似函數f(x，y)近似的方法。
首先，將描述用二維多項式表示這種近似函數f(x，y)的方法。
如上所述，現實世界1中的光信號用其變量為三維空間x，y和z上的位置以及時間點t的光信號函數F(x，y，t)表示。該光信號函數F(x，y，t)，即在Y方向上任意位置y處投影在X方向上的一維波形這裡稱作X橫截面波形F(x)。
當注意該X橫截面波形F(x)時，如果現實世界1中的信號具有在空間方向中某一方向上的連續性，可以設想與X橫截面波形F(x)具有相同形式的波形在連續性方向上連續。例如，對於圖77中的實例，與X橫截面波形F(x)具有相同形式的波形在梯度GF的方向上連續。換句話說，可以說波形F(x，y)由與在梯度GF方向上連續的X橫截面波形F(x)具有相同形式的波形形成。
因此，近似函數f(x，y)可以通過考慮近似波形F(x，y)的近似函數f(x，y)的波形由與近似連續的X橫截面F(x)的近似函數f(x)具有相同形式的波形形成，而用二維多項式表示。
將更詳細地描述近似函數f(x，y)的表示方法。
例如，讓我們假定例如上述圖77中所示現實世界1中的光信號，也就是具有用梯度GF表示的空間方向上連續性的光信號由傳感器2檢測(圖78)，並且輸出作為輸入圖像(像素值)。
此外，讓我們假定如圖79中所示，數據連續性檢測單元101(圖3)使得由該輸入圖像的X方向上4個像素以及Y方向上5個像素總共20個像素(在附圖中，用虛線表示的20個正方形)構成的輸入圖像區域2401經歷其處理，並且輸出角度θ(用與梯度GF相對應的梯度Gf表示的數據連續性方向，與X方向之間產生的角度θ)作為數據連續性信息之一。
注意，對於輸入圖像區域2401，附圖中水平方向表示用作空間方向中一個方向的X方向，並且附圖中垂直方向表示用作空間方向中另一個方向的Y方向。
而且，在圖79中，(x，y)坐標系被設置，使得從左起第二像素以及從底部起第三像素中的像素取作關注像素，並且關注像素的中心取作原點(0，0)。在X方向上關於經過原點(0，0)具有角度θ的直線(具有表示數據連續性方向的梯度Gf的直線)的相對距離(以下，稱作橫截面方向距離)描述為x′。
此外，在圖79中，右側的曲線圖是X橫截面波形F(x′)被近似的函數，其表示用作n維(n是任意整數)多項式的近似函數f(x′)。右側上曲線圖的軸中，附圖中水平方向上的軸表示橫截面方向距離，而附圖中垂直方向上的軸表示像素值。
在該情況下，圖79中所示近似函數f(x′)是n維多項式，所以表示為下面的表達式(62)。
f(x)=w0+w1x+w2x2++wnxn=i=0nwixi---(62)]]>而且，因為角度θ確定，經過原點(0，0)具有角度θ的直線唯一確定，並且在Y方向上任意位置y處直線的X方向上的位置xl表示為下面的表達式(63)。但是，在表達式(63)中，s代表cotθ(＝1/tanθ)。
xl＝s×y …(63)也就是說，如圖79中所示，與用梯度Gf表示的數據連續性相對應的直線上的點用坐標值(xl，y)表示。
橫截面方向距離x′使用表達式(63)表示為下面的表達式(64)。
x′＝x-xl＝x-s×y …(64)因此，輸入圖像區域2401中任意位置(x，y)處的近似函數f(x，y)使用表達式(62)和表達式(64)表示為下面的表達式(65)。
f(x,y)=i=0nwi(x-sy)i---(65)]]>注意在表達式(65)中，wi表示近似函數f(x，y)的係數。注意，包括近似函數f(x，y)的近似函數f的係數wi可以作為近似函數f的特徵來估計。因此，近似函數f的係數wi也稱作近似函數f的特徵wi。
因此，具有二維波形的近似函數f(x，y)可以表示為表達式(65)的多項式，只要角度θ已知。
因此，如果現實世界估計單元102可以計算表達式(65)的特徵wi，現實世界估計單元102可以估計例如圖77中所示的波形F(x，y)。
因此，以下，將描述計算表達式(65)的特徵wi的方法。
也就是說，當用表達式(65)表示的近似函數f(x，y)經歷關於與像素(傳感器2的檢測元件2-1(圖78))相對應的積分範圍(空間方向上的積分範圍)的積分時，積分值變成關於像素的像素值的估計值。下面的表達式(66)是用公式表示。注意對於二維多項式近似方法，時間方向t看作恆定值，所以表達式(66)看作其變量為空間方向(X方向和Y方向)上位置x和y的公式。
P(x,y)=y-0.5y+0.5x-0.5x+0.5i=0nwi(x-sy)idxdy+e---(66)]]>在表達式(66)中，P(x，y)表示其中心位置在來自傳感器2的輸入圖像的位置(x，y)(距離關注像素的相對位置(x，y))中的像素的像素值。同樣，e表示誤差限度。
因此，對於二維多項式近似方法，輸入像素值P(x，y)與用作二維多項式的近似函數f(x，y)之間的關係可以用表達式(66)表示，因此，現實世界估計單元102可以通過使用表達式(66)用例如最小二乘法等計算特徵wi(通過將計算的特徵wi代入表達式(64)而產生近似函數f(x，y))來估計二維函數F(x，y)(波形F(x，y)，其中具有用梯度GF(圖77)表示的空間方向上連續性的現實世界1中光信號關注空間方向來表示)。
圖80表示使用這種二維多項式近似方法的現實世界估計單元102的構造實例。
如圖80中所示，現實世界估計單元102包括條件設置單元2421，輸入圖像存儲單元2422，輸入像素值獲取單元2423，積分分量計算單元2424，正則方程生成單元2425，以及近似函數生成單元2426。
條件設置單元2421設置用於估計對應於關注像素的函數F(x，y)的像素範圍(分接範圍)，以及近似函數f(x，y)的維度數目n。
輸入圖像存儲單元2422臨時地存儲來自傳感器2的輸入圖像(像素值)。
輸入像素值獲取單元2423從輸入圖像存儲單元2422中存儲的輸入圖像中，獲取與由條件設置單元2421設置的分接範圍相對應的輸入圖像區域，並且將其作為輸入像素值表提供給正則方程生成單元2425。也就是說，輸入像素值表是描述包括在輸入圖像區域中的像素的各個像素值的表。注意，輸入像素值表的具體實例將隨後描述。
順便提及，如上所述，使用二維近似方法的現實世界估計單元102通過使用最小二乘法求解上面表達式(66)來計算用上面表達式(65)表示的近似函數f(x，y)的特徵wi。
表達式(66)可以通過使用由下面表達式(67)～(69)獲得的下面表達式(70)表示為下面的表達式(71)。
xidx=xi+1i+1---(67)]]>(x-sy)idx=(x-sy)i+1(i+1)---(68)]]>(x-sy)idy=(x-sy)i+1s(i+1)---(69)]]>y-0.5y+0.5x-0.5x+0.5(x-sy)idxdy=y-0.5y+0.5[(x-sy)i+1(i+1)]x-0.5x+0.5dy]]>=y-0.5y+0.5(x+0.5-sy)i+1(x-0.5-sy)i+1i+1dy]]>=[(x+0.5-sy)i+2s(i+1)(i+2)]y-0.5y+0.5-[(x-0.5-sy)i+2s(i+1)(i+2)]y-0.5y+0.5]]>=(x+0.5-sy+0.5s)i+2-(x+0.5-sy-0.5s)i+2-(x-0.5-sy+0.5s)i+2+(x-0.5-sy-0.5s)i+2s(i+1)(i+2)---(70)]]>P(x,y)=i=0nwis(i+1)(i+2){(x+0.5-sy+0.5s)i+2]]>-(x+0.5=sy-0.5s)i+2-(x-0.5-sy+0.5s)i+2]]>+(x-0.5-sy-0.5s)i+2}+e]]>=i=0nwisi(x-0.5,x+0.5,y-0.5,y+0.5)+e---(71)]]>在表達式(71)中，Si(x-0.5，x+0.5，y-0.5，y+0.5)表示i維項的積分分量。也就是說，積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)如下面表達式(72)中所示。
si(x-0.5，x+0.5，y-0.5，y+0.5)＝(x+0.5-sy+0.5s)i+2-(x+0.5-sy-0.5s)i+2-(x-0.5-sy+0.5s)i+2+(x-0.5-sy-0.5s)i+2s(i+1)(i+2)---(72)]]>
積分分量計算單元2424計算積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。
特別地，表達式(72)中所示的積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)可以計算，只要相對像素位置(x，y)，上面表達式(65)中i維項的變量s和i已知。當然，分別地，相對像素位置(x，y)由關注像素和分接範圍確定，變量s是由角度θ確定的cotθ，並且i的範圍由維度數目n確定。
因此，積分分量計算單元2424基於由條件設置單元2421設置的分接範圍和維度數目，以及從數據連續性檢測單元101輸出的數據連續性信息的角度θ來計算積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)，並且將計算結果作為積分分量表提供給正則方程生成單元2425。
正則方程生成單元2425產生正則方程，在使用從輸入像素值獲取單元2423提供的輸入像素值表，以及從積分分量計算單元2424提供的積分分量表，用最小二乘法獲得上面表達式(66)，也就是表達式(71)的情況下，並且將其作為正則方程表輸出到近似函數生成單元2426。注意正則方程的具體實例將隨後描述。
近似函數生成單元2426通過使用矩陣解法求解包括在從正則方程生成單元2425提供的正則方程表中的正則方程，來計算上面表達式(66)的各個特徵wi(也就是用作二維多項式的近似函數f(x，y)的係數wi)，並且將這些輸出到圖像生成單元103。
接下來，將參考圖81中的流程圖描述應用二維多項式近似方法的現實世界估計處理(圖29的步驟S102中的處理)。
例如，讓我們假定具有用梯度GF表示的空間方向上連續性的現實世界1中光信號已經由傳感器2檢測(圖78)，並且已經作為與一幀相對應的輸入圖像存儲在輸入圖像存儲單元2422中。而且，讓我們假定數據連續性檢測單元101已經使得輸入圖像中上述圖79中所示的區域2401經歷步驟S101(圖29)的連續性檢測處理中的處理，並且已經輸出角度θ作為數據連續性信息。
在該情況下，在步驟S2401中，條件設置單元2421設置條件(分接範圍和維度數目)。
例如，讓我們假定圖82中所示的分接範圍2441已經設置，並且5已經設置為維度數目。
圖82是描述分接範圍實例的圖。在圖82中，X方向和Y方向代表傳感器2的X方向和Y方向(圖78)。而且，分接範圍2441表示由X方向上4個像素以及Y方向上5個像素總共20個像素(附圖中20個正方形)構成的像素組。
此外，如圖82中所示，讓我們假定關注像素已經設置為分接範圍2441中附圖中從左起第二像素以及從底部起第三像素的像素。而且，讓我們假定每個像素根據距離關注像素的相對像素位置(x，y)(關注像素坐標系的坐標值，其中關注像素的中心(0，0)取作原點)例如圖82中所示用數字l表示(l是0～19的任意整數值)。
現在，描述將返回圖81，其中在步驟S2402中，條件設置單元2421設置關注像素。
在步驟S2403中，輸入像素值獲取單元2423基於由條件設置單元2421設置的條件(分接範圍)獲取輸入像素值，並且產生輸入像素值表。也就是說，在該情況下，輸入像素值獲取單元2423獲取輸入圖像區域2401(圖79)，產生由20個輸入像素值P(l)構成的表作為輸入像素值表。
注意在該情況下，輸入像素值P(l)與上面輸入像素值P(x，y)之間的關係是下面表達式(73)中所示的關係。但是，在表達式(73)中，左側表示輸入像素值P(l)，而右側表示輸入像素值P(x，y)。
P(0)＝P(0，0)P(1)＝P(-1，2)P(2)＝P(0，2)P(3)＝P(1，2)P(4)＝P(2，2)P(5)＝P(-1，1)P(6)＝P(0，1)P(7)＝P(1，1)
P(8)＝P(2，1)P(9)＝P(-1，0)P(10)＝P(1，0)P(11)＝P(2，0)P(12)＝P(-1，-1)P(13)＝P(0，-1)P(14)＝P(1，-1)P(15)＝P(2，-1)P(16)＝P(-1，-2)P(17)＝P(0，-2)P(18)＝P(1，-2)P(19)＝P(2，-2)…(73)在步驟S2404中，積分分量計算單元2424基於由條件設置單元2421設置的條件(分接範圍和維度數目)，以及從數據連續性檢測單元101提供的數據連續性信息(角度θ)計算積分分量，並且產生積分分量表。
在該情況下，如上所述，輸入像素值不是P(x，y)而是P(l)，並且作為像素編號l的值而獲得，所以積分分量計算單元2424將上面表達式(72)中的積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)計算為l的函數，例如下面表達式(74)左側中所示的積分分量Si(l)。
Si(l)＝Si(x-0.5，x+0.5，y-0.5，y+0.5) …(74)特別地，在該情況下，下面表達式(75)中所示的積分分量Si(l)被計算。
Si(0)＝Si(-0.5，0.5，-0.5，0.5)Si(1)＝Si(-1.5，-0.5，1.5，2.5)Si(2)＝Si(-0.5，0.5，1.5，2.5)Si(3)＝Si(0.5，1.5，1.5，2.5)Si(4)＝Si(1.5，2.5，1.5，2.5)Si(5)＝Si(-1.5，-0.5，0.5，1.5)
Si(6)＝Si(-0.5，0.5，0.5，1.5)Si(7)＝Si(0.5，1.5，0.5，1.5)Si(8)＝Sj(1.5，2.5，0.5，1.5)Si(9)＝Si(-1.5，-0.5，-0.5，0.5)Si(10)＝Si(0.5，1.5，-0.5，0.5)Si(11)＝Si(1.5，2.5，-0.5，0.5)Si(12)＝Si(-1.5，-0.5，-1.5，-0.5)Si(13)＝Si(-0.5，0.5，-1.5，-0.5)Si(14)＝Si(0.5，1.5，-1.5，-0.5)Si(15)＝Si(1.5，2.5，-1.5，-0.5)Si(16)＝Si(-1.5，-0.5，-2.5，-1.5)Si(17)＝Si(-0.5，0.5，-2.5，-1.5)Si(18)＝Si(0.5，1.5，-2.5，-1.5)Si(19)＝Si(1.5，2.5，-2.5，-1.5) …(75)注意在表達式(75)中，左側表示積分分量Si(l)，而右側表示積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。也就是說，在該情況下，i是0～5，因此20個S0(l)，20個S1(l)，20個S2(l)，20個S3(l)，20個S4(l)以及20個S5(l)總共120個Si(l)被計算。
更具體地說，首先積分分量計算單元2424計算與從數據連續性檢測單元101提供的角度θ相對應的cotθ，並取計算結果作為變量s。接下來，積分分量計算單元2424使用計算的變量s關於i＝0～5的每個計算表達式(74)右側中顯示的20個積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的每個。也就是說，計算120個積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。注意對於積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的該計算，使用上面表達式(72)。隨後，積分分量計算單元2424根據表達式(75)將計算的120個積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的每個轉換成相應的積分分量Si(l)，並且產生包括轉換後的120個積分分量Si(l)的積分分量表。
注意，步驟S2403中的處理和步驟S2404中的處理的順序並不局限於圖81中的實例，步驟S2404中的處理可以首先執行，或者步驟S2403中的處理和步驟S2404中的處理可以同時執行。
接下來，在步驟S2405中，正則方程生成單元2425基於在步驟S2403的處理中由輸入像素值獲取單元2423產生的輸入像素值表，以及在步驟S2404的處理中由積分分量計算單元2424產生的積分分量表來產生正則方程表。
特別地，在該情況下，特徵wi使用上面表達式(71)用最小二乘法計算(但是，在表達式(70)中，使用積分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)使用表達式(74)轉換成的Si(l))，所以與此對應的正則方程表示為下面的表達式(76)。
注意在表達式(76)中，L表示分接範圍中像素編號l的最大值。n表示用作多項式的近似函數f(x)的維度數目。特別地，在該實例中，n＝5且L＝19。
如果我們將表達式(76)中所示的正則方程的每個矩陣定義為下面的表達式(77)～(79)，正則方程表示為下面的表達式(80)。
WMAT=w0w1wn---(78)]]>
PMAT=l=0LS0(l)P(l)l=0LS1(l)P(l)l=0LSn(l)P(l)---(79)]]>SMATWMAT＝PMAT…(80)如表達式(78)中所示，矩陣WMAT的各個分量是待獲得的特徵wi。因此，在表達式(80)中，如果左側的矩陣SMAT和右側的矩陣PMAT被確定，矩陣WMAT可以使用矩陣解法計算。
特別地，如表達式(77)中所示，矩陣SMAT的各個分量可以使用上面的積分分量Si(l)計算。也就是說，積分分量Si(l)包括在從積分分量計算單元2424提供的積分分量表中，所以正則方程生成單元2425可以使用積分分量表計算矩陣SMAT的每個分量。
而且，如表達式(79)中所示，矩陣PMAT的各個分量可以使用積分分量Si(l)和輸入像素值P(l)計算。也就是說，積分分量Si(l)與包括在矩陣SMAT的各個分量中的那些相同，並且輸入像素值P(l)包括在從輸入像素值獲取單元2423提供的輸入像素值表中，所以正則方程生成單元2425可以使用積分分量表和輸入像素值表計算矩陣PMAT的每個分量。
因此，正則方程生成單元2425計算矩陣SMAT和矩陣PMAT的每個分量，並且將計算結果(矩陣SMAT和矩陣PMAT的每個分量)作為正則方程表輸出到近似函數生成單元2426。
當正則方程表從正則方程生成單元2425輸出時，在步驟S2406中，近似函數生成單元2426基於正則方程表計算用作上面表達式(80)中矩陣WMAT的各個分量的特徵wi(也就是，用作二維多項式的近似函數f(x，y)的係數wi)。
特別地，上面表達式(80)中的正則方程可以轉換為下面的表達式(81)。
WMAT=SMAT-1PMAT---(81)]]>在表達式(81)中，左側矩陣WMAT的各個分量是待獲得的特徵wi。關於矩陣SMAT和矩陣PMAT的各個分量包括在從正則方程生成單元2425提供的正則方程表中。因此，近似函數生成單元2426通過使用正則方程表計算表達式(81)右側中的矩陣來計算矩陣WMAT，並將計算結果(特徵wi)輸出到圖像生成單元103。
在步驟S2407中，近似函數生成單元2426確定是否所有像素的處理都已完成。
在步驟S2407中，如果確定所有像素的處理還沒有完成，處理返回到步驟S2402，其中隨後的處理重複地執行。也就是說，沒有變成關注像素的像素順序地取作關注像素，並且步驟S2402～S2407中的處理重複地執行。
如果所有像素的處理都已完成(在步驟S2407中，如果確定所有像素的處理都已完成)，現實世界1的估計處理結束。
作為二維多項式近似方法的描述，計算與空間方向(X方向和Y方向)相對應的近似函數f(x，y)的係數(特徵)wi的實例已經使用，但是二維多項式近似方法同樣可以應用於時間和空間方向(X方向和t方向，或者Y方向和t方向)。
也就是說，上面的實例是現實世界1中的光信號具有用梯度GF(圖77)表示的空間方向上連續性，因此，公式包括例如上面表達式(66)中所示空間方向(X方向和Y方向)上的二維積分的情況下的實例。但是，關於二維積分的概念不僅可以應用於空間方向，而且可以應用於時間和空間方向(X方向和t方向，或者Y方向和t方向)。
換句話說，對於二維多項式近似方法，即使在需要估計的光信號函數F(x，y，t)不僅具有空間方向上的連續性而且具有時間和空間方向(但是，X方向和t方向，或者Y方向和t方向)上的連續性的情況下，這可以用二維近似函數f近似。
特別地，例如，如果存在以均勻速度在X方向上水平運動的對象，對象運動的方向用例如圖83中所示X-t平面中的梯度VF表示。換句話說，可以說梯度VF表示X-t平面中時間和空間方向上連續性的方向。因此，數據連續性檢測單元101可以輸出例如圖83中所示的運動θ(嚴格地說，雖然附圖中沒有顯示，運動θ是由用與梯度VF相對應的梯度Vf表示的數據連續性的方向與空間方向中X方向產生的角度)作為與表示X-t平面中時間和空間方向上連續性的梯度VF相對應的數據連續性信息，以及上面的角度θ(與用X-Y平面中的梯度GF表示的空間方向上的連續性相對應的數據連續性信息)。
因此，使用二維多項式近似方法的現實世界估計單元102可以通過使用運動θ代替角度0，以與上面方法相同的方法計算近似函數f(x，t)的係數(特徵)wi。但是，在該情況下，待使用的公式不是上面的表達式(66)而是下面的表達式(82)。
P(x,t)=t-0.5t+0.5x-0.5x+0.5i=0nwi(x-st)idxdt+e---(82)]]>注意在表達式(82)中，s是cotθ(但是，θ是運動)。
而且，注意力集中在空間方向Y而不是空間方向X上的近似函數f(y，t)可以與上面近似函數f(x，t)相同的方法處理。
因此，二維多項式近似方法考慮不是一維而是二維積分效應，所以可以比一維近似方法更準確地估計現實世界1中的光信號。
接下來，將參考圖84至圖88描述第三函數近似方法。
也就是說，第三函數近似方法是通過用注意力集中在具有時間和空間方向的預先確定方向上連續性的現實世界1中光信號用例如光信號函數F(x，y，t)表示的近似函數f(x，y，t))近似光信號函數F(x，y，t)，來估計光信號函數F(x，y，t)的方法。因此，以下，第三函數近似方法稱作三維多項式近似方法。
同樣，對於三維函數近似方法的描述，讓我們假定傳感器2是由布置在其平面上的多個檢測元件2-1構成的CCD，例如圖84中所示。
對於圖84中的實例，平行於檢測元件2-1的預先確定邊的方向取作用作空間方向的一個方向的X方向，並且與X方向正交的方向取作用作空間方向的另一個方向的Y方向。與X-Y平面正交的方向取作用作時間方向的t方向。
而且，對於圖84中的實例，傳感器2的各個檢測元件2-1的空間形狀取作一邊長度為1的正方形。傳感器2的快門時間(曝光時間)取作1。
此外，對於圖84中的實例，傳感器2的某個檢測元件2-1的中心取作空間方向(X方向和Y方向)上的原點(X方向上位置為x＝0，且Y方向上位置為y＝0)，而且曝光時間的中間時間點取作時間方向(t方向)上的原點(t方向上位置為t＝0)。
在該情況下，其中心在空間方向上原點(x＝0，y＝0)的檢測元件2-1使得光信號函數F(x，y，t)經歷X方向上-0.5～0.5的範圍，Y方向上-0.5～0.5的範圍，以及t方向上-0.5～0.5的範圍的積分，並且輸出積分值作為像素值P。
也就是說，從其中心位於空間方向上原點中的檢測元件2-1輸出的像素值P用下面的表達式(83)表示。
P=-0.5+0.5-0.5+0.5-0.5+0.5F(x,y,t)dxdydt---(83)]]>類似地，其他檢測元件2-1通過將待處理檢測元件2-1的中心取作空間方向上的原點來輸出表達式(83)中所示的像素值P。
順便提及，如上所述，對於三維函數近似方法，光信號函數F(x，y，t)近似成三維近似函數f(x，y，t)。
特別地，例如，近似函數f(x，y，t)取作具有N個變量(特徵)的函數，與表達式(83)相對應的輸入像素值P(x，y，t)與近似函數f(x，y，t)之間的關係表達式被定義。因此，如果多個N的M個輸入像素值P(x，y，t)被獲取，N個變量(特徵)可以從定義的關係表達式中計算。也就是說，現實世界估計單元102可以通過獲取M個輸入像素值P(x，y，t)並且計算N個變量(特徵)來估計光信號函數F(x，y，t)。
在該情況下，現實世界估計單元102通過使用包括在來自傳感器2的輸入圖像(輸入像素值)中的數據連續性作為約束(也就是，使用將從數據連續性檢測單元101輸出的關於輸入圖像的數據連續性信息)從整個輸入圖像中選取(獲取)M個輸入圖像P(x，y，t)。結果，近似函數f(x，y，t)由數據的連續性所約束。
例如，如圖85中所示，如果與輸入圖像相對應的光信號函數F(x，y，t)具有用梯度GF表示的空間方向上的連續性，數據連續性檢測單元101導致輸出角度θ(用與梯度GF相對應的梯度Gf(沒有顯示)表示的數據連續性方向，與X方向之間產生的角度θ)作為關於輸入圖像的數據連續性信息。
在這種情況下，讓我們假定光信號函數F(x，y，t)投影在X方向上的一維波形(這種波形在這裡稱作X橫截面波形)具有相同的形式，即使在Y方向上任意位置處投影的情況下。
也就是說，讓我們假定存在具有相同形式的X橫截面波形，其是在連續性方向(相對於X方向的角度θ方向)上連續的二維(空間方向)波形，並且這種二維波形在時間方向t上連續的三維波形用近似函數f(x，y，t)近似。
換句話說，在Y方向上從關注像素中心以位置y移位的X橫截面波形，變成經過關注像素中心的X橫截面波形在X方向上以預先確定量(量根據角度θ而變化)運動(移位)的波形。注意以下，這種量稱作移位量。
該移位量可以如下計算。
也就是說，梯度Vf(例如，表示與圖85中梯度VF相對應的數據連續性方向的梯度Vf)和角度θ表示為下面的表達式(84)。
Gf=tan=dydx---(84)]]>注意在表達式(84)中，dx表示X方向上細微運動的量，且dy表示關於dx在Y方向上細微運動的量。
因此，如果關於X方向的移位量描述為Cx(y)，這表示為下面的表達式(85)。
Cx(y)=yGf---(85)]]>如果移位量Cx(y)這樣定義，與表達式(83)相對應的輸入像素值P(x，y，t)與近似函數f(x，y，t)之間的關係表達式表示為下面的表達式(86)。
P(x,y,t)=tsteysyexsxef(x,y,t)dxdydt+e---(86)]]>在表達式(86)中，e表示誤差限度。ts表示t方向上的積分開始位置，且te表示t方向上的積分結束位置。同樣地，ys表示Y方向上的積分開始位置，且ye表示Y方向上的積分結束位置。而且，xs表示X方向上的積分開始位置，且xe表示X方向上的積分結束位置。但是，各自具體積分範圍如下面表達式(87)中所示。
ts＝t-0.5te＝t+0.5ys＝y-0.5ye＝y+0.5xs＝x-Cx(y)-0.5xe＝x-Cx(y)+0.5 …(87)如表達式(87)中所示，可以表示，具有相同形式的X橫截面波形通過在X方向上以移位量Cx(y)關於位置距離關注像素空間方向上的(x，y)的像素移位積分範圍，而在連續性方向(相對於X方向的角度θ方向)上連續。
因此，對於三維近似方法，像素值P(x，y，t)與三維近似函數f(x，y，t)之間的關係可以用表達式(86)表示(表達式(87)為積分範圍)，因此，光信號函數F(x，y，t)(例如，具有用例如圖85中所示梯度VF表示的空間方向上連續性的光信號)可以通過使用表達式(86)和表達式(87)例如用最小二乘法計算近似函數f(x，y，t)的N個特徵來估計。
注意，如果用光信號函數F(x，y，t)表示的光信號具有用例如圖85中所示梯度VF表示的空間方向上的連續性，光信號函數F(x，y，t)可以如下近似。
也就是說，讓我們假定光信號函數F(x，y，t)投影在Y方向上的一維波形(以下，這種波形稱作Y橫截面波形)具有相同的形式，即使在X方向上任意位置處投影的情況下。
換句話說，讓我們假定存在具有相同形式的Y橫截面波形在連續性方向(相對於X方向的角度θ方向)上連續的二維(空間方向)波形，並且這種二維波形在時間方向t上連續的三維波形用近似函數f(x，y，t)近似。
因此，在X方向上從關注像素中心移位x的Y橫截面波形，變成經過關注像素中心的Y橫截面波形在Y方向上以預先確定移位量(移位量根據角度θ而變化)運動的波形。
該移位量可以如下計算。
也就是說，梯度GF表示為上面表達式(84)，所以如果關於Y方向的移位量描述為Cy(x)，這表示為下面的表達式(88)。
Cy(x)＝Gf×x …(88)如果移位量Cy(x)這樣定義，與表達式(83)相對應的輸入像素值P(x，y，t)與近似函數f(x，y，t)之間的關係表達式表示為上面的表達式(86)，與當移位量Cx(y)被定義時一樣。
但是，在該情況下，各自具體積分範圍如下面表達式(89)中所示。
ts＝t-0.5te＝t+0.5ys＝y-Cy(x)-0.5ye＝y-Cy(x)+0.5xs＝x-0.5xe＝x+0.5 …(89)如表達式(89)(以及上面表達式(86))中所示，可以表示，具有相同形式的Y橫截面波形通過在Y方向上以移位量Cy(x)關於位置距離關注像素(x，y)的像素移位積分範圍，而在連續性方向(相對於X方向的角度θ方向)上連續。
因此，對於三維近似方法，表達式(86)右側的積分範圍不僅可以設置為表達式(87)而且可以設置為表達式(89)，因此，光信號函數F(x，y，t)(具有用梯度GF表示的空間方向上連續性的現實世界1中的光信號)可以通過使用表達式(89)用作積分範圍的表達式(86)，用例如最小二乘法等計算近似函數f(x，y，t)的n個特徵來估計。
因此，表示積分範圍的表達式(87)和表達式(89)基本上表示得相同，差別僅在於周圍像素響應連續性方向在X方向上移位(表達式(87)的情況下)還是在Y方向上移位(表達式(89)的情況下)。
但是，響應連續性方向(梯度GF)，存在關於光信號函數F(x，y，t)看作一組X橫截面波形，還是看作一組Y橫截面波形的差別。也就是說，如果連續性方向接近Y方向，光信號函數F(x，y，t)優選地看作一組X橫截面波形。另一方面，如果連續性方向接近X方向，光信號函數F(x，y，t)優選地看作一組Y橫截面波形。
因此，優選地，現實世界估計單元102準備表達式(87)和表達式(89)作為積分範圍，並且響應連續性方向選擇表達式(87)和表達式(89)中任何一個作為適當表達式(86)右側的積分範圍。
已經描述了在光信號函數F(x，y，t)具有空間方向(X方向和Y方向)上連續性(例如，圖85中用梯度GF表示的空間方向上的連續性)的情況下的三維近似方法，但是三維近似方法可以應用於光信號函數F(x，y，t)具有時間和空間方向(X方向、Y方向和t方向)上連續性(用梯度VF表示的連續性)的情況，如圖86中所示。
也就是說，在圖86中，與幀#N-1相對應的光信號函數取作F(x，y，#N-1)，與幀#N相對應的光信號函數取作F(x，y，#N)，以及與幀#N+1相對應的光信號函數取作F(x，y，#N+1)。
注意在圖86中，附圖中水平方向取作用作空間方向的一個方向的X方向，右上對角方向取作用作空間方向的另一個方向的Y方向，並且垂直方向取作用作時間方向的t方向。
而且，幀#N-1是時間上在幀#N之前的幀，幀#N+1是時間上在幀#N之後的幀。也就是說，幀#N-1，幀#N，和幀#N+1以幀#N-1，幀#N和幀#N+1的順序顯示。
對於圖86中的實例，沿著梯度VF所示的方向(從附圖中接近左下側的右上內部方向)的橫截面光度看作通常恆定。因此，對於圖86中的實例，可以說光信號函數F(x，y，t)具有用梯度VF表示的時間和空間方向上的連續性。
在該情況下，如果表示時間和空間方向上連續性的函數C(x，y，t)被定義，並且上面表達式(86)的積分範圍用定義的函數C(x，y，t)定義，近似函數f(x，y，t)的N個特徵可以計算，與上面表達式(87)和表達式(89)一樣。
函數C(x，y，t)並不局限於特定函數，只要它是表示連續性方向的函數。但是，以下，讓我們假定使用線性連續性，並且與作為表示上述空間方向上連續性的函數的移位量Cx(y)(表達式(85))和移位量Cy(x)(表達式(87))相對應的Cx(t)和Cy(t)，如下定義為與此對應的函數C(x，y，t)。
也就是說，如果作為與表示上面空間方向上數據連續性的梯度Gf相對應的時間和空間方向上數據連續性的梯度取作Vf，並且如果該梯度Vf劃分成X方向上的梯度(以下，稱作Vfx)和Y方向上的梯度(以下，稱作Vfy)，則分別地，梯度Vfx用下面表達式(90)表示，而梯度Vfy用下面表達式(91)表示。
Vfx=dxdt---(90)]]>Vfy=dydt---(91)]]>在該情況下，函數Cx(t)使用表達式(90)中所示的梯度Vfx表示為下面的表達式(92)。
Cx(t)＝Vfx×t …(92)類似地，函數Cy(t)使用表達式(91)中所示的梯度Vfy表示為下面的表達式(93)。
Cy(t)＝Vfy×t …(93)這樣，當表示時間和空間方向上連續性2511的函數Cx(t)和函數Cy(t)被定義時，表達式(86)的積分範圍表示為下面的表達式(94)。
ts＝t-0.5te＝t+0.5
ys＝y-Cy(t)-0.5ye＝y-Cy(t)+0.5xs＝x-Cx(t)-0.5xe＝x-Cx(t)+0.5 …(94)因此，對於三維近似方法，像素值P(x，y，t)與三維近似函數f(x，y，t)之間的關係可以用表達式(86)表示，因此，光信號函數F(x，y，t)(具有時間和空間方向的預先確定方向上連續性的現實世界1中光信號)可以通過使用表達式(94)作為表達式(86)右側的積分範圍，用例如最小二乘法等計算近似函數f(x，y，t)的n+1個特徵來估計。
圖87表示使用這種三維近似方法的現實世界估計單元102的構造實例。
注意，由使用三維近似方法的現實世界估計單元102計算的近似函數f(x，y，t)(實際上，其特徵(係數))並不局限於特定函數，但是n(n＝N-1)維多項式在下面的描述中使用。
如圖87中所示，現實世界估計單元102包括條件設置單元2521，輸入圖像存儲單元2522，輸入像素值獲取單元2523，積分分量計算單元2524，正則方程生成單元2525，以及近似函數生成單元2526。
條件設置單元2521設置用於估計對應於關注像素的光信號函數F(x，y，t)的像素範圍(分接範圍)，以及近似函數f(x，y，t)的維度數目n。
輸入圖像存儲單元2522臨時地存儲來自傳感器2的輸入圖像(像素值)。
輸入像素值獲取單元2523從輸入圖像存儲單元2522中存儲的輸入圖像中，獲取與由條件設置單元2521設置的分接範圍相對應的輸入圖像區域，並且將其作為輸入像素值表提供給正則方程生成單元2525。也就是說，輸入像素值表是描述包括在輸入圖像區域中的像素的各個像素值的表。
順便提及，如上所述，使用三維近似方法的現實世界估計單元102使用上面表達式(86)(但是，表達式(87)、表達式(90)或表達式(94)作為積分範圍)用最小二乘法計算近似函數f(x，y，t)的N個特徵(在該情況下，每個維度的係數)。
表達式(86)的右側可以通過計算其積分表示為下面的表達式(95)。
P(x,y,t)=i=0nwiSi(xs,xe,ys,ye,ts,te)+e---(95)]]>在表達式(95)中，wi表示i維項的係數(特徵)，並且Si(xs，xe，ys，ye，ts，te)表示i維項的積分分量。但是，分別地，xs表示X方向上的積分範圍開始位置，xe表示X方向上的積分範圍結束位置，ys表示Y方向上的積分範圍開始位置，ye表示Y方向上的積分範圍結束位置，ts表示t方向上的積分範圍開始位置，te表示t方向上的積分範圍結束位置。
積分分量計算單元2524計算積分分量Si(xs，xe，ys，ye，ts，te)。
也就是說，積分分量計算單元2524基於由條件設置單元2521設置的分接範圍和維度數目，以及從數據連續性檢測單元101輸出的數據連續性信息的角度或運動(作為積分範圍，在使用上面表達式(87)或表達式(90)的情況下角度，在使用上面表達式(94)的情況下運動)來計算積分分量Si(xs，xe，ys，ye，ts，te)，並且將計算結果作為積分分量表提供給正則方程生成單元2525。
正則方程生成單元2525產生正則方程，在使用從輸入像素值獲取單元2523提供的輸入像素值表，以及從積分分量計算單元2524提供的積分分量表，用最小二乘法獲得上面表達式(95)的情況下，並且將其作為正則方程表輸出到近似函數生成單元2526。正則方程的實例將隨後描述。
近似函數生成單元2526通過使用矩陣解法求解包括在從正則方程生成單元2525提供的正則方程表中的正則方程，來計算各個特徵wi(在該情況下，用作三維多項式的近似函數f(x，y，t)的係數wi)，並且將這些輸出到圖像生成單元103。
接下來，將參考圖88中的流程圖描述應用三維近似方法的現實世界估計處理(圖29的步驟S102中的處理)。
首先，在步驟S2501中，條件設置單元2521設置條件(分接範圍和維度數目)。
例如，讓我們假定由L個像素構成的分接範圍已經設置。並且，讓我們假定預先確定的編號l(l是整數值0～L-1的任意一個)附加到每個像素。
接下來，在步驟S2502中，條件設置單元2521設置關注像素。
在步驟S2503中，輸入像素值獲取單元2523基於由條件設置單元2521設置的條件(分接範圍)獲取輸入像素值，並且產生輸入像素值表。在該情況下，由L個輸入像素值P(x，y，t)構成的表產生。這裡，讓我們假定L個輸入像素值P(x，y，t)的每個描述為用作其像素編號l的函數的P(l)。也就是說，輸入像素值表變成包括L個P(l)的表。
在步驟S2504中，積分分量計算單元2524基於由條件設置單元2521設置的條件(分接範圍和維度數目)，以及從數據連續性檢測單元101提供的數據連續性信息(角度或運動)計算積分分量，並且產生積分分量表。
但是，在該情況下，如上所述，輸入像素值不是P(x，y，t)而是P(l)，並且作為像素編號l的值而獲得，所以積分分量計算單元2524導致將上面表達式(95)中的積分分量Si(xs，xe，ys，ye，ts，te)計算為l的函數，例如積分分量Si(l)。也就是說，積分分量表變成包括L×i個Si(l)的表。
注意步驟S2503中的處理和步驟S2504中的處理的順序並不局限於圖88中的實例，所以步驟S2504中的處理可以首先執行，或者步驟S2503中的處理和步驟S2504中的處理可以同時執行。
接下來，在步驟S2505中，正則方程生成單元2525基於在步驟S2503的處理中由輸入像素值獲取單元2523產生的輸入像素值表，以及在步驟S2504的處理中由積分分量計算單元2524產生的積分分量表來產生正則方程表。
特別地，在該情況下，與上面表達式(95)相對應的下面表達式(96)的特徵wi使用最小二乘法計算。與此對應的正則方程表示為下面的表達式(97)。
P(l)=i=0nwiSi(l)+e---(96)]]>
如果我們將表達式(97)中所示的正則方程的每個矩陣定義為下面的表達式(98)～(100)，正則方程表示為下面的表達式(101)。
WMAT=w0w1wn---(99)]]>PMAT=l=0LS0(l)P(l)l=0LS1(l)P(l)l=0LSn(l)P(l)---(100)]]>SMATWMAT＝PMAT…(101)如表達式(99)中所示，矩陣WMAT的各個分量是待獲得的特徵wi。因此，在表達式(101)中，如果左側的矩陣SMAT和右側的矩陣PMAT被確定，矩陣WMAT(也就是特徵wi)可以使用矩陣解法計算。
特別地，如表達式(98)中所示，矩陣SMAT的各個分量可以計算，只要上面的積分分量Si(l)已知。積分分量Si(l)包括在從積分分量計算單元2524提供的積分分量表中，所以正則方程生成單元2525可以使用積分分量表計算矩陣SMAT的每個分量。
而且，如表達式(100)中所示，矩陣PMAT的各個分量可以計算，只要積分分量Si(l)和輸入像素值P(l)已知。積分分量Si(l)與包括在矩陣SMAT的各個分量中的那些相同，並且輸入像素值P(l)包括在從輸入像素值獲取單元2523提供的輸入像素值表中，所以正則方程生成單元2525可以使用積分分量表和輸入像素值表計算矩陣PMAT的每個分量。
因此，正則方程生成單元2525計算矩陣SMAT和矩陣PMAT的每個分量，並且將計算結果(矩陣SMAT和矩陣PMAT的每個分量)作為正則方程表輸出到近似函數生成單元2526。
當正則方程表從正則方程生成單元2525輸出時，在步驟S2506中，近似函數生成單元2526基於正則方程表計算用作上面表達式(101)中矩陣WMAT的各個分量的特徵wi(也就是，近似函數F(x，y，t)的係數wi)。
特別地，上面表達式(101)中的正則方程可以轉換為下面的表達式(102)。
WMAT=SMAT-1PMAT---(102)]]>在表達式(102)中，左側矩陣WMAT的各個分量是待獲得的特徵wi。關於矩陣SMAT和矩陣PMAT的各個分量包括在從正則方程生成單元2525提供的正則方程表中。因此，近似函數生成單元2526通過使用正則方程表計算表達式(102)右側中的矩陣來計算矩陣WMAT，並且將計算結果(特徵wi)輸出到圖像生成單元103。
在步驟S2507中，近似函數生成單元2526確定是否所有像素的處理都已完成。
在步驟S2507中，如果確定所有像素的處理還沒有完成，處理返回到步驟S2502，其中隨後的處理重複地執行。也就是說，沒有變成關注像素的像素順序地取作關注像素，並且步驟S2502～S2507中的處理重複地執行。
如果所有像素的處理都已完成(在步驟S2507中，如果確定所有像素的處理都已完成)，現實世界1的估計處理結束。
如上所述，三維近似方法考慮時間和空間方向上的三維積分效應，而不是一維或二維積分效應，因此，可以比一維近似方法和二維多項式近似方法更準確地估計現實世界1中的光信號。
接下來，將參考圖89至圖110描述圖像生成單元103(圖3)的實施方案。
圖89是描述本實施方案原理的圖。
如圖89中所示，本實施方案基於現實世界估計單元102使用函數近似方法的條件。也就是說，讓我們假定用作投射到傳感器2中圖像的現實世界1中的信號(光強分布)用預先確定的函數F表示，假設現實世界估計單元102通過用使用從傳感器2輸出的輸入圖像(像素值P)以及從數據連續性檢測單元101輸出的數據連續性信息的預先確定函數f近似函數F來估計函數F。
注意以下，對於本實施方案的描述，用作圖像的現實世界1中的信號特別地稱作光信號，並且函數F特別地稱作光信號函數F。而且，函數f特別地稱作近似函數f。
對於本實施方案，圖像生成單元103關於使用從數據連續性檢測單元101輸出的數據連續性信息，以及基於這種假設從現實世界估計單元102輸出的現實世界估計信息(在圖89中的實例中，近似函數f的特徵或者其特徵被識別的近似函數f)的預先確定時間-空間範圍積分近似函數f，並且輸出積分值作為輸出像素值M(輸出圖像)。注意對於本實施方案，輸入像素值描述為P，而輸出像素值描述為M以便區分輸入圖像像素和輸出圖像像素。
換句話說，當光信號函數F一旦被積分時，光信號函數F變成輸入像素值P，光信號函數F從輸入像素值P中估計(用近似函數f近似)，估計的光信號函數F(也就是，近似函數f)再次積分，並且產生輸出像素值M。因此，以下，由圖像生成單元103執行的近似函數f的積分稱作再積分。而且，本實施方案稱作再積分方法。
注意如隨後描述的，對於再積分方法，產生輸出像素值M的情況下近似函數f的積分範圍並不局限於產生輸入像素值P的情況下光信號函數F的積分範圍(也就是，對於空間方向為傳感器2的檢測元件的垂直寬度和水平寬度，對於時間方向為傳感器2的曝光時間)，任意積分範圍可以使用。
例如，在產生輸出像素值M的情況下，改變近似函數f的積分範圍的空間方向上積分範圍使得根據其積分範圍的輸出圖像的像素間距改變。也就是說，空間解析度的創建可用。
同樣地，例如，在產生輸出像素值M的情況下，改變近似函數f的積分範圍的時間方向上積分範圍引起時間解析度的創建。
以下，將參考附圖分別描述這種再積分方法的三種具體方法。
也就是說，三種具體方法是分別與函數近似方法的三種具體方法(現實世界估計單元102的實施方案的上面三種具體實例)相對應的再積分方法。
特別地，第一方法是與上面一維近似方法(函數近似方法的一種方法)相對應的再積分方法。因此，對於第一方法，執行一維再積分，所以以下，這種再積分方法稱作一維再積分方法。
第二方法是與上面二維多項式近似方法(函數近似方法的一種方法)相對應的再積分方法。因此，對於第二方法，執行二維再積分，所以以下，這種再積分方法稱作二維再積分方法。
第三方法是與上面三維近似方法(函數近似方法的一種方法)相對應的再積分方法。因此，對於第三方法，執行三維再積分，所以以下，這種再積分方法稱作三維再積分方法。
以下，將以該順序描述一維再積分方法、二維再積分方法和三維再積分方法的每個細節。
首先，將描述一維再積分方法。
對於一維再積分方法，假設近似函數f(x)使用一維近似方法產生。
也就是說，假設其變量為三維空間上的位置x，y和z，以及時間點t的光信號函數F(x，y，t)投影在用作空間方向的X方向、Y方向和Z方向以及用作時間方向的t方向的預先確定方向(例如X方向)上的一維波形(對於再積分方法的描述，在這種波形的X方向上投影的波形稱作X橫截面波形F(x))，使用用作n維(n是任意整數)多項式的近似函數f(x)近似。
在該情況下，對於一維再積分方法，輸出像素值M例如下面的表達式(103)計算。
M=Gexsxef(x)dx---(103)]]>注意在表達式(103)中，xs表示積分開始位置，xe表示積分結束位置。而且，Ge表示預先確定的增益。
特別地，例如，讓我們假定現實世界估計單元102已經使用例如圖90中所示的像素3101(與傳感器2的預先確定檢測元件相對應的像素3101)作為關注像素來產生例如圖90中所示的近似函數f(x)(X橫截面波形F(x)的近似函數f(x))。
注意對於圖90中的實例，像素3101的像素值(輸入像素值)取作P，並且像素3101的形狀取作一邊長度為1的正方形。而且，在空間方向中，與像素3101的一邊平行的方向(附圖中水平方向)取作X方向，而與X方向正交的方向(附圖中垂直方向)取作Y方向。
而且，在圖90的下部，像素3101的中心取作其原點的空間方向(X方向和Y方向)上的坐標系(以下，稱作關注像素坐標系)，以及坐標系中的像素3101被顯示。
此外，在圖90的向上方向，表示y＝0處的近似函數f(x)的曲線圖(y是在附圖中下部所示的關注像素坐標系中Y方向上的坐標值)被顯示。在該曲線圖中，與附圖中水平方向平行的軸是與附圖中下部所示的關注像素坐標系的X方向上的x軸相同的軸(原點也相同)，而且與附圖中垂直方向平行的軸取作表示像素值的軸。
在該情況下，下面表達式(104)的關係在近似函數f(x)與像素3101的像素值P之間成立。
P=-0.50.5f(x)dx+e---(104)]]>而且，如圖90中所示，讓我們假定像素3101具有用梯度Gf表示的空間方向上的數據連續性。此外，讓我們假定數據連續性檢測單元101(圖89)已經輸出例如圖90中所示的角度θ作為與用梯度Gf表示的數據連續性相對應的數據連續性信息。
在該情況下，例如，對於一維再積分方法，如圖91中所示，四個像素3111～3114可以在X方向上-0.5～0.5的範圍內，以及在Y方向上-0.5～0.5的範圍內(圖90中像素3101位於其中的範圍內)重新創建。
注意在圖91的下部，與圖90中相同的關注像素坐標系，以及其關注像素坐標系中的像素3111～3114被顯示。同樣，在圖91的上部，與圖90中相同的曲線圖(表示y＝0處近似函數f(x)的曲線圖)被顯示。
特別地，如圖91中所示，對於一維再積分方法，使用下面表達式(105)的像素3111的像素值M(1)的計算，使用下面表達式(106)的像素3112的像素值M(2)的計算，使用下面表達式(107)的像素3113的像素值M(3)的計算，以及使用下面表達式(108)的像素3114的像素值M(4)的計算分別可用。
M(1)=2xs1xe1f(x)dx---(105)]]>M(2)=2xs2xe2f(x)dx---(106)]]>M(3)=2xs3xe3f(x)dx---(107)]]>M(4)=2xs4xe4f(x)dx---(108)]]>注意表達式(105)中的xs1，表達式(106)中的xs2，表達式(107)中的xs3，和表達式(108)中的xs4每個代表相應表達式的積分開始位置。而且，表達式(105)中的xe1，表達式(106)中的xe2，表達式(107)中的xe3，和表達式(108)中的xe4每個代表相應表達式的積分結束位置。
表達式(105)至表達式(108)每個右側的積分範圍變成像素3111至像素3114的每個的像素寬度(X方向上的長度)。也就是說，xe1-xs1，xe2-xs2，xe3-xs3，以及xe4-xs4的每個變成0.5。
但是，在該情況下，可以設想與y＝0處的近似函數f(x)具有相同形式的一維波形不是在Y方向上而是在用梯度Gf表示的數據連續性方向(也就是角度θ方向)上連續(實際上，與y＝0處的X橫截面波形F(x)具有相同形式的波形在連續性方向上連續)。也就是說，在圖91中關注像素坐標系中原點(0，0)(圖90中像素3101的中心)中像素值f(0)取作像素值f1的情況下，像素值f1連續的方向不是Y方向而是用梯度Gf表示的數據連續性的方向(角度θ方向)。
換句話說，在考慮Y方向上預先確定位置y(但是，y是除零以外的數值)中近似函數f(x)的波形的情況，與像素值f1相對應的位置不是位置(0，y)，而是通過在X方向上以預先確定的量從位置(0，y)運動而獲得的位置(Cx(y)，y)(這裡，讓我們假定這種量也稱作移位量。而且，移位量是取決於Y方向上位置y的量，所以讓我們假定該移位量描述為Cx(y))。
因此，作為上面表達式(105)至表達式(108)每個右側的積分範圍，積分範圍需要考慮待獲得的像素值M(l)的中心存在於那裡(但是，l是1～4的任意整數值)的Y方向上的位置y，也就是移位量Cx(y)而設置。
特別地，例如，像素3111和像素3112的中心存在於那裡的Y方向上的位置y不是y＝0而是y＝0.25。
因此，y＝0.25處近似函數f(x)的波形相當於通過在X方向上以移位量Cx(0.25)運動y＝0處近似函數f(x)的波形而獲得的波形。
換句話說，在上面表達式(105)中，如果我們假定關於像素3111的像素值M(1)通過用預先確定的積分範圍(從開始位置xs1到結束位置xe1)積分y＝0處的近似函數f(x)而獲得，其積分範圍不是變成從開始位置xs1＝-0.5到結束位置xe1＝0的範圍(像素3111在X方向上佔據的範圍本身)，而是圖91中所示的範圍，也就是從開始位置xs1＝-0.5+Cx(0.25)到結束位置xe1＝0+Cx(0.25)(如果像素3111嘗試以移位量Cx(0.25)運動則像素3111在X方向上佔據的範圍)。
類似地，在上面表達式(106)中，如果我們假定關於像素3112的像素值M(2)通過用預先確定的積分範圍(從開始位置xs2到結束位置xe2)積分y＝0處的近似函數f(x)而獲得，其積分範圍不是變成從開始位置xs2＝0到結束位置xe2＝0.5的範圍(像素3112在X方向上佔據的範圍本身)，而是圖91中所示的範圍，也就是從開始位置xs2＝0+Cx(0.25)到結束位置xe2＝0.5+Cx(0.25)(如果像素3112嘗試以移位量Cx(0.25)運動則像素3112在X方向上佔據的範圍)。
而且，例如，像素3113和像素3114的中心存在於那裡的Y方向上的位置y不是y＝0而是y＝-0.25。
因此，y＝-0.25處近似函數f(x)的波形相當於通過在X方向上以移位量Cx(-0.25)運動y＝0處的近似函數f(x)的波形而獲得的波形。
換句話說，在上面表達式(107)中，如果我們假定關於像素3113的像素值M(3)通過用預先確定的積分範圍(從開始位置xs3到結束位置xe3)積分y＝0處的近似函數f(x)而獲得，其積分範圍不是變成從開始位置xs3＝-0.5到結束位置xe3＝0的範圍(像素3113在X方向上佔據的範圍本身)，而是圖91中所示的範圍，也就是從開始位置xs3＝-0.5+Cx(-0.25)到結束位置xe3＝0+Cx(-0.25)(如果像素3113嘗試以移位量Cx(-0.25)運動則像素3113在X方向上佔據的範圍)。
類似地，在上面表達式(108)中，如果我們假定關於像素3114的像素值M(4)通過用預先確定的積分範圍(從開始位置xs4到結束位置xe4)積分y＝0處的近似函數f(x)而獲得，其積分範圍不是變成從開始位置xs4＝0到結束位置xe4＝0.5的範圍(像素3114在X方向上佔據的範圍本身)，而是圖91中所示的範圍，也就是從開始位置xs4＝0+Cx(-0.25)到結束位置xe4＝0.5+Cx(-0.25)(如果像素3114嘗試以移位量Cx(-0.25)運動則像素3114在X方向上佔據的範圍)。
因此，圖像生成單元103(圖89)通過將上面積分範圍的相應積分範圍代入這些表達式的每個而計算上面表達式(105)至表達式(108)，並且輸出這些的計算結果作為輸出像素值M(1)～M(4)。
這樣，圖像生成單元103可以通過使用一維再積分方法創建比輸出像素3101具有更高空間解析度的四個像素，也就是像素3111至像素3114(圖91)，作為來自傳感器2(圖89)的輸出像素3101(圖90)處的像素。此外，雖然附圖中沒有顯示，如上所述，除像素3111至像素3114之外，圖像生成單元103可以通過適當地改變積分範圍而創建具有關於輸出像素3101的任意增強空間解析度的像素而不退化。
圖92表示使用這種一維再積分方法的圖像生成單元103的構造實例。
如圖92中所示，該實例中所示的圖像生成單元103包括條件設置單元3121，特徵存儲單元3122，積分分量計算單元3123，以及輸出像素值計算單元3124。
條件設置單元3121基於從現實世界估計單元102提供的現實世界估計信息(圖92中實例中近似函數f(x)的特徵)來設置近似函數f(x)的維度數目n。
條件設置單元3121也設置再積分近似函數f(x)的情況下(計算輸出像素值的情況下)的積分範圍。注意，由條件設置單元3121設置的積分範圍不需要是像素的寬度。例如，近似函數f(x)在空間方向(X方向)上積分，因此，具體積分範圍可以確定，只要輸出像素(待由圖像生成單元103計算的像素)相對於來自傳感器2(圖89)的輸入圖像的每個像素空間大小的相對大小(空間分辨能力)已知。因此，條件設置單元3121可以設置例如空間分辨能力為積分範圍。
特徵存儲單元3122臨時存儲從現實世界估計單元102順序提供的近似函數f(x)的特徵。隨後，當特徵存儲單元3122存儲近似函數f(x)的全部特徵時，特徵存儲單元3122產生包括近似函數f(x)的全部特徵的特徵表，並且將其提供給輸出像素值計算單元3124。
順便提及，如上所述，圖像生成單元103使用上面表達式(103)計算輸出像素值M，但是包括在上面表達式(103)右側中的近似函數f(x)具體地表示為下面的表達式(109)。
f(x)=i=0nwixidx---(109)]]>注意在表達式(109)中，wi表示從現實世界估計單元102提供的近似函數f(x)的特徵。
因此，當表達式(109)的近似函數f(x)代入上面表達式(103)右側的近似函數f(x)以便展開(計算)表達式(103)的右側時，輸出像素值M表示為下面的表達式(110)。
M=Gei=0nwixei+1-xsi+1i+1]]>=i=0nwiki(xs,xe)---(110)]]>在表達式(110)中，k(xs，xe)表示i維項的積分分量。也就是說，積分分量ki(xs，xe)例如下面表達式(111)中所示。
ki(xs,xe)=Gexei+1-xsi+1i+1---(111)]]>積分分量計算單元3123計算積分分量ki(xs，xe)。
特別地，如表達式(111)中所示，積分分量ki(xs，xe)可以計算，只要積分範圍的開始位置xs和結束位置xe，增益Ge，以及i維項的i已知。
這些中，增益Ge用由條件設置單元3121設置的空間分辨能力(積分範圍)確定。
i的範圍用由條件設置單元3121設置的維度數目n確定。
而且，積分範圍的開始位置xs和結束位置xe的每個用從現在起產生的輸出像素的中心像素位置(x，y)和像素寬度，以及表示數據連續性方向的移位量Cx(y)確定。注意(x，y)表示當現實世界估計單元102產生近似函數f(x)時距離關注像素中心位置的相對位置。
此外，從現在起產生的輸出像素的中心像素位置(x，y)和像素寬度的每個用由條件設置單元3121設置的空間分辨能力(積分範圍)確定。
而且，對於移位量Cx(y)，以及從數據連續性檢測單元101提供的角度θ，例如下面表達式(112)和表達式(113)的關係成立，因此移位量Cx(y)用角度θ表示。
Gf=tan=dydx---(112)]]>Cx(y)=yGf---(113)]]>
注意在表達式(112)中，Gf表示代表數據連續性方向的梯度，θ表示從數據連續性檢測單元101(圖89)輸出的數據連續性信息之一的角度(用作空間方向一個方向的X方向與用梯度Gf表示的數據連續性方向之間產生的角度)。而且，dx表示X方向上細微運動的量，且dy表示關於dx在Y方向(垂直於X方向的空間方向)上細微運動的量。
因此，積分分量計算單元3123基於由條件設置單元3121設置的維度數目和空間分辨能力(積分範圍)，以及從數據連續性檢測單元101輸出的數據連續性信息的角度θ計算積分分量ki(xs，xe)，並將計算結果作為積分分量表提供給輸出像素值計算單元3124。
輸出像素值計算單元3124使用從特徵存儲單元3122提供的特徵表以及從積分分量計算單元3123提供的積分分量表來計算上面表達式(110)的右側，並且輸出計算結果作為輸出像素值M。
接下來，將參考圖93中的流程圖描述使用一維再積分方法的圖像生成單元103(圖92)的圖像生成處理(圖29的步驟S103中的處理)。
例如，現在，讓我們假定現實世界估計單元102已經在上述圖29中步驟S102的處理中產生例如圖90中所示的近似函數f(x)，當取例如上述圖90中所示像素3101作為關注像素時。
而且，讓我們假定數據連續性檢測單元101已經在上述圖29中步驟S101的處理中輸出例如圖90中所示的角度θ作為數據連續性信息。
在該情況下，條件設置單元3121在圖93的步驟S3101中設置條件(維度數目和積分範圍)。
例如，現在，讓我們假定5已經設置為維度數目，而且空間四倍密度(空間分辨能力以使得像素的像素寬度在上/下/左/右側變成一半能力)已經設置為積分範圍。
也就是說，在該情況下，因此，已經設置，四個像素3111至像素3114在X方向上-0.5～0.5的範圍內，以及Y方向上-0.5～0.5的範圍內(圖90中像素3101的範圍內)重新創建，例如圖91中所示。
在步驟S3102中，特徵存儲單元3122獲取從現實世界估計單元102提供的近似函數f(x)的特徵，並產生特徵表。在該情況下，用作五維多項式的近似函數f(x)的係數w0～w5從現實世界估計單元102提供，因此，(w0，w1，w2，w3，w4，w5)作為特徵表產生。
在步驟S3103中，積分分量計算單元3123基於由條件設置單元3121設置的條件(維度數目和積分範圍)，以及從數據連續性檢測單元101提供的數據連續性信息(角度θ)計算積分分量，並產生積分分量表。
特別地，例如，如果我們假定從現在起產生的各個像素3111～3114附加編號1～4(以下，這種編號稱作模數)，積分分量計算單元3123將上面表達式(111)的積分分量ki(xs，xe)計算為l的函數(但是，l表示模數)，例如下面表達式(114)左側中所示的積分分量ki(l)。
k(l)＝ki(xs，xe)…(114)特別地，在該情況下，下面表達式(115)中所示的積分分量ki(l)被計算。
ki(1)＝ki(-0.5-Cx(-0.25)，0-Cx(-0.25))ki(2)＝ki(0-Cx(-0.25)，0.5-Cx(-0.25))ki(3)＝ki(-0.5-Cx(0.25)，0-Cx(0.25))ki(4)＝ki(0-Cx(0.25)，0.5-Cx(0.25)) …(115)注意在表達式(115)中，左側表示積分分量ki(l)，而右側表示積分分量ki(xs，xe)。也就是說，在該情況下，l是1～4的任何一個，而且i是0～5的任何一個，因此6個ki(1)、6個kj(2)、6個kj(3)和6個ki(4)總共24個ki(l)被計算。
更具體地說，首先，積分分量計算單元3123使用從數據連續性檢測單元101提供的角度θ從上面表達式(112)和表達式(113)中計算移位量Cx(-0.25)和Cx(0.25)的每個。
接下來，積分分量計算單元3123使用計算的移位量Cx(-0.25)和Cx(0.25)關於i＝0～5計算表達式(115)中四個表達式的每個右側的積分分量ki(xs，xe)。注意對於積分分量ki(xs，xe)的該計算，使用上面表達式(111)。
隨後，積分分量計算單元3123根據表達式(115)將計算的24個積分分量ki(xs，xe)的每個轉換成相應的積分分量ki(l)，並且產生包括轉換後的24個積分分量ki(l)(也就是，6個ki(1)、6個ki(2)、6個ki(3)，以及6個ki(4))的積分分量表。
注意，步驟S3102中的處理和步驟S3103中的處理的順序並不局限於圖93中的實例，步驟S3103中的處理可以首先執行，或者步驟S3102中的處理和步驟S3103中的處理可以同時執行。
接下來，在步驟S3104中，輸出像素值計算單元3124基於在步驟S3102的處理中由特徵存儲單元3122產生的特徵表，以及在步驟S3103的處理中由積分分量計算單元3123產生的積分分量表，分別計算輸出像素值M(1)～M(4)。
特別地，在該情況下，輸出像素值計算單元3124通過計算與上面表達式(110)相對應的下面表達式(116)至表達式(119)的右側來計算像素3111(模數1的像素)的像素值M(1)，像素3112(模數2的像素)的像素值M(2)，像素3113(模數3的像素)的像素值M(3)，以及像素3114(模數4的像素)的像素值M(4)的每個。
M(1)=i=05wiki(1)---(116)]]>M(2)=i=05wiki(2)---(117)]]>M(3)=i=05wiki(3)---(118)]]>M(4)=i=05wiki(4)---(119)]]>在步驟S3105中，輸出像素值計算單元3124確定是否所有像素的處理都已完成。
在步驟S3105中，如果確定所有像素的處理還沒有完成，處理返回到步驟S3102，其中隨後的處理重複地執行。也就是說，沒有變成關注像素的像素順序地取作關注像素，並且步驟S3102～S3104中的處理重複地執行。
如果所有像素的處理都已完成(在步驟S3105中，如果確定所有像素的處理都已完成)，輸出像素值計算單元3124在步驟S3106中輸出圖像。然後，圖像生成處理結束。
接下來，將參考圖94至圖101描述關於預先確定的輸入圖像，通過使用一維再積分方法而獲得的輸出圖像與使用另一種方法(常規分類適應處理)而獲得的輸出圖像之間的差異。
圖94是說明輸入圖像的原始圖像的圖，並且圖95說明與圖94中原始圖像相對應的圖像數據。在圖95中，附圖中垂直方向上的軸表示像素值，並且附圖中右下方向上的軸表示用作圖像空間方向的一個方向的X方向，以及附圖中右上方向上的軸表示用作圖像空間方向的另一個方向的Y方向。注意，隨後描述的圖97，圖99和圖101中的各個軸對應於圖95中的軸。
圖96是說明輸入圖像實例的圖。圖96中說明的輸入圖像是通過取屬於圖94中所示2×2像素構成的塊的像素的像素值的平均作為一個像素的像素值而產生的圖像。也就是說，輸入圖像是通過在空間方向上積分圖94中所示圖像而獲得的圖像，其模仿傳感器的積分性質。而且，圖97說明與圖96中輸入圖像相對應的圖像數據。
圖94中說明的原始圖像包括從垂直方向順時針傾斜大約5°的細線圖像。類似地，圖96中說明的輸入圖像包括從垂直方向順時針傾斜大約5°的細線圖像。
圖98是說明通過使圖96中說明的輸入圖像經歷常規類型分類適應處理而獲得的圖像(以下，圖98中說明的圖像稱作常規圖像)的圖。而且，圖99說明與常規圖像相對應的圖像數據。
注意，類型分類適應處理由分類處理和適應處理構成，數據由類型分類處理基於其性質分類，並且對每一類經歷適應處理，如上所述。對於適應處理，例如，低質量或標準質量圖像經歷使用預先確定分接係數的映射以便轉換成高質量圖像。
圖100是說明通過對圖96中說明的輸入圖像應用一維再積分方法而獲得的再積分圖像(以下，圖100中說明的圖像稱作圖像)。而且，圖101說明與再積分圖像相對應的圖像數據。
可以理解，當圖98中的常規圖像與圖100中的再積分圖像相比較時，常規圖像中的細線圖像不同於圖94中原始圖像中，但是另一方面，再積分圖像中的細線圖像幾乎與圖94中原始圖像中相同。
該差異由如下差異引起，即常規類型分類適應處理是在圖96中輸入圖像的基礎(始點)上執行處理的方法，而另一方面，一維再積分方法是考慮到細線的連續性估計圖94中的原始圖像(產生與原始圖像相對應的近似函數f(x))，並且在估計的原始圖像的基礎(始點)上執行處理(執行再積分以便計算像素值)的方法。
因此，使用一維再積分方法，輸出圖像(像素值)通過在用作用一維近似方法產生的一維多項式的近似函數f(x)(現實世界中X橫截面波形F(x)的近似函數f(x))的基礎(始點)上在任意範圍中積分近似函數f(x)而產生。
因此，使用一維再積分方法，輸出與常規其他方法相比較更近似於原始圖像(將投射到傳感器2中的現實世界1中的光信號)的圖像成為可能。
而且，對於一維再積分方法，如上所述，積分範圍是任意的，因此，通過改變積分範圍而創建不同於輸入圖像解析度的解析度(時間解析度或空間解析度)成為可能。也就是說，產生具有相對於輸入圖像解析度的任意增強解析度以及整數值的圖像成為可能。
此外，一維再積分方法能夠使用比其他再積分方法更少的積分處理量來計算輸出圖像(像素值)。
接下來，將參考圖102至圖108描述二維再積分方法。
二維再積分方法基於近似函數f(x，y)已經使用二維多項式近似方法產生的條件。
也就是說，例如，假設表示具有用梯度GF表示的空間方向上連續性的現實世界1(圖89)中光信號的圖像函數F(x，y，t)已經用投影在空間方向(X方向和Y方向)上的波形近似，也就是X-Y平面上的波形F(x，y)已經使用用作n維(n是任意整數)多項式的近似函數f(x，y)近似，例如圖102中所示。
在圖102中，在附圖中分別地，水平方向表示用作空間方向中一個方向的X方向，右上方向表示用作空間方向中另一個方向的Y方向，以及垂直方向表示光度。GF表示作為空間方向上連續性的梯度。
注意對於圖102中的實例，連續性方向取作空間方向(X方向和Y方向)，所以待近似的光信號的投影函數取作函數F(x，y)，但是如隨後描述的，函數F(x，t)或函數F(y，t)可以根據連續性方向而作為近似目標。
在圖102中的實例的情況下，對於二維再積分方法，輸出像素值M如下面的表達式(120)計算。
M=Geysyexsxef(x,y)dxdy---(120)]]>注意在表達式(120)中，ys表示Y方向上的積分開始位置，且ye表示Y方向上的積分結束位置。類似地，xs表示X方向上的積分開始位置，且xe表示X方向上的積分結束位置。而且，Ge表示預先確定的增益。
在表達式(120)中，積分範圍可以任意地設置，因此，使用二維再積分方法，通過適當地改變該積分範圍來創建具有關於原始像素(來自傳感器(圖89)的輸入圖像的像素)的任意增強空間解析度的像素而不退化成為可能。
圖103表示使用二維再積分方法的圖像生成單元103的構造實例。
如圖103中所示，該實例中的圖像生成單元103包括條件設置單元3201，特徵存儲單元3202，積分分量計算單元3203，以及輸出像素值計算單元3204。
條件設置單元3201基於從現實世界估計單元102提供的現實世界估計信息(對於圖103中的實例，近似函數f(x，y)的特徵)來設置近似函數f(x，y)的維度數目n。
條件設置單元3201也設置再積分近似函數f(x，y)的情況下(計算輸出像素值的情況下)的積分範圍。注意，由條件設置單元3201設置的積分範圍不需要是像素的垂直寬度或水平寬度。例如，近似函數f(x，y)在空間方向(X方向和Y方向)上積分，因此，具體積分範圍可以確定，只要輸出像素(從現在起由圖像生成單元103產生的像素)相對於來自傳感器2的輸入圖像的每個像素空間大小的相對大小(空間分辨能力)已知。因此，條件設置單元3201可以設置例如空間分辨能力為積分範圍。
特徵存儲單元3202臨時存儲從現實世界估計單元102順序提供的近似函數f(x，y)的特徵。隨後，當特徵存儲單元3202存儲近似函數f(x，y)的全部特徵時，特徵存儲單元3202產生包括近似函數f(x，y)的全部特徵的特徵表，並且將其提供給輸出像素值計算單元3204。
現在，將描述近似函數f(x，y)的細節。
例如，現在，讓我們假定具有用上述圖102中所示梯度GF表示的空間方向上連續性的現實世界1(圖89)中光信號(用波F(x，y)表示的光信號)已經由傳感器2(圖89)檢測，並且已經作為輸入圖像(像素值)而輸出。
此外，例如，讓我們假定數據連續性檢測單元101(圖3)已經使得由該輸入圖像的X方向上4個像素以及Y方向上5個像素總共20個像素(附圖中用虛線表示的20個正方形)構成的輸入圖像的區域3221經歷其處理，並且已經輸出角度θ(用與梯度GF相對應的梯度Gf表示的數據連續性方向與X方向之間產生的角度θ)作為數據連續性信息之一，如圖104中所示。
注意，如從現實世界估計單元102看出，數據連續性檢測單元101應當僅輸出關注像素處的角度θ，因此，數據連續性檢測單元101的處理區域並不局限於輸入圖像中上面的區域3221。
而且，對於輸入圖像中的區域3221，附圖中水平方向表示用作空間方向的一個方向的X方向，而附圖中垂直方向表示用作空間方向的另一個方向的Y方向。
而且，在圖104中，作為從左起第二像素以及從底部起第三像素的像素取作關注像素，並且(x，y)坐標系被設置以便取關注像素的中心作為原點(0，0)。X方向上關於經過原點(0，0)具有角度θ的直線(表示數據連續性方向的梯度Gf的直線)的相對距離(以下，稱作橫截面方向距離)取作x′。
此外，在圖104中，右側的曲線圖表示用作n維(n是任意整數)多項式的近似函數f(x′)，其是近似其變量為三維空間上的位置x，y和z，以及時間點t的圖像函數F(x，y，t)在Y方向上任意位置y處投影在X方向上的一維波形(以下，稱作X橫截面波形F(x′))的函數。右側上曲線圖的軸中，附圖中水平方向上的軸表示橫截面方向距離，而附圖中垂直方向上的軸表示像素值。
在該情況下，圖104中所示近似函數f(x′)是n維多項式，所以表示為下面的表達式(121)。
f(x)=w0+w1x+w2x2++wnxn=i=0nwixi---(121)]]>而且，因為角度θ確定，經過原點(0，0)具有角度θ的直線唯一確定，並且在Y方向上任意位置y處直線的X方向上的位置x1表示為下面的表達式(122)。但是，在表達式(122)中，s代表cotθ。
x1＝s×y…(122)也就是說，如圖104中所示，與用梯度Gf表示的數據連續性相對應的直線上的點用坐標值(xl，y)表示。
橫截面方向距離x′使用表達式(122)表示為下面的表達式(123)。
x′＝x-xl＝x-s×y …(123)因此，輸入圖像區域3221中任意位置(x，y)處的近似函數f(x，y)使用表達式(121)和表達式(123)表示為下面的表達式(124)。
f(x,y)=i=0nwi(x-sy)i---(124)]]>注意在表達式(124)中，wi表示近似函數f(x，y)的係數。
現在，描述將返回到圖103，其中包括在表達式(124)中的特徵wi從現實世界估計單元102提供，並且存儲在特徵存儲單元3202中。當特徵存儲單元3202存儲用表達式(124)表示的所有特徵wi時，特徵存儲單元3202產生包括所有特徵wi的特徵表，並且將其提供給輸出像素值計算單元3204。
而且，當上面表達式(120)的右側通過將表達式(124)的近似函數f(x，y)代入表達式(120)右側中的近似函數f(x，y)而展開(計算)時，輸出像素值M表示為下面的表達式(125)。
M=Gei=0nwi{(xe-sye)i+2-(xe-sys)i+2-(xs-sye)i+2+(xs-sys)i+2}s(i+1)(i+2)]]>=i=0nwiki(xs,xe,ys,ye)---(125)]]>在表達式(125)中，ki(xs，xe，ys，ye)表示i維項的積分分量。也就是說，積分分量ki(xs，xe，ys，ye)例如下面表達式(126)中所示。
Ki(xs,xe,ys,ye)]]>=Ge{(xe-sye)i+2-(xe-sys)i+2-(xs-sye)i+2+(xs-sys)i+2}s(i+1)(i+2)---(126)]]>積分分量計算單元3203計算積分分量ki(xs，xe，ys，ye)。
特別地，如表達式(125)和表達式(126)中所示，積分分量ki(xs，xe，ys，ye)可以計算，只要積分範圍的X方向上開始位置xs和X方向上結束位置xe，積分範圍的Y方向上開始位置ys和Y方向上結束位置ye，增益Ge，以及i維項的i已知。
這些中，增益Ge用由條件設置單元3201設置的空間分辨能力(積分範圍)確定。
i的範圍用由條件設置單元3201設置的維度數目n確定。
變量s如上所述是cotθ，所以用從數據連續性檢測單元101輸出的角度θ確定。
而且，積分範圍的X方向上開始位置xs和X方向上結束位置xe，以及積分範圍的Y方向上開始位置ys和Y方向上結束位置ye的每個用從現在起產生的輸出像素的中心像素位置(x，y)和像素寬度確定。注意(x，y)表示當現實世界估計單元102產生近似函數f(x)時距離關注像素中心位置的相對位置。
此外，從現在起產生的輸出像素的中心像素位置(x，y)和像素寬度的每個用由條件設置單元3201設置的空間分辨能力(積分範圍)確定。
因此，積分分量計算單元3203基於由條件設置單元3201設置的維度數目和空間分辨能力(積分範圍)，以及從數據連續性檢測單元101輸出的數據連續性信息的角度θ計算積分分量ki(xs，xe，ys，ye)，並將計算結果作為積分分量表提供給輸出像素值計算單元3204。
輸出像素值計算單元3204使用從特徵存儲單元3202提供的特徵表以及從積分分量計算單元3203提供的積分分量表來計算上面表達式(125)的右側，並且將計算結果作為輸出像素值M輸出到外部。
接下來，將參考圖105中的流程圖描述使用二維再積分方法的圖像生成單元103(圖104)的圖像生成處理(圖29的步驟S103中的處理)。
例如，讓我們假定用圖102中所示函數F(x，y)表示的光信號已經投射到傳感器2中以變成輸入圖像，並且現實世界估計單元102已經在上述圖29中步驟S102的處理中以例如圖106中所示一個像素3231作為關注像素產生用於近似函數F(x，y)的近似函數f(x，y)。
注意在圖106中，像素3231的像素值(輸入像素值)取作P，並且像素3231的形狀取作一邊長度為1的正方形。而且，在空間方向中，與像素3231的一邊平行的方向取作X方向，而與X方向正交的方向取作Y方向。而且，其原點為像素3231中心的空間方向(X方向和Y方向)上坐標系(以下，稱作關注像素坐標系)被設置。
而且，讓我們假定在圖106中，取像素3231作為關注像素的數據連續性檢測單元101已經在上述圖29中步驟S101的處理中輸出角度θ作為與用梯度Gf表示的數據連續性相對應的數據連續性信息。
描述將返回到圖105，在該情況下，條件設置單元3201在步驟S3201處設置條件(維度數目和積分範圍)。
例如，現在，讓我們假定5已經設置為維度數目，而且空間四倍密度(空間分辨能力以使得像素的像素寬度在上/下/左/右側變成一半能力)已經設置為積分範圍。
也就是說，在該情況下，已經設置，四個像素3241至像素3244在X方向上-0.5～0.5的範圍內，以及Y方向上-0.5～0.5的範圍內(圖106中像素3231的範圍內)重新創建，例如圖107中所示。注意同樣在圖107中，與圖106中相同的關注像素坐標系被顯示。
而且，在圖107中，M(1)表示從現在起產生的像素3241的像素值，M(2)表示從現在起產生的像素3242的像素值，M(3)表示從現在起產生的像素3243的像素值，以及M(4)表示從現在起產生的像素3244的像素值。
描述將返回到圖105，在步驟S3202中，特徵存儲單元3202獲取從現實世界估計單元102提供的近似函數f(x，y)的特徵，並且產生特徵表。在該情況下，用作5維多項式的近似函數f(x)的係數w0～w5從現實世界估計單元102提供，因此，(w0，w1，w2，w3，w4，w5)作為特徵表產生。
在步驟S3203中，積分分量計算單元3203基於由條件設置單元3201設置的條件(維度數目和積分範圍)，以及從數據連續性檢測單元101提供的數據連續性信息(角度θ)計算積分分量，並產生積分分量表。
特別地，例如，讓我們假定編號(以下，這種編號稱作模數)1～4分別附加到從現在起產生的像素3241至像素3244，積分分量計算單元3203將上面表達式(125)的積分分量ki(xs，xe，ys，ye)計算為l的函數(但是，l表示模數)，例如下面表達式(127)的左側中所示的積分分量ki(l)。
ki(l)＝ki(xs，xe，ys，ye)…(127)特別地，在該情況下，下面表達式(128)中所示的積分分量ki(l)被計算。
ki(1)＝ki(-0.5，0，0，0.5)ki(2)＝ki(0，0.5，0，0.5)ki(3)＝ki(-0.5，0，-0.5，0)ki(4)＝ki(0，0.5，-0.5，0)…(128)注意在表達式(128)中，左側表示積分分量ki(l)，而右側表示積分分量ki(xs，xe，ys，ye)。也就是說，在該情況下，l是1～4的任何一個，而且i是0～5的任何一個，因此6個ki(1)、6個ki(2)、6個ki(3)和6個ki(4)總共24個ki(l)被計算。
更具體地說，首先，積分分量計算單元3203使用從數據連續性檢測單元101提供的角度θ計算上面表達式(122)的變量s(s＝cotθ)。
接下來，積分分量計算單元3203使用計算的變量s關於i＝0～5計算表達式(128)中四個表達式的每個右側的積分分量ki(xs，xe，ys，ye)。注意對於積分分量ki(xs，xe，ys，ye)的該計算，使用上面表達式(125)。
隨後，積分分量計算單元3203根據表達式(128)將計算的24個積分分量ki(xs，xe，ys，ye)的每個轉換成相應的積分分量ki(l)，並且產生包括轉換後的24個積分分量ki(l)(也就是，6個ki(1)、6個ki(2)、6個ki(3)、以及6個ki(4))的積分分量表。
注意，步驟S3202中的處理和步驟S3203中的處理的順序並不局限於圖105中的實例，步驟S3203中的處理可以首先執行，或者步驟S3202中的處理和步驟S3203中的處理可以同時執行。
接下來，在步驟S3204中，輸出像素值計算單元3204基於在步驟S3202的處理中由特徵存儲單元3202產生的特徵表，以及在步驟S3203的處理中由積分分量計算單元3203產生的積分分量表，分別計算輸出像素值M(1)～Ｍ(4)。
特別地，在該情況下，輸出像素值計算單元3204通過計算與上面表達式(125)相對應的下面表達式(129)至表達式(132)的右側來計算像素3241(模數1的像素)的像素值M(1)，像素3242(模數2的像素)的像素值M(2)，像素3243(模數3的像素)的像素值M(3)，以及像素3244(模數4的像素)的像素值M(4)的每個。
M(1)=i=0nwiki(1)---(129)]]>M(2)=i=0nwiki(2)---(130)]]>M(3)=i=0nwiki(3)---(131)]]>
M(4)=i=0nwiki(4)---(132)]]>但是，在該情況下，表達式(129)至表達式(132)的每個n變成5。
在步驟S3205中，輸出像素值計算單元3204確定是否所有像素的處理都已完成。
在步驟S3205中，如果確定所有像素的處理還沒有完成，處理返回到步驟S3202，其中隨後的處理重複地執行。也就是說，沒有變成關注像素的像素順序地取作關注像素，並且步驟S3202～S3204中的處理重複地執行。
如果所有像素的處理都已完成(在步驟S3205中，如果確定所有像素的處理都已完成)，輸出像素值計算單元3204在步驟S3206中輸出圖像。然後，圖像生成處理結束。
因此，比輸入像素3231具有更高空間解析度的四個像素，也就是像素3241至像素3244(圖107)可以通過使用二維再積分方法創建，作為來自傳感器2(圖89)的輸入圖像(圖106)的像素3231處的像素。此外，雖然附圖中沒有顯示，如上所述，除像素3241至像素3244之外，圖像生成單元103可以通過適當地改變積分範圍而創建具有關於輸入像素3231的任意增強空間解析度的像素而不退化。
如上所述，作為二維再積分方法的描述，使得關於空間方向(X方向和Y方向)的近似函數f(x，y)經歷二維積分的方法已經使用，但是二維再積分方法可以應用於時間-空間方向(X方向和t方向，或者Y方向和t方向)。
也就是說，上面的實例是現實世界1(圖89)中的光信號具有用例如圖102中所示梯度GF表示的空間方向上連續性的情況下的實例，因此，包括例如上面表達式(120)中所示空間方向(X方向和Y方向)上二維積分的表達式已經使用。但是，關於二維積分的概念不僅可以應用於空間方向而且可以應用於時間-空間方向(X方向和t方向，或者Y方向和t方向)。
換句話說，對於用作二維再積分方法的假設的二維多項式近似方法，使用二維近似函數f執行近似是可能的，即使在表示光信號的圖像函數F(x，y，t)具有時間-空間方向(但是，X方向和t方向，或者Y方向和t方向)上連續性以及空間方向上連續性的情況下。
特別地，例如，如果存在以均勻速度在X方向上水平運動的對象，對象運動的方向用例如圖108中所示X-t平面中的梯度VF表示。換句話說，可以說梯度VF表示X-t平面中時間-空間方向上連續性的方向。因此，數據連續性檢測單元101(圖89)可以輸出例如圖108中所示的運動θ(嚴格地說，雖然附圖中沒有顯示，運動θ是由用與梯度VF相對應的梯度Vf表示的數據連續性的方向與空間方向中X方向產生的角度)作為與表示X-t平面中時間-空間方向上連續性的梯度VF相對應的數據連續性信息，以及上面的角度θ(與表示X-Y平面中空間方向上連續性的梯度GF相對應的數據連續性信息)。
而且，使用二維多項式近似方法的現實世界估計單元102(圖89)可以通過使用運動θ代替上述角度θ，以與上面方法相同的方法計算近似函數f(x，t)的係數(特徵)wi。但是，在該情況下，待使用的公式不是上面的表達式(124)而是下面的表達式(133)。
f(x,t)=i-0nwi(x-st)i---(133)]]>注意在表達式(133)中，s是cotθ(但是，θ是運動)。
而且，使用二維再積分方法的圖像生成單元103(圖89)可以通過將上面表達式(133)的f(x，t)代入下面表達式(134)的右側並且計算它來計算像素值M。
M=Getgtexsxef(x,t)dxdt---(134)]]>注意在表達式(134)中，ts表示t方向上的積分開始位置，且te表示t方向上的積分結束位置。類似地，xs表示X方向上的積分開始位置，且xe表示X方向上的積分結束位置。Ge表示預先確定的增益。
作為選擇，注意力集中在空間方向Y而不是空間方向X上的近似函數f(y，t)可以與上面近似函數f(x，t)相同的方法處理。
順便提及，在表達式(133)中，通過將t方向看作恆定，也就是通過執行積分而忽略t方向上的積分，來獲得在時間方向上不積分的數據，也就是不具有運動模糊的數據成為可能。換句話說，該方法可以看作二維再積分方法的一種，因為再積分在二維近似函數f的某一維度恆定的條件下執行，或者實際上，可以看作一維再積分方法的一種，因為X方向上的一維再積分執行。
而且，在表達式(134)中，積分範圍可以任意地設置，因此，使用二維再積分方法，通過適當地改變該積分範圍來創建具有關於原始像素(來自傳感器2(圖89)的輸入圖像的像素)的任意增強解析度的像素而不退化成為可能。
也就是說，對於二維再積分方法，通過任意地改變時間方向t上的積分範圍來創建時間解析度成為可能。而且，通過任意地改變空間方向X(或空間方向Y)上的積分範圍來創建空間解析度成為可能。此外，通過適當地改變時間方向t上和空間方向X上的每個積分範圍來創建時間解析度和空間解析度成為可能。
注意，如上所述，時間解析度和空間解析度中任何一個的創建可以甚至使用一維再積分方法執行，但是時間解析度和空間解析度二者同時的創建理論上不能使用一維再積分方法執行，其僅通過執行二維或更多再積分而變得可能。也就是說，時間解析度和空間解析度同時的創建僅通過使用二維再積分方法和隨後描述的三維再積分方法而變得可能。
而且，二維再積分方法不是考慮一維而是考慮二維積分效應，因此，更近似於現實世界1(圖89)中光信號的圖像可以產生。
接下來，將參考圖109和圖110描述三維再積分方法。
對於三維再積分方法，近似函數f(x，y，t)已經使用三維近似方法產生，這是假設。
在該情況下，對於三維再積分方法，輸出像素值M計算為下面的表達式(135)。
M=Getgteysyexsxef(x,y,t)dxdydt---(135)]]>
注意在表達式(135)中，ts表示t方向上的積分開始位置，且te表示t方向上的積分結束位置。類似地，ys表示Y方向上的積分開始位置，且ye表示Y方向上的積分結束位置。而且，xs表示X方向上的積分開始位置，且xe表示X方向上的積分結束位置。Ge表示預先確定的增益。
而且，在表達式(135)中，積分範圍可以任意地設置，因此，對於三維再積分方法，通過適當地改變該積分範圍來創建具有關於原始像素(來自傳感器2(圖89)的輸入圖像的像素)的任意增強時間-空間解析度的像素而不退化成為可能。也就是說，當空間方向上的積分範圍減小時，像素間距可以沒有限制地減小。另一方面，當空間方向上的積分範圍放大時，像素間距可以沒有限制地放大。而且，當時間方向上的積分範圍減小時，時間解析度可以基於實際波形來創建。
圖109表示使用三維再積分方法的圖像生成單元103的構造實例。
如圖109中所示，圖像生成單元103的該實例包括條件設置單元3301，特徵存儲單元3302，積分分量計算單元3303，和輸出像素值計算單元3304。
條件設置單元3301基於從現實世界估計單元102提供的現實世界估計信息(對於圖109中的實例，近似函數f(x，y，t)的特徵)來設置近似函數f(x，y，t)的維度數目n。
條件設置單元3301也設置再積分近似函數f(x，y，t)的情況下(計算輸出像素值的情況下)的積分範圍。注意，由條件設置單元3301設置的積分範圍不需要是像素的寬度(垂直寬度和水平寬度)或者快門時間自身。例如，確定空間方向上的具體積分範圍成為可能，只要輸出像素(從現在起由圖像生成單元103產生的像素)相對於來自傳感器2(圖89)的輸入圖像的每個像素空間大小的相對大小(空間分辨能力)已知。類似地，確定時間方向上的具體積分範圍成為可能，只要輸出像素值關於傳感器2(圖89)的快門時間的相對時間(時間分辨能力)已知。因此，條件設置單元3301可以設置例如空間分辨能力和時間分辨能力為積分範圍。
特徵存儲單元3302臨時存儲從現實世界估計單元102順序提供的近似函數f(x，y，t)的特徵。隨後，當特徵存儲單元3302存儲近似函數f(x，y，t)的全部特徵時，特徵存儲單元3302產生包括近似函數f(x，y，t)的全部特徵的特徵表，並且將其提供給輸出像素值計算單元3304。
順便提及，當上面表達式(135)右側的近似函數f(x，y)的右側被展開(計算)時，輸出像素值M表示為下面的表達式(136)。
m=i=0nwiki(xs,xe,ys,ye,ts,te)---(136)]]>在表達式(136)中，ki(xs，xe，ys，ye，ts，te)表示i維項的積分分量。但是，分別地，xs表示X方向上的積分範圍開始位置，xe表示X方向上的積分範圍結束位置，ys表示Y方向上的積分範圍開始位置，ye表示Y方向上的積分範圍結束位置，ts表示t方向上的積分範圍開始位置，以及te表示t方向上的積分範圍結束位置。
積分分量計算單元3303計算積分分量ki(xs，xe，ys，ye，ts，te)。
特別地，積分分量計算單元3303基於由條件設置單元3301設置的維度數目和積分範圍(空間分辨能力或時間分辨能力)，以及從數據連續性檢測單元101輸出的數據連續性信息的角度θ或運動θ計算積分分量ki(xs，xe，ys，ye，ts，te)，並將計算結果作為積分分量表提供給輸出像素值計算單元3304。
輸出像素值計算單元3304使用從特徵存儲單元3302提供的特徵表以及從積分分量計算單元3303提供的積分分量表來計算上面表達式(136)的右側，並且將計算結果作為輸出像素值M輸出到外部。
接下來，將參考圖110中的流程圖描述使用三維再積分方法的圖像生成單元103(圖109)的圖像生成處理(圖29的步驟S103中的處理)。
例如，讓我們假定現實世界估計單元102(圖89)已經在上述圖29中步驟S102的處理中以輸入圖像的預先確定像素作為關注像素，產生用於近似現實世界1(圖89)中光信號的近似函數f(x，y，t)。
而且，讓我們假定數據連續性檢測單元101(圖89)已經在圖29中步驟S101的處理中以與現實世界估計單元102使用相同的像素作為關注像素，輸出角度θ或運動θ作為數據連續性信息。
在該情況下，條件設置單元3301在圖110的步驟S3301中設置條件(維度數目和積分範圍)。
在步驟S3302中，特徵存儲單元3302獲取從現實世界估計單元102提供的近似函數f(x，y，t)的特徵wi，並產生特徵表。
在步驟S3303中，積分分量計算單元3303基於由條件設置單元3301設置的條件(維度數目和積分範圍)，以及從數據連續性檢測單元101提供的數據連續性信息(角度θ或運動θ)計算積分分量，並產生積分分量表。
注意，步驟S3302中的處理和步驟S3303中的處理的順序並不局限於圖110中的實例，步驟S3303中的處理可以首先執行，或者步驟S3302中的處理和步驟S3303中的處理可以同時執行。
接下來，在步驟S3304中，輸出像素值計算單元3304基於在步驟S3302的處理中由特徵存儲單元3302產生的特徵表，以及在步驟S3303的處理中由積分分量計算單元3303產生的積分分量表，計算每個輸出像素值。
在步驟S3305中，輸出像素值計算單元3304確定是否所有像素的處理都已完成。
在步驟S3305中，如果確定所有像素的處理還沒有完成，處理返回到步驟S3302，其中隨後的處理重複地執行。也就是說，沒有變成關注像素的像素順序地取作關注像素，並且步驟S3302～S3304中的處理重複地執行。
如果所有像素的處理都已完成(在步驟S3305中，如果確定所有像素的處理都已完成)，輸出像素值計算單元3304在步驟S3306中輸出圖像。然後，圖像生成處理結束。
因此，在上面表達式(135)中，積分範圍可以任意地設置，因此對於三維再積分方法，通過適當地改變該積分範圍而創建具有關於原始像素(來自傳感器2(圖89)的輸入圖像的像素)的任意增強解析度的像素而不退化成為可能。
也就是說，對於三維再積分方法，適當地改變時間方向上的積分範圍使得時間解析度能夠創建。而且，適當地改變空間方向上的積分範圍使得空間解析度能夠創建。此外，適當地改變時間方向上和空間方向上的每個積分範圍使得時間解析度和空間解析度能夠創建。
特別地，對於三維再積分方法，當將三維退化成二維或一維時，近似不是必要的，從而能夠高精度處理。而且，傾斜方向上的運動可以處理而不退化到二維。此外，不退化到二維能夠在每個維度處理。例如，對於二維再積分方法，在空間方向(X方向和Y方向)上退化的情況下，用作時間方向的t方向上的處理不能執行。另一方面，對於三維再積分方法，時間-空間方向上的任何處理可以執行。
注意，如上所述，時間解析度和空間解析度中任何一個的創建可以甚至使用一維再積分方法執行，但是時間解析度和空間解析度二者同時的創建理論上不能使用一維再積分方法執行，其僅通過執行二維或更多再積分而變得可能。也就是說，時間解析度和空間解析度同時的創建僅通過使用上面二維再積分方法和三維再積分方法而成為可能。
而且，三維再積分方法不是考慮一維和二維而是考慮三維積分效應，因此，更近似於現實世界1(圖89)中光信號的圖像可以產生。
接下來，使用圖3中所示的信號處理設備4，數據連續性在數據連續性檢測單元101處檢測，並且現實世界1信號波形的估計，也就是例如，近似X橫截面波形F(x)的近似函數基於連續性在現實世界估計單元102處獲得。
因此，現實世界1信號的波形估計基於連續性在信號處理設備4處執行，所以如果由數據連續性檢測單元101檢測的連續性不正確或者其檢測精度差，現實世界1信號的波形的估計精度也差。
而且，信號處理設備4基於例如在該情況下作為圖像的現實世界1信號具有的連續性而執行信號處理，比使用其他信號處理設備的信號處理具有更好精度的信號處理可以對於連續性存在的現實世界1信號的部分而執行，因此，更接近與現實世界1信號相對應的圖像的圖像可以輸出。
但是，信號處理設備4不能以與連續性確實存在的四個部分相同水平的精度，對於沒有清晰連續性存在的現實世界1信號的部分執行信號處理，因為信號處理基於連續性而執行，因此，包括關於與現實世界1信號相對應的圖像的誤差的圖像被輸出。
因此，為了使用信號處理設備4獲得更接近與現實世界1信號相對應的圖像的圖像，使用信號處理設備4的信號處理將被執行的處理區域，與信號處理設備4一起使用的連續性的精度等是問題。
這裡，圖111說明信號處理設備4的另一種實施方案的構造實例。
在圖111中，信號處理設備4包括處理區域設置單元10001，連續性設置單元10002，現實世界估計單元10003，圖像生成單元10004，圖像顯示單元10005，以及用戶I/F(接口)10006。
對於其構造如圖111中所示的信號處理設備4，作為數據3的實例的圖像數據(輸入圖像)從傳感器2(圖1)輸入，並且輸入圖像提供給處理區域設置單元10001，連續性設置單元10002，現實世界估計單元10003，圖像生成單元10004，以及圖像顯示單元10005。
處理區域設置單元10001設置輸入圖像的處理區域，並且將標識處理區域的處理區域信息提供給連續性設置單元10002，現實世界估計單元10003，以及圖像生成單元10004。
連續性設置單元10002從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域，設置從該處理區域處的圖像數據中丟失的現實世界1信號的連續性，並且將表示該連續性的連續性信息提供給現實世界估計單元10003和圖像生成單元10004。
現實世界估計單元10003由模型生成單元10011，公式生成單元10012，以及現實世界波形估計單元10013構成，並且根據相應現實世界1信號的連續性從處理區域內的圖像數據中估計現實世界1信號。
也就是說，模型生成單元10011從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域，根據構成處理區域的像素以及與處理區域中的圖像數據相對應的現實世界1信號的連續性，產生用作模擬處理區域中像素的像素值與現實世界1信號之間關係的模型的函數，並且將其提供給公式生成單元10012。
公式生成單元10012從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域。此外，公式生成單元10012將構成處理區域的每個像素的像素值代入用作已經從模型生成單元10011提供的模型的函數中，從而產生公式，其提供給現實世界波形估計單元10013。
現實世界波形估計單元10013通過計算從公式生成單元10012提供的公式來估計現實世界1信號的波形。也就是說，現實世界波形估計單元10013通過求解從公式生成單元10012提供的公式來獲得近似現實世界1信號的近似函數，並將近似函數作為現實世界1信號的波形的估計結果提供給圖像生成單元10004。注意，近似現實世界1信號的近似函數包括具有恆定函數值的函數，而不管自變量值。
圖像生成單元10004基於在現實世界估計單元10003處估計的、表示現實世界1信號的波形的近似函數，以及從連續性設置單元10002提供的連續性信息，來產生更接近現實世界1信號的信號。也就是說，圖像生成單元10004從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域，並且基於從現實世界估計單元10003(的現實世界波形估計單元10013)提供的近似函數，以及從連續性設置單元10002提供的連續性信息產生關於處理區域更接近與現實世界1信號相對應的圖像的圖像數據。
此外，圖像生成單元10004合成輸入圖像和基於近似函數而產生的圖像數據(以下稱作近似圖像，如果適當的話)，產生輸入圖像的處理區域的部分已經用近似圖像取代的圖像，並且將圖像作為輸出圖像提供給圖像顯示單元10005。
圖像顯示單元10005由CRT(陰極射線管)或LCD(液晶顯示器)構成，並且顯示輸入圖像或者從圖像生成單元10004提供的輸出圖像。
注意，圖像顯示單元10005可以由單個或多個CRT或LCD構成。如果用單個CRT或LCD構成圖像顯示單元10005，配置可以這樣進行，其中單個CRT或LCD的屏幕劃分成多個屏幕，輸入圖像顯示在一個屏幕上而輸出圖像顯示在另一個屏幕上。此外，如果用多個CRT或LCD構成圖像顯示單元10005，配置可以這樣進行，其中輸入圖像顯示在一個CRT或LCD上，而輸出圖像顯示在另一個CRT或LCD上。
而且，圖像顯示單元10005根據用戶I/F 10006的輸出執行各種類型的顯示。也就是說，圖像顯示單元10005顯示光標，例如，並且如果用戶操作用戶I/F 10006以便移動光標，光標根據其操作運動。而且，如果用戶操作用戶I/F 10006以便選擇預先確定的範圍，圖像顯示單元10005根據其操作顯示圍繞在屏幕上選擇的範圍的幀。
用戶I/F 10006由用戶操作，並且根據用戶操作，將與例如處理範圍、連續性和真實世界信號中至少一個相關的信息提供給處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003。
也就是說，用戶觀看顯示在圖像顯示單元10005上的輸入圖像或輸出圖像，並且操作用戶I/F 10006以提供關於輸入圖像或輸出圖像的輸入。用戶I/F 10006由用戶操作，並且根據用戶操作，將與處理範圍、連續性或真實世界信號相關的信息，作為幫助處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003的處理的幫助信息，提供給處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003。
當幫助信息從用戶I/F 10006提供時，處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003每個基於幫助信息執行處理區域的設置，連續性的設置，或現實世界1信號的估計。
但是注意，處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003每個可以執行處理區域的設置，連續性的設置，或現實世界1信號的估計，即使不使用幫助信息，也就是，即使沒有用戶操作用戶I/F 10006。
特別地，對於處理區域設置單元10001，處理可以與圖3中所示數據連續性檢測單元101相同的方法執行，如參考圖30至圖48描述的，其中連續性區域從輸入圖像中檢測，並且圍繞連續性區域的矩形(長方形)區域設置為處理區域。
而且，對於連續性設置單元10002，處理可以與圖3中所示數據連續性檢測單元101相同的方法執行，如參考圖49至圖57描述的，其中數據連續性從輸入圖像中檢測，並且相應現實世界1信號的連續性基於該數據的連續性而設置，也就是，例如，數據連續性設置為現實世界1信號的連續性而不改變。
而且，對於現實世界估計單元10003，處理可以與圖3中所示現實世界估計單元102相同的方法執行，如參考圖58至圖88描述的，其中現實世界1信號從由處理區域設置單元10001設置的處理區域的圖像數據中，與由連續性設置單元10002設置的連續性相對應地估計。注意，雖然數據連續性已經用於估計現實世界1信號，圖3中的現實世界估計單元102，配置可以這樣進行，其中使用相應現實世界1信號的連續性，代替估計現實世界1信號的數據連續性。
接下來，將參考圖112中的流程圖描述圖111中所示的信號處理設備4的處理。
首先，在步驟S10001中，信號處理設備4執行預處理，並且流程前進到步驟S10002。也就是說，信號處理設備4將從傳感器2(圖1)作為數據3提供的輸入圖像的例如一幀或一場提供給處理區域設置單元10001，連續性設置單元10002，現實世界估計單元10003，圖像生成單元10004，以及圖像顯示單元10005。此外，信號處理設備4使得圖像顯示單元10005顯示輸入圖像。
在步驟S10002中，用戶I/F 10006確定是否存在由用戶操作用戶I/F 10006的某種用戶輸入。在步驟S10002中，如果確定不存在用戶輸入，也就是如果用戶沒有執行操作，步驟S10003至步驟S10005跳過，並且流程前進到步驟S10006。
而且，如果在步驟S10002中確定已經存在用戶輸入，也就是如果用戶已經觀看顯示在圖像顯示單元10005上的輸入圖像並且操作用戶I/F 10006，從而做出指示某種指令或信息的用戶輸入，流程前進到步驟S10003，在那裡用戶I/F 10006確定用戶輸入是否是指示信號處理設備4處理結束的結束指令。
如果在步驟S10003中確定用戶輸入是結束指令，信號處理設備結束處理。
而且，如果在步驟S10003中確定用戶輸入不是結束指令，流程前進到步驟S10004，在那裡用戶I/F 10006確定用戶輸入是否是幫助信息。如果在步驟S10004中確定用戶輸入不是幫助信息，流程跳過步驟S10005，而前進到步驟S10006。
而且，如果在步驟S10004中確定用戶輸入是幫助信息，流程前進到步驟S10005，在那裡用戶I/F 10006將幫助信息提供給處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003，並且流程前進到步驟S10006。
在步驟S10006中，處理區域設置單元10001基於輸入圖像設置處理區域，並且將標識處理區域的處理區域信息提供給連續性設置單元10002，現實世界估計單元10003，以及圖像生成單元10004，並且流程前進到步驟S10007。現在，如果幫助信息已經在前一個步驟S10005中從用戶I/F 10006提供，處理區域設置單元10001使用該幫助信息執行處理區域的設置。
在步驟S10007中，連續性設置單元10002從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域。此外，連續性設置單元10002設置在處理區域的圖像數據中丟失的現實世界1信號的連續性，並且將指示其連續性的連續性信息提供給現實世界估計單元10003，並且流程前進到步驟S10008。現在，如果幫助信息已經在前一個步驟S10005中從用戶1/F 10006提供，連續性設置單元10002使用該幫助信息執行連續性的設置。
在步驟S10008中，現實世界估計單元10003根據相應現實世界1信號的連續性，相對於輸入圖像處理區域中的圖像數據估計現實世界1信號。
也就是說，在現實世界估計單元10003處，模型生成單元10011從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域，並且從連續性設置單元10002提供的連續性信息中識別與處理區域中圖像數據相對應的現實世界1信號的連續性。此外，模型生成單元10011根據構成輸入圖像中處理區域的像素，以及與處理區域的圖像數據相對應的現實世界1信號的連續性，產生用作模擬處理區域中每個像素的像素值與現實世界1信號之間關係的模型的函數，並且將其提供給公式生成單元10012。
公式生成單元10012從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域，並且將構成處理區域的輸入圖像的每個像素的像素值代入用作從模型生成單元10011提供的模型的函數中，從而產生獲得近似現實世界1信號的近似函數的公式，其提供給現實世界波形估計單元10013。
現實世界波形估計單元10013通過計算從公式生成單元10012提供的公式來估計現實世界1信號的波形。也就是，現實世界波形估計單元10013通過求解從公式生成單元10012提供的公式來獲得用作模擬現實世界1信號的模型的近似函數，並且將近似函數作為現實世界1信號的波形的估計結果提供給圖像生成單元10004。
注意，對於現實世界估計單元10003，如果幫助信息已經在前一個步驟S10005中從用戶I/F 10006提供，在模型生成單元10011和公式生成單元10012處，處理使用該幫助信息執行。
在步驟S10008的處理之後，流程前進到步驟S10009，在那裡圖像生成單元10004基於從現實世界估計單元10003(的現實世界波形估計單元10013)提供的近似現實世界1信號的波形的近似函數來產生更接近現實世界1信號的信號。也就是說，圖像生成單元10004從處理區域設置單元10001提供的處理區域信息中識別輸入圖像中的處理區域，並且關於該處理區域，基於從現實世界估計單元10003提供的近似函數，產生作為更接近與現實世界1信號相對應的圖像的圖像數據的近似圖像。此外，圖像生成單元10004產生輸入圖像的處理區域的部分已經用近似圖像取代的圖像作為輸出圖像，並且將其提供給圖像顯示10005，並且流程從步驟S10009前進到步驟S10010。
在步驟S10010中，圖像顯示單元10005顯示從圖像生成單元10004提供的輸出圖像，代替在步驟S10001中顯示的輸入圖像，或者與輸入圖像一起，並且流程前進到步驟S10011。
在步驟S10011中，用戶I/F 10006以與步驟S10002相同的方法確定是否存在由用戶操作用戶I/F 10006的某種用戶輸入，並且如果確定不存在用戶輸入，也就是如果用戶沒有執行操作，流程返回到步驟S10011，並等待用戶輸入。
而且，如果在步驟S10011中確定存在用戶輸入，也就是如果用戶已經觀看顯示在圖像顯示單元10005上的輸入圖像或輸出圖像並且操作用戶I/F 10006，從而做出指示指令或信息的某種用戶輸入，流程前進到步驟S10012，在那裡用戶I/F 10006確定用戶輸入是否是指示信號處理設備4處理結束的結束指令。
如果在步驟S10012中確定用戶輸入是結束指令，信號處理設備4結束處理。
而且，如果在步驟S10012中確定用戶輸入不是結束指令，流程前進到步驟S10013，在那裡用戶I/F 10006確定用戶輸入是否是幫助信息。如果在步驟S10013中確定用戶輸入不是幫助信息，流程返回到步驟S10011，此後重複相同的處理。
而且，在步驟S10013中，如果確定用戶輸入是幫助信息，流程返回到步驟S10005，並且如上所述，用戶I/F 10006將幫助信息提供給處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003。然後流程從步驟S10005前進到步驟S10006，此後重複相同的處理。
如上所述，對於圖111中所示的信號處理設備4，幫助處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003的幫助信息從用戶I/F 10006提供給處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003，並且處理區域設置，連續性設置，或現實世界1信號估計基於來自用戶I/F 10006的幫助信息在處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003處執行，從而提高處理區域設置單元10001，連續性設置單元10002，或現實世界估計單元10003的處理精度，並且能夠產生例如滿足用戶喜好的高質量輸出圖像。
接下來，將描述圖111中所示信號處理設備4的各種類型的應用實例。
圖113說明圖111中所示信號處理設備4的應用實例的一種實施方案的構造實例。
在圖113中，處理區域設置單元17001，連續性設置單元17002，現實世界估計單元17003，圖像生成單元17004，圖像顯示單元17005，以及用戶I/F 17006，每個對應於圖111中所示的處理區域設置單元10001，連續性設置單元10002，現實世界估計單元10003，圖像生成單元10004，圖像顯示單元10005，以及用戶I/F 10006，並且基本上執行與處理區域設置單元10001，連續性設置單元10002，現實世界估計單元10003，圖像生成單元10004，圖像顯示單元10005，以及用戶I/F10006相同的處理。此外，在圖113中，現實世界估計單元17003包括模型生成單元17011，公式生成單元17012，以及現實世界波形估計單元17013。模型生成單元17011，公式生成單元17012，以及現實世界波形估計單元17013對應於圖111中的模型生成單元10011，公式生成單元10012，以及現實世界波形估計單元10013的每個，並且基本上執行與模型生成單元10011，公式生成單元10012，以及現實世界波形估計單元10013的每個相同的功能。
但是注意，在圖113中，現實世界估計單元17003使用樣條函數作為近似函數f。
現在，圖113說明圖1中所示信號處理設備4的一種構造實例，但是在圖1中，例如，使用用作圖像傳感器的傳感器2，現實世界1光信號投影在每個具有時間-空間積分效應的多個像素上，也就是，三維現實世界1使用用作二維圖像傳感器的傳感器2投影，並且根據其投影，現實世界1光信號的連續性的一部分丟失的圖像數據作為數據3從傳感器2提供給信號處理設備4。
對於從傳感器2作為數據3提供給信號處理設備4的圖像數據，現實世界1光信號的連續性的一部分丟失，並且某種畸變存在。信號處理設備4關於具有畸變的圖像數據執行信號處理。
圖114說明關於具有畸變的圖像數據而執行的信號處理的類型(種類)。
關於具有畸變的圖像數據而執行的信號處理的類型的實例分類成「畸變的檢測」，「畸變的去除」，「有效信息的提取」，以及「考慮畸變的信號處理」。
包括在「畸變的檢測」中的處理實例包括用於從圖像數據中識別具有畸變的區域的區域識別(提取)處理。包括在「畸變的去除」中的處理實例包括用於將圖像數據分離成處於二者不混合狀態中的前景和背景的前景背景分離處理，以及用於去除作為畸變的運動模糊的運動模糊去除處理。包括在「有效信息的提取」中的處理實例包括用於從圖像數據中提取用作有效信息的運動矢量的處理，以及用於估計圖25中描述的混合比的處理。包括在「考慮畸變的信號處理」中的處理實例包括上面類型分類適應處理，以及用於通過在幀之間插入幀使得幀頻加倍的倍速幀處理。
圖114中所示的「畸變的檢測」，「畸變的去除」，「有效信息的提取」，「考慮畸變的信號處理」中，圖113中的信號處理設備4執行例如分類成「畸變的去除」的信號處理。這裡，讓我們假定分類成「畸變的去除」的信號處理中，圖113中的信號處理設備4執行去除運動模糊的處理等，例如。
圖113中的信號處理設備4可以通過用戶操作用戶I/F 17006輸入幫助信息。如果幫助信息由用戶操作用戶I/F 17006輸入，處理區域設置單元17001，連續性設置單元17002，以及現實世界估計單元17003可以基於其幫助信息執行處理。此外，如果幫助信息沒有輸入(此外，即使幫助信息被輸入)，處理區域設置單元17001，連續性設置單元17002，以及現實世界估計單元17003可以沒有幫助信息而執行處理。
現在，首先，將描述在處理區域設置單元17001，連續性設置單元17002，以及現實世界估計單元17003沒有幫助信息而執行處理的情況下，圖113中所示信號處理設備4的處理。
圖115是描述在處理區域設置單元17001，連續性設置單元17002，以及現實世界估計單元17003沒有幫助信息而執行處理的情況下，圖113中所示信號處理設備4的處理的流程圖。
對於圖113中的信號處理設備4，現實世界基於連續性來估計，因此，用於去除因傳感器2的時間積分效應而引起的對象信號的時間方向混合(時間混合)等而發生的運動模糊的處理被執行。
也就是說，在通過使用作為圖像傳感器的傳感器2獲取對象例如汽車等正在運動的現實世界1中的圖像而獲得的輸入圖像中，對象隨著時間而運動，所以該對象的光信號與除該對象之外的部分的光信號因傳感器2的時間積分效應而混合(時間混合)，從而引起例如對象的邊界部分等處的所謂運動模糊。
使用圖113中的信號處理設備4，因這種時間混合而引起的運動模糊從輸入圖像中去除的高圖像質量輸出圖像產生，因此，運動模糊從輸入圖像中去除的輸出圖像被獲得。
對於圖113中所示的信號處理設備4，首先，在步驟S17001中，執行預處理，並且流程前進到步驟S17002。也就是說，信號處理設備4將從傳感器2(圖1)作為數據3提供的例如輸入圖像的一幀或一場提供給處理區域設置單元17001，連續性設置單元17002，現實世界估計單元17003，圖像生成單元17004，以及圖像顯示單元17005。此外，信號處理設備4將輸入圖像顯示在圖像顯示單元17005上。
這裡注意，通過使用傳感器2獲取對象例如汽車以恆定速度在水平方向上運動的場景而獲得的、因時間混合而具有運動模糊的圖像，作為輸入圖像輸入到信號處理設備4。
在步驟S17002中，處理區域設置單元17001設置處理區域並且將表示處理區域的處理區域信息提供給連續性設置單元17002，現實世界估計單元17003，以及圖像生成單元17004，並且流程前進到步驟S17003。
這裡，讓我們假定在步驟S17002中，例如，圍繞輸入圖像中運動模糊因對象在水平方向上運動而發生的部分的矩形區域設置為處理區域，例如。
在步驟S17003中，連續性設置單元17002從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域。此外，連續性設置單元17002設置在處理區域圖像數據中丟失的現實世界1信號的連續性，並且將表示處理區域的連續性的連續性信息提供給現實世界估計單元17003，並且流程前進到步驟S17004。
這裡，讓我們假定與輸入圖像相對應的現實世界1圖像包括某種形狀的對象以恆定速度在水平方向上運動的連續性，並且在步驟S17003中，處理區域中對象在水平方向上的運動量作為連續性信息而獲得。
在步驟S17004中，現實世界估計單元17003根據相應現實世界1信號的連續性，關於輸入圖像處理區域中的圖像數據估計現實世界1信號。
也就是說，在現實世界估計單元17003處，模型生成單元17011從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域，並且也從連續性設置單元17002提供的連續性信息中識別與處理區域中圖像數據相對應的現實世界1信號的連續性(這裡，運動量)。此外，模型生成單元17011根據構成輸入圖像中處理區域的像素，以及與處理區域的圖像數據相對應的現實世界1信號的連續性，來產生用作模擬處理區域中每個像素的像素值與現實世界1信號之間關係的關係模型的函數，並且將其提供給公式生成單元17012。
公式生成單元17012從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域，並且將構成處理區域的輸入圖像的每個像素的像素值代入用作從模型生成單元17011提供的模型的函數中，從而產生獲得近似現實世界1信號的近似函數的公式，其提供給現實世界波形估計單元17013。
注意這裡，樣條函數用作近似函數，例如。
現實世界波形估計單元17013通過計算從公式生成單元17012提供的公式來估計現實世界1信號的波形。也就是，現實世界波形估計單元17013獲得用作模擬現實世界1信號的近似模型的近似函數，並且將近似函數提供給圖像生成單元17004。
在步驟S17004的處理之後，流程前進到步驟S17005，在那裡圖像生成單元17004基於從現實世界估計單元17003(的現實世界波形估計單元17013)提供的近似函數，產生更接近現實世界1信號的信號。也就是說，圖像生成單元17004從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域，並且關於該處理區域，基於從現實世界估計單元17003提供的近似函數，產生作為更接近與現實世界1信號相對應的圖像的圖像數據的近似圖像。此外，圖像生成單元17004產生輸入圖像的處理區域部分已經用近似圖像取代的圖像作為輸出圖像，並將其提供給圖像顯示單元17005，並且流程從步驟S17005前進到步驟S17006。
在步驟S17006中，圖像顯示單元17005顯示從圖像生成單元17004提供的輸出圖像，代替步驟S17001中顯示的輸入圖像，或者與輸入圖像一起，並且處理結束。
接下來，將參考圖116和圖117描述在圖1中的傳感器2為圖像傳感器的情況下的空間時間積分效應。
圖像傳感器成像真實世界中的主體(對象)，並輸出作為以單幀(或場)增量成像的結果而獲得的圖像數據。也就是說，現實世界1的光信號，其是從現實世界1的主體反射的光，投影在圖像傳感器上，但是圖像傳感器輸出投影結果作為數據3。
例如，圖像傳感器輸出每秒30幀的圖像數據。在該情況下，圖像傳感器的曝光時間(快門時間)概念上為等於或小於1/30秒的時期。
圖116是描述圖像傳感器上像素陣列實例的圖。在圖116中，A～I表示各個像素。像素設置在與由圖像數據顯示的圖像相對應的平面上。與單個像素相對應的單個檢測元件設置在圖像傳感器上。當圖像傳感器獲取現實世界1的圖像(光信號)時，一個檢測元件輸出與構成圖像數據的一個像素相對應的一個像素值。例如，檢測元件空間方向X上的位置(X坐標)對應於由圖像數據顯示的圖像上的水平位置，並且檢測元件空間方向Y上的位置(Y坐標)對應於由圖像數據顯示的圖像上的垂直位置。
現實世界1的光強分布在三維空間方向和時間方向上展開，但是圖像傳感器在二維空間方向和時間方向上獲取現實世界1的光信號，並產生表示二維空間方向和時間方向上光強分布的數據3。
如圖117中所示，檢測設備例如CCD在對應於快門時間ts的時期中將投射到感光面(感光區域)(檢測區域)上的光轉換成電荷，並積累轉換的電荷。該光是現實世界1的信息(信號)，關於其的強度由三維空間位置和時間點確定。現實世界1的光強分布可以由函數F(x，y，z，t)表示，其中三維空間中的位置x，y，z以及時間點t為變量。
在檢測設備CCD中積累的電荷量與投射到具有二維空間展開的整個感光面上的光強、以及光投射到其上的時間量近似成比例。檢測設備將從投射到整個感光面上的光中轉換的電荷加到在對應於快門時間的時期中已經積累的電荷。也就是說，檢測設備積分投射到具有二維空間展開的整個感光面上的光，並累積與在對應於快門時間ts的時期中積分的光相對應的電荷量。因此，檢測設備(像素)具有關於空間(感光面)和時間(快門時間)的積分效應。
如上所述，檢測設備輸出與累積的電荷相對應的像素值作為數據3。因此，從圖像傳感器輸出的各個像素值是相對於快門時間的時間方向以及檢測設備感光面的空間方向積分具有時間-空間展開的現實世界1光信號的部分的結果。
由這種像素值構成的圖像數據，也就是用作將由圖像傳感器輸出的數據3的圖像數據可以例如根據其性質分類成背景區域，前景區域，和混合區域這三種區域。
例如，讓我們考慮圖118中所示的情況，某個背景對象，以及位置比背景對象更靠近圖像傳感器的前景對象由圖像傳感器捕捉。這裡注意，更靠近圖像傳感器的對象定義為前景對象，而遠離圖像傳感器的對象定義為背景對象。
如果前景對象或背景對象正在運動，投影在圖像傳感器上的現實世界1光信號隨著時間而改變。在圖118中，背景對象是靜止的，而前景對象正在以恆定的速度在水平方向(從左到右的方向)上運動。
如果投影在圖像傳感器上的現實世界1光信號隨著時間而改變，畸變因圖像傳感器的上面積分效應(時間積分效應)而發生。也就是說，在圖118中，背景對象是靜止的，而前景對象正在運動，所以對於圖像傳感器的接收表面的區域，在曝光時間(例如1/30秒，1/60秒等)中，從與前景對象和背景對象中一個相對應的光信號投影到其中的狀態變成與另一個相對應的光信號投影到其中的狀態的區域產生。換句話說，圖像傳感器的一些區域(像素)被積分，其中與前景對象和背景對象中一個相對應的光信號，以及與另一個相對應的光信號混合。這種區域定義為混合區域。而且，在圖像傳感器的區域中，通過將混合區域從前景對象投影於其中的區域中去除而獲得的部分定義為前景區域，而且通過將混合區域從背景對象投影於其中的區域中去除而獲得的部分定義為背景區域。
圖119說明前景區域，背景區域和混合區域。
在圖119中，上側視圖說明在圖像傳感器處獲得的圖像數據，假設水平方向是圖像傳感器的水平方向(x方向)，且垂直方向是圖像傳感器的垂直方向(y方向)，而下側視圖說明充電(累積)到圖像傳感器的電荷，假設水平方向是水平方向(x方向)，且垂直方向是時間方向(t方向)。
當圖像傳感器接收與靜止背景對象，以及在水平方向上運動的前景對象相對應的現實世界1光信號時，如上所述，圖像傳感器的接收表面的一部分變成僅與前景對象相對應的光信號在用作有限時間的曝光時間投影到其中的狀態，而另一部分區域變成僅與背景對象相對應的光信號投影到其中的狀態，並且剩餘區域從與前景對象和背景對象中一個相對應的光信號投影到其中的狀態變成與另一個相對應的光信號投影到其中的狀態。
現在，如果我們假定對於圖像傳感器，將由與前景對象相對應的光信號充電的電荷稱作前景分量，而且將由與背景對象相對應的光信號充電的電荷稱作背景分量，對於從圖像傳感器獲得的圖像數據，像素值僅包括前景分量和背景分量中一個的區域，以及像素值包括全部兩種分量的區域產生。
前景區域是像素值僅包括前景分量的區域，而背景區域是像素值僅包括背景分量的像素值。混合區域是像素值即包括前景分量也包括背景分量的區域。前景區域和混合區域是與運動的前景對象相對應的現實世界1光信號投影到其中的區域，在那裡畸變因圖像傳感器的上面積分效應而引起。在該情況下，該畸變表現為運動模糊。
接下來，圖120說明在去除如上所述作為因圖像傳感器的積分效應而在圖像數據上引起的畸變的運動模糊的情況下，相當於圖113中信號處理設備4的設備的構造實例。
也就是說，圖120說明在執行這種信號處理的情況下圖113中信號處理設備4的功能構造實例，其中前景分量和背景分量從用作運動模糊因圖像傳感器的積分效應而在其上引起的圖像數據的輸入圖像中分離，並且不具有運動模糊的前景對象的圖像通過使得前景分量經歷處理而產生，因此，運動模糊從輸入圖像中去除的圖像被獲得。
在圖120中，信號處理設備4包括區域識別單元17031，運動模糊調節量輸出單元17032，前景背景分離單元17033，處理單元確定單元17034，運動模糊調節單元17035，以及圖像顯示單元17036。分別地，區域識別單元17031對應於圖113中的處理區域設置單元17001，運動模糊調節量輸出單元17032對應於圖113中的連續性設置單元17002，前景背景分離單元17033，處理單元確定單元17034，以及運動模糊調節單元17035對應於圖113中的現實世界估計單元17003和圖像生成單元17004，以及圖像顯示單元17036對應於圖113中的圖像顯示單元17005。
對於圖120中的信號處理設備4，包括運動模糊的輸入圖像提供給區域識別單元17031和前景背景分離單元17033。
區域識別單元17031關於提供到那裡的輸入圖像識別圖119中已經描述的前景區域、背景區域和混合區域，並且將標識前景區域、背景區域和混合區域的信息作為處理區域信息提供給前景背景分離單元17033和處理單元確定單元17034。
運動模糊調節量輸出單元17032將表示輸入圖像中前景對象的運動的運動矢量作為連續性信息提供給運動模糊調節單元17035。這裡，讓我們假定前景對象如上所述以恆定速度在水平方向(例如從左到右的方向)上運動，而且讓我們假定運動模糊調節量輸出單元17032將圖像傳感器的每個曝光時間的運動量作為連續性信息提供給運動模糊調節單元17035。
前景背景分離單元17033基於從區域識別單元17031提供的處理區域信息，從提供到那裡的輸入圖像中分離前景分量和背景分量，並且將前景分量提供給運動模糊調節單元17035。
處理單元確定單元17034確定用作使得由從區域識別單元17031提供的處理區域信息識別的前景區域和混合區域在運動模糊調節單元17035經歷去除運動模糊的處理的單元的處理單元，並且將表示其處理單元的處理單元信息提供給運動模糊調節單元17035。
運動模糊調節單元17035通過使用從運動模糊調節量輸出單元17032提供的運動量，以及從前景背景分離單元17033提供的前景分量，對於用從處理單元確定單元17034提供的處理單元信息表示的每個處理單元，執行隨後描述的處理來產生不包括運動模糊的前景對象，並且將產生的圖像提供給圖像顯示單元17036。圖像顯示單元17036顯示從運動模糊調節單元17035提供的圖像。
接下來，將參考圖121中的流程圖描述圖120中所示信號處理設備4的處理(運動模糊去除處理)。
當包括運動模糊的輸入圖像提供給區域識別單元17031和前景背景分離單元17033時，在步驟S17021中，區域識別單元17031識別提供到那裡的輸入圖像的前景區域、背景區域和混合區域，並且將標識前景區域、背景區域和混合區域的信息作為處理區域信息提供給前景背景分離單元17033和處理單元確定單元17034。此外，在步驟S17021中，運動模糊調節量輸出單元17032設置(檢測)表示輸入圖像中前景對象在水平方向上的運動量值的運動量，並且將其作為連續性信息提供給運動模糊調節單元17035。
隨後，流程從步驟S17021前進到步驟S17022，在那裡前景背景分離單元17033基於從區域識別單元17031提供的處理區域信息，從提供到那裡的輸入圖像中分離前景分量和背景分量。也就是說，前景背景分離單元17033基於處理區域信息識別輸入圖像中的前景區域、背景區域和混合區域，如圖122中所示。
圖122說明輸入圖像中的前景區域、背景區域和混合區域，與圖119一樣。在圖122中，右側視圖說明用作在圖像傳感器處獲得的輸入圖像的圖像數據，與圖119中上側視圖一樣，假設水平方向是圖像傳感器的水平方向(x方向)，且垂直方向是圖像傳感器的垂直方向(y方向)，而左側視圖說明，與圖119中下側視圖一樣，充電(累積)到圖像傳感器的電荷，假設水平方向是水平方向(x方向)，而垂直方向是時間方向(t方向)。這類似地適用於隨後描述的圖123。
在步驟S17022中，當前景背景分離單元17033識別輸入圖像的前景區域、背景區域和混合區域時，前景背景分離區域17033從輸入圖像中分離前景區域、背景區域和混合區域，此外，如圖123中所示，僅將前景分量從前景區域和混合區域中分離，並且將這些提供給運動模糊調節單元17035。
也就是說，前景背景分離單元17033從混合區域中分離前景分量，並且將其前景分量，以及前景區域中的前景分量提供給運動模糊調節單元17035。
這裡，讓我們假定步驟S17021中輸入圖像的前景區域、背景區域和混合區域的識別，以及步驟S17022中僅前景分量從輸入圖像中的分離可以使用任意方法執行。
隨後，流程從步驟S17022前進到步驟S17023，在那裡處理單元確定單元17034從由區域識別單元17031提供的處理區域信息識別的前景區域和混合區域中確定處理單元，並且將表示其處理單元的處理單元信息提供給運動模糊調節單元17035。
也就是說，對於輸入圖像中前景區域和混合區域的整個區域，處理單元確定單元17034例如從前景對象的運動方向(這裡，水平方向)上的行(排)中排列的像素中，確定還沒有取作處理單元的行中的任意像素作為處理單元。因此，輸入圖像中前景區域和混合區域的整個區域中水平方向上任意一行在這裡設置為處理單元。
隨後，處理單元確定單元17034將表示其處理單元的處理單元信息提供給運動模糊調節單元17035，並且流程從步驟S17023前進到步驟S17024。
在步驟S17024中，通過使得從處理單元確定單元17034提供的處理單元信息表示的處理單元經歷使用從運動模糊調節量輸出單元17032提供的運動量，以及從前景背景分離單元17033提供的前景分量的處理，運動模糊調節單元17035關於其處理單元產生不包括運動模糊的前景對象的圖像，並且流程前進到步驟S17025。
在步驟S17025中，處理單元確定單元17034確定輸入圖像中前景區域和混合區域的整個區域中水平方向上的所有行是否都已設置為處理單元。在步驟S17025中，如果確定並不是輸入圖像中前景區域和混合區域的整個區域中水平方向上的所有行都已設置為處理單元，流程返回到步驟S17023，在那裡處理單元確定單元17034確定輸入圖像中前景區域和混合區域的整個區域中水平方向上的行中，還沒有取作處理單元的任意一行作為處理單元，此後重複相同的處理。
另一方面，如果確定輸入圖像中前景區域和混合區域的整個區域中水平方向上的所有行都已設置為處理單元，也就是如果對於運動模糊調節單元17035，處理已經關於輸入圖像中前景區域和混合區域的整個區域中水平方向上的所有行而執行，因此，不具有運動模糊的前景對象的圖像被獲得，運動模糊調節單元17035將不具有運動模糊的前景對象的圖像提供給圖像顯示單元17036以顯示它，並且結束處理。
接下來，將描述圖120中運動模糊調節單元17035的處理。
運動模糊調節單元17035通過估計光信號函數F，並且在預先確定單元處在至少一個維度方向上積分光信號函數F(的估計結果)來產生不具有運動模糊的圖像，假設與輸入數據的時間-空間方向的至少一維方向中的位置相對應的每個像素的像素值，其中現實世界1光信號投影在由每個具有時間-空間積分效應的多個像素構成的圖像傳感器上，並且現實世界1光信號連續性的一部分丟失，是通過在至少一維方向上積分用樣條函數近似的、與現實世界1光信號相對應的光信號函數(現實世界函數)F而獲得的像素值。
也就是說，假設與用作運動模糊因運動的前景對象而引起的輸入圖像的空間方向的預先確定一維方向，例如x方向上的位置相對應的每個像素的像素值，是通過由用樣條函數近似的、與現實世界1光信號相對應的光信號函數F積分物理模型而獲得的像素值，該物理模型在對應於表示x方向和時間方向上前景對象的運動的運動矢量而在時間方向上執行相移時運動，運動模糊調節單元17035產生由這種像素值構成的圖像，其中輸入圖像中前景對象的運動模糊通過估計光信號函數F，並且在預先確定的單元在x方向和時間方向上積分作為其光信號函數F的估計結果、用作近似光信號函數F的近似模型的樣條函數而去除。
首先，將描述運動模糊調節單元17035處光信號函數F的估計方法。
這裡，例如如上所述，運動模糊調節單元17035執行將在水平方向(x方向)上排列的像素取作處理單元的處理。
現在，讓我們假定在x方向上排列的N+1個像素取作處理單元，並且在與投影在處理單元上的現實世界1光信號相對應的光信號函數F的某個時間點位於某個垂直方向上的波形(X橫截面波形)F(x)用例如圖124中所示的連續波形近似，例如三維樣條函數。
圖124表示用作近似與投影在處理單元上的現實世界1光信號相對應的光信號函數F(x)的近似函數的三維樣條函數(的值)，假設水平方向取作處理單元的寬度方向(輸入圖像的x方向)，且垂直方向取作光度。
現在，如圖124中所示，讓我們假定處理單元左端像素在x方向上的中心位置的坐標為x＝0，並且x方向上一個像素的長度為1。而且，用作投影在由x方向上排列的N+1個像素構成的處理單元中從左起第k個像素#k-1(k＝1，2等至N+1)在x方向上的中心位置直到其右相鄰像素#k在x方向上的中心位置上的現實世界1光信號相對應的光信號函數F的近似函數的三維樣條函數用Ck(x)表示。此外，像素#k-1在x方向上的中心位置處樣條函數Ck(x)的值用yk-1表示。注意，樣條函數Ck(x)中的下標k是k＝1，2等至N。
在該情況下，樣條函數Ck(x)用表達式(137)表示。
Ck(x)＝Mk-1(x-k){1-(x-k)2}+Mk(x-k+1){(x-k+1)2-1}-yk-1(x-k)+yk(x-k+1)...(137)但是，在表達式(137)中，Mk和yk用下面的表達式表示。
4100141000014M1M2MN-1=b1b2bn-1,Mo=MN=0,bk=yk+1-2yk+yk-1---(138)]]>表達式(137)的樣條函數Ck(x)定義為N+1個變量y0，y1等至yn。因此，表達式(137)的樣條函數Ck(x)可以通過產生N+1個變量y0～yn來獲得。
為了產生N+1個變量y0～yn，讓我們考慮圖125中所示的物理模型。
也就是說，圖125表示這種物理模型，其中當用樣條函數Ck(x)近似的光信號函數F(x)表示的光信號在圖像傳感器的曝光時間期間以運動量v在水平方向(x方向)上連續運動(相移)時，光信號投影在處理單元的像素上，並且電荷在像素上充電，也就是圖像通過在x方向上和在時間方向上積分而獲得。
圖125的左側視圖說明近似光信號函數F(x)的樣條函數Ck(x)，與圖124中的情況一樣。而且，圖125中的右側視圖說明近似光信號函數F(x)的樣條函數Ck(x)的光度，假設水平方向是圖像傳感器的水平方向(處理單元的像素排列於其中的x方向)，正面方向是曝光時間，且垂直方向是光度。
根據圖125中所示的物理模型，作為由近似光信號函數F(x)的樣條函數Ck(x)在圖像傳感器的曝光時間期間以運動量v在水平方向(x方向)上連續運動(相移)而獲得的軌跡的曲面(模型)，僅在曝光時間期間在時間方向上積分，而且在x方向僅對處理單元的像素#k在x方向上的長度而積分，從而獲得像素#k的像素值Yk。
對於圖125中的物理模型，近似光信號函數F(x)的樣條函數Ck(x)在曝光時間期間連續地運動，所以因圖像傳感器的時間積分效應而引起的對象信號的時間方向上的混合(時間混合)在像素值Yk由該物理模型獲得的像素#k處引起。此外，因圖像傳感器的空間積分效應而引起的對象信號的空間方向上的混合(空間混合)也在像素#k處引起。因此，對於圖125中的物理模型，時間混合和空間混合都考慮。
運動模糊調節單元17035基於圖125中的物理模型使用處理單元的像素#k的像素值Yk獲得近似光信號函數F(x)的樣條函數Ck(x)(規定其的變量yk)，作為光信號函數F(x)的估計值。
這裡，讓我們假定投影在除處理單元之外上的光信號函數F(x)的值是穩定值，當圖像傳感器開始曝光時。
也就是說，如上所述，像素#k在x方向上的中心位置處，近似光信號函數F(x)的樣條函數Ck(x)的值用yk表示。而且，在該情況下，處理單元左端像素在x方向上的中心位置的坐標為x＝0，而x方向上一個像素的長度為1。因此，x＝k的位置處樣條函數Ck(x)的值用yk表示。現在，讓我們假定在x＜0的範圍內，近似光信號函數F(x)的樣條函數的值恆定地為y0(＝C1(0))，而且在x＞N的範圍內，近似光信號函數F(x)的樣條函數的值恆定地為yN(＝CN(N))。
這裡，如上所述，當圖像傳感器開始曝光時，投影在除處理單元之外的區域(嚴格地，x＜0和x＞N的區域)上的光信號函數F(x)的值是穩定值的假設，稱作平坦假設。注意，平坦假設不是必不可少的。也就是說，當圖像傳感器開始曝光時，投影在除處理單元之外上的光信號函數F(x)的值是穩定值，或者例如，可以使用樣條函數等近似。
而且，以下，讓我們假定曝光時間是1以簡化描述。
接下來，將描述如何使用處理單元的像素#k的像素值Yk基於圖125中的物理模型，估計光信號函數F(x)，也就是如何獲得近似光信號函數F(x)的樣條函數Ck(x)。
首先，讓我們假定處理單元存在的x方向上的範圍用範圍(α，β)表示，其中開始點是α，結束點是β。
如果光信號函數F(x)不運動而是靜止的，通過與使用樣條函數Ck(x)近似的光信號函數F(x)相對應的光信號投影在範圍(α，β)上，由曝光時間期間在範圍(α，β)中充電的電荷獲得的像素值z用下面的表達式表示，作為樣條函數Ck(x)使用範圍(α，β)積分的積分值。但是，這裡，讓我們假定曝光是1。
z=Ck(x)dx]]>=Mk-1{[(x-k){x-13(x-k)3}]-{x-13(x-k)3}dx}]]>+Mk{[(x-k+1){13(x-k+1)3-x}]-{13(x-k+1)3-x}dx}]]>-yk-1[12(x-k)2]+yk[12(x-k+1)2]]]>=14Mk-1[2x(x-2k)-(x-k)4]-14Mk[2x(x-2k+2)-(x-k+1)4]]]>-12yk-1[(x-k)2]+12yk[(x-k+1)2]]]>=14Mk-1{2(-2k)-(-k)4-2(-2k)+(-k)4}]]>-14Mk{2(-2k+2)-(-k+1)4-2(-2k+2)+(-k+1)4}]]>-12yk-1{(-k)2-(-k)2}+12yk{(-k+1)2-(-k+1)2}---(139)]]>但是，如果矩陣A定義為例如表達式(140)中所示，表達式(139)中的Mk用表達式(141)表示。
4100141000014-1=A=a0,0a0,1a0,N-2a1,0a1,1a1,N-2aN-2,0aN-2,1aN-2,N-2---(140)]]>Mk=i=1N-1ak-1,i-1bi]]>=i=1N-1ak-1,i-1(yi+1-2yi+yi=1)]]>=i=2Nak-1,i-2yi-2i=1N-1ak-1,i-1yi+i=0N-2ak-1,iyi]]>=i=2N-2(ak-1,i-2-2ak-1,i-1+ak-1,i)yi+ak-1,0y0]]>+(ak-1,1-2ak-1,0)y1+(ak-1,N-3-2ak-1,N-2)yN-1+ak-1,N-2yN---(141)]]>接下來，如圖125中所示，如果光信號函數F(x)在曝光時間期間以像素量v在x方向(這裡例如從左到右的方向)上以恆定速度運動，用作在處理單元的像素#k處在曝光時間期間充電的電荷的光信號函數F(x)的範圍可以例如用圖126中的斜線表示。
也就是說，圖126說明光信號函數F(x)的光度，假設橫向是處理單元的像素排列於其上的x方向，正面是曝光時間，且縱向是光度。
現在，為了簡化描述，在圖126中，讓我們僅集中在處理單元的每個像素#k在x方向上的中心位置(x＝k)處，近似光信號函數F(x)的樣條函數Ck(x)的值yk。
光信號函數F(x)在曝光時間＝1期間以恆定速度從左到右以像素量v(以下，稱作運動量v，如果適當的話)運動。因此，如圖126中所示，當開始曝光時，值yk的光信號投影在像素#k上，隨後，因光信號F(x)從左到右運動，投影在左相鄰像素#k-1上的值yk-1的光信號投影在像素#k上。此外，隨著時間的過去，根據光信號函數F(x)從左到右運動，投影在進一步左相鄰像素#k-2上的值yk-2的光信號投影在像素#k上，以下類似地，根據光信號函數F(x)隨著時間過去而運動，投影在進一步左相鄰像素上的光信號投影在像素#k上。
在圖126中，虛線表示如果值yk的光信號在曝光時間期間以恆定速度以運動量v運動的軌跡。而且，在圖126中，陰影平行四邊形表示在曝光時間期間投影在像素#k上的光信號的範圍，也就是，在曝光時間期間在像素#k處執行的、光信號在x方向和時間方向上的積分範圍。
像素#k的像素值Yk變成與由在曝光時間期間投影在像素#k左端(x＝k-0.5)及其右端(x＝k+0.5)之間範圍內的光信號充電的電荷相對應的值。在圖126中，陰影積分範圍的橫向上的範圍表示像素#k的左端(x＝k-0.5)及其右端(x＝k+0.5)之間的範圍，並且積分範圍的斜向(正面方向)表示曝光時間。
如果光信號運動，不僅空間混合而且時間混合在像素#k處發生。也就是說，光信號隨著時間的過去而運動，所以積分的光信號在x方向上的範圍在像素#k處隨著時間而改變。在圖126中，當表示其運動軌跡的虛線位於關於陰影像素#k的積分範圍內時，值yk′的光信號變成將在像素#k處積分的對象。
圖127說明關於像素#k的積分範圍，假設水平方向是x方向，且垂直方向是曝光時間。也就是說，圖127是關於用x方向以及曝光時間方向規定的平面，從垂直方向觀看的圖126中的陰影積分範圍的視圖。
這裡，甚至在隨後描述的圖128至圖130，以及圖132至圖134中，關於像素#k的積分範圍被說明，假設水平方向是x方向，且垂直方向是曝光時間，與圖127中一樣。
像素#k的像素值Yk通過在圖127中所示的積分範圍中積分近似光信號的樣條函數Ck′(x)而獲得，但是像素值Yk的分量(以下，稱作像素值分量，如果適當的話)可以分類成如圖127中所示S1，S2，S3，p和S4，p四類(p＝1，2，…)。
現在，將描述像素值Yk的四種類型的像素值分量S1，S2，S3，p和S4，p的相應計算方法。
圖128說明計算像素值Yk的像素值分量S1的積分範圍。注意圖128是通過提取圖127中所示積分範圍的一部分而獲得的圖。
像素值分量S1可以通過積分近似在曝光開始時投影在像素#k的x方向上中心位置與右相鄰像素#k+1的x方向上中心位置之間的光信號的樣條函數Ck+1(x)而獲得。
對於樣條函數Ck+1(x)，如圖128中所示，其左側端點在曝光開始時位於像素#k(x＝k)在x方向上的中心位置，並且在曝光時間＝1期間從左到右以運動量v運動。而且，對於樣條函數Ck+1(x)，當其左側端點從左到右運動0.5時，該點不包括在關於像素#k的積分範圍中。樣條函數Ck+1(x)在曝光時間＝1期間運動了運動量v，所以運動0.5所需的時間是1/(2v)(＝0.5/v)。
因此，樣條函數Ck+1(x)包括在關於像素#k的積分範圍中的時間t的範圍是，如下面表達式中所示，0和1/(2v)之間的範圍。但是，讓我們假定曝光開始時間點為0。
0t12v---(142)]]>而且，對於樣條函數Ck+1(x)，x＝k與x＝k+0.5之間的範圍在曝光開始時間點包括在關於像素#k的積分範圍中。
樣條函數Ck+1(x)在曝光時間＝1期間從左到右以運動量v運動，所以如果我們假定曝光開始時間點為0，樣條函數Ck+1(x)在曝光開始之後的某個時間點t處從左到右運動了vt，如圖128中所示。因此，在時間點t包括在關於像素#k的積分範圍中的樣條函數Ck+1(x)的範圍是從x＝k至x＝k+0.5-vt。也就是，如果我們假定對於樣條函數Ck+1(x)包括在關於像素#k的積分範圍中的x方向上的範圍，其開始點(左側的點)用α表示，且其結束點(右側的點)用β表示，開始點α和結束點β用下面的表達式表示。
α＝kβ＝-vt+k+0.5 ...(143)像素值Yk的像素值分量S1可以通過使用表達式(142)中表示的時間範圍以及使用表達式(143)中表示的x方向上的範圍積分樣條函數Ck+1(x)，根據下面的表達式而獲得。
S1=012vk-vt+k+0.5Ck+1(x)dxdt]]>=012v{14Mk{2(-vt+k+0.5)(-vt-k-1.5)-(-vt-0.5)4-2k(-k-2)+1}]]>-14Mk+1{2(-vt+k+0.5)(-vt+k+0.5)-(-vt+0.5)4-2k2}]]>-12yk{(vt-0.5)2-1}+12yk+1(-vt+0.5)2}dt]]> 接下來，圖129說明計算像素值Yk的像素值分量S2的積分範圍。注意圖129是通過提取圖127中所示積分範圍的一部分而獲得的圖。
像素值分量S2可以通過在開始曝光時其右端存在於關於像素#k的積分範圍內的時期中，積分近似投影在像素#k的x方向上中心位置與其左相鄰像素#k-1的x方向上中心位置之間的光信號的樣條函數Ck(x)來獲得。
對於樣條函數Ck(x)，如圖129中所示，其右側端點在曝光開始時位於像素#k(x＝k)在x方向上的中心位置，並且在曝光時間＝1期間從左到右以運動量v運動。而且，對於樣條函數Ck(x)，當其右側端點從左到右運動0.5時，該點不包括在關於像素#k的積分範圍中。樣條函數Ck(x)在曝光時間＝1期間運動了運動量v，所以運動0.5所需的時間是1/(2v)(＝0.5/v)。
因此，樣條函數Ck(x)的右端端點包括在關於像素#k的積分範圍中的時間t的範圍是，如下面表達式中所示，0和1/(2v)之間的範圍。
0t12v---(145)]]>而且，對於樣條函數Ck(x)，x＝k-0.5與x＝k之間的範圍在曝光開始時間點包括在關於像素#k的積分範圍中。
樣條函數Ck(x)在曝光時間＝1期間從左到右以運動量v運動，所以如果我們假定曝光開始時間點為0，樣條函數Ck(x)在曝光開始之後的某個時間點t處從左到右運動了vt，如圖129中所示。因此，在時間點t包括在關於像素#k的積分範圍中的樣條函數Ck(x)的範圍是從x＝k-0.5-vt至x＝k。也就是，如果我們假定在表達式(145)中所示時期內的某個時間點t，對於樣條函數Ck(x)包括在關於像素#k的積分範圍中的x方向上的範圍，其開始點(左側的點)用α表示，且其結束點(右側的點)用β表示，開始點α和結束點β用下面的表達式表示。
α＝-vt+k-0.5β＝k...(146)像素值Yk的像素值分量S2可以通過使用表達式(145)中表示的時間範圍以及使用表達式(146)中表示的x方向上的範圍積分樣條函數Ck(x)，根據下面的表達式而獲得。
S2=012v-vt+k-0.5kCk(x)dxdt]]>=012v{14Mk-1{-2k2-2(-vt+k-0.5)(-vt-k-0.5)+(-vt-0.5)4}]]>-14Mk{2k(-k+2)-1-2(-vt+k-0.5)(-vt-k+1.5)+(-vt+0.5)4}]]>+12yk-1(-vt+0.5)2+12yk{1-(-vt+0.5)2}}dt]]> 圖130說明計算像素值Yk的像素值分量S3，p的積分範圍。注意圖130是通過提取圖127中所示積分範圍的一部分而獲得的圖。
現在，將參考圖131描述除樣條函數Ck+1(x)之外用於計算像素值Yk的像素值分量S3，p的待積分樣條函數Ck′(x)。
注意圖131，與圖126一樣，說明近似光信號函數F(x)的樣條函數的光度，假設橫向是處理單元的像素排列於其中的x方向，正面方向是曝光時間，且縱向是光度。
樣條函數在曝光開始之後從左到右運動。根據曝光時間期間的運動，包括在圖131中斜線所示關於像素#k的積分範圍內的樣條函數變成除樣條函數Ck+1(x)之外用於計算像素值Yk的像素值分量S3，p的待積分樣條函數Ck′(x)。
如上所述，樣條函數在開始曝光之後從左到右運動，所以根據其運動，其左端有時包括在關於像素#k的積分範圍內。除樣條函數Ck+1(x)之外的樣條函數Ck′(x)在曝光開始時局限於樣條函數Ck+1(x)左側上的樣條函數Ck-p+1(x)。注意變量p是等於或大於1的整數。
這裡，樣條函數Ck-p+1(x)在曝光開始時存在於x＝k-p與x＝k-p+1的範圍內，如圖131中所示。
樣條函數Ck-p+1(x)在曝光時間期間在x方向上(從左到右)以運動量v運動，所以曝光開始時位於x＝k-p處的樣條函數Ck-p+1(x)的左端在曝光時間過去之後立即運動到位置x＝k-p+v。
因此，對於其左端進入關於像素#k的積分範圍左端(x＝k-0.5)，並且在曝光時間期間向前運動到右端位置(x＝k+0.5)的樣條函數Ck- p+1(x)，變量p滿足下面的表達式。
k-p+v≥k+0.5 ...(148)當表達式(148)關於p而記錄時，下面的表達式獲得。
p ≤v-0.5...(149)根據表達式(149)，其左端進入關於像素#k的積分範圍左端(x＝k-0.5)，並且在曝光時間期間向前運動到右端位置(x＝k+0.5)的樣條函數Ck-p+1(x)，變成p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)。注意[v-0.5]表示等於或小於v-0.5的最大整數。
注意，將描述用於計算像素值Yk的像素值分量S3，p的待積分樣條函數中，p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)的積分。
如上所述，對於p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)，其左端進入關於像素#k的積分範圍左端(x＝k-0.5)，並且在曝光時間期間向前運動到右端位置(x＝k+0.5)。因此，p＝1，2等至[v-0.5]的樣條函數Ck- p+1(x)在關於像素#k的積分範圍中運動了像素#k在x方向上的寬度，也就是這裡1。以運動量v運動1所需的時間是1/v，所以p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)的左端端點包括在關於像素#k的積分範圍內的時間t的範圍，如圖130中所示，是0～1/v的範圍，並且可以用下面的表達式表示。
0t1v---(150)]]>注意現在，讓我們假定p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)以運動量v運動，其左端端點到達關於像素#k的積分範圍左端(x＝k-0.5)時的時間點t為0。
當時間點t為0時，對於p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)，其從x＝k-p至x＝k-p+1的範圍存在於關於像素#k的積分範圍內。p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)，在直到其左端端點到達關於像素#k的積分範圍右端(x＝k+0.5)的某個時間點t，從時間點t為0時的位置從左到右運動了vt。因此，對於自從時間點0直到p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)的左端端點到達關於像素#k的積分範圍右端(x＝k+0.5)的某個時間點t的時期，p＝1，2等至[v-0.5]的樣條函數Ck- p+1(x)存在於關於像素#k的積分範圍中的範圍是從x＝k-p至x＝-vt+k-p+1。
也就是，如果我們假定對於p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)的左端端點在某個時間點t存在於關於像素#k的積分範圍中的x方向上的範圍，其開始點(左側的點)用α表示，且其結束點(右側的點)用β表示，開始點α和結束點β用下面的表達式表示。
α＝k-pβ＝-vt+k-p+1...(151)像素值Yk的像素值分量S3，p中，p＝1，2等至[v-0.5]的像素值分量可以通過使用表達式(150)中表示的時間範圍以及使用表達式(151)中表示的x方向上的範圍積分樣條函數Ck-p+1(x)，根據下面的表達式而獲得。
S3,p=01vk-p-vt+k-p+1Ck-p+1(x)dxdt]]>=01v{14Mk-p{2(-vt+k-p+1)(-vt-k+p-1)-(-vt)4-2(k-p)(-k+p-2)+(-1)4}]]>-14Mk-p+1{2(-vt+k-p+1)(-vt-k+p+1)-(-vt+1)4-2(k-p)(-k+p)}]]>-12yk-p{(-vt)2-(-1)2}+12yk-p+1(-vt+1)2}dt]]> 接下來，圖132說明計算像素值Yk的像素值分量S3，p的積分範圍。注意圖132是通過提取圖127中所示積分範圍的一部分而獲得的圖。
如上所述，在該情況下，樣條函數在曝光開始之後從左到右運動，所以根據其運動，有時進入關於像素#k的積分範圍內。除樣條函數Ck+1(x)之外的樣條函數Ck′(x)在曝光開始時局限於樣條函數Ck+1(x)左側上的樣條函數Ck-p+1(x)。注意變量p是等於或大於1的整數。
這裡，樣條函數Ck-p+1(x)在曝光開始時存在於x＝k-p至x＝k-p+1的範圍內，例如圖131中所示。
樣條函數Ck-p+1(x)在曝光時間期間在x方向上(從左到右)以運動量v運動，所以曝光開始時位於x＝k-p處的樣條函數Ck-p+1(x)的左端在曝光時間過去之後立即運動到位置x＝k-p+v。
因此，對於其左端在曝光時間期間進入關於像素#k的積分範圍左端(x＝k-0.5)，但是不從積分範圍中溢出，也就是不運動到關於像素#k的積分範圍的右端位置(x＝k+0.5)，變量p滿足下面的表達式。
k-0.5＜k-p+v＜k+0.5 ...(153)當表達式(153)關於p順序放置時，下面的表達式獲得。
v-0.5＜p＜v+0.5 ...(154)變量p是整數值，所以滿足表達式(154)的變量p可以用下面的表達式表示。
p＝[k+0.5] ...(155)注意，在表達式(155)中，[v+0.5]表示等於或小於v+0.5的最大整數。
根據表達式(155)，左端進入關於像素#k的積分範圍，而在曝光時間期間不從積分範圍溢出的樣條函數Ck-p+1(x)變成p＝[v+0.5]的樣條函數Ck-p+1(x)。
現在，將描述用於計算像素值Yk的像素值分量S3，p的待積分樣條函數中，p＝[v+0.5]的樣條函數Ck-p+1(x)的積分。
如上所述，對於p＝[v+0.5]的樣條函數Ck-p+1(x)，其左端在曝光時間期間進入關於像素#k的積分範圍左端(x＝k-0.5)。當p＝[v+0.5]的樣條函數Ck-p+1(x)的左端運動到關於像素#k的積分範圍中的某個位置時，曝光結束。
現在，讓我們假定p＝[v+0.5]的樣條函數Ck-p+1(x)以運動量v運動，其左端端點到達關於像素#k的積分範圍左端(x＝k-0.5)時的時間點t為0。在該情況下，p＝[v+0.5]的樣條函數Ck-p+1(x)的左端端點包括在關於像素#k的積分範圍中直到曝光結束的時間段t的範圍是例如圖132中所示。
也就是說，p＝[v+0.5]的樣條函數Ck-p+1(x)的左端端點包括在關於像素#k的積分範圍中直到曝光結束的時間段t的範圍是通過從用作曝光時間的1中減去積分樣條函數Ck+1(x)以計算像素值分量S1的時間段1/(2v)，以及積分p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)以計算像素值分量S3，p的時間段1/v的和而獲得的時間段。
當p＝[v+0.5]時，p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)的數目用p-1表示，所以用於積分p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)的時間段1/v的和是(p-1)/v。
因此，通過從用作曝光時間的1中減去積分樣條函數Ck+1(x)的時間段1/(2v)，以及積分p＝1，2等至[v-0.5]的樣條函數Ck-p+1(x)以計算像素值分量S3，p的時間段1/v的和(p-1)/v而獲得的時間段變成1-(p-1/2)/v(＝1-1/(2v)-(p-1)/v)。
如上所述，p＝[v+0.5]的樣條函數Ck-p+1(x)的左端端點包括在關於像素#k的積分範圍中的時間t的範圍是，如下面表達式中所示，0～1-(p-1/2)/v的範圍。
0t1-1v(p-12)---(156)]]>而且，當時間點t為0時，對於p＝[v+0.5]的樣條函數Ck-p+1(x)，從x＝k-p至x＝k-p+1的範圍存在於關於像素#k的積分範圍中。對於某個時間點t直到曝光結束，p＝[v+0.5]的樣條函數Ck-p+1(x)從時間點t為0的位置從左到右運動了vt。因此，對於自從時間點0直到曝光結束的某個時間點t的時間段，p＝[v+0.5]的樣條函數Ck-p+1(x)的左端端點存在於關於像素#k的積分範圍中的範圍是從x＝k-p至x＝-vt+k-p+1。
也就是，如果我們假定對於p＝[v+0.5]的樣條函數Ck-p+1(x)的左端端點在某個時間點t存在於關於像素#k的積分範圍中的x方向上的範圍，其開始點(左側的點)用α表示，且其結束點(右側的點)用β表示，開始點α和結束點β用下面的表達式表示。
α＝k-pβ＝-vt+k-p+1 ...(157)像素值Yk的像素值分量S3，p中，p＝[v+0.5]的像素值分量可以通過使用表達式(156)中表示的時間範圍以及使用表達式(157)中表示的x方向上的範圍積分樣條函數Ck-p+1(x)，根據下面的表達式而獲得。
S3,p=0{1-1v(p-12)}k-p-vt+k-p+1Ck-p+1(x)dxdt]]>
...(158)接下來，圖133說明計算像素值Yk的像素值分量S4，p的積分範圍。注意圖133是通過提取圖127中所示積分範圍的一部分而獲得的圖。
現在，除樣條函數Ck+1(x)之外用於計算像素值Yk的像素值分量S4，p的待積分樣條函數Ck′(x)在曝光開始時局限於右端位於比關於像素#k的積分範圍的左端更左的樣條函數Ck-p(x)。
這裡，樣條函數Ck-p(x)在曝光開始時存在於x＝k-p-1與x＝k-p之間的範圍中。
樣條函數Ck-p(x)在曝光時間期間在x方向上(從左到右)以運動量v運動，所以曝光開始時位於x＝k-p處的樣條函數Ck-p(x)的右端在曝光時間過去之後立即運動到位置x＝k-p+v。
因此，對於其右端進入關於像素#k的積分範圍左端(x＝k-0.5)，並且在曝光時間期間向前運動到右端位置(x＝k+0.5)的樣條函數Ck- p(x)，變量p滿足與上面表達式(148)相同的表達式k-p+v≥k+0.5，也就是(v-0.5)≥p。
如上所述，樣條函數Ck-p(x)的右端進入關於像素#k的積分範圍左端(x＝k-0.5)，並且在曝光時間期間向前運動到右端位置(x＝k+0.5)，樣條函數Ck-p+1(x)變成p＝1，2等至[v-0.5]的樣條函數Ck-p(x)。注意[v-0.5]表示等於或小於v-0.5的最大整數。
現在，首先，將描述用於計算像素值Yk的像素值分量S4，p的待積分樣條函數中，p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的積分。
如上所述，對於p＝1，2等至[v-0.5]的樣條函數Ck-p(x)，其右端進入關於像素#k的積分範圍左端(x＝k-0.5)，並且在曝光時間期間向前運動到右端位置(x＝k+0.5)。因此，p＝1，2等至[v-0.5]的樣條函數Ck-p(x)在關於像素#k的積分範圍中運動了像素#k在x方向上的寬度，也就是這裡1。以運動量v運動1所需的時間是1/v，所以p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的右端端點包括在關於像素#k的積分範圍內的時間t的範圍，如圖133中所示，是0～1/v的範圍，並且可以用下面的表達式表示。
0t1v---(159)]]>這裡，讓我們假定p＝1，2等至[v-0.5]的樣條函數Ck-p(x)以運動量v運動，其右端端點到達關於像素#k的積分範圍左端(x＝k-0.5)時的時間點t為0。
當時間點t＝0時，p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的右端端點到達關於像素#k的積分範圍左端(x＝k-0.5)，隨後在時間t過去之後，從左到右運動了vt。如果p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的右端端點到達關於像素#k的積分範圍右端(x＝k+0.5)，並且從x＝k-p-1至x＝k-p的範圍存在於關於像素#k的積分範圍中。
因此，對於直到p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的右端端點到達關於像素#k的積分範圍右端(x＝k+0.5)的某個時間點t，p＝1，2等至[v-0.5]的樣條函數Ck-p(x)存在於關於像素#k的積分範圍中的範圍是從x＝k-p-vt至x＝k-p。
也就是，如果我們假定對於p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的右端端點在某個時間點t存在於關於像素#k的積分範圍中的x方向上的範圍，其開始點(左側的點)用α表示，且其結束點(右側的點)用β表示，開始點α和結束點β用下面的表達式表示。
α＝-vt+k-pβ＝k-p ...(160)像素值Yk的像素值分量S4，p中，p＝1，2等至[v-0.5]的像素值分量可以通過使用表達式(159)中表示的時間範圍以及使用表達式(160)中表示的x方向上的範圍積分樣條函數Ck-p(x)，根據下面的表達式而獲得。
S4,p=01v-vt+k-pk-pCk-p(x)dxdt]]>=01v{14Mk-p-1{-2(k-p)2-2(-vt+k-p)(-vt-k+p)+(-vt)4}]]>-14Mk-p{-2(k-p)(k-p-2)-1-2(-vt+k-p)(-vt-k-p+2)+(-vt+1)4}]]>+12yk-p-1(-vt)2+12yk-p{1-(-vt+1)2}}dt]]> 接下來，圖134說明計算像素值Yk的像素值分量S4，p的積分範圍。注意圖134是與圖127中所示積分範圍相同的圖。
如上所述，在該情況下，樣條函數在曝光開始之後從左到右運動，所以根據其運動，其右端有時進入關於像素#k的積分範圍內。除樣條函數Ck+1(x)之外的樣條函數Ck′(x)在曝光開始時局限於樣條函數Ck(x)的左側上的樣條函數Ck-p(x)。注意變量p是等於或大於1的整數。
這裡，樣條函數Ck-p(x)在曝光開始時存在於x＝k-p-1至x＝k-p之間的範圍內。
樣條函數Ck-p(x)在曝光時間期間在x方向上(從左到右)以運動量v運動，所以曝光開始時位於x＝k-p處的樣條函數Ck-p(x)的右端在曝光時間過去之後立即運動到位置x＝k-p+v。
因此，對於其右端在曝光時間期間進入關於像素#k的積分範圍左端(x＝k-0.5)，但是不從積分範圍中溢出，也就是不運動到關於像素#k的積分範圍的右端位置(x＝k+0.5)，變量p滿足與上面表達式(153)相同的表達式k-0.5＜k-p+v＜k+0.5，也就是p＝[v+0.5]。注意，[v+0.5]表示等於或小於v+0.5的最大整數。
也就是說，其右端進入關於像素#k的積分範圍，而在曝光時間期間不從積分範圍溢出的樣條函數Ck-p(x)變成p＝[v+0.5]的樣條函數Ck- p(x)。
現在，將描述用於計算像素值Yk的像素值分量S4，p的待積分樣條函數中，p＝[v+0.5]的樣條函數Ck-p(x)的積分。
如上所述，對於p＝[v+0.5]的樣條函數Ck-p(x)，其右端在曝光時間期間進入關於像素#k的積分範圍左端(x＝k-0.5)。當p＝[v+0.5]的樣條函數Ck-p(x)的右端運動到關於像素#k的積分範圍中的某個位置時，曝光結束。
現在，讓我們假定p＝[v+0.5]的樣條函數Ck-p(x)以運動量v運動，其左端端點到達關於像素#k的積分範圍的左端(x＝k-0.5)時的時間點t為0。在該情況下，p＝[v+0.5]的樣條函數Ck-p(x)的左端端點包括在關於像素#k的積分範圍中直到曝光結束的時間段t的範圍是例如圖134中所示。
也就是說，與圖132中描述的情況一樣，p＝[v+0.5]的樣條函數Ck- p(x)的右端端點包括在關於像素#k的積分範圍中直到曝光結束的時間段t的範圍是通過從用作曝光時間的1中減去積分樣條函數Ck+1(x)以計算像素值分量S1的時間段1/(2v)，以及積分p＝1，2等至[v-0.5]的樣條函數Ck-p(x)以計算像素值分量S4，p的時間段1/v的和而獲得的時間段。
當p＝[v+0.5]時，p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的數目用p-1表示，所以用於積分p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的時間段1/v的和是(p-1)/v。
因此，通過從用作曝光時間的1中減去積分樣條函數Ck+1(x)的時間段1/(2v)，以及積分p＝1，2等至[v-0.5]的樣條函數Ck-p(x)的時間段1/v的和(p-1)/v而獲得的時間段變成1-(p-1/2)/v(＝1-1/(2v)-(p-1)/v)。
如上所述，p＝[v+0.5]的樣條函數Ck-p(x)的右端端點包括在關於像素#k的積分範圍中的時間t的範圍是，如下面表達式中所示，0～1-(p-1/2)/v的範圍。
0t1-1v(p-12)---(162)]]>而且，根據p＝[v+0.5]的樣條函數Ck-p(x)在曝光時間期間從左到右運動，其右端在時間點t＝0時到達關於像素#k的積分範圍的左端，隨後在時間t過去之後，從時間點t＝0的位置從左到右運動了vt。
因此，p＝[v+0.5]的樣條函數Ck-p(x)的x＝k-p-1至x＝k-p之間的範圍中，在時間點t存在於關於像素#k的積分範圍中的範圍是從x＝k-p-vt至x＝k-p。
也就是，如果我們假定對於p＝[v+0.5]的樣條函數Ck-p(x)的右端端點在某個時間點t存在於關於像素#k的積分範圍中的x方向上的範圍，其開始點(左側的點)用α表示，且其結束點(右側的點)用β表示，開始點α和結束點β用下面的表達式表示。
α＝-vt+k-pβ＝k-p ...(163)像素值Yk的像素值分量S4，p中，p＝[v+0.5]的像素值分量可以通過使用表達式(162)中表示的時間範圍以及使用表達式(163)中表示的x方向上的範圍積分樣條函數Ck-p(x)，根據下面的表達式而獲得。
S4,p=0{1-1v(p-12)}-vt+k-pk-pCk-p(x)dxdt]]> 從圖像傳感器獲得的像素#k的像素值Yk是表達式(144)中的像素值分量S1，表達式(147)中的像素值分量S2，表達式(152)和表達式(158)中像素值分量S3，p，表達式(161)和表達式(164)中像素值分量S4，p的和，所以可以從下面的表達式獲得。
S1+S2+S3，p+S4，p＝Yk...(165)像素值Yk的下標k用0～N+1範圍中的N+1個整數值表示，所以根據表達式(165)，N+1個公式可以列出。而且，待獲得的未知變量y0～yN的數目也是N+1，所以N+1個未知變量y0～yN，此外用變量y0～yN定義的樣條函數C0(x)～CN(x)可以通過求解作為聯立線性方程的從表達式(165)中獲得的N+1個公式來獲得。
也就是說，根據表達式(165)，用下面表達式(166)至表達式(170)表示的N+1個公式可以通過代入表達式(144)，表達式(147)，表達式(152)，表達式(158)，表達式(161)和表達式(164)來獲得。
Y0=1v{i=0N(-374840)(a0,i-2-2a0,i-1+a0,i)yi+(v-148)y0+148y1}---(166)]]>Yk=1v{j=1kyi-148yk-1-12yk+148yk+1+(v-k+12)y0]]>+i=0N{374840(ak-2,i-2-2ak-2,i-1+ak-2,i-ak,i-2+2ak,i-1-ak,i)]]>+14(ak-1,i-2-2ak-1,i-1+ak-1,i)]]>-12j=1k(aj-1,i-2-2aj-1,i-1+aj-1,i)}yi}---(167)]]>其中，在表達式(167)中，k是1～P-1範圍內的整數。而且，P是等於或小於v+0.5的最大整數([v+0.5])。
Yk=1v{j=1kyj-148yk-1-12yk+148yk+1]]>+16{1+18(2k-2v-1){4(k-v)(k-v+2)-17}}y0]]>-16{1+18(2k-2v-1){4(k-v)(k-v+2)+7}}y1]]>+i=0N{374840(ak-2,i-2-2ak-2,i-1+ak-2,i-ak,i-2+2ak,i-1-ak,i)]]>+14(ak-1,i-2-2ak-1,i-1+ak-1,i)]]>-12j=1k(aj-1,i-2-2aj-1,i-1+aj-1,i)]]>-14840(2k-2v+1)3{12(k-v)(k-v+1)-37}(a0,i-2-2a0,i-1+a0,i}yi}---(168)]]>
注意在表達式(168)中，k是P。
Yk=1v{j=k-Pkyj-148yk-1-12yk+148yk+1]]>-148(2P-2v-1)3yk-P-1-148(2P-2v+1)3yk-P+1]]>-16{5-12(2P-2v-1){(2P-2v-1)(P-v+1)-3}}yk-P]]>+i=0N{374840(ak-2,i-2-2ak-2,i-1+ak-2,iak,i-2+2ak,i-1-ak,i)]]>+14(ak-1,i-2-2ak-1,i-1+ak-1,i)]]>-12j=k-pk-1(aj-1,i-2-2aj-1,i-1+aj-1,i)]]>-14840(2P-2v+1)3{3(2P-2v-1)2-40}(ak-P-2,i-2-2ak-P-2,i-1+ak-P-2,i)]]>-14840(2P-2v+1)3{12(P-v)(P-v+1)-37}(ak-P,i-2-2ak-P,i-1+ak-P,i)]]>+160{23+116(2P-2v-1){(2P-2v-1)2]]>{3(2P-2v-1)2+15(2P-2v-1)+20}+120}}]]>(ak-P-1,i-2-2ak-P-1,i-1+ak-P-1,i)}yi}---(169)]]>注意在表達式(169)中，k是P+1～N-1範圍內的整數。
Yk=1v{j=k-Pkyj-148yk-1-2348yk]]>-148(2P-2v-1)3yk-P-1-148(2P-2v+1)3yk-P+1]]>-56{5-12(2P-2v-1){(2P-2v-1)(P-v+1)-3}}yk-P]]>+i=0N{374840(ak-2,i-2-2ak-2,i-1+ak-2,i)]]>-12j=k-Pk-1(aj-1,i-2-2aj-1,i-1+aj-1,i)]]>-14840(2P-2v+1)3{3(2P-2v-1)2-40}(ak-P-2,i-2-2ak-P-2,i-1+ak-P-2,i)]]>-14840(2P-2v+1)3{12(P-v)(P-v+1)-37}(ak-P,i-2-2ak-P,i-1+ak-P,i)]]>+160{23+116(2P-2v-1){(2P-2v-1)2]]>{3(2P-2v-1)2+15(2P-2v-1)+20}+120}}]]>(ak-P-1,i-2-2ak-P-1,i-1+ak-P-1,i)}yi}---(170)]]>注意在表達式(170)中，k是N。
N+1個未知變量y0～yN，此外用y0～yN定義的樣條函數C0(x)～CN(x)可以通過求解作為聯立線性方程的表達式(166)至表達式(170)的N+1個公式，也就是近似與投影在處理單元上的現實世界1光信號相對應的光信號函數F(x)的樣條函數C0(x)～CN(x)來獲得。
順便提及，根據圖125中所示的物理模型，用作由近似光信號函數F(x)的樣條函數Ck(x)在圖像傳感器的曝光時間期間以運動量v在水平方向(x方向)上連續運動而獲得的軌跡的曲面，僅在曝光時間期間在時間方向上積分，以及在x方向上僅在處理單元的像素#k在x方向上長度積分，從而獲得像素#k的像素值Yk。
近似光信號函數F(x)的樣條函數Ck(x)在水平方向(x方向)上以運動量v連續運動，使得在曝光時間期間積分的樣條函數Ck(x)的x方向上的範圍在像素#k處改變，因此，對於曝光時間期間的每個時間點積分樣條函數Ck(x)的x方向上的範圍在像素#k處改變，使得作為像素#k處積分結果而獲得的像素值Yk導致包含運動模糊的像素值。
因此，為了從像素#k的像素值Yk中去除運動模糊，配置可以這樣進行，其中在曝光時間期間積分的樣條函數Ck(x)的x方向上的範圍在像素#k處不改變。
也就是，如果我們假定關於像素#k不具有運動模糊的像素值用Xk表示，不具有運動模糊的該像素值Xk可以通過在曝光時間期間在時間方向上積分通過假設近似光信號函數F(x)的樣條函數Ck(x)在曝光時間期間沒有從曝光開始時的位置在x方向上運動而獲得的曲面(模型)，並且在x方向上對於處理單元的像素#k在x方向的長度積分(再積分)而獲得。
現在，如果我們假定曝光時間是1，上面的積分等於對於像素#k在x方向上的長度來積分樣條函數Ck(x)。因此，關於像素#k不具有運動模糊的像素值Xk可以通過設置像素#k在x方向上的開始邊緣和結束邊緣(從左端到右端)之間的範圍為上面表達式(139)中的積分範圍(α，β)來獲得。也就是說，不具有運動模糊的像素值Xk可以用下面的表達式獲得。
X0=18(7y0+y1)-764i=0N(a0,i-2-2a0,i-1+a0,i)yi---(171)]]>Xk=18(yk-1+6yk+yk+1)]]>-164i=0N{7(ak-2,i-2-2ak-2,i-1+ak-2,i)]]>+18((ak-1,i-2-2ak-1,i-1+ak-1,i]]>+7(ak,i-2-2ak,i-1+ak,i)}yi]]>，其中(k＝1，2，…，N-1)…(172)XN=18(yN-1+7yN)-764i=0N(aN-2,i-2-2aN-2,i-1+aN-2,i)yi---(173)]]>注意在表達式(172)中，k是1～N-1範圍中的整數值。而且，情況分成三類，也就是k＝0，k＝1～N-1，以及k＝N以獲得不具有運動模糊的像素值Xk的原因由上面的平坦假設引起。也就是說，平坦假設影響處理單元的左端像素#0以及右端像素#N，所以像素值X0和XN使用與處理單元的其他像素#1～#N-1的情況不同的表達式獲得。
如上所述，更接近現實世界1的像素值Xk，也就是這裡不具有運動模糊的像素值Xk可以通過估計光信號函數F(x)，並且積分假設隨著時間的改變不存在作為估計結果、近似光信號函數F(x)的樣條函數Ck(x)來獲得。
順便提及，表達式(171)至表達式(173)已經試圖通過跨越處理單元的像素#k在x方向上的寬度積分近似光信號函數F(x)的樣條函數Ck(x)來獲得像素值Xk，但是具有更高解析度的像素值可以通過跨越更細的寬度來積分近似光信號函數F(x)的樣條函數Ck(x)，也就是通過設置比像素#k在x方向上的寬度更細的範圍為上面表達式(139)中的積分範圍(α，β)來獲得。
特別地，例如，現在，讓我們考慮通過在x方向上劃分像素#k而獲得的虛擬像素，並且讓我們將通過在x方向上劃分像素#k而獲得的左側像素和右側像素表示為虛擬像素#k，left和#k，right。此外，讓我們將虛擬像素#k，left和#k，right的不具有運動模糊的像素值分別表示為Xk，left和Xk，right。
不具有運動模糊的像素值Xk，left和Xk，right，例如，如圖136中所示，可以通過僅在曝光時間期間在時間方向上積分通過假設近似光信號函數F(x)的樣條函數Ck(x)在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面(模型)，並且以通過劃分處理單元的像素#k而獲得的虛擬像素#Xk，left和#Xk，right在x方向上的寬度為增量在x方向上積分(再積分)來獲得。
因此，像素值Xk，left和Xk，right可以用下面的表達式獲得。
X0，left＝y0...(174)X0,right=14(3y0+y1)-732i=0N(a0,i-2-2a0,i-1+a0,i)yi---(175)]]>Xk,left=14(yk-1+3yk)]]>-132i=0N{7(ak-2,i-2-2ak-2,i-1+ak-2,i)]]>+9(ak-1,i-2-2ak-1,i-2+ak-1,i)}yi]]>，其中(k＝1，2，…，N-1 …(176)
Xk,right=14(3yk+yk+1)]]>-132i=0N{9(ak-1,i-2-2ak-1,i-1+ak-1,i)]]>+7(ak,i-2-2ak,i-1+ak,i)}yi]]>，其中(k＝1，2，…，N-1)…(177)XN,left=14(yN-1+3yN)-732i=0N(aN-2,i-2-2aN-2,i-1+aN-2,i)yi---(178)]]>KN，right＝yN…(179)根據使用表達式(174)至表達式(179)獲得的像素值Xk，left和Xk，right，橫向上像素數目為像素原始數目兩倍的圖像(橫向上兩倍密度的圖像)可以獲得，使得運動模糊去除，而且高解析度圖像可以獲得。
在上面的實例中，像素#k已經劃分成兩個，但是像素#k的劃分數目並不局限於二。而且，這裡，高於原始圖像(輸入圖像)的高解析度圖像已經試圖通過劃分像素#k來獲得，但是具有期望解析度的圖像可以通過調節假設近似光信號函數F(x)的樣條函數Ck(x)在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面的積分範圍來獲得。也就是，如果我們假定曝光時間為1，具有期望解析度的圖像可以通過設置期望值為表達式(139)中的積分範圍(α，β)而獲得。
如果通過獲得劃分像素#k而獲得的虛擬像素的像素值來產生具有高解析度的圖像，構成圖像的虛擬像素的邊界用原始像素#k的邊界所約束，但是如果通過直接調節表達式(139)中積分範圍(α，β)來產生具有期望解析度的圖像，圖像不需要接收這種約束。
注意這裡，用樣條函數近似的現實世界1光信號考慮因x方向和時間t方向上的積分效應而引起的混合(空間混合和時間混合)來估計，所以該估計方法屬於上面二維近似方法(和二維再積分方法)。因此，由近似現實世界1光信號的樣條函數估計現實世界1光信號的方法可以考慮因時間-空間方向中任意二維方向上的積分效應而引起的混合來執行，例如除了x方向和t方向之外y方向和t方向，或者x方向和y方向，如關於二維近似方法描述的。例如，如果具有細線在某個傾斜方向上連續的連續性的細線顯示在輸入圖像上，當處理考慮因x方向和y方向上的積分效應而引起的混合來執行時，當在y方向上前進一個像素時細線在x方向上前進的像素數目看作表示細線方向θ的連續性信息，並且表達式(166)至表達式(170)使用方向θ代替運動量v來計算，藉此近似現實世界1的樣條函數可以獲得。
此外，由近似現實世界1光信號的樣條函數估計現實世界1光信號的方法可以應用於上面一維近似方法(和一維再積分方法)，以及三維近似方法(和三維再積分方法)，除了二維近似方法之外。也就是說，現實世界1光信號通過使用樣條函數近似現實世界1光信號，考慮因僅x方向、y方向或t方向上的積分效應而引起的混合來估計，藉此具有高圖像質量的圖像可以產生。而且，現實世界1光信號通過使用樣條函數近似現實世界1光信號，考慮因x方向、y方向和t方向所有方向上的積分效應而引起的混合來估計，藉此具有高圖像質量的圖像可以產生。
接下來，圖137說明圖120中運動模糊調節單元17035的構造實例，其如上所述由近似現實世界1光信號(光信號函數F(x))的樣條函數來產生不具有運動模糊的圖像，如果必要的話進一步具有高解析度的圖像。
在圖137中，運動模糊調節單元17035包括圖120中的物理模型應用(adapting)單元17051，物理模型值獲取單元17052，以及再混合單元17053。而且，在圖137中，配置可以這樣進行，其中用作從運動模糊調節量輸出單元17032提供的連續性信息的運動量v，從前景背景分離單元17033提供的前景分量，以及從處理單元確定單元17034提供的處理單元信息提供給物理模型應用單元17051。
物理模型應用單元17051包括建模單元17061，公式創建單元17062，以及聯立方程獲取單元17063。
用作從圖120中的運動模糊調節量輸出單元17032提供的連續性信息的運動量v，以及從處理單元確定單元17034提供的處理單元信息提供給建模單元17061。
建模單元17061基於從處理單元確定單元17034提供的處理單元信息來識別構成處理單元的像素數目(例如，圖125中物理模型中的N+1個像素)。此外，建模單元17061從構成處理單元的像素數目和運動量v中獲得圖125中的物理模型信息，例如表達式(166)至表達式(170)中的P(＝[v+0.5])，此外將包括構成處理單元的像素數目以及運動量v的物理模型信息提供給公式創建單元17062。而且，建模單元17061識別輸入圖像中處理單元的位置，並且將表示位置的信息經由公式創建單元17062提供給聯立方程獲取單元17063。
公式創建單元17062從建模單元17061提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，並且將這些提供給聯立方程獲取單元17063。注意，在公式創建單元17062處創建的表達式(166)至表達式(170)的公式是其變量v使用用作從圖120中的運動模糊調節量輸出單元17032提供給建模單元17061的連續性信息的運動量v的特定值取代的公式。
聯立方程獲取單元17063從建模單元17061經由公式創建單元17062提供的、表示輸入圖像中處理單元的位置的信息中識別輸入圖像中處理單元的位置，並且基於其位置從圖120中的前景背景分離單元17033提供的前景分量中獲取處理單元的像素的像素值。此外，聯立方程獲取單元17063將處理單元的像素的像素值代入從公式創建單元17062提供的表達式(166)至表達式(170)的公式，從而獲取N+1個聯立方程，並且將這些提供給物理模型值獲取單元17052。
物理模型值獲取單元17052包括聯立方程計算單元17064，並且從聯立方程獲取單元17063提供的聯立方程提供給聯立方程計算單元17064。聯立方程計算單元17064計算(求解)從聯立方程獲取單元17063提供的聯立方程，從而獲得定義近似現實世界1信號的表達式(137)和表達式(138)中樣條函數的N+1個變量yk，並且將這些提供給再混合單元17053。
再混合單元17053通過僅在曝光時間期間在時間方向上積分通過假設用從聯立方程計算單元17064提供的變量yk定義的樣條函數在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，並且也在x方向上例如以預先確定增量例如處理單元的像素#k在x方向上的寬度來積分(再積分)，獲得並輸出不具有運動模糊的像素值。
而且，如果再混合單元17053在x方向上以處理單元的像素#k在x方向上的寬度為增量執行積分，表達式(171)至表達式(173)表示的像素值獲得，並且像素值的圖像由與輸入圖像相同數目的像素構成。而且，如果再混合單元17053在x方向上以例如處理單元的像素#k在x方向上的1/2寬度為增量執行積分，表達式(174)至表達式(179)表示的像素值獲得，並且對於其像素值的圖像，水平方向上的像素由輸入圖像水平方向上兩倍數目的像素構成。
接下來，將參考圖138中的流程圖描述圖137中的運動模糊調節單元17035的處理。
首先，在步驟S17051中，建模單元17061獲取用作從圖120中的運動模糊調節量輸出單元17032提供的連續性信息的運動量v，以及從處理單元確定單元17034提供的處理單元信息，並且流程前進到步驟S17052。在步驟S17052中，建模單元17061使得投影在用步驟S17051中獲取的處理單元信息表示的處理單元上的現實世界1光信號，經歷依照圖125中所示的物理模型的建模。
也就是說，建模單元17061基於從處理單元確定單元17034提供的處理單元信息來識別構成處理單元的像素數目。此外，建模單元17061從構成處理單元的像素數目，以及在步驟S17051中獲取的運動量v中獲得圖125中的物理模型信息，並且將物理模型信息提供給公式創建單元17062，並且流程從步驟S17052前進到步驟S17053。
在步驟S17053中，公式創建單元17062從建模單元17061提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，將這些提供給聯立方程獲取單元17063，並且流程前進到步驟S17054。
注意步驟S17052和S17053中的處理關於圖120中的處理單元確定單元17034確定的所有處理單元而執行。
在步驟S17054中，聯立方程獲取單元17063選擇圖120中的處理單元確定單元17034處獲得的處理單元中，還沒有取作關注處理單元的處理單元作為關注處理單元，從圖120中的前景背景分離單元17033提供的前景分量中獲取關注處理單元的像素的像素值Yk，並且流程前進到步驟S17055。在步驟S17055中，聯立方程獲取單元17063將關注處理單元的像素的像素值Yk代入從公式創建單元17062提供的關於關注處理單元的表達式(166)至表達式(170)的公式，因此獲取與關注處理單元的像素數目相同數量的聯立方程，並且將這些提供給物理模型值獲取單元17052。
隨後，流程從步驟S17055前進到步驟S17056，在那裡聯立方程獲取單元17063確定在圖120中的處理單元確定單元17034處獲得的所有處理單元是否都已取作關注處理單元，如果確定並不是所有處理單元都已取作關注處理單元，流程返回到步驟S17054。在該情況下，在步驟S17054中，聯立方程獲取單元17063重新選擇在步驟S120中的處理單元確定單元17034處獲得的處理單元中還沒有取作關注處理單元的處理單元作為關注處理單元，此後重複相同的處理。
而且，如果在步驟S17056中確定在圖120中的處理單元確定單元17034處獲得的所有處理單元都已取作關注處理單元，也就是如果聯立方程已經關於在圖120中的處理單元確定單元17034處獲得的所有處理單元而獲得，流程前進到步驟S17057，在那裡聯立方程計算單元17064計算(求解)從聯立方程獲取單元17063提供的聯立方程，從而獲得近似現實世界1信號的表達式(137)和表達式(138)中的樣條函數，將這些提供給再混合單元17053，並且流程前進到步驟S17058。
在步驟S17058中，再混合單元17053使用從聯立方程計算單元17064提供的樣條函數執行再混合(再積分)。也就是說，再混合單元17053通過僅在曝光時間期間在時間方向上，積分通過假設從聯立方程計算單元17064提供的、為每個處理單元而獲得的樣條函數的每個在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，而且在x方向上例如以預先確定的增量例如處理單元的像素#k在x方向上的寬度積分(再積分)，來獲得每個處理單元的不具有運動模糊的像素值，並且流程從步驟S17058前進到步驟S17059。在步驟S17059中，再混合單元17053輸出由對每個處理單元而獲得的不具有運動模糊的像素值構成的圖像，也就是不具有運動模糊的前景對象的圖像，並且處理結束。
如上所述，假設與輸入圖像的空間方向的x方向上位置相對應的每個像素的像素值，其中現實世界1光信號投影在每個具有時間-空間積分效應的多個像素上，並且現實世界1光信號連續性的一部分丟失的圖像數據內前景對象的運動量被設置，是由與樣條函數近似的現實世界1光信號相對應的光信號函數(現實世界函數)F(x)在x方向和時間方向上積分根據前景對象的運動量在時間方向上相移時運動的物理模型而獲取的像素值，配置可以進行以估計光信號函數F(x)，並且作為其估計的結果，近似光信號函數F(x)的樣條函數可以獲得。
此外，配置已經進行，其中由輸入圖像中前景對象的運動模糊去除的像素值構成的圖像通過在x方向和在時間方向上以預先確定的增量積分(再積分)近似其光信號函數F(x)的樣條函數來產生，藉此通過從輸入圖像中去除運動模糊而獲得的圖像可以獲得。
也就是說，通常，一定程度的運動模糊在攝影中允許，例如普通電視廣播，以及電影，而且運動模糊有時通過調節照相機的曝光時間而用作視覺效果。但是，如果運動模糊在通過用照相機成像而獲得的圖像上發生，基本上難以從包括運動模糊的圖像中去除運動模糊，並且如果過多的運動模糊在獲得的圖像上發生，包括運動模糊的圖像作為攝影失敗而丟棄。
而且，用於去除運動模糊的常規方法的實例包括使用對其運動方向和運動量最適合的維納濾波器來執行處理的方法。但是，使用維納濾波器的處理帶來理想狀態中(關於理想圖像)的優點，但是失敗有時關於例如經歷量化且另外包含噪聲的圖像而發生。
另一方面，如上所述，如果估計光信號函數F(x)，並且積分作為其估計結果近似光信號函數F(x)的樣條函數，運動模糊去除的清晰圖像可以甚至從例如經歷量化且另外包含噪聲的真實圖像中獲得。
注意使用通過估計光信號函數F(x)，並且積分作為其估計結果近似光信號函數F(x)的樣條函數來去除運動模糊的技術，即使在作為運動模糊原因的前景對象等的運動量小於像素大小的情況下，運動模糊可以精確地去除。
而且，如果估計光信號函數F(x)，並且積分作為其估計結果近似光信號函數F(x)的樣條函數，運動模糊可以去除，並且可獲得的圖像的像素數目可以根據積分樣條函數時積分範圍的設置而增加。也就是說，圖像的像素數目可以隨著例如類型分類適應處理，線性內插處理等而增加，但是例如當其運動模糊通過使用維納濾波器的處理而去除的圖像經歷類型分類適應處理或線性內插處理時，因使用維納濾波器的處理而引起的失敗有時加重。另一方面，如果估計光信號函數F(x)，並且積分作為其估計結果近似光信號函數F(x)的樣條函數，運動模糊的去除以及可獲得的圖像的像素數目的增加可以同時進行，而不執行類型分類適應處理，線性內插處理等。這裡，根據圖像的像素數目的增加，圖像的解析度可以提高，或者圖像可以放大。而且，時間方向上的解析度同樣可以依賴於積分近似光信號函數F(x)的樣條函數時積分範圍的設置而提高，與可獲得的圖像的像素數目，也就是空間方向上解析度的增大一樣。
注意如果估計光信號函數F(x)，除了使用圖125中所示現實世界1光信號用平滑改變的函數(這裡樣條函數)近似，並且平滑改變的函數連續運動的物理模型之外，現實世界1光信號使用以像素寬度為增量取穩定值的階式函數近似，並且階式函數以像素寬度為增量以離散方式運動的物理模型可以使用。在該情況下，近似投影在像素上的現實世界1光信號的階式函數的值在像素內是恆定的，所以空間混合不發生，但是階式函數以像素寬度為增量以離散方式運動，所以對於其運動之前和之後，階式函數的不同值投影在像素上，使得時間混合發生。因此，現實世界1光信號使用以像素寬度為增量取穩定值的階式函數來近似，並且階式函數以像素寬度為增量以離散方式運動的物理模型可以看作不考慮空間混合而僅考慮時間混合的模型。
使用階式函數的物理模型考慮時間混合，與使用平滑改變的函數的物理模型一樣，所以即使在利用使用階式函數的物理模型的情況下，運動模糊可以去除。但是，使用平滑改變的函數的物理模型不僅考慮時間混合而且考慮空間混合，所以在利用使用平滑改變的函數的物理模型的情況下，可以執行比使用階式函數的物理模型的情況更高精度的處理。
接下來，例如，如果集中於投影在小區域例如圖像傳感器的一個像素上的現實世界1光信號，這種小區域中的光信號的變化通常小。因此，如果估計現實世界1光信號，現實世界1光信號可以通過引入像素處光信號的變化(混亂)小的約束條件更精確地估計。
現在，例如，如上所述，讓我們假定現實世界1光信號用三維樣條函數近似，並且像素處光信號的變化小的約束條件被引入。現在，術語「像素處光信號的變化小」意思是相當於比像素更細微解析度的部分的像素值中的變化小。而且，術語「像素處光信號的變化小」意思是像素內傾斜小，如果我們假定像素內某個位置處像素值的變化量是像素內傾斜。
像素處光信號的變化小的約束條件可以使用例如像素處光信號的最大值和最小值之間的差等於或小於(小於)預先確定閾值的表達式來描述。
現在，以下，描述這種約束條件的表達式稱作約束條件表達式，如果適當的話。
為了描述假設像素處光信號的最大值和最小值之間的差等於或小於預先確定閾值的約束條件表達式，一個像素處光信號的最大值和最小值是必需的。但是，根據上面三維樣條函數，一個像素處的現實世界1光信號用相當於用三維表達式表示的曲線的曲線來近似，使用這種曲線上像素處的最大值和最小值來描述約束條件表達式是困難的。
因此，這裡，例如，如圖139中所示，讓我們假定假設通過將一個像素區域平均劃分成三個區域而獲得的三個小區域處的像素值相等的約束條件表達式用作描述假設像素內光信號的變化小的約束條件的約束條件表達式。
這裡，使用假設一個像素劃分成不同於三個的數目的小區域的約束條件表達式，並且各個小區域的像素值相等，是可能的。但是，如果使用三維樣條函數作為近似現實世界1光信號的樣條函數，一個像素需要劃分成三個或更多小區域。
圖139說明，假設水平方向為x方向，且垂直方向為現實世界1光信號的光度方向，近似光信號的三維樣條函數。
現在，讓我們假定通過將用樣條函數近似的現實世界1光信號投影在通過將某個像素的x方向劃分成三個相等區域而獲得的三個小區域上而獲得的像素值，如圖139中所示，用從左側小區域的像素值開始順序地SL，SC和SR表示。注意，像素值SL，SC和SR等於通過關於將一個像素的x方向平均劃分成三份的每個區域積分用樣條函數近似的現實世界1光信號的曲線而獲得的積分值，也就是，等於由用樣條函數近似的現實世界1光信號的曲線，x軸，以及將一個像素的x方向平均劃分成三份的、平行於光度方向的直線所包圍的面積。
假設通過將一個像素的區域平均劃分成三份而獲得的三個小區域處的像素值SL，SC和SR相等的約束條件表達式可以使用下面的表達式表示。
SL＝SC＝SR...(180)注意，通過將一個像素的區域平均劃分成三份而獲得的三個小區域處的像素值相等的條件相當於像素處光信號的變化小的條件。
表達式(180)的約束條件表達式可以分成下面兩個約束條件表達式。
SL-SC＝0 ...(181)SC-SR＝0 ...(182)如上所述，像素值SL，SC和SR是通過對於將一個像素的x方向平均劃分成三份的每個範圍積分用樣條函數近似的現實世界1光信號的曲線而獲得的積分值，所以可以通過假設表達式(139)的積分範圍(α，β)是將一個像素的x方向平均劃分成三份的範圍根據下面的表達式獲得。
SL=-31481Mk-1-38481Mk+19yk-1+29yk---(183)]]>SC=-7143636Mk-1-12123636Mk-7143636Mk+1+172yk-1+1136yk+172yk+1]]>
…(184)SR=-38481Mk-38481Mk+1+29yk+19yk+1---(185)]]>注意，表達式(183)至表達式(185)中的Mk用上面表達式(140)和表達式(141)表示。
根據表達式(181)的約束條件表達式，下面表達式中所示的N-1個約束條件表達式可以通過將表達式(183)和表達式(184)分別代入像素值SL和SC而獲得。
172(7yk-1-6yk-yk+1)]]>+143636i=0N{-425(ak-2,i-2-2ak-2,i-1+ak-2,i)]]>-366(ak-1,i-2-2ak-1,i-1+ak-1,i)]]>+71(ak,i-2-2ak,i-1+ak,i)}yi=0]]>，其中(k＝1，…，N-1)…(186)而且，根據表達式(182)的約束條件表達式，下面表達式中所示的N-1個約束條件表達式可以通過將表達式(184)和表達式(185)分別代入像素值SC和SR而獲得。
172(yk-1-6yk-7yk+1)]]>+143636i=0N{-71(ak-2,i-2-2ak-2,i-1+ak-2,i)]]>+366(ak-1,i-2-2ak-1,i-1+ak-1,i)]]>(ak,i-2-2ak,i-1+ak,i)}yi=0]]>，其中(k＝1，…，N-1) …(187)因此，根據約束條件的引入，表達式(186)和表達式(187)的總共2(N-1)個約束條件表達式可以獲得。
圖140是描述使用約束條件表達式估計現實世界的方法的圖。
根據圖125中所示的物理模型，表達式(166)至表達式(170)中所示N+1個公式可以獲得(產生)。現在，在上面的情況中，平坦假設已經引入，表達式(166)至表達式(170)中所示的N+1個公式中，表達式(166)至表達式(168)的三個是受平坦假設影響的表達式，而表達式(169)和表達式(170)的另外兩個表達式是不受平坦假設影響的表達式。
另外，根據約束條件的引入，用表達式(186)和表達式(187)表示的2(N-1)個約束條件表達式可以獲得。
因此，根據約束條件的引入，表達式(166)至表達式(170)，表達式(186)以及表達式(187)的總共3N-1(＝N+1+2(N-1))個公式可以獲得。
也就是說，對於圖125中所示的物理模型，定義近似現實世界1光信號的樣條函數的變量yk的數目是N+1，但是另一方面，大於變量yk數目的3N-1個公式可以獲得。
大於未知變量yk的數目的3N-1個公式不能作為聯立方程求解。因此，這裡，讓我們假定使得在3N-1個公式的每個發生的誤差平方和達到最小的變量yk被獲得，也就是，由受平坦假設影響的表達式(166)至表達式(168)，不受平坦假設影響的表達式(169)至表達式(170)，以及表達式(186)和表達式(187)的約束條件表達式構成的3N-1個公式使用最小二乘法求解，如圖140中所示。
首先，讓我們考慮表達式(166)至表達式(170)的N+1個公式的誤差平方和。
現在，讓我們假定表達式(166)至表達式(170)的N+1個公式用矩陣和列向量表示，如下面表達式中所示。
A0,0A0,1A0,NA1,0A1,1A1,NAN,0AN,1AN,Ny0y1yNY0Y1YN---(188)]]>在表達式(188)中，右側和左側的誤差ek用表達式(189)表示。
ek=Yk-i=0NAk,iyi]]>，其中(k＝0，…，N) …(189)現在，如上所述，表達式(166)至表達式(170)中所示的N+1個公式中，表達式(166)至表達式(168)的三個是受平坦假設影響的表達式，而表達式(169)和表達式(170)的另外兩個表達式是不受平坦假設影響的表達式。
因此，讓我們考慮將表達式(166)至表達式(170)的N+1個公式中的誤差平方和劃分成受平坦假設影響的表達式(166)至表達式(168)的誤差平方和E1，以及不受平坦假設影響的表達式(169)和表達式(170)的誤差平方和E2。
誤差平方和E1和E2與用表達式(189)表示的誤差平方和ek一樣如下表示。
E1=k=0P(ek)2=k=0P(Yk-i=0NAk,iyi)2---(190)]]>E2=k=P+1N(ek)2=k=P+1N(Yk-i=0NAk,iyi)2---(191)]]>注意在表達式(190)和表達式(191)中，P是用使用運動量v的表達式P＝[v+0.5]表示的值，也就是等於或小於v+0.5的最大整數值。
接下來，讓我們考慮表達式(186)的N-1個約束條件表達式的誤差平方和。
現在，讓我們假定表達式(186)的N-1個約束條件表達式用矩陣和列向量表示，如下面表達式中所示。
B1,0B1,1B1,NB2,0B2,1B2,NBN-1,0BN-1,1BN-1,Ny0y1yN000---(192)]]>在表達式(192)中，右側和左側的誤差ek用表達式(193)表示。
ek=0-i=0NBk,iyi]]>，其中(k＝1，…,N-1)...(193)因此，如果我們將表達式(193)的誤差ek的平方和表示為E3，誤差ek的平方和E3如下表示。
E3=k=1N-1(ek)2=k=1N-1(i=0NBk,iyi)2---(194)]]>接下來，讓我們考慮表達式(187)的N-1個約束條件表達式的誤差平方和。
現在，讓我們假定表達式(187)的N-1個約束條件表達式用矩陣和列向量表示，如下面表達式中所示。
C1,0C1,1C1,NC2,0C2,1C2,NCN-1,0CN-1,1CN-1,Ny0ytyN000---(195)]]>在表達式(195)中，右側和左側的誤差ek用表達式(196)表示。
ek=0-i=0NCk,iyi]]>，其中(k＝1，…，N-1) …(196)因此，如果我們將表達式(196)的誤差ek的平方和表示為E4，誤差ek的平方和E4如下表示。
E4=k=1N-1(ek)2=k=1N-1(i=0NCk,iyi)2---(197)]]>如果我們將表達式(166)至表達式(170)，表達式(186)和表達式(187)的3N-1個公式左側和右側的誤差平方和表示為E，誤差平方和E是表達式(190)的平方和E1，表達式(191)的平方和E2，表達式(194)的平方和E3，以及表達式(197)的平方和E4的和，所以可以通過計算下面的表達式獲得。
E＝E1+E2+E3+E4…(198)獲得使得表達式(198)表示的誤差平方和E達到最小的變量yk允許由變量yk定義的樣條函數更精確地近似圖125中所示物理模型中的現實世界1光信號，並且也減小像素中的變化。
現在，用表達式(198)表示的誤差平方和E可以粗略地劃分成受平坦假設影響的表達式中的誤差平方和E1，不受平坦假設影響的表達式中的誤差平方和E2，以及約束條件表達式中的誤差平方和E3+E4三種類型。
因此，這裡，讓我們假定上面三種類型誤差中，例如，以關於不受平坦假設影響的表達式中誤差平方和E2的權重作為標準(作為1)，如圖140中所示，關於受平坦假設影響的表達式中誤差平方和E1的權重用W1表示，以及關於約束條件表達式中誤差平方和E3+E4的權重用W2表示，表達式(166)至表達式(170)，表達式(186)以及表達式(187)的3N-1個表達式左側和右側中的誤差平方和E用表達式(199)表示，代替表達式(198)。
E＝W1·E1+E2+W2(E3+E4) ...(199)表達式(199)中的權重W1和權重W2允許受平坦假設影響的表達式中引起的誤差，不受平坦假設影響的表達式中引起的誤差，以及約束條件表達式中引起的誤差之間的均衡被調節。
權重W1表示在獲得近似現實世界1光信號的樣條函數的情況下在平坦假設上放置權重的程度。例如，如果設置權重W1為1，近似現實世界1光信號的樣條函數可以通過平等地對待受平坦假設影響的表達式以及不受平坦假設影響的表達式而獲得。而且，例如，如果設置權重W1為0，近似現實世界1光信號的樣條函數可以獲得，而不考慮因平坦假設而導致的誤差。
權重W2表示在獲得近似現實世界1光信號的樣條函數的情況下在約束條件上放置權重的程度。用作權重W2的值越大，請求作為近似現實世界1光信號的樣條函數的變化越小。關於權重W1，等於或大於0的值可以使用，例如。如果平坦假設精確地近似現實世界1光信號，精確近似現實世界1光信號的樣條函數可以通過設置等於或大於1的值給權重W1而獲得。關於權重W2，大約10-5～0.1的值可以使用，例如。
現在，根據表達式(199)，關於在不受平坦假設影響的表達式中引起的誤差的權重可以通過調節關於受平坦假設影響的表達式中引起的誤差的權重W1，以及關於約束條件表達式中引起的誤差的權重W2來相對地調節。但是，在表達式(199)中，除了權重W1和權重W2之外，配置可以這樣進行，其中關於不受平坦假設影響的表達式中引起的誤差的權重被提供，從而直接調節該權重。
使得表達式(199)表示的誤差平方和E達到最小的變量yk是將0設置為使得誤差平方和E經歷關於變量yk的偏微分的值的變量yk，如下面的表達式中所示。
Eyn=W1E1yn+E2yn+W2(E3yn+E4yn)=0]]>，其中(n＝0，…，N)…(200)
當表達式(190)的平方和E1，表達式(191)的平方和E2，表達式(194)的平方和E3，以及表達式(197)的平方和E4代入表達式(200)中並計算時，表達式(200)的正則方程獲得。
i=0N{W1k=0PAk,iAk,n+k=P+1NAk,iAk,n+W2k=1N-1(Bk,iBk,n+Ck,iCk,n)}yi]]>=W1k=0PAk,nyk+k=P+1NAk,nyk]]>，其中(n＝0，…，N)…(201)表達式(201)的正則方程是N+1維聯立線性方程，並且用變量yk定義的表達式(137)的樣條函數Ck(x)可以通過求解該表達式(201)而獲得。
當表達式(201)的正則方程用矩陣和列向量表示時，這些變成例如表達式(202)中所示。
在近似現實世界1光信號的樣條函數Ck(x)獲得之後，具有任意解析度且不具有運動模糊的圖像可以通過執行再積分而獲得，與約束條件表達式沒有引入的情況一樣。
也就是，如果我們假定曝光時間為1，具有期望解析度且不具有運動模糊的圖像可以通過設置期望值給表達式(139)中的積分範圍(α，β)來獲得。
特別地，例如，與原始圖像具有相同解析度的圖像可以通過計算上面表達式(171)至表達式(173)而獲得。而且，例如，具有原始圖像水平方向上兩倍解析度的圖像可以通過計算上面表達式(174)至表達式(179)而獲得。
現在，可以設想平坦假設提供除處理單元的區域之外的區域中現實世界1光信號是穩定值的約束條件。在該情況下，權重W2可以看作關於描述這種約束條件的約束條件表達式的權重。
接下來，圖141說明圖120中運動模糊調節單元17035的另一種構造實例，其如上所述由近似現實世界1光信號(光信號函數F(x))的樣條函數來產生不具有運動模糊的圖像，如果必要的話進一步具有高解析度的圖像。注意在附圖中，與圖12025的情況中那些相對應的部分用相同的參考數字表示，以下如果適當的話，其描述將省略。
對於圖141中的運動模糊調節單元17035，近似關於輸入圖像的現實世界1光信號的樣條函數可以使用描述約束條件的表達式(186)和表達式(187)中所示2(N-1)個約束條件表達式，以及基於圖125中所示物理模型而獲得的表達式(166)至表達式(170)中所示N+1個公式來獲得，從而產生具有期望解析度且不具有運動模糊的圖像。
也就是說，在圖141中，運動模糊調節單元17035包括物理模型應用單元17081，像素內約束公式創建單元17082，物理模型值獲取單元17083，以及再混合單元17053。在圖141中，配置可以這樣進行，其中用作從運動模糊調節量輸出單元17032提供的連續性信息的運動量v，以及從處理單元確定單元17034提供的處理單元信息提供給物理模型應用單元17081。而且，從圖120中的前景背景分離單元17033提供的前景分量被安排提供給物理模型值獲取單元17083。
物理模型應用單元17081包括建模單元17091，和公式創建單元17092。
用作從圖120中的運動模糊調節量輸出單元17032提供的連續性信息的運動量v，以及從處理單元確定單元17034提供的處理單元信息提供給建模單元17091。
建模單元17091基於從處理單元確定單元17034提供的處理單元信息識別構成處理單元的像素數目(例如，圖125中物理模型中的N+1個像素)，與圖137中的建模單元17061一樣。此外，建模單元17091從構成處理單元的像素數目以及運動量v中獲得圖125中的物理模型信息，並且將物理模型信息提供給像素內約束條件創建單元17082，和公式創建單元17092，與圖137中的建模單元17061一樣。
公式創建單元17092從建模單元17091提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，並且將這些提供給物理模型值獲取單元17083。注意，將在公式創建單元17092處創建的表達式(166)至表達式(170)的公式是其變量v使用用作從圖120中的運動模糊調節量輸出單元17032提供給建模單元17091的連續性信息的運動量v的特定值取代的公式。
像素內約束公式創建單元17082從建模單元17091提供的信息中識別構成處理單元的像素數目N+1，創建表達式(186)至表達式(187)中所示的約束條件表達式，並且將這些提供給物理模型值獲取單元17083。
物理模型值獲取單元17083，其包括最小二乘法應用單元17093，通過將最小二乘法應用於從公式創建單元17092提供的表達式(166)至表達式(170)，以及從像素內約束公式創建單元17082提供的表達式(186)和表達式(187)中所示的約束條件表達式，並求解這些，獲得表達式(137)的樣條函數(定義樣條函數的變量yk)。
也就是說，最小二乘法應用單元17093從圖120中的前景背景分離單元17033提供的前景分量中獲取處理單元的像素的像素值，通過將其像素值代入從公式創建單元17092提供的表達式(166)至表達式(170)，以及從像素內約束公式創建單元17082提供的表達式(186)和表達式(187)中所示的約束條件表達式的公式中獲得的表達式(201)(或表達式(202))的正則方程並且求解這些，獲得表達式(137)的樣條函數(定義樣條函數的變量yk)，並將獲得的樣條函數提供給再混合單元17053。
注意如果最小二乘法應用單元17093求解表達式(201)的正則方程，權重W1和權重W2是必需的，但是讓我們假定固定值在最小二乘法應用單元17093處預先設置給權重W1和權重W2，例如。
接下來，將參考圖142中的流程圖描述圖141中運動模糊調節單元17035的處理。
首先，在步驟S17081中，建模單元17091獲取用作從圖120中的運動模糊調節量輸出單元17032提供的連續性信息的運動量v，以及從處理單元確定單元17034提供的處理單元信息，並且流程前進到步驟S17082。在步驟S17082中，建模單元17091使得投影在用步驟S17081中獲取的處理單元信息表示的處理單元上的現實世界1光信號，經歷依照圖125中所示的物理模型的建模。
也就是說，建模單元17091基於從處理單元確定單元17034提供的處理單元信息來識別構成處理單元的像素數目。此外，建模單元17091從構成處理單元的像素數目，以及在步驟S17081中獲取的運動量v中獲得圖125中的物理模型信息，並且將物理模型信息提供給像素內約束公式創建單元17082和公式創建單元17092，並且流程從步驟S17082前進到步驟S17083。
在步驟S17083中，公式創建單元17092從建模單元17091提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，將這些提供給物理模型值獲取單元17083，並且流程前進到步驟S17084。
在步驟S17084中，像素內約束公式創建單元17082創建表達式(186)和表達式(187)中所示的約束條件表達式，將這些提供給物理模型值獲取單元17083，並且流程前進到步驟S17085。
注意步驟S17082至S17084中的處理關於圖120中的處理單元確定單元17034確定的所有處理單元而執行。
在步驟S17085中，物理模型值獲取單元17083的最小二乘法應用單元17093選擇圖120中的處理單元確定單元17034處獲得的處理單元中，還沒有取作關注處理單元的處理單元作為關注處理單元，從圖120中的前景背景分離單元17033提供的前景分量中獲取關注處理單元的像素的像素值Yk，並且流程前進到步驟S17086。
在步驟S17086中，最小二乘法應用單元17093通過將關注處理單元的像素的像素值Yk代入從公式創建單元17092提供的關於關注處理單元的表達式(166)至表達式(170)，以及從像素內約束公式創建單元17082提供的表達式(186)和表達式(187)中所示的約束條件表達式，並進一步使用權重W1和權重W2列出表達式(201)的正則方程，來獲得表達式(201)的正則方程，並且流程前進到步驟S17087。
在步驟S17087中，最小二乘法應用單元17093確定在圖120中的處理單元確定單元17034處獲得的所有處理單元是否都已取作關注處理單元，並且如果確定並不是所有處理單元都已取作關注處理單元，流程返回到步驟S17085。在該情況下，在步驟S17085中，最小二乘法應用單元17093重新選擇在步驟S120中的處理單元確定單元17034處獲得的處理單元中還沒有取作關注處理單元的處理單元作為關注處理單元，此後重複相同的處理。
而且，如果在步驟S17087中確定在圖120中的處理單元確定單元17034處獲得的所有處理單元都已取作關注處理單元，也就是如果正則方程已經關於在圖120中的處理單元確定單元17034處獲得的所有處理單元而獲得，流程前進到步驟S17088，在那裡最小二乘法應用單元17093通過求解關於所有處理單元而獲得的正則方程來獲得關於每個處理單元的表達式(137)的樣條函數(定義樣條函數的變量yk)，也就是獲得近似現實世界1信號的表達式(137)和表達式(138)的樣條函數，將這些提供給再混合單元17053，並且流程前進到步驟S17089。
在步驟S17089中，再混合單元17053使用從最小二乘法應用單元17093提供的樣條函數執行再混合(再積分)。也就是說，再混合單元17053通過僅在曝光時間期間在時間方向上，積分通過假設從最小二乘法應用單元17093提供的、為每個處理單元而獲得的樣條函數的每個在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，而且在x方向上例如以預先確定的增量例如處理單元的像素#k在x方向上的寬度積分(再積分)，來獲得每個處理單元的不具有運動模糊的像素值，並且流程從步驟S17089前進到步驟S17090。在步驟S17090中，再混合單元17053輸出由對每個處理單元而獲得的不具有運動模糊的像素值構成的圖像，也就是不具有運動模糊的前景對象的圖像，並且處理結束。
如上所述，假設與輸入圖像的空間方向的x方向上位置相對應的每個像素的像素值，其中現實世界1光信號投影在每個具有時間-空間積分效應的多個像素上，並且現實世界1光信號連續性的一部分丟失的輸入圖像內前景對象的運動量被設置，是由與樣條函數近似的現實世界1光信號相對應的光信號函數(現實世界函數)F(x)在x方向和時間方向上積分根據前景對象的運動量在時間方向上相移時運動的物理模型而獲取的像素值，配置可以進行以通過使用提供用近似光信號函數F(x)的樣條函數表示的像素內像素值變化小的約束條件的約束條件表達式來估計光信號函數F(x)，並且作為其估計的結果，近似光信號函數F(x)的樣條函數可以獲得。
此外，配置已經進行，其中由輸入圖像中前景對象的運動模糊去除的像素值構成的圖像通過在x方向和在時間方向上以預先確定的增量積分(再積分)近似其光信號函數F(x)的樣條函數來產生，藉此通過從輸入圖像中去除運動模糊而獲得的圖像可以獲得。
注意，像素值變化小的約束條件可以應用於時間方向，以及空間方向(上面情況中x方向)。
接下來，對於圖113中的信號處理設備4，在現實世界估計單元17003處估計現實世界的處理，以及在圖像生成單元17004處使用現實世界的估計結果產生圖像的處理以下整體稱作現實處理。
圖143說明執行現實處理的現實處理單元17100的構造實例。
現實處理單元17100提供有經歷現實處理的輸入圖像，以及現實處理(估計現實世界的處理以及使用現實世界估計結果產生圖像的處理)所需的參數。現實處理單元17100包括現實世界處理單元17003和圖像生成單元17004。對於現實世界估計單元17003，估計現實世界的處理使用輸入圖像和現實處理所需參數來執行。對於圖像生成單元17004，例如，通過從輸入圖像中去除運動模糊而獲得的圖像，具有比輸入圖像更高解析度的圖像，通過從輸入圖像中去除運動模糊而獲得的而且具有比輸入圖像更高解析度的圖像等使用現實世界的估計結果來產生。
現在，提供給現實處理單元17100的、現實處理所需的參數的實例包括從圖113中的處理區域設置單元17001輸出的處理區域信息，從連續性設置單元17002輸出的連續性信息，以及另外在表達式(199)中引入的權重W1和權重W2。
圖144說明在執行通過從包含運動模糊的輸入圖像中去除運動模糊來獲得圖像的處理，或者獲得運動模糊從其中去除並且具有比輸入圖像更高解析度的圖像的處理的情況下圖143中現實處理單元17100的構造實例。注意在附圖中，與圖137中運動模糊調節單元17035的情況下那些相對應的部分用相同的參考數字表示，以下如果適當的話，其描述將省略。
圖144中的現實處理單元17100提供有輸入圖像，並且也提供有來自圖113中的處理區域設置單元17001的處理區域信息作為現實處理的必需參數，以及提供有來自連續性設置單元17002的連續性信息作為現實處理的必需參數。現在，讓我們假定在圖144中，輸入圖像中用處理區域信息表示的處理區域中顯示的對象例如以恆定速度在水平方向上運動，因此，運動模糊在處理區域中發生。此外，讓我們假定在圖144中，處理區域中顯示的對象的運動量v用作連續性信息。注意，如上所述細線以傾斜方向顯示的圖像可以用作輸入圖像。在該情況下，處理區域信息需要是表示輸入圖像中包含細線的區域(處理區域)的信息，並且連續性信息需要是表示細線方向(角度)的信息。
在圖144中，輸入圖像提供給預處理單元17101。而且，現實處理所需參數中的處理區域信息提供給物理模型應用單元17051的建模單元17061，以及預處理單元17101。此外，現實處理所需參數中的連續性信息提供給物理模型應用單元17051的建模單元17061。
預處理單元17101從處理區域信息中識別處理區域，從輸入圖像中提取構成處理區域的像素的像素值，並且將這些提供給物理模型應用單元17051的聯立方程獲取單元17063。
接下來，將參考圖145中的流程圖描述圖144中現實處理單元17100的處理。
首先，在步驟S17101中，建模單元17061獲取從圖113中的處理區域設置單元17001提供的處理區域信息，以及用作從連續性設置單元17002提供的連續性信息的運動量v作為現實處理所需的參數，而且預處理單元17101獲取從圖113中的處理區域設置單元17001提供的處理區域信息作為現實處理所需的參數，並且流程前進到步驟S17102。在步驟S17102中，預處理單元17101從處理區域信息中識別處理區域，從輸入圖像中提取構成處理區域的像素的像素值，並且將這些提供給物理模型應用單元17051的聯立方程獲取單元17063。
隨後，流程從步驟S17102前進到步驟S17103，在那裡建模單元17061使得投影在用步驟S17101中獲取的處理區域信息表示的處理區域上的現實世界1光信號，經歷依照圖125中所示的物理模型的建模。
也就是說，建模單元17061基於從處理區域設置單元17001提供的處理區域信息來識別構成處理區域的每個水平線的像素數目。這裡，處理區域的每個水平線相當於用圖137中的運動模糊調節單元17035描述的處理單元。此外，建模單元17061從構成處理區域的每個水平線的像素數目，以及在步驟S17101中獲取的運動量v中獲得圖125中的物理模型信息，並且將物理模型信息提供給公式創建單元17062，並且流程從步驟S17103前進到步驟S17104。
在步驟S17104中，公式創建單元17062從建模單元17061提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，將這些提供給聯立方程獲取單元17063，並且流程前進到步驟S17105。
注意步驟S17103和S17104中的處理關於用處理區域信息表示的處理區域的所有水平線而執行。
在步驟S17105中，聯立方程獲取單元17063選擇用處理區域信息表示的處理區域的水平線中還沒有取作關注水平線的水平線，從預處理單元17101提供的處理區域的像素值中獲取關注水平線的像素的像素值Yk，並且流程前進到步驟S17106。在步驟S17106中，聯立方程獲取單元17063將關注水平線的像素的像素值Yk代入從公式創建單元17062提供的關於關注水平線的表達式(166)至表達式(170)的公式，因此獲取與關注水平線的像素數目相同數量的聯立方程，並且將這些提供給物理模型值獲取單元17052。
隨後，流程從步驟S17106前進到步驟S17107，在那裡物理模型值獲取單元17052的聯立方程計算單元17064計算(求解)從聯立方程獲取單元17063提供的關於關注水平線的聯立方程，因此獲得近似投影在關注水平線上的現實世界1信號的表達式(137)和表達式(138)中的樣條函數，將這些提供給再混合單元17053，並且流程前進到步驟S17108。
在步驟S17108中，再混合單元17053使用從聯立方程計算單元17064提供的樣條函數執行再混合(再積分)。也就是說，對於從聯立方程計算單元17064提供的關於水平線的樣條函數，再混合單元17053通過僅在曝光時間期間在時間方向上，積分通過假設其樣條函數在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，而且在x方向上例如以預先確定的增量例如處理區域的像素#k在x方向上的寬度積分(再積分)，來獲得關於關注水平線的不具有運動模糊的像素值，並且流程從步驟S17108前進到步驟S17109。
在步驟S17109中，聯立方程獲取單元17063確定用處理區域信息表示的處理區域的所有水平線是否都已取作關注水平線，如果確定並不是所有水平線都已取作關注水平線，流程返回到步驟S17105。在該情況下，在步驟S17105中，聯立方程獲取單元17063重新選擇處理區域的水平線中還沒有取作關注水平線的處理區域作為關注水平線，此後重複相同的處理。
而且，在步驟S17109中，如果確定處理區域的所有水平線都已取作關注水平線，也就是如果不具有運動模糊的像素關於處理區域的所有水平線而獲得，流程前進到步驟S17110，在那裡再混合單元17053輸出關於處理區域的所有水平線而獲得的不具有運動模糊的像素值，也就是不具有運動模糊的處理區域的圖像，並且處理結束。
如上所述，圖144中的現實處理單元17100可以獲得運動模糊從其中去除，如果必要的話具有高解析度的圖像，與圖137中的運動模糊調節單元17035的情況一樣。
接下來，圖146說明在執行通過從包含運動模糊的輸入圖像中去除運動模糊來獲得圖像的處理，或者獲得運動模糊從其中去除並且具有比輸入圖像更高解析度的圖像的處理的情況下圖143中現實處理單元17100的另一種構造實例。注意在附圖中，與圖141中運動模糊調節單元17035或者圖144中的現實處理單元17100的情況下那些相對應的部分用相同的參考數字表示，以下如果適當的話，其描述將省略。
圖146中的現實處理單元17100提供有輸入圖像，並且也提供有來自圖113中的處理區域設置單元17001的處理區域信息，以及提供有來自連續性設置單元17002的連續性信息。現在，讓我們假定在圖146中，與上面圖144中的情況一樣，輸入圖像中用處理區域信息表示的處理區域中顯示的對象例如以恆定速度在水平方向上運動，因此，運動模糊在處理區域中發生。此外，讓我們假定在圖146中，在處理區域中顯示的對象的運動量v例如用作連續性信息。
在圖146中，輸入圖像提供給預處理單元17101。而且，現實處理所需參數中的處理區域信息提供給物理模型應用單元17081的建模單元17091，以及預處理單元17101。此外，現實處理所需參數中的連續性信息提供給物理模型應用單元17081的建模單元17091。
而且，在圖146中，配置可以這樣進行，其中表達式(201)中的權重W1和權重W2與處理區域信息和連續性信息一樣作為現實處理所需的參數提供給物理模型值獲取單元17083的最小二乘法應用單元17093。注意在圖146中，對於作為現實處理所需參數的權重W1和權重W2，例如，固定值預先設置給它們。而且，權重W1和權重W2可以通過例如用戶操作用戶I/F 17006作為幫助信息輸入。此外，對於權重W1和權重W2，例如根據處理區域的圖像特徵的可變值可以使用。
接下來，將參考圖147中的流程圖描述圖146中現實處理單元17100的處理。
首先，在步驟S17131中，建模單元17091獲取從圖113中的處理區域設置單元17001提供的處理區域信息，以及用作從連續性設置單元17002提供的連續性信息的運動量v作為現實處理所需的參數。此外，在步驟S17131中，物理模型值獲取單元17083的最小二乘法應用單元17093獲取用作從用戶I/F 17006等提供的幫助信息的權重W1和權重W2作為現實處理所需的參數，並且流程前進到步驟S17132。在步驟S17132中，預處理單元17101從處理區域信息中識別處理區域，從輸入圖像中提取構成處理區域的像素的像素值，並且將這些提供給物理模型值獲取單元17083的最小二乘法應用單元17093。
隨後，流程從步驟S17132前進到步驟S17133，在那裡建模單元17091使得投影在用步驟S17131中獲取的處理區域信息表示的處理區域的水平線上的現實世界1光信號，經歷依照圖125中所示的物理模型的建模。
也就是說，建模單元17091基於從處理區域設置單元17001提供的處理單元信息來識別構成處理區域的每個水平線的像素數目。此外，建模單元17091從構成處理區域的每個水平線的像素數目，以及在步驟S17131中獲取的運動量v中獲得圖125中的物理模型信息，並且將物理模型信息提供給像素內約束公式創建單元17082和公式創建單元17092，並且流程從步驟S17133前進到步驟S17134。
在步驟S17134中，公式創建單元17092從建模單元17091提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，將這些提供給物理模型值獲取單元17083，並且流程前進到步驟S17135。
在步驟S17135中，像素內約束公式創建單元17082創建表達式(186)和表達式(187)中所示的約束條件表達式，將這些提供給物理模型值獲取單元17083，並且流程前進到步驟S17136。
注意步驟S17133至S17135中的處理關於處理區域的所有水平線而執行。
在步驟S17136中，物理模型值獲取單元17083的最小二乘法應用單元17093選擇處理區域的水平線中還沒有取作關注水平線的水平線，從預處理單元17101提供的處理區域的像素值中獲取關注水平線的像素的像素值Yk，並且流程前進到步驟S17137。
在步驟S17137中，最小二乘法應用單元17093通過將關注水平線的像素的像素值Yk代入從公式創建單元17092提供的關於關注水平線的表達式(166)至表達式(170)，以及從像素內約束公式創建單元17082提供的表達式(186)和表達式(187)中所示的約束條件表達式的公式，並且使用權重W1和權重W2列出表達式(201)的正則方程，來獲取表達式(201)的正則方程，並且流程前進到步驟S17138。
在步驟S17138中，最小二乘法應用單元17093通過求解關於關注水平線而獲得的正則方程來獲得關於關注水平線的表達式(137)的樣條函數(定義樣條函數的變量yk)，也就是，獲得近似現實世界1信號的表達式(137)和表達式(138)的樣條函數，並且將這些提供給再混合單元17053，並且流程前進到步驟S17139。
在步驟S17139中，再混合單元17053使用從最小二乘法應用單元17093提供的樣條函數執行再混合(再積分)。也就是說，對於從最小二乘法應用單元17093提供的關於關注水平線而獲得的樣條函數的每個，再混合單元17053通過僅在曝光時間期間在時間方向上，積分通過假設其樣條函數在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，而且在x方向上例如以預先確定的增量例如處理區域的像素#k在x方向上的寬度積分(再積分)，來獲得關於關注水平線的不具有運動模糊的像素值，並且流程從步驟S17139前進到步驟S17140。
在步驟S17140中，最小二乘法應用單元17093確定處理區域的所有水平線是否都已取作關注水平線，如果確定並不是所有水平線都已取作關注水平線，流程返回到步驟S17136。在該情況下，在步驟S17136中，最小二乘法應用單元17093重新選擇處理區域中還沒有取作關注水平線的水平線作為關注水平線，此後重複相同的處理。
而且，在步驟S17140中，如果確定處理區域的所有水平線都已取作關注水平線，也就是如果不具有運動模糊的像素關於處理區域的所有水平線而獲得，流程前進到步驟S17141，在那裡再混合單元17053輸出關於處理區域的所有水平線而獲得的不具有運動模糊的像素值，也就是不具有運動模糊的處理區域的圖像，並且處理結束。
如上所述，圖146中的現實處理單元17100可以獲得運動模糊從其中去除，如果必要的話具有高解析度的圖像，與圖141中的運動模糊調節單元17035的情況一樣。
接下來，圖144和圖146中的現實處理單元17100已經產生通過從輸入圖像中去除運動模糊而獲得的圖像，或者通過從輸入圖像中去除運動模糊，並且提高超過輸入圖像中的解析度的圖像，假設運動模糊在輸入圖像上發生，但是現實處理單元17100可以從不具有運動模糊的輸入圖像中產生具有高解析度的圖像。注意產生具有高解析度的圖像從另一個觀點看可以看作產生放大的圖像。
如果使用圖125中所示的物理模型，從不具有運動模糊的輸入圖像中產生具有高解析度的圖像，運動量v為0的物理模型應當被考慮。
圖148是在運動量v為0的圖125中物理模型的情況下說明物理模型的圖。
因此，圖148表示這種物理模型，其中用樣條函數Ck(x)近似的光信號函數F(x)表示的光信號在圖像傳感器的曝光時間期間以靜止狀態投影在處理單元的像素上，並且電荷在像素上充電，從而獲得圖像。
這裡，圖148的左側視圖說明近似光信號函數F(x)的樣條函數Ck(x)，與圖124中的情況一樣。而且，圖148的右側視圖說明近似光信號函數F(x)的樣條函數Ck(x)的光度，假設水平方向是圖像傳感器的水平方向(處理單元的像素排列於其中的x方向)，正面方向是曝光時間，且垂直方向是光度。
根據圖148中所示的物理模型，用作由近似光信號函數F(x)的樣條函數Ck(x)在圖像傳感器的曝光時間的方向上運動而獲得的軌跡的曲面僅在曝光時間期間在時間方向上積分，並且在x方向上關於處理單元的像素#k在x方向上的長度積分，從而獲得像素#k的像素值Yk。
對於圖148中的物理模型，近似光信號函數F(x)的樣條函數Ck(x)在曝光時間期間不在空間方向上運動，所以因圖像傳感器的空間積分效應而引起的對象信號在空間方向上的混合(空間混合)在像素#k處發生，其中像素值Yk由該物理模型獲得，但是因圖像傳感器的時間積分效應而引起的對象信號在時間方向上的混合(時間混合)不發生。
根據圖148中的物理模型，像素#k的像素值Yk可以通過設置像素#k在x方向上的開始邊緣和結束邊緣(從左端到右端)之間的範圍為上面表達式(139)中的積分範圍(α，β)來獲得，如果曝光時間假設為1，與圖135描述的情況一樣。也就是說，對於圖148中的物理模型，像素Yk可以使用下面的表達式獲得。
Y0=18(7y0+y1)-764i=0N(a0,i-2-2a0,i-1+a0,i)yi---(203)]]>Yk=18(yk-1+6yk+yk+1)]]>-164i=0N{7(ak-2,i-2-2ak-2,i-1+ak-2,i)]]>+18((ak-1,i-2-2ak-1,i-1+ak-1,i]]>+7(ak,i-2-2ak,i-1+ak,i)}yi]]>，其中(k＝1，2，…，N-1)…(204)YN=18(yN-1+7yN)-764i=0N(aN-2,i-2-2aN-2,i-1+aN-2,i)yi---(205)]]>現在，讓我們假定對於圖148中的物理模型，平坦假設被使用。情況分成三類，也就是k＝0，k＝1～N-1，以及k＝N以獲得像素值Yk的原因由平坦假設引起，與圖135中描述的情況一樣。注意平坦假設不是必不可少的。
關於表達式(203)至表達式(205)，N+1個公式總共可以列出，並且定義樣條函數Ck(x)的未知變量yk同樣存在N+1個的數量。因此，光信號函數F(x)可以估計，也就是，這裡，近似光信號函數F(x)的樣條函數Ck(x)可以通過將從圖像傳感器獲得的像素值Yk代入表達式(203)至表達式(205)，列出N+1個聯立方程，也就是，N+1維聯立線性方程，並且求解N+1維聯立線性方程來獲得。
在近似光信號函數F(x)的樣條函數Ck(x)獲得之後，具有任意解析度的像素的像素值可以通過在x方向上預先確定範圍中積分樣條函數Ck(x)而獲得。也就是，如果我們假定曝光時間為1，具有任意解析度的像素的像素值可以通過設置期望範圍給上面表達式(139)中的積分範圍(α，β)來獲得。
特別地，例如，現在，讓我們考慮通過在x方向上將像素#k劃分成兩個而獲得的虛擬像素，並且讓我們將通過在x方向上將像素#k劃分成兩個而獲得的右側像素和左側像素表示為虛擬像素#k，left和#k，right。此外，讓我們將虛擬像素#k，left和#k，right的像素值分別表示為Xk，left和Xk，right。
像素值Xk，left和Xk，right，如圖149中所示，與圖136中一樣，可以通過僅在曝光時間期間在時間方向上積分通過假設近似光信號函數F(x)的樣條函數Ck(x)在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，並且以通過劃分處理單元的像素#k而獲得的虛擬像素#k，left和#k，right在x方向上的寬度為增量在x方向上積分(再積分)來獲得。
在該情況下，像素值Xk，left和Xk，right可以用下面的表達式獲得。
X0，left＝y0…(206)X0,right=14(3y0+y1)-732i=0N(a0,i-2-2a0,i-1+a0,i)yi---(207)]]>Xk,left=14(yk-1+3yk)]]>-132i=0N{7(ak-2,i-2-2ak-2,i-1+ak-2,i)]]>+9(ak-1,i-2-2ak-1,i-1+ak-1,i)}yi]]>，其中(k＝1，2，…，N-1) …(208)Xk,right=14(3yk+yk+1)]]>-132i=0N{9(ak-1,i-2-2ak-1,i-1+ak-1,i)]]>+7(ak,i-2-2ak,i-1+ak,i)}yi]]>，其中(k＝1，2，…，N-1) …(209)XN,left=14(yN-1+3yN)-732i=0N(aN-2,i-2-2aN-2,i-1+aN-2,i)yi---(210)]]>XN，right＝yN…(211)根據使用表達式(206)至表達式(211)獲得的像素值Xk，left和Xk，right，橫向上像素數目為像素原始數目兩倍的高解析度圖像(橫向上兩倍密度的圖像)可以獲得。
在上面的實例中，像素#k已經劃分成兩個，但是像素#k的劃分數目並不局限於二。而且，這裡，高於原始圖像(輸入圖像)的高解析度圖像已經試圖通過劃分像素#k來獲得，但是具有期望解析度的圖像可以通過調節假設近似光信號函數F(x)的樣條函數Ck(x)在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面的積分範圍來獲得。也就是，如果我們假定曝光時間為1，具有期望解析度的圖像可以通過設置期望值為表達式(139)中的積分範圍(α，β)而獲得。
注意，在上面的實例中，現實世界1光信號不隨著時間改變，所以時間方向上的積分效應不需要考慮。也就是說，這裡，用樣條函數近似的現實世界1光信號僅考慮因x方向上的積分效應而引起的混合(空間混合)來估計，所以該估計方法屬於上面一維近似方法(和一維再積分方法)。
而且，在上面的實例中，橫向上解析度增加的圖像已經考慮因x方向上的積分效應而引起的混合(空間混合)而產生，但是橫向和縱向上解析度都增加的圖像可以通過關於橫向上解析度增加的圖像考慮因y方向上的積分效應而引起的混合(空間混合)使用圖148中的物理模型來產生。另外，例如，橫向和縱向上解析度都增加的圖像可以通過關於輸入圖像考慮因x方向和y方向的二維方向上的積分效應而引起的混合(空間混合)使用圖148中的物理模型而產生。
如上所述，圖143中的現實處理單元17100允許從不具有運動模糊的輸入圖像中產生高解析度圖像，也就是創建所謂圖像解析度(空間方向上的解析度)。
圖150說明如上所述從不具有運動模糊的輸入圖像中產生高解析度圖像的現實處理單元17100的構造實例。
圖150中的現實處理單元17100提供有輸入圖像，並且也提供有來自圖113中的處理區域設置單元17001的處理區域信息作為現實處理的必需參數，以及提供有來自連續性設置單元17002的連續性信息作為現實處理的必需參數。現在，讓我們假定在圖150中，輸入圖像中用處理區域信息表示的處理區域上顯示的對象是靜止的。此外，讓我們假定在圖150中，表示處理區域中顯示的對象靜止，例如，也就是對象的運動量v為0的信息用作連續性信息。
對於現實處理單元17100，輸入圖像提供給預處理單元17200。而且，現實處理所需參數中的處理區域信息提供給物理模型應用單元17201的建模單元17211，以及預處理單元17200。此外，現實處理所需參數中的連續性信息提供給物理模型應用單元17201的建模單元17211。
預處理單元17200從處理區域信息中識別處理區域，從輸入圖像中提取構成處理區域的像素的像素值，並且將這些提供給物理模型應用單元17201的聯立方程獲取單元17213。
物理模型應用單元17201包括建模單元17211，公式創建單元17212，以及聯立方程獲取單元17213。
建模單元17211基於從處理區域設置單元17001提供的處理區域信息來識別構成處理區域的每個水平線的像素數目(例如圖148中物理模型中的N+1個像素)。此外，建模單元17211從表示用作連續性信息的運動量v為0的信息中確定應用圖148中的物理模型，並且將構成處理區域的每個水平線的像素數目作為圖148中的物理模型信息提供給公式創建單元17212。而且，建模單元17211識別輸入圖像中的處理區域的位置，並且將表示其位置的信息經由公式創建單元17212提供給聯立方程獲取單元17213。
公式創建單元17212從建模單元17211提供的物理模型信息中創建表達式(203)至表達式(205)中所示的公式，並且將這些提供給聯立方程獲取單元17213。
聯立方程獲取單元17213從建模單元17211經由公式創建單元17212提供的表示輸入圖像中處理區域的位置的信息中識別輸入圖像中處理區域的位置，並且基於其位置從預處理單元17200提供的處理區域的像素值中獲取處理區域的每個水平線的像素的像素值。此外，聯立方程獲取單元17213將處理區域的每個水平線的像素的像素值代入從公式創建單元17212提供的表達式(203)至表達式(205)的公式，因此，獲取每個水平線的N+1個聯立方程，並且將這些提供給物理模型值獲取單元17202。
物理模型值獲取單元17202包括聯立方程計算單元17214，並且從聯立方程獲取單元17213提供的聯立方程提供給聯立方程計算單元17214。聯立方程計算單元17214計算(求解)從聯立方程獲取單元17213提供的聯立方程，因此，獲得定義近似現實世界1信號的表達式(137)和表達式(138)中樣條函數的N+1個變量yk，並且將這些提供給再混合單元17203。
再混合單元17203通過僅在曝光時間期間在時間方向上積分通過假設用從聯立方程計算單元17214提供的變量yk定義的樣條函數在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，並且在x方向上例如以預先確定的增量例如處理區域的像素#k在x方向上的1/2寬度積分(再積分)，來獲得並輸出高解析度像素的像素值。
注意，如果再混合單元17203在x方向上，例如以處理區域的像素#k在x方向上的1/2寬度為增量執行積分，用表達式(206)至表達式(211)表示的像素值被獲得，並且對於其像素值的圖像，水平方向上的像素由輸入圖像水平方向上兩倍數目的像素構成。
接下來，將參考圖151中的流程圖描述圖150中現實處理單元17100的處理。
首先，在步驟S17201中，建模單元17211獲取從圖113中的處理區域設置單元17001提供的處理區域信息，以及表示用作從連續性設置單元17002提供的連續性信息的運動量v為0的信息作為現實處理所需的參數，而且預處理單元17200獲取從圖113中的處理區域設置單元17001提供的處理區域信息作為現實處理所需的參數，並且流程前進到步驟S17202。在步驟S17202中，預處理單元17200從處理區域信息中識別處理區域，從輸入圖像中提取構成處理區域的像素的像素值，並且將這些提供給物理模型應用單元17201的聯立方程獲取單元17213。
隨後，流程從步驟S17202前進到步驟S17203，在那裡建模單元17211使得投影在用步驟S17201中獲取的處理區域信息表示的處理區域上的現實世界1光信號，經歷依照圖148中所示的物理模型的建模。
也就是說，建模單元17211基於從處理區域設置單元17001提供的處理區域信息來識別構成處理區域的每個水平線的像素數目。此外，建模單元17211從表示用作連續性信息的運動量v為0的信息中確定應用圖148中的物理模型，並且將構成處理區域的每個水平線的像素數目作為圖148中的物理模型信息提供給公式創建單元17212，並且流程從步驟S17203前進到步驟S17204。
在步驟S17204中，公式創建單元17212從建模單元17211提供的物理模型信息中創建表達式(203)至表達式(205)中所示的公式，將這些提供給聯立方程獲取單元17213，並且流程前進到步驟S17205。
注意步驟S17203和S17204中的處理關於用處理區域信息表示的處理區域的所有水平線而執行。
在步驟S17205中，聯立方程獲取單元17213選擇用處理區域信息表示的處理區域的水平線中還沒有取作關注水平線的水平線作為關注水平線，從預處理單元17200提供的處理區域的像素值中獲取關注水平線的像素的像素值Yk，並且流程前進到步驟S17206。在步驟S17206中，聯立方程獲取單元17213將關注水平線的像素的像素值Yk代入從公式創建單元17212提供的關於關注水平線的表達式(203)至表達式(205)的公式，因此獲取與關注水平線的像素數目相同數量的聯立方程，並且將這些提供給物理模型值獲取單元17202。
隨後，流程從步驟S17206前進到步驟S17207，物理模型值獲取單元17202的聯立方程計算單元17214計算(求解)從聯立方程獲取單元17213提供的關於關注水平線的聯立方程，因此獲得近似投影在關注水平線上的現實世界1信號的表達式(137)和表達式(138)中的樣條函數，將這些提供給再混合單元17203，並且流程前進到步驟S17208。
在步驟S17208中，再混合單元17203使用從聯立方程計算單元17214提供的樣條函數執行再混合(再積分)。也就是說，對於從聯立方程計算單元17214提供的關於水平線的聯立方程，再混合單元17203通過僅在曝光時間期間在時間方向上，積分通過假設其樣條函數在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，而且在x方向上例如以預先確定的增量例如處理區域的像素#k在x方向上的1/2寬度積分(再積分)，來獲得關於關注水平線的高解析度像素值，並且流程從步驟S17208前進到步驟S17209。
在步驟S17209中，聯立方程獲取單元17213確定用處理區域信息表示的處理區域的所有水平線是否都已取作關注水平線，如果確定並不是所有水平線都已取作關注水平線，流程返回到步驟S17205。在該情況下，在步驟S17205中，聯立方程獲取單元17213重新選擇處理區域的水平線中還沒有取作關注水平線的處理區域作為關注水平線，此後重複相同的處理。
而且，在步驟S17209中，如果確定處理區域的所有水平線都已取作關注水平線，也就是如果不具有運動模糊的像素關於處理區域的所有水平線而獲得，流程前進到步驟S17210，在那裡再混合單元17203輸出關於處理區域的所有水平線而獲得的高解析度像素值，也就是處理區域的高解析度圖像，並且處理結束。
如上所述，圖150中的現實處理單元17100可以從不具有運動模糊的圖像中獲得高解析度圖像。
注意，現實世界1的估計，也就是如果獲得近似現實世界1信號的表達式(137)和表達式(138)的樣條函數，最小二乘法可以使用表達式(203)至表達式(205)，以及使用圖139和圖140描述的約束條件表達式以及求解表達式(203)至表達式(205)的表達式作為聯立方程來使用。
如上所述，光信號函數F(x)被估計，假設與圖像數據的時間-空間方向的x方向上位置相對應的每個像素的像素值，其中現實世界光信號投影在每個具有時間-空間積分效應的多個像素上，並且現實世界光信號連續性的一部分丟失，是通過積分與用樣條函數近似的現實世界1光信號相對應的光信號函數(現實世界函數)F(x)而獲得的像素值。圖像通過在x方向上以預先確定的增量積分用作估計結果的樣條函數來產生，藉此高解析度圖像可以關於靜止圖像而獲得。
接下來，將描述在圖113中的處理區域設置單元17001，連續性設置單元17002，或現實世界估計單元17003使用幫助信息執行處理的情況下，圖113中的信號處理設備4的處理。
圖152是描述在圖113中的處理區域設置單元17001，連續性設置單元17002，或現實世界估計單元17003使用幫助信息執行處理的情況下，圖113中的信號處理設備4的處理的流程圖。
對於圖113中的信號處理設備4，現實世界基於連續性來估計，因此，去除因傳感器2的時間積分效應而引起的對象信號的時間方向混合(時間混合)而發生的運動模糊的處理等被執行。
也就是說，在通過使用作為圖像傳感器的傳感器2獲取對象例如汽車等正在運動的現實世界1中的圖像而獲得的輸入圖像中，對象隨著時間而運動，所以該對象的光信號與除該對象之外的部分的光信號因傳感器2的時間積分效應而混合(時間混合)，從而引起對象邊界部分等處的所謂運動模糊。使用圖113中的信號處理設備4，因這種時間混合而引起的運動模糊從輸入圖像中去除的高圖像質量輸出圖像產生，因此，運動模糊從輸入圖像中去除的輸出圖像被獲得。
對於圖113中所示的信號處理設備4，首先，在步驟S17301中，執行預處理，並且流程前進到步驟S17302。也就是說，信號處理設備4將從傳感器2(圖1)作為數據3提供的例如輸入圖像的一幀或一場提供給處理區域設置單元17001，連續性設置單元17002，現實世界估計單元17003，圖像生成單元17004，以及圖像顯示單元17005。也就是說，信號處理設備4將從用作圖像傳感器(圖1)的傳感器2作為數據3提供的例如輸入圖像的一幀或一場提供給處理區域設置單元17001，連續性設置單元17002，現實世界估計單元17003，圖像生成單元17004，以及圖像顯示單元17005。此外，信號處理設備4將輸入圖像顯示在圖像顯示單元17005上。
注意這裡，例如，通過使用傳感器2獲取對象例如汽車以恆定速度在水平方向上運動的場景而獲得的、因時間混合而具有運動模糊的圖像作為輸入圖像輸入到信號處理設備4。
在步驟S17302中，用戶I/F 17006確定是否存在由用戶操作用戶I/F 17006的某種用戶輸入。在步驟S17302中，如果確定用戶輸入沒有執行，也就是如果用戶沒有執行任何操作，流程返回到步驟S17302。
而且，在步驟S17302中，如果確定已經存在用戶輸入，也就是如果用戶已經觀看顯示在圖像顯示單元17005上的輸入圖像並且操作用戶I/F 17006，從而做出指示某種指令或信息的用戶輸入，流程前進到步驟S17303，在那裡用戶I/F 17006確定用戶輸入是否是指示信號處理設備4處理結束的用戶指令。
如果在步驟S17303中確定用戶輸入是結束指令，信號處理設備4結束處理。
而且，如果在步驟S17303中確定用戶輸入不是結束指令，流程前進到步驟S17304，在那裡用戶I/F 17006確定用戶輸入是否是幫助信息。在步驟S17304中，如果確定用戶輸入不是幫助信息，流程返回到步驟S17302。
而且，如果在步驟S17304中確定用戶輸入是幫助信息，流程前進到步驟S17305，在那裡用戶I/F 17006將幫助信息提供給處理區域設置單元17001，連續性設置單元17002，或現實世界估計單元17003，並且流程前進到步驟S17306。
在步驟S17306中，處理區域設置單元17001基於輸入圖像設置處理區域，並且將標識處理區域的處理區域信息提供給連續性設置單元17002，現實世界估計單元17003，以及圖像生成單元17004，並且流程前進到步驟S17307。現在，如果幫助信息已經在前一個步驟S17305中從用戶I/F 17006提供，處理區域設置單元17001使用該幫助信息執行處理區域的設置。
在步驟S17307中，連續性設置單元17002從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域。此外，連續性設置單元17002設置在處理區域的圖像數據中丟失的現實世界1信號的連續性，並且將指示其連續性的連續性信息提供給現實世界估計單元17003，並且流程前進到步驟S17308。現在，如果幫助信息已經在前一個步驟S17305中從用戶I/F 17006提供，連續性設置單元17002使用該幫助信息執行連續性的設置。
在步驟S17308中，現實世界估計單元17003根據相應現實世界1信號的連續性，關於輸入圖像處理區域中的圖像數據估計現實世界1信號。
也就是說，在現實世界估計單元17003處，模型生成單元17011從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域，並且也從連續性設置單元17002提供的連續性信息中識別與處理區域中圖像數據相對應的現實世界1信號的連續性(這裡，例如，顯示在處理區域上的對象的運動量)。此外，模型生成單元17011根據構成輸入圖像中處理區域的像素，以及與處理區域的圖像數據相對應的現實世界1信號的連續性，產生用作模擬處理區域中每個像素的像素值與現實世界1信號之間關係的關係模型的函數，並且將其提供給公式生成單元17012。
公式生成單元17012從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域，並且將構成處理區域的輸入圖像的每個像素的像素值代入用作從模型生成單元17011提供的關係模型的函數中，從而產生獲得近似現實世界1信號的近似函數的公式，其提供給現實世界波形估計單元17013。
注意這裡，樣條函數用作近似函數，如上所述。
現實世界波形估計單元17013通過求解從公式生成單元17012提供的公式來估計現實世界1信號的波形。也就是，現實世界波形估計單元17013通過求解從公式生成單元17012提供的公式來獲得用作模擬現實世界1信號的近似模型的近似函數，並且將近似函數提供給圖像生成單元17004。
注意，對於現實世界估計單元17003，如果幫助信息已經在前一個步驟S17305中從用戶I/F 17006提供，在模型生成單元17011和公式生成單元17012處，處理使用該幫助信息執行。
在步驟S17308的處理之後，流程前進到步驟S17309，在那裡圖像生成單元17004基於從現實世界估計單元17003(的現實世界波形估計單元17013)提供的近似函數來產生更接近現實世界1信號的信號。也就是說，圖像生成單元17004從處理區域設置單元17001提供的處理區域信息中識別輸入圖像中的處理區域，並且關於該處理區域，基於從現實世界估計單元17003提供的近似函數，產生作為更接近與現實世界1信號相對應的圖像的圖像數據的近似圖像。此外，圖像生成單元17004產生輸入圖像的處理區域的部分已經用近似圖像取代的圖像作為輸出圖像，並且將其提供給圖像顯示單元17005，並且流程從步驟S17309前進到步驟S17310。
在步驟S17310中，圖像顯示單元17005用從圖像生成單元17004提供的輸出圖像代替步驟S17301中顯示的輸入圖像，或者與步驟S17301中顯示的輸入圖像一起顯示從圖像生成單元17004提供的輸出圖像，流程返回到步驟S17302，以後重複相同的處理。
如上所述，處理區域設置單元17001，連續性設置單元17002，以及現實世界估計單元17003可以獲得具有更高圖像質量的圖像，如果使用由用戶操作用戶I/F 17006輸入的幫助信息執行處理。
也就是說，對於圖像顯示單元17005，例如，如果運動對象反映在其中的輸入圖像或輸出圖像被顯示，觀看圖像的用戶可以基於用戶已經實際觀看的真實對象(現實世界1)的記憶來確定運動模糊發生的區域。因此，如圖153中所示，通過提示用戶通過操作用戶I/F 17006使得顯示在圖像顯示單元17005上的圖像中運動模糊發生的區域經歷指向等，表示經歷指向的位置的信息等可以作為幫助信息提供給處理區域設置單元17001，藉此處理區域設置單元17001可以基於幫助信息容易地識別運動模糊發生的部分。此外，處理區域設置單元17001可以確定的方式設置包括運動模糊發生的部分的處理區域，因此，輸入圖像上發生的運動模糊可以由使得這種處理區域經歷處理的隨後階段塊精確地去除。
而且，操作用戶I/F 17006可以提示用戶輸入關於在圖像上顯示的對象的運動量的信息。在該情況下，提示用戶直接輸入對象的運動量是可能的，但是通常用戶難以直接輸入對象的運動量。為此，例如，用戶I/F 17006包括操縱杆、滑鼠等，並且操作操縱杆可以提示用戶輸入運動量，另外如果必要的話運動的方向。在該情況下，用戶I/F 17006將操縱杆的操作量和操作方向作為幫助信息提供給連續性設置單元17002，並且連續性設置單元17002可以基於操縱杆的操作量和操作方向設置對象的運動矢量。也就是說，連續性設置單元17002基於操縱杆的操作量設置對象的運動量，並且也基於操縱杆的操作方向設置對象的運動方向。連續性設置單元17002的隨後階段塊基於表示在連續性設置單元17002處設置的運動矢量的連續性信息執行處理。
在該情況下，由用戶操作操縱杆從一開始準確地輸入對象的運動矢量是困難的。但是，例如，如果重複該過程同時基於用戶對操縱杆的操作以一個像素的增量改變對象的運動矢量，並且圖像顯示單元17005實時地顯示關於運動矢量而獲得的輸出圖像，用戶可以識別根據操縱杆的操作顯示在圖像顯示單元17005上的輸出圖像的圖像質量的變化。因此，如圖153中所示，用戶可以通過操作操縱杆同時觀看顯示在圖像顯示單元17005上的輸出圖像獲得具有高圖像質量的輸出圖像，也就是，這裡，運動模糊從輸入圖像中去除的圖像。
注意當運動模糊從輸入圖像中去除的圖像獲得時，在連續性設置單元17002處設置的運動矢量精確地表示對象的運動。
接下來，圖154說明在基於用戶輸入執行作為因用作圖像傳感器的圖像傳感器2的積分效應而在圖像數據上引起的畸變的運動模糊的去除的情況下，相當於圖113中信號處理設備4的設備的構造實例。
輸入圖像獲取單元17301獲取輸入圖像，並且將其提供給運動模糊去除處理單元17303和輸出圖像合成單元17304。這裡，讓我們假定如上所述，輸入圖像是可以通過使用圖像傳感器成像對象例如汽車以恆定速度在水平方向上運動的場景而獲得的、運動模糊因時間混合而引起的圖像。
用戶輸入信息獲取單元17302獲取由用戶操作用戶I/F 17006從用戶I/F 17006提供的用戶輸入信息(用戶輸入)，並且將其作為幫助信息提供給運動模糊去除處理單元17303和輸出圖像合成單元17304，如果必要的話。
這裡，用戶輸入信息的實例包括表示處理區域的信息，表示輸入圖像中對象的運動量v的信息，用於指示處理結束的結束指令，此外表示在上面表達式(199)中引入的權重W1和權重W2的信息。
運動模糊去除處理單元17303執行使用從輸入圖像獲取單元17301提供的輸入圖像，以及從用戶輸入信息獲取單元17302提供的幫助信息，去除圖像上引起的運動模糊的運動模糊去除處理，並且將運動模糊去除處理的結果提供給輸出圖像合成單元17304。
輸出圖像合成單元17304合成從輸入圖像獲取單元17301提供的輸入圖像，以及基於從用戶輸入信息獲取單元17302提供的幫助信息從運動模糊去除處理單元17303提供的用作運動模糊去除處理結果的近似圖像，並且將作為其結果而獲得的輸出圖像提供給輸出單元17305。
這裡，包括上面輸入圖像獲取單元17301，用戶輸入信息獲取單元17302，運動模糊去除處理單元17303，以及輸出圖像合成單元17304的部分對應於圖113中包括處理區域設置單元17001，連續性設置單元17002，現實世界估計單元17003，以及圖像生成單元17004的部分。
輸出單元17305顯示從輸出圖像合成單元17304提供的圖像。
包括輸出圖像17305的部分對應於圖113中包括圖像顯示單元17005的部分。
接下來，將參考圖155中的流程圖描述圖154中所示設備的處理。
首先，在步驟S17331中，輸入圖像獲取單元17301獲取輸入圖像，並將其提供給運動模糊去除處理單元17303和輸出圖像合成單元17304，並且流程前進到步驟S17332。
在步驟S17332中，用戶輸入信息獲取單元17302確定用戶輸入信息是否由用戶操作用戶I/F 17006提供，並且如果確定用戶輸入信息沒有提供，流程返回到步驟S17332。
隨後，在步驟S17332中，如果確定用戶輸入信息已經從用戶I/F17006提供，流程前進到步驟S17334，在那裡用戶輸入信息獲取單元17302獲取從用戶I/F 17006提供的用戶輸入信息，並且流程前進到步驟S17333。
在步驟S17333中，用戶輸入信息獲取單元17302確定用戶輸入信息是否是指示處理結束的結束指令。在步驟S17333中，如果確定用戶輸入信息不是指示處理結束的結束指令，也就是，如果用戶輸入信息例如是幫助運動模糊去除處理單元17303的運動模糊去除處理的幫助信息，例如表示處理區域的信息，表示輸入圖像中對象的運動量v的信息，以及表示表達式(199)中的權重W1和權重W2的信息，流程前進到步驟S17334，在那裡用戶輸入信息獲取單元17302將用戶輸入信息作為幫助信息提供給運動模糊去除處理單元17303，如果必要的話還提供給輸出圖像合成單元17304，並且流程前進到步驟S17335。
在步驟S17335中，運動模糊去除處理單元17303執行使用從輸入圖像獲取單元17301提供的輸入圖像，以及從用戶輸入信息獲取單元17302提供的幫助信息，去除圖像上引起的運動模糊的運動模糊去除處理，並且將運動模糊去除處理的結果提供給輸出圖像合成單元17304，並且流程前進到步驟S17336。
在步驟S17336中，輸出圖像合成單元17304將從輸入圖像獲取單元17301提供的輸入圖像中用作為從用戶輸入信息獲取單元17302提供的幫助信息的表示處理區域的信息識別的處理區域的圖像，用用作從運動模糊去除處理單元17303提供的運動模糊去除處理的結果的近似圖像取代，從而合成輸入圖像和近似圖像，將作為其結果而獲得的輸出圖像提供給輸出單元17305，並且流程前進到步驟S17337。
在步驟S17337中，輸出單元17305顯示從輸出圖像合成單元17304提供的輸出圖像，流程返回到步驟S17332，以後重複步驟S17332～S17337的上面處理。
隨後，在步驟S17333中，如果確定用戶輸入信息是指示處理結束的結束指令，也就是，例如，如果具有由用戶滿意的圖像質量的輸出圖像(這裡，運動模糊充分去除的圖像)通過步驟S17332～S17337的處理重複而顯示在輸出單元17305上，並且用戶操作用戶I/F 17006以便結束處理，流程前進到步驟S17338，在那裡輸出單元17305存儲此時顯示的輸出圖像，並且處理結束。
接下來，圖156說明圖154中運動模糊去除處理單元17303的構造實例。注意在附圖中，與圖144中的現實處理單元17100的情況下那裡相對應的部分用相同的參考數字表示，並且以下如果適當的話，其描述將省略。也就是說，圖156中的運動模糊去除處理單元17303與圖144中的現實處理單元17100一樣來構造。
因此，對於圖156中的運動模糊去除處理單元17303，近似關於輸入圖像的現實世界1光信號的樣條函數可以使用基於圖125中所示物理模型而獲得的表達式(166)至表達式(170)中所示的N+1個公式獲得，從而產生具有期望解析度且不具有運動模糊的圖像(近似圖像)。
但是，對於圖144中的現實處理單元17100，處理區域信息和表示運動量v的連續性信息已經被安排作為現實處理所需的參數而提供，但是對於圖156中的運動模糊去除處理單元17303，處理區域信息和表示運動量v的連續性信息被安排由用戶操作用戶I/F 17006經由用戶輸入信息獲取單元17302作為幫助信息而提供。
接下來，將參考圖157中的流程圖描述圖156中的運動模糊去除處理單元17303的處理。
首先，在步驟S17351中，建模單元17061獲取作為幫助信息從圖154中的用戶輸入信息獲取單元17302提供的處理區域信息，以及用作連續性信息的運動量v，而且預處理單元17101獲取作為幫助信息從圖154中的用戶輸入信息獲取單元17302提供的處理區域信息，並且流程前進到步驟S17352。在步驟S17352中，預處理單元17101從處理區域信息中識別處理區域，從輸入圖像中提取構成處理區域的像素的像素值，並且將這些提供給物理模型應用單元17051的聯立方程獲取單元17063。
隨後，流程從步驟S17352前進到步驟S17353，在那裡建模單元17061使得投影在用步驟S17351中獲取的處理區域信息表示的處理區域上的現實世界1光信號，經歷依照圖125中所示的物理模型的建模。
也就是說，建模單元17061基於從用戶輸入信息獲取單元17302提供的處理區域信息來識別構成處理區域的每個水平線的像素數目。此外，建模單元17061從構成處理區域的每個水平線的像素數目，以及在步驟S17351中獲取的運動量v中獲得圖125中的物理模型信息，並且將物理模型信息提供給公式創建單元17062，並且流程從步驟S17353前進到步驟S17354。
在步驟S17354中，公式創建單元17062從建模單元17061提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，將這些提供給聯立方程獲取單元17063，並且流程前進到步驟S17355。
注意步驟S17353和S17354中的處理關於用處理區域信息表示的處理區域的所有水平線而執行。
在步驟S17355中，聯立方程獲取單元17063選擇用處理區域信息表示的處理區域的水平線中還沒有取作關注水平線的水平線作為關注水平線，從預處理單元17101提供的處理區域的像素值中獲取關注水平線的像素的像素值Yk，並且流程前進到步驟S17356。在步驟S17356中，聯立方程獲取單元17063將關注水平線的像素的像素值Yk代入從公式創建單元17062提供的關於關注水平線的表達式(166)至表達式(170)的公式，因此獲取與關注水平線的像素數目相同數量的聯立方程，並且將這些提供給物理模型值獲取單元17052。
隨後，流程從步驟S17356前進到步驟S17357，物理模型值獲取單元17052的聯立方程計算單元17064計算(求解)從聯立方程獲取單元17063提供的關於關注水平線的聯立方程，因此獲得近似投影在關注水平線上的現實世界1信號的表達式(137)和表達式(138)中的樣條函數，將這些提供給再混合單元17053，並且流程前進到步驟S17358。
在步驟S17358中，再混合單元17053使用從聯立方程計算單元17064提供的樣條函數執行再混合(再積分)。也就是說，對於從聯立方程計算單元17064提供的關於關注水平線的樣條函數，再混合單元17053通過僅在曝光時間期間在時間方向上，積分通過假設其樣條函數在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，而且在x方向上例如以預先確定的增量例如處理區域的像素#k在x方向上的寬度或1/2寬度積分(再積分)，來獲得關於關注水平線的不具有運動模糊的像素值，並且流程從步驟S17358前進到步驟S17359。注意調節步驟S17358中的積分單元(積分範圍)使得通過其積分而獲得的圖像的解析度能夠改變，如上所述。該積分單元可以預先設置，或者可以由用戶操作用戶I/F 17006輸入。
這裡，在步驟S17358中，如果x方向上的積分例如以像素#k在x方向上的寬度為增量執行，不具有運動模糊的像素值Xk可以根據表達式(171)至表達式(173)獲得。而且，在步驟S17358中，如果x方向上的積分例如以像素#k在x方向上的1/2寬度為增量執行，不具有運動模糊的像素值Xk可以根據表達式(174)至表達式(179)獲得。
在步驟S17359中，聯立方程獲取單元17063確定用處理區域信息表示的處理區域的所有水平線是否都已取作關注水平線，如果確定並不是所有水平線都已取作關注水平線，流程返回到步驟S17355。在該情況下，在步驟S17355中，聯立方程獲取單元17063重新選擇處理區域的水平線中還沒有選作關注水平線的處理區域作為關注水平線，此後重複相同的處理。
而且，在步驟S17359中，如果確定處理區域的所有水平線都已取作關注水平線，也就是如果不具有運動模糊的像素關於處理區域的所有水平線而獲得，流程前進到步驟S17360，在那裡再混合單元17053輸出關於處理區域的所有水平線而獲得的不具有運動模糊的像素值，也就是不具有運動模糊的處理區域的圖像，並且處理結束。
如上所述，圖156中的運動模糊去除處理單元17303可以獲得運動模糊從其中去除，如果必要的話具有提高的解析度的圖像，與圖144中的現實處理單元17100的情況一樣。
接下來，圖158說明圖154中運動模糊去除處理單元17303的另一種構造實例。注意在附圖中，與圖146中現實處理單元17100的情況下那些相對應的部分用相同的參考數字表示，並且以下如果適當的話，其描述將省略。也就是說，圖158中的運動模糊去除處理單元17303與圖146中的現實處理單元17100一樣來配置。
因此，對於圖158中的運動模糊去除處理單元17303，近似關於輸入圖像的現實世界1光信號的樣條函數可以使用描述約束條件的表達式(186)和表達式(187)中所示2(N-1)個約束條件表達式，以及基於圖125中所示物理模型獲得的表達式(166)至表達式(170)中所示N+1個公式而獲得，從而產生具有期望解析度且不具有運動模糊的圖像(近似圖像)。
但是，對於圖146中的現實處理單元17100，處理區域信息、表示運動量v的連續性信息，以及在表達式(199)中引入的表達式(201)中的權重W1和權重W2已經安排由用戶操作用戶I/F 17006作為幫助信息經由用戶輸入信息獲取單元17302提供。
接下來，將參考圖159中的流程圖描述圖158中的運動模糊去除處理單元17303的處理。
首先，在步驟S17381中，建模單元17091獲取作為幫助信息從圖154中的用戶輸入信息獲取單元17302提供的處理區域信息，以及用作連續性信息的運動量v，而且預處理單元17101獲取作為幫助信息從圖154中的用戶輸入信息獲取單元17302提供的處理區域信息。此外，在步驟S17381中，物理模型值獲取單元17083的最小二乘法應用單元17093獲取作為幫助信息從圖154中的用戶輸入信息獲取單元17302提供的權重W1和權重W2，並且流程前進到步驟S17382。在步驟S17382中，預處理單元17101從處理區域信息中識別處理區域，從輸入圖像中提取構成處理區域的像素的像素值，並且將這些提供給物理模型值獲取單元17083的最小二乘法應用單元17093。
隨後，流程從步驟S17382前進到步驟S17383，在那裡建模單元17091使得投影在用步驟S17381中獲取的處理區域信息表示的處理區域的水平線上的現實世界1光信號，經歷依照圖125中所示的物理模型的建模。
也就是說，建模單元17091基於從用戶輸入信息獲取單元17302提供的處理單元信息來識別構成處理區域的每個水平線的像素數目。此外，建模單元17091從構成處理區域的每個水平線的像素數目，以及在步驟S17381中獲取的運動量v中獲得圖125中的物理模型信息，並且將物理模型信息提供給像素內約束公式創建單元17082和公式創建單元17092，並且流程從步驟S17383前進到步驟S17384。
在步驟S17384中，公式創建單元17092從建模單元17091提供的物理模型信息中創建表達式(166)至表達式(170)中所示的公式，將這些提供給物理模型值獲取單元17083，並且流程前進到步驟S17385。
在步驟S17385中，像素內約束公式創建單元17082創建表達式(186)和表達式(187)中所示的約束條件表達式，將這些提供給物理模型值獲取單元17083，並且流程前進到步驟S17386。
注意步驟S17383至S17385中的處理關於處理區域的所有水平線而執行。
在步驟S17386中，物理模型值獲取單元17083的最小二乘法應用單元17093選擇處理區域的水平線中還沒有取作關注水平線的水平線，從預處理單元17101提供的處理區域的像素值中獲取關注水平線的像素的像素值Yk，並且流程前進到步驟S17387。
在步驟S17387中，最小二乘法應用單元17093通過將關注水平線的像素的像素值Yk代入從公式創建單元17092提供的關於關注水平線的表達式(166)至表達式(170)，以及從像素內約束公式創建單元17082提供的表達式(186)和表達式(187)中所示的約束條件表達式的公式，並且使用權重W1和權重W2列出表達式(201)的正則方程，來獲取表達式(201)的正則方程，並且流程前進到步驟S17388。
在步驟S17388中，最小二乘法應用單元17093通過求解關於關注水平線而獲得的正則方程來獲得關於關注水平線的表達式(137)的樣條函數(定義樣條函數的變量yk)，也就是，獲得近似現實世界1信號的表達式(137)和表達式(138)的樣條函數，並且將這些提供給再混合單元17053，並且流程前進到步驟S17389。
在步驟S17389中，再混合單元17053使用從最小二乘法應用單元17093提供的樣條函數執行再混合(再積分)。也就是說，對於從最小二乘法應用單元17093提供的關於關注水平線而獲得的樣條函數的每個，再混合單元17053通過僅在曝光時間期間在時間方向上，積分通過假設其樣條函數在曝光時間期間沒有從曝光開始時的位置運動而獲得的曲面，而且在x方向上例如以預先確定的增量例如處理區域的像素#k在x方向上的寬度或其1/2積分(再積分)，來獲得關於關注水平線的不具有運動模糊的像素值，並且流程從步驟S17390前進到步驟S17391。注意調節步驟S17389中的積分單元(積分範圍)使得通過其積分而獲得的圖像的解析度能夠改變，如上所述。該積分單元可以預先設置，或者可以由用戶操作用戶I/F 17006輸入。
這裡，在步驟S17389中，如果x方向上的積分例如以像素#k在x方向上的寬度為增量執行，不具有運動模糊的像素值Xk可以根據表達式(171)至表達式(173)獲得。而且，在步驟S17389中，如果x方向上的積分例如以像素#k在x方向上的1/2寬度為增量執行，不具有運動模糊的像素值Xk可以根據表達式(174)至表達式(179)獲得。
在步驟S17390中，最小二乘法應用單元17093確定處理區域的所有水平線是否都已取作關注水平線，如果確定並不是所有水平線都已取作關注水平線，流程返回到步驟S17386。在該情況下，在步驟S17386中，最小二乘法應用單元17093重新選擇處理區域中還沒有取作關注水平線的水平線作為關注水平線，此後重複相同的處理。
而且，在步驟S17390中，如果確定處理區域的所有水平線都已取作關注水平線，也就是如果不具有運動模糊的像素關於處理區域的所有水平線而獲得，流程前進到步驟S17391，在那裡再混合單元17053輸出關於處理區域的所有水平線而獲得的不具有運動模糊的像素值，也就是不具有運動模糊的處理區域的圖像，並且處理結束。
如上所述，圖158中的運動模糊去除處理單元17303可以獲得運動模糊從其中去除，如果必要的話具有提高的解析度的圖像，與圖146中的現實處理單元17100的情況一樣。
如上所述，如果現實世界1光信號投影在每個具有時間-空間積分效應的多個像素上，並且現實世界光信號1連續性的一部分丟失的圖像數據中的處理區域被設置，作為在圖像數據中丟失的真實世界光信號連續性的圖像數據中對象的運動量被設置，並且光信號函數F(x)被估計，假設與處理區域中圖像數據的時間-空間方向的x方向上的位置相對應的每個像素的像素值是由與樣條函數近似的現實世界1光信號相對應的光信號函數(現實世界函數)F(x)在x方向和時間方向上積分當根據運動量在時間方向上相移時運動的模型而獲得的像素值，處理區域、運動量、權重W1和權重W2等根據用戶輸入設置。因此，光信號函數F(x)可以通過用戶調節處理區域、運動量、權重W1和權重W2等，同時觀看從光信號函數F(x)的估計結果中產生的圖像來精確地估計，結果，用戶可以最終獲得具有高圖像質量的圖像。
注意在上面的實例中，配置已經進行，其中運動圖像顯示在輸入圖像中，對象以恆定速度在水平方向(從左到右的方向)上運動，也就是，對象的運動方向固定在水平方向，並且用作運動量值的運動量用作連續性信息，但是作為連續性信息，具有方向信息以及運動量值的運動矢量可以使用。在該情況下，關於對象的運動(連續性)用運動矢量表示的輸入圖像，圖125中的物理模型例如可以通過取運動矢量所示的運動方向作為x方向來應用。
而且，在上面的實例中，靜止圖像已經用作輸入圖像，但是運動圖像同樣可以用作輸入圖像。也就是說，信號處理設備4例如以幀或場為增量執行運動圖像的處理。
此外，關於處理區域，除矩形之外的任意形狀可以使用。
接下來，使用圖113中的連續性設置單元17002，用作連續性信息的運動不僅可以基於用戶操作而且可以通過從輸入圖像中檢測運動來設置。
現在，將描述連續性設置單元17002中檢測運動的方法。
如果某一對象在輸入圖像中運動，關於檢測用作對象運動的運動矢量的方法例如，所謂塊匹配方法已知。
但是，對於塊匹配方法，匹配在關注幀與關注幀之前和之後的幀之間執行，所以運動不能僅使用關注幀容易地檢測。
為此目的，連續性設置單元17002被配置以便從僅具有一幀的輸入圖像中檢測運動。
也就是說，圖160說明連續性設置單元17002的構造實例。
使用其構造如圖160中所示的連續性設置單元17002，輸入圖像的處理區域中對象的運動方向被檢測，並且輸入圖像被校正使得運動方向變成水平方向。隨後，在輸入圖像中對象的運動方向上經歷一維微分的特徵，其是運動方向上相鄰的像素的像素值的差值被檢測。
此外，關注像素的特徵與在運動方向上具有預先確定距離的相應像素的特徵之間的相關性被檢測，並且對象的運動量根據相應像素與關注像素之間的距離來檢測，其表現出最大檢測相關性。
也就是說，其構造如圖160中所示的連續性設置單元17002包括運動方向檢測單元11201，運動方向校正單元11202，特徵檢測單元11203，以及運動量檢測單元11204。
此外，運動方向檢測單元11201包括活動性計算單元11211，以及活動性評估單元11212。運動方向校正單元11202包括仿射變換單元11213。
特徵檢測單元11203包括差值計算單元11214，差值評估單元11215，中間圖像創建單元11216，中間圖像創建單元11217，幀存儲器11218，符號反轉單元11219，以及幀存儲器11220。
此外，運動量檢測單元11204包括相關性檢測單元11221，以及相關性評估單元11222。
對於其構造如圖160中所示的連續性設置單元17002，存儲在圖122中圖像存儲器11061中的輸入圖像提供給運動方向檢測單元11201和運動檢測校正單元11202。此外，從處理區域設置單元17001輸出的處理區域信息也提供給運動方向檢測單元11201和運動方向校正單元11202。
運動方向檢測單元11201獲取輸入圖像和處理區域信息，並且從獲取的輸入圖像中檢測處理區域中的運動方向。
當捕捉運動對象時，運動模糊在對象的圖像上發生。這是由用作捕捉對象圖像的傳感器2的照相機或攝影機的圖像傳感器的動作所引起。
也就是說，圖像傳感器例如CCD(電荷耦合器件)或CMOS(互補金屬氧化物半導體)傳感器在曝光時間(快門時間)期間對於每個像素將入射光連續地轉換成電荷，進一步將電荷轉換成一個像素值。當捕捉的對象處於靜止狀態時，對象的同一部分的圖像(光)在曝光時間期間轉換成一個像素值。如此捕捉的圖像不包括運動模糊。
另一方面，當對象運動時，投射到一個像素中的對象部分的圖像在曝光時間期間改變，並且對象的不同部分的圖像偶然地轉換成一個像素值。反過來說，對象的一個部分的圖像投射到多個像素值中，這就是運動模糊。
運動模糊在對象的運動方向上發生。
當集中在運動模糊發生的部分(包括運動模糊的區域)的運動方向上排列的像素的像素值時，對象的通常相同範圍部分的圖像投影到在運動方向上排列的像素的像素值。因此，我們可以說在運動模糊發生的部分處運動方向上排列的像素的像素值的變化進一步減小。
運動方向檢測單元11201基於這種變化，也就是輸入圖像的處理區域中像素的像素值中的活動性檢測運動方向。
更具體地說，運動方向檢測單元11201的活動性計算單元11211對於每個預先確定的方向計算在各個方向上排列的像素的像素值的變化(活動性)。例如，活動性計算單元11211對於每個預先確定的方向計算與每個方向對應放置的像素的像素值之間的差值作為活動性。活動性計算單元11211將指示計算的像素值變化的信息提供給活動性評估單元11212。
活動性評估單元11212從活動性計算單元11211提供的對於每個預先確定方向的像素的像素值變化中選擇最小的像素值變化，並且將與所選像素值變化相對應的方向取作運動方向。
運動方向檢測單元11201將如此檢測的指示運動方向的運動方向信息提供給運動方向校正單元11202。
運動方向校正單元11202同樣提供有處理區域信息。運動方向校正單元11202基於從運動方向檢測單元11201提供的運動方向信息轉換輸入圖像中處理區域內的圖像數據，使得運動方向變成圖像的水平方向。
例如，運動方向校正單元11202的仿射變換單元11213使得輸入圖像中處理區域內的圖像數據經歷基於從運動方向檢測單元11201提供的運動方向信息的仿射變換，使得運動方向信息中所示的運動方向變成圖像的水平方向。
運動方向校正單元11202將轉換使得運動方向變成圖像水平方向的輸入圖像中處理區域內的圖像數據提供給特徵檢測單元11203。
特徵檢測單元11203檢測從運動方向校正單元11202提供的圖像的特徵。
也就是說，特徵檢測單元11203的差值計算單元11214將通過從輸入圖像處理區域中的像素中選擇一個像素而選擇的像素設置為關注像素。隨後，特徵檢測單元11203的差值計算單元11214通過從關注像素的像素值中減去在右側與關注像素相鄰的像素的像素值來獲得差值。
差值計算單元11214通過將輸入圖像處理區域中的像素順序地取作關注像素而獲得差值。也就是說，差值計算單元11214關於輸入圖像處理區域中的所有像素獲得差值。差值計算單元11214將如此計算的差值，與指示對應於每個獲得差值的關注像素位置的信息(指示每個差值的屏幕上位置的位置信息)一起提供給差值評估單元11215。
差值評估單元11215確定差值是否為0或更多，將等於或大於0的差值與指示每個差值的屏幕上位置的位置信息一起提供給中間圖像創建單元11216，並且將小於0的差值與指示每個差值的屏幕上位置的位置信息一起提供給中間圖像創建單元11217。
中間圖像創建單元11216基於從差值評估單元11215提供的等於或大於0的差值，連同指示差值的屏幕上位置的位置信息一起，創建由每個差值構成的中間圖像。也就是說，中間圖像創建單元11216通過將從差值評估單元11215提供的等於或大於0的差值設置到由位置信息指示的屏幕上位置處的像素，並且將0設置到沒有差值從差值評估單元11215提供的位置處的像素來創建中間圖像。中間圖像創建單元11216將這樣創建的中間圖像(以下，稱作未反轉中間圖像)提供給幀存儲器11218。
中間圖像創建單元11217基於從差值評估單元11215提供的小於0的差值(負值)，與指示差值的屏幕上位置的位置信息一起，創建由差值構成的中間圖像。也就是說，中間圖像創建單元11217通過將從差值評估單元11215提供的小於0的差值設置到由位置信息指示的屏幕上位置處的像素，並且將0設置到沒有差值從差值評估單元11215提供的位置處的像素來創建中間圖像。中間圖像創建單元11216將這樣創建的中間圖像提供給符號反轉單元11219。
符號反轉單元11219反轉設置到從中間圖像創建單元11217提供的中間圖像的像素的小於0的差值的符號。設置到中間圖像的像素的值0的符號不反轉。也就是說，符號反轉單元11219選擇設置到從中間圖像創建單元11217提供的中間圖像的像素的小於0的差值，並且將小於0的所選差值轉換成與差值具有相同絕對值的大於0的值。例如，差值-15通過反轉其符號而轉換成15。符號反轉單元11219將這樣符號反轉的中間圖像(以下稱作反轉的中間圖像)提供給幀存儲器11220。
幀存儲器11218將由等於或大於0的差值以及0構成的未反轉中間圖像作為特徵提供給運動量檢測單元11204。幀存儲器11220將由其符號反轉的大於0的差值以及0構成的反轉中間圖像作為特徵提供給運動量檢測單元11204。
運動量檢測單元11204基於從特徵檢測單元11203提供的特徵檢測運動。也就是說，運動量檢測單元11204檢測輸入圖像處理區域中對象圖像的像素中至少關注像素的特徵，與關於關注像素在運動方向上定位的相應像素的特徵之間的相關性，並且根據檢測的相關性檢測輸入圖像處理區域中對象圖像的運動量。
運動量檢測單元11204的相關性檢測單元11221檢測用作從特徵檢測單元11203的幀存儲器11218提供的特徵的未反轉中間圖像，與用作從特徵檢測單元11203的幀存儲器11220提供的特徵的反轉中間圖像之間的相關性。相關性檢測單元11221將檢測的相關性提供給相關性評估單元11222。
更具體地描述，例如運動量檢測單元11204的相關性檢測單元11221在屏幕水平方向上關於從特徵檢測單元11203的幀存儲器11218提供的、由等於或大於0的差值以及0構成的未反轉中間圖像以像素為單位，運動(移位)從特徵檢測單元11203的幀存儲器11220提供的、由其符號反轉以便大於0的差值以及0構成的反轉中間圖像。也就是說，相關性檢測單元11221在水平方向上運動構成反轉中間圖像的像素的屏幕上位置。
未反轉中間圖像的像素與反轉中間圖像的像素之間屏幕上的位置關係通過在屏幕水平方向上運動反轉中間圖像(的像素)而改變。例如，運動之前屏幕上位置與未反轉中間圖像的關注像素相對應的反轉中間圖像的相應像素導致在運動之後以運動距離與對應於未反轉中間圖像關注像素的位置相離。更具體地說，當未反轉中間圖像向右運動20個像素時，反轉中間圖像的相應像素向右距離與未反轉中間圖像的關注像素相對應的位置20個像素。反過來說，運動之後屏幕上位置與未反轉中間圖像的關注像素相對應的反轉中間圖像的相應像素在運動之前以運動距離與對應於關注像素的位置相離。
相關性檢測單元11221計算與未反轉中間圖像以及運動的反轉中間圖像相對應的像素的像素值之間的差，並且取差的絕對值的和作為相關性值。
例如，相關性檢測單元11221在關於未反轉中間圖像的屏幕左向上70個像素至屏幕右向上70像素的範圍內以一個像素的增量，在屏幕的水平方向上運動(移位)反轉中間圖像，關於未反轉中間圖像以及對於每個運動位置(每個運動距離)而運動的反轉中間圖像計算位於屏幕上相同位置的像素的像素值之間的差，並且取差的絕對值的和作為相關性值。
例如，當反轉中間圖像關於未反轉中間圖像運動到屏幕左向時，運動距離用負數(負)表示。當反轉中間圖像關於未反轉中間圖像運動到屏幕右向時，運動量用正數(正)表示。相關性檢測單元11221關於未反轉中間圖像以及對於-70像素至+70像素的每個運動距離而運動的反轉中間圖像計算位於屏幕上相同位置的像素的像素值之間的差，並且取差的絕對值的和作為相關性值。
相關性檢測單元11221將與運動距離相對應的相關性值提供給相關性評估單元11222。也就是說，相關性檢測單元11221將一對運動距離和相關性值提供給相關性評估單元11222。
相關性評估單元11222根據相關性檢測輸入圖像處理區域中對象圖像的運動量。更具體地說，相關性評估單元11222將從相關性檢測單元11221提供的相關性中，與最大(最強)相關性相對應的運動距離取作運動量。
例如，相關性評估單元11222選擇用作從相關性檢測單元11221提供的相關性值的差的絕對值的和中的最小值，並且設置與所選最小值相對應的運動距離為運動量。
相關性評估單元11222輸出檢測的運動量。
圖161至圖163是描述由圖160中的連續性設置單元17002檢測運動的原理的圖。
現在，讓我們假定用作待捕捉對象的白色前景對象位於用作另一個待捕捉對象的黑色背景對象的前面，且從左側向右側運動，並且具有圖像傳感器例如CCD或CMOS傳感器的照相機使用預先確定的曝光時間(快門時間)捕捉前景對象和背景對象。
在該情況下，當集中在從照相機輸出的圖像的一幀上時，背景對象是黑色的，使得照相機關於背景對象圖像輸出例如像素值0。前景對象是白色的，所以照相機關於前景對象圖像輸出例如像素值255。這裡，讓我們假定照相機輸出0至28-1範圍內的像素值。
圖161上側的圖是說明當前景對象在照相機快門打開的時刻(開始曝光的時刻)位置處於靜止狀態時由照相機輸出的圖像的像素值的圖。
圖161下側的圖是說明當前景對象在照相機快門關閉的時刻(結束曝光的時刻)位置處於靜止狀態時由照相機輸出的圖像的像素值的圖。
如圖161中所示，前景對象的圖像的運動量是從照相機快門打開的時候直到照相機快門關閉的時刻前景對象的圖像運動的距離。
圖162是說明當在背景對象前面運動的前景對象由照相機捕捉時從照相機輸出的圖像的像素值的圖。照相機的圖像傳感器在曝光時間(快門時間)期間對於每個像素將對象的圖像(光)連續地轉換成電荷，並且進一步將電荷轉換成一個像素值，因此，前景對象11251的圖像投影到多個像素的像素值中。圖162中所示圖像的最大像素值與圖161中所示圖像的最大像素值相比較小。
圖162中所示像素值的斜坡寬度對應於背景對象的圖像的寬度。
當關於圖162中所示圖像的每個像素相對於右側相鄰像素的差值被計算，並設置到像素時，圖163中所示由差值構成的圖像被獲得。
也就是說，一個像素從圖162中所示圖像的像素中選擇，並且設置為注意的關注像素。隨後，差值通過從關注像素的像素值中減去在右側與關注像素相鄰的像素的像素值來獲得。差值設置到與關注像素相對應的位置處的像素。圖162中所示圖像的像素順序地取作關注像素，並且圖163中所示由差值構成的圖像被獲得。
具有負(負)符號的差值在關於圖161上側的圖中所示照相機快門打開的時刻前景對象位置的左側一個像素上出現，並且具有正(正)符號的差值在關於圖161下側的圖中所示照相機快門關閉的時刻前景對象位置的左側一個像素上出現。
因此，當匹配在通過反轉具有負(負)符號的差值的符號而獲得的值與圖163中所示具有正(正)符號的差值之間執行時，通過反轉具有負(負)符號的差值的符號而獲得的值的運動距離與當執行匹配時基於具有正(正)符號的差值的運動量相同，例如。
例如，基於具有正(正)符號的差值，通過反轉具有負(負)符號的差值的符號而獲得的值在水平方向上運動，通過反轉負差值而獲得的值與正差值之間的相關性對於其每個運動距離而檢測，從而檢測最大(最強)相關性。當最大相關性被檢測時的運動距離與運動量相同。
更具體地說，例如，基於具有正(正)符號的差值，通過反轉具有負(負)符號的差值的符號而獲得的值在水平方向上運動，作為對於其每個運動距離通過反轉負差值而獲得的值與正差值之間的相關性，正差值從每個像素的反轉值中減去。隨後，減法結果中的最小值，也就是最大相關性被檢測。與檢測的最大相關性相對應的運動距離與運動量相同。
如上所述，作為對象圖像運動的量的運動量可以從曝光時間(快門時間)期間一幀圖像中檢測。
也就是說，特徵檢測單元11203的差值計算單元11214從輸入圖像處理區域中的像素中選擇一個像素，將其設置為關注像素，並且從關注像素的像素值中減去在右側與關注像素相鄰的像素的像素值，從而計算圖163中所示的差值，例如。差值評估單元11215基於差值的符號將差值分類成正差值和負差值。
中間圖像創建單元11216從分類的正差值中，創建由其正差值構成的未反轉中間圖像。中間圖像創建單元11217從分類的負差值中，創建由其負差值構成的中間圖像。符號反轉單元11219通過反轉由負差值構成的中間圖像的負像素值的符號來創建未反轉中間圖像。
運動量檢測單元11204獲得具有最強相關性的未反轉中間圖像和反轉中間圖像的運動距離，並且取獲得的運動距離作為運動量。
當特徵檢測單元11203檢測運動對象的圖像，並且檢測運動對象的圖像的特徵時，運動量檢測單元11204基於特徵檢測相關性，並且根據檢測的相關性來檢測輸入圖像中對象的圖像的運動量。
而且，當特徵量檢測單元11203從屬於運動對象的圖像的像素中選擇注意的關注像素，並且檢測關注像素的特徵時，運動量檢測單元11204檢測關注像素的特徵與在運動方向上關於關注像素定位的相應像素的特徵之間的相關性，並且根據檢測的相關性來檢測輸入圖像處理區域中對象的圖像的運動量。
圖164是描述由圖160中的連續性設置單元17002檢測運動量的處理的流程圖。
在步驟S11201中，運動方向檢測單元11201和運動方向校正單元11202獲取輸入圖像和處理區域信息，並且流程前進到步驟S11202。
在步驟S11202中，運動方向檢測單元112011的活動性計算單元11211關於在步驟S11201的處理中獲取的輸入圖像中處理區域的像素計算活動性，並且流程前進到步驟S11203。
例如，活動性計算單元11211選擇輸入圖像處理區域的像素中注意的關注像素。活動性計算單元11211在關注像素附近提取預先確定數目的周圍像素。例如，活動性計算單元11211提取由以關注像素為中心的5×5像素(5像素乘5像素)構成的周圍像素。
隨後，活動性計算單元11211從提取的周圍像素中檢測與圖像上預先確定方向相對應的活動性。
對於下面的描述，水平方向上的像素陣列稱作行，垂直方向上的像素陣列稱作列。
關於例如5×5周圍像素，活動性計算單元11211通過計算在屏幕上和下(垂直)方向上相鄰像素的像素值之間的差，將計算的差的絕對值的和除以差的數目，並且取結果作為活動性，來檢測關於基於屏幕水平方向的90度的角度(屏幕垂直方向)的活動性。
例如，像素值的差關於20對的屏幕上和下方向上相鄰的兩個像素而計算，計算的差的絕對值的和除以20，並且結果(商)設置為關於90度角度的活動性。
關於例如5×5周圍像素，活動性計算單元11211通過計算最低行中最左側像素至從左側起第四像素的各個像素值，與關於各個像素上方四個像素以及右側一個像素的像素的各個像素值之間的差，將計算的差的絕對值的和除以差的數目，並且取結果為活動性，檢測關於基於屏幕水平方向的76度角度(tan-1(4/1))的活動性。
例如，像素值的差關於四對具有垂直方向上四個像素以及水平方向上一個像素的距離的右上方的兩個像素而計算，計算的差的絕對值的和除以四，並且結果(商)設置為關於76度角度的活動性。
活動性計算單元11211使用相同的處理檢測關於基於屏幕水平方向的90度至180度範圍內角度的活動性。如果檢測關於90度至180度範圍內角度的活動性，活動性基於位於左上方的像素的像素值的差來計算。
這樣檢測的活動性取作關於關注像素的活動性。
注意，檢測的活動性可能是關於周圍像素的活動性。
而且，已經描述周圍像素由5×5像素(5像素乘5像素)構成，但是具有期望範圍的像素可以使用而不是5×5像素。如果使用大量周圍像素，角度解析度提高。
活動性計算單元11211將指示與多個方向相對應的活動性的信息提供給活動性評估單元11212。
返回到圖164，在步驟S11203中，活動性評估單元11212通過基於在步驟S11202的處理中計算的與預先確定方向相對應的活動性來選擇最小活動性，並且將所選方向取作運動方向來獲得運動方向，並且流程前進到步驟S11204。
在步驟S11204中，運動方向校正單元11202基於在步驟S11203的處理中獲得的運動方向轉換輸入圖像處理區域中的圖像數據，使得運動方向變成圖像的水平方向，並且流程前進到步驟S11205。例如，在步驟S11204中，運動方向校正單元11202的仿射變換單元11213使得輸入圖像處理區域中的圖像數據經歷基於步驟S11203的處理中獲得的運動方向的仿射變換，使得運動方向變成圖像的水平方向。更具體地說，例如，當運動方向是18度的角度時，仿射變換單元11213使得輸入圖像處理區域中的圖像數據經歷仿射變換以便基於屏幕水平方向以順時針方向旋轉18度。
在步驟S11205中，特徵檢測單元11203的差值計算單元11214關於被轉換使得運動方向在步驟S11204的處理中變成屏幕水平方向的輸入圖像處理區域中的每個像素計算相對於水平方向上相鄰的像素的像素值的差值，並且流程前進到步驟S11206。
例如，在步驟S11205中，差值計算單元11214通過從輸入圖像處理區域中的像素中選擇一個像素來設置注意的關注像素。隨後，差值計算單元11214通過從關注像素的像素值中減去右側與關注像素相鄰的像素的像素值來獲得差值。
在步驟S11206中，特徵檢測單元11203的差值評估單元11215基於差值的符號分配差值，並且流程前進到步驟S11207。也就是說，差值評估單元11215將等於或大於0的差值提供給中間圖像創建單元11216，而將小於0的差值提供給中間圖像創建單元11217。在該情況下，差值評估單元11215將差值與指示屏幕上每個差值位置的位置信息一起提供給中間圖像創建單元11216或中間圖像創建單元11217。
在步驟S11207中，特徵檢測單元11203的中間圖像創建單元11216基於在步驟S11206的處理中分配的等於或大於0的差值(正差值)來創建由正差值構成的中間圖像，並且流程前進到步驟S11208。也就是說，在步驟S11207中，中間圖像創建單元11216通過將正差值設置到用位置信息指示的屏幕上位置處的像素，並且將0設置到沒有差值提供的位置處的像素來創建中間圖像。
因此，未反轉中間圖像在步驟S11207的處理中創建。
在步驟S11208中，特徵檢測單元11203的中間圖像創建單元11217基於在步驟S11206的處理中分配的小於0的差值(負差值)來創建由負差值構成的中間圖像，並且流程前進到步驟S11209。也就是說，在步驟S11208中，中間圖像創建單元11217通過將負差值設置到用位置信息指示的屏幕上位置處的像素，並且將0設置到沒有差值提供的位置處的像素來創建中間圖像。
在步驟S11209中，特徵檢測單元11203的符號反轉單元11219反轉在步驟S11208的處理中創建的、由負差值構成的中間圖像的負差值的符號。也就是說，在步驟S11209中，設置到負中間圖像的像素的負差值轉換成具有相同絕對值的正值。
因此，在步驟S11209中，未反轉中間圖像創建，然後流程前進到步驟S11210。
在步驟S11210中，運動量檢測單元11204執行相關性檢測處理。步驟S11210中處理的細節將參考圖165中的流程圖隨後描述。
在步驟S11211中，相關性評估單元11222選擇在步驟S11210的處理中檢測的相關性中的最強相關性，並且流程前進到步驟S11212。
例如，在步驟S11211中，用作像素值的差的絕對值的和的相關性值中，最小相關性值被選擇。
在步驟S11212中，相關性評估單元11222將與步驟S11211的處理中選擇的最強相關性相對應的運動距離設置為運動量，並且流程前進到步驟S11213。例如，在步驟S11212中，用作像素值的差的絕對值的和的相關性值中，與所選最小相關性值相對應的、在隨後描述的步驟S11223的處理中存儲的反轉中間圖像的運動距離設置為運動量。
在步驟S11213中，運動量檢測單元11204輸出在步驟S11210的處理中檢測的運動量，並且處理結束。
圖165是描述與步驟S11210中的處理相對應的相關性檢測處理的流程圖。
在步驟S11221中，運動量檢測單元11204的相關性檢測單元11221在水平方向上以像素為增量運動在步驟S11209的處理中創建的反轉中間圖像的像素的位置，並且流程前進到步驟S11222。
在步驟S11222中，相關性檢測單元11221檢測未反轉中間圖像與其像素位置在步驟S11221的處理中運動的反轉中間圖像之間的相關性，並且流程前進到步驟S11223。例如，在步驟S11222中，差值在未反轉中間圖像的像素的像素值與在屏幕上相應位置處的反轉中間圖像的像素的像素值之間計算，並且計算的差的絕對值的和檢測為相關性值。相關性檢測單元11221將指示檢測的相關性的相關性信息與步驟S11221的處理中反轉中間圖像的像素的運動距離一起，提供給相關性評估單元11222。
在步驟S11223中，相關性評估單元11222存儲在步驟S11222的處理中檢測的相關性，以及步驟S11221的處理中反轉中間圖像的像素的運動距離，並且流程前進到步驟S11224。例如，相關性評估單元11222存儲用作像素值的差的絕對值的和的相關性值，以及步驟S11221的處理中反轉中間圖像的像素的運動距離。
在步驟S11224中，相關性檢測單元11221確定是否關於所有運動距離的相關性都已檢測，並且如果確定相關性還沒有對一些運動距離而檢測，流程返回到步驟S11221，在那裡檢測關於下一個運動距離的相關性的處理被重複。
例如，在步驟S11224中，相關性檢測單元11221確定是否所有相關性都已檢測，在圖像中左向上70個像素至圖像中右向上70個像素的範圍內運動反轉中間圖像的像素的情況下。
如果在步驟S11224中確定所有運動量的相關性都已檢測，處理結束(返回)。
因此，相關性檢測單元11221可以檢測相關性。
如上所述，其構造如圖160中所示的連續性設置單元17002可以從圖像的一幀中檢測運動量。
現在，雖然運動已經在這裡關於處理區域而檢測，配置可以這樣進行，其中例如因手搖動而導致的整個屏幕上的運動，可以通過處理整個屏幕而檢測。
而且，即使在輸入圖像中存在大量具有相同設計的各個圖案的情況下，這些可以準確地檢測，只要待處理的輸入圖像中處理區域的運動距離和運動方向是恆定的。
雖然從圖像的一幀中的運動距離檢測已經在上面描述，無需說，配置可以這樣進行，其中運動距離從一個場檢測。
而且，配置可以這樣進行，其中運動量關於僅所選關注像素的周圍而檢測。
注意除了在權利要求書中描述的本發明的實施方案之外，上述實施方案包括關於下面給出的第一至第十四信號處理設備的實施方案。
第一信號處理設備包括處理區域設置裝置，用於設置圖像數據中的處理區域，其中真實世界的光信號已經投影到每個具有時間-空間積分效應的多個像素上，並且真實世界光信號的連續性的一部分已經丟失；運動矢量設置裝置，用於設置圖像數據中對象的運動矢量，其對應於一部分連續性已經在圖像數據中丟失的真實世界光信號的連續性；以及現實世界估計裝置，用於估計現實世界函數，假設與處理區域中圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與樣條函數近似的現實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值，其中處理區域設置裝置和運動矢量設置裝置的至少一個根據用戶輸入設置處理區域或運動矢量。
第二信號處理設備，其除了第一信號處理設備的特徵之外，還包括圖像生成裝置，用於通過在預先確定一維方向上和在時間方向上以預先確定增量，積分作為現實世界函數估計結果的近似現實世界函數的樣條函數來產生圖像；以及顯示裝置，用於顯示由圖像生成裝置產生的圖像；其中處理區域設置裝置和運動矢量設置裝置的至少一個根據用戶輸入設置處理區域或運動矢量，在圖像顯示在顯示裝置上之後。
第三信號處理設備，其中，除了第二信號處理設備的特徵之外，運動矢量設置裝置設置多個運動矢量，現實世界估計裝置根據多個運動矢量估計多個現實世界函數，圖像生成裝置根據多個現實世界函數的估計結果產生多個圖像，顯示裝置顯示多個圖像，並且運動矢量設置裝置根據用於選擇多個圖像的任何一個的用戶輸入進一步設置多個運動矢量中的一個。
第四信號處理設備，其中，除了第一信號處理設備的特徵之外，現實世界估計裝置包括模型生成裝置，用於產生模擬圖像數據中每個像素的像素值與現實世界函數之間關係的關係模型，假設與處理區域中圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與真實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值；公式生成裝置，用於將圖像數據中每個像素的像素值代入由模型生成裝置產生的關係模型以產生公式；以及現實世界波形估計裝置，用於通過計算使用公式生成裝置產生的公式來估計與真實世界光信號相對應的現實世界函數。
第五信號處理設備，其中，除了第四信號處理設備的特徵之外，模型生成裝置產生關係模型，假設處理區域外部的現實世界函數的光度是穩定值。
第六信號處理設備，其中，除了第四信號處理設備的特徵之外，還包括圖像生成裝置，用於產生由這種像素值構成的圖像，其中圖像數據中對象的運動模糊通過在預先確定一維方向上和在時間方向上以預先確定的增量，積分作為現實世界函數估計結果的近似現實世界函數的樣條函數而去除。
第七信號處理設備包括運動矢量設置裝置，用於設置圖像數據中對象的運動矢量，其中真實世界的光信號已經投影到每個具有時間-空間積分效應的多個像素上，並且真實世界光信號的連續性的一部分已經丟失；以及現實世界估計裝置，用於估計現實世界函數，假設與圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與樣條函數近似的真實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值。
第八信號處理設備，其中，除了第七信號處理設備的特徵之外，現實世界估計裝置包括模型生成裝置，用於產生模擬圖像數據中每個像素的像素值與現實世界函數之間關係的關係模型，假設與圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與樣條函數近似的真實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值；公式生成裝置，用於將圖像數據中每個像素的像素值代入由模型生成裝置產生的關係模型以產生公式；以及現實世界波形估計裝置，用於通過計算由公式生成裝置產生的公式來估計與真實世界光信號相對應的現實世界函數。
第九信號處理設備，其中，除了第八信號處理設備的特徵之外，模型生成裝置產生關係模型，假設圖像數據區域外部的現實世界函數的光度是穩定值。
第十信號處理設備，其中，除了第八信號處理設備的特徵之外，還包括圖像生成裝置，用於產生由這種像素值構成的圖像，其中圖像數據中對象的運動模糊通過在預先確定一維方向上和在時間方向上以預先確定的增量，積分作為現實世界函數估計結果的近似現實世界函數的近似模型而去除。
第十一信號處理設備包括運動矢量設置裝置，用於設置圖像數據中對象的運動矢量，其中真實世界的光信號已經投影到每個具有時間-空間積分效應的多個像素上，並且真實世界光信號的連續性的一部分已經丟失；模型生成裝置，用於產生模擬圖像數據中每個像素的像素值與用樣條函數近似的現實世界函數之間關係的關係模型，假設與圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與真實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值；公式生成裝置，用於將圖像數據中每個像素的像素值代入由模型生成裝置產生的關係模型以產生公式，並且也產生提供假設用近似現實世界函數的樣條函數表示的像素內像素值變化的約束條件的公式；以及現實世界波形估計裝置，用於通過計算由公式生成裝置產生的公式來估計與真實世界光信號相對應的現實世界函數。
第十二信號處理設備，其中，除了第十一信號處理設備的特徵之外，公式生成裝置還產生提供假設圖像數據的區域外部的現實世界函數的光度是穩定值的約束條件的公式。
第十三信號處理設備，其中，除了第十二信號處理設備的特徵之外，還包括權重修改裝置，用於修改關於假設用近似現實世界函數的樣條函數表示的像素內像素值變化的約束條件的公式，以及關於提供假設圖像數據的區域外部的現實世界函數的光度是穩定值的約束條件的公式的權重，其中現實世界波形估計裝置通過計算公式來估計現實世界函數。
第十四信號處理設備，其中，除了第十三信號處理設備的特徵之外，還包括圖像生成裝置，用於產生由這種像素值構成的圖像，其中圖像數據中對象的運動模糊通過在預先確定一維方向上和在時間方向上以預先確定的增量，積分作為現實世界函數估計結果的近似現實世界函數的樣條函數而去除；以及顯示裝置，用於顯示由圖像生成裝置產生的圖像，其中在圖像顯示在顯示裝置上之後，權重修改裝置根據用戶輸入修改權重。
上述實施方案也包括關於下面給出的第一至第三信號處理方法、程序和記錄介質的實施方案。
第一信號處理方法、程序和記錄介質，包括處理區域設置步驟，用於設置圖像數據中的處理區域，其中真實世界的光信號已經投影到每個具有時間-空間積分效應的多個像素上，並且真實世界光信號的連續性的一部分已經丟失；運動矢量設置步驟，用於設置圖像數據中對象的運動矢量，其是在圖像數據中丟失的真實世界光信號的連續性；以及現實世界估計步驟，用於估計現實世界函數，假設與處理區域中圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與樣條函數近似的真實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值，其中處理區域設置步驟和運動矢量設置步驟的至少一個根據用戶輸入設置處理區域或運動矢量。
第二信號處理方法、程序和記錄介質，包括運動矢量設置步驟，用於設置圖像數據中對象的運動矢量，其中真實世界的光信號已經投影到每個具有時間-空間積分效應的多個像素上，並且真實世界光信號的連續性的一部分已經丟失；以及現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與樣條函數近似的現實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值。
第三信號處理方法、程序和記錄介質，包括運動矢量設置步驟，用於設置圖像數據中對象的運動矢量，其中真實世界的光信號已經投影到每個具有時間-空間積分效應的多個像素上，並且真實世界光信號的連續性的一部分已經丟失；模型生成步驟，用於產生模擬圖像數據中每個像素的像素值與用樣條函數近似的現實世界函數之間關係的關係模型，假設與圖像數據的空間方向的預先確定一維方向上的位置相對應的每個像素的像素值是由與真實世界光信號相對應的現實世界函數在預先確定一維方向上和在時間方向上，積分根據其運動矢量當在時間方向上相移時運動的模型而獲得的像素值；公式生成步驟，用於將圖像數據中每個像素的像素值代入由在模型生成步驟中產生的關係模型以產生公式，並且也產生提供假設用近似現實世界函數的樣條函數表示的像素內像素值變化的約束條件的公式；以及現實世界波形估計步驟，用於通過計算在公式生成步驟中產生的公式來估計與真實世界光信號相對應的現實世界函數。
工業適用性如上所述，根據本發明，更接近真實世界信號的圖像等可以獲得。
權利要求
1.一種信號處理設備，包括現實世界估計裝置，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的真實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分已經丟失；以及圖像生成裝置，用於通過在至少一維方向上以預先確定的增量積分所述現實世界函數來產生圖像。
2.根據權利要求1的信號處理設備，其中所述現實世界估計裝置估計所述現實世界函數，假設與所述圖像數據的時間-空間方向的一維方向上的位置相對應的每個像素的像素值是由與樣條函數近似的所述真實世界光信號相對應的現實世界函數在二維方向上、積分在不同於所述時間-空間方向的所述一維方向的另一個一維方向上移位的模型而獲得的像素值；以及其中所述圖像生成裝置通過在所述二維方向上以預先確定的增量積分所述現實世界函數來產生圖像。
3.根據權利要求2的信號處理設備，其中所述現實世界估計裝置估計所述現實世界函數，假設與所述圖像數據的空間方向的一維方向上的位置相對應的每個像素的像素值是由樣條函數近似的一維現實世界函數在二維方向上、積分在時間方向上運動的模型而獲得的像素值。
4.根據權利要求3的信號處理設備，所述現實世界估計裝置包括模型生成裝置，用於產生模擬所述圖像數據中每個像素的像素值與所述現實世界函數之間關係的關係模型，假設與所述圖像數據的空間方向的一維方向上的位置相對應的每個像素的像素值是由與所述真實世界光信號相對應的現實世界函數在所述一維方向和時間方向上、積分在時間方向上運動的模型而獲得的像素值；公式生成裝置，用於通過將所述圖像數據中每個像素的像素值代入由所述模型生成裝置產生的關係模型來產生公式；以及現實世界波形估計裝置，用於通過計算由所述公式生成裝置產生的公式來估計與所述真實世界光信號相對應的所述現實世界函數。
5.根據權利要求4的信號處理設備，其中所述模型生成裝置產生所述關係模型，假設所述圖像數據的區域外部的所述現實世界函數的光度是穩定值。
6.一種信號處理方法，包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的真實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分已經丟失；以及圖像生成步驟，用於通過在至少一維方向上以預先確定的增量積分所述現實世界函數來產生圖像。
7.一種使得計算機執行預先確定的信號處理的程序，所述程序包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的真實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分已經丟失；以及圖像生成步驟，用於通過在至少一維方向上以預先確定的增量積分所述現實世界函數來產生圖像。
8.一種存儲使得計算機執行預先確定的信號處理的程序的記錄介質，所述程序包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的真實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分已經丟失；以及圖像生成步驟，用於通過在至少一維方向上以預先確定的增量積分所述現實世界函數來產生圖像。
全文摘要
本發明提供一種能夠獲得近似真實世界信號的圖像的信號處理設備、信號處理方法、程序以及記錄介質。真實世界估計部件(17003)通過假設真實世界的光信號投影到每個具有時間/空間積分效應的多個像素並且與缺少真實世界光信號穩定性的一部分的圖像數據的x方向上的位置相對應的每個像素的像素值是通過x方向積分與樣條函數近似的真實世界光信號相對應的真實世界函數而獲得的像素值，來估計真實世界函數。圖像生成部件(17004)通過在x方向上在預先確定的單元中積分真實世界函數來產生圖像。本發明可以應用於例如從圖像中去除運動模糊並提高圖像解析度的情況、或者當放大圖像時的情況。
文檔編號G06T1/00GK1816825SQ200480017809
公開日2006年8月9日 申請日期2004年6月15日 優先權日2003年6月27日
發明者近藤哲二郎, 金丸昌憲, 永野隆浩 申請人:索尼株式會社