信號處理設備和信號處理方法、以及程序和記錄介質的製作方法

2023-06-21 06:24:21

專利名稱：信號處理設備和信號處理方法、以及程序和記錄介質的製作方法
技術領域：
本發明涉及一種信號處理設備和信號處理方法、以及程序和記錄介質，尤其涉及一種使得圖像等能夠更接近真實世界信號的信號處理設備和信號處理方法、以及程序和記錄介質。
背景技術：
使用傳感器檢測現實世界(真實世界)中的現象並處理從傳感器輸出的採樣數據的技術得到廣泛使用。例如，現實世界使用成像傳感器來成像並且處理作為圖像數據的採樣數據的圖像處理技術被廣泛使用。
同樣，已知這種方案，其具有維度比通過用傳感器檢測第一信號而獲得的第一維度少的第二維度，該第一信號是具有第一維度的真實世界的信號，獲得包括關於第一信號的畸變的第二信號，以及基於第二信號執行信號處理，從而產生與第二信號相比較具有減輕的畸變的第三信號(例如，日本未經審查專利申請公開號2001-250119)。
但是，常規地，考慮真實世界信號連續性的信號處理還沒有執行，所以獲得更接近真實世界信號的圖像等是困難的。

發明內容
考慮到上述情況而提出本發明，並且提供更接近真實世界信號的圖像等的獲得。
根據本發明的一種信號處理設備包括現實世界估計裝置，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成裝置，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
根據本發明的一種信號處理方法包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成步驟，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
根據本發明的一種程序包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分用樣條函數近似的與現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成步驟，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
根據本發明的一種記錄介質存儲程序，該程序包括現實世界估計步驟，用於估計現實世界函數，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失；以及圖像生成步驟，用於通過以預先確定的增量在至少一維方向上積分現實世界函數來產生圖像。
使用根據本發明的信號處理設備和信號處理方法，程序以及記錄介質，現實世界函數被估計，假設與圖像數據的時間-空間方向的至少一維方向上的位置相對應的每個像素的像素值、是通過在至少一維方向上積分與樣條函數近似的現實世界光信號相對應的現實世界函數而獲得的像素值，其中真實世界光信號投影在每個具有時間-空間積分效應的多個像素上、並且真實世界光信號連續性的一部分丟失，圖像通過以預先確定的增量在至少一維方向上積分現實世界函數來產生。


圖1是說明本發明原理的圖。
圖2是說明信號處理設備4的硬體構造實例的框圖。
圖3是說明圖1中所示信號處理設備4的一種實施方案的構造實例的框圖。
圖4是詳細描述由信號處理設備4執行的信號處理原理的圖。
圖5是描述圖像傳感器上像素陣列實例的圖。
圖6是描述作為CCD的檢測設備的操作的圖。
圖7是描述投射到與像素D至像素F相對應的檢測元件中的光與像素值之間關係的圖。
圖8是描述時間的消逝、投射到與一個像素相對應的檢測元件中的光、以及像素值之間關係的圖。
圖9是說明現實世界1中線形對象的圖像實例的圖。
圖10是說明由實際成像獲得的圖像數據的像素值實例的圖。
圖11是說明具有不同於背景的顏色、具有單色和線形邊緣的對象的現實世界1圖像實例的圖。
圖12是說明由實際成像獲得的圖像數據的像素值實例的圖。
圖13是圖像數據的示意圖。
圖14是描述用M塊數據162估計模型161的圖。
圖15是描述現實世界1的信號與數據3之間關係的圖。
圖16是說明創建表達式時所關注的數據3的實例的圖。
圖17是描述現實世界1中兩個對象的信號，以及創建表達式時屬於混合區域的值的圖。
圖18是描述由表達式(18)，表達式(19)，和表達式(22)表示的連續性的圖。
圖19是說明從數據3中選取的M塊數據162的實例的圖。
圖20是描述數據3中現實世界1的信號在時間方向和二維空間方向上的積分的圖。
圖21是描述當產生具有空間方向上更高解析度的高解析度數據時積分區域的圖。
圖22是描述當產生具有時間方向上更高解析度的高解析度數據時積分區域的圖。
圖23是描述當產生具有時間-空間方向上更高解析度的高解析度數據時積分區域的圖。
圖24是說明輸入圖像的原始圖像的圖。
圖25是說明輸入圖像實例的圖。
圖26是說明通過應用常規類型分類適應處理而獲得的圖像的圖。
圖27是說明檢測細線區域的結果的圖。
圖28是說明從信號處理設備4輸出的輸出圖像實例的圖。
圖29是描述使用信號處理設備4的信號處理的流程圖。
圖30是說明數據連續性檢測單元101的構造的框圖。
圖31是說明在背景前面具有細線的現實世界1中圖像的圖。
圖32是描述使用平面近似背景的圖。
圖33是說明細線圖像已經投影的圖像數據橫截面形狀的圖。
圖34是說明細線圖像已經投影的圖像數據橫截面形狀的圖。
圖35是說明細線圖像已經投影的圖像數據橫截面形狀的圖。
圖36是描述檢測峰值和檢測單調增大/減小區域的處理的圖。
圖37是描述檢測細線區域的處理的圖，其中峰值的像素值超過閾值，而相鄰像素的像素值等於或低於閾值。
圖38是表示在由圖37中虛線AA′指示的方向上排列的像素的像素值的圖。
圖39是描述檢測單調增大/減小區域中連續性的處理的圖。
圖40是說明檢測細線圖像已經投影到其中的區域的另一種處理實例的圖。
圖41是描述連續性檢測處理的流程圖。
圖42是描述檢測時間方向上數據連續性的處理的圖。
圖43是說明非連續性分量提取單元201的構造的框圖。
圖44是描述剔除次數的圖。
圖45是描述提取非連續性分量的處理的流程圖。
圖46是描述提取連續性分量的處理的流程圖。
圖47是描述提取連續性分量的另一種處理的流程圖。
圖48是描述提取連續性分量的再一種處理的流程圖。
圖49是說明連續性分量提取單元101的另一種構造的框圖。
圖50是描述具有數據連續性的輸入圖像中活動性的圖。
圖51是描述檢測活動性的塊的圖。
圖52是描述數據連續性相對於活動性的角度的圖。
圖53是說明數據連續性檢測單元101的詳細構造的框圖。
圖54是描述一組像素的圖。
圖55是描述像素組的位置與數據連續性的角度之間關係的圖。
圖56是描述檢測數據連續性的處理的流程圖。
圖57是說明當檢測時間方向和空間方向上數據連續性角度時選取的一組像素的圖。
圖58是描述函數近似的原理的圖，其是圖3中所示現實世界估計單元的一種實施方案的實例。
圖59是描述在傳感器是CCD的情況下積分效應的圖。
圖60是描述圖59中所示傳感器的積分效應的特定實例的圖。
圖61是描述圖59中所示傳感器的積分效應的另一個特定實例的圖。
圖62是表示圖60中所示包含細線的現實世界區域的圖。
圖63是描述與圖58中所示實例相比較，圖3中所示現實世界估計單元的一種實施方案的實例原理的圖。
圖64是表示圖60中所示包含細線的數據區域的圖。
圖65是包含在圖64中所示包含細線數據區域中的每個像素值繪製在曲線圖上的圖。
圖66是近似圖65中所示包含在包含細線數據區域中的像素值的近似函數繪製在曲線圖上的圖。
圖67是描述圖60中所示包含細線現實世界區域具有的空間方向上連續性的圖。
圖68是包含在圖64中所示包含細線數據區域中的每個像素值繪製在曲線圖上的圖。
圖69是描述圖68中指示的輸入像素值的每個以預先確定移位量移位的狀態的圖。
圖70是考慮到空間方向連續性、近似圖65中所示包含在包含細線數據區域中的像素值的近似函數繪製在曲線圖上的圖。
圖71是描述空間混合區域的圖。
圖72是描述近似空間混合區域中現實世界信號的近似函數的圖。
圖73是考慮到傳感器積分性質和空間方向連續性、近似與圖65中所示包含細線數據區域相對應的現實世界信號的近似函數繪製在曲線圖上的圖。
圖74是描述使用具有圖58中所示原理的函數近似技術中初級多項式近似的現實世界估計單元的構造實例的框圖。
圖75是描述具有圖74中所示構造的現實世界估計單元執行的現實世界估計處理的流程圖。
圖76是描述分接範圍的圖。
圖77是描述具有空間方向上連續性的現實世界信號的圖。
圖78是描述在傳感器是CCD的情況下積分效應的圖。
圖79是描述橫截面方向上距離的圖。
圖80是描述使用具有圖58中所示原理的函數近似技術中二次多項式近似的現實世界估計單元的構造實例的框圖。
圖81是描述具有圖80中所示構造的現實世界估計單元執行的現實世界估計處理的流程圖。
圖82是描述分接範圍的圖。
圖83是描述時間-空間方向上連續性方向的圖。
圖84是描述在傳感器是CCD的情況下積分效應的圖。
圖85是描述具有空間方向上連續性的現實世界信號的圖。
圖86是描述具有空間-時間方向上連續性的現實世界信號的圖。
圖87是描述使用具有圖58中所示原理的函數近似技術中三次多項式近似的現實世界估計單元的構造實例的框圖。
圖88是描述具有圖87中所示構造的現實世界估計單元執行的現實世界估計處理的流程圖。
圖89是描述再積分原理的圖，其是圖3中所示圖像生成單元的一種實施方案的實例。
圖90是描述輸入像素的實例以及近似對應於輸入像素的現實世界信號的近似函數的圖。
圖91是描述從圖90中所示的近似函數中，在圖90中所示的一個輸入像素中創建四個高解析度像素的實例的圖。
圖92是描述使用具有圖89中所示原理的再積分技術中一維再積分技術的圖像生成單元的構造實例的框圖。
圖93是描述具有圖92中所示構造的圖像生成單元執行的圖像生成處理的流程圖。
圖94是說明輸入圖像的原始圖像實例的圖。
圖95是說明與圖94中所示圖像相對應的圖像數據的實例的圖。
圖96是表示輸入圖像實例的圖。
圖97是表示與圖96中所示圖像相對應的圖像數據的實例的圖。
圖98是說明通過使輸入圖像經歷常規類型分類適應處理而獲得的圖像實例的圖。
圖99是表示與圖98中所示圖像相對應的圖像數據的實例的圖。
圖100是說明通過使輸入圖像經歷一維再積分技術而獲得的圖像實例的圖。
圖101是說明與圖100中所示圖像相對應的圖像數據的實例的圖。
圖102是描述具有空間方向上連續性的現實世界信號的圖。
圖103是描述使用具有圖89中所示原理的再積分技術中二維再積分技術的圖像生成單元的構造實例的框圖。
圖104是描述橫截面方向上距離的圖。
圖105是描述具有圖103中所示構造的圖像生成單元執行的圖像生成處理的流程圖。
圖106是描述輸入像素實例的圖。
圖107是描述使用二維再積分技術，在圖106中所示一個輸入像素中創建四個高解析度像素的實例的圖。
圖108是描述空間-時間方向上連續性方向的圖。
圖109是描述使用具有圖89中所示原理的再積分技術中三維再積分技術的圖像生成單元的構造實例的框圖。
圖110是描述具有圖109中所示構造的圖像生成單元執行的圖像生成處理的流程圖。
圖111是說明圖1中所示信號處理設備4的另一種實施方案的構造實例的框圖。
圖112是描述圖111中所示信號處理設備4的處理的流程圖。
圖113是說明圖111中所示信號處理設備4的另一種應用實施方案的構造實例的框圖。
圖114是描述信號處理類型的圖。
圖115是描述圖113中所示信號處理設備4的處理的流程圖。
圖116是描述圖像傳感器的積分效應的圖。
圖117是描述圖像傳感器的積分效應的圖。
圖118是說明捕捉處於靜止狀態的背景對象，以及在其前面運動的前景對象的場景的圖。
圖119是描述前景區域、背景區域，和混合區域的圖。
圖120是說明相當於圖113中的信號處理設備4、用於去除運動模糊的設備的構造實例的框圖。
圖121是描述圖120中所示設備的處理的流程圖。
圖122是說明前景區域、背景區域，和混合區域的圖。
圖123是說明前景分量和背景分量的圖。
圖124是說明三維樣條函數的圖。
圖125是說明使用樣條函數Ck(x)來近似光信號函數F(x)的物理模型的圖。
圖126是描述圖125的物理模型中獲得的像素值的圖。
圖127是說明像素中積分範圍的圖。
圖128是說明計算像素值分量S1的積分範圍的圖。
圖129是說明計算像素值分量S2的積分範圍的圖。
圖130是說明計算像素值分量S3，p的積分範圍的圖。
圖131是描述計算像素值分量S3，p的待積分樣條函數的圖。
圖132是說明計算像素值分量S3，p的積分範圍的圖。
圖133是說明計算像素值分量S4，p的積分範圍的圖。
圖134是說明計算像素值分量S4，p的積分範圍的圖。
圖135是描述獲得運動模糊去除的像素值的積分方法的圖。
圖136是描述獲得運動模糊去除的高解析度像素值的積分方法的圖。
圖137是說明圖120中所示運動模糊調節單元17035的構造實例的框圖。
圖138是描述圖137中所示運動模糊調節單元17035的處理的流程圖。
圖139是描述約束條件的圖。
圖140是描述使用約束條件表達式估計現實世界的方法的圖。
圖141是說明圖120中所示運動模糊調節單元17035的另一種構造實例的框圖。
圖142是描述圖141中所示運動模糊調節單元17035的處理的流程圖。
圖143是說明執行現實處理的現實處理單元17100的框圖。
圖144是說明圖143中所示現實處理單元17100的構造實例的框圖。
圖145是描述圖144中所示現實處理單元17100的處理的流程圖。
圖146是說明圖143中所示現實處理單元17100的另一種構造實例的框圖。
圖147是描述圖146中所示現實處理單元17100的處理的流程圖。
圖148是說明物理模型的圖，假設圖125中物理模型的運動量v為0。
圖149是描述獲得高解析度像素值的積分方法的圖。
圖150是說明圖143中所示現實處理單元17100的再一種構造實例的框圖。
圖151是描述圖150中所示現實處理單元17100的處理的流程圖。
圖152是描述圖113中所示信號處理設備4的處理的流程圖。
圖153是描述用戶I/F 17006由用戶的操作的圖。
圖154是說明相當於圖113中所示信號處理設備4的設備的構造實例的框圖。
圖155是描述圖154中所示設備的處理的流程圖。
圖156是說明圖154中所示運動模糊去除處理單元17303的構造實例的框圖。
圖157是描述圖156中所示運動模糊去除處理單元17303的處理的流程圖。
圖158是說明圖154中所示運動模糊去除處理單元17303的另一種構造實例的框圖。
圖159是描述圖158中所示運動模糊去除處理單元17303的處理的流程圖。
圖160是說明連續性設置單元17002的構造實例的框圖。
圖161是描述運動量的圖。
圖162是說明當前景對象經過背景對象前面時由照相機拍攝的、從照相機輸出的圖像的像素值的圖。
圖163是說明圖162中所示圖像中像素的像素值的差值的圖。
圖164是描述檢測運動量的處理的流程圖。
圖165是描述檢測相關性的處理的流程圖。
具體實施例方式
圖1說明本發明的原理。如附圖中所示，具有空間、時間和質量維度的現實世界1中的事件(現象)由傳感器2獲取，並形成數據。現實世界1中的事件指光(圖像)、聲音、壓力、溫度、質量、溼度、亮度/暗度或氣味等。現實世界1中的事件分布在空間-時間方向上。例如，現實世界1的圖像是現實世界1的光強在空間-時間方向上的分布。
注意傳感器2，具有空間、時間和質量維度的現實世界1中的事件中，傳感器2可以獲取的現實世界1中的事件由傳感器2轉換成數據3。可以說指示現實世界1中事件的信息由傳感器2獲取。
也就是說，傳感器2將指示現實世界1中事件的信息轉換成數據3。可以說，作為指示具有空間、時間和質量維度的現實世界1中事件(現象)的信息的信號由傳感器2獲取並形成數據。
以下，現實世界1中事件例如圖像、聲音、壓力、溫度、質量、溼度、亮度/暗度或氣味等的分布將稱作現實世界1的信號，其作為指示事件的信息。同樣，作為指示現實世界1的事件的信息的信號也將簡稱作現實世界1的信號。在本說明書中，信號將被理解為包括現象和事件，並且還包括在傳輸側沒有目的的那些事物。
從傳感器2輸出的數據3(檢測信號)是通過將指示現實世界1的事件的信息投影到維度比現實世界1少的空間-時間上而獲得的信息。例如，作為運動圖像的圖像數據的數據3是通過將現實世界1的三維空間方向和時間方向的圖像投影到具有二維空間方向和時間方向的時間-空間上而獲得的信息。而且，如果數據3是例如數字數據，數據3根據採樣增量捨入。如果數據3是模擬數據，數據3的信息根據動態範圍壓縮，或者信息的一部分由限幅器等刪除。
因此，通過將所示作為指示具有預先確定維度數目的現實世界1中事件的信息的信號投影到數據3(檢測信號)上，指示現實世界1中事件的信息的一部分被丟棄。也就是說，指示現實世界1中事件的信息的一部分從傳感器2輸出的數據3中丟棄。
但是，即使指示現實世界1中事件的信息的一部分因投影而丟棄，數據3包括用於估計作為指示現實世界1中事件(現象)的信息的信號的有用信息。
對於本發明，具有包含在現實世界1或數據3中的連續性的信息用作估計作為現實世界1信息的信號的有用信息。連續性是重新定義的概念。
注意現實世界1，現實世界1中的事件包括在預先確定維度方向上恆定的特性。例如，現實世界1中的對象(有形對象)具有在空間方向或時間方向上連續的形狀、圖案或顏色，或者具有形狀、圖案或顏色的重複圖案。
因此，指示現實世界1中事件的信息包括在預先確定維度方向上恆定的特性。
對於更具體的實例，線形對象例如線、細繩或粗繩具有在長度方向上也就是空間方向上恆定的特性，即橫截面形狀在長度方向上任意位置處是相同的。空間方向上的恆定特性即橫截面形狀在長度方向上任意位置處相同，來自於線形對象為長形的特性。
因此，線形對象的圖像具有在長度方向也就是空間方向上恆定的特性，即橫截面形狀在長度方向上任意位置處是相同的。
而且，作為在空間方向上展開的有形對象的單調對象可以假定具有這樣的恆定特性，即在空間方向上具有相同顏色而不管其部分。
同樣地，作為在空間方向上展開的有形對象的單調對象的圖像具有這樣的恆定特性，即在空間方向上具有相同顏色而不管其部分。
這樣，現實世界1(真實世界)中的事件具有在預先確定維度方向上恆定的特性，所以現實世界1的信號具有在預先確定維度方向上恆定的特性。
在本說明書中，在預先確定維度方向上恆定的這種特性將稱作連續性。現實世界1(真實世界)的信號的連續性意思是指示現實世界1(真實世界)的事件的信號具有的、在預先確定維度方向上恆定的特性。
現實世界1(真實世界)中存在無數這種連續性。
接下來，注意數據3，數據3由指示具有預先確定維度的現實世界1事件的信息的信號由傳感器2投影而獲得，並且包括與真實世界中信號連續性相對應的連續性。可以說，數據3包括現實世界信號的連續性已經投影於其中的連續性。
但是，如上所述，在從傳感器2輸出的數據3中，現實世界1的信息的一部分已經丟失，所以包含在現實世界1(真實世界)信號中的連續性的一部分可能從數據中丟失。
換句話說，數據3包含現實世界1(真實世界)信號連續性中的至少一部分連續性作為數據連續性。數據連續性意思是數據3具有的、在預先確定維度方向上恆定的特性。
對於本發明，現實世界1信號的連續性，或者數據3具有的數據連續性用作估計作為指示現實世界1事件的信息的信號的重要數據。
例如，對於信號處理設備4，指示現實世界1中事件的、已經丟失的信息由數據3的信號處理使用數據連續性而產生。
現在，對於信號處理設備4，作為用作指示現實世界1中事件的信息的信號維度的長度(空間)、時間和質量中，空間方向或時間方向上的連續性被使用。
在圖1中，傳感器2由例如數字靜物照相機、視頻攝影機等形成，並且拍攝現實世界1的圖像，並將作為獲得數據3的圖像數據輸出到信號處理設備4。傳感器2也可以是溫度記錄設備、使用光致彈性的壓力傳感器等。
信號處理設備4由例如個人計算機等構成，並且執行關於數據3的信號處理。
信號處理設備4例如如圖2中所示構成。CPU(中央處理單元)21根據存儲在ROM(只讀存儲器)22或存儲單元28中的程序執行各種類型的處理。RAM(隨機存取存儲器)23在適當的時候存儲待由CPU21執行的程序、數據等。CUP 21、ROM 22和RAM 23通過總線24互相連接。
同樣經由總線24連接到CPU 21的是輸入/輸出接口25。由鍵盤、滑鼠、麥克風等構成的輸入設備26，以及由顯示器、揚聲器等構成的輸出單元27連接到輸入/輸出接口25。CPU 21執行與從輸入單元26輸入的命令相對應的各種類型的處理。然後，CPU 21將作為處理結果而獲得的圖像和音頻等輸出到輸出單元27。
連接到輸入/輸出接口25的存儲單元28由例如硬碟構成，並存儲CPU 21執行的程序和各種類型的數據。通信單元29經由網際網路和其它網絡與外部設備通信。在該實例的情況下，通信單元29用作獲取從傳感器2輸出的數據3的獲取單元。
而且，配置可以這樣進行，其中程序經由通信單元29獲得並存儲在存儲單元28中。
連接到輸入/輸出接口25的驅動器30驅動安裝在那裡的磁碟51、光碟52、磁光碟53、或半導體存儲器54等，並且獲得記錄在其中的程序和數據。獲得的程序和數據根據需要傳送到存儲單元28並存儲。
圖3是說明信號處理設備4的框圖。
注意，信號處理設備4的功能由硬體實現還是由軟體實現不相關。也就是說，本說明書中的框圖可以看作硬體框圖或可以看作軟體功能框圖。
對於其構造如圖3中所示的信號處理設備4，作為數據3的實例的圖像數據輸入，並且數據連續性從輸入圖像數據(輸入圖像)中檢測。接下來，由傳感器2獲取的現實世界1的信號從檢測的數據連續性中估計。然後，基於現實世界1的估計信號，圖像生成，並且生成的圖像(輸出圖像)被輸出。也就是說，圖3是說明作為圖像處理設備的信號處理設備4構造的圖。
輸入到信號處理設備4的輸入圖像(作為數據3的實例的圖像數據)提供給數據連續性檢測單元101和現實世界估計單元102。
數據連續性檢測單元101從輸入圖像中檢測數據的連續性，並將指示檢測的連續性的數據連續性信息提供給現實世界估計單元102和圖像生成單元103。數據連續性信息包括例如輸入圖像中具有數據連續性的像素區域的位置、具有數據連續性的像素區域的方向(時間方向和空間方向的角度或梯度)、或具有數據連續性的像素區域的長度等。數據連續性檢測單元101的詳細構造將隨後描述。
現實世界估計單元102基於輸入圖像和從數據連續性檢測單元101提供的數據連續性信息估計現實世界1的信號。也就是說，現實世界估計單元102估計作為在獲取輸入圖像時投射到傳感器2中的現實世界信號的圖像。現實世界估計單元102將指示現實世界1信號估計結果的現實世界估計信息提供給圖像生成單元103。現實世界估計單元102的詳細構造將隨後描述。
圖像生成單元103基於從現實世界估計單元102提供的、指示現實世界1的估計信號的現實世界估計信息生成更接近現實世界1信號的信號，並輸出生成的信號。或者，圖像生成單元103基於從數據連續性檢測單元101提供的數據連續性信息，以及從現實世界估計單元102提供的、指示現實世界1的估計信號的現實世界估計信息生成更接近現實世界1信號的信號，並輸出生成的信號。
也就是說，圖像生成單元103基於現實世界估計信息生成更接近現實世界1圖像的圖像，並輸出生成的圖像作為輸出圖像。或者，圖像生成單元103基於數據連續性信息和現實世界估計信息生成更接近現實世界1圖像的圖像，並輸出生成的圖像作為輸出圖像。
例如，圖像生成單元103通過基於現實世界估計信息，在空間方向或時間方向的期望範圍內積分現實世界1的估計圖像，來生成與輸入圖像相比較具有空間方向或時間方向上更高解析度的圖像，並輸出生成的圖像作為輸出圖像。例如，圖像生成單元103通過外插/內插生成圖像，並輸出生成的圖像作為輸出圖像。
圖像生成單元103的詳細構造將隨後描述。
接下來，將參考圖4來描述本發明的原理。
例如，現實世界1的信號，其是例如圖像，成像在作為傳感器2實例的CCD(電荷耦合器件)的感光面上。作為傳感器2實例的CCD具有積分性質，所以差異在從CCD輸出的、關於現實世界1圖像的數據3中產生。傳感器2的積分性質的細節將隨後描述。
對於信號處理設備4的信號處理，由CCD獲得的現實世界1的圖像與由CCD獲取並輸出的數據3之間的關係被明確地考慮。也就是說，數據3與作為由傳感器2獲得的現實世界信息的信號之間的關係被明確地考慮。
更具體地說，如圖4中所示，信號處理設備4使用模型161來近似(描述)現實世界1。模型161由例如N個變量表示。更準確地說，模型161近似(描述)現實世界1的信號。
為了預測模型161，信號處理設備4從數據3中選取M塊數據162。當從數據3中選取M塊數據162時，信號處理設備4使用例如包含在數據3中的數據連續性。換句話說，信號處理設備4基於包含在數據3中的數據連續性，選取預測模型161的數據162。因此，在該情況下，模型161由數據連續性約束。
也就是說，模型161近似具有連續性(預先確定維度方向上的恆定特性)的現實世界1的事件(指示事件的信息(信號))，當使用傳感器2獲取時該連續性產生數據3中的數據連續性。
現在，如果數據162的數目M為N或更多，其中N是模型的變量數目，由N個變量表示的模型161可以從M塊數據162中預測。
這樣，信號處理設備4可以通過預測近似(描述)現實世界1(的信號)的模型161來考慮作為現實世界1信息的信號。
接下來，將描述傳感器2的積分效應。
在成像真實世界時，圖像傳感器例如CCD或CMOS(互補金屬氧化物半導體)傳感器等，其作為獲取圖像的傳感器2，將作為真實世界信息的信號投影到二維數據上。圖像傳感器的像素每個具有預先確定的面積，作為所謂感光面(感光區域)。到具有預先確定面積的感光面的入射光在每個像素的空間方向和時間方向上積分，並且轉換成每個像素的單個像素值。
將參考圖5至圖8來描述圖像的空間-時間積分。
圖像傳感器成像真實世界中的主體(對象)，並輸出獲得的圖像數據為單幀累加的成像結果。也就是說，圖像傳感器獲取現實世界1的信號，該信號為從現實世界1的主體反射的光，並輸出數據3。
例如，圖像傳感器輸出每秒30幀的圖像數據。在該情況下，圖像傳感器的曝光時間可以為1/30秒。曝光時間是從圖像傳感器開始入射光到電荷的轉換，到入射光到電荷的轉換結束的時間。以下，曝光時間也將稱作快門時間。
圖5是描述圖像傳感器上像素陣列實例的圖。在圖5中，A～I表示各個像素。像素設置在與由圖像數據顯示的圖像相對應的平面上。與單個像素相對應的單個檢測元件設置在圖像傳感器上。當圖像傳感器獲取現實世界1的圖像時，一個檢測元件輸出與構成圖像數據的一個像素相對應的一個像素值。例如，檢測元件空間方向X上的位置(X坐標)對應於由圖像數據顯示的圖像上的水平位置，並且檢測元件空間方向Y上的位置(Y坐標)對應於由圖像數據顯示的圖像上的垂直位置。
現實世界1的光強分布在三維空間方向和時間方向上展開，但是圖像傳感器在二維空間方向和時間方向上獲取現實世界1的光，並產生表示二維空間方向和時間方向上光強分布的數據3。
如圖6中所示，檢測設備例如CCD在對應於快門時間的時期中將投射到感光面(感光區域)(檢測區域)上的光轉換成電荷，並積累轉換的電荷。該光是現實世界1的信息(信號)，關於其的強度由三維空間位置和時間點確定。現實世界1的光強分布可以由函數F(x，y，z，t)表示，其中三維空間中的位置x，y，z以及時間點t為變量。
在檢測設備CCD中積累的電荷量與投射到具有二維空間展開的整個感光面上的光強、以及光投射到其上的時間量近似成比例。檢測設備將從投射到整個感光面上的光中轉換的電荷加到在對應於快門時間的時期中已經積累的電荷。也就是說，檢測設備積分投射到具有二維空間展開的整個感光面上的光，並累積與在對應於快門時間的時期中積分的光相對應的量的變化。檢測設備也可以說具有關於空間(感光面)和時間(快門時間)的積分效應。
檢測設備中累積的電荷由未顯示的電路轉換成電壓值，電壓值進一步轉換成像素值例如數字數據等，並且作為數據3輸出。因此，從圖像傳感器輸出的各個像素值具有投影到一維空間上的值，該值是關於快門時間的時間方向和檢測設備感光面的空間方向積分具有時間-空間展開的現實世界1信息(信號)的部分的結果。
也就是說，一個像素的像素值表示為F(x，y，t)的積分。F(x，y，t)是表示檢測設備感光面上的光強分布的函數。例如，像素值P由表達式(1)表示。
P=t1t2y1y2x1x2F(x,y,t)dxdydt---(1)]]>在表達式(1)中，x1表示檢測設備感光面的左側邊界處的空間坐標(X坐標)。x2表示檢測設備感光面的右側邊界處的空間坐標(X坐標)。在表達式(1)中，y1表示檢測設備感光面的上側邊界處的空間坐標(Y坐標)。y2表示檢測設備感光面的下側邊界處的空間坐標(Y坐標)。並且，t1表示入射光到電荷的轉換開始的時間點。t2表示入射光到電荷的轉換結束的時間點。
注意實際上，從圖像傳感器輸出的圖像數據的像素值的增益對於例如整個幀而校正。
圖像數據的每個像素值是投射到圖像傳感器的每個檢測元件的感光面上的光的積分值，並且投射到圖像傳感器上的光中，比檢測元件感光面更細的現實世界1的光的波形在作為積分值的像素值中隱藏。
以下，在本說明書中，用預先確定維度表示作為參考的信號的波形可以簡稱作波形。
因此，現實世界1的圖像(光信號)以像素為增量在空間方向和時間方向上積分，所以現實世界1的圖像連續性的一部分從圖像數據中丟失，從而現實世界1的圖像連續性的另一部分留在圖像數據中。或者，可能存在這種情況，其中已經從現實世界1的圖像連續性變化的連續性包括在圖像數據中。
將進一步描述由具有積分效應的圖像傳感器獲取的圖像在空間方向上的積分效應。
圖7是描述到與像素D至像素F相對應的檢測元件的入射光與像素值之間關係的圖。圖7中的F(x)是以空間中(檢測設備上)空間方向X上的坐標x作為變量、表示現實世界1的光強分布的函數的實例。換句話說，F(x)是表示空間方向Y和時間方向恆定的、現實世界1的光強分布的函數的實例。在圖7中，L表示與像素D至像素F相對應的檢測設備感光面的空間方向X上的長度。
單個像素的像素值表示為F(x)的積分。例如，像素E的像素值P由表達式(2)表示。
P=x1x2F(x)dx---(2)]]>在表達式(2)中，x1表示與像素E相對應的檢測設備感光面左側邊界處的空間方向X上的空間坐標。x2表示與像素E相對應的檢測設備感光面右側邊界處的空間方向X上的空間坐標。
同樣地，將進一步描述由具有積分效應的圖像傳感器獲取的圖像在時間方向上的積分效應。
圖8是描述消逝的時間、到與單個像素相對應的檢測元件的入射光，以及像素值之間關係的圖。圖8中的F(t)是以時間點t作為變量、表示現實世界1的光強分布的函數。換句話說，F(t)是表示空間方向Y和空間方向X恆定的、現實世界1的光強分布的函數的實例。Ts表示快門時間。
幀#n-1是時間方向上幀#n之前的幀，而幀#n+1是時間方向上幀#n之後的幀。也就是說，幀#n-1、幀#n和幀#n+1以幀#n-1、幀#n和幀#n+1的順序顯示。
注意，在圖8中所示實例中，快門時間ts和幀間隔是相同的。
單個像素的像素值表示為F(t)的積分。例如，幀#n的像素的像素值P由表達式(3)表示。
P=t1t2F(t)dt---(3)]]>
在表達式(3)中，t1表示入射光到電荷的轉換開始的時刻。t2表示入射光到電荷的轉換結束的時刻。
以下，傳感器2在空間方向上的積分效應將簡稱作空間積分效應，而傳感器2在時間方向上的積分效應也將簡稱作時間積分效應。並且，空間積分效應或時間積分效應將簡稱作積分效應。
接下來，將描述由具有積分效應的圖像傳感器獲取的數據3中包括的數據連續性的實例。
圖9是說明現實世界1的線形對象(例如細線)，即光強分布的實例的圖。在圖9中，到附圖上側的位置表示光強(光度)，到附圖右上側的位置表示在作為圖像空間方向的一個方向的空間方向X上的位置，並且到附圖右側的位置表示在作為圖像空間方向的另一個方向的空間方向Y上的位置。
現實世界1的線形對象的圖像包括預先確定的連續性。也就是說，圖9中所示圖像具有在長度方向上任意位置處橫截面形狀方面的連續性(關於與長度方向垂直的方向上位置的變化，光度變化)。
圖10是說明與圖9中所示圖像相對應、由實際圖像拍攝獲得的圖像數據的像素值的實例的圖。
也就是說，圖10是通過使用圖像傳感器對直徑比每個像素的感光面長度L短，並且在從圖像傳感器像素陣列(像素的垂直或水平陣列)偏移的方向上延伸的線形對象的圖像成像而獲得的圖像數據的模型圖。圖10中所示圖像數據獲取時投射到圖像傳感器中的圖像是圖9中所示現實世界1的線形對象的圖像。
在圖10中，到附圖上側的位置表示像素值，到附圖右上側的位置表示作為圖像空間方向的一個方向的空間方向X上的位置，並且到附圖右側的位置表示作為圖像空間方向的另一個方向的空間方向Y上的位置。圖10中表示像素值的方向對應於圖9中光度的方向，並且圖10中的空間方向X和空間方向Y也與圖9中的方向相同。
如果使用圖像傳感器獲取直徑比每個像素的感光面長度L短的線形對象的圖像，在模型表示中，例如，線形對象在作為圖像獲取結果而獲得的圖像數據中表示為以對角偏移方式排列的、具有預先確定長度的多個弧形(半盤)。弧形具有近似相同的形狀。一個弧形形成在垂直地一行像素上，或者水平地一行像素上。例如，圖10中所示的一個弧形形成在垂直地一行像素上。
因此，對於由例如圖像傳感器獲取並獲得的圖像數據，現實世界1的線形對象圖像具有的、在長度方向上任意位置處空間方向Y上橫截面形狀相同的連續性丟失。而且，可以說，現實世界1的線形對象圖像具有的連續性已經變成這種連續性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形狀的弧形以預先確定的間隔排列。
圖11是說明具有直邊且具有不同於背景的單色的對象在現實世界1中的圖像，即光強分布實例的圖。在圖11中，到附圖上側的位置表示光強(光度)，到附圖右上側的位置表示作為圖像空間方向的一個方向的空間方向X上的位置，並且到附圖右側的位置表示作為圖像空間方向的另一個方向的空間方向Y上的位置。
具有直邊且具有不同於背景的單色的現實世界1的對象的圖像包括預先確定的連續性。也就是說，圖11中所示圖像具有這種連續性，即在邊緣長度方向上任意位置處橫截面形狀(關於在與長度方向垂直的方向上位置的變化，光度變化)相同。
圖12是說明與圖11中所示圖像相對應、由實際圖像拍攝獲得的圖像數據的像素值的實例的圖。如圖12中所示，圖像數據為階梯形，因為圖像數據由以像素為增量的像素值構成。
圖13是說明圖12中所示圖像數據的模型圖。
圖13中所示模型圖是通過使用圖像傳感器對具有直邊以及不同於背景的單色，並且在從圖像傳感器像素陣列(像素的垂直或水平陣列)偏移的方向上延伸的現實世界1對象的圖像成像而獲得的圖像數據的模型圖。圖13中所示圖像數據獲取時投射到圖像傳感器中的圖像是圖11中所示具有直邊以及不同於背景的單色的現實世界1對象的圖像。
在圖13中，到附圖上側的位置表示像素值，到附圖右上側的位置表示作為圖像空間方向的一個方向的空間方向X上的位置，以及到附圖右側的位置表示作為圖像空間方向的另一個方向的空間方向Y上的位置。圖13中表示像素值的方向對應於圖11中光度的方向，並且圖13中的空間方向X和空間方向Y與圖11中的方向相同。
如果使用圖像傳感器獲取具有直邊以及不同於背景的單色的現實世界1對象的圖像，在模型表示中，例如，直邊在作為圖像獲取結果而獲得的圖像數據中表示為以對角偏移方式排列的、具有預先確定長度的多個爪形。爪形具有近似相同的形狀。一個爪形形成在垂直地一行像素上，或者水平地一行像素上。例如，圖13中所示的一個爪形形成在垂直地一行像素上。
因此，具有直邊以及不同於背景的單色的現實世界1對象的圖像的連續性，即在邊緣長度方向上任意位置處橫截面形狀相同，例如，在通過使用圖像傳感器成像而獲得的圖像數據中丟失。而且，可以說，具有直邊以及不同於背景的單色的現實世界1對象的圖像具有的連續性已經變成這種連續性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形狀的爪形以預先確定的間隔排列。
數據連續性檢測單元101檢測例如作為輸入圖像的數據3的這種數據連續性。例如，數據連續性檢測單元101通過檢測在預先確定維度方向上具有恆定特性的區域來檢測數據連續性。例如，數據連續性檢測單元101檢測例如圖10中所示相同的弧形以恆定間隔排列的區域。同樣，例如，數據連續性檢測單元101檢測例如圖13中所示相同的爪形以恆定間隔排列的區域。
而且，數據連續性檢測單元101通過檢測指示相同形狀排列的空間方向上的角度(梯度)來檢測數據的連續性。
而且，例如，數據連續性檢測單元101通過檢測指示空間方向和時間方向上相同形狀排列的空間方向和時間方向上的角度(運動)來檢測數據的連續性。
此外，例如，數據連續性檢測單元101通過檢測在預先確定維度方向上具有恆定特性的區域的長度來檢測數據中的連續性。
以下，數據3中傳感器2已經投影具有直邊以及不同於背景的單色的現實世界1對象的圖像的部分也將稱作二值邊緣。
現在，使用常規信號處理，期望高解析度數據例如從數據3中產生。
相反地，使用信號處理設備4的信號處理，現實世界1從數據3中估計，並且高解析度數據基於估計結果而產生。也就是說，現實世界1從數據3中估計，並且高解析度數據基於考慮數據3的估計的現實世界1而產生。
為了從現實世界1中產生高解析度數據，需要考慮現實世界1與數據3之間的關係。例如，考慮現實世界1如何由傳感器2即CCD投影到數據3上。
傳感器2即CCD如上所述具有積分性質。也就是說，數據3的一個單位(例如像素值)可以通過關於傳感器2的檢測設備(例如CCD)的檢測區域(例如感光面)積分現實世界1的信號來計算。
將此應用到高解析度數據，高解析度數據可以通過施加處理到估計的現實世界1而獲得，其中虛擬高解析度傳感器將現實世界1的信號投影到數據3。
換句話說，如果現實世界1的信號可以從數據3中估計，包含在高解析度數據中的一個值可以通過對虛擬高解析度傳感器的檢測元件的每個檢測區域(在時間-空間方向上)積分現實世界1的信號來獲得。
例如，如果現實世界1信號的變化小於傳感器2的檢測元件檢測區域的大小，數據3不能表示現實世界1信號的小變化。因此，指示現實世界1信號的小變化的高解析度數據可以通過關於比現實世界1信號的變化小的每個區域(在時間-空間方向上)積分從數據3中估計的現實世界1的信號來獲得。
也就是說，對關於虛擬高解析度傳感器的每個檢測元件的檢測區域積分估計的現實世界1的信號，能夠獲得高解析度數據。
對於信號處理設備4，圖像生成單元103通過關於虛擬高解析度傳感器的檢測元件的區域在時間-空間方向上積分估計的現實世界1的信號，來產生高解析度數據。
接下來，為了從數據3中估計現實世界1，在信號處理設備4處，數據3與現實世界1之間的關係、連續性以及數據3中的空間或時間混合(空間混合或時間混合)被使用。
這裡，混合意思是數據3中的值，其中現實世界1中兩個對象的信號混合以產生單個值。
空間混合意思是因傳感器2的空間積分效應，空間方向上兩個對象的信號的混合。時間混合將隨後描述。
現實世界1自身由無數事件構成，因此，為了用數學表達式表示現實世界1自身，例如，需要具有無數個變量。從數據3中預測現實世界1的所有事件是不可能的。
同樣地，從數據3中預測現實世界1的所有信號是不可能的。
因此，使用信號處理設備4，現實世界1的信號中，具有連續性且可以由函數f(x，y，z，t)表示的部分被關注，並且可以由函數f(x，y，z，t)表示且具有連續性的現實世界1信號的部分用由N個變量表示的模型161近似。如圖14中所示，模型161從數據3中的M塊數據162中預測。
為了使得模型161能夠從M塊數據162中預測，首先，需要基於連續性用N個變量表示模型161，第二，基於傳感器2的積分性質，產生使用N個變量、指示由N個變量表示的模型161與M塊數據162之間關係的表達式。因為模型161基於連續性由N個變量表示，可以說使用N個變量、指示由N個變量表示的模型161與M塊數據162之間關係的表達式，描述具有連續性的現實世界1信號的部分與具有數據連續性的數據3的部分之間的關係。
換句話說，由N個變量表示的模型161近似的、具有連續性的現實世界1信號的部分產生數據3中的數據連續性。
數據連續性檢測單元101檢測數據連續性已經由具有連續性的現實世界1信號的部分產生的數據3的部分，以及數據連續性已經產生的部分的特性。
例如，如圖15中所示，在具有直邊以及不同於背景的單色的現實世界1對象的圖像中，圖15中由A指示的關注位置處的邊緣具有梯度。圖15中的箭頭B指示邊緣的梯度。預先確定的邊緣梯度可以表示為關於參考軸的角度或者關於參考位置的方向。例如，預先確定的邊緣梯度可以表示為空間方向X的坐標軸與邊緣之間的角度。例如，預先確定的邊緣梯度可以表示為由空間方向X的長度和空間方向Y的長度指示的方向。
當具有直邊以及不同於背景的單色的現實世界1對象的圖像在傳感器2處獲得並且數據3輸出時，對應於邊緣的爪形排列在數據3中與現實世界1的圖像中邊緣的關注位置(A)相對應的位置處，其在圖15中由A′指示，並且對應於邊緣的爪形在與現實世界1中圖像邊緣的梯度相對應的方向上，圖15中由B′指示的梯度的方向上排列。
用N個變量表示的模型161近似產生數據3中數據連續性的現實世界1信號的這種部分。
當列出使用N個變量、指示由N個變量表示的模型161與M塊數據162之間關係的表達式時，使用數據連續性在數據3中產生的部分的值。
在該情況下，在圖16中所示數據3中，注意數據連續性在其中產生並且屬於混合區域的值，表達式用積分現實世界1的信號、與由傳感器2的檢測元件輸出的值相等的值列出。例如，多個表達式可以關於數據連續性在其中產生的數據3中多個值而列出。
在圖16中，A表示邊緣的關注位置，A′表示與現實世界1的圖像中關注邊緣的位置(A)相對應的像素(位置)。
現在，混合區域意思是現實世界1中兩個對象的信號混合併變為一個值的數據3中的數據區域。例如，這樣的像素值屬於混合區域，其中在具有直邊以及不同於數據3中背景的單色的現實世界1對象的圖像中，具有直邊的對象的圖像和背景的圖像被積分。
圖17是描述在列出表達式的情況下，現實世界1中兩個對象的信號以及屬於混合區域的值的圖。
圖17的左側說明與在空間方向X和空間方向Y上具有預先確定展開的現實世界1中兩個對象相對應的現實世界1的信號，該信號在傳感器2的單個檢測元件的檢測區域處獲取。圖17的右側說明數據3中單個像素的像素值P，圖17中左側說明的現實世界1的信號已經由傳感器2的單個檢測元件投影到其中。也就是說，說明數據3中單個像素的像素值P，與在空間方向X和空間方向Y上具有預先確定展開的現實世界1中兩個對象相對應、並且由傳感器2的單個檢測元件獲取的現實世界1的信號已經投影到其中。
圖17中的L表示與現實世界1中一個對象相對應的現實世界1的信號的光度，其在圖17中以白色顯示。圖17中的R表示與現實世界1中另一個對象相對應的現實世界1的信號的光度，其在圖17中顯示為陰影。
這裡，混合比α是投射到在空間方向X和空間方向Y上具有預先確定展開的傳感器2的一個檢測元件的檢測區域中、與兩個對象相對應的信號(面積)比。例如，混合比α表示投射到在空間方向X和空間方向Y上具有預先確定展開的傳感器2的一個檢測元件的檢測區域中的光度L信號的面積，關於傳感器2的單個檢測元件的檢測區域的面積的比值。
在該情況下，光度L、光度R和像素值P之間的關係可以由表達式(4)表示。
α×L+f(1-α)×R＝P …(4)注意，可能存在這種情況，其中光度R可以看作位於關注像素右側的數據3中像素的像素值，並且可能存在這種情況，其中光度L可以看作位於關注像素左側的數據3中像素的像素值。
而且，對於混合比α和混合區域，時間方向可以與空間方向相同的方法考慮。例如，如果作為圖像獲取對象的現實世界1中的對象正關於傳感器2運動，投射到傳感器2的單個檢測元件的檢測區域中的兩個對象的信號比在時間方向上變化。已經投射到傳感器2的單