學習裝置和方法、圖像處理裝置和方法、程序和記錄介質的製作方法

2023-07-31 22:51:11 3

專利名稱：學習裝置和方法、圖像處理裝置和方法、程序和記錄介質的製作方法
技術領域：
本發明涉及學習裝置和方法、圖像處理裝置和方法、程序、以及記錄介質，尤其涉及能夠高速進行高精度解析度插值的學習裝置和方法、圖像處理裝置和方法、程序、以及記錄介質。
背景技術：
過去，高質量圖像處理已經投入實際使用。例如，當輸入信號的解析度不滿足屏幕的解析度，已知用作用於補償解析度的解析度插值技術的超解析度技術。如果使用超解析度技術，當使用全高清(full-HD)寬屏電視觀看具有標準解析度的視頻軟體時，可以對不足的像素進行插入(interpose)並且能夠享受到更真實的視頻。
·
現有技術的超解析度技術通過反覆的運算根據低解析度圖像來估計高解析度圖像的像素，並通常執行以下的處理。首先，預先估計相機模型(劣化模型)和相機運動(對準)。另外，通過反覆運算逐漸校正高解析度圖像，從而使得通過估計模型根據高解析度圖像獲得的估計的低解析度圖像與實際觀測的低解析度圖像的誤差(差分)減小，以使所述高解析度圖像變得與理想圖像近似。例如，在相機模型(劣化模型)中，考慮模糊(光模糊、移動模糊和PSF)、像素數目變換(下變換(down conversion)和逐行-隔行變換)、以及噪聲。在對準中，使用具有子像素精度的對相機運動或物體運動的估計。當確切知道相機模型和對準時，能夠恢復沒有混疊(aliasing)的高解析度圖像。另外，提出了這樣的技術(例如，參考日本專利申請公開No2008-140012)，其中將通過超解析度處理器計算的反饋值加上存儲在緩衝器中的高解析度圖像，將通過第一次加法處理獲得的高解析度圖像加上通過以下的超解析度處理器獲得的反饋值，並且通過利用Gauss-Seidel法的超解析度處理來生成高解析度圖像。

發明內容
然而，在現有技術中，未能完全指定相機模型或對準，並且未能利用均一的模型來描述屏幕的內部。如果在相機模型或對準中產生估計誤差，並且未能進行適當的高解析度圖像校正，貝1J會產生不良影響，諸如邊緣或細節部分的過分加強、過調節(overshoot)、以及對噪聲的加強，並且這導致圖像質量的劣化。考慮了用於根據圖像的預先(advance)信息而防止圖像質量的劣化或加強噪聲的技術以防止不良影響(稱為重構建型(reconstruction-type)超解析度MAP法)。然而，該技術不足以防止不良影響，因為性能很大程度上依賴於圖像的預先信息，並且難以對混疊性能、解析度感、抑制過調節、以及抑制噪聲全部滿足。在現有技術中，因為由反覆運算造成的處理負荷較大，所以難以實現高速處理。考慮上述情況而完成本發明，並且本發明使得能夠以高速進行高精度的解析度插值。根據本發明的實施例，提供了一種圖像處理裝置，其包括基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；以及預測運算單元，該預測運算單元基於預先存儲的參數、作為輸入的低解析度圖像的觀測的低解析度圖像、以及通過執行所述基於模型的處理而獲得的圖像，對將要輸出的高解析度圖像的像素值進行預測運算。預測運算單元可以讀取通過預先學習生成的存儲在學習資料庫中的所述參數，並 進行所述預測運算。基於模型的處理單元可以包括運動補償單元，該運動補償單元對前一幀輸出的高解析度圖像的運動進行補償；下採樣器，該下採樣器根據所述相機模型限制前一幀輸出的運動補償後的高解析度圖像的帶域、間隔剔除像素，而生成估計的低解析度圖像；差分計算單元，該差分計算單元計算作為輸入的低解析度圖像的觀測的低解析度圖像與估計的低解析度圖像之間的差分，並生成差分圖像數據；以及上採樣器，該上採樣器對差分圖像數據的像素進行插值，從而生成高解析度圖像。基於模型的處理單元可以包括模糊添加單元，該模糊添加單元對前一幀輸出的高解析度圖像添加模糊；以及模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。還可以包括類型分類單元，該類型分類單元基於在基於模型的處理過程中計算的特徵量對每種類型的關注像素進行分類。預測運算單元還可以進行使用預先存儲的係數作為與分類的類型相對應的參數的預定運算，對將要輸出的高解析度圖像的像素值進行預測運算。還可以包括抽頭(tap)提取單元，該抽頭提取單元提取作為輸入的低解析度圖像的觀測的低解析度圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行基於模型的處理而獲得的圖像的預定像素作為抽頭。預測運算單元可以基於預先存儲的參數進行關於抽頭的預定運算，並對將要輸出的高解析度圖像的像素值進行預測運算。根據本發明的實施例，提供了一種圖像處理方法，其包括由基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一巾貞輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；以及由預測運算模型基於預先存儲的參數、作為輸入的低解析度圖像的觀測的低解析度圖像、以及通過執行所述基於模型的處理而獲得的圖像，對將要輸出的高解析度圖像的像素值進行預測運算。根據本發明的實施例，提供了一種用於使得計算機用作圖像處理裝置的程序。該圖像處理裝置包括基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一巾貞輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；以及預測運算單元，該預測運算單元基於預先存儲的參數、作為輸入的低解析度圖像的觀測的低解析度圖像、以及通過執行所述基於模型的處理而獲得的圖像，對將要輸出的高解析度圖像的像素值進行預測運算。根據本發明的實施例，提供了一種記錄介質，其中記錄根據權利要求8的程序。根據本發明的另一個實施例，提供了一種學習裝置，其包括基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；抽頭提取單元，該抽頭提取單元提取通過轉換具有高解析度的老師圖像的解析度而獲得的具有低解析度的學生圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行所述基於模型的處理而獲得的圖像的預定像素作為抽頭；樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預定參數以及老師圖像的像素值的公式作為樣本；以及參數計算單元，該參數計算單元基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。還可以包括資料庫，該資料庫存儲所計算的參數。可以在圖像處理裝置的圖像處理中使用資料庫，該圖像處理用於將輸入的低解析度圖像轉換為高解析度圖像。基於模型的處理單元可以包括運動補償單元，該運動補償單元對前一幀輸出的高解析度圖像的運動進行補償；下採樣器，該下採樣器根據相機模型限制前一幀輸出的運動補償後的高解析度圖像的帶域、間隔剔除像素，而生成估計的低解析度圖像；差分計算單元，該差分計算單元計算學生圖像與估計的低解析度圖像之間的差分，並生成差分圖像數據；以及上採樣器，該上採樣器對差分圖像數據的像素進行插值，而生成高解析度圖像。·基於模型的處理單元可以包括模糊添加單元，該模糊添加單元對前一幀輸出的高解析度圖像添加模糊；以及模糊去除單元，該模糊去除單元去除由模糊添加單元添加的模糊。還可以包括類型分類單元，該類型分類單元基於在基於模型的處理過程中所計算的特徵量將關注像素分類為各個類型。參數計算單元可以計算對要輸出的高解析度圖像的像素值進行預測運算時與所述抽頭相乘的係數，作為對應於分類的類型的參數。根據本發明的另一個實施例，提供了一種學習方法，其包括通過基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；通過抽頭提取單元提取通過轉換具有高解析度的老師圖像的解析度而獲得的具有低解析度的學生圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行所述基於模型的處理而獲得的圖像的預定像素作為抽頭；通過樣本積蓄單元積蓄包括抽頭、預定參數以及老師圖像的像素值的公式作為樣本；以及通過參數計算單元基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。根據本發明的實施例，提供了一種用於使得計算機用作學習裝置的程序。該學習裝置包括基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；抽頭提取單元，該抽頭提取單元提取通過轉換具有高解析度的老師圖像的解析度而獲得的具有低解析度的學生圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行所述基於模型的處理而獲得的圖像的預定像素作為抽頭；樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預定參數以及老師圖像的像素值的公式作為樣本；以及參數計算單元，該參數計算單元基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。根據本發明的實施例，執行基於模型的處理，該基於模型的處理對於前一巾貞輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；提取通過轉換具有高解析度的老師圖像的解析度而獲得的具有低解析度的學生圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行所述基於模型的處理而獲得的圖像的預定像素作為抽頭；積蓄包括抽頭、預定參數以及老師圖像的像素值的公式作為樣本；以及基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。根據上述本發明的實施例，能夠以高速進行高精度解析度插值。


圖I為說明通過使用一幀的屏幕內的像素的現有的上轉換(up conversion)技術獲得的圖像實例的示圖；圖2為說明SDi信號的像素和HDp信號的像素的位置的示圖；·圖3為說明通過使用過去生成的多個圖像的像素的現有的超解析度技術獲得的圖像的實例的示圖；圖4為說明SDi信號的像素和HDp信號的像素的位置的示圖；圖5A至5C為說明通過使用一幀的屏幕內的像素時和使用過去生成的多個圖像的像素時的超解析度技術獲得的圖像的實例的示圖；圖6A至6C為說明與圖5A至5C的實例不同的圖像的實例的示圖；圖7為說明現有的超解析度技術的概念圖；圖8為說明採用現有的超解析度技術的圖像處理裝置的構造實例的框圖；圖9為說明由現有的圖像處理裝置執行的處理被簡化的情況的示圖；圖10說明由應用本發明的圖像處理裝置的執行的處理被簡化的情況的示圖；圖11為說明在本發明中係數的學習的概念圖；圖12為說明在本發明中高解析度圖像的生成的概念圖；圖13為說明根據本發明實施例的學習裝置的構造實例的框圖；圖14為說明根據本發明實施例的圖像處理裝置的構造實例的框圖；圖15為說明係數學習處理的實例的流程圖；圖16為說明基於模型的處理的實例的流程圖；圖17為說明樣本積蓄處理的實例的流程圖；圖18為說明超解析度處理的實例的流程圖；圖19為說明預測處理的實例的流程圖；以及圖20為說明個人計算機的構造實例的框圖。
具體實施例方式下面將參考附圖詳細說明本發明的優選實施例。應注意，在該說明書和附圖中，以相同的附圖標記表示具有基本相同的功能和結構的結構元件，並且省略對這些結構元件的重複說明。首先，將對現有技術的超解析度技術進行說明。圖I示出圖像的實例，在所述圖像上使用現有的上轉換技術執行高質量圖像處理。在該實例中，將標準清晰度(SD)隔行(i )信號的圖像轉換為高清晰度(HD)逐行(p )信號的圖像。圖I所示的圖像是運動圖片。在該實例中，顯示了在時刻t至t+4的各個幀的圖像。在該實例中，基於在一幀的屏幕內的像素執行高質量圖像處理。例如，基於多個SDi信號的像素生成一個HDp信號的像素。即，示出了對圖像進行上轉換的情況的實例。在圖I中，在最上面的部分示出了要最初生成的作為理想圖像的HDp信號的圖像。在圖I中，從上往下順序排列和顯示時刻t至t+4的各個幀的圖像，這些圖像是通過對SDi信號執行高質量圖像處理獲得的圖像。在圖2中，縱軸示出垂直方向的像素位置，橫軸示出時刻，並且由圓形圖形示出SDi信號的像素和通過利用超解析度技術執行高質量圖像處理生成的(插值的)HDp信號的像素。SDi信號的像素由較大的細線條(hatched)的圓形示出，並且HDp信號的像素由較小的黑色圓形示出。由於執行高質量圖像處理的圖像是具有運動的圖像，所以在圖I中以X標記示出 的像素在垂直方向移動。也就是說，圖2中以圓圈圍繞的黑色圓形對應於圖I中以X標記示出的像素。如上所述，由於基於一幀的屏幕內的像素執行高質量圖像處理，所以由位於遠離SDi信號的像素的位置的位置處的HDp信號的像素構成的圖像的像素的插值精度通常變得較低。例如，如圖2所示，在時刻t+2的幀中的以圓圈圍繞的HDp信號的像素遠離SDi信號的像素的位置。因此，在圖I的時刻t+2的幀的圖像中，以X標記示出的位置附近的圖像的像素的插值精度較低。同時，當利用之前存在(過去)的多個時刻的幀的圖像的像素執行高質量圖像處理時，能夠提高由位於遠離SDi信號的像素的位置的位置處的HDp信號的像素構成的圖像的像素的插值精度。圖3示出利用現有的超解析度技術執行高質量圖像處理的圖像的實例。在該實例中，示出將SDi信號的圖像轉換為HDp信號的圖像的情況。圖3所示的圖像是運動圖片。在該實例中，顯示時刻t至t+4的時刻的各個幀的圖像。在該實例中，基於在過去生成的多個圖像的像素執行高質量圖像處理。例如，基於多個SDi信號的像素生成I個HDp信號的像素。在圖3中，在最上面的部分示出了要最初生成的作為理想圖像的HDp信號的圖像。在圖3中，從上往下順序排列和顯示時刻t至t+4的各個幀的圖像，這些圖像是通過對SDi信號執行使用現有的超解析度技術的高質量圖像處理獲得的圖像。在圖4中，縱軸示出垂直方向的像素位置，橫軸示出時刻，並且由圓圈圖形示出SDi信號的像素和通過利用超解析度技術執行高質量圖像處理生成的(插值的)HDp信號的像素。SDi信號的像素由較大的細線條(hatched)的圓形示出，並且HDp信號的像素由較小的黑色圓形示出。與圖I的情況不同，在圖3所示的圖像的情況下，隨著時刻經過清楚地顯示圖像。例如，在時刻t+4處示出的圖像中，與圖I的情況不同，遠離SDi信號的像素的位置的位置處的像素被清楚地顯示，而諸如圖像的邊緣的細節部分也被清楚地顯示。圖5A至6C示出通過利用一幀的屏幕內的像素的超解析度技術獲得的圖像和通過利用在過去生成的多個圖像的像素的超解析度技術獲得的圖像的另一個實例。
圖5C和6C分別示出與實際被攝體的圖像近似的理想圖像。在圖5C的情況下，顯示包括多個邊緣的圖像，並且在圖6C的情況下，顯示包括多個字符的圖像。圖5A示出通過基於一幀的屏幕內的像素執行高質量圖像處理獲得的圖像的實例，並且圖5B示出通過利用在過去生成的多個圖像的像素執行高質量圖像處理獲得的圖像的實例。例如，在圖5A的情況下，在成為屏幕內的邊緣的圖像的附近發生混疊畸變 (aliasing distortion)。同時,在圖5B的情況下,獲得更近似於理想圖像(參考圖5C)的圖像。在圖5B的情況下，使用多個圖像的像素，圖像質量能夠接近理想圖像的質量。圖6A示出通過基於一幀的屏幕內的像素執行的高質量圖像處理獲得圖像的實例，並且圖6B示出通過利用在過去生成的多個圖像的像素執行的高質量圖像處理獲得的圖像的實例。例如，在圖6A的情況下，屏幕內的字符的圖像未被清楚地顯示。同時，在圖6B的情況下，獲得與理想圖像(參考圖6C)更近似的圖像。在圖6B的情況下，利用將在下文說明的反覆運算(repeated operation),圖像質量能夠接近理想圖像的質量。從而，在圖5A至6C的情況下，通過利用在過去生成的多個圖像的像素執行高質量圖像處理，能夠獲得與理想圖像近似的圖像。圖7和8不出現有的超解析度技術。在這些實例中，聞質量圖像處理將低解析度圖像轉換為高解析度圖像、並且通過利用在過去生成的多個圖像的像素而執行。在現有的超解析度技術中，如圖7所示，通過相機對被攝體拍照，並且獲得觀測的低解析度圖像(例如，SDi信號的圖像)。同時，在通過相機拍攝被攝體時的相機模型(劣化模型)和相機運動(對準)被添加到前一幀的高解析度圖像(例如，HDp信號的圖像)。例如，對前一幀的高解析度圖像有意添加模糊並且對運動進行補償。之後，將圖像下採樣，並且將圖像轉換為低解析度圖像。從而，獲得估計的低解析度圖像(例如SDi信號的圖像)。計算估計的低解析度圖像的每個像素與觀測的低解析度圖像的每個像素的差分(誤差)並更新高解析度圖像以減少誤差。通過對於一幀若干次地反覆上述處理而更新高解析度圖像。高解析度圖像的質量逐漸接近理想圖像的質量。從而，可以將用於反覆更新高解析度圖像的像素值的處理稱為反覆運算。例如，當將反覆運算進行三次時，相比於將反覆運算進行兩次，圖像的質量能夠進一步接近理想圖像。從而，如果通過反覆運算更新通過最近的運算處理更新的高解析度圖像的像素，高解析度圖像的質量逐漸接近理想圖像的質量。圖8是示出採用現有的超解析度技術的圖像處理裝置的構造實例的框圖。圖8所示的圖像處理裝置10包括運動補償單元(MC) 21、模糊添加單元(模糊)22、下採樣器23、力口法器24、上採樣器25、模糊去除單元(逆模糊(InvBlur)) 26、乘法器27以及加法器28。運動補償單元21接收在最近之前的更新的高解析度圖像，計算運動矢量，並對運動進行補償。從運動補償單元21輸出的圖像被稱為運動補償後的最近之前的更新的高解析度圖像。該運動補償後的最近之前的更新的高解析度圖像被提供給模糊添加單元22。模糊添加單元22對運動補償後的最近之前的更新的高解析度圖像添加由相機拍攝被攝體時產生的模糊。也就是說，估計(模擬)相機的PSF或光模糊並生成圖像。在該情況下，將基於預定圖像估計(模擬)相機的PSF或光模糊並生成圖像稱為添加模糊。添加了模糊的運動補償後的最近之前的更新的高解析度圖像被提供給下採樣器23。下採樣器23間隔剔除(thin out)添加了模糊的運動補償後的最近之前的更新的高解析度圖像的像素並生成低解析度圖像。從而，生成估計的低解析度圖像。加法器24計算估計的低解析度圖像的每個像素與觀測的低解析度圖像的每個像素的差分(誤差)。該計算結果被提供給上採樣器25。上採樣器25對於加法器24的計算結果的數據對像素進行插值以生成高解析度圖像，並將高解析度圖像提供給模糊去除單元(逆模糊(InvBlur)) 26。模糊去除單元26去除提供的高解析度圖像的模糊。即，執行用於去除由模糊添加單元22添加的模糊的處理。模糊添加單元22和模糊去除單元26可以不設置。·乘法器27將從模糊去除單元26輸出的高解析度圖像的每個像素的像素值與預定增益相乘並將相乘的結果輸出給加法器28。加法器28將運動補償後的最近之前的更新的高解析度圖像的每個像素與乘法器27的計算結果相加，並將相加的結果輸出作為高解析度圖像。S卩，如果如圖9所示簡單地說明現有技術的圖像處理裝置10，現有技術的圖像處理裝置10以模型基礎轉換低解析度圖像和反饋的高解析度圖像，並生成高解析度圖像。即，運動補償或模糊添加或去除可以考慮基於作為相機模型提供的圖像轉換模型和作為對準提供的圖像轉換模型的處理，並且該圖像轉換被稱為基於模型的處理。對於在上述實例中的反饋，最近之前的高解析度圖像被反饋。另外，最近之前的更新的高解析度圖像被反饋並更新。通過對於一幀若干次地反覆反饋而更新高解析度的圖像。圖9中的模型基礎示出處理的概念，並且對應於圖8的運動補償單元21、模糊添加單元22和下採樣器23的處理、以及它們的逆轉換處理。然而，相機模型或對準無法被完全指定，並且屏幕的內部無法以均一的模型描述。即，難以適當地構建圖9所示的模型基礎。如果相機模型或者對準發生估計誤差，並且無法進行適當的高解析度圖像校正，將產生不良影響，諸如對邊緣或細節部分的過分加強、過調節以及對噪聲的加強，這導致圖像質量的劣化。考慮了用於根據圖像的預先信息防止對圖像質量的劣化或對噪聲的加強的技術，以防止不良影響(稱為重構建型超解析度MAP法)。然而，該技術不足以防止不良影響，因為性能很大程度上依賴於圖像的預先信息，而難以對混疊性能、解析度感、抑制過調節、以及抑制噪聲全部滿足。在現有技術中，如上所述，通過對於一幀反覆若干次的反覆運算的處理負荷較大，從而難以實現高速處理。從而，在本發明中，如圖10所示，對基於模型的處理添加使用學習資料庫的處理。即，將高解析度圖像設置為教師圖像(teacher image)，並將通過劣化教師圖像而生成的低解析度圖像設置為學生圖像(student image)，將高解析度圖像和低解析度圖像輸入圖像處理裝置，並且根據學生圖像生成高解析度圖像。將生成的高解析度圖像和教師圖像相互比較，計算(學習)用於估計高解析度圖像的像素值的參數，並將該參數存儲在學習資料庫中。
例如，如圖11所示，將作為學生圖像輸入的低解析度圖像(例如，SDi信號的圖像)作為觀測的低解析度圖像來處理。同時，將由相機拍攝被攝體時的相機模型(劣化模型)和相機運動(對準)添加到前一幀的高解析度圖像(例如，HDp信號的圖像)。例如，有意地將模糊添加到前一幀的高解析度圖像，並在對運動進行補償。從而，獲得估計的低解析度圖像(例如，SDi信號的圖像)。在該情況下，將基於預定圖像估計(模擬)相機的PSF或光模糊並生成圖像稱為添加模糊。計算估計的低解析度圖像的每個像素與觀測的低解析度圖像的每個像素的差分(誤差)，並通過學習用於生成高解析度圖像所需的信息而更新高解析度圖像。在該情況下，基於觀測的低解析度圖像的像素和運動補償後的前一幀的高解析度圖像的像素來學習用於估計高解析度圖像的像素的預定係數。例如，將教師圖像的像素值設置為yt，將學生圖像的像素值設置為xi，將運動補償後的前一幀的高解析度圖像的像素值設置為xj，並且假設通過公式I表示的線性公式。·
NI
yt=IwiXi + IwjXjjj
(I)在該情況下，公式I中的係數Wi示出與觀測的低解析度圖像的像素值相乘的係數，並且係數Wj示出與運動補償後的前一幀的高解析度圖像的像素值相乘的係數。在公式I中，N示出用於計算教師圖像的像素值的學生圖像的像素數目，並且M示出用於計算教師圖像的像素數目的運動補償後的前一幀的高解析度圖像的像素數目。例如，使用學生圖像的像素值與估計的低解析度圖像的像素值的差分作為特徵量將關注像素分類為各個類型。在該情況下，關注像素成為要在高解析度圖像中獲得的像素。從而，根據在對於學生圖像的像素值與估計的低解析度圖像的像素值的差分的數據進行通過上採樣器的像素插值之後，通過模糊去除單元去除模糊的數據的像素值來獲得對應於實際關注像素值的特徵量。可以使用其它方法將關注像素分類為各個類型。例如，可以使用自適應動態範圍編碼(ADRC)將關注像素分類為各個類型。如上所述，在將關注像素分類為各個類型之後，對每個類型積蓄公式I的多個樣本。另外，使用最小二乘法對每個類型計算係數Wi和wj。如上所述所計算的係數Wi和Wj被存儲在學習資料庫中。當對於實際輸入的圖像執行高質量圖像處理時，使用被存儲在學習資料庫中的係數wi和w j。S卩，如圖12所示，執行下面的處理以將觀測的低解析度圖像轉換為高解析度圖像。由相機拍攝被攝體，並且獲得低解析度圖像(例如，SDi信號的圖像)。同時，將在由相機拍攝被攝體時的相機模型(劣化模型)和相機運動(對準)添加到前一幀的高解析度圖像(例如，HDp信號的圖像)。例如，有意地將模糊添加到前一幀的高解析度圖像，並且對運動進行補償。之後對圖像進行下採樣，並且將圖像轉換為低解析度圖像。從而，獲得估計的低解析度圖像(例如，SDi信號的圖像)。在該情況下，將基於預定圖像估計(模擬)相機的PSF或光模糊並生成圖像稱為添加模糊。
將關注像素分類為各個類型，並使用對應於分類的類型的係數預測(運算)高解析度圖像的像素值。在該情況下，與在進行學習時類似，使用學生圖像的像素值和估計的低解析度圖像的像素值的差分作為特徵量而將關注像素分類為各個類型。讀取與分類的類型相關聯並被存儲在學習資料庫中的係數Wi和Wj。例如，將要預測的高解析度圖像的像素值設置為y，將觀測的低解析度圖像的像素
值設置為xi，將運動補償後的前一幀的高解析度圖像的像素值設置為xj，並且通過公式2
的運算預測(運算)高解析度圖像的像素值。。
NI
y— > Hf - Y ， -4- > UU * V ·^ / W|A| ~ / W IA Ij j
(2)在該情況下，公式2中的係數wi示出與觀測的低解析度圖像的像素值相乘的係數，並且係數wj示出與運動補償後的前一幀的高解析度圖像的像素值相乘的係數，並且根據關注像素的類型從學習資料庫讀取係數。在公式2中，N示出用於計算高解析度圖像的像素值的觀測的低解析度圖像的像素數目，並且M示出用於計算高解析度圖像的像素值的運動補償後的前一幀的高解析度圖像的像素數目，並且各個像素數目等於在進行學習時的像素數目。通過以由公式2運算的像素值替換高解析度圖像的每個像素值而更新高解析度圖像。根據本發明，與上述參考圖7的現有的超解析度技術的情況不同，將公式2的運算對於一幀進行一次，生成與理想圖像近似的高解析度圖像的像素。從而，解除了通過反覆運算導致的處理負荷，並容易地實現了高速處理。根據本發明，預先學習並存儲在公式2的運算中使用的係數。從而，即使在相機模型或對準中產生估計誤差，仍能夠抑制產生不良影響，諸如對邊緣或細節部分的過分加強、過調節、以及對噪聲的加強。這是因為，即使在相機模型或對準中產生估計誤差，也能夠從包括該估計誤差的狀態學習用於生成與理想圖像近似的圖像的係數。從而，根據本發明，因為不需要完美地調節相機模型或對準，從而能夠在不複雜化裝置的結構的情況下提高處理精度。圖13為示出根據本發明實施例的學習裝置的構造實例的框圖。在學習裝置100中，輸入高解析度圖像作為教師圖像，並輸入通過劣化教師圖像而生成的低解析度圖像作為學生圖像，並且根據學生圖像生成高解析度圖像。將生成的高解析度圖像與教師圖像相互比較，並計算(學習)用於估計高解析度圖像的像素值的參數，並將該參數存儲在學習資料庫中。圖13所示的學習裝置100包括基於模型的處理單元111、學習處理單元112、學習資料庫113、加法器124、上採樣器125以及模糊去除單元(逆模糊(InvBlur))126。基於模型的處理單元111包括運動補償單元(MC)121、模糊添加單元(模糊)122以及下採樣器123。S卩，學習裝置100學習用於執行現有的超解析度技術中的基於模型的處理、並生成高解析度圖像的預定係數。在圖13中，運動補償單元121接收前一幀的高解析度圖像，計算運動矢量，並對運動進行補償。運動補償後的前一幀的高解析度圖像被提供給模糊添加單元122。
模糊添加單元122將由相機拍攝被攝體時產生的模糊添加到運動補償後的前一幀的高解析度圖像。添加有模糊的運動補償後的前一幀的高解析度圖像被提供給下採樣器123。下採樣器123間隔剔除添加有模糊的運動補償後的前一幀的高解析度圖像的像素並生成低解析度圖像。從而，生成估計的低解析度圖像。加法器124計算估計的低解析度圖像的每個像素與觀測的低解析度圖像的每個像素的差分(誤差)。計算結果的數據被提供給上採樣器125。上採樣器125對於加法器124的計算結果對像素進行插值以生成高解析度圖像，並將高解析度圖像提供給模糊去除單元(逆模糊(InvBlur)) 126。

模糊去除單元126去除提供的高解析度圖像的模糊。即，執行用於去除由模糊添加單元122添加的模糊的處理。可以不提供模糊添加單元122和模糊去除單元126。學生圖像、教師圖像以及從模糊去除單元126輸出的數據被提供給學習處理單元112。學習處理單元112如下學習係數，該係數用於基於學生圖像的像素和運動補償後的前一幀的高解析度圖像的像素估計高解析度圖像的像素。例如，學習處理單元112如上所述將關注像素分類為各個類型，並對每個類型積蓄公式I的多個樣本。另外，使用最小二乘法對每個類型計算係數wi和wj。如上所述地所計算的係數wi和Wj被針對每個類型存儲在學習資料庫113中作為通過學習處理單元112的處理結果。圖14是示出根據本發明實施例的圖像處理裝置的構造實例的框圖。圖像處理裝置200對應於圖13的學習裝置100。圖像處理裝置200利用通過學習裝置100獲得的學習結果將低解析度輸入圖像轉換為高解析度輸出圖像。圖14所示的圖像處理裝置200包括基於模型的處理單元211、預測處理單元212、學習資料庫213、加法器224、上採樣器225以及模糊去除單元(逆模糊(InvBlur)) 226。基於模型的處理單元211包括運動補償單元(MC) 221、模糊添加單元(模糊)222以及下採樣器 223。S卩，圖像處理裝置200除了執行現有的超解析度技術中的基於模型的處理，還執行利用學習資料庫的預測處理。通過複製存儲在學習資料庫113中的信息來生成圖像處理裝置200中的學習資料庫213。在圖14中，運動補償單元221接收前一幀的高解析度圖像、計算運動矢量，並對運動進行補償。運動補償後的前一幀的高解析度圖像被提供給模糊添加單元222。模糊添加單元222將由相機拍攝被攝體時產生的模糊添加到運動補償後的前一幀的高解析度圖像。添加有模糊的運動補償後的前一幀的高解析度圖像被提供給下採樣器223。下採樣器123間隔剔除添加有模糊的運動補償後的前一幀的高解析度圖像的像素並生成低解析度圖像。從而，生成估計的低解析度圖像。加法器224計算估計的低解析度圖像的每個像素與觀測的低解析度圖像的每個像素的差分(誤差)。計算結果被提供給上採樣器225。上採樣器225對於加法器224的計算結果將像素插值以生成高解析度圖像，並將高解析度圖像提供給模糊去除單元(逆模糊(InvBlur)) 226.模糊去除單元226去除提供的高解析度圖像的模糊。即，執行用於去除由模糊添加單元222添加的模糊的處理。作為輸入圖像的低解析度圖像、運動補償後的前一幀的高解析度圖像以及從模糊去除單元226輸出的數據被提供給預測處理單元212。預測處理單元212將關注像素分類為各個類型，並從學習資料庫213讀取對應於所述類型的係數wi和係數wj。另外，預測處理單元212利用讀取的係數wi和wj進行公式2的運算，並預測高解析度圖像的像素值。通過以由公式2運算的像素值替換高解析度圖像的每個像素值而更新高解析度圖像。下面將參考圖15的流程圖說明由圖13的學習裝置100執行的係數學習處理的實例。·在步驟S21，由用戶輸入教師圖像和學生圖像。在步驟S22，設置關注像素。關注像素成為作為像素值的運算對象的高解析度圖像的像素。在步驟S23，基於模型的處理單元111執行下面參考圖16說明的基於模型的處理。下面將參考圖16的流程圖說明圖15的步驟S23的基於模型的處理的具體實例。在步驟S41，運動補償單元121接收前一幀的高解析度圖像，計算運動矢量，並對運動進行補償。在步驟S42，模糊添加單元122對運動補償後的前一幀的高解析度圖像添加由相機拍攝被攝體時產生的模糊。在該情況下，將基於預定圖像估計(模擬)相機的PSF或光模糊並生成圖像稱為添加模糊。在步驟S43中，下採樣器123間隔剔除(下採樣)添加有模糊的運動補償後的前一幀的高解析度圖像的像素並生成低解析度圖像。從而，生成估計的低解析度圖像。在步驟S44，加法器124計算估計的低解析度圖像的每個像素與觀測的低解析度圖像(在該情況下，為學生圖像)的每個像素的差分(誤差)。在步驟S45，上採樣器125對於加法器124在步驟S44中的計算結果將像素插值(上採樣)以生成高解析度圖像。在步驟S46，模糊去除單元126去除提供的高解析度圖像的模糊。即，執行用於去除由模糊添加單元22在步驟S42的處理中添加的模糊的處理。以這樣的方式，執行基於模型的處理。返回到圖15，在步驟S23的處理之後，在步驟S24中，學習處理單元112執行下面將參考圖17說明的樣本積蓄處理。將參考圖17的流程圖說明圖15的步驟S24的樣本積蓄處理的詳細實例。在步驟S61中，學習處理單元112對於關注像素獲取學生圖像的像素值與估計的低解析度圖像的像素值的差分作為特徵量。在對學生圖像的像素值與估計的低解析度圖像的像素值的差分的數據進行通過上採樣器的像素插值之後，根據通過模糊去除單元去除模糊的數據的像素值獲得對應於實際關注像素的特徵量。可以獲取其他特徵量。在步驟S62中，學習處理單元112基於在步驟S61中獲取的特徵量將關注像素分類為各個類型。在步驟S63中，學習處理單元112提取抽頭。此時，學生圖像的N個像素和運動補償後的前一幀的高解析度圖像的M個像素被提取作為抽頭。在步驟S64，學習處理單元112生成公式I的樣本以與通過步驟S62的處理分類的類型相關聯。即，通過以教師圖像的像素值替換公式I的yt和以在步驟S63的處理中提取的抽頭的值分別替換xi和xj而生成樣本。在步驟S65，學習處理單元112針對每個類型積蓄樣本。以這樣的方式，執行樣本積蓄處理。返回到圖15，在步驟S24的處理之後，處理進行到步驟S25，判斷是否有下一個關注像素。在步驟S25中，當判定有下一個關注像素時，處理返回到步驟S22並反覆執行下面的處理。·在步驟S25中，當判定沒有下一個關注像素時，處理進行到步驟S26。在步驟S26中，學習處理單元112基於在步驟S65的處理中積蓄的樣本對於每個類型利用最小二乘法計算係數wi和係數wj。在步驟S27中，學習處理單元112學習資料庫113，其中將通過步驟S26的處理所計算的係數wi和wj與類型相關聯,並存儲所述係數wi和wj。以這樣的方式，執行係數學習處理。下面，將參考圖18的流程圖說明由圖14的圖像處理裝置200執行的超解析度處理的實例。在超解析度處理之前，將存儲在學習資料庫113中的信息複製到圖像處理裝置200的學習資料庫213中。在步驟SlOl中，由用戶輸入觀測的低解析度圖像。在步驟S102中，生成最初的高解析度圖像(進行初始設定)。例如，通過對觀測的低解析度圖像的第一幀的圖像進行上採樣獲得的圖像被生成為最初的高解析度圖像。在步驟S103中，設置關注像素。關注像素成為作為像素值的運算對象的高解析度圖像的像素。在步驟S104，基於模型的處理單元211執行基於模型的處理。由於在步驟S104中執行的基於模型的處理與上述參考圖16的處理相同，從而省略對其的詳細說明。在步驟S105中，預測處理單元212執行將在下面參考圖19說明的預測處理。將參考圖19的流程圖說明圖18的步驟S105的預測處理的詳細實例。在步驟S121中，預測處理單元212對於關注像素獲取觀測的低解析度圖像的像素值與估計的低解析度圖像的差分作為特徵量。在對於觀測的低解析度圖像的像素值與估計的低解析度圖像的差分的數據進行通過上採樣器的像素插值之後，根據由模糊去除單元去除模糊的數據的像素值獲得對應於實際關注像素的特徵量。可以獲取其他特徵量。在步驟S122中，預測處理單元212基於在步驟S121中獲取的特徵量將關注像素分類為各個類型。在步驟S123中，預測處理單元212提取抽頭。此時，觀測的低解析度圖像的N個像素和運動補償後的前一幀的高解析度圖像的M個像素被提取作為抽頭。在步驟S124，預測處理單元212從學習資料庫213讀取與在步驟S122的處理中分類的類型對應的係數wi和wj。在步驟S125中，預測處理單元212進行預測運算。即，預測處理單元利用在步驟S123的處理中提取的抽頭和在步驟S124的處理中讀取的係數wi和wj進行公式2的運算，並預測高解析度圖像的像素值。在步驟S126中，預測處理單元212用作為步驟S124的處理的結果而獲得的像素值替換高解析度圖像的每個像素值。以這樣的方式，執行預測處理。返回到圖18，在步驟S105的處理之後，處理進行到步驟S106，判斷是否有下一個關注像素。在步驟S106中，當判定有下一個關注像素時，處理返回到步驟S103，並且反覆執行下面的處理。同時，在步驟S106中，當判定沒有下一個關注像素時，處理進行到步驟S107。·在步驟S107中，將高解析度圖像顯示為輸出圖像。以這樣的方式，執行超解析度處理。在上述構造中，學習裝置100採用這樣的學習算法，其中將關注像素分類為各個類型，並且通過最小二乘法對每個類型計算用於生成高解析度圖像的像素所需的係數。然而，學習裝置100可以採用與上述學習算法不同的學習算法。例如，可以採用神經網絡或支持向量機(SVM)作為學習算法。可通過硬體或軟體實行上述一系列處理。在通過軟體實行所述一系列處理的情況下，從網絡或記錄介質在組裝在專用硬體中的計算機、如圖20所示的通用個人計算機等上安裝構成軟體的程序，所述個人計算機例如能夠通過安裝各種程序而進行各中功能。在圖20中，CPU (中央處理單元)701根據存儲在ROM (只讀存儲器)702中的程序或從存儲單元708裝載到RAM (隨機存取存儲器)703上的的程序而執行各種處理。在需要時，CPU701執行各種處理所需的數據也被存儲在RAM703中。CPU701、R0M702和RAM703通過總線704相互連接。輸入/輸出接口 705也被連接到該總線704。以下單元被連接到輸入/輸出接口 705 :輸入單元706，其由鍵盤、滑鼠等構成；輸出單元707，其由諸如IXD (液晶顯示器)等的顯示器、揚聲器等構成；存儲單元708，其由硬碟等構成；以及通信單元709，其由諸如數據機或LAN卡等網絡接口等構成。通信單元709通過包括網際網路的網絡進行通信處理。驅動器710也根據需要連接到輸入/輸出接口 705，根據需要，將可移動介質711(諸如磁碟、光碟、磁光碟或半導體存儲器)安裝到輸入/輸出接口 705上，並且根據需要將從其讀取的電腦程式安裝在存儲單元708上。在使軟體執行上述一系列處理的情況下，從諸如網際網路的網絡或記錄介質安裝構成軟體的程序，所述記錄介質由可移動介質711等構成。另外，該記錄介質可以是如圖20所示的可移動介質711，其包括以下部件磁碟(包括軟盤(註冊商標)、光碟(包括⑶-ROM (高密度盤只讀存儲器))、以及DVD (數字多用途盤))、磁光碟(包括MD (小型盤)(註冊商標))、半導體存儲器等，其上記錄有程序以用於與裝置分離地將程序提供給用戶而發布程序，然而，該記錄介質也可以是記錄有程序的ROM 702或者存儲單元708中所包括的硬碟，其通過預先組裝在裝置中而被提供給用戶。
另外，本發明上述一系列處理顯然可以根據所述的順序按時間執行，並且也可以不按時間地並行或單獨進行。本領域技術人員可以理解，根據設計要求和其它因素，可以進行各種修改、組合、子組合以及改變，只要其落入所附權利要求及其等同物的範圍中。另外，本發明技術可以如下構成。(I) 一種圖像處理裝置，包括基於模型的處理單元，其執行基於模型的處理，用於轉換解析度，並且關於在前一幀輸出的高解析度圖像基於相機模型和具有對準的預定模型轉換圖像；以及

預測運算模型，其基於預先存儲的參數、作為輸入低解析度圖像的觀測的低解析度圖像、以及通過執行基於模型的處理獲得的圖像對將要輸出的高解析度圖像的像素值進行預測運算。(2)根據(I)的圖像處理裝置，其中所述預測運算單元通過學習讀取存儲在預先生成的學習資料庫中的參數，並進行預測運算。(3)根據(I)或(2)的圖像處理裝置，其中所述基於模型的處理單元包括運動補償單元，其對在前一幀輸出的高解析度圖像的運動進行補償；下採樣器，其根據相機模型限制運動補償後的在前一幀輸出的高解析度圖像的頻帶、減少像素、並且生成估計的低解析度圖像；差分計算單元，其計算作為輸入低解析度圖像的觀測的低解析度圖像與估計的低解析度圖像之間的差分，並生成差分圖像數據；以及上採樣器，其對差分圖像數據的像素進行插值，從而生成高解析度圖像。(4)根據(I)至(3)中任一項的圖像處理裝置，其中所述基於模型的處理單元包括模糊添加單元，其對在前一幀輸出的高解析度圖像添加模糊；以及模糊去除單元，其去除通過所述模糊添加單元添加的模糊。(5)根據(I)至(4)中任一項的圖像處理裝置，還包括分類單元，其基於在基於模型的處理過程中計算的特徵量將關注像素分類為各個類型，其中所述預測運算單元使用預先存儲的係數作為對應於分類的類型的參數進行預定運算，並對將要輸出的高解析度圖像的像素值進行預測運算。(6)根據(I)至(5)中任一項的圖像處理裝置，還包括抽頭提取單元，其提取作為輸入低解析度圖像的觀測的低解析度圖像的預定像素、以及通過關於在前一幀輸出的高解析度圖像執行基於模型的處理而獲得的圖像的預定像素作為抽頭，其中所述預測運算單元基於預先存儲的參數進行關於抽頭的預定運算，並對將要輸出的高解析度圖像的像素值進行預測運算。(7) 一種圖像處理方法，包括通過基於模型的處理單元執行基於模型的處理，用於轉換解析度，並且關於在前一幀輸出的高解析度圖像基於相機模型和具有對準的預定模型轉換圖像；以及基於預先存儲的參數、作為輸入低解析度圖像的觀測的低解析度圖像、以及通過執行基於模型的處理獲得的圖像，通過預測運算單元對將要輸出的高解析度圖像的像素值進行預測運算。(8) 一種用於使得計算機用作圖像處理裝置的程序，其中所述圖像處理裝置包括基於模型的處理單元，其執行基於模型的處理，用於轉換解析度，並且關於在前一幀輸出的高解析度圖像基於相機模型和具有對準的預定模型轉換圖像；以及預測運算單元，其基於預先存儲的參數、作為輸入低解析度圖像的觀測的低解析度圖像、以及通過執行基於模型的處理獲得的圖像對將要輸出的高解析度圖像的像素值進·行預測運算。(9)—種記錄介質,其中記錄根據(8)的程序。(10)—種學習裝置，包括基於模型的處理單元，其執行基於模型的處理，用於轉換解析度，並且關於在前一幀輸出的高解析度圖像基於相機模型和具有對準的預定模型轉換圖像；抽頭提取單元，其提取通過轉換具有高解析度的教師圖像的解析度獲得的具有低解析度的學生圖像的預定像素、以及通過關於在前一幀輸出的高解析度圖像執行基於模型的處理而獲得的圖像的預定像素作為抽頭；樣本積蓄單元，其積蓄包括抽頭、預定參數以及教師圖像的像素值的公式作為樣本；以及參數計算單元，其基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。(11)根據(10)的學習裝置，還包括資料庫，其存儲計算的參數，其中資料庫被用於圖像處理裝置的圖像處理中，用於將輸入的低解析度圖像轉換為高解析度圖像。(12)根據(10)或(11)的學習裝置，其中所述基於模型的處理單元包括運動補償單元，其對在前一幀輸出的高解析度圖像的運動進行補償；下採樣器，其根據相機模型限制運動補償後的在前一幀輸出的高解析度圖像的頻帶、減少像素、並且生成估計的低解析度圖像；差分計算單元，其計算學生圖像與估計的低解析度圖像之間的差分，並生成差分圖像數據；以及上採樣器，其對差分圖像數據的像素進行插值，並生成高解析度圖像。(13)根據(10)至(12)中任一項的學習裝置，其中所述基於模型的處理單元包括模糊添加單元，其對在前一幀輸出的高解析度圖像添加模糊；以及模糊去除單元，其去除通過所述模糊添加單元添加的模糊。(14)根據(10)至(13)中任一項的學習裝置，還包括
分類單元，其基於在基於模型的處理過程中計算的特徵量將關注像素分類為各個類型，其中所述參數計算單元計算係數，當對將要輸出的高解析度圖像的像素值進行預測運算時，將所述係數與所述抽頭相乘作為對應於分類的類型的參數。(15) 一種學習方法，包括通過基於模型的處理單元執行基於模型的處理，用於轉換解析度，並且關於在前一幀輸出的高解析度圖像基於相機模型和具有對準的預定模型轉換圖像；通過抽頭提取單元提取通過轉換具有高解析度的教師圖像的解析度獲得的具有低解析度的學生圖像的預定像素、以及通過關於在前一幀輸出的高解析度圖像執行基於模型的處理而獲得的圖像的預定像素作為抽頭；通過樣本積蓄單元積蓄包括抽頭、預定參數以及教師圖像的像素值的公式作為樣·本；以及通過參數計算單元基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。(16) 一種用於使得計算機用作學習裝置的程序，其中所述學習裝置包括基於模型的處理單元，其執行基於模型的處理，用於轉換解析度，並且關於在前一幀輸出的高解析度圖像基於相機模型和具有對準的預定模型轉換圖像；抽頭提取單元，其提取通過轉換具有高解析度的教師圖像的解析度獲得的具有低解析度的學生圖像的預定像素、以及通過關於在前一幀輸出的高解析度圖像執行基於模型的處理而獲得的圖像的預定像素作為抽頭；樣本積蓄單元，其積蓄包括抽頭、預定參數以及教師圖像的像素值的公式作為樣本；以及參數計算單元，其基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。(17)—種記錄介質,其中記錄根據(16)的程序。本申請包含與在日本優先權專利申請JP 2011-112311 (2011年5月19日在日本專利局提交)的公開相關的主題內容，其整體內容在此引入作為參考。
權利要求
1.一種圖像處理裝置，包括 基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；以及 預測運算單元，該預測運算單元基於預先存儲的參數、作為輸入的低解析度圖像的觀測的低解析度圖像、以及通過執行所述基於模型的處理而獲得的圖像，對將要輸出的高解析度圖像的像素值進行預測運算。
2.根據權利要求I的圖像處理裝置， 其中所述預測運算單元讀取通過預先學習生成的存儲在學習資料庫中的所述參數，並進行所述預測運算。
3.根據權利要求I的圖像處理裝置， 其中所述基於模型的處理單元包括 運動補償單元，該運動補償單元對前一幀輸出的高解析度圖像的運動進行補償； 下採樣器，該下採樣器根據所述相機模型限制前一幀輸出的運動補償後的高解析度圖像的帶域、間隔剔除像素，而生成估計的低解析度圖像； 差分計算單元，該差分計算單元計算作為輸入的低解析度圖像的觀測的低解析度圖像與估計的低解析度圖像之間的差分，並生成差分圖像數據；以及 上採樣器，該上採樣器對差分圖像數據的像素進行插值，從而生成高解析度圖像。
4.根據權利要求I的圖像處理裝置， 其中所述基於模型的處理單元包括 模糊添加單元，該模糊添加單元對前一幀輸出的高解析度圖像添加模糊；以及 模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。
5.根據權利要求I的圖像處理裝置，還包括 類型分類單元，該類型分類單元基於在基於模型的處理過程中所計算的特徵量將關注像素分類為各個類型， 其中所述預測運算單元進行使用預先存儲的係數作為與分類的類型相對應的參數的預定運算，對將要輸出的高解析度圖像的像素值進行預測運算。
6.根據權利要求I的圖像處理裝置，還包括 抽頭提取單元，該抽頭提取單元提取作為輸入的低解析度圖像的觀測的低解析度圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行基於模型的處理而獲得的圖像的預定像素作為抽頭， 其中所述預測運算單元基於預先存儲的參數進行關於抽頭的預定運算，並對將要輸出的高解析度圖像的像素值進行預測運算。
7.一種圖像處理方法，包括 由基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；以及 由預測運算單元基於預先存儲的參數、作為輸入的低解析度圖像的觀測的低解析度圖像、以及通過執行所述基於模型的處理而獲得的圖像，對將要輸出的高解析度圖像的像素值進行預測運算。
8.一種用於使得計算機用作圖像處理裝置的程序， 其中所述圖像處理裝置包括 基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；以及 預測運算單元，該預測運算單元基於預先存儲的參數、作為輸入的低解析度圖像的觀測的低解析度圖像、以及通過執行所述基於模型的處理而獲得的圖像，對將要輸出的高解析度圖像的像素值進行預測運算。
9.一種記錄介質，其中記錄了根據權利要求8的程序。
10.一種學習裝置，包括 基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像； 抽頭提取單元，該抽頭提取單元提取通過轉換具有高解析度的教師圖像的解析度而獲得的具有低解析度的學生圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行所述基於模型的處理而獲得的圖像的預定像素作為抽頭； 樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預定參數以及教師圖像的像素值的公式作為樣本；以及 參數計算單元，該參數計算單元基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。
11.根據權利要求10的學習裝置，還包括 資料庫，該資料庫存儲所計算的參數， 其中資料庫被用於圖像處理裝置的圖像處理中，該圖像處理用於將輸入的低解析度圖像轉換為高解析度圖像。
12.根據權利要求10的學習裝置， 其中所述基於模型的處理單元包括 運動補償單元，該運動補償單元對前一幀輸出的高解析度圖像的運動進行補償； 下採樣器，該下採樣器根據相機模型限制前一幀輸出的運動補償後的高解析度圖像的帶域、間隔剔除像素，而生成估計的低解析度圖像； 差分計算單元，該差分計算單元計算學生圖像與估計的低解析度圖像之間的差分，並生成差分圖像數據；以及 上採樣器，該上採樣器對差分圖像數據的像素進行插值，而生成高解析度圖像。
13.根據權利要求10的學習裝置， 其中所述基於模型的處理單元包括 模糊添加單元，該模糊添加單元對前一幀輸出的高解析度圖像添加模糊；以及 模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。
14.根據權利要求10的學習裝置，還包括 類型分類單元，該類型分類單元基於在基於模型的處理過程中所計算的特徵量將關注像素分類為各個類型，其中所述參數計算單元計算對要輸出的高解析度圖像的像素值進行預測運算時與所述抽頭相乘的係數，作為對應於分類的類型的參數。
15.—種學習方法,包括 通過基於模型的處理單兀執行基於模型的處理，該基於模型的處理對於前一巾貞輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像； 通過抽頭提取單元提取通過轉換具有高解析度的教師圖像的解析度而獲得的具有低解析度的學生圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行所述基於模型的處理而獲得的圖像的預定像素作為抽頭； 通過樣本積蓄單元積蓄包括抽頭、預定參數以及教師圖像的像素值的公式作為樣本；以及 通過參數計算單元基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。
16.一種用於使得計算機用作學習裝置的程序， 其中所述學習裝置包括 基於模型的處理單元，該基於模型的處理單元執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像； 抽頭提取單元，該抽頭提取單元提取通過轉換具有高解析度的教師圖像的解析度而獲得的具有低解析度的學生圖像的預定像素、以及通過對於前一幀輸出的高解析度圖像執行所述基於模型的處理而獲得的圖像的預定像素作為抽頭； 樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預定參數以及教師圖像的像素值的公式作為樣本；以及 參數計算單元，該參數計算單元基於積蓄的樣本計算在對將要輸出的高解析度圖像的像素值的預測運算中使用的預定參數。
17.—種記錄介質，其中記錄根據權利要求16的程序。
全文摘要
本發明提供了一種學習裝置和方法、圖像處理裝置和方法、程序和記錄介質，其中圖像處理裝置包括基於模型的處理單元，其執行基於模型的處理，該基於模型的處理對於前一幀輸出的高解析度圖像轉換解析度，並且基於相機模型和具有對準的預定模型來轉換圖像；以及預測運算單元，其基於預先存儲的參數、作為輸入的低解析度圖像的觀測的低解析度圖像、以及通過執行所述基於模型的處理而獲得的圖像，對將要輸出的高解析度圖像的像素值進行預測運算。
文檔編號G06T3/40GK102789632SQ20121014544
公開日2012年11月21日 申請日期2012年5月11日 優先權日2011年5月19日
發明者內田真史, 松田康宏, 永野隆浩 申請人:索尼公司