圖像解析度增強的製作方法

2023-12-03 19:57:16

專利名稱：圖像解析度增強的製作方法
技術領域：
本發明涉及圖像解析度增強，特別地但非排他性地，涉及用於視頻序列的幀的解析度增強。
背景技術：
提高圖像的解析度通常稱為升尺度(upscale)並且正變得越來越受關注。例如， 由於各種高清晰度(HD)電視標準的出現，存在對於用於從標準清晰度(SD)圖像產生HD圖 像的適當方法和算法的需要。例如，離線處理已經被用來從原始SD視頻序列產生HD視頻 序列並且已經開發了能夠動態地將SD視頻內容實時地升尺度到HD視頻內容的電視和DVD播放器等等。
這種升尺度典型地使用插值產生新的像素值，其使用例如雙線性或雙三次插值或 者多相縮放。然而，儘管這樣的方法增加了圖像中的像素數量，但是它們未在圖像中引入新 的高頻細節並且因而升尺度的圖像出現模糊。為了將標準清晰度(SD)視頻轉換成高清晰 度(HD)，需要近似200%的升尺度因子，並且對於這個以及更高的尺度因子，模糊趨向於清 晰可見並且是不希望的。
為了減輕或補償這種感知的模糊，在解析度增強中經常使用高級非線性技術以 便產生具有更詳細和鮮明印象的圖像。這樣的方法包括例如如T. Kondo，和K. Kawaguchi 的"Adaptive dynamic range encoding method and apparatus，，,美國專利 5，444，487, 1995 ip 8 ^ , \)J,R Τ. Kondo ^AW "Method and apparatus for adaptive filter tap selection according to a class」，美國專利 6，192，161，2001 年 2 月中所描述的使用 訓練和結構分類而優化的數據相關插值濾波器，如Li和Orchard的「New edge-directed interpolation,，，IEEE Transactions on Image Processing 10:1521-1527 2001 中所描 述的針對邊緣的插值技術。這些技術中許多技術的綜述和評價可以見諸van Ouwerkerk的 「Image super-resolution survey", Image and Vision Computing 24(10) 1039-1052, 2006 以及 de Μ· Zhao，Μ· Bosma 禾口 G. de Haan 的「Making the Best of Legacy Video on Modern Displays", Journal of the Society for Information Display__January 2007 Volume 15,Issue 1, pp. 49—60。
電視中使用的用於解析度增強的方法的一個特定實例稱為利用峰化的瞬態亮度 改進(LTI)。LTI是一種通過在不創建過衝的情況下增大瞬態值，從而在信號中引入新的高 頻內容而改進邊緣銳度的技術。峰化旨在增強信號中已經存在的高頻分量，以便賦予圖像 更鮮明的印象。LTI的描述可以見諸J. Tegenbosch, P. Hofman和M. Bosma的「Improving nonlinear up-scaling by adapting to the local edge orientation",Proceedings of the SPIE, Vol. 5308，pp. 1181-1190，Jan. 2004 以及美國專利 US4414564A。
然而，典型地這些方法主要著眼於產生更清晰的邊緣過渡，結果，它們傾向於在諸 如紋理之類的細節密集區域缺乏足夠的增強能力。這種紋理/細節增強的缺乏對於增大尺 度因子以及尤其是對於200%以上的尺度因子可能變得更加可見。
例如 Wei, L. -Y.的"Texture synthesis by fixed neighborhood searching，，， 2002 以 及 Ashikhmin, M 的"Fast Texture Transfer" ；Computer Graphics and Applications, IEEE Volume 23，Issue 4, July-Aug. 2003 Page (s) :38-43 中提出了用於紋 理合成的方法。這些文章中的第一篇公開了基本的基於實例的紋理合成的實例，這是一種 旨在基於用作實例的小紋理片擴展圖像區域中的紋理的技術。然而，儘管這樣的方法對於 通過適當的紋理覆蓋一定區域是有用的，但是它們並不針對升尺度或者解析度增強，並且 針對將紋理擴展到更寬的區域，而不是提高現有紋理區域的解析度。第二篇文獻公開了稱 為紋理傳遞(或者有時稱為約束紋理合成)的技術，其中合成通過額外目標圖像操控。
另一種用於升尺度的方法稱為基於實例的超解析度並且記載於「Example-Based Super-Resolution"；Freeman, W.Τ. ；Jones, Τ. R. ；Pasztor, Ε. C. , Computer Graphics and Applications, IEEE, vol. 22, no. 2, PP. 56-65, Mar/Apr 2002 以及 William T. Freeman and Thouis R. Jones, "One-pass super-resolution images，，，美國專利 6766067 July 20, 2004。
基於實例的超解析度使用具有若干組預存儲的圖像的資料庫，其中每組圖像包括 相同場景的低解析度和高解析度版本。要升尺度的輸入圖像經過逐片處理，並且對於每片， 在資料庫中找到最佳匹配的實例。所述匹配通過比較該片的低解析度內容以及資料庫中存 儲的針對實例圖像的相應低解析度片來確定。此外，可以將升尺度圖像的已經合成的像素 值與資料庫中作為與低解析度片相應的高解析度圖像實例而存儲的像素進行比較。這通過 讓合成的片具有小的重疊來實現，其事實上施加了更好的空間一致性。用於最佳匹配的存 儲的高解析度圖像的高頻分量然後用來合成高解析度輸出，從而產生改進的升尺度圖像。 特別地，可以從最佳匹配實例的存儲的高解析度圖像拷貝像素值。
然而，儘管這種方式對於某些圖像可以提供良好的結果，但是它也傾向於具有某 些缺點。特別地，產生的高解析度圖像可能不具有最優的質量。例如，由於所述過程是在逐 片的基礎上執行的，因而輸出中的空間一致性不受保證。此外，所述實例圖像可能不與被處 理的圖像精確地對應，從而引入不一致性。再者，為了對於許多不同輸入圖像實現足夠高的 質量，有必要具有大量存儲的實例圖像，從而增大了資源要求、複雜性和成本。例如，存儲要 求以及搜索大小和時間特性可能較高。
因此，一種改進的圖像解析度增強將是有利的，特別地，一種允許靈活性增大、復 雜性降低、圖像質量提高、資源消耗減少和/或性能改善的系統將是有利的。發明內容
因此，本發明尋求更可取地單獨地或者以任意組合地緩解、減輕或者消除上述缺 點中的一個或多個。
依照本發明的一個方面，提供了一種用於圖像的解析度增強的方法，該方法包括 接收第一解析度的第一圖像；產生第一解析度的第二圖像，作為第一圖像的模糊圖像；通 過將第一圖像升尺度到第二解析度而產生第三圖像；通過對於解析度增強圖像的多個像素 組迭代以下步驟來合成第二解析度的解析度增強圖像選擇解析度增強圖像的第一像素 組；選擇第三圖像的與第一像素組具有第一預定空間關係的比較像素組，該比較像素組具 有第二解析度的解析度；選擇解析度增強圖像的與第一像素組具有第二空間關係的合成像素組，該合成像素組具有第二解析度的解析度；對於圖像區域中的多個位置選擇第一位 置；確定第二圖像的與第一位置具有第三空間關係的第一樣本像素組和比較像素組之間的 第一匹配度量，第一樣本像素組具有第一解析度的解析度；確定第一圖像和第三圖像中的 至少一個的與第一位置具有第四空間關係的第二樣本像素組和合成像素組之間的第二匹 配度量，第二樣本像素組具有第一解析度的解析度；通過組合第一匹配度量和第二匹配度 量產生針對第一位置的組合匹配度量；並且響應於組合匹配度量以及第一圖像和第三圖像 中的至少一個的源圖像區域的像素值產生第一像素組的至少一個像素值。
本發明可以允許改進諸如視頻序列的圖像之類的圖像的解析度增強。本發明可以 允許便利的和/或低複雜度的實現。在許多情況下，本發明可以提供解析度增強圖像的改 進的圖像質量，尤其是可以提高圖像的細節水平和高頻內容。
例如，本發明可以允許產生/增強紋理(例如頭髮、軟毛、規則紋理等等)和邊緣。 特別地，所述方法並不限於改進邊緣過渡。此外，本發明可以允許邊緣增強無混疊，即該方 法可以實現更清晰的邊緣過渡，而不引入鋸齒狀圖形作為銳化的一部分。
本發明可以組合和提供由基於實例的超解析度和基於實例的紋理合成提供的一 些優點和益處。特別地，該方式可以利用自相似性和尺度不變性的假設以提供改進的升尺 度並且特別地產生和引入附加的細節、邊緣和較高的解析度紋理。
此外，可以在無需提供和存儲實例圖像的情況下實現圖像解析度增強。事實上，第 二圖像和/或第一圖像可以用作用於合成解析度增強圖像中的像素的實例圖像。
因此，該方式可以避免需要具有匹配低解析度和高解析度圖像對的實例的數據 庫。此外，無需存儲紋理圖像實例。
所述方法在升尺度中使用了圖像實例，其從被升尺度的圖像本身產生。因此，該方 法可以利用圖像具有一定程度的自相似性並且具有尺度不變元素的假設以便在升尺度的 圖像中產生附加的細節。通過使用原始圖像作為高解析度圖像的細節和紋理的源，通常可 以實現改進的增強圖像質量。此外，由於可以限制對細節的搜索，這可以充分地降低複雜 度，因為可以假設在許多情形下，相關的細節位於與被合成的圖像位置靠近的位置。
第二圖像可以包括比第一圖像更少的高頻分量。第二圖像特別地可以變模糊，這 意味著圖像數據的空間頻率帶寬遠小於第二解析度下可用的空間頻率帶寬。例如，圖像數 據的空間頻率帶寬可以小於可用帶寬的70%，並且特別地可以限制為對於升尺度因子2而 言僅僅可用帶寬的一半。
合成像素組包括已經在一次或多次前面的迭代中合成的像素。所述第一和第二空 間關係可以相同和/或可以不同。類似地，所述第三和第四空間關係可以相同和/或可以 不同。空間關係可以例如規定鄰近被合成的像素位置的像素區域和/或圖像區域。
第一樣本像素組可以包括在第一解析度下子採樣的第二圖像的線性升尺度的和/ 或插值的樣本。這可以實現等效於第二解析度的子像素精度。特別地，第一樣本像素組的 像素的像素尺寸可以小於第一解析度的像素，並且特別地可以具有與第二解析度的像素相 同的尺寸。特別地，第一樣本像素組的像素可以與解析度增強圖像的像素處於相同的像素 網格上。
第二樣本像素組可以包括在第一解析度下子採樣的第一圖像的線性升尺度的和/ 或插值的樣本。這可以實現等效於第二解析度的子像素精度。特別地，第二樣本像素組的6像素的像素尺寸可以小於第一解析度的像素，並且特別地可以具有與第二解析度的像素相 同的尺寸。特別地，第二樣本像素組的像素可以與解析度增強圖像的像素處於相同的像素 網格上。
這些不同像素組和圖像區域中的像素數可以靜態和/或動態地確定。例如，合成 像素組和/或比較像素組中的像素數可以響應於第一圖像的特性而動態地確定。
依照本發明的一個可選的特徵，產生至少一個像素值的步驟包括通過與多個位置 關聯的源圖像區域的多個像素值的加權組合而產生第一像素組的像素的像素值，所述多個 像素值的每個像素值的加權取決於該像素值的組合匹配度量。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。例如，可以合成沒有偽像和/或噪聲降低的更自然的圖像。
依照本發明的一個可選的特徵，產生至少一個像素值的步驟包括選擇所述多個 位置的位置組，其包含組合匹配度量匹配一定準則的位置；為所述位置組的每個位置選擇 源像素值；並且響應於這些源像素值而產生所述至少一個像素值。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，它可以例如允許對解析度增強圖像的像素值的貢 獻限制為源圖像中特別適當的位置的像素值。所述準則可以例如包括以下要求組合匹配 度量超過給定閾值和/或組合匹配度量必須是確定的最高匹配度量。
依照本發明的一個可選的特徵，產生第二圖像的步驟包括對第一圖像降尺度以 便產生較低解析度圖像；並且通過將該較低解析度圖像升尺度到第一解析度而產生第二圖 像。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，它可以允許高效地產生模糊圖像。該方式可以允 許產生這樣的第二圖像，該第二圖像相對於第一圖像與第三圖像相對於解析度增強圖像具 有類似的質量退化。因此，該特徵可以允許基於自相似性和尺度不變性的假設特別適當地 產生對於添加細節有用的實例圖像。
所述升尺度特別地可以包括插值或者其他空間濾波。因此，該升尺度特別地可以 是不向較低解析度圖像引入任何附加空間頻率的升尺度。該升尺度可以使用用於從第一圖 像產生第三圖像的相同算法和/或設置。
依照本發明的一個可選的特徵，較低解析度圖像的解析度和第一解析度之間的比 值與第一解析度和第二解析度之間的比值基本上相同。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，它可以允許圖像精確地反映跨第一解析度與第二 解析度之間的解析度差值的自相似性和尺度不變性。
在許多實施例中，這些比值可以相同和/或可以處於彼此的10%以內。
依照本發明的一個可選的特徵，提供了權利要求6。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。
依照本發明的一個可選的特徵，第一圖像與解析度增強圖像之間的升尺度因子為 2。7
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。
依照本發明的一個可選的特徵，第二樣本像素組選自第三圖像。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，它在許多情形下可以允許補償解析度增強圖像與 第一圖像之間的像素邊緣位置的偏移差。
依照本發明的一個可選的特徵，第二樣本像素組的選擇包括在第一解析度下對第 三圖像的區域的像素子採樣。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，這可以允許解析度增強引入附加的細節。
依照本發明的一個可選的特徵，第二樣本像素組的像素的像素中心在空間上相對 於第一圖像的像素的像素中心偏移。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。該空間偏移特別地可以小於第一解析度下的像素寬度。該 特徵在許多情形下可以允許補償解析度增強圖像與第一圖像之間的像素邊緣位置的偏移差。
依照本發明的一個可選的特徵，所述組合匹配度量包括第一匹配度量和第二匹配 度量的加權總和。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，它在許多情形下可以允許補償解析度增強圖像與 第一圖像之間的像素邊緣位置的偏移差。
依照本發明的一個可選的特徵，所述比較像素組包含不足40個像素。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，已經發現，對於這樣的小比較像素組可以實現特別 高的圖像質量和細節添加。
依照本發明的一個可選的特徵，所述合成像素組包含不足15個像素。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。特別地，已經發現，對於這樣的小合成像素組可以實現特別 高的圖像質量和細節添加。合成像素組中的像素數可以響應於被合成的圖像紋理的周期/ 尺度/元素尺寸而設置。
依照本發明的一個可選的特徵，確定第一匹配度量的步驟包括通過將第二圖像升 尺度到第二解析度並且在第一解析度下對像素子採樣而確定第二圖像的第一樣本像素組。
這在許多情形下可以允許改進解析度增強圖像的圖像質量和/或可以允許便利 的實現和/或降低資源的使用。所述空間偏移特別地可以小於第一解析度的像素寬度。該 特徵在許多情形下可以允許補償解析度增強圖像與第一圖像之間的像素邊緣位置的偏移 差。
依照本發明的一個方面，提供了一種用於圖像的解析度增強的設備，該設備包括 用於接收第一解析度的第一圖像的裝置；用於產生第一解析度的第二圖像作為第一圖像的 模糊圖像的裝置；用於通過將第一圖像升尺度到第二解析度而產生第三圖像的裝置；以及用於通過對於解析度增強圖像的多個像素組迭代以下步驟來合成第二解析度的解析度增 強圖像的裝置選擇解析度增強圖像的第一像素組；選擇第三圖像的與第一像素組具有第 一預定空間關係的比較像素組，該比較像素組具有第二解析度的解析度；選擇解析度增強 圖像的與第一像素組具有第二空間關係的合成像素組，該合成像素組具有第二解析度的分 辨率；對於圖像區域中的多個位置選擇第一位置；確定第二圖像的與第一位置具有第三 空間關係的第一樣本像素組和比較像素組之間的第一匹配度量，第一樣本像素組具有第一 解析度的解析度；確定第一圖像和第三圖像中的至少一個的與第一位置具有第四空間關係 的第二樣本像素組和合成像素組之間的第二匹配度量，第二樣本像素組具有第一解析度的 解析度；通過組合第一匹配度量和第二匹配度量產生針對第一位置的組合匹配度量；並且 響應於組合匹配度量以及第一圖像和第三圖像中的至少一個的源圖像區域的像素值產生 第一像素組的至少一個像素值。
本發明的這些和其他方面、特徵和優點根據以下描述的實施例將是清楚明白的， 並且將參照該(這些)實施例進行闡述。


下面將僅通過實例參照附圖描述本發明的實施例，在附圖中
圖1為依照本發明一些實施例的圖像升尺度器的實例的圖示；
圖2為依照本發明一些實施例的圖像處理的實例的圖示；
圖3為依照本發明一些實施例的圖像升尺度方法的實例的圖示；
圖4為依照本發明一些實施例的圖像升尺度方法中的合成未知像素值的實例的 圖示；以及
圖5為依照本發明一些實施例的圖像升尺度方法中的像素組匹配的實例的圖示。
具體實施方式
下面的描述著眼於可應用於對視頻序列的圖像升尺度的本發明實施例。然而，應 當理解的是，本發明並不限於該應用，而是可以應用到許多其他圖像。
圖1示出了依照本發明一些實施例的圖像升尺度器的實例。
圖像升尺度器包括接收要升尺度和增強的第一圖像的接收器101。在該實例中，接 收視頻序列中的圖像並且在該實例中，接收器101被設置成接收數字編碼的視頻信號(例 如MPEG-2信號)並且解碼該信號以便產生之後在像素域單獨地處理的各圖像。
應當理解的是，可以從任何適當的內部或外部源接收第一圖像和視頻序列。
第一圖像在第一解析度下接收，該第一解析度在該特定實例中為標準清晰度(SD) 解析度。作為一個特定實例，圖像可以是720x576像素圖像，其要以尺度因子2進行上轉換 以便產生1440x1152像素的高清晰度(HD)圖像。應當理解的是，該升尺度的圖像隨後可以 例如通過使用線性插值例如降尺度到更廣泛使用的1366x768像素的HD解析度。
接收器101耦合到產生第二圖像的第一圖像生成器103，該第二圖像與第一圖像 處於相同的解析度下，但是為第一圖像的缺乏某些高頻分量的模糊版本。因此，第二圖像與 第一圖像處於相同的解析度下，但是通過移除第一圖像的某些較高空間頻率而被模糊。
因此，在第二圖像中，只有頻譜的較低部分被填充，即其沒有填充到圖像解析度允許的水平。這典型地為(線性)升尺度(而沒有全解析度增強)之後的情況，因為圖像的 解析度在沒有利用前面的較低解析度下不可用的新的高頻分量(完全地)填充可用的較寬 頻譜的情況下增大。
結果，例如邊緣過渡變得較不陡峭並且因而看起來是模糊或平滑的，即較不清晰， 並且不存在圖像中存在的(新)細微細節。因此，對於第二圖像而言，沒有完全利用第二分 辨率的全解析度。
此外，接收器101耦合到第二圖像生成器105，其繼續通過將第一圖像升尺度到與 輸出解析度增強圖像的解析度相應的第二解析度而產生第三圖像。因此，第二圖像生成器 105產生HD圖像。第二圖像生成器105使用的升尺度技術是線性升尺度技術，例如基於插 值的升尺度。第三圖像在第二解析度下被感知為相對模糊，因為它沒有包含比第一圖像更 高的空間頻率。
接收器101、第一圖像生成器103和第二圖像生成器105耦合到解析度增強處理器 107，該處理器繼續通過基於第一、第二和第三圖像合成圖像的像素值來產生輸出解析度增 強圖像。此外，像素合成附加地基於解析度增強圖像的已經合成的像素值。
因此，如圖2中所示，解析度增強處理器107在解析度增強中使用四幅圖片
-第一圖像201，其為第一(SD)解析度的接收的原始圖像。
-第二圖像203，其為第一圖像201的模糊版本並且處於第一(SD)解析度下。
-第三圖像205，其為第一圖像201在第二(HD)解析度下的線性升尺度的版本。
-解析度增強圖像207，其處於第二(HD)解析度下。
圖像升尺度器使用的算法使用了與基於實例的超解析度和基於實例的紋理合成 的元素類似的元素。然而，與這些現有技術方式形成對照的是，當前的方式在許多情形下允 許改進圖像質量。此外，該方式不使用或不需要實例圖像資料庫以便提供解析度增強，而是 使該增強基於圖像本身。特別地，第一和第二圖像201、203用作用於解析度增強的實例圖 像段。
該方式尋求利用圖像的圖像區域的自相似性和尺度不變性的性質以產生增強的 高解析度圖像。特別地，本發明人已經認識到，許多圖像/場景包含大量的尺度不變元素和 跨尺度的自相似性，並且這可以用來提供解析度增強。例如，邊緣是尺度不變的，在每個尺 度下看起來相同並且基本上可以從低解析度圖像拷貝到高解析度圖像，許多諸如頭髮之類 的紋理在不同的尺度下看起來是相似的，等等。當前的方式允許這種實現不僅用來產生較 清晰的邊緣，而且用來產生諸如額外的頭髮等的附加細節。
圖像升尺度器的操作將在下文中參照圖3-5中所示的示例性流程圖加以描述。
所述方法開始於步驟301，其中第一圖像201被接收器101接收。
步驟301之後是步驟303，其中第二圖像生成器105繼續對第一圖像201升尺度 以產生具有與解析度增強圖像207相等的解析度的第三圖像205。所述升尺度是線性升尺 度，其產生第二解析度的插值圖像(即它是HD圖像)。因此，在該實例中，第三圖像205不 包含任何比第一圖像201中存在的空間頻率更高的空間頻率。然而，應當理解的是，在一些 實施例中，一些非線性解析度增強技術可以應用到第三圖像205。如果這樣的話，相同的非 線性解析度增強技術可以應用到第二圖像203。
步驟303之後是步驟305，其中第一圖像生成器103繼續產生第二圖像203作為第一圖像201的模糊圖像，但是其具有相同的解析度。第二圖像203特別地可以代表第一 圖像201的模糊，這相應於第三圖像205相對於基本場景(即相應於第二解析度下原始捕 獲的清晰圖像)的理論上理想的解析度增強圖像的模糊。特別地，第二圖像203的空間頻 率可以限制為具有相對於第一圖像201的帶寬的比值的低頻帶寬，該比值相應於第三圖像 205與全帶寬高解析度圖像的空間頻率帶寬之間的比值。
作為一個特定實例，對於升尺度因子2而言，第三圖像205可以僅包含為第二分辨 率下可能的帶寬一半的帶寬內的空間頻率。相應地，第二圖像203可以限制為僅包含為第 一解析度下可能的帶寬一半的帶寬內的空間頻率。
結果，第二圖像203相對於第一圖像201的相對模糊緊密地相應於第三圖像205 相對於與第一圖像201相應的理論理想高解析度圖像的相對模糊。因此，在跨尺度自相似 性的假設下，第一和第二圖像203之間的關係可以有效地用來估計第三圖像205與解析度 增強圖像207之間的關係。
應當理解的是，模糊第二圖像203的產生可以例如通過對第一圖像201進行空間 低通濾波來實現。然而，在該特定實例中，第一圖像生成器103被設置成通過首先將第一圖 像201降尺度到較低解析度並且然後將該圖像往回升尺度到第一解析度來產生第二圖像 203。
特別地，所述降尺度可以按照一定因子來進行，該因子等效於第二解析度(即第 三圖像205和解析度增強圖像207的解析度)與第一解析度(即第一和第二圖像201、203 的解析度)之間的比值。這可以允許第一和第二圖像對201、203更好地反映第三和解析度 增強圖像對205、207之間的相關性。
在許多實施例中，第一圖像201與降尺度的低解析度圖像之間的尺度因子被選擇 成等於解析度增強圖像207與第一圖像201之間的尺度因子。在該特定實例中，按照因子 2來降尺度被應用以得到具有360x 288像素的解析度的降尺度圖像。
所述降尺度特別地可以是通過應用空間抗混疊低通濾波器、移除高頻分量、之後 進行因子為2的向下採樣而實現的線性降尺度。
然後，使用線性升尺度算法按照相同的尺度因子對降尺度的圖像升尺度。特別地， 可以使用用來將第一圖像201升尺度為第三圖像205的相同升尺度算法。
因此，在第二圖像203中，只有頻譜的較低部分被填充，即它沒有填充到第一分辨 率允許的水平。這典型地為(線性)升尺度(而沒有全解析度增強)之後的情況，因為圖 像的解析度在沒有利用前面的較低解析度下不可用的新的高頻分量(完全地)填充可用的 較寬頻譜的情況下增大。
結果，例如邊緣過渡變得較不陡峭並且因而看起來是模糊或平滑的，即較不清晰， 並且不存在圖像中存在的(新)細微細節。因此，對於第二圖像203而言，沒有完全利用第 二解析度的全解析度。
然後，所述方法繼續產生解析度增強圖像207。該方法使用基於序列像素的方式， 其中一次合成一組像素，該方法迭代該合成，直到產生整個解析度增強圖像207。此外，像素 組的合成包括考慮已經在前面的迭代中合成的像素。
在該特定實例中，一次合成解析度增強圖像207的一個像素，但是應當理解的是， 在其他實施例中，可以一起合成包含兩個或更多像素的像素組。11
這樣，步驟305之後是步驟307，其中解析度增強圖像207的下一個像素被選擇和 合成。步驟307之後是步驟309，其中評估是否已經合成了解析度增強圖像207的所有像 素。如果是這樣的話，那麼方法在步驟311中停止，否則，方法回到步驟307以處理下一個像素。
圖4示出了解析度增強處理器107用來合成像素值的方法。圖4特別地示出了當 已經合成一定數量的像素，從而允許在合成當前像素中使用這些像素時由解析度增強處理 器107使用的方法。然而，應當理解的是，可以使用在不利用任何已經合成的像素啟動該方 法的任何適當的方法和方式。例如，可以簡單地從第一圖像201、第三圖像拷貝初始像素組 或者將其設置為零值。
圖4的方法將參照圖2以及所示未知像素209的合成來描述。該方法特別地繼續 逐行且從左到右地(即以光柵掃描順序)合成像素。因此，當合成未知像素209時，已經合 成了解析度增強圖像207中該未知像素209之上和左邊的所有像素。
圖4的方法繼續針對當前像素在第一圖像201和第二(模糊)圖像203中搜索適 當的匹配。特別地，該方法搜索解析度增強圖像207中的相鄰合成像素與第一圖像201中 的相應像素組之間的匹配，並且搜索第三圖像205中的相鄰像素與第二圖像203中的相應 像素組之間的匹配。這些匹配針對兩幅圖像201、203中的相應位置而確定，並且組合成組 合匹配度量。因此，利用包含來自兩幅清晰圖片(已經合成的解析度增強圖像207與第一 圖像201)之間以及兩幅模糊圖像(第二和第三圖像203、20幻之間的比較的分量的匹配度 量執行搜索。
此外，所述匹配跨第一和第二解析度之間的解析度邊界而執行。特別地，通過假設 自相似性和尺度不變性，直接將不同解析度下的像素組相互比較，並且用來產生較高圖像 中的附加細節。例如，對於升尺度因子2而言，發現在第三圖像205的像素組的圖案或像素 變化與第二圖像203的像素組的匹配的情況下，即在其事實上具有兩倍高的相應空間頻率 的情況下，出現模糊的第二和第三圖像203、205之間的匹配。
圖4的方法在步驟401啟動，其中選擇下一個未知(尚未合成的)像素209。如前 所述，下一個像素被選擇為緊鄰解析度增強圖像207中前一個合成像素的右邊的像素。
步驟401之後是步驟403，其中選擇第三圖像205的比較像素組211。比較像素組 211被選擇為這樣的像素組，其包含與合成像素209具有第一預定空間關係的像素。在該特 定實例中，比較像素組211簡單地被選擇為第三圖像205的處於未知像素209的給定半徑 內的像素。
例如，比較像素組211可以包含離開合成像素的位置1個像素或更少的所有像素。 因此，在該特定實例中，這將得到與包含9個像素的正方形圖像區域(包括第三圖像205的 與未知像素209具有相同位置的像素)相應的比較像素組211。應當理解的是，在其他實施 例中，可以使用其他像素組尺寸。例如，在許多實施例中，對於1-6個像素的半徑發現了有 利的性能。例如，相應於像素組中的M個像素的像素半徑3通常提供高性能。
應當理解的是，可以使用用於比較像素組211的任何適當的像素選擇並且該像素 組不一定需要與鄰近圖像區域相應。此外，應當理解的是，其他數量的以及特別是更大數量 的像素可以包含在比較像素組211中。然而，已經發現，對於許多圖像而言，通過保持像素 數量相對較低實現了特別良好的解析度增強。對於包含少於40個像素的比較像素組已經發現了特別有利的性能。產生的比較像素組211之後用來搜索第二圖像203中的匹配，如 後面將要更詳細地描述的。
步驟403之後是步驟405，其中選擇解析度增強圖像207的合成像素組213。合成 像素組213被選擇為解析度增強圖像207的與合成像素209具有第二預定空間關係的已經 合成的像素組。在該特定實例中，比較像素組211簡單地選擇為解析度增強圖像207的已 經被合成並且處於未知像素209的給定半徑內的像素。
例如，合成像素組213可以包含與未知像素209鄰近的所有合成像素。因此，在該 特定實例中，這將導致與包含4個像素的L形區域相應的L形合成像素組213。產生的合成 像素組213之後用來搜索第一圖像201 (或第三圖像205)中的匹配，如後面將要更詳細地 描述的。
應當理解的是，可以使用用於合成的像素組213的任何適當的像素選擇，並且該 像素組不一定需要與鄰近圖像區域相應。此外，應當理解的是，其他數量的以及特別是更大 數量的像素可以包含在合成像素組213中。然而，已經發現，對於許多圖像而言，通過保持 像素數量相對較低實現了特別良好的解析度增強。對於包含少於15個像素的合成像素組 已經發現了特別有利的性能。
比較像素組211和合成像素組213處於第三圖像205和解析度增強圖像207的第 二解析度下。因此，比較像素組211和合成像素組213都處於輸出圖像的高解析度下。該 方法繼續將這些高解析度像素組與第一和第二圖像201、203中的相應像素組匹配。然而， 這些像素組處於第一解析度下並且因而執行跨解析度間隙的匹配。
特別地，該方法繼續搜索包含一定數量的位置的圖像區域。對於每個位置，計算組 合匹配度量，其考慮了該位置處對於比較像素組211和合成像素組213的匹配。
特別地，步驟405之後是步驟407，其中選擇適當的搜索圖像區域215。搜索圖像 區域215可以例如選擇為第一解析度下包含20x 20像素(相應於第二解析度下40x 40像 素)的正方形圖像區域。應當理解的是，在其他實施例中，可以使用其他搜索圖像區域，並 且特別地可以使用更大的搜索圖像區域(或者事實上整個圖像)。然而，已經發現，對於第 一解析度下625個或者更少像素的圖像區域，經常可以實現特別有利的性能。事實上，這樣 的相對較小的搜索圖像區域不僅可以降低複雜度和資源要求，而且在許多情形下可以提高 識別相同圖像對象內(例如相同紋理內)的適當匹配的概率。因此，它可以降低當產生未 知像素209的像素值時考慮不與相同可視對象有關的圖像區域內的虛假匹配的概率。
該方法繼續順序地評估搜索圖像區域215中的每個位置以便確定匹配度量。特別 地，該方法在步驟409繼續，其中對於搜索圖像區域215的下一個位置確定組合匹配度量。
然後，該方法在步驟411中繼續，其中評估當前位置是否是搜索圖像區域215中的 最後位置(即評估了所有位置)。如果是這樣的話，該方法在步驟413中繼續，其中確定合 成像素的像素值。否則，該方法返回到步驟409，其中確定針對下一個位置的匹配度量。
圖5更詳細地示出了步驟409的處理。
該過程在步驟501中開始，其中針對當前位置確定第二圖像203的第一樣本像素 組217。在該特定實例中，第一樣本像素組217被設置為與第三圖像205中的比較像素組 211直接相應的像素組。因此，在該特定實例中，第一樣本像素組217與第二圖像203中的 9像素正方形相應。然而，由於第二圖像203處於第一解析度下，而第三圖像205處於第二13解析度下，因而跨這些解析度執行匹配。然而，在圖像區域的自相似性假設下，該比較與紋 理的不同尺度之間的比較相應，從而允許在第二解析度下產生更多細節的紋理。這可以通 過從第一圖像201拷貝和重複清晰紋理元素來實現。類似地，尺度不變性的假設允許從第 一圖像201拷貝邊緣，因為邊緣在每個尺度下看起來相同。
在該實例中，可以使用相同的空間關係，即第一樣本像素組217可以選擇為包圍 當前位置的9個像素。
步驟501之後是步驟503，其中對於第一樣本像素組217和比較像素組211計算第 一匹配度量。應當理解的是，任何適當的匹配度量和距離準則都可以用來確定所述匹配度 量。例如，可以產生9個像素對的倒數平均平方像素值差值。
因此，第一匹配度量表示兩幅模糊圖像中相應位置的像素組在多大程度上彼此匹 配。由於第三圖像205與理論理想解析度增強圖像的模糊版本相應，因此第三圖像205的 像素與第二圖像203的像素之間的強匹配表示第一圖像201在該位置匹配理論理想解析度 增強圖像。此外，由於兩幅圖像同等地模糊，因而尺度不變性假設導致這很可能反映第一圖 像201的相應像素是未知像素值的精確反映。因此，如果模糊圖像203、205跨解析度間隙 匹配，那麼很可能在解析度間隙之間在第一圖像201與理論理想解析度增強圖像之間也存 在強匹配。
步驟503之後是步驟505，其中針對當前位置確定第一圖像201的第二樣本像素 組219。在該特定實例中，第二樣本像素組219被設置為直接與解析度增強圖像207中的 合成像素組213相應的像素組。因此，在該特定實例中，第二樣本像素組219與包含4個像 素(當前位置之上和左邊的4個像素)的L形相應。然而，由於第一圖像201處於第一分 辨率下，而解析度增強圖像207處於第二解析度下，因而跨這些解析度執行匹配。然而，在 圖像區域的尺度不變性假設下，該比較與紋理的不同尺度之間的比較相應，從而允許在第 二解析度下產生更多細節的紋理。
步驟505之後是步驟507，其中對於第二樣本像素組219和合成像素組213計算第 二匹配度量。應當理解的是，任何適當的匹配度量和距離準則都可以用來確定所述匹配度 量。例如，可以產生9個像素對的倒數平均平方像素值差值。
因此，第二匹配度量表示兩幅清晰圖像207、201中相應位置的像素組在多大程度 上彼此匹配。由於假設解析度增強圖像207與理論理想解析度增強圖像的估計版本相應， 因此該圖像的像素與第一圖像201的像素之間的強匹配表示第一圖像201在該位置匹配理 論理想解析度增強圖像。此外，由於兩幅圖像同等地清晰，因而尺度不變性假設導致這很可 能反映第一圖像201的相應像素是未知像素209的精確反映。
此外，由於合成像素組213選自輸出圖像中已經合成的值，因而所述匹配確保了 在解析度增強圖像207中合成的像素之間的空間一致性，特別是從第一圖像201施加鄰近 像素之間的約束。此外，這允許通過重複紋理元素/周期而實現紋理(再)合成。
步驟507之後是步驟509，其中針對當前位置通過組合第一匹配度量和第二匹配 度量而計算組合匹配度量。特別地，該組合匹配度量可以產生為第一匹配度量和第二匹配 度量的加權總和，權重分別反映清晰圖像與模糊圖像之間的匹配的相對重要性。
特別地，組合匹配度量w (i，j)可以確定為
權利要求
1.一種用於圖像的解析度增強的方法，該方法包括 接收(301)第一解析度的第一圖像O01)；產生(30 第一解析度的第二圖像003)，作為第一圖像O01)的模糊圖像； 通過將第一圖像O01)升尺度到第二解析度而產生(30 第三圖像Q05)； 通過對於解析度增強圖像(207)的多個像素組迭代以下步驟來合成(307)第二解析度 的解析度增強圖像O07)-選擇G01)解析度增強圖像OO7)的第一像素組QO9)；-選擇(40 第三圖像Q05)的與第一像素組(209)具有第一預定空間關係的比較像 素組011)，該比較像素組011)具有第二解析度的解析度；-選擇(40 解析度增強圖像O07)的與第一像素組(209)具有第二空間關係的合成 像素組013)，該合成像素組(21 具有第二解析度的解析度； 對於圖像區域015)中的多個位置 選擇第一位置；確定(501，50 第二圖像Q03)的與第一位置具有第三空間關係的第一樣本像素組 (217)和比較像素組(211)之間的第一匹配度量，第一樣本像素組(217)具有第一解析度的 解析度；確定(505，507)第一圖像(201)和第三圖像Q05)中的至少一個的與第一位置具有第 四空間關係的第二樣本像素組(219)和合成像素組(21 之間的第二匹配度量，第二樣本 像素組(219)具有第一解析度的解析度；通過組合第一匹配度量和第二匹配度量產生(509)針對第一位置的組合匹配度量；並且響應於組合匹配度量以及第一圖像(201)和第三圖像(20 中的至少一個的源圖像區 域015)的像素值產生(41 第一像素組Q09)的至少一個像素值。
2.權利要求1的方法，其中產生至少一個像素值的步驟包括通過與多個位置關聯的源 圖像區域015)的多個像素值的加權組合而產生第一像素組O09)的像素的像素值，所述 多個像素值的每個像素值的加權取決於該像素值的組合匹配度量。
3.權利要求1的方法，其中產生(413)至少一個像素值的步驟包括 選擇所述多個位置的位置組，其包含組合匹配度量匹配一定準則的位置； 為所述位置組的每個位置選擇源像素值；並且響應於這些源像素值而產生所述至少一個像素值。
4.權利要求1的方法，其中產生(30 第二圖像Q03)的步驟包括 對第一圖像O01)降尺度以便產生較低解析度圖像；並且通過將該較低解析度圖像升尺度到第一解析度而產生第二圖像(203)。
5.權利要求4的方法，其中較低解析度圖像的解析度和第一解析度之間的比值與第一 解析度和第二解析度之間的比值基本上相同。
6.權利要求1的方法，其中第一圖像O01)與解析度增強圖像(207)之間的升尺度因 子為2。
7.權利要求1的方法，其中第二樣本像素組選自第一圖像001)。
8.權利要求1的方法，其中第二樣本像素組選自第三圖像005)。
9.權利要求8的方法，其中第二樣本像素組019)的選擇包括在第一解析度下對第三 圖像Q05)的區域的像素子採樣。
10.權利要求8的方法，其中第二樣本像素組(219)的像素的像素中心在空間上相對於 第一圖像O01)的像素的像素中心偏移。
11.權利要求1的方法，其中產生(509)所述組合匹配度量的步驟包括第一匹配度量和 第二匹配度量的加權總和。
12.權利要求1的方法，其中所述比較像素組011)包含不足40個像素。
13.權利要求1的方法，其中所述合成像素組(21 包含不足15個像素。
14.權利要求1的方法，其中確定(501，50；3)第一匹配度量的步驟包括通過將第二圖像 (203)升尺度到第二解析度並且在第一解析度下對像素子採樣來確定第二圖像O03)的第 一樣本像素組017)。
15.一種用於圖像的解析度增強的設備，該設備包括 用於接收第一解析度的第一圖像(201)的裝置(101)；用於產生第一解析度的第二圖像O03)作為第一圖像O01)的模糊圖像的裝置 (103)；用於通過將第一圖像(201)升尺度到第二解析度而產生第三圖像(20 的裝置(105)；以及用於通過對於解析度增強圖像O07)的多個像素組迭代以下步驟來合成第二解析度 的解析度增強圖像(207)的裝置(107)-選擇G01)解析度增強圖像OO7)的第一像素組QO9)；-選擇(40 第三圖像Q05)的與第一像素組(209)具有第一預定空間關係的比較像 素組011)，該比較像素組011)具有第二解析度的解析度；-選擇(40 解析度增強圖像O07)的與第一像素組(209)具有第二空間關係的合成 像素組013)，該合成像素組(21 具有第二解析度的解析度； 對於圖像區域015)中的多個位置 選擇第一位置；確定(501，50 第二圖像Q03)的與第一位置具有第三空間關係的第一樣本像素組 (217)和比較像素組(211)之間的第一匹配度量，第一樣本像素組(217)具有第一解析度的 解析度；確定(505，507)第一圖像(201)和第三圖像(20 中的至少一個的與第一位置具有第 四空間關係的第二樣本像素組(219)和合成像素組(21 之間的第二匹配度量，第二樣本 像素組(219)具有第一解析度的解析度；通過組合第一匹配度量和第二匹配度量產生(509)針對第一位置的組合匹配度量；並且響應於組合匹配度量以及第一圖像(201)和第三圖像(20 中的至少一個的源圖像區 域015)的像素值產生第一像素組O09)的至少一個像素值。
全文摘要
本發明涉及圖像的升尺度，例如將視頻圖像從標準清晰度升尺度到高清晰度。通過依賴於組合兩個匹配度量的匹配度量對輸入圖像中的像素值加權而將輸入圖像升尺度為解析度增強圖像(207)。第一圖像生成器(103)產生輸入圖像的模糊版本並且第二圖像生成器(103)產生升尺度的5插值版本。通過比較模糊圖像和升尺度的插值圖像的像素組而產生第一度量。通過比較輸入圖像的像素組以及解析度增強圖像(207)的已經合成的像素值而產生第二度量。對於搜索區域中的每個位置，解析度增強處理器(107)產生組合匹配度量並且當10產生解析度增強圖像(207)的未知像素值時使用該度量對該位置的像素值加權。
文檔編號G06T3/40GK102037489SQ200980118293
公開日2011年4月27日 申請日期2009年5月14日 優先權日2008年5月21日
發明者C·達姆卡特 申請人:皇家飛利浦電子股份有限公司