用於放大圖像的方法和裝置與流程

2024-03-31 20:15:05

本原理涉及用於放大(up-scale)圖像的方法和裝置。更具體地，描述用於放大圖像的方法和裝置，其利用超像素和輔助圖像以用於提高放大質量。

背景技術：

超解析度技術目前被多個應用推動。例如，HDTV圖像格式後繼者，諸如具有其2k和4k變體的UHDTV，可以從超解析度中受益，因為已經存在的視頻內容必須被放大以適合更大的顯示器。拍攝各自具有相對小的解析度的多個視圖圖像的光場相機同樣需要智能放大以提供可以與最新水平的系統相機和DSLR相機(DSLR：數碼單鏡反光)競爭的圖片質量。第三個應用是視頻壓縮，其中低解析度圖像或視頻流可以被附加的超解析度增強層解碼和增強。該增強層附加地嵌入在壓縮數據內，並用於經由超解析度放大的圖像或視頻來補充先前的。

在此描述的構思基於利用圖像固有自相似性的技術，如G.Freedman等人在「Image and video upscaling from local self-examples」，ACM圖形學報，第30卷(2011)，第12:1-12:11頁中提出的。雖然該基礎論文限於靜止圖像，但是隨後的工作結合了多個圖像來處理視頻放大，如在J.M.Salvador等人的論文「Patch-based spatio-temporal super-resolution for video with non-rigid motion」，圖像通信雜誌，第28卷(2013)，第483-493頁中討論的。

遺憾的是，放大圖像的任何方法伴隨著令人苦惱的質量損失。

在過去十年，超像素算法已經成為用於圖像分割的廣泛接受和應用的方法，為後續處理任務提供複雜性的降低。超像素分割提供從圖像的像素網格的剛性結構切換到定義圖像中的對象的語義描述的優點，這解釋其在圖像處理和計算機視覺算法中的普及。

超像素算法的研究開始於X.Ren等人在「Learning a classification model for segmentation」，IEEE國際計算機視覺會議(ICCV)2003，第10-17頁中提出的處理密集特徵分組方法。隨後，提出了用於超像素生成的更有效的解決方案，諸如R.Achanta等人在「SLIC superpixels compared to state-of-the-art superpixel methods」，IEEE模式分析與機器智能彙刊，第34卷(2012)，第2274-2282頁中介紹的簡單線性迭代聚類(SLIC)方法。雖然早期的解決方案聚焦於靜止圖像，但是後來的發展針對超像素對視頻的應用，這需要它們的時間一致性。在M.Reso等人的「Temporally Consistent Superpixels」，國際計算機視覺會議(ICCV)，2013，第385-392頁中描述了一種實現該需求的方法，其提供視頻序列內的可追蹤的超像素。

技術實現要素：

目的是描述一種用於放大圖像的改進的解決方案，其允許實現減少的質量損失。

根據一個實施例，一种放大輸入圖像的方法，其中採用使用超像素的跨尺度自相似性匹配來獲得放大的圖像中的缺失細節的替代，包括：

-針對輸入圖像和一個或多個輔助輸入圖像生成一致的超像素；

-基於一致的超像素生成超像素測試矢量；

-使用超像素測試矢量在輸入圖像和一個或多個輔助輸入圖像上進行跨尺度自相似性匹配；以及

-使用跨尺度自相似性匹配的結果來生成放大的輸出圖像。

相應地，一種計算機可讀存儲介質具有其中存儲的使得能夠放大輸入圖像的指令，其中採用使用超像素的跨尺度自相似性匹配來獲得放大的圖像中的缺失細節的替代。該指令當由計算機執行時使得計算機：

-針對輸入圖像和一個或多個輔助輸入圖像生成一致的超像素；

-基於一致的超像素生成超像素測試矢量；

-使用超像素測試矢量在輸入圖像和一個或多個輔助輸入圖像上進行跨尺度自相似性匹配；以及

-使用跨尺度自相似性匹配的結果來生成放大的輸出圖像。

此外，在一個實施例中，一種被配置為放大輸入圖像的裝置，其中採用使用超像素的跨尺度自相似性匹配來獲得放大的圖像中的缺失細節的替代，包括：

-超像素矢量生成器，被配置為針對輸入圖像和一個或多個輔助輸入圖像生成一致的超像素並且基於一致的超像素生成超像素測試矢量；

-匹配塊，被配置為使用超像素測試矢量在輸入圖像和一個或多個輔助輸入圖像上進行跨尺度自相似性匹配；以及

-輸出圖像生成器，被配置為使用跨尺度自相似性匹配的結果來生成放大的輸出圖像。

在另一實施例中，一種被配置為放大輸入圖像的裝置，其中採用使用超像素的跨尺度自相似性匹配來獲得放大的圖像中的缺失細節的替代，包括處理設備和存儲設備，該存儲設備中存儲有指令，該指令當由該處理設備執行時使得該裝置：

-針對輸入圖像和一個或多個輔助輸入圖像生成一致的超像素；

-基於一致的超像素生成超像素測試矢量；

-使用超像素測試矢量在輸入圖像和一個或多個輔助輸入圖像上進行跨尺度自相似性匹配；以及

-使用跨尺度自相似性匹配的結果來生成放大的輸出圖像。

所提出的超解析度方法通過分析所生成的時間或多視圖一致超像素來追蹤所捕獲的對象。將對圖像資料中的對象及其在時間或不同視圖中的所在之處的認知轉移到高級搜索策略中以用於找到相關多圖像跨尺度自相似性。通過結合針對不同時間相位或不同視圖找到的多個重要的自相似性，生成更好的適合的超解析度增強信號，得到改進的圖片質量。所提出的超解析度方法提供改進的圖像質量，其可以經由與地面實況數據的比較在峰值信噪比中測量。此外，主觀測試鞏固所得到的圖片質量的視覺改進，這是有用的，因為峰值信噪比測量不一定與人類視覺感知一致。

超解析度方法對多個圖像起作用，多個圖像可以表示時間上的圖像序列(例如視頻)，多視圖拍攝(例如保持多個角度的光場相機圖像)，或者甚至多視圖拍攝的時間序列。這些應用是可互換的，這意味著多視圖圖像和時間圖像可以被視為等同物。

在一個實施例中，解決方案包括：

-對輸入圖像進行上採樣以獲得高解析度低頻圖像；

-確定輸入圖像與高解析度低頻圖像之間的匹配位置以及一個或多個輔助輸入圖像與高解析度低頻圖像之間的匹配位置；

-使用匹配位置從輸入圖像和一個或多個輔助輸入圖像合成高解析度高頻合成圖像；以及

-將高解析度低頻圖像和高解析度高頻合成圖像組合成高解析度的放大的輸出圖像。

通常，上採樣的圖像由於缺失細節而具有令人苦惱的質量損失。然而，使用來自輸入圖像和一個或多個輔助輸入圖像的圖像塊來替代這些缺失細節。雖然這些圖像將僅包含有限數量的合適的圖像塊，但是這些塊通常更相關，即更好地適應。

在一個實施例中，輸入圖像被頻帶分裂成低解析度低頻圖像和低解析度高頻圖像，其中低解析度低頻圖像用於跨尺度自相似性匹配，而低解析度高頻圖像用於生成放大的輸出圖像。以該方式，確保自相似性的有效分析，並且可以可靠地獲得用於放大的輸出圖像的必要高頻細節。

在一個實施例中，通過進行以下中的至少一個來生成用於生成放大的輸出圖像的圖像塊：選擇由跨尺度自相似性匹配的最佳匹配所定義的單個圖像塊，生成由跨尺度自相似性匹配的匹配所定義的所有塊或塊的子集的線性組合，以及生成由跨尺度自相似性匹配的匹配所定義的所有圖像塊的平均值。雖然前兩種解決方案需要較少的處理能力，但是後一種解決方案示出峰值信噪比的最佳結果。

為了更好地理解，現在將在以下描述中參考附圖更詳細地解釋解決方案。應當理解，解決方案不限於該示範性實施例，並且也可以在不脫離所附權利要求中限定的本解決方案的範圍的情況下，得當地組合和/或修改特定特徵。

附圖說明

圖1示出了已知的超解析度算法的框圖；

圖2示出了圖1的框圖的擴展的和更緊湊的版本；

圖3描繪了使用超像素的超解析度多圖像自相似性匹配；

圖4圖示了圖像塊的線性組合，其中經由線性回歸來確定組合權重；

圖5示出了在分割成超像素之前的圖像的示例；

圖6示出了在分割成超像素之後的圖5的圖像；

圖7示出了在三個圖像的時段上追蹤的單個時間一致的超像素的示例；

圖8示出了針對不同的放大算法所獲得的平均峰值信噪比；

圖9示出了針對不同的放大算法所獲得的平均結構相似性值；

圖10描繪了根據實施例的放大圖像的方法；

圖11示意性地描繪了被配置為進行放大圖像的方法的裝置的第一實施例；以及

圖12示意性地圖示了被配置為進行放大圖像的方法的裝置的第二實施例。

具體實施方式

以下，聚焦於時間圖像序列(例如視頻序列的圖像)來解釋解決方案。然而，所描述的方法同樣可應用於空間相關的圖像，例如多視圖圖像。

以下描述的方法基於G.Freedman等人的超解析度算法，如圖1中的框圖所示。當然，總體構思同樣可應用於其他超解析度算法。為了簡單起見，框圖描述僅針對單個圖像工作的解決方案，而所提出的方法提供針對多個圖像的解決方案。稍後在分別的框圖中解釋所有對應的必要擴展。

在圖1中，低解析度輸入圖像I1由以下三個不同的濾波器處理：生成低頻高解析度圖像O1.1的上採樣濾波器1，生成低頻低解析度圖像I1.1的低通濾波器2，以及生成高頻低解析度圖像I1.2的高通濾波器3。

通常，上採樣的圖像O1.1由於由雙三次(bi-cubic)或者替選地更複雜的上採樣導致的缺失細節而具有令人苦惱的質量損失。在以下步驟中，通過利用自然對象的固有跨尺度自相似性來生成這些缺失細節的替代。生成缺失細節的處理產生高頻高解析度圖像O1.2，其可以在處理塊4中與低頻高解析度圖像O1.1組合以生成最終的高解析度輸出圖像I2。

由匹配處理塊5檢測跨尺度自相似性。該匹配處理塊5針對高解析度圖像O1.1中的所有像素在低解析度圖像I1.1內搜索適當的匹配。匹配處理的最新水平是在矩形搜索窗的固定擴展內搜索。匹配處理塊5針對O1.1中的所有像素生成指向I1.1的最佳匹配位置。將這些最佳匹配位置轉移到合成塊6，合成塊6將來自高頻低解析度圖像I1.2的所指示的塊複製到高頻高解析度圖像O1.2中。

圖2中的框圖示出了圖1的框圖的更緊湊的版本，其通過高級匹配技術擴展。圖2中的附加塊為超像素矢量生成器7，其處理輸入圖像I1以用於計算超像素，並選擇用於匹配塊5的測試矢量。超像素測試矢量生成替代圖1中使用的剛性矩形搜索窗。

圖3中的框圖解釋了超像素矢量生成的另外的擴展，即使用超像素的超解析度多圖像自相似性匹配。如其在圖2中的前身，圖3的框圖知道圖像資料中的對象。構思是在多個圖像上追蹤對象，該多個圖像用於在矢量生成器塊7中生成用於多個輸入圖像的匹配的測試矢量。在圖3中，輸入圖像的數量為三個，但是該數量不是強制性的，並且可以通過包括或排除位於未來或過去方向的圖像來增加或減少該數量。類似地，多視圖應用可以包括或排除另外的視圖/角度，或者多視圖圖像的時間序列可以包括或排除另外的視圖/角度和/或時間上在後或在前的圖像。

圖3中給出的示例示出了針對時間tt的圖像I2執行以用於創建也在時間tt的輸出圖像O2的所提出的方法。在時間tt-1和tt+1的輸入圖像I1和I3是用於找到輸出圖像O2的相關跨尺度自相似性的附加源。

匹配塊5接收所有輸入圖像的超像素測試矢量，其在該示例中為{vt-1,vt,vt+1}，並且針對O2.1中的所有像素生成分別指向I1.1，I2.1和I3.1的最佳匹配位置。在圖中，這由表示最佳匹配位置的三個完整集合的{pt-1,pt,pt+1}指示。通常集合的維數等於輸入圖像的數量。合成塊6組合來自I1.2、I2.2和I3.2的所指示的塊，並將組合結果複製到高頻高解析度圖像O2.2中。

以下給出矢量生成器塊7和合成塊6的更詳細的描述。

多圖像超像素矢量生成器塊7通過進行以下步驟來生成超像素測試矢量集合{vt-1,vt,vt+1}：

步驟1：生成一致的超像素{SPt-1(m),SPt(n),SPt+1(r)}，其中索引{m,n,r}在圖像中的所有超像素上運行。針對多視圖應用可以用多視圖一致來替代術語時間一致。在M.Reso等人的「Temporally Consistent Superpixels」，國際計算機視覺會議(ICCV)，2013，第385-392頁中描述了一種生成時間一致的超像素的方法。圖5示出了被分割成如圖6中描繪的超像素區域的圖像的示例，其中每個超像素使用不同的灰度值表示。圖6被稱為超像素標號映射。圖7示出了在三個圖像的時段上追蹤的單個時間一致的超像素的示例，其中超像素跟隨在時間tt-1、tt和tt+1的圖像中描繪的視頻場景中的移動對象。

步驟2：針對所有超像素圖像分別地生成搜索矢量{st-1(ζ),st(ζ),st-+1(ζ)}，其中索引ζ在所有圖像位置運行。例如在共同待審的歐洲專利申請EP14306130中描述了一種生成這樣的搜索矢量的方法。

步驟3：針對所有超像素生成對象相關像素分配

其中關係的數量取決於輸入圖像的數量。例如在共同待審的歐洲專利申請EP14306126中描述了一種生成這樣的對象相關像素分配的方法。在圖3的示例中僅使用第一行。

步驟4：通過應用在步驟3中得到的像素分配來確定最終的超像素測試矢量{vt-1,vt,vt+1}。對於圖3中的示例，在時間tt的圖像中的每個分別的超像素SPt(n)≡SPt,n具有單獨分配給SPt-1(m)≡SPt-1,m的像素以及單獨分配給SPt+1(r)≡SPt+1,r的像素，其可以通過pt,n(i)→pt-1,m(j)和pt,n(i)→pt+1,r(k)表示，其中i∈{1,…I}，j∈{1,…J}，並且k∈{1,…K}。換句話說，對於位於在時間tt的圖像中的原始超像素SPt,n的每個像素pt,n(i)，需要對應像素pt-1,m(j)和pt+1,r(k)，其位於在時間tt-1的圖像中的超像素SPt-1,m和在時間tt+1的圖像中的超像素SPt+1,r內。I是SPt,n中包含的像素的數量，J是SPt-1,m中包含的像素的數量，而K是SPt+1,r中包含的像素的數量。通常像素I、J和K的數量不同。因此，所得像素映射可以是一對多、一對一、多對一、以及它們的組合。測試矢量vt不需要分配，因為它們可以直接獲得，即，vt(ζ)＝st(ζ)。測試矢量vt-1和vt+1分別根據vt-1(ζ)＝st-1(pt,n(ζ)→pt-1,m(ζ))和vt+1(ζ)＝st+1(pt,n(ζ)→pt+1,r(ζ))來使用分配。相應地處理更大數量的輸入圖像。

由合成塊6進行的塊組合可以例如使用以下方法之一來實現：

a)選擇僅由非常最佳匹配(即，在找到的所有最佳匹配中的最佳的匹配)定義的單個塊。

b)所有塊或塊的子集的線性組合，其中經由線性回歸來確定權重(線性因子)，如圖4中所示。

c)生成所有找到的最佳匹配的平均值。該方法是優選的，因為它示出PSNR(峰值信噪比)的最佳結果。

圖4示出了在合成塊6內執行的用於合成高頻高解析度圖像O2.2的線性回歸方法。通過採用最佳匹配位置{pt-1,pt,pt-+1}，通過形成以下回歸方程取得最佳匹配塊數據和目標塊針對O2.1中的每個像素位置ζ單獨地處理線性回歸，該回歸方程為

或者

其中q是匹配塊中的像素的數量。如果輸入圖像的計數小於或等於匹配塊中的像素的數量，則該方程可解。在輸入圖像的計數較高的情況下，提出通過僅選擇最佳匹配塊(即，具有最小距離測量的那些塊)來減小矩陣D的水平維數。

圖8和圖9中的兩個圖表示出了通過將放大的圖像與地面實況數據相比較而在64個圖像的序列上分析的平均PSNR和SSIM(結構相似性)。所示為以下算法之間的比較：

雙三次：經由雙三次內插而放大。

SISR：單個圖像超解析度，匹配處理在矩形搜索窗的固定擴展內搜索。

SRm25：使用基於矢量的自相似性匹配的單個圖像超解析度。搜索矢量長度為25。

SRuSPt1：通過如以上在c)項中描述的平均值，使用三個圖像{tt-1,tt,tt+1}(即，一個先前圖像和一個未來圖像)的超像素的多圖像自相似性匹配。

SRuSPt5：通過如以上在c)項中描述的平均值，使用十一個圖像{tt-5,…,tt-1,tt,tt+1,…,tt+5}(即，五個先前圖像和五個未來圖像)的超像素的多圖像自相似性匹配。

SRuSPt1s：使用三個圖像{tt-1,tt,tt+1}(即，一個先前圖像和一個未來圖像)的超像素的多圖像自相似性匹配，但是選擇如以上在a)項中描述的最佳匹配塊。

SRuSPt5s：使用十一個圖像{tt-5,…,tt-1,tt,tt+1,…,tt+5}(即，五個先前圖像和五個未來圖像)的超像素的多圖像自相似性匹配，但是選擇如以上在a)項中描述的最佳匹配塊。

兩個圖表示出了使用超像素控制的自相似性匹配的所有方法優於固定搜索區域內的匹配。它們還揭示輸入圖像的增加創建PSNR和SSIM值的改進。最終，可以看出，分析十一個輸入圖像的SRuSPt5算法創建較好的PSNR和SSIM值。

圖10示意性地示出了放大圖像的方法的一個實施例，其中採用使用超像素的跨尺度自相似性匹配來獲得放大的圖像中的缺失細節的替代。在第一步驟中，針對輸入圖像I2和一個或多個輔助輸入圖像I1、I3生成10一致的超像素。

然後基於這些一致的超像素，生成11超像素測試矢量。使用超像素測試矢量，在輸入圖像I2和一個或多個輔助輸入圖像I1、I3上進行跨尺度自相似性匹配12。最終，使用跨尺度自相似性匹配12的結果來生成13放大的輸出圖像O2。

圖11描繪了用於放大輸入圖像I2的裝置20的一個實施例。裝置20採用使用超像素的跨尺度自相似性匹配來獲得放大的圖像中的缺失細節的替代。為此，裝置20包括用於接收要被放大的輸入圖像I2和一個或多個輔助輸入圖像I1、I3的輸入端21。超像素矢量生成器7針對輸入圖像I2和一個或多個輔助輸入圖像I1、I3生成10一致的超像素，並且還基於一致的超像素生成11超像素測試矢量。當然，同樣可以通過分別的處理塊來進行這兩個功能。匹配塊5使用超像素測試矢量在輸入圖像I2和一個或多個輔助輸入圖像I1、I3上進行跨尺度自相似性匹配12。輸出圖像生成器22使用跨尺度自相似性匹配12的結果來生成13放大的輸出圖像O2。在一個實施例中，輸出圖像生成器22包括如上進一步描述的合成塊6和處理塊4。使得所得輸出圖像O2在輸出端23處可用和/或存儲在本地儲存器上。超像素矢量生成器7、匹配塊5和輸出圖像生成器22被實現為專用硬體或者實現為在處理器上運行的軟體。它們也可以部分地或完全地組合在單個單元中。此外，輸入端21和輸出端23可以組合成單個雙向接口。

在圖12中示意性地示出了被配置為進行放大圖像的方法的裝置30的另一實施例。裝置30包括處理設備31和存儲指令的存儲設備32，該指令當被執行時使得裝置進行根據所描述的方法之一的步驟。

例如，處理設備31可以是適於進行根據所描述的方法之一的步驟的處理器。在一個實施例中，所述適配包括處理器被配置為例如被編程的，以進行根據所描述的方法之一的步驟。