基於低秩張量和層次化字典學習的高解析度圖像重構方法與流程

2023-09-12 01:46:10 2

本發明涉及一種高解析度圖像重構領域。特別是涉及一種基於低秩張量和層次化字典學習的高解析度圖像重構方法。

背景技術：

人眼通過各種觀測系統對客觀世界的反映謂之圖像。人們通過視覺來感知形狀，大小，位置，遠近等，並做出相應的判斷。社會的發展使得人們對於獲取具有高解析度的數字圖像的要求越來越突出，無論是軍用，還是民用，如何獲得一幅高解析度的數字圖像已成為人們必須解決的問題。

所謂的高解析度的數字圖像，指的是具有密集的空間分布的數字圖像，也就是說圖像在單位空間上具有更多的像素集合。例如，醫學上的ct圖像，可以作為醫生診斷的依據；衛星圖像可以更好的進行目標的識別與跟蹤。

通常，利用數字設備獲取的關於場景的圖像，由於成像系統本身的限制和成像環境的影響，所得到的圖像並不能完全反映真實場景中的所有信息。如何利用軟體處理的方法來提高圖像的解析度，是數字圖像處理和信號處理領域的研究熱點和難點[1]。

傳統的圖像信息處理，即插值方法，通常是先進行補零疏化，然後再進行內插，最後經過濾波的方式來實現的。但是，用這種方式處理的圖像，雖然可以增加單位空間內的像素數目，但本質上而言，其並未突破原有圖像的信息量，只是對圖像的視覺效果有所改觀，並沒有增加圖像的信息量。

超解析度重建的範圍可以大致分為：單幅圖像的放大，多幅圖像重建單幅圖像以及視頻序列重建單幅圖像[2]。圖像放大是利用先驗知識來消除混疊效應。利用超解析度重建技術，不需要硬體的參與，也即可以在不改變原有硬體系統的條件下，提高圖像的空間解析度，改善圖像的視覺效果。這樣，不僅可以利用原有的硬體系統，而且還可以充分利用已獲取的低解析度圖像資源。如今，圖像高解析度重建技術已廣泛應用於各行各業，在衛星遙感測繪方面，在公共安全監護方面，在計算機視覺方面，在醫學成像方面等等。超解析度圖像重建技術的廣泛研究，不僅可以推動新一代的圖像復原技術的發展，另外也可以在繼續利用原有光學成像系統的前提下，獲得可以滿足人們需要的高解析度的圖像。

技術實現要素：

本發明所要解決的技術問題是，提供一種能夠避免圖像重構時對於外部資料庫信息依賴的基於低秩張量和層次化字典學習的高解析度圖像重構方法。

本發明所採用的技術方案是：一種基於低秩張量和層次化字典學習的高解析度圖像重構方法，包括如下步驟：

1)採用雙線性插值方法，對給定的低解析度圖像分別進行上採樣和下採樣處理，得到上採樣圖像和下採樣圖像，將低解析度圖像、上採樣圖像和下採樣圖像共同作為層次化字典學習的圖像訓練集；

2)在圖像訓練集中首先選取低解析度圖像和下採樣圖像進行訓練，對下採樣圖像提取梯度特徵得到下採樣梯度特徵，然後按照下採樣的比例分別對低解析度圖像和下採樣梯度特徵進行分塊處理並排列成張量，得到低解析度圖像張量和下採樣梯度特徵張量，對下採樣梯度特徵張量進行低秩近似處理；

3)對低解析度圖像張量和低秩近似處理後的下採樣梯度特徵張量進行聯合稀疏化字典學習，得到下採樣圖像到原始低解析度圖像的恢復字典；

4)在圖像訓練集中選取低解析度圖像和上採樣圖像進行訓練，對低解析度圖像提取梯度特徵得到低解析度梯度特徵，然後按照上採樣的比例分別對低解析度梯度特徵和上採樣圖像進行分塊處理並排列成張量，得到低解析度梯度特徵張量和上採樣圖像張量，對低解析度梯度特徵張量進行低秩近似處理，在步驟3)得到的恢復字典的基礎上再一次通過聯合稀疏化學習對所述恢復字典進行更新；

5)選取低解析度圖像，將圖像由原始的rgb色彩空間轉換至ycbcr亮度色度空間，只對y利用更新後的字典進行逐塊高解析度重構，而cb和cr採用雙線性插值方法進行重構，直至遍歷整個低解析度圖像，得到原始的恢復圖像；

6)利用迭代反投影算法對原始的恢復圖像進行全局增強處理，得到最終的高解析度重構圖像。

步驟1)中所述的上採樣和下採樣處理的比例相同。

步驟2)所述的低秩近似處理是：設為初始張量，為低秩近似張量，則目標函數表示為

其中，u1,…,un表示張量展開的投影矩陣；

採用增廣拉格朗日方法進行求解，則得到以下迭代過程，k表示迭代次數：

其中，

將低秩近似張量的求解轉換到對於投影矩陣u1,u2,..,un的求解，

將正則項代替為則表示為

其中，是張量的第i個模式的展開形式，將的求解轉換為svt解法的標準形式為：

利用svt解法得到的值：

其中，p和q分別為奇異值分解左奇異值矩陣和右奇異值矩陣，代表奇異值分解的中間矩陣值大於τk的部分，確定後，由得到所求的低秩近似結果

步驟4)所述的更新是採用如下公式：

其中，

z表示字典稀疏係數，α，β均為正數，表示懲罰項參數，d表示步驟3)初始學習得到的恢復字典，y表示低解析度梯度與上採樣圖像的組合，表示更新後的恢復字典。

本發明的基於低秩張量和層次化字典學習的高解析度圖像重構方法，採用張量的表示方法保留了圖像的基本結構信息，提高了高解析度圖像重構的精度。有益效果如下：

1、避免了高解析度圖像重構的過程中對於外部資料庫的依賴，充分利用圖片本身的細節信息以及不同層次圖片之間的重構規律信息，能夠提高高解析度重構的精度；

2、採用了張量結構，儘可能多的保留了原有圖片的結構信息，同時低秩化處理增強了圖像塊之間的聯繫；

3、採用了聯合的稀疏化字典學習以及反向迭代投影算法，從圖像塊和全局兩方面進行高分辨重建，增強了重構效果。

附圖說明

圖1是本發明基於低秩張量和層次化字典學習的高解析度圖像重構方法的流程圖；

圖2是本發明中訓練得到的字典的可視化結構效果圖。

具體實施方式

下面結合實施例和附圖對本發明的基於低秩張量和層次化字典學習的高解析度圖像重構方法做出詳細說明。

如圖1所示，本發明的基於低秩張量和層次化字典學習的高解析度圖像重構方法，包括如下步驟：

1)採用雙線性插值(bicubic)方法，對給定的低解析度圖像分別進行上採樣和下採樣處理，得到上採樣圖像和下採樣圖像，所述的上採樣和下採樣處理的比例相同。將低解析度圖像、上採樣圖像和下採樣圖像共同作為層次化字典學習的圖像訓練集；

本發明首先對給定的低解析度圖像lr應用bicubic方法分別進行上採樣和下採樣處理，得到上採樣圖像ur和下採樣圖像dr。將低解析度圖像lr，上採樣圖像ur和下採樣圖像dr共同作為層次化字典學習的圖像訓練集。為了保證高解析度圖像重構的合理遷移性，需要保證上採樣和下採樣的比例相同。該步驟只將本身圖片的不同層次作為訓練集，能夠更多利用圖片自身的細節信息，確保重構的精度。

2)在圖像訓練集中首先選取低解析度圖像和下採樣圖像進行訓練，對下採樣圖像提取梯度特徵得到下採樣梯度特徵，然後按照下採樣的比例分別對低解析度圖像和下採樣梯度特徵進行分塊處理並排列成張量，得到低解析度圖像張量和下採樣梯度特徵張量，對下採樣梯度特徵張量進行低秩近似處理；

選取下採樣圖像dr，通過與不同的梯度算子進行卷積運算，提取橫縱兩個方向的一階和二階梯度特徵。按照下採樣的比例，不失一般性的，設下採樣比例為2，用滑窗採樣的方法對圖像lr和圖像dr進行分塊處理。將圖像lr分成大小為p×p的圖像塊，即將圖像dr的梯度特徵分成大小為q×q的圖像塊，即並且滿足p＝2*q。經過排列可以將圖像lr表示為大小為p×p×m的張量將圖像dr的梯度特徵表示為大小為q×q×4×m的張量其中m為圖像塊的數目。為了得到圖像塊之間的緊密聯繫，需要對圖像dr的梯度特徵張量進行低秩化近似處理。

以下是本發明的低秩張量近似處理方法。設為初始張量，為低秩近似後的張量，則目標函數表示為

上述式子(1)符合的形式，因此可以採用alm(augmentedlagrangianmethod，增廣拉格朗日方法)進行求解[3]，則得到以下迭代過程：

其中，

由於alm算法只適用於矩陣的求解，將對低秩近似張量的求解轉換到對於投影矩陣u1,u2,..,un的求解。

根據式(6)可以將正則項代替為則

其中，是張量的第i個模式的展開形式，將式(7)轉換為svt[4](singularvaluethresholding，奇異值閾值)解法的標準形式為：

利用svt解法得到的值：

其中，p和q分別為奇異值分解左，右奇異值矩陣，代表奇異值分解的中間矩陣值大於τk的部分。確定後，由可以得到所求的低秩近似結果

3)對低解析度圖像張量和低秩近似處理後的下採樣梯度特徵張量進行聯合稀疏化字典學習，得到下採樣圖像到原始低解析度圖像的恢復字典；

將步驟2)中的張量和張量低秩近似結果按照空間關係展開為矩陣和矩陣在訓練學習lr-dr字典對的過程中，字典dl與字典dd需要通過聯合稀疏學習的方法得到。dl與dd需要滿足下式：

其中，

為了保證高解析度圖像的重構效果，需要保證字典的過完備性，因此字典矩陣的列數需要遠遠大於行數[5]。

4)在圖像訓練集中選取低解析度圖像和上採樣圖像進行訓練，對低解析度圖像提取梯度特徵得到低解析度梯度特徵，然後按照上採樣的比例分別對低解析度梯度特徵和上採樣圖像進行分塊處理並排列成張量，得到低解析度梯度特徵張量和上採樣圖像張量，對低解析度梯度特徵張量進行低秩近似處理，在步驟3)得到的恢復字典的基礎上再一次通過聯合稀疏化學習對所述恢復字典進行更新；

所述的更新是採用如下公式：

其中，

z表示字典稀疏係數，α，β均為正數，表示懲罰項參數，d表示步驟3)初始學習得到的恢復字典，y表示低解析度梯度與上採樣圖像的組合，d^表示更新後的恢復字典。

5)選取低解析度圖像，將圖像由原始的rgb色彩空間轉換至ycbcr亮度色度空間，其中y代表亮度分量，cb代表藍色色度分量，cr代表紅色色度分量，由於亮度分量中含有較多的細節信息以及人眼對亮度信息敏感，則只對y利用更新後的字典進行逐塊高解析度重構，而cb和cr採用雙線性插值(bicubic)方法進行重構，直至遍歷整個低解析度圖像，得到原始的恢復圖像；具體是：

針對於每一個圖像塊的y分量取均值m，每一個圖像塊的亮度差值利用訓練得到的字典du和稀疏化係數z進行重構，則最終的亮度差值表達為：

然後由恢復的ycbcr分量得到初步的重構結果i0。

6)利用迭代反投影算法對原始的恢復圖像進行全局增強處理，得到最終的高解析度重構圖像。具體是：

利用ibp(iterativeback-projection)算法對重構的基本結果進行圖像增強。其基本思路是利用低解析度圖像產生的過程進行迭代，使最終生成的高解析度圖像經過下採樣和模糊處理後接近給定的低解析度圖像lr，需要滿足下式：

其中s為下採樣算子，h為模糊算子。通過求解得到的即為最終的高解析度圖像重構結果。

實驗報告

測試數據集

本實驗使用的測試數據集為9張高解析度重構實驗常用的圖像，包括人物，動物，建築物和衣物等多種類型。

評估標準

不失一般性的，採用峰值信噪比(psnr)和結構相似度(ssim)衡量本方法的高解析度重構性能。

對比算法

實驗中將本方法與多種方法進行對比，包括bicubic，zeybe[6]，gr，anr[7]，ne+ls,ne+lle[8]，ne+nnls[9]等7種近期比較普遍的高解析度圖像重構方法。

實驗結果

表1為本方法與其他7種高解析度圖像重構算法的psnr和ssim指標的對比結果。由對比可知，本方法在girl和parrot測試圖片中psnr低於anr和gr算法，在girl和bike測試圖片中ssim指標低於anr算法，但在其他測試圖片中，本方法均具有優勢。實驗驗證了本方法的可行性與優越性。

表1

參考文獻：

[1]komatsut,aizawak,igarashit,etal.signal-processingbasedmethodforacquiringveryhighresolutionimageswithmultiplecamerasanditstheoreticalanalysis[j].ieeproceedingsi-communications,speechandvision,1993,140(1):19-24.

[2]pattiaj,sezanmi,tekalpam.superresolutionvideoreconstructionwitharbitrarysamplinglatticesandnonzeroaperturetime[j].ieeetransactionsonimageprocessing,1997,6(8):1064-1076.

[3]linz,chenm,may.theaugmentedlagrangemultipliermethodforexactrecoveryofcorruptedlow-rankmatrices[j].arxivpreprintarxiv:1009.5055,2010.

[4]wrightj,ganesha,raos,etal.robustprincipalcomponentanalysis:exactrecoveryofcorruptedlow-rankmatricesviaconvexoptimization[c]//advancesinneuralinformationprocessingsystems.2009:2080-2088.

[5]w.dong,g.li,g.shi,x.li,andy.ma.low-ranktensorapproximationwithlaplacianscalemixturemodelingformultiframeimagedenoising.inproceedingsofieeeinternationalconferenceoncomputervision,pages442–449,2015..

[6]r.zeyde,m.elad,andm.protter.onsingleimagescale-upusingsparse-representations.inproceedingsofinternationalconferenceoncurvesandsurfaces,pages711–730,2010.

[7]r.timofte,v.desmet,andl.vangool.anchoredneighborhoodregressionforfastexample-basedsuperresolution.inproceedingsofieeeinternationalconferenceoncomputervision,pages1920–1927,2013.

[8]m.bevilacqua,a.roumy,c.guillemot,andm.l.alberimorel.low-complexitysingle-imagesuper-resolutionbasedonnonnegativeneighborembedding.pages1–9,2012..

[9]h.chang,d.-y.yeung,andy.xiong.super-resolutionthroughneighborembedding.inproceedingsofieeeinternationalconferenceoncomputervisionandpatternrecognition,volume1,pages275–282,2004.

本領域技術人員可以理解附圖只是一個優選實施例的示意圖。

以上所述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。