基於加權重疊非局部回歸先驗的單幅圖像超解析度重建方法與流程

2023-06-05 07:09:42 1

本發明涉及圖像超解析度重建技術，具體涉及一種基於加權重疊非局部回歸先驗的單幅圖像超解析度重建方法，屬於數字圖像處理領域的圖像復原方向。

背景技術：

隨著計算機科學與信息科學的蓬勃發展，數字圖像已經在社會的各個領域得到了廣泛的應用，例如智能監控、醫學成像、遙感成像、體育競賽等。但是由於採集設備和拍攝環境的限制，導致最終採集到的圖像不可避免地存在一定程度的降質。因此，根據降質圖像對原始真實高解析度(highresolution,hr)圖像進行重建的超解析度技術具有十分重要的理論與實際意義。

由於圖像超解析度重建屬於典型的逆問題，故其具有明顯的病態性。為了獲得可靠的hr圖像估計，需要對真實解空間進行正則化約束，這會涉及到自然圖像的先驗模型。目前，基於塊的非局部相似性約束已經在超解析度任務中展示了很好的潛力，出現了許多有效的非局部先驗。它們的性能大大依賴於潛在圖像的非局部相似性是否能夠被充分地利用。然而，大多數非局部先驗，包括經典的非局部回歸先驗，僅僅利用了每個塊的中心像素，並沒有能夠充分利用非局部相似塊，使得其超解析度重建性能有限。

技術實現要素：

本發明的目的是將基於重疊的策略引入到非局部回歸先驗中，並對回歸先驗中的每一像素點處的約束強度進行自適應加權，得到基於加權重疊的非局部回歸先驗(weightedoverlap-basednon-localregression,wonlr)。最終將該wonlr先驗用於超解析度重建，使得重建得到的圖像具有更加精細的結構，並且具有良好的噪聲抑制性能。本發明通過以下操作步驟構成的技術方案來實現上述目的。

本發明提出的基於加權重疊非局部回歸先驗的單幅圖像超解析度重建方法，主要包括以下操作步驟：

(1)對輸入低解析度(lowresolution,lr)圖像進行雙三次插值，得到初始hr圖像估計；

(2)利用積分圖技術構建hr圖像對應的累加的平方偏移圖(summedsquaretranslationimage,ssti)，再利用ssti圖對每個圖像塊進行非局部相似塊搜索；

(3)結合基於重疊的策略，得到每個像素點對應的基於重疊的相似像素組(overlap-basedsimilarpixelsgroup,ospg)；

(4)構建加權參考圖，並利用該圖計算ospg內每個相似像素與目標參考像素間的相似權重；

(5)利用連續性假設，得到基於重疊的非局部回歸先驗；

(6)採用一個基於ospg標準差的加權策略來估計每個ospg組的可靠度，得到wonlr；

(7)構建超解析度重建代價函數；

(8)利用tfocs技術來最優化重建代價函數，得到估計的hr圖像；

(9)重複步驟(2)至(8)直到迭代次數到達預設值。

附圖說明

圖1是本發明基於加權重疊非局部回歸先驗的單幅圖像超解析度重建方法的框圖

圖2是本發明實驗中使用的8張常用測試圖

圖3是本發明與現有的4種方法在無噪聲時對「flower」圖像重建結果的對比圖

圖4是本發明與現有的4種方法在有噪聲時對「bike」圖像重建結果的對比圖

具體實施方式

下面結合附圖對本發明作進一步說明：

圖1中，基於加權重疊非局部回歸先驗的單幅圖像超解析度重建方法，包括以下步驟：

(1)對輸入lr圖像進行雙三次插值，得到初始hr圖像估計；

(2)利用積分圖技術構建hr圖像對應的ssti，再利用ssti圖對每個圖像塊進行非局部相似塊搜索；

(3)結合基於重疊的策略，得到每個像素點對應的ospg；

(4)構建加權參考圖，並利用該圖計算ospg內每個相似像素與目標參考像素間的相似權重；

(5)利用連續性假設，得到基於重疊的非局部回歸先驗；

(6)採用一個基於ospg標準差的加權策略來估計每個ospg組的可靠度，得到wonlr；

(7)構建超解析度重建代價函數；

(8)利用tfocs技術來最優化重建代價函數，得到估計的hr圖像；

(9)重複步驟(2)至(8)直到迭代次數到達預設值。

具體地，所述步驟(2)中，我們使用積分圖技術構建hr圖像對應的ssti，再利用ssti圖對每個圖像塊進行非局部相似塊搜索，其中非局部相似塊數目l設為10。具體使用ren等提出的方法，參考文獻「renc,hexh,nguyentq.singleimagesuper-resolutionviaadaptivehigh-dimensionalnon-localtotalvariationandadaptivegeometricfeature.ieeetransactionsonimageprocessing.2017,26(1):90-106.」。

所述步驟(3)中，利用整個非局部相似塊來構建約束，而不是僅僅利用圖像塊的中心像素。由於重疊關係，每一個像素會屬於p2個目標塊，並且每一個目標塊有l個相似塊。因此對每一個像素而言，有p2l個相似像素。我們稱每一個目標像素xi對應的這p2l個相似像素為一個ospg，其索引集記為

所述步驟(4)中，為了給ospg中的每一個相似像素計算與目標像素間的相似權重，我們首先構建了如下參考圖xw來確保計算的穩定性：

其中x為高解析度圖像，為由每一個ospg除去其中目標像素後剩餘所有像素的加權估計構建的圖。常數ρ∈[0,1]，在發明中ρ被設為1/l。由於hr圖像x是未知的，在求相似權重時，我們需要對x進行估計。因為在本發明中，我們採用的是迭代求解的方式，故可以採用前一階段估計的hr圖x來估計相應非局部相似權重。具體地，相似性權重kij定義如下：

其中，xωi與xωj為加權參考圖xw的第i與第j個像素，h0為常數。然後，規一化的權重計算如下：

所述步驟(5)中，為了構造一個有效的超解析度先驗，我們作了如下連續性假設：原本的相似性需要在濾波輸出中被保持。於是得到了如下基於重疊的非局部回歸先驗：

我們可以改寫上式中的先驗為如下矩陣形式：

其中，i為單位矩陣，wo為對應的非局部加權矩陣。

所述步驟(6)中，我們注意到在基於重疊的非局部回歸先驗對應的約束項中，由於沒有考慮不同ospg組間的可靠度，所有的像素均被一致性地懲罰。我們希望能夠根據一個合適的加權準則來自適應地懲罰每一個像素，以便進一步提升先驗項的性能。為此，我們提出了如下加權重疊非局部回歸先驗(wonlr)：

其中λ為一個對角加權矩陣，表示如下：

λ＝diag{[φ(ξ1),φ(ξ2),...,φ(ξmn)]}

其中ξi為一個與xi對應的ospg的可靠度相關的變量。φ(·)為一個正的函數，表示強加到xi上的約束的權重。如果像素xi對應的ospg內部所有像素的標準差小，則代表ospg較可靠，我們可以給xi強加一個大的約束，這可以表示為：

其中ξi＝σi為xi對應的ospg內部所有像素的標準差。α與為兩個常數，均設置為0.5。為了穩定性，所有的標準差σi均利用加權參考圖xw得到。很明顯，這裡φ(ξi)∈(0,1]。

所述步驟(7)中，我們構建如下超解析度重建代價函數，來估計未知hr圖像：

其中y為輸入lr圖像，x為hr圖像，h為模糊矩陣，d為下採樣矩陣，λ為正則化係數。

所述步驟(8)中，由於提出的代價函數為凸二次的，可以通過許多基於梯度的方法進行求解。本發明中，我們採用templatesforfirst-orderconicsolvers(tfocs)技術求解該問題。

所述步驟(9)中，我們重複步驟(2)至(8)，我們稱完整地執行一次步驟(2)至(8)為一次外部迭代，每次外部迭代中會重新搜索相似塊並計算非局部權重等。當外部迭代次數達到3次時，停止進行迭代。

為了更好地說明本發明的有效性，本發明將採用對比實驗的方法來展示重建效果。測試圖選用如圖2所示的8張常用圖像。這8張圖以及對應尺寸依次為：bike(256×256),butterfly(256×256),comic(361×250),flower(256×256),hat(256×256),house(256×256),plants(256×256),woman(228×334)。對比實驗選取雙三次插值bicubic與3個具有代表性的單幅圖像超解析度重建方法與本發明的實驗結果進行比較。這3個具有代表性的單幅圖像超解析度重建方法為：

方法1：dong等人提出的方法，參考文獻「dongc,chencl,hek,etal.learningadeepconvolutionalnetworkforimagesuper-resolution[c].europeanconferenceoncomputervision,2014:184-199.」。

方法2：dong等人提出的方法，參考文獻「dongws,zhangl,shigm,etal.nonlocallycentralizedsparserepresentationforimagerestoration[j].ieeetransactionsonimageprocessing,2013,22(4):1620-1630.」。

方法3：ren等人提出的方法，參考文獻「renc,hexh,tengqz,etal.singleimagesuperresolutionusinglocalgeometricdualityandnon-localsimilarity[j].ieeetransactionsonimageprocessing,2016,25(5):2168-2183.」。

針對本發明提出的wonlr先驗，我們主要在無噪聲與有噪聲兩類不同的實驗設置下進行測試。對應的客觀參數在表一與表二中分別給出。客觀參數涉及到峰值信噪比(peaksignaltonoiseratio,psnr)和結構相似度(structuresimilarityindex,ssim)。其中，psnr值越大、ssim值越接近於1，則重建圖像的質量越好。

對比實驗的內容如下：

實驗1對應降質模型：3倍下採樣，模糊核為7×7、標準差1.5的高斯核，無噪聲。分別用bicubic、方法1、方法2、方法3以及本發明對測試圖像進行3倍超解析度重建。其客觀指標在表一中給出。為了視覺比較，給出了「flower」的超分辨重建結果，分別如圖3(a)、圖3(b)、圖3(c)、圖3(d)以及圖3(e)所示。圖3(f)為原圖。其客觀評價指標如表一的第五行所示。

實驗2對應降質模型：3倍下採樣，模糊核為7×7、標準差1.5的高斯核，附加標準差為5的高斯白噪聲。分別用bicubic、方法1、方法2、方法3以及本發明對測試圖像圖像進行3倍超解析度重建。其客觀指標在表二中給出。為了視覺比較，給出了「bike」的超分辨重建結果，分別如圖4(a)、圖4(b)、圖4(c)、圖4(d)以及圖4(e)所示。圖4(f)為原圖。其客觀評價指標如表二的第一行所示。

從實驗結果可以得出：

在無噪聲時，雙三次插值圖像有明顯的模糊痕跡，且在邊緣處有明顯的階梯效應，性能最差。方法1在客觀質量上有明顯提升，且能夠明顯提升圖像的解析度，但是在重建的邊緣仍然較模糊，且在邊緣處存在一些人工痕跡。方法2在抑制人工痕跡上性能良好，且能獲得較方法1更好的邊緣，但是模糊效應仍然存在。方法3能夠獲得更好的重建質量，但是與本發明提出的方法相比性能差一些。本發明提出的wonlr方法，不僅能夠很好地抑制重建圖像中的人工痕跡，還能夠很好地恢復出更清晰的邊緣，獲得了很好的重建效果。

在有噪聲時，雙三次插值效果最差，有明顯的模糊痕跡且存在大量噪聲。方法1效果也較差：不但沒有很好地去除模糊，還殘留了大量噪聲，客觀指標較低。這是由於該基於學習的方法本身並沒有考慮圖像中的噪聲幹擾，造成在含噪聲情況下的低性能。方法2與方法3能夠獲得比方法1更好的主觀與客觀質量，噪聲抑制表現較好，且邊緣更清晰。而本發明提出的wonlr方法對噪聲的抑制以及恢復高質量的邊緣、紋理等效果均很好。

綜上所述，本發明重建得到的圖像在主觀視覺效果與客觀評價參數值上具有明顯的優勢，噪聲抑制性能良好，且本方法屬於比較快速的基於重建框架的方超解析度方法。上述實驗均在酷睿i7-47903.6ghz處理器，16g內存，matlab編程環境下進行。以256×256尺寸的圖的平均運行時間為例，提出算法需要55.4秒。雖然方法1最快，重建僅需1.4秒，但其訓練時間長達一天，且效果較差。方法2與方法3效果較好，但運行時間較長，分別為193.9秒與90.3秒。因此，本發明是一種有效的單幅圖像超解析度重建方法。表一

表二