基於深層門限卷積神經網絡的圖像超分辨方法與流程

2023-11-05 04:55:22 1

本發明屬於圖像處理技術領域，具體是一種圖像超分辨方法，可用於衛星遙感領域，醫學領域，交通監控領域以及視頻壓縮領域等。

背景技術：

圖像超分辨是指從一個低分辨圖片中學習恢復出高分辨圖像的一種技術。相比較於低分辨圖像來說，高分辨圖像可以表達更多詳細的信息，其細節表達能力更強，因此，圖像超分辨在很多的領域都有著極大應用，如衛星遙感領域，醫學領域，交通監控領域，以及視頻壓縮領域等。

目前為止，圖像的超分辨方法主要有三個主要分類：基於插值，基於重建和基於學習的方法。而基於學習的方法由於引入了先驗信息的樣例，增加了更有效的約束，提高了重建圖像的準確性，所以在近幾年來取得了極大的發展，逐漸成為圖像超分辨的主流方法，而且其性能也遠遠超過了另外兩種方法。在基於學習的方法中大致又分為兩大方向：基於字典學習的方法和基於神經網絡的方法。

基於字典學習的方法主要是基於稀疏編碼的超分辨算法scsr，它是由yang等人就是從壓縮感知理論出發提出的，這種方法的流程是：首先從輸入圖像中有重合的提取圖像塊，並拉成一個向量，並進行減均值和歸一化的預處理；然後經過低分辨學到的字典進行編碼，學到他們的稀疏表示；接著，將稀疏參數對應到高分辨字典中，得到高分辨的圖像塊；最後，有重合的重構原圖，對重合部分取平均，就得到了最終的高分辨圖像。該方法的缺點是在應用時學習低分辨字典的稀疏表示的時候用時非常長。

基於神經網絡的方法中最典型的就是基於卷積神經網絡的圖像超分辨方法srcnn，它是由chaodong等人在2015年提出的，方法中構建了一種基於三層卷積神經網絡的圖像超分辨模型，該模型是一個由低分辨圖像到高分辨圖像的端到端的映射。在應用過程中，由於不需要另外學習參數，所以用時短；但該方法的弊端是在網絡的層數加深時模型的學習效果會下降。

技術實現要素：

本發明的目的在於針對上述現有技術的不足，提出了一種基於深度門限卷積神經網絡的圖像超分辨方法，以加快圖像超分辨的速度，提高圖像超分辨的性能。

本發明的技術方案是對原有的srcnn方法進行改進，其一方面，是用門限卷積層取代傳統的卷積層；另一方面，將原有三層網絡的拓展到了更多層，其具體的實現步驟如下：

1)獲取成對的低分辨和高分辨圖像數據：

對自然圖像先進行下採樣處理，然後再用雙線性三次插值法，得到與之對應的低分辨圖像，最後隨機採樣，得到大小相同的成對低分辨圖像和高分辨圖像作為訓練數據；

2)對基於卷積神經網絡的圖像超分辨模型srcnn進行改進，構建一個端到端的深層門限卷積神經網絡：

2a)定義一種門限卷積層，並用它來代替srcnn中的卷積層，得到淺層的門限卷積神經網絡；

2b)將淺層的門限卷積神經網絡拓展到更多層神經網絡，且最後一層採用反卷積神經網絡重構高分辨圖像，得到多層門限卷積神經網絡和一層反卷積神經網絡級聯的深層門限卷積神經網絡；

3)用adam優化方法對深層門限卷積神經網絡進行訓練：

3a)將低分辨圖像樣本作為深層門限卷積神經網絡的輸入，計算其輸出與高分辨圖像樣本之間的重構誤差其中xhi為訓練時第i幅高分辨圖像，xli為訓練時第i幅低分辨圖像，m表示該深層門限卷積神經網絡；

3b)將重構誤差e作為目標函數，用adam優化方法優化該目標函數，得到一組最優的深層門限卷積神經網絡參數；

4)利用深層門限卷積神經網絡進行圖像超分辨：

4a)對於輸入的低分辨圖像，通過一次門限卷積後得到低分辨圖像所對應的特徵圖像；

4b)由4a)中得到的低分辨圖像的特徵圖像再經過多層的門限卷積神經網絡精確的映射到高分辨圖像的特徵圖像；

4c)由4b)中得到的高分辨圖像的特徵圖像經過一層反卷積網絡重構得到我們的高分辨圖像。

本發明具有如下優點：

1.本發明由於是用門限卷積層來構建的深層門限卷積神經網絡，有效的減少了深層神經網絡的梯度消失的問題，解決了深層神經網絡的訓練問題，可以得到一個優化良好的深層神經網絡；

2.本發明由於最終使用的深層門限卷積神經網絡是一個優化良好的深層神經網絡，特徵提取的非常充分，故能更好地描述細節的信息，使圖像超分辨效果更好；

3.本發明由於採用的深層門限卷積神經網絡是一個端到端的模型，而端到端的的模型在實際應用中具有速度快的優點，所以本發明可以快速的得到高分辨圖像。

附圖說明

圖1是本發明的實現流程圖；

圖2是本發明中的圖像超分辨子流程圖；

圖3是本發明中的門限卷積層示意圖；

圖4是本發明與其他方法的訓練重構誤差比較圖；

圖5是本發明與其他方法對自然圖像的超分辨結果比較圖。

具體實施方式

下面將結合附圖，對本發明的實施例和效果作進一步詳細說明。

參照圖1，本發明的實現步驟如下。

步驟一，獲取成對的低分辨和高分辨圖像數據。

1.1)獲取低分辨圖像：

對原始圖像先進行下採樣，再對下採樣圖像採用雙線性三次插值法將圖像恢復到原來大小，得到的圖片即為低分辨圖像；

所述雙線性三次插值，通過如下公式進行：

f(i+u,j+v)＝abc

其中，u表示橫向的插值位置，v表示縱向的插值位置，i為當前像素點的橫坐標，j為當前像素點的縱坐標，f(i+u,j+v)表示圖像在(i+u,j+v)處插值後的像素值；a是橫向因子矩陣，b矩陣是包括像素值f(i,j)在內的周圍共計16個點的像素值組成的矩陣，c是縱向因子矩陣，這三個矩陣分別表示如下：

a＝[s(1+u)s(u)s(1-u)s(2-u)]，s是插值基函數；

c＝[s(1+v)s(v)s(1-v)s(2-v)]t。

1.2)獲取同樣大小的低分辨圖像和高分辨圖像：

由於模型訓練時要求輸入的圖像要具有相同大小，故用隨機採樣的方式在低分辨圖像和高分辨圖像相對應的位置採集n個p×p的同樣大小的圖片塊作為低分辨圖像訓練樣本集xl和高分辨圖像訓練樣本集xh；

低分辨圖像訓練樣本集表示為xl＝{xl1,xl2...xli...xln}，xli表示第i個低分辨訓練樣本圖像；高分辨圖像訓練樣本集表示為xh＝{xh1,xh2...xhi...xhn},xhi表示第i個高分辨訓練樣本圖像，i＝1...n。

步驟二，構建深層門限卷積神經網絡。

2.1)構建淺層門限卷積神經網絡：

(2.1a)參照圖3，定義一種門限卷積層：

首先，設門限卷積層的輸入為x，對該輸入進行兩路卷積操作，得到第一路卷積結果f(ω1*x+b1)和第二路卷積的結果g(ω2*x+b2)，其中「*」表示卷積操作，ω1為第一路的卷積核，ω2為第二路的卷積核，b1是第一路的偏置，b2是第二路的偏置，f是第一路激活函數，g是第二路激活函數；

然後，將這兩路卷積的結果經過一個點乘操作，得到門限卷積的輸出g_conv(x)，其數學表達形式為：

g_conv(x)＝f(ω1*x+b1)·g(ω2*x+b2)；

f函數常用的一種是f(x)＝x，另一種是具有信息傳遞的作用；g函數選用sigmoid函數，具有門限控制作用。

(2.1b)用(2.1a)中的門限卷積層代替基於卷積神經網絡的圖像超分辨模型srcnn中的卷積層conv(x)＝f(ω*x+b)，得到淺層門限卷積神經網絡；

2.2)將淺層門限卷積神經網絡拓展到深層門限卷積神經網絡：

(2.2a)引入門限卷積層後，減小深層神經網絡的梯度衰減：

根據分步求導準則，門限卷積層的輸出對門限卷積層的輸入的導數可表示為：

根據上式，如果有一路的出現梯度衰減問題，門限卷積層的梯度可以由另一路傳導下去，所以門限卷積層可以減小深層神經網絡的梯度衰減；

(2.2b)用多個門限卷積層級聯，構建多層門限卷積神經網絡；

(2.2c)為了更好地重構高分辨圖片，在(2.2b)的多層門限卷積神經網絡後面再加入一層反卷積網絡，最終構建一個多層門限卷積神經網絡與一層反卷積網絡級聯的深層門限卷積神經網絡。

步驟三，訓練基於圖像超分辨應用的深層門限卷積神經網絡。

3.1)將低分辨圖像樣本作為深層門限卷積神經網絡的輸入，計算其輸出與高分辨圖像樣本之間的重構誤差其中xhi為訓練時第i幅高分辨圖像，xli為訓練時第i幅低分辨圖像，m表示該深層門限卷積神經網絡；

3.2)將重構誤差e作為目標函數，用adam優化方法優化該目標函數：

3.2a)初始化深層門限卷積神經網絡參數θ，設定優化總次數t；

3.2b)計算出目標函數對每一個參數的梯度gt；

3.2c)根據求得的梯度gt求出如下幾個參數：

梯度的一階距：mt＝αmt-1+(1-α)gt，其中α是第一個固定參數，取值為α＝0.9；

校正後的梯度一階距：

梯度的二階距：其中β是第二個固定參數，取值為β＝0.999；

校正後的梯度二階距：

3.2d)根據3.2c)求出第t次參數θ微調的大小：其中η為設定的初始步長；

(3.2e)將深層門限卷積神經網絡參數更新為：θt＝θt-1+δθt；

(3.2f)將當前更新次數t與訓練總次數t比較：當t＜t時，則重複3.2b)-3.2e)操作；當t＝t時，訓練結束，t次優化得到的參數θt即為最終的深層門限卷積神經網絡的參數。

步驟四，利用深層門限卷積神經網絡進行圖像超分辨。

參照圖2，本步驟的過程如下：

(4a)對於輸入的低分辨圖像，通過一層門限卷積層後得到低分辨圖像的特徵圖像；

(4b)由(4a)中得到的低分辨圖像的特徵圖像再經過多層的門限卷積神經網絡精確的映射到高分辨圖像的特徵圖像；

(4c)由(4b)中得到的高分辨圖像的特徵圖像經過一層反卷積網絡重構得到高分辨圖像，完成對低分辨圖像的超分辨。

本發明的效果可通過以下測試進一步說明：

一.測試條件

採用cifar-10數據集作為訓練數據對深層門限卷積神經網絡訓練，用自然圖像作為測試數據，用峰值信噪比psnr作為測試時的度量標準。

二.測試內容

測試1，用淺層門限卷積神經網絡與srcnn網絡在進行加深時，測試其測試樣本重構誤差的變化，結果如圖4所示。從圖4可以看出srcnn在模型加深時，測試樣本的重構誤差沒有減小，反而會有一定的增大，而用本發明使用的淺層門限卷積神經網絡在網絡加深時，測試樣本的重構誤差會明顯減小。

測試2，用本發明對自然圖像進行超分辨，結果如圖5所示，其中圖5(a)原始圖片，圖5(b)為低分辨圖像，圖5(c)是srcnn的超分辨結果，峰值信噪比為22.26db，圖5(d)為本發明的超分辨結果，峰值信噪比為22.42db，可見，本發明的超分辨效果要優於srcnn模型。