基於自適應濾波和正則約束的圖像超分辨方法與流程
2023-05-13 11:58:57
本發明屬於圖像處理技術領域，更進一步涉及遙感圖像、視頻監控、醫學圖像領域中基於自適應濾波和正則約束的圖像超分辨方法，本發明用於從一幅低分辨遙感圖像、低分辨視頻監控圖像、低分辨醫學圖像中重建出高分辨圖像，以提高圖像的空間解析度，並最大程度的保留圖像邊緣結構的準確性。
背景技術：
在遙感圖像、視頻監控、醫學圖像等成像領域中，為提高圖像解析度採用從一幅低分辨圖像中重建出高解析度圖像的單幅圖像超解析度重建方法。目前，單幅圖像主要基於稀疏表示和正則約束方法來實現超解析度重建。Yang,J、Wright,J、Huang,T、Ma,Y.四人在文獻「ImageSuper-ResolutionViaSparseRepresentation」(IEEETrans.onImageProcessingvol.19no.11pp.2861-2873Nov.2010.)中公開了一種基於稀疏表示來實現單幅圖像超分辨重建的方法。該方法是給定一幅低分辨的圖像，將該圖像劃分成多個塊，並對每一個低解析度圖像塊稀疏編碼，使其在低分辨數據中自適應的尋找到K個低解析度塊使表徵誤差最小且表徵係數足夠稀疏，然後線性組合低解析度圖像塊對應的K個高解析度圖像塊，融合所有的高解析度圖像塊得到最終的高解析度圖像。該方法存在的不足是，稀疏編碼過程計算複雜，並且該方法未對圖像的邊緣和紋理進行處理。Zuo,W、Lin,Z二人在文獻「AGeneralizedAcceleratedAcceleratedProximalGradientApproachforTotal-Variation-BasedImageRestoration」(IEEETrans.onImageProcessingvol.20no.10pp.2748-2759Oct.2011.)中公開了一種用梯度光滑約束來求解超分辨問題的方法。該方法通過添加一個罰函數，使超分辨問題轉變成一個優化問題，通過求解優化問題得到最終的高分辨圖像。該方法存在的不足是，該方法模型需要建立在圖像是分片光滑的假設下，這樣的前提條件並不是所有圖像都能滿足，此外，這種方法還會引入圖像的塊效應，造成超分辨圖像模糊。蘇州新視線文化科技發展有限公司申請的專利「基於稀疏表示的圖像超解析度重建方法」(申請日：2013.07.16申請號：201310296581.3公開號：CN103366347A)中公開了一種基於稀疏表示的圖像超分辨重建方法。該方法先計算低解析度圖像的梯度信息和高解析度圖像與低解析度圖像的殘差信息，然後通過稀疏表達方法得到低解析度特徵集合和高解析度特徵集合，最後在高解析度特徵集合中找到對應的殘差信息，將此殘差信息融合到低解析度圖像上，獲得高分辨圖像。該方法存在的不足是，計算低解析度特徵集合和高解析度特徵集合的稀疏表達方法計算複雜度很高，實時性差，實際應用範圍受到限制。
技術實現要素：
本發明的目的在於針對上述現有技術的不足，提出一種基於自適應濾波和正則約束的圖像超分辨方法，通過優化約束圖像的高頻部分，使獲得的高解析度圖像具有尖銳的邊緣和豐富的紋理細節。實現本發明的具體步驟如下：(1)獲得初始高解析度遙感圖像：(1a)輸入一幅高解析度遙感圖像；(1b)生成均值為0，方差為1.6，尺寸為7×7的高斯模糊矩陣；(1c)用高斯模糊矩陣卷積高解析度遙感圖像，得到高解析度模糊遙感圖像；(1d)將高解析度模糊遙感圖像按水平方向和垂直方向各下採樣3倍，得到低解析度遙感圖像；(1e)採用插值放大方法，將低解析度遙感圖像放大3倍，得到初始高解析度圖像；(2)計算自適應濾波器係數矩陣：(2a)採用自適應濾波器生成方法，生成初始高解析度遙感圖像的自適應濾波器，得到自適應濾波器係數矩陣；(2b)利用下式，計算初始高頻遙感圖像：u0＝k0-Fk0其中，u0表示初始高頻遙感圖像，k0表示初始高解析度遙感圖像，F表示自適應濾波器係數矩陣；(3)獲得最優高頻遙感圖像：(3a)將初始高解析度遙感圖像中相鄰的兩列像素兩兩作差，得到遙感圖像的水平梯度算子；將初始高解析度遙感圖像中相鄰的兩行像素兩兩作差，得到圖像的垂直梯度算子；(3b)利用下式，計算高頻遙感圖像的全變分：其中，Q表示高頻遙感圖像的全變分，D1和D2分別表示遙感圖像的水平和垂直梯度算子，u表示高頻遙感圖像；(3c)對高頻遙感圖像進行小波域變換，得到高頻遙感圖像的小波變換矩陣；(3d)利用下式，計算高頻遙感圖像在小波域的投影矩陣：B＝ΨTu其中，B表示高頻遙感圖像在小波域的投影矩陣，ΨT表示高頻遙感圖像小波變換矩陣的轉置矩陣，u表示高頻遙感圖像；(3e)採用優化方程求解方法求解下式，獲得最優高頻遙感圖像：其中，U表示最優高頻遙感圖像；α1表示高頻遙感圖像全變分的正則化參數，α1＝4.0e-5；α2表示高頻遙感圖像在小波域下投影的正則化參數，α2＝3.0e-5；D1和D2分別表示遙感圖像的水平和垂直梯度算子；u表示高頻遙感圖像；ΨT表示高頻遙感圖像的小波變換矩陣的轉置矩陣；η表示高頻遙感圖像約束的懲罰因子，η＝2；u0表示初始高頻遙感圖像；表示優化方程，||·||12表示取範式操作，||·||2表示取範式平方操作；(4)獲得最優高解析度遙感圖像：(4a)對應低解析度遙感圖像像素和高解析度遙感圖像像素之間的位置關係，得到下採樣矩陣；(4b)採用優化方程等價轉換求解方法求解下式，獲得最優高解析度遙感圖像：其中，K表示最優高解析度遙感圖像；g表示低解析度遙感圖像；W表示下採樣矩陣；H表示高斯模糊矩陣；k表示高解析度遙感圖像；β表示約束高解析度遙感圖像高頻部分的懲罰因子，β＝2；F表示自適應濾波器係數矩陣；U表示最優高頻遙感圖像；表示優化方程，||·||2表示取範式操作，||·||2表示取範式平方操作；(5)利用下式，計算最優高解析度遙感圖像和初始高解析度遙感圖像的相對誤差：其中，γ表示最優高解析度遙感圖像和初始高解析度遙感圖像的相對誤差，K表示最優高解析度遙感圖像；k0表示初始高解析度遙感圖像；||·||2表示取範式操作；(6)判斷相對誤差是否滿足終止條件，如果是，執行步驟(8)；否則，執行步驟(7)；(7)數據更新：將最優高解析度遙感圖像的像素值賦值給初始高解析度遙感圖像的像素，執行步驟(2)；(8)輸出最優高解析度遙感圖像。與現有技術相比，本發明具有以下優點：第一，由於本發明僅需要輸入一幅圖像即可實現圖像的高解析度重建，重建圖像時不再需要其它條件，克服了現有技術需要對輸入圖像附加分段光滑等苛刻條件，使得本發明提高了通用性。第二，由於本發明採用對高解析度圖像的高頻部分進行優化運算，重建圖像具有尖銳的邊緣和豐富的紋理細節，克服了現有技術重建圖像邊緣模糊的缺點，使得本發明提高了圖像的重建質量。第三，由於本發明利用優化運算來重建高解析度圖像，克服了現有技術稀疏編碼運算複雜度高的缺點，使得本發明的計算複雜度低，優化運算收斂速率快，提高了效率。附圖說明圖1為本發明的流程圖；圖2為本發明步驟1生成的低解析度圖像的示意圖；圖3為本發明仿真實驗1的效果圖；圖4為本發明仿真實驗2的效果圖。具體實施方式下面結合附圖對本發明作進一步的描述。參照圖1，本發明具體實施方式如下：步驟1.獲得初始高解析度遙感圖像。輸入一幅高解析度遙感圖像。本發明的實施例輸入的遙感圖像是從網絡上任意獲取。由MATLAB軟體生成均值為0，方差為1.6，尺寸為7×7的高斯模糊矩陣。用生成的高斯模糊矩陣卷積輸入的高解析度遙感圖像，得到高解析度模糊遙感圖像。緊接著將高解析度模糊遙感圖像按水平方向和垂直方向各下採樣3倍，得到低解析度遙感圖像。採用插值放大方法，將低解析度遙感圖像放大3倍，得到初始高解析度遙感圖像。插值放大方法是指採用最近鄰插值、雙線性插值中的一種進行圖像放大的方法。在本發明的實施例中，插值放大方法採用的是雙線性插值方法。步驟2.計算自適應濾波器係數矩陣。採用自適應濾波器生成方法，生成初始高解析度遙感圖像的自適應濾波器，得到自適應濾波器係數矩陣。利用公式：u0＝k0-Fk0，得到初始高頻遙感圖像，其中，u0表示初始高頻遙感圖像，k0表示初始高解析度遙感圖像，F表示自適應濾波器係數矩陣。自適應濾波器生成方法是指，採用非局部均值方法、基於圖像引導方法中的一種生成方法。在本發明的實施例中採用非局部均值方法。步驟3.獲得最優高頻遙感圖像。將初始高解析度遙感圖像中相鄰的兩列像素兩兩作差，得到遙感圖像的水平梯度算子。將初始高解析度遙感圖像中相鄰的兩行像素兩兩作差，得到遙感圖像的垂直梯度算子。利用公式：得到高頻遙感圖像的全變分，其中，Q表示高頻遙感圖像的全變分，D1和D2分別表示遙感圖像的水平和垂直梯度算子，u表示高頻遙感圖像。對高頻遙感圖像進行小波域變換，得到高頻遙感圖像的小波變換矩陣。利用公式：B＝ΨTu，得到高頻遙感圖像在小波域的投影矩陣，其中，B表示高頻遙感圖像在小波域的投影矩陣，ΨT表示高頻遙感圖像小波變換矩陣的轉置矩陣，u表示高頻遙感圖像。採用優化方程求解方法求解下式，獲得最優高頻遙感圖像：其中，U表示最優高頻遙感圖像；α1表示高頻遙感圖像全變分的正則化參數，α1＝4.0e-5；α2表示高頻遙感圖像在小波域下投影的正則化參數，α2＝3.0e-5；D1和D2分別表示遙感圖像的水平和垂直梯度算子；u表示高頻遙感圖像；ΨT表示高頻遙感圖像的小波變換矩陣的轉置矩陣；η表示高頻遙感圖像約束的懲罰因子，η＝2；u0表示初始高頻遙感圖像；表示優化方程，||·||1,2表示取範式操作，||·||2表示取範式平方操作。優化方程求解方法是指，採用聯合交替迭代法、迭代收縮法、兩步迭代收縮法、加權最小二乘法中的任意一種求解方法。本發明的實施例採用聯合交替迭代法，聯合交替迭代具體步驟為以下五步：第一步，設置初始參數，開始迭代運算。設置最大迭代次數為20次，設置閾值為10-4。第二步，利用下式，計算高頻圖像梯度域的逼近矩陣：其中，w1和w2分別表示高頻遙感圖像的水平梯度和垂直梯度的逼近矩陣；σ1表示逼近高頻遙感圖像的水平梯度和垂直梯度時的懲罰因子；α1表示高頻遙感圖像全變分的正則化參數；λ11和λ12表示輔助變量，其初始值為0；u表示高頻遙感圖像；D1和D2分別表示遙感圖像的水平和垂直梯度算子；|·|表示取絕對值操作；max(·)表示取最大值操作；sgn(·)表示取符號算子操作。第三步，利用下式，計算高頻遙感圖像小波變換係數的逼近矩陣：其中，z表示高頻遙感圖像小波變換係數的逼近矩陣；ΨT表示高頻遙感圖像的小波變換矩陣的轉置矩陣；u表示高頻遙感圖像；σ2表示逼近高頻遙感圖像小波變換係數時的懲罰因子；α2表示高頻遙感圖像在小波域下投影的正則化參數；λ2表示輔助變量，其初始值為0；|·|表示取絕對值操作；max(·)表示取最大值操作；sgn(·)表示取符號算子操作。求解最優高頻遙感圖像的優化方程等價為求解下面的一元一次方程：上述的一元一次方程可以利用二維快速離散傅立葉變換和逆變換進行高效求解，其中，表示合併D1矩陣和D2矩陣，D1和D2分別表示遙感圖像的水平和垂直梯度算子；表示合併w1矩陣和w2矩陣，w1和w2分別表示高頻遙感圖像的水平梯度和垂直梯度的逼近矩陣；σ1表示逼近高頻遙感圖像的水平梯度和垂直梯度時的懲罰因子，σ2表示逼近高頻遙感圖像小波變換係數時的懲罰因子；u表示高頻遙感圖像；Ψ表示高頻遙感圖像的小波變換矩陣；z表示高頻遙感圖像小波變換係數的逼近矩陣；λ2表示輔助變量；η表示高頻遙感圖像約束的懲罰因子；u0表示初始高頻遙感圖像。第四步，更新參數：利用下列各式，對參數進行更新：其中，和表示第k次迭代的參數值，和表示第k+1次迭代的參數值；和分別表示第k次和第k+1次迭代的參數值；表示一個固定參數，在實施例中取ρ＝1.618；D1和D2分別表示遙感圖像的水平和垂直梯度算子；w1和w2分別表示高頻遙感圖像的水平梯度和垂直梯度的逼近矩陣；u表示高頻遙感圖像；ΨT表示高頻遙感圖像的小波變換矩陣的轉置矩陣；z表示高頻遙感圖像小波變換係數的逼近矩陣；表示一個固定參數，在實施例中取μ＝1.022。第五步，利用以下聯合交替迭代終止條件，判斷是否終止迭代：聯合交替迭代終止條件1.達到初始設置的最大迭代次數，本發明的實施例中最大迭代次數為20次；聯合交替迭代終止條件2.利用下式，判斷相鄰兩次迭代時高頻信息的相對變化率是否小於等於給定的閾值：其中，uk表示第k次迭代的高頻遙感圖像，uk+1表示第k+1次迭代的高頻遙感圖像，ζ表示閾值，實施例中取ζ＝10-4，||·||2表示取範式操作。只要滿足聯合交替迭代終止條件1和聯合交替迭代終止條件2中的任意一個條件，則終止迭代，轉至步驟4，否則，轉至第二步，繼續迭代。步驟4.獲得最優高解析度遙感圖像。對應低解析度遙感圖像像素和高解析度遙感圖像像素之間的位置關係，得到下採樣矩陣。採用優化方程等價轉換求解方法求解下式，獲得最優高解析度遙感圖像：其中，K表示最優高解析度遙感圖像；g表示低解析度遙感圖像；W表示下採樣矩陣；H表示高斯模糊矩陣；k表示高解析度遙感圖像；β表示高解析度遙感圖像約束的懲罰因子，β＝2；F表示自適應濾波器係數矩陣；U表示最優高頻遙感圖像；表示優化方程，||·||2表示取範式操作，||·||2表示取範式平方操作。優化方程等價轉換求解方法是指，採用等價轉換方法，將優化方程轉換成一次線性方程的方法。步驟5.利用下式，計算最優高解析度遙感圖像和初始高解析度遙感圖像的相對誤差。其中，γ表示最優高解析度遙感圖像和初始高解析度遙感圖像的相對誤差，K表示最優高解析度遙感圖像；k0表示初始高解析度遙感圖像；||·||2表示取範式操作。步驟6.判斷相對誤差是否滿足終止條件，如果是，執行步驟8；否則，執行步驟7。本發明設置的終止條件為：γ≤ε，其中，ε為容忍極限，其值取值範圍為ε∈(10-6,10-2)的正數。本發明的實施例中取ε＝10-4。步驟7.數據更新。將最優高解析度遙感圖像的像素值賦值給初始高解析度遙感圖像的像素，執行步驟2。步驟8.輸出最優高解析度遙感圖像。下面結合實施例對本發明的圖像超解析度效果做進一步的描述：1.仿真實驗條件：本發明的仿真實驗運行系統採用Intel(R)Core(TM)[email protected]，64位Windows作業系統，仿真軟體採用MATLAB(R2013b)。2.仿真實驗內容：在本發明的實施例中，統一設定參數為固定值，令α1＝4.0e-5，α2＝3.0e-5，η＝2，β＝2，ε＝10-5。圖2是兩幅低解析度遙感圖像的示意圖。從網絡上任意下載兩幅灰度遙感圖像作為仿真實驗的高解析度遙感圖像。用高斯模糊矩陣分別卷積兩幅高解析度遙感圖像，得到兩幅高解析度模糊遙感圖像。緊接著將高解析度模糊遙感圖像按水平方向和垂直方向各下採樣3倍，得到兩幅低解析度遙感圖像。圖2(a)用於仿真實驗1，圖2(b)用於仿真實驗2。圖3是仿真實驗1的效果圖。圖3(a)是利用現有技術雙線性插值得到的最優高解析度圖像。圖3(b)是利用Zuo,W、Lin,Z二人在文獻「AGeneralizedAcceleratedAcceleratedProximalGradientApproachforTotal-Variation-BasedImageRestoration」(IEEETrans.onImageProcessingvol.20no.10pp.2748-2759Oct.2011.)中提出的圖像超分辨方法得到的最優高解析度圖像。圖3(c)是利用Yang,J、Wright,J、Huang,T、Ma,Y.四人在文獻「ImageSuper-ResolutionViaSparseRepresentation」(IEEETrans.onImageProcessingvol.19no.11pp.2861-2873Nov.2010.)中提出的超分辨方法得到的最優高解析度圖像。圖3(d)是利用本發明方法得到的最優高解析度圖像。圖4是仿真實驗2的效果圖。圖4(a)是利用現有技術雙線性插值得到的最優高解析度圖像。圖4(b)是利用Zuo,W、Lin,Z二人在文獻「AGeneralizedAcceleratedAcceleratedProximalGradientApproachforTotal-Variation-BasedImageRestoration」(IEEETrans.onImageProcessingvol.20no.10pp.2748-2759Oct.2011.)中提出的圖像超分辨方法得到的最優高解析度圖像。圖4(c)是利用Yang,J、Wright,J、Huang,T、Ma,Y.四人在文獻「ImageSuper-ResolutionViaSparseRepresentation」(IEEETrans.onImageProcessingvol.19no.11pp.2861-2873Nov.2010.)中提出的超分辨方法得到的最優高解析度圖像。圖4(d)是利用本發明方法得到的最優高解析度圖像。3.仿真結果分析：本發明的實施例中，採用峰值信噪比指標來評價實驗結果：其中，PSNR表示峰值信噪比，K表示為最優高解析度圖像，k0表示為利用觀測的低解析度圖像進行超分辨放大得到的高解析度圖像，log10(·)表示取對數操作，∑(·)表示求和操作，||·||2表示取範式操作。圖3中各幅圖像的峰值信噪比依次為(單位dB)：25.08、29.49、25.34、32.42。圖4中各幅圖像的峰值信噪比依次為(單位dB)：21.86、24.65、22.13、26.36。峰值信噪比的值越大則超分辨方法的性能越好。圖3(d)的峰值信噪比大於圖3(a)、圖3(b)、圖3(c)，圖4(d)的峰值信噪比大於圖4(a)、圖4(b)、圖4(c)，由此可見，本發明的超分辨方法好於另外的三種現有技術。從圖3和圖4可以進一步看出，圖3(a)和圖4(a)的視覺效果最差。圖3(b)和圖4(b)的圖像比較清晰，但是物體的邊緣出現塊狀效應比較明顯。圖3(c)和圖4(c)中圖像的塊狀效應較圖3(b)和圖4(b)有所抑制，但圖像整體有些模糊，邊緣不夠清晰。圖3(d)和圖4(d)中的圖像基本沒有塊狀效應，圖像的紋理清晰，邊緣效果很好，圖像的高頻信息恢復的較好。綜上所述，本發明的圖像超分辨方法不僅峰值信噪比結果較好，而且視覺效果也很好。