基於L0正則化和模糊核後處理的圖像盲去模糊的方法與流程
2023-05-11 04:52:52
本發明涉及圖像復原技術領域，更具體地，涉及一種基於l0正則化和模糊核後處理的圖像盲去模糊的方法。
背景技術：
隨著社會的發展，圖像成為了一種重要的信息傳播和獲取途徑。然而，由於成像系統的限制，成像過程中空氣內的塵埃，光照，天氣等因素都會對圖像的質量造成負面影響，圖像質量退化問題普遍存在。同時，圖像質量退化會造成大量信息的丟失，質量退化的圖片在實際使用中存在極大的不便，甚至不能直接使用。因此，從質量退化的圖像中恢復出清晰的、高質量的圖像具有重要的意義。
圖像盲去運動模糊(圖像盲反卷積)作為圖像復原問題的重要分支之一，其目的是為了從模糊的運動圖片中得到清晰的、內容可辨的復原圖片。隨著科技的不斷發展和社會需求的不斷變化，圖像去模糊被應用於軍事、城市管理、道路交通、刑事偵查、醫療衛生等各個領域，同時圖像去模糊常被作為圖像預處理步驟，深刻的影響著後續的圖像檢測、識別、分類等操作的結果。
圖像盲去運動模糊主要存在著兩個難點：第一個難點是如何準確的估計出模糊核，由於模糊核和清晰圖片均未知，盲去模糊的過程具有較高的病態性，直接求解無法得到理想的結果，圖像復原效果差；第二個難點如何保證盲去模糊方法的魯棒性，使其適用於更廣的範圍。在圖像盲去運動模糊領域，未解決以上的兩個難題，最典型的作法是在盲復原的最優化模型中中引入不同形式的先驗信息從而解決盲復原的病態問題，採用金字塔模型分層復原模糊核增加方法的魯棒性，最後通過優化方法實現快速的盲復原。現有的技術方法中，通常在最優化模型中引入模糊核的l2正則項，這種方法可以快速求解，但是得出的模糊核較為稠密，不符合模糊核稀疏性的客觀特性，最終復原的圖像效果差。也有部分方法在最優化模型中加入模糊核的l1正則項，但這樣會使模糊核包含較多噪聲，圖像復原效果也比較差。
技術實現要素：
本發明為克服上述現有技術所述的至少一種缺陷，提供一基於l0正則化和模糊核後處理的圖像盲去模糊的方法，是一種復原效果好，魯棒性高的圖像盲去運動模糊的方法。
為解決上述技術問題，本發明的技術方案如下：
一種基於l0正則化和模糊核後處理的圖像盲去模糊的方法，包括以下步驟：
s1：判斷輸入的原始模糊圖像是否為灰度圖像，若不是，則變換為灰度圖像；
s2：構造最優化模型求解模糊核，在模型中引入l0正則項，模型如公式(1)所示：
其中β、μ及λ為權重參數，x是模糊圖像，y是清晰圖像，k是模糊核，*
是卷積運算符，表示梯度運算；
s3：對步驟s2得到的模糊核進行骨架提取，並根據各非零點到骨架的距離進行加權，重新計算模糊核中各點大小；
s4：利用步驟s3得到的新的模糊核採用非盲去模糊方法，對原始模糊圖像中每個通道進行復原，再將每個通道的復原結果進行合成求得最終復原圖形。
在一種優選的方案中，步驟s2中根據該最優化模型結合金字塔算法，採用基於半二次分裂方法對公式(1)中模型進行求解得到模糊核。
在一種優選的方案中，在步驟s4中所述的非盲去模糊方法為基於全變差分的非盲去模糊方法。
在一種優選的方案中，步驟s2中處理過程如下：
s2.1：根據人工輸入的模糊核大小k_size，下採樣因子，及規定的最小核尺寸k_min_size計算金字塔模型的層級數目；
s2.2：將公式(1)拆解為兩個子過程，如公式(2)(3)：
兩公式交替迭代計算，可求解公式(1)；
s2.3：採用半二次分裂算法，公式(2)變形為如公式(4)所示：
其中，u為引入輔助變量，σ為引入輔助參數，當σ接近於無窮時，公式(2)與公式(4)求解得到的一致，x、u相互獨立，分別求解(初始化u＝0)；
s2.4：根據公式(4)求解u，如公式(5)所示：
由於公式(5)是像素層面的最小化問題，通過公式(6)直接求解：
s2.5：根據s2.4結果，公式(4)求解x過程變為解最小二程問題，如(7)所示：
該問題可直接在頻域求解，求解過程如(8)：
其中f(·)和f-1(·)分別代表傅立葉變換和反傅立葉變換，是f(·)的復共軛形式，和分別代表水平差分[1,-1]以及垂直差分[1,-1]t，ux、uy分別為u經過水平、垂直差分；
s2.6：調整σ＝2σ，若未超過限定的最大值1e5，則根據s2.5求得的x作為輸入，再次執行s2.4，否則，執行s2.7；
s2.7：採用半二次分裂算法，公式(3)變形為如公式(9)所示：
其中，a、b為引入輔助變量，α、γ為引入輔助參數，當α、γ接近於無窮時，公式(3)與公式(9)求解得到的一致，k、a、b相互獨立，分別求解(初始化a＝0,b＝0)；
s2.8：根據公式(9)求解a、b，如公式(10)(11)所示：
由於公式(10)、(11)是像素層面的最小化問題，通過公式(12)(13)直接求解：
s2.9：根據s2.8結果，公式(9)求解k過程變為解最小二程問題，如(14)所示：
該問題可直接在頻域求解，求解過程如(15)：
其中f(·)和f-1(·)分別代表傅立葉變換和反傅立葉變換，是f(·)的復共軛形式，和分別代表垂直差分[1,-1]t以及水平差分[1,-1]，bx、by分別為b經過水平、垂直差分，對(15)規定閾值k_threshold，,若k像素值小於k_threshold則該點取0，最後對k歸一化；
s2.10：調整μ＝2μ、λ＝2λ，若未超過限定的最大值1e5，則根據s2.9求得的k作為輸入，再次執行s2.8，否則，執行s2.11；
s2.11：若金字塔模型中所有層次求解完成，則保留k，執行s3，否則金字塔模型中未達到最大求解層次。金字塔模型當前層求解完成：將y上採樣到金字塔模型中下一層級的對應尺寸作為輸入，執行s2.2，否則更新參數σ＝max{σ/1.1，1e-4}，μ＝max{μ/1.1，1e-4}，λ＝max{λ/1.1，1e-4}，執行s2.2；
在一種優選的方案中，步驟s3中處理過程如下：
s3.1：檢測得到的k是否僅有一個連通域，若不是則連通各連通域；
s3.2：根據處理過的k，提取其骨架kbone；
s3.3：計算內k各點到kbone距離d，根據公式(16)進行加權重新計算k內各非零像素點值：
p＝max{wp,0}(16)
其中p為k內所有非零像素點，w為權值，與d有關。
s3.4：將重新計算得到的k保留，執行s4。
與現有技術相比，本發明技術方案的有益效果是：本發明提出一種基於l0正則化和模糊核後處理的圖像盲去模糊的方法，在圖像復原的最優化模型中引入關於圖像梯度、模糊核像素以及模糊核梯度稀疏性的先驗信息，並以l0正則項的形式表現；其次，本發明對最優化計算所得的模糊核根據其客觀特性進行後處理，人為幹預彌補最優化模型帶來的不足，使復原所得的模糊核和中間圖像更符合現實，最終復原圖像質量進一步提高；最後，本發明採用半二次分裂方法求解最優化模型，解法簡潔，減少計算量，同時結合金字塔模型分層計算，所以本發明具有較高的魯棒性，適用範圍廣。
附圖說明
圖1為本發明的步驟流程圖。
圖2為本發明實施例1使用的測試圖像復原過程及中間結果圖。
圖3為本發明實施例1使用的測試用的模糊圖像。
圖4為本發明實施例1使用的測試用的復原後的圖像。
具體實施方式
附圖僅用於示例性說明，不能理解為對本專利的限制；
為了更好說明本實施例，附圖某些部件會有省略、放大或縮小，並不代表實際產品的尺寸；
對於本領域技術人員來說，附圖中某些公知結構及其說明可能省略是可以理解的。
下面結合附圖和實施例對本發明的技術方案做進一步的說明。
實施例1
如圖1所示，一種基於l0正則化和模糊核後處理的圖像盲去模糊的方法，包括以下步驟：
s1：判斷輸入的原始模糊圖像是否為灰度圖像，若不是，則變換為灰度圖像；
s2：構造最優化模型求解模糊核，在模型中引入l0正則項，模型如公式(1)所示：
其中β、μ及λ為權重參數，x是模糊圖像，y是清晰圖像，k是模糊核，*
是卷積運算符，表示梯度運算；
s3：對步驟s2得到的模糊核進行骨架提取，並根據各非零點到骨架的距離進行加權，重新計算模糊核中各點大小；
s4：利用步驟s3得到的新的模糊核採用非盲去模糊方法，對原始模糊圖像中每個通道進行復原，再將每個通道的復原結果進行合成求得最終復原圖形。
在具體實施過程中，步驟s2中根據該最優化模型結合金字塔算法，採用基於半二次分裂方法對公式(1)中模型進行求解得到模糊核。
在具體實施過程中，在步驟s4中所述的非盲去模糊方法為基於全變差分的非盲去模糊方法。
在具體實施過程中，步驟s2中處理過程如下：
s2.1：根據人工輸入的模糊核大小k_size，下採樣因子及規定的最小核尺寸k_min_size確定金字塔模型的層級數目。本實施例中如圖2所示，人工輸入模糊核大小k_size＝99×99，規定的最小核尺寸k_min_size＝7×7，且模糊核尺寸為奇數×奇數形式，故核尺寸從小到大依次為：7×7，11×11，15×15，19×19，27×27，37×37，51×51,71×71,99×99，對應的模糊圖像尺寸從小到大依次為：23×33，33×47,47×67,67×96,96×136,136×193,193×273,273×387,388×550故此金字塔模型中包含9個不同尺寸的層級，如圖2所示為對應不同層級下復原的和估計出的模糊核變化過程；
s2.2：將公式(1)拆解為兩個子過程，如公式(2)(3)：
兩公式交替迭代計算，可求解公式(1)；
s2.3：採用半二次分裂算法，公式(2)變形為如公式(4)所示：
其中，u為引入輔助變量，σ為引入輔助參數，當σ接近於無窮時，公式(2)與公式(4)求解得到的一致，x、u相互獨立，分別求解(初始化u＝0)；本實例中β＝6e-3，σ＝2β；
s2.4：根據公式(4)求解u，如公式(5)所示：
由於公式(5)是像素層面的最小化問題，通過公式(6)直接求解：
s2.5：根據s2.4結果，公式(4)求解x過程變為解最小二程問題，如(7)所示：
該問題可直接在頻域求解，求解過程如(8)：
其中f(·)和f-1(·)分別代表傅立葉變換和反傅立葉變換，是f(·)的復共軛形式，和分別代表水平差分[1,-1]以及垂直差分[1,-1]t，ux、uy分別為u經過水平、垂直差分；
s2.6：調整σ＝2σ，若未超過限定的最大值1e5，則根據s2.5求得的x作為輸入，再次執行s2.4，否則，執行s2.7；
s2.7：採用半二次分裂算法，公式(3)變形為如公式(9)所示：
其中，a、b為引入輔助變量，α、γ為引入輔助參數，當α、γ接近於無窮時，公式(3)與公式(9)求解得到的一致，k、a、b相互獨立，分別求解(初始化a＝0,b＝0)；在本例中，μ＝10e-5，λ＝500μ，α＝2μ，γ＝2λ；
s2.8：根據公式(9)求解a、b，如公式(10)(11)所示：
由於公式(10)、(11)是像素層面的最小化問題，通過公式(12)(13)直接求解：
s2.9：根據s2.8結果，公式(9)求解k過程變為解最小二程問題，如(14)所示：
該問題可直接在頻域求解，求解過程如(15)：
其中f(·)和f-1(·)分別代表傅立葉變換和反傅立葉變換，是f(·)的復共軛形式，和分別代表垂直差分[1,-1]t以及水平差分[1,-1]，bx、by分別為b經過水平、垂直差分，對(15)規定閾值k_threshold，,若k像素值小於k_threshold則該點取0，最後對k歸一化；
s2.10：調整μ＝2μ、λ＝2λ，若未超過限定的最大值1e5，則根據s2.9求得的k作為輸入，再次執行s2.8，否則，執行s2.11；
s2.11：若金字塔模型中所有層次求解完成，則保留k，執行s3，否則金字塔模型中未達到最大求解層次。金字塔模型當前層求解完成：將y上採樣到金字塔模型中下一層級的對應尺寸作為輸入，執行s2.2，否則更新參數σ＝max{σ/1.1，1e-4}，μ＝max{μ/1.1，1e-4}，λ＝max{λ/1.1，1e-4}，執行s2.2；
在具體實施過程中，步驟s3中處理過程如下：
s3.1：檢測得到的k是否僅有一個連通域，若不是則連通各連通域；
s3.2：根據處理過的k，提取其骨架kbone；
s3.3：計算內k各點到kbone距離d，根據公式(16)進行加權重新計算k內各非零像素點值：
p＝max{wp,0}(16)
其中p為k內所有非零像素點，w為權值，與d有關。
s3.4：將重新計算得到的k保留，執行s4。
如圖3所示，該基於l0正則化和模糊核後處理的自然圖像盲去運動模糊方法的實驗效果。圖3為輸入的模糊圖像，圖4經過本發明盲去運動模糊之後得到的結果，從圖中可以看出復原效果明顯。
相同或相似的標號對應相同或相似的部件；
附圖中描述位置關係的用語僅用於示例性說明，不能理解為對本專利的限制；
顯然，本發明的上述實施例僅僅是為清楚地說明本發明所作的舉例，而並非是對本發明的實施方式的限定。對於所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這裡無需也無法對所有的實施方式予以窮舉。凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明權利要求的保護範圍之內。