基於邊緣的多方向加權TV和自相似性約束圖像去模糊方法與流程
2023-05-21 09:35:06 4
本發明屬於計算機圖像處理的領域，多用於圖像或者視頻去模糊等相關領域。
背景技術：
圖像去模糊一直是計算機視覺、圖像處理領域的熱點，因其具有前沿性、應用廣等特點而備受關注。在眾多去模糊方法中，全變差(TV)正則化因其較好的邊緣保持能力被廣泛應用於圖像去噪、圖像去模糊等[1,2]，但是其細節和紋理恢復能力有限。
另一方面，傳統的TV模型只考慮圖像的局部特徵，並沒有利用圖像中結構相似的全局圖像塊信息，即圖像的非局部自相似性[1]，對圖像先驗信息的表達能力不足。現有方法將空域非局部自相似性融入去模糊模型[5]，但空域權重矩陣容易引入較大誤差。
[參考文獻]
[1]Zhang J,Liu S,Xiong R,et al.Improved total variation based image compressive sensing recovery by nonlocal regularization.In:Proceedings of IEEE International Symposium on Circuits and Systems(ISCAS),Beijing,China:IEEEComputer Society Press,2013.6:2836～2839。
[2]Zhang J,Zhao D,Xiong R,et al.Image restoration using joint statistical modeling in a space-transform domain.IEEE Transactions on Circuits and Systems for Video Technology,2014,24(6):915～928。
[3]Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3-D transform-domain collaborative filtering.IEEE Transactions on Image Processing,2007,16(8):2080～2095。
[4]Woiselle A,Starck J L,Fadili J.3-D data denoising and inpainting with the low-redundancy fast curvelet transform.Journal of Mathematical Imaging and Vision,2011,39(2):121～139。
[5]Dabov K,Foi A,Katkovnik V,et al.Image restoration by sparse 3D transform-domain collaborative filtering.Proc.of SPIE Conference Series,2008.3。
[6]Zhang J,Zhao D,Xiong R,et al.Image restoration using joint statistical modeling in a space-transform domain.IEEE Transactions on Circuits and Systems for Video Technology,2014,24(6):915～928。
[7]Bras N.B.,Bioucas-Dias J.,Martins R.C.,Serra A.C..An Alternating Direction Algorithm for Total Variation Reconstruction of Distributed Parameters[J].IEEE Transactions on ImageProcessing,2012,21(6):3004-3016。
技術實現要素：
針對傳統的TV模型細節保持能力有限的問題，基於邊緣檢測，提出了多方向加權TV；為了利用圖像的非局部自相似性結構，克服空域權重矩陣帶來的誤差和噪聲，將變換域非局部自相似性約束作為正則項融入圖像去模糊模型，提出一種基於邊緣的多方向加權TV和自相似性約束圖像去模糊方法。
為了解決上述技術問題，本發明提出的一種基於邊緣的多方向加權TV和自相似性約束圖像去模糊方法，包括以下步驟：
步驟一、構建圖像盲復原模型，包括：
1-1)構建加權TV去模糊模型：
式(1)中，x為清晰圖像，K是非線性算子，f是模糊圖像，μ是正則化參數，第一項是加權TV正則項，第二項是保真項；所述加權TV正則項的表達式為其中，g(x)為權值函數，取值範圍為[0，1]，並且滿足g(0)＝1，g(x)≥0，
1-2)構建融入邊緣檢測的各向異性離散多方向加權TV和三維稀疏變換域內的非局部自相似性約束項的去模糊模型：
式(2)中，τ和λ分別是控制參數，第一項為保真項；
式(2)中，第二項是融入邊緣檢測的各向異性離散多方向加權TV，在清晰圖像x中，利用Canny邊緣檢測將中心像素8鄰域內的像素對分為邊緣同側像素對和邊緣異側像素對，各向異性的離散加權TV定義為
式(3)中，求和範圍為8鄰域內所有α個像素對(i,j)～(k,l)，gi為對應像素對的權值，若像素對在邊緣異側，令gi＝0；否則令gi保持原始值；
式(2)中，第三項是三維稀疏變換域內的非局部自相似性約束項：
首先，將大小為N的清晰圖像x分解為n個部分重疊的圖像塊hi，其中i＝1,…,n，所述圖像塊hi的大小為b；
然後，對於每個圖像塊hi，在其搜索窗內，採用歐式距離尋找與該圖像塊hi最相似的C個圖像塊，令為包括C個最相似圖像塊的集合，搜索窗大小為L×L，即
其次，將包含的C個最相似圖像塊堆疊成三維矩陣，記為
最後，令T3D表示正交的三維變換算子，為三維矩陣的變換係數；令Θh表示清晰圖像x所有變換係數的列向量，將根據詞典順序排列得出列向量Θh，列向量Θh的大小為P＝b×C×n；從而得到基於三維稀疏變換域內的非局部自相似性約束項：
其中，正交三維變換算子T3D包括對三維矩陣中每個圖像塊進行二維離散餘弦變換和對三維矩陣中各圖像塊對應位置像素構成的一維向量進行一維哈爾變換；
步驟二、採用ADM算法對式(2)表達的去模糊模型進行最優化求解，從而得到清晰圖像x；
首先，引入輔助變量yi＝Dix，u＝x，因此，將式(2)轉換為式(5)：
s.t.yi＝Dix,u＝x (5)
其次，利用增廣拉格朗日方程對式(5)進行展開：
式(6)中，β1，β2，μ分別是懲罰項的正則化參數，令λk，νk表示第k-1次迭代後更新的參數，式(6)的ADM算法迭代方程為
式(7)對應的迭代框架為
參數更新準則為
根據二維收縮方法求解，得到yk+1的閉合解
式(10)中，設0·(0/0)＝0；
給定yk+1和uk，對於式(6)中關於x的求解方程：
利用最小二乘法對上式求解，得到關於x的閉合解
式(12)中，為全局一階有限差分算子，式(12)的求解是：
首先，計算式(12)等式右邊的向量，並進行前向傅立葉變換；然後，除以τDTD+(μ/β1)KTK+(β2/β1)I的特徵值，得到F(xk+1)，F(·)表示二維離散傅立葉變換；
最後，對F(xk+1)進行二維傅立葉反變換得到xk+1；
給定yk+1，xk+1，對於式(6)中關於u的求解方程：
式(13)中，α＝λ/β2，e＝u-r，r為u的含噪圖像；對於任意第k次迭代，均存在
式(14)中，M為元素Θu的個數，將式(13)帶入到式(14)得
式(15)中，每個元素Θu(j)根據閾值定理求得
其中，j＝1,…,M；
關於u的閉合解為：
比較相鄰兩次迭代求得的圖像，若滿足則迭代停止，輸出的圖像即為清晰圖像x，否則繼續迭代。
與現有技術相比，本發明的有益效果是：
本發明通過對加權TV模型和自然圖像非局部自相似性的深入研究，提出基於邊緣檢測的多方向加權TV和稀疏變換域非局部自相似性的圖像去模糊模型(MWTV-TNR)。本發明中的去模糊模型有效的利用邊緣檢測克服了傳統TV模型易產生階梯效應的缺點，並結合基於三維稀疏變換域的非局部自相似性約束，克服了權重矩陣不能精確自然圖像非局部自相似性的缺點，既能對圖像有效進行去模糊，改善了視覺效果，同時能更好地恢復圖像紋理細節和邊緣。另一方面，通過改進基於ADM算法的最優化求解算法，能快速有效的求解MWTV-TNR去模糊模型，提高了PSNR。
附圖說明
圖1是中心像素(i,j)的8鄰域示意圖；
圖2是自然圖像的非局部相似性過程示意圖；
圖3(a)至圖(e)是從局部隨機樣本中選取的Barbara的圖像復原視覺效果；其中：
圖3(a)是均勻模糊核hsize＝9的隨機樣本對應的退化圖像；
圖3(b)給出了由傳統TV模型對圖3(a)的復原結果；
圖3(c)給出了TV-NLR模型對圖3(a)的復原結果；
圖3(d)給出了JSM對圖3(a)的復原結果；
圖3(e)給出了本發明提出的WTV-TNR對圖3(a)的圖像恢復結果；
圖4(a)是圖3(b)局部放大圖；
圖4(b)是圖3(c)局部放大圖；
圖4(c)是圖3(d)局部放大圖；
圖4(d)是圖3(e)局部放大圖；
圖5(a)給出了House的模糊圖像，其模糊核的類型為Gaussian，加性高斯白噪聲的標準差σ＝0.5；
圖5(b)給出了由傳統TV模型對圖5(a)的復原結果；
圖5(c)給出了TV-NLR模型對圖5(a)的復原結果；
圖5(d)給出了JSM對圖5(a)的復原結果；
圖5(e)給出了本發明提出的WTV-TNR對圖5(a)的圖像恢復結果
圖6(a)是圖5(b)局部放大圖；
圖6(b)是圖5(c)局部放大圖；
圖6(c)是圖5(d)局部放大圖；
圖6(d)是圖5(e)局部放大圖；
圖7(a)給出了Lena的模糊圖像，模糊核的類型為Motion；
圖7(b)給出了由傳統TV模型對圖7(a)的復原結果；
圖7(c)給出了TV-NLR模型對圖7(a)的復原結果；
圖7(d)給出了JSM對圖7(a)的復原結果；
圖7(e)給出了本發明提出的WTV-TNR對圖7(a)的圖像恢復結果；
圖8(a)是圖7(b)局部放大圖；
圖8(b)是圖7(c)局部放大圖；
圖8(c)是圖7(d)局部放大圖；
圖8(d)是圖7(e)局部放大圖。
具體實施方式
下面結合附圖和具體實施例對本發明技術方案作進一步詳細描述，所描述的具體實施例僅對本發明進行解釋說明，並不用以限制本發明。
傳統加權TV(Weighted Total Variation,WTV)模型：
其中，權值gi的定義式為
式中，x為原始圖像，f為模糊圖像。其中，k為閾值參數，用於判斷當前像素屬於平滑區還是邊緣結構。
在梯度較大的地方，權值gi取較小值，從而降低平滑程度，較好的保護邊緣；在梯度小的地方，權值gi取較大值，從而可以實現強平滑，去除噪聲。但傳統的加權TV僅根據梯度幅值來確定加權係數，並未考慮圖像的局部結構和方向信息，造成圖像邊緣和細節模糊。為了實現根據圖像局部信息自適應調整權值，在平坦區域加大權值以抑制噪聲，在邊緣、紋理等區域根據局部方向自適應確定權值以保留更多的細節，因此，本發明所採用的去模糊模型融合了邊緣檢測的多方向加權TV，即利用Canny檢測算子自適應調整多方向的TV係數。
非局部自相似性描述了自然圖像在全局內的紋理或結構重複性，該先驗有助於有效保持圖像的邊緣和紋理等細節特徵。近些年來，一些學者通過對相似塊進行三維變換[4]可實現很好的圖像去噪效果。Dabov提出了著名的BM3D算法，可廣泛的應用於圖像去噪[3]和去模糊[5]。在上述工作基礎上文獻[6]提出利用相似塊稀疏變換係數的統計特性來描述非局部自相似性。
綜上，本發明考慮自然圖像的局部平滑特性和非局部自相似性提出了一種基於邊緣的多方向加權TV和自相似性約束圖像去模糊方法，包括以下步驟：
步驟一、構建圖像盲復原模型，包括：
1-1)構建加權TV去模糊模型：
式(1)中，x為清晰圖像，K是非線性算子，f是模糊圖像，μ是正則化參數，第一項是加權TV正則項，第二項是保真項；所述加權TV正則項的表達式為其中，g(x)為權值函數，取值範圍為[0，1]，並且滿足g(0)＝1，g(x)≥0，
1-2)構建融入邊緣檢測的各向異性離散多方向加權TV和三維稀疏變換域內的非局部自相似性約束項的去模糊模型：
式(2)中，τ和λ分別是控制參數，第一項為保真項；
式(2)中，第二項是融入邊緣檢測的各向異性離散多方向加權TV，在清晰圖像x中，利用Canny邊緣檢測將中心像素8鄰域內(如圖1所示)的像素對分為邊緣同側像素對和邊緣異側像素對，對不同類型的像素對根據邊緣檢測結果施加不同的權重，對於清晰圖像x，各向異性的離散加權TV定義為
式(3)中，求和範圍為8鄰域內所有α個像素對(i,j)～(k,l)，權值要根據鄰域的選取設為恰當的值。本發明方法中，gi為對應像素對的權值，若像素對在邊緣異側，令gi＝0；否則令gi保持原始值；
式(2)中，第三項是三維稀疏變換域內的非局部自相似性約束項，根據文獻[2]以及上述思路，如圖2所示(C＝5)，本發明提出的三維稀疏變換域自相似性約束項，可通過以下得到：
首先，將大小為N的清晰圖像x分解為n個部分重疊的圖像塊hi，其中i＝1,…,n，所述圖像塊hi的大小為b；
然後，對於每個圖像塊hi(即實線圖像塊)，在其搜索窗內(即虛線圖像塊)，圖像塊之間的相似性準則採用歐式距離，即距離越小表示相似度越高。當前像素塊與其搜索窗內圖像塊的歐式距離比給定閾值小時，則稱該像素塊與當前像素塊相似。相似準則選取固定的參數，這樣不僅簡便，而且具有更強的魯棒性。因此，為簡單起見，計算圖像塊相似度的準則採用歐式距離，令為包括C個最相似圖像塊的集合，搜索窗大小為L×L，即
其次，將包含的C個最相似圖像塊堆疊成三維矩陣，記為
最後，令T3D表示正交的三維變換算子，為三維矩陣的變換係數；令Θh表示清晰圖像x所有變換係數的列向量，將根據詞典順序排列得出列向量Θh，列向量Θh的大小為P＝b×C×n；從而得到基於三維稀疏變換域內的非局部自相似性約束項：
其中，正交三維變換算子T3D包括對三維矩陣中每個圖像塊進行二維離散餘弦變換和對三維矩陣中各圖像塊對應位置像素構成的一維向量進行一維哈爾變換；
圖像塊在三維變換域的稀疏性會遠遠高於二維圖像塊變換所得的稀疏性，這也使得，相比二維圖像變換，對圖像的三維變換能更好的減弱噪聲，因此，添加變換域非局部自相似性約束能更好的對圖像進行去模糊。
步驟二、採用ADM算法對式(2)表達的去模糊模型進行最優化求解，從而得到清晰圖像x；
本發明通過將三維變換與ADM[7]算法結合起來，將複雜的多項最優化問題轉換成具有閉合解的子問題。該算法不僅能有效求解，而且收斂速度快。
首先，引入輔助變量yi＝Dix，u＝x，因此，將式(2)轉換為式(5)：
s.t.yi＝Dix,u＝x (5)
其次，利用增廣拉格朗日方程對式(5)進行展開：
式(6)中，β1，β2，μ分別是懲罰項的正則化參數，令λk，νk表示第k-1次迭代後更新的參數，式(6)的ADM算法迭代方程為
式(7)對應的迭代框架為
參數更新準則為
y的子問題根據二維收縮方法求解，可得到yk+1閉合解：
式(10)中，設0·(0/0)＝0；
給定yk+1和uk，x的子問題等價於最小二乘問題，其求解方程：
利用最小二乘法對上式求解，得到關於x的閉合解
式(12)中，為全局一階有限差分算子，式(12)的求解是：
首先，計算式(12)等式右邊的向量，並進行前向傅立葉變換；然後，除以τDTD+(μ/β1)KTK+(β2/β1)I的特徵值，得到F(xk+1)，F(·)表示二維離散傅立葉變換；
最後，對F(xk+1)進行二維傅立葉反變換得到xk+1；
給定yk+1，xk+1，u的子問題可重寫為：
式(13)中，α＝λ/β2，e＝u-r，r為u的含噪圖像；對於任意第k次迭代，均存在
式(14)中，M為元素Θu的個數，將式(13)帶入到式(14)得
式(15)中，每個元素Θu(j)根據閾值定理求得
其中，j＝1,…,M；
關於u的閉合解為：
比較相鄰兩次迭代求得的圖像，若滿足則迭代停止，輸出的圖像即為清晰圖像x，否則繼續迭代。
下面給出本發明提出的用於圖像去模糊中的WTV-TNR算法和已有的經典算法的對比實驗數據。其中，對比算法包括傳統全變差算法(TV)、基於非局部正則化的全變差模型(TV-NLR)、聯合統計模型(JSM)。
其中，JSM和TV-NLR在TV模型的基礎上添加了不同的非局部自相似性約束，能更好描述圖像的先驗信息，因此，這兩種方法都比傳統TV模型的復原能力強。對比JSM和TV-NLR的PSNR值可知，在大多數情況下，JSM都比TV-NLR復原結果的PSNR值高。本發明算法有效的結合了加權TV和變換域非局部自相似性約束，能夠有效描述自然圖像的局部平滑性和非局部自相似性，因此，具有極好的圖像復原能力。通過對比四種算法的PSNR值可知，本發明的復原效果最佳，與JSM相比，PSNR值提升了0～2.5dB。
表1四種算法復原圖像PSNR值對比
實驗中給出了本發明圖像去模糊方法和JSM、TV-NLR之間的效果圖對比，圖3為均勻模糊核hsize＝9的情況下，從局部隨機樣本中選取的Barbara的圖像復原視覺效果。圖3(a)是均勻模糊核hsize＝9的隨機樣本對應的退化圖像。圖3(b)是僅由傳統TV模型取得的復原結果，其平滑區域恢復效果不錯，但易造成階梯效應，並丟失邊緣和細節信息。圖3(c)給出了TV-NLR模型的復原結果，圖3(d)給出了JSM的復原結果。顯而易見，JSM和TV-NLR算法比傳統TV復原效果好，其重構結果的邊緣更加銳利，能恢復更多細節。然而，TV-NLR雖然能恢復邊緣和紋理結構，但容易產生偽邊緣信息；JSM無法精確的恢復圖像紋理，導致恢復結果都不太清晰(參見圖3(d)中的圍巾部分)。圖3(e)給出了本發明提出的WTV-TNR的圖像恢復結果。圖4(a)至圖4(d)分別是圖3(b)至圖3(e)對應的局部放大圖。觀察可知，圖3(e)展現出最佳的視覺質量，不僅保留了圖像局部光滑性，而且能清晰、精確地恢復圖像的邊緣和紋理，這充分證實了本發明提出的WTV-TNR與其他復原模型相比，具有極大的優勢。總而言之，與傳統的非局部正則化方法相比，本發明提出的基於變換域的非局部自相似性約束的優勢是在3D稀疏變換域內，通過變換係數代替權重矩陣來描述圖像的非局部自相似性，克服了傳統非局部正則化依賴非局部權重矩陣的局限性。
圖5(a)給出了House的模糊圖像。模糊核的類型為Gaussian，加性高斯白噪聲的標準差σ＝0.5。圖5(b)-(e)分別給出了TV、TV-NLR、JSM和本發明算法對House去模糊後的效果圖。圖6(a)至圖6(d)分別是圖5(b)至圖5(e)對應的局部放大圖。圖7(a)給出了Lena的模糊圖像，模糊核的類型為Motion。圖7(b)-圖7(e)分別給出了TV、TV-NLR、JSM和本發明算法對Lena去模糊後的效果圖，其模糊類型是運動模糊。圖8(a)至圖8(d)分別是圖7(b)至圖7(e)對應的局部放大圖。觀測可知，TV模型雖然很好的復原了圖像，但是容易在圖像邊緣和細節處，造成過度平滑；TV-NLR與TV相比，能更好的保留圖像的邊緣和紋理，但是在結構性比較明顯的部位容易造成褶皺和偽邊緣；JSM紋理不如TV-NLR恢復的好，但是整體視覺效果要比TV-NLR好；本發明提出的算法在WTV的基礎上結合了基於變換域的非局部自相似性約束，較好的保持了圖像的紋理和局部光滑性，並具有較好的視覺效果。
儘管上面結合圖對本發明進行了描述，但是本發明並不局限於上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本發明的啟示下，在不脫離本發明宗旨的情況下，還可以作出很多變形，這些均屬於本發明的保護之內。