一種基於結構信息的多尺度圖像修復算法的製作方法

2023-06-07 21:44:31 1

本發明屬於計算機圖像復原領域，涉及一種基於結構信息的多尺度圖像修復算法，可用於還原變質惡化膠片、劃痕消除等等。

背景技術：

數字圖像修復技術是對待修復圖像中信息缺失區域進行信息填充的過程，修復者需要採用最恰當的方法來實現破損圖像的復原，同時使得觀察者無法察覺到圖像被修復的痕跡，保證圖像達到最理想的藝術效果。

數字圖像修復算法中最為經典是Criminisi等人提出的基於樣本塊的修復算法。其利用優先權大小來確定修復的先後順序。其中優先權是由置信度項與數據項的乘積。由於置信度隨著修復迭代次數的增加迅速下降導致修復不準確，且其數據項僅考慮等照度線方向，結構描述過於單一，僅在一個尺度層修復也會導致結果不精確。為此國內外學者提出新的優先權計算函數以及多尺度修復等算法加以改進。

技術實現要素：

針對單一尺度的基於樣本塊的圖像修復算法存在的不足，本發明提供一種基於結構信息的多尺度圖像修復算法，本發明首先利用權重引導圖像濾波WGIF方法對待修復的破損圖像進行多尺度的分解，獲得一系列的尺度層；然後從尺度最大層開始進行圖像修復，在對各尺度的圖像修復過程中，將圖像的曲率和結構信息描述兩個特徵信息引入到優先權的計算，使填充修復的順序更加合理。本發明的技術方案如下：

一種基於結構信息的多尺度圖像修復算法，包括下列步驟：

1)對待修復圖像I進行多尺度的分解，即從最小尺度層第0層開始，使用基於權重引導濾波的算法對各尺度層圖像進行濾波及下採樣，採用M×N尺寸的濾波窗口得到一系列不同的尺度層圖像IK，K＝0,1,2,…k,…；其中，(i，j)為像素點坐標，m＝[M/2],n＝[N/2]分別代表不超過M/2,N/2的最大整數，WWGIF(u,v)為濾波窗口內像素點(u,v)對應的WGIF濾波權重值。

2)從最大尺度層即頂層圖像開始，利用基於結構信息的優先權函數計算方法P(p)＝C(p)·[wD·D(p)+wK·|K(p)|+wΓ·ΓI(p)]，計算當前第k尺度層圖像Ik破損區域的優先權；其中C(p)為點p的置信度，D(p)為點p的數據項，K(p)為曲率，ΓI(p)為結構信息描述因子，

wD、wK、wΓ為權值，且滿足：

3)按優先權的先後順序，使用相應匹配準則構成的相似性度量準則尋找最優匹配塊，進行當前第k尺度層的圖像修復，得到相應的修復效果圖Iipt_k；

4)將當前第k尺度層圖像修復結果進行上採樣重建得到將其作為第k-1尺度層修復的比較基準圖，並按照步驟2)、3)修復第k-1尺度層的圖像Ik-1得到這一尺度下的初步修復結果Iinitial_ipt_k-1；

5)將步驟4)中生成的初步修復結果Iinitial_ipt_k-1與比較基準圖進行對比，得到新的第k-1尺度層破損圖像Inew_k-1；

6)根據步驟2)和3)對新得到的第k-1尺度層破損圖像Inew_k-1進行圖像修復，得到第k-1尺度層的最終修復效果圖Iipt_k-1；

7)重複步驟4)、5)和6)依次遍歷每一尺度層，直至完成最小尺度層的修復，則修復結束。

相比於現有技術，本發明的優點有以下兩點：

(1)本發明通過引入權重引導濾波對圖像進行多尺度分解，使圖像的邊緣及細節信息得到很好的保護，有助於圖像的進一步修復。

(2)本發明提出一種基於結構信息的優先權計算公式，將曲率及具有保邊緣特性的函數作為優先權的數據項，使圖像的修復順序更加合理，修復效果更加自然。

總之，本發明較好的解決了傳統多尺度修復算法中濾波導致信息大量丟失及結構修復不合理的問題，對於修復具有複雜結構的圖像方面得了較好的視覺效果，修復順序更為準確，同時對各種自然紋理具有較強的魯棒性等特點，有著廣泛的應用前景。

附圖說明

圖1本發明的一種基於結構信息的多尺度圖像修復算法流程圖。

圖2～4為本發明與傳統圖像修復算法對不同圖像的修復效果對比，其中：

圖(a)紅色區域代表破損區域；

圖(b)為經典Criminisi算法的修復效果；

圖(c)為Entropy算法修復效果；

圖(d)為本發明方法修復效果

具體實施方式

本發明一種基於結構信息的多尺度圖像修復算法，主要由兩部分組成：權重引導濾波多尺度分解圖像、每個尺度層的修復。具體原理如下：

1：權重引導濾波(Weighted Guided Image Filtering簡記為WGIF)是一種保邊緣圖像濾波算法，其保邊緣的性能強於傳統的雙邊濾波以及引導濾波。

權重引導濾波的模型源於傳統的引導濾波模型，在引導濾波定義中，使用局部線性模型，該類模型假設函數上的某一點與其領域內的點成線性關係，此類模型非常適用於非解析函數的表示上。

根據引導圖像濾波模型，可以假設圖像這類的二維函數的濾波輸出q與輸入引導圖像I在限定的二維窗口內滿足一定的線性關係，具體如下：

其中，(i,j)是以(x,y)為中心點像素，窗口N(x,y)內的任意像素點。對公式(1-1)兩邊同時求取梯度，可以得到：

由公式(1-2)可知，當輸入的引導圖像I有梯度特徵時，濾波輸出q也有類似的梯度特徵，因此此類濾波具有保邊緣特性。

為求得濾波參數a(x,y)和b(x,y)，使用線性回歸方法使得擬合函數的輸出值與真實值間的誤差最小，即使公式(1-3)達到最小化：

其中，P為待濾波的圖像，ε是為了避免a(x,y)變化過大的正則化參數。也是調節濾波器濾波效果的重要參數。為求誤差最小，對上式兩邊同時求偏導數即可得到如下方程組：

求解上述方程組即可得到如式(1-5)所示的濾波參數a(x,y),b(x,y)的值：

其中，μ(x,y)和分別表示引導圖像I在窗口N(x,y)中的均值和方差，|N(x,y)|表示在窗口N(x,y)中的像素數量。是待濾波圖像在窗口中的均值。在計算每個窗口的線性係數時，一個像素會被多個窗口包含，即每個像素都由多個線性函數所描述。因此，要具體求某一點的輸出值時，只需將所有包含該點的線性函數值平均即可，濾波輸出計算公式如下所示：

其中，

當把引導濾波用作邊緣保持濾波器時，即I＝P，如果ε＝0，顯然a＝1,b＝0是公式(1-3)最小值的解，分析可知此時的濾波器沒有任何作用，將輸入原封不動的輸出。如果ε＞0，在像素強度變化小的區域(或單色區域)，有a近似於(或等於)0，而b近似於(或等於)即做了一個加權均值濾波；而在變化大的區域，a近似於1，b近似於0，對圖像的濾波效果很弱，有助於保持邊緣。而ε的作用就是界定什麼是變化大，什麼是變化小。在窗口大小不變的情況下，隨著ε的增大，圖像濾波效果越明顯。

權重引導濾波與傳統的引導濾波最大的區別在於正則化參數ε的自適應確定，傳統的引導濾波將其置為一常數，文獻中使用公式(1-7)，(1-8)將這一參數自適應計算出：

其中μ為常數，取為1/128；ΓI(x,y)為引導圖像I的保邊緣權重，(i,j)是以(x,y)為中心點像素，窗口M(x,y)內的任意像素點，|M(x,y)|表示在窗口M(x,y)中的像素數，為引導圖像在3×3矩陣窗口內的方差圖，ε0為常數，取為(0.001×256)2。

2：圖像的曲率是等照度線形態學特徵的重要描述，可以在一定程度上反映出圖像的結構特徵信息，其計算公式如(1-9)式所示：

其中，Ix(i,j),Iy(i,j),Ixx(i,j),Iyy(i,j)分別代表圖像I在(i,j)點上沿x方向的一階導、y方向的一階導，x方向的二階導、y方向的二階導，並由公式(1-10)計算得到：

3：在WGIF中運用到的權重計算公式(1-8)也在一定程度上反映了圖像的結構特徵信息，將這一權重的計算視為一種變換。

優先權計算函數中反映邊緣與紋理的信息的是數據項，但在某些情況下只依據數據項很難有效地區分出邊緣區域與紋理區域。而公式(1-11)所採用的計算方式則能較好地解決這一問題。

為了提高優先權計算函數對於圖像結構與紋理的辨識度，提高圖像修復效果的準確性，採用公式(1-11)作為優先權計算函數：

P(p)＝C(p)·[wD·D(p)+wK·|K(p)|+wΓ·ΓI(p)] (1-11)

其中，K(p)為圖像在p點的曲率值，為採用公式(1-8)計算得到的變換值；wD、wK、wΓ為權值，且滿足：

根據新的優先權計算函數，在小曲率、圖像結構信息較少的區域，填充順序等級較低；而在大曲率、圖像結構信息豐富的區域，具有較高的優先等級，這樣，結構部分信息能夠優先得到填充，由此得到的修復結果更加合理。

根據多次實驗效果其經驗值wD、wK、wΓ分別取為0.6、0.2、0.2

在基於高斯金字塔的數字圖像分解過程中，需要對圖像進行高斯濾波。而高斯濾波會造成圖像邊緣以及細節信息的嚴重丟失。

為了克服這一問題，本發明結合具有保邊緣效果的圖像濾波算法對圖像進行下採樣分解，其中具有保邊緣效果的圖像濾波算法主要有雙邊濾波算法以及引導圖像濾波算法等，通過前面的分析，本發明採用權重引導濾波WGIF，為了得到WGIF的通用表達式，將其相關計算公式進行變形，即可得到中心像素點i與ωi鄰域內的任意像素點j的WGIF權重值其計算表達式如下：

其中，k為i點鄰域ωi與j點鄰域ωj交集內的任意像素點；|ωi|、|ωj|為分別為鄰域ωi、ωj的總像素點個數；λW為常數其值為1/128，μk為k點所在窗口內的像素點平均值；∑k為k點的標準差矩陣，Wk為k點的結構信息值，相應的計算公式如公式(4-14)～(4-18)所示：

其中，[x],[y]均是表示圖像的r,g,b三個通道中的某一通道，為圖像I的[x]通道分量在3×3矩陣窗口內的方差圖，ε0為常數，取值為(0.001×256)2。

則依據上述相關公式，採用M×N尺寸的濾波窗口，使用WGIF進行多尺度分解後，得到K尺度層圖像IK的表達式為：

其中m＝[M/2],n＝[N/2]分別代表不超過M/2,N/2的最大整數，WWGIF(u,v)為濾波窗口內像素點(u,v)對應的WGIF濾波權重值。

公式(1-20)中，Inew_k-1(i,j)R、Inew_k-1(i,j)G、Inew_k-1(i,j)B分別代表更新後的破損圖像Inew_k-1在像素點(i,j)的R、G、B三個分量值，ηR、ηG、ηB分別為對應顏色通道的判別閾值，其值的設定遵循公式(1-21)。

其中ωmask代表第k-1尺度層的圖像Ik-1的非破損區域標誌位，|ωmask|為該區域內的總像素點個數，η0為補償閾值，取為3。

在第k-1尺度層上有兩個「修復」結果，一個是在第k尺度層圖像修復結果基礎上進行上採樣重建得到的這一間接修復結果，另一個則是直接在第k-1尺度層上採用基於結構的優先權的算法得到的直接修復結果，採用二者相近的部分作為共同的修復結果，從而使得原有的第k-1尺度層的破損區域範圍有所減小，破損圖像中的有效像素增加，為後續的修復算法提高更多可靠的信息。

此外，在公式(1-21)中，求取兩個「修復」結果相近與否的閾值時所採用的是求平均值的思路，即計算兩幅圖像在非破損區域對應的絕對差均值能體現出直接修復與間接修復的差異程度，在公式中引入補償閾值η0是為了避免公式(1-20)中的判決條件過於苛刻導致無法進行有效的信息更新。

下面以具體的試驗來驗證本方法的可行性，詳見下文描述：

試驗結果均為本方法在CPU為Intel i3-3110M，2.4GHz，內存為4G的筆記本電腦上運行所得，作業系統為Windows 7，仿真軟體為64位Matlab R2013a。

從圖2中可以看出，採用單一尺度圖像進行修復的Criminisi算法對於結構部分的修復效果不夠理想，在黃線處修復有明顯斷裂，且在路面區域有紋理擴散的現象；Entropy算法在修復過程中採用的是傳統的優先權計算方式，致使算法不能很好的分辨結構與紋理區域的修復，修復圖像同樣存在紋理擴散現象；而本方法則較好地克服了上述算法的缺點，結構和紋理均獲得了較為合理自然的修復效果。

從圖3可以看出，待修復的圖像區域為水泥柱附近，其涉及的區域有樹叢及臺面。Criminisi算法在紋理信息較為豐富的樹叢附近修復效果較差，出現明顯的斷層現象，在臺面邊界附近存在樹叢紋理擴散，修復的不合理。Entropy算法在樹叢附近修復的效果略好於Criminisi算法，但在臺面附近的修復效果仍然不夠理想。而本方法對樹叢附近的結構修復連續自然，對臺面附近的修復平緩合理，整體修復效果最好。

在圖4公路的圖像中，待修復圖像中的破損區域包含明顯的線性結構，通過這三種算法修復結果的對比可見，Criminisi算法沒能有效地修復結構斷裂處，而Entropy算法也未能較好地解決這一問題。而本方法則能夠較好地辨別出圖像的結構信息，並通過權重引導濾波進行多尺度分解，經過迭代修復最終獲得了較為理想的修復效果。

本領域技術人員可以理解附圖只是一個優選實施例的示意圖，上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。

以上所述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。

本發明的具體流程如下：

1)對待修復圖像I進行多尺度的分解，即從最小尺度層第0層開始，使用基於權重引導濾波的算法對各尺度層圖像進行濾波及下採樣，得到一系列不同的尺度層圖像IK(K＝0,1,2,…k,…)；

2)從最大尺度層即頂層圖像開始，利用基於結構的優先權函數計算方法，計算當前第k尺度層圖像Ik破損區域的優先權；

3)按優先權的先後順序，使用相應匹配準則構成的相似性度量準則尋找最優匹配塊，進行當前第k尺度層的圖像修復，得到相應的修復效果圖Iipt_k；

4)將當前第k尺度層圖像修復結果進行上採樣重建得到將其作為第k-1尺度層修復的比較基準圖，並按照步驟2)、3)修復第k-1尺度層的圖像Ik-1得到這一尺度下的初步修復結果Iinitial_ipt_k-1；

5)將步驟4)中生成的初步修復結果Iinitial_ipt_k-1與比較基準圖進行對比，得到新的第k-1尺度層破損圖像Inew_k-1；

6)根據步驟2)和3)對新得到的第k-1尺度層破損圖像Inew_k-1進行圖像修復，得到第k-1尺度層的最終修復效果圖Iipt_k-1；

7)重複步驟4)、5)和6)依次遍歷每一尺度層，直至完成最小尺度層的修復，則修復結束。