一種圖像修複方法
2023-10-08 16:05:09 2
專利名稱：一種圖像修複方法
技術領域：
本發明屬於計算機虛擬實境和計算機圖形學技術領域，具體地說，是一種圖像修復技術——受損圖像的重構和圖像上物體的移除。
背景技術：
一般地，圖像修複本身是一種藝術。早在文藝復興時期，古代雕塑就已經出現斷頭少臂的現象，因而，雕塑家不僅自身要創作作品，同時也要修復古代的雕塑，其主要是填補美術品上所出現的裂痕或溝，如文獻1的G.Emile-Male.「The Restorer’s Handbook of Easel Painting」.Van NostrandReinhold，New York，1976介紹的。我國是個文物大國，為了對寶貴的文物資源進行永久保護，重現古字畫或者舊照片的原貌。我國古字畫上面經常印有收藏家的印章，或者因摺疊年代久遠而產生的褶痕；另一方面，真實場景的照片或者合成的圖像，經常需要移除照片上一些多餘的大塊對象，懸浮的文字等，特別是一些舊照片上的褶痕需要修復。因此，我們需要尋找一種自動化的圖像修複方法。
圖像的受損部分和移除部分都可看作是丟失的信息形成的空洞，因此，圖像修復技術主要解決的問題是如何填充這些空洞。以前，有兩種典型的圖像修複方法紋理合成領域中的約束合成(constrained synthesis)，如文獻2的A.Efros and T.Leung，「Texture synthesis by nonparametricsampling，」in Proc.Int.Conf.Computer Vision，Kerkyra，Greece，Sept.1999，pp.1033-1038和L.Liang，C.Liu，Y.-Q.Xu，B.Guo，and H.-Y.Shum，「Real-time texture synthesis by patch-based sampling，」in ACMTrans.Graphics，2001介紹的和數學計算的數字圖像修復(imageinpainting)方法，如文獻3的Bertalmio，M，Sapiro，G.，Caselles，V.，Ballester，C.「lmage lnpainting」.SIGGRAPH 2000，pages 417-424。
前一種，基於樣圖的紋理合成方法中的約束紋理合成方法是基於馬科夫隨機場(Markov Random Field，MRF)模型，即利用紋理圖像的重複性和隨機性特徵，根據周圍已知圖像信息填充丟失的信息。以待填充區域邊緣上一點為中心的正方形面片(Patch)(尺寸由用戶定義)為匹配窗口，利用該窗口中包括的已知部分，在已知的圖像中查找最匹配的面片，來填充該窗口中的未知部分。該方法適合於修復面積較大的受損區域。但是該方法的修復對象局限於紋理圖像，對於線形結構較強的圖像就顯得無能為力。
後一種，數學計算的數字圖像修複方法是一種基於物理熱流偏微分方程(partial differential equations)的數字圖像修複方法。已知的顏色信息(RGB三個通道)沿著等照度線(isophote)方向(垂直於顏色梯度向量)向待修復區域滲透擴展(利用微分方程)。從而實現了保存邊緣信息的同時向內擴展已知信息。二維Laplacian變換用來實現顏色的局部平滑變化過渡，並且沿著等照度線方向擴展。在每一重修復處理之後，都要對所修復的區域進行平滑處理。該方法能有效地保持原圖像的線形結構，適合於修復舊照片上裂痕、懸浮的文字等細長的區域。但是在修復較大區域的時候，採用滲透擴展的方法會丟失內部細節，而出現明顯的模糊現象。
後來，基於樣圖的圖像修復(exemplar-based image inpainting)方法，文獻5的M.K.Leung and Y-H.Yang.First sighta human body outlinelabeling system.IEEE Trans.Pattern Analysis and Machine Intelligence，(17)4359-377，1995有效地結合了上述兩種方法的優點，利用紋理合成方法同時複製紋理和結構性信息，而結構性特徵信息的擴展依賴於填充的順序。修複方法的核心思想是利用等照度線(isophote)控制圖像採樣過程，具體過程如下(a)計算所有邊緣面片的優先級優先級決定填充順序，是紋理合成方法能實現線性結構信息擴展的關鍵因素。
(b)紋理和結構信息的擴展首先，選擇優先級最高的面片作為本次迭代內將填充的邊緣面片；接著，類似於一般的紋理合成方法，顏色空間內兩個面片之間的距離作為相似性的度量準則，在原圖像的整個已知區域內，查找與其最匹配(距離最小)的面片；最後，該邊緣面片內的未知像素顏色值直接複製相應的匹配塊內的顏色值。
(c)本次迭代中所有合成像素的確信度(confidence)值更新為該邊緣面片的確信度值。
待修復區域內像素的確信度值的擴展方式近似於數學計算的數字圖像修復過程中已知顏色信息的擴展方式；而該區域內像素的實際顏色通過基於樣圖的紋理合成方法獲取。該方法修復的效果更好，但是也存在一些問題第一，在步驟(b)中，單純利用顏色信息來衡量相似度；第二，在步驟(b)中，填充順序只是簡單地根據優先級來確定，而忽略了相似性原則；第三，在步驟(c)中，像素確信度計算中沒有考慮匹配誤差的影響。這些問題影響到了該方法的魯棒性和最終的修復效果，因為不能有效地防止紋理合成過程中普遍存在的一個問題——錯誤信息的蔓延。
發明內容
本發明的技術解決問題克服現有技術的不足，提供一種魯棒性高、修復效果好的圖像修複方法，用戶只需要指定待修復區域，該方法能夠自動修復具有複雜紋理和結構特徵的真實照片、合成圖像和數字博物館中的古字畫。
本發明的技術解決方案一種圖像修複方法，在基於樣圖的圖像修復(exemplar-based image inpainting)思想的基礎上，其特點在於用戶選擇出圖像上待修復的區域，並且確定局部源區域的範圍，即以邊緣面片為中心的樣圖採樣區域窗口大小後進行自動修復過程，自動修復過程以邊緣面片作為一次迭代填充的單位，重複下面四步，直到填滿整個待修復區域第一步，計算邊緣上所有面片的優先級；第二步，根據優先級和相似度準則確定本次迭代將填充的邊緣面片；第三步，採用紋理合成方法，同時擴展已知的紋理和結構信息；第四步，更新本次迭代處理的面片內被合成的像素確信度值。
本發明的圖像修複方法與現有修複方法相比的優點在於修復的效果好，修復過程更接近於手工修復過程，魯棒性高，有效地防止了錯誤信息的連續擴展，已成功地應用於多種具有複雜紋理和結構特徵的真實照片或合成圖像的修復。此外，本發明也應用於數字博物館中古字畫的修復。
圖1示出本發明中所涉及到的符號定義；圖2示出受限紋理合成過程；圖3示出某一次迭代過程中根據優先級和相似度準則確定待填充邊緣面片的流程圖；圖4示出本發明中提出的填充順序調整策略的重要性；圖5示出本發明在相似性判斷準則中引入梯度信息的必要性。
具體實施例方式
首先，定義一些符號，如圖1所示待修復圖像I；區域Ω為待修復區域(待填充區域)，稱為目標區域，由用戶指定，形狀不受任何限制；Ω是指當前未填充區域的邊緣線，隨著修復的進行，Ω不停地改變；Φ是圖像中的已知部分(I-Ω)，是填充Ω區域的採樣空間，稱為源區域；P、Q是Ω上任意兩點，Ψp、Ψq分別是以P、Q為中心的邊緣面片(Patches)，w是邊緣面片窗口尺寸。顯然，隨著修復的進行，區域Φ不斷地擴大，而Ω將變小，Ω也隨之改變。
接著，介紹一些相關概念和方法1.邊緣面片如圖1所示Ψp、Ψq面片，以邊緣上一點為中心，是已知信息擴展的單位。邊緣面片的窗口大小，如圖1中的W，對修復的結果有很大的影響。如果窗口尺寸取的過大，失去了局部細節特徵，產生明顯的不連續；如果窗口尺寸過小，丟失完全的紋理特徵，產生大量的碎片。該尺寸理論上應稍大於一個紋元(texel，可識別的紋理元素)的尺寸，本發明中默認值為7，用戶也可作適當調節。
2.局部源區域如圖1所示的區域θ，以邊緣面片為中心的一個正方形區域。根據圖像的局部相似原理，將匹配塊的搜索限制在以邊緣面片為中心的樣圖採樣區域內，可提高算法的效率。局部源區域窗口的大小默認值為邊緣面片窗口的5倍，用戶也可作適當調節。
3.相似度判斷準則採用顏色(R，G，B)空間兩個面片之間的距離作為相似度的判斷準則是紋理合成方法中常用的度量標準。距離越大，相似度越小，反之，相似度大。定義如下D=1Ai=1i=A((Rpi-Rqi)2+(Gpi-Gqi)2+(Bpi-Bqi)2---(1)]]>dmax=1Ap(p)((Rp)2+(Gp)2+(Bp)2)---(2)]]>D表示兩個邊緣面片Ψp和Ψq在顏色空間的距離，A表示Ψp內已知像素的個數，R，G，B分別表示三個顏色通道。dmax表示當前面片所允許的最大匹配誤差，兩者之間距離小於dmax稱為RGB顏色空間內的相似度約束條件，ε是一個用戶預定義參數，控制源樣圖和合成圖像之間相似度和合成結果，ε取值偏大則會出現明顯的不連續，ε偏小則會引起同一塊紋理的不斷重複。
4.匹配兩個面片在RGB顏色空間內，距離小於dmax稱為兩者相匹配。
5.候選項鍊表list對某一邊緣面片，專門用來存放與其在RGB顏色空間內的距離小於dmax的所有匹配面片。
6.受限紋理合成如圖2所示黑色部分是待填充的目標區域，邊緣面片Ψp(黃色線框標誌，以邊緣上紅色像素點為中心)，是當前被填充的部分。首先，根據公式(1)(2)的相似性判斷準則，在已知區域內，搜索滿足RGB顏色空間內的相似度約束條件的所有面片，如圖2中的黃色虛線框所示，存入候選項鍊表list。接著，從list中任選一個面片Ψq，邊緣面片Ψp中的未知像素顏色值直接拷貝Ψq內相應像素的顏色。通常，受限紋理和成都按照一定的合成順序，文獻2採用掃描線順序，文獻3中則按照平面螺旋(洋蔥皮)方式由外向內逐層合成填充。
本發明的圖像修複方法在用戶選定待修復區域和初始化一些參數後，開始自動修復過程，下面將詳細介紹自動修復過程。
紋理合成方法能實現線性結構信息的擴展，很大程度上依賴於填充的順序。本發明提出的圖像修複方法中，填充順序由兩個因素決定——優先級和相似度，優先級是主要因素，相似度是調節因素。自動修復過程，以邊緣上一點為中心的面片作為一重循環填充的單位，重複下面四步，直到填滿整個目標區域內所有的像素。
第一步計算邊緣上所有面片的優先級根據文獻5介紹，優先級由兩個因素決定確信度和向內收縮張量。
確定度表示邊緣面片內包含的已知的信息量及其正確性。確定度因素保證位於外圍邊緣上，包含已知信息豐富的面片最先進行修復，傾向於由外向內逐層修復的方式。
向內收縮張量表示中心像素點的等照度線方向向量在法向量上的分量的大小，決定向修復區域內滲透的力度，如圖1中P點和Q點的向內收縮張量相對較大。向內收縮張量促使邊緣線Ω方向上，顏色變化大(圖像梯度值大)的面片最先進行修復，保持原始圖像內線性結構的連續性。
優先級的計算方式如下以邊界上一點P為中心的邊緣面片Ψp，優先級為P(p)，由確定度函數C(p)和向內收斂張量函數D(p)決定P(p)＝C(p)*D(p) (3)
C(p)=q(p)C(q)|p|---(4)]]>D(p)=|pgnp|---(5)]]>對於一般的(0-255)灰度圖，公式(5)中的α取值為255，np表示邊界線Ω在中心點P處的法向量，p⊥表示等照度線方向(垂直於Ψp內兩個分量絕對值之和最大的顏色梯度向量p)，如圖1所示。
顯然，Φ區域內的顏色信息是原圖具有的，後來修復過程中沒有改變，確定度高。在初始化時，Φ內的像素的確定度函數值為1，而Ω內的像素確定度函數值最低，為0。
第二步根據優先級和相似度準則確定本次迭代將填充的邊緣面片如圖3所示，確定本次迭代將填充的邊緣面片，需要引入一個計數器，防止RGB顏色空間內相似度約束條件過於苛刻，而進入死循環。過程如下(1)選擇優先級最高的邊緣面片作為當前的待填充面片(用Ψp表示)，以Ψp為中心的區域θ即為當前的局部源區域。同時將計數器清零。
(2)在源區域θ內搜索，根據相似度判斷準則，將滿足RGB顏色空間內相似度約束條件的所有面片存入候選項鍊表list中。
(3)如果候選項鍊表非空，則該邊緣面片Ψp確定為本次迭代的待填充面片；否則，說明在當前已知的源採樣圖裡不存在與該邊緣面片相匹配的樣圖塊，經過進一步修復，才有可能出現其相似塊。因此，繼續下面的第(4)步。
(4)計數器加1。
(5)如果計數器沒有達到用戶規定的次數(本方法在實驗過程中，取該值為10)，繼續第6)步，否則，增加ε值為原來的1.5倍，返回到第(1)步。
(6)將該面片掛起，選擇剩餘邊緣面片中優先級最高的面片(用Ψp表示)，作為當前的待填充面片，退回到(2)。
如圖4所示為某一次迭代，優先級最高的待填充面片Patch(1)，顯然是一種特殊面片——在圖中找不到匹配塊。而優先級其次的邊緣面片Patch(n)在當前的RGB顏色空間內相似度約束條件下能找到匹配塊。如果採用文獻5中的方法，不考慮相似度問題，直接用一個相似度小的面片直接填充，會引起人為加工痕跡。(a)是本方法根據相似度調整填充順序的填充過程，(b)是單依靠優先級決定填充順序的填充過程。比較兩者可見，本方法的填充順序更接近於人工修復的順序，即對於圖中所示的目標區域，從上下兩例沿著當前已知曲線的走向逐漸向中間收縮，最後匯於一點。
第三步基於樣圖的紋理合成方法，同時擴展已知的紋理和結構信息採用基於樣圖的紋理合成方法同時擴展已知的紋理和結構信息，過程如下(1)相似性度量準則中加入梯度信息對於紋理性較強的區域來說(如圖5(a)所示，綠色線框內的部分)，採用公式(1)定義的距離作為相似度的判斷準則，就能找到近似的匹配面片。但是，對於圖5(a)中紫色線框內的區域，放大後為圖(b)(c)，該區域有兩種不同走向的連續邊緣線(分別如圖(b)(c)內的黃色線條所標誌的邊緣)，圖(b)藍色線框對應的邊緣面片，權值較高(根據上述權值的計算方法，等照度線平行於中心點的法向量)，最先被填充，保持原始圖像內黃線所標誌的邊緣的連續性，比較容易。但是對於圖(c)天藍色線框所對應的邊緣面片，權值較低(等照度線方向垂直於中心點法向量)，很難保持原始圖像內黃色線段標誌的邊緣線的連續性。為了解決這一問題，本發明引入該線性區域內的另一個突出特徵——梯度信息，相似度的度量準則為顏色和梯度兩個空間的距離，定義如下D=1Ai=1i=A((Cpi-Cqi)2+(Gpi-Gqi)2)---(6)]]>
dmax=1Ap(p)((Cp)2+(Gp)2)---(7)]]>D表示兩個邊緣面片Ψp和Ψq之間的距離，A表示Ψp內已知像素的個數，C表示RGB顏色向量，G表示圖像中亮度梯度向量。dmax表示當前邊緣面片所允許的最大匹配誤差，小於dmax稱為該邊緣面片在顏色和梯度兩個空間的相似度約束條件，ε是一個用戶預定義參數(同文獻2介紹的公式)。
(2)兩重匹配為了提高計算的效率，本發明提出一種新的匹配算法——兩重匹配算法。
第一重，在局部源區域θ內搜索，依據公式(1)和(2)的相似度判斷準則。前面第二步根據相似度調節填充順序過程中查找匹配塊的過程已經完成，這裡，直接將保存的候選項鍊表list作為其輸出，備第二重匹配用。
第二重，將候選項鍊表list作為新的採樣源，按照公式(6)(7)，查找距離小於dmax值的樣圖塊，組成新的候選項鍊表。類似於圖5(a)中綠色方塊區域內紋理性較強的圖像，經過第一重匹配就能獲取相似的面片，但是對於複雜的圖像就需要第二重匹配，獲取更具相似特徵的樣圖面片。
(3)填充在新的候選項鍊表中任意選擇一塊Ψq，Ψp中未知像素的顏色用Ψq中相應像素的顏色來填充。
第四步修改(ΨpIΩ)內像素確信度值從上述的信息擴展過程可知，填充與被填充面片之間只能是在一定範圍內的相似，而不是完全相同，因此有匹配誤差存在，而且隨著修復的進行，累積誤差的增加會引起錯誤信息的蔓延。為反映匹配誤差的影響，本發明設計的像素確信度函數，由兩個因素決定填充時所在邊緣面片的確信度和填充顏色的正確性。邊緣面片確信度函數的定義同公式(3)；填充顏色的正確性函數定義為exp(-kD2)，D的定義同公式(6)，k是一個調節係數。因此，ΨpIΩ內任一像素點的確信度值定義為C(p′)＝C(p)exp(-kD2)p′∈(ΨpIΩ) (8)從公式(8)可知，越靠近Ω的中心部分，被填充的顏色信息正確性越低，像素的確定性值越小，與修復圖像的實際情況相符。
權利要求
1.一種圖像修複方法，其特徵在於包括以下步驟(1)用戶選擇出圖像上待修復的區域；(2)自動修復過程，該自動修復過程是以邊緣面片作為一次迭代填充的單位，重複下面四步，直到填滿整個被修復區域內所有的像素，其步驟如下第一步，計算邊緣上所有面片的優先級；第二步，根據優先級和相似度準則確定本次迭代將填充的邊緣面片；第三步，採用紋理合成方法，同時擴展已知的紋理和結構信息；第四步，更新本次迭代處理的面片內被合成的像素確信度值。
2.根據權利要求1所述的圖像修複方法，其特徵在於第二步所述的確定本次迭代過程將填充的邊緣面片採用的策略是填充順序由優先級和相似度兩個因素決定，優先級是主要因素，相似度是調節因素，其填充過程如下(a)選擇優先級最高的邊緣面片作為當前的待填充面片；(b)在RGB顏色空間內選出滿足該空間相似度約束條件的匹配塊，存儲到一個鍊表裡，如果鍊表非空，則將該邊緣面片確定為本次迭代將填充的面片，否則繼續(c)；(c)將該面片掛起，選擇剩餘邊緣面片中優先級最高的面片，作為當前的待填充面片，回到(b)。
3.根據權利要求1所述的圖像修複方法，其特徵在於第三步所述的採用紋理合成方法，同時擴展已知的紋理和結構信息過程中採用兩重匹配算法第一重，直接利用權利要求2(b)步驟中獲取的鍊表作為本重匹配的輸出結果；第二重，在顏色和梯度兩個空間內，從第一重選出的匹配塊內，選出滿足顏色和梯度兩個空間相似度約束條件的匹配塊。
4.根據權利要求1所述的圖像修複方法，其特徵在於第四步像素的確信度計算方法中採用像素的確信度值由像素被填充時所在的邊緣面片的確信度值和該面片的匹配誤差共同決定。
全文摘要
一種圖像修複方法，由用戶選擇出圖像上待修復的區域後進行自動修復過程，自動修復過程以邊緣面片作為一次迭代填充的單位，重複下面四步，直到填滿整個待修復區域第一步，計算邊緣上所有面片的優先級；第二步，根據優先級和相似度準則確定本次迭代將填充的邊緣面片；第三步，採用紋理合成方法，同時擴展已知的紋理和結構信息；第四步，更新本次迭代處理的面片內被合成的像素確信度值。實驗結果表明，本發明的修復結果優於當前同類修複方法所生成的結果，修復過程更接近於手工修復過程，魯棒性高，有效地防止了錯誤信息的連續擴展，已成功地應用於多種具有複雜紋理和結構特徵的真實照片或合成圖像的修復。此外，本發明也應用於數字博物館中古字畫的修復。
文檔編號G06T5/00GK1731449SQ20051001216
公開日2006年2月8日 申請日期2005年7月14日 優先權日2005年7月14日
發明者趙沁平, 齊越, 沈旭昆, 李便茹 申請人:北京航空航天大學