一種破損圖像自動數位化修復的方法
2023-12-02 10:39:46
專利名稱：一種破損圖像自動數位化修復的方法
技術領域：
本發明屬於計算機虛擬實境和計算機圖形學技術領域，是一種能將局部破損圖像 通過數位化進行自動修復的方法。
背景技術：
數字圖像修復技術是指對那些局部區域內的數據丟失或損壞的數字圖像按照指 定的算法進行填充，以恢復其視覺完整性的一門技術。針對不同的應用場景以及理論基 礎，國內外目前主要存在兩種類型的圖像修復算法。一種是針對缺損尺度比較小的圖像修 補(inpainting)技術；一種是用於填充圖像中大塊丟失信息的圖像補全(completion)技 術。圖像修補技術主要包括兩種方法，一種是基於偏微分方程的修補技術，一種是基於幾何 圖像模型的變分修補技術。基於偏微分方程的修補方法最常見的是由文獻1的Berman F， FoxG,Hey AJG. Grid Computing :Making the Global Infrastructure a Reality[M]. USA John Wiley，2003提出的BSCB模型。BSCB模型的主要思路是利用待修補區域的邊緣信息， 採用一種由粗到精的方法來估計等照度線(isophote)的方向，然後採用一定的方法使得 鄰域已知信息沿著等光照線的方向擴散進入破損區域。該模型針對待修補區域內的像素進 行修復，修補過程中穿插進行擴散。為了保持邊緣銳利性，擴散過程中採取各向同性非線性 擴散方程。BSCB模型對背景紋理變化不大的缺損圖像修復效果較好，但沒有考慮到結構高 頻部分以及紋理特徵，修復過程中產生模糊，修復破損區域較大時對圖像紋理變化處理效 果較差，圖像修復效果模糊。基於幾何圖像模型最典型的算法是文獻2T. Chan and J. Shen, Mathematical Models for Local Non-texture Inpaintings[J], SIAMJ. Appl. Math. ,62-3 (2001), 1019-1043提出的TV模型，該模型通過對代價函數求極小值的方法來處理圖像修補問題。 該算法基本原理為，記D為待修補區域，該區域的邊界δ D分段光滑，E為緊鄰區域D的環 狀區域。TV圖像修補就是在區域E的噪聲約束條件下，通過對區域E U D的整體變分來對 汙損區域D內的像素值進行的最佳猜測。也即尋找EUD區域上一個代價函數，然後通過最 小化該代價函數來實現對圖像的修補。在修補的同時要滿足一定的噪聲約束，這樣既使得 修補區域及其邊界儘可能平滑，又保證對噪聲的魯棒性。該模型對小區域破損圖片修復較 好，較好地保持圖像的邊緣部分。但修復後的圖像連通性差，當破損區域過大時修復較為模 糊且太過突兀。圖像補全技術主要包括兩種方法，一種是基於圖像分解的修復技術，另一種用是 基於塊的紋理合成技術。基於圖像分解的修復最常見的是文獻3BERTALMI0 Μ, SAPIRO G， CASELLES V, et al. Image inpainting[C]//Proc of SIGGRAPH. New York [s.η.],2000 417-4 提出在一幅圖像上同時採用紋理合成和結構修補，該方法同時結合了現有的三種 算法圖像紋理和結構分離、紋理合成、結構修補，具體算法過程是首先用全變分最小化將 圖像的結構部分提取出來，然後用一個震動函數對紋理或噪聲部分建模，當把圖像分解成 這兩個部分以後，再用BSCB模型來修補結構部分，同時用非參數採樣紋理合成技術來填充紋理部分，最後把這兩部分修補的結果疊加起來，形成最終的修補圖像。該算法在圖片大面 積缺損區域補全及裂紋修複方面有著較好的效果。但修復結果與實際相差很多，計算複雜 度過高，處理時間長。基於塊的紋理合成技術的主要思想是，首先從待修補區域的邊界上選取一個像 素點，同時以該點為中心，根據圖像的紋理特徵，選取大小合適的紋理塊，然後在待修補 區域的周圍尋找與之最相近的紋理匹配塊來替代該紋理塊.其中最典型的算法就是文 獻 4 的 A. Crinminisi, P.Perez andK. Toymaa, Region Filling and Object Removal by Exemplar-Based Inpainting[J], IEEE Transactions on image Processing, 2004(Vol. 13，No. 9) :1200-1212採用的一種基於塊的圖像修補算法。Criminisi算法的核 心思想是以目標區域的填充優先順序為基準，在填充待修補區域時，首先根據相應的算法 計算圖片修補邊界上所有塊的優先級，嚴格按照優先級從高到低的順序填充並更新。該算 法的步驟為計算邊界塊優先級，為目標塊選擇最優匹配塊並填充目標塊未知區域，更新置 信度。重複以上步驟直至帶修復塊為空。該算法修復較大面積缺損圖片時存在嚴重的邊界 凹陷問題，對較強邊緣處理較差。
發明內容
本發明的技術解決問題克服現有技術計算速度慢、效率低且對大面積缺損複雜 紋理圖像修復效果不佳的缺點。本發明目的是提供一種魯棒性高，修復效果好的圖像修復 方法。該方法不僅能夠自動修復具有複雜紋理和結構特徵大面積缺損圖像，且能夠很好的 保持圖像的邊緣和線條特徵。本發明是一種破損圖像數字自動化修復的新方法，該方法的步驟如下(1)用戶通過人工交互的方法確定出圖像中的缺損區域。(2)已知圖像區域的邊緣輪廓線為填充前緣。算法以填充前緣上每一個像素點為 中心所對應的像素塊為基本處理單位的，稱為待修復塊。根據待修復塊的未知塊比例，線性 特徵以及曲率計算出填充前緣各像素的優先級。按照優先級的從高到低的順序依次壓入處 理隊列。根據FCFS(先來先服務)原則選擇一個像素完成修復。隊列中像素修復完畢後， 自動重新確定填充前緣，直到填滿整個待修復區域內的所有像素。(3)對選定像素修復的步驟如下第一步，確定該像素是否已被修復。若未修復執行下列步驟，否則不執行任何操 作。第二步，填充待修復塊前，在已知區域中尋找與其最類似的樣本塊。對樣本塊的匹 配採用歐式距離和基於矩陣相似度兩種方式自動選擇進行。當待修復塊中的待修復像素比 例超過閾值時，採用歐式距離算法匹配樣本塊。否則使用基於矩陣相似度算法進行匹配。第三步，用搜索出的樣本塊對待修復塊進行填充。對填充前緣像素為中心的待修 復塊中各像素的修復狀態進行更新。對隊列信息進行更新。具體步驟如下(1)對數字圖像預處理，用手工交互方法，確定破損的待修復區域；(2)獲取已知圖像區域的邊界點，生成填充前緣。若填充前緣為空，代表已經沒有 待修復區域，整個修復過程結束；若填充前緣不為空則繼續執行第(3)步；
(3)計算填充前緣各像素的優先級，並按照優先級由高到低的順序壓入隊列；(4)取出隊首元素，若隊首為空，則代表隊列中像素都修復完畢，執行第⑵步；若 不為空則繼續向下執行；(5)判斷此隊首元素對應像素是否已經被修復，若已經被修復，則執行第(4)步； 若未被修復則繼續向下執行；(6)計算該像素為中心的待修復塊中未知像素的比例；若比例大於等於閾值則執 行第(7)步；若比例小於閾值則執行第(8)步；(7)在已知圖像區域內，對待修復塊用基於矩陣歐氏距離算法搜索最佳匹配塊，然 後執行第(9)步；(8)在已知圖像區域內，對待修復塊用基於矩陣相似度算法搜索最佳匹配塊，然後 執行第(9)步；(9)用匹配得到的最佳匹配樣本塊，填充待修復塊中未修復的部分；(10)對待修復像素塊中各像素的置信度進行更新，然後執行第(4)步。本發明的技術效果如下對於破損圖像提供了有效的自動數位化修複方法，可以修復大面積缺損複雜紋理 圖像(如圖3、圖4和圖5所示)，克服了現有修複方法只能修復「細線」狀破損區域，或修 復大面積缺損時存在邊界凹陷問題的缺點。本發明現已成功應用於唐墓壁畫的修復。
圖1示出本發明中所涉及的符號定義。圖2示出本發明具體實施方式
的流程圖。圖3示出用本發明方法進行圖像修復的實例。圖4示出用本發明方法進行圖像修復的實例。圖5示出用本發明方法進行圖像修復的實例。
具體實施例方式首先，定義一些符號，如圖1所示。一個圖I，Ω是要修補的區域(也就是目標區 域)，由用戶指定，形狀可以是任意。Φ是已知的區域(也就是源區域)，該區域為我們的 修補區域提供了樣本。δ Ω是Φ和Ω的Φ —側邊界，S卩δ Ω上所有點都是已知的，稱 為填充前緣。Ψρ是以點pe δ Ω為中心的目標塊，稱為待修復塊。待修復塊的大小可以 人為確定，窗口過大會導致紋理的缺失，窗口過小會導致修復圖像的不連續。ηρ是填充前緣 δ Ω上ρ點的法向量，V^代表ρ點的等照亮線(方向和強度)。本發明中默認為9X9，其 理論值應該稍大於圖像可識別的紋理元素的大小。參閱圖2的流程圖，該發明的詳細修復過程如下第一步計算填充前緣各像素的優先級獲取當前狀態的填充前緣，計算當前填充前緣的各像素的優先級。各像素的優先 級由其對應的待修復塊的置信度、等照線信息以及曲率共同決定。置信度待修復塊中位於樣本區域的像素點比例越高，即已填充好的像素點多，這 個修補塊的置信度就會高。也即修復過程更傾向於先修復能夠保持已有圖像信息的置信度最高的像素點。等照線信息等照線強度越大、等照線與法向量之間的夾角越小，圖像線性結構的 部分的優先級就會越高，圖像在修復紋理的同時能擴散圖像結構。曲率曲率信息的加入是為了信息能夠沿著等照度線的方向去擴散。它反映的是 等照線的幾何信息。優先級的計算方式如下每一個待修復塊Ψρ(ρ e δ Ω)的優先權P(P)，由置信度 函數C(p)和等照線函數D(p)決定，其中等照線函數D(p)中包含了曲率信息Κρ。p(p) = C(p) *D (ρ) (1)；
權利要求
1.一種破損圖像自動數位化修複方法，其特徵在於，包括以下步驟(1)用戶通過人工交互的方法確定出圖像中的缺損區域；(2)已知圖像區域的邊緣輪廓線為填充前緣；算法以填充前緣上每一個像素點為中心 所對應的待修復塊為基本處理單位的；根據待修復塊的置信度，等照線信息以及曲率計算 出填充前緣各像素的優先級；按照優先級的從高到低的順序依次壓入處理隊列；根據先來 先服務原則選擇一個像素完成修復；隊列中像素修復完畢後，自動重新確定填充前緣，直到 填滿整個待修復區域內的所有像素；(3)對選定像素修復的步驟如下第一步，確定該像素是否已被修復；若未修復執行下列步驟，否則不執行任何操作； 第二步，填充待修復塊前，在已知區域中尋找與其最類似的樣本塊；對樣本塊的匹配採 用歐式距離和基於矩陣相似度兩種方式自動選擇進行；當待修復塊中的待修復像素比例超 過閾值時，採用歐式距離算法匹配樣本塊；否則使用基於矩陣相似度算法進行匹配；閾值 默認為1/4，對於紋理較複雜的圖像可適當降低，對於紋理簡單的圖像可適當增加；第三步，用搜索出的樣本塊對待修復像素塊進行填充；對待修復像素塊中各像素的修 復狀態和置信度進行更新；對隊列信息進行更新。
2.根據權利要求1所述的修複方法，其特徵在於步驟( 填充前緣各像素的修復優 先級是由其對應待修復塊的置信度，等照線信息以及曲率共同決定；像素點P的修復優先 級P(P) =C(p)*D(p)，由置信度函數C(p)和等照線函數D(p)決定，其中等照線函數D(p)中包含了曲率信息Kp;置信度函數
3.根據權利要求1所述的修複方法，其特徵在於步驟C3)對樣本塊的匹配採用歐式 距離和基於矩陣相似度兩種方式自動選擇進行；當待修復塊中的待修復像素比例超過閾值 時，採用歐式距離算法匹配樣本塊；否則使用基於矩陣相似度算法進行匹配；基於歐氏距離匹配策略是計算待修復塊Ψρ中的已知像素集與樣本塊中對應位置 像素集的歐氏距離；在已知圖像區域內全局比較，選擇歐氏距離最小的樣本塊為最佳匹配 樣本塊；基於矩陣相似度匹配策略是對待修復塊Ψρ中的未知像素，用樣本塊中與對應位 置的像素進行填充形成一個新的中間待修復塊Ψρ,，然後計算Ψρ,與之間的矩陣相似 度r ；在已知圖像區域內全局比較，選擇矩陣相似度r最大的樣本塊Ψ,,為最佳匹配樣本塊ψ,。
4. 一種破損圖像自動數位化修複方法，其特徵在於，按照如下步驟(1)對數字圖像預處理，用手工交互方法，確定破損的待修復區域；(2)獲取已知圖像區域的邊界點，生成填充前緣。若填充前緣為空，代表已經沒有待修 復區域，整個修復過程結束；若填充前緣不為空則繼續執行第(3)步；(3)計算填充前緣各像素的優先級，並按照優先級由高到低的順序壓入隊列；(4)取出隊首元素，若隊首為空，則代表隊列中像素都修復完畢，執行第(2)步；若不為 空則繼續向下執行；(5)判斷此隊首元素對應像素是否已經被修復，若已經被修復，則執行第(4)步；若未 被修復則繼續向下執行；(6)計算該像素為中心的待修復塊中未知像素的比例；若比例大於等於閾值則執行第 (7)步；若比例小於閾值則執行第⑶步；(7)在已知圖像區域內，對待修復塊用基於矩陣歐氏距離算法搜索最佳匹配塊，然後執 行第(9)步；(8)在已知圖像區域內，對待修復塊用基於矩陣相似度算法搜索最佳匹配塊，然後執行 第⑶步;(9)用匹配得到的最佳匹配樣本塊，填充待修復塊中未修復的部分；(10)對待修復像素塊中各像素的置信度進行更新，然後執行第(4)步。
全文摘要
本發明公開了一種破損圖像自動數位化修復的方法，其步驟如下(1)通過人工交互確定圖像的缺損區域；(2)已知圖像區域的邊緣輪廓線為填充前緣。根據置信度、等照線信息以及曲率計算出填充前緣各像素的優先級。按照優先級降序依次壓入處理隊列，並根據先來先服務原則選擇一個像素完成修復。隊列中像素修復完畢後，重新確定填充前緣進行修復，直到填滿整個待修復區域；(3)對選定像素的修復，自動選擇歐式距離算法或基於矩陣相似度算法，在已知區域中匹配與其為中心的待修復塊最類似的樣本塊。用匹配的樣本塊對待修復塊進行填充。該方法可以修復大面積缺損複雜紋理圖像，修復效果優於當前同類修複方法。本發明已成功應用於唐墓壁畫的修復。
文檔編號G06T5/00GK102117481SQ201110064689
公開日2011年7月6日 申請日期2011年3月17日 優先權日2011年3月17日
發明者伍衛國, 吳浩, 秦江 申請人:西安交通大學