結合破損塊形狀和鄰域分類的唐卡圖像修複方法

2023-05-30 09:34:36 1

專利名稱：結合破損塊形狀和鄰域分類的唐卡圖像修複方法
結合破損塊形狀和鄰域分類的唐卡圖像修複方法技術領域
結合破損塊形狀和破損塊鄰域分類的唐卡圖像修複方法屬於數字圖像修復領域。
技術背景
所謂結合破損塊形狀和鄰域分類的唐卡圖像修複方法，就是計算機利用一種數位化儀對圖像上信息缺損的部分，按照合理的規則，自動的用未破損區域的信息對原圖中的損壞部分進行填充以達到良好視覺效果的技術。唐卡圖像修復是一個實際應用問題，在文化遺產保護等方面具有重要的實際意義和理論價值。
數字圖像修復技術是目前計算機視覺領域的研究熱點，一個重要的應用是文化遺產、藝術品的虛擬修復。我國的唐卡作為一種活態文化和重要的非物質文化遺產，不僅是雪域高原上的絢麗奇葩，而且其厚重的歷史意蘊、深邃的宗教思想、百科全書式的藏文化內涵，成為今天研究藏族歷史、民族、民俗、宗教和繪畫藝術等方面極其重要的實物資料，眾多珍品獨一無二。但歷經滄桑，損毀嚴重，亟待搶救整理。毫無疑問，提高計算機對文化遺產、 藝術品及圖像智能信息處理能力有極為重要的價值。目前國際上關於數字圖像修復的技術主要有兩類基於結構的修複方法和基於紋理的修複方法。基於結構的修復是通過信息的擴散對等照線進行由粗到精的估計，最終實現圖像修復的過程。幾種常見模型諸如 BSCB (BertaliuiO-Sapiro-Casel Ies-Bel lesterTV ( Total Variation) 模型和CDD (Curvature Driven Diffusions)模型等，這些模型對劃痕、摺痕等小尺度的破損有較好的修復效果，但是對紋理較強的破損區域卻得不到好的修復，而且修復較大區域時容易引起模糊效應。另一類就是基於紋理的修復，該方法採用紋理合成技術填充丟失的信息，適合於較大塊信息丟失的圖像修復。基於紋理的修復又可以分為基於分解的圖像修復和基於紋理合成的修復。基於分解的修復，其基本思想是先將待修復圖像分解為結構部分和紋理部分，其中結構部分用基於結構的算法修復，而紋理部分用紋理合成技術修復， 最後合成兩部分就可以得到修復完整的圖像。該方法雖然能夠同時修復圖像的結構部分和紋理部分，但是由於其過程複雜、修復效率不高和圖像分解易受噪聲影響等缺陷，使得其應用並不太廣泛。還有基於樣本塊的紋理修復技術，該方法首先從待修補區域的邊緣上選取一個像素點，根據圖像的紋理特徵選取大小合適並以該點為中心的塊，然後在待修補區域的周圍尋找與之最相近的紋理匹配塊來替代該塊，對較大塊的破損區域有一定的修復效果。總之，現有的圖像修複方法都是面向具體對象的，每種算法都有一定的適用性和局限性。圖像修復還沒有統一的方法解決所有的破損圖像修復問題。且唐卡圖像的畫面和破損情況都很複雜，目前還沒有專門的用於唐卡圖像的修復技術和實用的修複方法。發明內容
本發明的目的是解決破損唐卡的數字圖像修復問題，提供一種適用於多種唐卡圖像的結合破損塊形狀和破損塊鄰域分類的唐卡圖像修複方法，該方法可以修復各類線狀和塊狀，以及各類破損鄰域的唐卡圖像，修復各類破損形式如劃痕、摺痕和脫落等，修復速度快、效率高。
為了實現上述目的，本發明的技術方案是一種結合破損塊形狀和鄰域分類的唐卡圖像修複方法，其特徵是根據破損塊形狀、破損塊鄰域的信息以及現有的修復算法特點等，自動選擇合適的算法修復破損唐卡圖像。主要包括第一，對破損塊形狀分類；首先使用現有的分水嶺方法分割待修復圖像，並對破損區域中各個破損塊的形狀分為線狀和塊狀，實現破損塊形狀分類；第二，對破損塊的鄰域分類；採用灰度共生矩陣提取鄰域塊的二階統計信息，通過灰度共生矩陣提取反應紋理的各種特徵，並對特徵進行高斯歸一化，採用現有的K近鄰法將鄰域塊分為紋理塊和非紋理塊，實現破損塊鄰域的分類；第三，對破損塊修復；結合修復算法的特點、破損塊的形狀和破損塊鄰域的類型制定算法的選擇規則，實現破損區域的自動修復，具體步驟如下a.對破損塊形狀分類通過分水嶺分割方法和區域合併，將破損區域分割出來；其中分水嶺圖像分割分為排序過程和浸水過程。
a. 1分水嶺圖像分割分水嶺圖像分割分為兩個步驟排序過程和浸水過程。
排序過程和浸水過程是在梯度圖像上進行的，對梯度圖像每個像素點的值按照由低到高的順序排序，灰度值為h的像素點劃分為一層，稱h階高度，其中h在0到255之間，具體過程分為以下4步a. 1.1計算原圖像的梯度圖像； a. 1. 2計算梯度圖像的累積直方圖；a. 1. 3根據累積直方圖對梯度圖像的像素值進行由低到高的排序； a. 1. 4從低到高實現浸水過程，對每一個局部極小值在h階高度的影響域採用先進先出結構進行判斷及標註。
a. 2區域合併排水和浸水過程形成了初始的分割區域，再將小區域合併到與其空間相鄰顏色相近的區域，然後根據顏色信息和空間信息合併到顏色相近、空間相鄰的區域； a. 2. 1小區域的合併a. 2. 1. 1將原圖像從RGB空間轉換到LUV空間；a. 2. 1. 2計算初始分割區域的LUV均值；a. 2. 1. 3獲取各個分割區域的鄰域；a. 2. 1. 4把小區域合併到與其空間相鄰、顏色相近的區域；a. 2. 1. 5更新各個小區域的LUV均值和鄰域信息，直至分割區域中不存在面積小於閾值唚的/」區域；a. 2.2顏色相近、空間相鄰區域的合併a. 2. 2. 1在LUV空間計算每一個小區域與其鄰域的平方誤差；a. 2. 2. 2判斷平方誤差中是否存在小於閾值[的鄰域，如果存在，則將當前小區域合併到平方誤差最小的區域，並更新各個區域的LUV均值和鄰域信息；否則不做任何操作； a. 2. 2. 3反覆進行合併操作，直至沒有可合併的區域；a. 3破損塊形狀分類 a. 3. 1獲取破損塊通過破損區域分割，就可以得到一幅圖像的掩膜圖像，其中破損區域每個像素點用1 表示，非破損區域每個像素點用0表示。通過區域生長來獲取破損塊，具體獲取算法如下 a. 3. 1. 1沿掃描線方向掃描掩膜圖像，初始化破損塊標記= 2 ； a. 3. 1. 2若像素點的值為1，則該點入隊列並將該點值更新為SlgW ； a. 3. 1.3彈出隊列首元素，進行四鄰域或八鄰域區域生長，如果鄰域像素點值為1，則入隊列，同樣將其值更新為S運《,否則不做處理，直到隊列為空；a. 3. 1. 4 sign的值加1，重複a. 3. 1. 2、a. 3. 1. 3直到掃描完整幅圖像為止； 通過上述過程得到了破損塊標記的圖像，即掩膜圖像中像素值為1、像素值為2、…、像素值為k的像素點的集合為破損塊。
a. 3. 2提取破損塊形狀特徵a. 3. 2. 1統計沿水平掃描線方向破損塊的最大連續寬度像素點的數量，獲得破損塊的最大寬度Mw ；a.3. 2. 2統計沿掃描線垂直方向破損塊的最大連續高度像素點的數量，獲得破損塊的最大高度Mk ；破損塊面積是破損塊中破損像素點的數量。
a. 3.3破損塊形狀分類本發明採用線性分類器對破損塊進行分類。線性分類器如式(1)所示，式(1) /(χ) = Hiin(MwfMA) - T式中Mw表示破損塊的最大寬度，Aft表示破損塊的最大高度，mm表示取Mw和Mfe兩者中的較小的一個，了是非紋理結構的方法能夠修復破損塊的最大寬度；當時表示破損塊為線狀；當/(》2O時表示破損塊為塊狀；b.破損塊的鄰域分類圖像分割能將圖像劃分為互不相交的區域，如果要對破損塊的鄰域分類，就必須獲取這些鄰域的紋理信息。破損塊鄰域有下述狀況破損塊周圍都是紋理區域；破損塊周圍都是非紋理區域；破損塊周圍是混合區域，也就是既有紋理區域又有非紋理區域。
b. 1破損塊的鄰域獲取方法b. 1. 1獲取分割後標記圖像中破損塊的外邊緣標記，外邊緣為非破損像素點，內邊緣為破損像素點；b. 1. 2剔除重複的邊緣標記，剩餘的標記個數即破損塊的鄰域塊數量； 剔除破損塊標記的方法如下b. 1. 2. 1根據破損塊標記圖像的待修復破損塊，找到分割圖像的對應區域； b. 1. 2. 2統計分割圖像對應區域的各個標記數量，找出數量最多的標記，數量最多的標記被默認為分割圖像的破損塊標記；b. 1. 2. 3判斷該標記是否存在於破損塊邊緣標記中，如果存在於破損塊邊緣標記中， 則刪除；否則不做任何處理。
b. 1.3以剩餘標記為種子標記，使用區域生長法獲取破損塊在標記圖像中的鄰域塊。
b. 2提取鄰域塊特徵目前的圖像修復算法分為紋理結構的修復算法和非紋理結構的修復算法。因此把破損塊鄰域分為紋理塊和非紋理塊，以選取相應的算法修復破損圖像。
b. 2.1提取紋理特徵使用灰度共生矩陣的方法提取圖像的二階統計信息，進而提取圖像的紋理特徵； b. 2. 1. 1灰度共生矩陣設/0.>')為一幅二維數字圖像，灰度級別為Afg，則滿足一定空間關係的灰度共生矩陣大小為，數學定義如式⑵所示，式⑵
權利要求
1. 一種結合破損塊形狀和鄰域分類的唐卡圖像修複方法，其特徵是根據破損塊形狀、破損塊鄰域的信息以及現有的修復算法特點等，自動選擇合適的算法修復破損唐卡圖像；主要包括第一，對破損塊形狀分類；首先使用現有的分水嶺方法分割待修復圖像，並對破損區域中各個破損塊的形狀分為線狀和塊狀，實現破損塊形狀分類；第二，對破損塊的鄰域分類；採用灰度共生矩陣提取鄰域塊的二階統計信息，通過灰度共生矩陣提取反應紋理的各種特徵，並對特徵進行高斯歸一化，採用現有的K近鄰法將鄰域塊分為紋理塊和非紋理塊，實現破損塊鄰域的分類；第三，對破損塊修復；結合修復算法的特點、破損塊的形狀和破損塊鄰域的類型制定算法的選擇規則，實現破損區域的自動修復，具體步驟如下 a.對破損塊形狀分類通過分水嶺分割方法和區域合併，將破損區域分割出來；其中分水嶺圖像分割分為排序過程和浸水過程；a. 1分水嶺圖像分割分水嶺圖像分割分為兩個步驟排序過程和浸水過程；排序過程和浸水過程是在梯度圖像上進行的，對梯度圖像每個像素點的值按照由低到高的順序排序，灰度值為h的像素點劃分為一層，稱h階高度，其中h在0到255之間，具體過程分為以下四步a. 1.1計算原圖像的梯度圖像； a. 1. 2計算梯度圖像的累積直方圖；a. 1. 3根據累積直方圖對梯度圖像的像素值進行由低到高的排序； a. 1. 4從低到高實現浸水過程，對每一個局部極小值在h階高度的影響域採用先進先出結構進行判斷及標註； a. 2區域合併排水和浸水過程形成了初始的分割區域，再將小區域合併到與其空間相鄰顏色相近的區域，然後根據顏色信息和空間信息合併到顏色相近、空間相鄰的區域； a. 2. 1小區域的合併a. 2. 1. 1將原圖像從RGB空間轉換到LUV空間；a. 2. 1. 2計算初始分割區域的LUV均值；a. 2. 1. 3獲取各個分割區域的鄰域；a. 2. 1. 4把小區域合併到與其空間相鄰、顏色相近的區域；a. 2. 1. 5更新各個小區域的LUV均值和鄰域信息，直至分割區域中不存在面積小於閾值ζ的小區域；a. 2.2顏色相近、空間相鄰區域的合併a. 2. 2. 1在LUV空間計算每一個小區域與其鄰域的平方誤差；a. 2. 2. 2判斷平方誤差中是否存在小於閾值T^的鄰域，如果存在，則將當前小區域合併到平方誤差最小的區域，並更新各個區域的LUV均值和鄰域信息；否則不做任何操作； a. 2. 2. 3反覆進行合併操作，直至沒有可合併的區域； a. 3破損塊形狀分類 a. 3. 1獲取破損塊通過破損區域分割，就可以得到一幅圖像的掩膜圖像，其中破損區域每個像素點用1 表示，非破損區域每個像素點用0表示；通過區域生長來獲取破損塊，具體獲取算法如下a. 3. 1. 1沿掃描線方向掃描掩膜圖像，初始化破損塊標記= 2 ；a. 3. 1. 2若像素點的值為1，則該點入隊列並將該點值更新為J'igM ； a. 3. 1.3彈出隊列首元素，進行四鄰域或八鄰域區域生長，如果鄰域像素點值為1，則入隊列，同樣將其值更新為力爐 ，否則不做處理，直到隊列為空；a. 3. 1. 4 _的值加1，重複a. 3. 1. 2、a. 3. 1. 3直到掃描完整幅圖像為止；通過上述過程得到了破損塊標記的圖像，即掩膜圖像中像素值為1、像素值為2、…、像素值為k的像素點的集合為破損塊； a. 3. 2提取破損塊形狀特徵a. 3. 2. 1統計沿水平掃描線方向破損塊的最大連續寬度像素點的數量，獲得破損塊的最大寬度Mw ；a. 3. 2. 2統計沿掃描線垂直方向破損塊的最大連續高度像素點的數量，獲得破損塊的最大高度Mf ；破損塊面積是破損塊中破損像素點的數量；a.3. 3破損塊形狀分類本發明採用線性分類器對破損塊進行分類，線性分類器如式(1)所示，式(1)f(x) = niin(Mv3A#) — T式中表示破損塊的最大寬度，表示破損塊的最大高度，min表示取Aiw和ΑΛ兩者中的較小的一個，Γ是非紋理結構的方法能夠修復破損塊的最大寬度；當/(Al+cO時表示破損塊為線狀；當時表示破損塊為塊狀；b.破損塊的鄰域分類圖像分割能將圖像劃分為互不相交的區域，如果要對破損塊的鄰域分類，就必須獲取這些鄰域的紋理信息，破損塊鄰域有下述狀況破損塊周圍都是紋理區域；破損塊周圍都是非紋理區域；破損塊周圍是混合區域，也就是既有紋理區域又有非紋理區域； b. 1破損塊的鄰域獲取方法b. 1. 1獲取分割後標記圖像中破損塊的外邊緣標記，外邊緣為非破損像素點，內邊緣為破損像素點；b. 1. 2剔除重複的邊緣標記，剩餘的標記個數即破損塊的鄰域塊數量； 剔除破損塊標記的方法如下b. 1. 2. 1根據破損塊標記圖像的待修復破損塊，找到分割圖像的對應區域； b. 1. 2. 2統計分割圖像對應區域的各個標記數量，找出數量最多的標記，數量最多的標記被默認為分割圖像的破損塊標記；b. 1. 2. 3判斷該標記是否存在於破損塊邊緣標記中，如果存在於破損塊邊緣標記中， 則刪除；否則不做任何處理；b. 1. 3以剩餘標記為種子標記，使用區域生長法獲取破損塊在標記圖像中的鄰域塊；b. 2提取鄰域塊特徵目前的圖像修復算法分為紋理結構的修復算法和非紋理結構的修復算法；因此把破損塊鄰域分為紋理塊和非紋理塊，以選取相應的算法修復破損圖像； b. 2. 1提取紋理特徵使用灰度共生矩陣的方法提取圖像的二階統計信息，進而提取圖像的紋理特徵； b. 2. 1. 1灰度共生矩陣設/(U)為一幅二維數字圖像，灰度級別為Afe，則滿足一定空間關係的灰度共生矩陣大小為MgxMg，數學定義如式⑵所示，式⑵P . 'J) —Is其中，符號前加#號表示滿足某種條件的像素點頻數，Cx1,只)和Oc2，J2)分別表示像素點的空間坐標；符號e表示屬於，S表示具有某種空間關係的像素對集合；1和』分別表示像素點的灰度值；把角二階矩、對比度、相關性、熵和逆差矩作為紋理特性，具體計算方法如下 b. 2. 1. 2角二階矩Ng-INg-I角二階矩的計算如式⑶所示，式⑶F1 = i ^YdP2(Ij)『反映了圖像局i=0 J=OPi部均勻性，該值越大，表明紋理圖像越均勻；否則表明圖像有很多過渡灰度級； b. 2. 1. 3對比度Ng-I Ng-Wg-I對比度的計算如式⑷所示，式⑷F1 = Yn2 V YpdJ)；反映圖像3=0 i=0 j=0F2的局部變化量，對於粗紋理的值較小；而對細紋理27的值較大；對於均勻圖像"的值為0;b. 2. 1. 4相關性相關性的計算如式(5)所示，式(5) =2^ Z^-T^——-=0 ；=0σχσγ度共生矩陣中行和列之間相似程度的度量，反映灰度的線性依賴關係； b. 2. 1. 5 熵JVg-Wg-I熵的計算如式(6)所示，式(6) F4 = - V V /7( /; ;)lg p(ij)；反映紋理的複雜程度，越複雜其紋理熵越高，否則傾向於低熵； b. 2. 1. 6逆差矩Ng-Wg-I/ . a逆差矩的計算如式⑵所示，式(7) R- = y y ^廠。丄,；是灰度J 二臺[l + (/ —J·)2] F5共生矩陣對比度的逆，測量圖像的局部一致性；如果圖像接近均勻，逆差矩趨向於1 ；分別計算四個方向0度、45度、90度和135度上灰度共生矩陣的上述角二階矩、對比度、相關性、熵和逆差矩五個紋理特性度量值，然後取其期望和方差作為最終特徵值； b. 3特徵歸一化特徵歸一化按高斯歸一化公式如式(8)所示uFij — uFj + ι式(8):、" .；它能夠將特徵歸一化到區間；NiU^) =---、^JJοHZltFij(0』1)b.4破損塊鄰域分類以鄰域塊的特徵提取為基礎，進行破損塊鄰域分類；本發明採用K近鄰法對鄰域進行分類；設有M個訓練樣本，其中N1個屬於紋理,類，^T2個屬於非紋理￡1 類；現有一個未知類別的樣本X，要判斷它所屬的類別；用K近鄰法就是計算該樣本特徵與M個訓練樣本特徵之間的距離，並將距離從小到大排序，然後取其中較小的K個，K為奇數，最後根據這K個訓練樣本的類別標記進行投票，得到未知樣本的類別標記；投票方法是如果這K個訓練樣本中類的數量多則X屬於CO1, @類的數量多則屬於戰取尤二9 ；c.修復破損塊 c. 1建立算法庫將現有的基於樣本塊的圖像修復算法命為算法1，基於樣本的紋理合成算法命為算法2，Oliveira模型表示的算法命為算法3，CDD模型或TV模型的算法命為算法4，將4 個算法作為破損塊的修復算法序列；c. 2根據破損塊形狀和破損塊分類選擇算法並進行修復 c. 2. 1根據破數塊鄰域的破損塊分類同質非紋理破損塊的定義如果破損塊的鄰域塊只有1個且為非紋理鄰域塊，則破損塊中不存在邊緣，稱這種破損類型為同質非紋理破損；異質非紋理破損塊的定義如果破損塊的鄰域塊多於1個，且都為非紋理鄰域塊，則破損塊中存在邊緣，稱這種破損類型為異質非紋理破損；混合型破損塊的定義如果破損塊的鄰域塊多於1個，且同時存在非紋理塊和紋理破損塊，則破損塊中存在邊緣，稱這種破損類型為混合型破損；同質紋理破損塊的定義如果破損塊的鄰域塊只有1個且為紋理塊，則破損塊中不存在邊緣，稱這種破損類型為同質紋理破損；異質紋理破損塊的定義如果破損塊的鄰域塊多於1個，且都為紋理塊，則破損塊中存在邊緣，稱這種破損類型為異質紋理破損； c. 2. 2算法選擇與修復根據破損塊數量重複進行以下步驟 c. 2. 2. 1破損塊為線狀若破損塊鄰域為異質紋理破損或混合性破損，選擇算法1進行修復；若破損塊鄰域為同質紋理破損，選擇算法2進行修復；若破損塊鄰域為同質非紋理破損，選擇算法3進行修復；若破損塊鄰域為異質非紋理破損，選擇算法4進行修復； c. 2. 2. 2破損塊為塊狀若破損塊鄰域為異質紋理破損、混合性破損或異質非紋理破損，選擇算法1進行修復； 若破損塊鄰域為同質紋理破損或同質非紋理破損，選擇算法2進行修復； 當標記破損塊數量的數值小於或者等於零時，整個修復過程結束。
全文摘要
結合破損塊形狀和鄰域分類的唐卡圖像修複方法，根據破損塊形狀、破損塊鄰域的信息以及現有的修復算法特點等，自動選擇合適的算法修復破損唐卡圖像。主要包括首先使用分水嶺方法分割待修復圖像，對破損區域中各個破損塊的形狀分為線狀和塊狀，實現破損塊形狀分類；採用灰度共生矩陣提取鄰域塊的二階統計信息，通過灰度共生矩陣提取反應紋理的各種特徵，並對特徵進行高斯歸一化，採用現有的K近鄰法將鄰域塊分為紋理塊和非紋理塊，實現破損塊鄰域的分類；結合修復算法的特點、破損塊的形狀和破損塊鄰域的類型制定算法的選擇規則，實現破損區域的自動修復。本發明適用於修復各類線狀、塊狀，以及各類破損鄰域的唐卡數字圖像，修復速度快、效率高。
文檔編號G06T11/00GK102509319SQ201110320658
公開日2012年6月20日 申請日期2011年10月20日 優先權日2011年10月20日
發明者盧小寶, 王維蘭, 胡文瑾 申請人:西北民族大學