基於顏色紋理散度的遙感影像修複方法
2023-07-20 03:04:41 2
專利名稱：基於顏色紋理散度的遙感影像修複方法
技術領域：
本發明涉及遙感影像破損、遮掩目標信息的修復，該方法綜合利用了遙感技術、計算機視覺、模式識別相關理論，屬於技術領域測繪科學與技術。
背景技術：
為繪製複雜場景真實感圖形，紋理映射是最為常用的技術，它可以通過紋理來表達表面豐富的幾何細節和光照細節，甚至可以通過映射後紋理的變形來表達物體的幾何形狀。但紋理映射通常只能在紋理空間和表面參數空間進行一對一的映射。由於採樣區域的局限性，所獲取的紋理樣本通常為小塊紋理，若將小塊紋理映射到大的曲面上將導致映射後表面紋理模糊不清，若採用重複映射技術則出現表而紋理接縫走樣等問題。紋理合成是為了解決此問題而提出的，對樣本紋理的重建和再組織，紋理合成產生了與輸入紋理「相像」的紋理。基於樣圖的紋理合成，是近幾年迅速發展起來的一種新的紋理合成技術，它基於給定的小區域紋理樣本，按照表面的幾何形狀，利用各種紋理合成算法拼合生成整個曲面的紋理，因而它在視覺上是相似而連續的。基於樣圖的紋理合成技術克服傳統紋理映射方法的缺點，成為計算機圖形學、計算機視覺和影像處理領域的研究熱點之一。基於點的紋理合成算法往往合成結果的結構不完整。目前常用的改善合成質量的方法使用伴隨紋理、更加準確的相似性衡量標準、最優路徑縫合、影像分割等。
影像修復是指恢復影像中破損區域的紋理和顏色信息，或者去除影像中多餘的物體，使得修復後的影像在視覺效果上仍舊和修復前的影像比較一致的一種技術。從數學角度來看，影像修復就是要根據待修補區域周圍的信息將影像填充到待修補區域中。然而，影像修補通常是一個病態問題，因為目前仍沒有足夠的信息可以保證能唯一正確地恢復被損壞部分，所以，人們從視覺心理學的角度進行分析，提出了各種假設限定用來解決這個問題。目前的影像修復技術主要有兩類基於顏色擴散和偏微分方程的修復技術，基於紋理合成的修復技術。基於擴散的修復的方法利用物理學中計算熱流的偏微分方程來做影像修復，通過求解偏微分，計算出要填補的空洞處的線性結構(在影像修復中稱作等值線)，然後通過擴散把周圍的顏色填入空洞中。對去除影像中的裂縫、汙點和覆蓋在影像上的文字有比較好的效果。主要缺點是會使填補的部分產生一定的模糊，而且填補的空洞越大，模糊的效果越明顯，不能對很大的空洞進行修復，或去除影像中比較大的物體。Nitzberg提出採用影像分割的方法來去除遮蔽物，在同灰度級別處用有彈性的按最小值估計的曲線連接T型接點。但該方法只能處理簡單的影像，不適合複雜的自然影像。Masnou改進了用於去除遮蔽物的通用變分公式，通過短程的曲線來連接到達待填充的邊界區域的等照度線的接點來實現修復，但存在著要求待修補區鄰域的拓撲關係簡單和直線連接的缺點。紋理合成採用MRF模型，根據結果圖中當前待合成像素點的鄰域(或當前待合成紋理塊的邊界)，在樣本圖中搜索所有像素(或紋理塊)，得到具有匹配鄰域的像素點(或具有匹配邊界的紋理塊)，將其作為當前待合成像素點(或紋理塊)的最佳近似合成到結果圖中。MRF模型認為紋理具有局部統計特徵，即紋理中的任一部分都可以由其周圍部分(即鄰域)完全決定。基於紋理合成的影像補全技術不但可以填充任意大小的丟失塊，還可以修復破損部分的細節。其基本思想是將待修復區域周圍的影像作為樣圖，首先在影像需要填充的區域邊界上任選一像素點，並以該點為中心，設定一定大小的模板，然後在樣圖內按照某種準則，尋找一個與該模板最為匹配的塊；最後用最優匹配塊填充模板，將其合成到待修復區域內.這類方法適用於較大區域的修復。基於紋理合成的修復關鍵之一是如何恢復原始影像的場景光照信息以及其原始幾何信息，但恢復光照和反求幾何在計算機視覺中都是非常困難的問題，因而部分方法通過對反求條件的近似來模擬紋理由於原始幾何而導致的變形效果。Criminisi Perez等採用基於塊的影像修補算法，認為在多種紋理並存的影像上，修補的順序十分重要，一般不同紋理的交界處是一些線性的結構，如果能優先修補這些地方，結構信息就能比較好的保持下來。影像缺損區域記為Ω，影像已知區域記為Φ，填充區域邊界線記為
(當前處理的前沿像素)。假設目前需要對
上的一個點p的鄰域窗口進行填補，由於p正好位於影像邊緣結構線上，當從影像已知區域搜索最佳匹配塊時，該匹配塊的中心也必然會落在影像邊緣結構線上，即p′點。可以將p′點的影像塊鑲嵌到p點，完成對該點的填補。Crininisi算法可以將影像邊緣結構線延長到缺損區域內部，並且自動地保持邊緣結構線的方向一致性。儘管影像邊緣結構線與填充區域邊界沒有互相垂直，修補後的邊緣結構仍然與影像已知區域的邊緣方向一致。當點p不位於邊緣結構線上，其鄰域窗口完全位於紋理區域內部時，也能得到很好的處理。然而，隨著填充過程的進行，由於置信度值迅速下降到零，使優先權的計算不可靠，從而導致錯誤的填充次序，進而影響修補效果。而且由於它是採用全局搜索方法來尋找原始的匹配塊，這樣產生錯誤匹配，造成誤差傳遞。
對於遙感影像，由於人眼對邊緣等線結構特徵最為敏感，而且在對遙感影像進行補全時，影像中的邊界結構部分修補的好壞直接影響到整幅影像的修補效果；另外，數字影像修復算法基本是半自動的，因為在對影像修復前，需要由用戶給出想要修復的區域，或者先人為給出破損區域或目標物體的一個大致形狀，然後通過某種方法來確定精確的待修補區域。從複雜背景提取任意形狀前景，仍存在很多有待解決的問題。
發明內容
本發明目的是針對現有技術存在的缺陷提供一種基於顏色紋理散度的遙感影像修複方法。
本發明為實現上述目的，採用如下技術方案 第一步自動提取遙感影像中需要修復的區域的位置； 第二步確定修復區域的邊界像素的樣圖區域； 第三步在第二步所述樣圖中採用Ashikhmin方法獲取待修復像素的候選匹配像素； 第四步計算第三步候選匹配像素鄰域內各像素的顏色紋理散度相似度，取相似度最大的像素作為修復像素，並將修復邊界像素個數減1； 重複第二、三、四步驟，直到修復區域的邊界像素個數為0。
在影像拼合過程中，使用Ashikhmin方法可以達到很好的效果，但是如果第四步中尋找到的相似塊與輸出影像匹配不好時，即使通過上面的拼合方法，也難免存在視覺上的不連貫。現有方法通常僅利用重疊區域內象素的顏色特性來衡量影像的相似性，而忽略了影像紋理結構的差異性，如影像中顏色發生明顯突變的區域，如物體的輪廓、不同顏色區域形成的邊界等，導致結果影像中出現邊界錯位現象。本發明的遙感影像修複方法與現有修複方法相比的優點在於在第四步中的紋理顏色散度同時考慮了顏色和紋理的相似性，與僅考慮顏色差異的方法相比，更好地保證了合成的結果影像在紋理上與原樣圖的一致性。基於顏色紋理散度匹配策略的遙感影像修複方法已成功地應用於遙感影像破損、遮掩目標信息的修復。
圖1遙感影像修複流程圖。
圖2樣圖的確定。
圖3基於Ashikhmin算法的匹配。
圖4顏色紋理差別。
圖5遙感影像修復結果。
具體實施例方式 下面結合附圖對發明的技術方案進行詳細說明 如圖1所示，本發明基於顏色紋理散度的遙感影像修複方法流程圖。
第一步提取修復區域 首先對遙感影像進行分割，然後根據分割結果跟蹤需修復的區域。對於修復區域R，背景為R，邊界點表示為S(M)，R的邊界跟蹤方法如下 ①按行列號(j，i)掃描遙感影像修復區域，遇到第一個屬於R的點作為邊界起始點S0(R)，其左鄰點為
當前處理的邊界點為Sk(R)，邊界點相鄰的非區域點為Ck(R)； ②以Sk(R)為中心以Ck(R)為起點，按順時針判斷8鄰域點n1，...，n8，碰到8鄰域中第一個屬於R的點ni，讓作為Sk+1(R)＝ni，Ck+1(R)＝ni-1；重複此步驟直到Sk+1(R)＝S0(R)，其中i＝1，2，3...8； 則修復區域R邊界點為S0(R)，S1(R)，...，Sk(R)； 第二步提取樣本區域 紋理影像有一定程度的規則性，這是它同自然影像的區別之一。對於自然影像的修復，每個待匹配像素應該對應不同的樣圖，而非所有的待匹配像素對應同一個樣圖。通過如下方法建立樣圖對於待匹配像素p，以點p為中心初始化為13*13個像素的正方形區域，如果該區域內沒有包含85個以上的已知像素，就擴大區域直到數量滿足為止，此時區域內未損壞部分即為樣圖，這樣使得修復區域中凸起部分的正方形區域面積較小，而凹進部分的正方形區域面積較大。如圖2所示，p和q為修復邊界上的2個點，點p處於凹進部分，而點q處於凸起部分，p的正方形區域面積大於q，採用該方法針對不同的塊選取不同的樣圖，可以排除影像中的無關像素，提升算法的執行效率。
第三步MRF模型的Ashikhmin算法的搜索方法 如圖3所示，影像缺損區域記為Ω，影像已知區域記為Φ，填充區域邊界線記為
(當前處理的前沿像素)。假設目前需要對
上的一個點p的鄰域窗口進行填補，p1為已填充像素，首先通過已填充像素p1找到樣圖中的對應像素p′1，然後根據p1的位置確定相應的p′1的對應像素q1為候選像素，同理確定p的其它已填充像素相應得到的候選像素，依次計算p的有效鄰域與每個候選像素領域的相似度，取相似度最大的作為匹配像素。
第四步計算相似度度量 樣本影像可以看成是顏色信息和紋理結構信息的組合，顏色和紋理結構信息共同表示了樣本影像的特徵。影像的紋理結構信息主要體現在影像中物體的輪廓和顏色變化明顯的邊界等，人眼對於這些結構信息的連續性往往非常敏感，總是能夠輕易地發現輪廓、邊界中的畸變，而不是顏色上的細微變化。事實上，影像在顏色相似的情況下，其紋理可能會存在很大的差異，如圖4所示。因此，在紋理合成過程中同時考慮顏色差異和紋理差異是非常必要的。紋理結構差異。(a)為樣本影像，(b)是SLaws映象(紋理結構圖)(c)中方形框內為當前合成像素的鄰域，(a)中粗方框為當前合成像素合成前的原圖，(a)為中部分細框正方形框內的內容，表示在樣本圖中根據顏色差異尋找到的與均最相似的像素鄰域，從圖中可以看到，雖然尋找到的像素在顏色上和當前合成像素非常相似，但其鄰域的紋理結構卻有著較大的差別。
像素x的鄰域R的類別內部方差和類別間方差分別為Intra(x)和Inter(x)，則J(x)為 J(x)＝Inter(x)/Intra(x) (1) Ei(x)為以像素x為中心的R鄰域的Laws紋理濾波結果，且R鄰域內包含N個象素，紋理能量L(x)為 每個像素x的權p(x)為 p(x)＝L(x)/Lmax(3) 其中Lmax為L(x)集合中的最大值。
加權的J，SLaws為顏色紋理散度 SLaws＝p(x)×J(x) (4) 待匹配像素p和q的相似度S為 其中ΔEuv*為顏色方差。
圖5給出了用本發明進行的遙感影像修復與僅使用顏色信息的方法的比較。(a)為存在缺損遙感影像(白色區域為待修復區域，黑色區域為背景區域)，(b)為未考慮紋理結構信息，(c)為本方面方法。從(b)圖中可以看到，夏季林地遙感影像由於光照強烈，地面上亮度變化大，陰影較多，由於單考慮顏色的差異，出現了邊界銜接不一致現象，紋理表現的不均勻。而用本文的方法得到的結果，由於引入了紋理散度，使得紋理的表達更加準確。結果證明此方法修復後影像在顏色和紋理上均與原圖保持一致。
權利要求
1.一種基於顏色紋理散度的遙感影像修複方法，其特徵在於包括以下步驟
第一步自動提取遙感影像中需要修復的區域的位置；
第二步確定修復區域的邊界像素的樣圖區域；
第三步在第二步所述樣圖中採用Ashikhmin方法獲取待修復像素的候選匹配像素；
第四步計算第三步候選匹配像素鄰域內各像素的顏色紋理散度相似度，取相似度最大的像素作為修復像素，並將修復邊界像素個數減1；
重複第二、三、四步驟，直到修復區域的邊界像素個數為0。
2.如權利要求1所說的基於顏色紋理散度的遙感影像修複方法，其特徵在於第一步所述的自動提取方法如下
首先對遙感影像進行分割，然後根據分割結果跟蹤需修復的區域。對於修復區域R，背景為R，邊界點表示為S(M)，R的邊界跟蹤方法如下
①按行列號(j，i)掃描遙感影像修復區域，遇到第一個屬於R的點作為邊界起始點S0(R)，其左鄰點為
；當前處理的邊界點為Sk(R)，邊界點相鄰的非區域點為Ck(R)；
②以Sk(R)為中心以Ck(R)為起點，按順時針判斷8鄰域點n1，...，n8，碰到8鄰域中第一個屬於R的點ni，讓作為Sk+1(R)＝ni，Ck+1(R)＝ni-1；重複此步驟直到Sk+1(R)＝S0(R)，其中i＝1，2，3...8；
③則修復區域R邊界點為S0(R)，S1(R)，...，Sk(R)；
3.如權利要求1所說的基於顏色紋理散度的遙感影像修複方法，其特徵在於第二步所述遙感影像樣圖的提取方法如下
將修復區域邊界像素確定為待匹配像素p，對於待匹配像素p，以待匹配像素p為中心初始化為13*13個像素的正方形區域，如果該區域內沒有包含85個以上的已知像素，則此時區域內未損壞部分即為樣圖。
4.如權利要求1所說的基於顏色紋理散度的遙感影像修複方法，其特徵在於第四步所述的計算顏色紋理散度相似度度量的方法如下
像素x的鄰域R的類別內部方差和類別間方差分別為Intra(x)和Inter(x)，則顏色紋理散度相似度度量J為
J(x)＝Inter(x)/Intra(x)(1)
Ei(x)為以像素x為中心的鄰域R的Laws紋理濾波結果，且鄰域R內包含N個象素，紋理能量L(x)為
每個像素x的權p(x)為
p(x)＝L(x)/Lmax(3)
其中Lmax為L(x)集合中的最大值，其中N為自然數。
全文摘要
本發明公布了一種基於顏色紋理散度的遙感影像修複方法，屬於技術領域測繪科學與技術。它包括以下步驟自動提取當前需要修復的區域的位置；計算顏色紋理散度相似度度量；根據當前位置的鄰域的顏色紋理散度特徵，從樣圖中尋找相似的匹配像素；使用基於MRF模型的Ashikhmin策略搜索到的相似像素和已存在的遙感影像合併。本發明利用了顏色紋理散度的相似度度量，由於同時考慮了顏色和紋理的相似性，與僅考慮顏色差異的方法相比，更好地保證了修復的結果影像在紋理上與原圖的一致性，基於顏色紋理散度匹配策略的遙感影像修複方法已成功地應用於遙感影像破損、遮掩目標信息的修復。
文檔編號G01S17/89GK101770638SQ20101001793
公開日2010年7月7日 申請日期2010年1月15日 優先權日2010年1月15日
發明者盛慶紅, 肖暉, 徐麗華, 姬亭 申請人:南京航空航天大學