利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法

2023-10-17 20:52:04 1

利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法
【專利摘要】本發明涉及一種利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法，包括以下步驟：(1)對紅外與可見光圖像分別提取圖像邊緣及興趣點這兩種幾何結構特徵，為後續的圖像配準做準備；(2)利用邊緣對準算法求解初始變換參數，尋找可以使兩幅圖像的邊緣重疊率最大的圖像變換；(3)利用上一步計算出的近似變換將每一個興趣點的待匹配區域縮小為其變換點的鄰域範圍以排除無關點的幹擾，之後利用尺度不變特徵變換(SIFT)描述子執行縮小待匹配區域的興趣點匹配操作；(4)對初始匹配點對執行改進的隨機採樣一致性(RANSAC)操作以移除誤匹配點對；(5)利用剩餘的正確匹配點對計算出最終的更加準確的圖像變換，完成配準任務。
【專利說明】
利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法

【技術領域】
[0001]本發明涉及一種利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法，屬於數字圖像處理及計算機視覺領域，它主要涉及興趣點檢測及匹配、邊緣提取和圖像變換技術。在各類基於紅外與可見光圖像配準的目標識別、軍事偵察或遙感系統中有廣泛的應用。

【背景技術】
[0002]由於一對紅外與可見光圖像可以提供非常有用的互補信息以提高相關任務的效率和準確性，所以紅外與可見光圖像配準技術被廣泛應用於諸如遙感、基於配準融合的目標識別和軍事偵察等許多領域中。然而，紅外與可見光圖像在灰度上差異很大，比如:圖像的某些區域存在著對比度反轉而其他區域不存在；存在於一幅圖像中的視覺特徵在另一幅圖像中可能並不存在等(參見文獻:伊拉尼等.多傳感器成像的魯棒配準.計算機視覺國際會議論文集,1998, 959-966.(Irani M., Anandan P..Robust mult1-sensorimage alignment.Proceedings of Internat1nal Conference on ComputerVis1n, 1998,959-966.))。因此，對於紅外與可見光圖像配準的研究非常有意義而且需要克服很多難題。
[0003]過去幾年中已經提出了很多關於紅外與可見光圖像配準的方法，主要分為兩類:基於特徵的配準方法(參見文獻:[I]何卡克等.基於角點與豪斯多夫距離的紅外與可見光圖像配準.計算機科學報告文集:圖像分析，2007，383-392.([I] Hrkac T.，KalafaticZ., Krapac J..1nfrared-visual image registrat1n based on corners and hausdorffdistance.Lecture Notes in Computer Science:1mage Analysis, 2007, 383-392.)[2]李等.基於梯度統計信息的魯棒CCD與IR圖像配準.信號處理快報，2010，17(4):347-350.([2]Lee J.H., et al.Robust CCD and IR image registrat1n using gradient-basedstatistical informat1n.Signal Processing Letters, 2010, 17 (4):347-350.)
[3]韓俊功等.人造環境中利用混合視覺特徵的可見光與紅外圖像配準.模式識別快報，2013,34(1):42-51.([3]Han J., Pauwels E.J., De Z.P..Visible and infraredimage registrat1n in man-made environments employing hybrid visual features.Pattern Recognit1n Letters, 34(I):42-51.))和基於區域的配準方法(參見文獻:[I]伊拉尼等.多傳感器成像的魯棒配準.計算機視覺國際會議論文集，1998，959-966.([I]Irani M.,Anandan P..Robust mult1-sensor image alignment.Proceedingsof Internat1nal Conference on Computer Vis1n, 1998, 959-966.) [2]斯沃納茲等.應用於多解析度圖像配準的共有信息最優化方法.電氣電子工程師學會圖像處理彙刊，2000,9(12):2083-2099.([2]Thevenaz P., Unser M..0ptimizat1n of mutualinformat1n for multiresolut1n image registrat1n.1EEE Transact1ns on Image Processing, 2000,9(12):2083-2099.))。基於特徵的方法首先提取圖像中的顯著視覺特徵，然後利用這些特徵去估計變換參數。與基於特徵的方法不同，基於區域的方法利用整個圖像內容來估計變換參數。具體來說，該方法主要是利用最優化方法來最小化兩幅圖像的亮度差異平方和、最大化兩幅圖像的標準化互相關函數或最優化兩幅圖像的共有信息等。在大多數情況下，基於特徵的配準方法要比基於區域的配準方法表現得更好，這是因為僅僅利用具有良好鑑別性的視覺特徵來進行圖像配準具有更高的效率和更強的針對性。更重要的是，基於區域的配準方法不能處理未對準偏差較大的圖像配準問題，這是因為最優化方法需要一個充分接近於真實解的初始點來開始運算以便最終收斂。鑑於以上原因，本發明採用基於特徵的配準方法，下面也將著重介紹基於特徵的紅外與可見光圖像配準算法。
[0004]從以上分析來看，基於特徵的配準方法需要解決如下三個主要問題:(I)特徵提取，保證兩幅圖像中的大部分特徵能夠對應於實際場景中的相同位置；(2)特徵描述，確保圖像間特徵的準確匹配；(3)配準策略，能夠有效地利用特徵來計算圖像間準確的變換關係ο
[0005]應用最廣的特徵包括興趣點、區域、邊緣/梯度信息或者直線等。對於描述子，最常用的包括梯度幅值信息描述子、梯度方向信息描述子或不變矩描述子等。配準策略非常重要，主要有兩類方法:
[0006]第一類為利用描述子進行特徵匹配(參見文獻:[I]金等.基於亮度與邊緣方向信息的多傳感器圖像配準.模式識別，2008，41 (11):3356-3365.([IjKim Y.S.，LeeJ.H., Ra J.B..Mult1-sensor image registrat1n based on intensity and edgeorientat1n informat1n.Pattern Recognit1n, 2008，41 (11):3356-3365.) [2]戴曉龍等.利用結合不變矩的改進鏈碼表示法的基於特徵的圖像配準算法.電氣電子工程師學會地理與遙感彙刊，1999，37(5):2351-2362.([2]Dai X., Khorram S..A feature-basedimage registrat1n algorithm using improved chain—code representat1ncombined with invariant moments.1EEE Transact1ns on Geoscience and RemoteSensing, 1999，37(5):2351-2362.) [3]李等.基於梯度統計信息的魯棒CCD與IR圖像配準.信號處理快報，2010，17(4):347-350.([3]Lee J.H.，et al.Robust CCD andIR image registrat1n using gradient-based statistical informat1n.SignalProcessing Letters，2010，17 (4): 347-350.) [4]考拉斯等.基於分割的紅外與可見光圖像配準技術.光學工程，2000，39(1):282-289.([4]Coiras E., Santamari J.，MiravetC..Segment-based registrat1n technique for visual-1nfrared images.0pticalEngineering, 39 (I): 282-289.))。
[0007]第二類為對特徵進行幾何結構對準(參見文獻:[I]韓俊功等.利用直線幾何結構分析的可見光與紅外圖像配準.計算機科學報告文集:圖像分析，2012，114-125.([I]Han J.,Pauwels E., de Zeeuw P..Visible and infrared image registrat1nemploying line-based geometric analysis.Lecture Notes in Computer Science:1mageAnalysis, 2012, 114-125.) [2]何卡克等.基於角點與豪斯多夫距離的紅外與可見光圖像配準.計算機科學報告文集:圖像分析，2007，383-392.([2] Hrkac T., KalafalicZ.,Krapac J..1nfrared-visual image registrat1n based on corners and hausdorffdistance.Lecture Notes in Computer Science:1mage Analysis,2007,383-392.)
[3]韓俊功等.人造環境中利用混合視覺特徵的可見光與紅外圖像配準.模式識別快報，2013，34 (I): 42-51.([3] Han J.，Pauwels E.J.，De Z.P..Visible and infraredimage registrat1n in man-made environments employing hybrid visual features.Pattern Recognit1n Letters, 34(1):42-51.) [4]扎克等.利用文理特徵進行紅外與可見光圖像的仿射配準.計算機視覺冬季研討會論文集，2007.([4] Jarc A., et al..Texturefeatures for affine registrat1n of thermal (FLIR) and visible images.Proceedingsof Computer Vis1n Winter Workshop, 2007.))。
[0008]對於紅外與可見光圖像配準而言，這兩種配準策略擁有它們各自的優點和缺點。利用描述子進行特徵匹配在大多數特徵能夠正確匹配的前提下可以得到準確的配準結果，但往往僅有少量的特徵能夠正確匹配，這是因為紅外與可見光圖像間的灰度差異較大導致實際匹配點對的描述子之間也存在著較大的差異。對特徵進行幾何結構對準的主體思想是通過搜尋可以對準兩幅圖像中大多數視覺特徵的圖像變換來完成配準任務。這種配準策略可以在大多數情況下成功地配準紅外與可見光圖像，但是它僅僅能夠得到一個近似的變換，配準精度較低。因此，現有的紅外與可見光圖像配準算法在配準策略上還存在著很大的問題，無法同時獲得很高的配準成功率和配準精度。


【發明內容】

[0009]為了處理基於特徵的配準方法所要解決的三個問題，同時解決現有的紅外與可見光圖像配準方法的不足，本發明提出了一種利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法，它是一種新的紅外與可見光圖像配準算法，它的主要貢獻在於如下兩個方面:
(I)本算法採用複合的配準策略和從粗到精的配準方式。在粗配準階段，算法利用邊緣對準方法求解初始變換參數。具體為:提取出用於對準的圖像邊緣後，尋找可以使兩幅圖像的邊緣重疊率最大的圖像變換；在之後的精配準階段，首先利用初始的圖像變換將興趣點的待匹配區域縮小為其變換點的鄰域範圍，以排除無關點幹擾並提高後續興趣點匹配的準確性；然後利用尺度不變特徵變換(SIFT)描述子(參見文獻:羅伊.源於尺度不變關鍵點的鑑別性圖像特徵.計算機視覺國際期刊，2004，60 (2):91-110.(Lowe D.G..Distinctiveimage features from scale-1nvariant keypoints.1nternat1nal Journal of ComputerVis1n, 60(2):91-110.))執行縮小待匹配區域的興趣點匹配操作，獲得大量的正確匹配點對，也就是說，對於可見光圖像中的每一個興趣點，僅僅在其縮小的待匹配區域內尋找與其描述子間距離最近的興趣點；最後，利用正確的匹配點對計算出一個更加準確的圖像變換。從上面的陳述中可以看出，本算法結合了利用描述子進行特徵匹配和對特徵進行幾何結構對準這兩種常用配準策略的優點，不但能在大多數情況下成功配準紅外與可見光圖像，而且算法具有很高的配準精度。⑵由於紅外與可見光圖像的邊緣/梯度信息是比較相似的，本算法採用多種反映圖像邊緣/梯度信息的特徵來進行配準，包括用於對準的圖像邊緣以及用於匹配的興趣點，從差異很大的紅外與可見光圖像中提取出了相似的信息。
[0010]本發明一種利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法，其特徵在於包含以下具體步驟:
[0011]步驟一:對紅外與可見光圖像分別提取圖像邊緣及興趣點這兩種幾何結構特徵，為後續的圖像配準做準備；
[0012]步驟二:利用邊緣對準算法求解初始變換參數，具體方法為:首先利用尺度不變特徵變換(SIFT)描述子執行一次常規的興趣點匹配操作(對於可見光圖像中的每一個興趣點，在整個紅外圖像上尋找與其描述子間距離最近的興趣點)，之後列舉出匹配點對之間兩兩組合的所有情況並利用每個組合計算出一個仿射變換，從中挑選出使兩幅圖像的邊緣重置率最大的圖像變換；
[0013]步驟三:利用上一步計算出的近似變換將每一個興趣點的待匹配區域縮小為其變換點的鄰域範圍，以排除無關點幹擾並提高興趣點匹配的準確性，之後利用尺度不變特徵變換(SIFT)描述子執行縮小待匹配區域的興趣點匹配操作，具體為:對於可見光圖像中的每一個興趣點，僅僅在其待匹配區域內尋找與其描述子間距離最近的興趣點；
[0014]步驟四:對初始匹配點對執行改進的隨機採樣一致性(RANSAC)操作以移除誤匹配點對。傳統的隨機採樣一致性(RANSAC)操作(參見文獻:費希爾等.隨機採樣一致性:模型濾波範例及其在圖像分析及自動製圖上的應用.美國計算機協會通訊期刊，1981,24(6):381-395.(Fischler M.A., Bolles R.C..Random sample consensus:aparadigm for model fitting with applicat1ns to image analysis and automatedcartography.Communicat1ns of the ACM, 1981，24 (6): 381-395.))在計算出仿射變換模型後，僅僅使用滿足該仿射變換模型的匹配點對數目來評價模型。這種評價方式是不夠準確的，本發明在對仿射變換模型的評價中加入了邊緣重疊率因素，同時考慮匹配點對數目和邊緣重疊率兩方面因素，提高算法的準確性；
[0015]步驟五:利用剩餘的正確匹配點對計算出最終的更加準確的圖像變換，完成配準任務。
[0016]其中，步驟一為準備階段，步驟二為粗配準階段，步驟三?步驟五為精配準階段。
[0017]本發明的優點及功效在於:(I)採用複合的配準策略，結合了利用描述子進行特徵匹配和對特徵進行幾何結構對準這兩種常用配準策略的優點，算法不但能在大多數情況下成功配準紅外與可見光圖像，而且還具有很高的配準精度；(2)採用從粗到精的配準方式，先利用邊緣對準算法估計出大概的圖像變換，然後利用該變換縮小興趣點的待匹配區域，排除無關點的幹擾並提高興趣點匹配的成功率，解決了紅外與可見光圖像配準中興趣點匹配成功率過低的問題；(3)採用多種反映圖像邊緣/梯度信息的特徵來進行配準，包括用於對準的圖像邊緣以及用於匹配的興趣點，從差異很大的紅外與可見光圖像中提取出了相似的信息。本發明可以對紅外與可見光圖像進行準確的配準，可廣泛應用於遙感、基於配準融合的目標識別和軍事偵察等許多領域中，具有廣闊的市場前景與應用價值。

【專利附圖】

【附圖說明】
[0018]圖1為本發明利用幾何結構特徵從粗到精進行紅外與可見光圖像配準的流程框圖。
[0019]圖2 (a)?(f)和圖3 (a)?(f)分別為本發明及另外3種配準方法對兩組紅外與可見光圖像進行配準後的實驗結果對比圖。對比時，首先將可見光圖像按照配準時計算出的仿射變換參數進行圖像變換，然後對變換圖提取邊緣並覆蓋到紅外圖像上。對比圖中，白色線條即為可見光變換圖的邊緣線。
[0020]圖2(a)為用於配準的可見光圖像；
[0021]圖2(b)為用於配準的紅外圖像；
[0022]圖2(c)為基於角點和豪斯多夫距離的配準算法的配準結果圖；
[0023]圖2 (d)為基於直線幾何結構分析的配準算法的配準結果圖；
[0024]圖2 (e)為基於SIFT流的配準算法的配準結果圖；
[0025]圖2(f)為本發明提出算法的配準結果圖；
[0026]圖3(a)為用於配準的可見光圖像；
[0027]圖3(b)為用於配準的紅外圖像；
[0028]圖3(c)為基於角點和豪斯多夫距離的配準算法的配準結果圖；
[0029]圖3 (d)為基於直線幾何結構分析的配準算法的配準結果圖；
[0030]圖3 (e)為基於SIFT流的配準算法的配準結果圖；
[0031]圖3(f)為本發明提出算法的配準結果圖；

【具體實施方式】
[0032]為了更好地理解本發明的技術方案，以下結合附圖對本發明的實施方式作進一步描述。本發明的流程如圖1所示，各部分具體實施細節如下:
[0033]步驟一.圖像邊緣提取及興趣點檢測
[0034](I)圖像邊緣提取
[0035]儘管紅外與可見光圖像在灰度上差別很大，但是它們的邊緣/梯度信息卻比較相似，因此可以通過對準邊緣來計算出一個近似的圖像變換。本發明使用Canny算子(參見文獻:堪尼.一種邊緣檢測的計算方法.電氣電子工程師學會模式分析與機器智能匯幹丨J，1986，(6):679-698.(Canny J..A computat1nal approach to edge detect1n.1EEETransact1ns on Pattern Analysis and Machine Intelligence, 1986, (6):679-698.))來提取圖像邊緣，具體步驟為:
[0036]第一步:使用高斯濾波器平滑圖像；
[0037]第二步:用一階偏導的有限差分來計算梯度的幅值和方向；
[0038]第三步:對梯度幅值進行非極大值抑制；
[0039]第四步:用雙閾值算法檢測和連接邊緣。
[0040]紅外與可見光圖像中用於對準的圖像邊緣必須含有大量的重複區域，即出現在可見光圖像中的邊緣也要出現在紅外圖像的相應位置上。然而，使用Canny算子提取出的圖像邊緣含有很多細小的邊緣信息，它們往往不具備重複性。因此，在Canny算子提取的邊緣圖上，還需要進一步移除長度過小的圖像邊緣，具體為:
[0041]第一步:對邊緣圖進行聯通區域檢測，每一個聯通區域即為一條圖像邊緣線Ii ；
[0042]第二步:計算每一個聯通區域的像素數，即為該邊緣線的長度值Lenglh丨;
[0043]第三步:移除長度值小於閾值t = 0.2 Xmax 病,)的邊緣線，得到最終的用於對準的圖像邊緣。
[0044](2)興趣點檢測
[0045]本發明使用改進的級階高斯拉普拉斯濾波器(參見文獻:苗振偉等.使用級階LoG濾波器的興趣點檢測.模式識別，2013，46 (11): 2890-2901.(Miao Z.，JiangX..1nterest point detect1n using rank order LoG filter.Pattern Recognit1n, 2013,46(11):2890-2901.))檢測圖像的角點及斑點，這是因為該濾波器檢測出的角點及斑點反映了圖像的邊緣/梯度信息，而紅外與可見光圖像的邊緣/梯度信息比較相似。興趣點檢測僅僅是本配準算法的準備工作，其他能夠反映圖像邊緣/梯度信息的檢測器均可以用於此處來檢測興趣點。
[0046]使用改進的級階高斯拉普拉斯濾波器進行進行興趣點檢測的具體步驟為:
[0047]第一步:通過設置尺度參數σ來初始化改進的級階高斯拉普拉斯濾波器；
[0048]第二步:使用改進的級階高斯拉普拉斯濾波器對輸入圖像進行濾波來產生角點/斑點圖；
[0049]第三步:在角點/斑點圖上檢測局部峰值點，並移除分布在脊線上的局部峰值點。最終剩餘的局部峰值點就是該尺度下的興趣點；
[0050]第四步:使用更大的尺度參數σ來更新改進的級階高斯拉普拉斯濾波器，然後返回至第二步在一個新的尺度下檢測興趣點，直至達到最大尺度值時停止算法。
[0051]步驟二.邊緣對準算法求解初始變換參數
[0052]使用邊緣對準算法求解變換參數的主體思想是尋找可以使兩幅圖像的邊緣重疊率最大的圖像變換，搜尋圖像變換的方式是其關鍵技術。眾所周知，仿射變換(旋轉、縮放與平移)是圖像配準中應用最廣的圖像變換，它的變換參數可以簡單地被兩個匹配點對計算出來。再者，對於紅外與可見光圖像，儘管基於尺度不變特徵變換(SIFT)描述子的興趣點匹配僅僅能夠產生少量的正確匹配點對，但是正確匹配點對的數量在絕大多數情況下是大於兩對的。因此，圖像變換的搜尋可以使用下面的方法:首先利用尺度不變特徵變換(SIFT)描述子執行一次常規的興趣點匹配操作(對於可見光圖像中的每一個興趣點，在整個紅外圖像上尋找與其描述子間距離最近的興趣點)，之後列舉出匹配點對之間兩兩組合的所有情況並利用每個組合計算出一個仿射變換，從中挑選出使兩幅圖像的邊緣重疊率最大的圖像變換。使用這種搜尋方法得到的圖像變換也許不是最好的，但它是最好變換的一個近似。
[0053]不同於最優化方法，它們經常陷入假的局部極小值而且無法處理未對準偏差較大的圖像配準問題，這種搜尋圖像變換的方法可以在絕大多數情況下找到近似的圖像變換。另外，這種搜尋方法相比於枚舉法要耗費相對較少的時間。總之，這種搜尋方法非常可靠且有效。
[0054]該方法需要解決如下兩個關鍵技術:(I)使用兩個匹配點對計算仿射變換參數；
(2)使用求出的仿射變換計算兩幅圖像的邊緣重疊率。下面將分別予以詳細介紹。
[0055](I)使用兩個匹配點對計算仿射變換參數
[0056]在圖像配準中，仿射變換是應用最廣泛的圖像變換，它可以簡單地被尺度(S)，旋轉(α)，水平位移(tx)和垂直位移(ty)這四個參數定義:

「cosa — sinaTx,7s]「4
[0057]=S+
—|_sina CosaJLvnJ
[0058]其中，(xVis,yVis)和(χΜ，yiR)分別代表可見光圖像中一個點的坐標和它在紅外圖像中的匹配點坐標。
[0059]假設兩幅圖像間的幾何結構變換是全局的，那麼兩個匹配點對就足以計算出變換參數。對於可見光圖像中的兩個點A1(Xai^ai), A2(xA2，yA2)和它們在紅外圖像中的匹配點B1 (xBi, yB1)，B2 (xB2, yB2),仿射變換的四個參數可以用下面的方法計算出來:

,Ax4 -Δν.-Axr -Av4、
[0060]ot = arcian(^L),

Α>ν4ν5 + ΔΛ5 Ax4

Axft
[0061]s 二---:---,

cos α -Δ,ν, -sm a.Δν,
[0062]tx = Xb1-S.(cos a.xA1-sin a.yA1),
[0063]ty = yB1-s.(sin a.xA1+cos a.yA1)
[0064]其中，ΔxA — xA2_Xai，^ yA — Jk2~lp,\,八 Xb — xb2_xbi，^ Yb —
[0065](2)使用求出的仿射變換計算兩幅圖像的邊緣重疊率
[0066]計算出仿射變換後，可見光邊緣點就可以變換到紅外圖像上得到其對應的變換點。那麼對於可見光邊緣點，可以計算出它的變換點與所有紅外邊緣點的最近距離。
如果最近距離小於兩個像素值，那麼就可以被認為是一個重疊的可見光邊緣點。同理，紅外邊緣點也可以變換到可見光圖像上，進而找出所有重疊的紅外邊緣點。之後，兩幅圖像的邊緣重疊率可以用如下方法計算:
? _ imm」ψη、, num_rpIk
[0067]' =-+-
眶」)'丨、_! — Pm
[0068]其中，num_rpVis和num_rpIK分別代表重疊的可見光邊緣點數目和重疊的紅外邊緣點數目，num_pVis和num_pIK分別代表全部可見光邊緣點數目和全部紅外邊緣點數目。
[0069]邊緣對準算法的詳細步驟總結如下:
[0070]第一步:利用尺度不變特徵變換(SIFT)描述子執行一次常規的興趣點匹配操作，具體為:對於可見光圖像中的興趣點計算它與紅外圖像中興趣點的描述子間的距離，和它的描述子間距離最小的興趣點就是它的匹配點:
[0071]matchiP^) = Pll!), ICiistii = min (Jist1.{)
[0072]其中，琯'為紅外興趣點，Clistij為P〉?與'的描述子間的距離，nIE為紅外興趣點的個數，min{}為最小值函數。
[0073]第二步:列舉出匹配點對之間兩兩組合的所有情況，對於每一個組合，計算出相應的仿射變換參數，進而計算出兩幅圖像的邊緣重疊率。
[0074]第三步:找出邊緣重疊率最大時所對應的兩個匹配點對，由他們計算出的仿射變換即為所求。
[0075]邊緣對準算法僅僅可以計算出一個近似的、不夠精準的圖像變換，這是因為:(I)紅外與可見光圖像的邊緣圖並不完全相同；(2)算法假設兩幅圖像間的幾何結構變換是全局的，而實際中圖像內各個區域的變換存在著一定的差異。所以，還需要在此基礎上進一步求解更加精確的圖像變換。
[0076]步驟三.執行縮小待匹配區域的興趣點匹配操作
[0077]利用上一步計算出的圖像變換可以縮小每一個興趣點的待匹配區域，具體為:將每一個興趣點的待匹配區域設為以其變換點為圓心半徑為10個像素的圓形鄰域範圍。這樣，每一個興趣點的待匹配點將大大減少，興趣點匹配的準確性也將得到很大的提高。縮小待匹配區域後，重新執行基於尺度不變特徵變換(SIFT)描述子的興趣點匹配操作，得到新的更加準確的興趣點匹配結果。具體步驟如下:
[0078]第一步:利用上一步計算出的圖像變換將每一個興趣點的待匹配區域縮小為以其變換點為圓心半徑為10個像素的圓形鄰域範圍；
[0079]第二步:利用尺度不變特徵變換(SIFT)描述子執行縮小待匹配區域的興趣點匹配操作，具體為:對於可見光圖像中的興趣點，計算它與待匹配區域內興趣點的描述子間的距離，和它的描述子間距離最小的興趣點就是它的匹配點:
Γ,...?.
[0080]match(Ρ,υ 1) = Pl.!'? {distr = min j dist., >

I y Jc=I On、) !

、,一，...reg1nI
[0081 ] 其中，為紅外興趣點，Clistij為/^與巧、的描述子間的距離，η,_η為待匹配區域內紅外興趣點的個數，min{}為最小值函數。
[0082]步驟四.執行改進的隨機採樣一致性操作
[0083]隨機採樣一致性操作用於移除誤匹配點對，其基本思想為:通過反覆隨機地選擇最小數目的匹配點對，用它們計算出一個仿射變換並利用滿足該仿射變換模型的匹配點對數目來評價該模型。一定次數的操作過後，評價值最高的仿射變換模型最可信，滿足該模型的匹配點對即為正確的匹配點對。這裡，稱一個匹配點對滿足仿射變換模型是指，該點對中的可見光興趣點經變換後與紅外興趣點的距離小於閾值I ( 一般取為2個像素值)。
[0084]然而，僅僅使用滿足仿射變換模型的匹配點對數目來評價模型是不夠準確的，最好的變換模型並不一定擁有最多的滿足條件的匹配點對。因此，本發明對傳統的隨機採樣一致性操作進行了改進，在對仿射變換模型的評價中加入了邊緣重疊率因素，同時考慮匹配點對數目和邊緣重疊率兩方面因素，提高算法的準確性。
[0085]改進的隨機採樣一致性操作的具體步驟為:
[0086]第一步:隨機選擇三個匹配點對；
[0087]第二步:利用這三個匹配點對計算仿射變換模型。這裡使用一個更加普遍的仿射變換定義公式:
Xm]「「 I
[0088]yIR =Cd ty.Vm
_ I」O O I LI _
[0089]其中，(xVis, yVis)為可見光興趣點坐標，(xIE, yIE)為其匹配點坐標，(a, b, c, d, tx, ty)為仿射變換參數。這個仿射變換定義公式含有六個參數，因此最少需要三個匹配點對才能求解出這些參數；
[0090]第三步:對計算出的仿射變換模型進行評價，評價值為:
[0091]value = num_r i gh t/num+r
[0092]其中，num_right代表滿足該變換模型的匹配點對數目，num代表全部匹配點對數目，r代表兩幅圖像在該變換下的邊緣重疊率；
[0093]第四步:循環次數加一，轉至第一步再次執行上述操作，直至循環次數達到預先設置的最大循環次數；
[0094]第五步:評價值最高的變換模型最可信，滿足該模型的匹配點對即為正確的匹配點對。
[0095]步驟五.計算最終圖像變換
[0096]上一步中得到的正確匹配點對數目遠遠大於三對，因此採用最小二乘法按照上一步介紹的仿射變換定義公式求解出最終的變換矩陣，具體方法如下:
[0097]首先將上一步中介紹的仿射變換定義公式改為如下形式:

【權利要求】
1.利用幾何結構特徵從粗到精的紅外與可見光圖像配準方法，其特徵在於:它包含以下具體步驟: 步驟一:對紅外與可見光圖像分別提取圖像邊緣及興趣點這兩種幾何結構特徵，為後續的圖像配準做準備； 步驟二:利用邊緣對準算法求解初始變換參數，具體方法為:首先利用尺度不變特徵變換(SIFT)描述子執行一次常規的興趣點匹配操作，對於可見光圖像中的每一個興趣點，在整個紅外圖像上尋找與其描述子間距離最近的興趣點，之後列舉出匹配點對之間兩兩組合的所有情況並利用每個組合計算出一個仿射變換，從中挑選出使兩幅圖像的邊緣重疊率最大的圖像變換； 步驟三:利用上一步計算出的近似變換將每一個興趣點的待匹配區域縮小為其變換點的鄰域範圍，以排除無關點幹擾並提高興趣點匹配的準確性，之後利用尺度不變特徵變換(SIFT)描述子執行縮小待匹配區域的興趣點匹配操作，具體為:對於可見光圖像中的每一個興趣點，僅僅在其待匹配區域內尋找與其描述子間距離最近的興趣點； 步驟四:對初始匹配點對執行改進的隨機採樣一致性(RANSAC)操作以移除誤匹配點對，傳統的隨機採樣一致性(RANSAC)操作在計算出仿射變換模型後，僅僅使用滿足該仿射變換模型的匹配點對數目來評價模型；這種評價方式是不夠準確的，在對仿射變換模型的評價中加入了邊緣重疊率因素，同時考慮匹配點對數目和邊緣重疊率兩方面因素，提高算法的準確性； 步驟五:利用剩餘的正確匹配點對計算出最終的更加準確的圖像變換，完成配準任務。
【文檔編號】G06T7/00GK104134208SQ201410340631
【公開日】2014年11月5日 申請日期:2014年7月17日 優先權日:2014年7月17日
【發明者】楊超, 白相志, 周付根 申請人:北京航空航天大學