一種多源遙感圖像配準方法
2023-10-10 02:06:09
專利名稱：一種多源遙感圖像配準方法
技術領域：
本發明涉及遙感圖像處理與應用的技術領域，具體涉及一種多源遙感圖像配準方法，該方法是基於象限劃分和方向選擇的分塊改進SURF算法，主要應用於多源遙感影像融合之前快速準確地確定融合區域，是實現多源遙感圖像融合的前提。
背景技術：
遙感作為獲取信息的重要手段，可以獲得大量具有不同空間解析度、光譜解析度和時相解析度的遙感圖像，而單一手段獲取的遙感圖像在幾何信息、光譜解析度和空間解析度等方面存在明顯的局限性。採用有效的方法對多源遙感圖像進行融合，能夠為後續的目標分割、識別、跟蹤等具體應用奠定數據基礎。遙感圖像配準就是對不同時間、不同傳感器或不同視角採集的關於同一目標或場景的多幅遙感圖像進行關於局部特徵的匹配、疊加的過程。總體而言，配準方法可分為基於灰度特性的方法和基於圖像特徵點的方法兩種，基於圖像特徵點方法的圖像配準由於實時性高、穩定性強，更適用於多源遙感圖像的配準(參考文獻 Dawn S，Saxena V, Sharma B. Remote sensing image registration techniques; a survey[J]. Lecture Notes in Computer Science,2010，6134:103-112. X
SURF 算法(參考文獻 Herbert Bay, Tinne Tuytelaars, and Luc Van GooI, ETH Zurich SURF:Speeded up Robust Features Computer Vision_ECCV2006Lecture Notes in Computer Science, 2006.)在 SIFT 等局部特徵算法(參考文獻 D. G. Lowe, Distinctive image features from scale-invariant keypoints, Int. J. Comput. Vis. 60 (2) (2004)91 -110.)基礎上做了進一步發展，其沒有邊緣點消除和光照消除過程，這些都使得它的檢測時間效率有了較大程度的提高。SURF算法採用積分圖像簡化計算，在進行近似Hessian矩陣(參考文獻 Viola, P.，Jones, M. : Rapid object detection using aboosted cascade of simple feature. In:CVPR(I), 2001:511-518.)判別時，不同尺度下其複雜度是相同的，擁有更高的時間效率。
儘管SURF特徵相對於先前的SIFT、PCA-SIFT、GL0H等算法在時間效率上有了較大提升，但SURF算法在描述子計算時仍沿用了主方向確定，以及梯度值求和等過程，在描述子計算方面仍然具有較高的複雜度。並且，SURF特徵配準的錯誤率還有待進一步降低，對於大場景遙感圖像而言，其時間複雜度仍然較高。本發明旨在通過基於象限劃分和方向選擇的分塊改進SURF算法的多源遙感圖像配準系統和方法，實現在亞像素級對多源遙感圖像進行自動配準，完成遙感圖像的融合區域的選擇和對應。發明內容
本發明針對多源遙感圖像融合應用的特點，提出了一種多源遙感圖像配準系統方法，其基於象限劃分和方向選擇的分塊改進SURF算法，結合現有的基於圖像特徵點進行圖像配準，該方法能夠兼顧時效性和準確性。
本發明採用的技術方案為一種多源遙感圖像配準方法，該方法基於象限劃分和方向選擇的分塊改進SURF算法，具體步驟如下
步驟I)、對源圖像和目標圖像都進行邊長為side的小正方形分塊處理，在目標圖像中心(對角線交點)處再劃分出一個邊長為side的正方形滑動窗口 ；
步驟2)、分別對源圖像四個中心內分塊和目標圖像滑動窗口分塊分別進行SURF 特徵點檢測，對目標圖像中心分塊進行匹配，根據匹配塊在源圖像中的分布選取目標圖像某四分之一象限區域作為感興趣區域ROI ；
步驟3)、對目標圖像ROI區域的左上角圖像分塊進行SURF特徵檢測後與源圖像對應象限區域的圖像分塊進行特徵點匹配，根據源圖像匹配分塊的位置確定目標圖像滑動窗口在ROI區域中三種移動方向；
步驟4)、對目標圖像ROI區域在該方向上的圖像分塊進行SURF特徵點檢測，設置分塊圖像特徵點數量閾值，選取特徵點數量大於等於閾值的圖像分塊依次匹配，直到完全匹配或窗口越界；
步驟5)、對分塊粗匹配特徵點對採用RANSAC算法篩選出正確的匹配點對，多個分塊匹配完成後，同樣採用RANSAC算法確定多個子塊位置關係的一致性；
步驟6)、包含正確匹配特徵點對最多的圖像分塊對應的仿射變換矩陣認為是整個圖像間的仿射變換關係，利用最小二乘法確定仿射關係矩陣後進行差值重採樣，獲得最終的配準圖像對。
所述的步驟I)為設目標圖像和源圖像分別為dst (WXH)、src(wXh)，將兩幅圖像按照邊長為side的正方形滑動窗口分成若干個小塊，不足的當作一個小塊來處理，在目標圖像中心(對角線交點)處再劃分出一個邊長為side的正方形滑動窗口。最後得到目標圖像和源圖像分別包含m+1和η個小塊。
所述的步驟2)為對源圖像src的分塊從左上角開始進行編號，第i行、第j列的子塊記為B_src(i，j)，目標圖像中心滑動窗口分塊記為B_dst (0，O)，對源圖像四個中心分塊和目標圖像中心分塊進行SURF特徵點檢測，源圖像第i行、第j列的子塊檢測到的 SURF特徵點集合記為src_sufset(i, j),目標圖像中心分塊的SURF特徵點集合記為dst_ surfet (0，O)。然後對目標圖像中心分塊採用最近距離與次近距離的比值進行特徵點匹配， 設目標圖像中心塊與源圖像分塊所形成的匹配塊對集合表示為
{ }
其中，B_src(x, y)為源圖像對應的匹配分塊，實際中可能包括源圖像多個圖像分塊。對匹配特徵點的分布情況進行統計，根據匹配點數量最多的圖像分塊在源圖像中所在的四分之一象限確定目標圖像對應象限為感興趣區域R0I。
所述的步驟3)為首先選擇目標圖像感興趣區域ROI的左上角分塊進行特徵點檢測與匹配，目標圖像ROI區域左上角子塊^如七^ I)與源圖像子塊B_SrC(x，y)匹配成功後形成的匹配特徵點對集合表示為
{ }
其中index_dst(l, I)和index_src (x, y)分別表示目標圖像ROI和源圖像子塊中匹配特徵點的對應索引值。將源圖像對應四分之一象限再次劃分為A (左上)、B (右上)、C (左下)和D (右下)四個等面積子矩形區域，若匹配塊B_src (x, y)位於A或D區域，則滑 動窗口移動方向定為對角方向；若位於B區域,則滑動窗口移動方向定為豎直方向；若位於C區域，則滑動窗口移動方向定為水平方向。
所述的步驟4)為根據前面選擇的目標圖像ROI區域中的滑動窗口移動方向，在該方向上對目標圖像分塊進行SURF特徵點檢測。對目標圖像ROI子塊中的SURF特徵點個數進行限制，設定閾值Nthres。然後在選定方向上進行分塊圖像的依次匹配，當圖像分塊中檢測出的SURF特徵點個數少於閾值Nthres時，則忽略此圖像分塊不予匹配，直到該方向上完全匹配或滑動窗口越界。
在滑動窗口移動方向上目標圖像ROI區域中子塊B_dst(i，j)與源圖像子塊B_ src(x, y)匹配形成的匹配特徵點對集合表示為
{ }
其中index_dst(i, j)和index_src (x, y)分別表示目標圖像ROI和源圖像子塊中匹配特徵點的對應索引值。
所述的步驟5)為對分塊圖像檢測得到的SURF特徵點進行匹配後得到的一系列匹配點對集合，採用RANSAC方法將錯誤的匹配點對去除，篩選出其中的正確點對。在某一方向上多個分塊匹配完成後，同樣採用RANSAC算法確定多個子塊位置關係的一致性。由於 RANSAC算法為圖像配準領域的公知技術，故不再詳細說明。
所述的步驟6)為=RANSAC算法處理後，包含正確匹配特徵點對最多的圖像分塊被認為是最終的匹配圖像塊，其對應的仿射變換映射矩陣即認為是整個原始源圖像到目標圖像的仿射變換關係；
確定代表原始圖像匹配的匹配子塊對後，根據通用幾何仿射變換矩陣模型反向計算出模型中的相關係數，仿射變換矩陣模型如下
UVAO1Cl,Xn+
其中，(X，y)為目標圖像塊中SURF特徵點坐標，(X，Y)為源圖像塊中SURF特徵點坐標，矩陣A表示比例、旋轉、錯切等幾何變換的乘積，矩陣B表示平移向量，仿射變換矩陣模型中的相關係數S1-Bpbfb2通過在源圖像和目標圖像匹配子塊中選取特徵點對，利用最小二乘法獲得最佳擬合數值；
得到準確的幾何仿射變換矩陣模型後，利用雙線性插值進行圖像重採樣；設源圖像的一個像素P通過仿射變換得到浮點數坐標為(m，η)，其相鄰四個點AB⑶的坐標依次設為(X，y)、(x+1, y)、(X，y+Ι)和(x+1, y+1);設函數f表示坐標點處的像素值，得到最終的像素P的雙線性內向插值公式如下\f(A) f(D)J(y+'l-n)f(B) /(C)JL (//-v)
本發明與現有技術相比的優點在於
(I)、通過少數幾個分塊的SURF特徵點檢測與匹配實現象限劃分，從而確定圖像感興趣區域ROI。
(2)、結合方向選擇和特徵點個數閾值篩選減少圖像特徵點檢測和匹配的區域，達到提高配準效率的目的。
(3)、通過確定包含最多匹配點對圖像分塊作為原始圖像間的放射變換關係，從而降低原SURF特徵點匹配的錯誤率。
,/.(/)) = [(/w -x) (x + 1 — / )]
圖
圖
圖
圖
圖
圖
圖1為本發明方法算法流程圖；2為對源圖像(a)和目標圖像(b)作正方形分塊處理；3為對源圖像(a)四個中心分塊和目標圖像(b)中心分塊進行SURF特徵檢測 4為確定目標圖像某四分之一象限為感興趣區域ROI ；5為目標圖像ROI區域中滑動窗口移動方向確定；6為選定匹配點對最多的圖像分塊；
7為雙線性插值圖像重採樣示意圖。
具體實施方式
本發明是一種基於象限劃分和方向選擇的分塊改進SURF算法的多源遙感圖像配準方法，總體算法流程如附圖1所示。具體步驟如下
步驟I)、對源圖像和目標圖像都進行邊長為side的小正方形分塊處理，在目標圖像中心(對角線交點)處再劃分出一個邊長為side的正方形滑動窗口 ；
步驟2)、分別對源圖像四個中心分塊和目標圖像滑動窗口分塊進行SURF特徵點檢測，對目標圖像中心分塊進行匹配，根據匹配塊在源圖像中的分布選取目標圖像某四分之一象限區域作為感興趣區域ROI ；
步驟3)、對目標圖像ROI區域的左上角圖像分塊進行SURF特徵檢測後與源圖像對應象限區域的圖像分塊進行特徵點匹配，根據源圖像匹配分塊的位置確定目標圖像滑動窗口在ROI區域中三種移動方向；
步驟4)、對目標圖像ROI區域在該方向上的圖像分塊進行SURF特徵點檢測，設置分塊圖像特徵點數量閾值，選取特徵點數量大於等於閾值的圖像分塊依次匹配，直到完全匹配或窗口越界；
步驟5)、對分塊粗匹配特徵點對採用RANSAC算法篩選出正確的匹配點對，多個分塊匹配完成後，同樣採用RANSAC算法確定多個子塊位置關係的一致性；
步驟6)、包含正確匹配特徵點對最多的圖像分塊對應的仿射變換矩陣認為是整個圖像間的仿射變換關係，利用最小二乘法確定仿射關係矩陣後進行差值重採樣，獲得最終的配準圖像對。
遙感圖像應用中，實現圖像的匹配一般並不需要對目標圖像和源圖像中的所有特徵點都進行檢測和匹配，因此考慮對圖像進行適當的區域劃分，通過子區域的匹配達到提高時間效率的目的；由於SURF算法利用積分圖像計算近似Hessian矩陣，只取四個角上的值，對應的矩陣區域也是正方形區域，因此選擇正方形作為圖像分塊劃分的基本形狀。
所述的步驟I)為如附圖2所示，設目標圖像和源圖像分別為dst(WXH)、 src (wXh)，將兩幅圖像按照邊長為side的正方形滑動窗口分成若干個小塊，不足的當作一個小塊來處理，在目標圖像對角線交點處再劃分出一個邊長為side的正方形滑動窗口。 最後得到目標圖像和源圖像分別包含m+1和η個小塊。
所述的步驟2)為對源圖像src的分塊從左上角開始進行編號，第i行、第j列的子塊記為B_src(i，j)，目標圖像中心滑動窗口分塊記為B_dst (0，O)，對源圖像四個中心分塊和目標圖像中心分塊進行SURF特徵點檢測，如附圖3所示。對目標圖像中心分塊採用最近距離與次近距離的比值進行特徵點匹配，得到源圖像匹配圖像塊集合{B_src(X)}。選取其中匹配特徵點對最多的分塊在源圖像中所處的象限區域，如附圖4所示，選定右上象限為目標圖像對應的四分之一象限區域作為感興趣區域R0I。
所述的步驟3)為劃分源圖像選定象限為四個等面積的子矩形區域ABCD，選擇目標圖像感興趣區域ROI的左上角分塊進行特徵點檢測與匹配，當匹配點對不少於6對時，設目標圖像ROI區域左上角子與源圖像子塊B_src(x，y)匹配成功。由匹配塊8_81^(1，y)在AB⑶四個子矩形區域的位置，確定窗口移動水平、豎直和對角三種移動方向，如附圖5所示。實驗中B_src(X，y)在源圖像對應象限中所處的A子矩形區域，故確定目標圖像滑動窗口移動方向為對角方向。
所述的步驟4)為根據前面選擇的目標圖像ROI區域中的滑動窗口對角移動方向，在該方向上對目標圖像分塊進行SURF特徵點檢測。由於在後續分塊匹配的過程中，採用的同樣是最近距離與次近距離的比值進行判定，當某個圖像子塊包含特徵點個數較少時，會出現許多誤匹配的情況。因此，對目標圖像ROI子塊中的SURF特徵點個數進行限制， 設定閾值Nthres= 10。然後在選定方向上進行分塊圖像的依次匹配，當圖像分塊中檢測出的 SURF特徵點個數少於閾值10時，則忽略此圖像分塊不予匹配，直到對角方向的圖像分塊匹配完全。
目標圖像ROI區域中子塊B_dst(i,j)與源圖像子塊B_src (x, y)匹配形成的匹配特徵點對集合表示為
{ }其中 inde x_dst (i,j)和 index_ src(x, y)分別表示目標圖像ROI和源圖像子塊中匹配特徵點的對應索引值。
所述的步驟5)為對分塊圖像檢測得到的SURF特徵點進行匹配後得到的一系列匹配點對集合，採用RANSAC方法將錯誤的匹配點對去除，篩選出其中的正確點對。在某一方向上多個分塊匹配完成後，同樣採用RANSAC算法確定多個子塊位置關係的一致性。
RANSAC算法在實際應用的一個缺陷是，當匹配點對數目少於10時，此時有可能保留大部分匹配對，而從人的直觀感覺來講，它們的位置並非是在物理位置上是一一對應的， 即這些點對雖然滿足了 RANSAC算法的條件，但是從人的觀點來看，它們仍然不是正確匹配點對。因此，包含正確匹配特徵點對最多的圖像分塊被認為是最終的匹配圖像塊，其對應的仿射變換映射矩陣即認為是整個原始源圖像到目標圖像的仿射變換關係，這是同RANSAC 算法的性質相關的。
所述的步驟6)為=RANSAC算法處理後，包含正確匹配特徵點對最多的圖像分塊被認為是最終的匹配圖像塊，其對應的仿射變換映射矩陣即認為是整個原始源圖像到目標圖像的仿射變換關係，如附圖6所示。
確定代表原始圖像匹配的匹配子塊對後，根據通用幾何仿射變換矩陣模型反向計算出模型中的相關係數，仿射變換矩陣模型如下
UVA+ BaI+
其中，(X，y)為目標圖像塊中SURF特徵點坐標，(X，Y)為源圖像塊中SURF特徵點坐標，矩陣A表示比例、旋轉、錯切等幾何變換的乘積，矩陣B表示平移向量，仿射變換矩陣模型中的相關係數ai—apbfh通過在源圖像和目標圖像匹配子塊中選取特徵點對，通過 最小二乘法獲得最佳擬合數值。 得到準確的幾何仿射變換矩陣模型後，利用雙線性插值進行圖像重採樣。設源圖 像的一個像素P通過仿射變換得到浮點數坐標為(m，n)，其相鄰四個點AB⑶的坐標依次設 為(X，y)、(x+1, y)、(x, y+1)和(x+1, y+1)。設函數f表示坐標點處的像素值，如附圖7所 示，水平方向上對AB和CD線段進行線性插值
權利要求
1.一種多源遙感圖像配準方法，其特徵在於該方法具體實現步驟如下 步驟I)、對源圖像和目標圖像都進行邊長為side的小正方形分塊處理，在目標圖像中心處再劃分出一個邊長為side的正方形滑動窗口，目標圖像中心即目標圖像對角線交點； 步驟2)、分別對源圖像中心四個分塊和目標圖像滑動窗口分塊進行SURF特徵點檢測，對目標圖像中心分塊進行匹配，根據匹配塊在源圖像中的分布選取目標圖像某四分之一象限區域作為感興趣區域ROI ； 步驟3)、對目標圖像ROI區域的左上角圖像分塊進行SURF特徵檢測後與源圖像對應象限區域的圖像分塊進行特徵點匹配，根據源圖像匹配分塊的位置確定目標圖像滑動窗口在ROI區域中三種移動方向； 步驟4)、對目標圖像ROI區域在該方向上的圖像分塊進行SURF特徵點檢測，設置分塊圖像特徵點數量閾值，選取特徵點數量大於等於閾值的圖像分塊依次匹配，直到完全匹配或窗口越界； 步驟5)、對分塊粗匹配特徵點對採用RANSAC算法篩選出正確的匹配點對，多個分塊匹配完成後，同樣採用RANSAC算法確定多個子塊位置關係的一致性； 步驟6)、包含正確匹配特徵點對最多的圖像分塊對應的仿射變換矩陣認為是整個圖像間的仿射變換關係，利用最小二乘法確定仿射關係矩陣後進行差值重採樣，獲得最終的配準圖像對。
2.根據權利要求I所述的多源遙感圖像配準方法，其特徵在於所述的步驟I)為設目標圖像和源圖像分別為dst(WXH)、src(wXh),將兩幅圖像按照邊長為side的正方形滑動窗口分成若干個小塊，不足的當作一個小塊來處理，在目標圖像中心處再劃分出一個邊長為side的正方形滑動窗口，最後得到目標圖像和源圖像分別包含m+1和η個小塊。
3.根據權利要求I所述的多源遙感圖像配準方法，其特徵在於所述的步驟2)為對源圖像src的分塊從左上角開始進行編號，第i行、第j列的子塊記為B_src(i，j)，目標圖像中心滑動窗口分塊記為B_dst (0，O)，對源圖像中心四個分塊和目標圖像中心分塊分別進行SURF特徵點檢測，源圖像四個中心分塊中第i行、第j列的子塊檢測到的SURF特徵點集合記為src_sufset (i, j),目標圖像中心分塊的SURF特徵點集合記為dst_surfset (0，O)；然後對目標圖像中心分塊採用最近距離與次近距離的比值進行特徵點匹配，根據源圖像匹配塊的分布情況，選定目標圖像四分之一象限區域作為感興趣區域R0I。
4.根據權利要求I所述的多源遙感圖像配準方法，其特徵在於所述的步驟3)為首先選擇目標圖像感興趣區域ROI的左上角分塊進行特徵點檢測與匹配，按照源圖像分塊由上至下、由左至右的順序依次匹配，當與源圖像某一分塊8_81^(\50匹配後形成匹配特徵點對不少於6對時，則認為匹配成功，這是因為仿射變換關係矩陣的確定至少需要解算6個未知係數；目標圖像ROI區域左上角子塊B_dst (1，I)與源圖像對應象限中子塊B_src(x, y)匹配形成的匹配特徵點對集合表示為{ } 其中index_dst(l, I)和index_src (x, y)分別表示目標圖像ROI區域中左上角子塊和源圖像子塊中匹配特徵點的對應索引值；然後，根據匹配得到的源圖像子塊的位置確定三種窗口滑動方向，即水平、豎直和對角方向。
5.根據權利要求I所述的多源遙感圖像配準方法，其特徵在於所述的步驟4)為根據前面選擇的目標圖像ROI區域中的滑動窗口移動方向，在該方向上對目標圖像分塊進行SURF特徵點檢測；由於在後續分塊匹配的過程中，採用的同樣是最近距離與次近距離的比值進行判定，當某個圖像子塊中包含特徵點個數較少時，會出現許多誤匹配的情況；因此對目標圖像ROI子塊中的SURF特徵點個數進行限制，設定閾值Nthres ;然後在選定方向上進行分塊圖像的依次匹配，當圖像分塊中檢測出的SURF特徵點個數少於閾值NttoesW，則忽略此圖像分塊不予匹配，直到該方向上完全匹配或滑動窗口越界； 在滑動窗口移動方向上，目標圖像ROI區域中子塊B_dst(i，j)與源圖像子塊B_src(x, y)匹配形成的匹配特徵點對集合表示為
6.根據權利要求I所述的多源遙感圖像配準方法，其特徵在於所述的步驟5)為對分塊圖像檢測得到的SURF特徵點進行匹配後得到的一系列匹配點對集合，採用RANSAC方法將錯誤的匹配點對去除，篩選出其中的正確點對；在某一方向上多個分塊匹配完成後，同樣採用RANSAC算法確定多個子塊位置關係的一致性。
7.根據權利要求I所述的多源遙感圖像配準方法，其特徵在於所述的步驟6)為RANSAC算法處理後，包含正確匹配特徵點對最多的圖像分塊被認為是最終的匹配圖像塊，其對應的仿射變換映射矩陣即認為是整個原始源圖像到目標圖像的仿射變換關係； 確定代表原始圖像匹配的匹配子塊對後，根據通用幾何仿射變換矩陣模型反向計算出模型中的相關係數，仿射變換矩陣模型如下
全文摘要
本發明公開了一種多源遙感圖像配準方法，該方法考慮到多源遙感圖像的大小比對，對目標圖像和源圖像分別進行適當的分塊處理，分塊檢測匹配SURF特徵點後確定感興趣區域ROI，然後按一定的策略進行匹配，根據分塊圖像匹配情況進行分析提取，最後得到整個目標圖像和源圖像的匹配關係。本發明的優點在於通過少數幾個分塊的SURF特徵點檢測與匹配實現象限劃分，從而確定圖像感興趣區域，並結合方向選擇和特徵點個數閾值篩選，達到提高配準效率的目的。同時，通過確定最多匹配點對圖像分塊作為原圖像的放射變換關係，降低了原SURF特徵匹配的錯誤率。
文檔編號G06T7/00GK102982543SQ20121047223
公開日2013年3月20日 申請日期2012年11月20日 優先權日2012年11月20日
發明者李超, 袁曉冬, 盛浩, 張興 申請人:北京航空航天大學深圳研究院