一種多源傳感器的遙感圖像配準方法
2023-06-03 20:49:11
專利名稱：一種多源傳感器的遙感圖像配準方法
技術領域：
本發明涉及圖像處理技術領域中關於圖像配準的方法，是一種針對多源傳感器、多時相、多視角遙感圖像的高精度、快速配準方法。
背景技術：
圖像配準是多時相、多傳感器、多視角的兩幅或多幅圖像匹配、疊加的過程，已經廣泛應用於遙感圖像處理、目標識別、醫學影像分析、機器視覺等領域。在遙感領域，圖像配準是實現異源圖像融合、異質圖像分析、目標變化檢測與識別、圖像校正、圖像鑲嵌等的關鍵步驟。圖像配準方法主要分為兩類區域配準法和特徵配準法。(I)基於圖像區域的配準基於區域的配準方法，有時也稱為類相關法或者模板匹配方法，對一定大小的圖像或者整幅圖像，採用圖像的原始灰度信息或者頻域信息來度量圖像之間的相似性，通過直接搜索變換空間，來估計最優幾何變換模型，主要有基於灰度相似性的配準方法、基於傅立葉變換的配準方法等。其中，基於灰度相似性的配準方法，通常選擇圖像的某一區域或者整幅圖像作為一種特殊的圖像特徵，因此對於此類方法，核心就是匹配標準的度量。在以往的研究中，已經出現很多種區域匹配度量標準，相關係數是一種最常用的度量標準。互信息法是由Voila和Well於1995年首次提出的。互信息法以資訊理論為基礎，從信息熵的角度衡量兩個區域的匹配程度。基於傅立葉變換的配準方法，提供了一種從頻域角度衡量配準程度的方法。該方法的優點是計算速度快，能有效地去除頻域獨立的噪聲，而這種噪聲的影響是難以用空域濾波消除的。Kuglin和Hines提出了相位相關法，利用傅立葉變換將兩幅待配準的圖像變換到頻域，然後利用互功率譜直接計算出兩幅圖像間的平移矢量。Chen最早將FFT用於SPOT影像的配準。1987年，De Castro和Morandi提出了擴展相位相關法，用傅立葉變換的性質實現具有旋轉和平移變換的圖像的配準。(2)基於圖像特徵的配準方法基於特徵的配準方法，首先檢測圖像的顯著特徵，然後藉助與特徵的屬性進行特徵匹配，最優通過特徵點對來估計變換模型；或者，直接利用特徵之間的空間關係，同時完成特徵匹配和變換模型估計，主要有基於特徵空間的配準和基於特徵描述子的配準方法
坐寸ο基於特徵空間的配準方法中，Goshtasby提出了一種基於場景均一性的點匹配算法，將Clustering技術用於圖像配準，Hu首先將相似不變矩應用於模式識別；Flusser和Suk導出了仿射不變矩，並成功應用於SPOT和Landsat攝像配準。基於特徵描述子的配準方法，使用描述符進行配準。Goshtasby提出一種基於特徵輪廓的描述符，該方法巧妙地將二值化的特徵圖形放到一個網格化的極坐標系中，將圖形轉換為矩陣進行描述。Bentoutou等人首先沿圖像邊緣提取Harris角點，然後採用組合不變矩來構造描述子。David Lowe設計的SIFT描述子，在多尺度空間採用DOG算子檢測特徵點，採用歐式距離進行測量。發明內容
本發明的目的是提供一種多源傳感器的遙感圖像配準方法，針對多源傳感器、多 時相、多視角遙感圖像進行高精度、快速配準，以解決遙感圖像的自動配準問題。
為實現上述目的，本發明的技術解決方案是
一種多源傳感器的遙感圖像配準方法，其包括以下步驟
第一步，分別對待配準圖像和參考圖像進行尺度不變特徵變換(SIFT)，提取特徵 點，並篩選最優匹配點對；
第二步，通過隨機一致性抽樣算法(RANSAC)提純初始配準點，剔除誤配準點；
第三步，對圖像進行分區，通過不同區域特徵點的數目，計算特徵點對的分布質量 權重參數，選取分布均勻的有效控制點對；
第四步，通過互信息相似判斷準則，在待配準圖像的控制點一定範圍內搜索最優 配準點，實現控制點對的精配準，獲取最優配準點對；
第五步，通過最小二乘法曲線擬和，預測非線性模型二次多項式的參數，即待配準 圖像的幾何形變參數，實現待配準圖像與參考圖像的精確配準。
所述的遙感圖像配準方法，其所述第一步，包括
a.1、利用二維高斯函數核對參考圖像和待配準圖像進行尺度空間變換，得到多尺 度下的尺度空間表示序列。
a. 2、特徵點檢測，提取尺度空間極值，並通過函數擬和實現特徵點的精確定位，具 體步驟如下
a. 2.1、在圖像二維平面空間和高斯差分尺度空間(Difference-of-Gaussian, DOG)同時檢測極值作為特徵點，其中DOG算子為兩個不同尺度的高斯核的差分。
a. 2. 2、尺度空間極值檢測，獲取相鄰三個尺度空間的局部極值，保證在尺度空間 和二維圖像空間都為局部極值；
a. 2. 3、去除低對比度的關鍵點和不穩定的邊緣點，並根據擬和三維二次函數精確 定位特徵點的位置和尺度；
a. 3、特徵點描述，獲取特徵點的主方向和描述子信息，具體步驟如下
a. 3.1、提取關鍵點鄰域像素的梯度方向，作為特徵點的主方向，確定主方向的模 值和方向；
a. 3. 2、將坐標軸旋轉到特徵點的主方向上，確保特徵描述子的旋轉不變性，以特 徵點選擇一定大小的區域(本方法取16 X 16的區域)，分成16個4X 4的子區域，也稱為種 子點，計算每個種子點八個方向上的梯度方向直方圖，得到特徵點的128維數據，即特徵描 述子；
a. 4、計算待配準圖像與參考圖像中特徵點的最鄰近歐式距離和次鄰近距離，當其 比值小於某個閾值，則被選為最優匹配點對，獲得待配準圖像與參考圖像的初始配準點集。
所述的遙感圖像配準方法，其所述第二步，包括
b.1、從初始配準點集中，隨機取4個配準點對作為樣本,並初始化8自由度參數變 換模型；
b. 2、在初始配準點集中檢索符合參數變換模型的誤差閾值低於Td( —般取O. 01) 的點集，為與樣本一致的有效點集；
b. 3、根據模型誤差值Td，獲取最大閾值Tmax，當有效點集個數大於Tmax時，重新估計參數變換模型；
b. 4、根據模型誤差值Td，獲取最小閾值Tmin，當有效點集個數小於Tmin時，重新選擇新的樣本；
b. 5、經過N次迭代，獲取初始匹配點集中的最大一致點集，用來重新估計模型，得到最優匹配點對，剔除誤配準點。
所述的遙感圖像配準方法，其所述第三步，包括
c.1、將整個圖像劃分為等4X4個等大小區域，統計每個區域中特徵點的個數；
c. 2、每個區域中特徵點選中概率為l/(16XNum)，其中Num為該區域特徵點數，保證圖像中所有特徵點的選擇概率的均衡；
c. 3、每個區域選擇特徵點的個數為Nmax/(16XNum),其中Nmax為最大選擇特徵點數，得到分布均勻的控制點對。
所述的遙感圖像配準方法，其所述第四步，包括
d.1、以參考圖像、待配準圖像的控制點為中心分別選擇7X7、21X21的區域作為匹配區域和待匹配區域；
d. 2、計算待匹配區域中7X7大小的圖像子塊與參考圖像的匹配模塊的互信息；
d. 3、搜索待匹配區域中與參考模塊互相關係數最大的7X7的子模塊，並將其中心點作為參考模塊中心點的最優匹配點，實現控制點的精配準。
所述的遙感圖像配準方法，其所述第五步，包括
e.1、根據精配準點對，經過最小二乘法，實現二次多項式曲線擬和，獲得待配準圖像相對參考圖像的幾何變換模型；
e. 2、根據幾何變換參數，通過雙線性插值法實現待配準圖像的配準。
所述的遙感圖像配準方法，其所述a.1步中，
二維高斯核的函數G (X，y, σ )定義如下
權利要求
1.一種多源傳感器的遙感圖像配準方法，其特徵在於，包括以下步驟第一步，分別對待配準圖像和參考圖像進行尺度不變特徵變換，提取特徵點，並篩選最優匹配點對；第二步，通過隨機一致性抽樣算法提純初始配準點，剔除誤配準點；第三步，對圖像進行分區，通過不同區域特徵點的數目，計算特徵點對的分布質量權重參數，選取分布均勻的有效控制點對；第四步，通過互信息相似判斷準則，在待配準圖像的控制點一定範圍內搜索最優配準點，實現控制點對的精配準，獲取最優配準點對；第五步，通過最小二乘法曲線擬和，預測非線性模型二次多項式的參數，即待配準圖像的幾何形變參數，實現待配準圖像與參考圖像的精確配準。
2.如權利要求1所述的遙感圖像配準方法，其特徵在於，所述第一步，包括a.1、利用二維高斯函數核對參考圖像和待配準圖像進行尺度空間變換，得到多尺度下的尺度空間表示序列。a. 2、特徵點檢測，提取尺度空間極值，並通過函數擬和實現特徵點的精確定位，具體步驟如下a. 2.1、在圖像二維平面空間和高斯差分尺度空間同時檢測極值作為特徵點，其中DOG算子為兩個不同尺度的高斯核的差分。a. 2. 2、尺度空間極值檢測，獲取相鄰三個尺度空間的局部極值，保證在尺度空間和二維圖像空間都為局部極值；a. 2. 3、去除低對比度的關鍵點和不穩定的邊緣點，並根據擬和三維二次函數精確定位特徵點的位置和尺度；a. 3、特徵點描述，獲取特徵點的主方向和描述子信息，具體步驟如下a. 3.1、提取關鍵點鄰域像素的梯度方向，作為特徵點的主方向，確定主方向的模值和方向；a.3. 2、將坐標軸旋轉到特徵點的主方向上,確保特徵描述子的旋轉不變性，以特徵點選擇16X16的區域，分成16個4X4的子區域，也稱為種子點，計算每個種子點八個方向上的梯度方向直方圖，得到特徵點的128維數據，即特徵描述子；a.4、計算待配準圖像與參考圖像中特徵點的最鄰近歐式距離和次鄰近距離，當其比值小於某個閾值，則被選為最優匹配點對，獲得待配準圖像與參考圖像的初始配準點集。
3.如權利要求1所述的遙感圖像配準方法，其特徵在於，所述第二步，包括b.1、從初始配準點集中，隨機取4個配準點對作為樣本,並初始化8自由度參數變換模型；b. 2、在初始配準點集中檢索符合參數變換模型的誤差閾值低於Td的點集，為與樣本一致的有效點集；b.3、根據模型誤差值Td，獲取最大閾值Tmax，當有效點集個數大於Tmax時，重新估計參數變換模型；b.4、根據模型誤差值Td，獲取最小閾值Tmin，當有效點集個數小於Tmin時，重新選擇新的樣本；b.5、經過N次迭代，獲取初始匹配點集中的最大一致點集，用來重新估計模型，得到最優匹配點對，剔除誤配準點。
4.如權利要求1所述的遙感圖像配準方法，其特徵在於，所述第三步，包括c.1、將整個圖像劃分為等4X4個等大小區域，統計每個區域中特徵點的個數；c.2、每個區域中特徵點選中概率為l/(16XNum)，其中Num為該區域特徵點數，保證圖像中所有特徵點的選擇概率的均衡；c.3、每個區域選擇特徵點的個數為Nmax/(16XNum),其中Nmax為最大選擇特徵點數,得到分布均勻的控制點對。
5.如權利要求1所述的遙感圖像配準方法，其特徵在於，所述第四步，包括d.1、以參考圖像、待配準圖像的控制點為中心分別選擇7X7、21X21的區域作為匹配區域和待匹配區域；d. 2、計算待匹配區域中7X7大小的圖像子塊與參考圖像的匹配模塊的互信息；d.3、搜索待匹配區域中與參考模塊互相關係數最大的7X7的子模塊，並將其中心點作為參考模塊中心點的最優匹配點，實現控制點的精配準。
6.如權利要求1所述的遙感圖像配準方法，其特徵在於，所述第五步，包括e.1、根據精配準點對，經過最小二乘法，實現二次多項式曲線擬和，獲得待配準圖像相對參考圖像的幾何變換模型；e. 2、根據幾何變換參數，通過雙線性插值法實現待配準圖像的配準。
7.如權利要求2所述的遙感圖像配準方法，其特徵在於，所述a.1步中，二維高斯核的函數G (x，y，σ)定義如下
8.如權利要求2所述的遙感圖像配準方法，其特徵在於，所述a.2.1步中，DOG尺度空間算子D (x，y，σ)為兩個不同尺度的高斯核的差分，其定義如下D(x, y, σ) = (G(x, y, k σ )-G(x, y, σ ))*I (χ, y)=L (x, y, k σ ) -L (χ, y, σ )......(3)其中G(x,y, σ )為二維高斯核,L(x, y, σ )為方差為σ的尺度空間表示,L (x, y, k σ )為方差為ko的尺度空間表示。
9.如權利要求2所述的遙感圖像配準方法，其特徵在於，所述a.2. 2步中，尺度空間極值檢測，獲取相鄰三個尺度空間的局部極值，為同一尺度空間鄰域8個點和相鄰兩個尺度空間的9X2個點，共26個點中的極值點。
10.如權利要求2所述的遙感圖像配準方法，其特徵在於，所述a.3.1步中，提取的特徵點主方向的模值m(x, y)定義為
11.如權利要求2所述的遙感圖像配準方法，其特徵在於，所述a.4步中，最優匹配點對準則為
12.如權利要求5所述的遙感圖像配準方法，其特徵在於，所述d.2步中，互信息是用來衡量兩幅圖像對應像素灰度值之間的統計相關性，值越大，相關性越強，互信息MI (A，B)定義如下
13.如權利要求5所述的遙感圖像配準方法，其特徵在於，所述d.3步中，將互信息作為圖像匹配的測度，尋找最優匹配點，實現控制點的精配準，就是要尋找搜索空間的最大互信息位置Wtjpt
14.如權利要求6所述的遙感圖像配準方法，其特徵在於，所述e.1步中，二次多項式幾何變換模型定義公式如下χ' = a00+a10x+a01y+a20x2+anxy+a02y2......(10)J1 = b00+b10x+b01y+b20x2+bnxy+b02y2......(11)其中
全文摘要
一種多源傳感器的遙感圖像配準方法，涉及圖像處理技術，包括步驟對參考圖像和配準圖像分別進行尺度不變特徵變換(SIFT)，提取特徵點，計算待配準圖像與參考圖像中特徵點的最近歐式距離和次近歐式距離，根據比值篩選最優匹配點對；通過隨機一致性抽樣算法剔除誤配準點，篩選初配準點對；根據特徵點權重係數，計算特徵點對的分布質量參數，選取分布均勻的有效控制點對；以互信息相似判斷準則，在待配準圖像控制點搜索最優配準點，獲取控制點對最優配準點對；用多項式參數變換，獲取待配準圖像幾何形變參數，實現待配準圖像與參考圖像的精確配準。本發明有較快運算速度和較高配準精度，能滿足多傳感器、多時相、多視角遙感圖像的配準需求。
文檔編號G06T7/00GK103020945SQ201110280990
公開日2013年4月3日 申請日期2011年9月21日 優先權日2011年9月21日
發明者石悅, 付琨, 孫顯 申請人:中國科學院電子學研究所