拼接航空多元並掃圖像的方法
2023-04-23 11:23:01
拼接航空多元並掃圖像的方法
【專利摘要】本發明提供了一種拼接航空多元並掃圖像的方法。該方法相鄰兩幀的幾何變換模型中採用了「尺度+旋轉」的變換模型，而沒有採用面陣相機的透視投影模型，適應了航空多元並掃的相鄰圖像間的幾何變換模型，較好地解決相鄰圖像間的整體變換問題。
【專利說明】拼接航空多元並掃圖像的方法
【技術領域】
[0001]本發明涉及遙感圖像處理【技術領域】，尤其涉及一種拼接航空多元並掃圖像的方法。
【背景技術】
[0002]航空多元並掃是源於傳統膠片時代的全景攝影相機，具有很大的旁向視場角、解析度高的特點，只需線陣探測器，就可以獲取寬幅圖像，常常應用於紅外/夜視圖像的快速獲取。但由於多元並掃相機的焦距是保持不變的，在掃描的同時飛機向前運動，以及掃描鏡擺動的非線性等因素，使得圖像的畸變較為複雜。為了獲取地面某個區域的圖像，常常利用多元並掃相機在飛行過程中通過物鏡的左右擺掃獲取圖像，而且在前後獲取的相鄰圖像根據飛行速度設計一定的重疊，而後通過圖像處理得到區域圖像，但由於飛機飛行中幹擾因素較多，使得獲取的區域圖像之間的重疊是不斷變化的，增加了區域圖像處理的複雜度和難度。
[0003]目前國內外對航空多元並掃圖像的自動拼接處理的研究成果報導極少，而研究比較多的是無人機獲取的CXD圖像以及其他航空面陣圖像的拼接。這些拼接處理方法都是通過匹配算法提取重疊區域的同名點，然後計算相鄰面陣圖像的空間變換關係，在變換的基礎上完成圖像的拼接。例如胡慶武等人(胡慶武、艾明耀、殷萬玲、袁輝，大旋角無人機影像全自動拼接方法研究，計算機工程，第38卷，第15期，2012)提出的大旋角無人機影像全自動拼接方法，採用SIFT特徵的單應約束影像匹配算法，計算相鄰影像的最優變換矩陣，在此基礎上給出了最優變換矩陣的多解析度樣條融合影像拼接算法。魯恆等人(魯恆、李永樹、何敬、陳強、任志明，一種基於特徵點的無人機影像自動拼接方法，地理與地理信息科學，第26卷第5期，2010)基於特徵點的無人機影像自動拼接方法，將穩健的SIFT算法引入無人機影像自動拼接中，並結合無人機自身的特點對算法進行改進，在進行特徵點提取前通過估算相鄰影像問的重疊度縮小了搜索範圍，應用LM方法求得相鄰圖像間的精確變換矩陣，完成影像的拼接和鑲嵌。
[0004]目前已有的航空遙感圖像拼接技術，尤其是無人機獲取的航空圖像，都是針對面陣CCD相機圖像拼接。面陣相機獲取圖像時都是同時獲取視場範圍內所有的像素，因此在考慮相鄰圖像的變換關係時，都是以面陣成像幾何關係為基礎。相鄰圖像間的變換模型採用透視投影模型，需要提取重疊區域的四個或更多的同名點控制點進行計算。例如上面提及的兩種無人機圖像拼接方法，都是採用了透視投影模型。而一幅航空多元並掃圖像是採用線陣CCD通過掃描方式獲取的，即一幅圖像是按時間順序掃描成像的，不滿足面陣相機的透視投影模型，而且掃描過程中圖像會有局部的變形。因此相鄰的多元並掃圖像之間既要考慮整體的變換關係，還需要考慮掃描過程中局部的不均勻變形。
【發明內容】
[0005](一 )要解決的技術問題[0006]鑑於上述技術問題，本發明提供了一種拼接航空多元並掃圖像的方法，以準確拼接航空多元並掃圖像。
[0007]( 二)技術方案
[0008]根據本發明的一個方面，提供了一種拼接航空多元並掃圖像的方法。該方法包括:步驟A:在當前幀圖像和上一幀圖像的重疊區域內，分別提取兩幀圖像兩端的兩個最佳同名特徵點；步驟B，根據當前幀圖像和上一幀圖像的兩個最佳同名特徵點計算兩幀圖像間的尺度因子m，旋轉參數Θ ;步驟C，按照計算得到的尺度因子m和旋轉參數Θ對當前幀圖像的每個像素進行坐標變換；步驟D，在掃描方向上每隔一段預設的像素距離提取經過像素坐標變換後的當前幀圖像和上一幀圖像之間的同名點；步驟E，對於當前幀圖像的每個像素，其縱向坐標都保持不變，依照其左右兩側的兩個同名點調整當前幀每個像素的每個列向坐標；以及步驟F，將調整後的當前幀圖像和上一幀圖像組合在一起，從而得到拼接後的航空多元並掃圖像。
[0009](三)有益效果
[0010]從上述技術方案可以看出，本發明拼接航空多元並掃圖像的方法具有以下有益效果:
[0011](I)在相鄰兩幀的幾何變換模型中採用了 「尺度+旋轉」的變換模型，而沒有採用面陣相機的透視投影模型，適應了航空多元並掃的相鄰圖像間的幾何變換模型，較好地解決相鄰圖像間的整體變換問題。
[0012](2)在整體變換模型計算中應用了掃描圖像兩側的同名點計算相鄰幀圖像之間存在的尺度和旋轉參數，通過整體的尺度和旋轉變換處理實現了相鄰圖像間大致的幾何粗拼接。
[0013](3)在整體變換模型的基礎上，根據歸一化互相關匹配得到的大量局部同名點對圖像的掃描方向進行局部坐標變換和調整，較好地解決了相鄰圖像間的局部幾何不均勻性變形。從而能夠保證了局部圖像拼接的效果
【專利附圖】
【附圖說明】
[0014]圖1為根據本發明實施例拼接航空多元並掃圖像方法的流程圖；
[0015]圖2為相鄰兩幀航空多元並掃圖像中特徵點分布的示意圖；
[0016]圖3A為拼接如相鄰兩巾貞航空多兀並掃圖像；
[0017]圖3B為利用圖1所示方法對圖3A所示的兩幀航空多元並掃圖像進行拼接後的效果圖。
【具體實施方式】
[0018]為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。需要說明的是，在附圖或說明書描述中，相似或相同的部分都使用相同的圖號。附圖中未繪示或描述的實現方式，為所屬【技術領域】中普通技術人員所知的形式。另外，雖然本文可提供包含特定值的參數的示範，但應了解，參數無需確切等於相應的值，而是可在可接受的誤差容限或設計約束內近似於相應的值。實施例中提到的方向用語，例如「上」、「下」、「前」、「後」、「左」、「右」等，僅是參考附圖的方向。因此，使用的方向用語是用來說明並非用來限制本發明的保護範圍。
[0019]本發明拼接航空多元並掃圖像的方法應用掃描圖像兩側的同名點計算相鄰幀圖像之間存在的尺度和旋轉參數，通過坐標變換處理實現了相鄰圖像間大致的幾何粗拼接；在粗拼接的基礎上，根據局部歸一化互相關匹配的同名點對圖像的掃描方向進行坐標精細調整，從而能夠保證了局部拼接的效果。
[0020]在本發明的一個示例性實施例中，提供了一種拼接航空多元並掃圖像的方法。圖1為根據本發明實施例拼接航空多元並掃圖像方法的流程圖。請按照圖1，本實施例拼接航空多元並掃圖像的方法包括:
[0021]步驟A:在當前幀圖像和上一幀圖像的重疊區域內，採用尺度不變特徵變換(SIFT)算子分別提取兩幀圖像兩端的兩個最佳同名特徵點-第一同名點P1和第二同名點P2，如圖2所示；
[0022]本步驟中，利用尺度不變特徵變換算子提取相鄰兩幀圖像兩端最佳同名特徵點的方法為本領域通用的方法，大致來講，其主要包括:
[0023]子步驟Al，分別針對當前幀圖像和上一幀圖像利用差分高斯算子檢測圖像尺度空間中的興趣點；
[0024]子步驟A2，在檢測的興趣點基礎上應用該興趣點鄰域窗口內的梯度信息計算梯度主方向，並根據梯度直方圖構建該興趣點對應的128個維度的特徵向量；
[0025]子步驟A3，逐一計算當前幀圖像中檢測的興趣點特徵向量和上一幀圖像中檢測的興趣點特徵向量之間的歐式距離，其中歐式距離最近的兩個興趣點就是最佳的同名特徵點。
[0026]步驟B，根據當前幀圖像和上一幀圖像的兩個最佳同名特徵點計算兩幀圖像間的尺度因子m，旋轉參數Θ，其中:
【權利要求】
1.一種拼接航空多元並掃圖像的方法，其特徵在於，包括: 步驟A:在當前幀圖像和上一幀圖像的重疊區域內，分別提取兩幀圖像兩端的兩個最佳同名特徵點； 步驟B，根據當前幀圖像和上一幀圖像的兩個最佳同名特徵點計算兩幀圖像間的尺度因子m,旋轉參數Θ ； 步驟C，按照計算得到的尺度因子m和旋轉參數Θ對當前幀圖像的每個像素進行坐標變換； 步驟D，在掃描方向上每隔一段預設的像素距離提取經過像素坐標變換後的當前幀圖像和上一幀圖像之間的同名點； 步驟E，對於當前幀圖像的每個像素，其縱向坐標都保持不變，依照其左右兩側的兩個同名點調整當前幀每個像素的每個列向坐標；以及 步驟F，將調整後的當前幀圖像和上一幀圖像組合在一起，從而得到拼接後的航空多元並掃圖像。
2.根據權利要求1所述的方法，其特徵在於，所述步驟B中，按照以下公式計算兩幀圖像間的尺度因子m，旋轉參數Θ:
3.根據權利要求2所述的方法，其特徵在於，所述步驟C中，按照以下公式對當前幀圖像的像素進行坐標變換:
4.根據權利要求2所述的方法，其特徵在於，所述步驟C中，按照以下公式對當前幀圖像的像素進行坐標變換:
5.根據權利要求1所述的方法，其特徵在於，所述步驟E中，對於當前幀每個像素的列向坐標，按照以下公式計算調整後的列向坐標:
6.根據權利要求1至5中任一項所述的方法，其特徵在於，所述步驟A中，採用尺度不變特徵變換算子提取兩幀圖像兩端的兩個最佳同名特徵點。
7.根據權利要求6所述的方法，其特徵在於，所述採用尺度不變特徵變換算子提取兩幀圖像兩端的兩個最佳同名特徵點的步驟包括: 子步驟Al，針對當前幀圖像和上一幀圖像分別利用差分高斯算子檢測圖像尺度空間中的興趣點； 子步驟A2，在檢測的興趣點基礎上應用該興趣點鄰域窗口內的梯度信息計算梯度主方向，並根據梯度直方圖構建該興趣點對應的128個維度的特徵向量； 子步驟A3，逐一計算當前幀圖像中檢測的興趣點特徵向量和上一幀圖像中檢測的興趣點特徵向量之間的歐式距離，其中歐式距離最近的兩個興趣點就是最佳的同名特徵點。
8.根據權利要求1至5中任一項所述的方法，其特徵在於，所述步驟D中，採用歸一化互相關匹配方法，在掃描方向上每隔預設像素距離提取經過像素坐標變換後的當前幀圖像和上一幀圖像之間的同名點。
9.根據權利要求8所述的方法，其特徵在於，所述預設像素距離的範圍介於50到200個像素之間。
10.根據權利要求8所述的方法，其特徵在於，所述採用歸一化互相關匹配方法，在掃描方向上每隔預設像素距離提取經過像素坐標變換後的當前幀圖像和上一幀圖像之間的同名點的步驟包括: 子步驟D1，提取當前幀圖像的矩形窗口圖像作為目標圖像，該目標圖像的中心位置代表了當前幀的一個圖像特徵點； 子步驟D2，在上一幀圖像也取同樣大小的矩形窗口圖像，並計算這兩組圖像數據的歸一化互相關係數； 子步驟D3，通過不斷的計算和比較求得當前幀的目標圖像在上一幀圖像中歸一化互相關係數最大時的所對應的窗口圖像位置，該位置點就代表了上一幀圖像中和當前幀圖像特徵點的具有相同特徵的同名點位置，即得到了同名點。
【文檔編號】G06T5/50GK103455992SQ201310412484
【公開日】2013年12月18日 申請日期:2013年9月11日 優先權日:2013年9月11日
【發明者】尤紅建, 付琨 申請人:中國科學院電子學研究所