物方信息約束的多視影像雙向匹配策略的製作方法

2023-04-29 22:16:11

物方信息約束的多視影像雙向匹配策略的製作方法
【專利摘要】本發明公開了一種物方信息約束的多視影像雙向匹配策略。根據影像的成像模型和輸入的地面物方信息，先進行物方信息約束的多視影像正向匹配，以利用多視影像之間的信息冗餘性提高匹配相似性測度計算的可靠性；然後，對多視影像正向匹配結果進行多個單立體影像的反向匹配，以有效地消除正向匹配結果中的許多誤匹配點，提高多視影像匹配結果的準確性。本發明的匹配策略中各待匹配點的匹配過程互不影響，是一種並行匹配策略，非常有利於大量待匹配點的高效並行匹配。根據本發明的方法可有效地提高多視影像密集匹配的運行效率和結果可靠度，解決了先單立體影像匹配再多個匹配結果融合的傳統多視影像匹配方法中效率低下和誤匹配點過多的問題。
【專利說明】物方信息約束的多視影像雙向匹配策略【技術領域】[0001]本發明屬於攝影測量、計算機視覺和地理信息系統領域，涉及多視影像匹配過程中的搜索範圍確定、匹配傳播與誤匹配結果的消除等方面。【背景技術】[0002]影像匹配是眾多基於數字影像進行信息提取工作的關鍵技術，例如，遙感影像變化檢測、多源影像融合、數字攝影測量、飛行器實時導航、飛彈精確制導、圖像資料庫檢索、 基於影像的三維重建、目標識別與跟蹤，等等，自動、準確的影像匹配是後續信息自動、高效、準確提取的重要前提和保障。影像匹配的目的是在變換空間中尋找一種或多種變換， 使來自不同時間、不同傳感器和不同視角下的同一場景的兩幅或多幅影像在空間上進行對準，或者根據一幅影像中已知的模式(點、線、面或模板影像)，在另一幅或多幅影像中找到相對應的模式。[0003]隨著傳感器技術的發展，獲取具有大重疊度的序列數字影像變得越來越容易，而且傳統的雙像立體影像匹配方法在影像紋理重疊、遮擋等區域存在匹配可靠度不高的問題。因此，序列影像的多視影像匹配方法的研究得到越來越多的重視。不論是雙像立體影像匹配還是多視影像匹配，其中有兩個基本問題需要解決:一是匹配相似性測度如何計算， 另一個是同名點搜索範圍如何確定。匹配測度是判斷兩個像點是否為同名像點的依據，影響著匹配的穩健性和準確率；搜索範圍決定了候選同名像點的數量，影響著匹配的效率和可靠性。只有很好地解決了這兩個問題，才能取得高效、可靠的影像匹配結果。[0004]現有的多視影像匹配方法在搜索候選同名像點時主要採用如下兩種策略:基於物方信息的物方搜索和基於像方信息的像方搜索。物方搜索策略根據地物點的最大和最小高程範圍，以物方高程Z為搜索基準，從最小高程值出發，每次高程增加ΛΖ，在物方空間確定待匹配點物方搜索點的物方高程值Zi=Zmin+iX ΔΖ, i=l, 2，3，……，η，η為搜索次數，進而確定物方搜索點的三維坐標；然後，將物方搜索點投影到各搜索影像上得到像方的搜索點，進而完成待匹配點和搜索點之間相似度的計算和匹配過程的傳播。但是△Z取值的大小很難精確確定，無法保證搜索點一定經過待匹配點對應的地物點；△ Z取值過大，則會漏掉正確的候選點；ΛΖ取值過小，又要花費太多的計算和搜索時間。像方搜索策略則是先根據待匹配點對應物方搜索點的最大和最小高程值，分別在各搜索影像上確定像方的搜索範圍；然後以像方的搜索範圍為基礎，各搜索影像與基準影像分別完成雙像的立體匹配。該策略在各搜索影像上獲得的搜索範圍並不相同，無法同時利用多幅影像的信息來計算匹配測度， 且本質上仍是多次的立體影像匹配。[0005]因此，目前的多視影像匹配策略中，物方搜索和像方搜索都是單獨使用，二者缺乏有效地融合；另外，這些匹配策略中也還缺少匹配結果的準確性驗證過程，誤匹配點無法得到識別與消除。
【發明內容】
`[0006]本發明的目的在於針對現有多視影像匹配策略中物方像方信息獨立使用、匹配結果缺乏有效性驗證的不足，提出一種物方信息約束的多視影像雙向匹配策略。[0007]物方信息約束的多視影像雙向匹配策略包括如下步驟:[0008]步驟一，根據多視影像對應的外方位元素，以及輸入的待匹配區域的最大、最小地面高程，確定基準影像上待匹配點對應地物點在物方攝影光線上搜索區間的兩個端點的物方三維坐標；[0009]步驟二，將待匹配點在物方的兩個搜索端點往各幅搜索影像上投影，得到各搜索影像上同名像點所在搜索核線的兩個端點的像方二維坐標，基於此進行物方信息約束的多視影像正向匹配，從而確定待匹配點在各搜索影像上的同名像點；[0010]步驟三，將各搜索影像和基準影像組成多個立體像對，以各搜索影像上的同名像點為待匹配點，進行物方信息約束的反向立體影像匹配，再根據多個立體像對的反向匹配結果，對多視影像正向匹配結果進行一致性驗證，從而得到最終的同名像點集合。[0011 ] 所述步驟一具體包括:[0012](I)輸入具有重疊度的η幅序列航空、航天或近景攝影影像，其對應的外方位元素，及待匹配區域的最大地面高程Zmax和最小地面高程Zmin ；[0013](2)根據影像的成像模型，利用基準影像上待匹配點P的像平面坐標、輸入的最大和最小地面高程，計算待匹配點對應地物點在物方攝影光線上搜索區間的最高點和最低點的物方三維坐標。[0014]所述步驟二具體包括:[0015](I)根據成像模型，將待匹配點物方的最高點和最低點往η-1幅搜索影像Sp…、 Sj>…、Slri上進行投影，得到各幅搜索影像上的候選同名點搜索核線兩個端點的像平面坐標；[0016](2)根據各搜索核線的兩個端點的像平面坐標，確定核線的直線方程y=kx+b，以及 X坐標的區間範圍[start_Xj, end_Xj], j=l, 2,…，n_l,並以區間長度end_Xj_start_Xj最大的一幅搜索影像為主搜索影像，剩餘的n-2幅影像為副搜索影像；[0017](3)從主搜索影像上的像方搜索區間內逐個取出每個像素點作為該影像上的候選同名像點，先利用雙像前方交會方法計算候選點對應地物點的物方三維坐標，並將此三維坐標往各幅副搜索影像上進行投影，得到各副搜索影像上的每組η-1個候選同名像點； 然後，再利用基於灰度和SIFT特徵的匹配測度計算方法，計算基準影像上待匹配點和每組 η-1個候選同名點的多像匹配相似度，並以最大相似度所對應的那組候選點，作為多像正向匹配過程所獲得的待匹配點在η-1幅搜索影像上的η-1個同名像點q1、q2、…、q11-1。[0018]所述步驟 三具體包括:[0019](I)對於多視影像正向匹配得到的待匹配點在各幅搜索影像上的η-1個同名像點，以每一個同名點為待匹配點，以其所在的搜索影像為左影像、原來的基準影像Itl為右影像，組成多個單立體影像，分別進行η-1次立體影像匹配，以在影像Itl上得到η-1個反向匹配基準點P』P P』2、…、P』n-1;[0020](2)將每一個反向匹配基準點p』 j和原始待匹配點P進行列號較差的計算，如果差值在一定的閾值之內，則認為此反向匹配基準點對應的搜索影像上的同名像點V符合一致性要求，並將該同名像點加入待匹配點的同名像點集合；如果所有反向匹配基準點都和原始待匹配點不一致，則認為原始待匹配點為無效匹配點，其同名像點集合賦空值。[0021]本發明的匹配策略中各待匹配點的匹配過程互不影響，是一種並行匹配策略，非常有利於大量待匹配點的高效並行匹配。本發明的多視影像匹配策略融合使用了待匹配點的物方信息和多視影像的像方信息，匹配搜索範圍由物方信息決定，但匹配過程又由像方信息完成，保證了搜索的時間效率和搜索點的有效性；且匹配結果增加了一致性驗證的反向匹配過程，可有效地消除誤匹配結果，提高多視影像匹配結果的可靠度，解決了先單立體影像匹配再多個匹配結果融合的傳統多視影像匹配方法中效率低下和誤匹配點過多的問題。【專利附圖】

【附圖說明】[0022]圖1是本發明實施例的方法框架圖；[0023]圖2是本發明實施例的多視影像匹配的候選同名像點搜索示意圖；[0024]圖3是本發明實施例的多視影像正向匹配結果的反向一致性驗證流程；[0025]圖4是本發明實施例的三幅航空影像的傳統多像正向匹配結果；[0026]圖5是本發明實施例的三幅航空影像的基於物方信息的多像雙向匹配策略的匹配結果。
【具體實施方式】
[0027]以下結合具體實施例，並參照附圖，對本發明作進一步詳細說明。[0028]本發明根據影像的成像模型和輸入的地面物方信息，先進行物方信息約束的多視影像正向匹配，以利用多視影像之間的信息冗餘性提高匹配相似性測度計算的可靠性；然後，對多視影像正向匹配結果進行多個單立體影像的反向匹配，以有效地消除正向匹配結果中的許多誤匹配點，提高多視影像匹配結果的準確性。[0029]如圖1所示，物方信息約束的多視影像雙向匹配策略包括三部分:(1)確定待匹配點的物方搜索區間；(2)物方信息約束的多視影像正向匹配；(3)多像正向匹配結果的反向一致性驗證。具體實施步驟為:[0030]第一步:確定待匹配點的物方搜索區間。[0031](I)輸入具有重疊度的η幅序列航空、航天或近景攝影影像，其對應的外方位元素，及待匹配區域的最大地面高程Zmax和最小地面高程Zmin ；[0032](2)根據影像的成像模型，利用基準影像上待匹配點P的像平面坐標、輸入的最大和最小地面高程，計算待匹配點對應地物點在物方攝影光線上搜索區間的最高點和最低點的物方三維坐標。[0033]若待匹配點P在基準影像Itl的像平面坐標為(xp，yp)，基準影像的外方位元素為 (為，Ym, Zj0, φ?β, com, _)，則點P在物方攝影光線上搜索區間的最聞點Pmax和最低點Pmin的物方平面坐標(X_，Ymax)、(Xniin, Yniin,)可由Znia和Zniin帶入下式計算:
【權利要求】
1. 物方信息約束的多視影像雙向匹配策略，其特徵在於包括如下步驟:步驟一，根據多視影像對應的外方位元素，以及輸入的待匹配區域的最大、最小地面高程，確定基準影像上待匹配點對應地物點在物方攝影光線上搜索區間的兩個端點的物方三維坐標；步驟二，將待匹配點在物方的兩個搜索端點往各幅搜索影像上投影，得到各搜索影像上同名像點所在搜索核線的兩個端點的像方二維坐標，基於此進行物方信息約束的多視影像正向匹配，從而確定待匹配點在各搜索影像上的同名像點；步驟三，將各搜索影像和基準影像組成多個立體像對，以各搜索影像上的同名像點為待匹配點，進行物方信息約束的反向立體影像匹配，再根據多個立體像對的反向匹配結果， 對多視影像正向匹配結果進行一致性驗證，從而得到最終的同名像點集合。
2.根據權利要求1所述的物方信息約束的多視影像雙向匹配策略，其特徵在於，所述步驟一的具體過程為:(1)輸入具有重疊度的η幅序列航空、航天或近景攝影影像，其對應的外方位元素，及待匹配區域的最大地面高程Zmax和最小地面高程Zmin ；(2)根據影像的成像模型，利用基準影像上待匹配點P的像平面坐標、輸入的最大和最小地面高程，計算待匹配點對應地物點在物方攝影光線上搜索區間的最高點和最低點的物方三維坐標。
3.根據權利要求1所述的物方信息約束的多視影像雙向匹配策略，其特徵在於，所述步驟二的具體過程為:(1)根據成像模型，將待匹配點物方的最高點和最低點往η-1幅搜索影像S1、…、S」、...、 Slri上進行投影，得到各幅搜索影像上的候選同名點搜索核線兩個端點的像平面坐標；(2)根據各搜索核線的兩個端點的像平面坐標，確定核線的直線方程y=kx+b，以及X坐標的區間範圍[start_Xj, end_Xj], j=l, 2,…，n_l,並以區間長度end_Xj_start_Xj最大的一幅搜索影像為主搜索影像，剩餘的n-2幅影像為副搜索影像；(3)從主搜索影像上的像方搜索區間內逐個取出每個像素點作為該影像上的候選同名像點，先利用雙像前方交會方法計算候選點對應地物點的物方三維坐標，並將此三維坐標往各幅副搜索影像上進行投影，得到各副搜索影像上的每組η-1個候選同名像點；然後，再利用基於灰度和SIFT特徵的匹配測度計算方法，計算基準影像上待匹配點和每組η-1個候選同名點的多像匹配相似度，並以最大相似度所對應的那組候選點，作為多像正向匹配過程所獲得的待匹配點在η-1幅搜索影像上的η-1個同名像點q1、q2、…、q1"1。
4.根據權利要求1所述的物方信息約束的多視影像雙向匹配策略，其特徵在於，所述步驟三的具體過程為:(1)對於多視影像正向匹配得到的待匹配點在各幅搜索影像上的η-1個同名像點，以每一個同名點為待匹配點，以其所在的搜索影像為左影像、原來的基準影像Itl為右影像，組成多個單立體影像，分別進行η-1次立體影像匹配，以在影像Itl上得到η-1個反向匹配基準點 P』P P』2、…、P』n-1;(2)將每一個反向匹配基準點p』j和原始待匹配點P進行列號較差的計算，如果差值在一定的閾值之內，則認為此反向匹配基準點對應的搜索影像上的同名像點V符合一致性要求，並將該同名像點加入待匹配點的同名像點集合；如果所有反向匹配基準點都和原始待匹配點不一致，則認為原 始待匹配點為無效匹配點，其同名像點集合賦空值。
【文檔編號】G01C11/04GK103604417SQ201310572332
【公開日】2014年2月26日 申請日期:2013年11月15日 優先權日:2013年11月15日
【發明者】張卡, 盛業華, 閭國年, 劉學軍 申請人:南京師範大學