一種無人機載SAR圖像實時拼接方法與流程
2023-11-10 04:22:17
本發明涉及一種圖像實時拼接方法，尤其涉及一種無人機載SAR圖像實時拼接方法。
背景技術：
：我國正在大力發展高空長航時無人機，這種無人機較一般無人機飛行高度更高、續航時間更長，其飛行高度可達10千米至20千米，續航時間在12小時以上，能夠晝夜持續空中偵察和監視、執行戰略或戰役偵察任務。合成孔徑雷達(SyntheticApertureRadar，SAR)成像時，由於硬體和算法的限制，不能在方位向無線延伸，只能將將長距離飛行的回波分段處理，形成方位向距離一定，距離向相等的SAR圖像。同時，飛機抖動、氣流等因素還會導致兩鄰兩幅圖像之間的存在較小的旋轉。為實現對連續區域的觀察，部分回波數據會被成像算法處理兩次。這種處理方式會導致相鄰兩幅SAR圖像存在一定的重疊區域。為了得到大場景連續的SAR圖像，提出將同一次開機的SAR圖像進行無縫拼接處理的需求。圖像配準在全景製圖、變化檢測、圖像目標識別、圖像融合、視覺導航等應用領域起著至關重要的作用，圖像配準質量直接關係後期應用的可靠性。圖像配準算法包括基於圖像特徵算法、基於圖像灰度特徵的算法和基於頻率域的算法。由於SAR圖像存在椒鹽噪聲，前兩種算法很難實時準確地進行配準。基於頻率域的算法，避免了選擇控制點，具有抗噪性強等特點，適用於SAR圖像的配準。國外已有機載平臺下SAR圖像拼接技術報導。國內空軍雷達學院、重慶理工大學、中國航空工業集團公司雷達與電子設備研究院等院校開展了無人機載平臺下的SAR圖像拼接技術的研究，但目前還沒有成熟技術方案和工程應用。技術實現要素：本發明的目的是解決去除相鄰兩幅圖像之間的重疊區域，形成無縫拼接的圖像的問題，故而提供一種無人機載SAR圖像實時拼接方法。本發明是這樣實現的，一種無人機載SAR圖像實時拼接方法，包括以下步驟：(1)機上雷達進入SAR成像模式，並將數據傳輸到地面系統，系統開始接收圖像數據；(2)等待SAR圖像；(3)判斷是否是結束標籤；如果是，則轉到第20步；(4)對圖像進行重採樣，並根據規劃航線進行旋轉，更新圖像參數信息；(5)判斷是否為第一幅圖像，如果是第一幅圖像，轉到第17步；(6)判斷解析度是否相同，如果不相同，轉到第16步；(7)判斷圖像經緯度是否可靠，如果不可靠，對原始圖像採用FFT計算重疊率；(8)如果匹配成功，轉到第14步，否則轉到16步；(9)如果圖像經緯度坐標可靠，根據圖像方位向跨度和圖像經緯度計算當前圖像與前一幅圖像的重疊率；(10)根據飛機慣導、雷達天線方位角及規劃的航線，確定圖像的旋轉角度；(11)對當前圖像進行重採樣和旋轉處理，更新圖像參數信息；(12)在重疊區域選擇地面紋理複雜的512*512區域，採用FFT變換確定重疊率；(13)如果匹配失敗，對原始圖做FFT，計算重疊率，變更坐標信息不可靠，轉到第8步；(14)對當前幅圖像進行直方圖匹配拉伸，並對拼接處進行邊緣融合處理；(15)截取前一幅圖像從開始到重疊位置向後平移重疊距離的一半處的圖像數據；(16)輸出前一幅圖像；(17)截取當前圖像重疊距離的一半處到最後一行的圖像數據，並更新當前圖像的圖像信息；(18)並更新參數信息，轉到步驟2；(19)輸出上一幅圖像；(20)退出。作為上述方案的進一步改進，在第4步中，對圖像進行重採樣時，去除圖像幾何畸變：假設p＝(x,y,1)T是圖像中某像素點的坐標，p′＝(x′,y′,1)T是SAR圖像實際的空間範圍的坐標，則可以用矩陣向量的形式將二維平面變換表示為：p′＝H*pH=h11h12h13h21h22h23h31h321]]>變換後的坐標為：x′=h11x+h12y+h13h31x+h32y+1]]>y′=h21x+h22y+h23h31x+h32y+1]]>將兩幅圖像的4組角點坐標帶入公式，求得攝影變換矩陣H中的8個未知參數：h11、h12、h13、h21、h22、h23、h31、h32。作為上述方案的進一步改進，在第7步中，如果圖像f2(x,y)是圖像f1(x,y)經平移(x0,y0)後的圖像，即f2(x,y)＝f1(x-x0,y-y0)，則對應的傅立葉變換F1和F2的關係為：F2(ξ,η)=e-j2π(ξx0+ηy0)F1(ξ,η)---(1)]]>且對應頻域中兩個圖像的互能量譜為：F1(ξ,η)F2*|F1(ξ,η)F2*|=ej2π(ξx0+ηy0)---(2)]]>式中為F2的復共軛,表示列向相鄰兩個像素對應的相位差，η表示行向相鄰兩個像素對應的相位差。作為上述方案的進一步改進，在第9步中，圖像相對規劃航線的旋轉角度計算方法如下：圖像方位向相對於規劃航線的夾角ρ，由飛機飛行方向與規劃航線的夾角即偏航角θ和波束指向角與飛機飛行方向的夾角兩部分計算得到：偏航角θ是由飛機慣導信息中直接獲取；通過都卜勒頻率fd和飛機的速度V計算得到，計算公式如下：式中，λ為雷達波長。作為上述方案的進一步改進，在第10步中，重疊位置計算方法如下：計算圖像方位向的跨度Ra，直接從圖像參數文件中讀取；計算當前圖像中心與上一幅圖像中心的距離，計算圖像四個角點經緯度的均值作為圖像中心點坐標，然後計算兩點的歐式距離Dis；根據圖像方位向與規劃航線的夾角和三角公式計算距離向何方位向的偏移量：式中，Xoffset表示距離向的偏移量，Yoffset表示方位向偏移量。作為上述方案的進一步改進，在第12步中，選擇參與圖像匹配的依據：圖像(M行×N列)的信息熵是衡量圖像飽含信息量的大小的指標，其公式如下：Hf=-Σi=1NΣj=1MPi,jlog(Pi,j),]]>Pi,j=f(i,j)/Σi=1NΣj=1Mf(i,j)]]>式中，i表示行號，j表示列號；f(i,j)表示i行j列的像元值。作為上述方案的進一步改進，在第14步中，直方圖拉伸算法：直方圖匹配過程的第1步是計算原圖像和參考圖像的3個顏色分量的直方圖，下式給出了參考圖像IR亮度直方圖的計算方法：HIR(μ)=1w×hΣi=1hΣj=1wγ(μ,I(i,j))]]>其中，式中，w，h分別為圖像的寬和高，為參考圖像亮度直方圖在亮度為μ處的值，它表示圖像中亮度值為μ的像素所佔的百分比，I(i,j)表示參考圖像的像素(i,j)的亮度值。進一步地，通過亮度直方圖匹配的方法來建立映射函數需要經過以下兩步：1)首先計算積累分布函數的積累直方圖，其中參考圖像的亮度積累直方圖由以下式子計算：式中，為參考圖像亮度積累直方圖；上角R代表reference；I代表亮度，它表示圖像中亮度值小於或者等於μ的像素的百分比；2)在得到原圖像和參考圖像積累直方圖以後，再通過積累直方圖的對應關係建立亮度變換的映射函數，使得校正後的圖像和參考圖像的積累直方圖在每個亮度值處具有相似的數值。再進一步地，映射函數通過以下公式得到：MapI(v)＝μ,當式中，MapI(v)表示亮度映射函數；分別代表參考圖像和原圖像且上角O代表original的亮度分量積累直方圖；當條件滿足時，表示原圖像中亮度值小於或者等於v的像素和參考圖像中亮度值小於或者等於μ的像素數目相似，此時，將原圖像中亮度值為v的像素校正成μ；最後將亮度映射函數應用於原圖像的每個像素來得到校正後圖像的亮度值IC(i,j)。優選地，圖像邊緣融合主要由三部分組成：計算圖像重疊區域大小、邊緣融合因子、邊緣融合處理；圖像邊緣融合的處理流程包括：首先，根據參考圖像和配準後的目標圖像計算出兩者的重疊區域，然後載重疊區構造一條鋸齒形切割線，最後沿著切割線根據邊緣融合因子，對拼接圖像進行邊緣融合處理；其中，邊緣融合因子f(x)∈(0，1)，本發明的有益效果有：(1)保證實時性：機載雷達實時處理系統平均每2秒成一幅SAR圖像，要求SAR圖像匹配時間小於1秒，本發明通過SAR圖像自身的經緯度估算相鄰兩幅圖像的偏移量，然後在512*512的小圖像上進行精確的匹配，提高匹配速度，增強時效性；(2)保證圖像的一致性：相鄰的SAR圖像存在亮度差異，在實時顯示時，出現亮暗相間情況。通過邊界融合技術和直方圖匹配技術能夠保證同一次飛行數據的亮度一致性。附圖說明圖1是無人機載SAR圖像實時拼接方法的流程圖。圖2是一次航線的原始圖像(左)及拼接圖像(右)。圖3a與圖3b分別是圖像匹配距離向和方位向的平移量變化散點圖。圖4是圖像旋轉角度變化散點圖。具體實施方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。本發明的目的是解決去除相鄰兩幅圖像之間的重疊區域，形成無縫拼接的圖像的問題，可包括以下至少一個具體問題：(1)SAR圖像近距和遠距的解析度不一致變給圖像匹配帶來的不良影響；(2)大數據量的SAR圖像匹配引起的效率問題；(3)小區域圖像因信息量不足而引起的SAR圖像匹配失敗等問題。本發明在FFT匹配技術的基礎上，綜合飛機慣導、圖像經緯度信息，提出了一種SAR圖像拼接的快速的算法，保證了大場景SAR圖像的高精度、實時輸出。我單位作為SAR系統總體單位，針對無人機載平臺下的SAR圖像拼接工作開展了大量飛行試驗，並最終形成了一套穩健的SAR圖像實時拼接技術方案。請參閱圖1，一種無人機載SAR匹配導航方法，按如下的步驟進行。(1)機上雷達進入SAR成像模式，並將數據傳輸到地面系統，系統開始接收圖像數據。(2)等待SAR圖像。(3)判斷是否是結束標籤。如果是，則轉到第20步。(4)去除圖像幾何畸變，並根據規劃航線進行旋轉，更新圖像參數信息。攝影變換算法說明如下：假設p＝(x,y,1)T，是圖像中某像素點的坐標，p′＝(x′,y′,1)T，是SAR圖像實際的空間範圍的坐標，則可以用矩陣向量的形式將二維平面變換表示為：p′＝H*pH=h11h12h13h21h22h23h31h321]]>變換後的坐標為：x′=h11x+h12y+h13h31x+h32y+1y′=h21x+h22y+h23h31x+h32y+1.]]>將兩幅圖像的4組角點坐標帶入公式，求得攝影變換矩陣H中的8個未知參數：h11、h12、h13、h21、h22、h23、h31、h32。(5)判斷是否為第一幅圖像，如果是第一幅圖像，轉到第17步。(6)判斷解析度是否相同，如果不相同，轉到第16步。(7)判斷圖像經緯度是否可靠，如果不可靠，對原始圖像採用FFT計算重疊率。FFT圖像匹配算法如下：如果圖像f2(x,y)是圖像f1(x,y)經平移(x0,y0)後的圖像，即f2(x,y)＝f1(x-x0,y-y0)，則對應的傅立葉變換F1和F2的關係為：F2(ξ,η)=e-j2π(ξx0+ηy0)F1(ξ,η)---(1)]]>且對應頻域中兩個圖像的互能量譜為：F1(ξ,η)F2*|F1(ξ,η)F2*|=ej2π(ξx0+ηy0)---(2)]]>式中為F2的復共軛,表示列向兩個相鄰象素的相位差，η表示行向兩個相鄰象素的相位差。平移理論表明，互能量譜的相位等於圖像間的相位差。通過對互能量譜進行反變換，就可得到一個衝擊函數δ(x-x0,y-y0)。此函數在偏移位置處有明顯的尖銳峰值。其他位置的值接近於零，所以據此就能找到兩圖像間的偏移量。(8)如果匹配成功，轉到第14步，否則轉到16步。(9)如果圖像經緯度坐標可靠，根據飛機慣導、都卜勒頻率及規劃的航線，確定圖像的旋轉角度。圖像相對規劃航線的旋轉角度計算方法如下：圖像方位向相對於規劃航線的夾角(ρ)由飛機飛行方向與規劃航線的夾角(偏航角θ)和波束指向角與飛機飛行方向的夾角兩部分計算得到。偏航角(θ)是由飛機慣導信息中直接獲取。通過都卜勒頻率(fd)和飛機的速度(V)計算得到，計算公式如下：式中，λ為雷達波長。(10)根據圖像方位向跨度和圖像經緯度計算當前圖像與前一幅圖像的重疊位置。重疊位置計算方法如下：計算圖像方位向的跨度(Ra)，直接從圖像參數文件中讀取；計算當前圖像中心與上一幅圖像中心的距離，計算圖像四個角點經緯度的均值作為圖像中心點坐標，然後計算兩點的歐式距離(Dis)；根據圖像方位向與規劃航線的夾角和三角公式計算距離向何方位向的偏移量。式中，Xoffset表示距離向的偏移量，Yoffset表示方位向偏移量。(11)對當前圖像進行重採樣和旋轉處理，更新圖像參數信息。(12)在重疊區域選擇地面紋理複雜的512*512區域，採用FFT變換確定重疊率。選擇參與圖像匹配的依據：圖像(M行×N列)的信息熵是衡量圖像飽含信息量的大小的指標，其公式如下：Hf=-Σi=1NΣj=1MPi,jlog(Pi,j),]]>Pi,j=f(i,j)/Σi=1NΣj=1Mf(i,j)]]>式中，i表示行號，j表示列號。f(i,j)表示i行j列的像元值。由熵的定義及實驗數據可知，圖像的信息熵反映了圖像的總體概貌，圖像信息熵之間的差別對應著圖像之間的實質差別。若圖像中包含目標，則在目標與背景可分割的交界處信息量(熵)最大，而且其局部熵反映了該局部所含有信息量的大小，因此局部熵可以描述圖像的局部性質，如果該局部存在邊緣，則該局部灰度值會急劇變化，相應的信息熵較小。通過分析發現，當圖像信息熵小於X時，圖像為有效區域的概率較大。(13)如果匹配失敗，對原始圖做FFT，計算重疊率，變更坐標信息不可靠，轉到第8步；參考第七步第二部分。(14)對當前幅圖像進行直方圖匹配拉伸，並對拼接處進行邊緣融合處理。直方圖拉伸算法：直方圖匹配方法的優點是性能不受簡化的光照成像模型的影響,既可以校正線性偏差，也可以消除伽馬效應之類的非線性差異。直方圖匹配過程的第1步是計算原圖像和參考圖像的3個顏色分量的直方圖。式(1)給出了參考圖像IR亮度直方圖的計算方法。HIRR(μ)=1w×hΣi=1hΣj=1wγ(μ,I(i,j))]]>其中，式中，w，h分別為圖像的寬和高，為參考圖像亮度直方圖在亮度為μ處的值，它表示圖像中亮度值為μ的像素所佔的百分比。I(i,j)表示參考圖像的像素(i,j)的亮度值。本文將相鄰兩個視點的左圖視為參考圖像，右圖視為需要校正的原圖像。通過亮度直方圖匹配的方法來建立映射函數需要經過以下兩步。1)首先計算積累分布函數)))積累直方圖，其中參考圖像的亮度積累直方圖由式(2)計算。CIR(μ)=1w×hΣi=0uHIR(i)]]>式中，為參考圖像亮度積累直方圖(上角R代表reference，I代表亮度),它表示圖像中亮度值小於或者等於μ的像素的百分比。2)在得到原圖像和參考圖像積累直方圖以後，再通過積累直方圖的對應關係建立亮度變換的映射函數，使得校正後的圖像和參考圖像的積累直方圖在每個亮度值處具有相似的數值。可使用下面的方法得到映射函數。MapI(v)＝μ,當式中，MapI(v)表示亮度映射函數，分別代表參考圖像和原圖像(上角O代表original)的亮度分量積累直方圖，當條件滿足時，表示原圖像中亮度值小於或者等於v的像素和參考圖像中亮度值小於或者等於μ的像素數目相似，此時，將原圖像中亮度值為v的像素校正成μ。最後將亮度映射函數應用於原圖像的每個像素來得到校正後圖像的亮度值IC(i,j)。IC(i,j)＝MapI(IO(i,j))邊緣融合技術原理：圖像邊緣融合模塊主要由三部分組成：計算圖像重疊區域大小、邊緣融合因子、邊緣融合處理。該模塊的處理流程：首先，根據參考圖像和配準後的目標圖像計算出兩者的重疊區域，然後載重疊區構造一條鋸齒形切割線，最後沿著切割線根據邊緣融合因子，對拼接圖像進行邊緣融合處理。邊緣融合因子f(x)∈(0，1)。f(x)={x0≤x≤0.51-x0.5≤x≤1.]]>(15)截取前一幅圖像從開始到重疊位置向後平移重疊距離的一半處的圖像數據。(16)輸出前一幅圖像。(17)截取當前圖像重疊距離的一半處到最後一行的圖像數據，並更新當前圖像的圖像信息。(18)並更新參數信息，轉到步驟2。(19)輸出上一幅圖像。(20)退出。本實例參加拼接的圖像共26幅，圖像大小為2048行，7168列，圖像解析度為3米，左側視。圖2是一次航線的部分原始圖像(左)及拼接結果圖像(右)。從圖2中可以看出原始圖像上下兩側的黑邊在拼接後被有效去除,相鄰兩幅圖像接邊處得到很好的處理,沒有明顯的痕跡,同時圖像亮度也變得更均衡。圖3a與圖3b分別是圖像匹配距離向和方位向的平移量變化散點圖。圖3a的橫坐標是序號，起點是0，每格相差5；縱坐標是距離向偏移量(像元素)，起點是-20，每格相差5。圖3b的橫坐標是序號，起點是0，每格相差5；縱坐標是方位向偏移量(像元素)，起點是450，每格相差50。從圖中可以看出方位向重疊像素在500-900像素之間，距離向的偏移量在-15～5之間。這兩個值與飛機速度、波束指向角有關。圖4是圖像旋轉角度的變化散點圖，橫坐標是序號，起點是0，每格相差5；縱坐標是圖像旋轉角度，起點是-1.4，每格相差0.2。從圖4可以看出同一航次的圖像在拼接時旋轉方向並不一致，這是由于波束指向角、飛機飛行方向等因素影響的。當前第1頁1 2 3