一種利用滾動導向濾波的遙感圖像融合方法與流程
2023-08-11 17:32:11
本發明涉及遙感圖像的可視化增強處理技術，尤其是針對星載多光譜圖像和全色光圖像的圖像融合方法。
背景技術：
隨著星載成像傳感器的快速發展，許多衛星可以提供高解析度的遙感圖像。一些在軌的高解析度商業衛星，例如ikonos、quickbird、worldview-2能同時捕捉全色光圖像和多光譜圖像。由於物理約束，全色光圖像具有非常高的空間解析度，但是只具有單一光譜通道，與此相反，多光譜圖像具有較低的空間解析度但更高的光譜解析度。通過融合多光譜圖像和全色光圖像，可以得到一幅同時具有高空間解析度和光譜信息豐富的融合圖像，其在保持光譜特性的同時，增強了圖像的可視化效果。
在多光譜和全色光圖像融合方法中，空間細節模型主要思想是將有用的空間細節信息從多光譜圖像中提取出來，然後用預先設定的注入規則加在多光譜圖像中。在該類模型中邊緣保持濾波器因其邊緣感知能力成為研究熱點，近幾年在研究中使用的該類濾波器有非局部均勻濾波、加權最小二乘濾波、導向濾波(參見文獻ieeecomputersocietyconferenceoncomputervisionandpatternrecognition,2(7):60-65,2005；acmtransactionsongraphics,27(3):15-19,2008；ieeetransactionsonpatternanalysisandmachineintelligence,35(6):1397-1409,2013)。然而邊緣保持濾波器很難分離結構與細節，得到的融合結果光譜保真度與空間信息都有一定的欠缺。
技術實現要素：
為了克服現有技術的不足，本發明提供一種基於滾動導向濾波的遙感圖像融合方法，不同於邊緣保持濾波器，滾動導向濾波器能夠提取不同尺度結構而保留其他的信息。本發明通過滾動導向濾波將全色光和多光譜圖像的空間信息準確的提取出來，再使用gramschmidt(gs)變換將空間信息注入到多光譜圖像中。
本發明解決其技術問題所採取的技術方案包括以下步驟：
第一步，對於原始多光譜圖像包含的n個波段圖像ms1、ms2、…、msn，通過雙三次插值將各波段圖像上採樣到和全色光圖像pan尺寸相同的圖像rms1、rms2、…、rmsn；
第二步，將rms1、rms2、…、rmsn波段圖像對應像素點的灰度值取平均作為低解析度全色光圖像pl對應像素點灰度值，即將pl與rms1、rms2、…、rmsn波段圖像作為gs正變換的輸入圖像得到變換後的波段圖像gs1，gs2，…，gsn+1；
第三步，令亮度分量圖像i等於pl，分別計算圖像i與pan所有像素點灰度值的均值與標準差，將圖像i與pan做直方圖匹配得到式中μi與μp分別為亮度分量圖像i和全色光圖像pan所有像素點灰度值的均值，σi與σp分別為亮度分量圖像i和全色光圖像pan的所有像素點灰度值的標準差；
第四步，構建滾動導向濾波器，並將滾動導向濾波算法記為rgf(·)，分兩個階段進行：
第一階段對輸入圖像做高斯濾波，該階段輸入圖像為q，輸出圖像記為g，其中σs為q的所有像素點的灰度值標準偏差，n(p)為以p為中心、w×w窗口大小的像素集，q為n(p)中不同於p的像素點，||p-q||表示兩個像素點的歐式距離；
第二階段採用導向濾波算法gf(·)，該階段輸入圖像為q，與第一階段輸入圖像相同，圖像j作為迭代更新的指導圖像，其中第一階段的輸出g記為j1，第t次迭代的結果jt+1＝gf(jt，q)；
第五步，將亮度分量圖像i與直方圖匹配全色光圖像pan'分別作為滾動導向濾波器的輸入圖像，計算出對應的輸出圖像，即li＝i-rgf(i)和lp＝pan'-rgf(pan')，再計算i與pan'的細節圖像d1＝i-li與d2＝pan'-lp；
第六步，構造能量顯著映射sj＝|box(dj)|,j＝1,2，其中box(·)為r×r大小的平均濾波器，|·|為取絕對值操作，dj為第j幅細節圖像；再利用能量顯著映射構造加權映射其中sj(m)表示第j幅圖像中第m個像素的顯著映射值；
將dj作為導向濾波器的指導圖像，wj作為輸入圖像，計算出輸出圖像oj＝gf(dj,wj)，最後計算細節圖像
第七步，將gs變換後得到的第一波段圖像gs1作為滾動導向濾波的輸入圖像，滾動導向濾波器的輸出圖像記為lgs1，即lgs1＝rgf(gs1)。將細節圖像d注入lgs1作為新的gs變換的第一波段圖像gs1new＝d+lgs1；
第八步，對新的變換波段gs1new，gs2，…，gsn+1進行gs反變換，得到n個波段融合結果圖像f1，f2，…，fn。
本發明的有益效果是：針對多光譜與全色光圖像融合過程中由於細節提取與注入模型不適導致融合結果產生光譜解析度與空間解析度失真問題，採用高斯濾波與導向濾波相結合的滾動導向濾波器，該濾波器最主要的優勢是其尺度感知性能，其可將輸入圖像分解為兩層：一層是包含大尺度結構的基礎層，另一層是包含小尺度紋理的細節層。在發明中利用滾動導向濾波器將多光譜與全色光圖像不同尺度的結構分離，從而可以提取出所需的空間信息，並結合gramschmidt(gs)變換將細節注入到多光譜圖像中得到融合結果。融合結果不僅提高了原始多光譜圖像的空間解析度，也保持了光譜信息，是一種適合於高解析度星載多光譜與全色光圖像融合的有效方法。
附圖說明
圖1是本發明的原理示意圖；
圖2是本發明的流程圖。
具體實施方式
下面結合附圖和實施例對本發明進一步說明，本發明包括但不僅限於下述實施例。
本發明解決其技術問題所採取的技術方案包括以下步驟：
第一步、上採樣多光譜圖像：
假設原始多光譜圖像包含n個波段(ms1，ms2，…，msn)，通過雙三次插值將各波段圖像上採樣到和全色光圖像尺寸相同的圖像(rms1，rms2，…，rmsn)。
第二步、gs正變換：
將n個波段(rms1，rms2，…，rmsn)對應像素點的灰度值取平均設為低解析度全色光圖像pl對應像素點灰度值，將pl與這n個波段(rms1，rms2，…，rmsn)作為gs正變換(參見文獻u.s.patent6011875,2000)的輸入圖像得到變換後的波段(gs1，gs2，…，gsn+1)。
第三步、直方圖匹配：
令亮度分量圖像i等於pl，分別計算圖像i與pan所有像素點灰度值的均值與標準差，將圖像i與pan做直方圖匹配得到pan'：
i＝pl(2)
式中μi與μp分別為亮度分量圖像i和全色光圖像pan的所有像素點灰度值的均值，σi與σp分別為亮度分量圖像i和全色光圖像pan的所有像素點灰度值的標準差。
第四步、滾動導向濾波：
滾動導向濾波器原理參見2014europeanconferenceoncomputervision(eccv2014),8691:815-830,2014。
設圖像q為滾動導向濾波的輸入圖像，並將滾動導向濾波算法記為rgf(·)，該濾波器分兩個階段進行：
第一階段使用高斯濾波器對輸入圖像做高斯濾波，該階段輸出圖像記為g，具體公式如下：
其中σs為q的所有像素點的灰度值標準偏差，n(p)為以p為中心、w×w窗口大小的像素集，q為n(p)中不同於p的像素點，||p-q||表示兩個像素點的歐式距離。
第二階段使用聯合濾波器進行迭代操作，聯合濾波器可採用聯合雙邊濾波器，導向濾波器等。在該發明中採用導向濾波器，該階段輸入圖像為q，與第一階段輸入圖像相同，圖像j作為迭代更新的指導圖像，其中第一階段的輸出g記為j1，jt+1為第t次迭代的結果。將gf(·)記為導向濾波算法，則該階段公式如下：
jt+1＝gf(jt，q)(5)
第五步、細節的提取：
將多光譜圖像的亮度分量圖像i與直方圖匹配全色光圖像pan'分別作為滾動導向濾波器的輸入圖像，並利用第四步分別計算出對應的輸出圖像，分別記為li和lp，再計算i與pan'的細節圖像d1與d2：
li＝i-rgf(i)(6)
lp＝pan'-rgf(pan')(7)
d1＝i-li(8)
d2＝pan'-lp(9)
第六步、細節圖像融合：
將細節圖像d1、d2通過低通濾波器並取絕對值，構造能量顯著映射：
sj＝|box(dj)|,j＝1,2(10)
其中box(·)為r×r大小的平均濾波器，dj為第j幅細節圖像，|·|為取絕對值操作，得到的顯著映射提供了圖像中較好的細節特徵。再利用能量顯著映射構造加權映射：
其中sj(m)表示第j幅圖像中第m個像素的顯著映射值。
將dj作為導向濾波器的指導圖像，wj作為輸入圖像，計算出輸出圖像oj，最後計算細節圖像d：
oj＝gf(dj,wj),j＝1,2(12)
第七步、細節注入：
將gs變換後得到的第一波段gs1作為滾動導向濾波的輸入圖像，利用第四步計算出輸出圖像記為lgs1，將細節圖像d注入lgs1作為新的gs變換的第一波段，並記為gs1new：
lgs1＝rgf(gs1)(14)
gs1new＝d+lgs1(15)
第八步、gs反變換：
對新的變換波段(gs1new，gs2，…，gsn+1)進行gs反變換，得到n個波段融合結果圖像(f1，f2，…，fn)。
方法實施例：
採用真實ikonos星載遙感多光譜和全色光圖像，多光譜圖像包含四個波段(ms1-ms4)，全色光圖像(pan)為單波段。多光譜圖像的空間解析度為4.0m，大小為100行×100列。全色光圖像空間解析度為1.0m，大小為400行×400列。實施本發明包括以下步驟：
第一步、上採樣多光譜圖像：
由於全色光圖像空間解析度是多光譜圖像空間解析度的4倍，因此通過雙三次插值將4個波段(ms1，ms2，ms3，ms4)上採樣到和全色光圖像尺寸相同的圖像(rms1，rms2，rms3，rms4)。
第二步、gs正變換：
將4個波段(rms1，rms2，rms3，rms4)對應像素點的灰度值取平均設為低解析度全色光圖像pl對應像素點灰度值，將pl與這4個波段作為gs正變換的輸入圖像得到變換後的波段(gs1，gs2，…，gs5)。
pl＝(rms1+rms2+rms3+rms4)/4
第三步、直方圖匹配：
利用公式(2)得到亮度分量圖像i，再利用公式(3)將圖像i與pan做直方圖匹配得到pan'。
第四步、滾動導向濾波：
設置圖像i與pan'分別為滾動導向濾波的輸入圖像，利用公式(4)和(5)對這兩幅圖像進行滾動導向濾波，其中σs、w取值均為2，t取值為4。根據公式(6)和(7)輸出圖像分別記為li與lp。
第五步、細節的提取：
利用公式(8)和(9)計算i與pan'的細節圖像記為d1與d2。
第六步、細節圖像融合：
將細節圖像d1與d2通過3×3的平均濾波器並取絕對值，構造能量顯著映射：
s1＝|box(d1)|
s2＝|box(d2)|
再利用s1與s2構造加權映射w1與w2。
將d1與d2分別作為導向濾波器的指導圖像，相應的加權映射w1與w2分別作為輸入圖像，利用導向濾波算法gf(·)計算出輸出圖像o1與o2。
o1＝gf(d1,w1)
o2＝gf(d2,w2)
最後根據公式(13)計算融合的細節圖像d。
第七步、細節注入：
將gs正變換後得到的第一波段gs1作為滾動導向濾波的輸入圖像，利用公式(4)和(5)計算出lgs1，其中σs、w取值均為2，t取值為4。根據公式(15)將細節圖像d注入lgs1作為新的gs變換的第一波段gs1new，即：
gs1new＝d+lgs1
第八步、gs反變換：
對新的變換波段(gs1new，gs2，…，gs5)進行gs反變換，得到4個波段融合結果圖像(f1，f2，f3，f4)。