綜合邊緣和紋理信息的金字塔圖像融合方法
2023-06-07 21:31:26 1
專利名稱：綜合邊緣和紋理信息的金字塔圖像融合方法
技術領域：
本發明涉及一種綜合邊緣和紋理信息的金字塔圖像融合方法，是信息融合領域中的一項金字塔圖像融合方法，在光學成像、目標監視、安全檢查等系統中均可有廣泛應用。
背景技術：
圖像融合技術是多傳感器信息融合中可視信息的融合，它利用各種成像傳感器不同的成像方式，為不同的影像提供互補信息，增加圖像信息量，減少原始圖像數據量，提高對環境的適應性，以獲得更可靠、更準確的有用信息供觀察或進一步處理。圖像融合技術是一門綜合了傳感器、信號處理、圖像處理和人工智慧等的新興技術，近年來已成為一種十分重要和有用的圖像分析與計算機視覺技術，在自動目標識別、計算機視覺、遙感、機器人、醫學圖像處理以及軍事應用等領域有著廣泛的應用前景。
最簡單的圖像融合方法是將原圖像進行加權平均。這種方法的優點是簡單，實時性好，但是與此同時帶來的負面影響是降低了圖像的對比度。圖像金字塔分解技術與人類視覺系統中觀察事物的過程十分相似，圖像的金字塔分解技術包括圖像的小波變換、多速濾波器表示以及金字塔變換。其中，基於金字塔變化的融合方法可能成為最有希望的融合方法。儘管小波在圖像表示中展現了很多優越性，如在正交性表示、方向敏感性以及降噪性能方面都超過了金字塔分解方法。但是由於小波存在不對稱性導致的在位移不變性方面的性能較差，從而影響了圖像融合的效果。因此開發一種新的基於金字塔分解的金字塔圖像融合方法，來避免由於小波所造成的位移不變性差的缺點，彌補傳統金字塔結構的金字塔圖像融合方法在提取紋理特徵以及邊緣特徵方面的不足，顯得十分必要。
發明內容
本發明的目的在於針對現有金字塔圖像融合技術存在的不足，提供一種綜合邊緣和紋理信息的金字塔圖像融合方法，能夠提高融合後的圖像質量，達到理想的實用效果。
為實現這樣的目的，本發明技術方案的創新點在於將傳統的圖像金字塔分解拓展到基於紋理和邊緣信息的金字塔分解方法，並基於這樣一種金字塔表示對圖像進行融合。本發明通過高斯濾波獲得原始圖像的金字塔分解，考慮二項高斯濾波器和紋理提取濾波器以及邊緣提取濾波器之間的線性關係，採用奇異值分解法求出紋理和邊緣圖像的對應係數。利用各尺度圖像的這些特徵信息，對分解後圖像的各層進行表示。融合過程通過計算出兩幅圖像的各紋理和邊緣圖像對的相似性測度和顯著性測度，根據顯著性測度大小採用合適的融合策略(選大或加權平均)，通過這樣的融合策略得到一組紋理和邊緣的金字塔表示的圖像，最後經過重構得到最終融合後的圖像。
本發明的綜合邊緣和紋理信息的金字塔圖像融合方法包括如下具體步驟1.求取進行邊緣和紋理金字塔分解所要滿足的條件，也就是要構造一種基於邊緣和紋理特徵的金字塔結構。在二項高斯濾波器與紋理提取濾波器、邊緣提取濾波器之間建立一個具有待定係數的恆等式；通過奇異值分解計算出這些待定係數ti和ci。ti是紋理濾波器的係數，ci是邊緣提取濾波器的係數。滿足這樣的關係式是為了保證圖像分解後能夠完全重構，也就是基於邊緣和紋理信息金字塔分解的重構條件。
2.得到了基於邊緣和紋理信息的金字塔的結構後，基於這樣的結構，就可以對圖像進行分解了。將待融合圖像分別經過紋理提取濾波器和邊緣提取濾波器進行濾波，得到一層紋理圖像和邊緣圖像；此外，待融合圖像還要和二項高斯濾波器進行濾波，得到圖像的低通分量，作為下一層分解的輸入圖像，這個圖像再與邊緣提取濾波器和邊緣提取濾波器進行濾波，就得到下一層的紋理和邊緣圖像。這樣以此類推，迭代n次，就可以得到圖像n層紋理和邊緣信息表示的金字塔表示。
3.分別將兩幅待融合的圖像進行上述的操作，得到圖像的兩組金字塔表示形式。將分解後兩幅圖像的各層對應起來，計算每一層對的相似性測度和顯著性測度。相似性測度越大說明兩幅圖像對應層、對應位置的特徵越相似；顯著性測度是通過相似性測度計算得到的，它的值越大，說明特徵的相似性程度越小。為了保證融合能夠充分表現出待融合圖像的特徵，當顯著性測度大於某一個閾值的時候選擇特徵比較顯著的那個像素，當顯著性測度小於這一閾值，融合策略採用加權平均的方式，得到融合後圖像的紋理和邊緣信息的金字塔表示。
4.將得到的融合後圖像的紋理和邊緣信息的金字塔表示，從最頂層開始，一層一層進行重構。最頂層的M×M低通圖像Gn通過插值，首先得到2M×2M的插值圖像；下一層的紋理和邊緣信息表示層分別乘上步驟1得到的紋理濾波器係數ti和邊緣提取濾波器的係數ci進行求和，再與頂層的插值圖像求和，得到下一層的低通圖像Gn-1；反覆迭代，直至得到G0，它就是重構圖像，也就是所求的融合後的圖像。
本發明的圖像融合方法具有如下有益效果在對圖像基於邊緣和紋理信息進行金字塔展開後，圖像在各尺度上能夠充分反映出所具有的邊緣和紋理特徵。在基於這樣的金字塔分解的每一個層次上進行圖像融合，可以使得融合後圖像充分反映出原圖像所具有的特徵，這些特徵也正是圖像後續的識別工作所必須的。採用綜合紋理和邊緣信息的金字塔圖像融合方法大大提高了融合後圖像質量，對於應用系統的後續處理和圖像顯示具有重要意義和實用價值。
圖1為本發明的綜合邊緣和紋理信息的金字塔圖像融合方法流程示意圖。
如圖1所示，本發明的方法首先將兩幅待融合圖像進行基於邊緣和紋理信息的金字塔分解，再根據各金字塔層次上特徵的顯著性和相似性條件進行融合，得到融合後圖像的金字塔表示，然後再應用基於邊緣和紋理信息的金字塔反變換，重構出融合圖像。
圖2為本發明採用的對圖像進行基於邊緣和紋理信息金字塔分解和重構的結構示意圖。
圖2展現的是針對一幅圖像進行一層金字塔分解的過程。首先，將圖像分別與邊緣和紋理濾波器卷積，得到邊緣和紋理信息表示形式。圖像與二項高斯濾波器進行濾波得到一層分解金字塔的頂部。重構圖像是通過將這些圖像進行簡單求和得到的。
圖3是本發明實施例中的可見光和紅外圖像、部分邊緣和紋理圖像以及融合結果。
圖3中，(a)表示的是可見光圖像，(c)表示的是(a)所提供的部分和紋理信息；(b)表示的是前視紅外圖像，(d)表示的是(b)所提供的部分邊緣和紋理信息；(e)表示的是融合後圖像的部分邊緣和紋理信息；(f)為基於邊緣和紋理金字塔重構後的最終的融合圖像。
圖4是採用本發明的方法分別對合成孔徑雷達SAR和紅外圖像的融合結果。
具體實施例方式以下結合附圖和實施例對本發明的技術方案作進一步描述。
本發明的實施例中，待融合的兩幅圖像分別是圖3(a)表示的可見光圖像和圖3(b)表示的前視紅外圖像，採用的綜合邊緣和紋理信息的金字塔圖像融合方法按圖1所示流程進行，採用的金字塔分解和重構的結構如圖2所示。各部分具體實施細節如下1.建立基於邊緣和紋理信息金字塔分解和重構的結構將圖像分解成綜合紋理和邊緣信息的金字塔表示需要滿足重構條件，如公式(1)所示(1-wnew)=i=125tiTi*Ti+i=14ciDi*Di...(1)]]>式中的ti和ci為待定係數，這可以通過奇異值分解方法求得；Ti為Laws紋理提取濾波器，Di為邊緣提取濾波器。建立基於邊緣和紋理信息金字塔分解和重構的結構，主要任務就是求這些待定係數。
Laws紋理提取的五個核向量如下所示l5＝[1 4 6 4 1]e5＝[-1 -2 0 2 1]s5＝[-1 0 2 0 -1]u5＝[-1 2 0 -2 1]r5＝[1 -4 6 -4 1]Ti就是通過這些核向量經過交叉卷積以及自卷積後，再經過卷積擴維得到的25個9×9的濾波器。
四個邊緣提取濾波器如下d1=0001-21000;d2=000.50-100.500;d3=0100-20010;d4=0.5000-10000.5]]>與紋理提取濾波器的處理相似，它們通過卷積擴維得到四個邊緣提取濾波器Di。對等式(1)進行奇異值分解的方法求取待定係數。就得到了金字塔分解和重構的結構。圖2所示的為單一圖像進行一層金字塔分解和重構的示意圖。
2.圖像的金字塔分解過程邊緣提取濾波器與紋理提取濾波器共同組成29個特徵提取濾波器Fl(l＝1，2，...，29)。金字塔分解過程可採用公式(2)Lkl=fl(Fl*Fl)*[Gk+wnew*Gk]...(2)]]>其中，Fl和fl分別為特徵提取濾波器和其相應的係數； 是分解後的特徵圖像。
分解結果如圖3中所示3(c)為3(a)可見光圖像金字塔分解後的部分特徵內容，3(d)為3(b)前視紅外圖像金字塔分解後的部分特徵內容。
3.各層圖像的融合處理圖像分解成基於紋理和邊緣的金字塔形式後，融合方法採用基於相似性測度和顯著性測度進行融合的策略。標記第k層第l方向的圖像為Lkl。
首先計算兩幅圖像金字塔分解係數的活性測度，設兩組分解係數的顯著性測度分別為 和 採用基於窗口的測度，窗口大小為3×3，窗口模板係數為=111181111116]]>則顯著性測度為S(p)=sS,tT(s,t)Lkl(m+s,n+t,k,l)2]]>相似性測度為MAB(p)=2sS,tT(s,t)LklA(m+s,n+t,k,l)LklB(m+s,n+t,k,l)SA2(p)+SB2(p)]]>如果相似性測度MAB≥α，則A=12-12(1-MAB1-)]]>且ωB＝1-ωA如果相似性測度MAB＜α，則 最後得融合策略LklF(p)=A(p)LklA(p)+B(p)LklB(p)...(3)]]>圖3(e)為融合後圖像的金字塔表示。
4.融合後圖像基於紋理和邊緣信息的金字塔重構利用公式(3)所求出的 求基於紋理和邊緣的金字塔反變換即可得到融合圖像。最頂層圖像Gn表示的是圖像的低通信息，將這部分圖像進行插值處理，得到2M×2M的圖像。這與該低通的圖像的下一層紋理和邊緣信息圖像的維數是相等的。考慮步驟1得到的係數ti和ci是通過滿足重構條件得到的，這裡必須將紋理和邊緣圖像乘以該係數，然後加上最頂層圖像(低通圖像)的插值結果，從而得到低通圖像Gn-1。圖3(f)為可見光與前視紅外圖像的最終融合結果。
表1、表2分別為可見光/前視紅外圖像以及合成孔徑雷達/前視紅外圖像的融合結果指標評價指標。從表中可以看出，當採用紋理特徵時，融合性能已經超過了傳統的金字塔方法；採用綜合邊緣和紋理特徵後，所得到的融合效果要好於前兩種方法。
表1可見光圖像和前視紅外圖像的融合結果指標評價
表2合成孔徑雷達圖像和前視紅外圖像的融合結果指標評價
權利要求
1.一種綜合邊緣和紋理信息的金字塔圖像融合方法，其特徵在於包括如下具體步驟1)建立基於邊緣和紋理特徵的金字塔結構在二項高斯濾波器與紋理提取濾波器、邊緣提取濾波器之間建立一個具有待定係數的恆等式，通過奇異值分解計算出紋理濾波器和邊緣提取濾波器的待定係數；2)基於邊緣和紋理特徵的金字塔結構對圖像進行分解，將待融合圖像分別經過紋理提取濾波器和邊緣提取濾波器進行濾波，得到一層紋理圖像和邊緣圖像，待融合圖像還要和二項高斯濾波器進行濾波，得到圖像的低通分量，作為下一層分解的輸入圖像，這個圖像再與紋理濾波器和邊緣提取濾波器進行濾波，得到下一層的紋理和邊緣圖像，以此類推迭代n次，得到圖像n層紋理和邊緣信息表示的金字塔表示。3)將兩幅待融合圖像的金字塔表示形式的各層對應起來，計算每一層對的相似性測度和顯著性測度，當顯著性測度大於某一個閾值的時候選擇特徵比較顯著的那個像素，當顯著性測度小於這一閾值，融合策略採用加權平均的方式，得到融合後圖像的紋理和邊緣信息的金字塔表示；4)將得到的融合後圖像的紋理和邊緣信息的金字塔表示，從最頂層開始，一層一層進行重構，最頂層的低通圖像通過插值，首先得到插值圖像，下一層的紋理和邊緣信息表示層分別乘上紋理濾波器係數和邊緣提取濾波器的係數進行求和，再與頂層的插值圖像求和，得到下一層的低通圖像，反覆迭代，直至得到重構圖像，也就是所求的融合後的圖像。
全文摘要
一種綜合邊緣和紋理信息的金字塔圖像融合方法，首先建立基於邊緣和紋理特徵的金字塔結構，考慮二項高斯濾波器和紋理提取濾波器以及邊緣提取濾波器之間的線性關係，採用奇異值分解法求出紋理和邊緣圖像的對應係數，然後利用各尺度圖像的這些特徵，對分解後圖像的各層進行表示，最後採用基於相似性測度和顯著性測度的融合策略進行融合。本發明使融合後的圖像質量得到大幅度地提高，對於各種應用系統的後續處理和圖像顯示具有重要意義和實用價值。
文檔編號G06T5/00GK1545062SQ20031010893
公開日2004年11月10日 申請日期2003年11月27日 優先權日2003年11月27日
發明者敬忠良, 劉剛, 孫韶媛 申請人:上海交通大學