基於圖像相似度的圖像融合方法
2023-04-26 16:45:36
專利名稱：基於圖像相似度的圖像融合方法
技術領域：
本發明涉及的是一種圖像處理技術領域的方法，具體是一種基於圖像相似度的圖像融合方法。
背景技術：
在光學傳感器在對同一場景成像時，由於光學成像原理所限，場景中總有一部分目標處於離焦模糊狀態。為了清晰地反映場景中所有目標信息，國際上普遍採用對場景中各個目標進行聚焦拍攝，然後對得到的多幅圖像進行圖像融合進而得到一幅完全清晰圖像。對於多幅離焦圖像進行融合目的就是使融合後的圖像儘可能多的包含各張源圖像中的聚焦部分信息，得到一張更為清晰、更便於觀察與處理的融合圖像。對於圖像融合需求的早在上世紀70年代就已產生，顯然，最簡單的圖像融合方法就是對多幅源圖像進行加權的平均。這種方法雖然使用方便，但是缺點也十分明顯可靠性低，往往和主觀判斷相去甚遠。
經對現有文獻檢索發現，Burt1984年在期刊《Multiresolution Image Processing andAnalysis(多尺度圖像處理與分析)》上發表了題為「The pyramid as a structure forefficient computation(金字塔一種快捷有效的計算方法)」一文，該文用了金字塔分級方法第一次對圖像融合問題提出了一種新的可靠的解決方案，之後，眾多研究人員都對金字塔融合方法予以關注，提出應用形態學金字塔和基於區域特徵的高層次金字塔處理圖像融合問題。但是，總體上應用金字塔方法處理圖像融合問題受困於金字塔的分解和重構，融合後的圖像會產生比較明顯的條紋理現象(融合圖像中存在源圖像所沒有的條紋紋理)，降低了圖像內容信息的準確性。
經檢索又發現，Manjunath在1995年在期刊《Graphical Models and ImageProcessing(地理建模和圖像處理)》上發表了「Multisensor image fusion using thewavelet transform(應用小波多尺度分析進行多傳感器圖像融合)」一文，該文提出了用小波分析的方法對離焦圖像進行融合，這是首次將小波方法應用於圖像融合問題當中，之後各種基於小波的融合方法又不斷地的提出並應用於圖像融合問題當中，但是基於小波方法的融合方法會因圖像的內容不同，在圖像的分解和重構過程中產生比較明顯的塊紋理現象(圖像中會依據內容不同產生不均勻的小塊)，而引入了不必要得信息，降低了圖像內容信息的準確性。
經檢索還發現，楊兵在2008年在期刊《Image and Vision Computing(圖像視覺計算)》中發表了「Multifocus image fusion using region segmentation and spatialfrequency(基於邊緣分割和空間頻率的多離焦圖像融合方法)」一文，該文提出了先用圖像分割工具將模糊圖像分割為若干部分，再將清晰的部分取出，進行組合，以達到圖像融合目的。但是該方法對圖像分割工具的準確性有較大的依靠，一旦在圖像分割階段出現較大的偏差，則後續的圖像融合結果會引入較大的誤差，而實際上現今前沿的圖像分割方法與實際主觀判斷相比，仍含有較大偏差。
發明內容
本發明的目的在於克服現有技術存在的上述不足，提供一種基於視覺相似度的圖像融合方法。本發明通過對多幅圖像模糊程度的判斷和隨機優化的區域選擇，實現了圖像融合的效果，具有準確性高的優點。
本發明是通過以下技術方案實現的，包括以下步驟 第一步，對被融合的若干張原始圖像進行初始化種群處理，共得到N張原始圖像。
所述的初始化種群處理是將每張被融合的原始圖像隨機的複製成若干張原始圖像，並將所有的原始圖像的集合作為初始化種群，初始化種群中圖像的個數為N。
第二步，利用視覺相似度方法得到初始化種群中每幅圖像的視覺相似度值，進而從初始化種群中選擇2n張原始圖像，第i張原始圖像被選中的概率為P(i)，2≤2n＜N。
所述的圖像的視覺相似度值，具體步驟為 1)當圖像I是彩色圖像時，先將彩色圖像轉換為灰度圖像，然後執行2)；否則直接執行2)； 2)將灰度圖像進行傅立葉變換轉換為譜空間圖像； 3)採用視覺興趣區濾波器提取圖像中人視覺興趣區域信息，得到濾波後的圖像； 4)對濾波後的圖像進行傅立葉反變換； 5)根據傅立葉反變換結果中的實部，得到視覺興趣區域圖像ID； 6)將圖像ID和圖像I同時分為M×N個大小為p×q的子圖像； 7)將圖像ID和圖像I中的每個相同位置的子圖像進行結構相似度計算，得到M×N個結構相似度值； 8)上述M×N個結構相似度值的平均值就是該圖像的視覺相似度值。
所述的視覺興趣區濾波器是Daly濾波器，或者是Mannos-Sakrison濾波器，或者是DoG濾波器。
值最大的圖像進行丟棄處理，使得新的種群種剩餘N張圖像。
第七步，將新得到的種群作為初始化種群，依次重複第二步柕諏 焦睺次。
第八步，根據重複T次後得到的N張圖像中每張圖像的視覺相似度值，選擇視覺相似度值最小的圖像即為融合後的圖像。
與現有技術相比，本發明的有益效果是簡單可靠，融合過程中並不在融合圖像中加入源圖像所沒有的信息，且能夠高效準確的提取源圖像中的有效信息使之融合成所需的圖像。
圖1是實施例1融合前和融合後的圖像； 其中(a)是被融合的第一幅圖像；(b)是被融合的第二幅圖像；(c)是融合後的圖像。
圖2是應用不同融合方法對圖1兩幅被融合圖像進行融合後的圖像； 其中(a)是應用金字塔方法融合的圖像；(b)是應用小波方法融合的圖像；(c)是應用圖像分割方法融合的圖像；(d)是應用本實施例方法融合的圖像。
圖3是應用不同融合方法對圖1兩幅被融合圖像進行融合的局部圖像； 其中(a)是應用金字塔方法融合後圖像的局部圖像；(b)是應用本實施例方法融合後的局部圖像；(c)是應用小波方法融合後圖像的局部圖像；(d)是應用本實施例方法融合後的局部圖像；(e)是應用圖像分割方法融合後圖像的局部圖像；(f)是應用本實施例方法融合後的局部圖像。
圖4是實施例2融合前和融合後的圖像； 其中(a)是被融合的第一幅圖像；(b)是被融合的第二幅圖像；(c)是融合後的圖像。
圖5是應用不同融合方法對圖4兩幅被融合圖像進行融合的結果； 其中(a)是應用金字塔方法融合的圖像；(b)是應用小波方法融合的圖像；(c)是應用圖像分割方法融合的圖像；(d)是應用本實施例方法融合的圖像。
圖6是用不同融合方法對圖4兩幅被融合圖像進行融合的局部圖像； 其中(a)是應用金字塔方法融合後圖像的局部圖像；(b)是應用本實施例方法融合後的局部圖像；(c)是應用小波方法融合後圖像的局部圖像；(d)是應用本實施例方法融合後圖像的局部圖像信息；(e)是應用圖像分割方法融合後圖像的局部圖像；(f)是應用本實施例方法融合後圖像的局部圖像。
具體實施例方式 以下結合附圖對本發明的方法進一步描述本實施例在以本發明技術方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護範圍不限於下述的實施例。
實施例1 如圖1(a)和圖1(b)所示，本實施例用於將該兩幅灰度離焦模糊圖像進行融合，包括以下步驟 第一步，對被融合的兩張原始圖像進行初始化種群處理，即將每張原始圖像分別複製為10張，從而得到20張原始圖像，該20張原始圖像就是初始化種群。
所述的原始圖像的面積是512×512。
第二步，利用視覺相似度方法得到初始化種群中每幅圖像的視覺相似度值，進而從初始化種群中選擇8張原始圖像，第i張原始圖像被選中的概率為P(i)。
所述的圖像視覺相似度值，具體步驟為 1)將灰度圖像進行傅立葉變換轉換為譜空間圖像F(u，v)； 2)採用視覺興趣區濾波器提取圖像中人視覺興趣區域信息，得到濾波後的圖像FD(u，v)； 本實施例中的視覺興趣區濾波器是Daly濾波器，具體為 其中ρ＝sqrt(u2+v2)，sqrt為平方根，u和v代表圖像在譜空間中的坐標位置。
濾波後的圖像FD(u，v)為 3)對濾波後的圖像進行傅立葉反變換； 4)根據傅立葉反變換結果中的實部，得到視覺興趣區域圖像ID； 5)將圖像ID和圖像I同時分為64×64個大小為8×8的子圖像； 6)將圖像ID和圖像I中的每個相同位置的子圖像進行結構相似度計算，得到64×64個結構相似度值； 7)上述64×64個結構相似度值的平均值就是該圖像的視覺相似度值。
對於每個8×8的子圖像，結構相似度值的具體公式是
第七步，將新得到的種群作為初始化種群，依次重複第二步柕諏 焦？00次。
第八步，根據重複200次後得到的20張圖像中每張圖像的視覺相似度值，選擇視覺相似度值最小的圖像即為融合後的圖像。
本實施例得到的融合後的圖像如圖1(c)所示，其中圖1(a)的視覺相似度為0.5707，圖1(b)的視覺相似度為0.5529，圖1(c)的視覺相似度為0.5476，由此可知經本實施例方法融合後的圖像的視覺相似度值明顯變小。
圖2(a)是用金字塔法對本實施例兩幅原始圖像進行融合的結果，圖2(b)是用小波方法對本實施例兩幅原始圖像進行融合的結果，圖2(c)是用圖像分割方法對本實施例兩幅原始圖像進行融合的結果，圖2(d)是用本實施例方法對本實施例兩幅原始圖像進行融合的結果，由此可知金字塔方法和小波方法得到的融合圖像亮度值較原始圖像的高，即金字塔方法和小波方法在融合過程中對融合圖像加入了不必要的信息，從而改變了融合圖像信息；而應用圖像分割方法產生的融合圖像，有明顯的離焦部分，並沒有在整體上完成圖像融合任務；本實施例方法得到的融合圖像效果最佳。
圖3(a)是用金字塔方法對本實施例兩幅原始圖像進行融合的部分結果，圖3(c)是用小波方法對本實施例兩幅原始圖像進行融合的部分結果，圖3(e)是用圖像分割方法對本實施例兩幅原始圖像進行融合的部分結果，圖3(b)、圖3(d)和圖3(f)分別是用本實施例方法對本實施例兩幅原始圖像進行融合的部分結果，由此可見在圖像中時鐘邊框反光處，由金字塔方法產生的融合圖像有明顯的不均勻紋理，使得光線在圖像上的過渡不夠自然，而本實施例方法對此則處理的很好，圖像清晰自然；在圖像中的鐘表指針(分針和秒針)和文字附近，小波方法產生的融合圖像有明顯的紋理現象，本實施例方法由於直接使用了交換手段，在指針和文字處是使用的原始清晰圖像信息，因而沒有任何紋理現象；在圖像中的鐘表輪廓上，應用圖像分割方法產生的融合圖像有明顯的模糊區域，因而可以認為其沒有完成融合任務，而本實施例方法則很好的解決了此問題，獲得了很好的融合效果。
實施例2 本實施例用於將兩幅彩色離焦模糊圖像進行融合，包括以下步驟 第一步，對被融合的兩張原始圖像進行初始化種群處理，即將每張原始圖像分別複製為10張，從而得到20張原始圖像，該20張原始圖像就是初始化種群。
所述的原始圖像的面積是640×480。
第二步，利用視覺相似度方法得到初始化種群中每幅圖像的視覺相似度值，進而從初始化種群中選擇10張原始圖像，第i張原始圖像被選中的概率為P(i)。
所述的圖像視覺相似度值，具體步驟為 1)將彩色圖像轉換為灰度圖像，具體轉換公式為 I＝0.299*r+0.587*g+0.11 4*b 其中r、g和b分別代表彩色圖像中每個像素的紅、綠和藍成份，I代表得到的灰度圖像。
本實施例轉換成灰度圖像後的被融合圖像分別如圖4(a)和圖4(b)所示。
第二步，利用視覺相似度方法得到初始化種群中每幅圖像的視覺相似度值，進而從初始化種群中選擇8張原始圖像，第i張原始圖像被選中的概率為P(i)，2≤i＜20。
所述的圖像視覺相似度值，具體步驟為 1)將灰度圖像進行傅立葉變換轉換為譜空間圖像F(u，v)； 2)採用視覺興趣區濾波器提取圖像中人視覺興趣區域信息，得到濾波後的圖像FD(u，v)； 本實施例中的視覺興趣區濾波器是Mannos-Sakrison濾波器，具體是 MS(ρ)＝2.6(0.0192+0.144ρ)exp(-(0.144ρ)1.1) 其中ρ＝sqrt(u2+v2)，sqrt為平方根，exp為自然對數為底的冪次，u和v代表圖像在譜空間中的坐標位置。
濾波後的結果FD(u，v)為 3)對濾波後的圖像進行傅立葉反變換； 4)根據傅立葉反變換結果中的實部，得到視覺興趣區域圖像ID； 5)將圖像ID和圖像I同時分為80×80個大小為8×6的子圖像； 6)將圖像ID和圖像I中的每個相同位置的子圖像進行結構相似度計算，得到80×80個結構相似度值； 7)上述80×80個結構相似度值的平均值就是該圖像的視覺相似度值。
所述的結構相似度值的具體公式是
所述的新子圖像的面積S新子＝10×7＝70，且70≤225。
第六步，根據新的種群中每幅圖像的視覺相似度值，從新的種群中選擇10張視覺相似度值最大的圖像進行丟棄處理，使得新的種群種剩餘20張圖像。
第七步，將新得到的種群作為初始化種群，依次重複第二步柕諏 焦？50次。
第八步，根據重複250次後得到的20張圖像中每張圖像的視覺相似度值，選擇視覺相似度最小的圖像即為融合後的圖像。
本實施例得到的融合後的圖像如圖4(c)所示，其中圖4(a)的視覺相似度為0.5707，圖4(b)的視覺相似度為0.5696，圖4(c)的視覺相似度為0.5448，由此可知經本實施例方法融合後的圖像的視覺相似度明顯變小。
圖5(a)是用金字塔法對本實施例兩幅原始圖像進行融合的結果，圖5(b)是用小波方法對本實施例兩幅原始圖像進行融合的結果，圖5(c)是用圖像分割方法對本實施例兩幅原始圖像進行融合的結果，圖5(d)是用本實施例方法對本實施例兩幅原始圖像進行融合的結果，由此可知應用金字塔方法和小波方法得到的融合圖像有一定的色彩失真(改變了源圖像中書籍封面的顏色)，即金字塔方法和小波方法對於彩色圖像的融合效果差；用小波方法得到的融合圖像亮度值在邊緣處(觀察邊緣及書籍上的文字)具有較高的亮度(比源圖像高)，即小波方法對源圖像的信息進行了更改，從而改變了融合圖像的信息；而應用圖像分割方法產生的融合圖像，仍有明顯的離焦部分，並沒有在整體上完成圖像融合任務；本實施例方法得到的融合圖像效果最佳。
圖6(a)是用金字塔方法對本實施例兩幅原始圖像進行融合的部分結果，圖6(c)是用小波方法對本實施例兩幅原始圖像進行融合的部分結果，圖6(e)是用圖像分割方法對本實施例兩幅原始圖像進行融合的部分結果，圖6(b)、圖6(d)和圖6(f)分別是用本實施例方法對本實施例兩幅原始圖像進行融合的部分結果，由此可見在文字顯示上，由金字塔方法產生的融合圖像有明顯的紋理效應，並造成了文字的模糊，而本實施例方法直接採用了源圖像的有效信息，對應部分文字顯示清晰；在圖像的書本邊緣附近，由小波方法產生的融合圖像有明顯的紋理(毛刺)現象，而本實施例方法由於直接使用了交換手段，在邊緣處是使用的原始清晰圖像信息，因而沒有任何紋理現象；在圖像中的部分區域上，應用圖像組合分割方法產生的融合圖像有明顯的模糊區域，因而可以認為其沒有完成融合任務，而本實施例方法則獲得了很好的融合效果。
權利要求
1.一種基於圖像相似度的圖像融合方法，其特徵在於，包括以下步驟
第一步，對被融合的若干張原始圖像進行初始化種群處理，共得到N張原始圖像；
第二步，利用視覺相似度方法得到初始化種群中每幅圖像的視覺相似度值，進而從初始化種群中選擇2n張原始圖像，第i張原始圖像被選中的概率為P(i)，2≤2n＜N；
第三步，將選中的2n張原始圖像隨機進行兩兩配對，得到n對原始圖像；
第四步，針對選中的每對原始圖像，在每對原始圖像中隨機選擇若干對位置相同且面積相等的子圖像，將每對原始圖像中的每對子圖像進行像素交換，得到n對新的圖像，
所述的子圖像的面積S範圍是K≤S≤S，其中S是子圖像所在的原始圖像的面積，K是設定的閾值；
第五步，針對第四步得到的每對新圖像，在每對新圖像進行像素交換的子圖像的相同邊界位置隨機選擇1對位置相同且面積相等的新子圖像，將每對新圖像中的每對新子圖像進行像素交換，得到n對最新圖像，並將這n對最新圖像添加到種群中，使得新的種群中圖像的數目為(N+2n)幅，
所述的新子圖像的面積S範圍是S≤K，其中K是設定的閾值；
第六步，根據新的種群中每幅圖像的視覺相似度值，從新的種群中選擇2n張視覺相似度值最大的圖像進行丟棄處理，使得新的種群中剩餘N張圖像；
第七步，將新得到的種群作為初始化種群，依次重複第二步柕諏 焦睺次；
第八步，根據重複T次後得到的N張圖像中每張圖像的視覺相似度值，選擇視覺相似度值最小的圖像即為融合後的圖像。
2.根據權利要求1所述的基於圖像相似度的圖像融合方法，其特徵是，所述的初始化種群處理是將每張被融合的原始圖像隨機的複製成若干張原始圖像，並將所有的原始圖像的集合作為初始化種群，初始化種群中圖像的個數為N。
3.根據權利要求1所述的基於圖像相似度的圖像融合方法，其特徵是，所述的圖像的視覺相似度值，具體步驟為
1)當圖像I是彩色圖像時，先將彩色圖像轉換為灰度圖像，然後執行2)；否則直接執行2)；
2)將灰度圖像進行傅立葉變換，轉換為譜空間圖像；
3)採用視覺興趣區濾波器提取圖像中人視覺興趣區域信息，得到濾波後的圖像；
4)對濾波後的圖像進行傅立葉反變換；
5)根據傅立葉反變換結果中的實部，得到視覺興趣區域圖像ID；
6)將圖像ID和圖像I同時分為M×N個大小為p×q的子圖像；
7)將圖像ID和圖像I中的每個相同位置的子圖像進行結構相似度計算，得到M×N個結構相似度值；
8)上述M×N個結構相似度值的平均值就是該圖像的視覺相似度值。
4.根據權利要求3所述的基於圖像相似度的圖像融合方法，其特徵是，所述的視覺興趣區濾波器是Daly濾波器，或者是Mannos-Sakrison濾波器，或者是DoG濾波器。
5.根據權利要求3所述的基於圖像相似度的圖像融合方法，其特徵是，所述的結構相似度值的具體公式是
其中
SSIM(m，n)是圖像ID和圖像I中第m×n個p×q子圖像的結構相似度值，C1和C2都是常數，I(l，k)為圖像I中第m×n個p×q子圖像中坐標為(l，k)的像素，ID(l，k)為圖像ID中第m×n個p×q子圖像中坐標為(l，k)的像素，1≤m≤M，1≤n≤N，1≤l≤p，1≤k≤q。
6.根據權利要求1所述的基於圖像相似度的圖像融合方法，其特徵是，所述的P(i)的具體公式為
其中i代表初始化種群中的第i幅圖像，VSS(i)代表第i幅圖像的視覺相似度值，N代表初始化種群中總的圖像數量，1≤i＜N。
全文摘要
一種圖像處理技術領域的基於視覺相似度的圖像融合方法，包括以下步驟對被融合的原始圖像進行初始化種群處理；根據每幅圖像的視覺相似度值，從初始化種群中選擇2n張原始圖像，進行兩兩配對；針對選中的每對原始圖像進行子圖像像素交換處理，得到n對新圖像並放入種群中；根據新的種群中每幅圖像的視覺相似度值，從新的種群中選擇2n張視覺相似度值最大的圖像進行丟棄處理，使得新的種群中剩餘N張圖像；重複上述步驟T次後，選擇視覺相似度值最小的圖像即為融合後的圖像。本發明簡單可靠，融合過程中並不在融合圖像中加入源圖像所沒有的信息，且能夠高效準確的提取源圖像中的有效信息使之融合成所需的圖像。
文檔編號G06T5/50GK101770640SQ20101030027
公開日2010年7月7日 申請日期2010年1月14日 優先權日2010年1月14日
發明者韓瑜, 蔡雲澤, 陳卓, 潘寧, 曹寅 申請人:上海交通大學