一種基於多尺度特徵的紅外噪聲抑制和細節增強方法與流程

2023-09-27 06:56:05 2

本發明涉及圖像處理技術領域，具體涉及基於多尺度特徵的紅外噪聲抑制和細節增強。

背景技術：

紅外圖像通過探測目標物體表面和背景之間的熱輻射差而成像，其成像不受外界環境光明亮的影響，具備較強的檢測和識別偽裝能力；另外紅外熱像儀無需向外輻射能量，只需被動接受外界輻射，不容易被敵方探測器所偵查和監視，具備較強的抗幹擾和偽裝能力。因而紅外熱像儀被廣泛應用在場所監控[1]、醫學成像[2]和軍事遙感成像[3]等方面。但同時受到應用環境和採集設備的影響，紅外圖像往往存在：(1)灰度分布集中，目標物體和背景環境對比度較低；(2)所探測目標的輪廓和形狀不是很清晰，且物體的細節模糊；(3)同時伴隨著環境光線變換和熱像儀內部電子元器件的運行，時常會出現大量的散粒噪聲，使得場景中細節不易觀察，圖像整體視覺效果差[4]。因此，研究一種既可有效抑制噪聲，又能很好保留細節和邊緣等重要信息的處理方法是一項非常有意義的工作，為後續的紅外目標探測、視頻跟蹤和目標識別等應用提供重要的技術支撐。

為有效增強紅外圖像細節和提升紅外圖像對比度，目前最簡單有效的方法是全局直方圖均衡(he)。灰度直方圖能直觀反映圖像灰度分布情況，he方法是從統計學的觀點為提高圖像對比度，改變圖像中灰度概率分布，使紅外圖像灰度層次分明[5]。

給定一幅數字圖像，其離散的表達形式為:

式中：灰度級範圍為[0,l-1]，rk是第k級灰度值，nk是圖像中灰度為rk的像素個數，p(rk)為第k級灰度級上的概率密度。

數字圖像的直方圖均衡變換函數可表示為：

處理後，圖像像素灰度的動態範圍增加，圖像的對比度和視覺效果得到提高。

相對全局直方圖均衡，後續還有基於對比度限制自適應局部直方圖均衡(clahe)[6]。其中心思想不同於全局直方圖均衡，是對局部塊進行直方圖均衡使變換後的直方圖分布匹配事先設計的直方圖分布，可以在一定程度上降低圖像平坦區域噪聲的放大。

全局直方圖均衡和基於對比度限制的自適應局部直方圖均衡增強紅外圖像的效果如圖1所示。圖1(a)原始紅外圖像,(b)全局直方圖均衡結果,(c)為基於對比度限制的自適應局部直方圖結果。

這兩種紅外圖像增強算法處理高信噪比或具有少量背景雜波紅外圖像都具有不錯的視覺效果，全局直方圖均衡能大大提升圖像的整體對比度，基於對比度限制的自適應局部直方圖均衡能很好地凸顯紅外圖像局部細節。

然而，處理無背景噪聲紅外圖像時，全局直方圖均衡產生的過暗或過亮的區域會淹沒了目標局部細節；對比度限制的自適應直方圖容易在處理結果中產生一些令人意料之外的細節，例如圖1(c)中的草地區域產生類似於雜草的細節。同時，更重要的是，當上述兩種增強算法直接處理背景噪聲較大的紅外圖像時，會顯著提高噪聲水平淹沒圖像的有用信息。如圖2所示，原始紅外圖像的背景噪聲被放大，處理結果的細節和結構信息被破壞。圖2(a)有噪紅外圖像,(b)全局直方圖均衡放大噪聲,(c)對比度限制的自適應局部直方圖放大噪聲。

可知，對於存在一定噪聲的紅外圖像，對噪聲進行抑制是十分有必要的。為有效濾除紅外圖像的背景噪聲，wavelet和curvelet將有噪圖像分解成多尺度具有時頻特性的成分，對每個尺度設定軟閾值降低噪聲成分達到抑制噪聲的目的[7,8]。nlm認為在自然圖像中往往存在一些空間位置不同但彼此相似的圖像片，由當前像素點與其鄰域內其它像素點為中心的圖像片之間的相似性來決定加權係數，能夠較好地消除像素的噪聲[9]。bm3d把具有相似結構的二維圖像片組合形成三維數組，然後這些三維數組進行協同濾波，並把結果返回到圖像中，從而得到去噪後的圖像，方法不僅有較高的信噪比，而且視覺效果也很好[10]。rudin提出噪聲圖像的總變分要明顯大於無噪聲圖像的總變分的先驗，提出了tv去噪模型。tv模型是一種基於最優化理論有約束的擴散濾波方法，具有全局最優解和較好保持圖像結構信息的優點[11]。

對於結構信息不豐富的紅外圖像，只考慮單像素點的wavelet和curvelet，很容易將結構和細節信息丟失。基於圖像結構信息相似性的nlm和bm3d濾波方法忽略了圖像的不同性質區域信息具有不同強度的相關性：在圖像平坦區域，像素間的相關性較強，而在細節區域，相關性則較弱。而tv但在噪聲環境下梯度值大小不足以作為區分噪聲和區域邊界的特徵，去噪後的圖像存在平坦區域不夠光滑仍有明顯的噪聲和塊效應。現有的技術二對紅外圖像的背景噪聲抑制效果如圖3所示。圖3(a)有噪紅外圖像,(b)wt抑制噪聲結果,(c)bm3d抑制噪聲結果,(d)tv抑制噪聲結果。

從上述分析可知，解決邊緣過增強和抑制噪聲時的邊緣模糊問題，都需要對圖像的結構信息正確地刻畫：一是在無噪聲幹擾下能精細表徵不同意義的圖像區域，二是在噪聲幹擾下仍能準確刻畫邊緣的位置和強度。

參考文獻：

[1]a.rossi,n.acito,m.diani,g.corsini,dynamicrangereductionandcontrastadjustmentofinfraredimagesinsurveillancescenarios,opt.eng.52(10)(2013).102002–102002.

[2]k.liang,y.ma,y.xie,etal.,anewadaptivecontrastenhancementalgorithmforinfraredimagesbasedondoubleplateaushistogramequalization,infraredphys.technol.55(4)(2012)309–315.

[3]x.bai,f.zhou,analysisofnewtop-hattransformationandtheapplicationforinfrareddimsmalltargetdetection,patternrecogn.43(2010)2145–2156.

[4]q.chen,l.f.bai,b.m.zhang,histogramdoubleequalizationininfraredimage,j.infraredmillimeterwaves22(6)(2003)428–430.

[5]k.s.sim,c.p.tso,y.y.ta,recursivesub-imagehistogramequalizationappliedtograyscaleimages,patterrecognit.lett.28(10)(2007)1209–1221.

[6]u.qidwai,infraredimageenhancementusingh∞boundsforsurveillanceapplications,ieeetrans.imageprocess.17(2008)1274–1282.

[7]k.dabov,a.foi,v.katkovnik,k.egiazarian,imagedenoisingbysparse3dtransform-domaincollaborativefiltering,trans.imageprocess.16(8)(2007)2080–2095.

[8]l.rudin,s.osher,e.fatemi,nonlineartotalvariationbasednoiseremovalalgorithms,physicad,60(1992)259-268.

[9]l.tang,l.liu,j.h.su,modelingandsimulationresearchofinfraredimagenoise,infraredtechnol.36(2014)542-548.

[10]j.wu,f.liu,l.c.jiao,x.d.wang,compressivesensingsarimagereconstructionbasedonbayesianframeworkandevolutionarycomputation,trans.imageprocess.20(7)(2011):1904–1911.

[11]a.m.reza,realizationofthecontrastlimitedadaptivehistogramequalization(clahe)forreal-timeimageenhancement,j.vlsisignalprocess.syst.signal,imagevideotechnol.38(2004)35–44.

[12]x.h.liu,m.tanaka,m.okutomi,noiselevelestimationusingweaktexturedpatchesofasinglenoisyimage,ieeeint.conf.imageprocess.(2012)665-668.

技術實現要素：

針對現有技術的不足，本發明旨在提供一種基於多尺度特徵的紅外噪聲抑制和細節增強方法，通過分析紅外圖像背景噪聲特性，提出了一種新的在噪聲幹擾下仍能準確刻畫圖像結構信息的先驗模型，經過連續多尺度提取優化的先驗模型引入了貝葉斯和最大後驗估計準則迭代平滑噪聲。同時為增強邊緣，利用在不同尺度下平滑提取的邊緣信息有針對性地增強圖像。可以廣泛地應用於安防監控、道路交通管理和紅外精準制導。

為了實現上述目的，本發明採用如下技術方案：

一種基於多尺度特徵的紅外噪聲抑制和細節增強方法，包括如下步驟：

s1搭建刻畫紅外圖像特徵的先驗模型：

採用貝葉斯準則作為抑制噪聲的模型，對於一幅清晰紅外圖像u受到噪聲n汙染，退化圖像v表示為:

v＝u+n；

n是零均值的高斯白噪聲，對於退化圖像v和原始圖像u，貝葉斯準則表述為：

p(u|v)∝p(v|u)p(u)；

其中，p(v|u)為似然密度函數，p(u)為原始圖像的先驗密度函數，p(u|v)稱為後驗密度函數；根據map估計準則，即在給定觀測數據v的條件下，使後驗密度函數p(u|v)最大的估計量為：

對取負對數轉化為：

退化圖像v和原始圖像u之間的誤差滿足高斯白噪聲分布，因此似然密度函數p(v|u)表示為:

對於退化圖像v，像素點i,j∈p方塊內的相似性取決於像素點之間的亮度和梯度差異，將亮度值差異的歐氏距離和梯度值差異的絕對距離之和的衰減函數定義為兩點之間的相似性r(i,j)：

其中，h和ρ均為大於0的常數，分別表示亮度值差異和梯度值差異的衰減係數；相似性0＜r(i,j)≤1，值越大，表示兩像素點間的相似程度越大；

在以i為中心像素點的鄰域內，根據其他像素點與中心像素點之間相似性估計中心像素在鄰域p內的隸屬性，並以此刻畫紅外圖像中的形狀先驗，定義中心像素點i在鄰域內的隸屬度w(i)為：

z(i)是規範化函數，σ是高斯模板的標準差，中心像素點的隸屬度0＜w(i)≤1，w(v)＝{w(i)丨i∈v}為圖像v的隸屬度運算，構成了一幅與原圖像尺寸一致的隸屬度圖；

定義基於隸屬度的約束控制函數如下：

c(w)＝c+(1-c)·sin(π·w)；

其中，c為約束控制函數的調整因子，其值介於0到1之間；w為由像素點隸屬度{w(i)}構成對應的隸屬度圖；

將原始圖像的先驗密度函數約束為:

後驗密度函數p(u|v)最大的估計量轉化為:

β為正則化係數；根據原始圖像的噪聲水平，噪聲水平越高正則化係數取值越小；

s2基於多尺度特徵的紅外噪聲抑制：採用分裂bregman方法求解同時利用多尺度特徵不斷更新迭代貝葉斯過程，獲取最優估計；

s3基於多尺度特徵的紅外細節增強：

將隸屬度圖和多尺度提取引入如下式所示的非銳化掩模算法，自適應地控制增益係數：

其中，uen是最終輸出的增強圖像，un是步驟s2中獲得的最優估計，un-j和un-j+1分別表示步驟s2中第n-j次和n-j+1次迭代的得到的估計，g(wn-j+1)是關於un-j+1的隸屬度圖wn-j+1的增益函數；g(w)其分段表示見下：

分段點

需要說明的是，步驟s1中，鄰域p尺寸為7。

需要說明的是，步驟s2中，利用分裂bregman方法來求解的方法為：

引入輔助量g，其中d是梯度算子；轉換為有關u和g的優化約束模型:

添加關於u和g的二次懲罰項，得到與s.t.g＝c(w)d·u對應的無約束優化模型:

先固定gn利用關於u求導得到un+1，再固定un+1利用收縮技術得到gn+1，gn表示第n次迭代得到的g的更新值，un+1為第n+1次迭代得到的u的更新值；更新過程如下式所示：

m＝c(wn+1)d·un+1

其中，wn＝w(un)為n次迭代後圖像的隸屬度圖；迭代終止後得到的最終結果un即為求解結果。

進一步需要說明的是，步驟s2中，需要利用多尺度特徵不斷更新迭代過程中的隸屬度圖，具體方法為：

用最大值運算更新顯著結構特徵，如下式所示：

wn＝max(w1,w2,...,wn-1)；

用前n-1次迭代的隸屬度圖更新第n次迭代過程所需的隸屬度圖。

進一步需要說明的是，當滿足下式時，停止迭代過程，其中為n次迭代中的隸屬度圖的均值：

本發明的有益效果在於：本發明針對所處理的紅外圖像存在背景噪聲大、對比度低以及細節模糊的問題，為達到噪聲抑制和細節增強的目的，採用貝葉斯最佳估計模型，提出了適用刻畫信噪比低的紅外圖像特徵的先驗模型，並經過多尺度結構特徵進一步的優化，最後基於多尺度結構特徵分別進行噪聲抑制和細節增強。本發明在處理低信噪比的紅外圖像時能消除背景噪聲、保持原始圖像自然性且銳化目標的邊緣輪廓；在處理高信噪比的圖像時，可以自適應地增強目標的細節和紋理同時能避免強邊緣的過增強。

附圖說明

圖1為全局直方圖均衡和基於對比度限制的自適應局部直方圖均衡增強紅外圖像的效果示意圖，其中圖1(a)原始紅外圖像,(b)全局直方圖均衡結果,(c)為基於對比度限制的自適應局部直方圖結果；

圖2為全局直方圖均衡和基於對比度限制的自適應局部直方圖均衡直接處理背景噪聲較大的紅外圖像的效果示意圖，其中圖2(a)有噪紅外圖像,(b)全局直方圖均衡放大噪聲,(c)對比度限制的自適應局部直方圖放大噪聲；

圖3為基於圖像結構信息相似性的nlm和bm3d濾波方法對紅外圖像的背景噪聲抑制效果示意圖，其中圖3(a)有噪紅外圖像,(b)wt抑制噪聲結果,(c)bm3d抑制噪聲結果,(d)tv抑制噪聲結果。

圖4為本發明的實施流程示意圖；

圖5為約束控制函數和隸屬度曲線圖；

圖6為清晰圖像及有噪圖像不同先驗擴散圖，其中，圖6(a)是一幅清晰紅外圖像，圖6(b)是圖6(a)加入標準方差為25的零均值高斯噪聲的紅外圖像，圖6(c)為圖6(b)在gibbs先驗下的約束圖，圖6(d)為圖6(b)在本發明提出紅外圖像先驗下的約束圖。

圖7為迭代次數和多尺度特徵圖均值關係示意圖；

圖8為自適應增益函數和隸屬度曲線。

具體實施方式

以下將結合附圖對本發明作進一步的描述，需要說明的是，本實施例以本技術方案為前提，給出了詳細的實施方式和具體的操作過程，但本發明的保護範圍並不限於本實施例。

本實施例以具備一定背景噪聲的紅外圖像作為實例，整個噪聲抑制和邊緣增強過程的技術方案包括：搭建適用刻畫紅外圖像特徵的先驗模型、基於多尺度特徵的紅外噪聲抑制和基於多尺度特徵的紅外細節增強等步驟。

如圖4所示，步驟一搭建適用刻畫紅外圖像特徵的先驗模型：準確刻畫紅外圖像特徵且易求解的先驗成為抑制紅外背景噪聲且能保護邊緣的關鍵。

本發明抑制噪聲所用的模型是貝葉斯準則，該模型被廣泛的應用於圖像處理計算機領域。一幅清晰紅外圖像u受到噪聲n汙染：

v＝u+n(1)

根據上述背景噪聲的分析，n是零均值的高斯白噪聲。對於退化圖像v和原始圖像u，貝葉斯準則表述為：

p(u|v)∝p(v|u)p(u)(2)

其中，p(v|u)為似然密度函數，p(u)為原始圖像的先驗密度函數，p(u|v)稱為後驗密度函數；根據map估計準則，即在給定觀測數據v的條件下，使後驗密度函數p(u|v)最大的估計量為：

對式(3)取負對數可轉化為：

建立觀測模型求似然密度函數和建立紅外圖像先驗模型估計先驗密度函數成為預測最優的估計量的關鍵。退化圖像和原始圖像之間的誤差滿足高斯白噪聲分布，因此似然密度函數p(v|u)可表示為:

這樣，原始圖像u的先驗模型p(u)的估計直接影響最終復原效果的好壞。

被噪聲汙染的像素點在鄰域內比較孤立，邊緣處的像素點與某一側鄰域相似，而平坦區的像素點則和鄰域內其他像素點都具有較強相似性。對於噪聲汙染的紅外圖像v＝{v(i)|i∈i}，像素點i,j∈p方塊內的相似性取決於像素點之間的亮度和梯度差異，將亮度值差異的歐氏距離和梯度值差異的絕對距離之和的衰減函數定義為兩點之間的相似性r(i,j)：

式中h和ρ均為大於0的常數，定義分別為亮度值差異和梯度值差異的衰減係數。相似性0＜r(i,j)≤1，值越大，表示兩像素點間的相似程度越大。

在以i為中心像素點的鄰域內，根據其他像素點與中心像素點之間相似性估計中心像素點在鄰域p內的隸屬性，並以此刻畫紅外圖像中的形狀先驗。定義像素點i在領域內的隸屬度w(i)為：

z(i)是規範化函數，σ是高斯模板的標準差，中心像素點的隸屬度0＜w(i)≤1，w(v)＝{w(i)丨i∈v}為圖像v的隸屬度運算，構成了一幅與原圖像尺寸一致的隸屬度圖，在本實施例中，取鄰域p尺寸為7。

為消除噪聲，對應較小的隸屬度w(i)的像素點應該具有較小的約束量，可以儘量平滑圖像的噪聲；在邊緣處，儘量迅速加大隸屬度適中的像素點的約束，保證邊緣在平滑過程中得以保持；在平坦區域內，為了消除周圍噪聲像素點的殘餘，應該迅速減小對較大隸屬度w(i)像素點的約束。式(9)定義了基於隸屬度的約束控制函數，圖5描述了兩者之間關係。

c(w)＝c+(1-c)·sin(π·w)(9)

將gibbs先驗和擴散控制函數結合的紅外圖像先驗約束為:

圖6(a)是一幅清晰紅外圖像，圖6(b)是圖6(a)加入標準方差為25的零均值高斯噪聲的紅外圖像，圖6(c)為圖6(b)在gibbs先驗下的約束圖，圖6(d)為圖6(b)在本發明提出紅外圖像先驗下的約束圖。與gibbs先驗相比，在本發明提出的先驗下的約束圖受噪聲影響較小，且基本能指示出正確的邊緣位置和強度。

基於map的貝葉斯估計轉化為:

β為正則化係數。根據原始圖像的噪聲水平，噪聲水平越高正則化係數取值越小[12]。

步驟二基於多尺度特徵的紅外噪聲抑制：採用分裂bregman方法求解模型(11)，同時利用多尺度特徵不斷更新迭代貝葉斯過程，使得獲取最優的濾波結果。

為利用分裂bregman方法來求解模型(11)，引入輔助量g，其中d是梯度算子。式(11)可轉換為有關g和u的優化約束模型:

添加關於g和u的二次懲罰項，得到與式(14)對應的無約束優化模型:

利用收縮(shrinkage)技術，參數μ按2k指數倍增加控制更新過程，得到關於g和u的更新公式，如式(14)和(15)所示：

m＝c(wn+1)d·un+1

其中wn＝w(un)，為n次迭代後圖像的隸屬度圖。從本質上講，迭代的圖像也是一個鄰域濾波的過程，當c(wn+1)＝1，轉化為gibbs的先驗，很明顯本實施例的約束先驗更加考慮了圖像原始結構信息。

多尺度特徵表達能夠在不同尺度上描述圖像局部結構特徵，多尺度可以獲取感興趣特徵的最佳尺度，所以，使用多尺度平滑提取特徵優化約束先驗。改變貝葉斯平滑次數將會產生不同尺度的圖像，可以提取在不同尺度上圖像的顯著結構特徵，這些多尺度特徵對特徵的分析和應用具有很大意義。定義原始圖像經過n次貝葉斯平滑過程為:

[unwn]＝bays(un-1,wn-1)(16)

[u1w1]＝bays(u,w)(17)

用wn-1表示多尺度的隸屬度圖，由於重要的局部特徵在每個尺度下都是最明顯的。所以，用最大值運算更新顯著結構特徵，如式(18)所示：

wn＝max(w1,w2,...,wn-1)(18)

用前n-1次迭代的隸屬度圖更新第n次迭代過程所需的隸屬度圖。

由於正則化係數β是粗略估計，為了最佳保留邊緣和平滑噪聲，仍然需要精準確定貝葉斯平滑過程。根據從圖7可以看出，圖6(b)隨著迭代次數的增加，越來越大的特徵圖的均值給出了正確的變化趨勢。由於噪聲減少，而邊緣和紋理得到保持，平滑結果的結構特徵值會整體增加。採用相鄰兩幅平滑結果的隸屬度圖像來判斷圖像的平滑過程是否應該停止。當滿足式(21)時，停止平滑過程，其中為n次平滑結果特徵圖的均值。

步驟三基於多尺度特徵的紅外細節增強：根據不受噪聲幹擾的多尺度特徵圖能表徵紅外圖像的結構信息，本發明基於多尺度特徵圖改進傳統的非銳化掩膜增強方法來增強紅外圖像的邊緣。

um算法思想是先提取圖像的高頻分量加以放大，再疊加到原圖上，實現保持低頻信息基本不變，同時增強原圖像的邊緣和細節等高頻信息。根據前面分析可知，多尺度特徵圖不受噪聲影響地指示邊緣和細節等形狀的位置和強度，而多尺度的結構特徵能提取更加詳細的結構信息。所以，為有針對性地增強邊緣同時防止噪聲的放大，本發明將隸屬度圖和多尺度提取引入如式(22)所示的非銳化掩模算法，自適應地控制增益係數：

其中，uen是最終輸出的增強圖像，un是貝葉斯模型的最優估計，g(wn+j-1)是關於un+j-1的隸屬度圖wn+j-1的增益函數。自適應的增益函數實現在不同區域進行不同強度的增強。g(w)其分段表示見下：

分段點如圖8所示，以圖6(b)為例描述了結構特徵和自適應增益函數的關係曲線。在其結構特徵值較小的區域，對應圖像強邊緣，為了避免出現過衝現象，則進行相對較弱的增強；隨著結構特徵值的增大，增強程度也應緩慢提升；在結構特徵值較大的區域，對應圖像平坦區域，由於人眼對噪聲較敏感，只做較小的增強，增益函數隨隸屬度迅速減小。

對於本領域的技術人員來說，可以根據以上的技術方案和構思，作出各種相應的改變和變形，而所有的這些改變和變形都應該包括在本發明權利要求的保護範圍之內。