基於霧天圖像復原和圖像融合的圖像去霧方法
2023-04-24 22:40:06 2
專利名稱：基於霧天圖像復原和圖像融合的圖像去霧方法
技術領域：
本發明涉及圖像處理領域，尤其涉及一種基於可見光圖像和近紅外圖像，結合暗原色先驗和加權最小二乘濾波器的去霧方法。
背景技術：
在霧天情況下，由於景物的能見度降低，以致在相機獲取的圖像中，目標對比度和顏色特徵被大大地衰減，因此需要消除霧氣的影響。隨著計算機技術的不斷發展，對有霧條件下的景物影像進行去霧處理已經成為可能。事實上，圖像去霧一直是計算機視覺領域研究的重要內容，其主要應用在目標探測、視頻監控、地形勘測和自動駕駛等領域。目前圖像去霧的方法主要有兩類，即霧天圖像增強和霧天圖像復原。霧天圖像的增強方法不考慮圖像退化的原因，單從圖像處理的角度出發，增強圖像的對比度，改善圖像的視覺效果，突出圖像的細節，但對於突出部分的信息可能會造成一定損失；霧天圖像復原是研究霧天圖像退化的物理過程，建立退化模型，反演退化過程，補償由於霧氣存在所造成的圖像失真，從而改善霧天圖像的質量。這種方法針對性強，得到的去霧效果自然，一般不會有信息損失，處理的關鍵點是模型中參數的估計。圖像融合是指將不同波段採集到的同一目標的圖像數據經過圖像處理和計算機技術等，最大限度的提取各波段圖像中的有效信息，最後融合成高質量的圖像，從而提高圖像信息的利用率，增強圖像中信息透明度和目標的對比度，以形成對目標信息描述的清晰性、完整性和準確性。圖像融合在醫學、遙感、計算機視覺、氣象預報及軍事目標識別等方面的應用潛力得到充分認識、尤其在計算機視覺方面，圖像融合被認為是克服目前某些難點的技術方向；在航天、航空多種運載平臺上，各種遙感器所獲得的大量光譜遙感圖像的融合，為信息的高效提取提供了良好的處理手段，取得明顯效益。但是，目前還沒有提出結合霧天圖像復原和圖像融合的圖像去霧方法，傳統的霧天圖像去霧方法的效果均不夠理想。
發明內容
本發明的目的是提供一種去霧後圖像清晰、對比度和清晰度高、細節豐富的基於霧天圖像復原和圖像融合的圖像去霧方法。為解決上述技術問題，本發明採用的技術方案為一種基於霧天圖像復原和圖像融合的圖像去霧方法，其實施步驟如下1)輸入有霧的可見光圖像，獲取可見光圖像的暗原色，並根據暗原色獲取可見光圖像的大氣光值；2)根據暗原色先驗獲取可見光圖像的透射率初始值，根據軟摳圖方法對透射率初始值進行優化，得到優化後的透射率；3)根據霧圖形成模型，利用所述大氣光值和所述優化後的透射率恢復有霧的可見光圖像，得到初步去霧圖像；4)輸入與所述可見光圖像同一場景的近紅外圖像，將近紅外圖像和所述初步去霧
4圖像的亮度信息分別進行多次加權最小二乘濾波，根據濾波結果獲取融合圖像亮度信息；5)用融合後的圖像亮度信息替代初步去霧圖像的亮度信息，得到最終去霧圖像。作為上述技術方案的進一步改進所述步驟1)中獲取可見光圖像的暗原色具體是指根據
/M(X) =Cy)))獲取可見光圖像的暗原色Itok，其中C表示r通道、g通道或者
b通道；Γ表示圖I的C通道的分量，I為輸入的可見光圖像，Ω (χ)表示以像素點X為中心的正方形區域。所述步驟1)中獲取可見光圖像的大氣光值具體是指首先從可見光圖像的暗原色的所有點中提取部分最亮點，然後在所述部分最亮點對應可見光圖像的像素中選擇強度最大的像素點的值作為大氣光值。所述步驟2、中根據暗原色先驗獲取可見光圖像的透射率初始值具體是指根據
t' = l-m min(min；)獲取可見光圖像的透射率初始值t 『，其中c為r通道、g通道或者b通
c Ω A
道；Γ為圖I的c通道的分量，I為輸入的可見光圖像，Ω為以像素點X為中心的正方形區域，Ae為大氣光值的c通道的分量，ω為常數係數。所述步驟2、中根據軟摳圖方法對透射率初始值進行優化具體是指根據t = Xt' /(L+λ U)獲取優化後的透射率t，其中L為軟摳圖拉普拉斯矩陣，λ為修正參數，U 為和L相同大小的單位矩陣。所述步驟幻中恢復可見光圖像具體是指根據) 獲取初步去霧圖
像J，其中I為輸入的可見光圖像，A為大氣光值，t為優化後的透射率，t0為常數。所述步驟4)進行多次加權最小二乘濾波並根據濾波結果獲取融合圖像亮度信息具體是指將近紅外圖像或者初步去霧圖像的亮度信息作為輸入參數進行第一次加權最小二乘濾波，然後將當前的濾波結果作為下一次濾波的輸入參數進行多次加權最小二乘濾波，獲取每一次濾波的輸入參數與輸出結果的差值，並將該差值除以當次濾波的輸出結果， 獲得與濾波次數相對應的多組可見光圖像亮度信息和近紅外圖像的對比圖像；將所述多組對比圖像中的每一組可見光圖像亮度信息和近紅外圖像進行比較獲取其中的較大值，然後將較大值加1後進行連乘運算，再將連乘運算結果乘以最後一次濾波輸出的可見光圖像的亮度信息，得到融合後的可見光圖像的亮度信息。所述步驟4)中進行加權最小二乘濾波時，加權最小二乘濾波的表達式為 ΖΓ+1 =w^(Zak)，其中Ζ；"為第k次濾波的輸入參數，Z表示輸入的初步去霧圖像的亮度信息或近紅外圖像，ζ:為第k次濾波的輸出參數以及第k+1次濾波的輸入參數，WvJO為加權最小二乘濾波器。所述加權最小二乘濾波器^^ (·)的表達式為^^ (O = (U + A0CkLgY1，其中λ Qck為
第k次濾波結果的粗糙度，λ ^為進行第一次濾波時輸入參數的粗糙度，c為常數係數，k為濾波序號，Lg為拉普拉斯矩陣，U為和Lg相同大小的單位矩陣。本發明具有下述優點本發明提出了一種結合暗原色先驗和加權最小二乘濾波器的圖像去霧算法，利用基於暗原色先驗的單幅霧天圖像去霧方法，以及基於加權最小二乘濾波器的可見光圖像和近紅外圖像的融合技術，得到清晰的去霧圖像，該算法能有效地提高霧天圖像的對比度和清晰度，增加圖像細節信息，能顯著改善由霧氣造成的圖像對比度下降、景物顏色失真以及亮度減弱等圖像質量退化的情況，得到高質量的去霧圖像，具有去霧圖像清晰、對比度和清晰度高、細節豐富的優點。
圖1為本發明實施例的實施流程示意圖；圖2為輸入的有霧場景的可見光圖像；圖3為圖2的暗原色；圖4為根據暗原色先驗由圖2、圖3獲得的透射率初始值；圖5為根據軟摳圖方法得到的透射率優化值；圖6為根據霧圖形成模型得到的初步去霧圖像；圖7為輸入的同一場景的近紅外圖像；圖8為根據最小二乘濾波由圖6、圖7得到的融合圖像，即最終去霧圖像。
具體實施例方式如圖1所示，本發明實施例基於霧天圖像復原和圖像融合的圖像去霧方法的實施步驟如下1)輸入有霧的可見光圖像，獲取可見光圖像的暗原色，並根據暗原色獲取可見光圖像的大氣光值；2)根據暗原色先驗獲取可見光圖像的透射率初始值，根據軟摳圖方法對透射率初始值進行優化，得到優化後的透射率；3)根據霧圖形成模型，利用大氣光值和優化後的透射率恢復有霧的可見光圖像， 得到初步去霧圖像；4)輸入與可見光圖像同一場景的近紅外圖像，將近紅外圖像和初步去霧圖像的亮度信息分別進行多次加權最小二乘濾波，根據濾波結果獲取融合圖像亮度信息；5)用融合後的圖像亮度信息替代初步去霧圖像的亮度信息，得到最終去霧圖像。步驟1)中獲取可見光圖像的暗原色具體是指根據= 41 ^%)))獲取可見光圖像的暗原色Itok，其中c表示r通道、g通道或者b通道；Γ表示圖I的c通道的分量，I為輸入的可見光圖像，Ω (χ)表示以像素點χ為中心的正方形區域。Ω (χ)區域大小應以恰好能覆蓋除天空區域以外的白色物體為宜，本實施例中，可見光圖像(如圖2所示)和近紅外圖像(如圖7所示)的像素大小均為563*373，Ω (χ)區域大小為9*9大小的區域。圖2的暗原色如圖3所示。步驟1)中獲取可見光圖像的大氣光值具體是指首先從可見光圖像的暗原色的所有點中提取部分最亮點，然後在部分最亮點對應可見光圖像的像素中選擇強度最大的像素點的值作為大氣光值。本實施例提取部分最亮點時，提取0. 數量的最亮點作為部分最
売點ο步驟幻中根據暗原色先驗獲取可見光圖像的透射率初始值具體是指根據
6t' = l-m min(min；)獲取可見光圖像的透射率初始值t 『，其中c為r通道、g通道或者b通
c ω a
道；Γ為圖I的c通道的分量，I為輸入的可見光圖像，Ω為以像素點χ為中心的正方形區域，Ae為大氣光值的c通道的分量，ω為常數係數。ω可取值0< ω ( 1，本實施例中ω =0. 8。暗原色先驗來自對戶外無霧圖像資料庫的統計規律，它基於經觀察得到的這麼一個關鍵事實——絕大多數的戶外無霧圖像的每個局部區域都存在某些至少一個顏色通道的強度值很低的像素。利用這個先驗知識分析去霧模型，我們可直接估算圖像的透射率以
及場景的深度信息。根據i' = l- min(min;)計算可見光圖像的透射率初始值t'時運用
c ω a
了暗原色先驗，其推導過程如下在計算機視覺和計算機圖形中，下述方程所描述的霧圖形成模型被廣泛使用
I(x) =J (χ) t (χ) +A (l_t (χ))其中，I是指觀測到的圖像的強度，J是景物光線的強度，A是全球大氣光成分，t 用來描述光線通過媒介透射到照相機過程中沒有被散射的部分，稱為透射率。假定在一個局部區域的透射率是恆定不變的，由霧圖形成方程可以得到
J /7 = ^f 十重一 f對上式左右兩邊都進行與計算暗原色相同的操作，有
J w>TC·mirJmin-—) = {ηι η(ητ η-—)} + 1 - 根據暗原色先驗π ηΩ (mincJc) — 0，上式可以寫成￠ = 1- mi.n,.n (mi n:c現實中，即使是很晴朗的天氣，空氣中總會不可避免地包含一些雜質分子。因此， 引進一個常數ω ( < ω < 1)，有針對性的保留一部分覆蓋遙遠景物的霧，從而最終得到表
Γ
達式廣= 1_ω min(min —)
ο透射率的初始值如圖4所示。步驟2、中根據軟摳圖方法對透射率初始值進行優化具體是指根據t = λ t' / (L+λυ)獲取優化後的透射率t，其中L為軟摳圖拉普拉斯矩陣，U為和L相同大小的單位矩陣，λ為修正參數，本實施例中λ = 10Λ霧圖形成模型方程和摳圖方程在形式上是相同的，透射率的分布可以當做是阿爾法的分布。因此，優化後的透射率可以通過最小化以下代價函數來求得E(t) = tTLt+A (t-t' )T(t-t')軟摳圖拉普拉斯矩陣中的元素L(i，j)定義如下
r ι rε^Σ1 + (/^^/(^ +JJ3)-1^.
剛八 KKKlJJ其中，wk為以像素點k為中心的3*3像素大小的窗口，|wk|為Wk窗口區域的像素個數，Sij為克羅內克符號，Ii是一個3*1的矩陣，三個元素分別是輸入圖像在i像素點處的r、g、b信息；1」是一個3*1的矩陣，三個元素分別是輸入圖像在j像素點處的r、g、b信息；μ k是窗口 wk窗口區域中元素的平均值；Σ k為Wk窗口區域中元素的方差；U3是一個3*3 的單位矩陣，ε也是一個修正參數，本實施例中ε = ΙΟ"20透射率的優化值如圖5所示。步驟3)中恢復可見光圖像具體是指根據J =+ j獲取初步去霧圖像J，
其中I為輸入的可見光圖像，A為大氣光值，t為優化後的透射率，、為常數，本實施例中、 =0.1。初步去霧圖像如圖6所示。步驟4)進行多次加權最小二乘濾波並根據濾波結果獲取融合圖像亮度信息具體是指將近紅外圖像或者初步去霧圖像的亮度信息作為輸入參數進行第一次加權最小二乘濾波，然後將當前的濾波結果作為下一次濾波的輸入參數進行多次加權最小二乘濾波，獲取每一次濾波的輸入參數與輸出結果的差值，並將該差值除以當次濾波的輸出結果，獲得與濾波次數相對應的多組可見光圖像亮度信息和近紅外圖像的對比圖像；將所述多組對比圖像中的每一組可見光圖像亮度信息和近紅外圖像進行比較獲取其中的較大值，然後將較大值加1後進行連乘運算，再將連乘運算結果乘以最後一次濾波輸出的可見光圖像的亮度信息，得到融合後的可見光圖像的亮度信息。步驟4)中進行加權最小二乘濾波時，加權最小二乘濾波的表達式為 zL1 =w^AzD，其中ζ；"為第k次濾波的輸入參數，ζ表示輸入的初步去霧圖像的亮度信息或近紅外圖像，ζ:為第k次濾波的輸出參數以及第k+i次濾波的輸入參數，『vi(_)為加權最小二乘濾波器。加權最小二乘濾波器WvO的表達式為^^O = (" + Vl》—1，其中λ Ock為第k
次濾波結果的粗糙度，λ ^為進行第一次濾波時輸入參數的粗糙度，c為常數係數，k為濾波序號，Lg為拉普拉斯矩陣，U為和Lg相同大小的單位矩陣。本實施例中，= l，c = 2。拉普拉斯矩陣的表達式為、=DtxAxDx +DryAyDy，Dx和Dy為離散差分算子，Ax、Ay
是對角矩陣，其元素定義為= (]|cp)f + f)"", i e Cv.y.M表示輸入圖像的亮度信息的
常數對數值，P表示像素位置，α為常數係數，本實施例中，α =1.2，ε為一個很小的常數，本實施例中ε = 0.0001。本實施例中經過六次濾波之後，根據下式求取每一次濾波結果的對比圖像 (contrast image)Zi1-z^ztl其中k為通過的濾波器序號，取值範圍從1到6 ；Zak為第k個濾波器的輸入參數， Z表示亮度信息V或近紅外圖像N ；Zak+1為第k個濾波器的輸出參數；Zdk+1為第k個濾波器的輸出結果的對比圖像。將得到的每一組對比圖像作比較取最大值，加1後連乘，將得到的值再乘以最後一個濾波器輸出的亮度信息，即得到融合後的圖像亮度信息，如下式F0 = 2 TT'"￥「)+ 1)
i ^k=I其中η為濾波次數(本實驗中η = 6) ；Van+1為第η個濾波器輸出的可見光圖像亮度信息；Vdk+1為第k個濾波器輸出的可見光圖像亮度信息的對比圖像；Ndk+1為第k個濾波器輸出的近紅外圖像的對比圖像；Π為連乘符號。最後，利用所得融合後的圖像亮度信息，結合步驟(3)獲得的可見光圖像的初步去霧圖像，即可得到最終的去霧圖像，如圖8所示。
以上所述僅為本發明的優選實施方式，本發明的保護範圍並不僅限於上述實施方式，凡是屬於本發明原理的技術方案均屬於本發明的保護範圍。對於本領域的技術人員而言，在不脫離本發明的原理的前提下進行的若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。
權利要求
1.一種基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於其實施步驟如下1)輸入有霧的可見光圖像，獲取可見光圖像的暗原色，並根據暗原色獲取可見光圖像的大氣光值；2)根據暗原色先驗獲取可見光圖像的透射率初始值，根據軟摳圖方法對透射率初始值進行優化，得到優化後的透射率；3)根據霧圖形成模型，利用所述大氣光值和所述優化後的透射率恢復有霧的可見光圖像，得到初步去霧圖像；4)輸入與所述可見光圖像同一場景的近紅外圖像，將近紅外圖像和所述初步去霧圖像的亮度信息分別進行多次加權最小二乘濾波，根據濾波結果獲取經融合的圖像亮度信息；5)用融合後的圖像亮度信息替代初步去霧圖像的亮度信息，得到最終去霧圖像。
2.根據權利要求1所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述步驟υ中獲取可見光圖像的暗原色具體是指根據=41 , Pi^1(Poo))獲取可見光圖像的暗原色Itok，其中c表示r通道、g通道或者b通道；Γ表示圖I的c通道的分量，I為輸入的可見光圖像，Ω (χ)表示以像素點χ為中心的正方形區域。
3.根據權利要求2所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述步驟1)中獲取可見光圖像的大氣光值具體是指首先從可見光圖像的暗原色的所有點中提取部分最亮點，然後在所述部分最亮點對應可見光圖像的像素中選擇強度最大的像素點的值作為大氣光值。
4.根據權利要求1所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述步驟幻中根據暗原色先驗獲取可見光圖像的透射率初始值具體是指根據t' = l-m min(min；)獲取可見光圖像的透射率初始值t 『，其中c為r通道、g通道或者b通c ω a道；Γ為圖I的c通道的分量，I為輸入的可見光圖像，Ω為以像素點χ為中心的正方形區域，Ae為大氣光值的c通道的分量，ω為常數係數。
5.根據權利要求4所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述步驟幻中根據軟摳圖方法對透射率初始值進行優化具體是指根據t= At' / (L+AU)獲取優化後的透射率t，其中L為軟摳圖拉普拉斯矩陣，λ為修正參數，U為和L相同大小的單位矩陣。
6.根據權利要求1所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述步驟3)中恢復可見光圖像具體是指根據J=、+W獲取初步去霧圖像J，其中I為輸入的可見光圖像，A為大氣光值，t為優化後的透射率，t0為常數。
7.根據權利要求1 6中任意一項所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述步驟4)進行多次加權最小二乘濾波並根據濾波結果獲取融合圖像亮度信息具體是指將近紅外圖像或者初步去霧圖像的亮度信息作為輸入參數進行第一次加權最小二乘濾波，然後將當前的濾波結果作為下一次濾波的輸入參數進行多次加權最小二乘濾波，獲取每一次濾波的輸入參數與輸出結果的差值，並將該差值除以當次濾波的輸出結果，獲得與濾波次數相對應的多組可見光圖像亮度信息和近紅外圖像的對比圖像；將所述多組對比圖像中的每一組可見光圖像亮度信息和近紅外圖像進行比較獲取其中的較大值，然後將較大值加1後進行連乘運算，再將連乘運算結果乘以最後一次濾波輸出的可見光圖像的亮度信息，得到融合後的可見光圖像的亮度信息。
8.根據權利要求7所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述步驟4)中進行加權最小二乘濾波時，加權最小二乘濾波的表達式為 ΖΓ+1 =^(Ζ)，其中Ζ；"為第k次濾波的輸入參數，Z表示輸入的初步去霧圖像的亮度信息或近紅外圖像，Ζ:為第k次濾波的輸出參數以及第k+Ι次濾波的輸入參數，^/(·)為加權最小二乘濾波器。
9.根據權利要求8所述的基於霧天圖像復原和圖像融合的圖像去霧方法，其特徵在於所述加權最小二乘濾波器^/(·)的表達式為=^其中XtlCk為第k次濾波結果的粗糙度，λ ^為進行第一次濾波時輸入參數的粗糙度，C為常數係數，k為濾波序號，Lg為拉普拉斯矩陣，U為和Lg相同大小的單位矩陣。
全文摘要
本發明公開了一種基於霧天圖像復原和圖像融合的圖像去霧方法，其實施步驟如下1)輸入有霧的可見光圖像，獲取可見光圖像的大氣光值；2)根據暗原色先驗獲取可見光圖像的透射率初始值，根據軟摳圖方法對透射率初始值進行優化，得到優化後的透射率；3)根據霧圖形成模型，利用大氣光值和優化後的透射率恢復可見光圖像，得到初步去霧圖像；4)輸入同一場景的近紅外圖像，將近紅外圖像和所述初步去霧圖像的亮度信息分別進行多次加權最小二乘濾波，根據濾波結果獲取經融合的圖像亮度信息；5)用融合後的圖像亮度信息替代初步去霧圖像的亮度信息，得到最終去霧圖像。本發明具有提高圖像的對比度和清晰度、增加圖像細節的優點。
文檔編號G06T5/50GK102254313SQ201110196878
公開日2011年11月23日 申請日期2011年7月14日 優先權日2011年7月14日
發明者馮華君, 徐之海, 李奇, 陶叔銀 申請人:浙江大學