一種非均勻光照圖像二次曝光的實現方法

2023-05-07 03:20:46

一種非均勻光照圖像二次曝光的實現方法
【專利摘要】本發明公開了一種非均勻光照圖像二次曝光的實現方法，包括以下步驟：獲取光照圖像；獲取反射圖像；將光照圖像和反射圖像疊加獲取全局增強結果，並將全局增強結果和原始圖像融合；對增強結果進行顏色校正，獲取視覺匹配圖像。本發明通過約束光照圖像的平滑性質，並對反射圖像通過視覺閾值特性進行銳化，保證了圖像的細節信息；通過圖像融合方法，有效保持了原始圖像亮區的亮度、對比度和顏色信息，而且由於引入了人眼視覺感知平均背景亮度的特性，使得融合後的圖像能夠有效消除陰影邊界附近圖像顏色扭曲；通過色彩校正技術對低照度區域的色彩進行了恢復，使得低照度區域和亮區的色彩沒有明顯的畸變，連續性較好，視覺效果更加自然。
【專利說明】一種非均勻光照圖像二次曝光的實現方法【技術領域】
[0001]本發明屬於圖像二次曝光【技術領域】，尤其涉及一種非均勻光照圖像二次曝光的實現方法。
【背景技術】
[0002]目前寬動態技術主要採用特殊DSP(數位訊號處理)電路，對明亮部分進行最合適的快門速度曝光，然後再對暗的部分用最合適的快門速度曝光，之後將兩個圖像進行DSP處理重新組合，使明亮的部分和暗的部分可以看得清楚，這需要很高的技術使色彩和清晰度損失最小，然而由於CCD的特性所限制，攝像機寬動態範圍最大能到60dB，因此即便使用最先進的寬動態技術攝像機，在複雜光照條件下依然會得到非均勻光照圖像，從而造成即得圖像不能滿足「視覺匹配」的問題。
[0003]目前針對非均勻光照圖像增強的主要算法有:基於直方圖操作的算法；基於鄰域的非線性圖像增強方法；基於視覺特性的圖像增強方法；基於視覺皮質模型的圖像增強方法；基於小波及後續發展的多種X-1et變換的多尺度圖像增強算法；基於偏微分方程的圖像增強方法。[0004]基於直方圖操作的算法如直方圖均衡(Histogram equalization, HE)是圖像增強廣泛採用的技術，但HE是在整體範圍內改善光照環境影響的全局增強方法，實際處理時一幅圖像的不同部分可能有不同的圖像質量，此時就需要基於鄰域的局部方法來處理，自適應直方圖均衡(Adaptive histogram equalization, AHE),對比度限制自適應直方圖均衡(Contrast limited adaptive histogram equalization, CLAHE)和基於人類視覺臨界可見偏差引導的自適應直方圖均衡(JND-guided adaptive contrast enhancement, JGACE),都是基於局部操作更深入的探討，但AHE往往存在較嚴重的過衝，而在其改進算法中局部操作的參數選擇和控制也存在困難，根據AHE的發展思路，局部直方圖規定化也有改進，同時在使用直方圖統計方面，R.C.Gonzalez等分析了一種基於局部統計(Localstatistics, LS)的增強方法，Kim等提出了梯度處理與統計處理相結合的圖像增強技術，雖然在增強性能和噪聲放大方面存在不足，但是局部統計量是形成算法自適應的關鍵，其提供了較好的案例，ZhiYu Chen等提出了灰度級組合(Grey-level Grouping, GLG)的方法，其在特定準則下實現了灰度級的重新組合，依靠查找表實現快速尋優，基本方法和自適應改進都體現了算法性能優良，Kwok等將原始直方圖在相鄰像素值間光滑，而後從新映射得到增強後圖像，尤其在面向天空等視景時處理效果良好。
[0005]基於鄰域的非線性增強方法對非均勻光照圖像從全局和局部兩個方面進行處理，引向了較為深入的複合思路，OldDominion大學視覺實驗室從2003年起一直致力於非均勻光照圖像增強算法的研究和實時化，提出了一系列方法:自適應鄰域依賴的非線性增強(Adaptive integrated neighborhood dependent approach for nonlinearenhancement, AINDANE)，光照-反射模型圖像增強(Illuminance-ref lection modelfor image enhancement, IRME),局部調整 Sine 函數非線性增強(Locally tuned sinenonlinear enhancement, LTSNE)等,許多學者針對特殊場景也進行了相關改進工作，如多窗逆 Sigmoid 變換方法(Multiple windowed inverse sigmoid, MWIS), Li Tao 等一系列文章提供了一個非常重要的圖像增強核心框架，其具體分成兩個計算步驟:亮度增強和對比度增強:亮度增強主要是動態範圍的調整，通過精細的非線性變換函數得以實現；對比度增強是基於在鄰域內中心像素與周圍像素的關係設計的變換函數；最後採用線性顏色恢復方式得到彩色增強圖像結果。
[0006]基於視覺特性的圖像增強方法中具有代表性的是基於Retinex的算法，視網膜皮質理論即Retinex理論(由視網膜Retina和大腦皮質Cortex兩個詞合成),力圖模擬人類視覺系統在光照條件空間變化的情況下仍然能對場景中每一點的顏色有穩定的感知能力，其核心是認為人類視覺對某一點的感受存在對比機制，不僅來源於該點的絕對亮度和顏色，還取決於該點與周圍亮度、顏色的對比，NASA蘭利研究中心提出了一系列基於Retinex的算法，包括單尺度 Retinex (Single-scale Retinex, SSR)、多尺度 Retinex (Mult1-scaleRetinex, MSR)、顏色校正算法(Mult1-scale Retinex with color restoration, MSRCR),其核心是假設光照變化的平滑，容易導致在明暗對比強烈處產生光暈現象(halo effect)，相應的改進算法包括=Meylan通過對圖像的RGB空間進行主成份分析獲得亮度分量，利用邊緣信息指導濾波，能較好地抑制光暈，但由於自適應濾波時各點處模糊核不同，處理速度較慢；Doo Hyun Choi等進一步融入了視覺特性中的臨界可見偏差,在鄰域中心與鄰域信息的差異比較中自適應改變光照估計模板的權值；許欣等提出了基於MeanShift濾波的方法進行光照估計，而蔣永馨等提出了限鄰域經驗模式分解(Neighborhood limited empiricalmode decomposition, NLEMD)的方法估計光照,都取得了較好的效果，而結合視覺側抑制現象的自動彩色均衡(Automatic color equalization, ACE),融入局部濾波的Random SprayRetinex,基於核的 Retinex (Kernel-based Retinex, KBR)算法也有很多進展。
[0007]基於視覺特性的圖像增強方法在國內具有代表性的研究成果有:北京理工大學顏色科學與工程國家重點實驗室倪國強教授團隊提出了真實圖像再現(RIR)研究方向，以人類視覺特性為研究對象，以真實再現人類對外界場景的感知為目標，涉及顏色/亮度恆常性、動態範圍壓縮等問題，旨在解決圖像增強和高動態範圍圖像可視化等相關問題，而王守覺院士提出用高維形象幾何學方法研究信息處理中的問題，並在彩色圖像盲增強領域取得很好的效果；並進一步在Li Tao提出的框架下，融入視覺閾值特性設計了仿生圖像增強算法。
[0008]基於視覺皮質模型的圖像增強方法，基於小波及後續發展的多種X-1et變換的多尺度圖像增強算法，基於偏微分方程的圖像增強方法近年來也都引起了廣泛關注。
[0009]2003年以色列惠普實驗室Kimmel等人提出了變分框架Retinex算法,將對光照圖像的估計歸結於求能量泛函的最優化問題，求解相應的Euler-Lagrange(E-L)方程，並利用McCann提出的金字塔結構得到梯度下降流的數值快速求解，其在保證良好的動態範圍壓縮前提下將早期的隨機遊走、同態濾波等方法統一成在變分框架之中，
[0010]Kimmel變分框架下的模型能量泛函表達式為
min F[I) = J(|V/f +a/-J\ + β\v(/-sf)drdy
[0011]ω,(I) s.t.l>s cnui (ν/^?-0 oncQ.[0012]其中，Ω表示圖像空間δΩ<圖像的邊緣是邊緣法向量，α、β為懲罰因子，假定光照在空間的變化平緩，反射四像R在O和I之間，則L≥S，由log運算的單調性則I ≥ s，被限制了動態範圍的反射係數即被作為約束條件，三個罰函數分別保證了光照圖像的空間平滑、光照圖像與原始圖像的相關性和反射圖像的平滑性，Kimmel將帶約束的歸一化最速下降法(Projected Normalized Steepest Descent, PNDS)運用到此問題的數值求解中，同時構建金字塔採用多解析度計算進行加速，使用較少的迭代次數即可得到較好的收斂效果；
[0013]上述求解結果得到光照圖像的估計L，然後將光照圖像在原始圖像剔除獲取反射圖像R，對L採取gamma校正，將校正後的光照圖像在空域內相乘得到最終增強結果。
[0014]但是變分框架Retinex算法存在以下問題:
[0015](I)Kimmel變分Retinex算法通常會平滑圖像的細節信息，尤其在陰影邊界附近圖像顏色扭曲的更為明顯；
[0016](2)增強結果的亮區中的亮度、對比度、色度信息被改變，但亮區的此類信息本身滿足「視覺匹配」特性，改變後反而影響視覺效果；
[0017](3)低照度區域亮度雖然能夠得到有效提升，但其色彩信息視覺效果不夠自然；
[0018](4)參數α、β對增強結果的影響很大，實際使用中設置難度較大，導致算法魯棒性下降。

【發明內容】

[0019]本發明實施例的目的在於提供一種非均勻光照圖像二次曝光的實現方法，旨在解決通常會平滑圖像的細節信息，尤其在陰影邊界附近圖像顏色扭曲的更為明顯；增強結果的亮區中的亮度、對比度、色度信息被改變，但亮區的此類信息本身滿足「視覺匹配」特性，改變後反而影響視覺效果；低照度區域亮度雖然能夠得到有效提升，但其色彩信息視覺效果不夠自然；參數α、β對增強結果的影響很大，實際使用中設置難度較大，導致算法魯棒性下降的問題。
[0020]本發明實施例是這樣實現的，一種非均勻光照圖像二次曝光的實現方法，所述非均勻光照圖像二次曝光的實現方法包括以下步驟:
[0021]獲取光照圖像；
[0022]獲取反射圖像；
[0023]將光照圖像和反射圖像疊加獲取全局增強結果，並將全局增強結果和原始圖像融合；
[0024]對增強結果進行顏色校正，獲取視覺匹配圖像。
[0025]進一步，獲取逼真的光照圖像通過改進變分框架下的Retinex估計光照圖像,求
解Ki臟el模型時可將目標明確為獲取光滑的光照圖像，提出通過
【權利要求】
1.一種非均勻光照圖像二次曝光的實現方法，其特徵在於，所述非均勻光照圖像二次曝光的實現方法包括以下步驟: 獲取光照圖像； 獲取反射圖像； 將光照圖像和反射圖像疊加獲取全局增強結果，並將全局增強結果和原始圖像融合； 對增強結果進行顏色校正，獲取視覺匹配圖像。
2.如權利要求1所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，獲取逼真的光照圖像通過改進變分框架下的Retinex估計光照圖像,求解Kimmel模型時可將目標明確為獲取光滑的光照圖像，提出通過
3.如權利要求2所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，Kimmel模型為:考慮到|v<是常數且在計算過程中意義不大，為了降低計算複雜度，第三項罰函數修改為，綜上，可將Kimmel模型改寫為
4.如權利要求1所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，獲取逼真的反射圖像的具體過程為: 求解(2)式得到光照圖像7的估計，繼而通過反解Retinex模型S=R -L,可以得到反射圖像的估計S，先將中心像素受鄰域像素影響造成的模糊去掉，得到銳化圖像，再將銳化圖像和原圖像相加就可以增加中心像素和周圍背景亮度間的比例，類比反熱傳導方程的近似解。
5.如權利要求1所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，類比反熱傳導方程的近似解，如公式(3)所示，
6.如權利要求1所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，全局增強結果的獲取及和原始圖像融合利用了偏置冪函數在2和10之間平滑地進行基底插值，1glO作用在最亮的像素上，而其他像素值根據鄰域信息進行對數操作，基底在2到10之間插值，可以對低亮度提升，對高亮度壓縮，函數表達式為
7.如權利要求6所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，局增強結果的獲取及和原始圖像融合中全局增強結果獲取方法為: 偏置冪函數在2和10之間平滑地進行基底插值,易知λ e (O, I],引入?inax-?m_作為亮度映射強度的參考，其中和分別為輸入光照圖像(動態範圍O~255)的最大值和均值，越大表明光照越不均勻，低照度區域需要更大的亮度提升，即./(>,A)應該越大，否則越小，由公式(5)易知/(>,λ)是λ的下降函數，故令A = l/(?max-?m_)，代入公式(5)並化簡後得到
8.如權利要求7所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，計算平均背景亮度公式為:
9.如權利要求1所述的非均勻光照圖像二次曝光的實現方法，其特徵在於，低照度區域色彩重現步驟可以歸納為:將融合後的結果和原始圖像由RGB空間轉換到HSI空間，使用原始圖像的H分量和S分量替換融合結果的的H分量和S分量，並採用公式(9)對低照度區域的飽和度分量進一步校正，校正後的結果再由HIS空間轉換到RGB空間得到最終視覺匹配圖像，
【文檔編號】G06T5/00GK103530848SQ201310455253
【公開日】2014年1月22日 申請日期:2013年9月27日 優先權日:2013年9月27日
【發明者】李權合, 畢篤彥, 熊磊, 張登福, 王晨 申請人:中國人民解放軍空軍工程大學