增強圖像可見性的方法
2023-07-29 16:15:21
專利名稱：增強圖像可見性的方法
技術領域：
本發明涉及圖像視覺增強技術領域，特別涉及一種增強圖像可見性的方法。
技術背景
當前計算機視覺領域的系統和算法通常假設輸入圖像的採集環境為真空，即不考 慮空氣中介質的影響，假設場景在光照作用下輻射出的光強度被拍攝系統完全記錄。但是， 在實際情況中，上述假設通常並不成立，成像系統通常會受到一定程度的霧氣、雨、雪等的 影響。當出現霧氣、雨、雪等天氣時，在成像中起主導作用的是複雜的水分子聚合體，介質對 成像光纖的投射衰減及散射，使得上述惡劣天氣條件下的戶外採集圖像色彩降質、對比度 降低。
針對上述問題，現有的對惡劣天氣條件下的圖像可見性增強的方法主要有兩種 一種是利用多幅特殊拍攝的圖像，其又主要分為兩類，一是獲取同一場景在不同天氣條件 下的採集圖像，該方法僅適用於固定場景、固定相機，並且需要較長的圖像採集時間以出現 天氣的變化，因此實際應用性弱，二是在採集設備前加上極化濾光片以獲取同一場景在不 同極化條件下的兩幅圖像，該方法實現的前提假設是圖像中由於介質散射的部分具有極化 性質、空氣光為部分偏振光且偏振度不隨距離而變化，但是該假設在實際成像中不一定成 立，從而導致圖像增強效果並不理想；另一種是基於單幅圖像進行可見性恢復與增強，這種 方法具有較強的實用性，但是，由於單幅圖像包含的信息量很少，因此需要基於較強的假設 或者先驗知識，例如，假設在晴朗天氣條件下的實際採集圖像具有很高的對比度，或者假設 場景具有豐富的顏色信息等，但是，在一些實際應用中，如機場監視等，採集的圖像只具有 較少的紋理信息且色彩和空氣光顏色接近，不滿足上述假設，使得基於單幅圖像的增強效 果不理想。
此外，還提出一種針對惡劣天氣條件的物理成像模型
I = J · t+A · (1-t)，t = z
其中，I表示當前實際採集到的受惡劣天氣條件影響的圖像；J表示當前場景在晴 朗天氣條件下對應的圖像，即不受霧等介質影響的成像結果；ζ是當前場景的深度信息；β 是天氣情況的表徵因子，β越大，對應天氣條件的霧越濃；t表示場景實際的輻射光線在空 氣中受介質影響而衰減的情況，一般認為其隨深度呈指數變化，即t = e_e 『z，0 < t < 1，深 度越小，t越接近於1，表明當前採集圖像受介質的影響越小，場景表面直接輻射的光線就 越多的直接傳遞到成像系統中；A表示空氣光的顏色，場景直接輻射出的光線由於受到空 氣中介質的作用而發生散射，這一部分光線偏離原來的傳播路徑向各個方向分散，經霧滴 的多次散射後，最終在成像模型中可以抽象為空氣光的作用，場景中的點距離成像平面越 遠，該部分的作用就越強烈。
綜上所述，現有技術存在的缺點是不能針對紋理少、顏色不豐富的動態採集場景 進行有效的可見性增強。發明內容
本發明的目的旨在至少解決無法對紋理少、顏色不豐富的動態採集場景進行可見 性增強的技術缺陷。
為達到上述目的，本發明提出一種增強圖像可見性的方法，包括以下步驟
獲取場景的至少兩個圖像信息；
將所述圖像信息與預先建立的場景三維模型進行對準以獲得所述圖像信息對應 的模板圖像和所述模板圖像的深度信息；
根據所述模板圖像和所述模板圖像的深度信息，估計獲取所述場景的圖像信息時 的天氣條件參數；
根據所述天氣條件參數對所述模板圖像的深度信息進行修正以獲得所述場景圖 像的深度信息；以及
根據所述場景圖像的深度信息對所述場景圖像進行圖像增強。
在本發明的一個實施例中，所述根據所述天氣條件參數對所述模板圖像的深度信 息進行修正進一步包括
A.根據所述天氣條件參數、所述模板圖像的深度信息和物理成像模型對所述場景 圖像進行第一次增強以獲得第一增強圖像；
B.根據所述第一增強圖像與所述模板圖像獲取所述場景圖像的第二深度信息；
C.根據所述天氣條件參數、所述第二深度信息和所述物理成像模型對所述場景圖 像進行第二次增強以獲得第二增強圖像；
D.重複步驟A至步驟C，直至深度信息的值不再發生變化。
根據本發明的一個實施例，所述根據所述第一增強圖像與所述模板圖像獲取所述 場景圖像的第二深度信息，進一步包括
將所述第一增強圖像與所述模板圖像進行比較，檢測所述場景圖像的前景物體的 位置，標記所述場景圖像的前景區域；
在所述前景區域內，對所述第一增強圖像進行立體匹配以獲得所述場景圖像的前 景區域的深度信息；以及
用所述前景區域的深度信息替換所述前景區域內的像素點在所述模板圖像中對 應的像素點的深度信息，以獲得所述第二深度信息。
本發明通過結合場景三維模型對缺乏紋理、顏色不豐富的動態採集圖像進行有效 的可見性增強，從而使得採集的圖像能夠更好地服務於各種應用。而且，通過只對場景中的 前景物體進行處理，提高了實時處理能力。
本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中
圖1為本發明實施例的增強圖像可見性的方法的流程圖2為雙目相機獲取的場景在濃霧條件下的左視圖和右視圖3為使用現有技術的增強圖像可見性的方法對圖2中的圖像進行增強後的結果 圖；以及
圖4為使用本發明實施例的增強圖像可見性的方法對圖2中的圖像進行增強後的 結果圖。
具體實施方式
下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。
如圖1所示為本發明實施例的增強圖像可見性的方法的流程圖，該方法包括以下 步驟
步驟S11，獲取場景的至少兩個圖像信息。
可以通過多相機採集系統獲取場景的當前動態圖像信息，在本發明的一個實施例 中，通過雙目相機採集兩個圖像信息。
步驟S12，將圖像信息與預先建立的場景三維模型進行對準以獲得圖像信息對應 的模板圖像和模板圖像的深度信息。
該模板圖像中只具有動態場景中相對固定的物體。
步驟S13，根據模板圖像和模板圖像的深度信息，估計獲取場景的圖像信息時的天 氣條件參數。
在本發明的一個實施例中，根據模板圖像和模板圖像的深度估計物理成像模型中 的空氣光顏色和光線在空氣介質中的衰減情況。具體地包括以下步驟
第一步，對模板圖像的每一個深度值ζ進行歸一化，計算歸一化後的深度值ζ在預 先設定的範圍內的像素點的模板平均紋理色彩J^(Z)和所述像素點在當前動態圖像中對應 的像素點的場景平均紋理色彩7(Z)。其中，預先設定的範圍可為[ζ-δ，ζ+δ]，δ =0.05，應 理解，預先設定的範圍和S值的設定均可根據實際需要進行修改和變化，這些均應包含在 本發明的保護範圍內。
第二步，根據上述模板平均紋理色彩J^(Z)和場景平均紋理色彩計算全局色彩 修正因子C，
lum(/(zmm)) lurn(J0(zmm))
其中，f(zmm)為所有深度值ζ對應的場景平均紋理色彩中的最小值，I(Zmm)為 所有深度值ζ對應的模板平均紋理色彩J^(Z)中的最小值，Ium表示亮度。
第三步，在場景圖像中選取兩個像素點P1和P2，兩個像素點P1和P2在模板圖像中 對應的像素點的深度值差值和像素值差值均應大於預先設定的閾值。
在本發明的一個實施例中，深度值差值的預先設定的閾值為0. 3 0. 4，像素值差 值的預先設定的閾值為0.2。為了能夠儘快地選取到合適的像素點，可在模板圖像的上半部 和下半部分別隨機選取一個點進行計算，判斷選取的兩個點是否滿足上述條件，如果不符 合條件就放棄這兩個點，再隨機產生兩個點進行判斷，直至選取到符合條件的點。
第四步，針對第三步中選取的兩個像素點P1和P2，根據物理成像模型獲取空氣光 顏色A。
根據物理成像模型得到
l(zl) = C-Uzl)-t(zl) + A-(\-t(zl))(1)
I(Z2) = C ·Τ0(ζ2)· (ζ2) + Α\\- (ζ2))(2)
舡)=電產(3)
由公式(2)可知
權利要求
1.一種增強圖像可見性的方法，其特徵在於，包括以下步驟獲取場景的至少兩個圖像信息；將所述圖像信息與預先建立的場景三維模型進行對準以獲得所述圖像信息對應的模 板圖像和所述模板圖像的深度信息；根據所述模板圖像和所述模板圖像的深度信息，估計獲取所述場景的圖像信息時的天 氣條件參數；根據所述天氣條件參數對所述模板圖像的深度信息進行修正以獲得所述場景圖像的 深度信息；以及根據所述場景圖像的深度信息對所述場景圖像進行圖像增強。
2.根據權利要求1所述的增強圖像可見性的方法，其特徵在於，獲取所述場景的至少 兩個圖像信息進一步為獲取所述場景的兩個圖像信息。
3.根據權利要求2所述的增強圖像可見性的方法，其特徵在於，所述根據所述模板圖 像和所述深度信息，估計獲取所述場景的圖像信息時的天氣條件參數，進一步包括對所述模板圖像的每一個深度值進行歸一化，並計算所述歸一化的深度值在預先設定 的範圍內像素點的模板平均紋理色彩和所述像素點在所述場景圖像中對應的像素點的場 景平均紋理色彩；根據所述模板平均紋理色彩和所述場景平均紋理色彩計算全局色彩修正因子；在所述場景圖像中選取兩個像素點，所述兩個像素點在所述模板圖像中對應的深度值 的差值大於預先設定的深度閾值，且所述兩個像素點在所述模板圖像中對應的像素值的差 值大於預先設定的像素閾值；根據所述兩個像素點的模板平均紋理色彩、所述全局色彩修正因子和物理成像模型， 獲取空氣光的顏色；以及根據所述模板平均紋理色彩、所述場景平均紋理色彩和所述空氣光顏色，獲取光線在 空氣中受介質影響而隨深度變化衰減的情況。
4.根據權利要求3所述的增強圖像可見性的方法，其特徵在於，所述預先設定的深度 閾值為0. 3 0. 4。
5.根據權利要求3所述的增強圖像可見性的方法，其特徵在於，所述預先設定的像素 閾值為0. 2。
6.根據權利要求1所述的增強圖像可見性的方法，其特徵在於，所述根據所述天氣條 件參數對所述模板圖像的深度信息進行修正進一步包括A.根據所述天氣條件參數、所述模板圖像的深度信息和物理成像模型對所述場景圖像 進行第一次增強以獲得第一增強圖像；B.根據所述第一增強圖像與所述模板圖像獲取所述場景圖像的第二深度信息；C.根據所述天氣條件參數、所述第二深度信息和所述物理成像模型對所述場景圖像進 行第二次增強以獲得第二增強圖像；D.重複步驟A至步驟C，直至深度信息的值不再發生變化。
7.根據權利要求6所述的增強圖像可見性的方法，其特徵在於，所述根據所述第一增 強圖像與所述模板圖像獲取所述場景圖像的第二深度信息，進一步包括將所述第一增強圖像與所述模板圖像進行比較，檢測所述場景圖像的前景物體的位 置，標記所述場景圖像的前景區域；在所述前景區域內，對所述第一增強圖像進行立體匹配以獲得所述場景圖像的前景區 域的深度信息；以及用所述前景區域的深度信息替換所述前景區域內的像素點在所述模板圖像中對應的 像素點的深度信息，以獲得所述第二深度信息。
全文摘要
本發明提出一種增強圖像可見性的方法，包括以下步驟獲取場景的至少兩個圖像信息；將所述圖像信息與預先建立的場景三維模型進行對準以獲得所述圖像信息對應的模板圖像和所述模板圖像的深度信息；根據所述模板圖像和所述模板圖像的深度信息，估計獲取所述場景的圖像信息時的天氣條件參數；根據所述天氣條件參數對所述模板圖像的深度信息進行修正以獲得所述場景圖像的深度信息；以及根據所述場景圖像的深度信息對所述場景圖像進行圖像增強。本發明通過結合場景三維模型對缺乏紋理、顏色不豐富的動態採集圖像進行有效的可見性增強，從而使得採集的圖像能夠更好地服務於各種應用。
文檔編號G06T5/50GK102034230SQ20101059480
公開日2011年4月27日 申請日期2010年12月17日 優先權日2010年12月17日
發明者張軍, 戴瓊海, 李雯 申請人:北京航空航天大學, 清華大學