大雨場景視頻數據中雨滴的檢測和去除方法及系統的製作方法

2023-04-24 11:00:11 1

大雨場景視頻數據中雨滴的檢測和去除方法及系統的製作方法
【專利摘要】本發明提供了一種大雨場景視頻數據中雨滴的檢測與去除方法和系統，其方法基於所述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷所述像素在當前幀圖像中的亮度值分別與該像素對應於所述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入所述預設範圍，則將該像素納入初檢結果，並標記此次判斷中與當前幀圖像作比較的所述連續多幀圖像中的幀圖像；通過比較所述像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量對所述初檢結果進行篩選。本發明的雨滴檢測和去除方法及系統通過在大雨場景中可以利用改進兩幀間的亮度差進行雨滴初檢，再利用色彩特性進行約束排除非雨成分。
【專利說明】大雨場景視頻數據中雨滴的檢測和去除方法及系統

【技術領域】
[0001]本發明涉及圖像處理技術，特別是涉及一種大雨場景視頻數據中雨滴的檢測和去除方法及系統。

【背景技術】
[0002]由於計算機視覺技術的發展，人們對信息處理有著越來越高的要求，而且如今隨著信息高速公路的建設和網際網路的廣泛使用以及人們獲取信息的方式的智能化，圖像信息就顯得非常重要了。人類獲取信息的途徑主要是通過圖像和語音，其中視覺信息佔據了大約70%以上，所以圖像的傳遞和處理技術的發展對智能交通、科學研究、軍事國防、安全監控等領域都起著越來越重要的作用。由於計算機視覺系統在戶外的日益普及，惡劣天氣下雨場對圖像成像有很大的影響，會造成圖像成像模糊和信息覆蓋，其直接結果是視頻圖像的清晰度下降，視頻圖像的數位化處理也會受此影響而性能下降，所以，惡劣天氣下圖像處理的研究就顯得越來越重要，成功地消除雨場等惡劣天氣對捕獲的圖像的影響將會帶來更大的實用價值。
[0003]針對惡劣天氣對視頻圖像造成影響的恢復中比較常見的就是，對受雨滴汙染的視頻圖像進行修復處理的視頻圖像去雨技術，其有利於圖像的進一步處理，包括基於圖像的目標檢測、識別、追蹤、分割和監控等技術的性能提高。而且視頻圖像去雨技術在現代軍事、交通以及安全監控等領域都有廣泛的應用前景。
[0004]有關視頻圖像中雨滴特性的研究已受到國際學術界的廣泛關注，去雨算法的研究也從 2003 年 Starik 等(Starik S, fferman M.Simulat1n of rain in videos [C]//Proceeding of Texture Workshop, ICCV.Nice, France:2003, 2:406-409)提出的中值法開始得到了迅速的發展，處理的方法已經不再局限於最初簡單的中值計算，更多的方法已經應用到視頻去雨。
[0005]現有技術大部分只利用雨滴的亮度特性或者幾何特性檢測雨滴，在初檢時效果很好，但有些非雨成分去除的不夠徹底，會造成誤檢，如基於引導濾波的視頻去雨算法，就會導致圖像模糊。
[0006]基於上述現有技術中存在的問題，有必要提供一種新的視頻圖像雨滴檢測與去除方法。


【發明內容】

[0007]基於此，有必要針對現有技術中只利用雨滴的亮度特性或者幾何特性進行雨滴檢測和去除時出現誤檢等情況的問題，提供一種大雨場景視頻數據中雨滴的檢測與去除方法和系統。
[0008]本發明提供的一種大雨場景視頻數據中雨滴的檢測方法，其包括:
[0009]抽取初始彩色視頻圖像中待處理的像素；
[0010]基於所述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷所述像素在當前幀圖像中的亮度值分別與該像素對應於所述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入所述預設範圍，則將該像素納入初檢結果，並標記此次判斷中與當前幀圖像作比較的所述連續多幀圖像中的幀圖像；
[0011]通過比較所述像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對所述初檢結果進行篩選，獲得標記有雨滴像素的篩選結果。
[0012]基於上述雨滴檢測方法，本發明還提供了一種大雨場景視頻數據中雨滴的去除方法，其包括:
[0013]上述的大雨場景視頻數據中雨滴的檢測方法，獲得標記有雨滴像素的篩選結果；
[0014]對所述篩選結果中的像素進行雨滴去除處理，獲得恢復後的彩色視頻圖像。
[0015]在其中一個實施例中，所述對所述篩選結果中的像素進行雨滴去除處理的過程中，利用所述標記的幀圖像間的像素平均值對雨滴像素進行恢復。
[0016]基於上述雨滴檢測方法，本發明還提供了一種大雨場景視頻數據中雨滴的檢測系統，其包括:
[0017]像素提取模塊，用於抽取初始彩色視頻圖像中待處理的像素；
[0018]初檢模塊，用於基於所述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷所述像素在當前幀圖像中的亮度值分別與該像素對應於所述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入所述預設範圍，則將該像素納入初檢結果，並標記此次判斷中與當前幀圖像作比較的所述連續多幀圖像中的幀圖像；
[0019]篩選模塊，用於通過比較所述像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對所述初檢結果進行篩選，獲得標記有雨滴像素的篩選結果。
[0020]基於上述雨滴檢測方法與系統，本發明還提供了一種大雨場景視頻數據中雨滴的去除系統，其包括:
[0021 ] 上述的大雨場景視頻數據中雨滴的檢測系統，用以獲得標記有雨滴像素的篩選結果;及
[0022]雨滴去除模塊，用於對所述篩選結果中的像素進行雨滴去除處理，獲得恢復後的彩色視頻圖像。
[0023]在其中一個實施例中，所述雨滴去除模塊包括:
[0024]圖像像素提取單元，用於針對所述篩選結果中的像素，提取所述初檢模塊標記的兩幀圖像；及
[0025]像素恢復單元，用於將所述當前幀圖像中的雨滴像素替換為所述標記的幀圖像間的像素平均值。
[0026]與現有技術相比，本發明提供的雨滴檢測和去除方法及系統的方法簡潔、系統結構簡單，算法的時間和空間複雜度低，處理速度快，實時性好。本發明在大雨場景中利用改進的幀間亮度差算法和色彩特性能有效地檢測出雨滴，檢測的正確率高，誤檢率低，對視頻造成的二次損害小。本發明可高效地處理大雨場景，同時適用於靜態場景和動態場景，處理範圍廣，適用性高。

【專利附圖】

【附圖說明】
[0027]圖1為本發明小雨場景視頻數據中雨滴的檢測方法的流程示意圖；圖2為選擇執行步驟301的本發明雨滴檢測方法的流程示意圖；圖3為選擇執行步驟302的本發明雨滴檢測方法的流程示意圖；圖4為選擇執行步驟301和步驟302的組合的本發明雨滴檢測方法的流程示意圖；圖5至圖6分別為本發明雨滴檢測方法中細化步驟200後實施例的流程示意圖；圖7為本發明小雨場景視頻數據中雨滴的去除方法的流程示意圖；圖8為本發明小雨場景視頻數據中雨滴的檢測系統700的結構示意圖；圖9至圖10為本發明檢測系統700中細化初檢模塊702的實施例的結構示意圖；圖11為本發明小雨場景視頻數據中雨滴的去除系統800的結構示意圖；圖12為圖11中細化雨滴去除模塊801的實施例結構示意圖；圖13為視頻圖像中雨滴對像素亮度影響的變化曲線及)運動物體像素的亮度變化曲線。圖14為雨滴覆蓋對像素色彩分量的影響直方圖。

【具體實施方式】
[0028]本發明涉及圖像信息處理技術，主要是對受雨滴汙染的視頻圖像進行修復處理有利於圖像的進一步處理，提高基於圖像的目標檢測、識別、追蹤、分割和監控等技術的性能。以下將結合各個實施例詳細說明本發明方法和系統的實現方式。
[0029]如圖1所示，本實施例提供了一種大雨場景視頻數據中雨滴的檢測方法，其包括:
[0030]步驟100，抽取初始彩色視頻圖像中待處理的像素；
[0031]步驟200，基於初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷上述像素在當前幀圖像中的亮度值分別與該像素對應於上述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入上述預設範圍，則將該像素納入初檢結果，同時標記此次判斷中與當前幀圖像作比較的上述連續多幀圖像中的幀圖像，納入初檢結果的像素作為候選雨滴進行下一步步驟300的篩選，而對於不滿足判斷條件、未落入預設範圍的像素判定為背景像素，不納入初檢結果。這裡的預設範圍的上限表示雨滴給像素帶來的最大亮度變化值，下限表示雨滴給像素帶來的最小亮度變化值，具體可參見雨滴覆蓋對像素亮度變化影響的曲線圖來設定。
[0032]步驟300，通過比較上述像素分別對應在當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對上述初檢結果進行篩選，獲得標記有雨滴像素的篩選結果，用以檢測雨滴像素。這裡設定閾值表示表徵像素顏色屬性的通道值的變化量閾值，由於大氣、光等因素存在，每個像素都會隨著時間有亮度上的變化，但是被雨滴覆蓋後的像素的變化量是近似相等的，因此，通過基於雨滴色彩特性的值與設定閾值的比較，將非雨的運動物體像素從上述初見結果中排除掉。
[0033]本實施例中根據雨滴的亮度特性在大雨場景中利用當前幀圖像與相鄰的連續多幀圖像間的亮度差進行是否是雨滴像素的初檢，初檢的結果在有效檢測出雨滴的同時也會將其他非雨滴運動物體判斷為疑似雨滴，於是就需要繼續進行下一步的篩選排除非雨成分。進一步篩選時，利用雨滴變化的色彩特性進行非雨成分的篩選。由於受到了雨滴的影響，對於初檢之後，相鄰幀圖像中像素顏色分量的變化量差異不大，可以近似相等，於是本實施例通過有關設定閾值的判斷比較，將利用雨滴變化的色彩特性對初檢結果進行進一步的篩選，從初檢結果中排除非雨成分，提高本實施例計算的精確度，避免現有技術中雨滴漏檢或誤檢而導致恢復圖像模糊。
[0034]本實施例中預設範圍可參見圖13中雨滴對像素亮度影響的變化曲線及運動物體像素的亮度變化曲線來設定，基於典型的靜態場雨滴對像素亮度的影響可知，雨線的亮度高於背景亮度主要是因為雨滴在成像的時候由於鏡面反射、內反射、折射等作用匯聚了更廣視場角範圍內的光線。但是隨著時間變化，雨滴像素的亮度值在亮度平均值上下的波動範圍較小，這是受運動物體影響的像素所不具備的特徵。圖13(a)表示的是視頻圖像中雨滴像素的亮度變化曲線，而圖13(b)表示的是受運動物體像素的亮度變化曲線，能很明顯的看出兩者是有很大差別，所以基於圖13展示的內容即可確定上述預設範圍，通過預設範圍的設定在初檢中排除受運動物體的影響而造成的亮度變化。
[0035]上述實施例中，步驟300提到的單通道可以為上述初始彩色視頻圖像在RGB彩色空間中的R通道值、G通道值和B通道值；如果初始彩色視頻圖像是YIQ色彩空間中的視頻數據，則上述單通道可以是I通道值和Q通道值，當然如果是其他制式的彩色視頻數據，也可以是其他用於表徵不同顏色屬性的通道值。上述兩通道變化量之間的差值具體是指:像素分別對應在上述兩幀彩色圖像中表徵一類顏色屬性的單通道的變化量、與該像素分別對應在上述兩幀彩色圖像中表徵另一類顏色屬性的單通道的變化量之間差的絕對值。如果單通道為上述初始彩色視頻圖像在RGB彩色空間中的R通道值、G通道值和B通道值，則像素分別對應在上述兩幀彩色圖像中表徵顏色屬性的單通道的變化量可以表示為Rn_Rm、Gn-Gm、Bn_Bm，而兩通道變化量之間的差值可以表不為| (Rn-Rm) - (Gn_Gm) |、| (Gn-Gm) - (Bn-Bm) |、
(Bn-Bm) - (Rn-Rm) I，其中，Rn表示第n幀像素點的R通道值，Rm表示第m幀像素點的R通道值；Gn表示第η幀像素點的G通道值，Gm表示第m幀像素點的G通道值；Bn表示第η幀像素點的Β通道值，Bm表示第m幀像素點的B通道值。如此設定變化量的計算公式，原因是被雨滴覆蓋的像素的R、G、B變化量是近似相等的，可用以直接進行非雨像素的篩選。
[0036]上述實施例中，步驟200的判斷可以基於從初始彩色視頻圖像中提取的代表亮度信息的視頻圖像，比如RGB模式的彩色視頻數據轉換到YIQ色彩空間後獲得的Y分量，或者用灰度圖像表示代表亮度信息的視頻圖像。
[0037]上述實施例中，步驟100中抽取初始彩色視頻圖像中待處理的像素可以是:
[0038]首先，利用視頻穩定技術對上述視頻圖像進行相位對齊；
[0039]然後，提取上述視頻圖像中的前N幀圖像數據，利用幀高度和幀寬度值獲得幀的總像素，這裡的總像素為幀高度值和幀寬度值的乘積；
[0040]其次，從上述總像素中隨機抽取Μ個像素作為上述待處理像素。
[0041]提取的幀數決定了計算機處理時間的長短，為了提高本實施例方法的處理時間，這裡提取前Ν幀圖像數據，比如RGB模式下視頻圖像轉化到YIQ彩色空間上的Y分量數據的前N幀圖像作為待處理對象，從而提高了方法處理的實時性，縮短了處理周期。在讀入被雨滴汙染的初始視頻數據時可以採用matlab的mmreader函數，其中mov.numberofframes即為視頻總幀數S，在獲取幀高度和幀寬度值時通過調用size函數來獲得。
[0042]基於上述實施例，如圖2至圖4所示，本實施例的方法中步驟300通過比較像素分別對應在當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小、對上述初檢結果進行篩選獲得標記有雨滴像素的篩選結果的過程包括以下步驟:
[0043]執行以下步驟301和302兩個判斷步驟中的任意一個或者兩個的組合，對上述初檢結果進行篩選:
[0044]步驟301，判斷上述初檢結果中像素分別對應在當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量是否大於第一閾值，
[0045]步驟302，判斷上述初檢結果中像素分別對應在當前幀圖像和上述標記的幀圖像中表徵不同顏色屬性的兩通道變化量之間的差值是否小於第二閾值；
[0046]步驟303，若選擇執行上述兩個判斷步驟中的任意一個，如圖2 (其執行步驟301)或圖3 (其執行步驟302)所示，則將上述初檢結果中滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為雨滴像素，進行標記，而將不滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為非雨運動物體像素，從上述初檢結果中排除；
[0047]若選擇執行上述兩個判斷步驟的組合，如圖4所示，則將上述初檢結果中同時滿足上述涉及上述第一閾值和第二閾值判斷條件的像素列為雨滴像素，進行標記，而將不滿足上述涉及上述第一閾值和第二閾值判斷條件中任意一個判斷條件的像素列為非雨運動物體像素，從上述初檢結果中排除。
[0048]本實施例中在執行步驟301和/步驟302判斷時，是基於上述步驟200中標記的連續多幀圖像中的幀圖像，比如可以選擇通過步驟200進行標記的幀圖像中的其中一幀圖像，而這個幀圖像主要是在執行步驟200時滿足落入上述預設範圍的判斷過程中用於與當前幀圖像進行對比的幀圖像，具體實施可參見下述有關公式(1)或(2)的說明。
[0049]如果單通道為R通道值、G通道值和B通道值，則步驟301中像素分別對應在當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量的判斷條件可以表示為以下公式(1)所示。
[0050]\Gn-Gm\>C,公式⑴
[0051 ] 其中，Rn表示第η幀像素點的R通道值，Rm表示第m幀像素點的R通道值；Gn表示第η幀像素點的G通道值，Gm表示第m幀像素點的G通道值；Bn表示第η幀像素點的Β通道值，Bm表不第m巾貞像素點的B通道值；C3表不上述第一閾值，用於表徵通道變化閾值，由於大氣光等因素存在，每個像素都會隨著時間有亮度上的變化，設定閾值用於區分。上述公式
(1)中的Rm、Gm、Bm即為執行步驟200時被標記出的與當前幀圖像作比較的連續多幀圖像中的第m幀圖像的R、G、B通道值。如果採用其他彩色空間的表徵顏色屬性的單通道可以參照上述公式(1)設置單通道的變化量。上述實施例中，上述第一閾值的設定可以依據雨滴覆蓋對像素色彩分量影響的直方圖獲得，由於大氣、光等因素的存在，每個像素都會隨著時間有亮度上的變化，第一閾值的設定必須排除這類情況。
[0052]如果單通道為上述初始彩色視頻圖像在RGB彩色空間中的R通道值、G通道值和B通道值；則上述步驟302中兩通道變化量之間的差值的判斷條件可以表示為以下公式(2)所示。
[0053]|(Gn -Gm)-(Bn -Bm )| < C4 公式(2)
J(5? -Bm)-(R? -Rm)|<C4
[0054]其中，Rn表示第n幀像素點的R通道值，Rm表示第m幀像素點的R通道值；Gn表示第η幀像素點的G通道值，Gm表示第m幀像素點的G通道值；Bn表示第η幀像素點的Β通道值，Bffl表示第m幀像素點的B通道值；C4表示上述第二閾值，表徵通道值變化量的閾值，由於大氣光和像素R、G、B通道本身的特性，Λ R、A G和Λ B並不嚴格相等，所以設定閾值(；可以保證厶1?、厶6和厶8近似相等。這樣上述公式⑴和⑵疊加的約束條件可以有效的將雨滴和非雨運動物體區分開來，從而篩選掉候選雨滴中的非雨成分。上述公式(2)中的Rm、Gm、Bm即為執行步驟200時被標記出的與當前幀圖像作比較的連續多幀圖像中的第m幀圖像的R、G、B通道值。如果採用其他彩色空間的表徵顏色屬性的單通道可以參照上述公式(2)設置上述兩通道變化量之間的差值。
[0055]由於受雨滴影響的像素在RGB三個顏色通道上的變化量取決於它的背景顏色。因為RGB三原色光的波長並不相同，所以相應的折射角有細微差別，但是三原色的雨滴可視角都在165度附近。當背景的顏色，即RGB分量的大小和比例不相同時，三個顏色分量的變化量Λ R、AG和ΛΒ也有相應的微小差別，如圖14所示，圖14(a)列中被白色邊界圍出的區域為進行顏色分析的區域，(b)列是被分析區域像素的平均RGB值，(c)列代表像素受雨滴影響時的RGB顏色分量的平均變化量Λ R、A G和Λ Β，三者的大小與圖12(b)列展示的平均RGB值相關。從上圖14可以發現像素受雨滴影響時各個顏色分量的變化量差異不大，可以近似為相等。於是基於圖14的直方圖可以設定上述第一閾值和第二閾值，檢測雨滴像素，用於排除初檢結果中非雨成分。
[0056]基於上述各個實施例，如圖5所示，本實施例中的步驟200基於初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像、判斷上述像素在當前幀圖像中的亮度值分別與該像素對應於連續多幀圖像中的亮度值之間的差值是否落入預設範圍的過程，具體可以包括以下幾個步驟:
[0057]步驟201，基於從上述初始彩色視頻圖像中提取的相鄰於當前幀圖像的連續多幀圖像，將m = η-l和ο = n+1定為迭代的初始值，第η巾貞圖像表示當前巾貞圖像,η = (1，…，N),N表示從初始彩色視頻圖像中提取的相鄰於當前幀圖像的連續多幀圖像的幀數，執行以下兩個判斷步驟；
[0058]步驟202，判斷上述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值之間的差值是否落入預設範圍；
[0059]步驟203，判斷上述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值之間的差值是否落入預設範圍；
[0060]在執行上述步驟202和步驟203的判斷時，若有一次判斷過程均滿足兩個判斷條件，則執行步驟204，將同時滿足上述兩個判斷條件的像素納入上述初檢結果，並標記與當前幀圖像作比較的第m幀和/或第ο幀圖像。
[0061]在不滿足上述步驟202的判斷條件時，則執行步驟205:判斷當前m值是否達到預設的迭代約束條件，噹噹前m值未達到迭代約束條件時，令當前m = m-1 (即當前m值減1)，返回迭代的初始步驟201，噹噹前m值達到迭代約束條件時，將該像素列為背景像素，不納入初檢結果；
[0062]在不滿足上述步驟203的判斷條件時，則執行步驟206:判斷當前ο值是否達到預設的迭代約束條件，噹噹前ο值未達到所述迭代約束條件時，令ο = o+l (即當前ο值加1),返回迭代的初始步驟201，當達到迭代約束條件時，將該像素列為背景像素，不納入初檢結果。
[0063]上述過程中，步驟201中從上述初始彩色視頻圖像中提取的相鄰於當前幀圖像的連續多幀圖像為相鄰於當前幀圖像的前後2至6幀圖像，優選前後相鄰於當前幀圖像的5幀圖像，也就是，與當前幀圖像前後相鄰的5幀圖像，即[η-5，…，η，…，η+5]範圍內的連續多幀圖像，η表示當前幀圖像。那麼步驟205和步驟206的預設迭代約束條件為當前m值是否大於n+k或當前ο值是否大於n-k，這裡的k即表示步驟201中從上述初始彩色視頻圖像中提取的前後相鄰於當前幀圖像的幀數，若步驟201中從上述初始彩色視頻圖像中提取[η-5,...，!!，…，η+5]範圍內的連續多幀圖像，則該k值優選為5，那麼步驟205的迭代約束條件為當前m值是否大於n+5，步驟206的迭代約束條件為當前ο值是否大於η_5。
[0064]經過上述過程的判斷後可能會被標記有兩幀圖像，即第m幀和第ο幀圖像，那麼在執行上述步驟300的比較過程時，可選擇標記圖像的其中一幀圖像，優選被標記的第m幀圖像。
[0065]本實施例中基於以下原理實現。由於有雨滴的覆蓋，像素點的亮度會有變化，根據這一特性可對雨滴進行初檢，而且是在大雨場景中，所以基本不會出現連續兩幀被雨滴覆蓋的情況。所以獲得初檢結果的原理表現為以下公式(3):
[0066]公式(3)
[0067]其中1?代表該像素在第η幀的亮度；Im代表該像素在第m幀的亮度；1。代表該像素在第ο幀的亮度；m和ο的迭代的初始值為m = η-l和ο = n+1 表示為雨滴給像素帶來的最小亮度變化值，即上述預設範圍的下限值；C2表示為雨滴給像素帶來的最大亮度變化值，即上述預設範圍的上限值。由於在不同的時間，大氣光或者其它反射光線會造成像素細微的變化，所以In_Im不一定等於In_I。。利用公式(3)式進行多次迭代計算，如果在多次迭代的過程中只要有一次滿足上述公式(3)的條件，即可認為該像素為有效檢測出的雨滴，當時同時也會將其它非雨滴運動物體判斷為疑是雨滴，故將其總稱為候選雨滴，納入上述初檢結果，用以執行上述步驟300的篩選，這是一種改進的利用幀間亮度差進行雨滴檢測的方法，相比現有的方法更加可以避免漏檢。
[0068]基於圖5所示的雨滴檢測方法，如圖6所示，本實施例在執行上述步驟200的過程中還增加以下兩個步驟:
[0069]在判斷當前m值是否達到預設的迭代約束條件之前，增加判斷上述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值是否近似相等的判斷步驟215，當上述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值近似相等時執行判斷當前m值是否達到預設的迭代約束條件的步驟，則如果該像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值近似相等，且未達到上述迭代約束條件時，令當前m = m-Ι (即當前m值減1)，返回迭代的初始步驟201 ;反之，初檢結束，將該像素列為背景像素；當上述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值不近似相等時，直接將該像素列為背景像素；
[0070]在判斷當前ο值是否達到預設的迭代約束條件之前，增加判斷上述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值是否近似相等的判斷步驟216，當上述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值近似相等時執行判斷當前ο值是否達到預設的迭代約束條件的步驟，則如果該像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值近似相等，且未達到上述迭代約束條件時，令當前ο = ο+1(即當前ο值加1)，返回迭代的初始步驟201，反之，初檢結束，將該像素列為背景像素。當上述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值不近似相等時，直接將該像素列為背景像素。
[0071]本實施例中通過增加步驟215和216的近似相等的判斷，可以更加精確的篩選出候選雨滴，提高計算處理的精度。這裡的近似相等，即可以通過判斷兩者的差是否在預設範圍內，或者兩者的相似度估計是否在允許範圍內來確定兩者是否近似相等。
[0072]圖6給出了本發明的最優實施例，其包括從上述步驟100、步驟201至206以及步驟300中選擇執行步驟301和步驟302組合的方法過程，其完整的最優化的呈現了本發明大雨場景視頻數據中雨滴的檢測方法，提供了相比現有技術，雨滴檢測精度更高、誤檢率低的檢測方法。
[0073]基於上述各個實施提供的大雨場景視頻數據中雨滴的檢測方法，如圖7所示，本實施例還提供一種大雨場景視頻數據中雨滴的去除方法，具體包括:
[0074]上述大雨場景視頻數據中雨滴檢測方法的步驟，用以形成包含雨滴像素的篩選結果，雨滴檢測方法的步驟包括以下步驟100至步驟300:
[0075]步驟100，抽取初始彩色視頻圖像中待處理的像素；
[0076]步驟200，基於初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷上述像素在當前幀圖像中的亮度值分別與該像素對應於上述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入上述預設範圍，則將該像素納入初檢結果，同時標記此次判斷中與當前幀圖像作比較的上述連續多幀圖像中的幀圖像，作為候選雨滴進行下一步步驟300的篩選，而對於不滿足判斷條件、未落入預設範圍的像素判定為背景像素，不納入初檢結果。這裡的預設範圍的上限表示雨滴給像素帶來的最大亮度變化值，下限表示雨滴給像素帶來的最小亮度變化值，具體可參見雨滴覆蓋對像素亮度變化影響的曲線圖來設定。
[0077]步驟300，通過比較上述像素分別對應在當前幀圖像和上述標記的幀圖像中中的表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對上述初檢結果進行篩選，檢測雨滴像素，獲得標記有雨滴像素的篩選結果。這裡設定閾值表示表徵像素顏色屬性的通道值的變化量閾值，由於大氣、光等因素存在，每個像素都會隨著時間有亮度上的變化，因此，通過基於雨滴色彩特性的值與設定閾值的比較，將非雨的運動物體像素從上述初見結果中排除掉。
[0078]步驟400，對上述篩選結果中的像素進行雨滴去除處理，獲得恢復後的彩色視頻圖像。
[0079]上述步驟400中的雨滴去除處理採用改進的中值法對上述雨滴檢測結果中的像素進行處理，即利用所述標記的幀圖像間的像素平均值對雨滴像素進行恢復。具體原理參見以下述公式(4)的相關說明。
[0080]由於是在大雨場景的情況下，所以雨滴很有可能會在連續兩幀上出現，所以不能僅用前後兩幀平均來恢復，需要利用經過上述步驟200篩選得到的m幀和ο幀的平均進行雨滴像素恢復。利用改進的中值法對被雨滴影響的像素進行恢復，雨滴的恢復公式為:
[0081]\Gn=(Gm+G0)/2 公式(4)
Bn:{Bm+Bo、n
[0082]其中,Rn為檢測出來的雨滴像素的R通道值，恢復的時候用前後巾貞未被雨滴覆蓋像素的R通道的平均值進行恢復；Rm為該像素對應於第m幀圖像中未被雨滴覆蓋像素的R通道值；R。為該像素對應於第ο幀圖像中未被雨滴覆蓋像素的R通道值。Gn為檢測出來的雨滴像素的G通道值，恢復的時候用前後幀未被雨滴覆蓋像素的G通道的平均值進行恢復；Gm為該像素對應於第m幀圖像中未被雨滴覆蓋像素的R通道值；G。為該像素對應於第ο幀圖像中未被雨滴覆蓋像素的R通道值。Βη為檢測出來的雨滴像素的Β通道值，恢復的時候用前後幀未被雨滴覆蓋像素的Β通道的平均值進行恢復；Bm為該像素對應於第m幀圖像中未被雨滴覆蓋像素的R通道值；B。為該像素對應於第ο幀圖像中未被雨滴覆蓋像素的R通道值。這裡的第m幀圖像和第ο幀圖像均為通過上述步驟200判斷後從上述連續的多幀圖像中選中並被標記的幀圖像。而改進的中值法的即是利用上述步驟200的判斷過程獲得的標記幀圖像間的像素平均值對雨滴像素進行恢復，而這裡優選，將當前第η幀圖像中的雨滴像素的單通道(即RGB通道值)替換為步驟200過程中標記的第m幀和第ο幀圖像間對應的像素平均值。這樣做可以使的雨滴去除時更加貼近實際情況，更加精確的消除圖像中的雨滴因素，相比傳統的中值法更加精確、計算更加簡單，直接利用上一步的計算結果就可以進行雨滴去除處理，將雨滴檢測過程與去除過程的重要因素結合在一起，便於簡化計算過程、提升計算速度。
[0083]基於圖5和圖6給出的雨滴檢測方法中有關上述步驟200的細化，本實施例中雨滴去除方法中上述步驟200同樣可以包括圖5中步驟201至206 ;或者圖6中的步驟201至206和步驟215和步驟216，其中各個步驟的詳細說明參見上述針對圖5和圖6中有關雨滴檢測方法的相關說明，在此不作累述。
[0084]本實施例基於圖7所提供的大雨場景視頻數據中雨滴的去除方法中，步驟300通過比較像素分別對應在當前幀圖像和步驟200標記的幀圖像中中的表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小、對上述初檢結果進行篩選獲得標記有雨滴像素的篩選結果的過程包括上述有關圖2至圖4的步驟301、302、303的執行方式，具體解釋為步驟300包括:
[0085]執行以下步驟301和302兩個判斷步驟中的任意一個或者兩個的組合，對上述初檢結果進行篩選:
[0086]步驟301，判斷上述初檢結果中像素分別對應在當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量是否大於第一閾值，
[0087]步驟302，判斷上述初檢結果中像素分別對應在當前幀圖像和上述標記的幀圖像中表徵不同顏色屬性的兩通道變化量之間的差值是否小於第二閾值；
[0088]步驟303，若選擇執行上述兩個判斷步驟中的任意一個，如圖2 (其執行步驟301)或圖3 (其執行步驟302)所示，則將上述初檢結果中滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為雨滴像素，進行標記，而將不滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為非雨運動物體像素，從上述初檢結果中排除；若選擇執行上述兩個判斷步驟的組合，如圖4所示，則將上述初檢結果中同時滿足上述涉及上述第一閾值和第二閾值判斷條件的像素列為雨滴像素，進行標記，而將不滿足上述涉及上述第一閾值和第二閾值判斷條件中任意一個判斷條件的像素列為非雨運動物體像素，從上述初檢結果中排除。本實施例中的相鄰兩幀圖像優選當前幀圖像與前一幀圖像，具體實施可參見上述有關公式⑴或(2)的說明。
[0089]上述各個實施例中有關步驟200的實現的最優實施例(參照上述有關圖5和圖6的解釋說明)以及上述各個步驟中具體細節的解釋說明請參照上述有關大雨場景視頻數據中雨滴的檢測方法中的相關說明，在此不作累述。
[0090]基於上述有關大雨場景視頻數據中雨滴的檢測方法，如圖8所示，本實施例提供了一種大雨場景視頻數據中雨滴的檢測系統700，其包括:
[0091]像素提取模塊701，用於抽取初始彩色視頻圖像中待處理的像素；
[0092]初檢模塊702，用於基於上述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷上述像素在當前幀圖像中的亮度值分別與該像素對應於上述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入上述預設範圍，則將該像素納入初檢結果，並標記此次判斷中與當前幀圖像作比較的上述連續多幀圖像中的幀圖像；及
[0093]篩選模塊703，用於通過比較上述像素分別對應在上述當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對上述初檢結果進行篩選，獲得標記有雨滴像素的篩選結果。
[0094]基於圖8所示的系統結構和上述圖2至圖4的雨滴檢測方法，上述篩選模塊703包括以下兩個單元中的任意一個或者兩個的組合:
[0095]用於執行判斷上述初檢結果中像素分別對應在上述當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量是否大於第一閾值的單元、
[0096]用於判斷上述初檢結果中像素分別對應在上述當前幀圖像和上述標記的幀圖像中表徵不同顏色屬性的兩通道變化量之間的差值是否小於第二閾值的單元；以及
[0097]用於在選擇執行上述兩個單元中的任意一個時，執行將上述初檢結果中滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為雨滴像素的單元；
[0098]用於在選擇執行上述兩個單元的組合時，執行將上述初檢結果中同時滿足上述涉及上述第一閾值和第二閾值判斷條件的像素列為雨滴像素的單元。本實施例中有關篩選模塊703內部功能單元的具體實現方式參見上述有關圖2至圖4的詳細說明，在此不作累述。
[0099]基於圖8所示的系統結構，如圖9所示,上述初檢模塊702包括:
[0100]圖像提取單元712，用於從上述初始彩色視頻圖像中提取相鄰於當前幀圖像的連續多幀圖像；
[0101]第一判斷單元722，用於判斷上述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值之間的差值是否落入預設範圍；
[0102]第二判斷單元732，用於執行判斷上述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值之間的差值是否落入預設範圍；
[0103]迭代單元742,用於將m = n_l和o = n+1定為迭代的初始值,第η巾貞圖像表示當前中貞圖像，η = (1，…，Ν) ,Ν表示從上述初始彩色視頻圖像中提取的相鄰於當前巾貞圖像的連續多幀圖像的幀數，調用執行上述第一判斷單元和第二判斷單元，在不滿足上述前一個判斷條件時，判斷當前m值是否達到預設的迭代約束條件，當未達到上述迭代約束條件時，令當前m = m-Ι (即當前m值減1),返回迭代的初始步驟,在不滿足上述第二判斷單元時，判斷當前ο值是否達到預設的迭代約束條件，當未達到上述迭代約束條件時，令當前ο = o+l (即當前ο值加1)，返回迭代的初始步驟 '及
[0104]輸出單元752，用於將同時滿足上述第一判斷單元和第二判斷單元的像素納入上述初檢結果，並標記與當前幀圖像作比較的第m幀和/或第幀ο圖像。
[0105]基於圖9所示的初檢模塊702,如圖10所示，本實施例中的初檢模塊702還包括:
[0106]第一近似相等判斷單元762，用於在判斷當前m值是否達到預設的迭代約束條件之前，執行判斷上述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值是否近似相等的判斷步驟；及
[0107]第二近似相等判斷單元772，用於在判斷當前ο值是否達到預設的迭代約束條件之前，執行判斷上述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值是否近似相等的判斷步驟；
[0108]則上述迭代單元742中當上述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值近似相等或當上述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值近似相等，執行判斷當前m值或當前ο值是否達到預設的迭代約束條件的步驟。
[0109]上述各個實施例中有關系統中各個功能模塊或單元中的具體細節的解釋說明請參照上述有關大雨場景視頻數據中雨滴的檢測方法中的說明，在此不作累述。
[0110]基於上述圖8至圖10的大雨場景視頻數據中雨滴的檢測系統，如圖11所示，本實施例還提供了一種大雨場景視頻數據中雨滴的去除系統800，其包括:
[0111]上述有關大雨場景視頻數據中雨滴的檢測系統700的功能模塊，獲得標記有雨滴像素的篩選結果，雨滴檢測系統700的功能模塊包括以下模塊701至模塊703 ；
[0112]像素提取模塊701，用於抽取初始彩色視頻圖像中待處理的像素；
[0113]初檢模塊702，用於基於上述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷上述像素在當前幀圖像中的亮度值分別與該像素對應於上述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入上述預設範圍，則將該像素納入初檢結果，並標記此次判斷中與當前幀圖像作比較的上述連續多幀圖像中的幀圖像；
[0114]篩選模塊703，用於通過比較上述像素分別對應在上述當前幀圖像和上述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對上述初檢結果進行篩選，獲得標記有雨滴像素的篩選結果；和
[0115]雨滴去除模塊801，用於對上述篩選結果中的雨滴像素進行雨滴去除處理，獲得恢復後的彩色視頻圖像。
[0116]基於上述實施例，如圖12所示，上述雨滴去除模塊801包括:
[0117]圖像像素提取單元811，用於針對上述篩選結果中的像素，提取所述初檢模塊標記的兩幀圖像；及
[0118]像素恢復單元821，用於將所述當前幀圖像中的雨滴像素替換為所述標記的兩幀圖像間的像素平均值。這裡的雨滴去除方法採用的是改進的中值法，即上述公式(4)所提供的恢復公式。
[0119]基於圖11所示的系統結構，其中有關大雨場景視頻數據中雨滴的檢測系統700的結構及內部功能模塊的細化，比如初檢模塊702和篩選模塊703，均可以參見上述關於圖8至圖10和結合圖2至圖4的相關說明，在此不作累述。
[0120]上述各個實施例中有關各個步驟或者系統中各個功能模塊或單元中的具體細節的解釋說明請參照上述有關大雨場景視頻數據中雨滴的檢測方法中的說明，在此不作累述。
[0121]圖6給出了本發明的最優實施例，其包括從上述步驟100、步驟201至204以及步驟300中選擇執行步驟301和步驟302組合的方法過程，其完整的最優化的呈現了本發明大雨場景視頻數據中雨滴的檢測方法，根據圖6獲得的包含雨滴像素的篩選結果，在利用改進的中值法對檢測出的雨滴像素進行處理，即針對上述篩選結果中的像素，提取多幀圖像中對應像素未被標記為雨滴的任意連續的兩幀圖像，將上述篩選結果中的像素替換為上述兩幀圖像中對應像素的均值。在Matlab中編程可以實現利用圖6流程和中值法去除雨滴的大雨場景視頻數據中雨滴的去除方法，證明可行。
[0122]與現有技術相比，本發明提供的雨滴檢測和去除方法及系統的方法簡潔、系統結構簡單，算法的時間和空間複雜度低，處理速度快，實時性好。本發明在大雨場景中利用改進的幀間亮度差算法和色彩特性能有效地檢測出雨滴，檢測的正確率高，誤檢率低，對視頻造成的二次損害小。本發明可高效地處理大雨場景，同時適用於靜態場景和動態場景，處理範圍廣，適用性高。
[0123]通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個非易失性計算機可讀存儲介質(如ROM、磁碟、光碟)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述的方法。
[0124]以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。
【權利要求】
1.一種大雨場景視頻數據中雨滴的檢測方法，其特徵在於，所述方法包括: 抽取初始彩色視頻圖像中待處理的像素； 基於所述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷所述像素在當前幀圖像中的亮度值分別與該像素對應於所述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入所述預設範圍，則將該像素納入初檢結果，並標記此次判斷中與當前幀圖像作比較的所述連續多幀圖像中的幀圖像； 通過比較所述像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對所述初檢結果進行篩選，獲得標記有雨滴像素的篩選結果。
2.根據權利要求1所述的大雨場景視頻數據中雨滴的檢測方法，其特徵在於，所述基於所述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像、判斷所述像素在當前幀圖像中的亮度值分別與該像素對應於所述連續多幀圖像中的亮度值之間的差值是否落入預設範圍的過程包括: 基於從所述初始彩色視頻圖像中提取的相鄰於當前幀圖像的連續多幀圖像，將m =η-1和ο = n+1定為迭代的初始值,第η巾貞圖像表示當前巾貞圖像，η = (I,…，N), N表示從所述初始彩色視頻圖像中提取的相鄰於當前幀圖像的連續多幀圖像的幀數，執行以下兩個判斷步驟: 判斷所述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值之間的差值是否落入預設範圍；及 判斷所述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值之間的差值是否落入預設範圍； 將同時滿足上述兩個判斷條件的像素納入所述初檢結果，並標記與當前幀圖像作比較的第m幀和/或第ο幀圖像； 在不滿足上述前一個判斷條件時，判斷當前m值是否達到預設的迭代約束條件，當未達到所述迭代約束條件時，令當前m值減1，返回迭代的初始步驟； 在不滿足上述後一個判斷條件時，判斷當前ο值是否達到預設的迭代約束條件，當未達到所述迭代約束條件時，令當前ο值加I，返回迭代的初始步驟。
3.根據權利要求1所述的大雨場景視頻數據中雨滴的檢測方法，其特徵在於，所述通過比較所述像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小、對所述初檢結果進行篩選獲得標記有雨滴像素的篩選結果的過程包括: 執行以下兩個判斷步驟中的任意一個或者兩個的組合，對所述初檢結果進行篩選:判斷所述初檢結果中像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量是否大於第一閾值， 判斷所述初檢結果中像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵不同顏色屬性的兩通道變化量之間的差值是否小於第二閾值； 若選擇執行上述兩個判斷步驟中的任意一個，則將所述初檢結果中滿足上述涉及所述第一閾值或第二閾值判斷條件的像素列為雨滴像素； 若選擇執行上述兩個判斷步驟的組合，則將所述初檢結果中同時滿足上述涉及所述第一閾值和第二閾值判斷條件的像素列為雨滴像素。
4.根據根據權利要求2所述的大雨場景視頻數據中雨滴的檢測方法，其特徵在於，所述基於所述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像、判斷所述像素在當前幀圖像中的亮度值分別與該像素對應於所述連續多幀圖像中的亮度值之間的差值是否落入預設範圍的過程還包括: 在判斷當前m值是否達到預設的迭代約束條件之前，增加判斷所述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值是否近似相等的判斷步驟，當所述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值近似相等時執行判斷當前m值是否達到預設的迭代約束條件的步驟； 在判斷當前ο值是否達到預設的迭代約束條件之前增加判斷所述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值是否近似相等的判斷步驟，當所述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值近似相等時執行判斷當前0值是否達到預設的迭代約束條件的步驟。
5.一種大雨場景視頻數據中雨滴的去除方法，其特徵在於，所述方法包括: 權利要求1至4中任意一權利要求所述的大雨場景視頻數據中雨滴的檢測方法，獲得標記有雨滴像素的篩選結果； 對所述篩選結果中的像素進行雨滴去除處理，獲得恢復後的彩色視頻圖像。
6.根據權利要求5所述的大雨場景視頻數據中雨滴的去除方法，其特徵在於，所述對所述篩選結果中的像素進行雨滴去除處理的過程中，利用所述標記的幀圖像間的像素平均值對雨滴像素進行恢復。
7.一種大雨場景視頻數據中雨滴的檢測系統，其特徵在於，所述系統包括: 像素提取模塊，用於抽取初始彩色視頻圖像中待處理的像素； 初檢模塊，用於基於所述初始彩色視頻圖像中相鄰於當前幀圖像的連續多幀圖像，判斷所述像素在當前幀圖像中的亮度值分別與該像素對應於所述連續多幀圖像中的亮度值之間的差值是否落入預設範圍，若有一次判斷結果是落入所述預設範圍，則將該像素納入初檢結果，並標記此次判斷中與當前幀圖像作比較的所述連續多幀圖像中的幀圖像；及 篩選模塊，用於通過比較所述像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設定閾值的大小，對所述初檢結果進行篩選，獲得標記有雨滴像素的篩選結果。
8.根據權利要求7所述的大雨場景視頻數據中雨滴的檢測系統，其特徵在於，所述初檢模塊包括: 圖像提取單元，用於從所述初始彩色視頻圖像中提取相鄰於當前幀圖像的連續多幀圖像； 第一判斷單元，用於判斷所述像素在第η幀圖像中的亮度值與該像素在第m幀圖像中的亮度值之間的差值是否落入預設範圍； 第二判斷單元，用於執行判斷所述像素在第η幀圖像中的亮度值與該像素在第ο幀圖像中的亮度值之間的差值是否落入預設範圍； 迭代單元，用於將m = η-1和ο = n+1定為迭代的初始值，第η幀圖像表示當前幀圖像，η = (I, *.., N), N表示從所述初始彩色視頻圖像中提取的相鄰於當前巾貞圖像的連續多巾貞圖像的幀數，調用執行所述第一判斷單元和第二判斷單元，在不滿足上述前一個判斷條件時，判斷當前m值是否達到預設的迭代約束條件，當未達到所述迭代約束條件時，令當前m值減一，返回迭代的初始步驟，在不滿足所述第二判斷單元時，判斷當前ο值是否達到預設的迭代約束條件，當未達到所述迭代約束條件時，令當前ο值加1，返回迭代的初始步驟 '及輸出單元，用於將同時滿足所述第一判斷單元和第二判斷單元的像素納入所述初檢結果，並標記與當前幀圖像作比較的第m幀和/或第ο幀圖像。
9.根據權利要求7所述的大雨場景視頻數據中雨滴的檢測系統，其特徵在於，所述篩選模塊包括以下兩個單元中的任意一個或者兩個的組合: 用於執行判斷所述初檢結果中像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵顏色屬性的單通道的變化量是否大於第一閾值的單元； 用於判斷所述初檢結果中像素分別對應在所述當前幀圖像和所述標記的幀圖像中表徵不同顏色屬性的兩通道變化量之間的差值是否小於第二閾值的單元；以及 用於在選擇執行上述兩個單元中的任意一個時，執行將所述初檢結果中滿足上述涉及所述第一閾值或第二閾值判斷條件的像素列為雨滴像素的單元； 用於在選擇執行上述兩個單元的組合時，執行將所述初檢結果中同時滿足上述涉及所述第一閾值和第二閾值判斷條件的像素列為雨滴像素的單元。
10.一種大雨場景視頻數據中雨滴的去除系統，其特徵在於，所述系統包括: 權利要求7至9中任意一權利要求所述的大雨場景視頻數據中雨滴的檢測系統，用以獲得標記有雨滴像素的篩選結果；及 雨滴去除模塊，用於對所述篩選結果中的像素進行雨滴去除處理，獲得恢復後的彩色視頻圖像。
【文檔編號】G06T5/50GK104318537SQ201410526249
【公開日】2015年1月28日 申請日期:2014年9月30日 優先權日:2014年9月30日
【發明者】朱青松, 徐波, 王磊 申請人:中國科學院深圳先進技術研究院