一種遺留物檢測方法與流程
2023-09-23 00:17:05 1
本發明涉及一種圖像處理技術，具體涉及一種遺留物檢測方法。
背景技術：
智能視頻監控技術在安全防範預警中發揮的作用及優勢愈發明顯，可以代替人力安全監控導致的誤差以及資源浪費。而目前，出現恐怖分子通過遺留危險物品進行恐怖活動，導致爆炸或釋放有毒物質，威脅社會安全。遺留物通常是指被運動主體攜帶從運動到靜止，再與運動主體分離，靜止超過了一定時間並且沒有所屬主體的物體。保證社會安全，對可疑遺留物件的檢測已成為機場、體育館、候車廳和展覽館等公眾場合安防系統不可缺少的內容。
而目前遺留物檢測算法，一來環境適應性較差，需要根據不同的設置不同的參數，而且根據時間的推移，遺留物體往往會融入背景圖像中，造成辨識困難。
技術實現要素：
本發明的目的在於，提供一種遺留物檢測方法，解決以上技術問題；
本發明所解決的技術問題可以採用以下技術方案來實現：
一種遺留物檢測方法，提供一攝像機用於實時採集場景圖像，
初始化步驟，建立第一背景圖像以及第二背景圖像，第一背景圖像由若干第一像點組成，第二背景圖像由若干第二像點組成，每一所述第一像點的位置均與所述場景圖像中的每一像點的位置一一對應，每一所述第二像點的位置點均與所述場景圖像中的每一像點的位置一一對應；
實時更新步驟，每隔第一幀數以第一策略更新第一背景圖像中像點的像素值，每隔第二幀數以第二策略更新第二背景圖像中像點的像素值，所述第二幀數大於第一幀數；
所述第一策略包括將每一第一像點的像素值與該幀的場景圖像中對應位置的像點的像素值比較，根據比較結果使每一所述第一像點的像素值趨近所述場景圖像中對應位置的像點的像素值變化；
所述第二策略包括將不處於靜態目標位置的每一所述第二像點的像素值與該時刻第一背景圖像中對應位置的第一像點的像素值比較，根據比較結果使每一所述第二像點的像素值趨近對應位置的所述第一像點的像素值變化；
靜態目標位置判斷步驟，求每一位置的所述第一像點和所述第二像點的像素值差值，當任一位置的所述像素值差值大於第一預設閾值的持續時間超過第一預設遺留時間時，則判斷該位置為所述靜態目標位置；
二值化圖像生成步驟，根據第一預設閾值對所述靜態目標位置判斷步驟中每一位置二值化以生成二值化圖像；
遺留物檢測步驟，對所述二值化圖像生成步驟中生成的二值化圖像進行輪廓提取以確定遺留物於所述場景圖像中的遺留物區域。
這樣設置，本發明構建了全新的環境自適應的雙背景模型，該雙背景模型不使用複雜的數學概率模型，大大降低了背景更新的計算複雜度，使算法能滿足視頻監控系統實時處理的要求；
進一步的，所述初始化步驟中還包括
以第三策略提取若干數量的所述場景圖像進入第一隊列，計算所述第一隊列中所述場景圖像的每一像點的亮度值，在第一隊列中，分別將每一像點位置的出現次數最多的亮度值，將該亮度值作為第一背景圖像上該像點位置的亮度值、和/或將該亮度值作為第二背景圖像上該像點位置的亮度值。
進一步的，所述第二幀數設置為第一幀數的10-30倍。
進一步的，所述二值化圖像生成步驟中，所述二值化圖像中的像素值包括第一極值和第二極值，任一位置的所述像素值差值大於第一預設閾值時，則該位置於二值化圖像中的像素值為第一極值；任一位置的所述像素值差值小於第一預設閾值時，則該位置的二值化圖像的像素值為第二極值。
進一步的，所述第一策略中，每次比較結果產生時，對應像點位置的所述第一像點的像素值變化為1。
進一步的，所述第二策略中，每次比較結果產生時，對應像點位置的所述第二像點的像素值變化為1。
進一步的，還包括陰影抑制步驟，通過建立陰影模板判斷陰影區域並陰影區域從所述二值化圖像生成步驟中生成的所述二值化圖像中去除。
進一步的，還包括形態學處理步驟，依次對所述二值化圖像進行膨脹算法和腐蝕算法。
進一步的，還包括形態學處理步驟，依次對所述二值化圖像進行腐蝕算法和膨脹算法。
進一步的，所述遺留物檢測步驟中，對所述二值化圖像進行輪廓提取後得到輪廓形狀，所述輪廓形狀的最小外接矩形為確定的所述遺留物區域。
有益效果：由於採用以上技術方案，本發明構建了全新的環境自適應的雙背景模型，分別為前背景模型的第一背景圖像與後背景模型的第二背景圖像，對第一背景圖像和第二背景圖像設立了獨立的更新機制，第一背景圖像根據場景圖像更新，第二背景圖像根據更新後的第一背景圖像更新，並針對檢測到的靜態目標位置，進行選擇性的局部更新。然後對第一、第二背景圖像做差值運算，同時使用陰影抑制技術來去除靜態目標位置在自然光下的陰影對檢測到的靜態目標位置的影響，形態學處理算法以及輪廓提取算法等處理圖像形成遺留物區域，對環境的適應性、實時性、以及魯棒性較高。
附圖說明
圖1為本發明遺留物檢測方法的流程圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
需要說明的是，在不衝突的情況下，本發明中的實施例及實施例中的特徵可以相互組合。
下面結合附圖和具體實施例對本發明作進一步說明，但不作為本發明的限定。
參照圖1所示，一種遺留物檢測方法，提供一攝像機用於實時採集場景圖像，
初始化步驟，建立第一背景圖像以及第二背景圖像，第一背景圖像由若干第一像點組成，第二背景圖像由若干第二像點組成，每一所述第一像點的位置均與所述場景圖像中的每一像點的位置一一對應，每一所述第二像點的位置點均與所述場景圖像中的每一像點的位置一一對應；所述初始化步驟中還包括以第三策略提取若干數量的所述場景圖像進入第一隊列，計算所述第一隊列中所述場景圖像的每一像點的亮度值，在第一隊列中，分別將每一像點位置的出現次數最多的亮度值，將該亮度值作為第一背景圖像上該像點位置的亮度值、和/或將該亮度值作為第二背景圖像上該像點位置的亮度值。第三策略可以是每隔若干幀數提取一幀場景圖像，以以下內容為例，對初始化步驟進行說明，
a)每隔一定幀數(比如20幀)採樣一幀場景圖像；
b)採樣多次得到的若干幀場景圖像(比如30幅)保存在一個隊列中；
c)對場景圖像中的每個像點，統計在這30幅圖像中出現次數最多的亮度，並把這個亮度值作為第一背景圖像或第二背景圖像在該像點處的亮度值。
通過該背景初始化方法得到的背景圖像來同時對前背景與後背景進行初始化。
實時更新步驟，每隔第一幀數以第一策略更新第一背景圖像中像點的像素值，每隔第二幀數以第二策略更新第二背景圖像中像點的像素值，所述第二幀數大於第一幀數；所述第一策略包括將每一第一像點的像素值與該幀的場景圖像中對應位置的像點的像素值比較，根據比較結果使每一所述第一像點的像素值趨近所述場景圖像中對應位置的像點的像素值變化；所述第二策略包括將不處於靜態目標位置的每一所述第二像點的像素值與該時刻第一背景圖像中對應位置的第一像點的像素值比較，根據比較結果使每一所述第二像點的像素值趨近對應位置的所述第一像點的像素值變化；所述第一策略中，每次比較結果產生時，對應像點位置的所述第一像點的像素值變化為1。所述第二策略中，每次比較結果產生時，對應像點位置的所述第二像點的像素值變化為1。以下例對實時更新步驟進行說明，
第一背景圖像初始化後，隨著視頻的讀入，需要對第一背景圖像進行實時更新。每讀入第3幀視頻場景圖像，將該幀場景圖像與第一背景圖像作對比，對每個像素點，如果該幀場景圖像的像素值大於第一背景圖像的像素值，則第一背景圖像在該點的像素值加1；反之，對每個像素點，若該幀場景圖像的像素值小於第一背景圖像的像素值，則第一背景圖像在該點的像素值減1。因此當一個靜態目標進入到視頻中，隨著前背景的更新，該靜態目標就會逐漸融入到前背景中。
第二背景圖像初始化後，隨著視頻的讀入，同樣需要對第二背景圖像進行實時更新。例如每讀入第60幀圖像，將第二背景圖像與第一背景圖像作對比，對每個像素點，若該第二像點所在位置已被檢測為靜態目標像素點所在位置，則該第二像點的像素值不更新，直到該第二像點所在位置不是靜態目標位置為止；若第二像點所在位置目前沒有檢測到不是靜態目標位置，並且第二背景圖像的像素值大於第一背景圖像的像素值，則第二背景圖像在該點的像素值減1；若第二像點所在位置目前沒有檢測到靜態目標像素，並且後第二背景圖像的像素值小於第一背景圖像的像素值，則第二背景圖像在該點的像素值加1(選擇性局部更新)。
陰影抑制步驟，通過建立陰影模板判斷陰影區域並陰影區域從所述二值化圖像生成步驟中生成的所述二值化圖像中去除。陰影抑制，也叫做陰影去除，目的是去除掉靜態目標在自然光下的陰影對目標檢測的影響。當有靜態目標融入到前背景時，該目標在自然光下的陰影也會同時融入到背景中，為了消除後期陰影對靜態目標檢測的影響，在前、後背景差分後進行陰影去除。
首先，把第一背景圖像和第二背景圖像從RGB色彩空間轉換到HSV(H為色調，S為飽和度，V為亮度)：
V＝max(R，G，B)
if H＜0 then H←H+360
R代表紅色值，G代表綠色值，B代表藍色值,min(R,G,B)代表R、G、B三個值的最小者，max(R,G,B)代表R、G、B三個值的最大者。
基於HSV色彩空間，採用良好的陰影抑制方法去除了在自然光下的陰影對靜態目標檢測的影響，也進一步改善了背景模型的更新以及後期對靜態目標的分割與定位效果；陰影模板按照下式計算，基於第一、第二背景差分產生的二值化靜態目標前景，對於SM值為1的像素，在前景中保留，否則拋棄：
其中IH(x,y),IS(x,y),IV(x,y)分別為前背景圖像在HSV空間中像素點(x,y)的色調，飽和度，亮度；其中BH(x,y),BS(x,y),BV(x,y)分別為後背景圖像在HSV空間中像素點(x,y)的色調，飽和度，亮度。在我們的實驗中，閾值參數分別為：α＝0.3,β＝1.0,τS＝40,τH＝48。
靜態目標位置判斷步驟，求每一位置的所述第一像點和所述第二像點的像素值差值，當任一位置的所述像素值差值大於第一預設閾值的持續時間超過第一預設遺留時間時，則判斷該位置為所述靜態目標位置；二值化圖像生成步驟，根據第一預設閾值對所述靜態目標位置判斷步驟中每一位置二值化以生成二值化圖像；所述二值化圖像生成步驟中，所述二值化圖像中的像素值包括第一極值和第二極值，任一位置的所述像素值差值大於第一預設閾值時，則該位置於二值化圖像中的像素值為第一極值；任一位置的所述像素值差值小於第一預設閾值時，則該位置的二值化圖像的像素值為第二極值。
以下同時對靜態目標位置判斷步驟以及二值化圖像生成步驟進行解釋，由第一背景圖像和第二背景圖像的更新模型可以看出，第一背景與第二背景有著不同的更新速率，前者的更新速率接近是後者的20倍，當物體進入視頻後停止而成為靜態目標後，首先經過一段時間，該目標會先融入到第一背景圖像中，在一定時間內目標不會融入到第二背景圖像中，在這段時間內，通過第一背景圖像和第二背景圖像差分可以一直檢測到該靜態目標。但是對於複雜場景中，我們排除掉一些物體或者人短暫停留的情況，因此我們設定遺留物的時間指標，也就是第一預設遺留時間：當目標停留在場景中超過30秒時，該目標即為我們要檢測的靜態目標，也就是遺留物。在算法中，對每個像素，我們設定一個計數器，當像素點對應位置的第一、第二背景差分結果大於二值化閾值持續超過30秒時(接近800幀)，則認定該像素點為靜態目標像素點，其對應的位置就是靜態目標位置，則將該點投射到二值化圖像中(根據我們的雙背景更新速率，若在30內對應目標像素點一直沒有離開，則該像素點對應位置的第一、第二背景差分結果在時間指標內是一直大於二值化閾值的，因此該像素點會被檢測到)。此時，第二背景圖像的選擇更新機制將不會更新對應位置的像素點，因此只要靜態目標一直停留在場景中，前、後背景差分就可以一直檢測到；反之，若靜態目標一段時間後離開了，前背景中該目標也逐漸消失，則該靜態目標也就會逐漸消失在二值化圖像中。基於以上方法，靜態目標像素點通過持續的第一、第二背景圖像差分，投射到一張靜態目標的二值化圖像中。
形態學處理步驟，依次對所述二值化圖像進行膨脹算法和腐蝕算法，依次對所述二值化圖像進行腐蝕算法和膨脹算法。通過第一、第二背景差分與陰影抑制得到了靜態目標像素的二值化圖像，然而由於複雜場景下光照變化、目標遮擋以及靜態目標本身的色彩亮度等問題，該二值化圖像中存在細小的或散點形式的噪聲，以及存在靜態目標內部空洞問題。因此我們對靜態目標像素二值化圖像首先進行形態學處理開運算(先腐蝕後膨脹)，然後繼續進行形態學處理閉運算(先膨脹後腐蝕)。其中開運算用來去除靜態目標二值化圖像中的細小或孤立噪聲點，平滑靜態目標輪廓；閉運算用來解決靜態目標在二值化圖像中狹小的間斷問題和內部空洞問題。
腐蝕算法：用一個結構元素(一般是3×3的大小)，掃描圖像的每一個像素，用結構元素與其覆蓋的二值圖像做「與」操作，如果都為1，結果圖像的該像素為1，否則為0。
膨脹算法：用一個結構元素(一般是3×3的大小)，掃描圖像的每一個像素，用結構元素與其覆蓋的二值圖像做「與」操作，如果都為0，結果圖像的該像素為0，否則為1。
遺留物檢測步驟，對所述二值化圖像生成步驟中生成的二值化圖像進行輪廓提取以確定遺留物於所述場景圖像中的遺留物區域。所述遺留物檢測步驟中，對所述二值化圖像進行輪廓提取後得到輪廓形狀，所述輪廓形狀的最小外接矩形為確定的所述遺留物區域。經過上述處理，我們得到了最終的靜態目標像素的二值化圖像。對於該二值化圖像，我們使用計算機開源視覺庫OpenCV中的cvFindContours函數來提取輪廓，提取到的輪廓就是完整的靜態目標(多個輪廓代表多個靜態目標)。對於每一個提取的輪廓，找到包含該輪廓的最小外接矩形，並根據該矩形的對應坐標位置在源視頻幀中框定檢測到的靜態目標(遺留物)，若遺留物從場景中離開，便提取不到它的輪廓，繼續檢測該物體。就這樣，基於我們設計的整體算法，實現了實時且精確的靜態目標(遺留物)檢測。基於本發明提出的全新雙背景模型以及後期的細節圖像處理構成的整體算法框架無論是理論上還是實際應用實現上都很魯棒，能實時且精確地檢測複雜場景中的遺留物以及道路場景中違章停車等靜態目標出現的情況；
另，發明的算法既可以使用本地的監控視頻作為視頻數據來源，也可以將移動終端連接到單目實時監控攝像機以實時監控畫面作為視頻數據來源，運行場景靈活多變，便於實驗與實施。
以上所述僅為本發明較佳的實施例，並非因此限制本發明的實施方式及保護範圍，對於本領域技術人員而言，應當能夠意識到凡運用本發明說明書及圖示內容所作出的等同替換和顯而易見的變化所得到的方案，均應當包含在本發明的保護範圍內。