基於生物傳感和圖像信息融合的視頻安防監控方法
2023-09-21 00:29:45 2
專利名稱：基於生物傳感和圖像信息融合的視頻安防監控方法
技術領域：
本發明屬於生物傳感、數字圖像處理和模式識別技術領域，具體涉及一種視頻安防監控方法，通過該方法實現在不同地理環境下的敏感區域和重要基礎設施等場所只對入侵的人體生物進行全天候的視頻安全監控。
背景技術：
重要基礎設施和敏感區域場所的安全歷來是人們關注的重點，重要基礎設施和敏感區域場所的安全直接關係到國家安危和人民生命財產安全。以前，對重要基礎設施和敏感區域場所進行安全監控主要是利用主動式紅外探測或雷射探測等方法，當發現有入侵者時，現場的報警裝置立即產生報警信號，由報警點附近的值勤人員對報警點進行檢查。上述這種安全監控方法存在三點不足一是無法準確判斷報警點的位置，給值勤人員檢查帶來困難；二是紅外或雷射探測很容易受到外界環境幹擾而產生誤報；三是不能記錄入侵者的作案過程，無法給相關職能部門提供有力的依據。
視頻監控技術因其直觀、方便、信息記錄詳實等特點被廣泛地應用於公共安全、企業安全和社區、家庭安全等領域。目前的視頻監控系統正處於從模擬視頻監控向數位化視頻監控方式的轉變過程中。在計算機技術和網絡技術基礎上發展起來的數位化視頻監控技術克服了傳統模擬視頻監控只適合小範圍監控的缺點，只要有網絡存在的地方就可以實現視頻監視；另外，數位化視頻監控可以在保留原有設備的前提下很容易地增加新的監控點。所有這些特點都為其在重要設施安全監控方面奠定了基礎。但是，目前的視頻監控技術仍然存在兩點不足，致使其不能直接應用在對重要設施的安全監控上。一是一般的視頻監控系統大多都由人工值守，不能及時發現入侵者，實時報警性能較差，；二是即使系統具備了實時報警功能，但所採用紅外或雷射探測的傳感手段易受外界環境幹擾的缺點仍然存在。
發明內容
本發明的目的是提出一種基於生物傳感和圖像信息融合的視頻安防監控方法，結合生物傳感、計算機圖像處理、信息融合和模式識別技術，在為視頻監控系統提供實時報警功能的同時運用圖像處理和信息融合技術消除外界環境的幹擾，降低誤報發生的機率。
本發明是一種基於生物傳感和圖像信息融合的視頻安防監控方法，該方法是通過在數位化視頻監控系統的基礎上增加基於熱釋電紅外傳感器的生物傳感，通過對生物傳感信息、運動圖像信息和人體輪廓特徵信息進行融合，分析和識別監視攝像機的視頻圖像，從而判斷報警信號真偽。
本發明中的生物傳感信號和視頻圖像信號是由安裝於監控現場的智能監控終端採集並傳輸給監控中心主機進行融合處理的。智能監控終端由基於熱釋電紅外傳感元件的生物傳感器、視頻攝像機、PIC16F877控制器和現場聲音、燈光報警設備組成，實現對監控區域的全面監控，當生物傳感器被觸發時，通過智能監控終端發送報警信息至監控中心主機，實現智能傳感、信號採集、預處理、網絡傳輸和報警控制等。
監控中心主機在接收到智能監控終端發送報警信息後，採用以下步驟進行處理(1)監控中心主機接收到智能監控終端的報警信息，採用視頻圖像序列處理方法對對應監視攝像機的視頻圖像進行分析，確定監控區域中是否存在運動目標，從而判別報警信號的真偽，消除由於外界環境因素引起的誤報；(2)若監控區域中存在運動目標，進一步結合視頻圖像信息和人體輪廓特徵信息，進行決策層融合，通過人體輪廓圖像特徵識別方法判別運動目標是否為入侵者，消除由於其他生物(如鳥類、鼠類等)的闖入而引起的誤報；(3)根據生物傳感和視頻圖像信息融合處理結果，若報警信號為真(即由入侵者引起傳感器報警)，則發送報警信號通過驅動智能報警終端控制器進行燈光、聲音現場警示，同時監控中心通過聲音和簡訊息告知值班人員有人入侵；若報警信號為假(即由其他因素引起傳感器報警)，則忽略此次報警。
本發明中引入生物傳感和視頻圖像信息融合處理方法的目的是為了跟蹤並分析視頻序列圖像，確定監控區域中的是否有運動目標；若有，則融合人體輪廓特徵信息，判斷運動目標是否為入侵者。一般情況下，入侵者的運動幅度遠大於視頻序列圖像中背景圖象的運動幅度且入侵者的運動在一段時間內是連續的；另外，人體在一個三維的監控區域內運動時，監控視頻中其外輪廓特徵是時刻都在變化的，但我們可以利用人體的三視圖(頂視圖、正視圖和側視圖)來描述人體在三維空間的運動，在監控視頻中，人體的運動始終是處於某一視圖位置或是在這三視圖之間變化，相對於其他生物，人體在視頻圖像中表現出的輪廓特性是不同的。根據上述條件，可以採用以下的視頻序列圖像處理和人體輪廓圖像特徵識別方法。
首先，當監控中心接收到來自智能監控終端的報警信息時，分析監控攝像機的視頻信息，判定監控區域內是否存在運動目標，其實現方法如下設F表示時間長度為N幀的視頻序列圖像，視頻序列圖像的大小為H×V(像素)，Fn(n＝1，2，…，N)表示視頻序列中的第n幀圖像的強度。
①對輸入序列圖像進行色彩空間轉換，由彩色序列圖像轉為灰度序列圖像，Gray=11000(299*R+587*G+114*B+500)---(I)]]>其中Gray表示轉換後序列圖像的灰度值，R、G、B分別表示原始序列圖像中對應像素的紅、綠、藍三分量的值；②對步驟①得到的灰度序列圖像，計算序列圖像中前後兩幀的時間差分Δn＝|Fn-Fn-1|，(n＝2，3…，N)；(II)③根據步驟②的差分值大小確定序列圖像中的運動圖像MnMn(u,v)=255,n(u,v)T10,n(u,v)T1,u=1,2,,H,v=1,2,,V---(III)]]>其中T1為閾值參數，其取值為差分矩陣Δn中非零像素的平均值；④對Mn進行5×5的中值濾波，去除由於背景運動而產生的對Mn的影響；⑤統計Mn中非零像素的數量NMn(u，v)＞0；⑥計算NMn(u,v)>0HV,]]>當滿足NMn(u,v)>0HV>T2]]>時，判定監控區域中有運動目標存在，否則判定監控區域中沒有運動目標，其中T2為預先設定的判定閾值。
若經過上述視頻序列圖像處理後，確定監控區域存在運動目標，則進一步利用人體輪廓特徵融合的方法判定該運動目標是否為入侵者。具體的處理步驟是描述人體輪廓三視圖的輪廓特徵模型分別為ModelT(頂視圖模型)、ModelF(正視圖模型)、ModelL(側視圖模型)，各模型分別以數據文件的形式存儲與監控中心主機中。
①對上述視頻序列圖像處理得到的中值濾波後的運動圖像Mn進行處理，提取運動目標的外輪廓特徵X；②分別計算X與人體三視圖輪廓特徵模型的相似度Li(X，Modeli)，i＝T，F，L；③根據相似度Li(X，Modeli)的大小做出各自的判別
hi(X)=1,Li(X,Modeli)Thi0,Li(X,Modeli)Thi,i=T,F,L---(IV)]]>其中Thi為各模型對應的相似度的閾值；④按照F＝max{hT(X)，hF(X)，hL(X)}對③的判別結果進行融合積分；當F＝1時，表示有入侵者進入監控區域；反之，當F＝0時表示沒有入侵者進入監控區域。
本發明方法結合生物傳感、計算機圖像處理、信息融合和模式識別技術，在為視頻監控系統提供實時報警功能的同時運用圖像處理和信息融合技術消除了外界環境和其他生物對安防監控系統的幹擾，降低了誤報發生的機率，實現不同地理環境下的敏感區域和重要基礎設施等場所只對入侵人體生物進行全天候的視頻安全監控。
圖1是實現本發明方法的視頻安防監控系統的方框圖。
圖2是實現本發明方法的監控現場智能監控終端構成方框圖。
圖3是實現本發明方法的視頻序列圖像處理和人體輪廓特徵融合處理的框4本發明方法採用的人體輪廓三視圖模型；圖4A正視圖模型；圖4B側視圖模型；圖4C頂視圖模型.
圖5本發明方法的監控系統程序流程圖。
具體實施例方式
本發明提出一種基於生物傳感和圖像信息融合的視頻安防監控方法，下面結合
該方法的
具體實施例方式圖1表示實現本發明方法的視頻安防監控系統的方框圖。利用這個系統可以實現對進入監控區域的入侵者進行監視、報警和現場警示。
首先結合附圖1、2說明與本發明方法的系統構成。
如圖1所示，視頻安防監控系統3由位於監控現場的智能監控終端1和位於監控中心的監控中心主機2組成。智能監控終端1和監控中心主機2之間通過專用區域網連接，可以是由光纖、雙絞線等組成的有線網絡也可以是無線網絡。
如圖2所示，位於監控現場的智能監控終端1上裝配有生物傳感器4、智能終端控制器5、視頻攝像機6、現場警示設備7(包括警示照明燈、警笛等聲音和燈光警示設備)以及網絡設備8。生物傳感器4由熱釋電紅外傳感器和單片機構成，以有效地探測闖入監控區域的入侵者。視頻攝像機6為任何可直接接入網絡的監視用IP攝像機，用以實時獲取監控現場的視頻序列圖像。網絡設備8的功能是實現信號的轉換，使轉換後的信號適合於在專用區域網上傳輸。智能終端控制器5利用Microchip公司的PIC16F877單片機和RTL8019網絡控制晶片及相應外圍電路實現，其功能是(1)生物傳感器4產生的報警信號通過PIC16F877的RB0/INT引腳以中斷方式輸入給PIC16F877，然後通過RTL8019網絡控制器發送到監控中心主機2；(2)通過網絡接收來自監控中心主機2的控制命令，由PIC16F877的RB5～RB7口控制現場警示設備7工作。
監控中心主機2接收到智能監控終端1的報警信號後，按照圖1所示的流程框圖對報警信號和視頻信息進行處理。
下面結合附圖1、2、3、4、5說明本發明方法的實現步驟(1)、監控現場的生物傳感器4和監視攝像機6一直處於工作狀態，若沒有入侵者進入監控區域，則按照圖5所示程序流程圖，監控中心主機2獲取由監視攝像機6傳來的視頻序列圖像進行顯示；(2)、當生物傳感器4檢測到有生物進入監控區域時，產生報警信號並輸出至智能終端控制器5；智能終端控制器5對輸入的報警信號進行預處理後通過專用區域網發送至監控中心主機2；(3)、監控中心主機2接收到報警信號後，按照圖1所示流程框圖對報警信號和視頻信息進行處理，對視頻圖像進行運動檢測處理，判斷監控區域內是否存在運動目標，具體步驟是設F表示時間長度為N幀的視頻序列圖像，視頻序列圖像的大小為H×V(像素)，Fn(n＝1，2，…，N)表示視頻序列中的第n幀圖像的強度。
①對輸入的視頻中連續的兩幀圖像進行色彩空間轉換，由彩色序列圖像轉為灰度序列圖像，Gray=11000(299*R+587*G+114*B+500)---(I)]]>其中Gray表示轉換後序列圖像的灰度值，R、G、B分別表示原始序列圖像中對應像素的紅、綠、藍三分量的值；②對步驟①得到的灰度序列圖像，計算序列圖像中前後兩幀的時間差分
Δn=|Fn-Fn-1|，(n=2，3…，N)；(II)③根據步驟②的差分值大小確定序列圖像中的運動圖像MnMn(u,v)=255,n(u,v)T10,n(u,v)T1,u=1,2,,H,v=1,2,,V---(III)]]>其中T1為閾值參數，其取值為差分矩陣Δn中非零像素的平均值；④對差分運動圖像Mn進行5×5的中值濾波，去除由於背景運動而產生的對Mn的影響；⑤統計Mn中非零像素的數量NMn(u，v)＞0；⑥計算非零像素數NMn(u，v)＞0佔整幅圖像像素數的比例NMn(u,v)>0HV;]]>根據NMn(u,v)>0HV]]>的值做出判斷， 其中T2為預先設定的判定閾值，由大量的實驗得出當閾值T2=0.05時，判斷的效果最佳。
(4)、如圖3所示，若步驟(3)判定監控區域內不存在運動目標，則認為是由於環境變化而引起的誤報，忽略步驟(2)產生的報警信號；若步驟(3)判定監控區域內存在運動目標，則進一步採用人體輪廓特徵信息，判定運動目標是否為入侵者，具體步驟是描述人體輪廓三視圖的輪廓特徵模型分別為ModelT(圖4c頂視圖模型)、ModelF(圖4A正視圖模型)、ModelL(圖4B側視圖模型)，各模型分別以數據文件的形式存儲與監控中心主機2上。
●提取上述視頻圖像運動檢測中得到的經中值濾波後的差分運動圖像Mn的輪廓特徵X；●分別計算輪廓特徵x與圖4所示的人體輪廓三視圖輪廓模型的相似度Li(X，Modeli)，i=T，F，L；●利用公式(IV)，根據相似度Li(X，Modeli)(i=T，F，L)的大小，對每種模型分別做出決策判斷hi(X)，i=T，F，L，
hi(X)=1,Li(X,Modeli)Thi0,Li(X,Modeli)Thi,i=T,F,L---(IV)]]>其中Thi為各模型對應的相似度的閾值；●根據hi(X)，i＝T，F，L，按照F＝max{hT(X)，hF(X)，hL(X)}的規則做出融合決策；當F＝1時，表示有入侵者進入監控區域；反之，當F＝0時表示無入侵者進入監控區域；(5)、根據步驟(4)的判別結果執行相應操作若步驟(4)判定為有入侵者時，由監控中心主機2產生語音報警信號提示值班人員，同時向智能終端控制器5發送控制命令，由智能終端控制器5控制現場警示設備7產生聲音與燈光警示；若步驟(4)判定為無入侵者時，則認為是由於其他生物引起的傳感器誤報，忽略步驟(2)產生的報警信號。
如圖1所示，在本發明方法的具體實施方式
說明中，我們僅畫出了一個智能監控終端。實際上，本發明方法同樣可以應用於有多個智能監控終端的系統中。由於每個智能監控終端都是獨立工作的，當發生報警時，只要對智能監控終端進行簡單的編號，監控中心就可以清楚地知道是由哪個終端產生的報警。
我們知道，當有人入侵時，現場警示設備7被驅動產生聲音和燈光警示，這可以給入侵者造成一種恐嚇，使其退出監控區域之外；即使聲音和燈光警示無效，入侵者仍然在監控區域內活動時，監控中心主機可以及時向值班人員報警，起到積極預防的作用。
權利要求
1.一種基於生物傳感和圖像信息融合的視頻安防監控方法，其特徵在於採用生物傳感器、攝像機、控制器和聲光報警設備作為智能監控終端，智能監控終端通過區域網與監控中心主機連接，當生物傳感器被觸發時，通過智能監控終端發送報警信息至監控中心主機，監控中心主機通過對生物傳感信息、運動圖像信息和人體輪廓特徵信息融合，分析和識別監視攝像機的視頻圖像，從而判斷報警信號真偽，再驅動智能監控終端的聲光報警設備報警；步驟如下(1)監控中心主機接收到生物傳感器的報警信息，通過視頻圖像分析方法對對應監視攝像機的視頻圖像進行分析，確定監控區域中是否存在運動目標，從而判別報警信號的真偽，消除由於外界環境因素引起的誤報；(2)當監控區域中存在運動目標，進一步結合視頻圖像信息和人體輪廓特徵信息，進行融合，判別運動目標是否為入侵者；(3)根據生物傳感和視頻圖像信息融合處理結果，若運動目標為入侵者，報警信號為真，監控中心主機則發送報警信號通過驅動智能報警終端控制器進行燈光、聲音現場警示，同時監控中心主機通過聲音和簡訊息告知值班人員有人入侵；若運動目標不是入侵者，報警信號為假，監控中心主機則忽略此次報警。
2.根據權利要求1所述的基於生物傳感和圖像信息融合的視頻安防監控方法，其特徵在於所述視頻圖像分析的步驟如下設F表示時間長度為N幀的視頻序列圖像，視頻序列圖像的像素大小為H×V，Fn(n＝1，2，…，N)表示視頻序列中的第n幀圖像的強度；第一步，用公式(I)對輸入序列圖像進行色彩空間轉換，將彩色序列圖像轉為灰度序列圖像，Gray=11000(299*R+587*G+114*B+500)---(I)]]>其中Gray表示轉換後序列圖像的灰度值，R、G、B分別表示原始序列圖像中對應像素的紅、綠、藍三分量的值；第二步，對第一步得到的灰度序列圖像，計算序列圖像中前後兩幀的時間差分Δn＝|Fn-Fn-1|，(n＝2，3…，N)；(II)第三步，根據第二步的差分值大小確定序列圖像中的運動圖像MnMn(u,v)=255,n(u,v)T10,n(u,v)T1u=1,2,,H,v=1,2,,V---(III)]]>其中T1為閾值參數，其取值為差分矩陣Δn中非零像素的平均值；第四步，對Mn進行5×5的中值濾波，去除由於背景運動而產生的對Mn的影響；第五步，統計Mn中非零像素的數量NMn(u，v)＞0；第六步，計算 ，當滿足NMn(u,v)>0HV>T2]]>時，判定監控區域中有運動目標存在，否則判定監控區域中沒有運動目標，其中T2為預先設定的判定閾值。
3.根據權利要求1所述的基於生物傳感和圖像信息融合的視頻安防監控方法，其特徵在於結合視頻圖像信息和人體輪廓特徵信息進行融合的步驟包括其步驟包括預先存儲描述人體輪廓三視圖的輪廓特徵模型在監控中心主機中，分別有頂視圖模型ModelT、正視圖模型ModelF、側視圖模型ModelL；第一步，對視頻序列圖像處理得到的中值濾波後的運動圖像Mn進行處理，提取運動目標的外輪廓特徵X；第二步，分別計算X與人體輪廓三視圖輪廓特徵模型的相似度Li(X，Modeli)，i＝T，F，L；第三步，根據相似度Li(X，Modeli)的大小做出各自的判決hi(X)=1,Li(X,Modeli)Thi0,Li(X,Modeli)Thi,i=T,F,L---(IV)]]>其中Thi為各模型對應的相似度的閾值；第四步，按照F＝max{hT(X)，hF(X)，hL(X)}對第三步的判別結果進行融合積分；當F＝1時，表示有入侵者進入監控區域；反之，當F＝0時表示沒有入侵者進入監控區域。
4.權利要求1、2或3所述的基於生物傳感和圖像信息融合的視頻安防監控方法，其特徵在於智能監控終端的生物傳感器由熱釋電紅外傳感器和單片機構成，控制器採用PIC16F877控制器。
全文摘要
本發明是一種基於生物傳感和圖像信息融合的視頻安防監控方法，該方法運用運動目標檢測和圖像信息融合方法分析監控視頻圖像，其步驟包括當智能監控終端通過生物傳感器檢測到生物入侵時被觸發產生報警後，通過專用區域網向監控中心主機發送報警信號；監控中心主機接收到報警信號後，利用運動目標檢測和人體輪廓特徵融合對監控視頻進行分析，判斷報警信號真偽；監控中心主機根據判斷結果執行相應操作。該方法結合了生物傳感和圖像信息融合技術，可有效減少外界環境和其他生物對安防監控系統的影響，實現不同地理環境下的敏感區域和重要基礎設施等場所只對入侵人體生物進行全天候的視頻安全監控。
文檔編號G06T7/20GK101017591SQ20071007817
公開日2007年8月15日 申請日期2007年2月6日 優先權日2007年2月6日
發明者龔衛國, 楊利平, 李偉紅, 李正浩, 李建福, 辜小花, 周留洋, 嚴傑 申請人:重慶大學