一種基於ptz攝像機巡航的智能視頻分析系統及方法
2023-06-19 20:23:21 2
一種基於ptz攝像機巡航的智能視頻分析系統及方法
【專利摘要】本發明提供了一種基於PTZ攝像機巡航的智能視頻分析系統及方法，該系統包括前端PTZ攝像機和後端伺服器，後端伺服器包括：巡航配置模塊，用於對系統的巡航組和巡航點進行設定生成巡航列表，PTZ攝像機控制模塊，對巡航列表進行分析，自動生成巡航執行列表；視頻分析配置模塊，用於針對各個巡航點配置相關的智能視頻分析算法並配置到巡航列表中；系統控制模塊，為每個巡航點進行攝像機參數標定以及調用視頻拼接模塊，按照巡航點的執行順序自動生成整個巡航周期的全景拼接圖；智能視頻分析模塊，根據相關的設定進行目標檢測和事件分析，並對檢測到的事件產生實時告警；告警管理模塊，對告警進行相應的本地管理功能。
【專利說明】一種基於PTZ攝像機巡航的智能視頻分析系統及方法
【技術領域】
[0001] 本發明屬於視頻監控、視頻分析、模式識別領域，尤其是涉及一種基於PTZ攝像機 巡航的智能視頻分析系統及方法。
【背景技術】
[0002] 視頻監控是安全防範系統的重要組成部分，隨著視頻監控技術的發展，視頻攝像 機已經被廣泛用來對各種環境、區域和場所進行實時監控。由於PTZ攝像機相比於固定攝 像機具有可變視角和可變焦距等優勢，具有監控場景更大、跟蹤目標範圍更廣，已經得到越 來越廣泛的應用。
[0003] PTZ攝像機跟蹤技術是一種利用圖像處理技術，實現目標發現並控制PTZ攝像機 對運動目標在一定場景範圍內進行定位，跟蹤和抓拍的監控技術。這種技術可以用於路況 監控，公共場所安全監控，森林防火等多個領域。但是在目前的監控領域，通常是一臺攝像 機只負責自己所監視的區域，而每臺PTZ攝像機雖然可以移動，但監視範圍還是很有限的， 在跟蹤過程中由於PTZ攝像機的PTZ三個變量的信息需要完全依賴於跟蹤算法的反饋，很 難準確的對PTZ攝像機進行控制，且目前自動PTZ跟蹤算法對小目標和環境適應性較差，目 前還無法大規模普及應用。
[0004] 基於靜態攝像機的目標檢測跟蹤算法相對成熟，但是由於單攝像機的視野域有 限，較大的監控視場需要多個攝像機才能實現覆蓋，在實際的目標跟蹤系統中，更多採用多 攝像機系統，在預算一定的情況下不可避免的要加大系統的成本或者降低攝像機的品質， 且由於攝像機場景固定，為了兼顧攝像機的視場覆蓋，智能視頻分析算法一般無法獲得檢 測目標的細節特徵，如獲取跟蹤的人的臉部信息和跟蹤的車輛的車牌信息。
[0005] 鑑於之前的介紹，我們發現目前常見的系統無論是基PTZ攝像機的自動跟蹤系統 還是基於固定攝像機的目標檢測跟蹤系統都存在比較大的問題，無法滿足對視頻監控系統 用儘量少的攝像機，實現更大範圍覆蓋，進行更精確的智能視頻分析效果的需求，如何充分 挖掘PTZ攝像機的特性，如何結合PTZ攝像機的特性進行智能視頻分析系統的架構成為我 們要解決的核心問題。
【發明內容】
[0006] 為了解決上述問題，本發明提供了一種基於PTZ攝像機巡航的智能視頻分析系 統，該系統包括前端PTZ攝像機和後端伺服器，後端伺服器包括：巡航配置模塊，用於對系 統的巡航組和巡航點進行設定生成巡航列表，每個巡航組的巡航點對應PTZ攝像機的一個 預置位，為每個巡航組的巡航點配置巡航模式及巡航時間；PTZ攝像機控制模塊，對巡航列 表進行分析，自動生成巡航執行列表，使PTZ攝像機按照預設的巡航順序在各個預置位之 間進行巡航檢測；視頻分析配置模塊，用於針對各個巡航點配置相關的智能視頻分析算法 並配置到巡航列表中；系統控制模塊，執行相關巡航點的攝像機開啟功能，根據配置列表中 的各個巡航點的算法配置，來啟用相關巡航點的視頻分析算法，為每個巡航點進行攝像機 參數標定以及調用視頻拼接模塊，按照巡航點的執行順序自動生成整個巡航周期的全景拼 接圖；智能視頻分析模塊，根據相關的設定進行目標檢測和事件分析，並對檢測到的事件產 生實時告警；告警管理模塊，對告警進行相應的本地管理功能。
[0007] 所述攝像機參數標定就是通過給定的參考物反向計算出投影矩陣P的全部或者 部分參數，標定後，通過其在攝像頭捕獲的二維圖像中的二維坐標，和獲取的投影矩陣Pjp 可求三維中某個目標的位置信息。
[0008] 所述智能視頻分析模塊進一步包括：圖像預處理模塊，採用小波變換的自適應快 速圖像降噪算法對圖像進行濾波降噪，灰度變換操作；目標檢測模塊，用於進行運動目標檢 測，目標的特徵提取，行人/車輛檢測，人臉/車牌檢測定位，並根據目標的特徵進行目標識 別算法；目標跟蹤模塊，利用雙向光流法進行目標跟蹤；目標特徵提取模塊，對上一幀檢測 到的目標建立基於顏色和HOG特徵的聯合直方圖模版，這種聯合直方圖結合了顏色特徵和 HOG的梯度特徵；特徵檢測匹配模塊，在當前幀進行搜索匹配，通過巴氏距離進行比較，即 在上一幀的目標位置的周圍一定半徑範圍內進行搜索匹配找到最佳的匹配位置即為可能 的目標在當前幀的位置；事件檢測模塊，基於檢測的目標位置變化來判斷是否發生事件。 [0009] 所述目標檢測模塊是基於幀差、圖像變換、混合高斯概率模型三者結合來檢測目 標。
[0010] 所述行人/車輛檢測採用一種光流場相對運動和Hog+SVM模型訓練相結合的方法 提取指定類型的目標。
[0011] 所述視頻拼接模塊進一步被配置用來：進行特徵點提取和特徵點的匹配，具體為： 以像素點的四個主要方向上最小灰度方差表示該像素點與鄰近像素點的灰度變化情況，即 像素點的興趣值，然後在圖像的局部選擇具有最大的興趣值的點作為特徵點，在參考圖像 的重疊部分中選取4個區域，每個區域利用Moravec算子找出特徵點，選取以特徵點為中心 的固定大小的區域，在搜索圖中尋找最相似的匹配，利用匹配的特徵區域的中心點，代入以 下方程式求解，所求的解即為兩幅圖像間的變換係數M :
[0012]
【權利要求】
1. 一種基於PTZ攝像機巡航的智能視頻分析系統，該系統包括如端PTZ攝像機和後端 伺服器，其特徵在於後端伺服器包括： 巡航配置模塊，用於對系統的巡航組和巡航點進行設定生成巡航列表，每個巡航組的 巡航點對應PTZ攝像機的一個預置位，為每個巡航組的巡航點配置巡航模式及巡航時間； PTZ攝像機控制模塊，對巡航列表進行分析，自動生成巡航執行列表，使PTZ攝像機按 照預設的巡航順序在各個預置位之間進行巡航檢測； 視頻分析配置模塊，用於針對各個巡航點配置相關的智能視頻分析算法並配置到巡航 列表中； 系統控制模塊，執行相關巡航點的攝像機開啟功能，根據配置列表中的各個巡航點的 算法配置，來啟用相關巡航點的視頻分析算法，為每個巡航點進行攝像機參數標定以及調 用視頻拼接模塊，按照巡航點的執行順序自動生成整個巡航周期的全景拼接圖； 智能視頻分析模塊，根據相關的設定進行目標檢測和事件分析，並對檢測到的事件產 生實時告警； 告警管理模塊，對告警進行相應的本地管理功能。
2. 根據權利要求1所述的系統，其特徵在於： 所述攝像機參數標定就是通過給定的參考物反向計算出投影矩陣P的全部或者部分 參數，標定後，通過其在攝像頭捕獲的二維圖像中的二維坐標，和獲取的投影矩陣P，即可求 三維中某個目標的位置信息。
3. 根據權利要求1所述的系統，其特徵在於所述智能視頻分析模塊進一步包括： 圖像預處理模塊，採用小波變換的自適應快速圖像降噪算法對圖像進行濾波降噪，灰 度變換操作； 目標檢測模塊，用於進行運動目標檢測，目標的特徵提取，行人/車輛檢測，人臉/車牌 檢測定位，並根據目標的特徵進行目標識別算法； 目標跟蹤模塊，利用雙向光流法進行目標跟蹤； 目標特徵提取模塊，對上一幀檢測到的目標建立基於顏色和HOG特徵的聯合直方圖模 版，這種聯合直方圖結合了顏色特徵和HOG的梯度特徵； 特徵檢測匹配模塊，在當前幀進行搜索匹配，通過巴氏距離進行比較，即在上一幀的目 標位置的周圍一定半徑範圍內進行搜索匹配找到最佳的匹配位置即為可能的目標在當前 幀的位置； 事件檢測模塊，基於檢測的目標位置變化來判斷是否發生事件。
4. 根據權利要求3所述的系統，其特徵在於所述目標檢測模塊是基於幀差、圖像變換、 混合高斯概率模型三者結合來檢測目標。
5. 根據權利要求3所述的系統，其特徵在於：所述行人/車輛檢測採用一種光流場相 對運動和Hog+SVM模型訓練相結合的方法提取指定類型的目標。
6. 根據權利要求1所述的系統，其特徵在於：所述視頻拼接模塊進一步被配置用來： 進行特徵點提取和特徵點的匹配，具體為：以像素點的四個主要方向上最小灰度方差表 示該像素點與鄰近像素點的灰度變化情況，即像素點的興趣值，然後在圖像的局部選擇具 有最大的興趣值的點作為特徵點，在參考圖像的重疊部分中選取4個區域，每個區域利用 Moravec算子找出特徵點，選取以特徵點為中心的固定大小的區域，在搜索圖中尋找最相似 的匹配，利用匹配的特徵區域的中心點，代入以下方程式求解，所求的解即為兩幅圖像間的 變換係數M :
7. -種基於PTZ攝像機巡航的智能視頻分析方法，其特徵在於： 步驟（1)首先進行對系統的巡航組和巡航點進行設定，生成巡航列表，每個巡航組的巡 航點對應PTZ攝像機的一個預置位，為每個巡航組的巡航點配置巡航模式及巡航時間； 步驟（2)通過預置位調用，把PTZ攝像機移動到相應的巡航點上，系統控制模塊針對當 前場景為每個巡航點進行攝像機參數標定，並由視頻分析配置模塊配置相關的智能視頻分 析算法添加到巡航列表中； 步驟（3)啟動系統後，PTZ攝像機控制模塊通過對巡航列表的分析，自動生成巡航執行 列表，使PTZ攝像機按照預設的巡航順序在各個預置位之間進行巡航檢測； 步驟（4)系統控制模塊調用視頻拼接模塊，按照巡航點的執行順序自動生成整個巡航 周期的全景拼接圖； 步驟（5)智能視頻分析模塊根據相關的設定進行目標檢測和事件分析，並對檢測到的 事件產生實時的告警。
8. 根據權利要求7所述的方法，其特徵在於： 所述步驟（2)中攝像機參數標定就是通過給定的參考物反向計算出投影矩陣P的全部 或者部分參數，標定後，通過其在攝像頭捕獲的二維圖像中的二維坐標，和獲取的投影矩陣 P，即可求三維中某個目標的位置信息。
9. 根據權利要求7所述的方法，其特徵在於所述步驟（5)進一步包括： 採用小波變換的自適應快速圖像降噪算法對圖像進行濾波降噪，灰度變換操作； 進行運動目標檢測，目標的特徵提取，行人/車輛檢測，人臉/車牌檢測定位，並根據目 標的特徵進行目標識別算法； 利用雙向光流法進行目標跟蹤； 對上一幀檢測到的目標建立基於顏色和HOG特徵的聯合直方圖模版，這種聯合直方圖 結合了顏色特徵和HOG的梯度特徵； 在當前幀進行搜索匹配，通過巴氏距離進行比較，即在上一幀的目標位置的周圍一定 半徑範圍內進行搜索匹配找到最佳的匹配位置即為可能的目標在當前幀的位置； 基於檢測的目標位置變化來判斷是否發生事件。
10. 根據權利要求9所述的方法，其特徵在於所述目標檢測是基於幀差、圖像變換、混 合高斯概率模型三者結合來檢測目標。
11. 根據權利要求9所述的方法，其特徵在於：所述行人/車輛檢測採用一種光流場相 對運動和Hog+SVM模型訓練相結合的方法提取指定類型的目標。
12. 根據權利要求7所述的方法，其特徵在於：所述視頻拼接具體包括：以像素點的四 個主要方向上最小灰度方差表示該像素點與鄰近像素點的灰度變化情況，即像素點的興趣 值，然後在圖像的局部選擇具有最大的興趣值的點作為特徵點，在參考圖像的重疊部分中 選取4個區域，每個區域利用Moravec算子找出特徵點，選取以特徵點為中心的固定大小 的區域，在搜索圖中尋找最相似的匹配，利用匹配的特徵區域的中心點，代入以下方程式求 解，所求的解即為兩幅圖像間的變換係數M :
【文檔編號】H04N5/232GK104378582SQ201310359688
【公開日】2015年2月25日 申請日期:2013年8月16日 優先權日:2013年8月16日
【發明者】張永亮, 王巍, 顧威威, 肖道寬, 盧彥全 申請人:北京博思廷科技有限公司