一種異常事件報警高清視頻智能處理器的製造方法與工藝
2023-07-15 00:25:34 1
本發明適用於公共安全及反恐防暴領域，具體涉及一種異常事件報警高清視頻智能處理器。本發明可對1080P及以上的高清視頻流進行採集、編碼、智能分析、報警、壓縮、網絡化傳輸等功能。
背景技術：
隨著高速數位訊號處理（DSP）性能的增強，視頻智能分析算法可以由CPU處理轉到DSP實時處理，智能視頻分析實現平臺由純軟體視頻分析逐漸往嵌入式方向發展，嵌入式視頻分析可以在前端直接對視頻信息進行處理，具有高實時性。目前採用DSP和圖像處理算法實現嵌入式視頻分析是主流方法，應用中具有代表性的是DM642、DM643X等系列DSP平臺。但是，隨著智能視頻分析應用環境越來越複雜，其算法的複雜性越來越高，而目前DSP的處理能力有限，已經不能滿足某些複雜圖像處理算法的需要。而更具智能的行為識別和理解更是需要大量的計算機資源，進行圖像處理結果、模型、資料庫保存數據之間的大量計算，從而對異常行為作出智能判斷。因此，DSP的處理能力已成為瓶頸，難以開發功能強、性能高的DSP智能視頻分析產品。國內出現了專門從事智能視頻分析技術的公司或智能視頻監控產品，如，中佳天威的ATM機智能監控系統、智安邦的倉庫安防智能監控系統、北京富尼泰達的哨兵管控系統、漢王智能視頻分析系統等等，都針對不同的領域，制定了相應的解決方案。但由於智能分析產品的環境適應性是一個制約產品工程化應用的瓶頸問題，而目前大部分智能視頻監控系統的核心算法技術仍然掌握在美國以及歐洲地區等先進國家手中，市面上的所謂智能監控設備缺乏針對性，不能很好解決環境適應性問題，實用性不強。中國專利文獻公開號CN203482326U公開了名稱為《智能視頻監控報警裝置》的發明專利申請技術，該發明專利申請技術的技術方案是：包括DSP模塊、無線模塊、視頻存儲模塊和圖像傳感器。圖像傳感器獲取視頻信號；DSP模塊控制整個裝置，並且能夠對視頻進行實時處理，監測異常事件；視頻存儲模塊存儲存在有異常事件的視頻段；無線模塊可以通過無線網絡發送圖像和報警信息給伺服器，也可以向用戶手機發送報警簡訊。在《智能視頻監控報警裝置》的發明專利中採用單一的DSP模塊（常用的DM642模塊）完成整個裝置控制、視頻實時處理、監測異常事件等多項工作，對複雜場景異常事件監測實際計算量需求來說，DSP處理能力有限，影響其報警準確度。
技術實現要素：
本發明要解決的技術問題在於，針對現有DSP視頻分析產品難以適應複雜場景應用，智能視頻監控的實現算法複雜、軟體體系日益龐大，提供一種異常事件報警高清視頻智能處理器。本發明的異常事件報警高清視頻智能處理器包括視頻A/D處理單元、智能視頻分析單元DSP、H.264視頻編碼單元、中央處理單元ARM以及多個外設和總線接口，視頻A/D處理單元與智能視頻分析單元DSP相連接，智能視頻分析單元DSP分別與H.264視頻編碼單元、中央處理單元ARM相連接，H.264視頻編碼單元中央處理單元ARM相連接，異常事件報警高清視頻智能處理器數據傳輸及處理程序步驟為：S1：高清視頻通過HD-SDI接口接入視頻A/D處理單元，實現數位化處理，輸出數位化的視頻數據流到智能視頻分析單元DSP；S2：智能視頻分析單元DSP實現對數字圖像的分析，實現目標檢測和特徵提取功能；S3：H.264視頻編碼單元接收智能視頻分析單元DSP輸出的疊加了分析數據的視頻流，實現數字視頻的編碼壓縮；S4：中央處理單元ARM實現設備各組成部分協調運行控制、設備各類接口的管理、視頻的本地顯示、數據的網絡化傳輸，同時結合預警規則、異常事件模型，實現異常事件判定。本發明的異常事件報警高清視頻智能處理器採用分布式混合架構模式，基於ARM+DSP硬體平臺，充分利用DSP和ARM的硬體處理特性，降低了DSP圖像處理分析壓力及對DSP的性能要求，避免了由此帶來的硬體成本大幅增加。在DSP上實現基本的背景建模、目標檢測等通用算法，不同的應用場合的時間判斷、預測邏輯在ARM上實現，這樣針對不同應用領域只需定製修改ARM上的業務邏輯，使得DSP上圖像處理算法具有重用性。同時進行基於業務規則的異常事件建模。通過深入分析反恐處突領域典型應用場景的業務規則模型，實現模型的形式化語義表達，針對典型監控場景建立豐富的先驗知識庫，利用視頻圖像處理得到的目標屬性語義化處理，實現模型的匹配與判定。對事件的判定結果進行分析，總結出發展規律和趨勢，在此基礎上實現對事件的預測，根據事件判斷發出報警，大大降低了誤報率。附圖說明圖1為本發明的異常事件報警高清視頻智能處理器的結構示意圖；圖2為本發明的LINK連結示意圖；圖3為本發明的工作流程圖。具體實施方式下面將結合附圖和實施例對本發明進行詳細說明。如圖1所示，本發明的異常事件報警高清視頻智能處理器，基於TMS320DM8168實現。TMS320-DM8168是TIDavinci系列數字多媒體處理晶片，集成了4個內核和多個外設和總線接口。主要包括視頻A/D處理單元11、智能視頻分析單元DSP12、H.264視頻編碼單元13、中央處理單元ARM14。各處理單元由軟體包裝為LINK連結。外圍高清視頻採集設備15採集的高清視頻通過HD-SDI接口接入視頻A/D處理單元11。外設和總線接口包括：支持2路HDMI視頻輸入接口，或4路8BITHD-SDI視頻輸入，可接收多達16個通道的標清視頻輸入；1個1或2通道PCIe接口；2個千兆乙太網接口；2個SATA接口和1個SD接口；1個HDMI輸出，1個數字視頻輸出，1個模擬視頻輸出；1個GPMC接口，可連接NANDFLASH；3個UART，1個SPI，3個McASP；2個USB接口。視頻A/D處理單元11採用TI公司的VPSSM3，用於視頻的捕獲、顯示、縮放、轉換濾波等。將接入並實現數位化處理，輸出數位化視頻數據流到智能視頻分析單元DSP12。智能視頻分析單元DSP12採用TI公司的C674xDSP，主頻可達1GHz，處理能力可達8000/6000MIPS/MFLOPS。對數位化視頻流進行數字圖像分析、目標檢測和特徵功能提取，將疊加了分析數據的視頻流傳送給H.264視頻編碼單元13，將提取的參數數據和目標及特徵數據傳輸給中央處理單元ARM14並接收其傳輸的智能預警規則信息。H.264視頻編碼單元13採用TI公司的VIDEOM3，進行數字視頻的編碼壓縮，可用於MPEG、H264、VC-1、AVS等格式的編解碼。中央處理單元ARM14採用TI公司的CortexA8ARM，主頻可達1.2GHz，會接收來自H.264視頻編碼單元13的視頻編碼流，從外部IP網絡接收智能預警規則和異常事件模型參數並向其傳輸編碼、數據、報警流，實現設備各組成部分協調運行控制、設備各類接口管理、視頻本地顯示、數據網絡化傳輸、預警規則、異常事件模型管理及異常事件判定等功能。中央處理單元ARM14運行於linux系統下，而視頻A/D處理單元11、智能視頻分析單元DSP12、H.264視頻編碼單元13運行於TI的BIOS系統下，各核共享DDR內存，相互之間可通過信號量和郵箱、內存共享機制進行同步控制和數據傳遞。如圖2所示，本發明的LINK連結示意圖。本發明應用開發基於TI公司的DVRRDK開發工具包，目前使用版本為3.0.0.0。在DVRRDK中，各軟體處理單元包裝為LINK，並賦予相應的輸入輸出控制參數。建立應用時，根據需要確定所需的LINK及其控制參數，按順序前後關聯起來，就能達到要求。圖2中視頻採集111、視頻處理幀輸出112、位流輸出113為針對視頻A/D處理單元11建立的LINK；DSP幀輸入121、DSP處理122為針對智能視頻分析單元DSP12建立的LINK；視頻位流輸入131、視頻編碼132、視頻位流輸出133為針對H.264視頻編碼單元13建立的LINK；ARM輸入141為針對中央處理單元ARM14建立的LINK。應用從視頻埠輸入，視頻幀送至智能視頻分析單元DSP12進行分析處理，處理幀經壓縮再送至中央處理單元ARM14，中央處理單元ARM14就可經網絡將視頻流和分析數據送出。圖中視頻採集111實現視頻採集，運行於視頻A/D處理單元11，DSP處理122進行視頻分析處理，運行於智能視頻分析單元DSP12，視頻編碼132實現視頻的H264壓縮編碼，運行於H.264視頻編碼單元13，別的LINK用於各單元之間的數據傳遞。本發明工作流程如圖3所示，步驟21為初始動作，實現預警規則及異常事件參數初始化設置。步驟22通過高清視頻設備進行高清視頻採集，經過視頻編碼之後輸入智能視頻分析單元DSP12進行步驟23DSP圖像處理分析，並採用目標檢測、類型識別、目標跟蹤等算法，進行步驟24對採集數據進行是否為所需特徵數據的判斷，如果該判斷是肯定的，則進行步驟25對目標特徵數據的自動提取，重點採用幀間差分實現運動目標的提取，並通過邊緣提取、像素統計、運動塊匹配等實現人群的密度、位置、動向等特徵提取，並通過在視頻圖像上疊加標示直觀顯示人群的密度分布。如果該判斷是否定的，則繼續輸入步驟23繼續進行數據分析。步驟26為提取出來的特徵數據輸入中央處理單元ARM14，在此單元中有基於業務規則建立的貝葉斯網絡模型，此模型建立方法為分析人工通過現場視頻分析、判定、預警異常事件的業務規則，明確需要智能判定的具體事件。針對具體事件，構建事件判定貝葉斯網絡拓撲結構。收集具體事件的分析判定信息，處理後得到網絡的參數，即各節點的相應概率，完成網絡的構建。步驟27異常事件模板匹配為藉助貝葉斯網絡推理功能將信息在網絡中傳播，計算網絡中各節點的後驗概率，異常事件威脅度判定步驟如下：S1：設定異常事件分析與預警貝葉斯網絡特徵層、中間層及事件層，特徵層元素{，，…，}為完備數據集，代表特徵層每一個特徵元素，中間層元素記為{，，…，}，代表中間層每一個特徵元素，事件層元素記為C，其中處於某一狀態記為，則某一的計算異常事件概率P公式為：=由上式展開得到公式：=S2：確立異常事件分析與預警貝葉斯網絡的關係矩陣，記錄元素A的n個可能的狀態{}，代表特徵層每一個特徵元素對應的每個具體狀態，元素B的m個可能的狀態{}，代表中間層每一個特徵元素對應的每個具體狀態，則元素A與B的關係矩陣記為，大小為n*m；元素對應事件層C，其和中間層的關係矩陣記為；S3：根據特徵層與中間層的依賴關係計算中間層變量的值，依賴關係矩陣為，表示當與特徵層信息相關的中間層事件集合{}取某個特定的取值組合{}時特徵層取值為的概率；S4：根據中間層與事件層的依賴關係計算中間層變量的值，依賴關係矩陣為，其中)表示事件層事件C取值為的時候，中間層取值為的概率；S5：重複執行步驟S3、S4，直到把事件層的所有異常事件概率值P（C=）均計算出來；S6：根據計算出的異常事件層概率值得到人群聚集區塊的威脅大小。步驟28為異常事件類型判定，通過後驗概率對事件作出類型判斷。步驟29為判定事件是否異常，若判斷為異常，則執行步驟31輸出相應的事件及預警信息，若判斷為無異常，則進行步驟30丟棄本組數據，重新接收特徵信息進行判斷。步驟32為判斷是否正確報警，正確則執行步驟33在線優化先驗資料庫。先驗數據模型的優化包括參數優化以及參數結構優化，優化方式包括在線優化和離線優化。在事件正確判斷的情況下，可以根據各節點的後驗概率對各節點的參數進行在線優化；判斷不正確則執行步驟34，總結判斷因素，對網絡的結構進行調整。步驟35為結束工作。