一種三層可插拔智能視頻信息管理系統的製作方法

2023-07-24 05:00:51

一種三層可插拔智能視頻信息管理系統的製作方法
【專利摘要】一種三層可插拔智能視頻信息管理系統，該視頻信息管理系統中包含多種不同類型的攝像裝置、本地單元管理伺服器LUMS、虛擬單元管理伺服器VUMS以及全局伺服器GS，所述攝像裝置均勻分布在多個地理位置上，每一個攝像裝置具有一個地理位置標籤GL以及一個功能標籤FL，具有相同功能的多個攝像裝置公用一個FL，該系統的第一層由所包含的多種不同類型的攝像裝置以及LUMS組成，第二層由所述攝像裝置以及VUMS組成，第三層由LUMS和VUMS，以及GS組成。通過三層結構，能夠保證在任何時間和任何地方都能有效地訪問任何相機的數據和信息。
【專利說明】-種H層可插拔智能視頻信息管理系統

【技術領域】
[0001] 本實用新型涉及視頻信息管理【技術領域】，特別涉及一種H層可插拔智能視頻信息 管理系統。

【背景技術】
[0002] -個視頻系統，例如，其安全性通常涉及大量不同類型的照相機如圖1所示。在同 一時間，該系統可W有多種用途，例如，除了安全性還有自動市場調查功能。每個攝像頭可 W具有不同的輸出格式化264、MJPEG編碼、MXPG等），和不同的信號類型（模擬信號、火線 1394信號、基於IP的信號）。所有該些相機的輸出能更好的自動分析出連續檢測異常事件 或危險事件。一旦檢測到可疑事件，記錄下證據並應通知相關人員。更重要的是，事件發生 進行通知時，操作者和提供幫助的人應該W-種高效的方式收集和審查正在發生事件的所 有的證據和信息，該樣就可W在最短的時間內採取適當的行動。因此，高效的信息和數據重 新審視對於一個成功的視頻管理系統來說應該是一個非常重要的方面。該依賴於相機管理 的一個有效的體系結構。
[0003] 另一方面，基於IP的視頻管理供應商，已成功建立可支持各種視頻/音頻輸入的 開放式視頻管理系統。然而，該些系統與新的視頻/音頻分析算法不兼容。所有的視頻/ 音頻分析模塊需要建立，並由相應的供應商在內部進行合併。如果提供者不能提供所需的 模塊，用戶的要求將永遠不會被達成。意識到存在該個問題，像HALC0N和VisiQuest的產 品提供商努力為客戶提供一個簡單的原型環境視覺算法。然而，如果模塊合併是可能的，現 有的代碼集成始終是非常困難的。MTLAB是一個比較完整而簡單的視覺的算法原型設計 環境。但是，基於原型設計的目的，用戶必須購買昂貴的平臺。並且成形的模塊總是運行很 慢。事實上，在流行的計算機視覺庫中已經存在許多有用視覺算法和數據結構，如化enCV 和RAVL。所有該些原型環境和處理模塊主要是為單個單元處理。近日，有一些嘗試，類似 iceWing項目，W帶有插件機制的原型分布式視覺系統為目的。該個趨勢符合雲計算在互聯 網服務方面的發展。底層通信框架XCF已成功在歐洲VAMPIRE項目應用於大規模的視覺系 統。然而，W上所有的努力集中在發展視覺算法，但或多或少忽視它們的部署。需要一個統 一的平臺，在發展終止的時候可W完美地將成熟的視覺模塊合併在一起。
[0004] 因此如何將該些視覺模塊合併在一起，部署在一個統一的平臺，一直是人們在努 力解決的問題。 實用新型內容
[0005] 針對現有技術存在的上述缺陷，本實用新型的目的是提供一種兼容市面上現有的 所有類型攝像頭，該些視覺模塊合併在一起，部署在一個統一的平臺上的H層可插拔智能 視頻信息管理系統。
[0006] 為達上述目的，本實用新型採取如下方案：
[0007] -種H層可插拔智能視頻信息管理系統，該視頻信息管理系統中包含多種不同類 型的攝像裝置、本地單元管理伺服器LUMS、虛擬單元管理伺服器VUMS W及全局伺服器GS， 所述攝像裝置均勻分布在多個地理位置上，每一個攝像裝置具有一個地理位置標籤化W 及一個功能標籤化，具有相同功能的多個攝像裝置公用一個化，其特徵在於：
[0008] 所述H層可插拔智能視頻信息管理系統的第一層由所包含的多種不同類型的攝 像裝置W及本地單元管理伺服器LUMS組成，其中所述攝像裝置按照各自的地理位置標籤 化進行分組，每一組攝像裝置由一個LUMS管理，LUMS管理各攝像裝置獲取的數據後處理為 有用信息，並控制攝像裝置的配置操作；
[0009] 所述H層可插拔智能視頻信息管理系統的第二層由所包含的多種不同類型的攝 像裝置W及虛擬單元管理伺服器VUMS組成，其中具有相同功能標籤化的所述攝像裝置被 分到一個虛擬單元，每一各虛擬單元由一個虛擬單元管理伺服器VUMS來管理，VUMS為攝像 裝置的數據輸出、存儲和信息通道提供參考；
[0010] 所述H層可插拔智能視頻信息管理系統的第H層由所有的本地單元管理伺服器 LUMS和虛擬單元管理伺服器VUMS，W及全局伺服器GS組成。
[0011] 優選的，該視頻信息管理系統中包括多個智能模塊IM，該智能模塊IM包含處理模 塊和顯示模塊，其中處理模塊用於實現分析任務，把接收到的來自所述攝像裝置的視頻數 據轉化為信息；顯示模塊用於展示經過處理的輸出信息。
[0012] 優選的，所述智能模塊IM將接收的視頻數據和配置參數作為輸入信息，視頻數據 是原始的RGB格式；
[0013] 所述智能模塊IM提供XML格式的參數定義文件，在該參數定義文件中定義了插件 類型和使用的參數值，並且每個參數都有一個唯一與其相關聯的ID和名稱，根據所述參數 定義文件視頻信息管理系統會自動為用戶生成參數配置頁面，所述智能模塊IM中的處理 模塊輸出的數據W XML格式封裝，其中XML格式的信息能夠通過統一的支持HTTP協議的接 口連接網絡傳輸；
[0014] 顯示模塊是能夠直接融入客戶端的屏幕。
[0015] 優選的，該視頻信息管理系統中包括多個智能模塊IM，該智能模塊IM由輸入模 塊、輸出模塊、內存設置模塊W及控制參數模塊組成；
[0016] 輸入模塊，被配置用於獲取需要處理的一個或多個圖像；
[0017] 輸出模塊，被配置用於將處理結果輸出；
[0018] 控制參數模塊，被配置用於為每一個模塊設置參數；
[0019] 內存設置模塊，被配置用於預先分配每個模塊需要用到的緩存，並向每個模塊發 布需要用到的緩存的地址。
[0020] 優選的，該視頻信息管理系統中包括多個智能模塊IM，該智能模塊IM由原子基本 模塊ABM和組成基本模塊CBM兩類模塊組成；
[0021] 原子基本模塊ABM，該類模塊不是建立在其他模塊上的；
[0022] 組成基本模塊CBM，該類模塊是建立在原子基本模塊ABM之上的；
[0023] 所述原子基本模塊ABM和組成基本模塊CBM都來源於一個基本模塊庫。
[0024] 本實用新型具有W下優點和積極效果：
[0025] 1)該管理系統能夠兼容市面上現有的所有類型攝像頭。儘管攝像頭可能有不同的 一種類型和不同的格式輸出，類型的數量和輸出的格式是被限制的。因此，該系統可W為它 們全部提供支持，即使新的類型或者新的格式突然出現，能夠迅速將它合併，同時對所有 的LUMS和VUMS進行更新，使最終用戶和第H方開發者不需要關也該部分工作。
[0026] 2)具有完全開放的智能插件。第H方開發者可W開發該個系統的插件，只要他/ 她堅持我們為系統設置的一致性規則。通過插件的開發，他/她可W向系統提供額外的智 能性能，而無需關也數據來自何處W及最後結果將被顯示在哪裡。
[0027] 3) H層結構，能夠保證在任何時間和任何地方都能有效地訪問任何相機的數據和 信息。

【專利附圖】

【附圖說明】
[0028] 圖1示出了一個典型的包含多個各類相機視頻系統；
[0029] 圖2示出了大容量的視頻信息轉化為小容量信息後通過低寬帶連接有效傳播的 示意圖；
[0030] 圖3示出了用地理位置和功能標記的所有相機二維結構示意圖；
[0031] 圖4示出了H層視頻管理系統總框架；
[0032] 圖5示出了視頻管理系統的視頻處理流程；
[0033] 圖6示出了圖像和視頻處理框圖；
[0034] 圖7示出了 "邊緣提取"處理合理的實現圖；
[00巧]圖8為一個基本模塊庫的示意圖。

【具體實施方式】
[0036] 下面結合附圖對本實用新型的實施方式做進一步的說明。
[0037] 如圖1所示，儘管典型的視頻管理系統可能包含多個不同類型的攝像機，我們可 W用一定的方式將它們聚集起來。其主要思想是將該些攝像機置於一個多維度的空間，其 中每個維度有不同的度量，有了該個度量，我們可W聚集所有攝像機，並將其分為多個易於 管理的組。兩個最重要的指標是：
[0038] 1.地理位置；通常情況下，相機是均勻分布在多個地理位置的。相機可W在一個 相對密集的地方形成一個獨立的單元。另一方面，每一個攝像頭可W得到一個地理位置標 籤化，它可W是一個相關單元唯一的ID。每個單元由本地單元管理伺服器LUMS管理。LUMS 管理攝像頭獲取的所有數據，並處理為有用信息，控制所有攝像頭的位置和配置。因為通常 寬帶區域網LAN是可用的，每個攝像頭與LUMS的連接不僅僅是足夠大容量的視頻數據傳 輸。分析數據後，LUMS的輸出信息就體積而言很小，因此能夠通過低寬帶連接如網際網路有 效傳播。
[0039] 在相應的LUMS中本地記錄了憑證，如相關事件信息。LUMS也在外部世界與它管 理的每個攝像頭之間架起了通信的橋梁。因此，每個LUMS應該是可控的。該就意味著每個 LUMS應該能夠提供管理和控制支持所有分配的相機。通常一個LUMS在物理硬體上運行的 能力有限，所W每個LUMS最多可W管理NMAX個攝像頭。每個LUMS和它的攝像頭通過LAN 緊密結合。不同的LUMS通過廣域網WAN鬆散禪合。假設每個LAN的成本是CLAN,每個LUMS 的成本是CLUMS，整個系統的管理成本為CM (nLUM巧（通常隨著LUMS的數量單調遞增，包括 可變成本，如WAN成本CWAN)。那麼在每個LUMS可控的條件下，所需的LUMS的數量nLUMS 由w下函數來表示：
[0040] 雙裡?每巧 + 毎f(%swiy々
[0041] 當然實際上我們也應該考慮更多的限制條件如網絡連接的可能性。
[0042] 2.功能：視頻系統中的每個攝像頭存在都要一定的原因。有的可能用於檢查票務 情況、有的用於檢測口 口的可疑人物、還有的可W監督電車軌道W防可能的危險行為（如 電車靠近時有人在跑道上）。因此，每個攝像頭都有一個功能標籤化。多個攝像頭也可能 公用一個化，化隨後把所有相機分為多個單元，每個單元由相同的化。
[0043] 根據上述的兩個指標，我們可W對所有相機形成一個如圖3所示的二維結構。通 常在某一地理位置的某些功能發生危險性或有害性事件時，就發出警報。因此，我們把每個 事件與組合屬性（GLFL)結合。根據該一屬性，彈出任何事件，我們都能很容易用憑證和當 前狀態追溯相關的攝像頭。
[0044] 基於該個二維結構，我們提出了H層視頻管理框架，如圖4所示：
[0045] 第一層，根據化屬性對所有攝像頭分組。一個LUMS管理一個單元中的攝像頭。
[0046] 第二層，化相同的攝像頭分到一個虛擬單元，由虛擬單元管理伺服器VUMS來管 理。每個VUMS為它的攝像頭數據的所有輸出、存儲和信息通道提供參考。它的額外功能就 是純粹的功能依賴。
[0047] 第H層，所有的LUMS和VUMS由一個全局伺服器GS管理。通過GS，各種客戶端 (不管是手機、筆記本、或者臺式機）都能用一個統一的格式很容易地定位任何一個LUMS或 VUMS。定位後，兩方可通過P2P技術或傳輸伺服器實現通信。
[0048] 當然，在該H層框架中，我們還可W使用其他基於化和化指標的類型。並且，女口 果需要的話，整個框架可W進一步擴展到多層從而進行更有效的視頻管理。
[004引插件支持：
[0050] 如上所述，一種有效的和開放的視頻管理系統應支持插件管理。該並不僅僅意味 著系統能夠提供額外的處理模塊，同時還很容易被改善，也應該在統一的接口下給第H方 開發生產更多的分析模塊。此外，系統應該能夠快速、無縫地安裝新的模塊。
[0051] 幸運的是，雖然不同的相機可W有不同的信號輸出，但是所有輸出信號可W轉換 為原始RGB (或YUV)格式的信號，該信號又可W作為如圖5中所示的每一個智能模塊IM(例 女口；人臉識別）的輸入信號。實際上，每一個IM包含兩個部分；a.處理；該部分進行分析任 務，把視頻數據轉化為信息；b.顯示；本部分展示客戶端處理部分的輸出信息。
[0052] IM通過W下四個部分保證系統的熱插拔：
[0053] 1) IM將接收的視頻數據和配置參數作為輸入信息。視頻數據是原始的RGB格式 (也可W是YUV或其它格式）。
[0054] 2)通過IM提供參數定義文件，此文件是XML格式，定義了插件類型和使用的參數 的可能值。目前，我們的設定了參數類型的限制範圍（最大和最小的範圍內的一個整數）， W及選擇值（限制範圍類的整數）。每個參數都有一個唯一與其相關聯的ID和名稱。有了 該個參數定義文件，系統會自動為用戶生成參數配置頁面，並且修改每個參數的值。
[0055] 3)實際參數也被封裝為XML格式。此XML文檔可W有效地通過統一的接口（如 XCF[11])連接網絡傳輸。目前，我們使用的是HTTP服務標準。
[005引 4)另外，處理部分輸出的信息，WXML格式封裝。此XML文檔可W有效地通過統一 的接口（如XCF[11])連接網絡傳輸。目前，我們使用的是HTTP服務標準。
[0057] 5)顯示部分是統一的窗口，可W直接融入客戶端屏幕。內部邏輯程序能完全處理 每個單獨的IM。，當然，它可W顯示在系統提供的顯示窗口的頂部，W此來避免重複的基本 功能。
[0058] 目前，每個IM處理部分是作為Windows平臺的化L (動態連結庫）來研發的，顯示 部分是作為Flash平臺的容器來顯示。當然該些可W被拓展應用到其它平臺。它們是由第 H方開發並上傳到GS W便在用戶指定LUMS或VUMS上排列和部署。
[00則 IM模塊化
[0060] 另外，每個IM可W被模塊化。清楚和簡單的圖像和視頻處理的過程已被模塊化， 如圖6所示。輸入和輸出模塊都是標準的，因為我們只有有限數量的輸入通道和輸出的可 能性。此外，所謂"處理"模塊可W分離成一些基本的圖像處理技術。例如，邊緣提取處理 可W實現如圖7的效果。其中"卷積"，"算術計算"，"闊值化"是所有標準的圖像處理技術， 該些可提前編寫作為基本模塊。該些基本模塊BM是構建一個圖像處理應用程式的基礎。
[0061] 它們中的每一個都有4種類型的接口與外部相互作用：
[0062] 輸入；該是用來獲取需要處理的圖像。該裡可能有0個或多個輸入圖像。例如，一 個"生成噪聲圖像"的模塊沒有輸入圖像，"卷積"模塊有一個輸入圖像。如圖7 "算術計算" 模塊有兩個輸入圖像。
[0063] 輸出；該是一個傳輸處理結果送給處理鏈中的下一個模塊的通道。通常情況下每 個模塊只有一個輸出。
[0064] 內存設置：為了提高進程的有效性，在整個進程開始之前，每個模塊需要用到的 緩存會被預先分配，並且通過該個通道發布各模塊的可用地址。
[0065] 控制參數；每一個基本模塊都是被一系列參數控制的，該一系列參數可W戲劇性 的改變模塊的功能。而該一系列參數是被該個通道設置的。
[0066] 實際上，其基本模塊可W被分為兩類：
[0067] 原子基本模塊（ABM);該些基本模塊是原子的。也就是說它們不是建立在其他模 塊上的。它們就像在樹上的樹葉，在圖7中，所有的3種基本模塊是該一類基本模塊
[0068] 組成基本模塊（CBM);該類基本模塊是建立在其它基礎模塊之上的。僅僅是因為 它們很有用，因此把它們作為基本模塊。它們就像一棵樹上的葉子節點。例如，在圖7中， "邊緣提取"處理可W合併在一起作為一個組成基本模塊。在我們的視頻跟蹤系統中，"背景 估計"，"前景提取"，"目標跟蹤"，"目標分類"都可W被作為組成基本模塊建造。
[0069] 所有的基本模塊都來源於一個基本模塊庫。把所有的基本模塊作為節點，其整個 基本模塊庫就像一個單向圖。
[0070] 圖8展示了一個圖像處理基本模塊庫的例子。從該個例子中我們可W看出： l.ABMs不可W從其它模塊繼承；2. CBM可W只建立在ABMs之上（如CBM01) ;3. CBM可W 建立在ABMs和其它CBM之上（如CBM03) ;4. -個CBM甚至可W僅由其它CBMs組成（如 CBM5) ;5.在庫中不存在任何循環（例如：如果A是建立在B之上，那麼B被稱作A的孩子。 因此，如果D是C後代的孩子，那麼C應該不是D後代的孩子）。
[0071] 本實用新型的保護範圍並不限於上述的實施例，顯然，本領域的技術人員可W對 本實用新型進行各種改動和變形而不脫離本實用新型的範圍和精神。倘若該些改動和變形 屬於本實用新型權利要求及其等同技術的範圍內，則本實用新型的意圖也包含該些改動和 變形在內。
【權利要求】
1. 一種三層可插拔智能視頻信息管理系統，該視頻信息管理系統中包含多種不同類型 的攝像裝置、本地單元管理伺服器LUMS、虛擬單元管理伺服器VUMS以及全局伺服器GS，所 述攝像裝置均勻分布在多個地理位置上，每一個攝像裝置具有一個地理位置標籤GL以及 一個功能標籤FL，具有相同功能的多個攝像裝置公用一個FL，其特徵在於： 所述三層可插拔智能視頻信息管理系統的第一層由所包含的多種不同類型的攝像裝 置以及本地單元管理伺服器LUMS組成，其中所述攝像裝置按照各自的地理位置標籤GL進 行分組，每一組攝像裝置由一個LUMS管理，LUMS管理各攝像裝置獲取的數據後處理為有用 信息，並控制攝像裝置的配置操作； 所述三層可插拔智能視頻信息管理系統的第二層由所包含的多種不同類型的攝像裝 置以及虛擬單元管理伺服器VUMS組成，其中具有相同功能標籤FL的所述攝像裝置被分到 一個虛擬單元，每一各虛擬單元由一個虛擬單元管理伺服器VUMS來管理，VUMS接收相關攝 像裝置的數據輸入並進行相應設定的智能處理，同時可對輸入輸出數據進行存儲，查詢和 智能動態轉發； 所述三層可插拔智能視頻信息管理系統的第三層由所有的本地單元管理伺服器LUMS 和虛擬單元管理伺服器VUMS，以及全局伺服器GS組成。
2. 根據權利要求1中所述的三層可插拔智能視頻信息管理系統，其特徵在於：該視頻 信息管理系統中包括多個智能模塊頂，該智能模塊頂包含處理模塊和顯示模塊，其中處理 模塊用於實現分析任務，把接收到的來自所述攝像裝置的視頻數據轉化為信息；顯示模塊 用於展示經過處理的輸出信息。
3. 根據權利要求2中所述的三層可插拔智能視頻信息管理系統，其特徵在於： 所述智能模塊頂將接收的視頻數據和配置參數作為輸入信息，視頻數據是原始的RGB 格式； 所述智能模塊IM提供XML格式的參數定義文件，在該參數定義文件中定義了插件類型 和使用的參數值，並且每個參數都有一個唯一與其相關聯的ID和名稱，根據所述參數定義 文件視頻信息管理系統會自動為用戶生成參數配置頁面，所述智能模塊頂中的處理模塊 輸出的數據以XML格式封裝，其中XML格式的信息能夠通過統一的支持HTTP協議的接口連 接網絡傳輸； 顯示模塊是能夠直接融入客戶端的屏幕。
4. 根據權利要求1中所述的三層可插拔智能視頻信息管理系統，其特徵在於：該視頻 信息管理系統中包括多個智能模塊頂，該智能模塊頂由輸入模塊、輸出模塊、內存設置模 塊以及控制參數模塊組成； 輸入模塊，被配置用於獲取需要處理的一個或多個圖像； 輸出模塊，被配置用於將處理結果輸出； 控制參數模塊，被配置用於為每一個模塊設置參數； 內存設置模塊，被配置用於預先分配每個模塊需要用到的緩存，並向每個模塊發布需 要用到的緩存的地址。
5. 根據權利要求1中所述的三層可插拔智能視頻信息管理系統，其特徵在於：該視頻 信息管理系統中包括多個智能模塊頂，該智能模塊頂由原子基本模塊ABM和組成基本模塊 CBM兩類模塊組成； 原子基本模塊ABM，這類模塊不是建立在其他模塊上的； 組成基本模塊CBM，這類模塊是建立在原子基本模塊ABM之上的； 所述原子基本模塊ABM和組成基本模塊CBM都來源於一個基本模塊庫。
【文檔編號】H04N7/18GK204244385SQ201420795589
【公開日】2015年4月1日 申請日期:2014年12月15日 優先權日:2014年12月15日
【發明者】雷幫軍, 劉軍清, 徐光柱, 陳小輝, 董方敏 申請人:三峽大學, 宜昌千覺電子科技有限公司