監視系統、攝像設備、分析設備和監視方法

2023-10-24 15:24:02 3

專利名稱：監視系統、攝像設備、分析設備和監視方法
技術領域：
本發明涉及監視系統，攝像設備，分析設備和監視方法。
背景技術：
存在一種包括具有有線或無線LAN功能的監視照相機(下面也稱為「 IP照相機」) 和控制並監視多臺IP照相機的監視設備(下面也稱為「中央伺服器」)的監視系統，IP照 相機和中央伺服器通過網絡相互連接。在該監視系統中，IP照相機通過網絡把拍攝的圖像 數據傳送給中央伺服器。中央伺服器記錄接收的圖像數據，通過分析圖像數據檢測異常的 發生，並輸出報警。這樣，在檢查顯示在監視器上的圖像數據和由中央伺服器輸出的報警的 細節的時候，觀察人員能夠進行監視。日本專利No. 4148285公開一種與當監視設備監視圖像數據，和輸出報警時的對 象識別有關的技術。

發明內容
在監視系統中，存在其中IP照相機包括分析處理部分(例如，運動對象檢測處理 部分)和IP照相機產生元數據和事件，以便把處理分散在整個系統內的情況。在監視中心(中央伺服器)中，觀察人員在線或離線地監視每臺IP照相機的圖 像。近年來，觀察人員只監視從均具有分析功能的IP照相機獲得的分析結果(元數據或事 件)，以便容易地監視許多照相機。但是，當僅僅依據IP照相機中的資源(CPU性能，存儲器大小等)進行分析處理 時，難以進行充分的處理。為了使每臺IP照相機進行分析處理，要求IP照相機具有諸如高 性能CPU和存儲器之類的硬體。目前，儘管在IP照相機中進行諸如運動對象檢測之類的簡單處理，不過在IP照相 機中未進行使用大量存儲器的諸如面部識別，車輛識別和匹配處理之類的複雜處理。鑑於上面所述，希望提供一種能夠在包括攝像設備的監視系統中高效進行分析處 理的新的改進監視系統、攝像設備、分析設備和監視方法。按照本發明的一個實施例，提供一種監視系統，它包括攝像設備和分析設備，所述 攝像設備包括根據從拍攝對象的圖像的攝像部分輸入的圖像數據，進行分析處理，並生成 第一元數據的基礎分析部分，和通過網絡把第一元數據和不同於第一元數據的第二元數據 輸出給與網絡連接的監視設備的第一元數據輸出部分，所述分析設備包括根據從攝像設備 接收的圖像數據，進行與基礎分析部分不同的分析處理，並生成第二元數據的擴展分析部 分，和把第二元數據輸出給攝像設備的第二元數據輸出部分。監視系統可包括多個攝像設備。分析設備還可包括合成根據來自一個攝像設備的 圖像數據生成的第二元數據，和根據來自另一個攝像設備的圖像數據生成的第二元數據的 元數據合成部分，第二元數據輸出部分把合成的元數據輸出給所述一個攝像設備。分析設備可包括多個擴展分析部分，每個擴展分析部分進行不同的分析處理和產生不同的第二元數據，分析設備還包括合成由每個擴展分析部分生成的第二元數據，從而 生成合成元數據的元數據合成部分，第二元數據輸出部分可把合成的元數據輸出給攝像設 備。按照本發明的一個實施例，提供一種攝像設備，它包括根據從拍攝對象的圖像的 攝像部分輸入的圖像數據，進行分析處理，從而生成第一元數據的基礎分析部分，和通過網 絡把第一元數據和第二元數據輸出給與網絡連接的監視設備的第一元數據輸出部分，所述 第二元數據是通過根據從攝像設備接收的圖像數據，進行與基礎分析部分不同的分析處 理，在分析設備中的擴展分析部分中生成的。攝像設備還可包括合成第一元數據和第二元數據，從而生成合成元數據的元數據 合成部分。第一元數據輸出部分可把合成的元數據輸出給監視設備。按照本發明的一個實施例，提供一種分析設備，它包括從具有基礎分析部分和第 一元數據輸出部分的多個攝像設備接收圖像數據，並根據接收的圖像數據進行不同於基礎 分析部分的分析處理，從而生成第二元數據的擴展分析部分，和把第二元數據輸出給攝像 設備的第二元數據輸出部分，所述多個攝像設備的基礎分析部分根據從拍攝對象的圖像的 攝像部分輸入的圖像數據，進行分析處理並生成第一元數據，第一元數據輸出部分通過網 絡把第一元數據和不同於第一元數據的第二元數據輸出給與網絡連接的監視設備。分析設備還可包括合成根據來自一個攝像設備的圖像數據生成的第二元數據，和 根據來自另一個攝像設備的圖像數據生成的第二元數據的元數據合成部分。第二元數據輸 出部分把合成的元數據輸出給攝像設備。分析設備可包括多個擴展分析部分，每個擴展分析部分進行不同的分析處理和 產生不同的第二元數據，分析設備還包括合成由每個擴展分析部分生成的第二元數據，從 而生成合成元數據的元數據合成部分，第二元數據輸出部分把合成的元數據輸出給攝像設備。按照本發明的一個實施例，提供一種監視方法，包括下述步驟由攝像設備根據 從拍攝對象的圖像的攝像部分輸入的圖像數據，進行分析處理，並生成第一元數據，由分析 設備根據從攝像設備接收的圖像數據進行分析處理，並生成不同於第一元數據的第二元數 據，由分析設備把第二元數據輸出給攝像設備，和由攝像設備通過網絡把第一元數據和第 二元數據輸出給與網絡連接的監視設備。按照本發明的一個實施例，在包括攝像設備的監視系統中，能夠高效地進行分析處理。


圖1是圖解說明按照本發明的一個實施例的監視系統的結構和連接例子的說明 圖；圖2是圖解說明中央伺服器10，IP照相機100和分析伺服器130之間的關係的連 接框圖；圖3是圖解說明IP照相機100和分析伺服器130之間的能力交換的例子的流程 圖；圖4是圖解說明按照實施例的監視系統中的檢測處理的流程圖5是圖解說明按照實施例的IP照相機100的方框圖；圖6是圖解說明按照實施例的分析伺服器130的方框圖；圖7是圖解說明使用按照實施例的監視系統的分析伺服器130的檢測處理的操作 的流程圖；圖8是圖解說明IP照相機130的安裝例子的說明圖；圖9是圖解說明由每臺IP照相機100拍攝的人物Objl和車輛0bj2的拍攝圖像 例子的說明圖；圖10是圖解說明按照實施例的多臺IP照相機100和分析伺服器130的方框圖；圖11是圖解說明與按照實施例的多臺IP照相機100和分析伺服器130之間的協 作有關的操作的流程圖；以及圖12是圖解說明顯示在監視器12或屏幕上的觀察器180的說明圖。
具體實施例方式下面參考附圖，詳細說明本發明的優選實施例。注意，在說明書和附圖中，實質上 具有相同功能和結構的結構元件用相同的附圖標記表示，這些結構元件的重複說明被省 略。將按照下述順序進行說明1.實施例1-1.監視系統的結構1-2.利用IP照相機100和分析伺服器130的分析處理方法1-3.分析伺服器130的元數據生成方法1-4.監視系統中的檢測處理1-5.監視系統中的利用分析伺服器130的檢測處理1-6. IP照相機100和分析伺服器130之間的協作方法1-7.多臺IP照相機100和分析伺服器130之間的關係1-8.與多臺IP照相機100和分析伺服器130之間的協作有關的操作1-9.關於觀察器1-10.實施例的效果[監視系統的結構]首先，說明按照本發明的實施例的監視系統的結構。圖1是圖解說明按照實施例 的監視系統的結構和連接例子的說明圖。按照實施例的監視系統例如包括多臺IP照相機100，分析伺服器130，在中央控制 IP照相機100的中央伺服器10，監視器12，能夠訪問中央伺服器10的客戶端30，中繼來自 IP照相機100的數據的代理伺服器20，用於傳送數據的網絡等等。IP照相機100是攝像設 備的一個例子，分析伺服器130是分析設備的一個例子。中央伺服器是監視設備的一個例子。作為現有技術的改進，考慮監視系統中的一部分分析處理被分配給外部分析服務 器。不過，即使當使用外部伺服器時，為了響應每個伺服器的負載，以及能夠連接的照相機的數目的增大，也希望高效地降低分析伺服器的負載。於是，在本實施例中，向監視系統中 增加了補充IP照相機100的資源的分析伺服器130。分析伺服器130直接與多臺IP照相 機100連接，起當從中央伺服器10看時，好像中央伺服器10隻與IP照相機100連接的作用。本實施例的特徵在於通過根據多臺IP照相機100的安裝信息，在分析伺服器130 中合成在每臺IP照相機100中產生的分析處理結果，並把合成的結果返回給IP照相機 100，中央伺服器10能夠接收元數據和事件，好像所述元數據和事件是由進行所有處理的 一臺IP照相機100生成似的。[使用IP照相機100和分析伺服器130的分析處理方法]首先，說明使用IP照相機100和分析伺服器130的分析處理方法。IP照相機100是按照IP (網際協議)與網絡連接的照相機。在本說明書中，與觀察人員直接監視的，其上安裝可顯示的觀察器的監視器12連 接的伺服器被稱為「中央伺服器10」。中央伺服器10能夠通過觀察器監視所有的IP照相 機100，並且能夠用包括在中央伺服器10中的記錄器管理所有照相機的記錄數據。為每幾個IP照相機100提供分析伺服器130，分析伺服器130進行不包括在IP照 相機100中的分析處理。代理伺服器20以組的形式管理一些IP照相機100，並在中央伺服器10和IP照相 機100之間中繼數據。觀察人員從中央伺服器10向每臺IP照相機100發送檢測請求，並通過觀察器監 視來自IP照相機100的元數據和事件。此時，觀察人員(中央伺服器10)不必知道分析服 務器130的存在。中央伺服器10認為中央伺服器10直接連接到IP照相機100。觀察人員 可利用客戶端30進行諸如監視之類的操作。圖2圖解說明伺服器之間的關係。圖2是圖解說明中央伺服器10，IP照相機100 和分析伺服器130之間的關係的連接框圖。這裡，為了簡單起見，將省略代理伺服器20的 描述。代理伺服器20位於中央伺服器10和IP照相機100之間，作為其基本功能，具有傳 送檢測請求和元數據的作用。依據來自用戶的指令，中央伺服器10利用GUI (圖形用戶界面)或命令，向IP照 相機100發送與所述指令對應的檢測請求。IP照相機100按照所述指令，把檢測結果作為 元數據傳送給中央伺服器10。作為普通的監視功能，IP照相機拍攝的圖像數據被傳送給中 央伺服器10。從中央伺服器10還向IP照相機100傳送除檢測請求之外的照相機控制命令寸。從IP照相機100傳送的元數據的格式是預定的。例如，使用二進位格式或XML格 式。就傳送的內容來說，當檢測到人物時，傳送如表1中描述的元數據。[表 1] 按照類似的方式，當檢測到車輛時，傳送諸如運動方向，顏色，車輛種類和牌照號 之類的元數據。此外，例如，當通過分析元數據，規則引擎確定諸如對象進入某一區域，或者 對象經過某一虛擬線之類的事件時，傳送該事件。由於CPU、存儲器等的限制，目前的IP照相機難以具有能夠在一臺照相機中處理 如上所述的所有元數據的分析處理功能。例如在目前，在IP照相機中包括檢測在顯示屏幕 中移動的部分的運動對象檢測功能。但是，由於資源不足，IP照相機難以包括上述功能之 外的功能。[分析伺服器130的元數據生成方法]下面說明利用補充IP照相機100的能力的分析伺服器130的元數據生成方法。如圖2中所示，IP照相機100返迴響應來自中央伺服器100的請求的元數據。此 時，IP照相機100與分析伺服器130交換能力。分析伺服器130進行IP照相機100沒有能 力進行的分析處理，IP照相機100從分析伺服器130接收分析處理的結果，IP照相機100 把結果作為元數據返回給中央伺服器10。可以事先在IP照相機100和分析伺服器130之間交換指示包括何種能力的信息。 例如，按照如圖3中圖解說明的方式，能夠進行能力交換。圖3是圖解說明IP照相機100 和分析伺服器130之間的能力交換的例子的流程圖。圖3圖解說明其中在軟體程序之間使 用SOAP的例子，SOAP是一種用於交換消息(對象)的協議。首先，分析伺服器130呼叫IP照相機100 (步驟S101)，IP照相機100響應該呼叫 (步驟S102)。隨後，在步驟S102，分析伺服器130對應答所述呼叫的IP照相機100作出響應。[監視系統中的檢測處理]下面說明按照實施例的監視系統中的檢測處理。圖4是圖解說明按照實施例的監 視系統中的檢測處理的流程圖。
8
首先，中央伺服器10向IP照相機100發送檢測請求(步驟S111)。隨後，IP照相 機100分析該請求(步驟S112)。通過分析該請求，IP照相機100確定IP照相機本身是否 能夠響應該請求(步驟Sl 13)。如果能夠響應該請求，那麼IP照相機100獨自響應該請求 (步驟 S121)。另一方面，如果不能響應該請求，那麼IP照相機100搜索分析伺服器130 (步驟 S114)。當IP照相機100不能找到分析伺服器130時(步驟S115)，IP照相機100利用只 包括在IP照相機100中的能力創建和返回元數據(步驟S121)。這種情況下，元數據的不 足部分被清空或者被忽略，並傳送元數據。當IP照相機100能夠找到分析伺服器130時(步驟Sl 15)，IP照相機100與分析 伺服器130交換能力(步驟S116)。當分析伺服器130沒有能力進行所請求的處理時，例 如，當所請求的處理不同於分析伺服器130能夠進行的處理(關於人或者關於車輛的處理) 時(步驟S117)，IP照相機100使用只包括在IP照相機100中的能力創建和返回元數據。 這種情況下，元數據的不足部分被清空或者被忽略，並傳送元數據。另一方面，當分析伺服器130有能力進行所請求的處理時，進行檢測處理(步驟 S118)。下面說明利用分析伺服器130的檢測處理。[利用監視系統中的分析伺服器130的檢測處理]下面說明利用按照實施例的監視系統中的分析伺服器130的檢測處理。圖5是 圖解說明按照實施例的IP照相機100的方框圖。圖6是圖解說明按照實施例的分析服務 器130的方框圖。為了簡單起見，將主要描述IP照相機100和分析伺服器130之間的關 系。在圖5和6中，以及當參考圖5和6描述處理時，「...A」表示IP照相機100進行處理， 「.· · B」表示分析伺服器130進行處理，「...C」表示數據被合成。每次元數據或事件經過功 能塊("...部分」)時，添加到元數據和事件尾部的數字被遞增，不過，元數據或事件基本 上是相同的數據，與尾部數字無關。來自中央伺服器10的檢測請求被發送給IP照相機100的分析控制部分102。分 析控制部分102按照所述請求，向基礎分析部分104和照相機-伺服器通信部分A106發送 控制信號。當分析控制部分102確定需要分析伺服器130時，照相機-伺服器通信部分A與 分析伺服器130交換能力，獲得保存在分析伺服器130的分析伺服器能力數據部分中的分 析伺服器能力。除非檢測請求發生變化，否則不必再次交換能力。獲得的分析伺服器能力 被記錄在分析伺服器能力數據存儲部分108中。IP照相機100與具有適合於檢測請求的分 析伺服器能力的分析伺服器130通信。經過由諸如透鏡、圖像傳感器(例如，CMOS圖像傳感器和CXD圖像傳感器)之類 光學系統構成的攝像部分，輸入圖像被發送給基礎分析部分104。基礎分析部分104通過例 如進行運動對象檢測處理，利用輸入的圖像生成元數據Al。此時，例如，在上面說明的表1 中的元數據中，通過運動對象檢測處理獲得外接矩形的信息。在IP照相機100的基礎分析部分104中產生的元數據Al被傳送給照相機-服務 器通信部分A106。IP照相機100中的照相機-伺服器通信部分A106向分析伺服器130中 的照相機_伺服器通信部分B132傳送數據/從照相機_伺服器通信部分B132接收數據。IP照相機100把圖像數據、照相機狀態、元數據A2、控制命令Al等傳送給分析伺服器130。圖像數據是輸入圖像。輸入圖像可被轉換成JPEG等，圖像的大小可被改變。照 相機狀態指示例如照相機的當前搖攝/俯仰/變焦值。元數據A2指示在IP照相機100的 基礎分析部分104中生成的元數據。控制命令Al指示用於分析伺服器130中的分析的參數。分析伺服器130把元數據B2、事件B2和控制命令Bl傳送給IP照相機100。元數 據B2是在分析伺服器130的擴展分析部分136中生成的元數據。例如，擴展分析部分136 進行面部檢測處理，並產生諸如頭部位置、頭部定向、面部五官的位置、面部分數(它們是 在上表1中描述的元數據)之類的信息。通過面部分析處理，獲得諸如男性/女性和年齡 之類的面部屬性。此外，獲得用於面部匹配處理的面部特徵量。事件B2是根據元數據Bl是否遵守某一規則而生成的信息。規則引擎部分B138 通過應用諸如對象進入圖像中的某一區域，或者對象通過某一虛擬線之類的規則，產生事 件Bi，和根據對象是否遵守所述規則產生事件Bi。在本實施例中，事件生成和事件處理不 是必不可少的功能。控制命令Bl例如是當進行跟蹤處理時，改變IP照相機100的搖攝/俯仰/變焦 功能的命令。跟蹤處理是其中IP照相機100利用機構控制功能跟蹤對象的處理。元數據合成部分112通過合成從分析伺服器130傳送給IP照相機100的元數據 B3，和從IP照相機100中的基礎分析部分104獲得的元數據Al，生成元數據C。元數據C 被傳送給元數據通信部分114 (第一元數據輸出部分)，並作為元數據流被傳送給中央服務 器10。可不在IP照相機100中合成元數據Al和元數據B3，而是單獨傳送它們，然後可在 中央伺服器10中合成元數據Al和元數據B3。元數據C由規則引擎部分A116轉換成事件Al，並作為事件流由事件通信部分118 傳送給中央伺服器10。輸入圖像在圖像通信部分122中被轉換，並作為圖像流被傳送給中 央伺服器10。中央伺服器10利用GUI等顯示每個接收的流，從而以報警的形式向用戶顯示，並
記錄數據/圖像。圖5圖解說明IP照相機100與中央伺服器10連接的網絡不同於IP照相機100 與分析伺服器130連接的網絡。換句話說，在圖5中，為了澄清每個伺服器的功能的作用， 每個伺服器的功能被圖解表示成獨立的功能塊。不過，實施例並不局限於這種結構。例如， IP照相機100可被安裝成以致通過把傳輸地址切換成中央伺服器10的地址或者分析服務 器130的地址，使IP照相機100通過相同的功能塊與中央伺服器10連接，或者與分析服務 器130連接。具體地說，圖像通信部分122和元數據通信部分114的功能可被包括在照相 機_伺服器通信部分A106中，從而它們可被集成到一個功能塊中。下面，說明利用按照實施例的監視系統的分析伺服器130的檢測處理的操作。圖 7是圖解說明利用按照實施例的監視系統的分析伺服器130的檢測處理的操作的流程圖。圖7是圖解說明圖4中的步驟S118中的檢測處理的流程圖。圖7主要圖解說明 元數據的流動。於是將省略與規則引擎部分A116和規則引擎部分B138相關的描述。
在IP照相機100中，IP照相機100的基礎分析部分104進行分析處理，隨後進行 檢測處理(步驟S131)。基礎分析部分104生成元數據Al (步驟S132)。 之後，與檢測源信息相關的必要信息從IP照相機100的照相機_伺服器通信部分A106被傳送給分析伺服器130的照相機-伺服器通信部分B132 (第二元數據輸出部分) (步驟S141)。這裡，所述必要信息包括圖像數據，照相機狀態，元數據A2和控制命令Al。在IP照相機100和分析伺服器130中並行進行檢測處理。在分析伺服器130中，擴展分析部分136進行分析處理，隨後進行檢測處理(步驟 S142)。擴展分析部分136生成元數據Bl (步驟S143)。分析伺服器130把在擴展分析部分 136中生成的元數據Bl傳送給照相機-伺服器通信部分B132，和把來自照相機-伺服器通 信部分B132的元數據B2傳送給IP照相機100 (步驟S144)。之後，在IP照相機100中，元數據合成部分112通過合成元數據Al和元數據B3， 生成元數據C (步驟S133)。元數據Al和元數據B3可以不在IP照相機100中被合成，而是 在中央伺服器10中被合成。IP照相機100把元數據C傳送給中央伺服器10 (步驟S134)。對每個處理幀進行 上述操作。處理幀可包括相同數目的普通圖像幀，或者可包括數目適當減少的圖像幀。[IP照相機100和分析伺服器130之間的協作方法]下面說明當相互連接多個IP照相機100和分析伺服器130時的高效協作方法。圖 8是圖解說明IP照相機100的安裝例子的說明圖。在圖8中，沿警戒區的外圍布置多個IP 照相機100 (這裡，由IP照相機100-1，IP照相機100-2和IP照相機100-3組成的三個IP 照相機)。圖9是圖解說明由每臺IP照相機100拍攝的人物Objl和車輛0bj2的拍攝圖像 例子的說明圖。當對IP照相機100進行位置校準時，可以計算每臺IP照相機100拍攝的運動區 域是否相同。替換地，通過參照目標對象的顏色信息和形狀信息，能夠識別目標對象。利用 上面的事實，使基於來自IP照相機100-3的圖像數據，在擴展分析部分136中生成的元數 據與基於IP照相機100-1的元數據合成。結果，能夠輸出如圖9a-l中所示的太小以至於 不能在IP照相機100-1中獲得面部屬性的目標對象(人物Objl)的面部屬性，作為IP照 相機100-1的元數據。如上所述，中央伺服器10表現得好像它只與IP照相機100連接似的。這是因為 由分析伺服器130和IP照相機100-3生成，並且難以由IP照相機100-1生成的元數據能 夠仿佛是由IP照相機100-1生成似的被輸出。按照類似的方式，例如，即使當目標對象(車輛0bj2)在圖像中太小，如圖9b_l中 所示，以至難以識別牌照號碼時，通過利用分析伺服器130和IP照相機100-3，也能夠生成 被增加牌照號碼信息的元數據，並從IP照相機100-1輸出該元數據。[多臺IP照相機100和分析伺服器130之間的關係]下面說明按照實施例的多臺IP照相機100和分析伺服器130之間的關係。圖10 是圖解說明按照實施例的多臺IP照相機100和分析伺服器130的方框圖。在圖10的例子 中，說明其中有三臺IP照相機100的情況，所述三臺IP照相機100是第一照相機100-1，第 二照相機100-2和第三照相機100-3。安裝的IP照相機100的數目並不局限於在圖10中 圖解說明的例子中的IP照相機100的數目。第一照相機100-1 (同樣地，第二照相機100-2，第三照相機100_3)的基礎分析部 分104生成元數據Al-I (元數據A1-2，元數據A1-3)。
照相機-伺服器通信部分A106接收生成的元數據Al-I (元數據Al_2，元數據 A1-3)，圖像數據等，並把元數據A2-1 (元數據A2-2，元數據A2-3)，圖像數據等傳送給分析 伺服器130。照相機-伺服器通信部分A106從分析伺服器130接收由分析伺服器130生成 的元數據E2。分析伺服器130的照相機-伺服器通信部分B132從每臺IP照相機100 (第一照相 機100-1，第二照相機100-2，第三照相機100-3)接收元數據A2 (元數據A2-1，元數據A2-2， 元數據A2-3)和圖像數據。照相機-伺服器通信部分B132向每臺IP照相機100傳送元數 據E2。分析伺服器130的照相機協作信息部分142事先從IP照相機100接收諸如每臺 IP照相機100 (第一照相機100-1，第二照相機100-2，第三照相機100-3)的位置校準數據 之類的協作信息，並保存所述協作信息。識別部分144根據來自IP照相機100的元數據，確定由每臺IP照相機100生成 的元數據代表的目標對象是否彼此相同。擴展分析部分(N) 136-N進行諸如人物檢測、面部檢測和面部鑑別之類的分析處 理，並生成元數據Bi。擴展分析部分(N) 136-N表示各個功能塊的每個擴展分析部分具 有彼此不同的功能。例如，擴展分析部分(1)136-1具有人物檢測的功能，擴展分析部分 (2) 136-2具有面部檢測的功能，擴展分析部分(3) 136-3具有面部鑑別的功能，等等。元數據合成部分B148合成根據來自IP照相機100的數據生成的每個元數據和其 它IP照相機100根據由識別部分144生成的識別信號獲得的元數據信息。例如，元數據合 成部分B148合成根據來自第一照相機100-1的數據生成的元數據和由第二照相機100-2 及第三照相機100-3根據由識別部分144生成的識別信號獲得的元數據信息。元數據緩衝部分146保存其它IP照相機100的元數據和該IP照相機100本身在 其它時間的元數據，並在合成元數據時使用這些元數據。[與多臺IP照相機100和分析伺服器130之間的協作相關的操作]下面說明與多臺IP照相機100和分析伺服器130之間的協作相關的操作。圖11 是圖解說明與按照實施例的多臺IP照相機100和分析伺服器130之間的協作相關的操作 的流程圖。圖11中圖解說明的流程圖不包括對分析伺服器130的照相機協作信息的預先 傳輸。由於每臺IP照相機100具有相同的處理流程，因此在該流程圖中將省略相同處理流 程的說明。圖11是圖解說明圖4中的步驟S118中的檢測處理的流程圖。首先，在每臺IP照相機100中，IP照相機100的基礎分析部分104進行分析處理， 隨後進行檢測處理(步驟S131)。基礎分析部分104生成元數據Al (步驟S132)。之後，從IP照相機100的照相機-伺服器通信部分A106向分析伺服器130的照 相機-伺服器通信部分B132傳送與檢測源信息相關的必要信息(步驟S141)。這裡，所述 必要信息包括圖像數據，照相機狀態，元數據A2和控制命令Al。在IP照相機100和分析伺服器130中並行進行檢測處理。在分析伺服器130中， 並行進行兩種流程。在分析伺服器130中，擴展分析部分136進行分析處理，隨後進行檢測處理(步驟 S142)。擴展分析部分生成元數據Bl (步驟S143)。生成的元數據Bl被保存在元數據緩衝部分146中(步驟S151)。在步驟S162中，保存的元數據Bl作為元數據D被元數據合成部分B148調用。另一方面，利用經照相機-伺服器通信部分B132從IP照相機100傳送給分析服 務器130的元數據A3，和保存在照相機協作信息部分142中的照相機協作信息，進行識別處 理(步驟S161)。在識別處理中，從元數據緩衝部分146中的其它照相機的元數據和當前使 用的照相機的其它時間的元數據中，搜索相同的目標對象。從元數據緩衝部分146調用在多個IP照相機100中被識別為相同的目標對象的 元數據(步驟S162)。之後，元數據合成部分B148合成在擴展分析部分136-N中生成的元數據Bl和從 元數據緩衝部分146調用的元數據D (步驟S171)。分析伺服器130把在擴展分析部分136中生成的元數據Bl傳送給照相機_服務 器通信部分B132，並把來自照相機-伺服器通信部分B132的元數據B2傳送給IP照相機 100(步驟 S144)。之後，在IP照相機100中，元數據合成部分112通過合成在IP照相機100中生成 的元數據Al，和從分析伺服器130傳來的元數據B3，生成元數據C(步驟S133)。可不在IP 照相機100中合成元數據Al和元數據B3，而是在中央伺服器10中合成元數據Al和元數據 B3。IP照相機100把合成的元數據C傳送給中央伺服器10 (步驟S134)。對每個處理 幀進行上述操作。處理幀可包括相同數目的普通圖像幀，或者可包括數目適當減少的圖像 幀。[關於觀察器]下面，說明顯示在按照實施例的監視系統中的監視器12或者客戶端30的屏幕上 的觀察器。圖12是圖解說明顯示在監視器12或屏幕上的觀察器180的說明圖。觀察器180例如包括照相機圖像面板182，控制面板184，報警列表面板186等等。照相機圖像面板182排列和顯示多臺IP照相機100的圖像。儘管在圖12中，照 相機圖像面板182是2X2的矩陣，不過實施例並不局限於此。例如，照相機圖像面板182 可以是1 X 1的矩陣，16 X 16的矩陣，或者2 X 3的矩陣。這裡，儘管通過分割監視器屏幕，把 照相機圖像顯示在一個監視器12上，不過通過利用多個監視器12，可把每臺IP照相機100 的圖像各自顯示在一個監視器12上。例如，一臺IP照相機100的圖像可被顯示在一個監 視器12上。控制面板184由進行諸如IP照相機100的PTZ設置和中央伺服器10的記錄設置 之類的控制的GUI構成。報警列表面板186顯示在IP照相機100或中央伺服器10中產生的報警的列表。圖12A是圖解說明當分析伺服器130的檢測處理被關閉時的狀態的說明圖。當分 析伺服器130的檢測處理被關閉時，檢測框192 (虛線部分)被顯示在照相機圖像面板182 中的IP照相機的目標對象上。同時，報警和元數據被顯示在報警列表面板186上。圖12B是圖解說明當分析伺服器130的檢測處理被打開時的狀態的說明圖。當分 析伺服器130的檢測處理被打開時，檢測框192被顯示在照相機圖像面板182中的IP照相 機的目標對象上，還能夠顯示附加信息194。例如，當目標對象是人物時，根據另一臺IP照 相機100檢測的，並記錄在資料庫中的姓名被顯示為附加信息194。當目標對象是車輛時，在另一臺IP照相機100中檢測的牌照號碼信息被顯示為附加信息194。同時，其中增加作 為詳細信息登記的姓名和牌照號碼的報警和元數據被顯示在報警列表面板194上。[實施例的效果]如上所述，實施例涉及依據來自中央伺服器10的請求，在IP照相機100中生成的 元數據的產生方法。在實施例中，多臺IP照相機100和分析伺服器130高效地共享處理， 並產生元數據。按照實施例，中央伺服器10能夠在不知道分析伺服器130的存在的情況下進行操 作。當分析伺服器130和IP照相機100互連時，當從中央伺服器10觀察時，所請求的元數 據的信息量和內容量增大。另一方面，當分析伺服器130和IP照相機100不互連時，當從 中央伺服器10觀察時，所請求的元數據包括最少數量的信息和最少數量的內容。當多臺IP照相機100與分析伺服器130連接時，如果另一臺IP照相機100與當 前使用的IP照相機拍攝相同的目標對象，那麼藉助分析伺服器130，能夠把當前使用的IP 照相機難以獲得的信息增加到元數據中。從而，即使當一臺IP照相機100本身並不具有高 水平的分析能力時，當從中央伺服器10看來時，該IP照相機也能夠表現得好像它具有高水 平的分析能力似的。本領域的技術人員應明白根據設計要求和其它因素，可做出各種修改、組合、子組 合和變更，只要它們在附加權利要求或其它等同物的範圍之內。本申請包含與在2009年5月21日向日本專利局提交的日本優先權專利申請 JP2009-123413中公開的主題相關的主題，該申請的整個內容在此通過引用被併入。
權利要求
一種監視系統，包括攝像設備，包括基於從拍攝對象的圖像的攝像部分輸入的圖像數據進行分析處理、並生成第一元數據的基礎分析部分，和通過網絡把所述第一元數據和不同於所述第一元數據的第二元數據輸出給與所述網絡連接的監視設備的第一元數據輸出部分；和分析設備，包括基於從所述攝像設備接收的圖像數據進行與所述基礎分析部分不同的分析處理、並生成所述第二元數據的擴展分析部分，和把所述第二元數據輸出給所述攝像設備的第二元數據輸出部分。
2.按照權利要求1所述的監視系統，包括 多個所述攝像設備，其中所述分析設備還包括合成基於來自所述攝像設備中的一個攝像設備的圖像數據 生成的第二元數據和基於來自所述攝像設備中的另一攝像設備的圖像數據生成的第二元 數據的元數據合成部分，以及所述第二元數據輸出部分把合成的元數據輸出給所述攝像設備。
3.按照權利要求1所述的監視系統，其中所述分析設備包括多個所述擴展分析部分，每個擴展分析部分進行不同的分析處 理並生成不同的第二元數據，所述分析設備還包括合成由每個擴展分析部分生成的第二元數據、從而生成合成的元 數據的元數據合成部分，以及所述第二元數據輸出部分把合成的元數據輸出給所述攝像設備。
4.一種攝像設備，包括根據從拍攝對象的圖像的攝像部分輸入的圖像數據進行分析處理、從而生成第一元數 據的基礎分析部分；和通過網絡把所述第一元數據和第二元數據輸出給與所述網絡連接的監視設備的第一 元數據輸出部分，所述第二元數據是在分析設備中的擴展分析部分中通過基於從所述攝像 設備接收的圖像數據進行與所述基礎分析部分不同的分析處理而生成的。
5.按照權利要求4所述的攝像設備，還包括合成所述第一元數據和所述第二元數據、從而生成合成的元數據的元數據合成部分， 其中所述第一元數據輸出部分把合成的元數據輸出給所述監視設備。
6.一種分析設備，包括從具有基礎分析部分和第一元數據輸出部分的多個攝像設備接收圖像數據，並基於所 接收的圖像數據進行不同於所述基礎分析部分的分析處理、從而生成第二元數據的擴展分 析部分，所述基礎分析部分基於從拍攝對象的圖像的攝像部分輸入的圖像數據進行分析處 理並生成第一元數據，所述第一元數據輸出部分通過網絡把所述第一元數據和不同於所述 第一元數據的第二元數據輸出給與所述網絡連接的監視設備；和 把所述第二元數據輸出給所述攝像設備的第二元數據輸出部分。
7.按照權利要求6所述的分析設備，還包括合成基於來自所述攝像設備中的一個攝像設備的圖像數據生成的第二元數據和基於 來自所述攝像設備中的另一攝像設備的圖像數據生成的第二元數據的元數據合成部分， 其中所述第二元數據輸出部分把合成的元數據輸出給所述攝像設備。
8.按照權利要求6所述的分析設備，其中所述分析設備包括多個所述擴展分析部分，每個擴展分析部分進行不同的分析處 理並生成不同的第二元數據，所述分析設備還包括合成由每個擴展分析部分生成的第二元數據、從而生成合成的元 數據的元數據合成部分，以及所述第二元數據輸出部分把合成的元數據輸出給所述攝像設備。
9.一種監視方法，包括下述步驟由攝像設備基於從拍攝對象的圖像的攝像部分輸入的圖像數據進行分析處理，並生成 第一元數據；由分析設備基於從所述攝像設備接收的圖像數據進行分析處理，並生成不同於所述第 一元數據的第二元數據；由所述分析設備把所述第二元數據輸出給所述攝像設備；和由所述攝像設備通過網絡把所述第一元數據和所述第二元數據輸出給與所述網絡連 接的監視設備。
全文摘要
本發明公開了監視系統、攝像設備、分析設備和監視方法。提供一種監視系統，它包括攝像設備，所述攝像設備包括根據從拍攝對象的圖像的攝像部分輸入的圖像數據，進行分析處理，並生成第一元數據的基礎分析部分，和通過網絡把第一元數據和不同於第一元數據的第二元數據輸出給與網絡連接的監視設備的第一元數據輸出部分，和分析設備，所述分析設備包括根據從攝像設備接收的圖像數據，進行與基礎分析部分不同的分析處理，並生成第二元數據的擴展分析部分，和把第二元數據輸出給攝像設備的第二元數據輸出部分。
文檔編號G06T7/20GK101895727SQ20101018084
公開日2010年11月24日 申請日期2010年5月14日 優先權日2009年5月21日
發明者保木本晃弘, 竹內英人 申請人:索尼公司