基於監控視頻的行李傳送倉人體檢測系統的製作方法

2023-06-18 05:13:46

專利名稱：基於監控視頻的行李傳送倉人體檢測系統的製作方法
技術領域：
本發明涉及一種視頻監控技術，具體地說，涉及一種數字視頻與圖像的 處理與應用技術。
背景技術：
行李傳送倉是客運、貨運系統當中專供行李傳送的通道，在大多數運輸 機構的規章制度當中，禁止有人進入傳送倉內。以往的運營工作表明，有為 達到盜竊、逃票或者偷渡目的的不法分子，甚至恐怖分子，會利用各種手段 進入行李傳送倉，很容易造成對旅客生命及物質財產的危害。
因此，對行李傳送倉進行人體檢測，以防止有人進入倉體，是十分必要 的。現有的針對行李傳送倉的人體檢測方法分為兩大類。第一類採用完全的 人工檢測，即安排工作人員於傳送倉口，或者監控屏幕前進行監管。這類方 法的主要缺陷在於耗費大量人力資源，無法避免人的主觀因素所可能導致的 錯誤，例如工作人員因疲勞造成誤檢及漏檢，甚至與犯罪分子私通等十分嚴
重的潛在問題；第二類採用自動檢測，在現有方法當中，多數採用利用人體 與行李熱量差別的紅外線熱感應技術。實際經驗表明，這種方法在冬季的效 果較好，但在夏季，由於環境溫度升高，經過陽光直射的行李很容易被誤檢 為人體。

發明內容
基於對上述現有技術的分析，本發明的目的在於避免上述缺陷，提供一 種基於監控視頻的行李傳送倉人體檢測系統；其基於行李傳送倉內的監控視 頻，利用數字視頻與圖像處理技術，採用計算機視覺特徵提取算法，搭建針 對行李傳送倉的自動人體檢測系統。
本發明的技術方案如下
根據本發明的一種基於監控視頻的行李傳送倉人體檢測系統，包括安裝 在行李傳送倉內的監控攝像頭，由該監控攝像頭送出的模擬信號，再傳送到位於觀察室中的顯示屏，其向安保人員顯示該攝像頭所拍攝的實時圖像，所述 模擬信號經由轉換器轉換成數字視頻信號，之後，由自動監控模塊中的基於 規則的人體檢測模塊進行人體信息檢測，並向安保人員提供報警信號，進行 安保處理，特點是，該基於規則的人體檢測模塊未檢測出人體信息的數字視 頻信號，再送基於計算機視覺特徵的人體檢測模塊進行人體檢測。
所述的基於規則的人體檢測模塊包括建模子模塊，接收數字視頻信號，
將其轉化成帶有語義的數字模型；用戶定製規則子模塊，其提供簡單的判定 視頻信號中的人體信息；分別接收建模子模塊和用戶定製規則子模塊的輸出 信息的基於規則的人體檢測子模塊；以及連接人體檢測子模塊的判定檢測到 人體信息的輸出子模塊。
所述的用戶定製規則子模塊系人為制定規則的子模塊。 所述的人為制定規則的定製子模塊，其內容在形式上為一張人為規則列表。
所述的規則列表包括a.面積過小的前景區不可能為人體；b.行李不可 能位於傳送帶以外；c.行李的運動方向不可能與傳送帶的運動方向相反。
所述的基於計算機視覺特徵的人體檢測模塊，其包括依次以數據流聯結 的視覺特徵計算子模塊、分類器。其中，視覺特徵計算子模塊連接該判定人 體信息的輸出子模塊，進行對人體信息的二次檢測，通過檢測判定丟棄或送 報警模塊報警。
所述的視覺特徵計算子模塊以當前視頻前景圖像作為輸入，包括依次以 數據流聯結的低閾值下的Ca皿y邊緣檢測子模塊、分塊計算子模塊、各塊邊
緣密度計算子模塊、各塊邊緣密度排序子模塊、二次提取子模塊，用於檢測 人體的計算機視覺特徵向量。
所述的監控攝像頭選用解析度為100000像素以上，拍攝視頻每秒15幀 以上的任意彩色攝像頭，拍攝角度固定，並伴有照明設施或所述的監控攝像 頭選用三枚攝頭，在傳送帶垂直上方架設第一隻監控攝像頭，其拍攝角度與 傳送帶呈45。；在傳送帶正左右兩側各設第二、第三枚攝像頭，該攝像頭均 為解析度大於100000像素，拍攝視頻每秒最高15幀以上的任意彩色攝像頭， 並相應配設照明設備。
本發明的優點是克服了現有技術的缺點，明顯提高了工作效率，節省 人力及物質成本、開銷；特別是使用計算機的視覺特徵識別方式，來克服使用紅外檢測方式導致的夏季難以區分人體與行李的問題，從而達到快速可靠 地檢測行李傳送倉中的人體，保證了運營安全。


圖l是本發明的系統結構圖。
圖2是本發明的自動監控模塊的子模塊結構示意圖。 圖3是本發明的基於計算機視覺特徵的人體檢測模塊的二次檢測結構示 意圖。
圖4是本發明中單監控攝像頭的實施例側視示意圖。
圖5 (1)是本發明中安裝三枚監控攝像頭的實施例側視示意圖。
圖5 (2)是本發明中安裝三枚監控攝像頭的實施例頂視示意圖。
具體實施例方式
下面根據圖1—圖5給出本發明的較好實施例，並予以詳細說明，使能 更好地理解本發明而不是用來限制本發明的範圍。
系統以及外圍組成部分結構如圖l所示，首先由安裝在行李傳送倉內的 監控攝像頭拍攝實時監控畫面，監控畫面以模擬信號的形式在線路上傳送至 監控室屏幕以及信號轉換器，信號轉換器將模擬視頻信號轉化為數字視頻信
號，並作為自動監控模塊的輸入。模塊採用兩層架構對輸入的視頻信號進行 智能分析，並對檢測到的傳送倉內的人體進行報警，報警之後由相應的外圍 模塊對相應的視頻數據進行存貯，記錄等操作。相關安保人員接收到報警信 號之後採取相關操作。
圖1中各個部分的釋義及功能如下
監控攝像頭l:安裝在行李傳送倉內，拍攝倉體內的實時視頻。 模擬信號2:由監控攝像頭1拍攝的模擬信號視頻流。 轉換器3:將模擬視頻信號2轉化為數字視頻信號4。 數字視頻信號4:由數位訊號編碼的視頻流。
自動監控模塊5:接收數字視頻信號4，並基於數字視頻信號4進行一系
列分析來判斷傳送倉內是否有人存在，分為兩層架構
基於規則的人體檢測模塊51:第一層模塊，基於預先定義好的規則來進
行分析與檢測。基於計算機視覺特徵人體檢測模塊52:第二層模塊，基於計算機視覺特 徵來進行分析與檢測。
報警模塊6:根據監控模塊的輸出進行報警。
監控室屏幕7:監控室原有的監控屏幕，播放實時的監控視頻。 安保工作人員8:根據報警信號6採取相關行動。
圖1中編號為5的自動監控模塊為本發明中的主要組成部分，其對數字 視頻的處理如圖2所示。
首先將數字視頻信號4進行建模，從而使之轉化為帶有語義信息的數學
模型。根據該數學模型，可以對監控視頻制定一組人為的，簡單的規則，來 對監控視頻進行初步的分析與檢測。這個過程當中，規則是可以根據不同的 行李倉特點由用戶人為制定，只要規則內容符合客觀事實即可。根據該規則， 即可檢測到一部分判斷起來相對簡單的人體，即為圖中的基於規則的人體檢
測模塊51。
上述識別的是一部分判斷起來相對簡單的人體，但是還有一部分人會偽 裝成行李，或者從行為、姿態和輪廓上難以通過簡單的規則進行檢測。對於 這一類人體，沒有相對固定的姿態和輪廓，其位置和運動特徵都與行李相近， 基於特定姿態的人體檢測技術無法提供有效的檢測方法。因此採用自主創新 的計算機視覺特徵，以提取前景圖像的細節特徵，並通過模式識別分類器來
判斷其是否為人體，即為圖中的基於視覺特徵的人體檢測模塊52。 圖2中各個部分的釋義及功能如下-
數字視頻信號4:其為由數位訊號編碼的視頻流。
基於規則的人體檢測模塊51:的第一層模塊，基於預先定義好的規則來
進行分析與檢測。
建模子模塊511:建模的目的是使數字視頻轉化為帶有語義信息的數學
模型。首先對每一幀視頻畫面進行前景區域的提取。提取算法基於對背景的
高斯建模。將每一幀當中的前景區域建模為三個數字或者向量，分別是區 域面積、位置信息以及運動軌跡。其中區域面積採用前景像素點數量表示， 位置信息採用前景區域的像素坐標均值來表示，而運動軌跡則由一組數據當
中前景區域的運動軌跡表示，首先由當前圖像與之前的連續k幀組成一組圖 像。先計算各圖像的前景像素坐標均值，然後將k+l對均值在水平和垂直兩 個方向上前後兩兩計算差值，最後計算差值的均值。k的取值應當體現短時間內(2秒以內)的倉內運動物體的運動特點，但是同時不得超過計算機的 處理能力。
檢測子模塊512:根據建模子模塊得到的數學模型以及人為制定的一組 規則，來檢測視頻中的人體。
用戶定製規則子模塊513:此處用戶定製規則子模塊513是指根據數學
模型制定的一組人為的，簡單的規則，來對監控視頻進行初步的分析與檢測。 這個過程當中，規則可以根據不同的行李傳送倉特點來制定，只要規則內容 符合客觀事實即可。其要點在於描述清楚行李的體積、運動方向、速度等特點。
基於計算機視覺特徵的人體檢測模塊52:其為監控模塊5中的第二層結
構，基於計算機視覺特徵來進行分析與檢測。用於檢測基於規則監控模塊所 檢測不到的判斷起來相對複雜的人體。
視覺特徵計算子模塊521:該模塊基於暫存器中的當前的視頻圖像，提
取出用於計算機操作的數字向量，在計算機圖像處理領域，稱該向量為視覺 特徵。此處用到的視覺特徵及其提取算法為自主創新內容，也是整個監控模
塊5的核心內容。具體的視覺特徵提取過程將結合圖3進行詳細闡述。
分類器522:分類器是指採用計算機模式識別領域的相關理論，是基於 上述視覺特徵進行判斷的一組算法。在本發明中分類器522的作用是根據視 覺特徵判斷當前視頻畫面中是否有人存在。
自動監控模塊5當中，核心部分是自主創新的計算機視覺特徵。該特徵 的提取進程如圖3所示。首先在之前得到的當前視頻圖像的前景區域上進行 低閾值下的基於Canny算子的邊緣檢測子模塊，得到二值邊緣圖像。分塊之 後計算每一個塊的邊緣圖像密度，得到一個向量，在該向量中，靠近前端的 若干維體現了對圖像中細節的描述。然後採用基於前景區域面積對該向量進 行二次提取與降維。
二次提取過程如下
設初始向量為
— {義1 -5義巾 !
最終的視覺特徵為
y = i:r(，y"…，yJ ("m)
由X得到Y的公式是formula see original document page 9其中，Xw表示圖像當中前景像素點的個數，B是一個控制提取元素疏密 程度的常量，其取值應接近於在視頻當中有人的情況下圖像中可能出現的最 少前景像素點個數。上式的得到的是與形狀，輪廓，前景面積均無關，主要 反映前景細節差異的視覺特徵向量。具體的算法參數將結合實施例給出。
檢測效果與倉內環境以及架設方案有關，具體數字將在具體實施例中給出。
在此列舉兩個具體的實施例，其中實施例1為最低成本實施例，實施例 2為較高成本實施例。
實施例1:
目的於機場行李傳送倉安裝本發明監控檢測系統，對進入傳送倉的人 進行自動檢測，如有人進入進行報警。
在行李傳送倉內，於傳送帶10垂直上方架設監控攝像頭1，攝像頭l拍
攝角度與傳送帶呈45度角，如圖4所示。圖4為傳送倉內側視圖，其中各個
部分釋義如下
監控攝像頭l:安裝在行李傳送倉內，拍攝倉體內的實時視頻。 進貨倉門9:行李入口。 傳送帶10:行李經傳送帶運送。
監控攝像頭1選用解析度100000像素以上，拍攝視頻每秒最高15幀以
上的任意彩色攝像頭，拍攝角度固定。同時沿攝像頭1拍攝角度安裝照明設 施，要求電壓穩定，照明級別與一般房屋室內照明相近即可，安裝點可置於 攝像頭周圍，不出現於拍攝畫面中即可。攝像頭1的線路連接至監控室屏幕， 以及模擬/數位訊號轉換器(若攝像頭即為數字攝像頭，可將轉換器省去)。 轉換器輸出的數字視頻信號接入處理計算機，計算機上安裝上述自動監控模
塊，報警裝置可以依需求而定，例如燈光報警或者聲音報警。計算機要求cpu 主頻2. 0腿z以上，內存512m以上，預裝windows 2000或更新版本作業系統。 模塊當中，首先對輸入的數字視頻信號中的每一幀視頻畫面進行前景區 域的提取。提取算法基於對背景的高斯建模。
對視頻圖像建模過程如下將每一幀當中的前景區域建模為三個數字或 者向量，分別是區域面積、位置信息以及運動軌跡。其中區域面積採用前 景像素點數量表示，未知信息採用前景區域的像素坐標均值來表示，而運動軌跡則由一組數據當中前景區域的運動軌跡表示，首先由當前圖像與之前的 連續4幀組成一組圖像。先計算各圖像的前景像素坐標均值，然後將5對均 值在水平和垂直兩個方向上前後兩兩計算差值，最後計算差值的均值(對於
性能更好的計算機，可以適當提高一組的圖像數量，但最多不可超過20)。
制定規則由人為完成，結合倉體與傳送帶特點制定。例如
(1) 面積過小的前景區域不可能為人體；
(2) 行李不會出現在傳送帶以外；
(3) 行李的運動方向不可能與傳送帶的運送方向相反。
編號為51的基於規則監控模塊根據上述3條規則，即可濾除過小的前景 區域；將出現在傳送帶以外的前景區域判定為人體；將運動方向與傳送帶傳 送方向的夾角過大的前景區域判定為人體。其中傳送帶在監控視頻中的區域 範圍和方向使用人工標記。
隨後編號為52的基於計算機視覺特徵的人體檢測模塊將繼續檢測通過 規則所難以檢測的可能存在的人體。
首先在之前得到的前景區域上進行低閾值下的基於Carmy算子的邊緣檢 測算法，得到二值邊緣圖像。基於Canny算子的邊緣檢測算法在高閾值下可 以很好地提取細節邊緣圖像，從而得到二值邊緣圖像，其中每一個像素以0
或1來表示o
得到邊緣二值圖像後，對其進行分塊。本例設所拍攝圖像尺寸為352 x 288，按16x16為一個塊將其劃分為396個塊。計算每一個塊的邊緣密度，邊 緣密度用一個塊當中邊緣像素點佔總面積的比例來表示。對其按進行由大到 小快速排序，得到一個由大至小的396維向量。由上述二次提取算法公式將 其降維至40維，即公式中參數n為396， m為40， B取值IOOO。
分類器採用k近鄰分類器。
在上述條件下，檢測結果可以達到漏報率小於3%，誤報率小於7%。 實施例2:
目的於機場行李傳送倉安裝本系統，對進入傳送倉的人進行自動檢測，
如有人進入進行報警。
在行李傳送倉內，於傳送帶垂直上方架設監控攝像頭，攝像頭拍攝角度
與傳送帶呈45度角，如圖5 (1)所示。另外於傳送帶正左右兩側各設置一攝像頭，如圖5 (2)所示。安裝過程應注意的是三枚攝像頭所拍攝畫面範圍 應當儘可能相同。圖5為傳送倉內側視圖以及頂視圖，其中各個部分釋義如 下
監控攝像頭11-13:安裝在行李傳送倉內，拍攝倉體內的實時視頻。 進貨倉門9:行李入口。 傳送帶10:行李經傳送帶10運送。
監控攝像頭11-13選用解析度100000像素以上，拍攝視頻每秒最高15
幀以上的任意彩色攝像頭，拍攝角度固定。沿攝像頭拍攝角度分別安裝照明 設施，要求電壓穩定，照明級別與一般房屋室內照明相近即可，安裝點可置 於攝像頭周圍，不出現於拍攝畫面中即可。攝像頭線路連接至監控室屏幕， 以及模擬/數位訊號轉換器(若攝像頭即為數字攝像頭，可將轉換器省去)。 轉換器輸出的數字視頻信號接入處理計算機，計算機上安裝上述監控模塊，
報警裝置可以依需求而定，例如燈光或者聲音。計算機要求cpu主頻4. 0MHz 以上，內存2G以上，預裝windows 2000或更新版本作業系統。
處理過程同實施例l，區別在於，三路視頻數據分別設置進程單獨處理， 在基於規則監控模塊當中，三者互不相關，只要有一組數據滿足規則中對人 體的定義即可判定為人體。在基於視覺特徵監控模塊中，將三組數據計算獲 得的視覺特徵向量羅列成為一個120維向量。
在上述條件下，檢測結果可以達到漏報率小於1%，誤報率小於5%。
權利要求
1.一種基於監控視頻的行李傳送倉人體檢測系統，包括安裝在行李傳送倉內的監控攝像頭(1)，由該監控攝像頭(1)送出的模擬信號(2)，再傳送到位於觀察室中的顯示屏(7)，其向安保人員(8)顯示該攝像頭(1)所拍攝的實時圖像，所述模擬信號(2)經由轉換器(3)轉換成數字視頻信號(4)，由自動監控模塊(5)進行人體檢測，特徵在於，由自動監控模塊(5)中的基於規則的人體檢測模塊(51)進行人體信息檢測，該基於規則的人體檢測模塊(51)未檢測出人體信息的數字視頻信號，再送基於計算機視覺特徵人體檢測模塊(52)進行人體檢測。
2. 根據權利要求1所述的基於監控視頻的行李傳送倉人體檢測系統，其 特徵在於，所述的基於規則的人體檢測模塊(51)包括建模子模塊(511)， 接收數字視頻信號(4),將其轉化成帶有語義的數字模型；用戶定製子模塊(513)，其由用戶提供簡單的規則判定視頻信號中的人體信息；分別接收建 模子模塊(511)和用戶定製規則子模塊(513)的輸出信息的基於規則的人 體檢測子模塊(512)。
3. 根據權利要求2所述的基於監控視頻的行李傳送倉人體檢測系統，其 特徵在於，所述的用戶定製規則子模塊(513)系人為制定規則的定製子模塊。
4. 根據權利要求3所述的基於監控視頻的行李傳送倉人體檢測系統，其 特徵在於，所述的人為制定規則的定製子模塊(513)，其內容在形式上為一 張人為規則列表。
5. 根據權利要求4所述的基於監控視頻的行李傳送倉人體檢測系統，其 特徵在於，所述的規則列表包括a.面積過小的前景區不可能為人體；b.行李 不可能位於傳送帶以外；c.行李的運動方向不可能與傳送帶的運動方向相反。
6. 根據權利要求1或2所述的基於監控視頻的行李傳送倉人體檢測系統， 其特徵在於，所述的基於計算機視覺特徵的人體檢測模塊(52)，其包括依次 以數據流聯結的視覺特徵計算子模塊(521)以及分類器(522)，其中，視覺 特徵計算子模塊(521)連接基於規則的人體檢測子模塊(512)，進行對人體 信息的二次檢測，從而判定丟棄或需要報警。
7. 根據權利要求6所述的基於監控視頻的行李傳送倉人體檢測系統，其 特徵在於，所述的視覺特徵計算子模塊(521)以當前視頻前景圖像作為輸入(5211)，包括依次以數據流聯結的低閾值下的Canny邊緣檢測子模塊(5212)、分塊計算子模塊(5213)、各塊邊緣密度計算子模塊(5214)、各塊 邊緣密度排序子模塊(5215)、 二次提取子模塊(5216)，最終得到用於檢測 人體的計算機視覺特徵向量(5217)。
8. 根據權利要求1所述的基於監控視頻的行李傳送倉人體檢測系統，其 特徵在於，所述的監控攝像頭(1)選用解析度為100000像素以上，拍攝視 頻每秒15幀以上的任意彩色攝像頭，拍攝角度固定，並伴有照明設施。
9. 根據權利要求1所述的基於監控視頻的行李傳送倉人體檢測系統，其 特徵在於，所述的監控攝像頭(1)選用三枚攝頭(11， 12， 13)，在傳送帶 垂直上方架設監控攝像頭(11)，其拍攝角度與傳送帶(10)呈45° ;在傳 送帶正左右兩側各設攝像頭(12)， (13)，該攝像頭(11， 12， 13)均為分辨 率大於100000像素，拍攝視頻每秒最高15幀以上的任意彩色攝像頭，並相 應配設照明設備。
全文摘要
一種基於監控視頻的行李傳送倉人體檢測系統，涉及一種視頻監控技術，具體地說，涉及一種數字視頻與圖像的處理與應用。其應用例如，行李傳送倉作為機場客運、貨運系統當中的重點安全區域，有必要對進入倉體的人進行實時檢測。本發明利用自主創新的計算機視覺特徵構建實時視頻監控檢測模塊，自動檢測傳送倉中出現的人體。該模塊降低了對入侵人體檢測的人力資源的消耗，避免了現有檢測技術的種種弊端，利用監控視頻，實現自動智能檢測，從而提高了監控質量。
文檔編號G06K9/00GK101540891SQ20091004898
公開日2009年9月23日 申請日期2009年4月9日 優先權日2009年4月9日
發明者宋元徵, 張文強, 薛向陽, 紅 路 申請人:復旦大學