基於安全帽檢測的煤礦井下人員定位與跟蹤方法
2023-05-31 21:08:36 2
專利名稱：基於安全帽檢測的煤礦井下人員定位與跟蹤方法
技術領域：
本發明涉及煤礦信息化領域，具體為基於安全帽的煤礦井下人員檢測與跟蹤方 法。
背景技術：
我國是煤炭生產和消費的大國，煤礦的安全生產一直備受關注。目前，由於國家 對煤礦安全日益重視，監管力度不斷加大，大中型煤礦均已大量裝備了煤礦安全監控系統， 在一定程度上遏制了重特大事故的發生。但是，由於缺乏對井下人員位置信息的監控，目 前還普遍存在入井人員管理困難，井上人員難以及時準確掌握井下人員的分布和作業的情 況。煤礦井下還存在著一些危險區域，如有害氣體超標的區域、絞車運行中的斜巷、設備重 地等，這些區域一般禁止工人進入，但井下巷道交錯，環境複雜，普通的告示牌或警鈴通知 方式警示效果不佳。實現入井人員的有效管理、檢測、跟蹤、定位對於煤礦的安全生產、調度 指揮以及事故後的搶險救援都具有重要意義。目前，煤礦井下人員檢測方法有如下幾種 (1).礦用人員定位跟蹤系統。這種系統一般由標識卡、讀卡器、人員檢測分站、通信接口、服 務器等組成，多採用無線射頻識別(RFID)或無線傳感網(WSN)技術實現實時數據採集與存 儲、井下人員考勤、定位、數據聯網、報警提示等一系列功能。但人員定位跟蹤系統存在著一 些問題，如需實現低功耗、高效率的標識卡技術，提高高速條件下定位的準確性，克服井下 無線傳播信道的複雜性對定位精度的影響，還有標識卡、讀卡器價格昂貴等。(2).紅外檢測 技術。可將礦井人員紅外探測計數裝置安裝於井口及開採現場，對出入礦人員進行探測和 計數。但只能對在列隊行走情況下的人員如數識別，在並排或無序行走情況下難以正確識 別。採用紅外技術實現人員檢測如需進一步確定人員的身份及其具體位置，還需要融合身 份確認系統和人員定位系統等技術，增加了監控系統的複雜性，限制了系統的應用。(3).視 頻檢測技術。目前很多煤礦都配備了視頻監控系統，地面調度指揮中心監控人員可以直接 對井下情況進行實時監控，不僅能直觀的監視和記錄井下工作現場的安全生產情況，及時 發現事故苗子，防患於未然，也能為事後分析事故提供有效的資料，在安全生產、調度指揮、 搶險救援中都起到了積極的作用。但目前的煤礦視頻監控仍主要停留在人工監視階段，由 人工來監視場景、判斷危險情況並做出相應的反應。和普通圖像監控系統一樣，雖然在功能 和性能上取得了長足的進步，但仍存在不足。這些不足使得圖像監控系統不同程度地存在 報警準確度不高、誤報漏報情況時有發生、報警響應慢等缺陷，從而影響系統性能。如果能在煤礦實現智能視頻監控，實現人員自動檢測、跟蹤、定位，則具有一系列 的優點，如(1).能充分利用煤礦現有設備資源，不需要額外的設備投入；( .可以和現有 的自動控制系統結合，實現實時報警和聯動控制；(3).利用視頻處理技術，提取高層次有 用信息，如身份、行為、狀態等；(4).備份視覺資料，以備查證。雖然智能視頻技術在一般場 景下已經取得了較大進展，但是目前煤礦井下智能視頻技術嚴重滯後，主要是由於井下環 境特殊，全天候人工照明，煤灰、粉塵、潮溼等因素的影響，視頻質量較差，對於視頻處理技 術提出了嚴峻考驗。
智能視頻監控系統中人員目標的檢測方法可以分為兩大類，即基於運動的人體檢 測方法和基於人體特徵的檢測方法。運動目標檢測是指從視頻序列中提取出運動目標，為 高層的視頻理解提供分析依據，是計算機視覺研究的基礎任務和關鍵技術之一。作為人員 檢測的手段，這種方法只能應用於人員與背景之間有相對運動的情況。常用的方法有背景 消減法、幀差法、光流法等。基於運動目標檢測人員的方法很多，各有利弊，性能不一，但共 同的一個不足是只能對運動的人員進行檢測，若人員目標處於靜止狀態時，運動特徵消失， 導致這些方法的失效，因此產生了基於人體特徵的檢測方法。如基於人體形狀的檢測方法 和基於人體部位的檢測方法等。對於煤礦井下危險區域的智能監控來講，需要對檢測到的目標進行識別，判斷是 否是人，進而決定是否報警。能否根據檢測到的信息判斷目標為人員目標，也是一個需要注 意的問題。由於以下兩點，導致了識別井下人員目標的不可靠性(1)煤礦井下環境特殊， 煤礦井下的視頻，具有照度低、光照不均勻、缺乏色彩信息、目標和背景灰度過於接近等特 點，加大了目標的檢測的難度，同時，也導致檢測到的目標的不完整或形狀的畸變。(2)由於 巷道空間有限，攝像器材一般不是平行拍攝，而是以一定的角度俯視攝像；且有一些特定的 監視區域，如監視皮帶是否乘坐人員。所攝圖像中人員一般不是全身圖像，可能是半身，甚 至不是直立狀態，即使檢測到的目標完整，也不利於判斷目標是否為人員目標。由於客觀現 狀或檢測方法導致人員目標信息的不完整，無疑加大了目標識別的難度，如果在檢測目標 的同時，探測到相應的表明目標是人的信息，將便於後續處理、識別。要實現這個目標，需要 在檢測時，根據人員目標的特點來設計檢測方法。文獻中已有檢測人體部位的方法，其中， 以人臉檢測、頭部檢測較多。但是，對於在煤礦井下工作的人員，佩戴安全帽，為防塵一般佩 戴防塵面罩，長時間的工作導致面部覆蓋煤塵，再加上視頻質量較差，所以，視頻中的井下 人員一般面容不清，人臉檢測不實際；無頭髮、膚色外露，更談不上採用基於發色、膚色的檢 測方法。因此，解決上述現有技術中存在的問題，提供一種更高效、準確的定位和跟蹤方法， 是亟待解決的問題。
發明內容
為了解決上述現有技術中的不足，克服井下監控視頻照度低、光照不均勻、人員目 標和背景灰度過於相似等問題，有效地對井下人員進行定位和跟蹤，本發明提出一種基於 安全帽檢測的井下監控視頻中人員定位與跟蹤方法。本發明以安全帽檢測為基礎，通過對 安全帽的檢測與跟蹤實現對煤礦井下人員的定位和跟蹤。結合煤礦實際，井下人員均佩戴 安全帽，如果能夠檢測到安全帽的存在，相應的代表檢測到人員目標。由於安全帽的材質原 因，一般會發生反光現象，由於光源一般位於巷道的上方，因此，即使視頻質量很差，圖像中 安全帽區域至少頂部部分亮度與背景差別較大，且從不同的角度去觀察，均呈現圓形或類 圓形，這些特點使得安全帽的檢測可行。本發明中基於安全帽檢測的煤礦井下人員定位與跟蹤的方法分為兩個部分，即安 全帽的檢測和安全帽的跟蹤。安全帽檢測過程如下(1)獲得樣本圖像對安全帽進行建模，對安全帽圖像進行不同角度的旋轉，來模 擬實際環境中各個角度的圖像，構成安全帽圖像訓練集；同時，選取井下視頻中人員肩部區域和礦燈照射的區域作為非安全帽圖像訓練集；(2)分類特徵提取選取訓練圖像的四方向邊界圖像作為特徵量；(3)分類器設計選擇分段線性判別函數，採用統計模式識別方法，把視頻幀中的 安全帽和非安全帽分別視為一個模式類，設計分類器，並用樣本圖像對分類器進行訓練，為 檢測做準備；(4)安全帽檢測。利用訓練好的分類器對井下視頻進行安全帽檢測；安全帽跟蹤過程如下(I)確定跟蹤目標由檢測算法檢測到某幀中有安全帽的存在，將該幀定為跟蹤 初始幀，檢測到的安全帽區域為初始跟蹤窗口 ；(II)選擇跟蹤特徵。將邊緣方向和方位信息相融合，將聯合直方圖作為跟蹤安全 帽的特徵量；(III)結合Kalman濾波和Mean-shift對安全帽進行跟蹤。1)利用Kalman濾波器預測下一幀跟蹤窗口起點yQ ；2)計算候選目標的特徵{PuGoMuU, ..,39 ；
393)計算候選目標與目標的相似度廠ΣVa^oK;
M=O4)計算權值(WiIi = Ojl, ...,39 ；5)利用Mean-shift算法，計算目標新位置；
396)更新(P(Y1Mu = C)a, ...,「" ^^ ^Ο^Α^ΣΛ/Α。。)^ ；
u=07)若 P [p (Y1) , q]
ρ [p (y0)，q]；8)若I |y「yQ| < ε (ε是一個很小的常數)，則定位，轉(9)；否則yQ —Y1，轉 ⑶；9)若間隔幀已滿，計算核函數帶寬更新量，否則轉1)。其中，安全帽檢測過程(1)中所述的圖像樣本由10個安全帽區域和3個非安全帽 局域組成。安全帽檢測過程(2)中所述選取訓練圖像的四方向邊界圖像作為特徵量，按如下 步驟進行對安全帽圖像利用I^rewitt算子進行四方向邊緣提取，並進行高斯濾波。減小尺 寸為8X8大小，並去掉外邊緣像素值，去掉四角像點，轉換為直徑為6的圓形，構成共對父4 維的特徵向量。安全帽檢測過程(3)中所述選擇分段線性判別函數，採用統計模式識別方法，把 視頻幀中的安全帽和非安全帽分別視為一個模式類，設計分類器，並用樣本圖像對分類器 進行訓練，其中，利用高斯模型擬合安全帽輪廓和非安全帽區域，並按如下步驟進行(3-a)任意選擇10個高斯模型擬合安全帽區域和3個高斯模型擬合主要包括人員 肩部和礦燈幹擾區的非安全帽區域，分別採用歐氏距離進行K均值聚類，其聚類結果分別 作為上述兩類初始聚類中心；(3-b)採用馬氏距離對所有的樣本進行K均值聚類，算法收斂後，計算出每類的聚類中心和協方差矩陣；(3-c)得到安全帽區域和非安全帽區域兩大類的共13個子類的聚集中心和離散 矩陣。安全帽跟蹤過程(II)中所述將邊緣方向和方位信息相融合，將聯合直方圖作為 跟蹤安全帽的特徵量，按如下步驟進行(A)邊緣方向直方圖邊緣方向直方圖是對目標物體中邊緣點的邊緣方向分布的 統計，一幅邊緣圖像的方向空間被分為m個不同的方向，統計每個方向上邊緣點的數目，計 算其出現的概率，即可得出m維邊緣方向直方圖
權利要求
1.一種基於安全帽檢測的煤礦井下人員定位與跟蹤方法，其特徵在於，包括安全帽的 檢測過程和安全帽跟蹤過程；安全帽檢測過程如下(1)獲得樣本圖像對安全帽進行建模，對安全帽圖像進行不同角度的旋轉，來模擬實 際環境中各個角度的圖像，構成安全帽圖像訓練集；同時，選取井下視頻中人員肩部區域和 礦燈照射的區域作為非安全帽圖像訓練集；(2)分類特徵提取選取訓練圖像的四方向邊界圖像作為特徵量；(3)分類器設計選擇分段線性判別函數，採用統計模式識別方法，把視頻幀中的安全 帽和非安全帽分別視為一個模式類，設計分類器，並用樣本圖像對分類器進行訓練，為檢測 做準備；(4)安全帽檢測。利用訓練好的分類器對井下視頻進行安全帽檢測；安全帽跟蹤過程 如下(I)確定跟蹤目標由檢測算法檢測到某幀中有安全帽的存在，將該幀定為跟蹤初始 幀，檢測到的安全帽區域為初始跟蹤窗口 ；(II)選擇跟蹤特徵。將邊緣方向和方位信息相融合，將聯合直方圖作為跟蹤安全帽的 特徵量；(III)結合Kalman濾波和Mean-shift對安全帽進行跟蹤。1)利用Kalman濾波器預測下一幀跟蹤窗口起點lo；2)計算候選目標的特徵{Pu^MuH..,39 ；3)計算候選目標與目標的相似度/)，d= Σ ^Pu (^o k ；M=O4)計算權值IWji=CM,5)利用Mean-shift算法，計算目標新位置； 6)更新(P(Y1)Iu= CM, ...，39，計算 4/^(:0,9]=ΣΛ/AiKk ；M = O7)若P [P (Y1)，q] < P [P (y0)，q]，那麼力 P [P (y0)，q]；8)若IIyfytlI < ε (ε是一個很小的常數)，則定位，轉(9)；否則y。^y1，轉(3)；9)若間隔幀已滿，計算核函數帶寬更新量，否則轉1)。
2.根據權利要求1所述的基於安全帽檢測的煤礦井下人員定位與跟蹤方法，其特徵在 於，安全帽檢測過程⑴中所述的圖像樣本由10個安全帽區域和3個非安全帽局域組成。
3.根據權利要求1所述的基於安全帽檢測的煤礦井下人員定位與跟蹤方法，其特徵在 於，安全帽檢測過程O)中所述選取訓練圖像的四方向邊界圖像作為特徵量，按如下步驟 進行對安全帽圖像利用I^rewitt算子進行四方向邊緣提取，並進行高斯濾波。減小尺寸為 8X8大小，並去掉外邊緣像素值，去掉四角像點，轉換為直徑為6的圓形，構成共對父4維的 特徵向量。
4.根據權利要求1所述的基於安全帽檢測的煤礦井下人員定位與跟蹤方法，其特徵在於，安全帽檢測過程(3)中所述選擇分段線性判別函數，採用統計模式識別方法，把視頻幀 中的安全帽和非安全帽分別視為一個模式類，設計分類器，並用樣本圖像對分類器進行訓 練，其中，利用高斯模型擬合安全帽輪廓和非安全帽區域，並按如下步驟進行(3-a)任意選擇10個高斯模型擬合安全帽區域和3個高斯模型擬合主要包括人員肩部 和礦燈幹擾區的非安全帽區域，分別採用歐氏距離進行K均值聚類，其聚類結果分別作為 上述兩類初始聚類中心；(3-b)採用馬氏距離對所有的樣本進行K均值聚類，算法收斂後，計算出每類的聚類中 心和協方差矩陣；(3-c)得到安全帽區域和非安全帽區域兩大類的共13個子類的聚集中心和離散矩陣。
5.根據權利要求1所述的根據權利要求1所述的基於安全帽檢測的煤礦井下人員定位 與跟蹤方法，其特徵在於，安全帽跟蹤過程(II)中所述將邊緣方向和方位信息相融合，將 聯合直方圖作為跟蹤安全帽的特徵量，按如下步驟進行(A)邊緣方向直方圖邊緣方向直方圖是對目標物體中邊緣點的邊緣方向分布的統 計，一幅邊緣圖像的方向空間被分為m個不同的方向，統計每個方向上邊緣點的數目，計算 其出現的概率，即可得出m維邊緣方向直方圖Ei = P
，i = 1,2,…m其中，P代表每一個邊緣點，0(p)表示點ρ的邊緣方向，Ei表示邊緣方向i的概率；其 中，採用的邊緣算子為 「-1 -4 -5 0 -6 -24 -30 0 -15 -60 -75 0 -20 -80 -100 0 -15 -60 -75 0 -6 -24 -30 0 -1 一4 -5 0計算時把方向空間以π/8為單位，平分為16級；(B)方位直方圖安全帽邊緣在跟蹤窗口中的方位信息，採用邊緣點A(x，y)的方位角 α和半徑r兩個量來聯合表示；(Β-a)方位角α 定義邊緣的方位角為邊緣點到跟蹤窗口中心的向量OA和水平χ軸的 夾角α，把方位角空間按π/8的步長離散化為16級，統計邊緣點的方位角，獲取方位角直 方6.根據權利要求1-5所述的基於安全帽檢測的煤礦井下人員定位與跟蹤方法，其特徵 在於，安全帽跟蹤過程(III)所述對安全帽跟蹤時，自適應地調整核函數帶寬，按如下步驟 進行(i).對於初始跟蹤的幀進行以下操作i-1)統計每個圓環內邊緣點的個數，實際上就是前面計算的半徑直方圖； i-2)計算圓環內邊緣點的平均數；i-3)從最外環起，找到第一個邊緣點數大於平均數的第一個圓環，並記錄該圓環編號A；( ).間隔兩幀後，對定位後的新幀重複以上工作，記錄圓環編號B ； (iii).判斷跟蹤窗口大小是否需要更新iii-Ι)若A和B—致，清除新記錄的圓環編號B，跟蹤窗口大小不變，繼續下一幀的跟 蹤、尋找圓環和判斷；iii-2)若A和B不一致，計算A和B的間隔C，並換算到以像素為單位，統計兩幀之間 間隔的幀數D，得出D幀平均尺寸變化為C/D，核函數帶寬h更改為h+C/D，繼續下一幀的跟 蹤，記錄A，並轉到(ii)。
全文摘要
本發明提出一種基於安全帽檢測的井下監控視頻中人員定位與跟蹤方法。本發明以安全帽檢測為基礎，通過對安全帽的檢測與跟蹤實現對煤礦井下人員的定位和跟蹤。結合煤礦實際，井下人員均佩戴安全帽，如果能夠檢測到安全帽的存在，相應的代表檢測到人員目標。由於安全帽的材質原因，一般會發生反光現象，由於光源一般位於巷道的上方，因此，即使視頻質量很差，圖像中安全帽區域至少頂部部分亮度與背景差別較大，且從不同的角度去觀察，均呈現圓形或類圓形，這些特點使得安全帽的檢測可行；本發明中基於安全帽檢測的煤礦井下人員定位與跟蹤的方法分為兩個部分，即安全帽的檢測和安全帽的跟蹤。
文檔編號G06K9/66GK102136076SQ20111005999
公開日2011年7月27日 申請日期2011年3月14日 優先權日2011年3月14日
發明者李雷達, 程德強, 蔡利梅, 錢建生 申請人:徐州中礦大華洋通信設備有限公司