複雜工業環境中的巡檢機器人系統及多人臉動態跟蹤方法
2023-07-07 07:29:56
複雜工業環境中的巡檢機器人系統及多人臉動態跟蹤方法
【專利摘要】本發明公開了一種複雜工業環境中的巡檢機器人系統及多人臉動態跟蹤方法。所述機器人系統由智能巡檢機器人、電磁導航線路和監控中心組成。所述方法如下：平板接收天線與無線影音傳送接收器相連，通過安裝在監控主機PCI插槽內的圖像採集卡，將視頻信號送入監控主機。多人臉動態跟蹤方法主要通過聯合AdaBoost算法、Camshift算法和卡爾曼濾波來實現多人臉的自動跟蹤，即首先基於AdaBoost算法進行視頻圖像中人臉區域的檢測，實現搜索窗口的初始化；然後基於Camshift算法進行多人臉的跟蹤，並結合卡爾曼濾波對人臉運動目標進行預測。本發明提高跟蹤穩定性和精確性，尤其克服多人臉重疊時的目標丟失問題。
【專利說明】複雜工業環境中的巡檢機器人系統及多人臉動態跟蹤方法
所屬【技術領域】
[0001]本發明涉及存在各種易燃易爆物、有毒有害氣體和輻射等複雜工業環境下的機器人巡檢系統設計，尤其涉及到系統的多人臉動態跟蹤方法。
【背景技術】
[0002]隨著中國國民經濟的不斷發展，在一些存在各種易燃易爆物、有毒有害氣體和輻射的複雜工業環境中，如化工企業、大型油庫、液化氣站及核設施場所，設備狀態及環境信息直接關係到生產設備的可靠性和人民生命財產的安全，而此類複雜工業環境又不允許人類長時間值守和巡視，因此利用智能巡檢機器人來替代人工巡檢顯得尤為必要，這一方面可以大幅度降低人工勞動強度，另一方面也保障了巡檢人員的生命安全。
[0003]因此，近年來巡檢機器人引起了國內外科研機構的重視，尤其是針對變電站安防工作的巡檢機器人得到了快速發展。中國專利號為200410024231.2的專利文獻公開了一種「電站設備智能自主巡檢機器人」。該巡檢機器人包括由全球定位系統和雷射測距傳感器組成的導航信息傳遞單元，以及由溫度檢測器和圖像系統採集器等組成的檢測單元。基於全球定位系統和雷射測距傳感器的聯合導航方式，雖然實現了巡檢機器人的自主導航，但由於全球定位系統的定位誤差較大，使得機器人在實際中往往無法正確而安全地導航，這反而會降低導航效率。該巡檢機器人雖然配有圖像採集系統，但只是記錄巡檢過程中的情況，而監控室工作人員不能實時看到巡檢現場，不能對可能發生的突發事件進行及時處理。中國專利號為200910016781.2的專利文獻公開了一種「變電站智能巡檢機器人」。該專利只是重點介紹了機器人的結構組成，對於機器人重要的導航方式未提。雖然該機器人配有微型攝像頭，但對攝像頭的作用，即用於機器人導航還是進行現場巡視，若用於現場巡視，是進行現場記錄還是將視頻信號實時傳輸到監控中心，該專利都未曾提到，而這對於巡檢機器人的功能而言卻非常重要。中國專利號為201110005671.3的專利文獻公開了一種「變電站巡檢機器人的結構設計」。該機器人採用履帶式運動機構，導航方式主要基於GPS(全球定位系統)和電子羅盤來實現，同時利用車體腹部的紅外循跡傳感器來修正小車行走路徑，但紅外傳感器很容易受不同時刻的光線幹擾，再加上GPS較大的定位誤差，使得巡檢機器人的導航難度增大，導航效率降低。此外該機器人也裝有圖像採集裝置，並通過無線路由器將數據發回遠程控制中心，但作為全天候的長時間監控，若僅依靠工作人員緊盯視頻來防止現場外來人員的闖入是不切實際的，這會因為工作強度大而造成監控疲憊，從而降低現場監控效果。中國專利號為201110091997.2的專利文獻公開了「一種變電站軌道式智能巡檢機器人」。該機器人基於路面鋪設的軌道實現了精確行走和定位控制，巡檢效率非常高，但是當巡檢路線更改時，要想重新鋪設軌道就比較麻煩；另外鋪於路面之上的軌道會給該區域其它車輛、人員等的運行造成不便。
[0004]總之目前現有巡檢機器人主要針對變電站，而應用於存在各種易燃易爆物、有毒有害氣體和輻射等工業環境中的巡檢機器人還很少。此外，為了能實時監控巡檢現場，工業環境中的巡檢機器人系統還需能將現場視頻實時傳送到監控中心。而為了能及時處理現場外來人員的闖入，監控系統應能對視頻中闖入人員的臉部進行識別和動態跟蹤，並及時報
m
目O
[0005]視頻動態跟蹤是圖像處理中的一個重要技術，中國專利號為201010129492.6的專利文獻公開了一種「用於視頻序列的多角度多目標快速人臉跟蹤方法」，該方法主要是基於Camshift算法來實現人臉跟蹤，當多人臉時基於卡爾曼濾波來預測。但Camshift算法需要手工初始化跟蹤目標，而在工業環境的現場巡視過程中，外來人員闖入是偶發性事件，因此該技術無法運用於工業環境中的巡檢機器人系統。中國專利號為201210487250.3的專利文獻公開了 「一種運動目標跟蹤方法」，在該專利中提到了利用AdaBoost算法進行搜索窗口的初始化，然後再基於Camshift算法進行目標跟蹤。但當視頻中出現多目標且發生重疊時，該方法會造成個別跟蹤目標丟失，如何解決該問題，該專利未提到。
[0006]從目前已有的目標動態跟蹤專利文獻來看，Camshift算法是主要的跟蹤方法之一，但是該方法容易受噪聲幹擾，如何進一步改進Camshift算法來提高跟蹤效果,現有專利還很少提到。
【發明內容】
[0007]本發明的目的在於為了解決存在各種易燃易爆物、有毒有害氣體和輻射的複雜工業環境的安防工作，設計了一種巡檢機器人系統。為了對巡檢現場外來闖入人員的有效監控，降低監控中心裡監控人員的工作強度，並幫助監控人員及時處理現場突發事件，本發明進而提供了視頻監控中的多人臉動態跟蹤方法。本發明的複雜工業環境中的巡檢機器人系統，由智能巡檢機器人、電磁導航線路和監控中心組成；其中智能巡檢機器人包括微處理器、左輪直流電機驅動器、左輪直流電機、左輪、右輪直流電機驅動器、右輪直流電機、右輪、雲臺、高清彩色紅外攝像機、無線影音傳送發射器、平板發送天線、紅外近距離檢測傳感器、電子羅盤傳感器、電磁檢測模塊和第一通信模塊，紅外近距離檢測傳感器、電子羅盤傳感器和電磁檢測模塊的輸出端分別接微處理器的輸入端，電磁檢測模塊用於與電磁導航線路電磁感應，微處理器依次通過左輪直流電機驅動器、左輪直流電機驅動左輪運動，微處理器依次通過右輪直流電機驅動器、右輪直流電機驅動右輪運動，微處理器通過第一通信模塊與監控中心相互通信，裝有高清彩色紅外攝像機的雲臺通過RS485線與微處理器通信；高清彩色紅外攝像機通過視頻線與無線影音傳送發射器相連後再通過標準SMA天線接口與平板發送天線相連。
[0008]所述智能巡檢機器人還包括渦輪蝸杆減速器和減速電機驅動器，平板發送天線固定在渦輪蝸杆減速器上並通過減速電機驅動器與微處理器相連。
[0009]所述的電磁檢測模塊由依次連接的LC選頻迴路、TL082兩級放大電路和二極體整流電路組成。
[0010]所述電磁導航線路由20KHz方波電源和埋於路面之下的漆包線組成。
[0011]所述的2 OKHz方波電源電路由依次連接的基於5 5 5時基電路的振蕩電路、基於L298的功率驅動電路和基於NPN電晶體恆流控制電路組成。
[0012]所述監控中心包括監控主機、圖像採集卡、無線影音傳送接收器、平板接收天線、第二通信模塊和Zigbee轉USB模塊，平板接收天線與平板發送天線無線連接並依次通過圖像採集卡、無線影音傳送接收器將視頻信號送入監控主機，第二通信模塊與第一通信模塊無線連接並通過Zigbee轉USB模塊與監控主機連接。
[0013]複雜工業環境中的巡檢機器人系統的多人臉動態跟蹤方法，採用如下步驟:
[0014](I)利用高清彩色紅外攝像機獲取現場視頻圖像；
[0015](2)採用基於AdaBoost算法對步驟(I)獲取的現場視頻圖像中人臉區域檢測，實現搜索窗口的自動初始化；
[0016](3)根據步驟(2)所檢測的人臉區域數，分配多路跟蹤器，並基於Camshift算法30來進行各自目標的跟蹤；
[0017](4)將步驟(I)獲取的現場視頻圖像從RGB顏色空間轉到HSV顏色空間，通過較小和較大V閾值，以及較小Smin閾值進行去噪；
[0018](5)各跟蹤器統計各搜索窗口中人臉膚色圖像H分量的直方圖，通過各直方圖反向投影生成各膚色概率分布圖；
[0019](6)各跟蹤器計算各自搜索窗口的零階矩、一階矩和二階矩，進而獲得各自目標窗口的質心和方向角；
[0020](7)各跟蹤器將各自搜索窗口中心移到質心，直到移動距離小於預設值，並根據零階矩調整各自窗口大小；
[0021](8)基於卡爾曼濾波，各跟蹤器進行各人臉的預測。
[0022]所述的基於Smin閾值的去噪採用了自適應調整方法，步驟如下:
[0023](a)基於AdaBoost算法初始化一個跟蹤窗口，大小為S。，設定初始Smin閾值:Smin。，計算搜索窗口的零階矩，得到 目標窗口的大小為S1 ；
,r.1
[0024](b) k =，更新 Smin,得到新 Sminl 閾值，即 Sminl = Smin0Xko
[0025]有益效果
[0026]本發明針對存在各種易燃易爆物、有毒有害氣體和輻射的複雜工業環境，如化工企業、大型油庫、液化氣站以及核設施場所，設計了一種巡檢機器人系統進而提供了一種多人臉動態跟蹤方法。所設計的智能巡檢機器人主要通過電磁導航系統來實現自主導航，且導航精確而快速。此外，電磁導航線路鋪設在路面之下，不會受光線、氣溫影響而進行全天候的四季巡檢。當巡檢道路發生改變時，電磁線路重新鋪設非常方便。高清攝像頭通過無線影音傳送發射和接收器將現場視頻傳送到監控中心，便於監控人員對現場實時監控。而多人臉動態跟蹤方法可以對現場外來闖入人員進行識別、自動跟蹤，並進行報警，降低了監控人員的工作強度，提高了系統的監控效率和效果。
【專利附圖】
【附圖說明】
[0027]圖1智能巡檢機器人的結構組成；
[0028]圖2電磁檢測模塊設計電路；
[0029]圖320KHz方波電源設計電路；
[0030]圖4監控中心的結構組成；
[0031]圖5多人臉動態跟蹤算法流程；
[0032]圖中1.微處理器，2.左輪直流電機驅動器，3.左輪直流電機，4.左輪，5.右輪直流電機驅動器，6.右輪直流電機，7.右輪，8.雲臺，9.高清彩色紅外攝像機，10.無線影音傳送發射器，11.平板發送天線，12.渦輪蝸杆減速器，13.減速電機驅動器，14.紅外近距離檢測傳感器，15.電子羅盤傳感器，16.電磁檢測模塊，17.基於CC2530晶片的DRF1605H模塊
(I)，18.LC選頻迴路，19.TL082兩級放大電路，20.二極體整流電路，21.基於555時基電路的振蕩電路，22.基於L298的功率驅動電路，23.基於NPN電晶體恆流控制電路，24.監控主機，25.圖像採集卡，26.無線影音傳送接收器，27.平板接收天線，28.基於CC2530晶片的DRF1605H 模塊(2)，29.Zigbee 轉 USB 模塊，30.Camshift 算法。
[0033]Rl - R7:電阻，Cl - C5:電容，Dl - D2:肖特基二極體，Tl =NPN電晶體，Ql:三極體。【具體實施方式】
[0034]下面結合附圖對本發明的複雜工業環境中巡檢機器人系統及多人臉動態跟蹤方法進行詳細描述:
[0035]複雜工業環境中的巡檢機器人系統由智能巡檢機器人、電磁導航線路和監控中心組成。
[0036]如圖1所示，智能巡檢機器人結構組成如下:以微處理器I為核心，紅外近距離檢測傳感器14用來檢測近距離障礙物，與微處理器I相連；電子羅盤傳感器15用來檢測巡檢機器人的運動方向，與微處理器I相連。裝有高清彩色紅外攝像機9的雲臺8通過RS485線與微處理器I通信。高清彩色紅外攝像機9通過視頻線與無線影音傳送發射器10相連，再通過標準SMA天線接口與平板發送天線11相連。為了提高無線視頻傳輸的效果，實現視頻信號的定向傳輸，平板發送天線11固定在渦輪蝸杆減速器12上，並通過減速電機驅動器13與微處理器I相連。巡檢機器人在巡檢過程中，通過電子羅盤傳感器15來獲得機器人的角度信息，從而通過微處理器I和減速電機驅動器13來驅動渦輪蝸杆減速器12，進而轉動平板發送天線11，並使其能始終朝向監控中心的接收器，實現無線視頻的定向傳輸。電磁檢測模塊16主要是在機器人電磁導航過程中用以探測電磁信號，與微處理器I相連。基於CC2530晶片的DRF1605H模塊(1)17 (即第一通信模塊)是用以實現巡檢機器人與監控中心無線通信，主要幫助機器人無線接收監控中心的控制命令，並無線反饋機器人的狀態信息到監控中心，主要通過RS232串口與微處理器I相連。
[0037]如圖2所示，巡檢機器人電磁導航中的電磁檢測模塊16的電路主要由LC選頻迴路18、TL082兩級放大電路19和二極體整流電路20組成。
[0038]巡檢機器人的電磁導航線路主要是由20KHz方波電源和埋於路面之下的漆包線組成。
[0039]如圖3所不,20KHz方波電源設計電路由基於555時基電路的振湯電路21,基於L298的功率驅動電路22，和基於NPN電晶體恆流控制電路23組成。
[0040]如圖4所示，監控中心以監控主機24為核心，用於與巡檢機器人進行無線通信的基於CC2530晶片的DRF1605H模塊(2)28 (即第二通信模塊)，通過Zigbee轉USB模塊29與監控主機24相連。用於接收無線視頻的平板接收天線27，通過無線影音傳送接收器26、安裝在監控主機24PCI插槽內的圖像採集卡25，將視頻信號送入監控主機24。
[0041]本發明的多人臉動態跟蹤方法的方案是:聯合AdaBoost算法、Camshift算法和卡爾曼濾波來實現多人臉的自動跟蹤，即首先基於AdaBoost算法進行視頻圖像中人臉區域的檢測，實現搜索窗口的初始化；然後基於Camshift算法進行多人臉的跟蹤，並結合卡爾曼濾波對人臉運動目標進行預測，提高跟蹤穩定性和精確性，尤其克服多人臉重疊時目標丟失的問題。
[0042]如圖5所示，多人臉動態跟蹤方法採用如下步驟:
[0043](I)利用高清彩色紅外攝像機9獲取現場視頻圖像；
[0044](2)基於AdaBoost算法進行視頻圖像中人臉區域檢測，實現搜索窗口的自動初始化；
[0045](3)根據所檢測的人臉區域數，分配多路跟蹤器，並基於下述Camshift算法30來進行各自目標的跟蹤；
[0046](4)將視頻圖像從RGB顏色空間轉到HSV顏色空間，通過較小和較大V閾值，以及較小Sniin閾值進行去噪；
[0047](5)各跟蹤器統計各搜索窗口中人臉膚色圖像H分量的直方圖，通過各直方圖反向投影生成各膚色概率分布圖；
[0048](6)各跟蹤器計算各自搜索窗口的零階矩、一階矩和二階矩，進而獲得各自目標窗口的質心和方向角；
[0049](7)各跟蹤器將各自搜索窗口中心移到質心，直到移動距離小於預設值，並根據零階矩調整各自窗口大小；
[0050](8)基於卡爾曼濾波，各跟蹤器進行各人臉的預測，解決多目標重疊丟失問題。
[0051]其中所述基於AdaBoost算法進行視頻圖像中人臉區域檢測採用如下步驟:
[0052](I)用Haar - like特徵來表示人臉,通過積分圖快速計算特徵值；
[0053](2)用AdaBoost算法將若干個弱分類器按照加權方式構造成一個強分類器；
[0054](3)將得到的強分類器串聯起來構成一個級聯式人臉分類器。
[0055]更進一步地，所述用AdaBoost算法構造強分類器的步驟如下:
[0056](I)設輸入的η個訓練樣本分別為:{(Xl，yi)，(x2,y2),……，(xn，yn)}，其中Xi是輸入的訓練樣本，Ii e {0,1}分別代表訓練的人臉樣本和非人臉樣本，其中O代表非人臉樣本,I代表人臉樣本；
[0057](2)初始化每個訓練樣本的權重為Ot:
【權利要求】
1.一種複雜工業環境中的巡檢機器人系統，其特徵在於:由智能巡檢機器人、電磁導航線路和監控中心組成；其中智能巡檢機器人包括微處理器(I)、左輪直流電機驅動器(2)、左輪直流電機(3)、左輪(4)、右輪直流電機驅動器(5)、右輪直流電機(6)、右輪(7)、雲臺(8)、高清彩色紅外攝像機(9)、無線影音傳送發射器(10)、平板發送天線(11)、紅外近距離檢測傳感器(14)、電子羅盤傳感器(15)、電磁檢測模塊(16)和第一通信模塊(17)，紅外近距離檢測傳感器(14)、電子羅盤傳感器(15)和電磁檢測模塊(16)的輸出端分別接微處理器(I)的輸入端，電磁檢測模塊(16 )用於與電磁導航線路電磁感應，微處理器(I)依次通過左輪直流電機驅動器(2 )、左輪直流電機(3 )驅動左輪(4 )運動，微處理器(I)依次通過右輪直流電機驅動器(5 )、右輪直流電機(6 )驅動右輪(7 )運動，微處理器(I)通過第一通信模塊(17)與監控中心相互通信，裝有高清彩色紅外攝像機(9)的雲臺(8)通過RS485線與微處理器(I)通信；高清彩色紅外攝像機(9)通過視頻線與無線影音傳送發射器(10)相連後再通過標準SMA天線接口與平板發送天線(11)相連。
2.根據權利要求1所述的複雜工業環境中的巡檢機器人系統，其特徵在於所述智能巡檢機器人還包括渦輪蝸杆減速器(12 )和減速電機驅動器(13 )，平板發送天線(11)固定在渦輪蝸杆減速器(12)上並通過減速電機驅動器(13)與微處理器(I)相連。
3.根據權利要求1所述的複雜工業環境中的巡檢機器人系統，其特徵在於所述的電磁檢測模塊(16)由依次連接的LC選頻迴路(18)、TL082兩級放大電路(19)和二極體整流電路(20)組成。
4.根據權利要求1所述的複雜工業環境中的巡檢機器人系統，其特徵在於所述電磁導航線路由20KHz方波電源和埋於路面之下的漆包線組成。
5.根據權利要求4所述的複雜工業環境中的巡檢機器人系統，其特徵在於所述的20KHz方波電源電路由 依次連接的基於555時基電路的振蕩電路(21)、基於L298的功率驅動電路(22 )和基於NPN電晶體恆流控制電路(23 )組成。
6.根據權利要求1所述的複雜工業環境中的巡檢機器人系統，其特徵在於所述監控中心包括監控主機(24)、圖像採集卡(25)、無線影音傳送接收器(26)、平板接收天線(27)、第二通信模塊(28 )和Zigbee轉USB模塊(29 )，平板接收天線(27 )與平板發送天線(11)無線連接並依次通過圖像採集卡(25)、無線影音傳送接收器(26)將視頻信號送入監控主機(24)，第二通信模塊(28)與第一通信模塊(17)無線連接並通過Zigbee轉USB模塊(29)與監控主機(24)連接。
7.—種如權利I所述的複雜工業環境中的巡檢機器人系統的多人臉動態跟蹤方法，其特徵在於採用如下步驟: (1)利用高清彩色紅外攝像機(9)獲取現場視頻圖像； (2)採用基於AdaBoost算法對步驟(I)獲取的現場視頻圖像中人臉區域檢測，實現搜索窗口的自動初始化； (3)根據步驟(2)所檢測的人臉區域數，分配多路跟蹤器，並基於Camshift算法30來進行各自目標的跟蹤； (4)將步驟(I)獲取的現場視頻圖像從RGB顏色空間轉到HSV顏色空間，通過較小和較大V閾值，以及較小Smin閾值進行去噪； (5)各跟蹤器統計各搜索窗口中人臉膚色圖像H分量的直方圖，通過各直方圖反向投影生成各膚色概率分布圖； (6)各跟蹤器計算各自搜索窗口的零階矩、一階矩和二階矩，進而獲得各自目標窗口的質心和方向角； (7)各跟蹤器將各自搜索窗口中心移到質心，直到移動距離小於預設值，並根據零階矩調整各自窗口大小； (8)基於卡爾曼濾波，各跟蹤器進行各人臉的預測。
8.根據權利要求7所述的複雜工業環境中的巡檢機器人系統的多人臉動態跟蹤方法，其特徵在於所述的基於Smin閾值的去噪採用了自適應調整方法，步驟如下: (a)基於AdaBoost算法初始化一個跟蹤窗口，大小為Stl,設定初始Smin閾值:Smin(l，計算搜索窗口的零階矩，得到目標窗口的大小為S1 ；
(b)A = f，更新 Smin，得到新 Sm inl 閾值，gp Sfflin0=Sfflin0Xko
【文檔編號】G05D1/02GK103455822SQ201310360920
【公開日】2013年12月18日 申請日期:2013年8月19日 優先權日:2013年8月19日
【發明者】袁明新, 江亞峰, 申燚, 張鵬, 趙榮, 丁前闖, 孫健 申請人:江蘇科技大學