基於移動機器人平臺的分布式行人檢測系統和方法
2023-12-02 05:18:56
基於移動機器人平臺的分布式行人檢測系統和方法
【專利摘要】本發明公開了一種基於移動機器人平臺的分布式行人檢測系統和方法。本系統包括移動機器人平臺及其搭載的微軟公司Kinect攝像機，桌面計算機和網絡通信設備。本方法是將當前各種成熟與行人相關的檢測算法和機器人作業系統ROS（RobotOperatingSystem）融合起來，採用機器人作業系統ROS分布式計算節點來計算行人的各種特徵，主要是梯度直方圖HOG（HistogramofGradients），人臉檢測節點，上身梯度直方圖HOG節點，膚色檢測節點，點雲檢測節點和姿態檢測節點，並將計算的各種特徵數據綜合融合，以達到在機器人移動過程中，能穩定地跟蹤行人目標，提高檢測的準確率。本發明的實施例主要用於移動機器人圖像中的行人檢測計算，特別是在移動機器人行人檢測計算以便用於人機互動。
【專利說明】基於移動機器人平臺的分布式行人檢測系統和方法
【技術領域】
[0001]本發明公開了一種基於移動機器人平臺的分布式行人檢測系統和方法，涉及機器人視覺，模式識別技術和基於機器人作業系統ROS的分布式計算領域。
【背景技術】
[0002]行人檢測是將來的智能車輛輔助駕駛系統所必需的，它能有效地輔助在市區環境中駕駛車輛的駕駛員及時地對外界環境做出反應，避免碰撞行人，減少交通事故的發生。人體檢測還可以用於視頻監控的安全實時系統從連續的視頻片斷中分析和檢測出侵入的行為，保障個人和公共人身財產安全。
[0003]移動機器人平臺準確地檢測人是移動機器人實時跟蹤人的基礎，是機器人在人文環境中人機互動的前提條件。行人檢測廣泛的用於公共安全，視頻監控，智能輔助駕駛技術以及交通監管和機器人人機互動等系統。行人的許多變化，如所穿衣服顏色和款式，姿勢和光照等等因素，使得很難區分行人和其他物體。
[0004]Kinect XB0X360是微軟在2009年6月2日的E3大展上正式公布的XB0X360體感周邊外設。它是一種3D體感攝影機，同時它導入了即時動態捕捉、影像辨識、麥克風輸入、語音辨識等功能。目前，Kinect XB0X360可以通過USB接口與機器人控制器相連，是移動機器人三維視覺數據的有效來源。
[0005]機器人作業系統Robot Operating System(ROS)是開源軟體支持商Willow Garage公司發布針對機器人軟體開發，簡化機器人軟體開發的周期，提高機器人研發領域代碼復用率。機器人作業系統ROS提供各種庫和工具幫助軟體開發者開發機器人應用，包括硬體抽象層，硬體驅動，虛擬化工具，消息傳遞，軟體包管理。機器人作業系統ROS集成的開源軟體庫是機器人視覺處理的必備組件，包括圖像處理庫OpenCV(Open Computer VisionLibrary)，三維點雲處理庫 PCL (Point Cloud Library)等。
[0006]在ROS中，程序運行時，所有進程以及他們所進行的數據處理，將會通過一種點對點的網絡形式表現出來，其中包括重要的概念:節點(節點就是一些執行運算任務的進程)。ROS利用規模可增長的方式使代碼模塊化:一個系統就是典型的很多節點組成的。節點也可以被稱之為「軟體模塊」。當許多節點同時運行時，節點之間是通過傳送消息進行通訊的。
【發明內容】
[0007]為了克服上述現有技術的不足和利用機器人作業系統ROS的優勢，本發明提供了一種基於移動機器人平臺的分布式行人檢測系統和方法，解決在機器人移動過程中很難區分行人的問題，能穩定地跟蹤行人目標，提高檢測的準確率。
[0008]為了達到上述目的，本發明的構思是:當前各種成熟與行人相關的檢測算法和機器人作業系統ROS (Robot Operating System)融合起來,採用機器人作業系統ROS分布式計算節點來計算行人的各種特徵，並將計算的各種特徵數據綜合融合，以達到在機器人移動過程中，能穩定地跟蹤行人目標，提高檢測的準確率。[0009]根據上述發明構思，本發明採用下述技術方案:
一種基於移動機器人平臺的分布式行人檢測系統，包括桌面計算機和微軟公司的Kinect XB0X360攝像頭,其特徵在於:所述桌面計算機無線通信連接一個移動計算控制器，所述微軟公司的Kinect XB0X360攝像頭安裝在移動機器人上面，通過USB接口連接移動機器人控制器，所述移動機器人控制器獲取Kinect XB0X360攝像頭對行人攝取的RGB彩色和深度圖像經過處理之後，再通過圖像傳輸鏈和數據傳輸鏈發送到桌面計算機。
[0010]一種基於移動機器人平臺的分布式的行人檢測方法，採用上述系統進行檢測，其特徵在於:其操作步驟如下:
(2.1)創建圖像獲取節點:利用已知的機器人作業系統ROS的分布式計算特性，在移動機器人控制器攜帶的嵌入式操作電腦上創建打開Kinect XB0X360攝像頭的節點，獲取Kinect的圖像數據，並發布Kinect XB0X360攝像頭的RGB圖像數據和深度圖像數據；利用Zeroconf技術，移動機器人控制器攜帶的電腦通過網絡連接到桌面計算機；
(2.2)創建各計算節點:Kinect XB0X360攝像頭髮布的圖像數據包含RGB圖像，紅外圖像和深度圖像，各計算節點分別從上述圖像中計算與行人相關的信息；本步驟(2.2)包含以下計算節點:
①梯度直方圖HOG節點:梯度直方圖HOG節點訂閱KinectXB0X360攝像頭髮布的RGB圖像數據，採用OpenCV圖像處理庫中集成的HOG算法提取圖像局部行人目標的表象和形狀的HOG特徵，然後利用支持向量機算法SVM進行模式分類，檢測行人和確定行人所在的區域；
②人臉檢測節點:機器人作業系統ROS中集成OpenCV開源圖像處理庫，直接調用OpenCV庫中人臉檢測算法創建人臉檢測節點，訂閱Kinect XB0X360攝像頭髮布的RGB圖像，計算行人臉部所在的區域；
③行人上半身梯度直方圖HOG節點:在室內環境中，人體的下半身容易被遮擋，運用OpenCV梯度直方圖HOG算法創建行人上半身檢測節點，檢測識別Kinect XB0X360攝像頭髮布的RGB圖像中人體的上半身提高室內環境行人檢測的準確率；
④膚色檢測節點:皮膚的檢測是圖片中行人存在的重要線索，在機器人作業系統ROS中創建膚色檢測節點，調用OpenCV圖像庫中的膚色檢測器檢測行人膚色區域；
⑤點雲檢測節點:根據人體的三維特徵信息，創建點雲數據檢測節點，訂閱KinectXB0X360攝像頭髮布的點雲數據，運用PCL點雲數據處理庫在三維空間位置中檢測出行人信息；
⑥姿態檢測節點:骨骼追蹤技術通過處理深度數據來建立人體各個關節的坐標，骨骼追蹤能夠確定人體的各個部分，利用Kinect XB0X360攝像頭的發布的數據信息，提取人體的骨骼坐標組成人體骨骼框架，作為行人檢測的重要因素；
(2.3)創建人體信息融合節點:將步驟(2.2)各計算節點的行人信息融合在一起，最終輸出行人檢測結果。
[0011]本發明與現有技術相比，具有如下顯而易見的突出實質性特點和顯著優點:本發明在移動機器人平臺上更加準確地檢測出行人。這樣在移動機器人平臺上，機器人能更好地在人的環境中人機互動。【專利附圖】
【附圖說明】
[0012]圖1為本發明的方法框圖。
[0013]圖2為本發明的一個實施例的系統結構示意圖。
【具體實施方式】
[0014]下面結合附圖對本發明中的優選實施例進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明的一部分實施例。
[0015]實施例一:
參見圖2，本基於移動機器人平臺的分布式行人檢測系統，包括桌面計算機(I)和微軟公司的Kinect XB0X360攝像頭(3)，其特徵在於:所述桌面計算機(I)無線通信連接一個移動計算控制器(2)，所述微軟公司的Kinect XB0X360攝像頭(3)安裝在移動機器人上面，通過USB接口連接移動機器人控制器(2 )，所述移動機器人控制器(2 )獲取Kinect XB0X360攝像頭(3)對行人(4)攝取的RGB彩色和深度圖像經過處理之後，再通過圖像傳輸鏈和數據傳輸鏈發送到桌面計算機(I)。
[0016]實施例二:
參見圖1，本基於移動機器人平臺的分布式行人檢測方法，採用上述系統進行檢測，其特徵在於將當前各種成熟與行人相關的檢測算法和機器人作業系統ROS融合起來，採用機器人作業系統ROS分布式計算節點來計算行人的各種特徵，並將計算的各種特徵數據綜合融合，以達到在機器人移動過程中，能穩定地跟蹤行人目標，提高檢測的準確率；
其操作步驟如下:
(2.1)創建圖像獲取節點:利用已知的機器人作業系統ROS的分布式計算特性，在移動機器人控制器(2)攜帶的嵌入式操作電腦上創建打開Kinect XB0X360攝像頭(3)的節點，獲取Kinect的圖像數據，並發布Kinect XB0X360攝像頭(3)的RGB圖像數據和深度圖像數據；利用ZeiOconf技術，移動機器人控制器(2)攜帶的電腦通過網絡連接到桌面計算機(O;
(2.2)創建各計算節點:Kinect XB0X360攝像頭(3)發布的圖像數據包含RGB圖像，紅外圖像和深度圖像，各計算節點分別從上述圖像中計算與行人(4)相關的信息；本步驟(2.2)包含以下計算節點:
①梯度直方圖HOG節點:梯度直方圖HOG節點訂閱KinectXB0X360攝像頭(3)發布的RGB圖像數據，採用OpenCV圖像處理庫中集成的HOG算法提取圖像局部行人(4)目標的表象和形狀的HOG特徵，然後利用支持向量機算法SVM進行模式分類，檢測行人(4)和確定行人(4)所在的區域；
②人臉檢測節點:機器人作業系統ROS中集成OpenCV開源圖像處理庫，直接調用OpenCV庫中人臉檢測算法創建人臉檢測節點，訂閱Kinect XB0X360攝像頭(3)發布的RGB圖像，計算行人(4)臉部所在的區域；
③行人上半身梯度直方圖HOG節點:在室內環境中，人體的下半身容易被遮擋，運用OpenCV梯度直方圖HOG算法創建行人(4)上半身檢測節點，檢測識別Kinect XB0X360攝像頭(3)發布的RGB圖像中人體的上半身提高室內環境行人(4)檢測的準確率；
④膚色檢測節點:皮膚的檢測是圖片中行人(4)存在的重要線索，在機器人作業系統ROS中創建膚色檢測節點，調用OpenCV圖像庫中的膚色檢測器檢測行人(4)膚色區域；
⑤點雲檢測節點:根據人體的三維特徵信息，創建點雲數據檢測節點，訂閱KinectXB0X360攝像頭(3)發布的點雲數據，運用PCL點雲數據處理庫在三維空間位置中檢測出行人(4)信息；
⑥姿態檢測節點:骨骼追蹤技術通過處理深度數據來建立人體各個關節的坐標，骨骼追蹤能夠確定人體的各個部分，利用Kinect XB0X360攝像頭(3)的發布的數據信息，提取人體的骨骼坐標組成人體骨骼框架，作為行人(4)檢測的重要因素；
(2.3)創建人體信息融合節點:將步驟(2)各計算節點的行人(4)信息融合在一起，最終輸出行人(4)檢測結果。
[0017]以上所述，僅為本發明的【具體實施方式】，但本發明的保護範圍不僅局限於此，任何熟悉本領域的技術人員在本發明揭露的技術範圍內，可輕易想到的變化和替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應為所述以權利要求的保護範圍為準。
【權利要求】
1.一種基於移動機器人平臺的分布式行人檢測系統，包括桌面計算機(I)和微軟公司的Kinect XB0X360攝像頭(3)，其特徵在於:所述桌面計算機(I)無線通信連接一個移動計算控制器(2)，所述微軟公司的Kinect XB0X360攝像頭(3)安裝在移動機器人上面，通過USB接口連接移動機器人控制器(2 )，所述移動機器人控制器(2 )獲取Kinect XB0X360攝像頭(3 )對行人(4 )攝取的RGB彩色和深度圖像經過處理之後，再通過圖像傳輸鏈和數據傳輸鏈發送到桌面計算機(I)。
2.一種基於移動機器人平臺的分布式行人檢測方法，採用根據權利要求1所述的基於移動機器人平臺的分布式行人檢測系統進行檢測，其特徵在於:其操作步驟如下: (2.1)創建圖像獲取節點:利用已知的機器人作業系統ROS的分布式計算特性，在移動機器人控制器(2)攜帶的嵌入式操作電腦上創建打開Kinect XB0X360攝像頭(3)的節點，獲取Kinect的圖像數據，並發布Kinect XB0X360攝像頭(3)的RGB圖像數據和深度圖像數據；利用ZeiOconf技術，移動機器人控制器(2)攜帶的電腦通過網絡連接到桌面計算機(O; (2.2)創建各計算節點:Kinect XB0X360攝像頭(3)發布的圖像數據包含RGB圖像，紅外圖像和深度圖像，各計算節點分別從上述圖像中計算與行人(4)相關的信息；本步驟(2.2)包含以下計算節點: ①梯度直方圖HOG節點:梯度直方圖HOG節點訂閱KinectXB0X360攝像頭(3)發布的RGB圖像數據，採用OpenCV圖像處理庫中集成的HOG算法提取圖像局部行人(4)目標的表象和形狀的HOG特徵，然後利用支持向量機算法SVM進行模式分類，檢測行人(4)和確定行人(4)所在的區域； ②人臉檢測節點:機器人作業系統ROS中集成OpenCV開源圖像處理庫，直接調用OpenCV庫中人臉檢測算法創建人臉檢測節點，訂閱Kinect XB0X360攝像頭(3)發布的RGB圖像，計算行人(4)臉部所在的區域； ③行人上半身梯度直方圖HOG節點:在室內環境中，人體的下半身容易被遮擋，運用OpenCV梯度直方圖HOG算法創建行人(4)上半身檢測節點，檢測識別Kinect XB0X360攝像頭(3)發布的RGB圖像中人體的上半身提高室內環境行人(4)檢測的準確率； ④膚色檢測節點:皮膚的檢測是圖片中行人(4)存在的重要線索，在機器人作業系統ROS中創建膚色檢測節點，調用OpenCV圖像庫中的膚色檢測器檢測行人(4)膚色區域； ⑤點雲檢測節點:根據人體的三維特徵信息，創建點雲數據檢測節點，訂閱KinectXB0X360攝像頭(3)發布的點雲數據，運用PCL點雲數據處理庫在三維空間位置中檢測出行人(4)信息； ⑥姿態檢測節點:骨骼追蹤技術通過處理深度數據來建立人體各個關節的坐標，骨骼追蹤能夠確定人體的各個部分，利用Kinect XB0X360攝像頭(3)的發布的數據信息，提取人體的骨骼坐標組成人體骨骼框架，作為行人(4)檢測的重要因素； (2.3)創建人體信息融合節點:將步驟(2)各計算節點的行人(4)信息融合在一起，最終輸出行人(4)檢測結果。
【文檔編號】G06F9/50GK103995747SQ201410196878
【公開日】2014年8月20日 申請日期:2014年5月12日 優先權日:2014年5月12日
【發明者】羅均, 劉恆利, 李恆宇, 趙重陽, 謝少榮 申請人:上海大學