一種基於計算機視覺的機器人跟隨人體的系統和方法與流程

2023-05-23 13:51:51

本發明涉及一種機器人跟隨人體的系統和方法，尤其涉及一種基於計算機視覺的機器人跟隨人體的系統和方法。

背景技術：

目前市場上的機器人跟隨功能大都使用雷射傳感器或者其他輔助定位方式對目標進行定位，進而實現跟隨，另外還需要被跟隨對象與機器人保持在一定的距離範圍內或者手動發送位置信息，機器人才能進行跟隨。當被跟隨對象超出機器人的跟隨範圍內時，機器人將無法得到定位信息，也不會做出跟隨的行動，導致機器人的智能化降低，應用範圍受到限制，難以推廣到實際的應用中，已經不能滿足人們的要求。

技術實現要素：

本發明的目的在於提供一種基於計算機視覺的機器人跟隨人體的系統和方法，解決現有技術存在的缺憾。

本發明採用如下技術方案實現：

一種基於計算機視覺的機器人跟隨人體的系統，其特徵在於，包括視頻採集模塊、物體檢測模塊和運動控制模塊，其中：

所述視頻採集模塊由深度相機構成，用於獲取當前場景的深度圖像及RGB圖像；

所述物體檢測模塊將採集到的圖像進行處理，檢測場景中的人體並確定人體在場景中的位置；

所述運動控制模塊根據獲取的人體位置，驅動機器人靠近人體，當人體在深度相機所檢測的深度範圍內時，對人體進行跟隨。

進一步的，該系統利用深度相機採集獲取當前場景的深度圖像及RGB圖像，將採集到的圖像進行處理，檢測場景中的人體並確定人體在場景中的位置，再根據獲取的人體位置驅動機器人靠近人體，當人體在深度相機所檢測的深度範圍內時對人體進行跟隨。

本發明的有益技術效果是：針對已有技術中存在的機器人定位及跟隨問題，本發明通過利用視覺設備獲取被跟隨對象的圖像信息，利用計算機視覺技術檢測被跟隨對象的與機器人的相對位置信息，將信息反饋到機器人運動控制單元，進而實現跟隨，一方面提高機器人的檢測範圍，另一方面也提高了機器人跟隨的魯棒性。

附圖說明

圖1是本發明的人體檢測流程圖。

圖2是本發明的人體跟隨流程圖。

圖3是本發明的人體尋找流程圖。

具體實施方式

通過下面對實施例的描述，將更加有助於公眾理解本發明，但不能也不應當將申請人所給出的具體的實施例視為對本發明技術方案的限制，任何對部件或技術特徵的定義進行改變和/或對整體結構作形式的而非實質的變換都應視為本發明的技術方案所限定的保護範圍。

本發明的主要實現思想是：機器人對攝像頭拍攝的視頻圖片進行相應特徵提取，並使用提取的特徵數據進行分類，完成對人體的檢測和識別。與傳統圖像識別系統，本機器人中使用了快速檢測物體區域算法，對視頻幀中的物體能夠近乎於實時（24fps）進行檢測，從而使得物體識別的處理時間與準確度能夠得到較大的提高。機器人對攝像頭拍攝的視頻連續幀進行分析、提取特徵，實現對視頻中出現的人體進行檢測識別。首先採用快速物體預檢測算法尋找可能出現人體的候選區域，然後對候選區域採用幀之間的運動約束和分類器進行進一步篩選和識別。

對特徵進行快速預檢測，使用支持向量機SVM對圖片的像素塊分布進行分類，與傳統檢測算法不同的是經過此快速預檢測之後，原來生成的上萬個圖像備選區域將被降至幾千個。而且此快速預檢測最快能達到了幾百幀每秒。但是此預檢測得出的結果會存在有一定的噪聲與誤差。因此需要通過運動約束來對誤差備選圖進行篩選，由於機器人對人進行追蹤的特殊性，被追蹤物體將處於運動狀態，而非被追蹤物體將具有一定的像素穩定性，根據此特性對圖片中的誤差檢測做約束篩選。由此可見在下一幀中誤差預測將被約束篩選除去。

在圖1中，機器人檢測到人體後，通過計算機視覺對人體進行定位及定向，隨後慢慢逼近人體，直至人體在機器人深度相機的深度範圍內，並計算點雲數量，並得到人體點雲的中心位置，機器人以給位置為參考點，對人體進行跟隨。在圖2和圖3中的機器人跟隨人體的過程中，難免會因為被檢測人速度過快或者其他事件離開機器人視線的情況，這時候機器人需要進行人體的尋找工作，並繼續跟隨人體。

本實施例具體實施的方式和步驟：

Step1：機器人對攝像頭拍攝的視頻連續幀進行分析，提取特徵，實現對視頻中出現的人體進行快速檢測識別，得到可能出現人體的候選區域；

Step2：若檢測到人體，通過運動約束來對誤差備選圖進行篩選，由於機器人對人進行追蹤的特殊性，被追蹤物體將處於運動狀態，而非被追蹤物體將具有一定的像素穩定性，根據此特性對圖片中的誤差檢測做約束篩選；

Step3：估算被檢測到的人體在機器人視角中的位置，機器人轉動一定角度，面向被檢測人體；

Step4：若被檢測人體在機器人視角的深度範圍內，則對被測人體進行跟隨，否則機器人前進；

Step5：跟隨過程中如果目標丟失，機器人進行目標尋找，並回到Step1；其中搜尋的方式為：先進行原地搜尋，即機器人旋轉360度，每旋轉45度，進行一次快速人體檢測；若仍未發現人體，則導航至另一地點繼續尋找。

本實施例通過運動約束來對誤差備選圖進行篩選，提高人體檢測精度，利用視覺實現目標的定位及定向，進而對機器人進行運動控制，本實施例中的快速物體檢測識別算法及機器人跟隨總體方案均屬於要求保護的對象。

當然，本發明還可以有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員可以根據本發明做出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明所附的權利要求的保護範圍。