一種用戶身份識別裝置和機器人的製作方法
2023-12-08 21:17:57 1
本申請涉及機器人製造技術領域，尤其涉及一種用戶身份識別裝置和機器人。
背景技術：
隨著科學技術的高速發展，機器人製造技術也得以發展迅速，機器人的應用已逐步進入家庭服務行業。
物業服務機器人是一種不受環境、溫度的影響，能夠動態地實現對用戶身份識別的機器人，該類機器人需要在用戶身份識別方面有卓越的辨識能力。
然而目前傳統的物業服務機器人都是利用高清攝像頭捕捉用戶圖像信息，通過對捕捉到的用戶圖像信息進行分析來達到識別用戶身份的目的。顯然，僅僅依靠高清攝像頭捕捉到的用戶圖像信息來識別用戶身份，其準確度、識別效率都非常低。
技術實現要素：
有鑑於此，本申請提供一種用戶身份識別裝置和機器人，以提高用戶身份識別的準確度和識別效率。技術方案如下：
本申請的一方面，提供一種用戶身份識別裝置，包括：至少一個雙目攝像頭、至少一個高清攝像頭和分別與所述雙目攝像頭、高清攝像頭連接的處理器；其中，
所述至少一個雙目攝像頭和至少一個高清攝像頭同步工作，分別用於實時獲取視頻圖像信息；
所述處理器對所述至少一個雙目攝像頭獲取到的第一視頻圖像信息進行深度處理，獲取深度圖和彩色圖，並依據所述深度圖、彩色圖和至少一個高清攝像頭獲取到的第二視頻圖像信息，確定用戶的身份信息。
優選地，所述雙目攝像頭包括的兩個攝像頭均為1080P的高清攝像頭，且所述兩個攝像頭的間距為15釐米。
優選地，所述處理器包括：
深度信息處理模塊，用於對所述至少一個雙目攝像頭獲取到的第一視頻圖像信息進行深度處理，獲取深度圖和彩色圖；
圖片信息處理模塊，用於對所述深度圖和彩色圖進行處理，確定所述第一視頻圖像信息中的至少一名用戶；
人臉定位模塊，用於採用人臉定位方法計算所述第一視頻圖像信息中各個用戶的人臉位置；
人臉區域確定模塊，用於基於所述第一視頻圖像信息中各個用戶的人臉位置，確定所述高清攝像頭獲取的第二視頻圖像信息中各個用戶的人臉區域；
人臉特徵信息提取模塊，用於採用人臉特徵提取方法對所述第二視頻圖像信息中各個用戶的人臉區域進行特徵提取，分別獲得每個人臉區域對應的人臉特徵信息；
比對模塊，用於將獲得的人臉特徵信息與存儲的預設人臉特徵信息進行比對，所述預設人臉特徵信息與預設用戶身份信息一一對應；
用戶身份確定模塊，用於當所述比對模塊對比所述獲得的人臉特徵信息與存儲的預設人臉特徵信息一致時，將所述預設人臉特徵信息對應的預設用戶身份信息確定為所述用戶的身份。
優選地，所述圖片信息處理模塊包括：
第一處理子模塊，用於對所述彩色圖進行深度卷積神經網絡Deep CNN的人體檢測，獲得所述第一視頻圖像信息的初步人體檢測結果；
第二處理子模塊，用於基於所述初步人體檢測結果，結合所述深度圖的圖像信息，確定所述第一視頻圖像信息的最終人體檢測結果；
用戶確定子模塊，用於根據所述最終人體檢測結果確定所述第一視頻圖像信息中的至少一名用戶。
優選地，所述處理器還用於，依據所述深度圖確定所述用戶的相對位置信息。
本申請的另一方面，還提供一種機器人，包括前文任一項所述的用戶身份識別裝置。
本申請提供的用戶身份識別裝置包括至少一個雙目攝像頭、至少一個高清攝像頭和分別與所述雙目攝像頭、高清攝像頭連接的處理器，其中，至少一個雙目攝像頭和至少一個高清攝像頭同步工作，分別用於實時獲取視頻圖像信息，處理器對所述至少一個雙目攝像頭獲取到的第一視頻圖像信息進行深度處理，獲取深度圖和彩色圖，並依據所述深度圖、彩色圖和至少一個高清攝像頭獲取到的第二視頻圖像信息，確定用戶的身份信息。本申請採用雙目攝像頭搭配高清攝像頭的工作方式，相比於現有技術僅僅依靠高清攝像頭捕捉到的用戶圖像信息來識別用戶身份，本申請提供的機器人提高了用戶身份識別的準確度、識別效率。
附圖說明
為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
圖1為本申請提供的一種用戶身份識別裝置的結構示意圖；
圖2為本申請中處理器的結構示意圖；
圖3為本申請中圖片信息處理模塊的結構示意圖。
具體實施方式
下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
請參閱圖1，其示出了本申請提供的一種用戶身份識別裝置的結構示意圖，包括：至少一個雙目攝像頭100、至少一個高清攝像頭200和分別與所述雙目攝像頭100、高清攝像頭200連接的處理器300。本申請中關於雙目攝像頭100和高清攝像頭200的具體設置個數可以根據實際需求靈活設置，但需保證的是，所設置的至少一個雙目攝像頭100和至少一個高清攝像頭200需實時同步工作，分別實時獲取其各自捕捉到的視頻圖像信息。具體在本申請實施例中，雙目攝像頭100包括的兩個攝像頭均可以採用1080P的高清攝像頭，其包括的兩個攝像頭間距15釐米。在本申請實際應用過程中，優選的雙目攝像頭100和高清攝像頭200同時同步捕捉同一方向、位置的視頻圖像信息。
具體在本申請中，至少存在一個雙目攝像頭100和一個高清攝像頭200同時且實時同步工作，用於分別實時獲取其各自捕捉到的視頻圖像信息。其中，雙目攝像頭100捕捉到的視頻圖像信息稱之為第一視頻圖像信息，高清攝像頭200捕捉到的視頻圖像信息稱之為第二視頻圖像信息。
處理器300分別與各雙目攝像頭100和各高清攝像頭200連接，用於接收各雙目攝像頭100和各高清攝像頭200發送的視頻圖像信息。進而處理器300對所述至少一個雙目攝像頭100獲取到的第一視頻圖像信息進行深度處理，獲取深度圖和彩色圖，並依據所述深度圖、彩色圖和至少一個高清攝像頭200獲取到的第二視頻圖像信息，確定用戶的身份信息。
下面，發明人將對本申請中處理器300的具體實現過程進行詳細描述，其結構如圖2所示，包括：
深度信息處理模塊301，用於對所述至少一個雙目攝像頭100獲取到的第一視頻圖像信息進行深度處理，獲取深度圖和彩色圖。
為了便於說明，本申請以包括一個雙目攝像頭100和一個高清攝像頭200為例來說，處理器300接收到雙目攝像頭100發送的第一視頻圖像信息後，對該第一視頻圖像信息進行深度處理，獲得一深度圖和一彩色圖(為了便於區分，這裡稱之為彩色圖一)，接收到高清攝像頭200發送的第二視頻圖像信息後，又獲得一彩色圖(色圖二)。
在本申請實際應用過程中，因為雙目攝像頭100的視場角較大，高清攝像頭200的解析度高且視場角相對較小(相同距離獲取到的人臉圖片大)，因此彩色圖一和彩色圖二的內容不完全相同，但容易理解的是，對於彩色圖一和彩色圖二中相同的內容來說，彩色圖二中的內容是放大後的彩色圖一中的內容。
圖片信息處理模塊302，用於對所述深度圖和彩色圖進行處理，確定所述第一視頻圖像信息中的至少一名用戶。
本申請中，圖片信息處理模塊302可以具體包括，如圖3所示：
第一處理子模塊3021，用於對所述彩色圖進行Deep CNN(Deep Convolutional Neural Networks，深度卷積神經網絡)的人體檢測，獲得所述第一視頻圖像信息的初步人體檢測結果。
在本申請實施例中，人體檢測的Deep CNN深度學習網絡由卷積層網絡、區域提取網絡和區域分類網絡構成。將獲得的第一視頻圖像信息輸入至Deep CNN中進行人體檢測後，輸出該第一視頻圖像信息中的初步人體檢測結果。例如該第一視頻圖像信息中包括三名用戶，則初步人體檢測結果包括該三名用戶的人體檢測結果。而對於發生重疊的用戶來說，則還是只會輸出一個人體檢測結果。
第二處理子模塊3022，用於基於所述初步人體檢測結果，結合所述深度圖的圖像信息，確定所述第一視頻圖像信息的最終人體檢測結果。
由於通過Deep CNN的人體檢測後，對於發生重疊的用戶只會輸出一名用戶對應的一個人體檢測結果，無法實現對重疊用戶的分開識別，因此本申請進一步通過獲取深度圖，結合深度圖的圖像信息，對發生重疊的用戶加以區分，從而分離出單個的用戶個體，實現了識別重疊用戶的功能，保證了用戶身份識別的準確度。
用戶確定子模塊3023，用於根據所述最終人體檢測結果確定所述第一視頻圖像信息中的至少一名用戶。
例如假設，當前彩色圖中一共包括5名用戶，分別為用戶A、用戶B、用戶C、用戶D和用戶E，其中用戶C、用戶D和用戶E發生重疊，那麼本申請對該彩色圖進行Deep CNN的人體檢測後，獲得的初步人體檢測結果包括用戶A的人體檢測結果、用戶B的人體檢測結果和用戶C』的人體檢測結果，這裡用戶C』的人體檢測結果表示的是發生重疊的用戶C、用戶D和用戶E共同對應的人體檢測結果。進一步，本申請獲取深度圖，結合深度圖的圖像信息可以獲知當前用戶C』存在重疊問題，因此對用戶C』進行分離處理，即將用戶C、用戶D和用戶E分離開，從而分別得到用戶C、用戶D和用戶E的人體檢測結果。最終，本申請實現了對當前彩色圖中一共包括的用戶A、用戶B、用戶C、用戶D、用戶E這5名用戶的人體檢測結果的確定，即確定出該第一視頻圖像信息中的5名用戶。
人臉定位模塊303，用於採用人臉定位方法計算所述第一視頻圖像信息中各個用戶的人臉位置。
具體的，本申請實施例採用基於邊框的人臉定位方法計算所述第一視頻圖像信息中各個用戶的人臉位置。
本申請中，在圖片信息處理模塊302確定出第一視頻圖像信息中5名用戶的人體檢測結果後，基於邊框的人臉定位方法會根據人體的基本比例，計算出每個用戶的人臉的大概位置，然後通過Haar特徵及AdaBoost分類器來找到人臉的具體位置，從而實現用戶人臉位置的確定。
此外在本申請實施例中，為了保證用戶身份識別的準確度，本申請可以再次獲取深度圖，並依據所述深度圖中人臉位置處的深度信息分布情況，排除錯誤的人臉位置。
人臉區域確定模塊304，用於基於所述第一視頻圖像信息中各個用戶的人臉位置，確定所述高清攝像頭200獲取的第二視頻圖像信息中各個用戶的人臉區域。
本申請中的雙目攝像頭100和高清攝像頭200實時同步工作，在同一時刻能夠獲取到同一方向、位置的視頻圖像信息，因此將雙目攝像頭100獲取到的第一視頻圖像信息與高清攝像頭200獲取到的第二視頻圖像信息進行比對校準，由此可以基於確定的第一視頻圖像信息中各個用戶的人臉位置，確定出第二視頻圖像信息中各個用戶的人臉位置，進而獲取該人臉位置處對應的用戶的人臉區域。
人臉特徵信息提取模塊305，用於採用人臉特徵提取方法對所述第二視頻圖像信息中各個用戶的人臉區域進行特徵提取，分別獲得每個人臉區域對應的人臉特徵信息。
本申請在確定出各個用戶的人臉區域後，依次對每個人臉區域採用人臉特徵提取方法進行特徵提取，具體的，本申請可以對第二視頻圖像信息中各個用戶的人臉區域進行人臉Deep CNN的信息提取，獲得每個人臉區域對應的人臉Deep CNN特徵。
在本申請實施例中，人臉區域確定模塊204獲得第二視頻圖像信息中各個用戶的人臉區域後，通過人臉特徵信息(如人臉特徵點)的提取能夠實現人臉姿態校準。本申請中的人臉Deep CNN深度學習網絡具有37層，包括16個卷積層，人臉的檢測結果經過校準之後歸一化到224×224，輸入到人臉Deep CNN深度學習網絡後得到人臉Deep CNN特徵。
比對模塊306，用於將獲得的人臉特徵信息與存儲的預設人臉特徵信息進行比對，所述預設人臉特徵信息與預設用戶身份信息一一對應。
其中，本申請可以採用KNN(k-Nearest Neighbor，最臨近)最近距離算法，將獲得的人臉特徵信息與存儲的預設人臉特徵信息進行比對。
本申請包括人臉Deep CNN特徵資料庫，該人臉Deep CNN特徵資料庫是用於對研發人員採集的大量圖片信息，利用人臉Deep CNN深度學習網絡進行深度學習後，將得到的所有人臉Deep CNN特徵進行存儲。不同的用戶對應不同的人臉Deep CNN特徵，因此，本申請只要比對出人臉Deep CNN特徵，即可確定出用戶的身份。
用戶身份確定模塊307，用於當所述比對模塊對比所述獲得的人臉特徵信息與存儲的預設人臉特徵信息一致時，將所述預設人臉特徵信息對應的預設用戶身份信息確定為所述用戶的身份。
在本申請實施例中，用戶身份確定模塊307將獲得的人臉特徵信息與人臉Deep CNN特徵資料庫中存儲的預設人臉特徵信息進行比對。如果對比一致，則說明當前人臉特徵信息對應的用戶即為預設人臉特徵信息對應的用戶，由此便可直接確定用戶的身份。
此外在本申請上述實施例的基礎上，本申請中的處理器300還可以用於，依據所述深度圖確定所述用戶的相對位置信息。
在機器人平臺的視覺系統中，除了實現用戶身份的識別之外，還可兼具人機互動的功能，因此本申請中處理器300除了實現對用戶身份信息的確定之外，還可以實現對用戶相對位置信息的確定，即用戶相對於機器人的位置信息。而本申請中的雙目攝像頭100獲取到的第一視頻圖像信息具有視場角度較大、包括深度信息的特點，對於人體檢測及定位有著天然的優勢。結合深度信息的人體定位能夠給機器人的智能導航及人機互動提供可靠的位置信息。
因此應用本申請的上述技術方案，本申請利用雙目攝像頭100視場角較大、具有深度信息的特點，不僅能夠實現人體檢測和定位，且結合深度信息的人體定位功能能夠給機器人的智能導航及人機互動提供可靠的位置信息。且本申請利用雙目攝像頭100搭配高清攝像頭200同步工作，可以將在雙目攝像頭100中檢測到的人和人臉位置映射到高清攝像頭200獲取的彩色圖二中，不存在現有遠距離自動人臉識別對人臉區域圖片質量及大小要求較高的問題。本申請高清攝像頭200的解析度高而且視場角相對較小，而且能夠通過程序自主控制爆光，因而可以保證包括人臉的圖片的質量。另外高清攝像頭200專用於人臉識別，通過增加適度上仰角度，可以檢測識別近距離人臉，如0.3米以上的人臉，這對於機器人的人機互動功能，如自動刷臉取卡，也是非常重要。
本申請提供的用戶身份識別裝置可以具體用於在機器人上，尤其應用於物業服務機器人，使得該物業服務機器人不僅在用戶身份識別方面有卓越的辨識能力，且增加了物業服務機器人的智能導航及人機互動功能。
以上對本申請所提供的一種用戶身份識別裝置和機器人進行了詳細介紹，本文中應用了具體個例對本申請的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本申請的方法及其核心思想；同時，對於本領域的一般技術人員，依據本申請的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本申請的限制。