一種基於雙目視覺的人體姿態動作研究方法

2023-05-18 13:42:26 2

一種基於雙目視覺的人體姿態動作研究方法
【專利摘要】本發明公開了一種基於雙目視覺的人體姿態動作研究方法，該方法首先通過雙目標定獲取相機的內外參數，接著從相機拍攝的圖像中提取出各膚色區域的質心點的坐標，並對質心點進行匹配判斷，然後以世界坐標係為基準求出匹配的質心點在世界坐標系中的坐標，最後根據質心點在世界坐標系中坐標判斷人體的姿態及動作。本發明不需要拍攝大量圖像，能夠通過實時採集視頻幀對人臉和雙手等人體關鍵部位的質心點進行立體匹配，以獲取人體關鍵部位之間的位置關係，運行成本較低。
【專利說明】一種基於雙目視覺的人體姿態動作研究方法
【技術領域】
[0001]本發明涉及一種人體姿態動作研究方法，具體而言，涉及一種基於雙目視覺的人體姿態動作研究方法。
【背景技術】
[0002]隨著計算機技術的發展，人們可以使用計算機完成很多高難度的工作。通過計算機對人體動作進行準確識別的技術可廣泛應用於智能人機互動，虛擬實境，視頻監控和數字娛樂領域，是目前計算機視覺與模式識別領域的研究熱點。在某些虛擬實境的領域中，如數字娛樂，通常需要計算機一方面向人的感官傳遞刺激信號，另一方面也需要接收操作者的反應，如體態姿勢的變動等，然後根據這些人體本身位置和狀態的變換來調整刺激信號。因此，需要準確地的對人體動作或姿態進行識別。
[0003]目前一些利用動作進行識別控制的方法都是基於傳統的圖像識別方法，通過攝像頭拍攝人體的行為姿態或動作，對拍攝的圖像進行分析處理，提取圖像的數據特徵信息，利用相應的識別算法進行識別，判斷出人體的行為姿態或動作。此種方法一方面需要相當大的存儲空間以存放拍攝的圖像，另一方面也需要非常優化的算法來精確識別人體姿態或動作，並且這些方法都是利用圖像中的二維數據信息，不能精確確定人體關鍵部位之間的位置關係。
[0004]目前獲取三維數據的方法主要可分為兩類:主動測距和被動測距。主動測距技術主要包括結構光法和飛行時間法(TOF)。結構光法是一種既利用圖像又利用可控制輻射源的測距方法，其基本思想是利用照明中的幾何信息幫助提取景物中的幾何信息。結構光法對設備和外界光線要求較高，造價昂貴。飛行時間法直接利用光和聲波的傳播特性，不需要進行灰度圖像的獲取與分析，因此距離的獲取不受物體表面性質的影響，但是需要較複雜的光電設備，造價昂貴，且測量精度與設備的靈敏度有很大關係。被動測距技術主要包括雙目或者多目視覺測距，它不需要人為設置輻射源，只利用場景在自然光照下的二維圖像來重建景物的三維信息。立體視覺的研究工作從20世紀60年代中期開始的，當時，麻省理工學院的Robert完成了三維景物分析工作，把二維圖像分析推廣到了三維景物，這標誌著立體視覺技術的誕生，並在隨後的20年中迅速發展成為一門新興學科。
[0005]立體視覺的基本原理是從兩個試點觀察同一景物，以獲取在不同視角下的感知圖像，通過三角測量原理計算圖像像素間的位置偏差，即視差，來獲取景物的三維信息，這一過程是與人類視覺的立體感知過程類似的。雙目立體視覺對設備的要求不高，但需要在測量之前能夠準確的標定，獲取相機的內外參數，來重建三維信息。

【發明內容】

[0006]本發明提供了一種基於雙目視覺的人體姿態動作研究方法，用以利用雙目立體視覺原理研究人體的姿態動作。
[0007]為達到上述目的，本發明提供了一種基於雙目視覺的人體姿態動作研究方法，包括以下步驟:
[0008]S1:將左相機和右相機分別置於與地面平行的同一水平線上，其中，兩部相機為同一型號，兩部相機之間的距離為設定值，且兩部相機均能拍攝到完整的人體上半身；
[0009]S2:對左相機和右相機進行雙目標定，首先準備一塊帶有多個圓形特徵點的矩形標定板，其中，多個圓形特徵點排列成多行和多列的陣列，位於同一行的圓形特徵點的圓心在同一直線上，位於同一列的圓形特徵點的圓心在同一直線上；
[0010]S3:將標定板置於相機拍攝區域內的至少5個不同方位，並分別使用左相機和右相機對標定板進行拍攝，得到多張對應左相機的左標定板圖像和多張對應右相機的右標定板圖像；
[0011]S4:計算左標定板圖像中的多個圓形特徵點在左圖像坐標系中的坐標，以及右標定板圖像中的多個圓形特徵點在右圖像坐標系中的坐標，其中，左圖像坐標系的原點為左相機的成像面與其光軸的交點，右圖像坐標系的原點為右相機的成像面與其光軸的交點；
[0012]S5:利用極線約束規則分別匹配同一方位下的左標定板圖像和右標定板圖像，得到每個方位下多個圓形特徵點在左圖像坐標系和右圖像坐標系中的特徵圓心；
[0013]S6:根據每個方位下多個圓形特徵點在左圖像坐標系和右圖像坐標系中的特徵圓心，利用Levenberg-Marquardt算法計算左相機的內參數，以及左相機和右相機組成的相機系統的外參數，其中，內參數至少包括左圖像坐標系中u軸的有效焦距fx、V軸的有效焦距fy以及左圖像坐標系的中心坐標(cx，cy)，外參數至少包括旋轉向量R和平移向量t ；
[0014]S7:構建人體膚色模型，首先使用手工標註方法統計大量RGB格式人體圖像中的膚色區域的RGB值，得到人體膚色在RGB空間的分布情況；
[0015] S8:將RGB空間轉化到YCrCb空間，得到人體膚色在YCrCb空間的分布情況；
[0016]S9:根據人體膚色在YCrCb空間的分布情況構建人體膚色模型；
[0017]SlO:被採集者站立在左相機和右相機的圖像採集範圍內，在t0時刻，使用左相機和右相機分別採集一幀左相機圖像和一幀右相機圖像；
[0018]Sll:根據人體膚色模型，分別對左相機圖像和右相機圖像進行預處理濾波去噪及膚色檢測，得到左相機圖像中的多個連通的膚色區域和右相機圖像中的多個連通的膚色區域；
[0019]S12:分別對左相機圖像中的多個連通的膚色區域和右相機圖像中的多個連通的膚色區域進行二值化處理及濾波，獲取左相機圖像中的多個膚色區域和右相機圖像中的多個膚色區域，其中，多個膚色區域至少包括被採集者的臉部；
[0020]S13:分別計算左相機圖像和右相機圖像中的多個膚色區域的質心點的坐標，首先從左相機圖像中的多個膚色區域和右相機圖像中的多個膚色區域中取一個膚色區域；
[0021]S14:取該膚色區域的最小外接矩形，得到大小為m*n的子圖像，其中m為最小外接矩形的寬度，η為最小外接矩形的長度；
[0022]S15:假設(i，j)為子圖像中以對應的圖像坐標係為基準的像素點的坐標，f(i, j)為子圖像在該像素點的灰度值，則子圖像的矩為:
【權利要求】
1.一種基於雙目視覺的人體姿態動作研究方法，其特徵在於，包括以下步驟: S1:將左相機和右相機分別置於與地面平行的同一水平線上，其中，兩部相機為同一型號，兩部相機之間的距離為設定值，且兩部相機均能拍攝到完整的人體上半身； S2:對所述左相機和所述右相機進行雙目標定，首先準備一塊帶有多個圓形特徵點的矩形標定板，其中，多個所述圓形特徵點排列成多行和多列的陣列，位於同一行的圓形特徵點的圓心在同一直線上，位於同一列的圓形特徵點的圓心在同一直線上； 53:將所述標定板置於相機拍攝區域內的至少5個不同方位，並分別使用左相機和右相機對所述標定板進行拍攝，得到多張對應左相機的左標定板圖像和多張對應右相機的右標定板圖像； 54:計算所述左標定板圖像中的多個所述圓形特徵點在左圖像坐標系中的坐標，以及所述右標定板圖像中的多個所述圓形特徵點在右圖像坐標系中的坐標，其中，所述左圖像坐標系的原點為所述左相機的成像面與其光軸的交點，所述右圖像坐標系的原點為所述右相機的成像面與其光軸的交點； S5:利用極線約束規則分別匹配同一方位下的所述左標定板圖像和所述右標定板圖像，得到每個方位下多個所述圓形特徵點在所述左圖像坐標系和所述右圖像坐標系中的特徵圓心； S6:根據每個方位下多個所述圓形特徵點在所述左圖像坐標系和所述右圖像坐標系中的特徵圓心，利用Levenberg-Marquardt算法計算所述左相機的內參數，以及所述左相機和所述右相機組成的 相機系統的外參數，其中，所述內參數至少包括左圖像坐標系中u軸的有效焦距fx、V軸的有效焦距fy以及左圖像坐標系的中心坐標(cx，cy)，所述外參數至少包括旋轉向量R和平移向量t ; 57:構建人體膚色模型，首先使用手工標註方法統計大量RGB格式人體圖像中的膚色區域的RGB值，得到人體膚色在RGB空間的分布情況； 58:將RGB空間轉化到YCrCb空間，得到人體膚色在YCrCb空間的分布情況； 59:根據人體膚色在YCrCb空間的分布情況構建人體膚色模型； 510:被採集者站立在所述左相機和所述右相機的圖像採集範圍內，在to時刻，使用所述左相機和所述右相機分別採集一幀左相機圖像和一幀右相機圖像； 511:根據所述人體膚色模型，分別對所述左相機圖像和所述右相機圖像進行預處理濾波去噪及膚色檢測，得到所述左相機圖像中的多個連通的膚色區域和所述右相機圖像中的多個連通的膚色區域； 512:分別對所述左相機圖像中的多個連通的膚色區域和所述右相機圖像中的多個連通的膚色區域進行二值化處理及濾波，獲取所述左相機圖像中的多個膚色區域和所述右相機圖像中的多個膚色區域，其中，所述多個膚色區域至少包括被採集者的臉部； S13:分別計算所述左相機圖像和所述右相機圖像中的多個膚色區域的質心點的坐標，首先從所述左相機圖像中的多個膚色區域和所述右相機圖像中的多個膚色區域中取一個膚色區域； S14:取該膚色區域的最小外接矩形，得到大小為m*n的子圖像，其中m為所述最小外接矩形的寬度，η為所述最小外接矩形的長度； S15:假設(i，j)為所述子圖像中以對應的圖像坐標係為基準的像素點的坐標，f(i, j)為所述子圖像在該像素點的灰度值，則所述子圖像的矩為:
2.根據權利要求1所述的基於雙目視覺的人體姿態動作研究方法，其特徵在於，S12中所述的多個膚色區域還包括被採集者的左手和右手，且S30中未捨棄被採集者左手和右手的質心點，相應的，進一步包括一判斷手臂姿勢的步驟: 被採集者保持雙臂伸直，使雙臂在同一平面內且雙臂所在平面與豎直面呈90度夾角，使用上述步驟SlO~S28分別計算出被採集者的臉部、左手和右手的質心點在世界坐標系中的坐標，再分別計算左手與臉部之間的距離和右手與臉部之間的距離，並計算左手與臉部之間的距離和右手與臉部之間的距離的平均值S ； 假設tl時刻採集到的圖像計算出的左手質心點的坐標在世界坐標系中的坐標為L(X1, Y1, Z1)，右手質心點的坐標在世界坐標系中的坐標為R(Xr，yr, zr)， 則左手質心點與臉部質心點之間的空間向量為
3.根據權利要求1所述的基於雙目視覺的人體姿態動作研究方法，其特徵在於，進一步包括一判斷被採集者是否發生快速移動的步驟: 設定一速度閾值Vt, 計算臉部的質心點在to~tl時間內的移動距離d:
4.根據權利要求1所述的基於雙目視覺的人體姿態動作研究方法，其特徵在於，S4包括以下步驟: 對標定板圖像進行canny邊緣檢測和濾波去噪； 利用最小二乘法擬合所述標定板上最外層的圓形特徵點； 根據上述兩步驟的結果計算多個所述圓形特徵點在對應的圖像坐標系中的坐標。
5.一種實施權利要求1所述的基於雙目視覺的人體姿態動作研究方法的系統，其特徵在於，包括:雙目標定模塊，質心提取模塊，質心匹配模塊，三維坐標獲取模塊，姿態識別模塊，其中， 所述雙目標定模塊用於對左相機和右相機進行雙目標定； 所述質心提取模塊用於提取所述左相機圖像和所述右相機圖像中的膚色區域的質心點的坐標； 所述質心匹配模塊用於判斷所述左相機圖像中的膚色區域與對應的右相機圖像中的膚色區域是否匹配； 所述三維坐標獲取模塊用於計算相匹配的膚色區域的質心點在世界坐標系中的坐標； 所述姿態識別模塊用於識別被採集者的姿態。
【文檔編號】G06T7/60GK104036488SQ201410184042
【公開日】2014年9月10日 申請日期:2014年5月4日 優先權日:2014年5月4日
【發明者】葉青, 董俊峰, 張永梅 申請人:北方工業大學