基於幾何骨架的人體姿態重建方法
2023-10-08 12:31:09
專利名稱：：基於幾何骨架的人體姿態重建方法
技術領域：
：本發明屬智能視頻監控
技術領域：
，特別是涉及一種基於幾何骨架的人體姿態重建方法。技術背景在智能視頻監控系統中，人體姿態重建是第二個階段。通過人體姿態重建，能夠確定監控視頻中人體的姿態，通過檢索姿態庫中的人體姿態，判斷該姿態的危險程度，從而採取一定的預警措施。人體姿態重建是計算機視覺和模式識別的一個基本問題，它被應用到很多領域，如視頻監控、體育運動分析、輔助臨床醫療診斷等。進行有效的人體姿態重建，能夠擴展視頻監控系統的功能，使計算機能夠更容易地學習、分析和理解人類的動作和行為，從而使視頻監控系統變得更智能，有著重要的研究價值。傳統的人體運動分析方法一般分為兩種。一是在人體的各個關節部位分別加裝機電傳感器。在人體運動過程中，傳感器會不斷地將各關節在空間中的位置返回給計算機，這樣計算機就可以精確獲得人體在各個時刻的運動信息。二是針對圖像序列進行分析。圖像序列可以是單個攝像機拍下的，也可以是多個攝像機同時從各個視角拍下的。目前，已經提出的人體姿態重建算法中，大多數採用從圖像中提取特徵，並與人體模型進行匹配，算法比較複雜，效率也較低。
發明內容本發明所要解決的技術問題是提供一種利用人體幾何骨架，克服傳統方法的局限性，提高姿態重建的準確性，得到較高的處理效率，能夠在智能視頻監控系統中進行穩定而有效的人體姿態重建。本發明解決其技術問題所採用的技術方案是提供一種基於幾何骨架的人體姿態重建方法，包括下列步驟(1)確定人體骨架模型將人體看成一個由關節點連接的剛體集合，以一條線段來表示一個剛體，得到三維人體骨架模型；(2)圖像預處理將視頻幀通過雙向濾波模糊內部紋理保留邊界輪廓信息，然後進行閾值化處理得到二值圖像，再通過不同形態學濾波、腐蝕、下採樣、上採樣一系列數學形態學方法對其進行進一步處理，得到背景和人體分離的二值圖像;(3)獲取人體幾何骨架從分割出來的人體區域進行細化處理，求得線狀幾何骨架;(4)標註首幀關節點將手工標註或自動標註的關節點綁定到幾何骨架上，限制初始關節特徵點的位置，縮小初始誤差；(5)用光流法跟蹤關節點通過標註的方式或自動標註的方法，選定需要跟蹤的關節點，將關節點集合作為參數，用光流法求得關節點的新位置；(6)結合幾何骨架對跟蹤得到的新關節點進行錯誤判定和位置校正根據人體生理先驗知識，將對光流法計算出的偏離正常位置較遠的出錯點拉回來綁定在幾何骨架上進行校正；(7)人體姿態三維重建用比例正交投影模型的參數估計方法，將關節點二維坐標序列轉換為三維骨架模型。所述的步驟(2)的方法為1)先對原幀圖像進行雙向濾波，模糊物體內部紋理，保留物體邊緣輪廓信息；2)將濾波後的圖像轉成灰度圖像；3)用不同的閾值對灰度圖像進行閾值化分割；4)對閾值化分割後的二值圖像進行形態學濾波；5)進行反覆的腐蝕和膨脹處理；6)先後進行下採樣和上採樣處理；7)對圖像像素分布進行統計分析得到最終結果。所述的步驟(5)選用0penCV視覺庫；所述的光流法為圖像金字塔中的迭代Lucas-Kanade光流跟蹤算法。具體操作步驟如圖l所示。1.人體骨架模型我們將人體看成一個由關節點連接的剛體的集合。如上肢是由肘關節連接的上下臂兩個剛體組成的，上臂與軀幹是由肩關節連接的。我們以一條線段來表示一個剛體，將人體運動簡化為人體骨架的運動，這樣就得到了一個三維人體骨架模型。如圖2所示，該人體模型共包含15個人體的關節點，14段鏈杆。表1-1給出了本方法採用的人體各部位的比tableseeoriginaldocumentpage4tableseeoriginaldocumentpage5表1-1人體各部分比例2.圖像預處理方法和過程1)先對原幀圖像進行雙向濾波，模糊物體內部紋理，保留物體邊緣輪廓信息。2)將濾波後的圖像轉成灰度圖像。3)用不同的閾值對灰度圖像進行閾值化分割利用不同的閾值可得到不同程度的分割效果，這為後面的統計分析提供數據。4)對閾值化分割後的二值圖像進行形態學濾波形態學濾波濾除圖像中的圖像經過閾值分割後產生的噪聲5)進行反覆的腐蝕和膨脹處理腐蝕和膨脹處理，進一步去除雜點，只留下最大的人體部分。6)先後進行下採樣和上採樣處理下採樣和上採樣操作是通過先將圖像縮小到原來的四分之一，然後再放大，從而達到消除雜點的目的。7)對圖像像素分布進行統計分析得到最終結果根據感興趣的區域，選取不同閾值，對原幀圖像做上述處理，可以分割出相應的部分，如衣服覆蓋的軀體部分，無衣服覆蓋的膚色部分，穿著和衣服不同顏色的褲子部分等等。將這些分割出來的部分合併，就可以得到我們想要的人體和背景分離的二值圖像。合併的方法就是，對每個像素位置的點在這些圖像中是黑色還是白色的機率來進行統計分析，最終決定該位置的點到底是白色還是黑色。3.獲取人體幾何骨架方法利用形態學知識，下面給出一種實用的對二值區域進行形態學細化的一種算法.也是本程序所使用的算法.設已知目標點標記為1，背景點標記為0.邊界點是指本身標記為1而其8連通鄰域中至少有一個標記為0的點.算法對一幅圖像的所有邊界點即一個3X3區域都進行如下檢驗和操作(l)考慮以邊界點為中心的8鄰域,設pl為中心點,對其鄰域的8個點逆時針繞中心點分別標記為p2,p3，…，p9，其中p2位於pl的上方.如果pl=l(即黑點)時，下面4個條件同時滿足,則刪除pl(pl^0):①2《N(pl)《6,其中N(pl)是pl的非零鄰點的個數；②S(pl)=1，其中S(pl)是以p2,p3,p4，…，p9為序時這些點的值從0到l變化的次數；③p2p4p6二0或者S(pl)半l;p4p6p8^或者S(pl)Z1.(2)同第(1)步，僅將③中的條件改為p2p4p8^，④中的條件改為P2p6p8=0.同樣當對所有邊界點都檢驗完畢後，將所有滿足條件的點刪除.以上兩步操作(1)(2)構成一次迭代.算法反覆迭代，直至沒有點再滿足標記刪除的條件，這時剩下的點就組成區域的骨架.圖3給出了這一算法的應用示例.其中，圖3(b),(c)，(d)是pl不可刪除的三種情況.在圖3(b)中刪除pl會分割區域，圖3(c)中刪除pl會分割縮短邊緣，圖3(d)中滿足條件2《N(pl)《6但pl不可刪除。(a)標記pl和鄰點；(b)pl不可刪除情況一；(C)pl不可刪除情況二；(d)pl不可刪除情況三;(e)細化前圖像；(f)細化後的結果4.標註首幀關節點，以及利用光流法進行關節點跟蹤方法我們採用了一種基於特徵的跟蹤方法來實現對人體關節點的跟蹤。它首先通過標註的方式，也可以採用自動標註的方法，來選定需要跟蹤的關節點，然後主要通過光流法在後續幀中完成自動的跟蹤。OpenCV(Intel⑧開源計算機視覺庫)中提供的函數cvCalcOpticalFlowPyrLK實現了金字塔中Lucas-Kanade光流計算的稀疏迭代版本。它根據給出的前一幀特徵點坐標計算當前視頻幀上的特徵點坐標。函數尋找具有子象素精度的坐標值。5.結合幾何骨架對跟蹤得到的新關節點進行錯誤判定和位置校正的方法我們對人體不同部位的關節點採用了不同的跟蹤處理策略。首先，我們對幾何骨架求角點。如圖5所示，採用不同的閾值求出的角點情況不一樣，但是肢體末端的幾個點，如頭頂，手掌和腳掌，以及肢體相交處的點，如頸部和腹部，都是強角點，被求出的機率很大。我們選取合適的閾值，使每次變化的幾何骨架都能得到上述的這些特徵點。然後，在每幀處理時都把上述的7個特徵點(頭頂、左手、右手、頸部、腹部、左腳、右腳)處的關節點綁定到距其最近的這7個角點上。這樣可以得到準確的跟蹤效果。對於肩部和髖部的4個點，根據人體的生理結構，這幾個點對軀幹來說處於相對靜止的狀態，所以，這4個點根據頸部和腹部的特徵點的位置做相對靜態移動。而對於肘部和膝蓋部4個點，我們判斷其位置是否發生異常，以左肘為例，如果發現左肘點與左手點的距離大於實際前臂的長度，根據投影原理，這是不可能出現的情況。那麼，我們判定為左肘點發生位置異常，通過將其重新定位到和左手點距離為前臂長且在幾何骨架上的某一點，達到位置校正的目的。考慮視頻序列兩相鄰幀的差異不大，使用這種方法強制綁定發生偏離的點，可以起到誤差校正的效果，而不會完全和期望狀態相違背。6.基於比例正交投影模型的參數估計方法在比例正交投影下，人體模型上一個關節點的三維坐標(x,;r，z)與其在圖像幀中的投影坐標("，v)之間的關係可以用方程6.1來表示formulaseeoriginaldocumentpage7從式6.l可以看出，在不考慮深度Z的情況下，比例正交投影的作用效果實際上只是空間坐標的比例變化，其中比例因子就是上式中的參數s，下面的重建方法圍繞如何準確估算比例因子s來展開。先看最簡單的情況，已知一段鏈杆長度為L，圖6是其在比例正交投影下的投影示意圖。圖6中兩個端點(X1,Y1,Z1和(X2,;Y2,Z2)在圖像上的投影分別為(ul，Vl)和(u2，v2)。如果投影模型的比例因子s已知，則很容易就能求出兩個端點的相對深度dZ=(Z1-Z2)，推導如下formulaseeoriginaldocumentpage7又由式(6.l)可得因此有formulaseeoriginaldocumentpage7formulaseeoriginaldocumentpage8直接由(6.5)式我們計算得到dZ的兩個值，卻無法確定dZ的符號，也就是說存在歧義性。比例正交投影的這種歧義性如圖7所示。從圖7中可見，對過點(Z,，"，Z,)的參考平面，其兩邊的兩個(％2,;r2，z2)點都投影倒圖像中的同一點("2，v2)。這兩點相對(a，f,，z,)點的dz大小相同，符號相反。dZ的符號需要由兩個端點(x,，《,z,)和(%2，72，22)的相對位置，即它們相對參考平面的位置來決定。對人體關節模型而言，從觀察者的角度來看，可以從圖像中的關節電離觀察者距離的遠近來決定相鄰關節點之間相對深度dZ的符號。另一方面，從dZ的取值考慮，深度值的幾何意義決定了dZ絕對值只能是有理數，因此由(6.5)式，應有formulaseeoriginaldocumentpage8所以比例因子S應滿足下式formulaseeoriginaldocumentpage8由式(6.7)我們可以看出，在鏈杆長度L已知，兩個端點在圖像上的投影點的坐標(m,，v,)和("2，v2)可以得到的情況下，可以找到滿足不等式(6.7)的最小比例因子值s^，將其代入式(6.5)則可計算得到相對深度dZ的值。上述推導很容易就可以推廣到通過關節點連接的多段鏈杆的情況，如圖8所示。途中依次連接的三段鏈杆，其連接的四個關節點(a,",z。，(z2,;r2,z2)，(&,:r3,z3)和(%4,f4,z4)我們分別將它們記為^，p2，p3，屍4。這些關節點在圖像上的成像點分別為(",，v,)，("2，v2)，(w3，v3)和("4,v4)。以屍2(X2,:K2，Z2)點為參考點，參考平面經過該點o對圖8中的三段鏈杆分別應用式(6.7)，得到如下不等式組A》乂((",-"2)2-V2)2'j22麵2-w3)2+(v2-v3)2/丄2(6.8)在已知各段鏈杆的長度A，丄2，丄3，以及各關節點在圖像上的成像點的坐標(仏,V,)，(w2,v2)，("3，V3)和(w4,v4)的情況下，可以分別求得各自對應的最小比例因子值A，S2，&。取其中最大的比例因子值作為共通的^in,貝"^可同時滿足不等式組(6.8)的三個不等式。將s皿代入式(6.5)則可計算得到《點相對^點深度的絕對值dZ,，？3點相對屍2點的深度的絕對值^23，A點相對P;點的深度的絕對值dZ4。假設參考點/^點的相對深度值為o，在得到以上三個相對深度的符號後，就可以確定f;，屍3和屍4三個關節點的相對深度值。而由(6.3)式，我們可以求得各關節點的X坐標和Y坐標。這樣，我們就估計得到了圖5中相互連接的4個關節點的相對三維坐標。將圖8中三段鏈杆的相對估計進一步推廣到圖2所給出的整個人體關節骨架模型，以腹部關節點(序號為0)為參考點，依據人體模型的樹狀結構，同樣可以估計得到模型中16個關節點的相對三維坐標。對視頻序列的每一幀，人體模型中序號115的其他15個關節點都對應上述不等式(6.7)這樣一個約束條件，由此可分別計算各自滿足這個約束條件的最小的比例因子s。而對整個人體模型來說，一次投影成像只對應一個比例因子，這個比例因子應滿足由所有15個不等式約束條件構成的形如式(6.8)的不等式組。因此，對視頻的每一幀，取分別估計得到的15個s值中的最大值作為該幀的投影比例因子的初始估計值s，實現單幀視頻中的初始的參數估計。有益效果1)通過使用雙向濾波和一系列形態學變換對圖像進行預處理，提高目標人體提取的準確性。2)通過事先獲取目標的幾何骨架，有區別地選用不同策略，對不同部位的關節點進行定位，提高關節點跟蹤的準確度，運行效率也較高。'3)採用基於比例正交投影模型的參數估計方法，不需要進行攝像機定標，對任何視頻序列都適用，增強了系統的適用性。圖1為本發明的人體姿態重建方法的流程圖。圖2為本發明的人體骨架模型。圖3為本發明的細化算法的示意圖。圖4為本發明的對從背景中分離的人體進行細化得到的幾何骨架的示意圖。圖5為本發明的不同閾值情況下求得角點的示意圖。圖6為本發明的比例正交投影示意圖。圖7為本發明的比例正交投影中的歧義性的示意圖。圖8為本發明的三段鏈杆的比例正交投影示意圖。圖9為本發明的實驗效果示意圖。具體實施方式下面結合具體實施例，進一步闡述本發明。應理解，這些實施例僅用於說明本發明而不用於限制本發明的範圍。此外應理解，在閱讀了本發明講授的內容之後，本領域技術人員可以對本發明作各種改動或修改，這些等價形式同樣落於本申請所附權利要求書所限定的範圍。實施例，在考慮執行效率和移植性之後，本系統使用標準0++來實現，並且藉助0penCV(Intel⑧開源計算機視覺庫)來幫助實現。對應於本發明中的方法，為人體姿態重建系統共設計了6個任務，表2中描述了任務的名稱以及任務的功能。任務名稱功能圖像預處理將人體從視頻幀的背景圖像中分割出來求幾何骨架從分割出來的人體區域用細化的方法求得幾何骨架標註首幀關節點將手工標註的關節點綁定到幾何骨架上，減小初始誤差用光流法跟蹤關節點用光流法計算前一幀的關節點的新位置基於人體先驗知識的誤差判定和校正光流法計算出的點的新坐標不一定正確，需根據人體生理先驗知識對其進行校正。人體姿態三維重建使用0penGL，結合基於比例正交投影模型的參數估計方法，將關節點二維坐標序列轉換為三維骨架模型。表2人體姿態重建系統任務說明參見圖1，整個人體姿態重建實現過程如下先通過圖像預處理，得到從背景中分離出的人體區域；然後根據分割結果，用形態學細化的方法求解人體的幾何骨架；接著在視頻序列的第一幀上標註人體的關節特徵點，此時可根據已有的幾何骨架，限制初始關節特徵點的位置，縮小初始誤差；將關節點集合作為參數，輸入OpenCV中的光流法函數，跟蹤人體的運動，求得關節點的新位置；光流法求得的關節點新坐標可能存在較"明顯"的誤差，即某段骨骼的投影長度比實際長度還長，這種情況，我們將偏離正常位置較遠的出錯點拉回來綁定在幾何骨架上，即對誤差進行判定和校正；對校正後的新的關節點，運用比例正交投影模型的參數估計方法，將關節點二維坐標序列轉換為三維骨架模型，從而完成人體姿態的三維重建。權利要求1.一種基於幾何骨架的人體姿態重建方法，包括下列步驟(1)確定人體骨架模型將人體看成一個由關節點連接的剛體集合，以一條線段來表示一個剛體，得到三維人體骨架模型；(2)圖像預處理將視頻幀通過雙向濾波模糊內部紋理保留邊界輪廓信息，然後進行閾值化處理得到二值圖像，再通過不同形態學濾波、腐蝕、下採樣、上採樣一系列數學形態學方法對其進行進一步處理，得到背景和人體分離的二值圖像；(3)獲取人體幾何骨架從分割出來的人體區域進行細化處理，求得線狀幾何骨架；(4)標註首幀關節點將手工標註或自動標註的關節點綁定到幾何骨架上，限制初始關節特徵點的位置，縮小初始誤差；(5)用光流法跟蹤關節點通過標註的方式或自動標註的方法，選定需要跟蹤的關節點，將關節點集合作為參數，用光流法求得關節點的新位置；(6)結合幾何骨架對跟蹤得到的新關節點進行錯誤判定和位置校正根據人體生理先驗知識，將對光流法計算出的偏離正常位置較遠的出錯點拉回來綁定在幾何骨架上進行校正；(7)人體姿態三維重建用比例正交投影模型的參數估計方法，將關節點二維坐標序列轉換為三維骨架模型。2.根據權利要求1所述的一種基於幾何骨架的人體姿態重建方法，其特徵在於所述的步驟(2)的方法為1)先對原幀圖像進行雙向濾波，模糊物體內部紋理，保留物體邊緣輪廓信息；2)將濾波後的圖像轉成灰度圖像；3)用不同的閾值對灰度圖像進行閾值化分割；4)對閾值化分割後的二值圖像進行形態學濾波；5)進行反覆的腐蝕和膨脹處理；6)先後進行下採樣和上採樣處理；7)對圖像像素分布進行統計分析得到最終結果。3.根據權利要求1所述的一種基於幾何骨架的人體姿態重建方法，其特徵在於所述的步驟(5)選用OpenCV視覺庫；所述的光流法為圖像金字塔中的迭代Lucas-Kanade光流跟蹤算法。全文摘要本發明涉及一種基於幾何骨架的人體姿態重建方法，包括確定人體骨架模型得到三維人體骨架模型；進行圖像預處理得到背景和人體分離的二值圖像；獲取人體幾何骨架求得線狀幾何骨架；標註首幀關節點將手工標註的關節點綁定到幾何骨架上，縮小初始誤差；用光流法跟蹤關節點用光流法求得關節點的新位置；結合幾何骨架對跟蹤得到的新關節點進行錯誤判定和位置校正對光流法計算出點進行校正；人體姿態三維重建用比例正交投影模型的參數估計方法，將關節點二維坐標序列轉換為三維骨架模型。本發明提高了姿態重建的準確性，得到了較高的處理效率，能夠在智能視頻監控系統中進行穩定而有效的人體姿態重建。文檔編號A61B5/107GK101246602SQ200810033510公開日2008年8月20日申請日期2008年2月4日優先權日2008年2月4日發明者樂嘉錦,夏小玲,泉甘,曼羅申請人:東華大學