一種實時三維無標記人體姿態識別方法及系統的製作方法
2023-11-08 13:57:12 2
專利名稱：一種實時三維無標記人體姿態識別方法及系統的製作方法
技術領域：
本發明涉及計算機視覺領域，具體涉及一種實時三維無標記人體姿態識別方法及系統。
背景技術：
近年來，人體運動視覺分析逐漸成為計算機視覺領域的熱點問題。其主要的算法流程是通過攝像頭獲取視頻圖像，提取所需信息，對所需信息進行計算機自動分析並反饋的過程。其中包括目標分離，動作檢測，形態識別等。其主要研究目的是以分析人體的運動姿勢為目標，為行為理解提供更多的信息，從而更好的實現智能判斷，並對相應的人體行為做出應急處理方案。在對人體姿態識別的研究過程中，有的採用模板匹配的方法，有的採用基於標記特徵點的方法，有的採用基於運動狀態空間的方法，等等。上述各種方法都有其不足之處。模板匹配的方法需要建立多個預定義的狀態模板，使之與分離出的目標進行模板匹配，確定出攝像頭捕獲的目標的具體姿態。基於標記特徵點的方法無法實現實時狀態下的無標記人體行為檢測，從而不利於視頻監控下的姿態行為的檢測及推廣。基於運動狀態空間的方法是通過隱式馬可夫模型對狀態空間進行分析並對下一個行為狀態進行預測，但後繼狀態預測的效果受到多方面的條件限制。
發明內容
有鑑於此，有必要提供一種實時三維無標記人體姿態識別方法及系統，能快速、實時的實現人體姿態識別。為此本發明提供如下技術方案:一種實時三維無標記人體姿態識別方法，包括:分別從不同視角採集至少四個人體姿態的單視角視頻圖像；對所有單視角視頻圖像進行預處理；對預處理後的單視角視頻圖像進行三維輪廓重建處理，形成三維輪廓圖像；對三維輪廓圖像進行姿態分類；輸出姿態分類的結果。進一步的，所述預處理包括背景分離和人體輪廓提取處理。進一步的，所述三維輪廓重建處理包括:將每幀視頻圖像劃分為嚴格離散的多個單元；從查找表中獲取每個單元對應的三維像素點；根據多角度冗餘視頻圖像以及查找表反向構建出三維圖像中各像素點的信息；對各像素點的信息進行整合，獲得完整的三維輪廓圖像。進一步的，對三維輪廓圖像進行姿態分類包括:對三維輪廓圖像進行平均邊界空餘最大化轉換處理；
通過轉換處理，獲取最適應邊界轉換矩陣，確定相關係數；通過最近鄰分類器將處理後的三維輪廓圖像與預定義姿態資料庫中的例子姿態進行比較，尋找到最佳匹配，即進行姿態分類。進一步的，最近鄰分類器採用三維類Haar小波特徵分類方法進行姿態分類。進一步的，還包括對最近鄰分類器進行訓練的步驟。一種實時三維無標記人體姿態識別系統，其特徵在於，包括:至少四個單視角視頻圖像採集模塊，用於分別從不同視角採集人體姿態的單視角視頻圖像；至少四個預處理模塊，用於對單視角視頻圖像進行預處理；預處理模塊與單視角視頻圖像採集模塊的數量是相等的，每個預處理模塊連接一個單視角視頻圖像採集模塊；三維輪廓重建處理模塊，用於將預處理後的單視角視頻圖像進行三維輪廓重建處理，形成三維輪廓圖像；預定義姿態資料庫，用於存儲例子姿態；最近鄰分類器，用於結合預定義姿態資料庫對三維輪廓圖像進行姿態分類；輸出模塊，用於輸出姿態分類的結果。進一步的，所述單視角視頻圖像採集模塊由終端節點攝像頭實現。進一步的，所述預處理模塊由終端節點計算機實現。進一步的，所述三維輪廓重建處理模塊、最近鄰分類器、預定義姿態資料庫及輸出模塊由中央計算機實現。本發明通過多個終端節點攝像頭多角度進行視頻圖像採集，每個終端節點攝像頭與一臺終端節點計算機連接，終端節點計算機對視頻圖像進行預處理，預處理包括背景分離和人體輪廓提取處理。提取出的輪廓統一發送到中央處理計算機實現三維輪廓重建，並根據終端節點計算機中冗餘的圖像信息，快速、實時構建三維完整圖像。
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是本發明實時三維無標記人體姿態識別方法的流程圖；圖2是本發明實時三維無標記人體姿態識別方法的模塊圖；圖3是獲取完整三維輪廓的原理圖；圖4是三維輪廓重建處理的原理圖。
具體實施例方式為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例和附圖，對本發明實施例中的技術方案進行清楚、完整地描述。需要說明的是，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有付出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。下面結合
本發明的具體實施方式
。請參閱圖1，本發明提供了一種實時三維無標記人體姿態識別方法，包括:分別從不同視角採集至少四個人體姿態的單視角視頻圖像；對所有單視角視頻圖像進行預處理；對預處理後的單視角視頻圖像進行三維輪廓重建處理，形成三維輪廓圖像；對三維輪廓圖像進行姿態分類；輸出姿態分類的結果。本發明所採用的硬體系統如圖2所示，包括:至少四個單視角視頻圖像採集模塊，用於分別從不同視角採集人體姿態的單視角視頻圖像；至少四個預處理模塊，用於對單視角視頻圖像進行預處理；預處理模塊與單視角視頻圖像採集模塊的數量是相等的，每個預處理模塊連接一個單視角視頻圖像採集模塊；三維輪廓重建處理模塊，用於將預處理後的單視角視頻圖像進行三維輪廓重建處理，形成三維輪廓圖像；預定義姿態資料庫，用於存儲例子姿態；最近鄰分類器，用於結合預定義姿態資料庫對三維輪廓圖像進行姿態分類；輸出模塊，用於輸出姿態分類的結果。所述單視角視頻圖像採集模塊由終端節點攝像頭實現。終端節點攝像頭從不同的視角分別獲取部分的人體3D輪廓(Hull)，即單視角視頻圖像。終端節點攝像頭對單視角視頻圖像做適當的處理，如亮度處理，背景魯棒性處理
坐寸ο所述預處理模塊由終端節點計算機實現。由於三維輪廓是經過不同點的不同攝像頭分別進行採集，採集到的信息分別連接到終端計算機上進行預處理，其預處理過程涉及背景分離與人體輪廓提取，對各個終端計算機上的預處理結果匯總到中央計算機進行輪廓三維重建，必然需要冗餘信息來完成這個操作。在輪廓分離過程中，需要構建RGB色彩輸入向量，為了實現光照不變形(Robustness to Illumination),該輸入向量採用共線性標準實現，其具體思路如下:XF定義為3X3近鄰像素點中的RGB值的輸入向量。Xb定義為背景相關向量。線性相關性由向量df，db與Xf，xb的方差來描述，其中信號的方向向量u滿足df=Xf-Xf*u,然後計算方差之和:D2 = I df 12+1 db 12通過下列公式來區別前景與背景:當D2> Ts+Tadapt時，所獲取為前景；當D2< Ts+Tadapt時，所獲取為背景。採用D2的自適應性閾值來實現分割的魯棒性，這同時也是基於三維重建的考慮。所述三維輪廓重建處理模塊、最近鄰分類器、預定義姿態資料庫及輸出模塊由中央計算機實現。三維輪廓重建處理模塊通過三維像素刻畫以及固定查找表進行三維重建。如圖3所示，單視角下的可見輪廓並不能完整的描述一個物體，一個凹面區域是無法從輪廓中精確提取的，這需要加入大量攝像頭獲得的多視角信息來精確的計算可視輪廓區域。從圖中可以看出，4-5個攝像頭即可獲得一個相對比較完整的物體輪廓信息。同時，這也使得重建工作更容易完成，用有限的攝像頭數目來近似推算可視物體輪廓。請參閱圖4，三維輪廓重建處理包括如下步驟:將每幀視頻圖像劃分為嚴格離散的多個單元；從查找表中獲取每個單元對應的三維像素點；根據多角度冗餘視頻圖像以及查找表反向構建出三維圖像中各像素點的信息；對各像素點的信息進行整合，獲得完整的三維輪廓圖像。以上採用的是通過三維像素點來重建輪廓的方法，這種方法把要完成的工作分為嚴格離散的更小一些的單元。所謂的三維像素，就是攝像頭視角下的圖像平面的投影。在重建過程中，要求各部分的三維像素點分布在輪廓外部，並且至少一種攝像頭視角不在其他攝像頭視角的交集中，即至少有一種視角是不能夠丟棄的視角，我們定義為關鍵視角，其他冗餘信息來完成輪廓重建的邊界拼合部分。對三維輪廓圖像進行姿態分類包括:對三維輪廓圖像進 行平均邊界空餘最大化轉換處理；通過最近鄰分類器將處理後的三維輪廓圖像與預定義姿態資料庫中的例子姿態進行比較，尋找到最佳匹配，即進行姿態分類。為了獲取平均邊界空餘最大化的轉換比率Wtjpt的值，我們定義如下公式:
權利要求
1.一種實時三維無標記人體姿態識別方法，其特徵在於，包括: 分別從不同視角採集至少四個人體姿態的單視角視頻圖像； 對所有單視角視頻圖像進行預處理； 對預處理後的單視角視頻圖像進行三維輪廓重建處理，形成三維輪廓圖像； 對三維輪廓圖像進行姿態分類； 輸出姿態分類的結果。
2.根據權利要求1所述的實時三維無標記人體姿態識別方法，其特徵在於，所述預處理包括背景分離和人體輪廓提取處理。
3.根據權利要求1所述的實時三維無標記人體姿態識別方法，其特徵在於，所述三維輪廓重建處理包括: 將每幀視頻圖 像劃分為嚴格離散的多個單元； 從查找表中獲取每個單元對應的三維像素點； 根據多角度冗餘視頻圖像以及查找表反向構建出三維圖像中各像素點的信息； 對各像素點的信息進行整合，獲得完整的三維輪廓圖像。
4.根據權利要求1所述的實時三維無標記人體姿態識別方法，其特徵在於，對三維輪廓圖像進行姿態分類包括: 對三維輪廓圖像進行平均邊界空餘最大化轉換處理； 通過轉換處理，獲取最適應邊界轉換矩陣，確定相關係數； 通過最近鄰分類器將處理後的三維輪廓圖像與預定義姿態資料庫中的例子姿態進行比較，尋找到最佳匹配，即進行姿態分類。
5.根據權利要求4所述的實時三維無標記人體姿態識別方法，其特徵在於，最近鄰分類器採用三維類Haar小波特徵分類方法進行姿態分類。
6.根據權利要求1所述的實時三維無標記人體姿態識別方法，其特徵在於，還包括對最近鄰分類器進行訓練的步驟。
7.一種實時三維無標記人體姿態識別系統，其特徵在於，包括: 至少四個單視角視頻圖像採集模塊，用於分別從不同視角採集人體姿態的單視角視頻圖像； 至少四個預處理模塊，用於對單視角視頻圖像進行預處理；預處理模塊與單視角視頻圖像採集模塊的數量是相等的，每個預處理模塊連接一個單視角視頻圖像採集模塊； 三維輪廓重建處理模塊，用於將預處理後的單視角視頻圖像進行三維輪廓重建處理，形成三維輪廓圖像； 預定義姿態資料庫，用於存儲例子姿態； 最近鄰分類器，用於結合預定義姿態資料庫對三維輪廓圖像進行姿態分類； 輸出模塊，用於輸出姿態分類的結果。
8.根據權利要求7所述的實時三維無標記人體姿態識別系統，其特徵在於，所述單視角視頻圖像採集模塊由終端節點攝像頭實現。
9.根據權利要求7所述的實時三維無標記人體姿態識別系統，其特徵在於，所述預處理模塊由終端節點計算機實現。
10.根據權利要求7所述的實時三維無標記人體姿態識別系統，其特徵在於，所述三維輪廓重建處理 模塊、最近鄰分類器、預定義姿態資料庫及輸出模塊由中央計算機實現。
全文摘要
本發明提供一種實時三維無標記人體姿態識別方法及系統，包括分別從不同視角採集至少四個人體姿態的單視角視頻圖像；對所有單視角視頻圖像進行預處理；對預處理後的單視角視頻圖像進行三維輪廓重建處理，形成三維輪廓圖像；對三維輪廓圖像進行姿態分類；輸出姿態分類的結果。本發明通過多個終端節點攝像頭多角度進行視頻圖像採集，每個終端節點攝像頭與一臺終端節點計算機連接，終端節點計算機對視頻圖像進行預處理，預處理包括背景分離和人體輪廓提取處理。提取出的輪廓統一發送到中央處理計算機實現三維輪廓重建，並根據終端節點計算機中冗餘的圖像信息，快速、實時構建三維完整圖像。
文檔編號G06T17/00GK103150575SQ201310041900
公開日2013年6月12日 申請日期2013年1月31日 優先權日2013年1月31日
發明者吳曉鴒, 孟振宇, 杜如虛 申請人:廣州中國科學院先進技術研究所