基於屬性關係圖外觀模型的多人體跟蹤方法

2023-05-23 03:59:46 1

專利名稱：基於屬性關係圖外觀模型的多人體跟蹤方法
技術領域：
本發明涉及的是固定監控場景中多人體跟蹤方法，具體是一種基於屬性關 系圖外觀模型的多人體跟蹤方法。
背景技術：
在銀行、酒店、地鐵等安全要求較高的公共場所，需要及時發現具有異常行 為的可疑人。目前這些場所中大多採用攝像機固定的方式監控場景，因此計算 機視覺監控需要在固定場景下實現對多個人體複雜運動情況的準確跟蹤，這也 是後續行為理解、異常行跡分析等高層視覺處理的基礎。由於跟蹤過程即是識 別監控視頻連續幀中的不同人體，而人體外觀特徵是大多數情況下區別不同人 體的重要依據，因此基於人體外觀模型的跟蹤方法受到廣泛關注。目前，基於 外觀模型跟蹤人體的方法主要有三種l)顏色直方圖方法在人體外觀特徵中， 顏色是一個重要線索，傳統的建立外觀模型的方法是採用顏色直方圖。但是， 由於顏色直方圖僅得到顏色統計值而丟失了空間信息，容易引起錯誤，如一身 著紅色上衣、綠色褲子的人和一身著綠色上衣、紅色褲子的人，對他們的外觀 建立的顏色直方圖是幾乎完全一致的，無法僅根據其顏色直方圖區別出兩人。2) 顏色直方圖與空間信息結合的方法在計算顏色直方圖時加入空間信息，如提 出將人體形狀分割為三個部分，對各部分用顏色直方圖描述其顏色特徵，並用 Condensation (聚縮)算法實現人體跟蹤，但是，這種方法缺乏對人體各部分間 結構關係的描述，跟蹤準確性、可靠性低；3)顏色相關圖方法顏色相關圖用 共生矩陣計算兩像素之間相隔某距離的概率。顏色相關圖雖然能夠反映不同顏 色對之間的空間相關性，但是由於需要採用三維數組表徵不同顏色對及其距離， 使得此方法計算複雜度很高，無法用於實時監控跟蹤，並且文獻中缺乏對目標 運動情況的分析，影響跟蹤準確性。因此，基於外觀模型跟蹤人體的方法存在的主要問題有怎樣建立更準確的 外觀模型描述人體、如何提高多人體跟蹤的準確性。

發明內容
發明所要解決的技術問題是提出一種基於屬性關係圖外觀模型的多人體跟 蹤方法，將人體外觀顏色、空間結構等特徵結合，建立更準確有效的人體外觀 模型，在監控場景固定的情況下，提高多人體跟蹤的準確性、有效性。
為實現上述目的，本發明的技術方案為
一種基於屬性關係圖外觀模型的多人體跟蹤方法，其特徵在於，包括以下步
驟
1) 連續獲取包含有被跟蹤人體的固定場景的圖像，對當前幀圖像的人體檢 測區域建立屬性關係圖外觀模型將檢測的人體區域分為頭部、上身和下肢三 個身體部分；屬性關係圖外觀模型的每一個節點對應一個所述的身體部分，節 點屬性表徵身體部分的特徵，由以下三個量表示對應身體部分的標記、顏色 直方圖、外接矩形框中心點坐標；屬性關係圖外觀模型的邊由連接人體任兩個 身體部分的中心點的直線段表示，邊屬性採用直線段的長度和角度表示；
2) 計算當前幀檢測人體的屬性關係圖外觀模型與上一幀跟蹤人體的屬性關 系圖外觀模型的相似度；
3) 根據計算所得的相似度跟蹤當前幀人體。
所述的節點屬性定義為formula see original document page 6其中，^表示第i個被跟蹤對
象的身體部分的標記頭、上身、下肢分別標記為"head"、 "up"和"low"; a
表示第i個被跟蹤人體的身體部分外接矩形框的中心點坐標；為第i個被跟
蹤人體的身體部分的顏色特徵，WW,用歸一化的HSV空間一維顏色直方圖表
示為formula see original document page 6;其中，H、 S、 V表示像素點在HSV空間中三分量 H、 S、 V的取值；
邊屬性定義為formula see original document page 6其中。為長度屬性，表示兩個 節點《和《間的直線段長度，採用節點屬性中的中心點間的歐式距離表示。Ha-AI， a、巧分別表示節點《和《的屬性中的中心點坐標；^為角度 屬性，表示這兩個節點《和《間的直線段角度，r^arcsin^^，其中乂、力。
是節點《、《的屬性中的中心點y方向坐標， 的取值範圍為
;
所述的相似度定義如下
6) = 2 M (, )， 》Z義A (K《，& )，械，&》)
其中，4、 ^是權重係數，並且約束條件為^ + ^=1,使得相似度Z"在 區間
之內，《(A(《),A(《)表示G和6中對應同類身體部分的節點間的相似 度，《(KS，《)J(《，A)是G和6中連接兩個同類身體部分的邊的相似度，G和
6分別為當前幀檢測人體的屬性關係圖外觀模型與上一幀跟蹤人體的屬性關係 圖外觀模型；
所述的根據相似度跟蹤當前幀人體的步驟為建立匹配矩陣，列出各檢測 區域與上一幀跟蹤人體的相似度設匹配矩陣的行號代表當前幀人體檢測區域,
列號代表上一幀跟蹤人體，將屬性關係圖外觀模型的匹配度r,作為矩陣元素值
記錄，n表示當前幀檢測人體的序號，m表示前一幀跟蹤人體的標記，然後根據
匹配閾值r。確定是否匹配，匹配結果為
通過匹配矩陣的情況，確定當前幀中多人體的跟蹤狀態、獲取人體運動軌 跡，並更新其外觀模型；匹配情況歸納為四種
1) 新人體出現第n行中r^均為0:且持續連續三幀，則認為是"新人
體"出現，檢測人體n為新出現人體，分配新標記，建立其屬性關係圖外觀模 型，開始跟蹤該人體；
2) 正常跟蹤第n行有且僅有一個f^-l的元素則檢測人體n與跟蹤人
體m匹配，認為是"正常跟蹤"，為檢測人體n分配標記m,記錄其外接矩形框 中心點位置，並將檢測人體n的外觀模型作為跟蹤人體m更新的屬性關係圖外觀模型；
3) 遮擋跟蹤第n行出現多個元素r,-l:則認為是"遮擋跟蹤"，檢測
人體n是由多個遮擋人體組成，被遮擋的人體為, = 1的元素所在列對應的跟 蹤人體；
4) 人體消失第m列元素"m均為0:且該情況在連續三幀出現，則認為
是"人體消失"，即跟蹤人體m消失，從跟蹤序列中刪除該人體。
作為改進，在遮擋情況下，採用卡爾曼濾波器預測遮擋人體的位置，從而
確定各遮擋人體的屬性關係圖外觀模型，完成遮擋情況下的跟蹤。
本發明首先對當前幀檢測出的人體連通區域建立屬性關係圖描述人體外觀
特徵，再計算與上一幀跟蹤人體的屬性關係圖外觀模型的相似度，通過相似度
判定幀間人體匹配情況，根據不同匹配情況跟蹤人體，從而實現連續幀中的多
人體跟蹤。具體內容如下
(1) 對檢測到的人體建立屬性關係圖外觀模型 本發明提出利用屬性關係圖建立人體外觀模型。首先將檢測到的人體區域
按身體比例劃分為頭部、上身、下肢三個部分，屬性關係圖外觀模型的節點表 示身體部分，節點屬性定義為身體部分的標記、顏色直方圖、外接矩形框中心 點坐標，屬性關係圖外觀模型的邊表示為連接人體任兩個身體部分的直線段， 邊屬性採用直線段的長度、角度定義。
(2) 計算人體屬性關係圖外觀模型的相似度
為了度量幀間多人體外觀模型的相似度，需要計算屬性關係圖外觀模型相 似度。由於屬性關係圖相似度包括節點屬性相似度、邊屬性相似度，本發明根 據節點屬性、邊屬性的定義，分別分析、計算節點屬性、邊屬性中各屬性特徵 的相似度，從而推導得出人體屬性關係圖外觀模型相似度。
(3) 根據不同匹配情況跟蹤多人體 依據幀間人體屬性關係圖外觀模型的相似度，建立匹配矩陣，分析得出幀
間人體的匹配情況包含四種新人體出現、人體消失、正常跟蹤、遮擋跟蹤。
分別根據不同的匹配情況跟蹤人體，如是"遮擋跟蹤"情況，由於無法檢測遮
擋人體的位置，採用Kalmaii濾波器預測遮擋人體在當前幀的位置，從而建立遮擋人體的屬性關係圖外觀模型，實現遮擋情況下的多人體跟蹤。 有益效果
與現有技術相比，本發明的優越性體現在
1、 提出用屬性關係圖建立人體外觀模型，不僅能表徵人體各身體部分的顏 色及空間特徵，而且描述了各身體部分間的結構關係，能更準確地描述人體外 觀特徵，從而大大提高了後續多人體跟蹤的準確性；
2、 根據人體屬性關係圖外觀模型的定義，通過分析屬性關係圖外觀模型的 節點屬性、邊屬性中各屬性特徵的相似度，推導計算出屬性關係圖外觀模型的 相似度，使得相似度計算更為簡便、有效；
3、 根據推導計算的屬性關係圖外觀模型相似度，建立匹配矩陣分析了連續 幀間多人體的四種匹配情況，並據此實現不同情況下的多人體跟蹤，獲取運動 軌跡，從而能更有效地實現複雜情況下多人體的跟蹤，並且匹配算法複雜度低, 提高了跟蹤系統的實時性。


圖1本發明方法總體流程圖
圖2構建人體屬性關係圖外觀模型。a)外接矩形框標識人體檢測區域；b) 每個檢測人體分為三個身體部分，並據此建立人體屬性關係圖外觀模型。
圖3構建遮擋人體屬性關係圖外觀模型。a)各遮擋人體的預測區域；b)遮
擋人體屬性關係圖外觀模型。
圖4室內監控視頻序列的跟蹤結果。a) ~f)分別為第71幀、106幀、138 幀、176幀、206幀及241幀跟蹤結果。 圖5跟蹤誤差圖。
具體實施例方式
下面結合具體實施例對本發明作進一步詳細說明。 實施例l:本實施例的總流程圖如圖1。1、對檢測到的人體建立屬性關係圖外觀模型
在採用背景減除方法檢測出目標前景連通區域後，用外接矩形框標註檢測 區域(如圖2a))。接下來需要對檢測區域選取特徵並建立人體外觀模型，將此 模型作為跟蹤依據在連續視頻幀中跟蹤人體。因此，檢測區域的特徵選取及建 立的模型準確與否，直接影響跟蹤結果。本發明將人體外觀的顏色、空間結構 特徵相結合，提出用屬性關係圖建立人體外觀模型。
由於只對人體進行跟蹤，則前景連通區域的外接矩形框表示人體檢測區域。 根據人體身體的比例，如圖2b)所示，將矩形框內連通區域分為三個部分對應
表示頭部、上身、下肢，作為屬性關係圖的節點《(即!'e^flc/，甲,/owp;邊由
連接人體任兩個身體部分的直線段表示。則利用屬性關係圖建立人體外觀模型: G = ，其中SA = A(^J}表示節點屬性的集合，
Sj化的^&),K《p，D,Ww,D〉表示邊屬性的集合，節點屬性及邊屬性 的具體定義如下
1) 定義節點屬性A(《)={ ,，p,，/ 'WJ
* w,表示人體身體部分的標記頭、上身、下肢分別標記為"head"、 "up"
和"l0W";
* A表示身體部分外接矩形框的中心點
* WW,表示身體部分的顏色特徵，釆用該身體部分的顏色直方圖表示。
選取具有人類視覺特性的HSV空間，將該身體部分中各像素的RGB值 轉化為HSV值，並為了降低計算複雜度，Zz賊採用歸一化的HSV空間
一維顏色直方圖
to,. =9// + 3S + K (1) 其中，H、 S、 V表示像素點在HSV空間中三分量H、 S、 V的取值。
2) 定義邊屬性K《，《)={。,~}
邊屬性反映邊的特徵，用於表徵兩個節點間的空間結構關係。由於邊表示 為人體的任兩個身體部分間的直線段，則邊屬性採用該直線段的長度、角度兩個屬性來表示
* 長度屬性表示兩個節點《和《間的直線段長度，採用節點屬性中的
中心點間的歐式距離表示。Hp,-aI (A、巧分別表示節點《和《
的屬性中的中心點坐標)；
* 角度屬性表示這兩個節點《和《間的直線段角度
=arCSin^^,其中^、力是節點《、《的屬性中的中心點y方向
巧
坐標，則 的取值範圍為
。
圖2b)所示為人體的屬性關係圖外觀模型，其節點由圓圈表示，邊由帶箭 頭的線段表示，其中箭頭指向發生屬性關係的區域。圖中人體中的圓點對應屬 性關係圖的節點，直線對應屬性關係圖的邊。可見，屬性關係圖外觀模型形象 地描述了人體的身體部分的結構及模式特徵，則所有針對模式之間的計算也相 應的轉換成為屬性關係圖外觀模型之間的計算。
2、計算人體屬性關係圖外觀模型的相似度
由於跟蹤多人體即是在監控視頻連續幀中識別不同人體，當對每個人體檢 測區域採用屬性關係圖建立外觀模型後，多人體跟蹤需要在連續幀中匹配不同 人體外觀模型，因此解決跟蹤問題是以獲得連續幀間人體屬性關係圖相似度為
基礎o
由於屬性關係圖包含多個節點、邊，則屬性關係圖的相似度計算需在節點 屬性、邊屬性的約束下，尋找兩個屬性關係圖之間的一種最優對應關係，這是 一個組合優化問題，常用解決方法如判決樹搜索、模擬退火算法等。而本發明 提出的人體屬性關係圖中的節點、邊表示人體的不同身體部分，它們的屬性值 反映人體的不同身體部分的特徵及結構，因此人體屬性關係圖的相似度計算只 需在對應同類身體部分的節點屬性、邊屬性之間進行，而不是組合優化問題。 下面結合本發明定義的人體屬性關係圖外觀模型，給出人體屬性關係圖外觀模 型相似度的計算
設當前幀中某一人體檢測區域的屬性關係圖外觀模型為g ，前一幀中某一跟蹤人體的屬性關係圖外觀模型為6， d的定義與G相同，其節點屬性A《)及
邊屬性分別表示為A(《)—我,6/吒,/^U、 K《，A) = ^,^}。由於本發明中屬性 關係圖包含三個節點和三個邊，並且各個節點、邊對應人體的身體部分及其相 互結構關係，因此相似度只需要在表示同類人體身體部分的節點和邊之間進行， 則定義相似度如下
formula see original document page 12
其中，第一項表示屬性關係圖外觀模型G和6中所有對應同類身體部分的
節點間的節點屬性匹配度，第二項表示所有連接同類身體部分的邊之間的邊屬 性的匹配度。4, ^是權重係數，並且約束條件為SA2=1,使得相似度r在
區間0，1之內，表示對應同類身體部分的節點間的相似度， 《(K《,《)，^《，6)表示連接兩個同類身體部分的邊之間的相似度。
1)計算節點屬性相似度《(A(《),A")
在式(2)中，針對兩個人體的同類身體部分，節點屬性麼(《)={ ,，;7,,/1^,}
中標記化是相同的，如匹配兩人體的"頭部"，即標記q均為"head"，則可重新
確定需要計算相似度的兩節點屬性A(《)、A(《)A(《)=,
A(《)=,因此節點屬性相似度定義為位置向量相似度及顏色直方圖相 似度的加權和
formula see original document page 12
其中權重;ip+A-i，使得《值在0-l內。
①計算位置相似度^ O,, &):首先根據目標運動狀態計算Mahalaiiobis (馬 氏)距離
"(A，》,)=(A -》,)x(P +》)x(a -A, (4) 其中，戶、,分別是位置向量A、》,的協方差矩陣，具體求法在下面說明。 本發明利用kalman (卡爾曼)估計器求Mahalanobis距離cr 。在監控視頻中，通常相鄰幀間時間間隔Ad艮小，人體的運動可近似認為是
勻速運動，該線性系統狀態方程和測量方程為
x(0 = Ax(") + w(0 (5)
y(0 = Cx(0 + v(0 (6) 式(5)中，w為系統噪聲，反映線性系統模型的精確程度，滿足均值為零 的高斯分布，其協方差矩陣為Q,設Q-0.01x/ (/為單位矩陣)；v為觀測噪
聲，是均值為零的白噪聲序列，和w互不相關，其協方差矩陣為及，可通過求 一段時間內的背景圖象中某象素點觀測值的方差得到。同時，定義狀態向量 1(/) = [^，、『和觀測向量7(0 = ^,其中v,是位置為p,的點的速度，則根據勻速 運動動力學方程得到系統狀態方程A及觀測方程C :
A =
1 Af 0 1
C-[l 0] (7)
根據kalmaii估計器及定義的線性系統方程，得到式(4)中的各項分別計 算為
A=y") (8)
(9)
戶=及 (10) 》=CP(*-l)Cr (11)
則得到當前幀觀測向量及其前幀跟蹤值》的mahalanobis距離為
J = (y (0 - W - (CP(, I / - l)Cr + A)-1 (y W -外I, -1)) (12 )
其中，，W卜l)是前幀(第t-l幀)跟蹤值在當前幀(第t幀)中的觀測量
預測值，PGp-l)是狀態向量協方差矩陣的預測矩陣，均由kalman估計器得到
》W-l) = Cx(/|M) = CxAxx(") (13)
P昨-l) = AP("|")Ar+Q(M) (14)
顯然，如(7小於某閾值，則可認為兩位置代表同一特徵即互相匹配。根據O"服從卡方分布，且在本線性系統中自由度為l，査卡方分布表(設真假設接受概 率為95%)，則閾值e為3.841。由此，根據mahalanobis距離測度o"得到位置 相似度
5P(A，》,)=
(15)
②計算顏色直方圖相似度，WW,):常用的度量直方圖相似度的是
Bhattacharyya (巴塔査裡亞)距離，則兩顏色直方圖/ '對,、Ww,.間的相似度表 示為
72
A (to, ， ;》、 ) = 如w,(岸L"/ ) (16)
式中WW,、 Ww,分別代表屬性關係圖G、 6的節點屬性中的顏色直方圖，由式
(1)計算得到，/ 表示顏色直方圖/z/^、 Ww,的位數。
將式(15)、 (16)代入式(3)則得到節點屬性相似度。
2)計算邊屬性相似度《(K《,^),^^,^)):求邊屬性的相似度，如圖2b)所示，
即求兩直線段的特徵相似度。由於邊屬性的定義中包含直線段長度、角度兩個 屬性，因此邊屬性相似度採用直線段長度、角度的相似度來計算
《(,，《)，械，句》=M 0) ,6 ) + , 。 ( 17 )
其中，《、《分別是直線段長度、角度匹配度，權重滿足義/+^=1。式中， 。,6分別為G和6中邊的長度屬性值，^和&分別為G和d中邊的角度屬性值。 直線段長度匹配度《度量直線段長度差異
A =1 — 1^41 (18) 直線段角度匹配《度量直線段角度差異
formula see original document page 14將式(18)、 (19)代入到式(17)，得到邊屬性匹配度。
最後，將式(3)計算的節點屬性相似度、式(17)計算的邊屬性相似度代
入式(2)，得到屬性關係圖外觀模型G和6的相似度。
3、基於屬性關係圖匹配的跟蹤情況分析
在得到當前幀中人體檢測區域的屬性關係圖與前一幀跟蹤人體的屬性關係 圖的相似度後，可據此將當前幀檢測的人體和前一幀的跟蹤人體對應匹配，以 完成對監控場景中多人體的跟蹤。本發明首先建立匹配矩陣，列出各檢測區域 與上一幀跟蹤人體的相似度設匹配矩陣的行號代表當前幀人體檢測區域，列
號代表上一幀跟蹤人體，將屬性關係圖外觀模型的匹配度r皿(n表示當前幀檢測
人體的序號，m表示前一幀跟蹤人體的標記)作為矩陣元素值記錄，然後根據匹 配閾值r。確定是否匹配
0，如r柳〉r。，匹配 1，如r,2r。，不匹配
表1第t幀匹配矩陣
(20)
第t-l幀第t幀跟蹤人體1跟蹤人體2…跟蹤人體m
檢測人體1八2…
檢測人體2&…
…...………
檢測人體n、…T"附
通過匹配矩陣的匹配情況，分析、確定當前幀中多人體的跟蹤狀態、獲取 人體運動軌跡，並更新其外觀模型。匹配情況可歸納為四種，對應四種跟蹤情
況
1)新人體出現第n行中r鵬均為0:且持續連續三幀，則認為是"新人體"出
現，檢測人體n為新出現人體，分配新標記，建立其屬性關係圖外觀模型，開 始跟蹤該人體；2) 正常跟蹤第n行有且僅有一個r'^-l的元素則檢測人體ii與跟蹤人體m
匹配，認為是"正常跟蹤"，為檢測人體n分配標記m,記錄其外接矩形框中心 點位置，並將檢測人體ii的外觀模型作為跟蹤人體m更新的屬性關係圖外觀模 型；
3) 遮擋跟蹤第n行有多個f,-l的元素則認為是"遮擋跟蹤"，檢測人體n
是由多個遮擋人體組成，被遮擋的人體為r'^ =1的元素所在列對應的跟蹤人體，
由於丟失各跟蹤人體在當前幀的檢測值，無法通過匹配矩陣識別不同人體，此 跟蹤情況採用後述"遮擋情況下的跟蹤"處理；
4) 人體消失第m列元素r'柳均為0:且該情況在連續三幀出現，則認為是"人
體消失"，即跟蹤人體m消失，從跟蹤序列中刪除該人體。 *遮擋情況下的跟蹤
在遮擋情況下由於只能檢測到遮擋人體組成的一個前景區域，而無法區分 各遮擋人體位置，本發明採用Kalmaii濾波器預測遮擋人體的位置，從而確定各 遮擋人體的屬性關係圖外觀模型，完成遮擋情況下的跟蹤，具體步驟如下
① 根據匹配矩陣獲取的遮擋人體標號，由Kalman濾波器根據其在上一幀的位 置預測遮擋人體在當前幀的位置，並依據該預測位置及遮擋人體在上一幀外接 矩形框的大小，確定該遮擋人體在當前幀的外接矩形框區域。
人體外接矩形框中心點的運動過程建模為勻速運動模型，並採用Kalman濾 波器預測遮擋人體外接矩形框在當前幀中的位置。狀態向量表示為
x(0 = [A,v/，觀測向量表示為y(O-A，其中A、 v,分別表示中心點x方向坐 標、速度，則得到與式(7)相同的狀態轉移矩陣及觀測矩陣，採用式(13)得 到Kalman預測的測量值fW卜l)，作為遮擋人體在當前幀的中心點x方向坐標
值，中心點y方向坐標也同理可得，並記錄預測的中心點坐標以獲得跟蹤軌跡。 然後，遮擋人體的外接矩形框區域可根據中心點的預測位置及其在上一幀的外 接矩形框大小得到。如圖3a)所示，虛線框表示預測區域。
② 將遮擋人體外接矩形框內的前景外觀建模為遮擋人體的屬性關係圖外觀模 型，用於與下一幀的檢測人體匹配，進行連續跟蹤。採用與檢測人體屬性關係圖外觀模型G相同的定義，將每個預測區域的前景建模為遮擋人體的屬性關係 圖外觀模型，遮擋人體屬性關係圖外觀模型如圖3b)，其中圓點表示節點，虛線 表示邊。
本發明提出的方法與目前主要的通過人體外觀模型進行跟蹤的方法(顏色 直方圖跟蹤方法、採用顏色和空間信息的跟蹤方法、顏色相關圖跟蹤方法)相 比，建立的人體屬性關係圖外觀模型不僅描述了人體外觀的顏色特徵、空間信 息，還表徵了人體的身體結構特徵，大大提高了人體外觀模型的準確性，並且 本發明提出的外觀模型及匹配算法簡便、有效，能實現多人體的實時跟蹤。圖4 所示為本發明提出的跟蹤方法在多人複雜運動監控視頻中的實驗結果。實驗採 用的計算機配置為奔四處理器、內存1GB、主頻3.00GHz，在Matlab7.0的運 行環境中，運行速度達到約10-11幀/秒，跟蹤實時性高。該視頻中3個不同外 觀的人體在一大廳中從不同方向行走、相遇再分離，視頻序列解析度為250x370， 幀速為每秒25幀，共有355幀，其中有120幀出現遮擋。圖4a)-f)所示分別為 第71幀、106幀、138幀、176幀、206幀及241幀跟蹤結果，其中c)、 d)中實 現了多人遮擋情況下的跟蹤，e)、 i)表明在遮擋後各個人體仍能正確跟蹤。圖5 比較了傳統的顏色直方圖建模人體外觀的跟蹤方法與本發明提出的跟蹤方法在 該視頻中的跟蹤誤差，跟蹤誤差由跟蹤結果中人體外接矩形框中心點坐標與其 真實值之間的歐式距離計算得到，可見本發明提出的跟蹤方法的跟蹤誤差遠低 於傳統的顏色直方圖跟蹤方法，大大提高了固定監控場景中多人體跟蹤的準確 性、有效性。
權利要求
1、一種基於屬性關係圖外觀模型的多人體跟蹤方法，其特徵在於，包括以下步驟1)連續獲取包含有被跟蹤人體的固定場景的圖像，對當前幀圖像的人體檢測區域建立屬性關係圖外觀模型將檢測的人體區域分為頭部、上身和下肢三個身體部分；屬性關係圖外觀模型的每一個節點對應一個所述的身體部分，節點屬性表徵身體部分的特徵，由以下三個量表示對應身體部分的標記、顏色直方圖、外接矩形框中心點坐標；屬性關係圖外觀模型的邊由連接人體任兩個身體部分的中心點的直線段表示，邊屬性採用直線段的長度和角度表示；2)計算當前幀檢測人體的屬性關係圖外觀模型與上一幀跟蹤人體的屬性關係圖外觀模型的相似度；3)根據計算所得的相似度跟蹤當前幀人體。
2、 根據權利要求1所述的基於屬性關係圖外觀模型的多人體跟蹤方 法，其特徵在於，所述的節點屬性定義為a(《)-^,a，to^,其中，化表示第i個被跟蹤對象的身體部分的標記頭、上身、下肢分別標記為"head"、"叩" 和"10W"; a表示第i個被跟蹤人體的身體部分外接矩形框的中心點坐標；為第i個被跟蹤人體的身體部分的顏色特徵，用歸一化的HSV空間一維顏色直方圖表示為WW,++ 其中，H、 S、 V表示像素點在HSV空間中三分量H、 S、 V的取值；邊屬性定義為K《,《)={。, } 其中g為長度屬性，表示兩個節點《和《間的直線段長度，採用節點間的歐式距離表示。Hp,-a、^分別表示節點《、《的屬性中的中心點坐標；^為角度屬性，表示這兩個節點《和《間的直線段角度，rs=arCSin^^，其中乂、力是節點《、《的屬性中的中心點y方向坐標，^的取值範圍為[O，;r〗；所述的相似度定義如下其中，^、 ^是權重係數，並且約束條件為A + 使得相似度r在區間[0，1之內，《(△(《)，△(》,)表示G和6中對應同類身體部分的節點間的相似度，《(K《，《),M^，《)是G和6中連接兩個同類身體部分的邊的相似度，G和6分別為當前幀檢測人體的屬性關係圖外觀模型與上一幀跟蹤人體的屬性關係 圖外觀模型；所述的根據相似度跟蹤當前幀人體的步驟為建立匹配矩陣，列出各檢測 區域與上一幀跟蹤人體的相似度設匹配矩陣的行號代表當前幀人體檢測區域，列號代表上一幀跟蹤人體，將屬性關係圖外觀模型的匹配度r，作為矩陣元素值記錄，n表示當前幀檢測人體的序號，m表示前一幀跟蹤人體的標記，然後根據 匹配閾值r。確定是否匹配，匹配結果為0，如r，〉v匹配 1，如r",o，不匹配通過匹配矩陣的匹配情況，可確定當前幀中多人體的跟蹤狀態、獲取人體 運動軌跡，並更新其外觀模型；匹配情況歸納為四種1) 新人體出現第n行中T^均為0:且持續連續三幀，則認為是"新人體"出現，檢測人體n為新出現人體，分配新標記，建立其屬性關係圖外觀模 型，開始跟蹤該人體；2) 正常跟蹤第H行有且只有一個r柳-l的元素則檢測人體n與跟蹤人體m匹配，認為是"正常跟蹤"，為檢測人體n分配標記m,記錄其外接矩形框 中心點位置，並將檢測人體n的屬性關係圖外觀模型作為跟蹤人體m的更新的 屬性關係圖外觀模型；3) 遮擋跟蹤第n行出現多個r目"的元素則認為是"遮擋跟蹤"，檢測人體n是由多個遮擋人體組成，被遮擋的人體為r， =1的元素所在列對應的 跟蹤人體；4)人體消失第m列元素—皿均為0:且該情況在連續三幀出現，則認為是"人體消失"，即跟蹤人體m消失，從跟蹤序列中刪除該人體。
3、根據權利要求2所述的基於屬性關係圖外觀模型的多人體跟蹤方法，其 特徵在於，在遮擋情況下，採用卡爾曼濾波器預測遮擋人體的位置，從而確定 各遮擋人體的屬性關係圖外觀模型，完成遮擋情況下的跟蹤。
全文摘要
針對固定監控場景中多人體跟蹤問題，本發明提出了一種基於屬性關係圖外觀模型的多人體跟蹤方法。首先對當前幀人體檢測區域建立屬性關係圖外觀模型，計算與上一幀跟蹤人體的屬性關係圖外觀模型的相似度，根據相似度確定幀間人體的匹配，從而確定人體跟蹤情況及獲取運動軌跡。本發明提出的方法能大大提高固定監控場景中多人體跟蹤的準確性、可靠性、實時性。
文檔編號G06T7/00GK101561928SQ20091004353
公開日2009年10月21日 申請日期2009年5月27日 優先權日2009年5月27日
發明者琴 萬, 餘洪山, 江 朱, 王耀南 申請人:湖南大學