低解析度視頻中的人物識別方法
2023-10-18 00:12:04 1
專利名稱：低解析度視頻中的人物識別方法
技術領域：
本發明涉及一種低解析度視頻中的人物識別方法，具體涉及一種從單個固定低分 辨率攝像機提取人物的SVB Frieze特徵信息，並據此特徵信息將人物分辨出來的方法。可 廣泛應用於非接觸式遠距離的身份識別，智能家電，輔助監控等，屬於模式識別中的人物識 別領域。
背景技術：
步態識別是根據人物走路姿勢進行的人物身份識別，以提取的人物輪廓圖像為基 礎，旨在不考慮衣服、背景等因素。隨著計算機視覺技術在家電行業中的應用，能實時自動 識別人物身份的智能家電成為世界家電行業新的競爭點。由於廣泛的應用前景和潛在的 經濟價值，人物身份識別是近年來備受關注的前沿課題，而利用生物識別技術輔助人物運 動分析更是發展的趨勢，在遠距離人物身份識別中步態被認為是最具潛力的特徵，臉像、指 紋、虹膜等第一代生物特徵，通常要求近距離地或者接觸性地感知(如指紋需要接觸指紋 掃描儀、臉像需要近距離捕捉以滿足解析度等)，而步態在此方面卻突出了它的優越性，尤 其是在遠距離的情況下，人的步態易於感知、非侵犯性、非接觸性、難於隱藏和偽裝的優點 已經使其成為一個獨具特色的生物行為。由於人物行走時經常會攜帶一些小的物品，視頻 中檢測到的人物輪廓經常會有很大的變化，因此如何實時自動的提取人物特徵同時又能盡 可能的降低攜帶物品的幹擾成為工程、實際中亟待解決的問題。經過對現有技術文獻的查找發現，目前基於步態的人物識別方法主要分為兩 類一類是基於模型的方法，Lee等人於2002年發表在Proceedings of the Fifth IEEEInternational Conference on Automatic Face Gesture Recognition上的論文Gait analysisfor recognition and classification(基於步態分析的識別和分類)提出用7 個橢圓來建模人體的各個部分，提取橢圓參數(長短軸之比、質心坐標、主軸夾角)以及人 體結構參數(質心坐標)共29個參數作為步態識別的特徵。該方法對人自身的遮擋魯棒性 非常差，而且運算量大，因此不適合於工程應用。另外一類是非模型的方法，Seungkyu等人 於 2007 年發表在 Proceedings of the IEEE Computer Society Conference onComputer Vision and Pattern Recognition上的論文Shape Variation-Based Frieze Patternfor Robust Gait Recognition(—種魯棒性強的步態識別SVB Frieze)向人們提出了一種新 的提取人物運動特徵的方法在一個步態周期內，選取一個關鍵幀，求出其餘幀與關鍵幀的 差異，並向橫軸和縱軸方向疊加得到縱向SVB Frieze特徵和橫向SVBFrieze特徵，再求出 縱向左右步SVB Frieze差異特徵、橫向左右步SVB Frieze差異特徵，最後將此四種特徵相 加得到匹配人物身份的判別式。該方法的優點是降低了攜帶物品的幹擾，然而該方法需要 解決SVB Frieze特徵維數變化問題，而Seungkyu提出的對SVB Frieze特徵求平均值的方 法，將每幀人物步態運動特徵模糊了，因此識別準確性不高。
發明內容
本發明的目的在於針對現有技術的不足，提出一種低解析度視頻中的人物識別方 法，能在人物攜帶物品等幹擾條件下，準確將人物運動信息凸現出來。為實現上述目的，本發明首先提取目標人物視頻中的人物輪廓圖像，根據人物輪 廓的寬度變化劃分步態周期，保持高寬比不變將人物輪廓圖像縮放到同一大小；然後選 取一個關鍵幀，求出其餘幀與關鍵幀之間的差異，並 向橫軸和縱軸方向疊加得到縱向SVB Frieze特徵和橫向SVB Frieze特徵，再用動態時間規正算法求出縱向左右步SVB Frieze 差異特徵、橫向左右步SVB Frieze差異特徵，最後用動態時間規正算法對待識別的步態數 據進行以上四種特徵的匹配，完成人物識別。本發明的方法通過以下具體步驟實現1)首先把目標人物的視頻讀入計算機，再對視頻進行背景建模與背景實時更新， 採用當前幀與背景幀相減的方法得到目標人物的輪廓前景圖像；並將人物輪廓前景圖像中 存在的空洞和零散白點去除；2)從人物輪廓前景圖像中提取人物輪廓的特徵，將每個人物輪廓最左面的點與最 右面的點的距離作為該人物輪廓的寬度，將最上面的點與最下面的點的距離作為該人物輪 廓的高度；選擇人物輪廓水平方向的變化作為劃分步態周期的標誌；按人物輪廓的寬度和 高度將人物輪廓圖像扣出；保持高寬比不變，將所有人物輪廓圖像縮放到同一大小；3)選取人物兩腳分開最遠時的人物輪廓圖像作為關鍵幀，其餘幀與關鍵幀相減， 並向橫軸和縱軸方向疊加得到縱向SVB Frieze特徵和橫向SVB Frieze特徵，並用動態時 間規正算法求出縱向左右步SVB Frieze差異特徵、橫向左右步SVB Frieze差異特徵；4)用動態時間規正算法對待識別步態的縱向SVB Frieze特徵、橫向SVB Frieze 特徵、縱向左右步SVB Frieze差異特徵、橫向左右步SVB Frieze差異特徵進行匹配，完成 人物識別。本發明與現有技術相比的顯著效果在於真正做到了在幀的基礎上對人物步態運 動信息進行比較，解決了人物步態周期經常發生變化而引發的維數變化問題，克服了人物 攜帶物品造成的幹擾影響，具有算法簡單、精確度高、魯棒性強等優點。由於對每幀人物步 態運動都做出了局部最優匹配，提高了人物步態運動的分析能力，消除了實現真正工程應 用的主要障礙，克服了以往技術方法都難以克服的難點，真正做到了複雜人物運動的自動 識別，最終為智能家電中的人物識別提供了一種新的可靠的方法。
圖1本發明方法流程圖。圖2人物步態運動的輪廓分割示例，其中(a)背景圖像；(b) 二值化後的前景輪廓 圖像；(c)處理後的前景輪廓圖像。圖3關鍵幀與普通幀的差異。圖 4SVB Frieze 特徵。圖5左右步SVB Frieze差異特徵的匹配路徑。圖6左右步SVB Frieze差異特徵。圖7識別結果。
具體實施例方式以下結合附圖和實施例對本發明的技術方案作進一步詳細說明。以下實施例以本 發明技術方案為前提進行實施，給出了詳細的實施方式和過程，但本發明的保護範圍不限 於下述的實施例。本發明方法流程如圖1所示，讀取目標人物視頻後，先進行人物輪廓的提取與處 理，再提取橫向SVB Frieze特徵、縱向SVB Frieze特徵，並用動態時間規正算法求出橫向 左右步SVB Frieze差異特徵、縱向左右步SVB Frieze差異特徵，最後用動態時間規正算法 匹配上述特徵並最小鄰分類。具體實施步驟如下(實施例使用ViSualC++語言編程)(1)提取目標人物視頻中的人物輪廓前景圖像首先把目標人物的視頻讀入計算機機，再對視頻進行背景建模與背景實時更新， 採用當前幀與背景幀相減的方法得到目標人物的輪廓前景圖像；由於諸多客觀因素的影 響，得到的人物輪廓前景圖像總是存在空洞和零散的白點，為了消除這一不利因素，本發明 把輪廓最大的區域像素值填充為255，把剩餘區域的像素值賦為0，得到比較準確的人物輪 廓前景圖像，效果可見圖2，圖2中，(a)背景圖像；(b) 二值化後的前景輪廓圖像；(c)處理 後的前景輪廓圖像。(2)提取與處理人物輪廓信息人物輪廓的寬度和高度的提取每幅人物輪廓前景圖像實際上是平面點的集合， 我們可以根據平面幾何知識提取人物輪廓的特徵。每個人物輪廓最左面的點與最右面的點 的距離作為該人物輪廓的寬度，最上面的點與最下面的點的距離作為該人物輪廓的高度。人物輪廓的步態周期的提取考慮到水平運動比垂直運動有著更大的變化，從而 有著更強的分辨力，我們選擇人物輪廓水平方向的變化作為劃分步態周期的標誌，本實施 例從人物輪廓寬度比上下三幀都小開始，經過兩次這種情況結束。人物輪廓的縮放按人物輪廓的寬度和高度將人物輪廓圖像扣出，本實施例的高 寬比為5 3，不滿足者上下或左右添加相同的值為零的行或者列，考慮到運算的複雜度和 匹配的準確度，本實施例將處理好的輪廓圖縮放到100*60，所有人物輪廓圖像縮放到同一 大小。(3)提取 SVB Frieze 特徵人物行走時，左腳作支撐點為右步，右腳作支撐點為左步，左右步合在一起組成一 個步態周期。選取人物兩腳分開最遠時的人物輪廓圖像作為關鍵幀，其餘為普通幀，求出每 個普通幀與關鍵幀之間的差異，如圖3所示。將求得的這些差異幀分別橫向縱向疊加，這樣兩維的幀轉換為兩個一維的「能量」 向量，^^力二！；馬江力，^^^^-！^辦，力，其中FPh(y，t)為橫向SVBFrieze特徵在時
xy
間序列t的輪廓圖像坐標為y的值，FPv(x，t)為縱向SVB Frieze特徵在時間序列t的輪 廓圖像坐標為x的值，如圖4所示。用動態時間規正算法求出橫向左右步SVB Frieze差異特徵SMh和縱向左右步SVB Frieze差異特徵SMV，以SMh為例，具體算法為a)左步橫向 SVB Frieze 特徵FPlh G RmX1，右步橫向 SVB Frieze 特徵
FPrh G RnX1，初始化一個元素值為正無窮的矩陣G G RmXn。b)依次計算FPlh中的元素與FPa中每個元素的歐式距離，約束條件為FPlh中的元 素位置與FP,h中的元素位置相差不可超過常數N，本實施例取N = 14，否則直接認為這兩個 元素間的動態時間規正距離為正無窮，計算公式為G[i，j] = D[i，j]+min(G[i-l, j]，G[i， j-1]，G[i-1，j_l])，其中G[i，j]是數列FPlh中第i個元素與FPrh中第j個元素之間的動 態時間規正距離，D[i，j]為FPlh中第i個元素與FPa中第j個元素之間的歐式距離。c)G[m-l, n_l]是數列FPlh與數列FPA之間的動態時間規正距離，然後從G[m-1, n-1]開始往前推算出FPlh與FPA匹配路徑，如圖5所示，按照這個匹配路 徑求出？？^與？ ^對應的差異，得到SMh，如圖6所示。(4)動態時間規正距離匹配及最近鄰分類分別計算訓練視頻和待識別視頻的FPv、FPh、SMh和SMV之間的動態時間規正距離， 以FPV為例，具體算法為a)訓練視頻的FPhi(y，t) G RmX1，待識別視頻的FPhj (y，t) G RnX1，初始化一個元 素值為正無窮的矩陣G e RmXn。b)依次計算FPhi中的元素與FPW中每個元素的歐式距離，約束條件為FPhi中的元 素位置與FPhj中的元素位置相差不可超過常數N，本實施例取N = 14，否則直接認為這兩個 元素間的動態時間規正距離為正無窮，計算公式為G[i，j] = D[i，j]+min(G[i-l, j]，G[i， j-1]，G[i-1，j_l])，其中G[i，j]是數列FPhi中第i個元素與FPhJ中第j個元素之間的動 態時間規正距離，D[i，j]為FPhi中第i個元素與FPW中第j個元素之間的歐式距離。c)巧^—，…^是數列FPhi與數列FPhj之間的動態時間規正距離，匹配人物身份 的判別式為 C^. = a DFPh+ 3 DFPv+ y DSBi+ n DSMv其中i為訓練視頻序列號，j為識別視頻序列號，DFPh為橫向SVB Frieze特徵之間 的動態時間規正距離，DFPv為縱向SVB Frieze特徵之間的動態時間規正距離，DSBl為橫向左 右步SVB Frieze差異特徵之間的動態時間規正距離，DSMv為縱向左右步SVB Frieze差異特 徵之間的動態時間規正距離，a、日、Y、n為加權因子。如圖7所示本實施例設置a = 0. 3、3 = 0. 3、Y = 0. 2、n = 0. 2，其中各線段 表示待識別人物與已訓練人物的匹配距離，可以看出，實線相對與其他種類的線段具有較 小的匹配距離，可以判定是同一個人訓練數據和識別數據相匹配的結果，與實際相符。
權利要求
一種低解析度視頻中的人物識別方法，其特徵在於包括如下具體步驟1)首先把目標人物的視頻讀入計算機，再對視頻進行背景建模與背景實時更新，採用當前幀與背景幀相減的方法得到目標人物的輪廓前景圖像；並將人物輪廓前景圖像中存在的空洞和零散白點去除；2)從人物輪廓前景圖像中提取人物輪廓的特徵，將每個人物輪廓最左面的點與最右面的點的距離作為該人物輪廓的寬度，將最上面的點與最下面的點的距離作為該人物輪廓的高度；選擇人物輪廓水平方向的變化作為劃分步態周期的標誌；按人物輪廓的寬度和高度將人物輪廓圖像扣出；保持高寬比不變，將所有人物輪廓圖像縮放到同一大小；3)選取人物兩腳分開最遠時的人物輪廓圖像作為關鍵幀，其餘幀與關鍵幀相減，並向橫軸和縱軸方向疊加得到縱向SVB Frieze特徵和橫向SVB Frieze特徵，並用動態時間規正算法求出縱向左右步SVB Frieze差異特徵、橫向左右步SVB Frieze差異特徵；4)用動態時間規正算法對待識別步態的縱向SVB Frieze特徵、橫向SVB Frieze特徵、縱向左右步SVB Frieze差異特徵、橫向左右步SVB Frieze差異特徵進行匹配，完成人物識別。
全文摘要
本發明涉及一種低解析度視頻中的人物識別方法，具體是對提取到的人物前景輪廓求出SVB Frieze特徵，並對SVB Frieze特徵進行動態時間規正距離匹配和最近鄰分類，包括(1)提取目標人物視頻中的人物輪廓前景圖像；(2)人物輪廓圖像的高度、寬度、步態周期等信息的提取與人物輪廓圖像縮放；(3)求出橫向SVB Frieze特徵、縱向SVB Frieze特徵、橫向左右步SVB Frieze差異特徵、縱向左右步SVB Frieze差異特徵；(4)對此四種特徵用動態時間規正距離匹配，加權求和並進行最近鄰分類。本發明具有易於實現、魯棒性強、精確度高、實時性強等優點，在幀的基礎上實現了對人物運動特徵的分析，可以作為智能家電中行人目標識別實時可靠的方法。
文檔編號G06K9/00GK101833653SQ20101013783
公開日2010年9月15日 申請日期2010年4月2日 優先權日2010年4月2日
發明者劉允才, 孫兵, 李科, 田雨 申請人:上海交通大學