一種視頻圖像中前景停留時間的估計方法及裝置製造方法

2023-06-14 14:25:51

一種視頻圖像中前景停留時間的估計方法及裝置製造方法
【專利摘要】本發明公開了一種視頻圖像中前景停留時間的估計方法及裝置，本發明中，確定視頻圖像中的前景，將視頻圖像中的前景像素進行聚類，得到至少兩種類別的前景像素；分別確定每種類別的前景像素的停留時間。通過本發明能夠針對每種前景像素內部特徵進行單獨估計，故能夠較為準確的估計出視頻圖像中的前景像素的停留時間，提高前景停留時間估計的準確度。
【專利說明】一種視頻圖像中前景停留時間的估計方法及裝置

【技術領域】
[0001] 本發明涉及視頻監控領域，尤其涉及一種視頻圖像中前景停留時間的估計方法及 裝直。

【背景技術】
[0002] 前景，相對背景而言，是指在視頻畫面中發生過移動的事物，例如行走的人和動 物、行駛的汽車、或者處於某一位置靜止一段時間但是曾經不在該位置的人群，都可以認為 是前景。前景停留時間估計，是指對輸入的視頻中的前景的停留時間進行估計。視頻圖像 中的前景包括的像素為前景像素。前景停留時間估計一般會對輸入的每一幀視頻圖像的每 個前景像素，都計算出一個正數，計算出的正數就是該前景像素停留的時間。
[0003] 前景停留時間估計，在多種行業中都具有廣泛的應用。例如，在安防行業中，通過 對前景停留時間的估計，可以分析群組成員之間的關係（人群的聚集、人群的暫駐、人群的 遷址和人群的形變等），進行人群行為預測和異常行為檢測。再例如，在交通管控中，靜止 的人群或車輛，會阻礙並改變已有的人潮的速度和方向，進而會引起交通模式的改變，故可 利用前景停留時間估計方法，研究靜止人群或車輛，何時出現並停留多長時間，進行交通控 制。
[0004] 目前，前景停留時間的估計方法，主要有基於背景檢測的估計方法和基於跟蹤算 法的估計方法。基於背景檢測的估計方法中，對每一幀視頻圖像進行背景像素提取，進而可 得到前景像素，對得到的每個前景像素進行時間估計，得到前景像素的停留時間。由於視頻 圖像中的前景物體的密度較大，可能還會具有很多遮擋，並且很多前景物體還具有局部的 移動，這些都會成為前景時間估計中的噪聲，採用背景檢測的估計方法，不能克服以上各種 噪聲，估計結果不準確，例如採用背景檢測的估計方法無法區分同一個像素上連續出現的 不同前景，會將同一個前景的局部運動誤判為新出現的前景而重新估計停留時間，還會把 靜止的前景誤判為背景。
[0005] 基於跟蹤算法的估計方法，一般是在視頻圖像中選取一些容易與周圍像素區分、 並比較有信息量的像素點作為特徵點，然後對選取的特徵點進行跟蹤，基於跟蹤結果得到 停留時間的估計結果。然而由於各種原因（例如人群較多），跟蹤經常出現錯誤，導致估計 時間不準確。


【發明內容】

[0006] 本發明實施例提供一種視頻圖像中前景停留時間的估計方法及裝置，以提高前景 停留時間估計的準確度。
[0007] 第一方面，提供一種視頻圖像中前景停留時間的估計方法，包括：
[0008] 確定視頻圖像中的前景，其中，所述視頻圖像中的前景包括的像素為前景像素；
[0009] 將所述前景像素進行聚類，得到至少兩種類別的前景像素；
[0010] 分別確定每種所述類別的前景像素的停留時間。 toon] 結合第一方面，在第一種實現方式中，確定視頻圖像中的前景，包括：
[0012] 對所述視頻圖像中的每一幀視頻圖像的每個像素進行初始前景估計，得到視頻圖 像中的初始前景；
[0013] 對所述初始前景進行修正，得到修正的前景；
[0014] 將所述修正的前景作為所述視頻圖像中的前景。
[0015] 結合第一方面的第一種實現方式，在第二種實現方式中，所述方法還包括：
[0016] 分別提取所述視頻圖像中的每一幀視頻圖像的每個像素的特徵值，並將所述特徵 值組合成五維的特徵向量，所述特徵值包括表徵像素三通道顏色空間的每個通道的分量 值，以及表徵像素位置的行方向數值和列方向數值；
[0017] 設定所述視頻圖像中的前景像素被聚類為Μ類，每個類別對應一個聚類中心，所 述聚類中心是五維向量，將所述聚類中心組合成第一矩陣，所述第一矩陣為5*Μ的矩陣，其 中，Μ為不小於2的正整數；
[0018] 相應的，將所述視頻圖像中的所述前景像素進行聚類，得到至少兩種類別的前景 像素，包括：
[0019] 根據初始前景像素估計結果、所述特徵向量和所述第一矩陣，對所述視頻圖像中 的每一幀視頻圖像的每個像素進行編碼約束，得到Μ維的編碼向量，所述編碼向量的分量 為0或1，且最多有一個等於1的分量，其中，Μ為不小於2的正整數，初始前景像素估計結 果為對所述視頻圖像中的每一幀視頻圖像的每個像素進行初始前景估計的結果；
[0020] 若編碼向量中的第i個分量等於1，則確定當前像素為第i類前景像素，其中i為 正整數。
[0021] 結合第一方面的第二種實現方式，在第三種實現方式中，對所述視頻圖像中的每 一幀視頻圖像的每個像素進行編碼約束，得到Μ維的編碼向量，包括：
[0022] 按照如下公式，對所述視頻圖像中的每一幀視頻圖像的每個像素進行編碼約束：
[0023]

【權利要求】
1. 一種視頻圖像中前景停留時間的估計方法，其特徵在於，包括： 確定視頻圖像中的前景，其中，所述視頻圖像中的前景包括的像素為前景像素； 將所述前景像素進行聚類，得到至少兩種類別的前景像素； 分別確定每種所述類別的前景像素的停留時間。
2. 如權利要求1所述的方法，其特徵在於，確定視頻圖像中的前景，包括： 對所述視頻圖像中的每一幀視頻圖像的每個像素進行初始前景估計，得到視頻圖像中 的初始前景； 對所述初始前景進行修正，得到修正的前景； 將所述修正的前景作為所述視頻圖像中的前景。
3. 如權利要求2所述的方法，其特徵在於，所述方法還包括： 分別提取所述視頻圖像中的每一幀視頻圖像的每個像素的特徵值，並將所述特徵值組 合成五維的特徵向量，所述特徵值包括表徵像素三通道顏色空間的每個通道的分量值，以 及表徵像素位置的行方向數值和列方向數值； 設定所述視頻圖像中的前景像素被聚類為Μ類，每個類別對應一個聚類中心，所述聚 類中心是五維向量，將所述聚類中心組合成第一矩陣，所述第一矩陣為5*Μ的矩陣，其中，Μ 為不小於2的正整數； 相應的，將所述前景像素進行聚類，得到至少兩種類別的前景像素，包括： 根據初始前景像素估計結果、所述特徵向量和所述第一矩陣，對所述視頻圖像中的每 一幀視頻圖像的每個像素進行編碼約束，得到Μ維的編碼向量，所述編碼向量的分量為0或 1，且最多有一個等於1的分量，其中，Μ為不小於2的正整數，初始前景像素估計結果為對 所述視頻圖像中的每一幀視頻圖像的每個像素進行初始前景估計的結果； 若編碼向量中的第i個分量等於1，則確定當前像素為第i類前景像素，其中i為正整 數。
4. 如權利要求3所述的方法，其特徵在於，對所述視頻圖像中的每一幀視頻圖像的每 個像素進行編碼約束，得到Μ維的編碼向量，包括： 按照如下公式，對所述視頻圖像中的每一幀視頻圖像的每個像素進行編碼約束：
通過求解所述編碼約束，得到所述視頻圖像中的每一幀視頻圖像的每個像素的Μ維的 編碼向量； 其中，ct為所有像素的編碼向量集合，D為第一矩陣，Ρ為當前像素，Ιρ為像素 ρ的特 徵向量，up為像素 ρ的初始前景像素估計結果,up = 1表示像素 ρ為前景像素,up = 0表示 像素 P為背景像素，ctp為像素 ρ的編碼向量，η為設定的參數值，| | ap| L為像素 P的編 碼向量的1範數，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特徵向量與像素 P所屬類別的聚類中心之間的差異，d2(| | ap| IpUp)表示修正前景像素 估計結果與初始前景像素估計結果之間的差異，
表示所有修正前景像素 的特徵向量與其所屬類別的聚類中心的差異的總和，
表示所有像素的修正 前景像素估計結果與初始前景像素估計結果之間差異的總和，Q(D，α)為
與
的加權和。
5. 如權利要求3所述的方法，其特徵在於，對所述視頻圖像中的每一幀視頻圖像的每 個像素進行編碼約束，得到Μ維的編碼向量，包括： 按照公式
對所述視頻圖像中 的每一幀視頻圖像的每個像素進行第一編碼約束； 按照公式
對所述視頻圖像中的每一幀視 頻圖像的每個像素進行第二編碼約束； 通過求解第一編碼約束和第二編碼約束結合後的優化約束，得到所述視頻圖像中的每 一幀視頻圖像的每個像素的Μ維的編碼向量； 其中，ct為所有像素的編碼向量集合，D為第一矩陣，Ρ為當前像素，Ιρ為像素 ρ的特 徵向量，up為像素 ρ的初始前景像素估計結果,up = 1表示像素 ρ為前景像素,up = 0表示 像素 P為背景像素，ctp為像素 ρ的編碼向量，η為設定的參數值，| | ap| L為像素 P的編 碼向量的1範數，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特徵向量與像素 P所屬類別的聚類中心之間的差異，d2(| | ap| IpUp)表示修正前景像素 估計結果與初始前景像素估計結果之間的差異，
表示所有修正前景像素的 特徵向量與其所屬類別的聚類中心的差異的總和，
表示所有像素的修正前 景像素估計結果與初始前景像素估計結果之間差異的總和，Q(D，α )為
與
的加權和；
表示像素個數，
表示αρ在視頻圖像所在坐標系水平方向和時間方向的二階有 限差分算子，
表示α ρ在視頻圖像所在坐標系堅直方向和時間方向的二階有限差分算 子，n表示向量的範數，c(a)為一組像素的個數，該組內的像素滿足像素的編碼向量在 視頻圖像所在坐標系水平方向和時間方向的二階有限差分的範數與在視頻圖像所在坐標 系堅直方向和時間方向的二階有限差分的範數的總和不等於零。
6. 如權利要求5所述的方法，其特徵在於，通過求解第一編碼約束和第二編碼約束結 合後的優化約束，得到所述視頻圖像中的每一幀視頻圖像的每個像素的Μ維的編碼向量， 包括： 按照優化條件
αρ = {〇, 1}Μ，| | ap| L彡1，求解第一編碼約束和 第二編碼約束結合後的優化約束，得到所述視頻圖像中的每一幀視頻圖像的每個像素的Μ 維的編碼向量； 其中，
1為
與
的加權和，
表示 所有修正前景像素的特徵向量與其所屬類別的聚類中心的差異的總和，
表示所有像素的修正前景像素估計結果與初始前景像素估計結果之間差異的總 和，di (Da p，Ip)表示像素 p的特徵向量與像素 p所屬類別的聚類中心之間的差異， d2(| I ap| 表示修正前景像素估計結果與初始前景像素估計結果之間的差異，a為所 有像素的編碼向量集合，D為第一矩陣，P為當前像素，Ip為像素 p的特徵向量，up為像素 P的初始前景像素估計結果，up = 1表示像素 p為前景像素，up = 0表示像素 p為背景像 素，ctp為像素 p的編碼向量，η為設定的參數值，I I ap| li為像素 p的編碼向量的1範數， {p| I I αΡΙ Ιι = 1丨表示I I αΡΙ Ιι = 1的像素集合，c(a)為一組像素的個數，該組內的像素 滿足像素的編碼向量在視頻圖像所在坐標系水平方向和時間方向的二階有限差分的範數 與在視頻圖像所在坐標系堅直方向和時間方向的二階有限差分的範數的總和不等於零，入 為設定的參數。
7. 如權利要求2至6任一項所述的方法，其特徵在於，確定每種所述類別的前景像素的 停留時間，包括： 判斷在所述視頻圖像中的前一幀視頻圖像中，是否存在與當前前景像素屬於同一類的 前景像素； 若存在，則在與當前前景像素屬於同一類的前景像素的停留時間的基礎上累加當前前 景像素的停留時間，得到前景像素的停留時間； 若不存在，則以當前前景像素所在的當前幀作為時間起始點，累加當前前景像素的停 留時間，得到前景像素的停留時間。
8. -種視頻圖像中前景停留時間的估計裝置，其特徵在於，包括確定單元、聚類單元和 估計單元，其中， 所述確定單元，用於確定視頻圖像中的前景，其中，所述視頻圖像中的前景包括的像素 為前景像素； 所述聚類單元，用於將所述確定單元確定的所述前景包括的前景像素進行聚類，得到 至少兩種類別的前景像素，並向所述估計單元輸出所述至少兩種類別的前景像素； 所述估計單元，用於分別確定所述聚類單元聚類得到的每種所述類別的前景像素的停 留時間。
9. 如權利要求8所述的裝置，其特徵在於，該裝置還包括初始估計單元， 所述初始估計單元，用於對所述視頻圖像中的每一幀視頻圖像的每個像素進行初始前 景估計，得到視頻圖像中的初始前景，並向所述確定單元輸出所述初始前景； 相應的，所述確定單元具體用於按如下方式確定所述視頻圖像中的前景： 對所述初始估計單元進行初始估計得到的初始前景進行修正，得到修正的前景，將所 述修正的前景作為所述前景。
10. 如權利要求9所述的裝置，其特徵在於，所述裝置還包括提取單元和設定單元， 所述提取單元，用於： 分別提取所述視頻圖像中的每一幀視頻圖像的每個像素的特徵值，並將所述特徵值組 合成五維的特徵向量，向所述聚類單元輸出所述特徵向量，所述特徵值包括表徵像素三通 道顏色空間的每個通道的分量值，以及表徵像素位置的行方向數值和列方向數值； 所述設定單元，用於設定所述視頻圖像中的前景像素被聚類為Μ類，每個類別對應一 個聚類中心，所述聚類中心是五維向量，將所述聚類中心組合成第一矩陣，所述第一矩陣為 5*Μ的矩陣，向所述聚類單元輸出所述第一矩陣，其中，Μ為不小於2的正整數； 相應的，所述聚類單元，具體用於按如下方式將所述視頻圖像中的所述前景像素進行 聚類，得到至少兩種類別的前景像素： 根據初始前景像素估計結果、所述特徵向量和所述第一矩陣，對輸入的每一幀視頻圖 像的每個像素進行編碼約束，得到Μ維的編碼向量，所述編碼向量的分量為0或1，且最多有 一個等於1的分量，其中，Μ為不小於2的正整數，初始前景像素估計結果為對所述視頻圖 像中的每一幀視頻圖像的每個像素進行初始前景估計的結果； 若編碼向量中的第i個分量等於1，則確定當前像素為第i類前景像素，其中i為正整 數。
11. 如權利要求10所述的裝置，其特徵在於，所述聚類單元，具體用於按照如下方式根 據初始前景像素估計結果、所述特徵向量和所述第一矩陣，對所述視頻圖像中的每一幀視 頻圖像的每個像素進行編碼約束，得到Μ維的編碼向量： 按照如下公式，對所述視頻圖像中的每一幀視頻圖像的每個像素進行編碼約束：
通過求解所述編碼約束，得到所述視頻圖像中的每一幀視頻圖像的每個像素的Μ維的 編碼向量； 其中，ct為所有像素的編碼向量集合，D為第一矩陣，Ρ為當前像素，Ιρ為像素 ρ的特 徵向量，up為像素 ρ的初始前景像素估計結果,up = 1表示像素 ρ為前景像素,up = 0表示 像素 P為背景像素，ctp為像素 ρ的編碼向量，η為設定的參數值，| | ap| L為像素 P的編 碼向量的1範數，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特徵向量與像素 P所屬類別的聚類中心之間的差異，d2(| | ap| IpUp)表示修正前景像素 估計結果與初始前景像素估計結果之間的差異，
表示所有修正前景像素的 特徵向量與其所屬類別的聚類中心的差異的總和，
表示所有像素的修正前 景像素估計結果與初始前景像素估計結果之間差異的總和，Q(D，α )為
與
的加權和。
12. 如權利要求10所述的裝置，其特徵在於，所述聚類單元，具體用於按照如下方式根 據初始前景像素估計結果、所述特徵向量和所述第一矩陣，對所述視頻圖像中的每一幀視 頻圖像的每個像素進行編碼約束，得到Μ維的編碼向量： 按照公式
對所述視頻圖像中 的每一幀視頻圖像的每個像素進行第一編碼約束； 按照公式
對所述視頻圖像中的每一幀視 頻圖像的每個像素進行第二編碼約束； 通過求解第一編碼約束和第二編碼約束結合後的優化約束，得到所述視頻圖像中的每 一幀視頻圖像的每個像素的Μ維的編碼向量； 其中，ct為所有像素的編碼向量集合，D為第一矩陣，Ρ為當前像素，Ιρ為像素 ρ的特 徵向量，up為像素 ρ的初始前景像素估計結果,up = 1表示像素 ρ為前景像素,up = 0表示 像素 P為背景像素，ctp為像素 ρ的編碼向量，η為設定的參數值，| | ap| L為像素 P的編 碼向量的1範數，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特徵向量與像素 P所屬類別的聚類中心之間的差異，d2(| | ap| IpUp)表示修正前景像素 估計結果與初始前景像素估計結果之間的差異，
表示所有修正前景像素的 特徵向量與其所屬類別的聚類中心的差異的總和，
表示所有像素的修正前 景像素估計結果與初始前景像素估計結果之間差異的總和，Q(D，α )為
與
的加權和；
表示像素個數，
表示αρ在視頻圖像所在坐標系水平方向和時間方向的二階有 限差分算子，
表示α ρ在視頻圖像所在坐標系堅直方向和時間方向的二階有限差分算 子，n表示向量的範數，c(a)為一組像素的個數，該組內的像素滿足像素的編碼向量在 視頻圖像所在坐標系水平方向和時間方向的二階有限差分的範數與在視頻圖像所在坐標 系堅直方向和時間方向的二階有限差分的範數的總和不等於零。
13.如權利要求12所述的裝置，其特徵在於，所述聚類單元，具體用於： 按照優化條件
αρ= {〇，1}'||%||1彡1，求解第一編碼約束和 第二編碼約束結合後的優化約束，得到所述視頻圖像中的每一幀視頻圖像的每個像素的Μ 維的編碼向量； 其中，Q(D，a)為
的加權和，
表示所 有修正前景像素的特徵向量與其所屬類別的聚類中心的差異的總和，
表示 所有像素的修正前景像素估計結果與初始前景像素估計結果之間差異的總和，屯(D a p，Ip) 表示像素 P的特徵向量與像素 P所屬類別的聚類中心之間的差異，d2(| I ap| 表示修 正前景像素估計結果與初始前景像素估計結果之間的差異，a為所有像素的編碼向量集 合,D為第一矩陣，P為當前像素，I p為像素 ρ的特徵向量，up為像素 ρ的初始前景像素估計 結果，up = 1表示像素 ρ為前景像素，up = 0表示像素 ρ為背景像素 ，a p為像素 ρ的編碼 向量，Π 為設定的參數值，I I ap| L為像素 P的編碼向量的1範數，{p| | | ap| L = 1}表示 I αρ| li = 1的像素集合，C(a )為一組像素的個數，該組內的像素滿足像素的編碼向量在 視頻圖像所在坐標系水平方向和時間方向的二階有限差分的範數與在視頻圖像所在坐標 系堅直方向和時間方向的二階有限差分的範數的總和不等於零，λ為設定的參數。
14.如權利要求9至13任一項所述的裝置，其特徵在於，所述裝置還包括判斷單元，其 中： 所述判斷單元，用於判斷在所述視頻圖像中的前一幀視頻圖像中是否存在與當前前景 像素屬於同一類的前景像素； 相應的，所述估計單元具體用於按如下方式確定每種所述類別的前景像素的停留時 間： 若所述判斷單元判斷結果為在所述視頻圖像中的前一幀視頻圖像中存在與當前前景 像素屬於同一類的前景像素，則在與當前前景像素屬於同一類的前景像素的停留時間的基 礎上累加當前景像素的停留時間，得到前景像素的停留時間； 若所述判斷單元判斷結果為在所述視頻圖像中的前一幀視頻圖像中不存在與當前前 景像素屬於同一類的前景像素，則以當前前景像素所在的當前幀作為時間起始點，累加當 前前景像素的停留時間，得到前景像素的停留時間。
【文檔編號】G06T7/00GK104050665SQ201410253862
【公開日】2014年9月17日 申請日期:2014年6月10日 優先權日:2014年6月10日
【發明者】伊帥, 王曉剛, 盧策吾, 賈佳亞, 梁炎, 劉健莊 申請人:華為技術有限公司