一種檢測運動物體相互靠近和/或接觸的方法和系統的製作方法

2023-06-30 07:27:11 1

專利名稱：一種檢測運動物體相互靠近和/或接觸的方法和系統的製作方法
技術領域：
本發明涉及智能視頻監控技術領域，特別是涉及一種檢測運動物體相互靠近和/ 或接觸的方法和系統。
背景技術：
在某些應用場合，研究運動物體相互靠近和/或接觸的自動檢測技術具有重要應用價值。例如特定監控、看護場合，人們需要實時地知道一個特定室內空間中的兩人或者多人有無相互靠近或者相互接觸的情況發生。目前普遍還是依靠人工看視的方法來得到結果，即在該室內空間裡安裝監控攝像頭，管理人員通過實時地觀察監控視頻來得到結果。這種方法儘管最為可靠，但是對於長時間監控來說，非常耗費人力；而且管理人員的偶爾疲勞造成的疏忽，也容易導致結果的不完整。目前，現有技術中還沒有針對該問題的完整解決方案，與之最為相關的是關於人與某一物體的靠近和/或接觸檢測技術。該技術根據檢測原理可以歸納為三類方法基於射頻識別(RFID)的方法，利用人體導體的方法，以及基於機器視覺的方法。但是這三類方法都無法滿足運動物體之間的相互靠近和/或接觸檢測的需求，各類方法所存在的問題如下(1)基於射頻識別的方法，需要運動物體攜有RFID標籤或者RFID閱讀器，並且只能檢測靠近，而無法檢測不靠近但局部接觸的情況。(2)利用人體導體的方法，只能檢測人體和金屬物體接觸的情況，並且要求人體接觸處不能有絕緣衣物阻隔。(3)基於機器視覺的方法，主要是通過對監控視頻進行視覺內容分析得到檢測結果，該方法受視頻拍攝現場的光照條件影響較大，當夜晚無光照時則根本無法工作；即使是在光照充足的情況下，該方法在運動物體分割上也無法獲得魯棒的結果，從而影響檢測的精度。因此，迫切需要一種能夠自動、有效檢測運動物體相互靠近和/或接觸的方法和系統。

發明內容
本發明的目的在於提供一種可工作在任何光照條件下、對檢測對象配件無要求的有效檢測運動物體相互靠近和/或接觸的方法和系統。為實現本發明的目的，根據本發明一個方面，提供了一種檢測運動物體相互靠近和/或接觸的方法，包括下列步驟1)採集運動物體的全景深度圖；2)基於全景深度圖進行運動物體相互靠近和/或接觸檢測。優選地，所述步驟2、進一步包括21)對全景深度圖進行運動物體區域提取，獲得運動物體掩碼22)從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；23)基於全景深度圖、運動物體掩碼圖和邊緣點的集合進行運動物體相互靠近和 /或接觸檢測。優選地，所述步驟21)進一步包括211)對全景深度圖進行運動物體識別，進而獲得前景掩碼圖；212)根據全景深度圖對前景掩碼圖中的像素進行聚類，獲得運動物體掩碼圖。優選地，所述步驟211)還包括對前景掩碼圖進行連通分析，去除噪聲。優選地，所述步驟1)還包括採集運動物體的背景深度圖；所述步驟211)的實現是基於所述背景深度圖和所述全景深度圖的區別。上述方法中，所述步驟211)的實現還可以基於所述全景深度圖隨時間的變化情況。優選地，所述步驟2 進一步包括231)基於全景深度圖和運動物體掩碼圖計算每個運動物體的重心坐標；232)計算任意兩個運動物體之間的距離；233)對於距離小於靠近距離門限的情況，確定發生了靠近；234)對於距離小於非靠近接觸門限且兩運動物體間邊緣點的集合為空的情況，確定未發生接觸；235)對於距離小於非靠近接觸門限且兩運動物體間邊緣點的集合不為空的情況， 如果兩運動物體的深度距離小於或等於接觸門限，則確定發生了接觸，否則確定未發生接觸。優選地，所述步驟1)為從多個角度採集全景深度圖；所述步驟23)還包括，綜合基於每個全景深度圖獲得的靠近和/或接觸檢測結果確定最終的運動物體相互靠近和/或接觸結果。根據本發明的另一方面，還提供了一種檢測運動物體相互靠近和/或接觸的系統，包括深度傳感器，用於採集運動物體的全景深度圖；檢測器，用於基於全景深度圖進行運動物體相互靠近和/或接觸檢測。優選地，所述檢測器進一步包括運動物體區域分析模塊，用於對全景深度圖進行運動物體區域提取，獲得運動物體掩碼圖；邊緣點確定模塊，用於從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；檢測模塊，用於基於全景深度圖、運動物體掩碼圖和邊緣點的集合進行運動物體相互靠近和/或接觸檢測。所述深度傳感器優選為紅外深度傳感器。本發明的有益效果是上述方法和系統無需運動物體攜有任何特定設備；可以檢測靠近和/或接觸兩種情況，具體包括靠近不接觸、接觸不靠近、以及靠近且接觸，並且靠近和/或接觸的程度可調；可以工作在任何室內光照條件下，包括夜晚無燈光的情況；可以同時處理多個運動物體的情況。


圖1是根據本發明優選實施例的檢測人體相互靠近和/或接觸方法的流程圖；圖2是根據本發明優選實施例的基於全景深度圖DIi進行靠近和/或接觸檢測的流程圖；圖3是根據本發明優選實施例的基於全景深度圖DIi得到人體掩碼圖HIi的流程圖；圖4是根據本發明優選實施例的基於DIi, HIi, Ehh進行靠近和/或接觸檢測的流程圖。
具體實施例方式為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明的一種檢測運動物體相互靠近和/或接觸方法和系統進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。本發明提供一種基於深度傳感器的檢測運動物體相互靠近和/或接觸方法和系統，其中所涉及的深度傳感器例如紅外深度傳感器，其通過主動向場景發射紅外光，進而計算得到每一時刻場景中每個點到傳感器之間的距離。這樣的傳感器計算深度的原理主要有兩種，一種是基於光學中的散斑現象，還有一種是基於光的飛行時間原理，二者均可用於本發明。紅外深度傳感器工作時，按照一定的幀率對場景深度進行採集，每幀採集的結果以全景深度圖的形式返回，全景深度圖中每一個像素點的值表示實際場景中該點到傳感器的鏡頭平面的距離。本發明的一種基於紅外深度傳感器的檢測運動物體相互靠近和/或接觸方法，主要包括下列主要步驟紅外深度傳感器的部署，深度圖的採集，基於深度圖的運動物體相互靠近和/或接觸檢測，以及結果融合和報警決策。下面結合上述附圖以人體為例詳細介紹該方法，圖1示出了根據本發明優選實施例的檢測人體相互靠近和/或接觸方法的流程圖，如圖1所示，所述方法具體包括下列步驟步驟100.根據待監控室內空間的現場環境，部署1個或多個紅外深度傳感器 DSi, i = l,..., Nds，其中DSi表示部署的第i個紅外深度傳感器，Nds表示部署的傳感器個數；使得傳感器的深度測量範圍能夠覆蓋整個監控空間；步驟200.設置靠近距離門限TA，檢測幀率FR = Nf幀/秒，報警門限Tc，前景提取門限TF，非靠近接觸門限IV，以及接觸門限Tt，其中Ta、Nf、T。的取值根據實際需求指定；TF的取值範圍例如在0. 04米-0. 08米之間；Tl的取值範圍例如在1. 5米-3米之間;Ττ的取值範圍例如大約0. 5米；步驟300.每一個DSi採集一段時間的背景深度，利用時序上的中值濾波法，分別得到DSi對應的背景深度圖BIi, i = l,..., Nds，該圖中僅包括待檢測區域而不包括人體；本領域普通技術人員可以理解，上面給出了一種獲得背景深度圖的優選方式，也可以採用其他方法，例如直接採集一張背景深度作為背景深度圖，或者採用人工標註的方式確定背景深度等。
步驟400.按照檢測幀率FR，DSi採集一幀全景深度圖DIi, i = 1，. . .，^is ；步驟500.分別基於背景深度圖BIi和全景深度圖DIi, i = 1，. . .，Nds，進行靠近和/或接觸檢測，得到檢測結果〃,=(〃嚴,〃產,〃嚴)，其中表示在DIi中檢出靠近且接觸的次數，表示在DIi中檢出沒靠近但接觸的次數，表示在DIi中檢出靠近但沒接觸的次數，i = 1, · · · , Nds ；步驟600.根據步驟500得到的檢測結果Ri, i = 1，. . .，Nds，按照公式(7)-(9)進行結果匯總，得到K = (NAT,N^,N^t) ■
NdsN-=YjNf
'=1(7)
— Nds _N-=JjNf
'=1 (8)
—Nds _N-=YjNf
'=1(9)步驟700.根據步驟600得到的K =(況〃,^7,^47)進行最終結果判定如果Nat， Λ^,Λ^—中有一個數值大於或等於Τ。，則判定發生了靠近和/或接觸；否則，判定未發生；步驟800.返回步驟400。對於上述步驟500，圖2示出了根據本發明優選實施例的基於全景深度圖DIi進行靠近和/或接觸檢測的步驟流程圖，如圖2所示，所述步驟500包括下列步驟步驟510.對全景深度圖DIi進行人體區域提取，得到人體掩碼圖HIi, HIi是一個寬為W像素、高為H像素的二維圖像，每個像素點的值為相應的人體標識符，即HIi (x, y)= K，其中 xe {1,... ,W}, y e {l，...，H}，Ke {0，1，· · ·，，K = 0 表示該點為背景，K = i，i e {1,...,Nh}表示該點屬於第i個人的人體區域， 表示從DIi提取出的不同人體的個數；步驟520.從HIi的所有像素點中提取像素點集合Ehh，其中Ehh由任意兩個人之間
h Nh
的邊緣點構成，則& = U U &其中Elh表示第1個人與第h個人之間的邊緣點集合。對
/=1 /2 = /+1 ,
於兩個人之間的邊緣點可以根據下述方法確定，假設點P是第1個人或第h個人的一個邊緣點，如果在以點P為中心、邊長為W個像素的正方形區域內，即有第1個人體區域內的點， 又有第h個人體區域內的點，則點ρ為第1個人與第h個人之間的一個邊緣點，即ρ e Elh, 其中w取值範圍可根據實際應用進行調整，優選地，w為3。步驟530.根據DIi, HIi, Era對人體相互靠近和/或接觸進行檢測，得到檢測結果 R={Nf,Nf,Nf)
ο本領域普通技術人員可以理解，上面給出了一種基於全景深度圖DIi進行靠近和/ 或接觸檢測的優選方式，但也可以採用其他方式來實現。圖3是根據本發明優選實施例基於全景深度圖DIi得到人體掩碼圖HIi的步驟流程圖，如圖3所示，上述步驟510進一步包括下列步驟步驟511.基於DIi和BIi,根據公式⑴進行背景去除，得到前景掩碼圖FIi ；
7
本領域普通技術人員可以理解，上面給出了一種獲取前景掩碼圖的優選方式，但也可以採用其他方式來實現，例如通過對全景深度圖隨時間變化進行分析，獲得前景掩碼圖。簡言之，任何能從全景深度圖中識別出人體，從而獲得前景掩碼圖的方式均可用於本發明。步驟512.對FIi進行基於形態學的連通分析，去除噪聲幹擾，得到FI' i;步驟513.對FI' i所表示的前景區域的像素點，根據其在DIi中的深度值進行聚類，把聚類結果中每一個類作為一個人體區域，從而得到FI' i中不同人體的劃分；步驟514.根據步驟513的結果，構造人體掩碼圖HIitl本領域普通技術人員可以理解，上面給出了一種獲得人體掩碼圖的優選方式，但也可以採用其他方式來實現，例如步驟512也可以不存在，而直接對前景掩碼圖進行聚類。圖4是根據本發明優選實施例基於DIi, HIi, Ehh進行靠近和/或接觸檢測的步驟 530的流程圖，如圖4所示，所述步驟530包括下列步驟步驟531.初始化檢測結果代Wi4W產)為(0，0，0)；步驟532.基於DIJPHIi,按照公式(2)-(4)計算每一個人體的重心坐標= (xk, yk，4)，其中1^= 1，...， ，aVg{.}是取平均函數；xk = avg {χ | HIi (χ, y) = k} (2)yk = avg {y | HIi (x，y) = k} (3)dk = avg (DIi (x, y) | HIi (x, y) = k} (4)步驟533.按照公式(5)計算每兩個人體重心Gm = (xffl, ym，dm)和Gn = (xn, yn，dn) 之間的歐式距離 Dg (m, η), m, η = 1, . . . , Nh, m ^ η ；DG(m,n) = ^(xm -xnf +(ym-yj2 +(dm -dj2(5)步驟534.如果Dg (m, η) > Tl對所有m, η = 1,. . . , Nh, m ^ η都成立，則判定無靠近和/或接觸情況發生，並結束步驟530 ；如果存在某些像素對{(m，η) |DG(m, η) ( TJ，則對其中每一對(m，η)都進行如下步驟535-539，以下以其中某一對(a，b)為例來介紹；步驟535.如果第a個人和第b個人之間的邊緣點集合^^ = 0 ,則接觸參數Ft = 0， 執行步驟538 ；步驟536.如果第a個人和第b個人之間的邊緣點集合^^ # 0 ,則按照公式(6)計算深度距離DD(a，b)；DD(a,b) = \Da-D \(6)令1^^^/^3^，P(X，y)是以點(X，y)為中心、邊長為Tw的一個正方塊所覆蓋的
點集，反是點集S中位於第a個人體區域內所有點的深度平均值，萬4是點集S中位於第b個人體區域內所有點的深度平均值；步驟537.如果 Dd (a, b) ( Tt,則 Ft = 1，否則 Ft = 0 ；步驟538.如果Dg (a, b)彡Ta,則靠近參數Fa = 1，否則Fa = 0 ；步驟539.如果Fa= 1且Ft = 1，則判定有一次靠近且接觸情況檢出，加1 ；如果？4 = 0且& = 1，則判定有一次沒靠近接觸情況檢出，加1 ；如果Fa = 1且& = 0，則判定有一次靠近沒接觸情況檢出，Af加1。本領域普通技術人員可以理解，上面給出了一種實現步驟530)的優選方式，但也可以採用其他方式來實現，例如先進行接觸與否判斷，然後再進行靠近與否的判斷。本領域普通技術人員可以理解，雖然上面以人體為例詳細描述了檢測運動物體相互靠近和/或接觸的方法，但是該方法也可以應用於其他運動物體，例如動物、汽車模型等。根據本發明另一方面，還提供了一種檢測運動物體相互靠近和/或接觸的系統， 該系統包括深度傳感器和檢測器。
該深度傳感器用於採集運動物體的全景深度圖，優選地，該深度傳感器為紅外深度傳感器。該檢測器用於基於全景深度圖進行運動物體相互靠近和/或接觸檢測。優選地，該檢測器進一步包括運動物體區域分析模塊，用於對全景深度圖進行運動物體區域提取，獲得運動物體掩碼圖；邊緣點確定模塊，用於從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；檢測模塊，用於基於全景深度圖、運動物體掩碼圖和邊緣點的集合進行運動物體相互靠近和/或接觸檢測。通過結合附圖對本發明具體實施例的描述，本發明的其它方面及特徵對本領域的技術人員而言是顯而易見的。以上對本發明的具體實施例進行了描述和說明，這些實施例應被認為其只是示例性的，並不用於本發明進行限制，本發明應根據所附的權利要求進行解釋。應該注意到並理解，在不脫離後附的權利要求所要求的本發明的精神和範圍的情況下，能夠對上述詳細描述的本發明做出各種修改和改進。因此，要求保護的技術方案的範圍不受所給出的任何特定示範教導的限制。
權利要求
1.一種檢測運動物體相互靠近和/或接觸的方法，包括1)採集運動物體的全景深度圖；2)基於全景深度圖進行運動物體相互靠近和/或接觸檢測。
2.根據權利要求1所述的方法，其特徵在於，所述步驟2、進一步包括21)對全景深度圖進行運動物體區域提取，獲得運動物體掩碼圖；22)從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；23)基於全景深度圖、運動物體掩碼圖和邊緣點的集合進行運動物體相互靠近和/或接觸檢測。
3.根據權利要求2所述的方法，其特徵在於，所述步驟21)進一步包括211)對全景深度圖進行運動物體識別，進而獲得前景掩碼圖；212)根據全景深度圖對前景掩碼圖中的像素進行聚類，獲得運動物體掩碼圖。
4.根據權利要求3所述的方法，其特徵在於，所述步驟211)還包括 對前景掩碼圖進行連通分析，去除噪聲。
5.根據權利要求3或4所述的方法，其特徵在於， 所述步驟1)還包括採集運動物體的背景深度圖；所述步驟211)的實現是基於所述背景深度圖和所述全景深度圖的區別。
6.根據權利要求3或4所述的方法，其特徵在於，所述步驟211)的實現是基於所述全景深度圖隨時間的變化情況。
7.根據權利要求1至4任一項所述的方法，其特徵在於，所述步驟2 進一步包括231)基於全景深度圖和運動物體掩碼圖計算每個運動物體的重心坐標；232)計算任意兩個運動物體之間的距離；233)對於距離小於靠近距離門限的情況，確定發生了靠近；234)對於距離小於非靠近接觸門限且兩運動物體間邊緣點的集合為空的情況，確定未發生接觸；235)對於距離小於非靠近接觸門限且兩運動物體間邊緣點的集合不為空的情況，如果兩運動物體的深度距離小於或等於接觸門限，則確定發生了接觸，否則確定未發生接觸。
8.根據權利要求7所述方法，其特徵在於， 所述步驟1)為從多個角度採集全景深度圖；所述步驟2 還包括，綜合基於每個全景深度圖獲得的靠近和/或接觸檢測結果確定最終的運動物體相互靠近和/或接觸結果。
9.一種檢測運動物體相互靠近和/或接觸的系統，包括 深度傳感器，用於採集運動物體的全景深度圖；檢測器，用於基於全景深度圖進行運動物體相互靠近和/或接觸檢測。
10.根據權利要求9所述的系統，其特徵在於，所述檢測器進一步包括運動物體區域分析模塊，用於對全景深度圖進行運動物體區域提取，獲得運動物體掩碼圖；邊緣點確定模塊，用於從所述運動物體掩碼圖提取任意兩運動物體之間的邊緣點的集合；檢測模塊，用於基於全景深度圖、運動物體掩碼圖和邊緣點的集合進行運動物體相互靠近和/或接觸檢測。
11.根據權利要求9或10所述的系統，其特徵在於，所述深度傳感器為紅外深度傳感ο
全文摘要
本發明提供一種檢測運動物體相互靠近和/或接觸的方法和系統，該方法包括1)採集運動物體的全景深度圖；2)基於全景深度圖進行運動物體相互靠近和/或接觸檢測。本發明的方法和系統無需運動物體攜有任何特定設備；可以檢測靠近和/或接觸兩種情況，具體包括靠近不接觸、接觸不靠近、以及靠近且接觸，並且靠近和/或接觸的程度可調；可以工作在任何室內光照條件下，包括夜晚無燈光的情況；可以同時處理多個運動物體的情況。
文檔編號G06K9/00GK102339465SQ20111025440
公開日2012年2月1日 申請日期2011年8月31日 優先權日2011年8月31日
發明者萬吉, 劉武, 夏添, 張勇東, 李錦濤 申請人:中國科學院計算技術研究所