對象跟蹤方法和裝置製造方法
2023-09-11 04:03:10 2
對象跟蹤方法和裝置製造方法
【專利摘要】提供了對象跟蹤方法和裝置。其中，建立對象圖，具有相似運動特徵的一組對象被包括在一個對象圖中，每個對象作為該對象圖的頂點，基於每個對象的代表性運動特徵計算對象圖中每個頂點的彈性；建立對象組圖，每個對象組作為所述對象組圖中的頂點，基於每個對象組的代表性運動特徵計算對象組圖中每個頂點的彈性；基於對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍；基於對象圖的頂點的彈性預測每個對象在下一幀中的位置範圍；以及在跟蹤時段內，基於所預測的每個對象組和每個對象的位置範圍，在下一幀中檢測對象。
【專利說明】對象跟蹤方法和裝置
【技術領域】
[0001]本發明涉及對象跟蹤方法和裝置，更具體地，涉及基於雙層彈性圖進行對象跟蹤的方法和裝置。
【背景技術】
[0002]當前，對象跟蹤技術廣泛應用於各種領域中，比如可以應用於智能交通系統、圖像捕捉系統、智能監控系統等等。簡單來說，對象跟蹤就是檢測場景中的目標對象在所拍攝的場景的視頻圖像中的每幀中的位置。
[0003]現有技術中存在一些對象跟蹤方法。例如，美國專利申請公開US20120070034A1中公開了用於檢測和跟蹤車輛的方法，該方法包括:運動對象檢測階段，在一系列輸入的視頻幀中檢測候選對象；軌跡關聯階段，使用聯合概率匹配框架將現有軌跡與候選對象相關聯。
[0004]另外，美國專利US6295367B1公開了使用第一和第二對應性圖跟蹤對象在場景中的運動的方法，第一對應性圖又稱為對象對應性圖，其包括表示要跟蹤的對象在場景中的區域的多個節點。每條軌跡包括每個節點在連續的視頻幀中的排序的序列。第二對應性圖又稱為軌跡對應性圖，其包括多個節點，每個節點對應於第一對應性圖中的至少一條軌跡。基於第一對應性圖和第二對應性圖累計對象的跟蹤信息，從而跟蹤對象。
[0005]在以上專利文獻所公開的方法中，都以檢測多個對象中的每個對象在場景中的軌跡為基礎來進行跟蹤。然而，在實際的運動場景中，常常由於噪聲、遮擋、光照等等的影響(下文中統稱為噪聲影響)，改變了運動對象的成像特徵。舉例而言，在前一場景中，有行人在路上行走，然而在下一場景中，由於行人行走到樹木旁很可能被樹木遮擋，導致難以在拍攝的場景圖像中識別行人。或者，在強光的照射下，由於行進中的車輛產生的反光，可能難以在某些場景中識別出車輛，導致對象跟蹤結果不準確或者速度較慢
【發明內容】
[0006]鑑於以上問題，提出了本發明。
[0007]本發明的目的之一是以高準確度進行對象跟蹤。本發明的另一目的是提高對象跟蹤的處理速度。
[0008]根據本發明的一個方面，提供了一種對象跟蹤方法，該方法可以包括:建立對象圖，其中在連續預定數量幀內具有相似運動特徵的一組對象被包括在一個對象圖中，每個對象作為該對象圖的頂點，基於每個對象的代表性運動特徵計算對象圖中每個頂點的彈性；建立對象組圖,其中每個對象圖中的每個對象組作為所述對象組圖中的頂點,基於每個對象組的代表性運動特徵計算對象組圖中每個頂點的彈性；基於當前幀中的每個對象組的位置以及對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍；基於當前幀中每個對象的位置以及對象圖的頂點的彈性，預測每個對象在下一幀中的位置範圍；以及在跟蹤時段內，基於所預測的每個對象組和每個對象的位置範圍，在下一幀中檢測對象。[0009]在一個實施例中，每個對象的代表性運動特徵可以包括每個對象相對於同組中其他對象的相對位置和相對速度中的至少一個,計算對象圖中每個頂點的彈性可以包括:統計在所述預定數量幀中每個對象的相對位置和相對速度中的至少一個，計算所述相對位置和相對速度中的至少一個的方差，作為對象圖中的頂點的彈性；以及每個對象組的代表性運動特徵可以包括每個對象組的中心位置和平均速度中的至少一個，計算對象組圖中每個頂點的彈性可以包括:統計在所述預定數量幀中每個對象組的中心位置和平均速度中的至少一個，計算所述中心位置和平均速度中的至少一個的方差，作為對象組圖中的頂點的彈性。
[0010]在一個實施例中，基於所預測的每個對象組和每個對象的位置範圍檢測對象可以包括:統計在所述預定數量幀中每個對象組中的每個對象與該對象組的中心位置的相對位置關係；以所預測的對象組的位置範圍作為對象組的中心位置的範圍，根據所述相對位置關係，計算出對象組中的每個對象相對於該對象組的中心位置的相對位置範圍，在下一幀中，以所計算的每個對象的相對位置範圍中的每一點為中心，在所預測的每個對象的在下一幀中的位置範圍內搜索對象。
[0011]在一個實施例中，該對象跟蹤方法還可以包括:在檢測時段內，在整個幀圖像的範圍內檢測對象。
[0012]在一個實施例中，該對象跟蹤方法還可以包括:基於檢測對象的檢測結果，以預定更新頻率更新所述對象圖和所述對象組圖。
[0013]在 一個實施例中，更新對象圖可以包括更新對象圖中的頂點的彈性或者對象圖的合併、分裂，更新對象組圖可以包括更新對象組圖中的頂點的彈性或者基於對象圖的合併、分裂的結果更新對象組圖。
[0014]在一個實施例中，具有相似運動特徵的一組對象可以包括差異值小於預定閾值的對象，對於任意兩個對象，該差異值定義為D =D=WfD1^W2-D1，其中Dni是對象之間的速度差，D1是對象之間的位置差，W1和W2是分別分配給速度差和位置差的權重。
[0015]根據本發明的另一方面，提供了一種對象跟蹤裝置，該裝置可以包括:對象圖建立模塊，配置為建立對象圖，包括將在連續預定數量幀內具有相似運動特徵的一組對象包括在一個對象圖中，將每個對象作為該對象圖的頂點，基於每個對象的代表性運動特徵計算對象圖中每個頂點的彈性；對象組圖建立模塊，配置為建立對象組圖，包括將每個對象圖中的每個對象組作為所述對象組圖中的頂點，基於每個對象組的代表性運動特徵計算對象組圖中每個頂點的彈性；對象組位置範圍預測模塊，配置為基於當前幀中的每個對象組的位置以及對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍；對象位置範圍預測模塊，配置為基於當前幀中每個對象的位置以及對象圖的頂點的彈性，預測每個對象在下一幀中的位置範圍；檢測模塊，配置為在跟蹤時段內，基於所述對象組位置範圍預測模塊預測的每個對象組的位置範圍和所述對象位置範圍預測模塊預測的每個對象的位置範圍，在下一幀中檢測對象。
[0016]在一個實施例中，每個對象的代表性運動特徵可以包括每個對象相對於同組中其他對象的相對位置和相對速度中的至少一個，所述對象圖建立模塊可以統計在所述預定數量幀中每個對象的相對位置和相對速度中的至少一個,計算所述相對位置和相對速度中的至少一個的方差，作為對象圖中的頂點的彈性；以及每個對象組的代表性運動特徵可以包括每個對象組的中心位置和平均速度中的至少一個，所述對象組圖建立模塊可以統計在所述預定數量幀中每個對象組的中心位置和平均速度中的至少一個，計算所述中心位置和平均速度中的至少一個的方差，作為對象組圖中的頂點的彈性。
[0017]在一個實施例中，該對象跟蹤裝置還可以包括:相對位置關系統計模塊，配置為統計在所述預定數量幀中每個對象組中的每個對象與該對象組的中心位置的相對位置關係。所述檢測模塊可以以所述對象組位置範圍預測模塊預測的對象組的位置範圍作為對象組的中心位置的範圍，根據所述相對位置計算模塊統計的相對位置關係，計算出對象組中的每個對象相對於該對象組的中心位置的相對位置範圍，並在下一幀中，以所計算的每個對象的相對位置範圍中的每一點為中心，在所述對象位置範圍預測模塊預測的每個對象在下一幀中的位置範圍內搜索對象。
[0018]根據本發明的另一方面，提供了一種監控系統，包括:圖像提供裝置，用於提供目標場景的連續幀的圖像；對象跟蹤裝置，接收並分析圖像提供裝置提供的圖像，根據分析結果進行對象跟蹤；存儲裝置，存儲對象跟蹤裝置的處理結果；以及顯示設備，接收並顯示該對象跟蹤裝置的對象跟蹤結果。該對象跟蹤裝置可以包括:對象圖建立模塊，配置為建立對象圖，包括將在該圖像提供裝置提供的連續預定數量幀內具有相似運動特徵的一組對象包括在一個對象圖中，將每個對象作為該對象圖的頂點，基於每個對象的代表性運動特徵計算對象圖中每個頂點的彈性；對象組圖建立模塊，配置為建立對象組圖，包括將每個對象圖中的每個對象組作為所述對象組圖中的頂點，基於每個對象組的代表性運動特徵計算對象組圖中每個頂點的彈性；對象組位置範圍預測模塊，配置為基於當前幀中的每個對象組的位置以及對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍；對象位置範圍預測模塊，配置為基於當前幀中每個對象的位置以及對象圖的頂點的彈性，預測每個對象在下一幀中的位置範圍；檢測模塊，配置為在跟蹤時段內，基於所述對象組位置範圍預測模塊預測的每個對象組的位置範圍和所述對象位置範圍預測模塊預測的每個對象的位置範圍，在下一幀中檢測對象。
[0019]根據本發明的實施例，根據對象組圖和對象圖的頂點的彈性分別預測每個對象組以及每個對象在下一幀中的位置範圍，基於所預測的位置範圍在下一幀中檢測對象。由於對象組相對於單個對象來說更穩定並且具有更強的抵抗噪聲的能力，所以基於對象組進行對象跟蹤能夠提高對象跟蹤的準確性。另外，由於在預測的範圍內進行檢測對象，縮小了檢測範圍，所以可以提高跟蹤處理的速度。
【專利附圖】
【附圖說明】
[0020]圖1是本發明可以應用的雙層圖的一個例示。
[0021]圖2是描述根據本發明的一個實施例的對象跟蹤方法的流程圖。
[0022]圖3是例示計算頂點彈性的一個具體示例方法的流程圖。
[0023]圖4是例示預測位置範圍的示意圖。
[0024]圖5是描述確定搜索範圍的一個具體示例方法的流程圖。
[0025]圖6是例示預測的對象組和對象的位置範圍的示意圖。
[0026]圖7是示出圖合併的一個例子的示意圖。
[0027]圖8是示出圖分裂的一個例子的示意圖。[0028]圖9是例示根據本發明的一個實施例的對象跟蹤裝置的框圖。
[0029]圖10是例示本發明可應用於的監控系統的一個實施例的框圖。
【具體實施方式】
[0030]為了使本領域技術人員更好地理解本發明，下面結合附圖和【具體實施方式】對本發明作進一步詳細說明。
[0031]首先，簡要描述圖的概念。在數學上，圖是一組對象的抽象表示，其中對象之間存在聯繫，這些彼此聯繫的對象被抽象為頂點，這些對象之間的聯繫抽象為邊，也即，邊是連接頂點的直線或曲線。
[0032]本發明涉及雙層圖，圖的層次代表對象之間的諸如位置或速度等的運動特徵的相似度的範圍。低層圖也稱為對象圖，由具有相似運動特徵的一組對象組成，每個對象構成該低層圖中的一個頂點。高層圖也稱為對象組圖，各個低層圖中的每個對象組作為該高層圖中的一個頂點。
[0033]圖1是本發明可以應用的雙層圖的一個例示。在由相機等所拍攝的場景的畫面中，檢測到的對象可以包括圖中以小矩形框表示的車輛。當然，無需說明，檢測的對象不限於車輛，也可以是行人、交通標誌等等。根據各個對象的運動特徵的相似度，比如車輛的運動方向和速度，可以對車輛進行分組。例如，在圖1中，在每個橢圓框內的車輛被劃分為一組，則每個橢圓框作為一個低層圖，其中的每個對象即每個小矩形框作為該低層圖的一個頂點，各頂點之間的連線構成邊。在此之上，每個橢圓即每個對象組又作為高層圖的一個頂點，各對象組之間的連線構成邊(未在圖中示出高層圖的邊)。圖1中的大矩形框代表整個雙層圖。
[0034]由於在可能受到噪聲影響的系統中，對象組相對於單個對象而言具有更高的穩定性，所以本發明提出了以對象組為基礎根據各對象相對於對象組的位置關係來檢測跟蹤對象的對象跟蹤方法和裝置，由此可以獲得更高準確度。
[0035]以下，參考圖2的流程圖描述根據本發明的一個實施例的對象跟蹤方法200。該方法200可以包括以下步驟:
[0036]在步驟201，建立對象圖。其中在連續預定數量幀內具有相似運動特徵的一組對象被包括在一個對象圖中，每個對象作為該對象圖的頂點。基於每個對象的代表性運動特徵，計算對象圖中每個頂點的彈性。
[0037]在步驟202，建立對象組圖。其中每個對象圖中的每個對象組作為所述對象組圖中的頂點，基於每個對象組的代表性運動特徵計算對象組圖中每個頂點的彈性。
[0038]在步驟203，基於當前幀中的每個對象組的位置以及對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍。
[0039]在步驟204，基於當前幀中每個對象的位置以及對象圖的頂點的彈性，預測每個對象在下一幀中的位置範圍。
[0040]在步驟205，在跟蹤時段內，基於所預測的每個對象組和每個對象的位置範圍，在下一幀中檢測對象。
[0041]由此，可以基於對象圖和對象組圖更準確地檢測跟蹤對象。
[0042]具體地，在一個實施例中，為了建立對象圖，例如，可以通過連續採集目標場景的圖像，對每一幀圖像進行處理以檢測其中存在的對象。例如，可以利用能夠採集連續幀圖像的相機來獲得目標場景的圖像。對象檢測可以採用現有的圖像處理和模式識別技術。例如，常用的檢測方法包括基於AdaBoost分類器和Haar特徵進行檢測。每一幀的檢測結果可以用一系列標識對象位置的矩形框來表示，當然，無需說明，可以採用其他標記來表示對象，比如圓形等等。
[0043]可以存儲在每幀中檢測到的對象的位置並跟蹤對象的軌跡，並在達到預定幀數時，比如5幀時，通過分析各幀中對象的軌跡，基於對象的運動特徵相似度而將對象分組。例如，在一個實施例中，可以基於各對象之間的距離遠近、運動速度的相似度而將對象分組。也就是說，在該實施例中，若且唯若兩對象的運動速度和空間位置都接近時，才將兩個對象分為同一組。這是基於以下考慮:彼此距離接近且速度接近的兩個對象，它們相對於場景中的其他對象具有更加緊密的聯繫。
[0044]例如，可以將對象的差異值表不為D=W1-Dn^w2-D1,其中Dm是對象的速度差，D1是對象的位置差，W1和W2是分別分配給速度差和位置差的權重,其中，O ^ W1 ^ I,O ^ W2 ^ I,W^W2=10例如,在一個實施例中，可以將W1和W2均取為0.5。但是W1和W2的取值不限於此，也不要求兩者取值必須相同，本領域技術人員可以根據實際需要進行設置。
[0045]由此，對於差異值小於或等於預定閾值的對象，可以將它們分為同一組。同樣，該預定閾值可以由本領域技術人員根據實際應用情況以及經驗而設置。而且，組具有傳遞性，即，如果對象A和對象B屬於同一組，對象B和對象C屬於同一組，那麼對象A和對象C也屬於同一組。在分析完所有對象對之後，對象的分組就產生了。當然，分組方法不限於此。例如，預定幀數不限於5幀，本領域技術人員可以根據實際情況任意設置。而且，本領域技術人員很清楚，以上給出的關於差異值的計算方式僅僅是一個例子，本發明中差異值的計算方法不限於此。
[0046]如上所述，每組對象構成一個低層圖，組中的每個對象是低層圖的一個頂點。基於每個對象的諸如相對位置或者相對速度的代表性運動特徵計算對象圖中每個頂點的彈性。彈性是圖的屬性特徵，用于衡量對象的運動特徵的不確定性，可以用於估計對象的運動範圍。
[0047]例如，可以通過統計在該預定數量幀中每個對象相對於同組中其他對象的相對位置和相對速度中的至少一個，作為低層圖中的對象的代表性運動特徵，計算所述相對位置和相對速度中的至少一個的方差，作為對象圖中的頂點的彈性。
[0048]在此，參考圖3的流程圖給出計算頂點彈性的一個具體示例方法300，在該示例方法300中，採用對象相對於組中的其他對象的相對位置即距離來計算頂點彈性。該方法300包括:[0049]在步驟301，計算各幀中當前對象到同組其他對象的相對距離，橫向距離為DXm，n，縱向距離為DYm，n，其中m是幀的序號，η是其他對象的編號；
[0050]在步驟302，對考慮的所有幀計算DXm，n和DYm, n的標準差VXn和VYn如下:
【權利要求】
1.一種對象跟蹤方法,包括: 建立對象圖，其中在連續的預定數量幀內具有相似運動特徵的一組對象被包括在一個對象圖中，每個對象作為該對象圖的頂點，基於每個對象的代表性運動特徵計算對象圖中的每個頂點的彈性； 建立對象組圖，其中每個對象圖中的每個對象組作為所述對象組圖中的頂點，基於每個對象組的代表性運動特徵計算對象組圖中的每個頂點的彈性； 基於當前幀中的每個對象組的位置以及對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍； 基於當前幀中每個對象的位置以及對象圖的頂點的彈性，預測每個對象在下一幀中的位置範圍；以及 在跟蹤時段內，基於所預測的每個對象組和每個對象的位置範圍，在下一幀中檢測對象。
2.如權利要求1所述的方法，其中每個對象的代表性運動特徵包括每個對象相對於同組中其他對象的相對位置和相對速度中的至少一個,計算對象圖中的每個頂點的彈性包括:統計在所述預定數量幀中每個對象的相對位置和相對速度中的至少一個，計算所述相對位置和相對速度中的至少一個的方差，作為對象圖中的頂點的彈性；以及 其中每個對象組的代表性運動特徵包括每個對象組的中心位置和平均速度中的至少一個，計算對象組圖 中的每個頂點的彈性包括:統計在所述預定數量幀中每個對象組的中心位置和平均速度中的至少一個，計算所述中心位置和平均速度中的至少一個的方差，作為對象組圖中的頂點的彈性。
3.如權利要求2所述的方法，其中基於所預測的每個對象組和每個對象的位置範圍檢測對象包括: 統計在所述預定數量幀中每個對象組中的每個對象與該對象組的中心位置的相對位置關係； 以所預測的對象組的位置範圍作為該對象組的中心位置的範圍，根據所述相對位置關係，計算出對象組中的每個對象相對於該對象組的中心位置的相對位置範圍， 在下一幀中，以所計算的每個對象的相對位置範圍中的每一點為中心，在所預測的每個對象在下一幀中的位置範圍內搜索對象。
4.如權利要求1所述的方法，還包括: 在檢測時段內，在整幀圖像中檢測對象。
5.如權利要求1或4所述的方法，還包括: 基於檢測對象的檢測結果，以預定更新頻率更新所述對象圖和所述對象組圖。
6.如權利要求5所述的方法，其中更新對象圖包括更新對象圖中的頂點的彈性或者對象圖的合併、分裂，更新對象組圖包括更新對象組圖中的頂點的彈性或者基於對象圖的合併、分裂的結果更新對象組圖。
7.如權利要求1所述的方法，其中具有相似運動特徵的一組對象包括差異值小於預定閾值的對象，對於任意兩個對象，該差異值定義為D: D=WfDn^W2-D1,其中Dm是對象之間的速度差,D1是對象之間的位置差,W1和W2是分別分配給速度差和位置差的權重。
8.一種對象跟蹤裝置，包括: 對象圖建立模塊，配置為建立對象圖，包括將在連續預定數量幀內具有相似運動特徵的一組對象包括在一個對象圖中，將每個對象作為該對象圖的頂點，基於每個對象的代表性運動特徵計算對象圖中的每個頂點的彈性； 對象組圖建立模塊，配置為建立對象組圖，包括將每個對象圖中的每個對象組作為所述對象組圖中的頂點，基於每個對象組的代表性運動特徵計算對象組圖中的每個頂點的彈性； 對象組位置範圍預測模塊，配置為基於當前幀中的每個對象組的位置以及對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍； 對象位置範圍預測模塊，配置為基於當前幀中每個對象的位置以及對象圖的頂點的彈性，預測每個對象在下一幀中的位置範圍； 檢測模塊，配置為在跟蹤時段內，基於所述對象組位置範圍預測模塊預測的每個對象組的位置範圍和所述對象位置範圍預測模塊預測的每個對象的位置範圍，在下一幀中檢測對象。
9.如權利要求8所述的對象跟蹤裝置，其中每個對象的代表性運動特徵包括每個對象相對於同組中其他對象的相對位置和相對速度中的至少一個，所述對象圖建立模塊統計在所述預定數量幀中每個對象的相對位置和相對速度中的至少一個，計算所述相對位置和相對速度中的至少一個的方差，作為對象圖中的頂點的彈性；以及 其中每個對象組的代表性運動特徵包括每個對象組的中心位置和平均速度中的至少一個，所述對象組圖建立模塊統計在所述預定數量幀中每個對象組的中心位置和平均速度中的至少一個,計算 所述中心位置和平均速度中的至少一個的方差,作為對象組圖中的頂點的彈性。
10.一種監控系統，包括: 圖像提供裝置，用於提供目標場景的連續幀的圖像； 對象跟蹤裝置，接收並分析圖像提供裝置提供的圖像，根據分析結果進行對象跟蹤； 存儲裝置，存儲對象跟蹤裝置的處理結果；以及 顯示設備，接收並顯示該對象跟蹤裝置的對象跟蹤結果， 其中該對象跟蹤裝置包括: 對象圖建立模塊，配置為建立對象圖，包括將在該圖像提供裝置提供的連續預定數量幀內具有相似運動特徵的一組對象包括在一個對象圖中，將每個對象作為該對象圖的頂點，基於每個對象的代表性運動特徵計算對象圖中的每個頂點的彈性； 對象組圖建立模塊，配置為建立對象組圖，包括將每個對象圖中的每個對象組作為所述對象組圖中的頂點，基於每個對象組的代表性運動特徵計算對象組圖中的每個頂點的彈性； 對象組位置範圍預測模塊，配置為基於當前幀中的每個對象組的位置以及對象組圖的頂點的彈性，預測每個對象組在下一幀中的位置範圍； 對象位置範圍預測模塊，配置為基於當前幀中每個對象的位置以及對象圖的頂點的彈性，預測每個對象在下一幀中的位置範圍； 檢測模塊，配置為在跟蹤時段內，基於所述對象組位置範圍預測模塊預測的每個對象組的位置範圍和所述對象位置範圍預測模塊預測的每個對象的位置範圍，在下一幀中檢測對 象。
【文檔編號】G06K9/00GK103810460SQ201210447071
【公開日】2014年5月21日 申請日期:2012年11月9日 優先權日:2012年11月9日
【發明者】劉童, 魯耀傑, 師忠超, 劉媛, 王剛 申請人:株式會社理光