基於運動軌跡的跟蹤方法
2023-05-02 10:27:41
專利名稱：基於運動軌跡的跟蹤方法
技術領域：
本發明涉及的是一種視頻圖像處理技術領域的方法，具體是一種用於足球的基於
運動軌跡的跟蹤方法。
背景技術：
基於計算機視覺的運動視頻分析， 一直都是備受重視的研究熱點。足球運動作為 世界上最受歡迎的球類運動，有著廣泛的群眾基礎和廣大的球迷群體。因此，對足球比賽視 頻的自動分析有很好的應用前景，具有非常實用的價值。足球視頻分析主要包括視頻檢索、 視頻索引、視頻注釋、視頻摘要、重要事件檢測以及戰略戰術分析等等。 在足球比賽視頻中檢測和跟蹤球是一項非常具有挑戰性的工作，以往的處理方法 存在種種弊端，表現為檢測精度比較低，受光線等外部環境影響大等。這主要有以下幾點原 因造成的拍攝足球比賽的攝像機的位置和方向總是在不停的變化的，因此比賽視頻中足 球的運動不僅包括球自身的運動，還包括攝像機的運動。在球的檢測和跟蹤過程中，這兩 方面都必須考慮；由於現場光線和球運動速度的影響，球的顏色、大小、形狀等特徵信息會 經常發生變化，所以很難以單個球為對象建立一個有效的模型來直接檢測球；在足球比賽 中，經常會發生球與球員和球場線接觸或被球員遮擋的情況，這會給球的檢測造成很大的 困難。 經過對現有技術的檢索發現，文獻Tong X F， Wang T， Li W L，和Zhang Y M， "Athree-level scheme for real-time ball tracking", MCAM 2007. LNCS， vol.4577， SpringerHeidelberg 2007通過基於球對象，軌跡內和軌跡間的三層次模型實現了對球的 檢測與跟蹤，取得了一定的效果，但是該現有技術中軌跡間的處理比較複雜並且需要人工 輔助，大大降低了系統運行的效率，實用價值不高；並且軌跡的補全過程也只是通過簡單的 插值來實現的，準確度不高。
發明內容
本發明針對現有技術存在的上述不足，提供一種基於運動軌跡的跟蹤方法，能夠
提高比賽視頻中足球檢測與跟蹤的效率和準確率。 本發明是通過以下技術方案實現的，本發明包括以下步驟 步驟1 :候選球的檢測對通過網絡傳輸實時接收到的原始視頻圖像進行對象分
割處理，提取出視頻圖像中的候選球集合； 所述的對象分割處理的具體步驟包括 1. 1)通過顏色特徵提取出全景圖中的非草地區域。 1. 2)使用霍夫變換檢測出球場中直線然後除去這些直線，這樣就消除了球場中標 志線產生的噪聲。 1. 3)對二值圖像進行分割後，利用球的形狀和大小特徵濾去部分噪聲。
1. 4)利用空間背景顏色信息的相關性，有效地濾去背景觀眾席所產生的噪聲。
所述的候選球集合是指原始視頻圖像中所有與球視覺特徵相似的對象以及待跟 蹤目標球。 步驟2 :軌跡的生成在原始視頻圖像的時空域中尋找種子三元組，並將種子三元 組初始化為球路軌跡，然後採用卡爾曼濾波器對球路軌跡進行預測，並利用預測驗證的方 式進行軌跡生長，得到若干條預測路線； 所述的種子三元組是指在視頻中連續三幀圖像某位置附近都出現了候選球對象。
所述的尋找種子三元組是指 a)以第二幀作為起始，以該幀中的候選球的對象位置為中心，以候選球在每幀中 的運動範圍作為該幀的搜索區域； b)尋找當前幀的前後相鄰幀中是否有候選球落入所確定的搜索區域裡 bl)當候選球落入搜索區域，則判斷該幀是否包含在已知軌跡中，當未包含在已知
軌跡中，則以當前幀及其前後相鄰幀初始化為一條新的軌跡，並記錄所述三幀中每個軌跡
點的位置； b2)當候選球不在搜索區域，則以當前幀的後一幀作為對象重複步驟a)。 所述的球路軌跡是指同一候選球對象在視頻幀序列中連續出現，記錄其在每幀
中球的具體位置，所得到的位置集合就是球路軌跡。 所述的卡爾曼濾波器的參數為 所述的預測驗證的方式是指先通過卡爾曼濾波器對軌跡中下一幀的對象進行預 測，然後以此預測的結果為中心，在某個範圍了搜索候選球，以此來驗證出這個候選球是否 在這條軌跡上。 步驟3 :軌跡的選擇通過對若干條預測路線的時間長度比較以及剔除噪聲軌跡， 獲得足球在視頻中零散間斷的運動軌跡片段； 所述的時間長度比較是指首先對所有生成的預測路線，根據預測路線的起始點 的時間順序將其有序地排列起來；然後對相鄰的兩條預測路線，利用這兩條預測路線起始 點和結束點的前後關係，來判斷它們是否在時空域上相交；最後依據預測路線的排列順序， 對相鄰的預測路線進行兩兩處理當相鄰兩預測路線在時空域上不相交，則兩條預測路線 都保留作為運動軌跡片段。 所述的剔除噪聲軌跡是指依據預測路線的排列順序，當相鄰兩預測路線在時空 域相交，則求出兩預測路線的時間長度，然後將時間長度較長的預測路線保留作為運動軌 跡片段，時間長度較短的預測路線作為噪聲軌跡剔除。
步驟4 :軌跡的連接將若干條運動軌跡片段逐一連接，得到完整足球運動軌跡， 從而實現了足球的檢測與跟蹤。
所述的逐一連接是指 4. 1)直接利用卡爾曼濾波預測，對步驟3得到的若干條運動軌跡片段進行前向預 狀態轉移矩陣J =
0 0 10
10 0 0
5測延長計算和後向預測延長計算，得到延長後運動軌跡片段； 4. 2)計算出每兩條相鄰的延長後運動軌跡片段在預測區間內相距最近的間距，並 記錄此間距對應兩條延長後運動軌跡片段上對應的兩個預測點； 4.3)對兩條相鄰的延長後運動軌跡片段進行平滑填充，得到完整足球運動軌跡。
所述的預測區間是指兩分離的運動軌跡之間的時間段，即前一軌跡的最後一幀 和後一軌跡的第一幀之間。 所述的平滑填充是指通過軌跡平滑的方式，補充兩分離軌跡之間對象的具體位 置 i)當得到的兩預測點所對應的時間點相同時，將滿足向前預測條件的延長後運動 軌跡片段的該時間點以前部分以及滿足向後預測條件的延長後運動軌跡片段的該時間點 以後部分分別作為該時間點的前後平滑填充片段，得到完整足球運動軌跡；該時間點對象 在軌跡上的值由兩軌跡在該時間點的預測的均值來表示； ii)當得到的兩預測點所對應的時間點不同時，將滿足向前預測條件的延長後運 動軌跡片段的前一時間點以前的部分以及滿足向後條件的延長後運動軌跡片段的後一時 間點以後的部分分別作為該時間點的前後平滑填充片段；在兩預測點所對應的兩個時間點 之間的部分採用簡單的一維線性插值的方式進行填充，插值的兩個端點就是上述的兩預測 點，得到完整足球運動軌跡。 與現有技術相比，本發明具有如下有益效果 1.本發明通過提取圖像中的色度分量和飽和度分量來計算顏色距離，忽略亮度分 量，這樣可以消除光照變化對檢測結果所造成的影響； 2.本發明利用空間背景顏色信息的相關性，有效地提高了對象粗選的精確度和有 效性； 3.本發明利用長度特徵對軌跡進行選擇，簡化了軌跡選擇的複雜度，提高了整個 檢測跟蹤系統的處理速度； 4.本發明在不同的情形下採用不同的策略對軌跡進行連接，能更精確地預測出漏 檢的對象。
圖1為本發明流程示意圖。
圖2為候選球處理過程畫面圖。
圖3為視頻軌跡生成流程圖。
圖4為視頻軌跡處理畫面圖。
圖5為系統檢測結果圖。
具體實施例方式
下面對本發明的實施例作詳細說明，本實施例在以本發明技術方案為前提下進行 實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護範圍不限於下述的實施 例。
如圖1所示，本實施例包括以下步驟
1 、檢測出足球比賽視頻中每幀圖像中包含的候選球集合。 足球比賽視頻中有四種視角類型全景鏡頭，中等鏡頭，特寫鏡頭和看臺鏡頭。因 為足球主要出現在全景鏡頭中，所以本專利也主要考慮對全景鏡頭中的球進行檢測和跟
蹤o 在篩選出全景鏡頭後，先提取出圖像中的非草地區域。在足球視頻中，草地的顏色 具有很高的穩定性和單一性。通過統計前面數幀圖像的HSV累積顏色直方圖，很容易地得 到圖像的主顏色分量，也就是草地的顏色分量。計算每個像素點的顏色與主顏色之間的距 離，根據這個距離值來判斷該像素是否屬於草地區域。在系統中，取HSV顏色空間中的色度 分量和飽和度分量來計算顏色距離，忽略亮度分量，減少光照變化帶來的影響。這樣，就得 到了全景圖像處理過後的二值圖像，如圖l(a)所示。其中黑色區域表示非草地區域，它既 包括了目標球，也包括了許多噪聲。 然後，用霍夫變換檢測出球場中直線然後除去這些直線，用來消除球場中標誌線 產生的噪聲，如圖l(b)所示。 然後，對二值圖像進行圖像分割後，利用球的形狀和大小特徵濾去部分噪聲。具體 特徵有(1)分割區域的長軸的尺寸；(2)分割區域的面積；(3)形狀參數F = 4* Ji AA/P2，其 中，A表示區域的面積，P表示區域的周長。 一般而言，區域越接近圓，形狀參數F就越接近 1 ; (4)離心率，區域長軸與短軸尺寸之比。E = A/Ds， A和Ds分別表示區域最小邊界矩形 的長和寬。離心率越大，區域為球的概率就越小。 最後，利用顏色的相關性，考慮空間背景顏色信息。對於球場上的目標球，其周圍 大部分都是草地，則其周圍點的顏色都是接近主顏色。規定，當區域周圍八個鄰近點中有超 過四個點的顏色和主顏色相近時，認為該區域內包括球。利用空間背景顏色信息，能有效地 濾去背景觀眾席所產生的噪聲。 通過以上四個步驟，就得到了每幀圖像的候選球對象，如圖l(c)所示。利用這些
候選球就生成軌跡並對軌跡進行相應的處理。 2、軌跡的生成和選擇 將視頻分成小片斷，每個片斷都包含特定數量的視頻幀。在本系統中，以片斷為基
本單位來處理軌跡，也就是說，處理的軌跡的長度不會超過片斷的視頻幀數目。 在得到每幀圖像的候選球後，首先在時空域中尋找種子三元組。所謂種子三元組，
就是在視頻中連續三幀圖像某位置附近都出現了候選球對象。以第二幀對象位置為中心，
尋找前後幀中是否有候選球落入該位置附近。在找到種子三元組後，先判斷它是不是包含
在已存在的軌跡中。如果沒有，就用這個三元組初始化一條新的軌跡，並記錄好每個軌跡點
的位置。 得到新軌跡後，用卡爾曼濾波器對軌跡進行預測。卡爾曼濾波器是離散時間過程 中常用的狀態預估器，內部主要包含下面兩個方程
系統運動方程X^ = AXk+wk(l);
系統觀測方程Zk = HXk+vk (2); 其中Xk(Xk+1)為在時刻K(K+1)的系統狀態向量，Zk為在時刻K的系統狀態測量向 量。wk和vk分別為正態分布的運動和測量噪聲向量，兩者相互獨立。A和H分別為狀態轉 移矩陣和測量矩陣。取球的中心位置為系統狀態測量向量，取球的中心位置和其運動速度
7為系統狀態向量。因此有 formula see original document page 8(3); 其中(x， y)表示球的中心位置，(；，？)表示球分別在x和y方向上的運動速度。
通過卡爾曼濾波器預測到軌跡在新一幀圖像中所在的位置，並在該幀圖像中搜索 靠近該位置的候選球對象。如果存在，則延長軌跡到此幀，並以此候選球中心作為軌跡在 該幀中位置。如果沒搜索到相應的候選球，則說明這條軌跡所代表的對象在此幀漏檢。當 漏檢幀數還沒有超過閥值時，仍然延長軌跡到此幀，並以卡爾曼濾波器的預測值作為軌跡 在該幀的位置；當漏檢幀數超過閥值時，則認為這條軌跡在視頻中已經消失，故停止生長軌 跡。具體過程如圖3所示。 通過軌跡生長，就能從視頻片斷中得到多條候選球對象(包括真實足球和其它噪 聲)生成的軌跡，如圖4(a)所示。其中，有些是真實足球生成的軌跡，而有些是由於引入的 噪聲而產生的軌跡。所以必須從中選擇出真實足球的軌跡。 先定義一個由真實足球軌跡組成的集合Cf 。對集合Cf初始化，將所以軌跡都作為 集合Cf中的元素，S卩Cf = {Ti，i = 1，2，...，Nh其中，Ti表示當前視頻片斷中第i條軌跡，
N表示當前視頻片斷中軌跡的總數。 取視頻片斷中的兩條軌跡Tu和Tv，其中軌跡Tu的起始幀小於軌跡Tv的起始幀，即
Kmin,u〈二Kmin,v，其中Kmin,u(Kmin,》為軌跡u(v)的起始幀。當軌跡Tu的結束幀大於軌跡Tv 的起始幀時，即Kmax,u >= Kmin,v，則兩條軌跡在時空域相交，即Tu n Tv ;反之，則認為這兩條 軌跡是分離的。在視頻片斷中，真實足球軌跡通常都比較長，而噪聲產生的軌跡較短。因此 當兩軌跡相交時，取軌跡長度較長的軌跡作為真實球的軌跡。有
formula see original document page 8其中:LU = Lv = K隨,v-Kmin,v。 通過對軌跡進行選擇，最終得到了真實足球軌跡組成的集合Cf ，如圖4 (b)所示。Cf 中包含了一段段相互分離的軌跡，即軌跡之間還存在著漏檢的幀。要得到在視頻片斷中的 一條完整的軌跡，就必須對這些分離的軌跡進行連接。
3、軌跡的連接 在得到由球軌跡集合後，接下來就要填充好每兩條軌跡之間漏檢的幀。通過觀察， 看到兩軌跡之間的漏檢幀主要是由於足球在球場上與球員重合或被球員遮擋以及球運動 的方向和速度突然改變的原因所造成的。結合卡爾曼濾波器預測和線性插值的方法來補償 漏檢點。 當有兩條軌跡Tu和Tv，其中Kmax,u < Kmin,v。首先通過卡爾曼濾波器，分別得到軌
跡Tu和1在區間&腿, ，《匪,」中的預測值，用& 和&來表示，其中"&腿, ，《匪,」，如圖 4(c)所示。然後找出在預測區間內兩條軌跡距離最近時的兩點，分別對應為軌跡Tu上的a
(4);幀和L上的b幀。即
(a，6) = arg min ， )
fl力
a"，
夥 "S〖.，
max, w "' mm, v ，
〖 ^S〖 .
max, w " mm, v
(5): 其中 ，) = V(H)2+(H,J2 ，= .，iv); 通過求解上式，就得到了 a和b的值。如果a和b的值相等，則確定足球在漏檢幀 期間仍然保持運動，而由於球速運動太快，或者在運動過程受到球員的遮擋不能正確檢測 到目標球；如果a小於b，則足球在漏檢幀期間出現了靜止的狀態，這種情況經常發生在球 員接到隊友傳球，停球片刻後再把球傳出去的這段時間。在該球員持球時，因為球與人結 合，從而出現了漏檢。 這樣，對漏檢幀的補充也分下面兩種情況。 當a與b相等時，則a幀之前的漏檢球位置用軌跡Tu在該區間的預測值來表示，a 幀之後的漏檢球位置用軌跡Tv的預測值表示，而a幀球位置為軌跡Tu和Tv在此幀預測值 的均值。即 A
max,w v "
A: = a
(6):
a < B〖 當a小於b時，a幀之前的漏檢球位置仍然用軌跡Tu在該區間的預測值來表示，a 幀之後的漏檢球位置仍用軌跡Tv的預測值表示，而a與b之間的幀中球運動較小，所以用 簡單的線性插值就能得到較為準確的目標球位置。
"max,w —"—"
(7);formula see original document page 9
這樣，通過上述方法，準確地填充好軌跡間的漏檢球位置，形成一條完整的足球軌 跡，從而實現了足球的檢測和跟蹤，如圖4(d)所示。 檢測與跟蹤結果如圖5所示，其中左列為原圖，右列為經過軌跡處理得到的檢測 結果圖。 足球的檢測與跟蹤採用上述方法，通過對實驗結果進行統計，得到精確率為 90. 25%，查存率為77.8%。與現有技術相比，都有了一定的提高。此外，本系統圖像處理速 度達到60. 36 (fps)，處理的速度有了很大的提高。
權利要求
一種基於運動軌跡的跟蹤方法，其特徵在於，包括以下步驟步驟1候選球的檢測對通過網絡傳輸實時接收到的原始視頻圖像進行對象分割處理，提取出視頻圖像中的候選球集合；步驟2軌跡的生成在原始視頻圖像的時空域中尋找種子三元組，並將種子三元組初始化為球路軌跡，然後採用卡爾曼濾波器對球路軌跡進行預測，並利用預測驗證的方式進行軌跡生長，得到若干條預測路線；步驟3軌跡的選擇通過對若干條預測路線的時間長度比較以及剔除噪聲軌跡，獲得足球在視頻中零散間斷的運動軌跡片段；步驟4軌跡的連接將若干條運動軌跡片段逐一連接，得到完整足球運動軌跡，從而實現了足球的檢測與跟蹤。
2. 根據權利要求1所述的基於運動軌跡的跟蹤方法，其特徵是，所述的候選球集合是 指原始視頻圖像中所有與球視覺特徵相似的對象以及待跟蹤目標球。
3. 根據權利要求1所述的基於運動軌跡的跟蹤方法，其特徵是，所述的種子三元組是 指在視頻中連續三幀圖像某位置附近都出現了候選球對象。
4. 根據權利要求1所述的基於運動軌跡的跟蹤方法，其特徵是，所述的尋找種子三元 組是指 a) 以第二幀作為起始，以該幀中的候選球的對象位置為中心，以候選球在每幀中的運 動範圍作為該幀的搜索區域；b) 尋找當前幀的前後相鄰幀中是否有候選球落入所確定的搜索區域裡bl)當候選球落入搜索區域，則判斷該幀是否包含在已知軌跡中，當未包含在已知軌跡 中，則以當前幀及其前後相鄰幀初始化為一條新的軌跡，並記錄所述三幀中每個軌跡點的 位置；b2)當候選球不在搜索區域，則以當前幀的後一幀作為對象重複步驟a)。
5. 根據權利要求1所述的基於運動軌跡的跟蹤方法，其特徵是，所述的預測驗證的方 式是指先通過卡爾曼濾波器對軌跡中下一幀的對象進行預測，然後以此預測的結果為中 心，在某個範圍了搜索候選球，以此來驗證出這個候選球是否在這條軌跡上。
6. 根據權利要求1所述的基於運動軌跡的跟蹤方法，其特徵是，所述的剔除噪聲軌跡是指依據預測路線的排列順序，當相鄰兩預測路線在時空域相交，則求出兩預測路線的時間長度，然後將時間長度較長的預測路線保留作為運動軌跡片段，時間長度較短的預測路 線作為噪聲軌跡剔除。
7. 根據權利要求1所述的基於運動軌跡的跟蹤方法，其特徵是，所述的逐一連接是指4. 1)直接利用卡爾曼濾波預測，對步驟3得到的若干條運動軌跡片段進行前向預測延 長計算和後向預測延長計算，得到延長後運動軌跡片段；4. 2)計算出每兩條相鄰的延長後運動軌跡片段在預測區間內相距最近的間距，並記錄 此間距對應兩條延長後運動軌跡片段上對應的兩個預測點；4. 3)對兩條相鄰的延長後運動軌跡片段進行平滑填充，得到完整足球運動軌跡。
8. 根據權利要求1所述的基於運動軌跡的跟蹤方法，其特徵是，所述的平滑填充是指 通過軌跡平滑的方式，補充兩分離軌跡之間對象的具體位置i)當得到的兩預測點所對應的時間點相同時，將滿足向前預測條件的延長後運動軌跡片段的該時間點以前部分以及滿足向後預測條件的延長後運動軌跡片段的該時間點以後 部分分別作為該時間點的前後平滑填充片段，得到完整足球運動軌跡；該時間點對象在軌 跡上的值由兩軌跡在該時間點的預測的均值來表示；ii)當得到的兩預測點所對應的時間點不同時，將滿足向前預測條件的延長後運動軌 跡片段的前一時間點以前的部分以及滿足向後條件的延長後運動軌跡片段的後一時間點 以後的部分分別作為該時間點的前後平滑填充片段；在兩預測點所對應的兩個時間點之間 的部分採用簡單的一維線性插值的方式進行填充，插值的兩個端點就是上述的兩預測點， 得到完整足球運動軌跡。
全文摘要
一種視頻圖像處理技術領域的基於運動軌跡的跟蹤方法，包括候選球的檢測；軌跡的生成；軌跡的選擇；軌跡的連接。本發明通過提取圖像中的色度分量和飽和度分量來計算顏色距離，忽略亮度分量，這樣可以消除光照變化對檢測結果所造成的影響；利用空間背景顏色信息的相關性，有效地提高了對象粗選的精確度和有效性；利用長度特徵對軌跡進行選擇，簡化了軌跡選擇的複雜度，提高了整個檢測跟蹤系統的處理速度；在不同的情形下採用不同的策略對軌跡進行連接，能更精確地預測出漏檢的對象。
文檔編號G06T7/20GK101794451SQ201010123128
公開日2010年8月4日 申請日期2010年3月12日 優先權日2010年3月12日
發明者餘弦, 劉景能, 崔國慶, 曾貴華 申請人:上海交通大學