一種電視轉播體育視頻重放片段檢測方法

2023-05-12 23:09:51

專利名稱:一種電視轉播體育視頻重放片段檢測方法
技術領域：
本發明涉及一種視頻重放片段檢測方法，特別是涉及一種電視體育視頻重放鏡頭檢測方法。
背景技術：
基於內容的視頻分析是一個熱點問題，廣泛應用於視頻檢索、視頻標註和視頻摘要等領域中。但是由於視頻低層特徵(如顏色，紋理等)所能表達的語義與視頻高層語義(如視頻中出現的各類事件)之間存在著巨大的差異。所以如何在二者之間產生一些中層的事件作為溝通二者的橋梁是現在廣泛關注的問題。
電視轉播體育視頻中的重放鏡頭往往伴隨體育視頻中的精彩事件，如足球比賽視頻中的射門、得分，跳水比賽中的運動員跳水動作等，這些是溝通低層特徵和高層語義之間非常有代表的一類中層事件，所以檢測重放鏡頭受到廣泛的關注。
如何進行重放鏡頭的檢測與重放鏡頭的攝製過程有著密切的關係。傳統的重放視頻由普通攝像機攝製。通過在攝製的視頻中採用幀重複或場重複的方法生成重放視頻。所以針對這種顯著的幀重複特徵，即可比較準確地識別重放鏡頭。
由於觀眾們對電視轉播體育視頻欣賞要求的不斷提高和技術進步，現在已經廣泛採用高速攝像機來拍攝體育比賽電視視頻，從而在拍攝的時候可以用高於播放時的採樣頻率，在相同的時間段內比用普通攝像機採集到更多的視頻數據。然後以正常速率播放，從而讓觀眾能仔細地欣賞體育比賽中運動員的動作的更多細節。
對於採用高速攝像機攝製而製作的慢動作回放鏡頭，現在尚未見到直接有效的檢測方法。但是大量的體育視頻攝製過程中已經採用了這種更先進的方法。
更進一步，由於高速攝像機的成本比較高，所以在製作體育電視轉播時，有可能同時採用傳統的基於普通攝像機採集的重放視頻製作方法和新的基於高速攝像機採集的製作方法。對於這樣採用了兩種重放視頻製作方式的視頻而言，如何識別重放鏡頭更缺乏有效的統一的解決方法。

發明內容本發明的目的克服現有技術不能對高速攝像機採集製作的重放視頻進行檢測的缺點，提供一種對採用傳統的基於普通攝像機採集製作和基於新的基於高速攝像機採集製作的重放視頻的通用檢測方法。
為了實現上述目的，本發明提供了一種電視轉播體育視頻重放片段檢測方法，具體包括以下步驟1)、將電視轉播體育視頻經數位化採集設備轉化為數字視頻；2)、對步驟1)得到的數字視頻進行內容分析，得到鏡頭切換的位置，根據該位置實現鏡頭分割，將視頻分解為以鏡頭為單元的片段；3)、對步驟2)所切分的各個鏡頭作檢測，判斷鏡頭內是否含重放片段；4)、對步驟3)得到的重放片段定位初始位置和終止位置。
上述技術方案中，所述的步驟2)中，所述的進行內容分析，得到鏡頭切換位置的實現步驟包括2-1)、對數字視頻中的各個幀構造RGB顏色直方圖，並將顏色直方圖量化為16級；2-2)、計算數字視頻中各個相鄰幀的直方圖的歐氏距離的平方，所得到的結果作為相鄰幀的幀差；2-3)、對步驟2-2)得到的數字視頻中所有幀的幀差進行統計分析，得到均值A和均方差S，然後對均值A和均方差S求和，得到閾值G；2-4)、根據步驟2-3)得到的閾值G，對數字視頻中的各個幀作判斷，若兩個相鄰幀的幀差高於閾值G，則認為該幀差不是鏡頭內幀差，該幀差所在的相鄰幀處於鏡頭的邊界上，若相鄰幀的幀差小於閥值G，則該幀差為鏡頭內幀差，該幀差所在的相鄰幀在同一個鏡頭內；2-5)、對步驟2-4)得到的位於鏡頭邊界的幀作統計，計算鏡頭邊界的各個幀的幀差的均值a和均方差s，然後對均值a和均方差s求和，得到閾值g；2-6)、根據步驟2-5)得到的閥值g對鏡頭邊界的各個幀作判斷，若相鄰幀的幀差高於閾值g，則該幀為切變邊界幀，該幀所在的鏡頭邊界為切變，根據切變可將數字視頻分解為以鏡頭為單元的片段。
上述技術方案中，所述的步驟3)中，所述的對各個鏡頭做檢測的方法具體包括以下步驟
3-1)、以兩個切變之間的部分作為一個鏡頭，將一個鏡頭視為一個處理對象；3-2)、在鏡頭內檢測漸變，根據鏡頭內包含的漸變數目，判斷鏡頭內是否可能有重放片段，對可能含有重放片段的鏡頭執行步驟3-3)，對不可能有重放片段的鏡頭不再作任何操作；3-3)、從重放鏡頭的起始和終止點分別向中間尋找漸變，將檢測到的第一個漸變計為F，檢測到的最後一個漸變計為L；3-4)、判斷第一個漸變F與最後一個漸變L之間的距離，若兩者相差的幀數超過了一個預先指定的數目，則認為該鏡頭內包含重放片段，該鏡頭即為重放鏡頭。
所述的步驟3-2)中，在所述的鏡頭內檢測漸變時，根據步驟2-3)和步驟2-5)得到的閾值G和閾值g，在切變鏡頭內檢測位於閾值G和閾值g之間的幀，這些幀可能為漸變幀，當漸變幀連續出現時則認為出現了一個漸變，若一個鏡頭內包含兩個或兩個以上的漸變，則該鏡頭就是重放鏡頭，鏡頭內包含重放片段。
所述的步驟3-4)中，所述的預先指定的數目為100。
上述技術方案中，所述的步驟4)中，所述的對重放片段定位初始位置和終止位置具體包括以下步驟4-1)、對步驟3-3)得到的重放鏡頭的第一個漸變F與最後一個漸變L作為重放片段的初始起始點和終止點；4-2)、以當前幀為中心，取一個寬度為2M+1的窗口，計算當前幀前面的M幀的平均幀差D1和後面的M幀的平均幀差D2；4-3)、計算D1和D2的比值，若D1和D2的比值小於或等於1/2時，當前幀是一個漸變邊界的開始幀；當這一比值大於或等於2時，當前幀是漸變邊界的結束幀；若D1和D2的比值在1/2和2之間，則取下一幀為當前幀，並跳轉到步驟4-2)，重新計算D1和D2的值；4-4)、當漸變邊界的開始幀與漸變邊界的結束幀之間相距小於30幀時，則認為存在一個漸變，並定位出漸變的起始點和終止點；4-5)、由上述步驟得到切變鏡頭內的各個漸變位置，兩個相鄰的漸變位置之間即為一個重放片段，第一個漸變的起始幀號和最後一個漸變的終止幀號即為重放片段的起始點和終止點的準確位置。
本發明的優點在於1、本發明的方法避免對幀重複特性的檢測，從而對高速攝像機拍攝的重放片段能有效進行檢測。
2、本發明的方法對基於普通攝像機採集製作和基於高速攝像機採集製作的重放視頻均能用同一框架進行檢測。
3、本發明的方法能在切變鏡頭之中利用檢測到的漸變信息有效定位重放片段的起始和終止位置。
圖1為本發明的電視轉播體育視頻重放片段檢測方法的流程圖。
具體實施方式下面結合附圖和具體實施方式
，對本發明的方法做進一步說明。
如圖1所示，本發明的電視轉播體育視頻重放片段檢測方法包括以下步驟步驟10、將電視轉播體育視頻經數位化採集設備轉化為數字視頻，若電視轉播體育視頻本身就是數字視頻則無需本步驟；步驟20、對步驟10得到的數字視頻進行內容分析，得到鏡頭切換的位置，根據該位置實現鏡頭分割，將視頻分解為以鏡頭為單元的片段，本步驟的具體實現如下步驟21、對數字視頻中的各個幀構造RGB顏色直方圖，並將顏色直方圖量化為16級。在構造RGB顏色直方圖時，對R、G、B三個顏色分量分別構造直方圖。在量化顏色直方圖時，R、G、B值分別除以16，所得到的商作為直方圖量化結果。
設RGB各分量的值為V，則V經量化過後的值為V`，其計算公式如公式(1)V`＝V/16 (1)其中V和V`均為整數，除法為整數除法，結果忽略小數部分。
步驟22、計算相鄰幀的直方圖的歐氏距離的平方，所得到的結果作為兩個相鄰幀的幀差。在計算相鄰幀間直方圖歐氏距離時，是計算直方圖各量化級別上差值的平方和。設相鄰兩幀顏色直方圖各分量的值分別為hi和h′i(其中i＝1，2，3...16)。直方圖之間歐氏距離D的計算公式為D=i=116(hi-h`i)2]]>
步驟23、對數字視頻中所有幀的幀差進行統計分析，得到均值A和均方差S，根據均值A和均方差S確定閾值G。所述的閾值G一般取均值A和均方差S的和。
步驟24、根據步驟23得到的閾值G對數字視頻中的各個幀作判斷，若兩個相鄰幀的幀差高於閾值G，則認為該幀差不是鏡頭內幀差，該幀差所在的相鄰幀處於鏡頭的邊界上，若相鄰幀的幀差小於閥值，則該幀差為鏡頭內幀差，該幀差所在的相鄰幀在同一個鏡頭內。
步驟25、對位於鏡頭邊界的幀作統計，計算鏡頭邊界的各個幀的幀差的均值a和均方差s，然後對均值a和均方差s求和，得到閾值g。
步驟26、根據步驟25得到的閥值g對鏡頭邊界的各個幀作判斷，若相鄰幀的幀差高於閾值g，則該幀為切變邊界幀，該幀所在的鏡頭邊界為切變。根據切變可將數字視頻分解為以鏡頭為單元的片段。
步驟30、對步驟20所切分的各個鏡頭作檢測，判斷該鏡頭內是否含重放片段。對鏡頭做檢測的具體實現步驟如下。
步驟31、以兩個切變之間的部分作為一個鏡頭，將一個鏡頭視為一個處理對象。
步驟32、在鏡頭內檢測漸變，根據鏡頭內包含的漸變數目，判斷鏡頭內是否可能有重放片段，對可能含有重放片段的鏡頭執行步驟33，對不可能有重放片段的鏡頭不再作任何操作。根據步驟23和步驟25得到的閾值G和閾值g，在切變鏡頭內檢測位於閾值G和閾值g之間的幀，這些幀可能為漸變幀，它們可能是重放片段和普通視頻片段之間的過渡幀。當這樣的幀連續出現時則認為出現了一個漸變，若一個鏡頭內包含兩個或兩個以上的漸變，則該鏡頭就是重放鏡頭。此處所述的幀連續出現指幀連續出現10以上。
步驟33、對重放鏡頭的起始和終止點分別向中間尋找漸變，將檢測到的第一個漸變計為F，檢測到的最後一個漸變計為L。
步驟34、判斷第一個漸變F與最後一個漸變L之間的距離，若兩者相差的幀數超過了一個預先指定的數目，則認為該鏡頭內包含重放片段，對包含重放片段的重放鏡頭執行步驟40，對非重放鏡頭不再執行下面的操作。在本步驟中，預先指定的數目通常可選100。在步驟32中，對某個鏡頭是否是重放鏡頭做了判斷，在本步驟中，再一次作判斷，以提高準確性。
步驟40、對步驟30得到的重放片段的起始點和終止點的位置作精確定位。具體包含以下步驟。
步驟41、對步驟33得到的重放鏡頭的第一個漸變F與最後一個漸變L作為重放片段的初始起始點和終止點；步驟42、以切變鏡頭的第一幀為當前幀，以當前幀為中心，取一個寬度為2M+1的窗口，計算當前幀前面的M幀的平均幀差D1和後面的M幀的平均幀差D2；所述的M一般取10。
步驟43、計算D1和D2的比值，若D1和D2的比值小於或等於1/2時，當前幀可能是一個漸變邊界的開始幀；當這一比值大於等於2時，則可能是漸變邊界的結束幀；若D1和D2的比值在1/2和2之間，則取下一幀為當前幀，並跳轉到步驟42，重新計算D1和D2。
步驟44、當漸變邊界的開始幀與漸變邊界的結束幀之間相距小於30幀時，則認為此處確實是一個漸變，而且可以定位出漸變的起始點和終止點。
步驟45、由上述步驟得到切變鏡頭內的各個漸變位置，兩個相鄰的漸變位置之間即為一個重放片段。切變鏡頭中的第一個漸變的起始幀號和最後一個漸變的終止幀號即為重放片段的起始點和終止點的準確位置。
權利要求
1.一種電視轉播體育視頻重放片段檢測方法，具體包括以下步驟1)、將電視轉播體育視頻經數位化採集設備轉化為數字視頻；2)、對步驟1)得到的數字視頻進行內容分析，得到鏡頭切換的位置，根據該位置實現鏡頭分割，將視頻分解為以鏡頭為單元的片段；3)、對步驟2)所切分的各個鏡頭作檢測，判斷鏡頭內是否含重放片段；4)、對步驟3)得到的重放片段定位初始位置和終止位置。
2.根據權利要求
1所述的電視轉播體育視頻重放片段檢測方法，其特徵在於，所述的步驟2)中，所述的進行內容分析，得到鏡頭切換位置的實現步驟包括2-1)、對數字視頻中的各個幀構造RGB顏色直方圖，並將顏色直方圖量化為16級；2-2)、計算數字視頻中各個相鄰幀的直方圖的歐氏距離的平方，所得到的結果作為相鄰幀的幀差；2-3)、對步驟2-2)得到的數字視頻中所有幀的幀差進行統計分析，得到均值A和均方差S，然後對均值A和均方差S求和，得到閾值G；2-4)、根據步驟2-3)得到的閾值G，對數字視頻中的各個幀作判斷，若兩個相鄰幀的幀差高於閾值G，則認為該幀差不是鏡頭內幀差，該幀差所在的相鄰幀處於鏡頭的邊界上，若相鄰幀的幀差小於閥值G，則該幀差為鏡頭內幀差，該幀差所在的相鄰幀在同一個鏡頭內；2-5)、對步驟2-4)得到的位於鏡頭邊界的幀作統計，計算鏡頭邊界的各個幀的幀差的均值a和均方差s，然後對均值a和均方差s求和，得到閾值g；2-6)、根據步驟2-5)得到的閥值g對鏡頭邊界的各個幀作判斷，若相鄰幀的幀差高於閾值g，則該幀為切變邊界幀，該幀所在的鏡頭邊界為切變，根據切變可將數字視頻分解為以鏡頭為單元的片段。
3.根據權利要求
1所述的電視轉播體育視頻重放片段檢測方法，其特徵在於，所述的步驟3)中，所述的對各個鏡頭做檢測的方法具體包括以下步驟3-1)、以兩個切變之間的部分作為一個鏡頭，將一個鏡頭視為一個處理對象；3-2)、在鏡頭內檢測漸變，根據鏡頭內包含的漸變數目，判斷鏡頭內是否可能有重放片段，對可能含有重放片段的鏡頭執行步驟3-3)，對不可能有重放片段的鏡頭不再作任何操作；3-3)、從重放鏡頭的起始和終止點分別向中間尋找漸變，將檢測到的第一個漸變計為F，檢測到的最後一個漸變計為L；3-4)、判斷第一個漸變F與最後一個漸變L之間的距離，若兩者相差的幀數超過了一個預先指定的數目，則認為該鏡頭內包含重放片段，該鏡頭即為重放鏡頭。
4.根據權利要求
3所述的電視轉播體育視頻重放片段檢測方法，其特徵在於，所述的步驟3-2)中，在所述的鏡頭內檢測漸變時，根據步驟2-3)和步驟2-5)得到的閾值G和閾值g，在切變鏡頭內檢測位於閾值G和閾值g之間的幀，這些幀可能為漸變幀，當漸變幀連續出現時則認為出現了一個漸變，若一個鏡頭內包含兩個或兩個以上的漸變，則該鏡頭就是重放鏡頭，鏡頭內包含重放片段。
5.根據權利要求
3所述的電視轉播體育視頻重放片段檢測方法，其特徵在於，所述的步驟3-4)中，所述的預先指定的數目為100。
6.根據權利要求
1所述的電視轉播體育視頻重放片段檢測方法，其特徵在於，所述的步驟4)中，所述的對重放片段定位初始位置和終止位置具體包括以下步驟4-1)、對步驟3-3)得到的重放鏡頭的第一個漸變F與最後一個漸變L作為重放片段的初始起始點和終止點；4-2)、以切變鏡頭的第一幀為當前幀，然後以當前幀為中心，取一個寬度為2M+1的窗口，計算當前幀前面的M幀的平均幀差D1和後面的M幀的平均幀差D2；4-3)、計算D1和D2的比值，若D1和D2的比值小於或等於1/2時，當前幀是一個漸變邊界的開始幀；當這一比值大於或等於2時，當前幀是漸變邊界的結束幀；若D1和D2的比值在1/2和2之間，則取下一幀為當前幀，並跳轉到步驟4-2)，重新計算D1和D2的值；4-4)、當漸變邊界的開始幀與漸變邊界的結束幀之間相距小於30幀時，則認為存在一個漸變，並定位出漸變的起始點和終止點；4-5)、由上述步驟得到切變鏡頭內的各個漸變位置，兩個相鄰的漸變位置之間即為一個重放片段，第一個漸變的起始幀號和最後一個漸變的終止幀號即為重放片段的起始點和終止點的準確位置。
7.根據權利要求
1所述的電視轉播體育視頻重放片段檢測方法，其特徵在於，在所述的步驟4-2)中，所述的M為10。
專利摘要
本發明公開了一種電視轉播體育視頻重放片段檢測方法，包括將電視轉播體育視頻經數位化採集設備轉化為數字視頻；對數字視頻進行內容分析，得到鏡頭切換的位置，根據該位置實現鏡頭分割，將視頻分解為以鏡頭為單元的片段；對各個鏡頭作檢測，判斷鏡頭內是否含重放片段；對重放片段定位初始位置和終止位置。本發明的優點在於避免對幀重複特性的檢測，從而對高速攝像機拍攝的重放片段能有效進行檢測；對基於普通攝像機採集製作和基於高速攝像機採集製作的重放視頻均能用同一框架進行檢測；能在切變鏡頭之中利用檢測到的漸變信息有效定位重放片段的起始和終止位置。
文檔編號H04N9/64GK1992913SQ200510135497
公開日2007年7月4日 申請日期2005年12月31日
發明者潘雪峰, 張勇東, 李錦濤 申請人:中國科學院計算技術研究所導出引文BiBTeX, EndNote, RefMan