一種多源視頻剪輯播放方法及系統與流程
2023-10-08 03:01:14 1
本發明涉及視頻數據處理技術領域，具體涉及一種多源視頻剪輯播放方法及系統。
背景技術：
球類運動是世界上最廣泛的體育運動，深受廣大球迷的喜愛。而球類運動視頻實時轉播過程中，由於場地的廣闊性以及運動球員數量較多，因而一些精彩的鏡頭無法被視頻採集裝置智能捕捉和切換。目前的球類賽事直播過程中，對於精彩事件的切換採用人工導播切換的方式，而人為的方式容易造成時延和錯過精彩事件，也無法精準地切換到精彩事件的最佳觀看角度。目前的現有技術中也有一些是通過視覺信息進行精彩事件檢測從而根據檢測結果來進行視頻剪輯或切換，但是其主要是根據球門和鏡頭類型來進行識別和判定，其識別的精彩事件更多發生至球門或者禁區附近，而其他區域的精彩事件，例如精準傳球配合、爭搶犯規等沒有發生在禁區或者球門附近的事件，則無法準確檢測判定並進行智能視頻剪輯切換。
技術實現要素：
為此，需要提供一種多源視頻剪輯播放方法及系統，通過對球和球員身上的可穿戴設備發送的定位信息進行在線實時檢測，根據精準的定位算法還原球和球員在視頻畫面中的精確位置，並根據球和球員的位置信息的變化來實現對視頻的剪輯播放。
為實現上述目的，本發明提供了一種多源視頻剪輯播放方法，包括以下步驟：
步驟1：對球場進行實時鏡頭畫面捕捉，獲取整個球場的同步視頻流，並將該視頻流進行本地保存，實時保存至視頻伺服器的本地視頻存儲單元；
步驟2：獲取球場的球和球員的球場位置坐標系上定位信息，並將該定位信息傳輸至視頻伺服器中，映射成圖形畫面坐標系上的定位信息；
步驟3：根據球場位置坐標系上定位信息獲取球或球員所處的方向角，並根據該方向角生成切換畫面指令切換畫面指令，根據該切換畫面指令切換畫面指令切換至局部畫面；
步驟4：對該局部畫面進行進行放大處理，生成放大畫面；
步驟5：根據圖形畫面坐標系上的定位信息作為畫面中心點，對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端。
進一步的，還包括步驟21，對歷史賽事的海量數據進行球場事件的機器學習和訓練，獲得時間預測和判斷模型。
進一步的，步驟2中，所述球場位置坐標系上定位信息通過設置在球和球員上的位置採集終端採集。
更進一步的，步驟2中，將球場位置坐標系上定位信息映射成圖形畫面坐標系上的定位信息，其映射方法如下：
(1)
其中：
為足球/球員的在xoy中的位置，為平行於光軸的維度；
為足球/球員在uov中的位置；
為從xoy尺度單位到uov尺度單位的縮放矩陣；
為位置坐標的旋轉與平移矩陣；
為位置坐標的旋轉矩陣；
為位置坐標分別繞z,x軸的旋轉矩陣；
為位置坐標的平移矩陣。
更進一步的，步驟3中，根據計算出球或球員在以球場長邊中點為圓心，x軸正方向為0度基準線的所處方位角，再根據所處方位角下達切換畫面指令到對應方位角朝向的鏡頭，從而實現局部畫面的切換。
更進一步的，步驟4中，根據預設的畫面清晰度，對局部畫面進行進行放大處理，生成放大畫面。
更進一步的，步驟5中，根據截取放大畫面，以(u,v)作為畫面中心，截取第一尺寸標準的圖像作為截取圖像，並將截取圖像輸出至顯示終端進行畫面輸出。
本發明還提供了一種多源視頻剪輯播放系統，包括：鏡頭畫面捕捉模組、球和球員定位信息獲取模組、視頻伺服器和視頻直播輸出接口，在所述視頻伺服器內部署視頻存儲單元、畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元，其中鏡頭畫面捕捉模組與視頻存儲單元相連，球和球員定位信息獲取模組分別與畫面切換處理單元和畫面追蹤處理單元相連，畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元依次相連，畫面追蹤處理單元與視頻存儲單元相連，畫面追蹤處理單元與視頻直播輸出接口相連，
鏡頭畫面捕捉模組對球場進行實時鏡頭畫面捕捉，獲取整個球場的同步視頻流，並將該視頻流進行本地保存，實時保存至視頻伺服器的本地視頻存儲單元，
畫面切換處理單元，獲取球場的球及球員的球場位置坐標系上定位信息，並將該定位信息傳輸至視頻伺服器中，映射成圖形畫面坐標系上的定位信息，根據球場位置坐標系上定位信息獲取球或球員所處的方向角，並根據該方向角生成切換畫面指令，根據該切換畫面指令切換至局部畫面，
畫面放大處理單元，對該局部畫面進行進行放大處理，生成放大畫面，
畫面追蹤處理單元，根據圖形畫面坐標系上的定位信息作為畫面中心點，對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端。
進一步的，還包括球場事件智能處理單元，所述球場事件智能處理單元輸入端與球和球員定位信息獲取模組相連，球場事件智能處理單元輸出端分別與畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元相連，球場事件智能處理單元還連接有事件日誌，所述球場事件智能處理單元對歷史賽事的海量數據進行球場事件的機器學習和訓練，獲得時間預測和判斷模型。
進一步的，所述球場位置坐標系上定位信息通過設置在球和球員上的位置採集終端採集。
更進一步的，將球場位置坐標系上定位信息映射成圖形畫面坐標系上的定位信息，其映射方法如下：
定義球場位置坐標係為xoy坐標系，定義圖形畫面坐標係為uov坐標系：
(1)
其中：
為足球/球員的在xoy中的位置，為平行於光軸的維度；
為足球/球員在uov中的位置；
為從xoy尺度單位到uov尺度單位的縮放矩陣；
為位置坐標的旋轉與平移矩陣；
為位置坐標的旋轉矩陣；
為位置坐標分別繞z,x軸的旋轉矩陣；
為位置坐標的平移矩陣。
更進一步的，根據計算出球或球員在以球場長邊中點為圓心，x軸正方向為0度基準線的所處方位角，再根據所處方位角下達切換畫面指令到對應方位角朝向的鏡頭，從而實現局部畫面的切換。
更進一步的，根據預設的畫面清晰度，對局部畫面進行進行放大處理，生成放大畫面。
更進一步的，根據截取放大畫面，以(u,v)作為畫面中心，截取第一尺寸標準的圖像作為截取圖像，並將截取圖像輸出至顯示終端進行畫面輸出。
區別於現有技術，上述技術方案通過設計一種多源視頻剪輯播放方法及系統，根據對實時多源鏡頭畫面捕捉後，並將獲取的同步視頻流進行本地存儲，再根據球和球員在雙坐標系中的位置映射關係實現球和球員的位置的匹配，通過對歷史賽事的海量數據進行球場事件的機器學習和訓練，獲得局部戰術判斷模型，根據局部戰術判斷模型與球場事件進行精彩事件中的球或球員的錨定，進而根據球場位置坐標系的方向角來實現鏡頭的切換，再根據圖形畫面坐標系上的定位信息來實現圖像截取及輸出，最終輸出剪輯後的精彩賽事。
附圖說明
圖1為本發明實施例1的結構示意圖。
圖2為本發明實施例1的另一結構示意圖。
圖3為本發明實施例2中的結構示意圖。
圖4為本發明實施例2中的另一結構示意圖。
具體實施方式
為詳細說明技術方案的技術內容、構造特徵、所實現目的及效果，以下結合具體實施例並配合附圖詳予說明。
實施例1：
請參閱圖1和圖2，本實施例為實現上述目的，一種多源視頻剪輯播放方法，包括以下步驟：
步驟1：對球場進行實時鏡頭畫面捕捉，獲取整個球場的同步視頻流，並將該視頻流進行本地保存，實時保存至視頻伺服器的本地視頻存儲單元；
步驟2：獲取球場的球和球員的球場位置坐標系上定位信息，並將該定位信息傳輸至視頻伺服器中，映射成圖形畫面坐標系上的定位信息；所述球場位置坐標系上定位信息通過設置在球和球員上的位置採集終端採集。
將球場位置坐標系上定位信息映射成圖形畫面坐標系上的定位信息，其映射方法如下：
(1)
其中：
為足球/球員的在xoy中的位置，為平行於光軸的維度；
為足球/球員在uov中的位置；
為從xoy尺度單位到uov尺度單位的縮放矩陣；
為位置坐標的旋轉與平移矩陣；
為位置坐標的旋轉矩陣；
為位置坐標分別繞z,x軸的旋轉矩陣；
為位置坐標的平移矩陣。
步驟3：根據球場位置坐標系上定位信息獲取球或球員所處的方向角，並根據該方向角生成切換畫面指令，根據該切換畫面指令切換至局部畫面；具體地：根據計算出球或球員在以球場長邊中點為圓心，x軸正方向為0度基準線的所處方位角，再根據所處方位角下達切換畫面指令到對應方位角朝向的鏡頭，從而實現局部畫面的切換。
步驟4：根據預設的畫面清晰度，對該局部畫面進行進行放大處理，生成放大畫面。
步驟5：根據圖形畫面坐標系上的定位信息作為畫面中心點，對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端。具體地根據截取放大畫面，以(u,v)作為畫面中心，截取第一尺寸標準的圖像作為截取圖像，並將截取圖像輸出至顯示終端進行畫面輸出。
在本實施例的方法中，對畫面進行切換的過程中，其切換的畫面可以是某一鏡頭的某一局部畫面，也可以是通過拼接手段將多個視頻流進行拼接後的整體視頻的局部畫面。
參考圖1和圖2所示，本實施例1還提供了一種多源視頻剪輯播放系統，包括：鏡頭畫面捕捉模組、球和球員定位信息獲取模組、視頻伺服器和視頻直播輸出接口，在所述視頻伺服器內部署視頻存儲單元、畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元，其中鏡頭畫面捕捉模組與視頻存儲單元相連，球和球員定位信息獲取模組分別與畫面切換處理單元和畫面追蹤處理單元相連，畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元依次相連，畫面追蹤處理單元與視頻存儲單元相連，畫面追蹤處理單元與視頻直播輸出接口相連，
鏡頭畫面捕捉模組對球場進行實時鏡頭畫面捕捉，獲取整個球場的同步視頻流，並將該視頻流進行本地保存，實時保存至視頻伺服器的本地視頻存儲單元，
畫面切換處理單元，獲取球場的球及球員的球場位置坐標系上定位信息，並將該定位信息傳輸至視頻伺服器中，映射成圖形畫面坐標系上的定位信息，根據球場位置坐標系上定位信息獲取球或球員所處的方向角，並根據該方向角生成切換畫面指令，根據該切換畫面指令切換至局部畫面，所述球場位置坐標系上定位信息通過設置在球和球員上的位置採集終端採集。
將球場位置坐標系上定位信息映射成圖形畫面坐標系上的定位信息，其映射方法如下：
定義球場位置坐標係為xoy坐標系，定義圖形畫面坐標係為uov坐標系：
(1)
其中：
為足球/球員的在xoy中的位置，為平行於光軸的維度；
為足球/球員在uov中的位置；
為從xoy尺度單位到uov尺度單位的縮放矩陣；
為位置坐標的旋轉與平移矩陣；
為位置坐標的旋轉矩陣；
為位置坐標分別繞z,x軸的旋轉矩陣；
為位置坐標的平移矩陣。
畫面放大處理單元，根據預設的畫面清晰度，對該局部畫面進行進行放大處理，生成放大畫面，
畫面追蹤處理單元，根據圖形畫面坐標系上的定位信息作為畫面中心點，對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端。根據計算出球或球員在以球場長邊中點為圓心，x軸正方向為0度基準線的所處方位角，再根據所處方位角下達切換畫面指令到對應方位角朝向的鏡頭，從而實現局部畫面的切換。根據截取放大畫面，以(u,v)作為畫面中心，截取第一尺寸標準的圖像作為截取圖像，並將截取圖像輸出至顯示終端進行畫面輸出。
舉例：球員ａ從球場中線開始帶球往中路球門前進，定位系統定位ａ球員在位置(x1,y1,z1)，根據公式(1)，
計算出在正對球場中線攝像頭的畫面坐標(u1,v1)，此時畫面擷取以(u1,v1)為中心對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端；當球員ａ帶球接近到球門的位置(x2,y2,z2)，此時，根據公式(1)計算正對球門的攝像頭的畫面坐標(u2,v2)，並切換(u2,v2)為中心對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端。
在本實施例的方法中，對畫面進行切換的過程中，其切換的畫面可以是某一鏡頭的某一局部畫面，也可以是通過拼接手段將多個視頻流進行拼接後的整體視頻的局部畫面。
實施例2：
參考圖3和圖4所示，本實施例2中，該一種多源視頻剪輯播放方法，包括以下步驟：
步驟1：對球場進行實時鏡頭畫面捕捉，獲取整個球場的同步視頻流，並將該視頻流進行本地保存，實時保存至視頻伺服器的本地視頻存儲單元；
步驟2：獲取球場的球和球員的球場位置坐標系上定位信息，並將該定位信息傳輸至視頻伺服器中，映射成圖形畫面坐標系上的定位信息；所述球場位置坐標系上定位信息通過設置在球和球員上的位置採集終端採集。
將球場位置坐標系上定位信息映射成圖形畫面坐標系上的定位信息，其映射方法如下：
(1)
其中：
為足球/球員的在xoy中的位置，為平行於光軸的維度；
為足球/球員在uov中的位置；
為從xoy尺度單位到uov尺度單位的縮放矩陣；
為位置坐標的旋轉與平移矩陣；
為位置坐標的旋轉矩陣；
為位置坐標分別繞z,x軸的旋轉矩陣；
為位置坐標的平移矩陣。
步驟21，對歷史賽事的海量數據進行球場事件的機器學習和訓練，獲得局部戰術判斷模型。
步驟3：根據球場位置坐標系上定位信息獲取球或球員所處的方向角，並根據該方向角生成切換畫面指令，根據該切換畫面指令切換至局部畫面。具體地：步驟3中，根據計算出球或球員在以球場長邊中點為圓心，x軸正方向為0度基準線的所處方位角，再根據所處方位角下達切換畫面指令到對應方位角朝向的鏡頭，從而實現局部畫面的切換。
步驟4：根據預設的畫面清晰度，對該局部畫面進行進行放大處理，生成放大畫面；
步驟5：根據圖形畫面坐標系上的定位信息作為畫面中心點，對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端。具體地，根據截取放大畫面，以(u,v)作為畫面中心，截取第一尺寸標準的圖像作為截取圖像，並將截取圖像輸出至顯示終端進行畫面輸出。
本實施例2還提供了一種多源視頻剪輯播放系統，包括：鏡頭畫面捕捉模組、球和球員定位信息獲取模組、視頻伺服器和視頻直播輸出接口，在所述視頻伺服器內部署視頻存儲單元、畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元，其中鏡頭畫面捕捉模組與視頻存儲單元相連，球和球員定位信息獲取模組分別與畫面切換處理單元和畫面追蹤處理單元相連，畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元依次相連，畫面追蹤處理單元與視頻存儲單元相連，畫面追蹤處理單元與視頻直播輸出接口相連，
鏡頭畫面捕捉模組對球場進行實時鏡頭畫面捕捉，獲取整個球場的同步視頻流，並將該視頻流進行本地保存，實時保存至視頻伺服器的本地視頻存儲單元，
畫面切換處理單元，獲取球場的球及球員的球場位置坐標系上定位信息，並將該定位信息傳輸至視頻伺服器中，映射成圖形畫面坐標系上的定位信息，
將球場位置坐標系上定位信息映射成圖形畫面坐標系上的定位信息，其映射方法如下：
定義球場位置坐標係為xoy坐標系，定義圖形畫面坐標係為uov坐標系：
(1)
其中：
為足球/球員的在xoy中的位置，為平行於光軸的維度；
為足球/球員在uov中的位置；
為從xoy尺度單位到uov尺度單位的縮放矩陣；
為位置坐標的旋轉與平移矩陣；
為位置坐標的旋轉矩陣；
為位置坐標分別繞z,x軸的旋轉矩陣；
為位置坐標的平移矩陣。
參考圖3所示，本實施例中還包括雲端海量數據伺服器，用於與球場事件智能處理單元連接，存儲海量球場事件數據。
球場事件智能處理單元，所述球場事件智能處理單元輸入端與球和球員定位信息獲取模組相連，球場事件智能處理單元輸出端分別與畫面切換處理單元、畫面放大處理單元和畫面追蹤處理單元相連，球場事件智能處理單元還連接有事件日誌，所述球場事件智能處理單元對歷史賽事的海量數據進行球場事件的機器學習和訓練，獲得局部戰術判斷模型。通過球場事件智能處理單元，實現球場上的事件（運球、傳球、搶斷、攔截和射門）智能預測、判斷與高效及時處理與視頻直播，其核心在於利用機器學習算法結合高性能並行計算技術，達到實時高效的分析與處理，請參閱圖3和圖4，具體步驟如下：
（1）根據歷史賽事的海量數據進行球場事件的機器學習和訓練，以得到較高準確性的戰術預測和判斷模型；
（2）在「實現球場上球/球員（對象）的畫面切換與追蹤」的基礎上，不再是直接根據球/球員定位信息來實現畫面切換與追蹤，而是通過球場智能處理單元這一中間處理模塊，實現基於智能化的事件預測與判斷的畫面切換、縮放和追蹤處理，實現更好的視覺體驗。
畫面切換處理單元根據球場位置坐標系上定位信息獲取球或球員所處的方向角，並根據該方向角生成切換畫面指令，根據該切換畫面指令切換至局部畫面，所述球場位置坐標系上定位信息通過設置在球和球員上的位置採集終端採集。具體地根據計算出球或球員在以球場長邊中點為圓心，x軸正方向為0度基準線的所處方位角，再根據所處方位角下達切換畫面指令到對應方位角朝向的鏡頭，從而實現局部畫面的切換。
畫面放大處理單元，根據預設的畫面清晰度，對該局部畫面進行進行放大處理，生成放大畫面，
畫面追蹤處理單元，根據圖形畫面坐標系上的定位信息作為畫面中心點，對放大畫面按第一尺寸標準進行截取，獲得截取圖像，並將截取圖像輸出至顯示終端。根據截取放大畫面，以(u,v)作為畫面中心，截取第一尺寸標準的圖像作為截取圖像，並將截取圖像輸出至顯示終端進行畫面輸出。
單場球賽收集的數據以時間為序列，針對賽事事件的智能判斷分為二種情況做處理：
第一種是以事件處理單元計算出的重要事件當作主要剪輯事件，例如射門的事件為重要事件，在事件發生的前後時間段自動生成射門的視頻；
第二種是以連續事件所組合成的局部進攻戰術當作主要剪輯事件.局部進攻戰術(傳切配合，交叉掩護配合，二過一配合，定位球戰術等)是由兩名或兩名以上球員完成進攻配合的戰術。換句話說一個進攻戰術是由一連串時間續列的球員位置，球位置與事件所組成的。本戰術判斷模型利用循環神經網絡進行局部進攻戰術偵測與判斷。所有在時間點i上球員與球的位置posi={pos1,i,pos2,i,...pos22,i,posb,i}、連同事件處理單元計算出的事件eventi(如運球dribi、傳球passi、射門shoti等)為一個時間單元循環神經網絡的輸入。而神經網絡的輸出oi則是進攻戰術的種類(傳切配合,交叉掩護配合,二過一配合,定位球戰術等)與偵測判斷。若偵測到進攻戰術，則在戰術發生的前後時間段自動生成進攻戰術的視頻。
舉例:在時間點ibegin到iend主隊球員p1在邊路運球並將球傳給在中路切入的進攻球員p2。系統利用戰術判斷模型從ibegin到iend輸入球員坐標及事件.在時間點iend時戰術判斷模型偵測到傳切配合後便自動生成從ibegin到iend的進攻戰術的視頻。
區別於現有技術，上述技術方案通過設計一種多源視頻剪輯播放方法及系統，根據對實時多源鏡頭畫面捕捉後，並將獲取的同步視頻流進行本地存儲，再根據球和球員在雙坐標系中的位置映射關係實現球和球員的位置的匹配，通過對歷史賽事的海量數據進行球場事件的機器學習和訓練，獲得時間預測和判斷模型，根據時間預測和判斷模型進行精彩事件中的球或球員的錨定，進而根據球場位置坐標系的方向角來實現鏡頭的切換，再根據圖形畫面坐標系上的定位信息來實現圖像截取及輸出，最終輸出剪輯後的精彩賽事。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下，由語句「包括……」或「包含……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者終端設備中還存在另外的要素。此外，在本文中，「大於」、「小於」、「超過」等理解為不包括本數；「以上」、「以下」、「以內」等理解為包括本數。
本領域內的技術人員應明白，上述各實施例可提供為方法、裝置、或電腦程式產品。這些實施例可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。上述各實施例涉及的方法中的全部或部分步驟可以通過程序來指令相關的硬體來完成，所述的程序可以存儲於計算機設備可讀取的存儲介質中，用於執行上述各實施例方法所述的全部或部分步驟。所述計算機設備，包括但不限於：個人計算機、伺服器、通用計算機、專用計算機、網絡設備、嵌入式設備、可編程設備、智能移動終端、智能家居設備、穿戴式智能設備、車載智能設備等；所述的存儲介質，包括但不限於：ram、rom、磁碟、磁帶、光碟、快閃記憶體、u盤、移動硬碟、存儲卡、記憶棒、網絡伺服器存儲、網絡雲存儲等。
上述各實施例是參照根據實施例所述的方法、設備(系統)、和電腦程式產品的流程圖和／或方框圖來描述的。應理解可由電腦程式指令實現流程圖和／或方框圖中的每一流程和／或方框、以及流程圖和／或方框圖中的流程和／或方框的結合。可提供這些電腦程式指令到計算機設備的處理器以產生一個機器，使得通過計算機設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和／或方框圖一個方框或多個方框中指定的功能的裝置。
儘管已經對上述各實施例進行了描述，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例做出另外的變更和修改，所以以上所述僅為本發明的實施例，並非因此限制本發明的專利保護範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍之內。