三維人體運動仿真結果與錄像同屏對比方法
2023-10-09 02:29:24
專利名稱：三維人體運動仿真結果與錄像同屏對比方法
技術領域：
本發明涉及三維人體運動仿真結果與錄像同屏對比方法。
為實現上述目的，一種三維人體運動仿真結果與錄像同屏對比方法，包括步驟提取體育視頻首幀對應攝像機的外參數，並據此對仿真分析系統中的虛擬攝像機進行視點調整；提取體育視頻首幀的後續幀的攝像機定量全局運動，並據此控制仿真分析系統中的虛擬攝像機的運動。
本發明針對人體運動的錄像，自動地提取攝像機所在的位置與方向，在同一屏幕上按相同的位置與方向顯示其對應的三維人體運動仿真結果，實現同屏對比；因此可以快速、準確地比較運動員的完成動作與標準動作(或仿真結果)之間的差異，為運動員與教練員提出具體的改進意見和建議。
圖2是跳水項目世界坐標系的側視示意圖。
圖3是跳水項目世界坐標系的俯視示意圖。
圖4是跳水項目世界坐標系的正視示意圖。
圖5是特徵點三維重構原理示意圖。
圖6是虛擬攝像機定位階段流程示意圖。
圖7是求取攝像機定量全局運動階段流程示意圖。
圖8為蹦床運動視頻幀。
圖9為根據提取的攝像機運動對三維人體運動的仿真結果進行顯示後的效果。
上述第一階段所採用的虛擬攝像機視點定位技術，即提取體育視頻首幀對應攝像機的外參數的標定方法是一種通用的方法，對於包含攝像機運動的體育運動視頻，都可以使用本方法；包括以下實現步驟1、採用基於特徵點對應的攝像機自定標方法求取體育視頻首幀對應攝像機的內參數；2、採用基於一定領域知識的特徵點三維重構方法確定體育視頻首幀對應攝像機的外參數。
上述採用基於特徵點對應的攝像機自定標方法求取體育視頻首幀對應攝像機的內參數包括下列主要步驟1、在體育視頻首幀中選取特徵點並在首幀的後續幀中跟蹤所選取的特徵點以建立視頻流各個相鄰幀間特徵點的對應關係；2、排除相鄰幀間誤匹配的特徵點，即外點；從而建立穩定的特徵點對應關係(排除外點之後的特徵點對數應當大於等於8)；3、在體育視頻首幀k1的後續幀中選取與首幀的特徵點位置相比較具有較大位移變化的視頻幀k2(k1與k2間所建立的對應特徵點對數應該大於等於8)；並求取首幀k1與幀k2之間對應的基本矩陣；之所以選擇計算首幀k1與k2之間的基礎矩陣而不是計算首幀k1與其相鄰幀的基礎矩陣是由於體育視頻中相鄰幀之間特徵點的位移很小，會造成所求取的兩幀間的基礎矩陣不穩定進而影響求取攝像機內參數的穩定性；4、採用分層自定標的方法即射影標定(projective calibration)→仿射標定(affine calibration)→度量標定(metric calibration)的方法來求取體育視頻首幀對應攝像機的內參數。
上述採用基於一定領域知識的特徵點三維重構方法確定體育視頻首幀對應攝像機的外參數包括以下步驟1、根據運動項目的領域知識確定世界坐標系；例如對於蹦床運動項目，可以選取蹦床平面的一個頂點為世界坐標系的原點，相交於該頂點的兩條蹦床所對應的邊為世界坐標系的X軸和Y軸；對於跳水運動項目，攝像機具有三個視角側視、俯視和正視，視角的轉換需要切換攝像機；每個視角下世界坐標系的選取類似於蹦床；2、在體育視頻的首幀k1與後續幀k2之間選取對應於世界坐標系坐標軸原點O以及X軸和Y軸上的特徵點o1、x1、y1和o2、x2、y2；並建立兩幀間三個特徵點的對應關係；3、採用已知攝像機內參數的特徵點三維重構方法(在一個縮放比例因子意義下)得到與所選取的特徵點相對應的空間點o、x、y的三維信息(在體育視頻首幀對應攝像機坐標系下表示的三維信息)；4、基於領域知識確定縮放比例因子，即確定空間點o、x、y的真實三維坐標(在體育視頻首幀對應攝像機坐標系下表示的三維坐標)；5、由o、x、y的三維坐標確定體育視頻首幀對應攝像機相對於世界坐標系的以歐拉角表示的旋轉矩陣和平移向量R和T。
上述的基於領域知識確定三維重構的縮放比例因子，是基於體育器械都具有標準的規範這一事實；例如蹦床平面的長寬、足球場的長寬以及大小禁區的長寬、跳臺(板)的長寬都具有標準的規範；由已知兩空間點的真實距離可以唯一的確定這一縮放比例因子。
上述的由o、x、y的三維坐標確定體育視頻首幀對應攝像機相對於世界坐標系的旋轉矩陣R和平移向量T包括如下步驟1、由重構後空間點o、x、y的三維坐標，計算矢量 矢量 ( )與體育視頻首幀對應攝像機坐標系中X(Y)軸的夾角即為視頻首幀攝像機坐標系的X(Y)軸與世界坐標系X(Y)軸的夾角；而矢量 與體育視頻首幀對應攝像機坐標系Z軸的夾角即為體育視頻首幀攝像機坐標系Z軸與世界坐標系Z軸的夾角；2、對體育視頻首幀對應攝像機坐標系坐標軸與對應世界坐標系坐標軸的夾角進行轉換得到攝像機坐標系相對於世界坐標系的由歐拉角表示的旋轉矩陣R；3、世界坐標系的原點o在體育視頻首幀對應攝像機坐標系上的三維坐標的三個坐標分量組成了體育視頻首幀對應攝像機坐標系相對於世界坐標系的平移向量T。
上述的第二階段，即提取體育視頻首幀的後續幀的攝像機運動具有如下特點攝像機位置保持不變(除非切換攝像機)，即幾乎沒有平移運動，而且只有在X軸和Y軸方向上的旋轉(在Z軸方向上無旋轉)和Zoom In、Zoom Out的變化，即為Pan-Tilt攝像機；我們可以假設在體育視頻中攝像機的內參數，除了焦距的長度，都是不變的；根據體育運動視頻中攝像機運動的這個特點，選取相應的攝像機運動模型來描述(六點或八點模型)；通過求解相鄰幀間運動模型的運動參數來計算攝像機的定量全局運動。
上述的通過求解運動模型的運動參數來計算攝像機的定量全局運動包括以下步驟
1、在體育視頻序列的相鄰兩幀間選取與跟蹤特徵點以建立特徵點的對應關係；2、排除誤匹配的外點；3、使用(非)線性回歸方法計算相鄰幀間的運動參數；4、由運動參數的物理意義計算相鄰幀間的攝像機定量全局運動。
本發明所描述的三維人體運動仿真結果與錄像同屏對比方法的主要優點為它具有通用性，凡是具有攝像機運動的體育視頻，不論視頻流中內參數變化與否，都適用於本發明所描述的三維人體運動仿真結果與錄像同屏對比方法；例如對於跳水、蹦床、足球、體操等體育運動的仿真結果與錄像比較。
權利要求
1.一種三維人體運動仿真結果與錄像同屏對比方法，包括步驟提取體育視頻首幀對應攝像機的外參數，並據此對仿真分析系統中的虛擬攝像機進行視點調整；提取體育視頻首幀的後續幀的攝像機定量全局運動，並據此控制仿真分析系統中的虛擬攝像機的運動。
2.如權利要求1所述的方法，其特徵在於所述的提取體育視頻首幀對應攝像機的外參數包括以下步驟採用基於特徵點對應的攝像機自定標方法求取體育視頻首幀對應攝像機的內參數；採用基於領域知識的特徵點三維重構方法確定體育視頻首幀對應攝像機的外參數。
3.如權利要求2所述的方法，其特徵在於所述的採用基於特徵點對應的攝像機自定標方法求取體育視頻首幀對應攝像機的內參數包括下列主要步驟a、在體育視頻首幀中選取特徵點並在首幀的後續幀中跟蹤所選取的特徵點以建立視頻流各個相鄰幀間特徵點的對應關係；b、排除相鄰幀間誤匹配的特徵點，即外點；從而建立穩定的特徵點對應關係；c、在體育視頻首幀k1的後續幀中選取與首幀的特徵點位置相比較具有較大位移變化的視頻幀k2(k1與k2間所建立的對應特徵點對數應該大於等於8)；並求取首幀k1與幀k2之間對應的基本矩陣；d、採用分層自定標的方法即射影標定→仿射標定→度量標定的方法來求取體育視頻首幀對應攝像機的內參數。
4.如權利要求2所述的方法，其特徵在於所述採用基於領域知識的特徵點三維重構方法確定體育視頻首幀對應攝像機的外參數包括以下步驟a、根據運動項目的領域知識確定世界坐標系，並在體育視頻的首幀k1及後續幀k2中選取對應於世界坐標系坐標軸原點O以及位於X軸和Y軸上的特徵點o1、x1、y1和o2、x2、y2，並建立兩幀間三個特徵點的對應關係；b、採用已知攝像機內參數的特徵點三維重構方法得到與所選取的特徵點相對應的空間點o、x、y的三維信息；c、基於領域知識確定縮放比例因子，即確定空間點o、x、y的真實三維坐標；d、由o、x、y的三維坐標確定體育視頻首幀對應攝像機相對於世界坐標系的外參數以歐拉角表示的旋轉矩陣R和平移向量T。
5.如權利要求4所述的方法，其特徵在於其中所述的由o、x、y的三維坐標確定體育視頻首幀對應攝像機相對於世界坐標系的外參數包括以下步驟a、由o、x、y在體育視頻首幀對應攝像機坐標系中的三維坐標，計算矢量 矢量 ( )與體育視頻首幀對應攝像機坐標系中X(Y)軸的夾角即為體育視頻首幀攝像機坐標系X(Y)軸與世界坐標系X(Y)軸的夾角；矢量 與體育視頻首幀對應攝像機坐標系Z軸的夾角即為體育視頻首幀攝像機坐標系Z軸與世界坐標系Z軸的夾角；b、對體育視頻首幀對應攝像機坐標系坐標軸與對應世界坐標系坐標軸的夾角進行轉換得到攝像機坐標系相對於世界坐標系的由歐拉角表示的旋轉矩陣R；c、世界坐標系的原點在體育視頻首幀對應攝像機坐標系上的三維坐標o的三個坐標分量組成了體育視頻首幀對應攝像機坐標系相對於世界坐標系的平移向量T。
6.如權利要求1所述的方法，其特徵在於所述求取體育視頻首幀的後續幀的攝像機定量全局運動包括以下步驟在體育視頻中，攝像機位置保持不變，而且只有在X軸和Y軸方向上的旋轉和Zoom In、Zoom Out的變化，據此選取相應的運動模型來描述攝像機的全局運動，通過求解相鄰幀間運動模型的運動參數來計算攝像機的定量全局運動。
7.如權利要求6所述的方法，其特徵在於其中所述通過求解運動模型的運動參數來計算攝像機的定量全局運動包括以下步驟a、在體育視頻序列的相鄰兩幀間選取與跟蹤特徵點以建立特徵點的對應關係；b、排除誤匹配的外點；c、使用(非)線性回歸方法計算相鄰幀間的運動參數；d、由運動參數的物理意義計算相鄰幀間的攝像機定量全局運動。
全文摘要
一種三維人體運動仿真結果與錄像同屏對比方法，包括步驟提取體育視頻首幀對應攝像機的外參數，並據此對仿真分析系統中的虛擬攝像機進行視點調整；提取體育視頻首幀的後續幀的攝像機定量全局運動，並據此控制仿真分析系統中的虛擬攝像機的運動。本發明針對人體運動的錄像，自動地提取攝像機所在的位置與方向，在同一屏幕上按相同的位置與方向顯示其對應的三維人體運動仿真結果。實現同屏對比，則可以快速、準確地比較運動員的完成動作與標準動作(或仿真結果)之間的差異，為運動員與教練員提出具體的改進意見和建議。
文檔編號G06T7/20GK1479252SQ0314755
公開日2004年3月3日 申請日期2003年7月22日 優先權日2003年7月22日
發明者王兆其, 樊建平, 李錦濤, 錢躍良, 邱顯傑, 夏時洪 申請人:中國科學院計算技術研究所