視頻實時合成和記錄的娛樂系統的製作方法

2023-10-04 11:18:04

專利名稱：視頻實時合成和記錄的娛樂系統的製作方法
技術領域：
本發明涉及一種娛樂設備領域的數字娛樂系統，具體是一種視頻實時合成和記錄的娛樂系統。
背景技術：
當前的娛樂方式包括卡拉OK和電影OK。卡拉OK是20世紀30年代在日本出現的。在當時作為一種無人樂隊形式，保存一些容易失傳的歌曲。到40年代卡拉OK逐漸成為了一種娛樂方式，它通過預先錄製的有原唱或無原唱的錄音作為伴奏，為演唱者提供逼真的伴奏效果。電影OK(Movieoke)是2003年年底在美國出現的新型娛樂方式(Daniela Gerson，Kalaoke Goes to the Movies，「卡拉OK進入電影」，The New YorkSun，「紐約太陽報」，January 12，2004)。這種方式中，參與者在臺上表演，以無聲播放的電影片段為背景，觀眾在臺下觀看。使得參與者能有很強的滿足感。卡拉OK技術只能實現音頻的合成，無法滿足希望進行電影模擬表演的娛樂者的要求，並且無法紀錄合成的結果。電影OK只能實現電影的模擬表演，參與者只能在舞臺上表演，表演的結果無法記錄，無法與電影中的場景融合，更無法逼真的紀錄參與者的表演。

發明內容
本發明針對現有參與者表演系統中存在的不足和缺陷，提供一種視頻實時合成和記錄的娛樂系統。使參與者的表演能實時的合成到先期製作的視頻片段上，並實時播放出來。從而給參與者帶來更逼真的電影表演體驗。本發明是在卡拉OK和電影OK的基礎上擴展的一種新的娛樂形式。參與者在表演場所(如參與者表演舞臺)的表演被攝像機拍攝下來，實時合成到相應的電影片段之中，替換原影片角色的表演。觀眾可以在屏幕上直接看到合成後表演者的表演結果。表演者可以根據自己的意願選擇是否保留自己的表演結果。
本發明是通過以下技術方案實現的，本發明包括電影片段先期製作子系統、參與者表演舞臺、影像獲取與實時合成控制子系統、影像播放子系統。參與者表演舞臺通過控制線和數據線與影像獲取與實時合成控制子系統連接，影像播放子系統通過數據線與影像獲取與實時合成控制子系統連接，以上三個子系統的連接為純電路連接，各子系統之間空間位置關係可以變化。
電影片段先期製作子系統為軟體系統安裝於具有多媒體處理能力的計算機或者工作站上。該子系統與參與者表演舞臺、影像獲取與合成控制子系統以及影像播放子系統沒有物理連接。電影片段先期製作子系統為軟體系統的輸出結果是帶有時實合成信息，音頻提示信息的虛擬場景數據文件。該文件是影像獲取與實時合成控制子系統的一個輸入，為合成結果提供背景影像和聲音。
所述的電影片段先期製作子系統，需要先將原唱和伴音提取出來。此外，還需要將原電影中的角色與背景分離出來。電影片段先期製作子系統就是用於事先製作用於合成的片段，這包括確定被替換角色的臉部位置，頭部位置，填補頭部被抽取後的區域，確定臉部位置邊緣區域的填充準則，抽取臉部區域的光照條件，以及類似於卡拉OK的音頻信號的抽取和設置。抽取的結果寫入常規的數字媒體存貯介質。
參與者表演舞臺包括單色背景牆、攝像機控制系統、音頻系統以及參與者表演區域。參與者表演舞臺為封閉小室，室內三面牆、天花板以及地板為單色背景牆，餘下的一面牆作為功能壁。在舞臺中，正對功能壁方向上，自左向右依次布置有音頻系統、攝像機控制系統和表演舞臺出入口，即舞臺門。音頻系統和攝像機控制系統之間沒有物理連接。
單色背景牆，作為提取人臉的條件設置為固定的單一顏色。
攝像機控制系統，用於控制攝像機鏡頭，在確定的位置上拍攝參與者的表演，並實時地將數據傳送到近處的合成系統上。攝像機鏡頭的位置可以在參與者開始表演前調節，用於確定最佳的拍攝位置，在拍攝時鏡頭將被固定。
攝像機控制系統包括主控制器、機械臂以及攝像機鏡頭。
主控制器包括機械臂控制器、數據/控制接口以及電源系統。電源系統將交流電源通過降壓、交直流變換，為機械臂控制其提供適當的電源。電源系統通過電源線與機械臂控制器連接。
機械臂由攝像頭基座、連杆以及伺服電機組成。攝像頭基座用於安裝攝像機鏡頭並提供攝像頭數據/控制接口。攝像頭基座位於連杆的遠端。連杆近端連接在主控制器上。機械臂的徑向伺服電機位於連杆內部，控制機械臂的伸縮；機械臂的橫向伺服電機位於主控制器上，用於控制機械臂的旋轉；攝像頭水平姿態伺服電機位於攝像頭基座內，用於控制攝像機鏡頭正上方矢量的方向；攝像頭俯仰伺服電機位於攝像頭基座內，用於調整攝像機鏡頭主光軸的方向。
攝像機鏡頭位於攝像頭基座上，用於獲取影像數據。
機械臂的伺服電機通過電源線和控制線與主控制器的機械臂控制器連接。機械臂的傳感器通過數據線與主控制器的機械臂控制器連接。機械臂的攝像頭基座的攝像頭數據/控制接口通過數據線和控制線與主控制器的數據/控制接口連接。
音頻系統，由無線耳塞式耳機、微型無線話筒和信號收發控制器組成。無線耳塞用於提供語音提示；微型無線話筒用於收集參與者的表演的臺詞，信號收發控制器負責從影像合成控制子系統接收控制信號，編碼後發送到無線耳塞式耳機上，並且接收微型無線話筒發回的音頻信號，解碼後傳送到影像合成控制子系統。音頻系統的各個部件沒有電路連接。
參與者表演區域是攝像機鏡頭和背景牆之間的一大塊平地，參與者在該區域表演。
影像合成控制子系統用於完成參與者表演角色的確定、背景色控制、攝像機位置調整和影像的實時合成，以及向參與者發送語音提示信號，並將參與者表演的臺詞合成到電影片段中。該子系統構建在一塊電路板上，其核心是控制晶片組，控制晶片組由主控制晶片、攝像機鏡頭控制晶片、音頻控制晶片和合成晶片組成。外圍設備包括控制面板、監視屏、硬碟。電路板上還包括控制面板接口、監視屏接口、介質讀取接口、硬碟接口、光碟刻錄機接口、參與者表演舞臺接口以及影像播放子系統接口。
主控制晶片實現與參與者的交互控制以及各功能晶片的協作控制功能，通過數據/控制線分別與攝像機鏡頭控制晶片、音頻控制晶片、合成晶片連接。攝像機鏡頭控制晶片、音頻控制晶片、合成晶片間沒有電路連接。主控制晶片與控制面板接口、硬碟接口、光碟刻錄機接口通過數據/控制線連接，與監視屏接口、介質讀取接口、影像播放子系統接口、參與者表演舞臺接口通過數據線連接。參與者表演舞臺接口與攝像機鏡頭控制晶片和音頻控制晶片通過數據/控制線連接。控制面板連接到控制面板接口，監視屏連接到監視屏接口，硬碟連接到硬碟接口，光碟刻錄機連接到光碟刻錄機接口，參與者表演舞臺連接到參與者表演舞臺接口，影像播放子系統連接到影像播放子系統接口。
影像播放子系統用於播放合成的結果。由屏幕、揚聲器等組成，用於參與者自身及其它觀眾觀看參與者的表演結果。揚聲器與屏幕的布置按照普通視頻娛樂系統的布局。
視頻實時合成和記錄的電影系統，使用時，包括電影片段的先期製作和參與者表演與合成兩個階段。(1)在電影片段的先期製作階段，由專門的製作者利用電影片段先期製作子系統編輯已有的電影片段，生成能夠用於參與者表演與合成的電影片段。在這一階段，對選定的電影片段，首先由製作者在片段中的關鍵幀上標示出人臉與頭部的大致位置，由計算機自動計算人臉與頭部的準確位置；然後，計算機自動計算片段中每一幀的人臉與頭部位置，並且，計算出頭部被抽取後用於填充的背景，以及臉部替換後填充空隙的參數。製作者可以根據需要確定是否提取人臉部的光照環境。在需要確定人臉部的光照時，計算機將自動抽取光照環境參數。提取了必須的視頻參數後，製作者對音軌做編輯，擦除特定角色的語音，插入表演的開始信號。在對所有可以被表演的角色都處理完以後，將編輯後的片段保存為專用格式，寫入常用的存儲介質。(2)在參與者表演與合成階段。首先，參與者利用影像合成控制子系統，通過按鍵選擇候選的電影片段並選擇可表演的角色。參與者進入參與者表演舞臺。系統根據攝像機鏡頭攝取的影像，自動尋找參與者的頭部與臉部位置，並自動跟蹤頭部與臉部位置，並將跟蹤的結果與電影片段中第一幀的影像實時合成，將結果顯示在影像播放子系統上。控制員根據影像播放子系統上的顯示，通過操縱按鈕或操縱杆控制攝像機的位置和姿態(俯仰角度及左右傾斜角度)，以獲得初始位置上最佳的合成結果，然後固定攝像機的位置和姿態。也可以直接地採用固定的攝像機位置和姿態。
確定了攝像機的位置後，參與者開始表演，系統自動跟蹤和提取人臉和頭部的位置，將提取的人臉實時的合成到原始片段上，同時將採集到的參與者語音與原是片段的語音合成，合成結果播放到影像播放子系統上，同時將合成結果保存在硬碟上。人臉實時合成的過程是這樣的。首先根據提取的人臉影像與原始片段中相應人臉的尺度比較，調整提取的人臉影像和頭部影像的縮放。然後根據縮放後的頭部影像與原始片段中的頭部影像比較，調整原始的頭部影像的形狀，並填充變形後留下的空白區域。之後，系統選擇最佳合成位置，用參與者的人臉替換掉原始片段中演員的臉，並根據原始片段中填補縫隙的參數設置，填補合成後留下的縫隙。對於，原始片段中提取了光照條件參數的片段，系統在完成了基本的合成工作後，根據光照參數恢復頭部和人臉部位的光照效果。本發明語音合成的過程與卡拉OK的工作方式相同。
本發明從概念上擴展了卡拉OK的娛樂方式，並通過新技術，將電影OK提供的娛樂體驗提升到了全新的高度。通過電影秀系統，參與者不僅能夠親身體驗表演的樂趣，而且能夠獲得表演結果的紀錄。從娛樂的角度，使用本發明能夠滿足許多電影表演愛好者演電影的希望。從表演的角度，該系統的記錄功能能夠為對經典影片中演員表演的學習提供更為逼真的效果，從而對表演的結果提出更好的評價。


圖1是本發明系統結構框2是參與者表演舞臺結構示意3是攝像機控制系統結構示意4是攝像機控制系統主控制器結構框5是機械臂結構示意6是主控制晶片組結構示意7是影像獲取與實時合成控制子系統結構示意圖具體實施方式
如圖所示，本發明包括電影片段先期製作子系統1、參與者表演舞臺2、影像獲取與實時合成控制子系統3、影像播放子系統4。參與者表演舞臺2通過控制線和數據線與影像獲取與實時合成控制子系統3連接，影像播放子系統4通過數據線與影像獲取與實時合成控制子系統3連接，以上三個子系統的連接為純電路連接。
電影片段先期製作子系統1為軟體系統，與參與者表演舞臺、影像獲取與合成控制子系統以及影像播放子系統沒有物理連接。電影片段先期製作子系統為軟體系統的輸出結果是影像獲取與實時合成控制子系統3的一個輸入。
參與者表演舞臺2為封閉小室，包括單色背景牆5、攝像機控制系統6、音頻系統7以及參與者表演區域8，室內三面牆、天花板以及地板為單色背景牆5，餘下的一面牆作為功能壁，在舞臺中，正對功能壁方向上，自左向右依次布置有音頻系統7、攝像機控制系統6和表演舞臺出入口，即舞臺門。
攝像機控制系統6包括主控制器9、機械臂10以及攝像機鏡頭11，主控制器9與機械臂10的近端相連，攝像機鏡頭11位於機械臂10的遠端。
主控制器9包括機械臂控制器12、數據/控制接口13以及電源系統14，機械臂控制器12與數據/控制接口13通過數據線相連，電源系統14與機械臂控制器12通過電源線相連。
機械臂10由攝像頭基座15、連杆16以及伺服電機17、18、19、20組成。攝像頭基座15位於機械臂10的遠端，連杆16近端連接在主控制器9上，機械臂10的徑向伺服電機17位於連杆16內部，機械臂10的橫向伺服電機18位於主控制器9上，攝像頭水平姿態伺服電機19、攝像頭俯仰伺服電機20都位於攝像頭基座15內。攝像機鏡頭11位於攝像頭基座15上。連杆16遠端以及攝像頭基座15上設有傳感器。
機械臂10的伺服電機17、18通過電源線和控制線與主控制器9的機械臂控制器12連接。機械臂10的傳感器通過數據線與主控制器9的機械臂控制器12連接。機械臂10的攝像頭基座15的攝像頭數據/控制接口通過數據線和控制線與主控制器9的數據/控制接口13連接。
音頻系統7，由無線耳塞式耳機、微型無線話筒和信號收發控制器組成，使用無線通訊協議連接。
參與者表演區域8是攝像機鏡頭11和背景牆5之間的一大塊平地，參與者在該區域表演。
影像獲取與實時合成控制子系統3構建在一塊電路板上，其核心是控制晶片組，控制晶片組由主控制晶片21、攝像機鏡頭控制晶片22、音頻控制晶片23、合成晶片24組成。外圍設備包括控制面板25、監視屏26、硬碟27。電路板上還包括控制面板接口28、監視屏接口29、介質讀取接口30、硬碟接口31、光碟刻錄機接口32、參與者表演舞臺接口33以及影像播放子系統接口34。
主控制晶片21通過數據/控制線分別與攝像機鏡頭控制晶片22、音頻控制晶片23、合成晶片24連接。攝像機鏡頭控制晶片22、音頻控制晶片23、合成晶片24間沒有電路連接。主控制晶片21與控制面板接口28、硬碟接口31、光碟刻錄機接口32通過數據腔制線連接，與監視屏接口29、介質讀取接口30、影像播放子系統接口34、參與者表演舞臺接口33通過數據線連接，參與者表演舞臺接口33與攝像機鏡頭控制晶片22和音頻控制晶片23通過數據/控制線連接。控制面板25連接到控制面板接口28，監視屏26連接到監視屏接口29，硬碟27連接到硬碟接口31，光碟刻錄機接口32連接光碟刻錄機，參與者表演舞臺2連接到參與者表演舞臺接口33，影像播放子系統4連接到影像播放子系統接口34。
影像播放子系統4由屏幕、揚聲器組成。揚聲器與屏幕的布置按照普通視頻娛樂系統的布局。
權利要求
1.一種視頻實時合成和記錄的娛樂系統，包括電影片段先期製作子系統(1)、參與者表演舞臺(2)、影像獲取與實時合成控制子系統(3)、影像播放子系統(4)，其特徵在於，參與者表演舞臺(2)通過控制線和數據線與影像獲取與實時合成控制子系統(3)連接，影像播放子系統(4)通過數據線與影像獲取與實時合成控制子系統(3)連接，以上三個子系統的連接為純電路連接，電影片段先期製作子系統(1)為軟體系統，安裝於具有多媒體處理能力的計算機或者工作站上，參與者表演舞臺(2)為封閉小室，包括單色背景牆(5)、攝像機控制系統(6)、音頻系統(7)以及參與者表演區域(8)，室內三面牆、天花板以及地板為單色背景牆(5)，餘下的一面牆作為功能壁，在舞臺中，正對功能壁方向上，自左向右依次布置有音頻系統(7)、攝像機控制系統(6)和表演舞臺出入口，影像獲取與實時合成控制子系統(3)構建在一塊電路板上，其核心是控制晶片組，控制晶片組由主控制晶片(21)、攝像機鏡頭控制晶片(22)、音頻控制晶片(23)、合成晶片(24)組成，主控制晶片(21)通過數據/控制線分別與攝像機鏡頭控制晶片(22)、音頻控制晶片(23)、合成晶片(24)連接，影像播放子系統(4)由屏幕、揚聲器組成。
2.根據權利要求1所述的視頻實時合成和記錄的娛樂系統，其特徵是，攝像機控制系統(6)包括主控制器(9)、機械臂(10)以及攝像機鏡頭(11)，主控制器(9)與機械臂(10)的近端相連，攝像機鏡頭(11)位於機械臂(10)的遠端。
3.根據權利要求2所述的視頻實時合成和記錄的娛樂系統，其特徵是，主控制器(9)包括機械臂控制器(12)、數據/控制接口(13)、電源系統(14)，機械臂控制器(12)與數據/控制接口(13)通過數據線相連，電源系統(14)與機械臂控制器(12)通過電源線相連。
4.根據權利要求2所述的視頻實時合成和記錄的電影系統，其特徵是，機械臂(10)由攝像頭基座(15)、連杆(16)以及伺服電機(17、18、19、20)組成，攝像頭基座(15)位於機械臂(10)的遠端，連杆(16)近端連接在主控制器(9)上，機械臂(10)的徑向伺服電機(17)位於連杆(16)內部，其橫向伺服電機(18)位於主控制器(9)上，攝像頭水平姿態伺服電機(19)、攝像頭俯仰伺服電機(20)都位於攝像頭基座(15)內，攝像機鏡頭(11)位於攝像頭基座(15)上，連杆(16)遠端以及攝像頭基座(15)上設有傳感器。
5.根據權利要求2所述的視頻實時合成和記錄的娛樂系統，其特徵是，機械臂(10)的伺服電機(17、18)通過電源線和控制線與機械臂控制器(12)連接，機械臂(10)的傳感器通過數據線與機械臂控制器(12)連接，攝像頭基座(15)的攝像頭數據/控制接口通過數據線和控制線與主控制器(9)的數據/控制接口(13)連接。
6.根據權利要求1所述的視頻實時合成和記錄的娛樂系統，其特徵是，音頻系統(7)由無線耳塞式耳機、微型無線話筒和信號收發控制器組成，使用無線通訊協議連接，參與者表演區域(8)是攝像機鏡頭(11)和背景牆(5)之間的一大塊平地。
7.根據權利要求1所述的視頻實時合成和記錄的娛樂系統，其特徵是，影像獲取與實時合成控制子系統(3)構建在一塊電路板上，其外圍設備包括控制面板(25)、監視屏(26)、硬碟(27)，電路板上還包括控制面板接口(28)、監視屏接口(29)、介質讀取接口(30)、硬碟接口(31)、光碟刻錄機接口(32)、參與者表演舞臺接口(33)以及影像播放子系統接口(34)，其連接關係為主控制晶片(21)通過數據/控制線分別與攝像機鏡頭控制晶片(22)、音頻控制晶片(23)、合成晶片(24)連接，主控制晶片(21)與控制面板接口(28)、硬碟接口(31)、光碟刻錄機接口(32)通過數據/控制線連接，與監視屏接口(29)、介質讀取接口(30)、影像播放子系統接口(34)、參與者表演舞臺接口(33)通過數據線連接，參與者表演舞臺接口(33)與攝像機鏡頭控制晶片(22)和音頻控制晶片(23)通過數據/控制線連接。控制面板(25)連接到控制面板接口(28)，監視屏(26)連接到監視屏接口(29)，硬碟(27)連接到硬碟接口(31)，光碟刻錄機接口(32)連接光碟刻錄機，參與者表演舞臺(2)連接到參與者表演舞臺接口(33)，影像播放子系統(4)連接到影像播放子系統接口(34)。
全文摘要
一種娛樂設備領域的視頻實時合成和記錄的娛樂系統。參與者表演舞臺與影像獲取與實時合成控制子系統連接，影像播放子系統與影像獲取與實時合成控制子系統連接，電影片段先期製作子系統安裝於計算機或者工作站上，參與者表演舞臺為封閉小室，室內三面牆、天花板以及地板為單色背景牆，在舞臺中，自左向右依次布置有音頻系統、攝像機控制系統和表演舞臺出入口，影像獲取與實時合成控制子系統構建在一塊電路板上，核心是控制晶片組，控制晶片組由主控制晶片、攝像機鏡頭控制晶片、音頻控制晶片、合成晶片組成，主控制晶片分別與攝像機鏡頭控制晶片、音頻控制晶片、合成晶片連接，影像播放子系統由屏幕、揚聲器組成。
文檔編號H04N5/272GK1588992SQ20041006732
公開日2005年3月2日 申請日期2004年10月21日 優先權日2004年10月21日
發明者馬利莊, 丁裕鋒, 肖學中 申請人:上海交通大學