一種與觀眾實時交互的實現方法及其系統的製作方法
2023-10-06 16:50:54
專利名稱：一種與觀眾實時交互的實現方法及其系統的製作方法
技術領域：
本發明涉及一種圖像處理軟體和系統，尤其涉及的是ー種用幹與舞臺虛擬圖像互動的軟體實現方法及系統。
背景技術：
現有技術中，常見的舞臺圖像顯示是將圖片或視頻在舞臺上進行投影和顯示，與觀眾的之間的交互通常是將觀眾本人請到舞臺上進行，這樣容易讓觀眾緊張，除非事先做排演和安排，觀眾參與交互的過程往往不容易順利進行，很難完成交互的過程。在現有技術的迪士尼遊樂園中，以及國內其他遊樂園中，也有將觀眾影像捕抓後，放到熒幕上的技術，但是，他們只能捕獲觀眾的ー幀靜幀，放到熒幕上去。觀眾無法和虛擬角色進行實時互動。目前，很多類似的項目在實施時，設計者都認為，捕抓動態視頻是有困難的，比如觀眾坐的位置不確定，觀眾的高矮胖瘦不同，攝像頭如何定位是ー個很大的問題。另外，一般劇場的光線較暗，使得捕抓的視頻質量很差，無法滿足現場表演的需求。因此，現有技術還有待於進ー步改進和發展。
發明內容
本發明的目的在於提供一種與觀眾實時交互的實現方法及其系統，可以將觀眾的圖像進行捕捉，併合成到與虛擬角色進行互動的圖像中，並予以顯示，從而可以不用改變觀眾的位置實現與主持人圖像之間的溝通過程。本發明的技術方案包括
一種與觀眾實時交互的實現系統，其包括一用於顯示影像的顯示裝置，該顯示裝置設置在舞臺上；以及一與該顯示裝置相連接的處理系統；其中，所述處理系統還通訊連接一攝像頭，以及與該攝像頭對應設置的照明裝置，所述攝像頭用於捕捉所述照明裝置所照明的觀眾圖像，並由所述處理系統合併處理成為在所述顯示裝置上顯示的複合影像。所述的實現系統，其中，所述攝像頭和所述照明裝置設置在觀眾席上方的支架上，並在該支架上設置有導軌，由ー受控的驅動電機控制所述攝像頭及對應照明裝置移動到可捕捉對應觀眾席位置上。所述的實現系統，其中，所述導軌設置為對應照射各個觀眾席的矩陣結構。所述的實現系統，其中，所述處理系統為圖形工作站。所述的實現系統，其中，所述顯示裝置設置為投影機以及與該投影機對應的屏幕。ー種所述實現系統的實現方法，其包括以下步驟
A、通過軟體控制照明裝置照亮對應的觀眾位置，並通過攝像頭獲取該觀眾的影像，實時發送給處理系統；
B、所述處理系統對觀眾的實時影像與主持人的虛擬角色影像進行合成，並發送給顯示裝置進行顯示。
所述的實現方法，其中，所述步驟A中，設置照明裝置和攝像頭在導軌上，並由處理系統控制照明裝置和攝像頭移動到對應觀眾的位置上。所述的實現方法，其中，所述導軌設置為對應觀眾席各觀眾位置的矩陣，並由所述處理系統向所述照明裝置及攝像頭的驅動電機發送位置指令。所述的實現方法，其中，所述處理系統為圖形工作站。所述的實現方法，其中，所述顯示裝置設置為投影機以及與該投影機對應的屏幕。本發明所提供的一種與觀眾實時交互的實現方法及其系統，通過設置用於捕捉觀眾影像的攝像頭及燈光，以及對應的控制程序，實現了對觀眾坐席矩陣內的觀眾進行捕捉的過程，並通過處理系統的處理，形成與主持人的三維虛擬角色進行交互的圖像，並在舞臺上進行播放，實現了觀眾的圖像參與過程。
圖I為本發明與觀眾實時交互的實現方法及其系統中實現過程的示意圖。圖2為本發明與觀眾實時交互的實現系統的導軌示意圖。圖3為本發明與觀眾實時交互的實現方法流程示意圖。
具體實施例方式以下結合附圖，將對本發明的各較佳實施例進行更為詳細的說明。本發明所提供的與觀眾實時交互的實現方法及其系統，如圖I所示，其核心的設置是ー處理系統，該處理系統可以通過與該處理系統通訊連接的攝像頭110和照明裝置獲取對觀眾席上選中的某觀眾圖像，並進行圖像合併處理，與主持人的虛擬角色圖像進行合併，並通過ー顯示裝置進行顯示。該處理系統較好的是採用ー圖形工作站120。所述顯示裝置設置在舞臺上，可以採用大屏幕，例如液晶或等離子，更好的是可以採用投影機131和對應的屏幕132，所述投影機131由所述處理系統即本實施例中的圖形工作站120進行待播放圖像的通訊控制。在本發明所述實現系統中，還可以設置ー監視器140，如圖I所示，將攝像頭捕捉的圖像進行監控，從而方便主持人與觀眾的互動。本發明所述實現系統中，所述攝像頭110和對應的照明裝置可設置在兩個或同一個受控滑塊上，通過驅動電機的驅動在觀眾席220上方的導軌210上滑動(觀眾席採用了省略畫法)，如圖2所示，該導軌210設置在一支架上，通過該支架可以將導軌210設置在天花板上或懸吊在觀眾席上方。該導軌210可以設置成矩陣，每ー節點對應某ー觀眾的照射位置，從而可以通過所述處理系統實現對照明裝置及攝像頭的控制，只需將位置指令發送給驅動電機的控制單元，攝像頭及照明裝置就可以迅速移動到對應的位置，從而照亮對應的觀眾，並由該攝像頭獲取其實時的影像。所述處理系統可以通過無線控制實現向驅動電機控制單元的指令控制。以下就一具體實施例說明本發明與觀眾實時交互的實現方法及其系統，說明如何通過實時視頻將圖像捕抓到舞臺上的顯示屏中，並與主持人的虛擬角色進行實時互動。例如，一群觀眾坐在ー個具有本發明與觀眾實時交互的實現方法及其系統的劇場中，舞臺上設置有顯示屏，並在顯示屏上設置有虛擬角色的顯示和表演；在表演進行過程中，為實現與觀眾的交互，虛擬角色的動作配合主持人的語音可以表述，「我用魔法，請一位觀眾上來和我聊聊天吧。」
然後，在顯示屏中，虛擬角色具有其他的動作，例如手ー揮，就在他旁邊出現ー張魔鏡。然後由操作者或主持人選定ー個觀眾，通過指令，攝像頭和對應的照明裝置就會迅速移動到對應觀眾的照射角度上，通過照明裝置的照亮，並通過攝像頭，將對應觀眾的實時影像進行捕捉，然後通過所述處理系統的圖像處理，將主持人的虛擬角色圖像和觀眾的實時圖像進行合井，並在顯示屏上進行顯示。此時，在顯示屏的魔鏡裡面就出現了觀眾的實時影像，可以通過指向性很強的麥克風同時捕捉觀眾的語音，並同步播放，也可以在觀眾席的座位前方設置隱藏的麥克風，從而可以將觀眾的語音與其影像同歩。當該觀眾看到自己出現在顯示屏上時，會非常驚奇。這時，虛擬角色會受操作者或主持人的控制做出相應動作，例如轉頭，並對著魔鏡裡面的觀眾提出問題「你叫什麼名字，從什麼地方來啊？ 」等等。這樣虛擬角色和觀眾的交互過程就可以很容易的進行下去了。本發明所述處理系統，還可以採用處理能力較強的計算機；所有攝像頭設備及圖像的生產及渲染合併等處理，都由一臺中控計算機(圖形工作站)負責。該處理系統既負責使虛擬角色運動——可通過躲在後臺的主持人通過控制器、觸控螢幕等輸入裝置控制角色的動作，也負責對角色、燈光、場景等環境或背景的三維實時渲染。當主持人按動觸控螢幕上的「抓取觀眾」按鈕時，該圖形工作站的視頻捕抓卡開始工作，將高分辨攝像頭捕抓回來的畫面送到實時渲染的畫面上去，並有預先寫好的程序。本發明在虛擬的三維場景中，在虛擬主持人的身邊，設置ー個物體，通常為ー個多邊形的平面。在為這個平面創建三維材質時，本發明進行特殊的處理，這個材質的貼圖並不是通常的圖片(如Jpeg圖片、BMP圖片、Tif圖片等等)，而是調用系統中圖形捕抓設備(如攝像頭，圖形採集卡等等)所捕捉到的圖像，將系統圖形捕抓設備的視頻影像，當作為ー張貼圖，貼在這個物體上，使得觀眾看到被捕抓到的觀眾出現在這個物體上，併合成到與主持人的虛擬角色形象對應的同一場景中，例如上述具體實施例中的「魔鏡」裡面中去。同時，為了能夠看清觀眾的影像，需要對應設置照明裝置進行補光。此時，所述處理系統即圖形工作站通過其一串ロ送出ー個特定的信號給ー個PLC (可編程邏輯控制器)，由該PLC控制ー個繼電器，對應劇場中預先安裝好的ー個Par燈(舞臺柔光燈)，該Par燈被點亮，從而可以照亮對應的觀眾，由此進行補光，以實現攝像頭所獲取圖像的清晰度和亮度。當然，為減少所述照明裝置的設置成本，可以將照明裝置與攝像頭設置在同一模塊上，該模塊通過受控的一驅動電機驅動在導軌上可移動，通過對導軌上的矩陣節點定位，可以循序移動該攝像頭和照明裝置照亮對應的觀眾，此種控制和實現是在現有技術中常見的矩陣控制原理，因此其通過軟體的實現過程不再贅述。當上述「魔鏡」的橋段結束時，可以通過主持人按動「捕抓結束」的按鈕，實現同樣的流程將對應的照明裝置即Par燈關閉，圖形工作站的程序處理使畫面中的魔鏡及對應觀眾的實時畫面消失。本發明與觀眾實時交互的實現方法及其系統在虛擬角色互動節目中，通過本發明技術可以將觀眾的實時影像放到設置在舞臺的顯示屏上，和虛擬角色站在一起進行對話和、互動等，從而使觀眾在節目中具有很聞的參與感。本發明所述與觀眾實時交互的實現方法及其系統中，在具體實施的劇場內，使用的不是固定位置的攝像頭(機)，而是採用可以被精確遙控位置的攝像頭，本發明所述攝像頭的推拉搖移都可以被精確遙控。之所以可以被精確控制，其原因是本發明所述攝像頭和對應的照明裝置設置在具有矩陣的導軌上，並對在該導軌上的各點位置通過軟體實現了精確的坐標定位，當操作者設置要捕獲的觀眾影像時，只需點擊對應的觀眾位置，所述處理系統即將該觀眾所對應的攝像頭和照明裝置在導軌上的位置進行指令發送，發送給驅動電機的控制器，從而可以迅速將攝像頭和照明裝置移動到對應的位置，並開始工作。
本發明與觀眾實時交互的實現方法及其系統中，在觀眾入場就坐後，操作者或主持人就可以遙控攝像頭，對準候選的觀眾。當遇到需要和多個觀眾進行互動時，還可以將攝像頭的視角位置一一儲存下來，由操作者點擊所需要的觀眾實時影像，方便攝像頭和照明裝置在表演現場迅速移動到位並及時捕獲相應的實時影像。本發明方法和系統中，將攝像頭安裝在了較高的位置，例如從天花板懸垂的支架上，避免了前後觀眾間的遮擋。同時，本發明實現方法和系統中還使用了高亮度的投影機及高增益屏幕，使得投影到屏幕的畫面受劇場環境燈光影響減至最小。同時，還通過處理系統實現了使用中控設備對整個舞檯燈光的控制，使得僅在捕抓觀眾實時影像時，才增加環境燈光亮度，甚至針對某個觀眾位置的亮度。因此，本發明實現方法和系統可以保留環境的亮度，使得捕抓到的觀眾影像能夠維持ー個較高的質量。本發明所述與觀眾實時交互的實現方法中，如圖3所示，其包括以下步驟
A、通過處理系統的軟體控制照明裝置照亮對應的觀眾，並通過攝像頭獲取該觀眾的實時影像，並發送給處理系統進行處理；該處理系統可以但不限於採用圖形工作站的方式，可以對主持人的虛擬角色進行實時渲染處理，並進行顯示，形成具備各種動作的虛擬角色；
B、所述處理系統對觀眾實時影像與主持人的虛擬角色影像進行合成，並發送給顯示裝置進行顯示。由於本發明軟體處理技術使得觀眾可以實時和虛擬角色進行聊天，實時進行互動，因此本發明技術比現有技術中使用的捕抓單幀照片的技術要好得多，並通過可受控在矩陣導軌上移動的攝像頭及受中控設備控制的燈光系統和照明裝置，本發明實現方法和系統解決了攝像頭對觀眾的對位以及照明問題，實現了全新的娛樂系統，方便了觀眾與主持人的實時互動過程和參與。應當理解的是，上述針對本發明各較佳實施例的描述較為具體，並不能因此而理解為對本發明專利保護範圍的限制，本發明的專利保護範圍應以所附權利要求為準。
權利要求
1.一種與觀眾實時交互的實現系統，其包括一用於顯示影像的顯示裝置，該顯示裝置設置在舞臺上；以及一與該顯示裝置相連接的處理系統；其特徵在於，所述處理系統還通訊連接一攝像頭，以及與該攝像頭對應設置的照明裝置，所述攝像頭用於捕捉所述照明裝置所照明的觀眾圖像，並由所述處理系統合併處理成為在所述顯示裝置上顯示的複合影像。
2.根據權利要求I所述的實現系統，其特徵在於，所述攝像頭和所述照明裝置設置在 觀眾席上方的支架上，並在該支架上設置有導軌，由一受控的驅動電機控制所述攝像頭及對應照明裝置移動到可捕捉對應觀眾席位置上。
3.根據權利要求2所述的實現系統，其特徵在於，所述導軌設置為對應照射各個觀眾席的矩陣結構。
4.根據權利要求I所述的實現系統，其特徵在於，所述處理系統為圖形工作站。
5.根據權利要求I所述的實現系統，其特徵在於，所述顯示裝置設置為投影機以及與該投影機對應的屏幕。
6.一種如權利要求I所述實現系統的實現方法，其包括以下步驟 A、通過軟體控制照明裝置照亮對應的觀眾位置，並通過攝像頭獲取該觀眾的影像，實時發送給處理系統； B、所述處理系統對觀眾的實時影像與主持人的虛擬角色影像進行合成，並發送給顯示裝置進行顯示。
7.根據權利要求6所述的實現方法，其特徵在於，所述步驟A中，設置照明裝置和攝像頭在導軌上，並由處理系統控制照明裝置和攝像頭移動到對應觀眾的位置上。
8.根據權利要求7所述的實現方法，其特徵在於，所述導軌設置為對應觀眾席各觀眾位置的矩陣，並由所述處理系統向所述照明裝置及攝像頭的驅動電機發送位置指令。
9.根據權利要求I所述的實現方法，其特徵在於，所述處理系統為圖形工作站。
10.根據權利要求I所述的實現方法，其特徵在於，所述顯示裝置設置為投影機以及與該投影機對應的屏幕。
全文摘要
本發明公開了一種與觀眾實時交互的實現方法及其系統，其系統包括一用於顯示影像的顯示裝置，該顯示裝置設置在舞臺上；以及一與該顯示裝置相連接的處理系統；所述處理系統還通訊連接一攝像頭，以及與該攝像頭對應設置的照明裝置，所述攝像頭用於捕捉所述照明裝置所照明的觀眾圖像，並由所述處理系統合併處理成為在所述顯示裝置上顯示的複合影像。本發明與觀眾實時交互的實現方法及其系統通過設置用於捕捉觀眾影像的攝像頭及燈光，以及對應的控制程序，實現了對觀眾坐席矩陣內的觀眾進行捕捉的過程，並通過處理系統的處理，形成與主持人的三維虛擬角色進行交互的圖像，並在舞臺上進行播放，實現了觀眾的圖像參與過程。
文檔編號H04N7/18GK102685461SQ201210160378
公開日2012年9月19日 申請日期2012年5月22日 優先權日2012年5月22日
發明者何子力 申請人:深圳市環球數碼創意科技有限公司