交互式電子動畫演出的分布式控制的系統和方法

2023-11-03 12:08:27 3

專利名稱：交互式電子動畫演出的分布式控制的系統和方法
技術領域：
該系統和方法涉及交互式演出，並且更具體地涉及交互式電子動畫演出的分布式控制。
背景技術：
電子動畫(animatronic)形象是一種機器人形象、木偶或者其他可運動的對象， 其經由一個或多個機電設備而被動畫化。術語「動畫」意味著被解釋為運動來進行動作。 機電設備包括電子、機械、液動和/或氣動的部分。電子動畫形象在諸如主題公園的娛樂場 所中非常受歡迎。例如，在主題公園的演出、遊樂設施或者其他活動中可以看到電子動畫角 色。電子動畫角色的身體部分(諸如，頭和手臂)通常可以自由運動。數十年中已經創建 了各種電子動畫系統用以控制電子動畫形象。目前，電子動畫演出由集中式系統來控制。這些系統在整個系統中使用精確的同 步時鐘和專用的高速通信鏈路來觸發事件和回放內容。這種已有方法是昂貴的，需要專 用的基礎設施，受制於單點故障，並且難以擴展為大型交互式演出。標準方法包括集中式 演出控制器，通常是計算機，其向各個部件發送信號——使其發聲、發光或者帶來形象的動 作。在劇場中，通常有人「位於控制板處」，其經由諸如音樂設備數字接口(MIDI)、數字復用 (DMX)等協議來觸發事件。在主題公園式的景點中，控制通常來自於專用的控制箱。

發明內容
在一個實施方式中，一種用於交互式演出的分布式控制的系統，該系統包括交互 式演出中的多個演員，至少一個演員包括處理器，以及由該處理器控制的一個或多個電機； 將每個演員互聯的網絡；以及向該網絡提供消息的多個傳感器，其中該消息指示經過處理 的信息；其中每個處理器執行軟體，該軟體按照表示了觀看演出的觀眾的屬性的傳感器消 息、以及指示了相應演員對動作就緒的狀態，來調度和協調對應於該處理器的演員的動作。相應演員的動作可以包括演員的動畫運動。動作可以得到由電機的控制所導致的 演員的至少一個部件的運動。相應演員的動作可以包括輸出聲音或者投影效果。相應演員 的動作可以包括對另一演員做出響應或者對觀眾的成員做出響應。至少一個演員還可以包 括音頻/視頻設備和/或電/磁/機械/聲學/靜態變換器。相應演員的至少一個電機可 以配置用於將該演員轉向附近的觀眾成員，或者將該演員轉向另一演員。多個傳感器之一 可以向每個演員廣播相同的消息。消息可以指示由多個傳感器中的至少一個檢測到的移動 最大的觀眾成員、或者由多個傳感器中的至少一個所檢測到的最靠近特定演員的觀眾成員 的位置。消息可以指示超過尺寸閾值的、正在移動的以及靠近特定演員的觀眾成員的位置。 消息可以指示觀眾中感興趣成員的屬性。該屬性可以包括關於以下至少一個的信息感興 趣成員正在看哪裡，感興趣成員是否在交談，感興趣成員正在說什麼，以及感興趣成員正在 做什麼。該系統還可以包括與該網絡連接的一個或多個演出部件，至少一個演出部件可以包括處理器。演出部件可以包括演出幕布、演出效果設備以及演出照明中的至少一個。多個傳感器中的至少一個可以包括處理器，其配置用於將傳感器數據處理為消息。至少一個 傳感器可以包括數字相機。傳感器之一可以包括遊戲控制器。至少一個消息可以禁止特定 的動作和/或禁止通過使用遊戲控制器選擇的一個或多個演員執行動作。在另一實施方式中，一種交互式演出的分布控制的方法，該交互式演出具有多個機器演員和連接該機器演員的數據通信網絡，該方法包括標識觀看交互式演出的觀眾中 的一個或多個感興趣成員；向所有機器演員廣播表示該一個或多個感興趣成員的屬性的第 一消息；處理該第一消息和特定機器演員的位置，從而響應於該一個或多個感興趣成員來 啟動特定機器演員的動作；以及向其他機器演員廣播表示該特定機器演員的動作的第二消 息，使得其他機器演員可以對該動作做出響應。該方法還可以包括由該其他演員之一確認廣播的第二消息，從而指示了對執行動作就緒。標識一個或多個感興趣成員可以包括處理傳感器數據，從而標識與特定的標準 相匹配的一個或多個成員。標準可以對應於演出觀眾的一個或多個成員的尺寸、速度和位 置中的至少一個。屬性可以包括一個或多個感興趣成員在世界坐標系中的位置。屬性可以 包括有關一個或多個感興趣成員正在做什麼的信息。該方法還可以包括基於一個或多個 感興趣成員正在做什麼，改變特定演員的動作。在另一實施方式中，一種交互式演出的分布式控制的方法，該交互式演出具有多個機器演員以及連接機器演員的數據通信網絡，該方法包括向連接多個機器演員的網絡 提供傳感器消息，其中傳感器消息指示經過處理的信息；以及執行按照表示了觀看演出的 觀眾的屬性的傳感器消息、以及指示了機器演員對動作就緒的狀態，來調度和協調機器演 員的動作的軟體。執行調度和協調機器演員的動作的軟體可以包括調度和協調機器演員的動畫運 動。調度和協調機器演員的動畫運動可以包括控制用於移動機器演員的至少一個部件的 電機。移動機器演員的至少一個部件可以包括將機器演員轉向附近的觀眾成員，或者將機 器演員轉向另一機器演員。向互聯多個機器演員的網絡提供傳感器消息可以包括向每個 機器演員廣播相同的消息。向每個機器演員廣播相同的消息可以包括確定由多個傳感器 中的至少一個檢測到的移動最大的觀眾成員或者由多個傳感器中的至少一個所檢測到的 最靠近特定演員的觀眾成員的位置。向每個機器演員廣播相同的消息包括確定超過尺寸 閾值的、正在移動的以及靠近特定演員的觀眾成員的位置。向每個機器演員廣播相同的消 息可以包括確定觀眾中感興趣成員的屬性。確定觀眾中感興趣成員的屬性可以包括確定 關於以下至少一個的信息感興趣成員正在看哪裡，感興趣成員是否在交談，感興趣成員正 在說什麼，以及感興趣成員正在做什麼。該方法還可以包括將一個或多個演出部件連接至網絡，至少一個演出部件包括 處理器。該方法還可以包括將一個或多個演出部件連接至網絡，至少一個演出部件包括演 出幕布、演出效果設備和演出照明中的至少一個。向網絡提供傳感器消息可以包括處理傳 感器數據從而將其形成到消息中。執行調度和協調機器演員動作的軟體可以包括調度和 協調輸出聲音或投影效果。執行調度和協調機器演員動作的軟體可以包括協調和調度對 另一演員做出響應或者對觀眾成員做出響應。執行調度和協調機器演員動作的軟體可以包 括禁止一個或多個選定的演員執行動作。
在又一實施方式中，一種用於具有多個機器演員的交互式演出的分布控制的系 統，該系統包括用於標識觀看交互式演出的觀眾中的一個或多個感興趣成員的裝置；用 於向所有機器演員廣播表示該一個或多個感興趣成員的屬性的第一消息的裝置；用於處理 該第一消息和特定機器演員的位置的裝置，從而響應於該一個或多個感興趣成員來啟動特 定機器演員的動作；以及用於向其他機器演員廣播表示該特定機器演員的動作的第二消息 的裝置，使得其他機器演員可以對該動作做出響應。 該系統還可以包括用於由該其他演員之一確認廣播第二消息的裝置，從而指示 對執行動作就緒。用於標識一個或多個感興趣成員的裝置可以包括用於處理傳感器數據從 而標識與特定的標準相匹配的一個或多個成員的裝置。標準可以對應於演出觀眾的一個或 多個成員的尺寸、速度和位置中的至少一個。屬性可以包括一個或多個感興趣成員在世界 坐標系中的位置。屬性可以包括有關一個或多個感興趣成員正在做什麼的信息。該系統還 可以包括用於根據一個或多個感興趣成員正在做什麼來改變特定演員的動作的裝置。


圖1是系統的一個實施方式的部件示例配置框圖。圖2是諸如圖1中所示的傳感器子系統的一個實施方式的部件示例配置框圖。圖3是諸如圖1中所示的演員子系統的一個實施方式的部件示例配置框圖。圖4是諸如圖3中所示的演員子系統的操作的示例實施方式的流程圖。圖5是系統的另一實施方式的部件的示例配置框圖。
具體實施例方式以下對某些實施方式的詳細描述給出了對本發明具體實施方式
的各種描述。本發 明可以按照權利要求中限定和涵蓋的多種不同方式來具體化。在本說明書中，對附圖進行 參考，其中類似的部分始終表示為類似的符號。對於在此給出的描述中所使用的術語，並非僅僅因為其與本發明的某些特定實施 方式的詳細描述結合使用，而意在將其以任何受限的或限制性的方式加以解釋。此外，本發 明的實施方式可以包括若干新穎的特徵，其中沒有一個單獨的特徵獨立負責其期望的屬性 或是對於實踐在此描述的發明而言必不可少。系統包括如以下詳細討論的各種模塊、工具和應用。本領域的普通技術人員可以 理解，每個模塊可以包括各種子例程、過程、定義性聲明和宏。每個模塊通常是獨立編譯的， 並且被連結到獨立可執行的程序中。因此，下文對每個模塊的描述是為了方便描述優選系 統的功能。由此，每個模塊所經歷的過程可以任意地重新分配給其他模塊之一、在單個模塊 中合併在一起、或是使其例如在可共享動態連結庫中可獲得。系統模塊、工具和應用可以通過諸如C、C++、Python、BASIC、Visual Basic、 Pascal、Ada、Java、HTML、XML或者FORTRAN的任何程式語言來編寫，並且在諸如Windows的 變形、Macintosh、UNIX、Linux、QNX、VxWorks的作業系統或者其他作業系統的作業系統上執 行。C、C++、Python、BASIC、Visual Basic、Pascal、Ada、Java、HTML、XML 或者 FORTRAN 是工 業標準程式語言，針對該工業標準程式語言可以使用多種商用編譯器來創建可執行代碼。定義
下面提供在描述所公開發明的某些實施方式中使用的多個有用的可能定義。網絡可以涉及跨越任何地理區域的網絡或網絡組合，諸如控制器區域網絡、區域網、廣域網、地區性網絡、國家網絡和/或全球網絡。網際網路是當前全球性計算機網絡的一 個示例。上述術語可以表示硬連線網絡、無線網絡或者硬連線和無線網絡的結合。硬連線 網絡例如可以包括光纖線路、電纜線路、ISDN線路、銅線等。無線網絡例如可以包括蜂窩系 統、個人通信服務(PCS)系統、衛星通信系統、分組無線電系統以及移動寬帶系統。蜂窩系 統例如可以使用碼分多址(CDMA)、時分多址(TDMA)、個人數字電話(PDC)、全球移動通信系 統(GSM)或者頻分多址(FDMA)等。計算機或計算設備可以是允許訪問網絡的、任何處理器控制的設備，包括終端設 備，諸如個人計算機、工作站、伺服器、客戶端、微型計算機、主機計算機、膝上型計算機、個 體計算機的網絡、移動計算機、掌上計算機、手持計算機、電視機頂盒、其他類型的支持Web 的電視、交互式信息亭、個人數字助理、交互式或支持web的無線通信設備、移動web瀏覽器 或其組合。計算機還可以具有一個或多個輸入設備，諸如鍵盤、滑鼠、觸摸板、操縱杆、筆輸 入板、遊戲板等。計算機還可以具有輸出設備，諸如視頻顯示器和音頻輸出。這些計算設備 的一個或多個可以形成計算環境。這些計算機可以是單處理器機器或者多處理器機器。而且，這些計算機可以包括 可尋址存儲介質或者計算機可訪問介質，諸如隨機訪問存儲器(RAM)、電可擦除可編程只 讀存儲器(EEPROM)、可編程只讀存儲器(PR0M)、可擦除可可編程只讀存儲器(EPROM)、硬 盤、軟盤、雷射盤播放器、數字視頻設備、壓縮盤、錄像帶、錄音帶、磁性記錄軌、電子網絡以 及藉助於例如程序和數據來傳輸或存儲電子內容的其他技術。在一個實施方式中，計算機 配備有網絡通信設備，諸如網絡接口卡、數據機或者適用於連接至通信網絡的其他網 絡連接設備。此外，計算機可以執行適當的作業系統，諸如Linux、UNIX、QNX、任意版本的 Microsoft Windows、Apple Mac OS、IBMOS/^2或者其他作業系統。適當的作業系統可以包 括通信協議實現，其處理在網絡上傳遞的所有傳入和發出消息業務。在其他實施方式中，盡 管作業系統可以根據計算機的類型而不同，但是作業系統將繼續提供適當的通信協議，以 建立與網絡的通信鏈路。計算機可以包含程序邏輯或者表示數據和指令的其他基本配置，其致使計算機按 照特定的和預定義的方式進行操作，如在此描述的。在一個實施方式中，程序邏輯可以實 現為一個或多個對象框架或模塊。這些模塊可以配置為駐留於可尋址存儲介質上，或者配 置為在一個或多個處理器上執行。模塊包括但不限於執行特定任務的軟體或硬體部件。由 此，作為示例，模塊可以包括部件(諸如軟體部件、面向對象的軟體部件、類部件和任務部 件)、進程、函數、屬性、過程、子例程、程序代碼段、驅動、固件、微碼、電路、數據、資料庫、數 據結構、表、數組和變量。系統的各部件可以通過諸如以下的機制來彼此通信以及與包括相應計算機的其 他部件通信進程間通信、遠程過程調用、分布式對象接口以及其他各種程序接口。此外，在 部件、模塊和資料庫中提供的功能可以合併為較少的部件、模塊或者資料庫，或者進一步分 為附加的部件、模塊或者資料庫。而且，部件、模塊和資料庫可以實現為在一個或多個計算 機上執行。在另一實施方式中，某些部件、模塊和資料庫可以實現為在一個或多個外部計算 機上執行。
計算設備可以使用各種通信模式和協議來通過網絡進行通信。例如，此類通信模 式可以包括通用串行總線(USB)、火線、紅外信號、藍牙無線通信、IEEE 802.2信號、射頻 信號(諸如，900兆赫或更高的射頻信號)、直通或交叉乙太網纜線、交換分組或套接字傳 輸、令牌環、幀中繼、T-I線路、DS連接、光纖連接、RJ-45和RJ-Il連接、串行管腳連接、超聲 波頻率連接以及衛星通信。其他通信模式和協議也是可行的，並且也在本發明的範圍之內。詳細討論公開了一種計算環境，其為控制電子動畫演出系統提供了比之前所見的更大靈活 性，並且提供了產生栩栩如生的動作以及提供更大程度容錯度的能力。一般地，該計算環境 可以應用於機器人系統，並不限於僅僅是電子動畫系統。下面將參考電子動畫演出系統來描述該計算環境的各個特徵。在一個實施方式 中，計算環境為不同類型的演出提供資源，電子動畫形象可以在這些演出中執行運動的組 合和序列，以產生栩栩如生的運動，諸如響應於演出的觀眾。對交互式演出的分布式控制 可以這樣來實現使每個演出部件智能化，也即，將演出部件與小型計算機或者處理器相關 聯，這允許其感知演出狀態並與其他演出部件通信這兩方面。系統中的每個演出部件可以與小型計算機和本地傳感器相關聯，並且可以使用標 準聯網方法來進行通信。在某些實施方式中，每個部件監測本地環境，包括其自身狀態和演 出狀態二者，並且使用它來確定和遞送演出內容。因此，基於本地可用的信息來進行本地化 決策。某些部件(演員)與遞送演出內容更為相關，其他部件(傳感器)與監測更為相關， 而另一些部件(舞臺管理器)與協調和處理意外事件更為相關。這不是明顯區別，而是各 職責的統一體。儘管該方法可以用來遞送精確的固定演出，其同樣特別適用於管制比較不 嚴格的演出內容。交互包括對演員周圍的進展情況做出響應，即對觀眾到達準確位置和系 統其他部分的狀態的反應，例如，要拾取對象。這一能力還使得系統是容錯的。如果系統部件發生故障，這類似於表演者忘記了 其部分或者出現了錯誤。在此分布式控制的系統中，此類意外事件的結果是一段時間的 消息(對於觀眾而言不可見)，以解決「故障」。例如，不同的演員可以說出下一句臺詞，或 者可以跳過部分演出，或者添加一句臺詞以進行補救。注意，系統將感知到其是「正在解 決」(working around)系統的各部分，或者其在某些方式上沒有完美地工作。在主題公園 環境中，期望演出系統全天可操作，經常多達16個小時不停，繼而在夜間關閉和檢修。可以 到那時再解決這些非致命錯誤。相同的能力允許通過對觀眾和其他本地事件做出響應來改進和增強演出。在每個 部件執行其任務時，其向其他部件發送消息，告知它們其意圖(正在為不遠的將來而計劃 的動作)或者動作(例如，已經啟動的演出部分)。這允許協調的演出。注意，這明顯不同 於現有技術，現有技術實際上是將每個人的時鐘同步到公共時間、或者由單個控制器告知 每個表演者何時開始說出每個以及所有臺詞。演出部件基於其內部狀態來響應消息。由於可能發生的細微變化，這提供了較為 簡單且更加容錯的控制方法，並且看上去更為「自然」。諸如照相機的傳感器可以向電子動 畫演員饋送信息。在某些實施方式中，該信息不是原始的傳感器讀取信息，而是關於觀眾以 及系統其他部分的響應的經處理信息。因此，傳感器信息變在網絡四處發送的另一類消息。 傳感器本身也具有監測其自身狀態以及通知系統其他部分的某些能力。這例如允許演員(其通常等待指示觀眾成員已經靠近該演員的傳感器輸入)在等待特定的時間量之後僅決定說出一句臺詞，因為看起來傳感器損壞了。圖1示出了一個示例演出系統100，其配置用於以交互式栩栩如生方式的不同類 型演出的分布式控制(在某些實施方式中，以實時方式)。演出可以是諸如演員#1(110)、 演員#2(120)、演員#3(130)、演員#4(140)或演員#N(150)的一個或多個電子動畫的運動 的序列，其由演出系統100產生動畫。在某些實施方式中，每個演員都雙向連接至網絡160， 諸如控制器區域網絡(CAN)或者傳輸控制協議/網際網路協議(TCP/IP)網絡。CAN是廣播、 差分串行總線標準，其被設計為在電磁噪聲環境中是魯棒的。可以在其他環境中使用其他 類型的網絡(諸如之前所描述的)。諸如傳感器#1(170)或傳感器測(180)的一個或多個 傳感器也雙向連接至網絡160。如圖1中的示例所示，傳感器170通過信號路徑172、或者傳感器180通過信號路 徑182向網絡160發送響應於傳感器數據而生成的消息。在圖1所示的一個實施方式中， 網絡160通過信號路徑112向演員1傳遞消息，通過信號路徑122向演員2傳遞消息，通過 信號路徑132向演員3傳遞消息，通過信號路徑142向演員4傳遞消息，以及通過信號路 徑152向演員N傳遞消息。如圖1中的示例所示，演員#1(110)可以通過信號路徑114向 網絡160廣播消息，以便通過信號路徑124分發至演員#2(120)，通過信號路徑134分發至 演員#3 (130)，通過信號路徑144分發至演員#4(140)以及通過信號路徑154分發至演員 謝(150)。在一個實施方式中，使用實時賦值的腳本語言來描述演出元素。演出元素是戲劇 元素，可以從較小的動作和姿勢變化至複雜的交互式運動。這些演出元素包含針對演員 (諸如，演員110)的動作集合，以及由演出部件(未示出)控制的音頻和其他計算機，諸如 照明、視頻、幕布以及效果設備(例如，煙霧機)。演出元素通常使用腳本語言通過組合較為 簡單的部件演出元素以產生複雜的、栩栩如生的動作來構建。一類演出是木偶演出。木偶演出是受操作者控制的動作序列，其中操作者向演出 系統100人工輸入演員(例如演員110)的期望運動。在用戶人工輸入每個期望動作之後， 演員110以實時的方式產生相應的動作。演出系統100指示演員110即時產生期望動作， 或者在用戶人工輸入期望運動命令之後的短時間之後產生期望動作。因此，演員看起來是 按照用戶向演出系統100輸入的期望動作進行移動。另一類演出是固定演出。固定演出是預先製作動畫的序列的記錄，其可以回放一 次、由觸發器重複地激活或是循環繼續。操作者可以選擇固定演出，並且為演員製作動畫， 而不必像提供木偶指令時操作者要做的那樣在進行演出的同時輸入每個運動。存在用於創 建固定演出的幾種不同方式。在一個實施方式中，固定演出是木偶操作運動序列的用戶的 記錄。在另一實施方式中，固定演出是用戶通過圖形用戶界面(GUI)輸入的運動的記錄。在 另一實施方式中，動作是從其他源得出的，諸如通過分析已錄製語音而得出嘴部位置。在另 一實施方式中，運動數據是通過來自動畫影片的動畫數據得出的。在另一實施方式中，使用 這些方法的組合。在一個實施方式中，用於固定演出的指令存儲在計算機可讀介質上。在一個實施方式中，用戶通過按鈕或者其他類型的選擇器(未示出)輸入對固定 演出的選擇，其指示演出系統100按照選定的固定演出的預先錄製動作來為電子動畫演員 (例如，演員110)製作動畫。可以提供多個按鈕，每個按鈕表示不同的固定演出選擇。在另一實施方式中，用戶利用觸控螢幕顯示器來輸入對固定演出的選擇。在另一實施方式中，用戶通過轉盤來輸入對固定演出的選擇。在另一實施方式中，用戶通過向與語音識別軟體結合 操作的麥克風的語音命令，來輸入對固定演出的選擇。演出系統100為用戶提供同時按照固定演出和木偶演出來為演員(例如，演員 110)製作動畫的能力。如果固定演出向演員的一個致動器或者電機提供指令，同時木偶序 列向不同的致動器提供指令，則兩個指令同時執行，以給出兩個不同的身體部分同時運動 的表現。如果固定演出和木偶演出向相同的致動器提供指令，則計算該演員的合成動作。又一類演出包括過程化動畫，其類似於但又不同於之前描述的腳本語言。在過程 化動畫中，動作是由軟體程序計算的。存在兩種被使用的典型示例。第一示例是「即興表 演」(或稱空閒序列)，其中如果電子動畫形象沒有對任何其他事物做出響應，則該電子動畫 形象隨機地四處查看。這是為了防止電子動畫形象看上去「死板」。過程化動畫的另一示例 是嘴唇合成語音能力，這與之前描述的木偶控制相關聯。人類演員向麥克風中說出的臺詞 基於信號的振幅和音高被進行處理。計算電子動畫形象的嘴部位置，並且將音頻延遲幾十 毫秒，從而合成動作和音頻。該特徵允許角色即時地與客人進行交談，同時執行木偶、封裝 和過程化動畫。參考圖2，將描述一個示例傳感器子系統200，諸如圖1中所示的傳感器170或者 180。傳感器子系統200通過諸如可從Gumstix (http://gumstix. com)獲得的netMMC擴展 板的通信輸入/輸出部件210與網絡160進行數據通信。網絡160可以包括網絡交換機， 諸如可從Netgear獲得的型號FSl 16的16埠 10/100桌面交換機。通信輸入/輸出210 與傳感器處理部件220連接，在一個實施方式中，該傳感器處理部件220可以是計算機。一 個或多個傳感器(諸如，一個或多個相機230、操作杆或遊戲板240或者其他設備)連接至 傳感器處理部件220。在傳感器子系統200的一個示例中，在一個實施方式中(參見圖5的570)，可從 Unibrain(http//www. unibrain. com/Products/VisionImg/Fire_i_BC. htm)獲得的具有 4. 3mm鏡頭的Fire_i數字板相機可以作為傳感器。這些相機可以連接至火線集線器，諸如 可從SIIG獲得的NN-H60112集線器，繼而由諸如可從Hewlett-Packard獲得的型號xw8000 的計算機進行處理。四個火線相機可以配置在演出區域天花板中，其向下注視觀眾成員或 者客人。相機的輸出由單個計算機使用公知的「對象跟蹤」算法進行處理，並且合併到單個 集成視圖中以找到區域中的「感興趣」對象(人)。在某些實施方式中，這些對象繼而基於 其與演出演員的接近程度(距離)、其尺寸以及其速度進行排序。在一個實施方式中，使用 自組織(ad hoc)量度來基於對象的尺寸(必須大於閾值)、速度(越高越好)和位置(與 所考慮演員的接近程度，越近越好)進行排序。在此實施方式中，排序是位置、尺寸和速度 的乘積，其在邏輯上可以認為是「與」操作。在某些實施方式中，相機朝下以跟蹤客人位置。 在其他實施方式中，相機可以朝前，特別地，進行人臉檢測和跟蹤。在上述傳感器子系統200中，一旦標識了感興趣對象，則在消息中通過網絡向演 員廣播關於該對象的信息。在某些實施方式中，該信息包括感興趣對象的位置。在其他實 施方式中，該信息可以包括以下一個或多個關於感興趣對象正在看哪裡(例如，方向)、對 象是否正在交談、對象正在說什麼以及對象正在做什麼的數據。作為傳感器子系統200的另一示例，可從Logitech獲得的雙重動作遊戲板可以連接至計算機(諸如可從Gateway獲得的型號E5400計算機)的USB埠。遊戲板可以用來 控制演員的木偶和/或固定演出。某些功能或動作可以打開/關閉，這可以針對通過遊戲 板選擇的一個或多個演員來完成。遊戲板可以用來觸發(啟動)特定的演出。其他功能可 以通過遊戲板在各個時刻進行控制。例如，可以通過遊戲板操縱杆之一來直接控制演員之 一的頭部轉向(當操作杆開始移動時，控制將軟切換(cross fade)至遊戲杆，並且在操作 杆停止移動一秒或更長時間之後淡出)。可以觸發固定動畫(例如，「再見」)。在某些實施方式中，傳感器子系統200向每個演員和演出部件廣播相同的信息， 這允許每個演員在該演員認為合適時使用該信息。例如，相機報告對象(例如，觀眾成員) 在世界坐標中的位置。由於每個演員知道其自己在世界坐標中的位置，演員可以(如果它 這樣選擇的話)使用這兩個信息片段來在客人或觀眾成員四處走動時轉向並注視他們。在 某些實施方式中，系統可以使用絕對坐標、相對坐標或者絕對坐標和相對坐標的結合來進 行操作。例如，為了廣播感興趣對象的位置，本地計算支持對象的相對運動。在其他傳感器子系統中可以想到其他類型的傳感器。其他傳感器可以包括 麥克風
〇單個(水平觸發器，語音識別)〇使用多個麥克風的聲音本地化· IR(紅外)傳感器(運動傳感器，阻斷光束(break beam)) 超聲波鄰域傳感器(距離傳感器) 地毯(壓力傳感器)眷雷射測距儀(例如，http //www. hokuyo-aut. jp/products/urg/urg. htm)在某些演出和景點中，存儲可獲得的大量傳感器數據信息，並且其可以被發送至 網絡以便向演出部件進行廣播。信息可以包括與以下有關的數據 跟蹤傳感器(例如，騎乘遊樂設施的車輛何時通過)，其中某些騎乘遊樂設施具 有RFID (射頻標識符)用於識別車輛，或者各個客人具有唯一的RFID標籤因此可以標識客 人的系統； 環境傳感器(例如，門何時關閉，客人何時在區域中(諸如出於安全考慮))； 與其他演出部件的同步(例如，視頻、音頻、照明、效果(例如，水霧噴射器)、舞 臺立體布景(例如，幕布、門)、時間事件)，其通常使用SMPTE時間碼；· 「控制塔」輸入，其中騎乘遊樂設施通常具有控制室或者控制塔區域，傳統上其 足夠高以查看整個騎乘遊樂設施。在塔區域中，通常存在用於開始/停止和/或啟用/禁 用騎乘遊樂設施的控制，並且經常具有調派車輛或者個體效果的控制。參考圖3，將描述演員子系統300的一個示例。在某些實施方式中，演員子系統300 可以是機動化的手提木偶，包括小型嵌入式計算機、多個電機以及具有揚聲器或其他變換 器的放大器。演員子系統300可以通過網絡(例如CAN)與其他演員子系統300通信。在一個實施方式中，演員子系統300包括用來與網絡160 (圖1)通信的通信輸入 /輸出部件310。通信輸入/輸出部件310連接至計算機或處理器320或者與之關聯。在 某些實施方式中，計算機320包括輸入響應邏輯模塊322，其從通信輸入/輸出部件310接 收輸入，並且向行為引擎324提供輸出。在某些實施方式中，輸入響應邏輯模塊322可以是 諸如C、C++、C#、Python和Java等軟體語言的switch聲明。下文將結合圖4來描述行為引擎324所執行的某些示例操作。行為引擎324提供諸如電機控制330、聲音340和其他 輸出350的輸出，以控制演員的動作。例如，電機控制330控制演員的電機332，使得演員 可以運動演員的部分(諸如手臂或者嘴)、旋轉整個演員以及其他動作。類似地，行為引擎 324的聲音340輸出驅動放大器和揚聲器324。在計算機320中，行為引擎324向輸出隊列 和狀態發布模塊326發送輸出，模塊326進一步與通信輸入/輸出部件310通信，從而向網 絡160(圖1)發送消息。在一個實施方式中，演員子系統300可以包括可從Gumst ix (http //gumstix. com)獲得的計算機子系統320，其具有Gumstixconnex 400xm計算機主板；以及Gumstix roboaudio-th數字和模擬I/O、R/C伺服電機控制、音頻輸出。通信輸入/輸出部件310 可以是netMMC 10/100網絡、也可以是從Gumstix獲得的MC存儲卡。電機332可以是 nj 從 Hite c (http //www. hitecrcd. com/servos/show ？ name = HS-625MG) ^t W M ^ HS-625MG。音頻子系統340可以包括可從Texas Instruments獲得的TPA 3001D1音頻放 大器，以及可從AuraSound獲得的型號NSW1-205-8A擴音器。在某些實施方式中，當演員子系統300未被命令做任何事時，其轉向並且注視觀 眾(對象)中「最感興趣」的客人或成員。當例如由遊戲板啟用時，作為演員子系統300之 一的藍色狗木偶可以在對象接近(例如，首次進入1.5內)時說「餵」。在一個實施方式中，存在三個電子動畫演員子系統300，其包括三個木偶鳥 (Bird)、藍狗(Blue)和粉狗(Pink)。木偶通常注視正在說話的木偶。示例腳本可以如下Blue :Alright everyone, just like we rehearsed. Welcome...Pink :toBird :theBlue :0penPink :HouseBird :eh. . . , from, eh, never mind,...Blue :Birdy, you messed it up ！Bird :0kay, let' s start again, one more time.Blue :No no, we ruined it, it' s over.Bird Start again, welcomeBlue :toPink :theBird :0penBlue :HousePink :fromBird :RBlue :andPink :DBird :That was pretty good.Blue :That was pretty goodPink :Hee, hee, hee, hee.
參考圖4，將描述由行為引擎324執行的某些示例操作的演員過程400的流程圖。 表演者在其演出時向其他表演者發送信息(廣播)，以允許或者請求其他表演者做出響應。 在某些實施方式中，表演者是演員子系統300 (圖3)，但是在其他實施方式中，表演者可以 是人或者人和演員子系統300的結合。如果正在演出的表演者期望腳本化響應(諸如說出 的臺詞或者一段演出)，其中該腳本或響應被稱為「節(beat)」，則這在進行演出的同時進 行協商(例如，執行電握手)。
過程400開始於狀態402，其等待特定演員開始演出(諸如，演出節)的提示。移 動到狀態404，過程400廣播演員準備進行演出節。前進到狀態406，特定的演員開始進行 演出節。繼續到狀態408，過程400詢問預期的下一表演者你能夠演出嗎？進行到決策狀 態410，過程400通過接收到的響應來確定下一表演者是否能夠演出。如果下一表演者能夠 演出，則過程400前進到狀態420，在此，特定演員完成演出當前的演出節。在狀態420完成 之後，過程400移動到狀態422，廣播特定演員完成了演出節，並且提示下一節。返回對決策狀態410的討論，如果下一表演者無法演出，則過程400前進到狀態 430，並且廣播針對下一表演者的呼叫。繼續到決策狀態432，過程400確定是否接收到了 對廣播呼叫的至少一個響應。如果沒有接收到對廣播呼叫的至少一個響應，過程繼續到狀 態434，在此確定不存在下一表演者。移動到狀態436，過程400可選地相應地修改或者中 止當前演出。前進到狀態438，過程400移動到對最後節的「緊急情況」響應。這例如可以 是代替另一表演者諸如說出(播放)一個詞(例如，「哦」)，或者確認需要幫助。一般地，緊急情況可以表示不是演員所期望的幾乎所有事情。例如，如果過程400 開始節，嘗試對下一表演者排隊，然而該下一表演者不可用(或者沒有響應)，這可以被認 為小的緊急情況。如果過程400廣播消息並且期望多個響應，但是繼而沒有收到任何響 應，這是一種壞情況，並且可以認為是主要的緊急情況(例如，所有其他機器人演員都死 了？)。緊急情況還可以包括觀眾響應。如果演員正在與觀眾中的某些人交談，而這些人 在演員正在說話時轉身離開，這將是緊急情況，系統可以考慮打斷演出節，並且響應於觀眾 走開而說些什麼。對於在狀態438中使用的特定響應，取決於各種因素，系統可以使用各種 不同類別的響應。例如，如果觀眾中沒有人對於演員的笑話發笑，演員可以做出緊急情況響 應，諸如「嘿，這裡有人在嗎？ 」或者類似的臺詞。針對預計緊急情況的其他類別響應可以包 括應對詰責之人，其他演員忘詞或者下一句不可獲得，以及一般性或未定義的失敗，例如 演員可以說「咳！真不可思議！」，或者試圖岔開話題或者通過說「好的，好的，...怎麼樣」 來掩飾麻煩並繼續。返回對決策狀態432的討論，如果接收到了對廣播呼叫的至少一個響應，過程400 繼續到狀態440，並且從回復廣播呼叫的表演者中選擇下一表演者。前進到狀態442，過程 400向所選的下一表演者發送消息，以驗證表演能力。前進到決策狀態444，過程400通過 接收到的響應來確定所選表演者是否能夠表演。如果所選的表演者能夠表演，過程400移 動到狀態420，在此特定的演員完成表演當前的演出節。然而，如果所選的表演者不能表演， 過程400繼續到上文所述的狀態434。圖5示出了另一示例演出系統500，其配置用於交互式栩栩如生方式(在某些實施 方式中，以實時方式)的不同類型演出的分布式控制。演出的一個或多個客人505可以觀 看一個或多個電子動畫，諸如演員510 (視頻顯示器)、演員520 (電子動畫形象)以及演員530(電子動畫木偶)，其由演出系統500製作動畫。在某些實施方式中，每個演員都雙向連 接至網絡560，諸如控制器區域網絡(CAN)、傳輸控制協議/網際網路協議(TCP/IP)網絡或者 其他類型網絡(諸如之前描述的)。諸如傳感器570 (對象跟蹤)、傳感器580 (臉部跟蹤) 和傳感器590 (舞臺管理器)的一個或多個傳感器也雙向連接至網絡560。
演員510、520和530是上文結合圖3描述的演員子系統300的實施方式的示例。 例如，演員520包括由電機526控制並且具有揚聲器(以及可選的放大器)524的電子動畫 形象528。計算機522連接至網絡560，並且分別為電子動畫形象電機526和揚聲器524提 供電機控制輸出和聲音輸出。傳感器子系統570、580和590是上文結合圖2描述的傳感器子系統200的實施方 式的示例。例如，傳感器570執行對象跟蹤，並且包括連接至集線器576的四個相機571、 572、573和574。集線器576還連接至與網絡560互聯的計算機578。傳感器590充當舞臺 管理器，並且特別地充當演員的控制臺，並且包括同與網絡560互聯的計算機592通信的操 縱杆(或者其他控制器，諸如遊戲板)594。舞臺管理器590可以用來控制演員的木偶和/ 或固定演出，並且可以打開和/或關閉某些功能或動作，包括開始特定的演出。系統100可以在主題公園或者其他類型的娛樂或購物場所中的各種設置中使用。 示例包括使用演員子系統來娛樂排隊的或者櫥窗前的客人或者顧客；在特定區域中或者乘 騎娛樂設施或者景點入口處的演出，諸如魔術王國中的提基神殿(在新的管理之下)，演員 在此表演固定的演出；以及寵物公園，其具有與客人交互以及彼此交互的演員子系統。Mlt儘管上文已經記載了特定的塊、部分、設備、功能和模塊，但是本領域技術人員將 認識到，存在多種方式來劃分系統，並且存在多種部分、部件、模塊或功能可以替代上文所 列出的那些。儘管上文已經示出、描述和指出了適用於各種實施方式的本發明的基本新穎特徵 的詳細描述，但是將會理解，在不脫離本發明意圖的情況下，本領域技術人員可以對系統的 形式和細節進行各種省略、替換和改變。
權利要求
一種用於交互式演出的分布式控制的系統，所述系統包括所述交互式演出中的多個演員，至少一個所述演員包括處理器，以及由所述處理器控制的一個或多個電機；將每個所述演員互聯的網絡；以及向所述網絡提供消息的多個傳感器，其中所述消息指示經過處理的信息；其中每個處理器執行軟體，所述軟體按照表示了觀看演出的觀眾的屬性的傳感器消息、以及指示了相應演員對動作就緒的狀態，來調度和協調對應於所述處理器的演員的動作。
2.根據權利要求1所述的系統，其中所述相應演員的動作包括所述演員的動畫運動。
3.根據權利要求2所述的系統，其中所述動作產生由所述電機的控制所導致的所述演 員的至少一個部件的運動。
4.根據權利要求1所述的系統，其中所述相應演員的動作包括輸出聲音或者投影效^ o
5.根據權利要求1所述的系統，其中所述相應演員的動作包括對另一演員做出響應或 者對觀眾的成員做出響應。
6.根據權利要求1所述的系統，其中至少一個所述演員還包括音頻/視頻設備和/或 電/磁/機械/聲學/靜態變換器。
7.根據權利要求1所述的系統，其中所述相應演員的至少一個電機配置用於將所述演 員轉向附近的觀眾成員，或者將所述演員轉向另一演員。
8.根據權利要求1所述的系統，其中所述多個傳感器中的一個向每個演員廣播相同的 消息。
9.根據權利要求8所述的系統，其中所述消息指示由所述多個傳感器中的至少一個檢 測到的移動最大的觀眾成員、或者由所述多個傳感器中的至少一個所檢測到的最靠近特定 演員的觀眾成員的位置。
10.根據權利要求8所述的系統，其中所述消息指示超過尺寸閾值的、正在移動的以及 靠近特定演員的觀眾成員的位置。
11.根據權利要求8所述的系統，其中所述消息指示觀眾中感興趣成員的屬性。
12.根據權利要求11所述的系統，其中所述屬性包括關於以下至少一個的信息所述 感興趣成員正在看哪裡，所述感興趣成員是否在交談，所述感興趣成員正在說什麼，以及所 述感興趣成員正在做什麼。
13.根據權利要求1所述的系統，還包括與所述網絡連接的一個或多個演出部件，至少 一個所述演出部件包括處理器。
14.根據權利要求13所述的系統，其中所述演出部件包括演出幕布、演出效果設備以 及演出照明中的至少一個。
15.根據權利要求1所述的系統，其中所述多個傳感器中的至少一個包括處理器，其配 置用於將傳感器數據處理到所述消息中。
16.根據權利要求1所述的系統，其中至少一個所述傳感器包括數字相機。
17.根據權利要求1所述的系統，其中所述傳感器之一包括遊戲控制器。
18.根據權利要求17所述的系統，其中至少一個所述消息禁止特定的動作和/或禁止 通過使用所述遊戲控制器選擇的一個或多個演員執行動作。
19.一種交互式演出的分布控制的方法，所述交互式演出具有多個機器演員和連接所 述機器演員的數據通信網絡，所述方法包括標識觀看所述交互式演出的觀眾中的一個或多個感興趣成員；向所有所述機器演員廣播表示所述一個或多個感興趣成員的屬性的第一消息；處理所述第一消息和特定機器演員的位置，從而響應於所述一個或多個感興趣成員來 啟動所述特定機器演員的動作；以及向其他機器演員廣播表示所述特定機器演員的所述動作的第二消息，使得所述其他機 器演員可以對所述動作做出響應。
20.根據權利要求19所述的方法，還包括由所述其他演員之一確認廣播的所述第二 消息，從而指示對執行動作就緒。
21.根據權利要求19所述的方法，其中標識所述一個或多個感興趣成員包括處理傳感 器數據，從而標識與特定的標準相匹配的一個或多個成員。
22.根據權利要求21所述的方法，其中所述標準對應於演出觀眾的一個或多個成員的 尺寸、速度和位置中的至少一個。
23.根據權利要求19所述的方法，其中所述屬性包括所述一個或多個感興趣成員在世 界坐標系中的位置。
24.根據權利要求19所述的方法，其中所述屬性包括關於所述一個或多個感興趣成員 正在做什麼的信息。
25.根據權利要求24所述的方法，還包括基於所述一個或多個感興趣成員正在做什 麼，改變所述特定演員的動作。
26.—種交互式演出的分布式控制的方法，所述交互式演出具有多個機器演員以及連 接所述機器演員的數據通信網絡，所述方法包括向互聯所述多個機器演員的所述網絡提供傳感器消息，其中所述傳感器消息指示經過 處理的信息；以及執行軟體，所述軟體按照表示了觀看所述演出的觀眾的屬性的所述傳感器消息、以及 指示了所述機器演員對動作就緒的狀態，來調度和協調所述機器演員的動作。
27.根據權利要求26所述的方法，其中執行調度和協調機器演員的動作的所述軟體包 括調度和協調所述機器演員的動畫運動。
28.根據權利要求27所述的方法，其中調度和協調機器演員的動畫運動包括控制用 於移動所述機器演員的至少一個部件的電機。
29.根據權利要求28所述的方法，其中移動所述機器演員的至少一個部件包括將所 述機器演員轉向附近的觀眾成員，或者將所述機器演員轉向另一機器演員。
30.根據權利要求26所述的方法，其中向互聯所述多個機器演員的所述網絡提供傳感 器消息包括向每個機器演員廣播相同的消息。
31.根據權利要求30所述的方法，其中向每個機器演員廣播相同的消息包括確定由 多個傳感器中的至少一個檢測到的移動最大的觀眾成員、或者由所述多個傳感器中的至少 一個所檢測到的最靠近特定演員的觀眾成員的位置。
32.根據權利要求30所述的方法，其中向每個機器演員廣播相同的消息包括確定超 過尺寸閾值的、正在移動的以及靠近特定演員的觀眾成員的位置。
33.根據權利要求30所述的方法，其中向每個機器演員廣播相同的消息包括確定所 述觀眾中感興趣成員的屬性。
34.根據權利要求33所述的方法，其中確定所述觀眾中的感興趣成員的屬性包括確定 關於以下至少一個的信息所述感興趣成員正在看哪裡，所述感興趣成員是否在交談，所述 感興趣成員正在說什麼，以及所述感興趣成員正在做什麼。
35.根據權利要求26所述的方法，還包括將一個或多個演出部件連接至所述網絡，至 少一個所述演出部件包括處理器。
36.根據權利要求26所述的方法，還包括將一個或多個演出部件連接至所述網絡，至 少一個所述演出部件包括演出幕布、演出效果設備和演出照明中的至少一個。
37.根據權利要求26所述的方法，其中向所述網絡提供傳感器消息包括處理傳感器 數據從而將其形成到所述消息中。
38.根據權利要求26所述的方法，其中執行調度和協調機器演員動作的所述軟體包 括調度和協調輸出聲音或投影效果。
39.根據權利要求26所述的方法，其中執行調度和協調機器演員動作的所述軟體包 括協調和調度對另一演員做出響應或者對所述觀眾的成員做出響應。
40.根據權利要求26所述的方法，其中執行調度和協調機器演員動作的所述軟體包 括禁止一個或多個選定的演員執行動作。
41.一種用於對具有多個機器演員的交互式演出進行分布控制的系統，所述系統包括用於標識觀看所述交互式演出的觀眾中的一個或多個感興趣成員的裝置；用於向所有所述機器演員廣播表示所述一個或多個感興趣成員的屬性的第一消息的裝置；用於處理所述第一消息和特定機器演員的位置的裝置，從而響應於所述一個或多個感 興趣成員來啟動所述特定機器演員的動作；以及用於向其他機器演員廣播表示所述特定機器演員的所述動作的第二消息的裝置，使得 所述其他機器演員對所述動作做出響應。
42.根據權利要求41所述的系統，還包括用於由所述其他演員之一來確認廣播的所 述第二消息的裝置，從而指示對執行動作就緒。
43.根據權利要求41所述的系統，其中用於標識所述一個或多個感興趣成員的裝置包 括用於處理傳感器數據從而標識與特定標準相匹配的一個或多個成員的裝置。
44.根據權利要求43所述的系統，其中所述標準對應於所述演出觀眾的一個或多個成 員的尺寸、速度和位置中的至少一個。
45.根據權利要求41所述的系統，其中所述屬性包括所述一個或多個感興趣成員在世 界坐標系中的位置。
46.根據權利要求41所述的系統，其中所述屬性包括關於所述一個或多個感興趣成員 正在做什麼的信息。
47.根據權利要求46所述的系統，還包括用於根據所述一個或多個感興趣成員正在做什麼來改變所述特定演員的動作的裝置 。
全文摘要
公開了一種交互式電子動畫演出的分布式控制的系統和方法。系統(100)包括多個電子動畫演員(110、120、130、140、150)，至少一個演員包括處理器(320)以及由處理器控制的一個或多個電機(332)。該系統還包括將每個演員互聯的網絡(160)，以及向網絡提供消息的多個傳感器(170、180)，其中消息指示經過處理的信息。每個處理器執行軟體，該軟體按照表示了觀看演出的觀眾(505)的屬性的傳感器消息、以及指示了相應演員對動作就緒的狀態，來調度和協調對應於處理器的演員的動作。相應演員的動作可以包括演員的動畫運動，對其他演員做出響應和/或對觀眾的成員做出響應。動作可以產生由電機的控制所導致的演員的至少一個部件的運動。
文檔編號A63G31/00GK101801483SQ200880106575
公開日2010年8月11日 申請日期2008年9月11日 優先權日2007年9月12日
發明者A·威蘭 申請人:迪士尼企業公司