圖形顯示裝置和同步重放方法以及聲像同步重放裝置的製作方法
2023-06-22 21:08:01 2
專利名稱：圖形顯示裝置和同步重放方法以及聲像同步重放裝置的製作方法
技術領域：
本發明涉及對計算機製圖(下面稱為CG)進行顯示的裝置。具體地說，涉及在伺服器和終端之間進行通信，從而在終端側使音頻數據和視頻數據同步重放的圖形顯示裝置以及獨立裝置中的聲像(AV)同步重放裝置。
背景技術：
在電影和電視遊戲機等領域中盛行使用CG。
例如，在三維CG中，歷來立體圖符往往具有由骨和關節組成的骨骼模型。圖40示出了人體的骨骼模型的一例。
通過對該骨骼模型的周圍由折線構成的手、腳立體圖符的各個部位附以肌肉，在該折線的表面附有結構特徵，對立體圖符進行眾所周知地顯示。這裡，將以折線構成的各個部位和表面結構特徵合稱為形狀數據。
並且，藉助於將活動該骨骼模型的關節的指示(即動作)提供給微型計算機中，實現立體圖符的活動。近年來，由於國際網際網路的普及，一般地通過網絡進行CG活動圖像通信。作為用國際網際網路的CG活動圖像的描述語言，普及的有VRML(Virtual Reality Modeling Language，虛擬實境模型語言)。
為了顯示活動圖像，需要用於顯示三維立體圖符的形狀數據和用於使該顯示活動圖像的動作。用VRML並利用國際網際網路將形狀數據和動作從伺服器傳輸到終端。
終端對接收到的數據用VRML瀏覽器顯示CG活動圖像。但是，在這種方式中，因將形狀數據和動作從伺服器傳輸到終端，所以有增大數據傳輸量、增長數據的傳輸時間的問題。
在電影和電視遊戲機等領域盛行使用CG，最近，不僅CG的圖像數據，而且同時重放與其相配的音樂的CG作品大量出現。作為與這種CG和聲音相關的技術，有日本特開平8-212388號公報公開的三維圖像處理裝置。
這是規定開始時刻和結束時刻的CG數據與聲音數據相關連進行重放的圖像處理裝置。Cs、Ce分別表示CG的數據的開始時刻、結束時刻。As、Ae分別表示聲音的數據的開始時刻、結束時刻。對聲音的重放時間(Ae-As)和CG的重放時間(Ce-Cs)進行比較，在不一致的場合由下式算出聲音重放中使用的速率，並根據該速率重放聲音。
速率=原來的速率×(Ae-As)/(Ce-Cs)這樣，藉助於利用與CG的重放時間的相對比，調整聲音的速率，實現使重放時間不同的CG和聲音同步並進行重放。
但是，在前述的以往的技術中，雖然能重放一定速率的聲音數據，但不能在曲中與速率變化的樂曲數據同步。此外，由於卡拉OK的音調控制操作等，在演奏途中突然地變更曲子的速率的場合，可能破壞同步。此外，在進行快進和倒放等的特殊重放的場合，也可能破壞同步。
發明概述鑑於前述的課題，本發明的目的在於提供能減少從伺服器通過網絡通信的CG數據的數據傳輸量，而且能使在終端顯示的立體圖符動作流暢的圖形顯示裝置。
本發明的目的還在於提供能使速率在曲中變化的歌曲和圖像同步進行重放，並且，即使在歌曲的速率突然變更的場合和特殊重放中，也能使歌曲和圖像同步進行重放的AV同步重放裝置。
本發明的第1發明的圖形顯示裝置，其特徵在於，在伺服器上包括通過網絡向終端發送記載動作的組合順序的腳本數據的數據發送手段，在終端上包括接收由所述數據發送手段發送的腳本數據的數據接收手段；顯示立體圖符所需的形狀資料庫；使立體圖符動作所需的動作資料庫；按照記載在由所述數據接收手段接收到的腳本數據中的順序，切換動作並顯示所述立體圖符的動作切換描繪手段；在所述切換繪畫手段切換動作時校正前後動作使動作能流暢顯示的動作自動校正手段。
即使各個動作沒有保持中心姿勢，也能使各個動作之間自然連接，並顯示CG活動圖像。
本發明的第2發明的圖形顯示裝置，其特徵在於，在本發明的第1發明中，
在伺服器上包括通過網絡發送校正數據發送手段發送的腳本數據所記載各動作間連接部分動作校正的數據的校正數據發送手段，並具有接收由所述校正數據發送手段發送的校正數據的校正數據接收手段，和根據由所述校正數據接收手段接收到的動作校正數據，校正前後動作使切換繪畫手段切換動作時動作能流暢顯示的動作校正手段，以代替終端的動作自動校正手段。
因從伺服器發送預先計算的校正數據，所以能節省終端的計算機資源。
本發明的第3發明的圖形顯示裝置，其特徵在於，在本發明的第1發明中，在伺服器上包括動作資料庫，和由動作資料庫算出校正數據發送手段發送的腳本數據所記載各動作間連接部分的動作的校正數據，並通過網絡用校正數據發送手段進行發送的校正腳本計算手段。
因實時地進行校正數據的計算，所以能節省伺服器的存儲器資源。
本發明的第4發明的圖形顯示方法，其特徵在於，在從伺服器向終端指示對立體圖符進行圖形顯示時，在終端上準備記敘立體圖符的活動模式的多個活動模式，伺服器向終端發送記載所述活動模式的時間序列組合順序的腳本數據，檢測來自伺服器的腳本數據，根據這種腳本數據進行動作並進行圖形顯示的終端，用與執行中和接著執行的活動模式共同的中心姿勢的定時或者用與執行中和接著執行的所述動作模式幾乎共同的姿勢的定時，切換執行的活動模式，並執行場面的切換。
採用這種結構，則能從伺服器到終端用較少的數據傳送量，而且平滑地進行場面和場面的切換，實施自然的圖形顯示。
本發明的第5發明圖形顯示裝置，其特徵在於，設置記述多個模式的活動的動作群、基於動作群的任何一個模式，對應於場面記述是否使立體圖符動作的腳本資料庫，以及根據腳本資料庫和動作群，控制顯示輸出的立體圖符的動作的特徵姿勢控制手段，而且，圖符姿勢控制手段的結構做成用與執行中和接著執行的活動模式共同的中心姿勢定時，或者用與執行中和接著執行的所述活動模式幾乎共同的姿勢的定時，切換執行的活動模式，執行場面的切換。
採用這種結構，則能實現如本發明所述的圖形顯示方法。
本發明的第6發明的圖形顯示裝置，是一種在網絡上設置伺服器和終端，在終端上進行圖形顯示的圖形顯示裝置，其特徵在於，在所述伺服器上設置定義三維圖符的形狀的圖符數據的資料庫、定義所述圖符的動作的動作資料庫，和指定所述圖符數據和1個以上的所述動作的時間序列組合的腳本數據，在所述終端上設置保管所述圖符數據的圖符資料庫、保管所述動作的動作資料庫、檢索所述腳本數據指定的圖符數據是否存在於圖符資料庫中的數據檢索手段，和向所述伺服器請求取得不存在於所述圖符資料庫中的圖符數據的數據請求手段。
採用這種結構，則因僅向伺服器上請求得到不存在於終端的圖符資料庫中的圖符數據，就具備必要的圖符數據，以生成終端的圖符活動圖像，所以在終端沒有用於描繪三維圖像所需的圖符數據的場合進行網絡傳輸，這時，因網絡傳輸的僅是終端欠缺的圖符數據，所以能在短時間的通信時間內向終端供給三維圖符顯示中所需的全部數據。
本發明的第7發明的圖形顯示裝置，是一種在網絡上設置伺服器和終端，在終端上進行圖形顯示的圖形顯示裝置，其特徵在於在所述伺服器上設置定義三維圖符的形狀的圖符數據的資料庫、定義所述特徵的動作的動作資料庫，和指定所述圖符數據和1個以上的所述動作的時間序列組合的腳本數據，在所述終端上設置保管所述圖符數據的圖符資料庫、保管所述動作的動作資料庫、檢索所述腳本數據指定的動作數據是否存在於動作資料庫中的數據檢索手段，和向所述伺服器請求取得不存在於所述動作資料庫中的動作數據的數據請求手段。
採用這種結構，則因僅向伺服器請求得到不存在於終端的動作資料庫中的動作數據，就具備必要的動作數據，以生成終端的圖符活動圖像，所以在終端沒有用於描繪三維圖像所需的動作數據的場合進行網絡傳輸，這時，因網絡傳輸的僅是終端欠缺的動作數據，所以能在短時間的通信時間內向終端供給三維圖符的顯示中所需的全部數據。
本發明的第8發明的聲像(AV)同步重放裝置，其特徵在於，包括基於樂曲數據進行演奏的樂曲演奏手段，
對應於特定樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息以及對它們進行更新的時刻，進行暫時存儲的同步信息表，基於所述樂曲演奏手段的演奏，更新所述同步信息表的同步信息更新手段，由當前時刻和所述同步信息表的內容計算所述樂曲演奏手段當前正在演奏的樂曲位置的樂曲位置計算手段，暫時存儲幀數據的幀緩存器，所述樂曲演奏手段，基於所述樂曲位置計算手段計算的樂曲位置，從與樂曲數據關連的CG數據算出與所述樂曲演奏手段同步的幀數據，並輸出到所述幀緩存器中的幀輸出手段，將存儲在所述幀緩存器中的幀數據作為活動圖像進行顯示的圖像顯示手段。
與僅對一定的速率的樂曲數據使圖像同步的以往技術相比，即使在曲子的途中重放速率動態變化的樂曲數據的場合和突然變更速率信息的場合，也能使圖像同步地進行重放。
本發明的第9發明的聲像(AV)同步重放裝置，其特徵在於，在本發明的第8發明中，每當樂曲位置或者速率信息中任何1個變化時，樂曲演奏手段更新同步信息表，按照這樣的要求構成同步信息更新手段。
使同步信息的更新次數達到最少，且能得到與本發明的第8發明相同的效果。
本發明的第10發明的聲像(AV)同步重放裝置，其特徵在於，在本發明的第8發明中，按照以特定的周期更新同步信息表的要求構成同步信息更新手段。
抑制同步信息的更新次數，且能得到與本發明第8發明相同的效果。
本發明的第11發明的聲像(AV)同步重放裝置，其特徵在於，在本發明的第8發明中，增加從CG數據量預測幀數據輸出手段需要的運算時間的運算時間預測手段，而且幀輸出手段的結構做成與由樂曲位置計算手段計算的樂曲位置延遲所述運算時間預測手段預測的時間的樂曲位置同步地將幀數據輸出到幀緩存器中。
除能得到與本發明第8發明相同的效果外，還能沒有幀運算延遲地與樂曲數據同步重放圖像。
本發明的第12發明的聲像(AV)同步重放裝置，其特徵在於，在本發明的第8發明中，增加根據樂曲數據預測當前樂曲位置的聲音實際成為聲音輸出前延遲的時間的演奏延遲預測手段，而且同步信息更新手段的結構做成將延遲所述演奏延遲預測手段預測的時間的樂曲、速率信息以及更新時間輸出到同步信息表中。
除能得到與本發明第8發明相同的效果外，還能沒有演奏延遲地與樂曲數據同步重放圖像。
本發明的第13發明的聲像(AV)同步重放裝置，其特徵在於，在本發明的第8發明中，增加根據CG數據量預測圖像顯示手段能實際顯示幀緩存器的數據前的顯示延遲時間的圖像顯示延遲預測手段，而且幀輸出手段的結構做成將與由樂曲位置計算手段計算的樂曲位置延遲所述圖像顯示延遲時間預測手段預測的時間的樂曲位置同步的幀數據輸出到幀緩存器中。
除能得到與本發明的第8發明相同的效果外，還能沒有圖像顯示延遲地與樂曲數據同步重放圖像。
本發明的第14發明的聲像(AV)同步重放裝置，其特徵在於，在本發明的第8發明中，設置在樂曲演奏手段開始特殊重放時，發生特殊重放開始信號的特殊重放開始通知手段、在樂曲演奏手段結束特殊重放時，發生特殊重放結束信號的特殊重放結束通知手段，以及在特殊重放中將樂曲位置實時同步地輸出到同步信息表中的特殊重放同步信息更新手段，而且幀輸出手段的結構做成在特殊重放中根據所述特殊重放同步信息更新手段更新的所述同步信息表，將幀數據輸出到幀緩存器中。
除能得到與本發明第8發明相同的效果外，特殊重放中與以往的可能損壞樂曲數據和圖像的同步的以往技術相比，即使在特殊重放中也能與樂曲數據同步重放圖像。
本發明的第15發明的聲像(AV)同步重放裝置，使樂曲數據和活動圖像數據同步重放，其特徵在於，包括重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息作為同步信息，並進行輸出的節拍發生電路；以所述特定音符為基準，生成對應於樂曲數據和活動圖像數據的進展的AV同步指示數據的AV同步指示數據生成電路；設幀緩存器將圖像輸出到圖像顯示電路中的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數據幀的進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的活動圖像數據幀的進展位置，和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數據的顯示幀確定電路。
本發明的第16發明的聲像(AV)同步重放裝置，同步重放樂曲數據和CG圖符的活動圖像數據，其特徵在於，包括重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和作為演奏速率的基礎的速率信息作為同步信息輸出的節拍發生電路；以所述特定音符為基準，生成對應於進行樂曲數據的進展的CG圖符活動圖像數據的AV同步指示數據的AV同步指示數據生成電路；設幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符活動圖像數據幀進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的CG圖符活動圖像數據幀的進展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢的圖符姿勢計算電路。
本發明的第17發明的AV同步重放裝置，其特徵在於，在本發明的第15或16發明中，設置輸入變更速率信息的速率變更輸入電路。
本發明的第18發明的聲像(AV)同步重放方法，其特徵在於，為了使樂曲和圖像同步，每次所述樂曲進展所述特定音符份額，從所述樂曲的聲音生成單元對所述圖像的生成單元傳送以特定音符作為基準的所述樂曲上的位置的樂曲位置和所述樂曲的速率信息。
本發明的第19發明的聲像(AV)同步重放方法，其特徵在於，包括
在重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息作為同步信息進行輸出的步驟；以所述特定音符作為基準，生成對應於進行樂曲數據和活動圖像數據進展的AV同步指示數據的步驟；設幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數據幀的進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的活動圖像數據的幀的進展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數據。
本發明的第20發明的聲像(AV)同步重放方法，其特徵在於，包括在重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息作為同步信息進行輸出的步驟；以所述特定音符作為基準，生成對應於樂曲數據和CG圖符活動圖像數據的AV同步指示數據的步驟；設幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符的活動圖像數據幀的進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的CG圖符活動圖像數據幀的進展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢。
本發明的第21發明的聲像(AV)同步重放方法，其特徵在於，在本發明的第19或20發明中，包括輸入變更速率信息的步驟；將所述同步信息的速率信息變更成輸入後的速率信息的步驟。
本發明的第22發明的記錄媒體，其特徵在於，記錄實現在本發明的第19至21發明的任一項所述的AV同步重放方法的電腦程式。
附圖簡要說明
圖1表示本發明實施形態1的結構圖。
圖2表示實施形態1的形狀數據的說明圖。
圖3表示實施形態1中伴隨動作Ma的時間經過的坐標變化的說明圖。
圖4表示實施形態1的動作Ma的動作圖。
圖5表示實施形態1的動作Mb的動作圖。
圖6表示實施形態1的動作Ma和Mb的動作圖。
圖7表示實施形態1的動作Ma的校正後的動作圖。
圖8表示本發明實施形態2的結構圖。
圖9表示實施形態2的校正數據的說明圖。
圖10表示本發明實施形態3的結構圖。
圖11表示本發明實施形態4的結構圖。
圖12(a)-圖12(c)是表示實施形態4的動作的一例的說明圖。
圖13是表示實施形態4的腳本數據的結構圖。
圖14是表示按照實施形態4的腳本數據連接的動作的一例的說明圖。
圖15是實施形態4的動作切換描繪手段的流程圖。
圖16表示本發明實施形態5的結構圖。
圖17表示本發明實施形態5中終端的欠缺數據處理流程圖。
圖18表示本發明實施形態5中伺服器的欠缺數據處理流程圖。
圖19表示本發明實施形態6的方框圖。
圖20是本發明實施形態6的流程圖。
圖21表示本發明實施形態7的結構圖。
圖22表示本發明實施形態8的結構圖。
圖23表示本發明實施形態9的結構圖。
圖24表示本發明實施形態10的結構圖。
圖25表示本發明實施形態11的結構圖。
圖26表示本發明實施形態12的結構圖。
圖27表示本發明實施形態13的結構圖。
圖28(a)和圖28(b)是表示本發明實施形態13的樂曲的節拍數、活動圖像數據、腳本數據和AV同步指示數據的關係的說明圖。
圖29是表示本發明實施形態13的樂曲數據、CG圖符的姿勢計算和配光處理的時間的關係的時間圖。
圖30是表示本發明實施形態13的樂曲演奏的重放處理的流程圖。
圖31是表示本發明實施形態13中AV同步指示數據的生成處理的流程圖。
圖32是表示本發明實施形態13中ACG圖符的重放處理的流程圖。
圖33表示本發明實施形態14的結構圖。
圖34是表示本發明實施形態14的樂曲演奏的重放處理的流程圖。
圖35表示本發明實施形態15的結構圖。
圖36(a)和圖36(b)是表示本發明實施形態15的樂曲的節拍數、活動圖像數據、活動圖像腳本數據和AV同步指示數據的關係的說明圖。
圖37是表示本發明實施形態15的活動圖像的重放處理的流程圖。
圖38表示本發明實施形態16的結構圖。
圖39是表示本發明實施形態16中樂曲演奏的重放處理的流程圖。
圖40是立體圖符的骨骼數據的說明圖。
實施發明的最佳方式下面，參照附圖對本發明的實施形態進行說明。
實施形態1圖1-圖7表示實施形態1。
在圖1中，用網絡53連接伺服器51和終端52。伺服器51包括數據發送手段1和腳本資料庫74。
由數據接收手段11、動作切換描繪手段12、動作自動校正手段13、形狀資料庫14、動作資料庫15以及顯示手段16構成終端52。
數據發送手段1通過網絡53，發送保腳本資料庫74所保存多個腳本數據中在終端52顯示的腳本數據61。
腳本數據61指明顯示的立體圖符，而且規定用於使立體圖符活動的動作的組合順序，是識別動作的動作ID的表。
其中，對應於該動作ID的動作，通過CD-ROM和軟盤等記錄媒體或者網絡53供給終端，並存儲在終端52的動作資料庫15中。
例如，在對應於動作ID{Ma,Mb,Mc,Md,Me}的動作存儲在動作資料庫1 5中的場合，能規定[Ma,Mc,Ma,Me](表示從表的開頭順序切換並顯示)的腳本。但是，因Mf沒有存儲在動作資料庫14中，所以不能規定[Ma,Mf,Ma,Me]的腳本。能將存儲在動作資料庫15中的動作的任意組合作為腳本數據進行規定。
數據接收手段11通過網絡53，接收數據發送手段1發送的腳本數據。
形狀數據保存在形狀資料庫14中。形狀數據由用2個以上的三維(x,y,z坐標)坐標點構成的稱為折線的多面體的集合組成。
動作數據保存在動作資料庫15中。基於時間序列使形狀數據的變化量，來規定動作。
例如，在a,b,c,d,e和f的6個頂點中，利用其頂點的5個部分集合{a,b,c}{a,e,f}{a,b,d,e}{a,c,d,f}{b,c,e,f}構成的5個折線面，能規定圖2所示的3角柱的形狀數據(將其作為物體A)。在60秒間使物體A分別以X軸為中心旋轉180度、以Y軸為中心旋轉360度的動作，如圖3所示(將這種動作作為動作Ma)。
沒有必要規定顯示的全部的幀的旋轉角。對於特定的時刻，規定旋轉角(稱其為關鍵幀)，用內插算法對其餘部分進行計算。關鍵幀的內插算法雖然提議有多種一般的算法，但這裡用1次線性內插算法，並在下面進行說明。
這裡，如果用1次線性內插算法，計算45秒後的x軸的旋轉角，則為100(度)=[((45-40)/(50-40))×(120-80)+80]動作資料庫15一般是作為關鍵幀集合規定的動作數據的集合。如果將動作的變化用曲線表示，則成為圖4所示的動作曲線。圖4中黑圓和黑三角表示關鍵幀。
基於數據接收手段11接收到的腳本數據61，動作切換描繪手段12順序地切換動作，同時顯示CG活動圖像。各動作是某個特定的時間內(動作時間)的關鍵幀的集合。
例如，動作Ma是在60秒間具有7個關鍵幀的動作。藉助於在動作幀間進行1次線性內插，能復原圖4的動作曲線。
在這種實施形態中，雖然關鍵幀內插用1次線性插補，但存在其它樣條非線性內插等的已知的方法。因無論用哪一種手法都能得到相同的效果，所以本發明不專門限定該內插方法。
例如，計算動作Ma的45秒後的物體A的頂點a的坐標。首先，用線性內插計算x軸旋轉角、y軸旋轉角。按照前述的計算，x軸的旋轉角是100度，y軸旋轉角是300(度)=[((45-40)/(50-40))×(345-255)+255]首先，計算以x軸為中心旋轉100度的場合的坐標。假設x軸的旋轉角為xang，用下式能計算(x,y,z):
(x,y·cos(xang)+z·sin(xang),-y·sin(xang)+z·cos(xang))因此，a(3.0,3.0,1.0)的值為x=3.0y=3.0·(-0.174)+1.0·0.984=0.462z=-3.0·0.984+1.0·(-0.174)=-3.126接著，計算以y軸為中心旋轉300度的場合的坐標。假設z軸的旋轉角為yang，用下式能計算(x,y,z):
(x·cos(yang)+z·sin(yang),y,-x·sin(yang)+z·cos(yang))因此，得x=3.0·0.5+(-3.126)·(-0.866)=4.207y=0.462z=-3.0·(-0.866)+(-3.126)·0.5=1.035因此，45秒後的頂點a移動到(4.207,0.462,1.035)的位置。對其它的5個頂點施行與其相同的計算，能算出各頂點坐標。
在這些坐標變換處理後，藉助於進行配光處理，能對幀進行顯示。動作切換描繪手段12在從各動作的開始到結束之間，藉助於基於幀速率(規定1秒間掃描多少幀)，連鎖地進行上述一系列的處理，顯示CG活動圖像。在結束規定1個動作的動作時間內的CG活動圖像的場合，開始進行腳本數據規定的下一個動作的CG活動圖像的顯示。這樣，藉助於一個接著一個地切換動作，連續地顯示CG活動圖像。
在動作切換描繪手段12切換動作時，動作自動校正手段13校正動作。在順序地顯示動作的場合，其連接點上動作往往不連續。
例如，考察動作Ma後顯示動作Mb的場合。圖5示出了動作Mb動作曲線。圖6示出了動作Ma和Mb的動作曲線合在一起的曲線。
由圖6可見，在動作Ma的第60秒的幀和動作Mb的0秒的幀產生不連續點。
這裡，設定動作Ma的第60秒的幀和第0秒的幀二者的平均值，作為動作切換時關鍵幀，避開動作的不連續。計算動作Ma和動作Mb的切換時的關鍵幀。
如果設定x軸的旋轉角為160=(180+140)/2,y軸的旋轉角為340=(360+320)/2，則如圖7所示，動作曲線平滑地連接。
動作自動校正手段13在切換動作時從前後的動作算出關鍵幀，自動地校正動作。這種校正方法已知有多種方法存在。因無論用哪一種手法都能得到相同的效果，所以本發明不專門限定其內插法。
這樣，通過網絡53發送到終端52上的僅是規定了動作組合順序後的腳本數據，因不發送數據容量大的立體圖符的形狀數據和動作，所以數據傳輸量小，網絡的負擔也小。
此外，因終端52的動作自動校正手段13校正切換動作時的動作，所以在終端52的顯示手段16上顯示的立體圖符的動作非常流暢。
實施形態2圖8和圖9表示實施形態2。
在圖8中，用網絡53連接伺服器51和終端52。伺服器51包括數據發送手段1和校正數據發送手段21。由數據接收手段11、校正數據接收手段22、動作切換描繪手段12、顯示手段16、動作校正手段23、形狀資料庫14以及多個動作資料庫15構成終端52。
此外，1、11、12、14、15和16因與實施形態1中相同故省略其說明。
校正數據發送手段21發送對數據發送手段1發送的腳本數據61的各動作間進行校正的校正數據62。
校正數據62，用與實施形態1中說明了的動作自動校正手段13相同的手法預先算出，是用於切換動作時使切換前後的立體圖符的動作平滑的數據。
也就是說，校正數據62規定動作及其幀時間。例如，動作Ma和動作Mb的校正數據62如圖9所示。
在動作Ma後切換動作Mb進行顯示。表示將Ma的60秒的關鍵幀(x軸的旋轉角180度，y軸的旋轉角360度)和動作Mb的0秒的關鍵幀(x軸的旋轉角140度，y軸的旋轉角320度)，校正成x軸的旋轉角160度，y軸的旋轉角340度。
這種校正數據62僅需要與腳本數據中各動作的切換次數相當的數量。例如，在腳本數據指定{Ma,Mb,Mc,Md,Me}5個動作的場合，需要切換(Ma,Mb),(Mb,Mc),(Mc,Md),(Md,Me)的4組動作切換時動作之間連接點的校正數據。校正數據發送手段21將這種校正數據62發送到終端52中。
校正數據接收手段22接收從伺服器發送來的校正數據62。
動作校正手段23在動作切換描繪手段12切換動作時，基於校正數據接收手段22接收到的校正數據62對動作進行校正，使特徵的動作平滑。
例如，在接收圖9的校正數據的場合，當動作切換描繪手段12從動作Ma切換成動作Mb時，分別校正60秒和0秒的關鍵幀，規定圖7的幀時間。例如，Ma和Mb的校正數據為圖9所示的那樣。
這樣，在本實施形態中，通過網絡53發送到終端52中的僅是規定了動作組合順序的腳本數據61和作為各動作切換前後的活動圖像數據的校正數據62，因不發送數據容量大的立體圖符的形狀數據和全部的動作，所以數據傳輸量小，網絡53的負擔也小。
因基於發送的校正數據62校正動作，所以在終端52的顯示手段16中顯示的立體圖符的動作非常流暢。
實施形態3圖10表示實施形態3。
在圖10中，用網絡53連接伺服器51和終端52。伺服器51包括數據發送手段1、動作資料庫76、校正數據發送手段21和校正腳本計算手段31。由數據接收手段11、校正數據接收手段22、動作切換描繪手段12、顯示手段16、動作校正手段23、形狀資料庫14以及多個動作資料庫15構成終端52。
此外，1、11、12、14、15、16、21、22和23因與實施形態1和實施形態2中相同故省略其說明。
校正腳本計算手段31基於動作資料庫76，計算能平滑地顯示數據發送手段1發送的腳本數據的各動作之間的校正數據，並用校正數據發送手段22發送到終端上。因對於校正數據的計算方法是與在實施形態1中說明了的動作自動校正手段13的手法相同，這裡省略其說明。
這樣，通過網絡53發送到終端52中的僅是規定了動作組合順序的腳本數據和用伺服器51的校正腳本計算手段31算出的校正數據，因不發送數據容量大的立體圖符的形狀數據和全部的動作，所以數據傳輸量小，網絡53的負擔也小。
因基於發送的校正數據校正動作，所以在終端52的顯示手段16中顯示的立體圖符的動作非常流暢。
實施形態4在前述的實施形態1到實施形態3中，要在動作切換時對動作進行校正，但在實施形態4中，各動作具有中心姿勢，藉助於順序地切換腳本數據切換時立體圖符姿勢相同的動作，能流暢地顯示動作。
圖11-圖15表示實施形態4。
在圖11中，用網絡53連接伺服器91和終端92。伺服器91包括數據發送手段1和腳本資料庫74。由數據接收手段11、動作切換描繪手段12、顯示手段16、形狀資料庫14以及多個動作資料庫15構成終端92。
此外，1、11、12、14、1 5、16和74與實施形態1相同。
在終端92的形狀資料庫14中存儲有立體圖符的各種各樣的骨骼模型、頭、胸、腰、兩胳膊、兩手和兩腳等的折線數據，以及附在折線表面上的結構特徵數據。
如圖12所示，在動作資料庫15中存儲「場面1」，「場面2」，「場面3」……等各個場面的動作M1,M2,M3,……，從而構成動作資料庫。
此外，為說明簡單起見，這裡用骨骼數據顯示動作變化的情況並進行說明。但實際的圖形顯示是對圍繞各骨骼數據用折線構成的各部位附以肌肉，並根據需要在各部位上附以結構特徵進行顯示。
在圖12所示的動作M1和動作M2中，設置姿勢相同的動作中心姿勢HP1。在動作M2和M3中，設置姿勢相同的動作中心姿勢HP2。動作M3動作開始的中心姿勢(HP2)和動作結束的結束中心姿勢(也是HP2)是相同的。
此外，能用例如CD-ROM和DVD(Digital Video Disc)、硬碟、能重寫的半導體RAM，或者能重寫的光碟等構成形狀資料庫14和動作資料庫15。
圖13示出了腳本數據61的結構。由形狀數據識別信息和動作數據指定信息構成腳本數據61。
形狀數據識別信息包括用於識別進行顯示的立體圖符的骨骼模型的骨骼模型識別信息、用於識別這種骨骼模型中附有肌肉的折線的立體圖符折線信息，和用於識別附在這種折線表面上的結構特徵的立體圖符結構特徵識別信息。由這些形狀數據識別信息識別顯示的立體圖符。
動作數據指定信息記錄在腳本數據61中利用的動作順序和指示各動作從開始到結束的時間的時間寬度。在1個圖像數據中分配1個場面號碼。
腳本數據61預先指定動作的順序，使在腳本數據61中切換的場面(Si)和場面(Si+1)的動作(Mi)和動作(Mi+1)之間，動作(Mi)的動作結束姿勢(即動作結束的中心姿勢)與動作(Mi+1)的動作開始的姿勢(即動作開始的中心姿勢)一致。
作為具體例子，參照圖12和圖13和圖14進行說明。
圖14表示以骨骼數據起動用圖13的腳本數據61指示的立體圖符的動作的圖。
利用圖12(a)-12(c)的動作M1-M3、圖13的腳本數據61使立體圖符動作，為了作成場面S1,S2,S3,……Si，指示使立體圖符動作的動作順序和各動作的從開始到結束的時間長度(下面稱為時間寬度)。
也就是說，在圖14的例中，場面S1在時間寬度T1間分配圖12(a)的動作M1，立體圖符的姿勢僅用時間寬度T1的時間，進行從動作M1的開始的姿勢到結束的姿勢(HP1)的動作。
圖12中為了說明起見，雖然沒有示出動作中典型姿勢，但在實際的動作中應該在這些典型姿勢間取立體圖符，以作為數據包含細節的姿勢。在沒有將姿勢作為數據的場合，能用眾所周知的例如1次線內性插和樣條內插等，以CPU(Central Processing Unit)的運算，生成必要的姿勢。
接著，場面S2中腳本數據61在時間寬度T2間分配動作M2。按照這種腳本數據，立體圖符僅用時間寬度T2進行在圖12(b)的動作M2的開始的姿勢(HP1)到結束的姿勢(HP2)的動作。
這種場合，腳本數據作為在時間上鄰接的場面S1和場面S2間的動作M1和M2，設定成動作M1的動作結束的姿勢和接著的動作M2的動作開始的姿勢為相同的中心姿勢(HP1)。
因此，在圖14中，從場面S1到場面S2的立體圖符的動作是流暢的。
同樣，圖13中的腳本數據作為時間上鄰接的場面S2和場面S3間的動作M2和M3，設定成動作M2的動作結束的姿勢和接著的動作M3的動作開始的姿勢為相同的中心姿勢(HP2)。
因此，在圖14中，從場面S2到場面S3的立體圖符的動作是流暢的。
這樣，預先設定動作的順序，使腳本數據在時間鄰接的場面間某個場面中使用的動作(Mi)和接著使用的動作(Mi+1)間的中心姿勢為相同，能防止在場面的連接點立體圖符的動作變得不連續，從而實現動作流暢。
此外，雖然在圖13和圖14中沒有圖示，如圖12(c)的動作M3所示，作為切換的動作，在動作開始的姿勢和動作結束的姿勢是相同中心姿勢(HP3)的場合，腳本數據能無論多少次地重複指定相同動作M3。這是相同動作的重複，例如能利用在重複交互地踏出左右兩腳的步驟的場合中。
這種場合，因僅用規定的次數重複利用1個動作，所以與對重複2次動作、重複3次的動作，預先準備各次重複動作的場合相比，包括在終端92的動作資料庫15中的動作少，因而經濟。
圖11中動作切換描繪手段12進行圖15所示的處理。
在圖15中，在步驟1，讀入腳本數據61，在步驟2，由動作資料庫取入在腳本數據中指定的動作。在步驟3，對各動作Mi的時間比例進行調整，以便在時間寬度Ti內結束從各動作Mi的開始到結束的活動。
這裡，所謂的調整是指進行動作的時間比例的放大、縮小。
在步驟4，按照腳本數據順序地排列調整時間比例後的動作Mi。因原來的動作將關鍵幀作為信息歸其所有，所以有必要利用內插生成關鍵幀和接著的關鍵幀之間的數據。
在步驟5，進行關鍵幀內插。此外，作為關鍵幀內插雖然有1次線性內插、樣條非線性型內插等已知的若干種方法，但因用其它的手法也能達到相同的效果，所以本發明不限所述內插方法。
在步驟6，按照以每一幀速率排列的動作確定立體特徵的姿勢，進行構思，並在顯示手段16上顯示該立體圖符。
進行前述的處理，直到腳本數據61指定的動作的最後的動作結束為止。
這樣，因從伺服器發送到終端92上的僅是腳本數據61，所以發送的數據量少，網絡53的負擔輕。
但是，在場面的切換時，因切換的動作應取與立體圖符相同姿勢，並用共同的中心姿勢的定時執行切換，所以場面和場面的連接點的圖形顯示流暢。
在前述的實施形態中，執行和接著執行的活動模式共同進行，換言之，用完全一致的中心姿勢的定時，切換執行的活動模式並執行場面的切換，但即使終端側做成確定各場面的時間，使得用與執行和接著執行的活動模式幾乎共同的位置的定時，切換執行的活動模式並執行場面的切換，也能期待幾乎相同的效果。
實施形態5
圖16-圖18表示實施形態5。
在圖16中，通過網絡53連接終端32和伺服器31。14是終端32的形狀資料庫，15是動作資料庫，18是存儲器，74是伺服器31的腳本資料庫，75是形狀資料庫，76是動作資料庫。
此外，能用例如CD-ROM和DVD(Digital Video Disc)、硬碟、能重寫的半導體RAM，或者能重寫的光碟等構成終端32的動作資料庫15和形狀資料庫14。
這裡，所謂的伺服器31是指客戶伺服器型的所謂伺服器專用機，同時將在一臺設備上具有所謂同等層對同等層型功能和客戶功能等兩種功能的設備也稱為伺服器。
在形狀資料庫14、75中保管與各種各樣的立體圖符相關的數據。在各個數據上分配各自固有的識別號碼。
舉一例來說，用識別號碼管理附在折線表面上的結構特徵等，保管用與骨骼模型相對應的手、腳、臉、軀體的折線構成各種各樣三維圖符的骨骼模型的各部位的數據。
但是，保管在形狀資料庫14、75中的數據不必是一致的，即使在伺服器31的形狀資料庫75中，也有沒有保管在終端32的形狀資料庫14中的數據。
同樣，在動作資料庫15、76中保管對應於各立體圖符的動作的數據。在各種各樣的動作上附以固有的識別號碼，在動作資料庫15中管理並保存。保管在這些資料庫中的數據不必是一致的，即使在伺服器31的動作資料庫76中，也有沒有保管在終端32的動作資料庫15中的數據。
欠缺數據檢索手段71考察從伺服器31發送來的腳本數據61中指定的形狀數據和動作數據是否全部包含在形狀資料庫14和動作資料庫15中。
能用圖13所示的腳本數據61的動作指定信息中的動作的識別號碼(M1,M2,……,Mi)進行這種考察。
如果存在沒有包含在終端32的各資料庫中的數據，則欠缺數據檢索手段71將這種數據的識別信息傳送到數據請求手段72中。通過網絡53，數據請求手段72將對下載欠缺數據的請求，該數據的識別信息，以及發出下載請求的終端32的識別號碼(例如IP位址等)傳送到伺服器31的數據選擇手段73中。
由下載請求和數據識別信息，數據選擇手段73從形狀資料庫75或者動作資料庫76中找出該數據，並與發出下載請求的終端32的識別號碼一起傳送到數據發送手段1中。
數據發送手段1通過網絡53，對所接收識別號碼處的終端32發送接收到的數據。
終端32的數據接收手段11將接收到的數據存儲在存儲器18中。
動作切換描繪圖像手段12用保存在形狀資料庫14和動作資料庫15，以及存儲器18中的數據進行用按照腳本數據61指示的作圖，並將圖形顯示在顯示手段16上。
圖17表示終端32的處理的流程圖。通過網絡53，腳本數據61從伺服器31全部傳送到終端32上。
圖17中，在步驟B1，將腳本數據61讀入到終端32中。在步驟B2，欠缺數據檢索手段71檢索形狀資料庫14和動作資料庫15，根據形狀數據和動作的識別信息，對腳本數據61指定的全部的形狀數據和動作，考察是否存在，並在步驟B3判定其結果。
在步驟B3判定不存在的場合，在步驟B4中，數據請求手段72向伺服器31請求欠缺的形狀數據(或/和)動作，以便傳送到終端32上，這時，也附以請求的終端32的識別號碼，將該請求發送到伺服器31中。
圖18示出了伺服器31的處理。
在圖18的步驟B21中，伺服器31的數據選擇手段73由伺服器31內的動作資料庫76，檢索由終端32請求的識別號碼的動作，並送到數據發送手段1中。
在步驟B22中，數據發送手段1將這種動作傳送到請求的終端32上。這時，由終端32的識別號碼，識別傳送目的地。
現在回到圖17，在步驟B5，用終端32的數據接收手段11接收傳送來的動作(即欠缺數據)，並保持在存儲器18中。
在步驟B6，按照腳本數據61的指定，動作切換描繪手段12對動作進行組合，生成一系列的動作，描繪生成的立體圖符，在步驟B7，用顯示手段16進行顯示。配光的方法等與實施形態1相同的。
在這種實施形態中，因從伺服器31傳送到終端32的是數據容量小的腳本數據61，所以通信時間短，萬一在終端32上必要的圖符數據和動作欠缺時，因只有在這時傳送欠缺的圖符數據和動作，所以與以往的每次傳送圖符數據和動作的場合相比，能縮短通信時間。
在該實施形態5中，雖然以欠缺數據取為動作數據，但除此以外，在形狀數據欠缺的場合也相同，藉助於終端32向伺服器31請求數據，伺服器31檢索由資料庫請求的數據，並通過網絡53進行發送，補足終端的欠缺數據，能按照腳本數據進行顯示。
實施形態6圖19和圖20表示實施形態6。
在圖19表示本發明的AV同步重放裝置，樂曲演奏手段101讀入樂曲數據並根據讀入的樂曲數據進行音樂演奏。樂曲數據如MIDI(Musical InstrumentalDigital Interface)標準的那樣，規定音樂的演奏速率、音色、音調等音樂演奏中必要的全部參數。因由這種MIDI數據演奏音樂的方式是已經有很多系統被實用化了的已知技術，所以這裡省略對其進行說明。
這種樂曲演奏手段101實時地更新當前已知的樂曲位置。用從樂曲開頭的總的節拍數，進行在本實施形態中的樂曲位置的識別。但是，關於這種識別方法，只要能淮一地識別樂曲位置，用任何識別方法都可以。根據當前演奏的聲音是離演奏開頭的第幾節拍(下面定義為節拍ID)，識別樂曲位置。此外，用節拍的單位時間(下面定義為速率時間)，規定作為本實施形態中的演奏的基礎的速率信息。這也是只要是控制演奏速率的信息，任何信息均可。
同步信息表102對應於作為樂曲位置的節拍ID、作為速率信息的速率時間，以及對其進行更新的時刻(下面將其定義為同步信息更新時刻)，進行暫存。
同步信息更新手段103使樂曲演奏手段101演奏的節拍ID、速率時間及其更新時刻存儲到同步信息表102中。
樂曲位置計算手段104由當前時刻和同步信息表102的同步信息，計算與當前時刻對應的樂曲位置。該樂曲位置用下式(A)計算。
H(tc)=Ht+((tc-t)/Pt)……(A)H(tc)與當前時刻對應的樂曲位置(節拍ID)tc當前時刻Ht同步信息表102的節拍IDt同步信息表102的同步信息更新時刻Pt同步信息表102的速率時間幀輸出手段106從與樂曲演奏手段101正在演奏的樂曲數據相對應的CG數據，基於樂曲位置計算手段104計算的樂曲位置，將與樂曲數據同步的幀數據輸出到暫時存儲幀數據的幀緩存器105中。
CG數據不必與樂曲位置一一對應。只要有多個關鍵幀數據，就可以用幀內插技術算出對應於樂曲位置的幀數據。這種幀內插技術如樣條內插和線性內插等，因多為已知技術所以省略其說明。採用這些幀內插技術，則根據由開始時刻和結束時刻以及關鍵幀數據定義的CG數據，可以算出任意幀進展位置Ft(開始時刻≤Ft≤結束時刻)的幀數據。
因此，與演奏數據相關連的CG數據，藉助於與樂曲位置建立對應關係(下面分別用開始節拍ID、結束節拍ID定義對應的樂曲位置)，生成開始時刻和結束時刻。這樣，如果是關連的CG，則可用下式(B)算出幀的進展位置Ft。
Ft=Hs+((H(tc)-Hs)/(He-Hs))……(B)H(tc)與樂曲位置計算手段104計算的當前時刻對應的樂曲位置(節拍ID)tc當前時刻Hs與開始時刻對應的開始節拍IDHe與結束時刻對應的結束節拍ID這樣，基於算出的幀的進展位置，能用幀內插技術將與樂曲演奏手段101的演奏同步的幀數據不斷地輸出到幀緩存器105中。
圖像顯示手段107藉助於順序地更新顯示存儲在幀緩存器105中的幀數據，對活動圖像進行顯示。圖20示出了這種結構的AV同步重放裝置的具體的流程圖。
AV同步重放裝置從對應於CG數據的開始節拍ID到結束節拍ID為止重複以下的動作。這裡，對使開始節拍ID(Hs)、結束節拍ID(He)同步並進行重放的處理進行說明。
在步驟S101中，樂曲位置計算手段104用式(A)計算對應於當前時刻(t)的樂曲位置(H(t))。
在步驟S102中，在樂曲位置(H(t))比開始節拍ID(Hs)小的場合，什麼也不做就結束，如果大於開始節拍ID(Hs)，則進入到步驟S103中。
在步驟S103中，在樂曲位置(H(t))比結束節拍ID(He)大的場合，什麼也不做就結束，如果小於結束節拍ID(Hs)，則進入到步驟S104中。
在步驟S104中，基於根據式(B)算出的幀進展位置Ft，幀輸出手段106用幀內插技術算出幀數據，並輸出到幀緩存器105中。
實施形態7圖21表示實施形態7，在本實施形態中除設置同步信息實時更新手段201代替圖19所示的實施形態6的同步更新手段103這一點不同外，其它的結構要素與實施形態6相同。
同步信息實時更新手段201僅在樂曲演奏手段101更新數據的場合對周期信息表102的同步信息進行更新。例如，僅在時而速率信息變化、時而樂曲位置變更的場合進行更新。因此，在不更新速率信息、樂曲位置的場合，不進行上述更新。
實施形態8圖22表示實施形態8，在本實施形態中除設置同步信息定期更新手段301代替圖19所示的實施形態6的同步更新手段103這一點不同外，其它的結構要素與實施形態6相同。
同步信息定期更新手段301按一定的周期更新周期信息表102。該周期可以是每1節拍1次那樣的樂曲單位，也可以是每130秒1次那樣的一般的單位。
實施形態9圖23表示實施形態9，在本實施形態中除在圖19所示的實施形態6中增加運算時間預測手段401外，其它的結構要素與實施形態6相同。
運算時間預測手段401由CG數據的折線數、頂點數預測運算所要的時間。運算時間一般與成為運算對象的折線數、頂點數成正比。通常，由成為下一個運算對象的折線數、頂點數預測運算時間。此外，運算時間預測手段401也考慮計算機的CPU處理能力等處理能力進行預測。因此，即使因幀而折線數不同的的場合，也能預測與其對應的運算時間。
幀輸出手段106將與運算時間預測手段401預測的運算時間加到樂曲位置計算手段104計算的樂曲位置上所得的樂曲位置同步的幀數據，輸出到幀緩存器105中。用下面的式(C)算出幀的進展位置。
Ft=Hs+((H(tc)-Hs)/(He-Hs))+(Et/Pt)……(C)H(tc)與樂曲位置計算手段104計算的當前時刻對應的樂曲位置(節拍ID)Hs與開始時刻對應的開始節拍IDHe與結束時刻對應的結束節拍ID
Et運算時間預測手段401預測的運算時間Pt同步信息表102的速率時間這樣，能基於算出的幀的進展位置，將用幀內插技術與樂曲演奏手段101的演奏取得同步的幀數據不斷地輸出到幀緩存器105中。
實施形態10圖24表示實施形態10，在本實施形態中除在圖19所示的實施形態6中增加演奏延遲預測手段501外，其它的結構要素與實施形態6相同。
演奏延遲預測手段501基於樂曲數據，將該數據實際上作為聲音，預測從揚聲器等的輸出裝置輸出前的演奏延遲時間。一般也考慮計算機的CPU處理能力等的處理能力進行預測。因此，如果識別樂曲位置，則從樂曲數據能實時地預測該樂曲位置的演奏延遲時間。
同步信息更新手段103將在樂曲位置上增加演奏延遲預測手段501預測的演奏延遲時間的值，輸出到同步信息表102中。
實施形態11圖25表示實施形態11，在本實施形態中除在圖19所示的實施形態6中增加顯示延遲預測手段601外，其它的結構要素與實施形態6相同。
顯示延遲預測手段601預測圖像顯示手段107實際顯示幀緩存器105的數據前的顯示延遲時間。這能由圖像顯示手段107的重現能力等性能進行預測。
幀輸出手段106算出將顯示延遲預測手段601預測的顯示延遲時間加到樂曲位置計算手段104計算的樂曲位置上的值的幀數據。用下面的式(D)算出幀時間的值。
Ft=Hs+((H(tc)-Hs)/(He-Hs))+(Dt/Pt)……(D)H(tc)與樂曲位置計算手段104計算的當前時刻對應的樂曲位置(節拍ID)Hs與開始時刻對應的開始節拍IDHe與結束時刻對應的結束節拍IDDt顯示延遲預測手段601預測的顯示延遲時間Pt同步信息表102的速率時間這樣，能基於算出的幀的進展位置，將用幀內插技術與樂曲演奏手段101的演奏取得同步的幀數據不斷地輸出到幀緩存器105中。
實施形態12
圖26表示實施形態12，在本實施形態中除在圖19所示的實施形態6中增加特殊重放開始通知手段701、特殊重放結束通知手段702和特殊重放同步信息更新手段703外，其它的結構要素與實施形態6相同。
特殊重放開始通知手段701在特殊重放開始的場合，由操作員發生特殊重放開始信號。特殊重放結束通知手段702在特殊重放結束的場合，由操作員發生特殊重放結束信號。
特殊重放同步信息更新手段703在從特殊重放開始通知手段701發生特殊重放開始信號的時刻開始到特殊重放結束通知手段702發生特殊重放結束信號為止間的特殊重放中，對應於該特殊重放的種類，更新同步信息表102的樂曲位置和速率時間。例如，在倍速重放的場合，將通常的速率時間調成1/2，用通常的2倍的速度進行節拍ID。
實施形態13圖27-圖32表示實施形態13，在下面的說明中根據計算機製圖(下面稱為「CG製圖」)描繪圖像，例如，將3維的CG制像稱為CG圖符。
圖27所示的AV同步重放裝置包括輸入來自用戶或者操作員的演奏開始命令，保存樂曲數據的樂曲數據保存單元D1，基於從樂曲數據保存單元D1輸出的樂曲數據生成演奏聲的波形數據的輸出波形生成單元D2，以及暫時存儲來自輸出波形生成單元D2的一定量的波形數據的聲音數據用緩存器D3。此外，AV同步重放裝置還包括將來自聲音數據用緩存器D3的波形數據變換成模擬信號的聲音信號的D/A變換器D4、放大來自D/A變換器D4的聲音信號的放大器D5，以及演奏來自放大器D5的被放大的聲音信號進行發音的揚聲器D6。
由能改寫的記錄媒體(例如RAM)構成樂曲數據保持單元D1，基於在輸入演奏開始命令前CD-ROM、DVD或者類似的記錄媒體，或者通信線路，取得應該重放的樂曲的樂曲數據。因樂曲數據與實施形態6相同，所以省略其說明。此外，藉助於聲音數據用緩存器D3存儲一定量的波形數據，能防止在揚聲器D6重放的演奏中途中斷。
此外，將用於輸出同步信息的節拍發生單元D7連接到樂曲數據保持單元D1上。節拍發生單元D7根據包含在來自樂曲數據保存單元D1的樂曲數據中的速率信息，對特定音符份額、(例如一拍的四分音符)樂曲演奏的每一進展，發生由在該時刻的樂曲演奏位置(節拍ID)和速率時間Temp(i)(參照圖29)組成的同步信息。因節拍ID和速率時間與實施形態6相同，所以省略其說明。
將聲音數據用緩存器D3連接到節拍發生單元D7上，每當從聲音數據用緩存器D3將演奏聲的波形數據輸出到D/A變換器D4時，就由聲音數據用緩存器D3將該輸出的定時告知節拍發生單元D7。例如將以44.1KHz的周期輸出波形數據的情況告知節拍發生單元D7中。
藉助於這種結構，來自聲音數據用緩存器D3的輸出的定時，具有作為在節拍發生單元D7中起44.1KHz的內部時鐘的作用。此外，在這種AV同步重放裝置中，作為進行CG圖符的重放處理的設備，包括保存腳本數據的腳本數據保存單元D8、根據與腳本數據保存單元D8連接的腳本數據生成AV同步指示數據的AV同步指示數據生成單元D9、節拍發生單元D7、與AV同步指示數據生成單元D9連接的顯示幀確定單元D10、CG配光單元D11、幀緩存器D12和監視器D13。
在顯示幀確定單元D10中，連接存儲指示CG圖符的活動(動作)的活動圖像數據的活動圖像數據保存單元D14和存儲表示CG圖符的形狀的CG圖符形狀數據的CG圖符形狀數據保存單元D15。
將分別存伴用於進行顯示CG圖符的配光的攝像機視點信息、光源信息的攝像機視點信息保存單元D16和光源信息保存單元D17，連接到CG配光單元D11中。
利用能重寫的記錄媒體(例如RAM)構成腳本數據保存單元D8、活動圖像數據保存單元D14、CG圖符形狀數據保存單元D15、攝像機視點信息保存單元D16和光源信息保存單元D17。
腳本數據保存單元D8/活動圖像數據保存單元D14以及CG圖符形狀數據保存單元D15根據在輸入演奏開始命令前，由CD-ROM、DVD或者類似的記錄媒體，或者通信線路，分別輸入並保持腳本數據、活動圖像數據和CG圖符形狀數據。
輸入到腳本數據保存單元D8中的腳本數據是藉助於使多個活動圖像數據對應於樂曲數據按時間序列接合，從而生成CG圖符的一系列動作用的指示數據。
此外，腳本數據包含攝像機視點信息和光源信息，並對每個顯示的幀指定活動圖像數據、CG圖符形狀數據、攝像機視點信息和光源信息。腳本數據包含攝像機視點信息和光源信息。
攝像機視點信息和光源信息在將腳本數據保存在腳本數據保存單元D8中的同時，分別輸出並保存在攝像機視點信息保存單元D16和光源信息保存單元D17中。
此外，攝像機視點信息和光源信息是分別表示假想的攝像機的攝影條件和假想的光源的照射條件的信息，由指定攝像機的位置、攝影方向和的數據，構成攝像機視點信息，而光源信息則由指定光源位置、照射方向和效果的數據構成。
AV同步指示數據生成單元D9在根據腳本數據分割的各活動圖像數據中以前述的四分音符(特定音符)的1拍為基準，生成對應於樂曲數據的進展和CG圖符活動圖像數據的進展的AV同步指示數據。也就是說，AV同步指示數據生成單元D9每當四分音符(特定音符)進展1拍，就生成指定應顯示幀的AV同步指示數據。
(腳本數據)現參照圖28(a)、(b)對腳本數據和AV同步指示數據具體地進行說明。
圖28(a)是表示圖27所示的AV同步重放裝置的樂曲的節拍數、活動圖像數據和腳本數據的關係的圖。圖28(b)是表示圖27所示的AV同步重放裝置的樂曲的節拍數、活動圖像數據、腳本數據和AV同步指示數據的關係的圖。
在圖28(a)和圖28(b)中，橫坐標軸表示節拍ID。雖然能採用任意的音符作為特定音符，但這裡如前所述，採用四分音符為節拍的基準，作為特定音符。圖28(b)將圖28(a)中第1節拍到第H1節拍的部分加以放大後示出。
如圖28(a)所示，腳本數據使用保存在樂曲數據保存單元D1中的樂曲數據的樂曲節拍數和保存在活動圖像數據保存單元D14中的活動圖像數據的初始幀相對應。例如，樂曲的節拍ID從1到H1為止根據腳本數據對應於活動圖像數據M1。由此，分別指定第N11號的初始幀在第1拍，第N21號的初始幀在第H1拍。同樣，樂曲的節拍ID從(H1+1)到H2為止根據腳本數據對應於活動圖像數據M2。由此，分別指定第N12號的初始幀在第(H1+1)拍，第N22號的初始幀在第H2拍。同樣，樂曲的節拍從(H2+1)到H3為止根據腳本數據對應於活動圖像數據M3。由此，分別指定第N13號的初始幀在第(H2+1)拍，第N23號的初始幀在第H3節拍。
此外，稱為初始幀的原因在於顯示幀確定單元D10根據此初始幀確定實際在監視器D13顯示的幀。
藉助於前述那樣建立活動圖像數據和樂曲的對應關係，例如，當根據樂曲時而用6拍進行100幀的動作，時而用8拍進行100幀的動作時，能用1個活動圖像數據使100幀的活動圖像數據對應於各種各樣動作的進行速度，並因能減少活動圖像數據保存單元D14的存儲容量而更加經濟。
(AV同步指示數據)如前所述，AV同步指示數據是是使樂曲數據的進展和CG圖符的動作數據的進展建立對應關係的數據，按四分音符(特定音符)為1拍逐拍均等分割，生成分配給各活動圖像數據的初始幀。這樣，如圖28(b)所示，藉助於生成AV同步指示數據，分配到活動圖像數據M1中節拍ID的從N11開始到N21為止的初始幀，分別對應於樂曲數據的第2、3、4……拍，分成用於表示在監視器D13上顯示的幀的進展位置的幀n21、n31、n41……。
此外，因根據AV同步指示數據指定的幀的數不限於一定是整數，所以前述的幀n21、n31、n41也有不存儲在活動圖像數據保存單元D14中的。但是，不是存儲的幀在後述的顯示幀確定單元D10的CG圖符的重放處理中，利用樣條內插等眾所周知的數據內插方法，能從活動圖像數據保存單元D14中存儲的幀求出，所以沒有問題。
同樣，在活動圖像數據M2中，也分成用於表示與樂曲數據的節拍逐一對應的幀的進展位置的幀n22、n32、n42……。
圖27所示的顯示幀確定單元D10在顯示的CG圖符的各幀中，基於AV同步指示數據和同步信息，計算並確定下一顯示幀中的CG圖符的姿勢。詳細地說，假設幀緩存器D12將圖像輸出到作為圖像顯示裝置的監視器D13中的時間間隔為ΔT時，顯示幀確定單元D10根據前述的節拍發生單元D7來的同步信息中包含的速率時間Temp(i)、在輸入這種同步信息的時刻寫入到幀緩存器D12中的CG圖符的活動圖像數據幀的進展位置、在輸入接著的同步信息時由前述AV同步指示數據指定的CG圖符的活動圖像數據幀的進展位置和前述的時間間隔ΔT，確定寫入到幀緩存器D12中的CG圖符的姿勢。
此外，時間間隔ΔT的具體的值在例如監視器D13每1秒30次顯示CG圖符的場合，ΔT是1/30秒。
(CG圖符的姿勢的計算)
下面，對於顯示幀確定單元D10中CG圖符的姿勢的具體計算方法進行說明。
首先，顯示幀確定單元D10將由節拍發生單元D7輸入的同步信息的樂曲演奏位置(第i拍)與AV同步指示數據核對，求得在輸入這種同步信息的時刻寫入到幀緩存器D12中的CG圖符的活動圖像數據幀進展位置fi和在接著的同步信息送來的定時(第i+1拍)中根據AV同步指示數據指定的幀的進展位置Fi+1。此外，顯示幀確定單元D10在從由本次輸入的同步信息的樂曲的速率時間Temp(i)所示的第i拍到第(i+1)拍為止的時間段之間，用下面的式(1)算出每個前述的時間間隔ΔT顯示並進展的CG圖符的幀進展位置flame(j)。
flame(j)= fi+(Fi+1-fi)×(j×ΔT/Temp(i))……(1)此外，在式(1)中，j是從顯示幀確定單元D10輸入1個同步信息後到輸入接著的同步信息為止，對在幀緩存器D12中寫入的幀數進行計數的計數值。也就是說，j的值在輸入同步信息的時刻置0，然後，每當CG圖符的幀進展時，遞增1，直到等於Temp(i)/ΔT為止。此外，在式(1)中，i和Temp(i)的值在輸入接著的第(i+1)拍的同步信息前保持相同的值，當輸入第(i+1)拍的同步信息時，更新該同步信息的值。
接著，顯示幀確定單元D10用對活動圖像數據初始幀採用樣條內插而求得的幀進展位置flame(i)為變量的CG圖符活動圖像數據的函數P(幀進展位置)，算出並確定所顯示各幀中的CG圖符的姿勢。
顯示幀決定單元D10在確定了CG圖符的姿勢後，從確定的CG圖符的姿勢算出在這種CG圖符的各折線頂點坐標數據。此外，顯示幀確定單元D10從CG圖符形狀數據保存單元D15讀出由腳本數據指定的CD特徵形狀數據，用這種CG圖符形狀數據和算出的頂點坐標數據生成CG圖符的圖像數據。然後，顯示幀確定單元D10將生成的圖像數據和腳本數據一起輸出到CG配光單元D11中。此外，顯示幀確定單元D10為了進行腳本數據是否結束的判斷，記錄送到CG配光單元D11中的幀進展位置fi。
CG配光單元D11根據包含在腳本數據中的攝像機視點信息和光源信息，對每一幀進行CG圖符的配光。也就是說，CG配光單元D11根據來自顯示幀確定單元D10的圖像數據，生成用指定的攝像機的攝影條件和聚光燈與太陽光等指定的光源的照射條件照出的CG圖符的圖像數據。CG配光單元D11將配光後的CG圖符的圖像數據輸出並寫入到幀緩存器D12中。然後，幀緩存器D12將CG圖符的圖像數據輸出到監視器D13中，監視器D13對CG圖符進行顯示。
下面，參照圖29所示的時序圖對樂曲演奏的進展、在每幀中進行的顯示幀確定單元D10的姿勢計算和在CG配光單元D11的配光處理的關係進行說明。
圖29是表示圖27所示的AV同步重放裝置的樂曲數據、CG圖符的姿勢計算和配光處理在時間上的關係的時序圖。在圖29中，箭頭「T」表示時間的經過，垂直線「A」、「B」、「C」分別表示根據樂曲數據的樂曲的進展、在顯示幀確定單元D10中姿勢計算的進展和CG配光單元D11中配光處理的進展。
如圖29所示，根據樂曲數據的樂曲演奏從樂曲的開頭到達第i拍時，由節拍發生單元D7對顯示幀確定單元D10輸出同步信息。如前所述，這種同步信息包含作為當前時刻樂曲演奏位置的第i拍和樂曲的速率時間Temp(i)。
顯示幀確定單元D10用前述的式(1)不斷地利用同步信息計算每ΔT秒進行的CG圖符的幀進展位置flame(j)。並且，顯示幀確定單元D10用活動圖像數據的函數P(幀進展位置)確定CG圖符的姿勢，算出構成CG圖符的各折線頂點坐標數據。在圖中，第i拍的姿勢計算、第i+ΔT/Temp(i)拍的姿勢計算，……，示出了這種姿勢計算所要的時間(包含頂點坐標數據的算出時間)。然後，顯示幀確定單元D10根據算出的頂點坐標數據和腳本數據指定的CG圖符形狀數據，瞬時地生成圖像數據。
每次生成的圖像數據從顯示幀確定單元D10輸出到CG配光單元D11中，並開始CG圖符的配光處理。
(樂曲演奏的重放處理)首先，參照圖30對樂曲演奏的重放處理進行說明。
圖30表示樂曲演奏的重放處理的流程圖，在樂曲演奏開始前，樂曲數據保存單元D1和腳本數據保存單元D8由記錄媒體或者通信線路分別取得樂曲數據和腳本數據(步驟S1)。
接著，AV同步指示數據生成單元D9根據來自腳本數據保存單元D8的腳本數據，生成AV同步指示數據(步驟S2)。
圖31表示在AV同步指示數據生成單元D9的AV同步指示數據的生成步驟。如圖31所示，AV同步指示數據生成單元D9從腳本數據保存單元D8一輸入腳本數據(步驟S13),AV同步指示數據生成單元D9就按四分音符(特定音符)為1拍逐拍均等分割由腳本數據指定的活動圖像數據Mi的初始幀，生成AV同步指示數據(步驟S14)。
返回圖30，在步驟S3，樂曲數據保存單元D1一輸入演奏開始命令，樂曲數據保存單元D1就將存儲的樂曲數據順序地輸出到輸出波形生成單元D2中。
輸出波形生成單元D2根據樂曲數據生成數字形式的演奏聲的波形數據(步驟S4)，並逐次輸出到聲音數據用緩存器D3中。聲音數據用緩存器D3暫時地存儲一定量的波形數據(步驟S5)。然後，將波形數據從聲音數據用緩存器D3輸出到D/A變換器D4中。
D/A變換器D4將輸入的波形數據變換成模擬形式的聲音信號(步驟S6)。並且，D/A變換器D4將聲音信號輸出到放大器D5中，用放大器D5放大聲音信號(步驟S7)。接著，利用揚聲器D6演奏來自放大器D5的聲音信號並發出聲音(步驟S8)。
聲音數據緩存器D3每當將波形數據輸出到D/A變換器D4中時，就將該定時通知節拍發生單元D7中(步驟S9)。
接著，節拍發生單元D7根據包含在樂曲數據中的速率時間，每進展四分音符1拍的樂曲，就發生由在該時刻的樂曲的演奏位置(第i拍)和速率時間Temp(i)組成的同步信息，並輸出到顯示幀確定單元D10中(步驟S10)。
接著，節拍發生單元D7判定樂曲是否結束(步驟S11)。如果樂曲沒有結束，則返回到(步驟S4)所示的處理。如果樂曲結束，則演奏結束(步驟S12)。
(CG圖符的重放處理)下面，參照圖32對CG圖符的重放處理進行說明。
圖32表示CG圖符的重放處理，當顯示幀確定單元D10從節拍發生單元D7輸入同步信息時(步驟S15)，顯示幀確定單元D10使j的值為0(步驟S16)。此外，如前所述，j是顯示幀確定單元D10從輸入1個同步信息到輸入下一個同步信息為止，對幀緩存器D12中寫入的幀數進行計數的計數值。
接著，顯示幀確定單元D10藉助於核對從節拍發生單元D7輸入的同步信息的樂曲的演奏位置和AV同步指示數據，求得在當前時刻(第i拍)和接著輸入同步信息的時刻(第i+1拍)的CG圖符的活動圖像數據幀的進展位置fi和Fi+1。然後，顯示幀確定單元D10在由當前輸入的同步信息的樂曲的速率時間Temp(i)表示的第i拍到第i+1拍為止的時間段間，用前述的式(1)算出每前述的時間間隔ΔT秒顯示並進行的CG圖符的幀進展位置flame(j)(步驟S17)。
接著，顯示幀確定單元D10用以幀的進展位置flame(j)為變量的活動圖像數據的函數P(幀的進展位置)算出所顯示各幀的CG圖符的姿勢(步驟S18)。
接著，顯示幀確定單元D10根據由算出的CG圖符的指示和腳本數據指定的CG圖符形狀數據，生成幀進展位置flame(j)的圖像數據，並輸出到CG配光單元D11中(步驟S19)。
CG配光單元D11根據包含在腳本數據中的攝像機視點信息和光源信息，對輸入到的圖像數據進行配光(步驟S20)。
接著，CG配光單元D11將配光後的圖像數據寫入到幀緩存器D12中(步驟S21)。並且，監視器D13(圖27)對來自幀緩存器D12的圖像數據數據進行顯示(步驟S22)。
此外，顯示幀確定單元D10在進行步驟S19所示的處理時，記錄輸出到CG表現單元D11的幀的進展位置fi(步驟S23)。顯示幀確定單元D10根據記錄的進展位置fi，進行是否顯示到腳本數據的最後而結束的判斷(步驟S24)。
顯示幀確定單元D10在沒有顯示到最後的場合，使j的值增加1(步驟S25)，並返回到步驟S17所示的處理。
反之，在顯示到最後的場合，結束CG圖符的繪畫(步驟S26)。
實施形態14圖33和圖34表示實施形態14。
本實施形態在表示實施形態13的圖27中，增加輸入樂曲的速率變更指示並變更從節拍發生單元輸出的同步信息的速率時間的速率變更信息輸入單元D18。其它的結構要素與實施形態13相同。
如圖33所示，將速率變更信息輸入單元D18連接到節拍發生單元D7中。這種速率變更信息輸入單元D18在樂曲的重放(第i拍)中從用戶和外部設備輸入樂曲速率變更指示的場合，如下述的式(2)所示，在包含保存在樂曲數據保存單元D1的樂曲數據的初始速率時間Temp(i)上乘以比例常數Cs，求得新的速率時間Temp(i)。
新的速率時間Temp(i)=初始速率時間Temp(i)×Cs…(2)將新的速率時間Temp(i)從速率變更信息輸入單元D18輸出到節拍發生單元D7中，用作從節拍發生單元D7輸出的同步信息的速率時間。此外，速率變更信息輸入單元D18在取得樂曲數據保存單元D1重放的樂曲數據時，由記錄媒體或者通信線路同時取得起始的速率時間Temp(i)。
下面，對這種AV同步重放裝置的樂曲演奏的重放處理進行說明。此外，關於AV同步指示數據的生成步驟和CG圖符的重放處理，因分別與圖31和圖32所示的實施形態13相同，所以省略這些重複的說明。
圖34表示圖33所示的AV同步重複裝置的樂曲演奏的重放處理。
首先，步驟S31中，在樂曲演奏開始前，樂曲數據保存單元D1和腳本數據保存單元D8由記錄媒體和通信線路分別取得樂曲數據和腳本數據。
接著，在步驟S32中，AV同步指示數據生成單元D9根據來自腳本數據保存單元D8的腳本數據，生成AV同步指示數據。
樂曲數據保存單元D1一輸入演奏開始的命令(步驟S33)，速率變更信息輸入單元D18就考察是否輸入速率變更指示。在輸入速率變更指示的場合，速率變更信息輸入單元D18根據輸入的速率變更指示，變更從節拍發生單元D7輸出的同步信息的速率時間(步驟S34)。
樂曲數據保存單元D1將存儲的樂曲數據順序地輸出到輸出波形生成單元D2中。輸出波形生成單元D2根據樂曲數據，生成數字形式的演奏聲的波形數據(步驟S35)，並逐次輸出到聲音數據用緩存器D3中。聲音數據用緩存器D3暫時地存儲一定量的波形數據(步驟S36)。然後，將波形數據從聲音數據用緩存器D3輸出到D/A變換器D4中。
D/A變換器D4將輸入的波形數據變換成模擬形式的聲音信號(步驟S37)。並且，D/A變換器D4將聲音信號輸出到放大器D5中，並用放大器D5放大聲音信號(步驟S38)。接著，由揚聲器D6演奏來自放大器D5的聲音信號並發出聲音(步驟S39)。
聲音數據用緩存器D3每當向D/A變換器D4輸出波形時，就將該定時通知節拍發生單元D7(步驟S40)。
接著，節拍發生單元D7根據包含在樂曲數據中的速率時間，每進展四分音符1拍的樂曲，就發生由在該時刻的樂曲的演奏位置(第i拍)和速率時間Temp(i)組成的同步信息，並輸出到顯示幀確定單元D10中(步驟S41)。
接著，節拍發生單元D7判定樂曲是否結束(步驟S42)。如果樂曲沒有結束，則再次返回到(步驟S34)所示的處理。如果樂曲結束，則演奏結束(步驟S43)。
這樣，在實施形態14的AV同步重放裝置中，藉助於用幀內插方法，顯示幀確定單元能生成與樂曲數據同步的活動圖像的圖像數據，使活動圖像的重放處理與樂曲演奏所重放處理自動地相合，並能使這些重放處理不斷地同步。
實施形態15圖35-圖37表示實施形態15的AV同步重放裝置。
在本實施形態中，結構上採用與樂曲演奏同步地重放幀的數據長度非恆定的一系列活動圖像數據，以代替表示實施形態13的圖27的CG圖符的重放。其它各部分因與實施形態13相同，所以省略這些重複的說明。
此外，作為前述活動圖像數據的具體例，有MPEG(Moving Picture ExpertsGroup)標準等幀不獨立的壓縮方式的活動圖像數據和幀不是固定長度的活動圖像數據。
如圖35所示，作為進行活動圖像的重放處理的設備，設置根據保存活動圖像腳本數據的活動圖像腳本數據保存單元D8』、根據與活動圖像腳本數據保存單元D8』連接的活動圖像腳本數據生成AV同步指示數據的AV同步指示數據生成單元D9』，以及與節拍發生單元D7和AV同步指示數據生成單元D9』連接的顯示幀確定單元D10』。將保存活動圖像數據的活動圖像數據保存單元D14』連接到顯示幀確定單元D10』中。
顯示幀確定單元D10』根據活動圖像數據，對顯示的各幀分別確定與樂曲數據同步的圖像數據，並輸出到幀緩存器D12中。
由能改寫的記錄媒體(例如RAM)構成活動圖像腳本數據保存單元D8』和活動圖像數據保存單元D14』，在輸入開始演奏命令前，利用CD-ROM、DVD或者類似的記錄媒體，或者通信線路，分別輸入並保持活動圖像腳本數據和活動圖像數據。
下面，參照圖36(a)和圖36(b)對活動圖像腳本數據和AV同步指示數據具體地進行說明。
圖36(a)是表示圖35所示的AV同步同步重放裝置的樂曲的節拍數、活動圖像數據和活動圖像腳本數據的關係的說明圖。圖36(b)表示圖35所示的AV同步同步重放裝置的樂曲的節拍數，活動圖像數據、活動圖像腳本數據和AV同步指示數據的關係。
在圖36(a)和圖36(b)中，橫坐標軸表示樂曲演奏開始後的特定音符節拍數。圖36(b)將圖36(a)中第1拍到第H1拍的部分加以放大後示出。
如圖36(a)所示，活動圖像腳本數據使在保存在樂曲數據保存單元D1中的樂曲數據中的樂曲節拍數和保存在活動圖像數據保存單元D14』的活動圖像數據初始幀對應。例如，從樂曲的第1拍到第H1拍為止根據活動圖像腳本數據與活動圖像數據B1對應。由此，分別指定第N11初始幀在第1拍、第N21初始幀在第H1拍。同樣，從樂曲的第H1+1拍到第H2拍為止根據活動圖像腳本數據與活動圖像數據B2對應。
由此，分別指定第N12號的初始幀在第H1+1拍，第N22號的初始幀在第H2拍。同樣，從樂曲的第(H2+1)拍到第H3拍為止根據腳本數據對應於活動圖像數據B3。由此，分別指定第N13號的初始幀在第(H2+1)拍，第N23號的初始幀在第H3拍。
此外，稱為初始幀的原因在於顯示幀確定單元D10』根據此初始幀確定實際在監視器D13顯示的幀。
藉助於前述那樣建立活動圖像數據和樂曲的對應關係，例如，當根據樂曲時而用6拍進行100幀的動作，時而用8拍進行100幀的動作時，能用1個活動圖像數據使100幀的活動圖像數據對應於各種各樣動作的進行速度，並因能減少活動圖像數據保存單元D14』的存儲容量而更加經濟。
AV同步指示數據是在根據活動圖像腳本數據分割的各活動圖像數據中，以前述的四分音符(特定音符)的1拍作為基準，使樂曲數據和活動圖像數據建立對關係的數據，按四分音符(特定音符)為1節拍逐拍均等分割，生成分配給各活動圖像數據的初始幀。
這樣，如圖36(b)所示，藉助於生成AV同步指示數據，分配到活動圖像數據B1中的從第N11開始到第N21為止的初始幀，分別對應於樂曲數據的第2、3、4……拍，分成用於表示在監視器D13上顯示的幀的進展位置的幀n21、n31、n41……。
此外，因根據AV同步指示數據指定的幀的數不限於一定是整數，所以前述的幀n21、n31、n41也有不存儲在活動圖像數據保存單元D14』中的。但是，不是存儲的幀在後述的顯示幀確定單元D10』的活動圖像的重放處理中，利用樣條內插等眾所周知的數據內插方法，能從活動圖像數據保存單元D14』中存儲的幀求出，所以沒有問題。同樣，在活動圖像數據B2中，也分成用於表示與樂曲數據的節拍逐一對應的幀的進展位置的幀n22、n32、n42……。
下面，對在顯示幀確定單元D10』中，從活動圖像數據計算在各幀顯示的活動圖像數據的具體的計算方法進行說明。
首先，顯示幀確定單元D10』將由節拍發生單元D7輸入的同步信息的樂曲的演奏位置(第i拍)與AV同步指示數據核對，求得在輸入這種同步信息的時刻寫入到幀緩存器D12中的活動圖像數據幀進展位置fi和在接著的同步信息送來的定時(第i+1拍)中根據AV同步指示數據指定的幀進展位置Fi+1。
此外，顯示幀確定單元D10』在從由本次輸入的同步信息的樂曲速率時間Temp(i)所示的第i拍到第(i+1)拍為止的時間段之間，並用下面的式(3)算出每個前述的時間間隔ΔT顯示並進展的活動圖像數據幀進展位置flame(j』)。
flame(j』)=fi+(Fi+1-fi)×(j』×ΔT/Temp(i))…(3)此外，在式(3)中，j』是從顯示幀確定單元D10』輸入1個同步信息後到輸入接著的同步信息為止，對在幀緩存器D12中寫入的幀數進行計數的計數值。也就是說，j』的值在輸入同步信息的時刻置成0，然後，每當活動圖像數據的幀進展時，遞增1，直到等於Temp(i)/ΔT為止。此外，在式(3)中，i和Temp(i)的值在輸入接著的第(i+1)拍的同步信息保持相同的值，當輸入第(i+1)拍的同步信息時，更新該同步信息的值。
接著，顯示幀確定單元D10』用對活動圖像數據初始幀採用樣條內插而求得的幀進展位置flame(j』)為變量的活動圖像數據的函數D(幀進展位置)，算出並確定所顯示各幀的活動圖像數據。然後，顯示幀確定單元D10』將生成的圖像數據輸出並寫入到到幀緩存器D12中。並且，幀緩存器D12將活動圖像數據輸出到監視器D13中，監視器D13顯示活動圖像。
此外，顯示幀確定單元D10』為了進行活動圖像腳本數據是否結束的判斷，記錄送到幀緩存器D12中的幀進展位置fi。
下面，參照圖37對活動圖像的重放處理進行說明。此外，因輸入演奏開始命令後的樂曲演奏重放處理和節拍發生單元D7的同步信息生成處理與圖31所示實施形態13中相同所以省略其說明。
圖37表示圖35所示的AV同步重放裝置的活動圖像重放處理。
在圖37中，當顯示幀確定單元D10』從節拍發生單元D7輸入同步信息時(步驟S45)，顯示幀確定單元D10』使j』的值為0(步驟S46)。此外，如前所述，j』是顯示幀確定單元D10』從輸入1個同步信息到輸入下一個同步信息為止，對幀緩存器D12中寫入的幀數進行計數的計數值。
接著，顯示幀確定單元D10』藉助於核對從節拍發生單元D7輸入的同步信息的樂曲演奏位置和AV同步指示數據，求得在當前時刻(第i拍)和接著輸入同步信息的時刻(第i+1拍)的活動圖像數據幀進展位置fi和Fi+1。然後，顯示幀確定單元D10』在由當前輸入的同步信息的樂曲的速率時間Temp(i)表示的第i拍到第i+1拍為止的時間段間，用前述的式(3)算出每前述的時間間隔ΔT秒顯示並進展的活動圖像數據幀進展位置flame(j』)(步驟S47)。
接著，顯示幀確定單元D10』用以幀進展位置flame(j』)為變量的活動圖像數據的函數D(幀進展位置)算出所顯示各幀的活動圖像數據(步驟S48)。
接著，顯示幀確定單元D10』將算出的活動圖像數據輸出到幀緩存器D12中(步驟S49)，幀緩存器D12寫入顯示的活動圖像數據(步驟S50)。然後，監視器D13顯示來自幀緩存器D12的活動圖像數據(步驟S51)。
此外，顯示幀確定單元D10』在進行步驟S49所示的處理時，記錄輸出到幀緩存器D12的幀的進展位置fi(步驟S52)。顯示幀確定單元D10』根據記錄的進展位置fi，進行是否顯示到腳本數據的最後而結束的判斷(步驟S53)。
顯示幀確定單元D10』在沒有顯示到最後的場合，j』的值增加1(步驟S54)，並返回到步驟S47所示的處理。反之，在顯示到最後的場合，結束活動圖像的重放(步驟S55)。
這樣，在實施形態15的AV同步重放裝置中，輸入樂曲的速率變更指示，並設置變更節拍發生單元所輸出同步信息速率信息的速率變更信息輸入單元。因此，即使用戶在樂曲演奏途中變更樂曲的速率，也能使樂曲演奏與圖像重放同步。
實施形態16圖38和圖39表示實施形態16。
本實施形態設置輸入樂曲的速率變更指示，並變更節拍發生單元D7所輸出同步信息的速率時間的速率變更信息輸入單元D18。因其它的各部分與表示實施形態15的圖35相同，所以省略這些重複的說明。
如圖38所示，將速率變更信息輸入單元D18連接到節拍發生單元D7中。這種速率變更信息輸入單元D18在樂曲的重放(第i拍)中從用戶和外部設備輸入樂曲的速率變更指示的場合，如下述的式(4)所示，在包含保存在樂曲數據保存單元D1的樂曲數據的始始速率時間Temp(i)上乘以比例常數Cs』，求得新的速率時間Temp(i)。
新的速率時間Temp(i)=初始的速率時間Temp(i)×Cs』 …(4)將新的速率時間Temp(i)從速率變更信息輸入單元D18輸出到節拍發生單元D7中，用作從節拍發生單元D7輸出的同步信息的速率時間。此外，速率變更信息輸入單元D18在取得樂曲數據保存單元D1重放的樂曲數據時，由記錄媒體或者通信線路同時取得初始速率時間Temp(i)。
下面，參照圖39對本實施形態的AV同步重放裝置的樂曲演奏重放處理進行說明。此外，關於AV同步指示數據的生成步驟和活動圖像的重放處理，因分別與圖31所示的實施形態13和圖37所示的實施形態15相同，所以省略這些重複的說明。
圖39表示圖38所示的AV同步重複裝置的樂曲演奏重放處理。
如圖39所示，在樂曲演奏開始前(步驟61)，樂曲數據保存單元D1和活動圖像腳本數據保存單元D8』由記錄媒體和通信線路分別取得樂曲數據和活動圖像腳本數據。
接著，在步驟S62中，AV同步指示數據生成單元D9』根據來自腳本數據保存單元D8』的腳本數據，生成AV同步指示數據。
樂曲數據保存單元D1一輸入演奏開始的命令(步驟S63)，速率變更信息輸入單元D18就考察是否輸入速率變更指示。
在輸入速率變更指示的場合，速率變更信息輸入單元D18根據輸入的速率變更指示，變更從節拍發生單元D7輸出的同步信息的速率時間(步驟S64)。
樂曲數據保存單元D1將存儲的樂曲數據順序地輸出到輸出波形生成單元D2中。輸出波形生成單元D2根據樂曲數據，生成數字形式的演奏聲的波形數據(步驟S65)，並逐次輸出到聲音數據用緩存器D3中。
聲音數據用緩存器D3暫時地存儲一定量的波形數據(步驟S66)。然後，將波形數據從聲音數據用緩存器D3輸出到D/A變換器D4中。
D/A變換器D4將輸入的波形數據變換成模擬形式的聲音信號(步驟S67)。並且，D/A變換器D4將聲音信號輸出到放大器D5中，並用放大器D5放大聲音信號(步驟S68)。接著，由揚聲器D6演奏來自放大器D5的聲音信號並發出聲音(步驟S69)。
聲音數據用緩存器D3每當向D/A變換器D4輸出波形時，就將該定時通知節拍發生單元D7中(步驟S70)。
接著，節拍發生單元D7根據包含在樂曲數據中的速率時間，每進展四分音符1拍的樂曲，就發生由在該時刻的樂曲演奏位置(第i拍)和速率時間Temp(i)組成的同步信息，並輸出到顯示幀確定單元D10』中(步驟S71)。
接著，AV同步重放裝置判定樂曲是否結束(步驟S72)。如果樂曲沒有結束，則再次返回到(步驟S64)所示的處理。如果樂曲結束，則演奏結束(步驟S73)。
這樣，在本實施形態的AV同步重放裝置中，設置輸入樂曲的速率變更指示，並變更節拍發生單元D7所輸出同步信息的速率時間的速率變更信息輸入單元D18。由此，例如在卡拉OK中即使用戶在樂曲演奏途中將樂曲的速率變更成喜歡的速率，也能保持樂曲演奏的處理與活動圖像的重放處理的同步。
此外，前述的各實施形態的AV同步重放裝置的重放處理，因任何一種實施形態都能電腦程式化，所以利用計算機能執行的記錄媒體也能提供本申請的AV同步方法。這裡所說的記錄媒體是指軟盤、CD-ROM、DVD(數字視頻光碟)、光磁碟和可換硬碟等。
權利要求
1．一種圖形顯示裝置，其特徵在於，在伺服器上包括通過網絡向終端發送記載動作的組合順序的腳本數據的數據發送手段，在終端上包括接收由所述數據發送手段發送的腳本數據的數據接收手段；顯示立體圖符所需的形狀資料庫；使立體圖符動作所需的動作資料庫；按照記載在由所述數據接收手段接收到的腳本數據中的順序，切換動作並顯示所述立體圖符的動作切換描繪手段；在所述切換繪畫手段切換動作時校正前後動作使動作能流暢顯示的動作自動校正手段。
2．如權利要求1所述的圖形顯示裝置，其特徵在於，在伺服器上包括通過網絡發送校正數據發送手段發送的腳本數據所記載各動作間連接部分動作校正的數據的校正數據發送手段，並具有接收由所述校正數據發送手段發送的校正數據的校正數據接收手段，和根據由所述校正數據接收手段接收到的動作校正數據，校正前後動作使切換繪畫手段切換動作時動作能流暢顯示的動作校正手段，以代替終端的動作自動校正手段。
3．如權利要求1所述的圖形顯示裝置，其特徵在於，在伺服器上包括動作資料庫，和由動作資料庫算出校正數據發送手段發送的腳本數據所記載各動作間連接部分動作的校正數據，並通過網絡用校正數據發送手段進行發送的校正腳本計算手段。
4．一種圖形顯示方法，其特徵在於，在從伺服器向終端指示對立體圖符進行圖形顯示時，在終端上準備記敘立體圖符的活動模式的多個活動模式，伺服器向終端發送記載所述活動模式的時間序列組合順序的腳本數據，檢測來自伺服器的腳本數據，根據這種腳本數據進行動作並進行圖形顯示的終端，用與執行中和接著執行的活動模式共同的中心姿勢的定時或者用與執行中和接著執行的所述動作模式幾乎共同的姿勢的定時，切換執行的活動模式，並執行場面的切換。
5．一種圖形顯示裝置，其特徵在於，設置記述多個模式的活動的動作群、基於動作群的任何一個模式，對應於場面記述是否使立體圖符動作的腳本資料庫，以及根據腳本資料庫和動作群，控制顯示輸出的立體圖符的動作的特徵姿勢控制手段，而且，圖符姿勢控制手段的結構做成用與執行中和接著執行的活動模式共同的中心姿勢定時或者用與執行中和接著執行的所述活動模式幾乎共同的姿勢的定時，切換執行的活動模式，執行場面的切換。
6．一種圖形顯示裝置，在網絡上設置伺服器和終端，在終端上進行圖形顯示，其特徵在於，在所述伺服器上設置定義三維圖符的形狀的圖符數據的資料庫、定義所述圖符的動作的動作資料庫，和指定所述圖符數據和1個以上的所述動作的時間序列組合的腳本數據，在所述終端上設置保管所述圖符數據的圖符資料庫、保管所述動作的動作資料庫、檢索所述腳本數據指定的圖符數據是否存在於圖符資料庫中的數據檢索手段，和向所述伺服器請求取得不存在於所述圖符資料庫中的圖符數據的數據請求手段。
7．一種圖形顯示裝置，在網絡上設置伺服器和終端，在終端上進行圖形顯示，其特徵在於，在所述伺服器上設置定義三維圖符的形狀的圖符數據的資料庫、定義所述圖符的動作的動作資料庫，和指定所述圖符數據和1個以上的所述動作的時間序列組合的腳本數據，在所述終端上設置保管所述圖符數據的圖符資料庫、保管所述動作的動作資料庫、檢索所述腳本數據指定的動作數據是否存在於動作資料庫中的數據檢索手段，和向所述伺服器請求取得不存在於所述動作資料庫中的動作數據的數據請求手段。
8．一種聲像(AV)同步重放裝置，其特徵在於，包括基於樂曲數據進行演奏的樂曲演奏手段，對應於特定樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息以及對它們進行更新的時刻，進行暫時存儲的同步信息表，基於所述樂曲演奏手段的演奏，更新所述同步信息表的同步信息更新手段，由當前時刻和所述同步信息表的內容計算所述樂曲演奏手段當前正在演奏的樂曲位置的樂曲位置計算手段，暫時存儲幀數據的幀緩存器，所述樂曲演奏手段，基於所述樂曲位置計算手段計算的樂曲位置，從與樂曲數據關連的CG數據算出與所述樂曲演奏手段同步的幀數據，並輸出到所述幀緩存器中的幀輸出手段，將存儲在所述幀緩存器中的幀數據作為活動圖像進行顯示的圖像顯示手段。
9．如權利要求8所述的聲像(AV)同步重放裝置，其特徵在於，每當樂曲位置或者速率信息中任何1個變化時，樂曲演奏手段更新同步信息表，按照這樣的要求構成同步信息更新手段。
10．如權利要求8所述的聲像(AV)同步重放裝置，其特徵在於，按照以特定的周期更新同步信息表的要求，構成同步信息更新手段。
11．如權利要求8所述的聲像(AV)同步重放裝置，其特徵在於，增加從CG數據量預測幀數據輸出手段需要的運算時間的運算時間預測手段，而且幀輸出手段的結構做成與由樂曲位置計算手段計算的樂曲位置延遲所述運算時間預測手段預測的時間的樂曲位置同步地將幀數據輸出到幀緩存器中。
12．如權利要求8所述的聲像(AV)同步重放裝置，其特徵在於，增加根據樂曲數據預測當前樂曲位置的聲音實際成為聲音輸出前延遲的時間的演奏延遲預測手段，而且同步信息更新手段的結構做成將延遲所述演奏延遲預測手段預測的時間的樂曲位置、速率信息以及更新時間輸出到同步信息表中。
13．如權利要求8所述的聲像(AV)同步重放裝置，其特徵在於，增加根據CG數據量預測圖像顯示手段能實際顯示幀緩存器的數據前的顯示延遲時間的圖像顯示延遲預測手段，而且幀輸出手段的結構做成將與由樂曲位置計算手段計算的樂曲位置延遲所述圖像顯示延遲時間預測手段預測的時間的樂曲位置同步的幀數據輸出到幀緩存器中。
14．如權利要求8所述的聲像(AV)同步重放裝置，其特徵在於，設置在樂曲演奏手段開始特殊重放時，發生特殊重放開始信號的特殊重放開始通知手段、在樂曲演奏手段結束特殊重放時，發生特殊重放結束信號的特殊重放結束通知手段，以及在特殊重放中將樂曲位置實時同步地輸出到同步信息表中的特殊重放同步信息更新手段，而且幀輸出手段的結構做成在特殊重放中根據所述特殊重放同步信息更新手段更新的所述同步信息表，將幀數據輸出到幀緩存器中。
15．一種聲像(AV)同步重放裝置，使樂曲數據和活動圖像數據同步重放，其特徵在於，包括重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息作為同步信息，並進行輸出的節拍發生電路；以所述特定音符為基準，生成對應於樂曲數據和活動圖像數據的進展的AV同步指示數據的AV同步指示數據生成電路；設幀緩存器將圖像輸出到圖像顯示電路中的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數據幀的進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的活動圖像數據幀的進展位置，和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數據的顯示幀確定電路。
16．一種聲像(AV)同步重放裝置，同步重放樂曲數據和CG圖符的活動圖像數據，其特徵在於，包括重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和作為演奏速率的基礎的速率信息作為同步信息輸出的節拍發生電路；以所述特定音符為基準，生成對應於進行樂曲數據的進展的CG圖符活動圖像數據的AV同步指示數據的AV同步指示數據生成電路；設幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符活動圖像數據幀進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的CG圖符活動圖像數據幀的進展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢的圖符姿勢計算電路。
17．如權利要求15或16所述的聲像(AV)同步重放裝置，其特徵在於，設置輸入變更速率信息的速率變更輸入電路。
18．一種聲像(AV)同步重放方法，其特徵在於，為了使樂曲和圖像同步，每次所述樂曲進展所述特定音符份額，從所述樂曲的聲音生成單元對所述圖像的生成單元傳送以特定音符作為基準的所述樂曲上的位置的樂曲位置和所述樂曲的速率信息。
19．一種聲像(AV)同步重放方法，其特徵在於，包括在重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息作為同步信息進行輸出的步驟；以所述特定音符作為基準，生成對應於進行樂曲數據和活動圖像數據進展的AV同步指示數據的步驟；設幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數據幀的進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的活動圖像數據的幀的進展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數據。
20．一種聲像(AV)同步重放方法，其特徵在於，包括在重放樂曲數據時，將規定每次特定音符份額的樂曲進展所對應時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎的速率信息作為同步信息進行輸出的步驟；以所述特定音符作為基準，生成對應於樂曲數據和CG圖符活動圖像數據的AV同步指示數據的步驟；設幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據從所述節拍發生電路輸入同步信息後，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符的活動圖像數據幀的進展位置、在輸入接著的同步信息時由所述AV同步指示數據指定的CG圖符活動圖像數據幀的進展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢。
21．如權利要求19或20所述的聲像(AV)同步重放方法，其特徵在於，包括輸入變更速率信息的步驟；將所述同步信息的速率信息變更成輸入後的速率信息的步驟。
22．一種記錄媒體，其特徵在於，記錄實現如權利要求19至21任一項所述的聲像(AV)同步重放方法的電腦程式。
全文摘要
本發明揭示一種圖形顯示裝置和同步重放方法以及AV同步重放裝置。在從伺服器向終端指示對立體圖符進行圖形顯示時,在終端上準備多個活動模式伺服器向終端發送腳本數據,終端側根據腳本數據進行工作,切換場面並顯示圖符。用與執行中和接著執行的活動模式共同的中心姿勢的定時或者用與執行中和接著執行的所述活動模式幾乎共同姿勢的定時,終端側執行場面的切換並顯示圖形。本發明的目的在於提供能減少從伺服器經網絡通信的CG數據的數據傳輸量,而且能使在終端顯示的立體圖符流暢的圖形顯示裝置。本發明的目的還在於提供能使速率在曲中變化的曲子和圖像同步進行重放的AV同步重放裝置。
文檔編號H04N7/24GK1225734SQ9880058
公開日1999年8月11日 申請日期1998年5月15日 優先權日1997年5月19日
發明者鈴木誠一, 白井豐, 德永真志, 大久保晴代, 津田賢治郎, 今村哲也 申請人:松下電器產業株式會社