用於編輯的裝置和方法

2023-05-03 10:53:21 2

專利名稱：用於編輯的裝置和方法
技術領域：
本發明涉及一種編輯裝置、編輯方法、編輯程序和數據結構。
背景技術：
對於視頻編輯而言，通常存在以下方法在已經記錄了視頻或圖像的錄像帶或膠片上執行編輯的方法，以及將錄像帶或膠片上記錄的視頻或圖像數據轉換成數字數據進行編輯的方法。在已經記錄了視頻或圖像的錄像帶或膠片上執行編輯的情況下，在讀取被稱為時間碼的時間信息的同時，需要針對作為素材的視頻或圖像數據的時間軸(下文中該時間軸將被稱為「素材時間」)，順序地執行編輯。因此，對於素材時間而言，編輯操作是線性的。相反，除了回放方向和回放時間以外，可以通過隨機地訪問存儲的視頻數據來靈活地編輯被轉換成數字數據的視頻或圖像數據(如果存儲在個人計算機、工作站等的硬碟等中)，而不用考慮素材時間。因此，對於素材時間而言，編輯操作可以是非線性的。為此，用於數字地編輯視頻數據的裝置也稱為「非線性編輯裝置」。如果使用這種非線性編輯裝置，那麼與使用錄像帶的傳統帶編輯相比，可以執行各種編輯而不必考慮時間碼；例如，如果某個中間場景變得不必要，則可以將後面的場景前移。在使用這種非線性編輯裝置的情況下，例如可以從硬碟中讀取、解碼、再現以及然後當通過使用監視器進行查看的同時編輯存儲在硬碟中的編碼視頻。通常存在一種如下的非線性視頻編輯裝置其可以再現將被編輯的視頻數據，以允許在視頻數據的相應位置處設置將要被裁剪的場景的起始位置(入點)和結束位置(出點)，同時允許對視頻數據的視頻進行查看。這些入點和出點與視頻數據相關聯並且作為編輯信息進行保存，並基於這種編輯信息形成被裁剪的場景的剪輯(clip)。應當注意的是，在非線性視頻編輯中，為了形成剪輯不需要實際地複製或剪切任何原始視頻數據，並且在剪輯回放期間，指定剪輯，從而參考編輯信息並對從入點到出點的範圍內的視頻數據進行解碼和再現。一些類型的非線性編輯裝置可以使用稱為「剪輯標記」的編輯功能，來在剪輯的視頻和音頻的任意期望的場景位置處設置標記。此外，專利文獻1公開了一種編輯系統，其中使用稱為「時間再映射」的編輯功能來靈活地將剪輯的視頻和音頻的回放速率改變到任意期望的速率，並在用戶界面上顯示回放速率的改變狀態。例如，可以通過使用用戶或編輯者指定的關鍵幀以及一組使用該關鍵幀的線段內插和Bezier內插數學表達式來改變回放速率。根據常規方法，如果作為素材的視頻數據(下文中將被稱為「素材數據」)受到編輯，這些編輯包括用於產生將被回放的視頻數據(在下文中將被稱為「回放數據」)的時間再映射轉換過程，那麼使素材數據中設置的、並指示素材時間上的給定「位置」的標記反映在回放數據中，是相對容易的。然而，在將用於定義素材時間上的給定「範圍」的標記設置在素材數據中的情況下，如果簡單地應用從素材時間到回放時間的時間再映射轉換，不考慮該範圍的起始和結束點之間的時間間隔的改變，那麼結果就是素材數據中設置的標記所指示的範圍可能沒有被正確地反映在回放數據中。圖IA至圖IC的曲線圖示出了素材時間和回放時間之間的剪輯標記的對應關係。 在圖IA至圖IC中，在素材數據的給定位置處設置的標記示為剪輯標記a、b、c、d和e。圖 IA示出了設置回放時間使得以與素材時間相同的回放速率來執行回放的情況。在圖IA的例子中，如實線所示，只存在分別與素材時間的剪輯標記a和b相對應的單個回放時間a』和 b』，而如虛線所示，也只存在分別與回放時間a』和b』相對應的單個素材時間a和b。圖IB 示出了設置回放時間使得用素材時間的變化的回放速率來執行回放的情況。在圖IB的例子中，如實線所示，例如，存在與剪輯標記d所表示的素材時間相對應的多個回放時間dl』、 d2』和d3』。圖IC示出了設置回放時間使得用素材時間的變化的回放速率來執行回放的另一情況。在圖IC的例子中，不存在與剪輯標記e所表示的素材時間相對應的回放時間。但是，即使在這種情況中，也有必要存在與例如f所表示的回放時間的時間相對應的單個素材時間。在素材時間與回放時間相同的情況(圖1A)下，回放時間的位置與素材時間的相應位置以一對一的關係相對應。相反，如圖IB和圖IC中所示，在設置回放時間使得用素材時間的變化的回放速率來執行回放的情況中，可能存在與素材時間的位置相對應的多個回放時間，或者可能不存在與素材時間的位置相對應的回放時間。如前面所陳述的，在使用剪輯標記來定義素材數據的給定「範圍」然後簡單地應用從素材時間到回放時間的時間再映射轉換的情況下，並沒有考慮該範圍的起始點和結束點之間的時間間隔的改變，結果就是由素材數據中設置的剪輯標記定義的範圍可能沒有被正確地反映在回放數據中。例如，在對範圍進行指定使得圖IB中所示的剪輯標記d用作所指定的範圍的起始點或結束點的情況下，實際上可能已知相對應的回放時間dl』、d2』和d3』， 但是並沒有考慮dl』和d2』之間的時間改變以及d2』和d3』之間的時間改變。為此，可能無法確定回放時間中的dl』和d2』之間範圍以及d2』和d3』之間的範圍是否與素材時間中指定的範圍相對應。因此，在素材數據是例如救援遊戲的TV廣播的記錄數據並且目標場景的範圍是通過使用剪輯標記來指定的情況下，即使在時間再映射轉換過程之後，通過使用回放數據來回放通過使用剪輯標記指定的目標場景，也無法正確地確定素材數據中指定的目標場景範圍與經歷時間再映射轉換過程的回放數據的哪個範圍相對應，結果就是可能只回放目標場景的一部分或可能沒有適當地回放目標場景。因此，根據常規技術，確定素材數據中的任何給定「位置」與在經歷時間再映射轉換過程的回放數據中反映該給定位置的「位置」之間的相互關係是可能的。但是，卻難以確定素材數據中指定的任何給定「範圍」與在經歷時間再映射轉換過程的回放數據中反映素材數據中指定的該給定範圍的「範圍」之間的相互對應關係。引用列表專利文獻PTL 1 美國專利申請公開 No. 2008/02537;35A。

發明內容
本發明提供一種編輯裝置、編輯方法、編輯程序和數據結構，其使得確定素材數據中指定的任何給定「範圍」與在經歷時間再映射轉換過程的回放數據中反映素材數據中指定的該給定範圍的「範圍」之間的相互對應關係成為可能。根據本發明的一個方面，本發明的一種編輯方法包括從素材數據生成回放數據， 其中所述素材數據是根據第一時間生成的並且在所述素材數據中指定了第一時間範圍，所述回放數據是將根據與所述第一時間不同的第二時間進行回放的；以及在所述回放數據中定位第二時間範圍，所述第二時間包括所述第一時間範圍內的素材數據。例如，在設置所述第二時間使得所述回放數據包括所述素材數據的反向回放範圍的情況下，如果所述回放數據是從所述素材數據生成的，則在所述回放數據中可以出現與所述素材數據的所述第一時間範圍相對應的多個第二時間範圍。即使在這種情況下，根據本發明也可以在所述回放數據中定位所述第二時間範圍，其中所述第二時間範圍包括所述第一時間範圍內的素材數據，使得可以確定所述素材數據中指定的所述第一時間範圍與在所述回放數據中反映所述素材數據的指定範圍的所述第二時間範圍的對應關係。本文中使用的術語「第一時間」是指記錄素材數據時使用的時間軸，並且與例如本說明書中描述的 「素材時間」相對應。本文中使用的術語「第二時間」是指在回放數據的回放期間使用的時間軸，並且與例如本說明書中描述的「回放時間」相對應。除非相反地進行了任何特定的解釋，否則在本申請的權利要求述及其說明書中也是同樣的。術語「素材數據」和「回放數據」 包括「運動圖像數據」、「運動圖像信號」和本說明書中描述的「剪輯」。除非相反地進行了任何特定的解釋，否則在本申請的權利要求述及其說明書中也是同樣的。第一時間內的素材數據和第二時間內的回放數據與例如本說明書中描述的「剪輯」相對應。根據本發明的編輯方法還可以包括在用戶界面上顯示所述第二時間中的所述第二時間範圍，或者在所述用戶界面上另選地顯示所述第一時間中的所述第一時間範圍和所述第二時間中的所述第二時間範圍。所以，用戶可以可視地識別反映所述素材數據中指定的第一範圍的回放數據範圍。此外，根據本發明的方法可以包括以下特徵所述素材數據的所述第一時間範圍包括特定的標識信息，當在所述用戶界面上指定所述第二時間範圍時在所述用戶界面上顯示所述標識信息。根據這一特徵，例如如果用戶在所述用戶界面上操作指針來指定所述第二時間範圍，則可以在所述用戶界面上顯示所述特定標識信息。因此，所述用戶可以可視地識別由用戶通過使用指針指定的所述回放數據的所述第二時間範圍是反映所述素材數據的所述第一時間範圍的範圍。根據本發明的編輯方法還可以包括將所述第一時間中的所述第一時間範圍與所述第二時間中的所述第二時間範圍相關聯；在所述用戶界面上顯示所述第一時間中的所述第一時間範圍和所述第二時間中的所述第二時間範圍；當在所述用戶界面上指定所述第一時間範圍時，改變與所述第一時間範圍相關聯的所述第二時間範圍的顯示方式；當在所述用戶界面上指定所述第二時間範圍時，改變與所述第二時間範圍相關聯的所述第一時間的顯示方式。根據這一特徵，例如如果用戶在所述用戶界面上操作指針來指定所述素材數據的所述第一時間範圍，則用戶可以可以可視地識別出所述回放數據的、反映所述素材數據的所述第一時間範圍的所述第二時間範圍。反過來，如果用戶在用戶界面上操作指針以指定所述回放數據的所述第二時間範圍，則用戶可以可視地識別出所述素材數據的、反映在所述回放數據的所述第二時間範圍內的所述第一時間範圍。改變所述第一時間範圍或所述第二時間範圍的顯示方式包括例如改變其顯示的色彩，使得其顯示閃爍，增加或減小其顯示的大小，等等。根據本發明的另一方面，本發明的一種編輯裝置包括處理部件，其執行從素材數據生成回放數據，其中所述素材數據是根據第一時間生成的並且在所述素材數據中指定了第一時間範圍，所述回放數據是將根據與所述第一時間不同的第二時間進行回放的；以及在所述回放數據中定位第二時間範圍，所述第二時間包括所述第一時間範圍內的素材數據。根據本發明的又一方面，本發明的一種電腦程式允許計算機執行從素材數據生成回放數據，其中所述素材數據是根據第一時間生成的並且在所述素材數據中指定了第一時間範圍，回放數據是將根據與所述第一時間不同的第二時間進行回放的；以及在所述回放數據中定位第二時間範圍，所述第二時間包括所述第一時間範圍內的素材數據。根據本發明的又一方面，本發明的一種數據結構包括素材數據，所述素材數據是根據第一時間生成的，並且在所述素材數據中已經指定了第一時間範圍；以及回放數據，所述回放數據是從所述材料數據生成的，並且將根據與所述第一時間不同的第二時間進行回放，並且在所述回放數據中已經定位了第二時間範圍，所述第二時間範圍包括所述第一時間範圍內的素材數據。


圖IA的圖示出了在素材時間和回放時間之間的剪輯標記對應關係。圖IB的圖示出了在素材時間和回放時間之間的剪輯標記對應關係。圖IC的圖示出了在素材時間和回放時間之間的剪輯標記對應關係。圖2是根據本發明實施例的非線性編輯裝置的方框圖。圖3的流程圖示出了由圖2的非線性編輯裝置執行的處理。圖4的流程圖詳細地示出了圖3的步驟S13中的處理。圖5的圖示出了圖2的非線性編輯裝置根據素材時間範圍定位相應的回放時間範圍的原理。圖6的表示出了用於根據曲線上的交點處的微分值和二階微分值來確定相應的交點所表示的參考點是範圍的起始位置還是範圍的結束位置的準則。圖7的圖示出了圖2的非線性編輯裝置根據回放時間範圍確定相應的素材時間範圍的原理。圖8A的圖示出了使用具有剪輯標記功能的編輯裝置的時間再映射操作。圖8B的圖示出了使用具有剪輯標記功能的編輯裝置的時間再映射操作。圖8C的圖示出了使用具有剪輯標記功能的編輯裝置的時間再映射操作。圖9的曲線示出了在素材時間和回放時間之間的剪輯標記對應關係，其與圖8C中所示的顯示屏幕相對應。
具體實施例方式下文將參考附圖來描述本發明的實施例。現在將參考圖2來描述作為根據本發明第一實施例的編輯裝置的非線性編輯裝置。如圖2中所示，根據本實施例的非線性編輯裝置1包括視頻輸入部件11 ；解碼器12 ； 輸入接口(在該圖中示為「INPUT I/F」)13;輸入部件13a，其是滑鼠、鍵盤、控制設備等； CPU(中央處理單元)14 ；R0M(只讀存儲器)15 ；RAM(隨機存取存儲器16)；輸出接口(在該圖中示為"OUTPUT I/F」)17 ；顯示器17a ；編碼器18 ；硬碟19 ；以及視頻輸出部件20。視頻輸入部件11接收例如來自照相機等的視頻數據。解碼器12解碼來自視頻輸入部件11的視頻數據。輸入接口 13接收通過操作輸入部件13a而進入的用戶指令，輸入部件13a是滑鼠、鍵盤、控制設備等。CPU 14經由輸入接口 I3接收用戶指令，並控制非線性編輯裝置1所執行的全部處理。ROM 15存儲信息，例如由CPU 14執行的各種應用程式；包括編輯屏幕、各種備用屏幕等的屏幕數據；作為各種功能的初始設置數據的預設數據。RAM16 用作CPU 14的工作內存。輸出接口 17在CPU14的控制下向顯示器17a輸出所處理的視頻和其它信息。編碼器18對CPU 14所處理的視頻數據進行編碼，並且視頻輸出部件20向另一裝置輸出編碼器18所編碼的視頻數據。硬碟19可以存儲CPU 14所處理的視頻、從視頻輸入部件11接收的視頻以及其它信息。在本發明的本實施例中，CPU 14用作處理部件。現在將描述根據本實施例的非線性編輯裝置1所執行的處理。具體地，將詳細地描述根據素材時間範圍定位相應的回放時間範圍以及根據回放時間範圍定位相應的素材時間範圍。<1.根據素材時間範圍定位相應的回放時間範圍〉現在將參考圖2和圖3至圖5來描述根據本實施例的非線性編輯裝置1如何根據素材時間範圍定位相應的回放時間範圍。圖3至圖4的流程圖示出了根據本實施例的非線性編輯裝置1如何根據素材時間範圍定位相應的回放時間範圍，而圖5的曲線圖示出了非線性編輯裝置1根據素材時間範圍定位相應的回放時間範圍的原理，並且作為一個例子示出了使用剪輯標記來定義範圍C和D的情況。下文描述的處理在CPU 14的控制下進行。假定素材數據已經存儲在硬碟19中。如圖3中所示，以在素材數據中設置一個或多個範圍開始(步驟Sll)。具體地，由用戶操作輸入部件13a，並且CPU 14根據經由輸入接口 13接收到的用戶指令，通過使用剪輯標記來設置例如素材數據中的範圍C和D。CPU 14將通過使用剪輯標記設置的範圍C和 D的剪輯標記信息與以及存儲在硬碟19中的素材數據相關聯，並將所關聯的剪輯標記信息存儲在硬碟19中。接下來，對素材數據進行編輯，以生成回放數據(步驟SU)。具體地，由用戶操作輸入部件13a，並且CPU 14根據經由輸入接口 13接收到的用戶指令來使硬碟19中存儲的素材數據經歷時間再映射編輯，用以生成通過根據回放時間(「第二時間」)回放素材數據所獲得的回放數據，回放時間的時間軸與素材數據的時間軸(「素材時間」或「第一時間」) 不同；將相應的回放速率信息等添加到素材數據；以及生成回放數據。CPU 14實際上不需要複製或剪切素材數據，並且可以將編輯信息與硬碟19中存儲的素材數據相關聯，並將所關聯的編輯信息存儲在硬碟19中。接著，定位與素材數據中設置的素材時間範圍相對應的回放數據的部分(步驟 S13)。在圖4的例子中，CPU 14基於硬碟19中存儲的素材數據、剪輯標記信息和編輯信息， 來在回放數據中將範圍cl_c2定位為與通過使用剪輯標記在素材數據中設置的範圍C相對應的部分，並將範圍dl-d3和d4-d5也定位為通過利用剪輯標記在素材數據中設置的範圍D相對應的部分。現在將參考圖4來詳細地描述定位回放數據的、與通過使用剪輯標記在素材數據中設置的範圍相對應的部分(S13)。首先，CPU 14確定與素材時間範圍的起始位置和結束位置相對應的回放時間位置，以作為參考位置(步驟S131)。CPU 14通過根據圖5中的曲線所描述的函數計算素材時間和回放時間之間的關係來執行這種處理。素材數據恰好是不連續的，並且是由給定間隔所隔開的多個幀組成的。 對於範圍C和D的不存在幀的那些部分，CPU 14使用線段內插來執行對線性變化部分的計算，而使用Bezier內插來執行對以高曲率進行變化的部分的計算。從而，在步驟S13中，CPU 14確定範圍C的起始位置與關鍵幀的內插值的曲線相交的所有點，以獲得參考位置Cl，同時確定範圍D的起始位置與關鍵幀的內插值的曲線相交的所有點，以獲得參考位置Dl、D3 和D4。然後CPU 14確定範圍C的結束位置與關鍵幀的內插值的曲線相交的所有點，以獲得參考位置C2和C3，同時確定範圍D的結束位置與關鍵幀的內插值的曲線相交的所有點，以獲得參考位置D2和D5。接著，CPU 14確定在相應的參考位置處素材時間的回放方向(步驟S132)。為了執行這種處理，CPU 14計算所有獲得的參考位置Cl、D1、D3、D4、C2、D2、C3和 D5的微分值和二階微分值，並基於微分值和二階微分值是否是正值來確定在相應參考位置處的回放方向。然後，CPU 14基於這樣確定的回放方向來確定回放時間中的回放範圍的起始位置和結束位置(步驟S133)。圖6示出了在基於曲線交點處的微分值和二階微分值來確定相應交點所表示的參考位置是起始位置還是結束位置的過程中使用的表。根據該表，針對所有交點來確定每個「回放範圍」的「起始位置」和「結束位置」。如果一交點是「回放範圍」的「起始位置」，則確定從該「起始位置「到下一交點的位置在「在回放範圍的內部」，而如果一交點是「回放範圍」的「結束位置」，則確定從該「結束位置」到下一交點的位置在「回放範圍的外部」。對於最後一交點，不存在下一交點，所以使用曲線的終點位置。重複這種確定直到最後一個交點為止，從而獲得了「回放範圍內部」的集合。應當注意的是，對於這樣獲得的「回放範圍內部」的集合，如果任意範圍彼此相鄰，則將相應的集合彼此結合。以這種方式，定位反映素材數據中指定的範圍的回放數據的範圍(回放範圍) 是可能的。作為具體的例子，下面將描述根據剪輯標記的素材時間範圍C和D來定位相應的回放範圍。首先，確定剪輯標記範圍C的起始位置與關鍵幀的內插值的曲線相交的點，並將其表示為Cl。接下來，確定交點Cl的微分值，即曲線在交點Cl處的梯度。交點Cl的微分值是正值，因此大於零，這意味著交點Cl處的回放方向是素材時間的正方向。交點Cl與剪輯標記範圍C的「起始位置」相對應，並且其微分值是正值，使得相應的回放時間被識別為 「回放範圍」的起始位置Cl。接著，確定剪輯範圍C的結束位置與關鍵幀的內插值的曲線相交的點，並將其表示為C2和C3。首先確定交點C2的微分值。交點C2的微分值是正值，因此大於零，這意味著交點 C2處的回放方向是素材時間的正方向。交點C2與剪輯標記範圍C的「結束位置」相對應， 並且其微分值是正值，使得相應的回放時間被識別為「回放範圍」的結束位置c2。接著，確定交點C3的微分值。交點C3的微分值是零，這意味著交點C3是局部極大值或局部極小值。為了使得確定交點C3是局部極大值還是局部極小值成為可能，確定交點C3的二階微分值。交點C3的二階微分值是正值，因此大於零，這明確了交點C3是局部極小值。交點C3與剪輯標記範圍C的結束位置相對應，並且其二階微分值是正值，因此交點C3是局部極小值，使得相應的回放時間被識別為「回放範圍」的結束位置c3(未示出)。按照回放時間的升序對位置cl、c2和c3進行重新排列。位置cl到c2在該範圍的內部，位置c2到c3在該範圍的外部，以及位置c3到與曲線終端相對應的位置在該範圍的外部。因此，回放範圍cl_c2(其起始點是cl，其結束點是c2)被定位為反映素材數據中指定的範圍C的回放數據範圍。<1-2.從剪輯標記範圍D的素材時間範圍定位相應的回放時間範圍〉首先，確定剪輯標記範圍D的起始位置與關鍵幀的內插值的曲線相交的點，並將其表示為D1、D3和D4。接下來，確定交點Dl的微分值。交點Dl的微分值是正值，因此大於零，這意味著在交點Dl處的回放方向是素材時間的正方向。交點Dl與剪輯標記範圍D的「起始位置」相對應，並且其微分值是正值，使得相應的回放時間被識別為「回放範圍」的起始位置dl。然後，確定交點D3的微分值。交點D3的微分值是負值，因此小於零，這意味著交點D3處的回放表示素材時間的反方向回放。交點D3與剪輯標記範圍D的「起始位置」相對應，並且其微分值是負值，使得相應的回放時間被識別為「回放範圍」的結束位置d3。然後，確定交點D4的微分值。交點D4的微分值是正值，因此大於零，這意味著交點D4處的回放方向是素材時間的正方向。交點D4與剪輯標記範圍D的「起始位置」相對應，並且其微分值是負值，使得相應的回放時間被識別為「回放範圍」的起始位置d4。接下來，確定剪輯標記範圍D的結束位置與關鍵幀的內插值的曲線相交的點，並將其表示為D2和D5。確定交點D2的微分值。交點D2的微分值為零，這意味著交點D2是局部極大值或局部極小值。然後，為了確定交點D2是局部極大值還是局部極小值，確定交點D2的二階微分值。交點D2的二階微分值是負值，因此小於零，這明確了交點D2是局部極大值。交點D2 與剪輯標記範圍D的「結束位置」相對應，並且其二階微分值是負值，因此交點D2是局部極大值，使得相應的回放時間被識別為「回放範圍」的起始位置d2(未示出)。然後，確定交點D5的微分值。交點D5的微分值是正值，因此大於零，這意味著交點D5處的回放方向是素材時間的正方向。交點D5與剪輯標記範圍D的「結束位置」相對應，並且其微分值是正值，使得相應的回放時間被識別為「回放範圍」的結束位置。然後，按回放時間的升序對這樣獲得的位置dl到d5進行重新配列。位置dl到d2 在該範圍的內部，位置d2到d3在該範圍的內部，位置d3到d4在該範圍的外部，位置d4到 d5在該範圍的內部，並且位置d5到與曲線終端對應的位置在該範圍的外部。範圍dl-d2以及d2-d3彼此相鄰，因此彼此合併在一起。所以，回放時間範圍dl-d3(其起始位置是dl，其結束位置是d3)以及回放時間範圍d4-d5(其起始位置是d4，其結束位置是d5)被定位為反映素材數據中指定的範圍D的回放數據範圍。<2.根據回放時間範圍定位相應的素材時間範圍〉現在將參照圖2、圖3和圖7來描述根據本發明通過使用非線性編輯裝置1來根據回放時間範圍定位相應的素材時間範圍。圖7的圖示出了根據回放時間範圍定位相應的素材時間範圍的原理。假定已經通過使用剪輯標記A和B指定了素材時間範圍，並且作為素材的視頻數據(其在下文中將被稱為「素材數據」)已經存儲在硬碟19中。在CPU 14的控制下執行下文描述的處理。作為根據回放時間範圍定位相應的素材時間的先決條件，需要已經完成了上文描述的根據素材時間範圍定位相應的回放時間範圍。這種定位正式上文參照圖3所描述的步驟S11-S13中所完成的內容。如圖7中所示的，現在將關於以下情況來解釋本例子輸入部件13a由用戶操作，CPU 14響應於經由輸入接口 13接收的用戶指令設置例如素材數據中的剪輯標記入點A和剪輯標記出點B。CPU 14將剪輯標記入點A和出點B的剪輯標記信息等與已經存儲在硬碟19中的素材數據相關聯，然後將相關聯的剪輯標記信息存儲在硬碟19 中。以這種方式，素材時間中的剪輯標記A和B之間的範圍被指定為素材時間範圍(第一時間範圍)。在步驟S13之後，基於素材數據的時間改變，根據步驟S13中所定位的部分，來定位步驟Sll中設置的素材時間範圍內的素材數據範圍(步驟S14)。在圖7中示出素材時間(素材數據的時間軸)和回放時間(回放數據的時間軸)之間的關係。在圖7的例子中，CPU 14基於硬碟19中存儲的素材數據、剪輯標記信息和編輯信息將回放數據中的範圍 A1-B1和I-B4定位為與通過使用剪輯標記A和B在素材數據中設置的範圍相對應的部分， 並進一步將這些所定位的範圍內的素材時間的最小值和最大值所定義的範圍，定位為素材時間範圍內的素材數據範圍。更具體地，將在所定位的範圍內的素材時間的最小值(即最短的經歷時間)識別為素材時間範圍內的素材數據範圍的起始位置，而將素材時間的最大值(即，最長的經歷時間)識別為素材時間範圍內的素材數據的結束位置。CPU 14可以通過根據圖7中的曲線所描述的函數計算素材時間和回放時間，來執行上文描述的處理。素材數據正好不是連續的，並且是由多個由預定間隔隔開的幀組成的。 假定剪輯標記的入點A和出點B所指定的幀是關鍵楨。對於範圍A1-B1和4- 中的不存在關鍵幀的那些部分，CPU 14例如使用線段內插來計算線性改變部分的內插值，而使用例如 Bezier內插來計算以高曲率進行改變的部分的內插。然後，CPU 14將關鍵幀A1A1^2和B4 的內插值所經歷的素材時間的最小值和最大值之間的範圍定位為素材數據範圍。將參考圖 7中所示的例子來更詳細地描述這部分內容。回放時間中的範圍A1-B1(第二時間範圍)包括素材時間中的整個素材時間範圍A-B ；回放時間中的範圍B2-B4(第二時間範圍)素材數據範圍 -B，該範圍是素材時間中的素材時間範圍A-B的一部分。根據本實施例的處理，可以確定回放時間中的範圍A1-B1反映了素材時間中的素材數據範圍A-B，並且回放時間中的範圍I-B4反映了素材時間中的素材數據範圍 -B。應當注意的是，雖然將本實施例描述為通過使用線段內插和Bezier內插來計算內插值，但是本發明並不限於這個實施例。很明顯，任何其它內插方法如果在實現中被認為更優選，則反而可以使用該其它內插方法。例如，可以將樣條內插用作這種其它內插方法。
現在將描述CPU 14執行線段內插和Bezier內插的例子。首先，線段內插的數學表達式如下素材時間=(key_2value-keyl_value)*(po s-keyl_pos)/(key2_pos-keyl_ pos)+keyl_value (1)其中，「pos」是回放時間位置；keyl是在該回放時間位置之前的鄰居關鍵幀； keyl_pos是keyl的回放時間位置；key lvalue是keyl的素材時間位置；key2是在該回放時間位置之後的鄰居關鍵幀；key2_p0S是key2的回放時間位置；以及key2_Value是key2 的素材時間位置。接下來，Bezier內插的數學表達式如下回放時間=t3*key2_pos+3*t2* (卜t)*ctrl2_pos+3*t* (卜t)2*ctrll_ pos+(1-t) 3^keyl_pos ；素材時 |、司=t3*key2_value+3*t2* (1-t) *ctrl2_value+3*t* (1-t) 2^ctrl 1_ value+ (1-t) 3^key l_value (2)其中，t是一參數；ctrll是Bezier控制點1 ；ctrll_pos是ctrll的回放時間位置；ctrll_value是ctrll的素材時間位置；ctrl2是Bezier的控制點2 ；ctrl2_pos是 ctrl2的回放時間位置；以及ctrl2_value是ctrl2的素材時間位置。在步驟S13，CPU 14使用上文的線段內插和Bezier內插，根據剪輯標記A和B所定義的素材數據範圍(即，從素材時間範圍)定位關鍵幀A1到B1所定義的部分以及關鍵幀 B2到B4所定義的部分，作為回放數據範圍，該回放數據範圍包括該素材時間範圍內的素材數據。隨後，在步驟S14中，CPU 14識別素材時間在相應的回放數據的關鍵幀A^IjB1以及關鍵幀4到氏所定義的每個部分中呈現最小值的位置，以作為相應的素材數據範圍的起始位置，並進一步識別素材時間在相應的回放數據的關鍵幀A1到B1以及關鍵幀化到B4所定義的每個部分中呈現最大值的位置，以作為相應的素材數據範圍的結束位置。以這種方式， 定位分別與回放數據範圍A1-B1以及I-B4相對應的素材數據範圍A-B以及 -B。現在將參考圖8A-圖8C來描述在用戶操作非線性編輯裝置1進行編輯時將在顯示器17a上顯示的顯示屏幕。如圖8A-圖8C中所示，將在顯示器17a上顯示的屏幕隨著編輯操作的進展而進行轉變。下文描述的處理基本上由CPU 14執行，CPU 14接收經由輸入接口 13輸入的用戶指令等，並讀取ROM 15中存儲的應用程式、視頻數據等。圖8A示出了對控制屏幕120進行操作以顯示菜單窗口 127的情形。如圖8A所示的，顯示器17a上顯示的顯示屏幕100包括圖像屏幕110和控制屏幕120。在控制屏幕120 中，顯示了狀態屏幕123，狀態屏幕123示出了當前設置。如果操作菜單屏幕127來點擊剪輯標記設置(「kt clipmark In/Out」)，則顯示屏幕變化到圖8B所示的顯示屏幕，在圖8B 所示的顯示屏幕中，可以啟動使用剪輯標記和時間再映射的編輯操作。在圖8B中，除了指示當前設置的狀態屏幕123以外，還在控制屏幕120中顯示指示素材時間的回放時間的時間線124、時間線光標12 以及剪輯標記125。圖8B示出了在時間線124上排列剪輯標記125以及進一步當前由用戶操作時間線光標12 的情形，其中用戶使用剪輯標記125來設置入點(In)和出點(Out)以指定素材時間範圍12fe。在圖8B 所示的例子中，安排了上文描述所指定的素材時間範圍12 包括文本信息「On Clouds」作為其特定表示信息，並且如果時間線光標12 指定所才時間範圍125a，則在圖像屏幕119上顯示「On clouds」。因此，用戶可以可視地識別出該圖像是由剪輯標記125所指定的素材時間範圍12 的圖像。圖8C示出了示出了供用戶執行時間再映射的工作屏幕，並示出了除了時間線124 和剪輯標記125以外還出現時間再映射設置屏幕126的情形。時間再映射設置屏幕1 包括時間線欄U6a，其指示時間再映射之後的回放時間；以及設置欄1 ，其指示對時間線欄1 進行的設置。圖9的曲線圖示出了剪輯標記在素材時間和回放時間之間的對應關係，並且其與圖8C中所示的顯示屏幕相對應。從圖9可以看到，通過使用時間再映射設置屏幕1 來改變編輯速率使得由於時間再映射而在曲線圖中出現彎曲。在圖8C中所示的時間再映射編輯之後，剪輯標記125中設置的素材數據的素材時間範圍12 被示為顯示屏幕上顯示的時間線IM上的兩個回放時間範圍。並且在該屏幕中，安排了如果時間線光標12 指定了回放時間範圍12 和125c，則在圖像屏幕110中顯示「On clouds」。因此，用戶可以可視地識別出該圖像是通過使用剪輯標記125指定的素材時間範圍125中的圖像。因此，根據本實施例的非線性編輯裝置1從素材數據生成回放數據，素材數據是根據作為第一時間的素材時間生成的，並且在素材數據中指定作為第一時間範圍的素材時間範圍，回放數據將根據作為與素材時間不同的第二時間的回放時間進行回放，並且在回放數據中定位回放時間範圍，回放時間範圍包括素材時間範圍內的素材數據。例如，在設置回放時間使得回放數據包括反向回放範圍的情況下，如果回放數據是從素材數據生成的， 則在回放數據中可以出現與素材數據的素材時間範圍相對應的多個回放時間，其中反向回放範圍是以與素材數據的回放方向相反的方向來回放素材數據的範圍。例如，如圖8C中所示的，可以出現與圖8B中所示的素材時間範圍12 相對應的連個回放時間範圍12 和 125c。即使在這種情況下，根據本發明的非線性編輯裝置1，也可以定位回放數據中的、包括素材時間範圍12 中的素材數據的回放時間範圍12 和125c，使得可以確定素材數據中指定的素材時間範圍與反映素材時間範圍的每個回放時間範圍之間的對應關係。根據本實施例的非線性編輯裝置1可以調適以在用戶界面上顯示回放時間中的回放時間範圍(圖8C的回放時間範圍12 和125c)，或者另選地顯示素材時間中的素材時間範圍(圖8B的素材時間範圍125a)和回放時間中的回放時間範圍(圖8C的回放時間範圍12 和125c)。因此，用戶可以可視地識別出反映素材數據中指定的素材數據範圍的回放數據範圍。此外，根據本發明的非線性編輯裝置1可以調適，使得素材數據的素材時間範圍包括在用戶界面上顯示的特定的識別信息，例如如圖8B和圖8C中所示的，當在用戶界面上指定回放時間範圍時，在圖像屏幕110上顯示「On Clouds」。根據這種安排，例如，如果用戶操作用戶界面上的指針來指定回放時間範圍，則在用戶界面上顯示特定的標識信息。因此， 用戶可以可視地識別出，用戶通過使用指針指定的回放數據的回放時間範圍是反映素材數據的素材時間範圍的範圍。根據本實施例的非線性編輯裝置1可以被調適，以響應於圖8C的時間再映射設置屏幕126的操作，將素材時間中的素材時間範圍12 與回放時間中的回放時間範圍12 和125c相關聯；在用戶界面上顯示素材時間中的素材時間範圍12 和回放時間中的回放時間範圍12 和125c ；當在用戶界面上指定素材時間範圍12 時，改變素材時間範圍 125a已經與之關聯的回放時間範圍12 和125c的顯示方式；以及當在用戶界面上指定回放時間範圍12 和125c時，改變與回放時間範圍12 和125c相關聯的素材時間範圍12 的顯示方式。因此，根據本實施例的非線性編輯裝置1，例如，如果用戶操作用戶界面上的指針來指定素材數據的素材時間範圍，則用戶可以可視地識別出反映素材數據的素材時間範圍的回放數據的回放時間範圍。如果用戶操作用戶界面上的指針來指定回放數據的回放時間範圍，則用戶可以可視地識別出在回放數據的回放時間範圍內所反映的回放數據的回放時間範圍。在改變素材時間範圍或回放時間範圍的顯示方式的情況下，例如，可以改變其顯示顏色，可以使其顯示閃爍，或者可以增大或減小其顯示的大小。如前面所描述的，不需要實際複製或剪切將被編輯的視頻數據(即，素材數據)， 但是可以將編輯信息與硬碟19中存儲的素材數據相關聯，然後將編輯信息存儲在硬碟19 中，硬碟19中存儲的素材數據可以是回放數據。因此，根據本實施例的數據的數據結構例如如果包括素材數據和編輯信息，則包括素材數據，其是根據第一時間(即，素材時間)生成的，並且在素材數據中指定了第一時間範圍(即，素材時間範圍)；以及回放數據，其是從素材數據生成的並將根據第二時間 (即，與素材時間不同的回放時間)進行回放，並且在回放數據中定位了第二時間範圍(即， 回放時間範圍)，第二時間範圍素材時間範圍內的素材數據。這種數據結構可以被調適，使得素材數據的素材時間範圍包括用於標識素材時間範圍的特定標識信息，例如像「On Clouds」。因此，當例如在用戶界面上指定素材時間範圍或回放時間範圍時，計算機等可以用於在用戶界面上執行顯示這種特定標識信息，例如，像圖8B和圖8C中所示的圖像屏幕110上所顯示的「On Clouds」。此外，這種數據結構可以被調適，使得計算機可以執行將素材時間中的素材時間範圍與回放時間中的回放時間範圍相關聯，如圖8C的時間再映射設置屏幕126中所進行的；當在用戶界面上指定素材時間範圍時，改變素材時間範圍與之相關聯的回放時間範圍的顯示方式；以及當在用戶界面上指定回放時間範圍時，改變與回放時間範圍相關聯的素材時間範圍的顯示方式。關於本發明的優選實施例進行了上文的詳細描述。但是，本發明並不限於這些特定實施例，並且可以在權利要求中所描述的本發明範圍內，設計處各種修改和改變。在上文所描述的本發明實施例中，顯示器17a上顯示的顯示屏幕用作用戶接口，但是本發明並不限於這些實施例，反而可以使用各種其它實施例。此外，可以通過使用編輯程序來操作根據本發明的編輯裝置，其中該編輯程序允許包括CPU和存儲器的通用計算機作為上文描述的各種模塊。這種編輯程序可以經由通信線路進行分發，或者可以寫入例如⑶-ROM等的記錄介質中進行分發。
權利要求
1.一種編輯方法，包括從素材數據生成回放數據，其中所述素材數據是根據第一時間生成的，並且在所述素材數據中指定了第一時間範圍，所述回放數據將根據與所述第一時間不同的第二時間進行回放；以及在所述回放數據中，定位第二時間範圍，所述第二時間範圍包括所述第一時間範圍內的所述素材數據。
2.根據權利要求1所述的編輯方法，還包括在用戶界面上顯示所述第二時間中的所述第二時間範圍，或另選地顯示所述第一時間中的所述第一時間範圍和所述第二時間中的所述第二時間範圍二者。
3.根據權利要求2所述的編輯方法，其中所述素材數據的所述第一時間範圍包括特定標識信息；並且所述方法還包括當在所述用戶界面上指定所述第二時間範圍時，在所述用戶界面上顯示所述特定標識信息。
4.根據權利要求2所述的編輯方法，還包括將所述第一時間中的所述第一時間範圍與所述第二時間中的所述第二時間範圍相關聯；在所述用戶界面上顯示所述第一時間中的所述第一時間範圍以及所述第二時間中的所述第二時間範圍；當在所述用戶界面上指定所述第一時間範圍時，改變與所述第一時間範圍相關聯的所述第二時間範圍的顯示方式；以及當在所述用戶界面上指定所述第二時間範圍時，改變與所述第二時間範圍相關聯的所述第一時間範圍的顯示方式。
5.一種包括處理部件的編輯裝置，其中所述處理部件執行從素材數據生成回放數據，其中所述素材數據是根據第一時間生成的，並且在所述素材數據中指定了第一時間範圍，所述回放數據將根據與所述第一時間不同的第二時間進行回放；以及在所述回放數據中，定位第二時間範圍，所述第二時間範圍包括所述第一時間範圍內的所述素材數據。
6.根據權利要求5所述的編輯裝置，還包括用戶界面，在所述用戶界面上顯示所述第二時間中的所述第二時間範圍，或另選地顯示所述第一時間中的所述第一時間範圍和所述第二時間中的所述第二時間範圍二者。
7.根據權利要求6所述的編輯裝置，其中所述素材數據的所述第一時間範圍包括特定標識信息；並且所述處理部件使得當在所述用戶界面上指定所述第二時間範圍時，在所述用戶界面上顯示所述特定標識信息。
8.根據權利要求6所述的編輯裝置，其中所述處理部件執行將所述第一時間中的所述第一時間範圍與所述第二時間中的所述第二時間範圍相關聯；使得所述第一時間中的所述第一時間範圍以及所述第二時間中的所述第二時間範圍顯示在所述用戶界面上；當在所述用戶界面上指定所述第一時間範圍時，改變與所述第一時間範圍相關聯的所述第二時間範圍的顯示方式；以及當在所述用戶界面上指定所述第二時間範圍時，改變與所述第二時間範圍相關聯的所述第一時間範圍的顯示方式。
9.一種電腦程式，其中所述電腦程式使計算機執行從素材數據生成回放數據，其中所述素材數據是根據第一時間生成的，並且在所述素材數據中指定了第一時間範圍，所述回放數據將根據與所述第一時間不同的第二時間進行回放；以及在所述回放數據中，定位第二時間範圍，所述第二時間範圍包括所述第一時間範圍內中的所述素材數據。
10.根據權利要求9所述的電腦程式，其中所述電腦程式還使所述計算機執行 在用戶界面上顯示所述第二時間中的所述第二時間範圍，或另選地顯示所述第一時間中的所述第一時間範圍和所述第二時間中的所述第二時間範圍二者。
11.根據權利要求10所述的電腦程式，其中所述素材數據的所述第一時間範圍包括特定標識信息；並且所述電腦程式還使所述計算機執行使得當在所述用戶界面上指定所述第二時間範圍時，在所述用戶界面上顯示所述特定標識信息。
12.根據權利要求10所述的電腦程式，其中所述電腦程式還使所述計算機執行 將所述第一時間中的所述第一時間範圍與所述第二時間中的所述第二時間範圍相關聯；使得所述第一時間中的所述第一時間範圍以及所述第二時間中的所述第二時間範圍在所述用戶界面上進行顯示；當在所述用戶界面上指定所述第一時間範圍時，改變與所述第一時間範圍相關聯的所述第二時間範圍的顯示方式；以及當在所述用戶界面上指定所述第二時間範圍時，改變與所述第二時間範圍相關聯的所述第一時間範圍的顯示方式。
13.一種數據結構，包括素材數據，其是根據第一時間生成的，並且在所述素材數據中指定了第一時間範圍；以及回放數據，其是從所述素材數據生成的，並且將根據與所述第一時間不同的第二時間進行回放，並且在所述回放數據中定位了第二時間範圍，所述第二時間範圍包括所述第一時間範圍內的素材數據；其中，所述第一時間中的所述第一時間範圍和所述第二時間中的所述第二時間範圍由計算機讀取，並且由所述計算機使用以執行將它們彼此相關聯的過程。
14.根據權利要求13所述的數據結構，其中所述素材數據的所述第一時間範圍包括特定標識信息；以及所述特定標識信息由所述計算機使用以執行當在用戶界面上指定所述第一或第二時間範圍時的在所述用戶界面上顯示所述特定標識信息的過程。
15.根據權利要求13所述的數據結構，其中所述第一時間中的所述第一時間範圍是與所述第二時間中的所述第二時間範圍相關聯的；以及所述第一時間範圍和所述第二時間範圍由所述計算機使用以執行以下過程當在用戶界面上指定所述第一時間範圍時改變在所述用戶界面上顯示與所述第一時間範圍相關聯的所述第二時間範圍的顯示方式的過程以及當在所述用戶界面上指定所述第二時間範圍時改變在所述用戶界面上顯示與所述第二時間範圍相關聯的所述第一時間範圍的顯示方式。
全文摘要
一種編輯方法，包括從素材數據生成回放數據，其中素材數據是根據第一時間生成的，並且在素材數據中指定了第一時間範圍，回放數據將根據與第一時間不同的第二時間進行回放；以及在回放數據中定位第二時間範圍，第二時間範圍包括第一時間範圍內的素材數據。
文檔編號G11B27/34GK102576561SQ20098015934
公開日2012年7月11日 申請日期2009年7月2日 優先權日2009年3月19日
發明者仁井康則, 山崎明弘, 鈴木良治 申請人:Gvbb控股股份有限公司