動圖像再編碼裝置、動圖像編輯裝置、程序以及記錄介質的製作方法
2023-09-18 03:41:05
專利名稱：動圖像再編碼裝置、動圖像編輯裝置、程序以及記錄介質的製作方法
技術領域：
本發明涉及動圖像再編碼裝置、動圖像編輯裝置、程序和記錄介質，更具體地，涉及從編碼後的動圖像的流中生成不同的流時所使用的動圖像再編碼裝置、動圖像編輯裝置、這些裝置的程序、以及可通過計算機讀取的記錄了這些程序的記錄介質。
背景技術：
至今為止，當編輯由MPEG(Moving Picture Experts Group活動圖像專家組)-2，4等編碼方式所編碼的動圖像時，可以按GOP(Group Of Picture圖像組)單位進行編輯、以內編碼圖像的幀(I幀)單位進行編輯等。採用上述編輯方式時，難於編輯I幀以外諸如稱為預測編碼圖像的幀(P幀)或雙向預測編碼圖像的幀(B幀)等，對可指定的幀存在限制。
因而，為了根據I幀之外的幀進行編輯，有必要臨時解碼圖像數據，並作為輸入圖像進行處理。此外，還提出了如下技術在從任意的位置切出片段時，僅解碼切出片段的開頭，後面的部分不解碼地複製數據的技術。
此外，為了將圖像數據變更為圖像尺寸因顯示框的擴大/縮小等而不同的尺寸、以及為了變更為不同的位速率，如果保持編碼的狀態，則不可能實現，有必要在解碼器中進行一次解碼後恢復到圖像幀，然後在編碼器中再次編碼。因而，對於MPEG-2、4等的編碼後的動圖像，用戶在希望減小數據的情形或用戶僅希望取出特定範圍的情形等，根據上述再編碼處理生成與原有的流不同的流。
但是，為了進行再編碼有必要同時處理解碼和編碼，產生了負荷較高的問題、或用於對解碼後的數據進行可靠編碼的同步處理較困難的問題。
此外，作為再編碼技術，提出了以抑制畫質的劣化、高速而且高效地實現位速率變換為目的壓縮動圖像的再編碼程序、裝置和方法(例如參考專利文獻1)。在專利文獻1中所述的再編碼技術中，解碼器按照每一幀的解碼實施了編碼。
專利文獻1特開2003-244705號公報但是，如果採用如下技術，則I幀和其後的幀容易產生不匹配、畫質劣化、容易違反標準，該技術為在從任意位置切出時，如果採用僅解碼切出的開頭的幀並對I幀進行編碼，對其後的幀不進行再編碼就對原有數據進行複製。再者，為了不產生不匹配，有必要分析原始視頻的位速率，故加重了處理負荷。
此外，如專利文獻1所述，如果採用對解碼器所解碼的一幀進行編碼的技術，則經常會出現所產生的視頻位流不符合標準的情形。
進而，能夠以解碼器和編碼器不取同步而實時工作的方式構成動圖像再編碼裝置，但是，在功率小的CPU(中央處理器)中，內容的幀數變得極其少。而且，當進行再編碼時使編碼器和解碼器不同步而同時工作的情形，即便對相同的動畫文件進行再編碼的情形，也會由於設備的處理能力而導致結果的差異。
如上所述，在進行編碼後的動圖像數據(圖像數據)的尺寸變更或位速率變換等變換、編輯，特別是從I幀之外進行編輯的情形，處理變得複雜，負荷加重，在某些情形會產生不符合標準的結果。
發明內容
本發明考慮到上述實際情況，旨在提供一種對編碼後的動圖像數據進行變換或編輯時，可以通過負荷較輕的簡單處理生成具有再現性的正確編碼數據的動圖像再編碼裝置、具備該裝置的動圖像編輯裝置、動圖像再編碼程序、動圖像編輯程序、以及計算機可讀的記錄了所述程序的記錄介質。
本發明為了解決上述問題，分別由下述各技術手段構成。
第1技術手段涉及動圖像再編碼裝置，其特徵在於，具有解碼單元，根據編碼了動圖像的位流對動圖像的幀進行解碼；選擇單元，從被該解碼單元所解碼的幀中選擇再編碼的幀；編碼單元，僅將由該幀選擇單元所選擇的幀進行再編碼；間隔通知單元，由該編碼單元對幀進行再編碼之後，計算出從該幀開始到成為下一再編碼對象的幀間隔，並且將該算出的幀間隔通知給上述解碼單元，所述解碼單元通過所述間隔通知單元通知之後，執行所述位流的解碼直到經過基於該通知的幀間隔的時刻為止，所述幀選擇單元將經過所述時刻之前的幀中最後的幀選擇為下一再編碼的幀。
第2技術手段的特徵在於在第1技術手段中，所述間隔通知單元具有通過所述編碼單元對幀進行再編碼時的速率控制信息計算出所述幀間隔的單元。
第3技術手段的特徵在於在第2技術手段中，所述速率控制信息是如下信息中的任意一個或多個信息，該信息為由所述編碼單元再編碼後的幀的圖像尺寸、該幀的再編碼時的編碼量、所述編碼單元的編碼位速率、所述編碼單元的再編碼結束時的、虛擬了解碼時的視頻存儲器的虛擬緩衝器的佔有量。
第4技術手段的特徵在於在第1至第3技術手段的任意一個技術手段中，還具有操作輸入單元，該操作輸入單元從用戶接收作為再編碼對象的位流幀的指定、以及包含動圖像再編碼指示的操作，所述編碼部分以基於由所述操作輸入部分輸入的操作的編碼位速率執行編碼。
第5技術手段的特徵在於在第4技術手段中，還具有最小值計算單元，該最小值計算單元根據與所述操作輸入單元輸入的操作相關的信息，預先預測所述幀間隔的最小值，所述解碼單元在來自所述間隔通知單元的幀間隔的通知之前繼續進行解碼，直到所述最小值計算單元所計算的幀間隔的最小值所示的時刻為止。
第6技術手段的特徵在於在第1至第5技術手段的任一技術手段中，所述編碼單元具有將再編碼對象的幀進行幀內編碼的單元和進行幀間編碼的單元。
第7技術手段涉及一種具有第1至第6技術手段的任一技術手段所述的動圖像再編碼裝置的動圖像編輯裝置，其特徵在於，包括從用戶接收對所述位流進行編輯的指示的編輯接收單元、根據該編輯接收單元接收的指示對動圖像進行編輯的編輯單元，所述動圖像再編碼裝置隨著所述編輯單元對動圖像的編輯，而將編輯後的動圖像進行再編碼。
第8技術手段涉及一種安裝於動圖像再編碼裝置中的程序，該動圖像再編碼裝置包括解碼單元，根據將動圖像編碼後的位流對動圖像的幀進行解碼；以及編碼單元，將由該解碼單元所解碼的幀進行再編碼，其特徵在於使所述動圖像再編碼裝置的控制部執行如下步驟幀選擇步驟，根據所述解碼單元所解碼的幀選擇再編碼的幀；編碼指示步驟，由所述編碼單元僅對在該幀選擇步驟中所選擇的幀進行編碼；間隔通知步驟，由所述編碼單元對幀進行了再編碼後，計算從該幀到下一個作為再編碼對象的幀的幀間隔，並將該計算出的幀間隔通知給所述解碼單元；以及解碼指示步驟，當通過所述間隔通知步驟通知之後，指示所述解碼單元以執行所述位流的解碼直到經過基於該通知的幀間隔的時刻為止，所述幀選擇步驟包括如下步驟，即將經過所述時刻之前的幀中最後的幀選擇為下一再編碼幀。
第9技術手段的特徵在於，在第8技術手段中，所述間隔通知步驟包括如下步驟，即根據由所述編碼單元對幀進行了編碼時的速率控制信息計算出所述幀間隔。
第10技術手段的特徵在於，所述速率控制信息是下述信息之一或者多個信息，該信息為由所述編碼單元再編碼後的圖像尺寸、該幀的再編碼時的編碼量、所述編碼單元的編碼位速率、以及所述編碼單元的再編碼結束時的、虛擬了解碼時的視頻存儲器的虛擬緩衝器的佔有量。
第11技術手段的特徵在於，在第8至第10技術手段中的任一技術手段中，該程序進一步使所述控制部執行操作輸入步驟，即從用戶接收作為再編碼對象的位流的指定、以及包含動圖像再編碼指示的操作，再所述編碼指示步驟中，指示所述編碼單元以基於在所述操作輸入步驟中輸入的操作的編碼位速率進行編碼。
第12技術手段的特徵在於，在第11技術手段中，該程序進一步使所述控制部執行最小值計算步驟，即根據由所述操作輸入步驟輸入的與操作有關的信息，預先預測出所述幀間隔的最小值，在所述編碼指示步驟中，在由所述間隔通知步驟通知幀間隔之前指示所述解碼單元繼續進行解碼，直到在所述最小值計算步驟中計算出的幀間隔的最小值所示的時刻為止。
第13技術手段的特徵在於，在第8至第12技術手段中的任一技術手段中，所述編碼單元具有將再編碼對象的幀進行幀內編碼的單元和進行幀間編碼的單元。
第14技術手段的特徵在於，在第8至第13技術手段中的任一技術手段中，該程序使所述控制部進一步執行如下步驟從用戶接收對所述位流進行編輯的指示的編輯接收步驟、以及根據在該編輯接收步驟中接收的指示對動圖像進行編輯的編輯步驟，而且，使所述控制部控制所述解碼單元和編碼單元，從而隨著在所述編輯步驟中對動圖像進行編輯，對編輯後的動圖像進行再編碼。
第15技術手段涉及一種程序，其特徵在於使計算機以作為第1至第7技術手段中任一技術手段所述的裝置進行工作。
第16技術手段涉及一種計算機可讀取的記錄介質，其特徵在於記錄了第8至第15技術手段中任一技術手段所述的程序。
根據本發明，當對編碼後的動圖像數據進行變換或編輯時，可以通過負荷較輕的簡單處理而生成具有再現性的正確的編碼數據。
圖1是示出本發明一個實施例的動圖像再編碼裝置的一個構成例的圖。
圖2是示出可適用於本發明的動圖像再編碼裝置的計算機的一個構成例的圖。
圖3是用於說明圖1的動圖像再編碼裝置中的一例再編碼處理的流程圖，也是用於說明本發明一個實施例的動圖像再編碼程序的一例處理程序的流程圖。
圖4是具有本發明的動圖像再編碼裝置的動圖像編輯裝置的一個構成例。
圖5是用於說明圖4的動圖像編輯裝置的再編碼處理的圖。
圖6是用於說明圖5的再編碼處理的幀間隔決定處理的圖。
圖7是用於與VBV緩衝器的佔有量一起說明圖6的幀間隔決定處理的控制的圖。
具體實施例方式
圖1是示出本發明一實施例的動圖像再編碼裝置的一個構成例的圖，圖中，1是動圖像再編碼裝置、11是操作輸入單元、12是解碼單元、13是間隔通知單元、14是編碼單元、15是幀選擇單元。
本實施例的動圖像再編碼裝置具有解碼單元12、間隔通知單元13、編碼單元14、幀選擇單元15，圖1中示出的動圖像再編碼裝置1，除了這些構成要素之外還具有操作輸入單元11。
操作輸入單元11是從用戶接收作為再編碼對象的位流的指定和包含動圖像再編碼指示的操作，並將所接收的信息向後級傳遞的單元。這裡，動圖像再編碼指示通常包括如下指示作為對象的動圖像數據的指定；對該動圖像數據進行區間編輯或插入附加數據、疊加等的編輯、位速率變換、尺寸變換等。例如「文件A(位速率500bps)的動圖像數據用384bps的動圖像數據進行記錄」，「在文件A的動圖像數據中，從開始起10分～30分之間的數據用1/3的數據量進行記錄」等指示與此相當。此外，這裡，將從用戶接收對編碼位流進行編輯的指示的編輯接收單元也作為包含在該操作輸入單元11中的單元進行了說明，但並不局限於此。
此外，與這些操作相關的信息是作為向解碼單元12、編碼單元14、幀選擇單元15傳送的信息，在此進行說明，但是，根據各單元的形態其並不局限於此，例如，也可以傳送到間隔通知單元13，如果可以不傳送到幀選擇單元15而開始解碼，則將該幀從解碼單元12通知給幀選擇單元15亦可。此外，操作的種類也是各種各樣的，本發明也可以用於處理將編輯或各種變換合併執行的操作。此外，對於操作的方法，可以進行與用戶再編碼指示相關的操作，安裝用戶易操作的GUI(圖像用戶界面)更理想。此外，通過在動圖像再編碼裝置1中安裝編輯單元，從而可以進行區間編輯或插入附加數據、疊加等編輯，其中該編輯單元根據操作的種類，經由上述GUI等執行動圖像數據的各種編輯。實際上，編輯單元根據編輯接收單元所接收的指示來編輯動圖像，動圖像再編碼裝置1也可以隨著該編輯單元進行動圖像編輯，而將編輯之後的動圖像進行再編碼。此外，在本發明中，無需特別地指出編輯和再編碼的定時。
解碼單元12根據對動圖像進行編碼後的位流(也稱為編碼視頻流)來解碼動圖像的幀。這裡，根據由操作輸入單元11進行用戶輸入的再編碼開始/結束指示或解碼開始/結束指示，開始/結束所指定的位流的解碼，在此期間生成解碼幀。除此之外，也可以通過所述位流輸入單元的輸入控制，控制再編碼的開始和結束。
但是，如後所述，無論該幀是否是編碼視頻流上的I幀，解碼單元12都解碼具有開始指示的視頻幀，在解碼了最初的視頻幀之後，在接收了來自間隔通知單元13的幀間隔的通知之前基本上不進行解碼。此外，實際上，在動圖像再編碼裝置1中設置了位流輸入單元，該位流輸入單元用於從記錄介質或通過網絡輸入作為對象的動圖像數據(動圖像位流)。
幀選擇單元15從解碼單元12所解碼的幀中選擇再編碼的幀。而且，幀選擇單元15將經過下述時刻之前的幀中的最後的幀選擇為下一再編碼的幀，該時刻為後述的基於被通知的幀間隔的時刻。此外，在幀選擇單元15中，無條件地選擇由解碼單元12最初解碼後的幀(基於開始指示的幀)。
編碼單元14僅再編碼由幀選擇單元15所選擇的幀。這裡，編碼單元14可通過基於操作輸入單元11所輸入的操作內容的編碼位速率(或編碼率)執行編碼。此外，編碼單元14在進行所述編碼時，為了實現編碼後能夠在任意解碼器進行解碼，而對虛擬了解碼器的視頻存儲器虛擬緩衝器進行控制，使其既不上溢也不下溢。在MPEG方式中，該虛擬緩衝器是用於監視使其不產生超過接收側(解碼側)的傳送流(TS)緩衝器容量的流的裝置，稱為VBV(Video BufferingVerifier視頻緩衝核驗器)緩衝器，該緩衝器的上限值被標準化。
此外，編碼單元14既可以構成為根據操作輸入單元11所輸入的再編碼結束的指示(還包含預定的結束指示)結束編碼，也可以構成為編碼單元12接收了上述結束指示而停止解碼並自動地結束編碼單元14的編碼。此外，編碼單元14優選具有將再編碼對象的幀進行幀內編碼的單元和及進行幀間編碼的單元。
間隔通知單元13，在由編碼單元14將幀再編碼之後，首先計算出從該幀至作為下一再編碼對象的幀為止的幀間隔，將計算出的幀間隔通知給解碼單元12。這裡所通知的幀間隔優選根據經編碼單元14對幀進行再編碼時的速率控制信息進行計算。對於該控制信息將將在後面進行描述，特別包含用於控制上述虛擬緩衝器不溢出的信息。此外，實際上，將編碼單元14所再編碼的動圖像數據輸出到記錄介質或通過網絡輸出到其它裝置的位流輸出單元，也被設置在動圖像再編碼裝置1中。此外，與上述的操作輸入單元11、編輯單元、位流輸入單元一起在動圖像再編碼裝置1中同時設置了該位流輸出單元(優選也包括輸出目的地的記錄介質)的方式，由於可以從動圖像的讀出至編輯、記錄為止，故可稱為動圖像編輯裝置。
此外，這裡補充了幀間隔。在圖像的編碼規格中，通常規定了將單位時間的處理量抑制在一定的範圍內。例如，在MPEG-4的規格中，根據MPEG-4的各級別來規定虛擬的緩衝器，在該範圍內規定進行數據的接收、編碼(MPEG-4 visual Annex DMPEG-4視覺附件D)。因此，進行圖像編碼的編解碼器中，有必要進行編碼以便編碼包含在標準中所規定的緩衝器的範圍內。此時，在控制中所使用的是編碼幀的間隔。此外，這裡描述了幀間隔，但是控制編碼器所使用的參數除了幀間隔之外還包括QP值(量子化參數)等。
此外，編碼單元12在通過間隔通知單元13通知之後對編碼位流進行解碼，直至經過基於所通知的幀間隔的時刻為止。一直解碼到基於所通知的幀間隔的時刻為止是指一直解碼到經過裝置1內的時鐘所示的通知時刻與幀間隔相加後的時刻為止，換言之，當MPEG方式的DTS(Decoding Time Stamp解碼時間戳)等時刻信息作為頭的一個信息添加到編碼位流時，亦指在如下時刻的幀之前進行解碼，該時刻為將最初由解碼單元12解碼的幀所示的時刻與幀間隔相加後的時刻。此外，不管幀在編碼視頻流上是否是I幀，解碼單元12都解碼具有開始指示的視頻幀(當然，例如，當為P幀時也預先對其解碼所必須的I幀進行解碼)，最初的視頻幀解碼之後到從間隔通知單元13接收到幀間隔的通知為止基本上不進行解碼。
但是，也可以根據操作輸入單元11所輸入的與操作相關的信息(操作種類或編碼視頻流的位速率等)預先預測幀間隔的最小值，首先，進行預解碼直至該預測的幀間隔的最小值為止。該預測也可以通過在動圖像再編碼裝置1中進一步安裝計算幀間隔的最小值的預測的最小值計算單元。而且，解碼單元12在來自間隔通知單元13的幀間隔通知之前，直至最大、最小值計算單元所計算出的幀間隔的最小值所示的時刻為止繼續進行解碼。在上述方式中，由於最小值所示的時刻不可能超過間隔通知單元13所通知的實際幀間隔所示的時刻，故直到最小值所示的時刻為止，不會損失必須停止解碼單元12的解碼處理等時間。
下面對速率控制信息進行說明。所謂速率控制情報是指通過編碼單元14再編碼後的幀的圖像尺寸、所述幀的再編碼時的編碼量、動圖像再編碼裝置1的位速率(即再編碼位速率)、和虛擬了當前(再編碼結束時)的、解碼時的視頻存儲器的虛擬緩衝器的佔有量之中的任意一個或多個信息，優選這些信息的全部。這裡，最初的3個信息，原來是根據操作輸入單元11中的用戶指示和原來的編碼位流而設定的設定信息，因而，在上述具有最小值計算單元的方式中，根據這些設定信息和編碼結束時的緩衝器量的預測值計算出最小值即可。
在上述本發明的各實施例中，如上所述，根據編碼單元14(例如編碼器)的要求使解碼單元12(例如解碼器)工作，從而與設備的處理能力無關，可以製作出最符合編碼器要求的文件，並可以進行具有再現性的再編碼處理。此外，在控制編碼器、解碼器時不使用特殊的信息，僅使用現有的信息，無需複雜的計算就能進行控制，所以，導入本發明的方式不會增加處理負荷。此外，根據本發明，通過負荷較輕的處理進行動圖像的編輯、再編碼，儘管使用了簡單的處理，但所生成的編碼仍符合標準。此外，再編碼處理是在DVD(digital versatile disc多功能數碼光碟)、HDD(Hard DiskDrive硬碟驅動器)等各種記錄器等各種設備中所進行的處理，本發明也適用於組合到上述記錄器中而發揮作用。
圖2是示出可適用於本發明的動圖像再編碼裝置的計算機的一個構成例的圖，圖3是用於說明圖1的動圖像再編碼裝置中的一例再編碼處理的流程圖，也是說明本發明的一個實施例的動圖像再編碼程序的一例處理程序的流程圖。在圖2中，2是計算機、21是CPU(Central Processing Unit中央處理器)、22是RAM(Random AccessMemory隨機存取存儲器)、23是ROM(Read Only Memory只讀存儲器)、24是輸入裝置、25是顯示裝置、26是輸出裝置。
參考圖3對如上所述結構的動圖像再編碼裝置1的處理程序進行說明，其中舉出了將本發明一個實施方式的動圖像再編碼程序可執行地安裝到圖2所示計算機的ROM23中的例子。此外，圖2的計算機2，不僅表示包含控制部的主要部分，還表示通用的個人計算機(PC)，其中該控制部是加入了本發明的再編碼處理功能的記錄器等各種設備中的控制部。
在計算機2中，將如下部件作為主要構成要素，並通過總線對其進行連接用於輸入各種信息的鍵盤、滑鼠、記錄介質讀取裝置、來自其它設備的輸入用的網絡設備等的輸入裝置24、用於進行編輯的顯示動圖像數據或各種設定畫面等的LCD、PDP、有機EL、CRT等顯示器即顯示裝置25、記錄介質用記錄裝置、網絡連接裝置(連接到網絡以進行通信用的網絡埠等通信設備)、印刷裝置等執行外部輸出用的輸出裝置26、除基本程序之外還記錄了本發明的動圖像再編碼程序(或動圖像編輯程序)的可擦寫ROM23(一部分不可擦寫亦可)、用於執行在ROM23中存儲的程序的CPU21、以及作為其執行區域的RAM22。
該動圖像再編碼程序(或動圖像編輯程序)是控制CPU21等以便使計算機2作為上述各單元的一部分(或各單元)而工作的程序。此外，在該程序中，也可以具有顯示裝置25用的GUI，從而裝置用戶(執行再編碼的操作者)在使用時容易操作。由這些裝置所處理的信息，在所述處理時暫時存儲到RAM22中，然後存儲到各種ROM23中，並根據需要，通過CPU21進行讀出、修改、寫入。
首先，當輸入裝置24輸入作為對象的編碼位流和編輯指示時，根據所述編輯指示，從相當於解碼單元的解碼程序位流對編輯開頭的視頻幀進行解碼(步驟S1)。再有，相當於幀選擇單元的幀選擇程序將基於開始指示解碼的幀選擇為再編碼的幀(步驟S2)；相當於編碼單元的編碼程序將被選擇的幀按規定的速率存儲到虛擬緩衝器(例如VBV緩衝器)中，在存儲了1幅幀的階段從VBV緩衝器中輸出並進行編碼(步驟S3)。在步驟S2中，也可以根據用戶的指示將由解碼程序所解碼的幀傳送給編碼程序。
然後，相當於間隔通知單元的間隔通知程序，通過用於編碼的速率控制信息計算出幀間隔，向解碼程序通知該幀間隔(步驟S4)。根據該通知，解碼程序根據位流對視頻流進行解碼直至幀間隔所示的時刻為止(步驟S5)。接著，幀選擇程序將解碼幀中最後的幀選擇為再編碼幀(步驟S6)。編碼程序對所選擇的幀進行編碼(步驟S7)。然後，根據用戶指示的內容，判斷再編碼是否結束(步驟S8)，如果未結束，則返回步驟S4，繼續處理。
如上所述，根據本發明的程序，不依存於CPU的差別或其它的線程(thread)是否起動的CPU佔有率，可以生成具有再現性的數據。此外，由於算法較單純，因而，具體地除了解碼單元和編碼單元之外即便全部安裝為軟體也可以進行高速處理。此外，儘管處理較簡單，但是由於其為虛擬緩衝器不溢出的處理，故可以生成符合標準的位流。
此外，在圖2和圖3中，示出了安裝有所有處理的程序的例子。當然，如果僅僅是軟體處理，則僅負荷較大的解碼處理和編碼處理(相當於解碼單元12和編碼單元14的處理)優選由硬體構成，例如，由解碼器和編碼器構成或由編解碼器構成。具體地，考慮到現有的PC或解碼器和編碼器的處理速度，優選將解碼單元和編碼單元由硬體(即解碼器和編碼器、或編解碼器)構成，其它的單元由控制這些硬體的程序構成。這種情形的動圖像再編碼程序驅動解碼器和編碼器、或編解碼器，若根據圖3進行說明，則是執行如下處理的程序。
即，根據位流將開頭的視頻幀在解碼器(編解碼器的解碼器部，以下相同)中解碼(步驟S1)。然後，幀選擇程序將根據開始指示解碼的幀選擇為再編碼幀(步驟S2)，並傳送給編碼器(編解碼器的編碼部，以下相同)。編碼器將所選擇的幀以規定的速率存儲到虛擬緩衝器(例如VBV緩衝器)中，在存儲了1幅幀的階段從VBV緩衝器中輸出以執行編碼(步驟S3)。在步驟S2中，也可以根據用戶指示將在解碼器中解碼的幀傳送給編碼器。
然後，間隔通知程序通過用於編碼的速率控制信息計算出幀間隔，並向解碼器通知該幀間隔(步驟S4)。與該通知一起，指示解碼器根據位流對視頻流進行解碼直至幀間隔所示的時刻為止。然後，解碼器根據該通知，根據位流對視頻流進行解碼直至幀間隔所示的時刻為止(步驟S5)。接著，幀選擇程序將解碼幀中最後的幀選擇為再編碼幀(步驟S6)，並傳送到編碼器。編碼器將所選擇的幀進行編碼(步驟S7)。然後，根據用戶指示的內容，判斷再編碼是否結束(步驟S8)，如果未結束，則返回步驟S4，繼續處理。
下面，參考圖4至圖7，進一步具體地說明本發明的動圖像再編碼裝置的一個構成例。圖4是具有本發明的動圖像再編碼裝置的動圖像編輯裝置的一個構成例，圖中，4是動圖像編輯裝置。此外，圖5是用於說明圖4的動圖像編輯裝置的再編碼處理的圖，圖6是用於說明圖5的再編碼處理的幀間隔處理的圖，圖7是用於與VBV緩衝器中的佔有量一起對圖6的幀間隔決定處理的控制進行說明的圖。
這裡示出的動圖像編輯裝置4由如下部件構成顯示部40、圖像幀存儲部41、編碼/解碼動作控制部42、相當於解碼單元的解碼部43、相當於編碼單元的編碼部44、多路復用及分離部45、輸入部46、輸出部47、存儲部A(48)、和存儲部B(49)。
這裡，解碼部43相當於解碼單元，編碼部44相當於編碼單元。此外，多路復用及分離部45對視頻(動圖像)數據和音頻數據進行多路復用處理、以及將多路復用後的這些數據反過來進行分離的處理，輸出部47和後者的處理部構成上述位流輸出單元，輸入部46和前者的處理部構成上述位流輸入單元。此外，顯示部40由將解碼部43所解碼的圖像數據向用戶顯示的顯示器等構成，幀存儲器等構成的圖像幀存儲部41暫時存儲在顯示部40顯示的圖像，並進行用於從解碼部43向編碼部44傳遞圖像數據的暫時存儲。
然後，通過編碼/解碼動作控制部42控制解碼部43和編碼部44。該控制部42可以說主要構成上述幀選擇單元和間隔通知單元(以及最小值計算單元)。此外，編碼/解碼動作控制部42可以通過控制解碼部43中的解碼指示來實現對存儲部A(48)中存儲的編碼位流的輸入控制，也可以通過控制輸入部46來實現對存儲部A(48)中存儲的編碼位流的輸入控制。此外，存儲部B(49)是存儲完成再編碼的位流的存儲部分，作為存儲介質及其驅動裝置可以採用與存儲部(48)相同的存儲介質及其驅動裝置構成。此外，省略了上述操作輸入單元、編輯接收單元、以及編輯單元，但是，在顯示部40中繼續顯示對象的動圖像數據和編輯或變換項，並可以通過將用戶輸入向編碼/解碼動作控制部42輸入而實現。
動圖像編輯裝置4，通過採用上述構成，控制編碼/解碼動作控制部42，並執行承接(i)～(xi)的處理。首先，(i)對由MPEG-4等所編碼的位流51開頭的幀(在被編輯的情形是其開頭幀)52a進行解碼。此外，也可以一邊解碼一邊對解碼後的幀進行編輯。然後，(ii)從解碼後的幀中選擇再編碼的幀。這裡，必須選擇開頭的幀52a。接著，在(iii)中，編碼在(ii)中選擇的幀53a(52a)。這裡，編碼器54執行所述編碼處理(iv)。然後，(v)計算出幀間隔TF1並通知解碼部43。繼而，(vi)解碼器對視頻幀(幀52b、52c、52d、52e)進行解碼直至該間隔TF1後。然後，(vii)選擇幀間隔時刻的幀52e，(viii)編碼所選擇的幀53b(52c)。這裡，編碼器54進行所述編碼處理。(ix)添加此前編碼的數據並進行幀間編碼亦可。然後，與(x)(v)同樣計算出幀間隔TF2並通知解碼部43。接著，(xi)解碼器對視頻幀(幀52b、52c、52d、52e)進行解碼直至該間隔TF2為止。然後，選擇最後的幀53c(52i)並進行編碼。繼續進行上述處理直至不需要再編碼為止。
下面，對於幀間隔的計算(推定)進行說明。如圖6所示，根據由編碼器54對再編碼幀53a的編碼數據進行編碼的條件，即根據編碼器54的此時的速率控制信息，返回下面要編碼的幀為止的要求幀間隔。由解碼器對原始的視頻位流進行解碼，該原始的視頻位流是根據該請求幀間隔所計算的時刻以內的幀之前的視頻位流。然後，編碼器54以加上了要求幀間隔後的時間對所解碼的幀進行編碼。
作為幀間隔的推定要素(速率控制信息)主要可以列舉出圖像尺寸、位速率、當前的VBV緩衝器的佔有量、和1幀編碼時的編碼量。圖7中示出了VBV緩衝器的佔有量的實例，圖中，縱軸表示緩衝器佔有量，橫軸表示經過時間，虛線是預測值，實線是實際值。此外，在圖7中，B表示標準上的緩衝器上限值，d表示1幀的編碼量、T表示幀間隔，Tn、TL表示作為目標的幀間隔，圖表的斜率表示位速率。此外，為了儘可能多地對幀進行編碼，只要對該緩衝器的上限值B設定較小的上限值即可，在這種情形下，每一幀的數據分配得較小。反之，為了進行漂亮的編碼，只要對該緩衝器的上限值B(即對B設定)設定儘可能大的上限值即可，在這種情形下，儘可能大地分配每一幀的數據。根據圖7，說明具體的控制的實例。
在範圍A中，首先，在錄像開始的同時編碼器取得的數據量增加。然後，在經過了幀間隔的時刻，對第1幅數據進行編碼(d1)。然後，繼續取得數據，以作為目標的幀間隔Tn對第2幅數據進行編碼(d2)。在進行第二幅的編碼的時刻，接著以Tn的間隔進行編碼(d3)的情形，可以預測到VBV緩衝器將下溢。因而，將下一要編碼的幀的間隔變寬為TL，從而防止VBV緩衝器的下溢。
此外，在範圍B中，通過在範圍A中的控制，幀間隔在TL的狀態下繼續錄像。在d4的編碼時刻，如果以當前的幀間隔TL對下一幀進行編碼，則可以預測到VBV緩衝器將上溢。這樣，縮短下一幀間隔(接近目標幀速率)，並防止VBV緩衝器的上溢。
具體的控制可以列舉如下當對運動激烈的圖像進行編碼且一幅的數據量較多而導致VBV緩衝器下溢(範圍A)時，擴大幀間隔，此後，圖像穩定，一幅圖像的編碼量變少使VBV緩衝器上溢(範圍B)時，減小幀間距。這樣，反覆進行上述操作，從而數據容納在VBV緩衝器內。由此，由本發明再編碼的幀的間隔，由於進行了符合標準的再編碼，因此，當然未必是固定的，因而通知給解碼器側的幀間隔也不是固定的。
如上所述，在本發明的再編碼結構中，編碼器和解碼器並不實時工作。解碼器將對應時間內的全部幀進行解碼，編碼器獨立於原始的視頻流而設定參數。
權利要求
1.一種動圖像再編碼裝置，其特徵在於，具有解碼單元，根據編碼了動圖像的位流對動圖像的幀進行解碼；選擇單元，從被該解碼單元所解碼的幀中選擇再編碼的幀；編碼單元，僅將由該幀選擇單元所選擇的幀進行再編碼；間隔通知單元，由該編碼單元對幀進行再編碼之後，計算出從該幀開始到成為下一再編碼對象的幀間隔，並且將該算出的幀間隔通知給上述解碼單元，所述解碼單元通過所述間隔通知單元通知之後，執行所述位流的解碼直到經過基於該通知的幀間隔的時刻為止，所述幀選擇單元將經過所述時刻之前的幀中最後的幀選擇為下一再編碼的幀。
2.根據權利要求1所述的動圖像再編碼裝置，其特徵在於所述間隔通知單元具有通過所述編碼單元對幀進行再編碼時的速率控制信息計算出所述幀間隔的單元。
3.根據權利要求2所述的動圖像再編碼裝置，其特徵在於所述速率控制信息是如下信息中的任意一個或多個信息，該信息為由所述編碼單元再編碼後的幀的圖像尺寸、該幀的再編碼時的編碼量、所述編碼單元的編碼位速率、所述編碼單元的再編碼結束時的、虛擬了解碼時的視頻存儲器的虛擬緩衝器的佔有量。
4.根據權利要求1至3中任意一項的動圖像再編碼裝置，其特徵在於還具有操作輸入單元，該操作輸入單元從用戶接收作為再編碼對象的位流的指定、以及包含動圖像再編碼指示的操作，所述編碼部分以基於由所述操作輸入部分輸入的操作的編碼位速率執行編碼。
5.根據權利要求4所述的動圖像再編碼裝置，其特徵在於還具有最小值計算單元，該最小值計算單元根據與所述操作輸入單元輸入的操作相關的信息，預先預測所述幀間隔的最小值，所述解碼單元在來自所述間隔通知單元的幀間隔的通知之前繼續進行解碼，直到最大、所述最小值計算單元所計算的幀間隔的最小值所示的時刻為止。
6.根據權利要求1至5中任意一項所述的動圖像再編碼裝置，其特徵在於所述編碼單元具有將再編碼對象的幀進行幀內編碼的單元和進行幀間編碼的單元。
7.一種具有權利要求1至6中任意一項所述的動圖像再編碼裝置的動圖像編輯裝置，其特徵在於，包括從用戶接收對所述位流進行編輯的指示的編輯接收單元、根據該編輯接收單元接收的指示對動圖像進行編輯的編輯單元，所述動圖像再編碼裝置隨著所述編輯單元對動圖像的編輯，而將編輯後的動圖像進行再編碼。
8.一種安裝於動圖像再編碼裝置中的程序，該動圖像再編碼裝置包括解碼單元，根據將動圖像編碼後的位流對動圖像的幀進行解碼；以及編碼單元，將由該解碼單元所解碼的幀進行再編碼，其特徵在於使所述動圖像再編碼裝置的控制部執行如下步驟幀選擇步驟，根據所述解碼單元所解碼的幀選擇再編碼的幀；編碼指示步驟，由所述編碼單元僅對在該幀選擇步驟中所選擇的幀進行編碼；間隔通知步驟，由所述編碼單元對幀進行了再編碼後，計算從該幀到下一個作為再編碼對象的幀的幀間隔，並將該計算出的幀間隔通知給所述解碼單元；以及解碼指示步驟，當通過所述間隔通知步驟通知之後，指示所述解碼單元以執行所述位流的解碼直到經過基於該通知的幀間隔的時刻為止，所述幀選擇步驟包括如下步驟，即將經過所述時刻之前的幀中最後的幀選擇為下一再編碼幀。
9.根據權利要求8所述的程序，其特徵在於所述間隔通知步驟包括如下步驟，即根據由所述編碼單元對幀進行了編碼時的速率控制信息計算出所述幀間隔。
10.根據權利要求9所述的程序，其特徵在於所述速率控制信息是下述信息之一或者多個信息，該信息為由所述編碼單元再編碼後的圖像尺寸、該幀的再編碼時的編碼量、所述編碼單元的編碼位速率、以及所述編碼單元的再編碼結束時的、虛擬了解碼時的視頻存儲器的虛擬緩衝器的佔有量。
11.根據權利要求8至10中任意一項所述的程序，其特徵在於該程序進一步使所述控制部執行操作輸入步驟，即從用戶接收作為再編碼對象的位流的指定、以及包含動圖像再編碼指示的操作，再所述編碼指示步驟中，指示所述編碼單元以基於在所述操作輸入步驟中輸入的操作的編碼位速率進行編碼。
12.根據權利要求11所述的程序，其特徵在於該程序進一步使所述控制部執行最小值計算步驟，即根據由所述操作輸入步驟輸入的與操作有關的信息，預先預測出所述幀間隔的最小值，在所述編碼指示步驟中，在由所述間隔通知步驟通知幀間隔之前，指示所述解碼單元繼續進行解碼，直到在最大、所述最小值計算步驟中計算出的幀間隔的最小值所示的時刻為止。
13.根據權利要求8至12中任意一項所述的程序，其特徵在於所述編碼單元具有將再編碼對象的幀進行幀內編碼的單元和進行幀間編碼的單元。
14.根據權利要求8至13中任意一項所述的程序，其特徵在於該程序使所述控制部進一步執行如下步驟從用戶接收對所述位流進行編輯的指示的編輯接收步驟、以及根據在該編輯接收步驟中接收的指示對動圖像進行編輯的編輯步驟，而且，使所述控制部控制所述解碼單元和編碼單元，從而隨著在所述編輯步驟中對動圖像進行編輯，對編輯後的動圖像進行再編碼。
15.一種程序，其特徵在於使計算機以作為權利要求1至7任意一項所述的裝置進行工作。
16.一種計算機可讀取的記錄介質，其特徵在於記錄了權利要求8至15中任意一項所述的程序。
全文摘要
本發明提供一種動圖像再編碼裝置，在轉換或編輯被編碼的動圖像數據時，通過負荷較輕的簡單處理即可生成具有再現性的正確的編碼數據。該裝置具有解碼單元(12)，根據編碼位流對動圖像的幀進行解碼；選擇單元(15)，從該解碼後的幀中選擇再編碼的幀；編碼單元(14)，僅將該選擇的幀進行再編碼；以及間隔通知單元(13)，對幀進行再編碼之後，計算出從該幀開始到作為下一再編碼對象的幀的間隔，並將該算出的幀間隔通知給所述解碼單元(12)。解碼單元(12)在由所述間隔通知單元(13)通知之後，執行位流的解碼直到經過基於該通知的幀間隔的時刻為止。所述幀選擇單元(15)將經過該時刻之前的幀中最後的幀選擇為下一再編碼的幀。
文檔編號H04N5/92GK101040531SQ20058003507
公開日2007年9月19日 申請日期2005年9月12日 優先權日2004年10月13日
發明者山田英明, 仲林次郎, 中村康洋 申請人:夏普株式會社