多路復用裝置及逆多路復用裝置的製作方法

2023-05-07 09:31:26

專利名稱：多路復用裝置及逆多路復用裝置的製作方法
技術領域：
本發明涉及一種將動態圖像數據和聲音數據等媒體數據多路復用的多路復用裝置，以及讀入將動態圖像數據和聲音數據等媒體數據多路復用後的位串並進行逆多路復用的逆多路復用裝置。
背景技術：
近年來，隨著通信網絡的大容量化和傳送技術的進步，在網際網路上把包含動畫、聲音、文本或靜止畫等多媒體內容的動畫像文件發信給個人電腦的動畫發信服務明顯普及起來。另外，以謀求攜帶終端等所謂第三代移動通信系統的規格標準化為目的的國際標準化團體3GPP(Third Generation Partnership Project)，有制定有關無線動畫通信規格即TS26.234(Transparentend-to-end packet switched streamingservice)等的動向，動畫發信服務在向攜帶電話機和PDA等移動通信終端提供服務方面有望擴大。
在動畫發信服務中，進行動畫像文件的發信時，首先，多路復用裝置需要讀取動畫、靜止畫、聲音及文本等媒體數據，把媒體數據重放所需的標題信息和媒體數據的實體數據多路復用，製作動畫像文件數據，作為該動畫像文件數據的多路復用文件格式，MP4文件格式備受注目。
該MP4文件格式是國際標準化團體ISO/IEC(InternationalStandardization Organization/International Engineering Consortium)JTC1/SC29/WG 11為推進標準化而採用的多路復用文件格式，在上述3GPP的TS26.234中也被採用，由此可見其廣泛普及性。
下面，說明MP4文件的數據結構。
MP4文件以被稱為邏輯單元(box)的目標單位來存儲標題信息和媒體數據的實體數據，通過把多個邏輯單元進行分級式排列而構成。
圖1是構成現有MP4文件的邏輯單元結構的說明圖。
邏輯單元901由用於存儲邏輯單元901的標題信息的邏輯單元標題單元902和邏輯單元數據存儲單元903構成，邏輯單元數據存儲單元903用於存儲邏輯單元901中包含的數據(例如，用於記述該邏輯單元的下一級邏輯單元和信息的欄位等)。
該邏輯單元標題單元902具有邏輯單元尺寸904、邏輯單元類型905、版本906和旗標907的欄位。
邏輯單元尺寸904是記述包括分配到該欄位的字節尺寸的邏輯單元901的整體尺寸信息的欄位。
邏輯單元類型905是記述用於識別邏輯單元901種類的標識符的欄位。該標識符通常用4個字母文字串來表示。以下，在本說明書中有時也用該標識符表示各邏輯單元。
版本906是記述用於表示邏輯單元901的版本的版本序號的欄位，旗標907是記述為每個邏輯單元901設定的旗標信息的欄位。該版本906和旗標907不是所有邏輯單元901的必須欄位，所以也可以存在沒有這些欄位的邏輯單元901。
由多個這種結構的邏輯單元901連續構成的MP4文件可以大致分為文件結構上必不可卻的基本部分和根據需要而使用的擴展部。首先，說明MP4文件的基本部分。
圖2是現有MP4文件的基本部分的說明圖。
MP4文件910的基本部分911由文件標題部分912和文件數據部分913構成。
文件標題部分912是存儲整個文件的標題信息的部分，例如存儲動畫像(視頻)數據的壓縮編碼方式等信息，由文件類型邏輯單元914和和移動邏輯單元915構成。
文件類型邏輯單元914是用「ftyp」標識符來識別的邏輯單元，存儲用於識別MP4文件的信息。關於向MP4文件存儲何種媒體數據，並且存儲使用了何種壓縮編碼方式的動畫像(視頻)數據和聲音(音頻)數據等，標準化團體和服務提供方可以獨自進行規定，所以把用於識別MP4文件是根據何種規定而製作的信息存儲在該文件類型邏輯單元914中。
移動邏輯單元915是用「moov」標識符來識別的邏輯單元，用於存儲文件數據部分913中存儲的實體數據的標題信息，例如顯示時間長度等信息。
文件數據部分913由用「mdat」標識符識別的移動數據邏輯單元916構成。另外，也可以參照不同於該MP4文件910的外部文件，來取代該文件數據913。這樣，參照外部文件時，MP4文件910的基本部分911隻由文件標題部分912構成。本說明書中說明的是MP4文件910內包含實體數據的情況，不是參照外部文件時的情況。
移動數據邏輯單元916是以被稱為採樣的單位來存儲媒體數據的實體數據的邏輯單元。此處所說採樣是MP4文件中的最小存取單位，相當於利用MPEG(Moving Picture Experts Group)-4 Visual壓縮編碼方式編碼後的視頻數據的VOP(Video Object Plane)和聲音數據的幀。
下面，對現有MP4文件的基本部分的結構進行剖析，說明移動邏輯單元915的結構。
圖3是現有MP4文件的移動邏輯單元的結構說明圖。
如圖3(a)所示，移動邏輯單元915由前面說明的邏輯單元標題部分902和邏輯單元數據存儲部分903構成。構成邏輯單元標題部分902的邏輯單元尺寸904的欄位記述著移動邏輯單元915的尺寸信息(在圖3(a)中記為「××××」)，邏輯單元類型905的欄位記述著移動邏輯單元915的標識符「moov」。
移動邏輯單元915的邏輯單元數據存儲部分903中存儲有用於存儲MP4文件910的基本部分911的標題信息的移動標題邏輯單元917，和用於存儲視頻磁軌和音頻磁軌等每個磁軌的標題信息的磁軌邏輯單元918等。此處所說的磁軌意味著MP4文件910中包含的各介質的整體採樣數據，動畫像和聲音及文本等磁軌分別被稱為視頻磁軌、音頻磁軌和文本磁軌等。MP4文件910內存在多個同一介質的數據時，形成相對同一介質存在多個磁軌的狀態。具體而言，例如，MP4文件910內含有兩種動畫像數據時，存在兩個視頻磁軌。
移動標題邏輯單元917也是由前面說明的邏輯單元標題部分902和邏輯單元數據存儲部分903構成，構成邏輯單元標題部分902的邏輯單元尺寸904的欄位記述著移動標題邏輯單元917的尺寸信息(在圖3(a)中記為「×××」)，邏輯單元類型905的欄位記述著移動標題邏輯單元917的標識符「mvhd」。移動標題邏輯單元917的邏輯單元數據存儲部分903存儲有MP4文件910的基本部分911中包含的內容重放所需的時間長度的相關信息等。
構成磁軌邏輯單元918的邏輯單元標題部分902的邏輯單元尺寸904的欄位記述著磁軌邏輯單元918的尺寸信息(在圖3(a)中記為「××」)，邏輯單元類型905的欄位記述著磁軌邏輯單元918的標識符「trak」。磁軌邏輯單元918的邏輯單元數據存儲部分903存儲著磁軌標題邏輯單元919。
磁軌標題邏輯單元919是具有用於記述每個磁軌的標題信息的欄位的邏輯單元，用「tkhd」標識符來識別。該磁軌標題邏輯單元919的邏輯單元數據存儲部分903記述著用於記述磁軌種類識別用磁軌ID的欄位，和磁軌重放所需時間長度的相關信息等。
這樣，邏輯單元901在移動邏輯單元915中呈分級式排列，用「trak」識別的磁軌邏輯單元918存儲著視頻和音頻等每個磁軌的標題信息。在該磁軌邏輯單元918中包含的下位邏輯單元存儲著磁軌的採樣單位的標題信息。
如果把圖3(a)所示的移動邏輯單元915的結構表示成樹狀，獲得圖3(b)所示圖。
即，可以判明以下情況，排列移動標題邏輯單元917、磁軌邏輯單元918作為移動邏輯單元915的下位邏輯單元組，排列磁軌標題邏輯單元919作為磁軌邏輯單元918的下位邏輯單元組，邏輯單元901被分級配置。
在MP4文件格式的標準化初期，MP4文件910僅由上述基本部分911構成。但是，媒體數據的信息量增多時，尺寸變大，所以具有難以適用流動重放等各種問題，因此進行了增加使用將標題邏輯單元和數據邏輯單元的組連接多個而構成的擴展部的改良。
圖4是表示含有以往的擴展部的MP4文件的結構圖。
如圖4所示，施加了上述改良的MP4文件920由基本部分911和擴展部921構成。含有該擴展部921的MP4文件920可以把所有媒體數據存儲在擴展部921中，所以也可以省略MP4文件基本部分911的移動數據邏輯單元916。
擴展部921通過連接多個以規定單位劃分的數據包922而構成。
該數據包922由移動區段邏輯單元923和移動數據邏輯單元916構成一對，也稱為移動區段。
移動數據邏輯單元916是以上述所劃分的規定單位存儲每個磁軌的採樣的邏輯單元，移動區段邏輯單元923是存儲與該移動數據邏輯單元916對應的標題信息的邏輯單元，用「moof」標識符來識別。有關該移動區段邏輯單元923的結構將做進一步的詳細說明。
圖5是以往的移動區段邏輯單元的結構說明圖。
如圖5所示，移動區段邏輯單元923的邏輯單元數據存儲部分903存儲著移動區段標題邏輯單元924和多個磁軌區段邏輯單元925。
移動區段標題邏輯單元924是用「mfhd」標識符識別的邏輯單元，存儲有移動區段邏輯單元923的整體標題信息。
磁軌區段邏輯單元925是用「traf」標識符識別的邏輯單元，存儲有每個磁軌的標題信息。
通常，為一個磁軌的標題信息準備一個磁軌區段邏輯單元925，但也可以為一個磁軌的標題信息準備多個磁軌區段邏輯單元925。這樣，把一個磁軌的標題信息分割存儲在多個磁軌區段邏輯單元925時，磁軌區段邏輯單元925的前頭採樣的解碼時間呈升序排列。
該磁軌區段邏輯單元925的邏輯單元數據存儲部分903存儲著磁軌區段標題邏輯單元926和一個以上的磁軌區段運行邏輯單元927。
磁軌區段標題邏輯單元926是用「tfhd」標識符識別的邏輯單元，存儲用於記述磁軌種類識別用磁軌ID的欄位，和採樣的重放時間長度等默認值相關信息等。
磁軌區段運行邏輯單元927是用「trun」標識符識別的邏輯單元，存儲採樣單位的標題信息。使用圖6詳細說明該磁軌區段運行邏輯單元927。
圖6是以往的磁軌區段運行邏輯單元927的結構說明圖。
旗標907是記述為每個邏輯單元901設定的旗標信息的欄位，但在此處，旗標907還記述表示磁軌區段運行邏輯單元927中是否有從數據位移929到採樣組合時間位移936的各個欄位的旗標信息。
採樣計數928是記述表示磁軌區段運行邏輯單元927存儲有多少個採樣的相關標題信息的欄位。
數據位移929是記述指針信息的欄位，該指針信息表示在磁軌區段運行邏輯單元927存儲有標題信息的採樣中，位於磁軌區段運行邏輯單元927前頭的採樣的實體數據存儲在成組的移動數據邏輯單元916的何處。
前頭採樣旗標930是當磁軌區段運行邏輯單元927的前頭採樣是可以隨機存取的採樣時，可以覆蓋後述的採樣旗標935的欄位值的欄位。此處所說的隨機存取意味著，例如MP4文件重放裝置在重放途中使數據的重放位置移動到10秒後位置、或從數據中途開始重放的處理動作。所說可以隨機存取的採樣意味著在視頻採樣中，MP4文件重放裝置中構成不參照其他幀的數據就可以單獨解碼的幀、即畫面內編碼幀(所謂內部幀)的採樣。音頻採樣的任何採樣均可單獨解碼，所以可以說所有音頻採樣都是可以隨機存取的採樣。
表931是把表示每個採樣的標題信息的條目932按採樣計數928所示的個數進行集成而得。
條目932是表示每個採樣的標題信息的欄位的匯集，利用上述旗標907表示包含哪個欄位。包含於條目932的欄位中有記述採樣的重放時間長度的採樣寬度933；記述採樣的尺寸的採樣尺寸934；記述表示採樣是否可以隨機存取的旗標信息的採樣旗標935；為了使用利用了雙向預測的採樣，記述採樣的解碼時間和顯示時間的差分值的採樣組合時間位移936。
條目932不包含這些欄位時，磁軌區段標題邏輯單元926和移動區段邏輯單元925內的移動擴充邏輯單元(標識符「mvex」)記述著這些欄位的默認值，所以各個採樣的標題信息使用這些默認值。
在磁軌區段運行邏輯單元927中從解碼時間早的採樣順序記述標題信息。因此，重放MP4文件的裝置在檢索採樣的標題信息時，從文件中的前頭磁軌區段邏輯單元925順序參照磁軌區段標題邏輯單元926內的磁軌ID，從而檢索包含要獲取磁軌的標題信息的磁軌區段邏輯單元925，在磁軌區段邏輯單元925內也從前頭的磁軌區段運行邏輯單元927順序檢索採樣的標題信息。
這樣，即使是含有該擴展部921的MP4文件920，解碼時的初始化信息等磁軌整體所需的信息也被存儲在移動邏輯單元915中。
下面，說明含有具有這種結構的擴展部921的MP4文件的構成示例。
圖7是表示含有以往的擴展部的MP4文件的擴展部的構成示例圖。
圖7表示有關內容的存儲方法的兩種示例說明，內容的重放時間長度為60秒。
圖7(a)所示MP4文件940的結構是在基本部分941和擴展部942雙方存儲媒體數據。即，在基本部分941的mdat_1(代碼945)存儲0～30秒的媒體數據，在擴展部942的mdat_2(代碼947)存儲30～45秒的媒體數據，在mdat_3(代碼949)存儲45～60秒的媒體數據。mdat_1(代碼945)的標題信息存儲在moov944，mdat_2(代碼947)的標題信息存儲在moof_1(代碼946)，mdat_3(代碼949)的標題信息存儲在moof_2(代碼948)。
與此相對，圖7(b)所示的MP4文件950形成僅向擴展部952存儲媒體數據的結構。即，基本部分951由ftyp953和moov954構成，不包含mdat，在擴展部952的mdat_1(代碼956)存儲0～30秒的媒體數據，在mdat_2(代碼958)存儲30～60秒的媒體數據。mdat_1(代碼956)的標題信息存儲在moof_1(代碼955)，mdat_2(代碼958)的標題信息存儲在moof_2(代碼957)。
下面，使用圖8～圖10說明上述MP4文件的擴展部是如何製作的。
圖8表示現有多路復用裝置的結構方框圖。
多路復用裝置960是把媒體數據多路復用並製作MP4文件的擴展部數據的裝置。此處是把視頻數據和聲音數據多路復用，製作MP4文件的擴展部數據。
第1輸入單元961把視頻數據讀取到多路復用裝置960，並存儲在第1數據存儲單元962，第2輸入單元964把聲音數據讀取到多路復用裝置960，並存儲在第2數據存儲單元965。
第1解析單元963從第1數據存儲單元962讀出一個採樣的視頻數據並進行解析，把視頻採樣的標題信息輸出到數據包單位決定單元967。第2解析單元966從第2數據存儲單元965讀出一個採樣的聲音數據並進行解析，把音頻採樣的標題信息輸出到數據包單位決定單元967。該視頻採樣標題信息和音頻採樣標題數據包含表示採樣的尺寸和重放時間長度的信息，視頻採樣標題信息也包含表示視頻採樣是否為內部幀的信息。
數據包單位決定單元967為了使數據包中包含的採樣數目一定，而決定視頻數據和聲音數據的數據包單位，根據所獲取的採樣標題信息製作各數據包的標題信息。
圖9表示以往的數據包單位決定單元的處理動作流程。其中，把存儲在一個數據包的採樣數目設為N，該值被預先確定，並保持在多路復用裝置960的存儲器中。
首先，第1解析單元963獲取一個視頻採樣(S901)，把視頻採樣標題信息輸出到數據包單位決定單元967，數據包單位決定單元967把視頻採樣標題信息追加到數據包製作表中(S902)。然後，數據包單位決定單元967更新數據包中包含的視頻採樣數目(S903)，判斷數據包中包含的視頻採樣數目是否為N(S904)。
當數據包中包含的視頻採樣數目小於N時(在S904判定為No)，反覆上述S901～S903的處理，當數據包中包含的視頻採樣數目為N時(在S904判定為Yes)，數據包單位決定單元967把N個視頻採樣進行數據包，結束處理動作(S905)。
同樣，數據包單位決定單元967也對音頻進行上述S901～S905的處理動作，由此進行音頻採樣的數據包。
數據包單位決定單元967反覆該流程的處理動作，直到所有採樣的數據包結束。
圖10表示存儲以往的視頻採樣的標題信息的數據包製作表的一個示例。該數據包製作表968a記述著每個視頻採樣的採樣尺寸、採樣的重放時間長度、和表示該視頻採樣是否為內部幀的畫面內編碼幀旗標的相關信息。其中，存儲在數據包的前頭的視頻採樣的尺寸為300位元組，重放時間長度為30ms，表示不是畫面內編碼幀，第2個視頻採樣表示是畫面內編碼幀。該數據包製作表968a在數據包單位決定單元967被順序追加上這些信息，在製作一個數據包中包含的最後採樣即第N號時，被輸出到數據包製作表存儲單元968。
再次參照圖8，數據包單位決定單元967向數據包製作表968a記述N個採樣的標題信息後，把數據包製作表968a輸出到數據包製作表存儲單元968，同時向數據包標題製作單元969輸出數據包製作信號。
數據包(packet)標題製作單元969獲取數據包製作信號，從保持在數據包製作表存儲單元968的數據包製作表968a讀出數據包採樣標題信息，製作moof數據。數據包標題製作單元969向數據包結合單元971輸出所製作的moof數據，同時向數據包數據製作單元970輸出包含指針信息和採樣尺寸信息的mdat信息，該指針信息表示數據包中包含的採樣的實體數據存儲在第1數據存儲單元962和第2數據存儲單元965的何處。
數據包數據製作單元970根據所獲取的mdat信息，從第1數據存儲單元962和第2數據存儲單元965讀出採樣的實體數據，製作mdat數據，向數據包結合單元971輸出mdat數據。
數據包結合單元971使moof數據與mdat數據結合，輸出一個數據包的mp4擴展部數據。
最後，所輸出的一個數據包的mp4擴展部數據被讀取到製作MP4文件的裝置中，依次製作的mp4擴展部數據被順序排列，由此製作MP4文件的擴展部。之後，通過用該文件製作裝置使MP4文件的基本部分和擴展部結合，製作MP4文件。
但是，使利用這種以往的多路復用裝置被多路復用的MP4文件的擴展部重放時，具有下述問題。
其一，首先，以往的多路復用裝置進行多路復用時不考慮數據包中包含的採樣的重放開始時間，所以，例如期望與某重放開始時間的視頻採樣同步的音頻採樣有時被存儲在不同於視頻採樣的數據包中。因此，MP4文件的重放裝置側具有重放時的數據存取的效率惡化的問題。
另外，以往的多路復用裝置以數據包中包含的採樣數目為基準進行多路復用，所以把可以隨機存取的採樣即相當於內部幀的視頻採樣存儲在數據包中的某處時，存儲部位因數據包而不同的情況很多。因此，在MP4文件的重放裝置側檢索可以隨機存取的採樣時，必須檢索數據包中包含的所有視頻採樣，具有採樣檢索所需計算量龐大的問題。
關於這些問題，使用圖11做進一步具體說明。
圖11是以往的多路復用裝置的問題說明圖。
圖11(a)明確了重放時的數據存取效率惡化的第1問題。
各mdat中包含的採樣的標題信息被存儲在前面的moof中，存儲在mdat_1的重放開始時間為20s的視頻採樣的相關標題信息作為前頭採樣被存儲在moof_1，存儲在mdat_10的重放開始時間為20s的音頻採樣的相關標題信息作為最終採樣被存儲在moof_10。
因此，MP4文件重放裝置如果要重放內容的重放時間20s的部分，從獲取存儲在moof_1的視頻採樣的標題信息到獲取音頻採樣的標題信息之前，必須檢索到moof_10，惡化了數據存取的效率。
圖11(b)明確了檢索可以隨機存取的採樣所需計算量變龐大的第2問題。
存儲在mdat_1最後的第i號可以隨機存取的視頻採樣的相關標題信息作為最終採樣被存儲在moof_1，存儲在mdat_3最後的第i+1號可以隨機存取的視頻採樣的相關標題信息作為最終採樣被存儲在moof_3。
因此，MP4文件重放裝置如果要進行隨機存取，必須檢索到moof的最終採樣，使得檢索所需計算量變龐大。
另外，除這些第1問題和第2問題外，用以往的多路復用裝置製作的MP4文件的擴展部的結構，用於獲取採樣數據的查詢次數變多，所以具有不適合光碟重放機器等查詢速度慢的機器的隨機存取重放的問題。
關於這個問題，再次使用圖11(b)進行說明。要隨機存取moof_1的第i號可以隨機存取的視頻採樣時，重放裝置為了獲取第i號可以隨機存取的視頻採樣的標題信息，讀出到moof_1的前頭位置，使指示字移動，順序解析moof_1內部。此時，需要進行第1次查詢。
然後，重放裝置獲取第i號可以隨機存取的視頻採樣的實體數據存儲在mdat_1的何處，向實體數據的開始位置讀出，使指示字移動。此時，第i號可以隨機存取的視頻採樣的實體數據被存儲在mdat_1的末端，所以不能從mdat_1的前頭位置連續讀出並使指示字移動，不能獲取採樣的實體數據，需要進行第2次查詢。
即，在mdat_1的前頭位置和實體數據的開始位置讀出並使指示字移動時，需要分別進行查詢動作，所以當重放裝置是查詢速度慢的機器時，進行隨機存取重放將要花費時間。特別是，當期望與該第i號可以隨機存取的視頻採樣同步的音頻採樣等的實體數據被存儲在不同的數據包等與視頻採樣的實體數據分開存儲時，更加需要查詢動作，難以迅速進行隨機存取重放。

發明內容
鑑於這些問題，本發明的目的是提供一種多路復用裝置，媒體數據的多路復用文件在重放時的數據存取效率良好，在多路復用媒體數據時可以使檢索採樣所需計算量變少。
另外，其目的還在於提供一種多路復用裝置，多路復用媒體數據時可以使多路復用文件適合查詢速度慢的機器的隨機存取重放。
此外，其目的還在於提供一種逆多路復用裝置，可以獲取經由這種多路復用裝置所多路復用的文件，並能進行多路復用分離。
為了達到上述目的，本發明涉及的多路復用裝置，把媒體數據數據包多路復用，並製作復用數據，該媒體數據包括圖像數據和聲音數據及文本數據中的至少一個，其特徵在於，具有媒體數據獲取單元，用於獲取所述媒體數據；解析單元，解析所述介質獲數據取單元所獲取的所述媒體數據，對所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的最小存取單位的採樣，獲取表示採樣的重放開始時間的重放開始時間信息；數據包單位決定單元，根據所述解析單元所獲取的所述重放開始時間信息，把所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的各個採樣的重放開始時間調一致，決定把所述媒體數據進行數據包的單位；數據包標題部分製作單元，製作以所述數據包單位決定單元所決定的數據包單位來存儲所述媒體數據的標題的數據包標題部分；數據包數據部分製作單元，製作以所述數據包單位決定單元所決定的數據包單位來存儲所述媒體數據的實體數據的數據包數據部分；和打數據包單元，將所述數據包標題部分製作單元所製作的數據包標題部分和所述數據包數據部分製作單元所製作的數據包數據部分進行結合，並製作數據包。
這樣，媒體數據中包含的圖像數據和聲音數據及文本數據的重放開始時間被調為一致，並存儲在數據包中，所以可以提高重放裝置側進行重放時的數據存取效率。
本發明涉及的多路復用裝置優選以下結構，所述圖像數據是動畫數據；所述解析單元還解析所述媒體數據獲取單元所獲取的所述動畫數據，在所述動畫數據包括一個以上含有用於表示畫面內編碼採樣的內部幀信息的採樣時，獲取所述內部幀信息；所述數據包單位決定單元在所述解析單元已獲取所述內部幀信息時，根據所述內部幀信息和所述重放開始時間信息決定對所述媒體數據進行打包的單位，把含有所述內部幀信息的所述動畫數據的採樣配置在所述數據包單位的前頭。
這樣，數據包中包含的前頭的視頻採樣成為內部幀的視頻採樣，所以能夠大幅度削減重放裝置側進行隨機存取時檢索採樣所需的計算量。
另外，本發明涉及的多路復用裝置優選以下結構，所述數據包數據部分製作單元製作交叉存儲的所述數據包數據部分，以使所述數據包單位中包含的所述媒體數據的採樣的重放開始時間形成升序。
這樣，視頻採樣和音頻採樣的重放開始數據形成升序，並存儲在mdat中，所以可以減少重放裝置側進行隨機存取時的查詢動作次數，即使查詢速度慢的重放裝置也能實現迅速的隨機存取重放。
此外，本發明不僅可以實現這種多路復用裝置，也可以實現以這種多路復用裝置具有的特徵方式為步驟的多路復用方法，還可以實現使計算機執行這些步驟的程序。毋庸置言，這種程序也可以通過CD-ROM等記錄介質和網際網路等傳送介質進行發信。


圖1是構成現有MP4文件的邏輯單元結構的說明圖。
圖2是現有MP4文件的基本部分的說明圖。
圖3(a)是現有MP4文件的移動邏輯單元的結構說明圖。
圖3(b)是把現有MP4文件的移動邏輯單元的結構表示成樹狀的圖。
圖4是表示含有以往的擴展部的MP4文件的結構圖。
圖5是以往的移動區段邏輯單元的結構說明圖。
圖6是以往的磁軌區段運行邏輯單元的結構說明圖。
圖7(a)是表示含有以往的擴展部的MP4文件的第1構成示例圖。
圖7(b)是表示含有以往的擴展部的MP4文件的第2構成示例圖。
圖8是表示現有多路復用裝置的結構方框圖。
圖9是表示以往的數據包單位決定單元的處理動作流程圖。
圖10是表示存儲以往的視頻採樣的標題信息的數據包製作表的一個示例圖。
圖11(a)是以往的多路復用裝置的第1問題的說明圖。
圖11(b)是以往的多路復用裝置的第2問題的說明圖。
圖12是表示本發明的實施方式1涉及的多路復用裝置的功能結構的方框圖。
圖13是表示多路復用裝置的處理動作的流程圖。
圖14是表示視頻數據包單位決定單元的處理動作的流程圖。
圖15是表示聲音數據包單位決定單元的處理動作的流程圖。
圖16(a)是表示多路復用裝置製作的MP4文件擴展部的數據結構的第1示例圖。
圖16(b)是表示多路復用裝置製作的MP4文件擴展部的數據結構的第2示例圖。
圖17是表示本發明的實施方式2涉及的多路復用裝置的數據包單位決定單元的功能結構的方框圖。
圖18是表示視頻數據包單位決定單元的第1處理動作的流程圖。
圖19是表示視頻數據包單位決定單元的第2處理動作的流程圖。
圖20(a)是表示多路復用裝置製作的MP4文件擴展部的數據結構的第1示例圖。
圖20(b)是表示多路復用裝置製作的MP4文件擴展部的數據結構的第2示例圖。
圖21是表示本發明的實施方式3涉及的多路復用裝置的數據包數據製作單元的功能結構的方框圖。
圖22是表示數據包數據製作單元的處理動作的流程圖。
圖23是表示多路復用裝置製作的MP4文件擴展部的數據結構的概略圖。
圖24是表示多路復用裝置製作的MP4文件擴展部的數據結構的第1示例圖。
圖25是表示多路復用裝置製作的MP4文件擴展部的數據結構的第2示例圖。
圖26是表示本發明的實施方式4涉及的逆多路復用裝置的功能結構的方框圖。
圖27是表示逆多路復用裝置的處理動作的流程圖。
圖28是表示本發明涉及的多路復用裝置的應用示例圖。
最佳實施方式以下，參照

本發明的實施方式。本實施方式的視頻數據使用MPEG-4 Visual編碼數據，本實施方式的聲音數據使用MPEG-4Audio編碼數據。另外，本實施方式主要說明把視頻數據和聲音數據多路復用的裝置，但不意味著排除對文本數據等其他媒體數據的多路復用。
(實施方式1)首先，參照圖12～圖16說明本發明的實施方式1涉及的多路復用裝置。
圖12是表示本發明的實施方式1涉及的多路復用裝置的功能結構的方框圖。
該多路復用裝置100是把視頻數據和聲音數據多路復用並製作MP4文件的擴展部數據的裝置，具有第1輸入單元101、第1數據存儲單元102、第1解析單元103、第2輸入單元104、第2數據存儲單元105、第2解析單元106、數據包單位決定單元107、數據包製作表存儲單元111、數據包標題製作單元112、數據包數據製作單元113和數據包結合單元114。
第1輸入單元101是把已編碼的視頻數據從圖像編碼裝置等讀入多路復用裝置100內的接口，把所獲取的視頻輸入數據依次存儲在第1數據存儲單元102。
第1數據存儲單元102是臨時保持視頻輸入數據的高速緩衝存儲器和RAM(Random Access Memory)等。
第1解析單元103是讀出保持在第1數據存儲單元102的視頻輸入數據中一個視頻採樣的數據即視頻採樣數據，並進行解析後輸出視頻採樣的標題信息的處理單元，通過CPU和存儲器來實現。在該第1解析單元103輸出的視頻採樣標題數據包含表示視頻採樣的尺寸、重放時間長度及是否為內部幀的信息。另外，該視頻採樣標題信息如果是使用了雙向預測的採樣時，也包含解碼時間和顯示時間的差分信息。
第2輸入單元104是把已編碼的聲音數據從音頻編碼裝置等讀入多路復用裝置100內的接口，把所獲取的音頻輸入數據依次存儲在第2數據存儲單元105。
第2數據存儲單元105是臨時保持音頻輸入數據的高速緩衝存儲器和RAM等。
第2解析單元106是讀出保持在第2數據存儲單元105的音頻輸入數據中一個音頻採樣的數據即音頻採樣數據，並進行解析後輸出音頻採樣的標題信息的處理單元，通過CPU和存儲器來實現。在該第2解析單元106輸出的音頻採樣標題數據包含表示視頻採樣的尺寸和重放時間長度的信息。
數據包單位決定單元107是決定視頻數據和聲音數據的數據包單位的處理單元，通過CPU和存儲器來實現，用於存儲數據包中包含的視頻採樣和音頻採樣的標題信息，使數據包中包含的視頻採樣的重放開始時間和音頻採樣的重放開始時間一致。數據包單位決定單元107把所決定的數據包單位的採樣標題信息的集合作為數據包製作表輸出到數據包製作表存儲單元111，同時在決定數據包單位後，把用於指示製作數據包標題的數據包製作信號輸出到數據包標題製作單元112。該數據包單位決定單元107具有以時間單位調整數據包單位的時間調整單元108；決定視頻數據的數據包單位的視頻數據包單位決定單元109；和決定聲音數據的數據包單位的聲音數據包單位決定單元110。
時間調整單元108是調整數據包結束時間的處理單元，以調整在數據包所決定的時間單位內。該時間調整單元108首先向視頻數據包單位決定單元109輸出預先確定的時間(目標時間)。該目標時間也可以由用戶來指定。此時，多路復用裝置100通過鍵盤等輸入裝置獲取目標時間的指定，向時間調整單元108輸出表示由輸入裝置指定的目標時間的目標時間輸入信號。
視頻數據包單位決定單元109是從第1解析單元103獲取視頻採樣標題信息，並決定視頻數據的數據包單位的處理單元。
該視頻數據包單位決定單元109為了從時間調整單元108獲取目標時間，從第1解析單元103獲取視頻採樣標題信息，把視頻數據調整在目標時間內的數據包中，一面計數各視頻採樣標題信息中包含的各視頻採樣的重放時間長度，一面順序追加到視頻數據包製作表中，直到數據包中包含的最後視頻採樣的標題信息為止。視頻數據包單位決定單元109把數據包中包含的最後視頻採樣的標題信息追加到視頻數據包製作表中，向聲音數據包單位決定單元110輸出視頻採樣重放時間信息，該信息表示該數據包中包含的最初視頻採樣的重放開始時間和該數據包中包含的視頻採樣的重放時間長度的總和。
聲音數據包單位決定單元110是獲取從第2解析單元106所獲取的音頻採樣標題信息，並決定聲音數據的數據包單位的處理單元。
該聲音數據包單位決定單元110從視頻數據包單位決定單元109獲取視頻採樣重放時間信息，從第2解析單元106獲取音頻採樣標題信息，把重放開始時間與該數據包中包含的前頭視頻採樣的重放開始時間相同或接近的音頻採樣配置在數據包的前頭，一面計數各音頻採樣標題信息中包含的各音頻採樣的重放時間長度，一面配置該數據包中包含的最後音頻採樣，以使該數據包中包含的音頻採樣的重放時間長度的總和與該數據包中包含的視頻採樣的重放時間長度的總和相同或接近。
其中，所說重放開始時間與視頻採樣的重放開始時間接近的音頻採樣，是指在視頻採樣的重放開始時間以後，重放開始時間最早的音頻採樣，或在視頻採樣的重放開始時間以前，重放開始時間最遲的音頻採樣。
然後，聲音數據包單位決定單元110向聲音數據包製作表順序追加從數據包中包含的前頭音頻採樣到最後音頻採樣的音頻採樣標題信息。
數據包製作表存儲單元111是臨時保持從數據包單位決定單元107輸出的視頻數據包製作表及聲音數據包製作表的高速緩衝存儲器和RAM等。
數據包標題製作單元112是用於製作存儲有數據包標題信息的數據包標題部分(moof)的處理單元，通過CPU和存儲器來實現。
該數據包標題製作單元112從數據包單位決定單元107獲取數據包製作信號，參照數據包製作表從數據包製作表存儲單元111讀出數據包採樣標題信息，製作moof數據，輸出給數據包結合單元114。
數據包標題製作單元112還向數據包數據製作單元113輸出指針信息、表示採樣尺寸的採樣尺寸信息和包含用於指示製作數據包數據部分(mdat)的信號的mdat信息，其中，指針信息表示數據包中包含的視頻採樣及音頻採樣的實體數據存儲在第1數據存儲單元102及第2數據存儲單元105的何處。
該數據包標題製作單元112在製作moof時，例如，對類似AMR(Advanced Multi Rate CODEC)那樣的、利用在數據中途產生編碼率切換的編碼方式進行編碼後的媒體數據，也可以根據編碼率把標題信息存儲在不同的traf。
數據包數據製作單元113是用於製作存儲有數據包的實體數據的數據包數據部分(mdat)的處理單元，通過CPU和存儲器來實現。
該數據包數據製作單元113從數據包標題製作單元112獲取mdat信息，根據mdat信息中包含的指針信息和採樣尺寸信息，從第1數據存儲單元102讀出數據包中包含的視頻採樣的視頻實體數據，從第2數據存儲單元105讀出數據包中包含的音頻採樣的音頻實體數據，製作mdat數據，輸出給數據包結合單元114。
數據包結合單元114是使moof數據與mdat數據結合，製作一個數據包的mp4擴展部數據的處理單元，通過CPU和存儲器來實現。該數據包結合單元114從數據包標題製作單元112獲取moof數據，從數據包數據製作單元113獲取mdat數據，使moof數據與mdat數據結合，製作一個數據包的mp4擴展部數據，把順序製作的mp4擴展部數據輸出給用於製作MP4文件的裝置。
使用圖13，說明這種結構的多路復用裝置100製作MP4文件的擴展部的處理順序。
圖13是表示多路復用裝置100的處理動作的流程圖。
首先，第1輸入單元101和第2輸入單元104分別把視頻數據和聲音數據讀取到多路復用裝置100內(S100)，第1輸入單元101把視頻輸入數據存儲在第1數據存儲單元102，第2輸入單元104把音頻輸入數據存儲在第2數據存儲單元105。
然後，第1解析單元103從第1數據存儲單元102讀出視頻採樣數據並進行解析，向數據包單位決定單元107的視頻數據包單位決定單元109輸出視頻採樣標題信息。視頻數據包單位決定單元109根據從第1解析單元103獲取的視頻採樣標題信息和從時間調整單元108獲取的目標時間，決定視頻數據的數據包單位(S110)。關於視頻數據包單位決定單元109決定視頻數據的數據包單位的處理動作，將在後面詳細敘述。
然後，視頻數據包單位決定單元109向聲音數據包單位決定單元110輸出已決定數據包單位後的數據包中包含的視頻採樣的重放時間信息(S120)。
聲音數據包單位決定單元110根據從視頻採樣單位決定單元109獲取的視頻採樣的重放時間信息，決定聲音數據的數據包單位(S130)。此時，聲音數據包單位決定單元110決定數據包單位，以使數據包中包含的前頭音頻採樣的重放開始時間與數據包中包含的前頭視頻採樣的重放開始時間相同或接近。
當聲音數據包單位決定單元110決定聲音數據的數據包單位時，數據包單位決定單元107就向數據包製作表存儲單元111輸出數據包製作表，向數據包標題製作單元112輸出數據包製作信號。
之後，數據包標題製作單元112以所決定的單位製作moof數據，並輸出到數據包結合單元114，數據包數據製作單元113以所決定的單位製作mdat數據，並輸出到數據包結合單元114，數據包結合單元114使moof數據與mdat數據結合，以所決定的單位製作一個數據包(S140)，並作為一個數據包的mp4擴展部數據輸出。
製作完一個數據包後，多路復用裝置100判斷從第1輸入單元101和第2輸入單元104是否還有數據輸入(S150)。此時，如果有數據輸入(在S150判斷為No)，多路復用裝置100從保持在緩衝存儲器即第1數據存儲單元102、第2數據存儲單元105及數據包製作表存儲單元111的數據中，清除已完成數據包的數據(S160)，反覆上述從S110到S150的處理動作。
另一方面，如果沒有數據輸入(在S150判斷為Yes)，多路復用裝置100結束MP4文件的擴展部的製作處理。
這樣，多路復用裝置100首先決定視頻數據的數據包單位後，決定聲音數據的數據包單位，進行媒體數據的復用，由此來製作MP4文件的擴展部。
下面，詳細說明在圖13的步驟S110中，視頻數據包單位決定單元109決定視頻數據的數據包單位的處理動作。
圖14是表示視頻數據包單位決定單元109的處理動作的流程圖。
在該流程之前，視頻數據包單位決定單元109預先從時間調整單元108獲取目標時間。
視頻數據包單位決定單元109從第1解析單元103獲取視頻採樣標題信息(S111)，向視頻數據包製作表追加視頻採樣標題信息(S112)。
此時，視頻數據包單位決定單元109判定視頻採樣標題信息中包含的視頻採樣的重放時間長度的合計、即數據包中包含的視頻數據的總重放時間是否已達到前面所獲取的目標時間或已超過目標時間(S113)。
數據包中包含的視頻數據的總重放時間未達到目標時間時(在S113判定為No)，視頻數據包單位決定單元109獲取下一視頻採樣標題信息(S111)，反覆S112和S113的處理動作。
數據包中包含的視頻數據的總重放時間達到目標時間時(在S113判定為Yes)，視頻數據包單位決定單元109把最後追加到視頻數據包製作表中的視頻採樣標題信息所指示的視頻採樣確定為數據包中包含的最後視頻採樣(S114)，結束用於決定數據包單位的處理動作。
下面，詳細說明在圖13的步驟S130中，聲音數據包單位決定單元110決定聲音數據的數據包單位的處理動作。
圖15是表示聲音數據包單位決定單元110的處理動作的流程圖。
在該流程圖之前，聲音數據包單位決定單元110預先從視頻數據包單位決定單元109獲取視頻採樣重放時間信息。
聲音數據包單位決定單元110從第2解析單元106獲取音頻採樣標題信息(S131)，參照前面獲取的視頻採樣重放時間信息(S132)，讀出數據包中包含的前頭視頻採樣的重放開始時間，把重放開始時間與數據包中包含的前頭視頻採樣的重放開始時間相同或接近的音頻採樣確定為該數據包的音頻前頭採樣(S133)。
聲音數據包單位決定單元110一確定數據包中包含的音頻前頭採樣，就順序獲取音頻採樣標題信息(S134)，向聲音數據包製作表追加音頻採樣標題信息(S135)。
然後，聲音數據包單位決定單元110參照視頻採樣重放開始時間信息，讀出數據包中包含的視頻採樣的重放時間長度的總和(S136)，確定數據包中包含的最後音頻採樣(S137)，使該數據包中包含的音頻採樣的重放時間長度的總和與數據包中包含的視頻採樣的重放時間長度的總和相同或接近，結束用於決定數據包單位的處理動作。
經過由這種多路復用裝置100進行的處理動作而製作的MP4文件的擴展部，在重放裝置側的數據存取效率良好。關於其理由，下面說明圖16所示的多路復用裝置100製作的MP4文件擴展部的數據結構示例。
圖16(a)所示的MP4文件擴展部200由多個數據包構成，並被結合在MP4文件的基本部分中。
構成MP4文件擴展部200的各個數據包，由數據包標題部分的moof和數據包數據部分的mdat構成。其中，數據包1意味著MP4文件擴展部200的第1號數據包，數據包1中包含1的moof表示為moof_1，數據包1中包含的mdat表示為mdat_1。圖16(a)的各個mdat中所示的「V」是指視頻採樣，圖16(a)的各個mdat中所示的「A」是指音頻採樣(以下的其他附圖同)。
在MP4文件擴展部200的mdat_1中，重放開始時間為20秒的視頻採樣被存儲為視頻前頭採樣，同樣，重放開始時間為20秒的音頻採樣被存儲為音頻前頭採樣。在mdat_2中，重放開始時間為30秒的視頻採樣被存儲為視頻前頭採樣，同樣，重放開始時間為30秒的音頻採樣被存儲為音頻前頭採樣。
這樣，通過把一個數據包中的視頻採樣和音頻採樣的各自重放開始時間調整為一致來進行存儲，從而在重放裝置側重放MP4文件擴展部200時，可以大幅度削減數據存取所需的計算量。
另外，各個媒體數據的重放開始時間被調為一致後存儲在數據包中，所以能夠以任意數目的數據包來分割數據，把MP4文件數據的尺寸調整為所期望的尺寸。
其中，多路復用裝置100製作的MP4文件擴展部也可以是圖16(b)所示數據結構。
圖16(b)是表示多路復用裝置100製作的MP4文件擴展部的數據結構的第2示例圖。
在圖16(b)所示的MP4文件擴展部210的mdat_1中，重放開始時間為20秒的視頻採樣被存儲為視頻前頭採樣，在mdat_2中，重放開始時間為20秒的音頻採樣被存儲為音頻前頭採樣。在mdat_3中，重放開始時間為30秒的視頻採樣被存儲為視頻前頭採樣，在mdat_4中，重放開始時間為30秒的音頻採樣被存儲為音頻前頭採樣。
這樣，在一個數據包中存儲視頻或音頻任一方數據，交替排列用於存儲視頻數據的數據包和用於存儲重放開始時間被調為一致的聲音數據的數據包，由此在重放裝置側重放MP4文件擴展部200時，可以大幅度削減數據存取所需的計算量。
如上所述，根據本實施方式1涉及的多路復用裝置100，把各個媒體數據的重放開始時間調整一致，將各個媒體數據打成數據包，所以能夠實現重放裝置側的有效數據存取。
(實施方式2)下面，參照圖17～圖20說明本發明的實施方式2涉及的多路復用裝置。
本實施方式2涉及的多路復用裝置的主要構成要素和上述實施方式1涉及的多路復用裝置100相同，但數據包單位決定單元的結構另有特徵，這一點與上述實施方式1涉及的多路復用裝置100不同。以下，以該不同點為主進行說明。關於與上述實施方式1相同的構成要素，使用相同的標號，並省略其說明。
圖17是表示本發明的實施方式2涉及的多路復用裝置的數據包單位決定單元的功能結構的方框圖。
該數據包單位決定單元117是決定視頻數據及聲音數據的數據包單位的處理單元，把數據包中包含的視頻採樣和音頻採樣的標題信息進行存儲，把各自的重放開始時間調為一致，並且使數據包中包含的前頭視頻採樣成為內部幀，具有數據調整單元108、視頻數據包單位決定單元119、和聲音數據包單位決定單元110。
視頻數據包單位決定單元119是從第1解析單元103獲取視頻採樣標題信息，以時間或內部幀中的任一個為基準來決定視頻數據的數據包單位的處理單元，具有時間基準單位調整單元120和I幀基準單位調整單元121。
時間基準單位調整單元120是根據從時間調整單元108輸出的目標時間來調整視頻數據的數據包單位的處理單元，計數各個視頻採樣標題信息的重放時間長度，把數據包單位調整為確定數據包後的時間單位。
I幀基準單位調整單元121是根據從第1解析單元103輸出的視頻採樣標題信息是否含有表示內部幀的信息來調整視頻數據的數據包單位的處理單元，獲取含有表示內部幀的信息的視頻採樣標題信息後，利用內部幀的視頻採樣切換數據包單位，調整數據包單位以使下一數據包的視頻前頭採樣成為內部幀的視頻採樣。
下面，詳細說明具有這種結構的數據包單位決定單元117的本實施方式2涉及的多路復用裝置中，視頻數據包單位決定單元119決定視頻數據的數據包單位的處理動作。
圖18是表示視頻數據包單位決定單元119的處理動作的流程圖。
在該流程之前，視頻數據包單位決定單元119先從時間調整單元108獲取目標時間，並保持在時間基準單位調整單元120中。
和上述實施方式1相同，視頻數據包單位決定單元119從第1解析單元103獲取視頻採樣標題信息(S201)，向視頻數據包製作表追加視頻採樣標題信息(S202)。
此時，視頻數據包單位決定單元119判定在I幀基準單位調整單元121已獲取的視頻採樣標題信息是否含有表示內部幀的信息(S203)。
當含有表示內部幀的信息時(在S203判定為Yes)，視頻數據包單位決定單元119判定在時間基準單位調整單元120判定數據包中包含的所有視頻採樣的總重放時間是否超過已獲取的目標時間(S205)。
當未含有表示內部幀的信息(在S203判定為No)或未超過目標時間時(在S205判定為No)，視頻數據包單位決定單元119通過在時間基準單位調整單元120加算視頻採樣標題信息中包含的視頻採樣的重放時間長度，更新數據包中包含的視頻採樣的重放時間長度的總和(S204)，獲取下一視頻採樣標題信息(S201)，反覆上述處理動作。
另一方面，當超過目標時間時(在S205判定為Yes)，視頻數據包單位決定單元119把數據包中包含的最後視頻採樣確定為在I幀基準單位調整單元121已被判定為內部幀的視頻採樣的前一個的視頻採樣(S206)，結束視頻數據的數據包單位決定的處理動作。
經過這種視頻數據包單位決定單元119的處理動作而製作的MP4文件的擴展部，被存儲在數據包前頭的視頻採樣一定成為內部幀的視頻採樣，所以在重放裝置側進行隨機存取時可以從數據包的前頭視頻採樣開始重放，能夠大幅度削減可以隨機存取的視頻採樣的檢索所需計算量。
通過使被存儲在數據包前頭的視頻採樣一定成為內部幀的視頻採樣，在數據包標題部分(moof)，僅在位於用於存儲視頻磁軌的標題信息的traf前頭的trun前頭採樣旗標欄位，記述表示可以隨機存取的信息即可，各個trun的採樣旗標欄位通過使用默認值可以省略，所以能夠減輕製作moof數據時的負荷，同時可以削減MP4文件的整體文件尺寸。
採用該處理動作時，有時視頻數據中包含的內部幀彼此間隔會變大，每一個數據包的重放時間長度會變長。因此，數據包單位決定單元117也可以進行下述的處理動作。
圖19是表示視頻數據包單位決定單元119的第2處理動作的流程圖。
和上述第1處理動作相同，在該流程之前，視頻數據包單位決定單元119先從時間調整單元108獲取目標時間，並保持在時間基準單位調整單元120中。
視頻數據包單位決定單元119從第1解析單元103獲取視頻採樣標題信息(S211)，向視頻數據包製作表追加視頻採樣標題信息(S212)。
此時，視頻數據包單位決定單元119在I幀基準單位調整單元120，判定數據包中包含的所有視頻採樣的總重放時間是否超過已獲取的目標時間(S213)。
當超過目標時間時(在S213判定為Yes)，視頻數據包單位決定單元119把數據包中包含的最後視頻採樣確定為此次獲取的視頻採樣標題信息的前一個視頻採樣標題信息所指示的視頻採樣(S214)，結束視頻數據的數據包單位決定的處理動作。
另一方面，未超過目標時間時(在S213判定為No)，視頻數據包單位決定單元119在時間基準單位調整單元120判定所獲取的視頻採樣標題信息是否含有表示內部幀的信息(S215)。
當含有表示內部幀的信息時(在S215判定為Yes)，視頻數據包單位決定單元119把數據包中包含的最後視頻採樣確定為在I幀基準單位調整單元121已被判定為內部幀的視頻採樣的前一個視頻採樣(S214)，結束視頻數據的數據包單位決定的處理動作。
另一方面，當未含有表示內部幀的信息時(在S215判定為No)，視頻數據包單位決定單元119通過在時間基準單位調整單元120加算視頻採樣標題信息中包含的視頻採樣的重放時間長度，更新數據包中包含的視頻採樣的重放時間長度的總和(S216)，獲取下一視頻採樣標題信息(S211)，反覆上述處理動作。
經過這種視頻數據包單位決定單元119的第2處理動作而製作的MP4文件的擴展部，設定規定的時間限制並製作數據包，把數據包尺寸保持在所期望的尺寸以下，同時如果存在內部幀的視頻採樣，可以存儲在數據包的前頭，所以在重放裝置側進行隨機存取時，僅對數據包前頭的視頻採樣判定是否為可以隨機存取的視頻採樣即可，能夠削減可以隨機存取的視頻採樣的檢索所需計算量。
視頻數據包單位決定單元119結束視頻數據的數據包單位決定的處理動作時，向聲音數據包單位決定單元110輸出視頻採樣重放時間信息，通過聲音數據包單位110進行聲音數據的數據包單位決定的處理動作和上述實施方式1相同。
經過數據包單位決定單元117進行的處理動作而製作的MP4文件的擴展部，減輕了重放裝置側進行隨機存取時的檢索負荷。關於其理由，以圖20所示本實施方式2的多路復用裝置製作的MP4文件擴展部的數據結構為示進行說明。
在圖20(a)所示MP4文件擴展部220的mdat_1，內部幀的視頻採樣被存儲為視頻前頭採樣，同樣，在mdat_2，內部幀的視頻採樣也被存儲為視頻前頭採樣。
這樣，通過把內部幀的視頻採樣作為前頭的視頻採樣存儲在數據包中，在重放裝置側進行隨機存取時，為了獲取可以進行隨機存取的視頻採樣，只要檢索數據包前頭的視頻採樣即足以，所以不需要檢索數據包中包含的所有視頻採樣，能夠大幅度減輕隨機存取時的採樣檢索負荷。
此時，在MP4文件擴展部220的moof_1及moof_2，僅在位於用於存儲視頻磁軌的標題信息的traf前頭的trun前頭採樣旗標欄位，記述表示可以隨機存取的信息即可，由此可以削減moof_1及moof_2的尺寸。
其中，本實施方式2涉及的多路復用裝置製作的MP4文件擴展部也可以是圖20(b)所示數據結構。
在圖20(b)所示MP4文件擴展部230的mdat_1，內部幀的視頻採樣被存儲為視頻前頭採樣，同樣，在mdat_3，內部幀的視頻採樣也被存儲為視頻前頭採樣。另外，音頻採樣被存儲在mdat_2及mdat_4。
這樣，在一個數據包中存儲視頻或音頻中任一方的數據，在用於存儲視頻數據的數據包，把內部幀的視頻採樣存儲為前頭的視頻採樣，由此可以大幅度減輕重放裝置側進行隨機存取時的採樣檢索負荷。
在這些MP4文件擴展部數據結構的任一示例中，通過把存儲在數據包的前頭視頻採樣的重放開始時間和前頭音頻採樣的重放開始時間調一致，可以大幅度削減重放裝置側進行數據存取所需的計算量。
如上所述，根據本實施方式2涉及的多路復用裝置，把可以隨機存取的視頻採樣作為前頭視頻採樣來製作數據包，所以能夠削減重放裝置進行隨機存取時檢索採樣所需的計算量。
(實施方式3)下面，參照圖21～圖25，說明本發明的實施方式3涉及的多路復用裝置。
本實施方式3涉及的多路復用裝置的主要構成要素和上述實施方式1及實施方式2涉及的多路復用裝置相同，但數據包數據製作單元的結構另具特徵，這一點與上述實施方式1及2涉及的多路復用裝置不同。以下，以該不同點為主進行說明。關於與上述實施方式1及2相同的構成要素，使用相同的標號，並省略其說明。
圖21是表示本實施方式3涉及的多路復用裝置的數據包數據製作單元的功能結構的方框圖。
該數據包數據製作單元130是通過交叉存儲視頻採樣的實體數據和音頻採樣的實體數據來製作數據包數據部分(mdat)的處理單元，具有mdat信息獲取單元131、視頻實體數據讀出單元132、音頻實體數據讀出單元133、和交叉排列單元134。
mdat信息獲取單元131是從數據包標題製作單元112獲取mdat信息，向構成數據包數據製作單元130以外的各單元輸出實體數據的讀出指示和重放時間信息的處理單元。
該mdat信息獲取單元131從數據包標題製作單元112獲取mdat信息並解析mdat信息，獲取表示視頻採樣及音頻採樣的重放開始時間和重放結束時間的重放時間信息，根據該重放時間信息，排列更換數據包中包含的所有視頻採樣和音頻採樣，並使重放開始時間形成升序。
mdat信息獲取單元131按照排列更換後的順序從重放開始時間早的採樣順序向視頻實體數據讀出單元132輸出指示讀出視頻採樣的實體數據的視頻讀出指示，或向音頻實體數據讀出單元132輸出用於指示讀出音頻採樣的實體數據的音頻讀出指示。該視頻讀出指示包含表示視頻採樣的實體數據存儲在第1數據存儲單元102何處的指針信息和視頻採樣的尺寸信息，音頻讀出指示包含表示音頻採樣的實體數據存儲在第2數據存儲單元105何處的指針信息和音頻採樣的尺寸信息。
視頻實體數據讀出單元132是從mdat信息獲取單元131獲取視頻讀出指示，從第1數據存儲單元102讀出視頻實體數據的處理單元。該視頻實體數據讀出單元132參照視頻讀出指示中包含的指針信息和尺寸信息，從第1數據存儲單元102讀出視頻實體數據，向交叉排列單元134輸出所讀出的視頻實體數據。
音頻實體數據讀出單元133是從mdat信息獲取單元131獲取音頻讀出指示，從第2數據存儲單元105讀出音頻實體數據的處理單元。該音頻實體數據讀出單元133參照音頻讀出指示中包含的指針信息和尺寸信息，從第2數據存儲單元105讀出音頻實體數據，向交叉排列單元134輸出所讀出的音頻實體數據。
交叉排列單元134是按照輸出順序逐次獲取從視頻實體數據讀出單元132和音頻實體數據讀出單元133輸出的讀出視頻數據和讀出聲音數據，通過交叉排列來製作mdat數據，並輸出到數據包結合單元114的處理單元。
下面，詳細說明具有這種結構的數據包數據製作單元130的本實施方式3涉及的多路復用裝置中，數據包數據製作單元130製作mdat的處理動作。
圖22是表示數據包數據製作單元130的處理動作的方框圖。
首先，數據包數據製作單元130在mdat信息獲取單元131從數據包標題製作單元112獲取mdat信息(S301)。mdat信息獲取單元131對所獲取的mdat信息進行解析，抽出採樣的指針信息和尺寸信息和重放時間信息。mdat信息獲取單元131根據所抽出的採樣的重放時間信息，排列更換數據包中包含的所有視頻採樣和音頻採樣，並使重放開始時間形成升序。然後，mdat信息獲取單元131按照排列更換後的順序，從重放開始時間早的採樣順序向視頻實體數據讀出單元132輸出包含所抽出的視頻採樣的指針信息和尺寸信息的視頻讀出指示，或向音頻實體數據讀出單元133輸出包含所抽出的音頻採樣的指針信息和尺寸信息的音頻讀出指示。
視頻實體數據讀出單元132獲取視頻讀出指示，參照指針信息和尺寸信息，從第1數據存儲單元102讀出視頻實體數據，並輸出到交叉排列單元134，音頻實體數據讀出單元133獲取音頻讀出指示，參照指針信息和尺寸信息，從第2數據存儲單元105讀出音頻實體數據，並輸出到交叉排列單元134(S302)。
交叉排列單元134從視頻實體數據讀出單元132和音頻實體數據讀出單元133接收所讀出的實體數據，並按照接收順序逐次進行排列(S303)。
交叉排列單元134繼續進行實體數據的排列，直到視頻實體數據和音頻實體數據全部、即存儲在一個數據包中的實體數據全部排列結束(在S304判定為No、S303)。
存儲在一個數據包中的實體數據全部排列結束時(在S304判定為Yes)，交叉排列單元134把所排列的實體數據作為mdat數據輸出給數據包結合單元114(S305)，結束製作mdat的處理動作。
經過這種數據包數據製作單元130的處理動作而製作的MP4文件的擴展部，適合於查詢花費時間的光碟機器等的隨機存取重放。關於其理由，概略說明圖23所示本實施方式3涉及的多路復用裝置製作的MP4文件的擴展部的數據結構。
圖23所示的MP4文件擴展部240是通過排列下述多個數據包而構成的，即，用於存儲4～8秒的內容數據的數據包1、存儲8～12秒的內容數據的數據包2、存儲12～16秒的內容數據的數據包3。
各個數據包由moof241和mdat242構成，在moof241存儲著有關視頻磁軌的tfhd(V)及traf(V-1、V-2)和有關音頻磁軌的tfhd(A)及traf(A-1、A-2)。存儲在traf(V-1)和traf(A-1)的標題信息所指示的採樣的實體數據被存儲在mdat_1，存儲在traf(V-2)和traf(A-2)的標題信息所指示的採樣的實體數據被存儲在mdat_2。在mdat242交替地交叉存儲著視頻採樣的實體數據和音頻採樣的實體數據。
此時，在重放裝置側，進行從重放時間為4秒的位置開始重放的隨機存取處理時，使讀出指示字移動到moof_1的前頭位置，然後解析moof_1，使讀出指示字連續移動，由此可以從與moof_1連續的mdat_1獲取重放所需的實體數據。
即，根據該MP4文件擴展部240，重放裝置僅進行使讀出指示字移動到moof_1的前頭位置的一次查詢，即可實現隨機存取重放，所以可以說對查詢花費時間的光碟機器等來說是有效的。
其中，在mdat242，被存儲在視頻採樣的實體數據後面的音頻採樣的實體數據被調整得和前面的視頻採樣的重放開始時間一致，所以能夠擔保視頻數據和聲音數據的同步重放。圖24表示在MP4文件擴展部240的mdat_1存儲有實體數據時的情況。
如圖24所示，存儲在mdat_1前頭的視頻採樣1的重放開始時間為4000ms，存儲在視頻採樣1後面的音頻採樣1的重放開始時間為4000ms，視頻採樣1和音頻採樣1的重放開始時被調一致。
通常，視頻採樣和音頻採樣的採樣速率在多數情況下是不同的，所以，此處把視頻採樣的重放時間長度設為500ms，把音頻採樣的重放時間長度設為100ms。
因此，在MP4文件擴展部240的mdat_1，在視頻採樣1的後面交叉存儲音頻採樣1～5，在其後面，順序存儲視頻採樣2、音頻採樣6～10、視頻採樣3……。
此時，視頻採樣2的重放開始時間是4500ms，存儲在視頻採樣2後面的音頻採樣6的重放開始時間也是4500ms，視頻採樣和該視頻採樣後面的音頻採樣的重放開始時間時常被調整為一致狀態。
另外，視頻採樣和音頻採樣的採樣速率不同，所以有時視頻採樣和緊跟該視頻採樣後面的音頻採樣的重放開始時間有時不能調整一致。該場合時，把視頻採樣後面的音頻採樣設為重放開始時間與視頻採樣的重放開始時間接近的音頻採樣，由此可以擔保視頻數據和聲音數據的同步重放。
圖25是表示在MP4文件擴展部的mdat_1存儲有實體數據的第2數據結構圖。
如圖25所示，被存儲在MP4文件擴展部250的mdat_1前頭的視頻採樣1的重放開始時間是4000ms，被存儲在視頻採樣1後面的音頻採樣1的重放開始時間是4050ms，作為存儲在視頻採樣1後面的音頻採樣，被存儲成重放開始時間在視頻採樣1的重放開始時間之後最早的音頻採樣1。
和前面的說明相同，把視頻採樣的重放時間長度設為500ms，把音頻採樣的重放時間長度設為100ms。
因此，在MP4文件擴展部250的mdat_1，在視頻採樣1的後面交叉存儲音頻採樣1～5，在其後面，順序存儲視頻採樣2、音頻採樣6～10、視頻採樣3……。
此時，視頻採樣2的重放開始時間是4500ms，存儲在視頻採樣2後面的音頻採樣6的重放開始時間是4550ms，視頻採樣和該視頻採樣後面的音頻採樣的重放開始時間時常被調整為接近狀態。
其中，作為存儲在視頻採樣後面的音頻採樣，也可以存儲成重放開始時間在視頻採樣的重放開始時間以前最遲的音頻採樣。該場合時，存儲在視頻採樣1後面的音頻採樣1的重放時間是3950ms。
如上所述，根據本實施方式3涉及的多路復用裝置，在視頻採樣的後面配置重放開始時間與視頻採樣的重放開始時間相同或接近的音頻採樣，並把視頻採樣和音頻採樣以重放開始時間形成升序的狀態交叉存儲在mdat，所以即使是查詢速度慢的重放裝置，也能迅速製作可以隨機存取的數據結構的MP4文件擴展部。
(實施方式4)下面，參照圖26～圖27，說明本發明的實施方式4涉及的逆多路復用裝置。
圖26是表示本實施方式4涉及的逆多路復用裝置的功能結構的方框圖。
逆多路復用裝置300是獲取包含由上述實施方式1、2及3涉及的多路復用裝置製作的MP4文件擴展部的MP4文件數據，並進行解析，使媒體數據逆多路復用，並輸出重放數據的裝置，具有文件輸入單元301；文件數據存儲單元302；標題分離解析單元303；moov解析單元304；moof解析單元305；traf解析單元306；trun解析單元307；RA檢索單元308和採樣獲取單元309。
文件輸入單元301是獲取MP4文件數據的接口，把所獲取的MP4文件的輸入數據順序存儲在文件數據存儲單元302。
文件數據存儲單元302是臨時保持MP4輸入數據的高速緩衝器存儲器和RAM等。
標題分離解析單元303是讀出保持在文件數據存儲單元302的MP4輸入數據中的MP4文件的標題數據，並進行解析，分離成MP4文件的基本部分標題的moov數據和擴展部標題的moof數據，並分別輸出給moov解析單元304和moof解析單元305的處理單元，通過CPU和存儲器來實現。
moov解析單元304是解析MP4文件的moov，獲取進行媒體數據的編碼率和內容的重放時間長度等媒體數據解析所需的介質信息的處理單元，通過CPU和存儲器來實現。該moov解析單元向moof解析單元305輸出所獲取的介質信息。
moof解析單元305是根據從moov解析單元304所獲取的介質信息來解析MP4文件的moof，向traf解析單元306輸出每個磁軌的標題數據即traf數據的處理單元，通過CPU和存儲器來實現。
traf解析單元306是解析MP4文件的traf，向trun解析單元307輸出traf中包含的每個採樣的標題數據即trun數據的處理單元，通過CPU和存儲器來實現。
trun解析單元307是解析MP4文件的trun，獲取trun內的各個欄位所記述的信息，向採樣獲取單元309輸出trun解析信息的處理單元，通過CPU和存儲器來實現。該trun解析信息，例如包含該採樣的尺寸、表示該採樣存儲在文件數據存儲單元302何處的數據位移信息、以及在視頻採樣是表示是否為內部幀的旗標信息等。
另外，該trun解析單元307從下面敘述的RA檢索單元308獲取表示隨機存取後的重放開始位置、指示開始重放的輸出信號即重放開始指示，根據由重放開始指示所示的trun順序進行解析，向採樣獲取單元309輸出trun解析信息。
RA檢索單元308是獲取表示隨機存取後的重放開始時間的目標重放時間信息，讀出用於存儲視頻磁軌相關標題信息的前頭traf內的前頭trun中包含的前頭採樣的重放開始時間、以及表示是否為內部幀的信息即前頭採樣信息，檢索成為隨機存取後的重放開始位置的視頻採樣的處理單元，通過CPU和存儲器來實現。該RA檢索單元308從接收來自用戶的隨機存取指示的逆多路復用裝置300的輸入裝置獲取目標重放時間信息，從trun解析單元307僅順序獲取前頭採樣信息，檢索重放開始時間與目標重放時間信息相同或接近的視頻採樣，向trun解析單元307輸出重放開始指示。
採樣獲取單元309是根據trun解析信息，讀出採樣的實體數據，並進行解碼，向顯示器等顯示裝置輸出重放數據的處理單元。該採樣獲取單元309從trun解析單元307獲取trun解析信息，參照其中所包含的數據位移信息，從文件數據存儲單元302讀出採樣的實體數據。此處是以開始獲取trun解析信息來指示重放開始。
使用圖27，說明這種結構的逆多路復用裝置300的隨機存取處理動作。
圖27是表示逆多路復用裝置300的隨機存取處理動作的流程圖。在該流程之前，逆多路復用裝置300通過輸入裝置接收來自用戶的隨機存取指示。
首先，逆多路復用裝置300在文件輸入單元301獲取上述實施方式1、2及3涉及的多路復用裝置製作的MP4文件的數據(S400)，並順序存儲到文件數據存儲單元302。
然後，逆多路復用裝置300在標題分離解析單元303僅分離解析MP4文件的文件標題部分(S410)，然後分離成基本部分標題和擴展部標題，在moov解析單元304解析基本部分標題，在moof解析單元305解析擴展部標題(S420)。
之後，逆多路復用裝置300在moof解析單元305把擴展部標題進一步分離成每個磁軌的標題，在traf解析單元306解析磁軌區段即traf(S430)。此時，逆多路復用裝置300在traf解析單元306進一步分離磁軌區段，在trun解析單元307解析trun。
逆多路復用裝置300在RA檢索單元308有目標重放時間信息輸入時，從trun解析單元307向RA檢索單元308輸出前頭採樣信息，在RA檢索單元308判定是否為表示重放開始時間與目標重放時間信息相同或接近的前頭採樣信息(S440)。
此時，如果未發現對象採樣(在S450判定為No)，逆多路復用裝置300在RA檢索單元308獲取按文件內的存儲順序後續配置的擴展部標題的前頭採樣信息，判定是否為表示重放開始時間與已獲取的目標重放時間信息相同或接近的前頭採樣信息(S440)。
另一方面，如果發現對象採樣(在S450判定為Yes)，逆多路復用裝置300在RA檢索單元308生成重放開始指示，並輸出給trun解析單元307。trun解析單元307從RA檢索單元308接收重放開始指示，從已接收重放開始指示的trun順序向採樣獲取單元309輸出trun解析信息。其中，所說的已接收重放開始指示的trun，是指包含在RA檢索單元308已被指示開始重放的採樣的trun。
然後，逆多路復用裝置300在採樣獲取單元309參照trun解析信息中包含的數據位移信息，從文件數據存儲單元302獲取對象採樣的實體數據(S460)，並進行解碼後輸出重放數據，結束隨機存取處理動作。
如上所述，根據本實施方式4涉及的逆多路復用裝置300，對含有上述實施方式1、2及3涉及的多路復用裝置製作的MP4文件擴展部的MP4文件進行隨機存取重放時，僅檢索存儲在各個數據包前頭的視頻採樣，由此可以判定應成為隨機存取後的重放開始位置的視頻採樣，所以大幅度減輕隨機存取時的採樣檢索負荷。
(適用示例)下面，使用圖28說明本發明涉及的多路復用裝置的適用示例。
圖28表示本發明涉及的多路復用裝置的適用示例圖。
本發明涉及的多路復用裝置，可以適用於獲取視頻數據和聲音數據等媒體數據並多路復用、製作MP4文件數據的、帶錄像功能的攜帶電話機403和個人電腦404。另外，本發明涉及的多路復用裝置可以適用於讀取所製作的MP4文件數據並重放的攜帶電話機407。
其中，帶錄像功能的攜帶電話機403和個人電腦404所製作的MP4文件數據被存儲在SD存儲卡405和DVD-RAM406等記錄介質中，或通過通信網絡402發送給圖像發信伺服器401，從圖像發信伺服器401發信給其他攜帶電話機407等。
這樣，本發明涉及的多路復用裝置及逆多路復用裝置，可以被用作圖像發信系統等的MP4文件製作裝置或重放裝置。
以上，根據各實施方式等說明了本發明涉及的多路復用裝置及逆多路復用裝置，但本發明不限定於這些實施方式等。
例如，上述各實施方式使用MPEG-4 Visual的編碼數據作為視頻數據，但作為視頻數據，也可以使用採用MPEG-4 AVC(AdvancedVideo Coding)和H.263等其他動畫像壓縮編碼方式的編碼數據。MPEG-4 AVC(Advanced Video Coding)和H.263的編碼數據的一個圖像相當於一個採樣。
同樣，上述各實施方式使用MPEG-4 Audio編碼數據作為聲音數據，但作為聲音數據，也可以使用採用G.726等其他音頻壓縮編碼方式的編碼數據。
另外，在上述各實施方式中使用視頻數據和聲音數據進行了說明，但包含文本數據等場合時，通過實施與聲音數據的數據包相同的處理，也可以獲得本發明的效果。
此外，在上述實施方式2，對每個內部幀打數據包時，也可以從數據包單位決定單元117的構成要素中省略時間基準單位調整單元120，省略圖18的步驟S205的處理。
在上述實施方式3，根據在MP4文件重放裝置側預先設定的緩衝器模式來重放MP4文件時，也可以把視頻採樣的數據和音頻採樣的數據交叉存儲在mdat，以符合該緩衝器模式。其中，所說緩衝器模式是按照規格所規定的條件輸入編碼數據時，通過使重放裝置具有該規格的規定尺寸的緩衝器，來保證在緩衝器沒有形成空(下溢)或從緩衝器溢出(上溢)的情況下使重放裝置可以進行解碼的模式。
在上述實施方式1、2及3，未言及存儲在所製作的MP4文件的擴展部moof的traf個數，但存儲在moof的traf優選一個磁軌存儲一個traf。這樣，對每個磁軌僅解析moof內的前頭traf，就可以獲取有關存儲在moof的磁軌的所有採樣的標題信息，所以進一步提高標題信息獲取效率。
另外，在上述實施方式1、2及3，在製作的MP4文件的擴展部的moof存儲有標題信息的採樣的實體數據，存儲在與moof連續的一個mdat，但也可以分割存儲在與moof連續的多個mdat。具體而言，也可以把在moof_1存儲有標題信息的採樣的實體數據，順序存儲在mdat_1、mdat_2、mdat_3，把在moof_2存儲有標題信息的採樣的實體數據，順序存儲在mdat_4、mdat_5、mdat_6。
在上述實施方式2及3，數據包內含有動畫像數據的內部幀時，是配置在數據包的前頭，但如果可以隨機存取，也可以把P(Predictive)幀和B(Bidirectionally predictive)幀等內部幀以外的視頻採樣配置在數據包的前頭。關於此點，以下舉例說明把MPEG-4AVC的編碼數據用作視頻數據的場合。
MPEG-4 AVC有即使從內部圖像進行解碼也不能獲得正確解碼結果的場合。具體而言，MPEG-4 AVC的內部圖像有IDR(Instantaneous Decoder Refresh)圖像和除此以外的圖像(以下成為non-IDR內部圖像)兩種，從IDR圖像開始解碼時，一定能得到正確的解碼結果，但從non-IDR內部圖像開始解碼時，對non-IDR內部圖像和顯示順序中位於non-IDR內部圖像以後的多個圖像，有時不能獲得正確的解碼結果。
因此，MPEG-4 AVC為了從non-IDR內部圖像獲得正確的解碼結果，可以附加用於表示可以從哪張圖像開始解碼的輔助信息(Recovery Point Supplemental Enhancement Information，以下稱為「Recovery Point SEI」)。
例如，用Pic_1、Pic_2、Pic_3、Pic_4、Pic_5表示的5個圖像按該順序包含在視頻數據中，Pic_5是non-IDR內部圖像，按顯示順序把Pic_5及Pic_5以後的圖像正確解碼時，必須從Pic_1開始解碼的場合，通過在Pic_1前面配置Recovery Point SEI，為了把圖像數據內存儲順序中第4個以後的圖像即Pic_5以及顯示順序中位於其後的圖像正確解碼，可以顯示需要從Pic_1開始解碼。
即，該場合時，可以說Pic_1是可以隨機存取的採樣，所以如果是MPEG-4 AVC編碼數據時，也可以把IDR圖像或被附加了RecoveryPoint SEI的圖像的採樣作為可以隨機存取的採樣配置在數據包的前頭。Recovery Point SEI也可以附加在內部圖像以外的圖像上。
此時，把被附加了Recovery Point SEI的圖像的採樣和只有從被附加了Recovery Point SEI的圖像開始解碼才能獲得正確解碼結果的圖像的採樣存儲在同一數據包中，由此可以削減獲取採樣數據時的處理量。
另外，IDR圖像和附加了Recovery Point SEI的圖像的採樣，可以利用前頭採樣旗標930或採樣旗標935的特定旗標值(以後稱為非同步旗標)來識別。MP4的可以隨機存取的採樣中，僅對隨機存取的採樣和能獲得正確解碼結果的採樣一致的採樣，可以把非同步旗標設為0。因此，通過把IDR圖像的採樣的非同步旗標設為0，把被附加了Recovery Point SEI的圖像的採樣的非同步旗標設為1，可以識別兩者。
通過使用以上的識別方法，不限定於IDR圖像和被附加了Recovery Point SEI的圖像，也可以識別性質互不相同的可隨機存取的採樣。實際上可以用於以下場合。
第一是通過僅重放特定採樣來進行快速重放的場合。此時是優選可以馬上顯示已解碼的採樣，所以僅對非同步旗標為0的採樣進行解碼重放。
第二是從內容中途開始重放或跳過特定區間開始下一區間的重放的場合。此時，開始解碼的採樣和能獲得正確解碼結果的採樣有可能不同，但該情況僅限於重放開始時。因此，可以從非同步旗標為0的採樣或非同步旗標為1的採樣中任一方開始重放。
這種存儲方法不限定於MPEG-4的Recovery Point SEI的場合，也可以適用於開始解碼的採樣和能獲得正確解碼結果的採樣不同的場合，例如，可以適用於類似MPEG-2 Video的OpenGOP(Group ofPictures)結構。
此外，被附加了表示採樣可以隨機存取的識別信息時，也可以把利用該識別信息來表示是可以隨機存取的採樣配置在數據包的前頭。
工業應用性本發明涉及的多路復用裝置適用於獲取視頻數據和聲音數據等媒體數據，並製作MP4文件數據存儲在記錄介質中的數字攝像機和帶錄像功能的攜帶電話機等，或者適用於通過網際網路發送所製作的MP4文件數據的個人電腦和PDA等，本發明涉及的逆多路復用裝置適用於下載並重放MP4文件數據的個人電腦和攜帶電話機等。
權利要求
1.一種多路復用裝置，將媒體數據數據包多路復用，並製作復用數據，該媒體數據包括圖像數據和聲音數據及文本數據中的至少一個，其特徵在於，具有媒體數據獲取單元，用於獲取所述媒體數據；解析單元，解析所述媒體數據獲取單元所獲取的所述媒體數據，對所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的最小存取單位的採樣，獲取表示採樣的重放開始時間的重放開始時間信息；數據包單位決定單元，根據所述解析單元所獲取的所述重放開始時間信息，使所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的各個採樣的重放開始時間一致，決定對所述媒體數據進行打包的單位；數據包標題部分製作單元，製作以所述數據包單位決定單元所決定的數據包單位存儲所述媒體數據的標題的數據包標題部分；數據包數據部分製作單元，製作以所述數據包單位決定單元所決定的數據包單位來存儲所述媒體數據的實體數據的數據包數據部分；和打數據包單元，將所述數據包標題製作單元所製作的數據包標題和所述數據包數據製作單元所製作的數據包數據進行結合，製作數據包。
2.根據權利要求1所述的多路復用裝置，其特徵在於，所述數據包單位決定單元使配置在所述數據包單位前頭的所述聲音數據及所述文本數據的採樣的重放開始時間，與配置在所述數據包單位前頭的所述圖像數據的採樣的重放開始時間一致。
3.根據權利要求2所述的多路復用裝置，其特徵在於，所述數據包單位決定單元把配置在所述數據包單位前頭的所述聲音數據及所述文本數據的採樣，作為在配置於所述數據包單位前頭的所述圖像數據的採樣的重放開始時間以後並與所述圖像數據的採樣的重放開始時間最接近的重放開始時間的採樣。
4.根據權利要求2所述的多路復用裝置，其特徵在於，所述數據包單位決定單元把配置在所述數據包單位前頭的所述聲音數據及所述文本數據的採樣，作為在配置於所述數據包單位前頭的所述圖像數據的採樣的重放開始時間以前並與所述圖像數據的採樣的重放開始時間最接近的重放開始時間的採樣。
5.根據權利要求1所述的多路復用裝置，其特徵在於，所述圖像數據是動畫數據，所述解析單元還解析所述媒體數據獲取單元所獲取的所述動畫數據，在所述動畫數據包括一個以上含有表示是畫面內編碼採樣的內部幀信息的採樣時，獲取所述內部幀信息，所述數據包單位決定單元在所述解析單元已獲取所述內部幀信息時，根據所述內部幀信息和所述重放開始時間信息，決定對所述媒體數據進行打包的單位。
6.根據權利要求5所述的多路復用裝置，其特徵在於，所述數據包單位決定單元把含有所述內部幀信息的所述動畫數據的採樣配置在所述數據包單位的前頭。
7.根據權利要求6所述的多路復用裝置，其特徵在於，所述數據包單位決定單元使配置在所述數據包單位前頭的所述聲音數據及所述文本數據的採樣的重放開始時間，與配置在所述數據包單位前頭的、含有所述內部幀信息的所述動畫數據的採樣的重放開始時間一致。
8.根據權利要求1所述的多路復用裝置，其特徵在於，所述數據包數據部分製作單元製作交叉存儲的所述數據包數據部分，以使所述數據包單位中包含的所述媒體數據的採樣的重放開始時間形成升序。
9.根據權利要求8所述的多路復用裝置，其特徵在於，所述數據包數據部分製作單元製作交叉存儲的所述數據包數據部分，以使所述數據包單位中包含的所述媒體數據的採樣符合預先設定的規定。
10.一種多路復用方法，把媒體數據數據包多路復用，並製作復用數據，該媒體數據包括圖像數據和聲音數據及文本數據中的至少一個，其特徵在於，包括媒體數據獲取步驟，獲取所述媒體數據；解析步驟，解析在所述媒體數據獲取步驟所獲取的所述媒體數據，對所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的最小存取單位的採樣，獲取表示採樣的重放開始時間的重放開始時間信息；數據包單位決定步驟，根據在所述解析步驟所獲取的所述重放開始時間信息，使所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的各個採樣的重放開始時間一致，決定對所述媒體數據進行打包的單位；數據包標題部分製作步驟，製作以所述數據包單位決定步驟所決定的數據包單位來存儲所述媒體數據的標題的數據包標題部分；數據包數據部分製作步驟，製作以所述數據包單位決定步驟所決定的數據包單位來存儲所述媒體數據的實體數據的數據包數據部分；和打數據包步驟，將所述數據包標題部分製作步驟所製作的數據包標題部分和所述數據包數據部分製作步驟所製作的數據包數據部分進行結合，來製作數據包。
11.根據權利要求10所述的多路復用方法，其特徵在於，在所述數據包單位決定步驟，使配置在所述數據包單位前頭的所述聲音數據及所述文本數據的採樣的重放開始時間，與配置在所述數據包單位前頭的所述圖像數據的採樣的重放開始時間一致。
12.根據權利要求10所述的多路復用方法，其特徵在於，所述圖像數據是動畫數據，在所述解析步驟，還解析在所述媒體數據獲取步驟所獲取的所述動畫數據，在所述動畫數據包括一個以上含有表示是畫面內編碼採樣的內部幀信息的採樣時，獲取所述內部幀信息，在所述數據包單位決定步驟，在所述解析步驟已獲取所述內部幀信息時，根據所述內部幀信息和所述重放開始時間信息，決定對所述媒體數據進行打包的單位。
13.根據權利要求12所述的多路復用方法，其特徵在於，在所述數據包單位決定步驟，把含有所述內部幀信息的所述動畫數據的採樣配置在所述數據包單位的前頭。
14.根據權利要求13所述的多路復用方法，其特徵在於，在所述數據包單位決定步驟，使配置在所述數據包單位前頭的所述聲音數據及所述文本數據的採樣的重放開始時間，與配置在所述數據包單位前頭的、含有所述內部幀信息的所述動畫數據的採樣的重放開始時間一致。
15.根據權利要求10所述的多路復用方法，其特徵在於，在所述數據包數據部分製作步驟，製作交叉存儲的所述數據包數據部分，以使所述數據包單位中包含的所述媒體數據的採樣的重放開始時間形成升序。
16.一種多路復用裝置用程序，該多路復用裝置把媒體數據數據包多路復用，並製作復用數據，該媒體數據包括圖像數據和聲音數據及文本數據中的至少一個，其特徵在於，使計算機執行多路復用方法中的下述各步驟媒體數據獲取步驟，獲取所述媒體數據；解析步驟，解析在所述媒體數據獲取步驟所獲取的所述媒體數據，對所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的最小存取單位的採樣，獲取表示採樣的重放開始時間的重放開始時間信息；數據包單位決定步驟，根據在所述解析步驟所獲取的所述重放開始時間信息，使所述媒體數據中包含的所述圖像數據、聲音數據及文本數據的各個採樣的重放開始時間一致，決定對所述媒體數據進行打包的單位；數據包標題部分製作步驟，製作以所述數據包單位決定步驟所決定的數據包單位來存儲的所述媒體數據的標題的數據包標題部分；數據包數據部分製作步驟，製作以所述數據包單位決定步驟所決定的數據包單位來存儲所述媒體數據的實體數據的數據包數據部分；和打數據包步驟，將在所述數據包標題部分製作步驟所製作的數據包標題部分和在所述數據包數據部分製作步驟所製作的數據包數據部分進行結合，來製作數據包。
17.一種逆多路復用裝置，獲取將媒體數據以規定的數據包單位進行復用的復用數據，並進行逆多路復用，該媒體數據包括圖像數據和聲音數據及文本數據中的至少一個，其特徵在於，具有復用數據獲取單元，用於獲取所述復用數據；解析分離單元，解析所述復用數據獲取單元所獲取的所述復用數據，從所述復用數據中分離並獲取所述數據包標題部分；和隨機存取檢索單元，在執行變更所述復用數據的逆多路復用的開始位置、或從所述復用數據的中途開始逆多路復用的處理即隨機存取時，僅檢索配置在經由所述解析分離單元所分離的數據包標題部分前頭的所述圖像數據的採樣標題，判定是否含有內部幀信息，該內部幀信息表示所述數據包中包含的所述圖像數據的採樣是畫面內編碼採樣。
全文摘要
多路復用裝置100具有獲取視頻數據的第1輸入單元101；獲取聲音數據的第2輸入單元104；解析視頻數據並獲取視頻採樣標題信息的第1解析單元103；解析聲音數據並獲取音頻採樣標題信息的第2解析單元106；根據視頻採樣標題信息決定視頻數據的數據包單位後，與配置在視頻數據的數據包單位前頭的視頻採樣的重放開始時間一致，來決定聲音數據的數據包單位的數據包單位決定單元107；以所決定的數據包單位製作數據包標題部分的數據包標題製作單元112；以所決定的數據包單位製作數據包數據部分的數據包數據製作單元113；結合所製作的數據包標題部分和數據包數據部分，並製作數據包的數據包結合單元114。
文檔編號H04N7/52GK1515115SQ03800390
公開日2004年7月21日 申請日期2003年6月17日 優先權日2002年6月26日
發明者遠間正真, 松井義德, 能登屋陽司, 德, 陽司 申請人:松下電器產業株式會社