圖像數據再現裝置和方法
2023-06-29 14:02:46
專利名稱：圖像數據再現裝置和方法
技術領域：
本發明涉及一種圖像數據再現裝置和方法，適於用來通過對數據進行解碼來再現按照MPEG(運動圖像專家組)標準編碼的圖像數據。
背景技術：
最近，以MPEG-2(ISO/IEC 13818)為代表的各種數字圖像編碼技術被建議通過編碼來壓縮圖像。按照MPEG標準的圖像壓縮是這樣進行的對一個由混合轉換作用所產生的信號進行量化和可變長度編碼，該混合轉換是一種交互圖像運動位移補償和DCT(離散餘弦變換)的組合。
按照MPEG標準，通過將其編碼成包括I，P和B圖像的任一種圖像類型，將包含在圖像中的圖像面(幀或半幀)壓縮。I圖像是一種內幀預測編碼圖像或內部編碼圖像。它是一種在一幀內被預測編碼的圖像。P圖像是一種幀正向預測編碼的圖像或一種預測編碼的圖像。它是一種通過參考已經編碼的前一幀(I或P圖像)而預測的圖像。B圖像是一種雙向預測編碼的圖像或一種雙向編碼的圖像。它是一種通過參考兩幀，即前一幀和後一幀而預測的圖像。
如上所述，按照MPEG標準，通過圖像間的預測編碼來完成圖像壓縮，由此使有效地壓縮一個圖像並隨機地訪問被壓縮的圖像成為可能。而且，按照MPEG標準，每個上面類型的圖像被壓縮成以一個圖像組(GOP)為單位而形成的數據流，該圖像組包括任意數量的圖像。MPEG標準規定在GOP中應當包括至少一個I圖像，以便能夠隨機訪問以GOP為單位壓縮的圖像。
這裡需要注意的是，在數據以正常速度的一半、四分之一、...被再現的情況中，或在包括幀提前等的所謂可變速度再現等變換成正常速度再現情況中，以MPEG定義的技術是沒有優勢的，由於速度的變化，在正被顯示的圖像上會產生遺漏。同樣，由於在記錄介質再現完全變換到正常速度再現之前圖像不能以正常的速度被顯示，所以在用戶確實能夠觀看到以期望速度再現的圖像之前，可變速度再現變換成期望的正常速度再現要花費長的時間。
發明內容
因此本發明的一個方面是通過提供一種圖像數據再現裝置和方法來克服上述相關技術的缺陷，其中，在當對按照MPEG標準壓縮的圖像數據進行再現時可變速度再現變換到正常速度再現的情況中，正常速度再現的圖像可被平滑地顯示，而不會遺漏任何被顯示的圖像。
通過提供一種用於再現按照MPEG標準記錄到記錄介質上的壓縮圖像數據的圖像數據再現裝置，可以獲得上述目標，根據本發明的該裝置包括存儲裝置，用於存儲從記錄介質讀取的壓縮圖像數據；STC產生裝置，用於為了正常速度再現而從一個已設置初始值開始順序地產生STC(STC_d)，其中，該STC(STC_d)被從記錄介質讀取的壓縮圖像數據的STC(STC_介質)開始延遲了固定時間(系統_延遲)；讀取控制裝置，用於根據由STC產生裝置產生的STC_d，順序地讀取存儲在存儲裝置中的壓縮圖像數據；和解碼裝置，用於對由讀取控制裝置讀取的壓縮圖像數據進行解碼，以便產生用於顯示的圖像數據；在從可變速度再現變換到正常速度再現時，STC產生裝置根據變換時顯示圖像數據的PTS(PTS_s)以及變換時的STC_介質-(由於變換(變換_延遲)產生的延遲量+系統_延遲)之間的比較結果，設置初始值。
通過提供一種用於再現按照MPEG標準記錄在記錄介質上的壓縮圖像數據的圖像數據再現方法，也可以獲得上述目標方面，根據本發明的方法包括如下步驟存儲從記錄介質讀取的壓縮圖像數據；對於正常速度再現，從已設置初始值中順序地產生STC(STC_d)，其中，該STC(STC_d)被從記錄介質讀取的壓縮圖像數據的STC(STC_介質)開始延遲了固定時間(系統_延遲)；根據由STC產生裝置產生的STC_d，順序地讀取存儲在存儲裝置中的壓縮圖像數據；以及對由讀取控制裝置讀取的壓縮圖像數據進行解碼，以便產生用於顯示的圖像數據；在STC產生步驟中，在從可變速度再現變換到正常速度再現時，根據變換時顯示圖像數據的PTS(PTS_s)以及變換時的STC_介質-(由於變換(變換_延遲)產生的延遲量+系統_延遲)之間的比較結果，設置初始值。
當結合附圖，根據下列本發明優選實施例的詳細描述，本發明的這些方面及其它方面、特徵和優點將變得更加明顯。
圖1示出了根據本發明的記錄器/播放器的結構；圖2A和圖2B示出了與記錄位置相對應的STC和VBV緩衝器中的數據量之間的關係；圖3示出了從記錄介質讀取的STC和由STC增量單元產生的STC之間的關係；圖4示出了當正常速度再現變換成「正向」可變速度再現時由流式緩衝器做出的操作；圖5示出了當正常速度再現變換成「反向」可變速度再現時由流式緩衝器做出的操作；圖6示出了每次當可變速度再現變換成正常速度再現時STC的變化；圖7示出了為正常速度再現設置STC初始值的一個示例；和圖8示出了為正常速度再現設置STC初始值的另一個示例。
圖9示出了一個圖像組。
具體實施例方式
下面將參考附圖詳細描述本發明的實施例。
根據本發明的圖像數據再現裝置被應用到用參考1來表示的圖像記錄器/播放器，該圖像記錄器/播放器根據定義動畫的高效率壓縮編碼的MPEG(運動圖像專家組)標準，將圖像數據記錄到記錄介質或從記錄介質再現動畫。如圖1所示，圖像記錄器/播放器1包括記錄系統10，用於將被壓縮的圖像數據記錄到記錄介質4；和再現系統30，用於擴展或解壓縮從記錄介質4讀取的圖像數據。需要注意的是記錄介質4是用來記錄例如圖像和音頻數據之類的磁碟或圓盤。
記錄系統10包括MPEG壓縮器11、DRAM 12、DRAM讀取控制器13、記錄介質控制器14、STC(系統時間時鐘)發生器15、ETN(已擴展的磁軌數)加法器16、音頻壓縮器17、混合器18和ECC(糾錯碼)編碼器19。
通過根據例如圖像類型、量化步驟等對壓縮的輸入圖像信號進行編碼，MPEG壓縮器11根據從STC發生器15提供的STC產生壓縮圖像數據。MPEG壓縮器11將所產生的壓縮圖像數據發送到DRAM 12。
DRAM 12保存從MPEG壓縮器11發送的壓縮圖像數據。DRAM讀取控制器13從DRAM 12讀取壓縮圖像數據，並在預定定時內將其提供給混合器16。
提供記錄介質控制器14用來控制記錄介質4的驅動狀態。例如在記錄介質4是磁碟的情況中，記錄介質控制器14相當於伺服控制器。記錄介質控制器14可以控制記錄介質4以正常速度記錄或再現各種各樣的數據，並且也可以自由地控制對應於所謂可變速度再現中的選擇的速度的記錄介質4，在該可變速度再現中數據以正常速度的一半或四分之一...來再現，幀被提前或以可變速度來進行其它操作。根據從再現系統30接收的讀取時間信息，記錄介質控制器14產生把位置信息記錄在記錄介質4中的ETN(擴展的磁軌數)，並將其發送到STC發生器15和ETN加法器16，這些將在以後詳細描述。
根據從記錄介質控制器14提供的ETN，STC發生器15產生STC(系統時鐘)，並將其提供給MPEG壓縮器11。需要注意的是ETN是從記錄介質4中開始計數的磁軌數。例如，在磁軌/幀比率為10的場頻是59.94Hz的系統中，STC表示為ETN×300.3。即，與記錄數據同時地記錄ETN到記錄介質基本上等於記錄STC。在再現的時候，可以根據所記錄的STN來再現STC。
ETN加法器16將從記錄介質控制器14發送的ETN增加到記錄在記錄介質4中的輔助數據(AUX)上，並將數據提供給混合器18。
音頻壓縮器17通過對壓縮的輸入音頻信號編碼來產生壓縮的音頻數據。MPEG壓縮器11將被壓縮的音頻數據提供給混合器18。
混合器18以記錄順序將輸入的壓縮圖像數據、壓縮音頻數據和AUX分配到記錄介質4，並將數據提供給ECC編碼器19。ECC編碼器19將ECC(糾錯碼)增加到從混合器18接收的數據流上，並將數據記錄在記錄介質4上，例如通過磁頭在轉鼓上旋轉的磁帶上(都未示出)。
如所示的，再現系統30包括ECC解碼器31、圖像數據分離器32、存儲單元33、數據讀取控制器34、MPEG擴展器35、流式緩衝器36、基帶緩衝器37、AUX分離器38、ETN採集單元39、STC設置值計算器40、STC增量單元41、STC比較器42、音頻數據分離器43、音頻擴展器44和TC編碼器45。
ECC解碼器31從記錄介質4讀取數據流，並移除增加到已讀取數據流的ECC。
圖像數據分離器32從ECC解碼器31選擇性地讀出壓縮的圖像數據，並將該數據發送到存儲單元33。同樣，圖像數據分離器32對讀取壓縮圖像數據中的PES(分包的基本碼流，packetized elementary stream)報頭進行分析，以便讀取DTS(解碼時間標記)、PTS(提示時間標記)、和VBV(視頻緩衝驗證器)延遲，產生包括將從每個圖像讀取的STC時間的輸出時間信息，並將該信息發送到STC比較器42。
存儲單元33在預定地址分別存儲從圖像數據分離器32發送的壓縮圖像數據。數據讀取控制器34從STC比較器42讀取對應於包括在從STC比較器42發送的讀取時間信息中的STC時間的圖像上的壓縮圖像數據，並且將該數據提供給MPEG擴展器35。
從數據讀取控制器34逐個圖像地將壓縮圖像數據提供給MPEG擴展器35，並且MPEG擴展器35接收包括關於來自STC增量單元41的GOP或每個輸入圖像的STC的STC信息。根據已接收STC信息中的STC，MPEG擴展器35使每個圖像進行MPEG擴展以產生基帶圖像信號。需要注意的是在以MPEG-2定義的STD(系統目標解碼器)系統中，擴展時間應當理想地設置為零(0)。由於在任何實際的解碼器中，可能將擴展時間設置為零，但是，另外將流式緩衝器36提供給MPEG擴展器35。來自數據讀取控制器34的輸入壓縮圖像數據首先存儲在流式緩衝器36中，並且然後以從STC增量單元41發送的預定STC的定時，從流式緩衝器36讀取並順序地擴展該壓縮圖像數據。需要注意的是通過數據讀取控制器34將附加的壓縮圖像數據提供給流式緩衝器36。
注意到MPEG擴展器35一次性將所生成的基帶圖像信號存儲在基帶緩衝器37中，並且在提交之前進一步記錄它們。需要注意的是將圖像數據存儲在基帶緩衝器37中的原因是解碼B圖像需要參考B圖像之前和之後的I或P圖像。
AUX分離器38選擇性地從ECC解碼器31讀取AUX，並將其提交給外界和將其發送到TS編碼器45。需要注意的是對於由AUX分離器38分離的AUX，由ETN採集單元39來提取ETN。ETN採集單元39將提取的ETN提供給STC設置值計算器40。
根據從ETN採集單元39提供的ETN，STC設置值計算器40計算STC的初始值，並將其發送到STC增量單元41。在正常速度再現中，通過線性增加所接收的STC初始值，STC增量單元41產生新的STC，並將其作為上述的STC信息發送到MPEG擴展器35和STC比較器42。
STC比較器42將從圖像數據分離器32接收的輸出時間信息與從STC增量單元41接收的STC信息進行比較。STC比較器42將分配到輸出時間信息的STC時間與分配到STC信息的STC進行比較，並且當比較結果互相一致時，STC比較器42將在考慮中的STC作為讀取時間信息發送到數據讀取控制器34。
已經接收如此的讀取時間信息的數據讀取控制器34可以僅讀取在對應於由STC增量單元41設置的STC的STC時間的圖像。換句話說，從STC增量單元41發送的STC信息允許數據讀取控制器34控制讀取每個圖像的定時。因此，通過確定由STC增量單元41設置的初始值，也可能在從記錄於記錄介質4中的STC時間開始延遲預定時間的時間進行解碼。
音頻數據分離器43選擇性地從ECC解碼器31讀取壓縮音頻數據，並將該數據發送到音頻擴展器44和TS編碼器45。音頻擴展器44對從音頻數據分離器43接收的壓縮音頻數據進行擴展，並提供該解壓縮的音頻數據作為輸出。
TS編碼器45接收來自數據讀取控制器34的壓縮圖像數據和來自AUX分離器38的AUX，並且也接收來自音頻數據分離器43的壓縮音頻數據和來自STC增量單元41的STC信息。TS編碼器45將已接收的壓縮圖像數據、AUX、壓縮音頻數據的流分包成傳輸流(TS)，並將從所接收的STC信息獲取的、TS所需的STC、PCR(程序時鐘參考)和信息增加到傳輸流(TS)上。TS編碼器45將所分包的TS發送到外界。
下面將關於正常速度再現來描述按如上功能構造的記錄器/播放器1。
首先，在MPEG壓縮器11和音頻壓縮器17中，通過壓縮來對提供給記錄系統10的圖像和音頻數據進行編碼，並將作為壓縮的圖像和音頻數據發送到混合器18。同樣，提供給記錄系統10的AUX具有增加到其上的ETN，並且被相似地發送到混合器18。由於這種增加到AUX的ETN與在MPEG壓縮器11中使用的STC相匹配，所以在下行混合器18中可以有效地分配數據。
圖2B示出了以記錄在記錄介質4中的數據為順序的由混合器18分配的數據流。記錄到記錄介質4的數據流由圖像組(GOP)組成，每個圖像組包括任意數量的按照MPEG標準分組的圖像。在圖2B中，每個矩形區域都包括GOP。如圖所示，根據其數據大小的不同，GOP的矩形大小互相不同。圖2B中，每個矩形區域中的橢圓形區域記錄壓縮的圖像數據以及增加到每個GOP的AUX。與壓縮圖像數據及相比，橢圓形面積中的數據量非常小。需要注意的是增加到包括ETN等的輔助數據的AUX也被存儲在正方形區域中，該正方形區域不管GOP的數據大小以固定周期在每個矩形區域中被定義，如圖2B所示。
圖2A圖示地解釋了對應於圖2B所示的記錄位置的並沿水平軸表示的STC和在VBV緩衝器中沿垂直軸表示的數據量之間的關係。該VBV緩衝器是假定用來一直確定記錄系統10中的輸入緩衝器中的數據量的虛擬的緩衝器。當對每個GOP進行解碼時，VBV緩衝器中的數據量將突然變小。以從一個解碼管理時間到另一個解碼管理時間的固定間隔ΔDTS來執行解碼。
在這連接中，圖2A中的虛線表示VBV緩衝器中的GOPα的順序的存儲。在存儲期間，因為暫時先於GOPα的GOP被編碼，所以緩衝器中的數據量突然進入數據存儲器中。在圖2A中點劃線表示的位置中的DTS(DTSα)處對GOPα進行解碼。來自圖像輸出時間(a11)的時間等於GOPα的VBV延遲，在該圖像輸出時間到VBV緩衝器的存儲開始。
上面的數據流具有由ECC解碼器31移除的ECC，並且通過圖像數據分離器32來讀取壓縮圖像數據。然後，通過計算對於每個GOP或PES的DTS-VBV，來確定對於包括在壓縮圖像數據中的每一個GOP或PES的圖像輸出時間。這樣確定的圖像輸出時間被作為一個包含在上述輸出時間信息中的STC時間發送到STC比較器42。而且，壓縮圖像數據被提供到存儲單元33。
在對存儲在存儲單元33中的壓縮圖像數據延遲預定時間(系統_延遲)之後，由數據讀取控制器34來讀取該壓縮圖像數據，該預定時間用於關於音頻信號的時間調整或用於匹配增加到AUX的各種定時編碼。
在圖3中，線A表示根據從記錄介質4讀取的AUX中提取的ETN所計算的STC，並且對應於線A的水平軸t表示當壓縮圖像數據被提供給存儲單元33時的時間。
為了形成表示進一步從線A被延遲時間「系統_延遲」的壓縮圖像數據的線B，STC設置值計算器40首先設置從線A被延遲時間「系統_延遲」的STC為一個初始值，並將該數據發送到STC增量單元41。通過從接收的STC的初始值線性地增加新的STC，STC增量單元41可以產生對應於從線A被延遲時間「系統_延遲」的線B的STC。
STC增量單元41將對應於線B的STC作為STC信息提供給STC比較器42，藉此能夠抑制讀取時間信息被發送，直到達到被延遲時間「系統_延遲」輸出時間信息中的STC時間為止。即，STC比較器42可以將來自輸入輸出時間信息中的STC時間的延遲時間「系統_延遲」的讀取時間信息發送到數據讀取控制器34。因此，通過簡單構造的電路來自由控制定時。
根據延遲時間「系統_延遲」的讀取控制信號，數據讀取控制器34從存儲單元33讀取壓縮圖像數據。因此，保存在存儲單元33中的壓縮圖像數據在被發送到MPEG擴展器35之前可以被延遲時間「系統_延遲」。
注意到在預定定時內，首先將被發送到MPEG擴展器35的壓縮圖像數據附加地提供給流式緩衝器36，並且然後從MPEG擴展器35讀取並由MPEG擴展器35來擴展。後面將詳細描述附加地提供給流式緩衝器36的壓縮圖像數據。
由STC增量單元41形成的對應於線B的STC被作為STC信息發送到STC比較器42和TS編碼器45。因此，TS編碼器45能夠從STC產生PCR，並因此能夠直接對將發送的每個壓縮圖像數據進行TS-分包。
即，在記錄介質4中的任何位置上根據本發明的記錄器/播放器1開始讀取數據，可以重複相似於記錄中STC的STC。通過將ETN增加到AUX，可以進行STC的ECC編碼。因此，數據是高度可靠的，並且在重複增加到記錄介質4的STC的時候通過設置對應於再現系統30的系統延遲時間，也可以高精度地控制定時。
接著，將描述當正常速度再現變換到「正向」可變速度再現時的流式緩衝器36的操作。
圖4示出了變換到「正向」可變速度再現之前和之後的流式緩衝器狀態。將數據記錄到以圖4中「記錄位置」所表示的箭頭方向中的記錄介質4上。數據大小互不相同的GOP(即DOP0到DOP5)被分別放置在如圖所示的記錄位置。在圖4的左端，時間序列地示出了當讀取每個GOP中的每個圖像時流式緩衝器36做出的狀態o到s。
關於這一點，帶「介質讀取」的箭頭表示記錄介質4中從正在讀取的數據開始的位置。即，例如在記錄介質4是磁帶的情況中，該位置是磁帶上磁頭與後部接觸的位置。
這裡將討論當正常速度再現變換到「正向」可變速度再現，例如當流式緩衝器36處於全部GOP0和GOP1的一部分已經被保存在流式緩衝器36中的狀態o中的幀提前時，流式緩衝器36將如何操作的，。此時，對於在正常速度再現之後的「正向」再現，由MPEG擴展器35順序地讀取保存在流式緩衝器36中的圖像。當保留在流式緩衝器36中的圖像計數到3個時，新的圖像被附加地存儲進流式緩衝器36。在緩衝器狀態o，當由MPEG擴展器35讀取所示為每個由粗線方框包圍的並對應於剩餘三個圖像的B圖像時，新的圖像被附加地存儲進流式緩衝器36。
在一個包括三個圖像的第三個圖像的GOP的開頭，流式緩衝器36被提供了固定數量(數據增加)的附加圖像。因此，在流式緩衝器36處於狀態o的情況下，將一個附加數量(數據增加)的圖像提供到GOP1的開頭。由於在流式緩衝器36中已經存儲了近一半的GOP1，然而，新近增加的圖像將是附加數據A，如圖4所示。
流式緩衝器36可以確定對應於流式緩衝器36的容量或按下列表達式(1)給出的記錄器/播放器1系統中需要的容限的附加數量(數據_增加)數據_增加＝(流式緩衝器36的容量)-(系統中需要的容限) ...(1)其中，「系統中需要的容限」可被設置為考慮系統中一個ECC容限的一個ECC，在該系統中再現操作僅可以在一個ECC增量中停止。
當檢測到圖像被附加地提供達到數量(數據_增加)時，數據讀取控制器34將通知記錄介質控制器14這個事實，並使記錄介質控制器14停止從記錄介質4讀取數據流。而且，在如環形緩衝器中提供附加圖像之前，流式緩衝器36從第一個到下一個到最後的圖像順序地存儲附加圖像。例如，當在狀態o以及按環形緩衝器中一樣首先從A到最後的B圖像提供附加數據時，流式緩衝器36轉到狀態p，在該狀態p中，從第一個到最後的B圖像隨後的緩衝器左端，順序地將附加數據A提供到流式緩衝器36。
接著，當流式緩衝器36在狀態p時，MPEG擴展器35順序地讀取和擴展來自流式緩衝器36的圖像，該圖像以與剩餘圖像的第三個圖像相對應的B圖像開始，如圖4中虛線方框所示。然後，當用虛線方框表示的第三個剩餘B圖像由MPEG擴展器35和在狀態p的流式緩衝器36一起讀取時，把附加數據B提供給流式緩衝器36。附加數據B的數量也是緊接於GOP2的固定流數量(數據_增加)，該GOP2包括用虛線方框表示的第三個剩餘B圖像。當附加數據B象在環形緩衝器中一樣被提供給流式緩衝器36到倒數第二個B圖像時，流式緩衝器36將進入狀態q。
接著，當流式緩衝器36在狀態q時，MPEG擴展器35順序地讀取和擴展來自流式緩衝器36的圖像，該圖像以與剩餘圖像的第三個圖像相對應的B圖像開始，如圖4中虛線方框所示。然後，當虛線方框表示的第三個剩餘B圖像由MPEG擴展器35和在狀態q的流式緩衝器36一起讀取時，流式緩衝器36被提供附加數據C。附加數據C的數量是緊接於GOP3的固定流數量(數據增加)，該GOP3包括用虛線方框表示的第三個剩餘B圖像。當附加數據B象在環形緩衝器中一樣被提供給流式緩衝器36到倒數第二個B圖像時，流式緩衝器36將進入狀態r。
在狀態r中，MPEG擴展器35從流式緩衝器36讀取圖像，並因此流式緩衝器36被提供附加數據D，並進入狀態s。
根據本發明，流式緩衝器36被重複提供用於進行「前向」可變速度再現的附加數據。而且，根據本發明，流式緩衝器36被順序地提供附加數據，直到從第一個到GOP的開頭的固定數量(數據_增加)為止。也就是說，在流式緩衝器36中，I圖像總是保存在每個GOP的開頭。對於每個包含在GOP中的圖像的擴展，I圖像是必不可少的。因此，當可變速度再現方向從「正向」變換成「反向」時，在流式緩衝器中總是保存GOP中的I圖像，在該GOP中包括將在擴展時由MPEG擴展器35擴展的圖像。因此，MPEG擴展器35能夠同時讀取和擴展保存在流式緩衝器36中的圖像，而不必等待新數據附加地提供給流式緩衝器36，從而允許平滑地應付可變速度再現中的不同的變化。
注意到當正常速度再現被切換到「正向」可變速度再現時進行的操作並不限於上面所提到的。在上述中，當流式緩衝器36中剩餘的圖像達到3個時，附加數據被提供給流式緩衝器36。例如，操作可以如下當流式緩衝器36中剩餘的圖像達到N(一個任意數)個時，附加數據被提供給流式緩衝器36。在流式緩衝器具有一個大容量的情況中，對於記錄介質4的附加數據的提供的獲得時間，N可以設置為更大，從而能夠實現高可變速度以及平滑再現。
而且對於可變速度再現，尤其對於例如雙速再現的高速度再現，利用合適的遺漏圖像能夠實現上述實施例。
當正常速度再現變換到「反向」可變速度再現時，流式緩衝器36將進行下述操作圖5示出了變換到「反向」可變速度再現之前和之後的流式緩衝器的狀態。在記錄介質4中的記錄位置上分別放置了數據大小互不相同的GOP(即，GOP0到GOP5)，如圖所示。在圖5的右端，按時間序列示出了當讀取每個GOP中的每個圖像時，流式緩衝器36進入的狀態t到w。
關於這一點，帶「介質讀取」的箭頭表示記錄介質4中來自數據被讀取的位置。在記錄介質4是例如磁帶的情況中，該位置是磁帶上磁頭與後面的位置相接觸的位置。
這裡將要討論的是當正常速度再現變換到「反向」可變速度再現，例如當流式緩衝器36處於狀態t時的幀提前，在狀態t時，GOP3的部分、GOP4的全部和GOP5的部分已經存儲在流式緩衝器36中。同時，由MPEG擴展器35以與其中以箭頭指示的記錄位置的方向讀取圖像的正常速度再現的方向相反的方向順序地讀取存儲在流式緩衝器36中的圖像。例如，在正常速度再現變換到可變速度再現，同時在狀態t中正從流式緩衝器36讀取用虛線方框表示的B圖像的情況中，以從B圖像、前一B圖像、先於前一B圖像的P圖像、先於前一P圖像的B圖像...的相反的次序讀取數據。
這裡定義在每個流式緩衝器狀態中當前臨時保存在流式緩衝器36中的所有圖像的GOP是當前GOP。根據本發明，在流式緩衝器36中的那種GOP中的圖像計數為3，則在至少臨時先於當前GOP的GOP中的圖像被附加地提供給流式緩衝器36。
例如，當流式緩衝器36處於狀態t時，例如記錄於流式緩衝器36中的所有圖像的當前GOP是GOP4。當流式緩衝器36中的GOP4中的圖像計數為3時，GOP3中的圖像被附加地提供給流式緩衝器36，作為在臨時先於當前GOP的GOP中的圖像。
此時，每個圖像是從記錄介質4中的記錄位置讀取的，先於通過先前GOP的從當前GOP的開頭開始計數的第六個圖像的固定數據量(數據_增加)，並且將該圖像附加地提供給流式緩衝器36。當流式緩衝器36處於狀態t時，每個圖像是從記錄介質4中的記錄位置讀取的，先於從GOP4的開頭開始計數的第六個B圖像(當前GOP中附加幀的數量)的數據量(數據_增加)，並且將該圖像附加地提供給流式緩衝器36。
數據量(數據_增加)可由下列表達式(2)給出的來定義，其中，假設當前GOP中的附加幀的數量是「P」(如圖5中所示例子中的六個)，在一個GOP中的圖像的最大數量是「最大_GOP」，在正常速度再現模式中每一幀時間讀取的圖像數據量是「數據_1幀」，並且VBV緩衝器中的數據量是「vbv_佔有」數據_增加＝(P+最大_GOP-1)×數據_1幀+vbv_佔有...(2)通過從記錄介質4中根據「數據_增加」而確定的記錄位置開始讀取數據，先前GOP可以被作為附加數據而附加地提供給流式緩衝器36。
如上所述，就象在環形緩衝器中一樣，以從恰好在當前GOP的領先圖像之前開始的「反向」方向，流式緩衝器36被提供獲得的作為輔助數據的先前GOP。當處於狀態t時，以從恰好在I圖像是當前GOP中的領先圖像之前開始的「反向」方向，流式緩衝器36被順序地提供作為附加數據F的GOP3，並且進入狀態u。
當流式緩衝器36處於狀態u時，MPEG擴展器35以「反向」方向來順序地讀取和擴展數據，該「反向」方向是從對應於虛線方塊表示的剩餘第三個圖像的B圖像開始的。MPEG擴展器35根據在記錄介質4中的確定的數據_增加讀取在處於狀態u的記錄位置的第一個的流式緩衝器36的當前GOP中的剩餘的第三個B圖像，該B圖像用粗線方塊來表示，並且，GOP2被作為附加數據G附加地保存在流式緩衝器36，就象在環形緩衝器中一樣。結果是，流式緩衝器36將進入狀態v。
接著，當流式緩衝器36處於狀態v時，MPEG擴展器35以「反向」方向來順序地讀取和擴展圖像，該「反向」方向是從對應於剩餘圖像的第三個圖像的B圖像開始的，在圖5中用虛線方塊來表示。MPEG擴展器35根據在記錄介質4中的確定的數據_增加來讀取在處於狀態u的記錄位置的第一個的流式緩衝器36的當前GOP中的剩餘的第三個B圖像，該B圖像用粗線方塊來表示，並且，GOP0和GOP1被作為附加數據H附加地保存在流式緩衝器36，就象在環形緩衝器中一樣。結果是，流式緩衝器36將進入狀態w。
當流式緩衝器36處於狀態w時，兩個GOP，也就是，GOP0和GOP1由於每個GOP的大小比較小而被附加地存儲進流式緩衝器36。需要注意的是，隨著對增加到每個GOP的DTS(解碼時間標記)的識別，GOP可以被單獨地保存到流式緩衝器36，從而可以最小化流式緩衝器36中用於覆蓋的數據量。
關於這一點，當先前GOP被作為附加數據而附加地提供給流式緩衝器36並從記錄介質4讀取時，臨時先於先前GOP的GOP中的圖像被控制不流入流式緩衝器36，以便從先前GOP的開頭計數的在先前GOP中的所有圖像將被附加地存儲到流式緩衝器36。通過分析數據報頭或根據增加到AUX的圖像類型信息來確定圖像的類型，以便根據圖像類型是否表示I圖像或通過代替GOP的開頭的圖像標記來定位GOP的開頭，就可以實現這種控制。
假設當前GOP中的領先圖像的DTS(編碼時間標記)是DTS_c，領先圖像的VBV延遲是vbv_delay_c，則先前GOP中的領先圖像的DTS是DTS_f，並且考慮中的圖像的VBV延遲是vbv_delay_f，可按下列表達式(3)給出的來表示附加數據的大小附加數據的大小＝(DTS_c-vbv_delay_c)-(DTS_f-vbv_delay_f)......... (3)而且，在流式緩衝器36中的地址(開始ADD)中，附加數據開始被附加地提供給流式緩衝器36，並且根據流式緩衝器36的當前GOP中的領先圖像的地址(當前ADD)、附加數據的大小、以及流式緩衝器36的容量，按下列表達式(4)所給出的來確定該地址開始ADD＝(當前ADD-附加數據大小+流式緩衝器36的容量)％流式緩衝器36的容量 ......... (4)其中％表示模數計算。
即，通過根據由表達式(4)確定的開始ADD將附加數據附加地提供給流式緩衝器36，可能最小化流式緩衝器36中用於覆蓋的數據量。因此，同樣在可變速度再現方向從「反向」變換到「正向」的情況中，MPEG擴展器35瞬時地讀取和擴展保存在流式緩衝器36中的圖像，而不必等待將新圖像附加提供給流式緩衝器36，從而允許平滑地應付在可變速度再現中的各種變化。
注意到類似於「反向」可變速度再現，當圖像被存儲直到一個固定流數量時，數據讀取控制器34通知記錄介質控制器14這個事實，並使記錄介質控制器14停止從記錄介質4讀取數據流。
根據本發明，重複將新數據附加提供給流式緩衝器36，以便使「正向」正常速度再現能夠平滑變換到「反向」可變速度再現。特別是，根據本發明，預定數量的數據被從開始到GOP開頭附加提供給流式緩衝器36。即，包含在GOP中的每個圖像擴展所必須的I圖像總是被存儲在流式緩衝器36中的每個GOP的開頭。因此，當可變速度再現方向從「正向」變換成「反向」時，包含在將被MPEG擴展器35擴展的圖像中的GOP的I圖像總是在再現方向變換時出現在流式緩衝器36中。因此，MPEG擴展器35瞬時地讀取和擴展保存在流式緩衝器36中的圖像，而不必等待新數據的附加提供，從而允許平滑地應付在可變速度再現中的可變變化。
注意到當正常速度再現變換到「反向」可變速度再現時做出的操作不限於上面所提到的。在上述中，當流式緩衝器36中保留在當前GOP中的圖像達到三個時，將附加數據提供給流式緩衝器36。例如，當流式緩衝器36中保留的圖像達到M(一個任意數)時，操作可以是將附加數據提供給流式緩衝器36。在流式緩衝器具有大容量的情況中，對於記錄介質4的附加數據的提供的獲得時間，可將M設置得更大，從而能夠實現更高的可變速度和平滑的再現。
而且，當前GOP的附加幀的數量不限於六個。在流式緩衝器具有大容量的情況中，對於記錄介質4的附加數據的提供的獲得時間，可將P設置得更大，從而能夠實現更高的可變速度和平滑的再現。而且對於可變速度再現，特別是對於例如雙速再現的高速度再現，可以利用適當遺漏圖像來實現上面的實施例。
在可變速度再現變換到正常速度在的情況中，STC設置值計算器40和STC增量單元41操作如下圖6示出了每次當可變速度再現變化到正常速度再現的STC的改變。在圖6中，點劃線表示從記錄介質4讀取的壓縮圖像數據的STC，實線表示從數據讀取控制器34發送到MPEG擴展器35的壓縮圖像數據的STC。
在可變速度再現從時間t20持續到t21時，從記錄介質4讀取包括STC的數據的時間通常與包括發送到MPEG擴展器35的相同的STC的數據的時間一致。而且，在可變速度再現中，需要及時通過STC設置值計算器40，將STC初始值設置為從記錄介質4讀取的圖像數據的STC。然而，精確地設置可變速度再現的每個速度的STC初始值是非常困難的。而且，在STC設置值計算器40和STC增量單元41中，即使通過可變速度再現的每個速度的一個時鐘沒有任何時間差和沒有累積誤差，設置一個STC實際上是困難的。因此，在可變速度再現中，從記錄介質4讀取的並保存在存儲單元33中的所有圖像數據被提供到數據讀取控制器34。換句話說，壓縮圖像數據是通過檢漏方法來進行MPEG擴展的。
接著，將討論時間t21時再現掛起以及時間t22時正常速度再現開始的操作。從時間t21到t22的時區被定義為「變換時間」。STC設置值計算器40根據在變換、系統延遲和變換引起的延遲(變換_延遲)時候的從記錄介質4讀取的壓縮圖像數據中的STC(STC_介質)，將各個當前顯示在顯示屏的圖像的PTS(PTS_s)相互進行比較，並且根據比較結果設置STC初始值。具體地講，根據PTS_s和「STC_介質-(變換_延遲+系統_延遲)」之間的比較結果，設置STC初始值。
關於這一點，變換_延遲是由從可變速度再現變換到正常速度再現而引起的延遲。在記錄介質4是磁帶的情況中，變換延遲對應於磁帶速度被控制為正常速度的時間。而且，在記錄介質4是磁碟的情況中，變換延遲對應於尋道等所需的時間。
圖7示出了當滿足下列要求(5)時對於正常速度再現而設置STC初始值的一個示例，其中PTS_s≥{STC_介質-(變換_延遲+系統_延遲)} ..... (5)在這種情況中，在時間t22，以圖像為單位或以GOP(圖像組)為單位，記錄介質控制器34將從記錄介質4讀取的數據流從處於可變速度再現的狀態變換成處於正常速度再現的狀態。STC設置值計算器40按下列給出的表達式(6)來設置用於正常速度再現的STC初始值，其中初始值＝STC_介質-(變換_延遲+系統_延遲)} ..... (6)通過這種操作，在正常速度再現中，通過線性地增加按給出的表達式(6)定義的STC初始值，STC增量單元41可以產生新的STC。而且，如圖7所示，當在時間t22開始正常速度再現時，將由變換_延遲使STC平緩地上升。通過設置按表達式(6)定義的STC初始值，考慮變換_延遲可能在延遲了時間「系統_延遲」的時間處產生STC。因此，即使在變換到正常速度再現之後，在從記錄介質4讀取的壓縮圖像數據中的STC可能被延遲固定時間「系統_延遲」。
而且，根據本發明，當對於由MPEG擴展器35擴展的圖像數據由STC增量單元41產生的STC被監控時，顯示STC對應於包含在輸出時間信息中的STC的圖像。因此，即使在再現模式變換到延遲了時間「系統_延遲」的正常速度再現的向下到t23的時區，在該正常速度再現模式中，可以在屏幕上顯示在從數據讀取控制器34發送到MPEG擴展器35的壓縮圖像數據中的每個圖像。因此，當再現模式變換到正常速度再現並且快速完成該再現模式變換時，由於在屏幕中可以顯示每個圖像而不會遺漏任何圖像，所以用戶實際上能夠觀看到高質量的圖像。
注意到由於檢漏方法被用來提供壓縮圖像數據，所以包含在從STC增量單元41發送的STC信息中的STC與壓縮圖像數據之間不可能進行暫時同步，因此在任何可變速度再現期間，TS編碼器45不會對數據進行TS分包。從而，在再現模式變換到正常速度再現的STC處以及隨後的STC處時，TS編碼器45將進行TS分包。
圖8示出了當滿足下列要求(7)時對於正常速度再現而設置STC初始值的一個示例，其中PTS_s＜{STC_介質-(變換_延遲+系統_延遲)} ..... (7)在這個實施例中，在正常速度再現中，STC設置值計算器40將STC初始值設置為PTS_s。
即，當滿足由表達式(7)給出的要求時，為了在可變速度再現中使顯示在屏幕上的圖像的PTS之間重合，則需要設置上面的變換_延遲以及調整值(調整_延遲)。該調整值可由下列表達式(8)來表示調整_延遲＝(STC_介質-PTS_s)-(變換_延遲+系統_延遲)...(8)在這種情況下，在被延遲了時間「調整延遲」的時間，以圖像為單位或以GOP(圖像組)為單位，記錄介質控制器34將從記錄介質4讀取的數據流從處於可變速度再現的狀態變換成處於正常速度再現的狀態。而且，通過線性地增加定義為PTS_s的STC初始值，在正常速度再現中，STC增量單元41可以產生新的STC。在滿足要求(7)的情況中，當在圖8中的時間t31開始正常速度再現時，變換_延遲將使STC平緩地上升，並且將發生又一個調整延遲。然而，考慮這種延遲，STC增量單元41能產生STC。因此，即使變換到正常速度再現之後，可以將從記錄介質4讀取的壓縮圖像數據中的STC延遲固定時間「系統_延遲」。
而且在滿足要求(7)的情況中，當對於由MPEG擴展器35擴展的圖像數據由STC增量單元41產生的STC正被監控時，顯示STC對應於包含在輸出時間信息中的STC的圖像。因此，也在再現模式變換到被延遲了時間「系統_延遲」的正常速度再現的向下到t23的時區，在該正常速度再現模式中，可以在屏幕上顯示在從數據讀取控制器34發送到MPEG擴展器35的壓縮圖像數據中的每個圖像。因此，當再現模式變換到正常速度再現並且快速完成該再現模式變換時，由於在屏幕中可以顯示每個圖像而不會遺漏任何圖像，所以用戶實際上能夠觀看到高質量的圖像。
注意到即使在滿足要求(7)的條件下，在任何可變速度再現期間，TS編碼器45將不會對數據進行TS分包，因為檢漏方法被用來提供壓縮圖像數據則在包含於從STC增量單元41發送的STC信息中的STC與壓縮圖像數據之間不可能進行暫時同步。因此，在再現模式變換到正常速度再現的STC處以及隨後的STC處，TS編碼器45將進行TS分包。
在上述中，已經參考附圖的實施例詳細描述了有關本發明的作為示例的某個優選例。但是，本領域的技術人員應當理解本發明不限於這些實施例，而且在不背離本發明所闡述的以及在所附權利要求中所定義的範圍和精神情況下，可以以各種各樣的方式進行修改，交替地構造或在各種其它形式中體現出來。
當按照MPEG標準再現模式從可變速度模式變換為正常速度模式時，可以平滑地顯示由正常速度再現而再現的圖像，而不會遺漏任何已顯示的圖像。
本申請要求2002年7月15日公布的日本專利申請號第2002-206119的優先權，特此全文引用，以供參考。
權利要求
1.一種圖像數據再現裝置，用於再現按照MPEG標準記錄在記錄介質上的壓縮圖像數據，該裝置包括存儲裝置，用於存儲從記錄介質讀取的壓縮圖像數據；STC產生裝置，用於對於正常速度再現而從設置的初始值開始順序地產生STC(STC_d)，其中，該STC(STC_d)被從記錄介質讀取的壓縮圖像數據的STC(STC_介質)開始延遲了固定時間(系統_延遲)；讀取控制裝置，根據由STC產生裝置產生的STC_d，順序地讀取存儲在存儲裝置中的壓縮圖像數據；和解碼裝置，用於對由讀取控制裝置讀取的壓縮圖像數據進行解碼，以便產生用於顯示的圖像數據；在從可變速度再現變換到正常速度再現時，根據變換時顯示圖像數據的PTS(PTS_s)和變換時的STC_介質-(由於變換(變換_延遲)產生的延遲量+系統_延遲)之間的比較結果，STC產生裝置設置初始值。
2.如權利要求1所述的裝置，其中，當滿足下列要求時PTS_s≥{變換時的STC_介質-(變換_延遲+系統_延遲)}在從可變速度再現變換成正常速度再現時，STC產生裝置將初始值設置為「變換時的STC_介質-(變換_延遲+系統_延遲)」。
3.如權利要求2所述的裝置，還包括變換裝置，在通過STC產生裝置以圖像為單位或以GOP(圖像組)為單位而設置初始值時，將記錄介質再現模式從可變速度再現變換成正常速度再現。
4.如權利要求1所述的裝置，其中，當滿足下列要求時PTS_s＜{變換時的STC_介質-(變換_延遲+系統_延遲)}在從可變速度再現變換成正常速度再現時，STC產生裝置將初始值設置為「PTS_s」。
5.如權利要求4所述的裝置，還包括變換裝置，用於在從當STC產生裝置設置初始值時的時間開始、在延遲了時間「調整延遲」的時間上，以圖像為單位或以GOP(圖像組)為單位，將記錄介質再現模式從可變速度再現變換成正常速度再現，所述時間「調整延遲」按下面給出的定義延遲時間(調整延遲)＝(變換時的STC_介質-PTS_s)-(變換_延遲+系統_延遲)。
6.如權利要求1所述的裝置，還包括TS分包裝置，用於在正常速度再現模式中僅對將要再現的壓縮圖像數據進行TS分包。
7.一種圖像數據再現方法，用於再現按照MPEG標準記錄到記錄介質上的壓縮圖像數據，該方法包括如下步驟存儲從記錄介質讀取的壓縮圖像數據；對於正常速度再現，從設置的初始值中順序地產生STC(STC_d)，其中，該STC(STC_d)被從由記錄介質讀取的壓縮圖像數據的STC(STC_介質)延遲了固定時間(系統延遲)；根據由STC產生裝置產生的STC_d，順序地讀取存儲在存儲裝置中的壓縮圖像數據；以及對由讀取控制裝置讀取的壓縮圖像數據進行解碼，以便產生用於顯示的圖像數據；在STC產生步驟中，在從可變速度再現變換到正常速度再現時，根據變換時顯示圖像數據的PTS(PTS_s)和STC介質-(由於變換(變換延遲)產生的延遲量+系統延遲)之間的比較結果，設置初始值。
8.如權利要求7所述的方法，其中，在STC產生步驟中，當滿足下列要求時PTS_s≥{變換時的STC_介質-(變換_延遲+系統_延遲)}在從可變速度再現變換成正常速度再現時，設置初始值為「變換時的STC_介質-(變換_延遲+系統_延遲)」。
9.如權利要求8所述的方法，還包括如下變換步驟在以圖像為單位或以GOP(圖像組)為單位在STC產生步驟中設置初始值的時間，將記錄介質再現模式從可變速度再現變換成正常速度再現。
10.如權利要求7所述的方法，其中，在STC產生步驟中，當滿足下列要求時PTS_s＜{變換時的STC_介質-(變換_延遲+系統_延遲)}在從可變速度再現變換成正常速度再現時，設置初始值為PTS_s。
11.如權利要求10所述的方法，還包括如下變換步驟從當在STC產生步驟中設置初始值時的時間、在延遲了時間「調整_延遲」的時間上，以圖像為單位或以GOP(圖像組)為單位，將記錄介質再現模式從可變速度再現變換成正常速度再現，所述時間「調整_延遲」按下面給出的定義延遲時間(調整_延遲)＝(變換時的STC_介質-PTS_s)-(變換_延遲+系統_延遲)。
12.如權利要求7所述的方法，還包括TS分包步驟，用於在正常速度再現模式中僅對將要再現的壓縮圖像數據進行TS分包。
全文摘要
在STC產生步驟中，順序地產生了多個被從正常速度再現模式中從記錄介質讀取的壓縮圖像數據中的STC(STC_介質)開始延遲了時間「系統_延遲」的STC(STC_d)。在這個STC產生步驟中，根據再現模式變換時的顯示圖像數據中的PTS(PTS_s)和{變換時的STC_介質－(由於變換(變換_延遲)產生的延遲+系統_延遲)}之間的比較結果，設置從可變速度再現變換到正常速度再現時的STC初始值。因此，當按照MPEG標準從可變速度再現模式變換到正常速度再現模式時，在正常速度再現模式中能夠平滑地顯示圖像，而不會遺漏任何已顯示的圖像。
文檔編號H04N5/76GK1472957SQ0314764
公開日2004年2月4日 申請日期2003年7月15日 優先權日2002年7月15日
發明者山崎健治, 後藤康博, 阿部文善, 下村宗弘, 博, 善, 弘 申請人:索尼公司