編碼裝置、編碼方法、解碼裝置與解碼方法
2023-10-16 18:40:24 6
專利名稱：編碼裝置、編碼方法、解碼裝置與解碼方法
技術領域：
本發明涉及編碼裝置、編碼方法、解碼裝置與解碼方法，而且例如適用於通過如衛星廣播、有線電視或網際網路的網絡介質發送由多個連續單元圖像信息構成的圖像信息(下文中稱為連續圖像信息)或者適用於在如光碟、磁碟或快閃記憶體的存儲介質上處理連續圖像信息。
背景技術：
近來，對於廣播站和家庭，為了有效的信息發送或存儲，通過將連續圖像作為數字信息，利用連續圖像信息的冗餘性，採用如MPEG(運動圖像專家組)的編碼系統來通過如離散餘弦變換的正交變換和運動補償編碼(壓縮)連續圖像的這類設備廣泛傳播。
特別地，由於它能夠處理交織的圖像和連續掃描的圖像、標準解析度圖像和高解析度圖像，因此MPEG2(ISO/IEC 13818-2)編碼系統被定義為通用圖像編碼系統，並廣泛用作專家和用戶應用。通過使用這種MPEG2編碼系統，例如通過為720×480像素的標準解析度交織圖像分配4至8[Mbps]的編碼量(位速率)或者通過為1920×1088像素的高解析度連續掃描圖像分配18至22[Mbps]的位速率，可以提供圖像的高編碼效率(壓縮率)和高質量。
MPEG2編碼系統主要用於編碼廣播的高質量圖像，而不處理低於MPEG1編碼系統所用的編碼量(位速率)，即，是具有高編碼效率的編碼方法。期望移動終端的普及能帶來這種編碼系統的高需求，因此MPEG4編碼系統被標準化。用於圖像的MPEG4編碼系統在1998年12月被批准為國際標準ISO/IEC 14496-2。
此外，近來，稱為MPEG4AVC或H.264的編碼系統(下文中稱為JVT編碼系統)被由VCEG組和MPEG組構成的聯合視頻小組標準化。與MPEG2和MPEG4相比，這種JVT編碼系統能提供更高的編碼效率，儘管它需要更多的編碼和解碼操作。
現在，圖8示出了利用上面所提到的任一種編碼系統實現編碼處理的編碼裝置的大致結構。如圖8所示，編碼裝置100包括圖像重新布置緩衝器102、加法器103、正交變換單元104、量化單元105、逆向編碼單元106、存儲緩衝器107、反量化單元108、反向正交變換單元109、幀存儲器110、運動預測/補償單元111和速率控制單元112。
在這種情況下，編碼裝置100將連續圖像信息存儲在圖像重新布置緩衝器102中，以便以單元-圖像-信息為基礎(一幀一幀或一個域一個域地)根據GOP(圖片組)結構重新布置連續圖像信息。
圖像重新布置緩衝器102將連續圖像信息中應當內部預測編碼的單元圖像信息給予正交變換單元104。正交變換單元104對單元圖像信息施加如離散餘弦變換或Karhunen Loeve變換的正交變換，並將所獲得的正交變換係數給予量化單元105。
在速率控制單元112的控制下，量化單元105對從正交變換單元104給出的正交變換係數執行量化處理，並將所獲得的量化信息(量化的正交變換係數)提供給逆向編碼單元106和反量化單元108。逆向編碼單元106對量化信息施加如算術編碼的變長編碼或逆向編碼，並將獲得的編碼信息(編碼量化信息)存儲在存儲緩衝器107中。
反量化單元108對量化信息施加反量化處理，並將獲得的正交變換係數提供給反向正交變換單元109。反向正交變換單元109對正交變換係數施加反向正交變換，並且如果必要，就將獲得的單元圖像信息作為參考圖像信息存儲在幀存儲器110中。
另一方面，圖像重新布置緩衝器102將連續圖像信息中應當內部預測編碼的單元圖像信息給予運動預測/補償單元111。運動預測/補償單元111通過利用單元圖像信息和從幀存儲器110中讀出的參考圖像信息執行運動預測/補償處理，並將獲得的預測圖像信息提供給加法器103。加法器103將預測圖像信息與對應單元圖像信息之間的差值作為差值信息提供給正交變換單元104。
就象在內部編碼的情況下，這個差值信息要進行各種處理，其結果作為編碼信息存儲在存儲緩衝器107中，而且如果必要，就作為參考圖像信息存儲在幀存儲器110中。
此外，運動補償/預測單元111將作為運動預測/補償處理結果和預測圖像信息一起獲得的運動向量信息給予逆向編碼單元106。逆向編碼單元106對運動向量信息執行逆向編碼處理，從而為對應編碼信息的頭部獲得編碼運動向量信息。
以這種方式，編碼裝置100通過以單元-圖像-信息為基礎對連續圖像信息執行編碼處理連續地創建編碼信息，並通過存儲緩衝器107連續地輸出編碼信息。
接下來，圖9示出了與編碼裝置100的編碼系統對應的執行編碼處理的解碼裝置的大致結構。如圖9所示，解碼裝置120包括存儲緩衝器121、逆向解碼單元122、反量化單元123、反向正交變換單元124、加法器125、圖像重新布置緩衝器126、運動預測/補償單元127和幀存儲器128。
在這種情況下，解碼裝置120暫時將連續輸入的編碼信息存儲在存儲緩衝器121中並將其提供給逆向解碼單元122。在編碼信息已進行內部預測編碼的情況下，逆向解碼單元122對編碼信息施加解碼處理，變長解碼或算術解碼，並將所獲得的量化信息提供給反量化單元123。
反量化單元123對從逆向解碼單元122給出的量化信息施加反量化處理，並將所獲得的正交變換係數提供給反向正交變換單元124。反向正交變換單元124對正交變換係數施加反向正交變換處理，從而創建編碼處理之前的原始圖像信息(下文中稱為恢復的圖像信息)，並將此存儲在重新布置緩衝器126中。
另一方面，在編碼信息已進行內部預測編碼的情況下，逆向解碼單元122對該編碼信息及插入到該編碼信息頭中的編碼運動向量信息執行解碼處理，並將所獲得的量化信息提供給反量化單元123，將運動向量信息提供給運動預測/補償單元127。就象在解碼內部編碼的編碼信息的情況下，量化信息進行各種處理，然後作為差值信息提供給加法器125。
此外，運動預測/補償單元127根據運動向量信息和存儲在幀存儲器128中的參考圖像信息創建預測圖像信息，並將其提供給加法器125。加法器125綜合參考圖像信息和差值信息並將所獲得的恢復的圖像信息存儲到圖像重新布置緩衝器126中。
以上面提到的方式，解碼裝置120通過對連續輸入的編碼信息執行解碼處理連續地創建恢復的圖像信息，並通過圖像重新布置緩衝器126連續地將恢復的圖像信息輸出到例如顯示單元(未示出)，用於連續複製。
順便提一句，由於MPEG2編碼系統規定只有I(內部)-圖片和P(預測)-圖片用作內部預測編碼的圖片，因此很自然地確定了解碼處理的解碼順序。
因此，在解碼裝置120連續再現通過對利用MPEG2編碼系統的編碼信息執行解碼處理所創建的恢復圖像信息的情況下，可以在顯示單元上適當地顯示基於恢復圖像信息的圖像，而不需要在圖像重新布置緩衝器126調整恢復圖像信息的輸出定時。
另一方面，與MPEG2編碼系統相比，JVT編碼系統對要進行預測編碼的圖片的選擇具有更大的自由度，例如，它不僅能處理I-和P-圖片，還能處理B(雙向)-圖片作為要進行內部預測編碼的圖片。
但是，JVT編碼系統不規定解碼處理中的解碼順序，進而不指定恢復圖像信息的輸出定時。
因此，如果解碼裝置120連續再現通過對利用JVT編碼系統的編碼信息執行解碼處理所創建的恢復圖像信息，那麼由於圖像重新布置緩衝器126有限的資源，偶爾也會出現在對應於編碼信息的恢復圖像信息的輸出定時編碼信息仍在解碼，由此打斷了連續性。
發明內容
本發明是考慮以上觀點產生的，目的在於使解碼裝置執行連續再現的編碼裝置和編碼方法，及能夠執行連續再現的解碼裝置和解碼方法。
為了解決這些問題，在本發明中，利用能夠處理至少B-圖片作為預測編碼圖片的編碼系統執行編碼處理的編碼裝置包括用於預見到通過編碼處理創建的編碼信息在解碼側連續解碼而計算解碼多個編碼信息的結果的輸出定時的定時計算裝置，及用於在獲得解碼對應編碼信息的結果之前通知解碼側由定時計算裝置計算的每個輸出定時的定時通知裝置。
因此，本發明的編碼裝置可以使解碼側識別出預見到編碼信息將在解碼側解碼而計算出的輸出定時，從而即使編碼信息利用不允許自然確定解碼順序的編碼系統進行了編碼也能保持恢復圖像信息的輸出連續性，因而解碼側能執行連續再現。
此外，在利用能夠處理至少B-圖片作為預測編碼圖片的編碼系統執行編碼處理的編碼方法中，預見到通過執行編碼處理創建的多個編碼信息將在解碼側連續解碼，計算解碼編碼信息結果的輸出定時，並在獲得解碼對應編碼信息的結果之前通知解碼側計算出的輸出定時。
因此，在根據本發明的編碼方法中，通過使解碼側識別出預見到編碼信息將在解碼側解碼而計算出的輸出定時，即使編碼信息利用不允許自然確定解碼順序的編碼系統進行了編碼也能保持恢復圖像信息的輸出連續性，因而解碼側能執行連續再現。
此外，對利用能夠處理至少B-圖片作為預測編碼圖片的編碼系統進行編碼的多個編碼信息執行解碼處理的解碼裝置包括用於暫時存儲作為解碼處理結果連續創建的恢復圖像信息的存儲裝置及用於控制要存儲在存儲裝置中的恢復圖像信息輸出的輸出控制裝置。如果要存儲在存儲裝置中的恢復圖像信息失敗，則輸出控制裝置重新輸出失敗之前剛輸出的恢復圖像信息。
因此，即使編碼信息利用不允許自然確定解碼順序的編碼系統進行了編碼，本發明的解碼裝置也能保持恢復圖像信息的輸出的連續性，因而能執行連續再現。
此外，在本發明中，對利用能夠處理至少B-圖片作為預測編碼圖片的編碼系統進行編碼的多個編碼信息執行解碼處理的解碼方法包括暫時存儲作為解碼處理結果順序創建的恢復圖像信息的第一步，輸出要存儲的恢復圖像信息的第二步，及在要存儲的恢復圖像信息失敗的情況下重新輸出失敗之前剛輸出的恢復圖像信息的第三步。
因此，在本發明的解碼方法中，即使編碼信息利用不允許自然確定解碼順序的編碼系統進行了編碼，也能保持恢復圖像信息的輸出連續性，因而能執行連續再現。
圖1是顯示根據第一實施方式的圖像再現系統的方框圖。
圖2是顯示編碼控制單元處理內容的功能性方框圖。
圖3是用於解釋輸出定時計算的表。
圖4是顯示輸出定時通知處理過程的流程圖。
圖5是顯示根據第二實施方式的圖像再現系統的方框圖。
圖6是用於解釋重新輸出控制的表。
圖7是顯示重新輸出控制處理過程的流程圖。
圖8是顯示編碼裝置結構的方框圖。
圖9是顯示解碼裝置結構的方框圖。
具體實施例方式
實施方式1(1)圖像再現系統1的結構參考圖1，標號1作為整體示出了根據第一實施方式的圖像再現系統，它是通過以規定的傳輸線彼此連接帶JVT編碼系統的編碼裝置2和解碼裝置3構成的。
編碼裝置2包括具有與參考圖8描述的編碼裝置100相同結構的編碼單元10和編碼控制單元11，與參考圖8描述的情況類似，編碼控制單元11用於控制編碼單元10對通過由編碼控制單元11控制的編碼單元10的連續圖像信息D1執行編碼處理，從而從單元圖像信息(幀數據或域數據)D1a至D1n連續創建編碼信息D2(D2a，D2b，...或D2n)然後輸出編碼信息D2，連續圖像信息D1是從外部提供或從如HDD(硬碟驅動器)的內部記錄介質(未示出)讀出的。
另一方面，解碼裝置3包括具有與參考圖9描述的解碼裝置120相同結構的解碼單元20和解碼控制單元21，與參考圖9描述的情況類似，解碼控制單元21用於控制解碼單元20對通過傳輸線、通過由解碼控制單元21控制的解碼單元20連續輸入的編碼信息D2執行解碼處理，從而連續創建恢復圖像信息D3(D3a，D3b，...D3n)，然後連續將該恢復圖像信息D3輸出到顯示單元(未示出)，這導致連續再現。
(2)編碼控制單元11的結構編碼裝置2的編碼控制單元11根據預先存儲的程序、關於JVT編碼系統的表信息等檢測輸入到編碼單元10的連續圖像信息D1的GOP結構和關於編碼處理的條件，如編碼順序，(下文中稱為編碼條件)，從而就該編碼條件控制編碼單元10。
除了上面的結構，編碼控制單元11還預見到編碼信息D2將在解碼側(解碼裝置3)連續解碼，計算作為解碼編碼信息D2結果的恢復圖像信息D3的輸出定時，並執行輸出定時通知處理，在創建恢復圖像信息D3之前通知解碼裝置3該輸出定時。
現在，如果編碼控制單元11的輸出定時通知處理的處理內容要功能性劃分，則它們可以分成用於計算在編碼信息D2的解碼處理開始後到由該處理創建的解碼圖像信息D3輸出的時間段(下文中這段時間稱為「解碼延遲」)的延遲計算單元11a和用於如圖2所示增加解碼延遲作為對應編碼信息D2頭部的頭部添加單元11b。由延遲計算單元11a和頭部增加單元執行的處理將利用圖3所示的例子描述。
參考圖3，列「EI(編碼器輸入)」根據GOP結構示出了分配給要輸入到編碼單元10的單元圖像信息D1a至D1n的圖片類型，即編碼處理之前的圖片類型順序。列「EO(編碼器輸出)」示出了通過以規定編碼順序對輸入到編碼單元10的單元圖像信息D1a至D1n執行編碼處理所創建的編碼信息D2a至D2n的圖片類型，即編碼處理之後的圖片類型順序。
列「Ed(編碼器延遲)」示出了單元圖像信息D1a，D1b，...或D1n的編碼處理開始後到由該處理創建的編碼信息D2輸出的時間段(下文中這段時間稱為編碼延遲)，這個時間段是根據編碼條件計算的。根據(列「Ed」中的)編碼延遲，如果必要，就調整(列「EO」中)編碼信息D2a至D2n的輸出定時。具體來說，例如，關於屬於I-圖片類型的第一單元圖像信息D1a(列「EI」中的「I00」)，如果從其輸入(t＝0)到它轉換成編碼信息D2a(列「E0」中的「I00」)的時間段小於對應的編碼延遲(列「Ed」中的6秒)，則其輸出定時被編碼單元10的存儲緩衝器107(圖8)中的存儲器調整，而且當過了編碼延遲(6秒)時該信息輸出。
延遲計算單元11a根據編碼延遲為編碼信息D2計算解碼延遲(列「Dd(解碼器延遲)」)，並計算編碼信息D2a至D2n的解碼延遲，因此具有最長編碼延遲(10秒)的編碼信息D2(「B13」)的解碼延遲是最短的。
具體來說，由於最長編碼延遲是10[秒]，因此延遲計算單元11a從10[秒]中減去對應於每條編碼信息D2a至D2n的編碼延遲值，由此為編碼信息D2a至D2n計算解碼延遲值(列「Dd」中的值)。
然後，延遲計算單元11a從這些計算出的解碼延遲創建解碼延遲信息D10，然後將它們發送到頭部添加單元11b。
每次當編碼單元10創建編碼信息D2時，頭部添加單元11b就根據從延遲計算單元11a提供的解碼延遲信息D10通過在頭部放置延遲將對應的解碼延遲加到編碼信息D2中。
在這種情況下，例如當過了編碼延遲以後將這種解碼延遲加為頭部的編碼信息D2a(列「EO」中的「I00」)輸出，並通過傳輸線輸入到解碼裝置3。應當指出，在圖3中，不考慮通過編碼裝置2與解碼裝置3之間傳輸線的傳輸時間，因此認為編碼信息D2至解碼裝置3的輸入定時與編碼信息D2從編碼裝置10的輸出定時(列「EO」中)相同。
解碼裝置3根據編碼信息D2的解碼延遲調整作為解碼編碼信息D2結果的恢復圖像信息D3的輸出定時。即，例如，第一編碼信息D2a的解碼延遲(列「Dd」中的4[秒])在編碼信息D2a解碼之前被解碼裝置3的解碼控制單元21根據添加到編碼信息D2a的頭部識別出來。然後，編碼信息D2a被解碼單元20轉換成恢復圖像信息D3a，而且如果從輸入(t＝6)通過的時間小於對應的編碼延遲(4[秒])，則其輸出定時被圖像重新布置緩衝器126(圖9)中的存儲器根據需要調整，而且當過了解碼延遲後(4[秒](t＝10))，恢復圖像信息D3a輸出顯示在顯示單元上。
此外，關於其它編碼信息D2b至D2n，與編碼信息D2a類似，它們被解碼單元20轉換成恢復圖像信息D3b至D3n，而且如果必要，則這些恢復圖像信息D3b至D3b被圖像重新布置緩衝器126(圖9)重新布置成具有與編碼處理之前相同的圖片類型順序(列「DO(解碼器輸出)」)，並在輸出定時根據對應編碼延遲調整後輸出，這導致連續再現。
編碼控制單元11執行上述輸出定時通知處理，由此使解碼裝置3能通過頭部識別出解碼延遲，該解碼延遲是假定編碼信息D2將被解碼裝置3解碼而計算出的。
現在，如上所述的輸出定時通知處理是遵循圖4所示用於輸出定時通知處理的過程RT1執行的。
具體來說，當執行編碼處理的預定操作利用輸入單元(未示出)執行後，編碼控制單元11從步驟SP0開始用於輸出定時通知處理的過程RT1，並在下一步SP1從根據編碼條件計算出的編碼延遲中找出最長的編碼延遲(對應於圖3列「Ed」中的10[秒])。
然後，例如，編碼控制單元11在步驟SP2將存在於編碼單元10的逆向編碼單元106(圖8)中的編碼信息D2a存儲到存儲緩衝器107(圖8)中，並在步驟SP3判斷是否已成功進行了存儲，如果得到否定結果，則處理返回步驟SP2，重新存儲編碼信息D2a。
相反，如果在步驟SP2得到肯定結果，則編碼控制單元11從步驟SP1識別出的編碼延遲減去在步驟SP2存儲的編碼信息D2a的編碼延遲(這對應於圖3列「Ed」中的6[秒])，從而在步驟SP4計算出編碼信息D2a的解碼延遲(這對應於列「Dd」中的4[秒])，並將計算出的解碼延遲作為頭部加到編碼信息D2a。
然後，編碼控制單元11在步驟SP5判斷是否所有的編碼信息D2都進入存儲緩衝器107(圖8)，如果得到否定結果，則返回步驟SP2並重複上述處理，相反，如果得到肯定結果，則移動到步驟SP6，用於輸出定時通知處理的過程RT1終止。
如上所述，編碼控制單元11能夠執行遵循用於輸出定時通知處理的過程RT1的輸出定時通知處理。
在上面提到的結構中，編碼裝置2預見到作為利用JVT編碼系統編碼的結果獲得的編碼信息D2將在解碼裝置3一側解碼，為解碼編碼信息D2的結果(恢復圖像信息D3)計算輸出定時(解碼延遲)，並將計算出的輸出定時加為頭部。
因此，這種編碼裝置2使得解碼裝置3能夠通過頭部在解碼處理之前識別出假定編碼信息D2將由解碼裝置3解碼所獲得的解碼延遲，因此即使編碼信息D2利用不允許自然確定解碼順序的JVT編碼系統進行了編碼，也能保持恢復圖像信息D3的輸出連續性。
在這種情況下，編碼裝置2計算恢復圖像信息D3的輸出定時(解碼延遲)，從而輸出解碼開始編碼處理後到編碼信息D2輸出的時間段中具有最長時間周期的編碼信息D2的結果(圖3中的「B13」)。
因此，編碼裝置2能根據來自解碼側用於在解碼側需要最長解碼時間的編碼信息D2的輸出定時(編碼延遲)為解碼編碼信息D2的結果(恢復圖像信息D3)計算輸出定時(解碼延遲)，因此，來自解碼裝置3的輸出定時可以(通過偏移量)調整，從而不會出現下溢。
根據以上結構，假定通過利用JVT編碼系統編碼所獲得的編碼信息D2將在解碼裝置3一側解碼，計算用於通過解碼編碼信息D2所獲得的恢復圖像信息D3的輸出定時(解碼延遲)，而且計算出的輸出定時被加作頭部，從而即使編碼信息D2利用不允許自然確定解碼順序的JVT編碼系統進行了編碼，也能保持恢復圖像信息D3的輸出連續性，因而解碼裝置3能執行連續再現。
(3)其它實施方式應當指出，上述第一實施方式描述了採用JVT編碼系統的情況。但是，本發明不限於此，其它類型能處理至少B-圖片作為預測編碼圖片的編碼系統也能採用。
此外，上述第一實施方式描述了假定多個通過執行編碼處理所創建的編碼信息D2在解碼側順序解碼，用於為解碼該編碼信息的結果計算輸出定時的定時計算裝置為解碼編碼信息的結果計算解碼延遲的情況，因此解碼具有編碼延遲中最長編碼延遲的編碼信息D2的結果立即輸出。但是，本發明不限於此，獲得解碼編碼信息的結果後到其輸出定時的時間段可以代替解碼延遲計算，或者用於解碼編碼信息結果的解碼延遲可以根據存儲在解碼側緩衝器中的信息的假定佔有率計算結果計算。如果輸出定時可以根據這種計算結果計算，則這種輸出定時可以計算，從而使解碼側執行穩定的連續再現。
此外，上述第一實施方式描述了用於在獲得解碼對應編碼信息的結果之前通知解碼側輸出定時的定時通知裝置根據從延遲計算單元11a提供的解碼延遲信息D10將輸出定時(解碼延遲)加到對應編碼信息D2作為其頭部的情況。但是，本發明不限於此，解碼延遲信息D10可以在編碼處理之前直接輸出到解碼側，而不需要加為頭部。
實施方式2(1)圖像再現系統51的結構在相同標號用於圖1中對應部分的圖5中，標號51作為整體示出了根據第二實施方式的圖像再現系統，該系統是通過以規定的傳輸線彼此連接帶JVT編碼系統的編碼裝置52和解碼裝置53構成的。
編碼裝置52具有編碼單元10和用於控制編碼單元10的編碼控制單元61，編碼控制單元61不執行上述輸出定時通知處理，但執行在上述第一實施方式中執行的其它處理。在這種情況下，編碼裝置52利用由編碼控制單元61控制的編碼單元10對連續圖像信息D1執行編碼處理，由此連續創建沒有解碼延遲加作頭部的編碼信息D2，然後連續輸出編碼信息D2。
另一方面，解碼裝置53具有解碼單元20和用於控制解碼單元20的解碼控制單元71，通過由解碼控制單元71控制的解碼單元20對通過傳輸線連續輸入的編碼信息D2執行解碼處理，由此創建恢復圖像信息D3，然後將該恢復圖像信息D3連續輸出到顯示單元(未示出)，用於連續再現。
(2)解碼控制單元71的結構實際上，這種解碼單元53的解碼控制單元71將連續輸入的編碼信息D2暫時存儲在解碼單元20的存儲緩衝器121(圖9)中，根據編碼信息D2的頭部檢測解碼的條件(下文中稱為解碼條件)，如編碼信息D2的解碼順序和解碼處理的開始時間，從而關於該解碼條件控制解碼單元20。
除了以上結構，解碼控制單元71還觀察解碼處理之後存儲在圖像重新布置緩衝器126(圖9)中的恢復圖像信息的存儲狀態，當檢測到下溢為存儲狀態時，執行重新輸出控制處理，用於重新輸出檢測(下溢)之前剛輸出的恢復圖像信息D3。這種重新輸出控制處理將利用圖6所示的例子描述。
在圖6中，如在圖3的情況下，列「EI」示出了編碼處理之前的圖片類型順序，列「EO」示出了編碼處理之後的圖片類型順序，列「DO」示出了解碼後的圖片類型順序，列「Ed」示出了編碼延遲，而列「Dd」示出了解碼延遲。此外，如在圖3的情況下，在圖6中，不考慮通過編碼裝置52與解碼裝置53之間傳輸線的傳輸時間，而且認為至解碼裝置63的編碼信息D2的輸入時間與編碼信息D2從編碼單元10的輸出時間(列「EO」中)相同。
此外，列「Sud(啟動延遲)」示出了每條編碼信息D2輸入後到啟動解碼處理的時間段(下文中，這段時間稱為啟動延遲)，該啟動延遲是根據編碼裝置52的編碼控制單元61的編碼條件計算的並加為頭部。
當解碼控制單元71接收到第一編碼信息D2a(列「EO」中的「I00」)時，它忽略編碼信息D2a的啟動延遲(列「Sud」中的「6」[秒])並執行立即將編碼信息D2a發送到逆向編碼單元122和啟動解碼處理的控制(列「Dd」中的「0」[秒])。因此，解碼控制單元71能縮短連續複製的準備時間(驅動時間)。
在這種情況下，由於控制，解碼控制單元71在解碼處理的實際啟動時間和原始啟動時間之間有滯後(這個滯後要調整，具體來說在圖6中是6[秒]，下文中稱為要調整的延遲量)，因此作為解碼編碼信息D2a結果的恢復圖像信息D3a通過圖像重新布置緩衝器126輸出，然後重新輸出(在列「D0」中的項「t＝8」)，從而偏移一部分要調整的延遲量(這對應於列「Dd」中「t＝8」的「2」[秒])。
然後，解碼控制單元71在編碼信息D2a之後擁有根據啟動延遲連續輸入的編碼信息D2b、D2c，...(列「EO」中的「P01」、「P02」，...)，並管理解碼處理後存儲在圖像重新布置緩衝器126(圖9)中的恢復圖像信息D3b，D3c，...(列「DO」中的「P01」、「P02」，...)的存儲狀態。
在這種情況下，每次當要存儲到圖像重新布置緩衝器126中的恢復圖像信息D3失敗(下溢)時，解碼控制單元就重新輸出失敗之前剛輸出的恢復圖像信息D3(列「DO」中的「P05」和「P10」)，由此周期性地偏移要調整的其它延遲量。
以這種方式，解碼控制單元71執行重新輸出控制處理，從而保持恢復圖像信息D3的輸出連續性。
現在，上述輸出定時通知處理是遵循圖7所示用於重新輸出控制處理的過程RT2順序執行的。
即，當執行解碼處理的預定操作利用例如輸入單元(未示出)執行後，解碼控制單元71從步驟SP10開始用於重新輸出控制處理的過程RT2，並在下一步SP11等待要輸入的第一編碼信息D2a，而且當接收到編碼信息D2a時移動到步驟SP12。
然後，解碼控制單元71忽略編碼信息D2a的啟動延遲並在步驟SP12立即開始解碼處理，在步驟SP13輸出作為解碼處理結果獲得的恢復圖像信息D3a之後，在步驟SP14重新輸出恢復解碼信息D3a，以偏移一部分要調整的延遲量。
接下來，解碼控制單元71開始解碼隨後的恢復圖像信息D2(D2b，D2c，...D2n)，並在步驟SP15輸出由該處理獲得的恢復圖像信息D3(D3b，D3c，...D3n)，並在下一步SP16判斷要存儲在圖像重新布置緩衝器126(圖9)中的恢復圖像信息D3是否失敗，如果得到否定結果，則返回步驟SP15並重複以上處理。
相反，如果得到肯定結果，則解碼控制單元71重新輸出在步驟SP15輸出的恢復圖像信息D3(列「DO」中的「P05」和「P10」)，以偏移一部分(或全部)要調整的剩餘延遲量，並移動到下一步SP18。
然後，解碼控制單元71在步驟SP18判斷是否所有要調整的延遲量都偏移了，如果得到否定結果，則返回步驟SP15並重複以上處理。相反，如果得到肯定結果，則解碼控制單元71移動到步驟SP19，用於重新輸出控制處理的過程RT2終止。
以這種方式，編碼控制單元11可以執行遵循用於重新輸出控制處理的過程RT2的重新輸出控制處理。
根據以上結構，解碼裝置53將通過對利用JVT編碼系統編碼的編碼信息D2執行解碼處理連續創建的恢復圖像信息D3暫時存儲在圖像重新布置緩衝器126(圖9)中，如果要存儲到圖像重新布置緩衝器126(圖9)的恢復圖像信息D3失敗，則重新輸出失敗之前剛輸出的恢復圖像信息D3。
因此，即使編碼信息D2是利用不允許自然確定解碼順序的JVT編碼系統進行了編碼，解碼裝置53也能保持恢復圖像信息D3的輸出連續性。
在這種情況下，解碼裝置53忽略為存儲在存儲緩衝器121(圖9)中的第一編碼信息D2設置的解碼開始時間(啟動延遲)並立即開始編碼信息D2a的解碼，而且當要存儲到圖像重新布置緩衝器126(圖9)的恢復圖像信息D3失敗時，通過重新輸出失敗之前剛輸出的恢復圖像信息，從由於忽略出現的設置解碼開始時間偏移一個滯後(要調整的延遲量)。
因此，解碼裝置53能縮短連續再現的準備時間(驅動時間)並保持恢復圖像信息的輸出連續性，同時周期性地分散由於縮短出現的滯後(要調整的延遲量)。
根據上述結構，通過對利用JVT編碼系統進行了編碼的編碼信息D2執行解碼處理連續創建的恢復圖像信息D3暫時存儲在圖像重新布置緩衝器126(圖9)中，而且當要存儲到圖像重新布置緩衝器126(圖9)的恢復圖像信息D3失敗時，失敗之前剛輸出的恢復圖像信息D3被重新輸出，因此即使編碼信息D2利用不允許自然確定解碼順序的JVT編碼系統進行了編碼，也能保持恢復圖像信息D3的輸出連續性，這導致連續再現。
(3)其它實施方式應當指出，上述第二實施方式描述了採用JVT編碼系統的情況。但本發明不限於此，其它類型能夠處理至少B-圖片作為預測編碼圖片的編碼系統也能採用。
此外，上述第二實施方式獨立使用存儲緩衝器121和重新布置緩衝器126作為暫時存儲編碼信息和通過對該編碼信息執行解碼處理順序創建的恢復圖像信息的存儲裝置。但本發明不限於此，存儲緩衝器121和重新布置緩衝器126可以共同使用。在這種情況下，緩衝器的個數和存儲的方式可以根據需要改變。
而且，上述第二實施方式描述了充當輸出控制裝置的解碼控制單元71忽略為存儲在存儲緩衝器121(圖9)中的第一編碼信息D2a設置的解碼開始時間(啟動延遲)並立即開始解碼編碼信息D2a的情況，而且當要存儲到圖像重新布置緩衝器126(圖9)的恢復圖像信息D3失敗時，通過重新輸出失敗之前剛輸出的恢復圖像信息，從而忽略出現的設置解碼開始時間偏移一滯後(要調整的延遲量)。除此之外，如果存儲在存儲緩衝器121中的任一編碼信息D2a至D2b的存儲順序(列「EO」中)不同於編碼前的順序(列「EI」中)(例如，圖6中的項「t＝32」)，則對應於具有不同順序的編碼信息D2的恢復圖像信息D3可以重新輸出。通過這樣做，當產生不同順序時變長的解碼延遲可以通過重新輸出填充，這導致恢復圖像信息D3更有保證的輸出連續性。
工業應用性本發明可以用於通過例如衛星廣播、有線電視或網際網路的網絡介質發送連續圖像信息的情況，或者在例如光碟、磁碟或快閃記憶體的存儲介質上處理連續圖像信息的情況。
權利要求
1.一種利用能夠處理至少B-圖片作為要被預測編碼的圖片的編碼系統執行編碼處理的編碼裝置，該編碼裝置包括定時計算裝置，用於在預見到多個通過執行編碼處理創建的編碼信息將在解碼側順序解碼的情況下，為解碼編碼信息的結果計算輸出定時；及定時通知裝置，用於在獲得解碼對應編碼信息的結果之前，通知所述解碼側由所述定時計算裝置計算的輸出定時。
2.如權利要求1所述的編碼裝置，其中所述定時計算裝置為解碼編碼信息的結果計算輸出定時，從而立即輸出解碼具有從編碼處理開始到編碼信息輸出的時間段中最長時間的編碼信息的結果。
3.一種利用能夠處理至少B-圖片作為要被預測編碼的圖片的編碼系統執行編碼處理的編碼方法，所述編碼方法包括第一步驟，在預見到多個通過執行所述編碼處理創建的編碼信息在解碼側順序解碼的情況下，為解碼該編碼信息的結果計算輸出定時；及第二步驟，在獲得解碼對應編碼信息的結果之前通知所述解碼側在所述第一步驟計算出的輸出定時。
4.如權利要求3所述的編碼方法，其中在所述第一步驟中，計算用於解碼編碼信息的結果的輸出定時，從而立即輸出解碼具有從編碼處理開始到編碼信息輸出的時間段中最長時間的編碼信息的結果。
5.一種對多個利用能夠處理至少B-圖片作為要被預測編碼的圖片的編碼系統編碼的編碼信息執行解碼處理的解碼裝置，所述解碼裝置包括存儲裝置，用於暫時存儲由解碼處理順序創建的恢復圖像信息；及輸出控制裝置，用於控制存儲在所述存儲裝置中的恢復圖像信息的輸出，其中當要存儲在所述存儲裝置中的恢復圖像信息失敗時，所述輸出控制裝置重新輸出失敗之前剛輸出的恢復圖像信息。
6.如權利要求5所述的解碼裝置，其中所述存儲裝置也暫時存儲每條編碼信息；及所述輸出控制裝置忽略為存儲在所述存儲裝置中的第一編碼信息設置的解碼開始時間，立即開始解碼第一編碼信息，而且當出現失敗時，通過重新輸出失敗前剛輸出的恢復圖像信息，偏移由於忽略出現的從解碼開始時間的滯後。
7.如權利要求5所述的解碼裝置，其中所述存儲裝置暫時存儲每條編碼信息；及當存儲在所述存儲裝置中的編碼信息的存儲順序不同於編碼前的順序時，所述輸出控制裝置重新輸出對應於具有不同順序的編碼信息的恢復圖像信息。
8.一種對多個利用能夠處理至少B-圖片作為要被預測編碼的圖片的編碼系統編碼的編碼信息執行解碼處理的解碼方法，所述解碼方法包括第一步驟，暫時存儲由解碼處理連續創建的恢復圖像信息；第二步驟，輸出要存儲的恢復圖像信息；及第三步驟，當要存儲的恢復圖像信息失敗時，重新輸出失敗前剛輸出的恢復圖像信息。
9.如權利要求8所述的解碼方法，其中所述第一步驟包括這樣的解碼開始步驟在解碼處理之前暫時存儲每條編碼信息，忽略為所存儲的第一編碼信息設置的解碼開始時間並立即開始第一編碼信息的解碼；及當出現失敗時，所述第三步驟通過重新輸出失敗前剛輸出的恢復圖像信息偏移由於解碼開始步驟不考慮解碼開始時間就開始解碼而出現的從解碼開始時間的滯後。
10.如權利要求8所述的解碼方法，其中所述第一步驟包括這樣的判斷步驟在解碼處理之前暫時存儲每條編碼信息，判斷所存儲每條編碼信息的存儲順序是否不同於編碼處理前的順序；及當由所述判斷步驟獲得指示不同的判斷結果時，所述第三步驟重新輸出對應於具有不同順序的編碼信息的恢復圖像信息。
全文摘要
有可能執行連續再現。編碼設備根據所定義的編碼方法執行編碼處理，因此至少B－圖片可以用作預測編碼對象。該編碼設備包括預見到多個作為編碼處理結果產生的編碼信息將在解碼側順序解碼而為解碼編碼信息的結果計算輸出定時的定時計算裝置，及用於在獲得對應編碼信息的解碼結果之前通知解碼側由定時計算裝置計算出的輸出定時的定時通知裝置。
文檔編號H04N7/32GK1669331SQ03817089
公開日2005年9月14日 申請日期2003年7月18日 優先權日2002年7月19日
發明者亨德裡庫斯·瑪庫斯·維爾特曼, 矢崎陽一, 鈴木輝彥 申請人:索尼株式會社