視頻信息編碼方法和視頻信息解碼方法
2023-06-01 05:44:01
專利名稱：視頻信息編碼方法和視頻信息解碼方法
技術領域：
本發明與最近開發的標準JVT(ITU-T Rec.H.264|ISO/IEC14496-10AVC)相類似，涉及當通過網絡媒體諸如衛星廣播、有線電視或網際網路接收視頻信息(比特流)，或者當在存儲介質諸如光碟、磁碟或快閃記憶體上處理視頻信息時，所使用的一種用於編碼視頻信息的方法、設備和程序，以及一種用於解碼視頻信息的方法、設備和程序，通過正交變換諸如離散餘弦變換或者卡南-洛維(karhunen loeve)變換，以及運動補償壓縮所述視頻信息。
背景技術：
近來，對於提供信息的廣播站和接收所述信息的家庭來說，為了有效的信息傳輸和存儲，使用採用一種方法諸如MPEG以使用所述視頻信息的冗餘，將所述視頻信息作為數字信息，通過正交變換諸如離散餘弦變換、和運動補償來壓縮視頻信息的設備已經變得普遍。
尤其是，規定MPEG2(ISO/IEC 13818-2)為通用的視頻編碼方法，並且由於它能夠處理隔行掃描圖像和逐行掃描圖像，以及標準解析度視頻和高解析度視頻，因此將其廣泛用作專業和消費的應用。通過使用所述MPEG2壓縮方法，能夠實現視頻的高壓縮率和高質量，例如通過給標準解析度720×480像素的隔行掃描圖像分配比特率為4到8Mpbs，或給高解析度1920×1088像素的逐行掃描圖像分配比特率為18到22Mbps。
MPEG2主要為廣播編碼高質量的視頻，並不處理低於MPEG1所用比特率的比特率，即，它是一種具有高壓縮率的編碼方法。但是，希望移動終端的流行將會帶來對這種編碼方法的巨大需求，所以，已經標準化了MPEG4編碼系統。有關視頻編碼方法的標準已被批准為國際標準ISO/IEC 14496-2(1998年12月)。
另外，近來，正在標準化將用於視頻會議的視頻編碼作為首先期望用途的、被稱之為JVT(ITU-T Rec.H.264|ISO/IEC 14496-10AVC)的方法。與諸如MPEG2和MPEG4的傳統編碼系統相比，所公知的是所述JVT能夠提供更高的編碼效率，儘管它需要更多的編碼和解碼操作。
圖8示出了利用正交變換諸如離散餘弦變換或者卡南-洛維變換以及運動補償實現視頻壓縮的視頻信息編碼設備的通用結構。如圖8中所示，一種視頻信息編碼設備100由一個A/D轉換器101、一個屏幕重新排列緩衝器102、一個加法器103、一個正交變換單元104、一個量化單元105、一個逆編碼單元106、一個存儲緩衝器107、一個去量化單元108、一個逆正交變換單元109、一個幀存儲器110、一個運動預測/補償單元111、和一個速率控制單元112構成。
參考圖8，所述A/D轉換器101將輸入的視頻信號轉換成數位訊號。所述屏幕重新排列緩衝器102根據A/D轉換器101所提供的視頻壓縮信息的GOP(圖像組)重新排列各幀。該屏幕重新排列緩衝器102為正交變換單元104提供有關將要內部編碼(在圖像內部編碼)的圖像的全部幀的視頻信息。所述正交變換單元104給所述視頻信息應用一種正交變換，諸如離散餘弦變換或者卡南-洛維變換，並將變換係數提供給所述量化單元105。該量化單元105對正交變換單元104所提供的變換係數執行一種量化處理。
所述逆編碼單元106根據量化單元105提供的所述量化變換係數、量化標度確定一種編碼模式，並給所述編碼模式應用可變長度編碼或諸如算術編碼的逆編碼，以產生將被插入到編碼視頻每個單元的報頭部分中的信息。給定所述被編碼的編碼模式並將它存儲在存儲緩衝器107中。輸出這種被編碼的編碼模式作為視頻壓縮信息。
另外，所述逆編碼單元106給所述量化的變換係數應用可變長度編碼或逆編碼，諸如算術編碼，並將該編碼的變換係數提供給所述存儲緩衝器107以便將其存儲在那裡。輸出這種編碼的變換係數作為視頻壓縮信息。
所述量化單元105在速率控制單元112的控制下操作。該量化單元105為去量化單元108提供所述量化的變換係數，該去量化單元對所述變換係數執行去量化操作。所述逆正交變換單元109通過給所述去量化的變換係數應用一種逆正交變換處理產生解碼視頻信息，並將該信息提供給所述幀存儲器110以便將其存儲在那裡。
另一方面，所述屏幕重新排列緩衝器102為運動預測/補償單元111提供有關將要被圖像間編碼(在圖像之間編碼)的圖像的視頻信息。所述運動預測/補償單元111同時從所述幀存儲器110中檢索用於參考的視頻信息，並執行運動預測/補償處理以產生參考視頻信息。該運動預測/補償單元111將所述參考視頻信息提供給加法器103，然後加法器將所述參考視頻信息轉換成與前述視頻信息的差分信號。同時，運動預測/補償單元111為逆編碼單元106提供運動向量信息。
所述逆編碼單元106根據量化單元105提供的所述量化變換係數、所述量化標度以及運動預測/補償單元111所給出的運動向量信息等等確定一種編碼模式，並給所述編碼模式應用可變長度編碼或逆編碼諸如算術編碼，以產生將被插入到編碼視頻每個單元的報頭中的信息。將所述被編碼的編碼模式提供給存儲緩衝器107並將它存儲在那裡。輸出這種被編碼的編碼模式作為視頻壓縮信息。
所述逆編碼單元106給所述運動向量信息應用可變長度編碼或逆編碼諸如算術編碼，以產生將被插入到編碼視頻每個單元的報頭部分中的信息。
在所述圖像間編碼中，將被輸入到正交變換單元104中的視頻信息是通過加法器103獲得的差分信號，這不同於所述內部編碼。由於其他處理與將被圖像內部編碼的視頻壓縮信息情況中的處理相同，因此將省略對這些處理的說明。
接下來，圖9示出了對應於上述視頻信息編碼設備100的視頻信息解碼設備的通用結構。如圖9中所示，所述視頻信息解碼設備120由一個存儲緩衝器121、一個逆解碼單元122、一個去量化單元123、一個逆正交變換單元124、一個加法器125、一個屏幕重新排列緩衝器126、一個D/A轉換器127、一個運動預測/補償單元128以及一個幀存儲器129所構成。
所述存儲緩衝器121暫時存儲輸入的視頻壓縮信息，然後將所述信息傳送到所述逆解碼單元122。該逆解碼單元122根據視頻壓縮信息的規定格式，給所述視頻壓縮信息應用可變長度解碼或諸如算術解碼的處理，從它的報頭部分獲得所述編碼模式信息，並將該信息提供給去量化單元123。同理，所述逆解碼單元122獲得所述量化的變換係數並把它提供給去量化單元123。在所述幀已經經受圖像間編碼的情況下，所述逆解碼單元122還解碼在視頻壓縮信息的報頭部分中存儲的運動矢量信息，並將該信息提供給運動預測/補償單元128。
所述去量化單元123去量化從逆解碼單元122提供的量化的變換係數，並將該變換係數提供給逆正交變換單元124。所述逆正交變換單元124根據視頻壓縮信息的規定格式，給所述變換係數應用逆正交變換，諸如逆離散餘弦變換或逆卡南-洛維變換。
另一方面，在所述幀已經經受圖像內部編碼的情況下，在屏幕重新排列緩衝器126中存儲經受所述逆正交變換的視頻信息，然後，在D/A轉換器127的D/A轉換處理之後輸出所述信息。
在所述幀已經經受圖像間編碼的情況下，所述運動預測/補償單元128根據經受逆解碼的所述運動矢量信息和幀存儲器129中存儲的所述視頻信息產生一個參考圖像，並將該圖像提供給加法器125。所述加法器125將該參考圖像和逆正交變換單元124的輸出加起來。由於其他處理與幀經受圖像內部編碼情況下的處理以相同的方式執行，因此省略了對其的說明。
現在，將詳細描述符合JVT的逆編碼單元106。如圖10所示，符合JVT的所述逆編碼單元106採用稱作CABAC(基於上下文的自適應二進位算術編碼)的算術編碼以及稱作CAVLC(基於上下文的自適應可變長度編碼)的可變長度編碼中的一種逆編碼，以用於一個符號諸如從量化單元105和運動預測/補償單元111輸入的模式信息、運動信息、以及量化的係數信息，並輸出視頻壓縮信息(比特流)。根據圖10中的CABAC/CAVLC選擇信息，可以判斷使用哪一種逆編碼。該CABAC/CAVLC選擇信息由所述視頻信息編碼設備100確定，並通過將其嵌入到一個比特流中作為報頭信息而輸出。
首先，在圖11中示出了逆編碼單元106中的所述CABAC系統。如圖11所示，從量化單元105和運動預測/補償單元111輸入的模式信息、運動信息和量化的變換係數信息作為多值符號輸入到一個二進位化單元131中。該二進位化單元131根據預定的規則將所述多值符號轉換成任意長度的二進位符號串。該二進位符號串輸入到一個CABAC編碼單元133，所述CABAC編碼單元133給該輸入的二進位符號應用二進位符號算術編碼，並將編碼結果作為一個比特流輸出到存儲緩衝器107。一個上下文操作單元132基於輸入到二進位化單元131中的符號信息和從二進位化單元131輸出的二進位符號來計算上下文，並將該上下文輸入到CABAC編碼單元133中。上下文操作單元132的一個上下文存儲器組135存儲在編碼過程中當情況發生時更新的上下文，以及用於重置的上下文的初始狀態。
然後，在圖12中示出了逆編碼單元106中的CAVLC系統。如圖12所示，從量化單元105、運動預測/補償單元111輸入的模式信息、運動信息、和量化的變換係數信息作為多值符號被輸入到CAVLC編碼單元140中。類似於傳統MPEG所採用的可變長度編碼方法，該CAVLC編碼單元140給所述輸入的多值符號應用一個可變長度編碼表，並輸出一個比特流。上下文存儲單元141存儲已經在CAVLC編碼單元140中編碼的信息，例如，已被處理塊中以及正被處理塊中非零係數的數量，前一次編碼的係數值，等等。所述CAVLC編碼單元140能夠根據來自上下文存儲單元141的信息，改變應用於符號的可變長度編碼表。應該注意到所述上下文存儲單元141還存儲用於重置的上下文的初始狀態。所述輸出比特流被輸入到存儲緩衝器107中。
同理，將詳細描述符合JVT的逆解碼單元122。與逆編碼單元106相類似，符合JVT的所述逆解碼單元122給輸入比特流應用CABAC和CAVLC中的一種逆解碼，如圖13所示。通過讀取嵌入到輸入比特流報頭信息中的CABAC/CAVLC選擇信息，可應用CABAC和CAVLC之一。
圖14示出了逆解碼單元122中的所述CABAC系統。在圖14中，一個CABAC解碼單元161給從所述存儲緩衝器121輸入的比特流應用二進位符號算術解碼，並輸出所述結果為二進位符號串。輸入該二進位符號串到一個逆二進位化單元163中，該逆二進位化單元163根據預定的規則將二進位符號串轉換成多值符號。從逆二進位化單元163輸出的所述多值符號從所述逆二進位化單元163輸出到去量化單元123和運動預測/補償單元128，以作為模式信息、運動矢量、和量化的係數信息。一個上下文操作單元162基於輸入到逆二進位化單元163中的二進位符號串和從逆二進位化單元163輸出的多值符號來計算上下文，並輸入該上下文到CABAC解碼單元161。上下文操作單元162的一個上下文存儲器組165存儲在解碼過程中當發生情況時更新的上下文，以及用於重置的上下文的初始狀態。
接下來，在圖15中示出了逆解碼單元122中的CAVLC系統。如圖15所示，來自所述存儲緩衝器121的一個輸入比特流被輸入到CAVLC解碼單元170中。類似於傳統的MPEG所採用的可變長度解碼方法，所述CAVLC解碼單元170為所述輸入比特流採用一個可變長度解碼錶，並輸出模式信息、運動信息、和量化的變換係數信息。這些輸出信息輸入到所述去量化單元123和運動預測/補償單元128中。一個上下文存儲單元171存儲已經在CAVLC解碼單元170中解碼的信息，例如，已被處理塊以及正被處理塊中非零係數的數量，正好在此次之前解碼的係數值，等等。所述CAVLC解碼單元170能夠根據來自上下文存儲單元171的信息，改變應用於這些符號的可變長度解碼錶。應該注意到所述上下文存儲單元171還存儲用於重置的上下文的初始狀態。
對於圖11和圖14中所示的CABAC的具體操作，在最終的委員會草案ISO/IEO 14496-102002(9.2節)中記錄了有關CABAC的說明，其中公開的全部內容在此包含引作參考。
發明內容
本發明申請人已經意識到了在現有編碼和解碼系統中所存在的一定缺陷，並且可在其中作出改進，正如現在所討論的。
當在視頻信息編碼設備100中編碼1個圖像時，甚至是考慮將1個圖像、片、宏塊和塊中任一作為一個編碼單元時，包括在編碼單元中、將被輸入到圖11中二進位化單元131的符號數量不是固定的，這是因為它取決於將被輸入的視頻信號和編碼條件。
另外，將被輸出的用於輸入到所述二進位化單元131中的一個符號的二進位數據串的長度不固定，如在JVT FCD的9.2節中所描述的。例如，從JVT FCD的9.2.1.5節中的表9-20清楚可見，用於I片中mb_type1符號的二進位數據串的長度最小是1(在Intra_4×4時)，並且最大是6。所以，響應於一個符號從二進位化單元131輸出的二進位數據的長度也是不固定的。
由於上述原因，響應於一個包括在編碼單元中的、輸入視頻信號的符號從二進位化單元131輸出的二進位數據段的數量是不固定的，所以，由於輸入數據和編碼條件，有可能從二進位化單元131輸出大量的二進位數據。
從二進位化單元131輸出的所述二進位數據輸入到CABAC編碼單元133中。但是，由於CABAC編碼單元133實際上需要長於一個時鐘的處理時間來處理一段輸入二進位數據，因此如果大量的二進位數據段輸入到CABAC編碼單元133中，那麼也相應地需要大量的處理時間。另外，如上所述，由於輸入到CABAC編碼單元133中的二進位數據段的數量不固定，不能夠估計用於處理的最長時間。
所以，在視頻信息編碼設備100應該具有實時處理和固定處理速度保證的情況下，如果大量的二進位數據段輸入到所述CABAC編碼單元133或二進位數據段的數量不固定，那麼它將不能夠具有這樣的保證。
另外，響應於根據一個符號從二進位化單元131輸出的一個二進位數據串而從CABAC編碼單元133輸出的比特長度是不固定的。這是因為CABAC根據輸入二進位數據的出現概率來控制輸出的比特長度。結果，輸入到CABAC編碼單元133中的一段二進位數據可以是1比特或更少比特的比特流數據，或幾個比特的比特流數據，這取決於它的出現概率。
由於所述CABAC編碼單元133實際上需要長於一個時鐘周期的處理時間來處理將被輸出的一個比特數據段，如果從所述CABAC編碼單元133輸出大量的比特數據段，則需要長的處理時間，相應地，因此所安裝的編碼單元需要長的處理時間。另外，如上所述，由於從CABAC編碼單元133輸出的比特數據段的數量不固定，因此難以固定用於處理的最長時間。
所以，在視頻信息編碼設備100應該具有實時處理和固定處理時間保證的情況下，如果從CABAC編碼單元133中輸出大量的比特數據段或比特數據段的數量不固定，那麼它將不能夠具有這樣的保證。
輸入到CABAC編碼單元133/從其輸出的二進位數據或比特數據段的數量在編碼單元諸如一個圖像、圖像的一個片、一個宏塊、或一個塊不固定並可能變大的事實防止了編碼單元中固定處理時間的保證。
而且，當在視頻信息解碼設備120中解碼1個圖像時，甚至是考慮將1個圖像、片、宏塊、和塊作為解碼單元，包括在編碼單元中、輸入到CABAC解碼單元161中的比特流中的比特數量是不固定的，這是因為所述數量取決於輸入比特流。
由於所述CABAC解碼單元161需要一個長於一個時鐘周期的處理時間來處理一段輸入比特數據，如果大量的比特數據段輸入到該CABAC解碼單元161中，則相應地需要長的處理時間。另外，如上所述，由於輸入到CABAC解碼單元161中的比特數據段的數量不固定，不能夠估計最慢的處理速度。
所以，在視頻信息解碼設備120應該具有實時處理和固定處理時間保證的情況下，如果大量的比特數據段輸入到所述CABAC解碼設備161或比特數據段的數量不固定，那麼它將不能夠具有這樣的保證。特別是，與所述視頻信息編碼設備100相比，在該視頻信息解碼設備120中，非常需要實時解碼和顯示視頻信息。所以，不能夠保證實時處理的事實是一個問題。
因此，本發明的一個目的是解決上述問題。在本發明中，考慮到上述問題，將要輸入到CABAC編碼單元和解碼單元中/從CABAC編碼單元和解碼單元輸出的數據量在一個編碼單元諸如一個圖像、一片、一個宏塊或塊中是有限的，並給視頻信息編碼設備和解碼設備、及其比特流應用這種限制的機制。
而且，在本發明中，考慮到上述問題，編碼未壓縮的視頻數據以及給視頻信息編碼設備和解碼設備、及其比特流應用這種編碼的機制。
再進一步，在本發明中，考慮到上述問題，對CAVLC與CABAC應用相同的方法。
通過限制要輸入到上述CABAC編碼單元和解碼單元中/從上述單元輸出的數據量以及編碼未壓縮數據，視頻信息編碼設備和解碼設備能夠具有固定處理時間的保證，並且能夠實現一種具有處理時間保證的設備。另外，在CAVLC與CABAC中能夠獲得相似的效果。
當結合以下附圖時，將容易獲得對本發明更為完整的理解以及本發明所附帶的許多優點，通過參考附圖詳細的描述上述的理解和優點將變得更加顯而易見，其中圖1示出了本發明的視頻信息編碼設備結構的一個實例；
圖2示出了本發明的視頻信息編碼設備結構的一個實例；圖3示出了本發明的視頻信息編碼設備結構的一個實例；圖4示出了本發明的視頻信息編碼設備結構的一個實例；圖5示出了本發明的視頻信息編碼設備結構的一個實例；圖6示出了本發明的視頻信息解碼設備結構的一個實例；圖7示出了本發明的宏塊處理單元結構的一個實例；圖8示出了背景技術中視頻信息編碼設備結構的一個實例；圖9示出了背景技術中視頻信息解碼設備結構的一個實例；圖10示出了在背景JVT中可變長度編碼單元結構的一個實例；圖11示出了在背景JVT中CABAC編碼單元結構的一個實例；圖12示出了在背景JVT中CAVLC編碼單元結構的一個實例；圖13示出了在背景JVT中可變長度解碼單元結構的一個實例；圖14示出了在背景JVT中CABAC解碼單元結構的一個實例；和圖15示出了在背景JVT中CAVLC解碼單元結構的一個實例。
具體實施例方式
下文將參考
本發明的實施例，其中在全文中相同的附圖標記表示相同或相似的單元。
圖1示出了本發明的視頻編碼設備10的一個實施例。在圖1的設備10中，輸入將被編碼的視頻信號，並輸出一個編碼的比特流。所述設備10由一個輸入緩衝器11、變換處理部件12、一個CABAC處理部件13、限制控制單元14、以及一個輸出緩衝器15所構成。所述輸入緩衝器11將輸入視頻分割成宏塊並輸出一個宏塊，當在後一級完成該宏塊的處理時，輸出下一個宏塊。所述變換處理部件12處理一個輸入宏塊圖像，並向所述CABAC處理部件13輸出報頭信息和量化的係數信息。具體而言，參數設置單元16設置報頭信息諸如一個宏塊的模式信息和運動矢量信息，和量化參數，並輸出所述值(符號)給一個預測單元17、一個DCT單元18、一個量化單元19、以及所述CABAC處理部件13。所述參數設置單元16能夠設置並輸出一片和一個圖像的報頭信息，以及一個宏塊的報頭信息，這些信息一起被稱之為報頭信息。而且，通過參考來自所述參數設置單元16的輸入信號，所述預測單元17中的運動補償、所述DCT單元18中的DCT變換、以及所述量化單元19中的量化處理被應用於來自它們前級的輸入信號。
在所述CABAC處理部件13中，報頭信息和量化的係數信息作為符號數據輸入，經受算術編碼並輸出為比特數據。尤其是，通過二進位化單元20將輸入符號數據轉換成二進位數據串，並且根據來自上下文操作單元21的上下文信息，通過CABAC編碼單元22熵編碼所述二進位數據。所述上下文操作單元21根據輸入到所述二進位化單元20中的符號數據和從二進位化單元20輸出的二進位數據來更新上下文，並且還向所述CABAC編碼單元22輸出所述上下文信息。
限制控制單元14具有第一計數器，用於計數輸入到CABAC編碼單元22中的二進位數據段的數量，並具有第二計數器(比特計數器25)，用於計數輸出比特數據段的數量。每當一個二進位數據輸入到CABAC編碼單元22中時，所述限制控制單元14就將所述第一計數器增加1，並且每當一個比特數據從CABAC編碼單元22輸出時，就將所述第二計數器增加1。每當宏塊開頭的處理開始時，這些計數器重置成0。從而，能夠計數輸入到CABAC編碼單元22中的數據段數量和從CABAC編碼單元22輸出的數據段數量。
當這些計數器中的一個或兩個顯示一個數量超出了預先設置的閾值時，所述限制控制單元14向輸出緩衝器15、上下文操作單元21、和參數設置單元16輸出一個信號(以下稱為「重新編碼信號」)，該信號指示將被編碼的數據是無效的。接收到所述重新編碼信號的所述參數設置單元16重置一個編碼參數，以便不超出所述閾值，並對將被編碼的宏塊數據執行重新編碼處理。另外，所述上下文操作單元21具有一個上下文存儲器組23，該上下文存儲器組23存儲在編碼過程中根據需要而更新的上下文，和用於重置的上下文的初始狀態，如在圖11中所示的作為背景技術的上下文存儲器組135，而且還能夠存儲正好在宏塊的數據處理之前上下文的狀態。所以，接收到一個重新編碼信號的所述上下文操作單元21將正在存儲的上下文狀態重寫為新添加存儲器中所存儲的上下文值，從而有可能恢復恰好在根據將被編碼的宏塊數據執行所述更新之前的上下文的狀態。另外，接收到該重新編碼信號的輸出緩衝器15刪除將被編碼和內部存儲的宏塊的全部比特數據，並等待利用新的編碼參數而編碼的宏塊數據的輸入。另外，當完成目標宏塊的所述編碼處理時，如果限制控制單元14的任何計數器沒有顯示出一個值超出了預先設置的閾值，則能夠將輸出緩衝器15中目標宏塊的所述比特數據輸出為比特流。
在圖1的上述設備10中，在宏塊的開始處重置限制控制單元14的計數器意味著，在一個宏塊的基礎上監控並限制將輸入到CABAC編碼單元22中的二進位數據段的數量和將輸出的比特數據段的數量，並通過在宏塊中在一個塊的基礎上設置用於這種重置的定時，能夠在一個塊的基礎上監控和限制數據段的數量。同理，通過在一片的基礎上執行重置，能夠在一片的基礎上監控和限制數據段的數量，並且通過在一個圖像的基礎上執行重置，能夠在一個圖像的基礎上監控和限制數據段的數量。當改變用於管理和限制數據段數量的一個單元時，所述上下文操作單元21的上下文存儲器組23同時存儲恰好在改變之前在編碼單元中的一個上下文值，所以，恰好在改變之前該編碼單元中的狀態被恢復為上下文的狀態。另外，還每個編碼單元地刪除輸出緩衝器15中的比特數據。
而且，還能夠執行恢復到存儲在上下文存儲器組23中的預定初始值，而不是恢復到存儲在所述上下文存儲器組23中的編碼單元中的恰好在改變之前上下文值。
在圖1的上述設備10中，儘管所述限制控制單元14具有兩個計數器，但是能夠獨立地將在這些計數器中設置的閾值設置成各種值，只監控這兩個計數器中一個計數器的數據計數並且能夠忽略另一個計數器的數據計數，或者所述限制控制單元14能夠被構造成沒有計數器。
在該設備10中，對於一個時間宏塊處理來說，能夠限制輸入到CABAC編碼單元中/從CABAC編碼單元輸出的數據的最大量，這允許滿意地使用宏塊的一個時間處理的所需時間。另外，能夠輸出要在要求的處理時間內被解碼的比特流。
現在，為了下文的描述，圖7示出了一個單元、一個宏塊處理單元，表示圖1的變換處理部件12和CABAC處理部件13。以下所述的宏塊處理單元執行與一個單元相同的處理，其中圖1的變換處理單元12和CABAC處理單元13是並聯的。
在圖1所示的設備10中，每當所述限制控制單元14輸出一個重新編碼信號時所述變換處理部件12必須設置一個新的編碼參數，並且編碼一個目標宏塊，進而，由於通過重置參數所獲得的數據，所述限制控制單元14的計數器可能重複地超出一個閾值。在這種情況下，將對一個宏塊連續地執行編碼處理若干次，這將花費長的時間來編碼一個圖像。
作為本發明的視頻編碼設備的另一個實施例，在圖2中示出了一個利用不同參數並行編碼目標宏塊的實例作為第二實施例。
在圖2的設備30中，類似於圖1的所述設備10，輸入將被編碼的視頻信號並輸出一個編碼的比特流。圖2的所述設備30由一個輸入緩衝器31、能夠在N級利用N個不同的編碼參數執行並行編碼處理的宏塊處理單元32-1到32-N、相應的輸出緩衝器33-1到33-N、限制控制/路由選擇單元34和一個轉換開關35所構成。
在圖2的設備30中，為將被編碼的一個宏塊設置N個不同的編碼參數，通過所述宏塊處理單元32-1到32-N並行地執行利用這些編碼參數的編碼處理，以及在所述輸出緩衝器33-1到33-N中存儲其編碼輸出。
所述限制控制/路由選擇單元34具有兩個輸入/輸出數據計數器(比特計數器36)，用於對應於宏塊處理單元32-1到32-N的所述CABAC編碼單元，選擇一個使其計數器不超出一個閾值的因而是N個並行路由中最為有效的編碼路由，並選擇一條用於從轉換開關35輸出的線路。
圖2中設備30的詳細操作以及編碼單元的變化與圖1中的設備10相同。
在該設備30中，在編碼的時候能夠限制將被輸入到CABAC編碼器中/從CABAC編碼器輸出的數據的最大量，從而能夠滿意地使用所要求的編碼處理時間。另外，能夠輸出可在要求的處理時間內解碼的比特流。
接下來，圖3示出了本發明的視頻編碼設備的另一個實施例。在該實施例中，除了圖1的所述的實施例以外，還提供了一個用於未壓縮的編碼數據的路由，即用於編碼一個輸入宏塊的未壓縮的原始數據。
圖3的設備40和圖1的設備10之間的不同之處在於，宏塊視頻數據不僅輸入到一個宏塊處理單元41中，而且還輸入到一個未壓縮編碼單元43。所述未壓縮編碼單元43向所述輸出緩衝器B 44輸出輸入視頻信息的數據，該視頻信息數據不經受變換處理和熵編碼，即為原始數據。類似於圖1的限制控制單元14，一個限制控制/路由選擇單元45使用所述比特計數器49來管理將輸入到CABAC編碼器/從CABAC編碼器輸出的數據量，如果被監控的數據超出一個閾值，所述轉換開關46則選擇來自所述輸出緩衝器B 44的一個輸入用於輸出。如果所述數據沒有超出一個閾值，則能夠選擇輸出緩衝器A 42或輸出緩衝器B 44的一個輸出。
在所述限制控制/路由選擇單元45選擇輸出緩衝器B 44即原始數據的情況下，則通知所述宏塊處理單元41的上下文操作單元該情形，並通過使用存儲在上下文存儲器組中的恰好在處理所述宏塊之前的所述上下文值，為上下文操作單元的上下文值恢復恰好在處理所述宏塊之前的狀態，其中所述宏塊被作為原始數據處理。
而且，在將所述宏塊作為原始數據處理時恢復上下文中，也能夠恢復預定的初始狀態。
指示是否已經將宏塊作為原始數據編碼的數據嵌入到將輸出的比特流的報頭信息中。
在已編碼原始數據的情況下，所述CABAC編碼單元在輸出原始數據作為比特流之前執行終端處理。
另外，未壓縮編碼單元43並不局限於輸出原始數據的未壓縮編碼單元，而且它還能夠是另一種類型的壓縮單元諸如DPCM編碼單元。
圖3中設備40的其他操作和編碼單元的變型與圖1中的設備10相同。
在該設備40中，能夠限制在編碼的過程中將被輸入到CABAC編碼器中/從CABAC編碼器輸出的數據的最大量，從而能夠滿意地使用所要求的編碼處理時間。另外，能夠輸出可在要求的處理時間內解碼的比特流。
接下來，圖4示出了作為本發明的視頻編碼設備的另一個實施例的設備50。在該實施例中，除了圖2的設備30以外，還提供了一個用於將解壓縮和編碼的數據的路由，即它用於解壓縮和編碼輸入宏塊的原始數據。
由於圖4設備與圖2設備的共有單元的操作與圖1的設備幾乎相同，因此將僅描述不同的操作。在本實施例中，宏塊視頻數據不僅輸入到宏塊處理單元51-1到51-N中，而且還輸入到未壓縮編碼單元58中。所述未壓縮編碼單元58向一個輸出緩衝器B 59輸出輸入視頻信息的數據，該視頻信息數據不經受變換處理和熵編碼，即它為原始數據。一個限制控制/路由選擇單元53監控一個比特計數器55，如圖2的限制控制/路由選擇單元34，如果用於全部路由1-N的比特計數器(2個中的任何一個)超出了預先設置的閾值，信號選擇單元54則選擇並輸出一個來自所述輸出緩衝器B 59的輸入。如果所述比特計數器55不超出所述閾值，則所述信號選擇單元54能夠選擇來自所述輸出緩衝器A 52-1至A 52-N和所述輸出緩衝器B 59的任何輸出。
而且，如果所述信號選擇單元54選擇來自輸出緩衝器B 59的原始數據，則將存儲在上下文存儲器組中的恰好在處理宏塊之前的上下文狀態恢復作為宏塊處理單元51-1到51-N的上下文操作單元的上下文狀態。應該注意到在該恢復中能夠恢復一個預定的初始值，如對圖1的設備10進行的描述。
當所述信號選擇單元54從輸出緩衝器A 52-1到A 52-N中選擇一個輸出緩衝器A 52-1，相反不是選擇來自輸出緩衝器的原始數據時，將宏塊處理單元51-1的上下文操作單元的上下文狀態複製到其他宏塊處理單元51-1到51-N的上下文操作單元。這是因為各上下文操作單元的上下文的全部狀態對於下一宏塊的編碼開始的時間來說都應該是相同的。應該注意到未壓縮編碼單元58並不局限於輸出原始數據的未壓縮處理單元，而是還能夠是其他類型的壓縮單元諸如DPCM編碼單元。
圖4中設備50的其他詳細操作以及編碼單元的變型與圖1中的設備10相同。
在該設備50中，在編碼的過程中能夠限制將被輸入到CABAC編碼器中/從CABAC編碼器輸出的數據的最大量，從而能夠滿意地使用所要求的編碼處理時間。另外，能夠輸出可在要求的處理時間內解碼的比特流。
接下來，圖5示出了使用CAVLC而不使用CABAC的一個設備60，如圖8的所述逆編碼單元106。該設備60具有一個CAVLC處理單元63，以代替圖1中設備10的CABAC處理單元13，除了所述CAVLC處理單元63和限制控制單元64以外，它執行相同的操作。所以，在本部分內容中只描述CAVLC處理單元63和限制控制單元64的操作。
在CAVLC處理單元63中，類似於傳統的MPEG2，利用一個可變長度表對作為符號數據輸入的報頭信息和量化的係數信息進行可變長度編碼，並將其輸出為比特數據。所述CAVLC處理單元63由為圖12中背景技術所描述的CAVLC編碼單元和上下文存儲單元構成，除了存儲CAVLC編碼單元所編碼的信息，例如，在不僅正被處理而且已被處理的每個塊中的非零係數的數量，以及正好在此次之前編碼的係數值，如在背景技術的存儲單元中，本發明的CAVLC處理單元63還能夠存儲恰好在編碼一個宏塊之前的上下文狀態，以便當一個重新編碼信號到達時，恢復恰好在編碼所述宏塊之前的所述狀態。所述CAVLC編碼單元能夠根據來自該上下文存儲單元的信息，改變將應用於一個符號的可變長度編碼表。注意，所述上下文存儲單元存儲用於重置的上下文的初始狀態。
所述限制控制單元64具有一個計數器(比特計數器75)，所述計數器用於計數從CAVLC處理單元63輸出的比特數據段的數量，並且每當所述CAVLC處理單元63輸出比特數據時將該計數器增加1。當宏塊開頭的處理開始時，該計數器重置成零。所以，對於每個宏塊來說，能夠計數來自該CAVLC處理單元63的輸出數據段的數量。
如果該計數器75超出了預定的閾值，所述限制控制單元64則向一個輸出緩衝器65和參數設置單元66輸出一個信號(下文稱之為「重新編碼信號」)，以指示將被編碼的數據無效。接收到該重新編碼信號的參數設置單元66重置一個編碼參數以不超出所述閾值，並對將被編碼的宏塊數據執行重新編碼。另外，接收到所述重新編碼信號的所述輸出緩衝器65刪除正存儲到其中的將被編碼宏塊的全部比特數據，並等待輸入利用一個新的編碼參數編碼的宏塊數據。
圖5中設備60的其他詳細操作和編碼單元的變型與圖1中的設備10相同。
在該設備60中，能夠為一個時間宏塊處理限制將從所述CAVAL編碼單元輸出的數據的最大量，從而能夠滿意地使用所要求的宏塊處理時間。另外，能夠輸出可在要求的處理時間內解碼的比特流。
而且，不僅在圖1的設備中而且在圖2到圖4的設備中，能夠使用所述CAVLC處理單元來代替CABAC處理單元，並且它的操作與本實施例中現在描述的內容相同。但是，如果將一個宏塊作為原始數據進行編碼，則所述CAVLC處理單元不具有用於所述宏塊的上下文，從而應該定義一種在編碼原始數據時更新上下文的方法。如果一個編碼設備和一個解碼設備相互同步，則能夠應用各種類型的方法。例如，能夠將存在於作為原始數據編碼的一個宏塊的各塊中的非零係數的數量取為15。在該設備中，在編碼過程中能夠限制從所述CAVLC編碼單元輸出數據的最大量，從而能夠滿意地使用所要求的編碼處理時間。另外，能夠輸出可在要求的處理時間內解碼的比特流。
接下來，圖6示出了對應於圖1到圖4所示設備的本發明的視頻信息解碼設備的一個設備80。應該注意到圖1和圖2的設備不具有未壓縮編碼單元和用於所述單元的路由，從而圖6的該設備80不選擇一個到未壓縮解碼單元88的路由。在這種情形非常清楚的情況下，可以不提供未壓縮解碼單元88和用於所述單元的路由。
在圖6的設備80中，輸入要解碼的比特流以及輸出解碼的視頻信號。圖6的所述設備80由路由選擇單元81、85，一個編碼方法判斷單元84，一個逆變換處理單元83，一個CABAC處理單元82，一個限制控制單元86和未壓縮解碼單元88所構成。
首先，當每個宏塊的處理開始時，所述路由選擇單元81、85選擇CABAC處理單元82的一個路由。在解碼來自輸入比特流的宏塊之前，所述CABAC處理單元82解碼嵌入到比特流中的一個符號，該符號指示該宏塊是否是原始數據；如果所述編碼方法判斷單元84判斷所述宏塊是原始數據，那麼路由選擇單元81、85選擇未壓縮解碼單元88的一個路由，以將來自所述未壓縮解碼單元88的輸出作為一個視頻信號而輸出。同時，所述未壓縮解碼單元88通過固定長度解碼獲得視頻數據。如果選擇該未壓縮編碼單元88，並且如果它與編碼設備一側的所述CABAC處理單元的操作同步，則可以不改變CABAC處理單元82的上下文操作單元92中上下文的狀態，可以利用一個預定值初始化上述狀態，或者利用另一種原則改變所述狀態。另外，此時，設置用於解碼以後要解碼的同一圖像中的一個宏塊的預測器為一預定值。例如，設置未壓縮解碼宏塊的運動矢量為0，設置宏塊類型為圖像內部編碼。如果它與編碼設備側合成，該預測器值可以具有任意值。
如果編碼方法判斷單元84選擇通過CABAC處理單元82來處理該宏塊數據，則將輸入比特流連續輸入到所述CABAC處理單元82中。
所述CABAC處理單元82解碼並輸出來自輸入比特流的報頭信息和量化的係數信息為符號數據。具體而言，根據來自上下文操作單元92的上下文信息，通過所述CABAC解碼單元90熵解碼該輸入比特流，並通過逆二進位化單元91將輸出的二進位符號串轉換成符號數據。所述上下文操作單元92根據輸入到逆二進位化單元91中的二進位數據和從逆二進位化單元91輸出的符號數據更新上下文，並向CABAC解碼單元90輸出上下文信息。所述CABAC處理單元88的操作符合在背景技術中所注釋的JVT FCD 9.2節中的描述。
逆變換處理單元83對輸入的報頭信息和量化的係數信息執行去量化、逆DCT、以及運動補償，以解碼和輸出視頻信號。
限制控制單元86具有第一計數器，用於計數要輸入到CABAC解碼單元90中的比特數據段的數量，並具有第二計數器(比特計數器93)，用於計數輸出二進位數據段的數量，每當一個比特數據輸入到CABAC解碼單元90中時，將所述第一計數器增加1，並且每當從CABAC解碼單元90輸出二進位數據時，將所述第二計數器增加1。當宏塊開頭的處理開始時，這些計數器被重置成0。從而，能夠計數輸入到CABAC解碼單元90中的每個宏塊輸入數據段的數量和從CABAC解碼單元90輸出的每個宏塊輸出數據段的數量。
如果這些計數器的任何一個超出了一個預先設置的閾值，所述限制控制單元86執行差錯處理。該差錯處理能夠停止解碼處理一次並且在一個片報頭或圖像報頭到達之後再次開始解碼處理，或者能夠只發出警告並保持解碼處理繼續進行。另外，不進行差錯處理也能夠保持所述解碼處理。
在該設備80中，能夠控制在解碼過程中輸入到CABAC解碼單元90中/從該單元輸出的數據量，從而即使輸入或輸出了超出最大數據量的數據量，也能夠執行差錯處理等等以滿意地使用所要求的解碼處理時間。
另外，限制控制單元86不必安裝在設備80中。在這種情況下，在所述CABAC編碼單元90中不監控輸入和輸出數據的量。
而且，儘管設備80示出了在將CABAC用作熵解碼的情況下本發明的視頻信息解碼設備的一個實施例，能夠代替CABAC處理單元而使用所述CAVLC處理單元，如在視頻編碼設備的實施例中所示。正如在編碼設備的實施例中所示，由於上述設備非常相似，因此將省略對其實際處理的描述。注意，類似於所述編碼設備，前面定義了一種在CAVLC中當宏塊作為原始數據編碼時更新上下文的方法。
接下來，將示出根據本發明編碼的比特流的一個實施例。如上所述，在本發明中能夠編碼在比特流中壓縮的數據和原始數據。所以，添加指示宏塊是否已經作為原始數據被編碼的報頭信息，其後跟隨有原始數據或壓縮的比特數據。指示宏塊是否已經作為原始數據被編碼的該信息是不同的，這取決於宏塊的類型，該類型是宏塊的報頭信息之一。相反，本發明的比特流能夠包括以不同編碼方法處理的宏塊。
而且，本說明書示出了將規定應用於宏塊的編碼方法的信息作為所述宏塊的報頭信息添加的情況。如果在一個片報頭或一個圖像報頭中添加這種規定信息，則能夠混合編碼方法以及在一片或一個圖像的基礎上規定所述編碼方法。
如果利用CABAC編碼報頭信息(例如，宏塊類型)，以及編碼所述原始數據(即，固定長度的比特串)，那麼在編碼該原始數據之前，在本發明的比特流中插入經受CABAC的終端處理的比特。
而且，在通過CABAC編碼比特流的情況下，所述比特流由不使任何用於CABAC編碼單元和解碼單元的輸入和輸出的比特計數器超出一個預先設置閾值的數據所構成。另外，在編碼所述比特流的情況下，該比特流由不使任何用於CAVLC編碼單元輸出和解碼單元輸入的比特計數器超出一個預先設置閾值的數據所構成。結果，利用本發明的比特流，視頻信息編碼設備和視頻信息解碼設備具有固定解碼處理時間的保證。
通過限制要輸入到CABAC編碼單元和解碼單元/從該單元輸出的數據量，並通過編碼未壓縮的數據，視頻信息編碼設備和解碼設備具有固定處理時間的保證，因此使得可以實現一種具有處理時間保證的設備。另外，在代替CABAC使用CAVLC的情況下也能夠獲得相同的效果。
權利要求
1.一種用於編碼視頻信號的視頻信息編碼設備，包括第一裝置，用於給所述視頻信號應用一種預定的變換以產生變換的視頻信號；第二裝置，用於給所述變換的視頻信號應用一種算術編碼；以及用於計數輸入到所述第二裝置中的數據段數量/從所述第二裝置輸出的數據段數量的裝置；在所計數的輸入數據段或輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要編碼的數據，並對所述視頻信號應用一個不同於所述第一裝置所應用的編碼處理的編碼處理。
2.根據權利要求1所述的視頻信息編碼設備，其中不同於所述第一裝置應用的編碼處理的所述編碼處理給第一裝置中的所述視頻信號應用一個不同的編碼參數。
3.根據權利要求1所述的視頻信息編碼設備，其中不同於所述第一裝置應用的編碼處理的所述編碼處理是一種應用於第一裝置中所述視頻信號的未壓縮處理。
4.根據權利要求1所述的視頻信息編碼設備，其中所述規定的編碼單元是一個宏塊。
5.根據權利要求1所述的視頻信息編碼設備，其中所述規定的編碼單元是一個片。
6.一種用於編碼視頻信號的視頻信息編碼設備，包括第一裝置，用於給所述視頻信號應用一種預定的變換以產生變換的視頻信號；第二裝置，用於給所述變換的視頻信號應用一種熵編碼；以及用於計數從所述第二裝置輸出的數據段數量的裝置；在所計數的輸出數據段的數量超出了在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要編碼的數據，並且所述視頻信息編碼設備將該視頻信號作為未壓縮的數據來處理。
7.根據權利要求6所述的視頻信息編碼設備，其中所述規定的編碼單元是一個宏塊。
8.一種用於解碼壓縮視頻信號的視頻信息解碼設備，包括第一裝置，用於給所述壓縮視頻信號應用一種算術解碼以產生一個算術解碼信號；第二裝置，用於給所述算術解碼信號應用一種預定的變換；以及用於計數輸入到所述第一解碼裝置的數據段數量/從所述第一解碼裝置輸出的數據段數量的裝置；在所計數的輸入數據段或輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要解碼的數據，並執行一個預先定義的差錯處理。
9.根據權利要求8所述的視頻信息解碼設備，其中所述規定的編碼單元是一個宏塊。
10.一種用於編碼視頻信號的視頻信息編碼方法，包括第一編碼步驟，用於給所述視頻信號應用一種預定的變換以產生一個變換的視頻信號；第二編碼步驟，用於給所述變換的視頻信號應用一種算術編碼；以及計數步驟，用於計數輸入到所述第二編碼步驟/從所述第二編碼步驟輸出的數據段的數量；在所計數的輸入數據段或輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要編碼的數據，並對所述視頻信號應用一個不同於所述第一編碼的編碼處理。
11.一種用於編碼視頻信號的視頻信息編碼方法，包括第一編碼步驟，用於給所述視頻信號應用一種預定的變換以產生一個變換的視頻信號；第二編碼步驟，用於給所述變換的視頻信號應用一種熵編碼；以及計數從所述第二編碼步驟輸出的數據段的數量；在所計數的輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要編碼的數據，並且視頻信息編碼設備將該視頻信號作為未壓縮的數據來處理。
12.一種用於解碼壓縮視頻信號的視頻信息解碼方法，包括第一解碼步驟，用於給所述壓縮視頻信號應用一種算術解碼以產生一個算術解碼信號；第二解碼步驟，用於給所述算術解碼信號應用一種預定的變換；以及計數輸入到所述第一解碼步驟的數據段數量/從所述第一解碼步驟輸出的數據段數量；在所計數的輸入數據段或輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要解碼的數據，並執行一個預先定義的差錯處理。
13.一種用於編碼視頻信號的視頻信息編碼設備，包括第一編碼器，用於給所述視頻信號應用一種預定的變換以產生變換的視頻信號；第二編碼器，用於給所述變換的視頻信號應用一種算術編碼；以及計數器，用於計數輸入到所述第二編碼器中的數據段數量/從所述第二編碼器輸出的數據段數量；在所計數的輸入數據段或輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要編碼的數據，並對所述視頻信號應用一個不同於所述第一編碼器所應用的編碼處理的編碼處理。
14.根據權利要求13所述的視頻信息編碼設備，其中不同於所述第一編碼器應用的編碼處理的所述編碼處理給第一編碼器中的所述視頻信號應用一個不同的編碼參數。
15.根據權利要求13所述的視頻信息編碼設備，其中不同於所述第一編碼器應用的編碼處理的所述編碼處理是一種應用於第一編碼器中所述視頻信號的未壓縮處理。
16.根據權利要求13所述的視頻信息編碼設備，其中所述規定的編碼單元是一個宏塊。
17.根據權利要求13所述的視頻信息編碼設備，其中所述規定的編碼單元是一個片。
18.一種用於編碼視頻信號的視頻信息編碼設備，包括第一編碼器，用於給所述視頻信號應用一種預定的變換以產生變換的視頻信號；第二編碼器，用於給所述變換的視頻信號應用一種熵編碼；以及計數器，用於計數從所述第二編碼器輸出的數據段數量；在所計數的輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要編碼的數據，並且所述視頻信息編碼設備將該視頻信號作為未壓縮的數據來處理。
19.根據權利要求18所述的視頻信息編碼設備，其中所述規定的編碼單元是一個宏塊。
20.一種用於解碼壓縮視頻信號的視頻信息解碼設備，包括第一解碼器，用於給所述壓縮視頻信號應用一種算術解碼以產生一個算術解碼信號；第二解碼器，用於給所述算術解碼信號應用一種預定的變換；以及計數器，用於計數輸入到所述第一解碼器的數據段數量/從所述第一解碼器輸出的數據段數量；在所計數的輸入數據段或輸出數據段的數量超出在規定的編碼單元中預先設置的閾值的情況下，不將所述數據作為要解碼的數據，並執行一個預先定義的差錯處理。
21.根據權利要求20所述的視頻信息解碼設備，其中所述規定的編碼單元是一個宏塊。
全文摘要
本發明涉及視頻信息編碼方法和視頻信息解碼方法。提供一種具有固定處理時間保證的視頻信息編碼設備和解碼設備。通過以編碼單元諸如一個圖像、片、宏塊或塊為基礎，限制要輸入到CABAC編碼單元和解碼單元/從該單元輸出的數據量，並通過編碼未壓縮的視頻數據，可以提供一種具有固定處理時間保證的視頻信息編碼設備和解碼設備。從而，能夠安裝一種具有所述處理時間保證的設備。
文檔編號G06T9/00GK101031086SQ200710088170
公開日2007年9月5日 申請日期2003年10月9日 優先權日2002年10月10日
發明者矢崎陽一, 春原修, 村山淳 申請人:索尼株式會社