用於減少上下文自適應二進位算術編碼存儲需求的系統和方法

2023-05-28 06:51:06

專利名稱：用於減少上下文自適應二進位算術編碼存儲需求的系統和方法
技術領域：
本發明通常涉及視頻數據的代碼轉換，尤其是涉及用於減少上下文自適應二進位算術編碼存儲需求的系統和方法。
背景技術：
現有編碼-解碼器系統使用熵代碼轉換來減少複雜度和進行實時編碼-解碼，必須使用相當大的代碼轉換緩衝區，而且還必須在輸入緩衝區中提供額外的緩衝區空間。需要這種額外數據存儲的根本原因是現有系統代碼轉換引擎必須在完全的網絡抽象層(NAL)單元(也就是在附圖上maxTranscodeUnit＝max NAL size，在附圖上最大代碼轉換單元＝最大NAL尺寸)上完成操作，因此在當前NAL處理完成前不能用來執行任何其它操作。如果代碼轉換引擎有效運行沒有被停止，用於代碼轉換引擎的輸入緩衝區必須能夠包括至少除了用於建立下一個完整的NAL單元以外的一個完整的NAL單元，所以直到對一個特定數據流形成一個完整的NAL之前，代碼轉換引擎也可以做其它事(例如，處理另一個數據流)。當在以前的NAL單元上操作代碼轉換引擎時，這個數據存儲器允許將有效緩衝區空間提供給代碼轉換引擎來填充/形成下一個NAL單元的過程，其以額外的緩衝區數據存儲器為代價，使得代碼轉換器停止的風險最小。精確的存儲器大小是可變得，但對於這些額外的存儲器需要幾個典型的最大NAL尺寸。甚至可能需要較大的代碼轉換緩衝器，來解決從上下文自適應二進位算術編碼(CABAC)到上下文自適應變長編碼(CAVLC)的擴展。額外的數據存儲器需求數量和需要存儲2.5非壓縮圖像的數量一樣多。代碼轉換引擎可以是一個用來執行多個同步編碼和解碼操作的單獨硬體單元。典型的，在許多家電用品中可以發現一個高密度(HD)電視解碼器和一個標準密度(SD)電視編碼器，或者兩個解碼器(SD或者HD)和一個編碼器(SD或者HD)。在現有技術中，代碼轉換操作不能在處理NAL單元時被打斷。由於每個NAL單元可以被獨立的熵解碼/代碼轉換，這樣的優勢是當在兩個不同的數據流處理過程之間切換時不需要存儲狀態信息。劣勢是需要巨大的緩衝區存儲器。相反，由於CAVLC解碼通常是在主機處理器上執行，那麼在一個宏模塊的行的(例如)基礎上可能被中斷/存儲和重新開始/恢復，解碼代碼轉換緩衝區尺寸僅僅由解碼代碼轉換引擎可以處理的最小單元(一個擴展的最大NAL尺寸)規定，並且不需要提供較大的尺寸來容納不能在宏模塊行中存儲/恢復的它的狀態(由於一個壓縮的宏模塊行的最大尺寸遠遠小於一個壓縮圖像的最大尺寸)。
發明概述因此，需要一種用於減少CABAC代碼轉換器的數據存儲需求的方法。在一個典型實施例中，提供了一種減少CABAC存儲需求的系統。該系統包括一個用來在視頻數據流上執行CABAC的代碼轉換引擎。代碼轉換引擎接收保存數據，停止CABAC，並轉換視頻數據流到子網絡抽象層(NAL)單元狀態數據。一個熵狀態數據存儲器系統接收子網絡抽象層單元(sub-NAL)狀態數據和存儲子網絡抽象層單元(sub-NAL)狀態數據。代碼轉換引擎隨後接收恢復數據，從熵狀態數據存儲系統中抽取子網絡抽象層單元(sub-NAL)狀態數據，並且在視頻數據流上重新開始CABAC。本領域技術人員通過結合附圖的詳細描述所理解的其它重要方面，可以進一步意識到本發明的優勢和好處。
附圖的概括說明

圖1是根據本發明的一個典型實施例，用於減少CABAC存儲需求的系統框圖；圖2是根據本發明的一個典型實施例，用於執行視頻編碼的系統框圖；圖3是根據本發明的一個典型實施例，用於編碼或解碼視頻數據流的方法流程圖，以便執行具有減少的數據緩存需求的從CABAC到CAVLC的編碼或者從CAVLC到CABAC的編碼，以允許CABAC編碼在一個子網絡抽象層(sub-NAL)基礎上停止。
發明的詳細描述在下面的描述中，分別對說明書和附圖中的相同部分使用相同的附圖標記。為了清楚和簡明，附圖所顯示的只是通常的或者示意性的構造，不能依比例決定和確定部件，需要通過商品名稱來確定。圖1是根據本發明的一個典型實施例，用於減少CABAC存儲需求的系統100的框圖。系統100可以在硬體，軟體，或者一個適當的軟硬體組合中執行，也可以是在數位訊號處理器平臺或者其它適當的硬體或者軟體系統上執行的一個或者多個軟體系統。系統100從視頻輸入或者存儲器114接收視頻數據，產生傳輸流輸出110。將視頻數據提供給視頻輸入116，視頻輸入提供視頻數據給H.264編碼器/預處理器118。視頻輸入數據也可以在視頻數據緩衝區(DPB)126中緩衝。作為傳輸流輸出發生器的一部分，H.264編碼/預處理器118提供數據到H.264命令發生器120，它產生主機/SP命令122。將從H.264編碼/預處理器118輸出的數據，提供給H.264單獨的CAVLC ES緩衝區112，緩衝區112存儲從H.264僅僅代碼轉換到CABAC(EP)106(H.264 only transcode to CABAC(Ep))的熵處理器所使用的狀態信息。系統100包括視頻PES緩衝區(CPB)102，用來接收視頻打包基本碼流(PES)數據和緩衝用來處理的視頻PES數據。視頻PES緩衝器(CPB)102提供數據給編程多路復用器108，其產生傳輸流輸出110。從H.264僅僅代碼轉換到CABAC(EP)106(H.264 only transcode to CABAC(Ep))中接收數據，其執行CABAC代碼轉換和其它合適的處理。在一個典型實施例中，H.264僅僅代碼轉換到CABAC(EP)106(H.264 only transcode to CABAC(Ep))可以在一個解碼操作中執行從CABAC到CAVLC的解碼，以及在一個編碼操作中執行從CAVLC到CABAC的編碼。在附圖1所示的典型實施例中，正在執行解碼。在一個典型實施例中，編程多路復用器108和H.264僅僅代碼轉換到CABAC(EP)106(H.264 only transcode to CABAC(Ep))可以作為系統處理器的任務104來執行。在這個典型實施例中，系統處理器通常從一個攜帶了H.264視頻數據或者其它合適數據的MPEG傳輸流的輸出中解析比特流，來分離出原始的壓縮視頻和音頻比特流，然而同時也可以用來執行代碼轉換。因此，代碼轉換可能被中斷，其以前需要整個NAL單元存儲器。本發明通過允許代碼轉換中斷而不需要整個NAL單元存儲器，來減少存儲器需求。H.264單獨的CAVLC ES緩衝器112提供緩衝的狀態數據或者上下文自適應變長編碼數據到H.264僅僅代碼轉換到CABAC(EP)106(H.264 onlytranscode to CABAC(Ep))。在一個典型實施例中，H.264單獨的CAVLC ES緩衝器112緩衝子網絡抽象層(NAL)單元的狀態數據，因此H.264單獨的CAVLCES緩衝區112的尺寸明顯小於現有技術需要的尺寸。在這個典型實施例中，現有技術的緩衝器和編碼器相連，比如H.264僅僅代碼轉換到CABAC(EP)106(H.264only transcode to CABAC(Ep))，編碼器不需要存儲狀態數據而僅僅在一個NAL單元上執行CABAC編碼或者解碼直到結束，現有技術的緩衝器的大小範圍通常達到非壓縮圖像尺寸的2.5倍，反之利用本發明，H.264單獨的CAVLCES緩衝區112可以小於一個圖像尺寸。本發明允許H.264僅僅代碼轉換到CABAC(EP)106(H.264 only transcode to CABAC(Ep))停止對H.264數據的NAL單元的處理，並對那個NAL單元重新開始CABAC解碼，例如其中的代碼轉換引擎必須執行其它任務。因而，不需要在緩衝區中存儲整個NAL數據集合的裝置。H.264單獨的CAVLC ES緩衝區112接收來自於H.264編碼器/預處理器118的數據。將來自於視頻輸入或者存儲器114的數據提供給視頻輸入116，其中視頻輸入存儲視頻數據緩衝區(DPB)126。將來自於視頻輸入116或者視頻數據緩衝區(DPB)126的數據提供給H.264編碼器/預處理器118。除了提供視頻輸出或者存儲器數據到H.264單獨的CAVLC ES緩衝區112外，H.264編碼器/預處理器118還提供視頻數據到H.264命令發生器120。由H.264命令發生器120產生的命令被作為主機/SP命令122輸出。此外，視頻輸出116，H.264編碼/預處理器118，和H.264命令發生器120可以作為視頻處理器的任務124來執行，視頻處理器執行視頻解碼任務獲得原始的壓縮視頻比特流，並將它恢復到視頻數據。在運行時，系統100在一個小於NAL單元的單元上存儲和恢復所有熵狀態信息，例如分別在一個宏模塊行或者每個宏模塊基礎上，分別的，這裡的(最大代碼轉換單元)＝(最大壓縮宏模塊行)或者(最大壓縮宏模塊尺寸)。同樣的，在主機處理器上的CAVLC解碼使用一個相似尺寸單元以用於它自己的存儲和恢復容量，其使得在系統中的所有緩衝區尺寸需求和容量相匹配，而不論(最大解碼單元)＝(最大代碼轉換單元)是否成立。系統100允許大量的減少緩衝區尺寸，來替代非壓縮圖像尺寸2.5倍的尺寸，可以使用宏模塊所基於的單元的緩存區尺寸，其尺寸遠遠小於非壓縮圖像尺寸，也就是說，根據整個系統所使用的存儲器根本就可以忽略(不同於對所有存儲器使用需求的數量的排序)。系統100在大量潛在的熵解碼狀態之間有存儲/恢復能力，其中最重要的是熵解碼上下文狀態和引擎狀態寄存器。在一個典型實施例中，系統100可以在任何時間存儲至少兩個完整的狀態，其中的一個狀態可以被恢復並且可以重新開始代碼轉換，當同時恢復一個先前存儲的狀態和在與所存儲狀態相關的數據流上重新開始代碼轉換時存儲第三狀態。在這種條件下，可能需要系統進行切換，以對代碼轉換引擎的利用需求最大化，並且對緩衝區存儲器的需求最小化，例如在單個宏模塊的結束時、在每個宏模塊行結束時進行切換，或者用其它合適的方式進行切換。在這種方式下的代碼轉換允許系統中兩個或者多個視頻數據流中的一個通過代碼轉換器進行處理，例如在一個兩位解碼器，一個編碼器的系統中。由於沒有用於CABAC的宏模塊行的編碼/解碼複雜度的標準，對於用於代碼轉換引擎的存儲/恢復體系結構，使用現有技術的系統來配置是困難的。雖然根據H.264中每個宏模塊不能被擴展這種限制，在宏模塊行中的比特數受到限制，二進位的比特速率(二進位計算作為CABAC複雜度的一個指示器)僅僅被限制在一個圖像層(通常單元選擇一個NAL)，而不是在宏模塊層上。最差情況下，比特流請求CABAC來代碼轉換一個宏模塊行，並且可能需要有很多循環，這就需要很大量的代碼轉換緩衝區。然而實際上，複雜度可以被限制。最差情況下CABAC複雜度的基準比特流的改進允許代碼轉換緩衝區的尺寸可以在解碼最差情況數據流時實時的決定。由於緩衝區尺寸小於解碼基準比特流所必需的大小，通常(非安全的/恢復代碼轉換體系結構)對於基準比特流沒有設計值。現有技術通常被束縛在通過代碼轉換器在一個NAL上不能被中斷上，而並不關注最差情況下CABAC代碼轉換/解碼編碼複雜度。圖2是根據本發明的一個典型實施例，用於執行視頻編碼的系統200的框圖。系統200包括傳輸流輸入208，其由編程解復用器206接收。編程解復用器206提供傳輸流輸入208到視頻PES緩衝器(CPB)102，接著視頻PES緩衝器(CPB)102提供緩衝區數據到H.264僅僅代碼轉換到CAVLC(EP)204(H.264 only transcode to CAVLC(EP))。編程解復用器206和H.264僅僅代碼轉換到CAVLC(EP)204(H.264only transcode to CAVLC(EP))都可以作為系統處理的任務202或者其他合適的結構來執行。H.264僅僅代碼轉換到CAVLC(EP)204(H.264only transcode toCAVLC(EP))執行CABAC到CAVLC的代碼轉換。在一個典型實施例中，H.264僅僅代碼轉換到CAVLC(EP)204(H.264only transcode to CAVLC(EP))提供數據到H.264單獨的CAVLC ES緩衝區112，它定義了傳輸流輸入208的一個或多個狀態變量。在這個典型實施例中，傳輸流輸入208的處理可以在一個NAL單元中被停止，這樣H.264單獨的CAVLC ES緩衝區112可以明顯小於系統需要完成的整個NAL單元完全處理所需的緩衝區。系統200同樣包括H.264命令解析216，H.264編碼器/通知處理器214，和視頻輸出212，每一個都可以作為視頻處理的任務218或者以其他合適的方式來執行。H.264命令解析216接收主機/SP命令122，使用其來控制H.264編碼器/通知處理器214處理從H.264單獨的CAVLC ES緩衝區112中接收的數據。H.264編碼器/通知處理器214提供輸出到視頻數據緩衝區(DPB)126和視頻輸出212。視頻輸出212產生的視頻數據通過視頻輸出或者存儲器210提供。在運行中，系統200允許解碼傳輸流輸入，以為了傳輸到視頻輸出或者存儲器，並且大量減少所需緩衝區尺寸，這樣子網絡抽象層單元可以在一個NAL單元處理期間被存儲。在這個典型實施例中，系統200允許宏模塊行或者單個宏模塊的狀態信息被存儲在H.264單獨的CAVLC ES緩衝區112中。圖3是根據本發明的一個典型實施例，用於編碼或者解碼視頻數據流的方法流程圖，以便執行具有減少的數據緩存需求的從CABAC到CAVLC編碼或者CAVLC到CABAC的編碼，以允許CABAC編碼在一個子網絡抽象層基礎上停止。方法300從接收視頻數據流302開始。在一個典型實施例中，視頻數據流可以是一個傳輸流，例如傳輸流被用來解碼。同樣的，視頻數據流可以是一個從視頻輸入或者存儲器接收的原始視頻輸送，並且可以被轉換成傳輸流，例如在視頻數據被用來編碼的地方。方法然後繼續到304。在304上，方法繼續到306還是308依賴於視頻數據是用於編碼還是解碼。視頻數據是用於編碼還是解碼的判斷由處理器處理，可以根據輸入的視頻數據流是從哪裡接收的，或者其它合適的方式。如果視頻數據流正在被解碼，方法繼續到306，其中熵處理器或者其它適合的處理器執行CABAC到CAVLC的編碼。否則，如果視頻數據流正在被編碼，方法繼續到308，其中熵處理器或者其它適合的處理器執行CAVLC到CABAC的編碼。也可以執行其它合適的變化或者選擇性的執行。方法然後繼續到310。在310處，決定是否需要保存當前狀態信息。例如熵處理器或者其它合適的系統可能需要執行其它數據流的處理，或者用於其它任務，例如在一個兩位解碼/一個編碼系統中。如果它決定保存所需要的數據，例如用於在H.264中的單獨宏模塊或者宏模塊列中的子網絡抽象層單元狀態數據，或者其它合適的數據，方法繼續到312，否則方法跳轉到302，在302處繼續接收視頻數據流。在312上，存儲子網絡抽象層單元狀態數據。在一個典型實施例中，子網絡抽象層單元狀態數據可以包括熵解碼上下文狀態，引擎狀態寄存器，或者其它合適的數據。方法然後繼續到314，其中用來執行編碼或者解碼操作的處理器還能夠執行其它任務，例如其它數據流的代碼轉換。在316處決定處理的任務是否已經完成，例如收到來自於系統命令處理器的命令或者其它合適的數據。如果在316中判斷任務沒有完成，方法返回到314，否則方法繼續到318。在318處，從緩衝器或者存儲器中重新恢復子網絡抽象層單元狀態數據。然後在320中恢復CAVLC到CABAC或者CABAC到CAVLC的編碼，例如通過繼續對視頻數據流進行處理，視頻數據流可以例如是傳輸流或者原始的視頻流，和其它方式所需求的存儲器數量相比，使用存儲的狀態數據來減少對存儲器數量的需求。在操作中，方法300通過允許存儲用於數據的子網絡抽象層單元的狀態信息，來減少用來處理視頻數據所需的存儲器，數據的子網絡抽象層單元例如是宏模塊行或者單獨的宏模塊。在這個典型實施例中，代碼轉換處理器可以停止代碼轉換處理，和執行其它任務，例如需要允許實時傳遞的視頻數據或者執行視頻數據的代碼轉換。在另一個典型實施例中，提供了一個常用目的的視頻碼格式代碼轉換系統。提供一個中央計算/代碼轉換資源，例如一個常用目的計算平臺，其具有帶寬和處理能力來代碼轉換多個視頻數據流，同時在每個數據流上維持獨立實時的約束。通常，代碼轉換在一個預先確定單元上執行，例如GOPs(圖像群)，圖像，或者片段。由於這樣的預先確定單元的尺寸可以有很大的變化範圍，需要存儲器緩衝器來充分的緩衝數據流，以便不會出現中央資源停止等待輸入數據或者輸出數據存儲器的情況。使用本發明的優勢是中央處理/代碼轉換資源允許對給定數據流的代碼轉換可以在任意點被中斷，其中可以存儲代碼轉換狀態變量，以便這樣的代碼轉換處理可以在以後恢復。代碼轉換然後可以被切換到不同的數據流，以便允許緩衝區存儲器的明顯減少。在這個典型實施例中，不需要緩衝當前不活動的數據流，這樣可以減少所需緩衝區存儲器。在另一個典型實施例中，提供一個常用目的的實時視頻碼，其用來編碼/解碼視頻數據。在現有技術的實施例中，在編碼或者解碼之間進行切換前是工作在幀，片段或者宏模塊行上。為了維持或者提高效率和減少存儲器緩衝，編碼/解碼操作可以在任何較高清晰度處被中斷。雖然系統的典型實施例和本發明的方法已經在這裡進行了詳細的描述，本領域技術人員可以在不背離附加的權利要求的範圍和實質內，對系統和方法進行各種替代和修改，
權利要求
1.一種用於減少上下文自適應二進位算術編碼(CABAC)存儲需求的系統，包括代碼轉換引擎，其適用於在視頻數據流上執行CABAC，接收保存的數據，停止CABAC，以及轉換視頻數據流到子網絡抽象層(NAL)單元狀態數據；熵狀態數據存儲器系統，其適用於接收子網絡抽象層單元(sub-NAL)狀態數據和存儲子網絡抽象層單元(sub-NAL)狀態數據；以及代碼轉換引擎接收恢復數據，從熵狀態數據存儲器系統中抽取子網絡抽象層單元(sub-NAL)狀態數據，以及在視頻數據流上重新開始CABAC。
2.如權利要求1所述系統，其中子網絡抽象層單元(sub-NAL)狀態數據包括熵解碼上下文狀態。
3.如權利要求1所述系統，其中子網絡抽象層單元(sub-NAL)狀態數據包括引擎狀態寄存器數據。
4.如權利要求1所述系統，其中熵狀態數據存儲器系統包括一代碼轉換緩衝區，其大小小於一張未壓縮圖像的大小。
5.如權利要求1所述系統，其中代碼轉換引擎包括一個熵處理器。
6.如權利要求1所述系統，其中代碼轉換引擎包括一個系統處理器任務。
7.如權利要求1所述系統，其中代碼轉換引擎執行上下文自適應變長編碼(CAVLC)到CABAC的代碼轉換。
8.如權利要求1所述系統，其中代碼轉換引擎執行CABAC到CAVLC的代碼轉換。
9.如權利要求1所述系統，其中每次當基於至少以下一個原因沒有輸入數據可以獲得，以及沒有輸出存儲器可以獲得，而不能進一步進行處理時就停止CABAC。
10.如權利要求9所述系統，其中CABAC狀態解析度小於一個比特。
11.如權利要求1所述系統，其中在一個特定點停止對第一數據流的CABAC，熵狀態數據存儲系統保存一個相應的代碼轉換狀態，以及代碼轉換引擎切換代碼轉換到不同的數據流。
12.如權利要求1所述系統，其中在一個預定時間停止CABAC。
13.一種用於減少上下文自適應二進位算術編碼(CABAC)存儲需求的方法，其包括在一個視頻數據流上執行CABAC；接收保存的數據；在一個視頻數據流上停止CABAC；將視頻數據流轉換成子網絡抽象層(NAL)單元狀態數據；存儲子網絡抽象層單元(sub-NAL)狀態數據；接收恢復的數據；從存儲器中抽取子網絡抽象層單元(sub-NAL)狀態數據；以及在視頻數據流上重新開始CABAC。
14.如權利要求13所述方法，其中存儲子網絡抽象層單元(sub-NAL)狀態數據包括存儲熵編碼上下文狀態。
15.如權利要求13所述方法，其中存儲子網絡抽象層單元狀態數據包括存儲的引擎狀態寄存器數據。
16.如權利要求13所述方法，其中在一個視頻數據流上執行CABAC包括在一個視頻數據流上使用熵處理器執行CABAC。
17.如權利要求13所述方法，其中在一個視頻數據流上執行CABAC包括在一個視頻數據流上使用系統處理器任務執行CABAC。
18.如權利要求13所述方法，其中執行CABAC進一步包括執行CAVLC到CABAC。
19.如權利要求13所述方法，其中執行CABAC進一步包括執行CABAC到CAVLC。
20.如權利要求13所述方法，其中每次當基於至少以下一個原因沒有輸入數據可以獲得，以及沒有輸出存儲器可以獲得，而不能進一步進行處理時就停止CABAC。
21.如權利要求20所述方法，其中CABAC狀態解析度小於一個比特。
22.如權利要求13所述方法，其中在一個特定點停止對第一數據流的CABAC，熵狀態數據存儲系統保存一個相應的代碼轉換狀態，以及代碼轉換引擎切換代碼轉換到不同的數據流。
23.如權利要求13所述方法，其中在一個預定時間停止CABAC。
24.一種用於減少上下文自適應二進位算術編碼(CABAC)存儲需求的系統，包括代碼轉換引擎裝置，用於在視頻數據流上執行CABAC，接收保存的數據，停止CABAC，以及將視頻數據流轉換成子網絡抽象層(NAL)單元狀態數據；數據存儲裝置，用於接收子網絡抽象層單元(sub-NAL)狀態數據和存儲子網絡抽象層單元(sub-NAL)狀態數據；以及代碼轉換引擎裝置，用於接收恢復數據，從熵狀態數據存儲裝置中抽取子網絡抽象層單元(sub-NAL)狀態數據，以及在視頻數據流上重新開始CABAC。
全文摘要
提供一種用於減少上下文自適應二進位算術編碼(CABAC)存儲需求的系統。系統包括一個代碼轉換引擎，其在視頻數據流上執行CABAC。代碼轉換引擎接收保存的數據，停止CABAC，以及將視頻數據流轉換成子網絡抽象層(NAL)單元狀態數據。熵狀態數據存儲器系統接收子網絡抽象層單元(sub－NAL)狀態數據和存儲子網絡抽象層單元(sub－NAL)狀態數據。代碼轉換引擎隨後接收恢復數據，從熵狀態數據存儲器系統中抽取子網絡抽象層單元(sub－NAL)狀態數據，以及在視頻數據流上重新開始CABAC。
文檔編號G06T9/00GK101014124SQ20061006412
公開日2007年8月8日 申請日期2006年10月26日 優先權日2005年10月26日
發明者L·L·溫格, E·C·皮爾森 申請人:Lsi羅吉克公司