用中間層殘留值預測產生並解碼視頻序列的設備和方法

2023-09-22 22:58:40

專利名稱：用中間層殘留值預測產生並解碼視頻序列的設備和方法
技術領域：
本發明涉及視頻編碼系統，具體地涉及可縮放(scalable)視頻編碼系統，可結合 視頻編碼標準H. 264/AVC或新的MPEG視頻編碼系統一起使用。
背景技術：
標準H. 264/AVC是IUT-T視頻編碼專家組VCEG和IS0/IEC運動圖像專家組(MPEG) 的視頻標準化計劃的結果。該標準化計劃的主要目標是提供一種具有非常良好的壓縮行 為、同時產生網絡友好的視頻表徵的清晰視頻編碼概念，包括例如視頻電話的具有「通話特 徵」的應用以及沒有通話特徵的應用(存儲、廣播、流傳輸)。除了上述標準IS0/IEC 14496-10之外，還存在與該標準有關的多種出版物。僅作 為示例，參考 「The Emerging H. 264-AVC standard」，Ralf Schafer, Thomas Wiegand and Heiko Schwarz, EBU Technical Review, January 2003。此夕卜，專家出版物"Overview of the H. 264/AVC Video Coding Standard，，，Thomas ffiegand, Gary J. Sullivan, Gesle Bjontegaard and Ajay Lothra, IEEE Transactions on Circuits and Systems for Video Technology, July 2003 以&Ht出片反· 「Context—based adaptive Binary Arithmethic Coding in the H. 264/AVC Video Compression Standard，，，Detlev Marpe, Heiko Schwarz and Thomas ffiegand,IEEE Transactions on Circuits and Systems for Video Technology, September 2003，包括視頻編碼標準的不同方面的概述。然而，為了更好地理解，將參考圖9至11給出視頻編碼/解碼算法的概述。圖9示出了視頻編碼器的完整結構，視頻編碼器通常包括兩個不同級。通常，第一 級通常進行有關視頻的操作，產生輸出數據，然後輸出數據經過第二級的熵編碼，第二級在 圖9中由80表示。數據是數據81a、量化變換係數81b以及運動數據81c，其中，將這些數 據81a、81b、81c提供給熵編碼器80，以在熵編碼器80的輸出處產生編碼的視頻信號。具體地，將輸入視頻信號分別分割劃分為宏塊，其中每個宏塊具有16X16像素。 然後，選擇宏塊與片組和片的關聯，根據該關聯，由圖8所示的操作塊網絡來處理每個片的 每個宏塊。應該注意，當視頻圖像中存在不同的片時，可能高效並行處理宏塊。經由圖8中 的塊編碼器控制82來執行宏塊與片組和片的關聯。存在不同的片，這些片定義如下I片1片是其中片的所有宏塊都是使用幀內預測來編碼的片。P片除了 I片的編碼類型之外，P片的某些宏塊也可利用每個預測塊的至少一個 運動補償預測信號，使用幀間預測來編碼。B片除了 P片中可用的編碼類型之外，B片的某些宏塊也可利用每個預測塊的兩 個運動補償預測信號，使用幀間預測來編碼。
上述三種編碼類型與早期的標準中的編碼類型非常類似，但是如下面所述的，使用參考圖像。下面片的兩種編碼類型在標準H. 264/AVC中是新的SP片該片也被稱為切換P片，其編碼成可在不同預編碼圖像之間有效地切換。SI片SI片也被稱為切換I片，其使SP片中的宏塊精確地適應直接隨機存取和錯 誤恢復目的。總而言之，片是宏塊序列，如果不使用靈活宏塊排序FMO的屬性，則按照光柵掃描 的順序對片進行處理，標準中同樣定義了 FM0。如圖11所示，可將圖像分割為一個或多個 片。因此，圖像是一個或多個片的集合。在這點上，由於可根據比特流來分析(解析)片的 語法單元，所以片是彼此獨立的，其中，可在片所表示的圖像範圍內正確地對採樣值進行解 碼，只要所用的參考圖像在編碼器和解碼器中是相同的。然而，需要來自其它片的某些信息 來在片邊界上應用解塊濾波器(deblocking filter)。FMO特性通過使用片組的概念，來修改將圖像劃分為片的方式。每個片組是由宏塊 到片組的映射所定義的宏塊的集合，宏塊到片組的映射由圖像參數集的內容和來自片頭的 某些信息規定。該宏塊到片組的映射包括圖像中每個宏塊的片組標識號，該標識號規定了 有關宏塊所屬的片組。可將每個片組劃分為一個或多個片，因此片是相同片組中的宏塊的 序列，該序列按照特定片組的宏塊集合中的光柵抽樣的順序來處理。取決於片編碼器的類型，可以以一個或多個編碼器類型來發送每個宏塊。在所有 片編碼器類型中，支持被稱為intra_4x4或intra_16X16類型的幀內編碼，此外，還支持色度預 測模式和I_rcM預測模式。intra_4x4模式基於獨立的每個4X4色度塊的預測，並且非常適用於對具有突出 細節的圖像部分進行編碼。另一方面，intra_16X16模式執行整個16X16色度塊的預測，並 更適用於對圖像的「柔和，，區域進行編碼。除了這兩個色度預測類型之外，還執行獨立的色度預測。作為intra_4x4* intra_16X16的備選，I_4X4編碼類型使得編碼器簡單地省略預測以及變換編碼，而直接發送 編碼的採樣的值。Ι—κ 模式具有以下目的其是編碼器精確地表徵採樣的值。其提供一種 精確地表徵非常異常的圖像內容的值而不放大數據的方式。此外，其可以確定比特數的確 切邊界，編碼器需要具有該確切邊界以處理宏塊而不損失編碼效率。與在變換域中執行幀內預測的早期的視頻編碼標準(即H. 263+和MPEG-4Visual) 相反，H. 264/AVC中的幀內預測總是通過參考分別在要預測的塊的左側和上方的先前編碼 的塊的相鄰採樣，在空間域中執行的(圖10)。在出現傳輸錯誤的某些情況下，這會引起錯 誤傳播，其中，由於幀內編碼的宏塊中的運動補償而發生該錯誤傳播。因此，可用信號通知 受限的幀內編碼模式，受限的幀內編碼模式僅能夠預測幀內編碼的相鄰宏塊。在使用intra_4x4模式時，預測空間相鄰採樣的每個4X4 ±夬。通過使用相鄰塊中 先前解碼的採樣，來預測4X4塊的16個採樣。可對每個4X4塊使用9種預測模式之一。 除了 「DC預測」(其中一值用於預測整個4X4塊)之外，規定8個方向預測模式。這些模 式適用於預測圖像中的方向結構，例如不同角度的邊緣。除了幀內宏塊編碼類型之外，將不同預測或運動補償編碼類型規定為P宏塊類 型。每個P宏塊類型與將宏塊具體分為塊形式相對應，塊形式用於運動補償預測。語法支 持以16 X 16、16 X 8、8 X 8或者8 X 16採樣的小塊尺寸進行劃分。在8 X 8採樣的劃分中，對於每個8X8劃分，發送附加的語法單元。該語法單元規定了是否將各個8X8劃分進一步 劃分為8X4、4X8或者4X4亮度採樣和相應的色度採樣。通過將各個參考圖像的區域移動由平移矢量和圖像參考指標規定的量，獲得每個 預測編碼的MXM小塊的預測信號。因此，如果使用四個8X8劃分來編碼宏塊，並且在將每 個8X8劃分進一步劃分為四個4X4劃分時，可在所謂運動場內傳輸單個P宏塊的最大量 為16的運動矢量。在H. 264/AVC中，量化參數片QP用於確定變換係數的量化。該參數可假定52個 值。設置這些值，使得量化參數增加1則意味著量化器步長寬度增加大約12%。這意味著 量化參數增加6 則使量化器步長寬度恰好增加因子2。應該注意，步長大小改變大約12% 也意味著比特率減少大約12%。塊的量化變換係數通常以Z字形路徑來採樣，並通過使用熵編碼方法來處理。按 照光柵掃描順序來採樣色度分量的2X 2DC次數，並且可通過使用16比特整數值的加法和 移位運算來實現H. 264/AVC中的所有逆變換運算。參考圖9，對於視頻序列中的每個圖像，首先逐個圖像將輸入信號劃分為16X16 像素的宏塊。然後，將每個圖像提供給減法器84，減法器84減去由包含在編碼器中的解碼 器85提供的原始圖像。然後對減法結果(即空間域的殘留信號)進行變換、縮放和量化 (塊86)，以獲得線81b熵的量化變換係數。為了產生要饋入減法器84的減法信號，首先再 次對量化變換係數進行縮放和逆變換(塊87)，以提供給加法器88，加法器88的輸出饋入 解塊濾波器89，其中，例如，在解塊濾波器的輸出處監視將要由解碼器進行解碼的輸出視頻 信號，以用於控制目的(輸出90)。通過使用輸出90處的解碼的輸出信號，在塊91中執行運動估計。對於塊90中的 運動估計，從圖9中可見，提供原始視頻信號的圖像。標準允許兩種不同的運動估計，即前 向運動估計和後向運動估計。在前向運動估計中，關於前一圖像來估計當前圖像的運動。 然而，在後向運動估計中，使用將來的圖像來估計當前圖像的運動。將運動估計的結果(塊 91)提供給運動補償塊92，特別地，在開關93切換到幀間預測模式時，就像在圖9的情況下 一樣，運動補償塊92執行運動補償幀間預測。然而，如果開關93切換到幀內預測，則使用 塊490來執行幀內預測。因此，由於對於幀內預測，不執行運動補償，所以不需要運動數據。運動估計塊91分別產生運動數據和運動場，其中，將分別包括運動矢量的運動數 據和運動場發送到解碼器，從而可執行相應的逆預測，即使用變換係數和運動數據的重構。 應該注意，在前向預測中，可分別根據緊接的前一圖像和多個在前的圖像來計算運動矢量。 除此之外，還應該注意，在後向預測中，可使用緊接的相鄰的將來圖像，當然也可使用其它 的將來圖像，來計算當前圖像。圖9所示的視頻編碼概念的缺點在於，其未提供簡單的可縮放性的可能。如本領 域公知的，術語「可縮放性(scalability)，，表示編碼器/解碼器概念，其中，編碼器提供縮 放的數據流。縮放的數據流包括基本縮放層以及一個或多個增強縮放層。基本縮放層包括 要編碼的信號的表徵，通常具有較低質量，但同時具有較低數據率。增強縮放層包含視頻信 號的另一表徵，其提供相對於基本縮放層有提高質量的表徵，典型地伴隨著基本縮放層的 視頻信號表徵。另一方面，當然，增強縮放層具有各自的比特需求，因此用於表示要編碼的 信號的比特數隨每個增強層而增加。
取決於設計和可能性，解碼器僅對基本縮放層進行解碼，以提供由解碼信號表示 的圖像的相當差質量的表徵。然而，隨著每次「增加」另一縮放層，解碼器可逐步提高信號 的質量(在有損比特率的情況下)。取決於實現方式和編碼器到解碼器的傳輸通道，由於典型地基本縮放層的比特率 很低而有限的傳輸通道足夠，所以傳輸至少一個基本縮放層。如果傳輸通道不再有更多的 帶寬，則僅傳輸基本縮放層而不傳輸增強縮放層。結果，解碼器可只產生圖像信號的低質量 表徵。與數據率太高而使得傳輸系統不太可能的未縮放情況相比，低質量表徵是有利的。如 果傳輸通道運動傳輸一個或多個增強層，則編碼器將向解碼器傳輸一個或多個增強層，因 此可根據請求，逐步地提高輸出視頻信號的質量。
關於視頻序列的編碼，可區分兩種不同的縮放。一種縮放是時間縮放，因此未傳輸 視頻序列的所有視頻幀，而是為了減小數據率，例如，僅傳輸了每第二個幀、每第三個幀、每 第四個幀等。另一種縮放是SNR縮放(SNR=信噪比)，其中，基本縮放層和第一、第二、第 三、.· ·增強縮放層包括所有的時間信息，但是具有不同的質量。因此，基本縮放層具有低數 據率，但是具有低信噪比，其中，可通過每次增加一個增強縮放層來逐步地提高該信噪比。圖9所示的編碼器概念的問題在於，它是基於殘留值僅由減法器84產生、然後被 處理的事實。在圖9所示的通過使用塊86、87、88、93、94和84而形成閉合迴路的設置中， 基於預測算法來計算這些殘留值，其中，量化參數進入閉合迴路，即進入塊86、87。如果現在 實現簡單的SNR縮放，即例如首先用粗量化步來量化預測殘留信號，然後通過使用增強層， 用細量化器步長來逐步量化預測殘留信號，這將具有以下結果。由於逆量化和預測，特別 地，關於一方面使用原始圖像且另一方面使用量化圖像而進行的運動估計(塊91)和運動 補償(塊92)，將在編碼器和解碼器中導致量化器步長的「發散」。這導致在解碼器一側產 生增強縮放層非常困難。此外，在解碼器一側處理增強縮放層變得不可能，至少是關於在標 準H. 264/AVC中定義的單元不可能。因此，原因是圖9所示的視頻編碼器中的閉合迴路包 含量化。在San Diego2003年12月2日到5日的第九屆JVT會議介紹的Hsiko Schwarz， Detlev Marpe 和 Thomas Wiegand 的題為 「SNR-Scalable Extension of H. 264/AVC」 的標 準化文獻JVT-I 032tl中，介紹了對H. 264/AVC的可縮放擴展，其中包括關於時間和信噪比 的可縮放性(具有相等或不同時間精度)。因此，引入了時間子帶劃分的提升表徵，這允許 使用運動補償預測的公知方法。在 J.-R. Ohm, "Complexity and delay analysis of MCTF interframe wavelet structures", ISO/IECJTC 1/WGllDoc. M8520, July 2002 中描述了其中提升表徵用於小 波分析和小波合成的基於小波的視頻編碼算法。在D. Taubman, "Successive refinement of video fundamental issues, past efforts and new directions，，，Proc. of SPIE (VCIP，03)，vol. 5150，pp. 649-663，2003中可以找到與可縮放性有關的評述，然而，其 中需要顯著的編碼器結構改變。根據本發明，一方面實現了編碼器/解碼器的概念，另一方 面，可縮放的可能性可基於與標準一致的單元，尤其是對於運動補償。在詳細參考圖3的編碼器/解碼器機構之前，首先，參考圖4來分別描述編碼 器一側的基本提升方案和解碼器一側的逆提升方案。在W. Sweldens，「A custom designconstruction of biorthogonal wavelets", J. Appl. Comp. Harm. Anal. , vol. 3 (no. 2), pp.186-200,1996 禾口 I.Daubechies and W. Sweldens, "Factoring wavelet transforms into lifting Steps", J. Fourier Anal. Appl.，vol. 4 (no. 3)，pp. 247-269，1998 可找到與 提升方案和小波變換的組合的背景技術有關的詳細解釋。通常，提升方案包括三步，即多相 分解步驟、預測步驟和更新步驟。 分解步驟包括將輸入側的數據流劃分為下分支40a的相同第一拷貝以及上分支 40b的相同拷貝。此外，將上分支40b的相同拷貝延遲一時間級(廣)，使得具有奇數索引k 的採樣s2k+1與具有偶數索引s2k的採樣分別經過各個抽取器和下採樣器42a、42b。抽取器 42a和42b分別通過去除每第二個採樣，來減少上和下分支40b、40a中的採樣數。涉及預測步驟的第二區域II包括預測算子43和減法器44。表示更新步驟的第三 區域包括更新算子45和加法器46。在輸出側，存在兩個歸一化器47、48，用於歸一化高通 信號hk (歸一化器47)和歸一化低通信號Ik (歸一化器48)。具體地，多相分解導致給定信號s [k]的奇偶採樣的劃分。由於相關性結構典型地 示出了局部特性，所以奇偶多相分量高度相關。因此，在最後的步驟中，通過使用整數採樣 來執行奇數採樣的預測(P)。每個奇數採樣S。dd[k] = s[2k+l]的相應預測算子(P)是相鄰 偶數採樣s_n[k] = s[2k]的線性組合，即P( ven 舢]斯咖Ι>+Φ
/作為預測步驟的結果，奇數採樣由它們各自的預測殘留值替代h [k] = Sodd [k] -P (Seven) [k]。應該注意，預測步驟等效於執行兩個通道的濾波器組的高通濾波，如在 I. Daubechies and W. Sweldens,"Factoring wavelet transforms into lifting steps，，， J. Fourier Anal. Appl. vol 4 (no. 3)，pp. 247-269，1998 中所示。在提升方案的第三步驟中，通過用預測殘留值h[k]的線性組合來替代偶數採樣 sCTm[k]，來執行低通濾波。各個更新算子U給出如下+ °
I通過用以下值替代偶數採樣l[k] = seven[k]+U (h) [k]給出的信號s[k]最終可由l[k]和h[k]表示，其中，每個信號具有二分之一採樣 率。由於更新步驟和預測步驟都是完全可逆的，所以可將相應的變換解釋為嚴格採樣理想 重構濾波器組。實際上，可以看出，可由一個或多個預測步驟和一個或多個更新步驟的序列 來實現任意雙正交族的小波濾波器。對於低通和高通分量的歸一化，如已經解釋的，給歸一 化器47和48提供適當選擇的縮放因子F1和Fh。圖4在右手邊示出了與合成濾波器組相對應的逆提升方案。該方案只包括以相反 順序以及相反符號來應用預測和更新算子，之後通過使用奇偶多相分量來進行重構。具體 地，圖4所示的右邊的解碼器也包括第一解碼器區域I、第二解碼器區域II以及第三解碼器 區域III。第一解碼器區域抵消更新算子45的效果。這通過向更新算子45提供由另一歸 一化器50歸一化的高通信號來實現。然後，與圖4的加法器46相反地，將解碼器側的更新 算子45的輸出信號提供給減法器52。相應地，處理預測器43的輸出信號，然後將該輸出信號提供給加法器53，而不是與編碼器側一樣提供給減法器。現在，在每個分支中進行因 子2的信號上採樣(塊54a、54b)。然後，將上分支向將來移位一個採樣，這等效於延遲下分 支，來在加法器55中執行上分支和下分支上的數據流的加法，以在合成濾波器組的輸出處 獲得重構的信號％。可分別由預測器43和更新算子45來實現多個小波。如果要實現所謂hair小波， 則預測算子和更新算子給出如下PHai(seven) [k] = s [2k]和t/脳㈨㈨=|/#]，使得h[k] = s[2k+l]-s[2k]以及/[幻=對2幻 + |/^] = |(>[2幻 + 對2眾 + 1])分別與hair濾波器 的非歸一化高通和低通(分析)輸出信號相對應。在5/3雙正交樣條小波的情況下，該小波的低通和高通分析濾波器分別具有5和 3個濾波器抽頭，其中，相應的縮放函數是二階B樣條。在諸如JPEG200的靜止圖像的編碼 器應用中，該小波用於時間子帶編碼器方案。在提升情況下，5/3變換的相應預測和更新算 子給出如下Pin{seve )[k] = ^-(s[2k] + s[2k + 2])以及= ~(h[k] + h[k — 1])
丄4圖3示出了在編碼器一側和解碼器一側都具有示範性的四個濾波器級的編碼器/ 解碼器結構的方框圖。從圖3可見，編碼器的第一濾波器級、第二濾波器級、第三濾波器級 和第四濾波器級是相同的。解碼器的濾波器級也是相同的。在編碼器一側，每個濾波器級 包括後向預測Mi(l60以及前向預測Μη61作為中心單元。後向預測器60在原理上與圖4的 預測器43相對應，而前向預測器61與圖4的更新算子相對應。與圖4相反，應該注意，圖4涉及採樣流，其中採樣具有奇數索引2k+l，而另一採樣 具有偶數索引2k。然而，如已經參考圖1所解釋的，圖3中的注釋涉及一組圖像而不是一組 採樣。如果圖像分別具有多個採樣和圖像，則完全饋入該圖像。然後，饋入下一圖像等。因 此，不再有奇數和偶數採樣，而只有奇數和偶數圖像。根據本發明，將針對奇數和偶數採樣 所描述的提升方案分別應用於每個都具有多個採樣的奇數和偶數圖像。現在，圖4的逐個 採樣預測器43變為後向運動補償預測60，而逐個採樣更新算子45變為逐個圖像前向運動 補償預測61。應該注意，針對兩個相繼的有關圖像來計算運動濾波，運動濾波包括運動矢量且 表示塊60和61的係數，並將其作為輔助信息從編碼器發送到解碼器。然而，本發明概念 的主要優點在於，結合圖9所描述的且在標準H. 264/AVC中標準化的單元91、92可容易地 用於計算運動場Mitl和運動場Μη。因此，對於本發明概念，不需要使用新的預測器/更新算 子，而可將在針對功能和效率所檢查的視頻標準中提到的已有算法用於前向或後向的運動 補償。具體地，圖3所示的所用濾波器組的一般結構示出了在輸入64處饋入的具有16 個圖像組的視頻信號的時間分解。該分解是視頻信號的二元時間分解，其中，在圖3所示的 實施例中，需要四極24 = 16個圖像(表示組大小為16個圖像)來實現最小時間解析度的表徵，該表徵即輸出28a和輸出28b處的信號。因此，如果將16個圖像分組，則導致16個 圖像的延遲，這使圖3所示的具有四級的概念對於交互式應用更加困難。因此，如果目的是 交互式應用，則優選地形成更小的圖像組，例如四個或八個圖像的組。然後，相應地減小延 遲，從而可能用於交互式應用。在不需要交互的情況下，例如用於存儲等的情況下，可相應 地增加組中圖像數目，即組大小，例如增加到32個、64個圖像等。在這種方式下，使用基於hair運動補償提升方案的交互式應用，該應用包括 H. 264/AVC中的後向運動補償預測(Mitl)，並還包括更新步驟，更新步驟包括前向運動補償 (Mil)。如H. 264/AVC所示的，預測步驟和更新步驟都使用運動補償過程。此外，不僅使用運 動補償，還使用由圖9中的附圖標記89所表示的解塊濾波器89。第二濾波器級還包括下採樣器66a、66b、減法器69、後向預測器67、前向預測器68 以及加法器70和另一處理裝置，該另一處理裝置用於在所述另一處理裝置的輸出處輸出 第二級的第一和第二高通圖像，並在加法器70的輸出處輸出第二級的第一和第二低通圖 像。此外，圖3的編碼器包括第三級和第四級，其中，將16個圖像的組饋入第四級輸入 64。在也被稱為HP4的第四級高通輸出72處，輸出用量化參數Q量化且相應處理的八個高 通圖像。相應地，在第四濾波器級的低通輸出73處，輸出八個低通圖像，這八個低通圖像饋 入第三濾波器級的輸入74。該級同樣用於在也被稱為HP3的高通輸出75處產生四個高通 圖像，並在低通輸出76處產生四個低通圖像，這四個低通圖像饋入第二濾波器級的輸入10 並被分解。特別地，應該注意，由濾波器級處理的圖像組並不一定必須是來源於原始視頻序 列的視頻圖像，而可以是由下一更高濾波器級在濾波器級的低通輸出處輸出的低通圖像。此外，還應該注意，當簡單地省略第四濾波器級並將圖像組饋入輸入74時，圖3所 示針對16個圖像的編碼器概念可容易地減少為針對八個圖像。以相同的方式，可通過添加 第五濾波器級、然後在第五濾波器級的高通輸出處輸出16個高通圖像、並將第五濾波器級 的輸出處的十六個低通圖像饋入第四濾波器級的輸入74，將圖3所示的概念擴展為針對32 圖像組。編碼器一側的樹式概念同樣適用於解碼器一側，但是不像編碼器一側一樣從高級 到低級，而是在解碼器一側從低級到高級。因此，示意地被稱為網絡抽象層100的從傳輸介 質接收數據流，所接收的比特流首先經過另一逆處理裝置的另一逆處理，在裝置30a的輸 出處獲得第一級的第一高通圖像的重構版本，並在圖3的塊30b的輸出處獲得第一級低通 圖像的重構版本。然後，與圖4的右半部相同，經由預測器61，首先將前向運動補償預測反 轉，然後從低通信號的重構版本中減去預測器61的輸出信號(減法器101)。減法器101的輸出信號饋入後向補償預測器60，產生預測結果，在加法器102中 將預測結果與高通圖像的重構版本相加。然後，通過使用上採樣器104a、104b，使兩個信號 (即下分支103a、上分支103b中的信號)變為雙倍採樣率，然後根據實現方式，使上分支的 信號延遲或「加速」。應該注意，僅通過插入與圖像的採樣數相對應的數目的零，由橋104a、 104b來執行上採樣。以ζ—1示出的單元使上分支103b相對於下分支103a的圖像延遲移動 使得兩個第二級低通圖像依次出現在相對於加法器106的輸出側。第一和第二第二級低通圖像的重構版本然後饋入解碼器一側的第二級逆濾波器，
11通過逆濾波器組的相同實現，再次與發送的第二級高通圖像組合，在第二級的輸出101處 獲得四個第三級低通圖像序列。四個第三級低通圖像然後在第三級的逆濾波器級中與發送 的第三級高通圖像組合，在逆第三級濾波器的輸出110處獲得序列格式的八個第四級低通 圖像。在逆第四級濾波器中，這八個第四級低通圖像再次與經由輸入HP4從傳輸介質100接 收的八個第四級高通圖像組合，在逆第四級濾波器的輸出112處獲得16個圖像的重構組。因此，在分析濾波器組的每一級中，將兩個圖像(原始圖像或者表示低通信號並 在下一更高級中產生的圖像)分解為低通信號和高通信號。低通信號可以當作輸入圖像的 共有特性的表徵，而高通信號可當作輸入圖像之間的差異的表徵。在合成濾波器組的相應 級中，通過使用低通信號和高通信號，再次重構兩個輸入圖像。由於在合成步驟中執行分析步驟的逆運算，所以分析/合成濾波器組(當然沒有 量化)確保了理想的重構。損耗僅發生在其它處理裝置中的量化中，例如26a、26b、18。如果非常精精細地執 行量化，則可實現良好的信噪比。然而，如果非常粗略地執行量化，則實現相對差的信噪比， 但是具有低的比特率，即要求低。沒有SNR可縮放性，利用圖3所示的概念，已經實現了時間縮放控制。因此，使用 時間縮放控制120，其形成為在輸入側分別獲得高通和低通輸出以及其它處理裝置(26a、 26b、18、…)的輸出，以從這些部分數據流TPl、HPl、HP2、HP3、HP4中產生縮放的數據流， 該縮放的數據流具有基本縮放層的第一低通圖像和第一高通圖像。然後，第二高通圖像的 處理版本容納在第一增強縮放層中。第三級高通圖像的處理版本會被容納在第二增強縮放 層中，而第四級高通圖像的處理版本會被引入第三增強縮放層。因此，僅根據基本縮放層， 解碼器可產生具有較低時間質量的低級低通圖像序列，即每個圖像組的兩個第一級低通圖 像。隨著每個增強縮放層的添加，可一直使每組的重構圖像數目翻倍。解碼器的功能典型 地由縮放控制來控制，縮放控制形成為檢測在數據流中包含多少縮放層以及解碼器在解碼 期間要考慮多少縮放層。Heiko Schwarz,Detlev Marpe and Thomas Wiegand^ 2003 ^Ξ 12 ^ 8 HM 12 H 在Waikoloa Hawaii 的第十屆 JVT會議中介紹的題為「SNR-Scalable Extension of H. 264/ AVC」的JVT文獻JVT-J 035示出了圖3和圖4所示的時間分解方案的SNR可縮放擴展。具 體地，將時間縮放層劃分為各個「SNR縮放子層」，其中，用第一粗量化器步長來量化某個時 間縮放層，來獲得SNR基本層。然後，執行逆量化，並從原始信號中減去逆量化的結果信號， 獲得差值信號，然後用細量化器步長對差值信號進行量化，獲得第二縮放層。然而，用細量 化器步長對第二縮放層進行再次量化，從原始信號中減去再次量化後獲得的信號，獲得另 一差值信號，在用細量化器步長進行量化之後，該差值信號分別表示第二 SNR縮放層和SNR 增強層。因此，可以發現，基於運動步長時間濾波(MCTF)的上述可縮放性方案已經提供了 關於時間可縮放性以及SNR可縮放性的高度靈活性。但是還有一個問題，即多個縮放層的 總比特率仍然遠大於在不能夠縮放的情況下編碼最高質量的圖像時所實現的比特率。由於 不同縮放層的輔助信息，可縮放的編碼器也許永遠不能夠獲得未縮放情況下的比特率。然 而，具有多個縮放層的數據流的比特率應該儘可能地接近未縮放情況的比特率。此外，可縮放性概念應該對於所有可縮放性類型都提供高度靈活性，這意味著關於時間和空間的高度靈活性以及關於SNR的高度靈活性。在具有低解析度的圖像已足夠但是希望更高時間解析度的情況下，高靈活性尤其 重要。例如，當圖像中存在快速改變，例如在團體性運動的視頻中，除了球之外，還有許多人 同時運動時，會產生這種情況。

發明內容
本發明的目的式提供一種靈活的編碼/解碼概念，儘管該概念是可縮放的概念， 它也可提供儘可能低的比特率。該目的由根據權利要求1的用於產生編碼的視頻序列的設備、根據權利要求15的 用於產生編碼的視頻序列的方法、根據權利要求16的用於對編碼的視頻序列進行解碼的 設備、根據權利要求26的用於對編碼的視頻序列進行解碼的方法、根據權利要求27的計算 機程序或者根據權利要求28的計算機可讀介質來實現。本發明基於以下認識不僅利用在縮放層中執行的運動步長預測，可實現比特率 減小，在例如基本層的較低層到例如增強層的更高層的運動補償預測之後，通過執行殘留 圖像的中間縮放層預測，可實現具有恆定圖像質量的進一步的比特率減小。可以發現，在相同的時間縮放層中，在運動補償預測之後，優選地關於解析度或關 於信噪比而縮放的各個所考慮的其它縮放層的殘留值在殘留值之間也具有相關性。根據本 發明，通過在編碼器一側上提供用於增強縮放層的中間層預測器，與解碼器一側的中間層 組合器相對應，可有利地利用這些相關性。優選地，該中間層預測器自適應地設計用於針對 每個宏塊，決定是否值得進行中間層預測，或者該預測是否會導致比特率增加。在預測殘留 信號變得大於關於隨後的熵編碼器的增強層的原始運動補償殘留信號時，出現後一情況。 然而，在多數情況下不會發生這種情況，因此激活中間層預測器並產生顯著的比特率降低。此外，在本發明的優選實施例中，還執行增強層的運動數據的預測。因此，還示出 了在例如關於SNR或解析度的不同質量的縮放層中，不同縮放層中的運動場也彼此具有相 關性，通過提供運動數據預測器，可將該相關性有利地用於根據本發明的比特率降低。在實 現方式中，可以執行預測，其中，並不針對增強層來計算各個運動數據，而是在上採樣之後， 發送基本層的運動數據。然而，這會導致增強層中的運動補償信號大於針對增強層來計算 運動數據的情況。然而，當由於傳輸期間增強層所節約的運動數據而產生的節約大於由可 能更大的殘留值引起的比特率增加時，該缺點沒有影響。然而，在實現方式中，可針對增強層來計算各個運動場，其中，將基本層的運動場 併入計算或用作預測器，以便僅傳輸運動場的殘留值。該實現方式具有以下優點完全使用 了兩個縮放層的運動數據相關性，並且在運動數據預測之後，運動數據的殘留值儘可能地 小。然而，該概念的缺點在於必須傳輸附加的運動數據殘留值。此外，在本發明的優選實施例中，使用SNR可縮放性。這意味著在基本層中利用比 增強層更粗略的量化參數來執行量化。用粗量化器步長量化並再次重構的基本運動預測的 殘留值從而用作中間層預測器的預測信號。在理想的SNR可縮放性的情況下，在編碼器側 計算所有縮放層的單個運動場就足夠了。關於增強層的運動數據，這同樣意味著不必傳輸 其它增強運動數據，而是來自基本層的增強運動數據可完全用在編碼器一側，用於增強層 的逆運動補償。然而，當使用引入了量化參數的運動數據的計算時，不同的量化參數導致不
13同的運動場。如果使用空間可縮放性，這意味著基本縮放層具有比增強縮放層更粗略的空間分 辨率，優選地對基本運動預測的殘留值進行插值，這意味著從增強縮放層的較低解析度進 行轉換，然後將其提供給中間層預測器。此外，優選地針對每個縮放層執行運動信息的各個計算。然而，在本發明的優選實 施例中，運動數據預測用於數據率降低，數據率降低可包括完整地傳輸較低縮放層的運動 數據(在縮放之後)，或使用較低縮放層的上採樣運動矢量來預測更高縮放層的運動矢量， 然後僅傳輸比未預測運動數據需要更低數據率的運動數據殘留值。在這種情況下，優選地 自適應地設計中間層預測器和增強運動數據預測器。在本發明的優選實施例中，使用組合的可縮放性，其中，基本縮放層和增強縮放層 的空間解析度和表示所用量化器步長的所用量化參數均不同。在這種情況下，從由於拉格 朗日優化而產生的基本縮放層的先前量化參數開始，計算基本層的量化參數、基本層的運 動數據的失真和比特要求的組合。在運動步長預測之後獲得的殘留值和所用的基本運動數 據然後用於預測更高縮放層的各個數據，其中，同樣從更高縮放層的細縮放參數開始，計算 運動數據、量化參數和失真、增強運動數據的比特要求的最佳組合。


現在參考附圖來解釋本發明的優選實施例，其中圖Ia是本發明的編碼器的優選實施例；圖Ib是圖Ia的基本圖像編碼器的細節表示；圖Ic是中間層預測標誌的功能的討論；圖Id是運動數據標誌的描述；圖Ie是圖Ia的增強運動補償器的優選實施方式；圖If是圖2的增強運動數據確定裝置1078的優選實施方式；圖Ig是用於計算增強運動數據和如果需要則為了信號通知和殘留數據傳輸而進 行的增強運動數據處理的三個優選實施例的整體表示；圖2是本發明解碼器的優選實施例；圖3是具有四極的解碼器的方框圖；圖4是示出了時間子帶濾波器組的提升分解的方框圖；圖5a是圖4所示的提升方案的功能的表示；圖5b是單向預測(hair小波)和雙向預測(5/3變換)的兩個優選提升規定的表 示；圖5c是用於任意選擇要由提升方案處理的兩個圖像的具有運動步長和參考標記 的預測和更新算子的優選實施例；圖5d是可逐個宏塊將原始圖像信息插入高通圖像的幀內模式的表示；圖6a是用於信號通知宏塊模式的示意表示；圖6b是根據本發明優選實施例，用於以空間可縮放性來對運動數據進行上採樣 的示意表示；圖6c是運動矢量差的數據流語法的示意表示；
圖6d是根據本發明優選實施例的殘留值語法增強的示意表示；圖7是例如8個圖像的圖像組的時間移位的整體視圖；圖8是16個圖像的圖像組的低通圖像的優選時間設置；圖9是根據針對宏塊的標準H. 264/AVC，示出了編碼器的基本編碼器結構的整體 框圖；圖10是包括分別在當前語法單元C的左邊和上邊的兩個相鄰像素單元A和B的 環境設置；以及圖11是圖像分為片的劃分的表示。
具體實施例方式圖Ia示出了用於產生編碼的視頻序列的設備的優選實施例，該視頻序列具有基 本縮放層和增強縮放層。具有8、16或任意數目圖像的圖像組的原始視頻序列饋入輸入 1000。在輸出側，編碼的視頻序列包含基本縮放層1002和增強縮放層1004。增強縮放層 1004和基本縮放層1002可提供給比特流復用器，該復用器在輸出側產生單個可縮放的比 特流。然而，取決於實施方式，兩個縮放層的分離傳輸也是可以的，並且在一些情況下是有 用的。圖Ia示出了用於產生基本縮放層和增強縮放層這兩個縮放層的編碼器。為了獲得 編碼器，如果需要，則產生一個或多個其它增強層，重複增強縮放層的功能，其中，總是由緊 接的更低的增強縮放層給更高增強縮放層提供數據，如圖1所示，由基本縮放層1002給增 強縮放層1004提供數據。在詳細參考諸如SNR可縮放性或空間可縮放性或者空間和SNR可縮放性的組合可 縮放性之類的不同縮放類型之前，首先來示出本發明的基本原理。首先，編碼器包括基本運 動補償器或基本運動估計器1006，用於計算基本運動數據，基本運動數據表示宏塊在當前 圖像中相對於基本運動補償器1006在輸入側獲得的圖像組中另一圖像怎樣運動。已知用 於計算運動數據的技術，尤其是用於計算宏塊的運動矢量的技術，宏塊是數字視頻圖像中 的像素區域。優選地，如在視頻編碼標準H. 264/AVC標準化一樣，使用運動補償計算。因而， 考慮後一圖像的宏塊，並確定宏塊相對於前一圖像怎樣「運動」。該運動(在xy方向)由二 維運動矢量表示，該矢量是由塊1006針對每個宏塊計算的，並經由運動數據線1008提供給 基本圖像編碼器1010。然後，針對下一圖像來計算宏塊怎樣從前一圖像運動到下一圖像。在一種實施方式中，在某種程度上表示從第二到第三圖像的運動的新的運動矢量 可再次作為二位矢量來傳輸。然而，為了效率的原因，優選地僅傳輸運動矢量差，運動矢量 差表示宏塊從第二到第三圖像的運動矢量與宏塊從第一到第二圖像的運動矢量之間的差。 可選地，還可使用並不是參考緊接的先前圖像而是參考其它先前圖像的運動矢量差。然後將塊1006所計算的運動數據提供給基本運動預測器1012，基本運動預測器 1012設計用於使用運動數據和圖像組來計算殘差圖像的基本序列。因此，基本運動預測器 執行運動補償。在某種程度上，分別由運動補償器和運動估計器進行運動補償。然後將殘 差圖像的基本序列提供給基本圖像編碼器。基本圖像編碼器形成為在其輸出處提供基本縮 放層1002。此外，本發明的編碼器包括增強運動補償器或增強運動估計器1014，用於檢測增 強運動數據。將這些增強運動數據提供給增強運算預測器1016，增強運動預測器1016在輸
15出側產生殘差圖像的增強序列，並將增強序列提供給下遊的中間層預測器1018。因此，增強
運動預測器執行運動補償，在某種程度上，分別由運動補償器和運動估計器來進行運動補 m
te ο中間層預測器形成為計算輸出側的增強預測殘差圖像。取決於實現方式，除了從 塊1016獲得的數據，即殘差圖像的增強序列之外，中間層預測器還使用經由點狀的旁路線 1020由塊1012提供的殘差圖像的基本序列。可選地，塊1018還使用在塊1012的輸出處提 供並由插值器1022插值的殘差圖像的插值序列。此外，可選地，中間層預測器還可在基本 圖像編碼器1010的輸出1024處提供殘差圖像的重構基本序列。從圖Ia可見，該殘差圖像 的重構基本序列可以是插值1022的，或者未插值1020的。因此，通常，中間層預測器使用 殘差圖像的基本序列來工作，其中，例如，通過塊1012的輸出處的殘差圖像的基本序列的 重構或插值，來得到中間層預測器輸入1026處的信息。在中間層預測器1018的下遊是增強圖像編碼器1028，增強圖像編碼器1028形成 為對增強預測殘差圖像進行編碼以獲得編碼的增強縮放層1004。在本發明的優選實施例中，中間層預測器形成為從中間層預測器1018從增強運 動預測器1016獲得的各個信號中逐個宏塊且逐個圖像地減去在其輸出1026處的信號。在 該減法中獲得的結果信號表示增強預測殘差圖像的圖像的宏塊。在本發明的優選實施例中，自適應地形成中間層預測器。對於每個宏塊，提供中間 層預測標誌1030，該標誌1030表示中間層預測器必須執行預測，或者在另一狀態下表示不 必執行預測，但是要將增強運動預測器1016的輸出處的相應宏塊在沒有預測的情況下提 供給增強圖像編碼器1028。該自適應的實現方式具有以下優點中間層預測僅在有用時才 執行，即在與未執行中間層預測、而直接對增強運動預測器1016的輸出數據進行編碼的情 況相比預測殘留信號導致較低輸出圖像速率的情況下才執行中間層預測。在空間可縮放性的情況下，抽取器1032設置在增強縮放層和基本縮放層之間，形 成為將在其輸入處的具有某種空間解析度的視頻序列轉換為在其輸出處的具有較低分辨 率的視頻序列。如果想要完全的SNR可縮放性，則意味著如果兩個縮放層的基本圖像編碼 器1010和1028分別利用不同的量化參數1034和1036進行操作，則不設置抽取器1032。 這在圖Ia中通過旁路線1038示意地示出了。此外，在空間可縮放性的情況下，必須設置插值器1022。在完全的SNR可縮放性的 情況下，不設置插值器1022。而是，採用旁路線1020，如圖Ia所示。在一個實施方式中，增強運動補償器1014形成為完整地計算各個運動場，或者直 接或在上採樣器1042的上採樣之後，使用基本運動補償器1006所計算的運動場(旁路線 1040)。在空間可縮放性的情況下，必須設置上採樣器1042，將基本運動數據的運動矢量上 採樣到更高的解析度，即縮放。如果增加解析度是基本解析度的高和寬的兩倍，則增強層中 的宏塊(16X 16亮度採樣)覆蓋與基本層中的子宏塊(8X8亮度採樣)相對應的圖像區域。因此，為了能夠使用增強縮放層的宏塊的基本運動矢量，使基本運動矢量的χ分 量和y分量加倍，即以因子2進行縮放。這將參考圖6b詳細進行討論。然而，如果只有SNR可縮放性，則對於所有縮放層而言運動場都是相同的。因此， 僅必須計算一次，並可在低縮放層計算之後，由每個更高縮放層直接使用。對於中間層預測，也可使用基本運動預測1012的輸出處的信號。可選地，可使用
16線1024上的重構信號。由開關1044來選擇這兩個信號中的哪一個用於預測。線1024上 的信號與塊1012的輸出處的信號的不同之處在於，該信號已經經過了量化。這意味著線 1024上的信號與塊1012的輸出處的信號相比具有量化誤差。對於中間層預測而選擇性地 使用線1024上的信號在單獨使用SNR可縮放性或結合空間可縮放性使用SNR可縮放性時 尤其有用，因為塊1018處的輸出信號包含由第一縮放層產生的量化誤差，然後在輸入1036 處由增強圖像編碼器以典型的細量化器步長和改變的量化參數2進行量化，然後寫入增強 縮放層1004，所以由基本圖像編碼器1010所產生的量化誤差將「伴隨」到更高縮放層。與中間層預測標誌1030類似地，將運動數據標誌1048饋入圖像編碼器，因此與此 有關的相應信息包含在增強縮放層1004中，然後由解碼器使用，下面將參考圖2來進行討 論。如果使用理想空間可縮放性，可使用基本運動預測器1012的輸出信號，即殘差圖 像的基本序列，代替基本殘差圖像的重構序列。基於實現方式，可手動地或基於預測效益函數(prediction benefit function) 來進行該開關的控制。這裡，應該注意，優選地，自適應地設計所有預測，即運動預測、增強運動數據預測 和中間層殘留值預測。這意味著例如對於殘差圖像的基本序列的圖像中的每個宏塊或子宏 塊，並不一定要有運動數據預測殘留值。因此，儘管被稱為「殘差圖像」，殘差圖像的基本序 列的圖像還可分別包含未預測的宏塊和子宏塊。當圖像中出現新的對象時會發生這種情 況。這裡，由於預測殘留信號變得大於圖像中的原始信號，所以運動補償預測無用。在這種 情況下，在塊1016中的增強運動預測中，將停用針對該塊(例如宏塊或子宏塊)的預測算 子和最終的更新算子。此外，為了清楚，提到了殘差圖像的基本序列，但是也許僅僅殘差圖像的基本序列 的單個殘差圖像具有單個實際上包括運動預測殘留信號的塊。然而，在典型的應用中，每個 殘差圖像實際上包含大量具有運動預測殘留信號的塊。在本發明中，這同樣應用於殘差圖像的增強序列。因而，增強層的情況與基本層 的情況類似。因此，在本發明中，殘差圖像的增強序列是圖像序列，其中，在極限情況下，僅 僅單個「殘差圖像」的單個塊具有運動預測殘留值，而在該圖像的所有其它塊以及所有其它 「殘差圖像」中，由於對於所有這些圖像/塊，已經停用了運動補償預測、如果不必要的話還 有運動補償更新，所以實際上不存在殘留誤差。根據本發明，這同樣適用於計算增強預測殘差圖像的中間層預測器。典型地，增強 預測殘差圖像出現在序列中。然而，優選地，自適應地形成中間層預測器。例如，如果發現 從基本層到增強層的基本層的殘留數據預測僅對於單個「殘差圖像」的單個塊有用，而對於 該圖像的所有其它塊、甚至對於增強預測殘差圖像的序列的其它圖像，停用中間層殘留數 據預測，則在本發明上下文中，為了清楚，將該序列稱為增強預測殘差圖像。在這點上，應該 注意，當在基本層中的殘差圖像的相應塊中，已經計算了運動補償殘留值，並且對於與該塊 相對應的塊(例如在相同的χ、y位置)，在增強序列的殘差圖像中已經執行了運動補償預 測時，中間層預測器可僅預測殘留數據，因此，在該塊中，由於運動補償預測，在增強層中存 在殘差。僅在所考慮的兩個塊中均存在實際的運動補償預測殘留值時，中間層預測器才優 選地變為活動的，來使用基本層的圖像中的殘差值的塊作為增強層的圖像中的殘差值的塊的預測器，然後僅向增強圖像編碼器發送該預測的殘留值，即，所考慮的圖像的該塊中的增 強預測殘差數據。下面，參考圖Ib來分別討論基本圖像編碼器100或增強圖像編碼器1028和任意 圖像編碼器的詳細視圖。在輸入側，圖像編碼器接收殘差圖像組並逐個宏塊地將其提供給 變換器1050。然後在塊1052中對變換的宏塊進行縮放，並使用量化參數1034、1036、...來 量化。在塊1052的輸出處，輸出所用的量化參數，即宏塊的所用量化器步長以及宏塊的 頻譜值的量化指標。然後將該信息提供給圖Ib中未示出的熵編碼器級，熵編碼器級包括 Huffman編碼器或優選地包括運算編碼器，其根據H. 264/AVC，利用已知的CABAC概念來工 作。還將裝置1052的輸出信號提供給塊1054，塊1054執行逆縮放和重新量化，以將量化指 標和量化參數再次轉換為數字值，然後將數字值提供給塊1056的逆變換，以獲得重構的殘 差圖像組，現在，與原始的殘差圖像組相比，在變換塊1050的輸入處存在量化誤差，量化誤 差取決於量化參數和量化器步長。取決於開關1044的控制，將一個信號或另一個信號提供 給插值器1022或中間層預測器1018，以便執行本發明的殘留值預測。圖Ic示出了中間層預測器標誌1030的簡單實現方式。如果中間層預測標誌置位， 則激活中間層預測器1018。然而，如果該標誌未置位，則停用中間層預測器，從而針對該宏 塊或從屬於該宏塊的子宏塊來執行同時的操作。原因也許是預測的編碼器增益實際上是編 碼器損耗，這意味著在塊1016的輸出處的相應宏塊的傳輸在隨後的熵編碼中提供了比使 用預測殘留值更好的編碼器增益。圖Id示出了運動數據標誌1048的簡單實現方式。如果標誌置位，則從基本層的上 採樣運動數據中得到增強層的運動數據。在SNR可縮放性的情況下，不需要上採樣器1042。 這裡，當標誌1048置位時，可直接從基本運動數據中得到增強層的運動數據。應該注意， 該運動數據「得到」可以是直接接收運動數據或實際預測，其中，塊1014從塊1014所計算 機的增強縮放層的相應運動矢量中減去從基本層獲得的運動矢量，以便獲得運動數據預測 值。經由圖Ia所示的輸出，將增強層的運動數據(如果未執行任何預測)或預測的殘留值 (如果執行了實際的預測)提供給增強圖像編碼器1028，因此它們最終將包含在增強縮放 層比特流1004中。然而，如果執行從縮放了或未縮放的基本縮放層完全接收運動數據，則 不必將增強運動數據寫入增強縮放層比特流1004。在增強縮放層比特流中用運動數據標誌 1048來通知該事實就足夠了。圖2示出了用於對編碼的視頻序列進行解碼的設備，該序列包括基本縮放層1002 和增強縮放層1004。增強縮放層1004和基本縮放層1002可來源於比特流解復用器，該解復 用器對具有相應的縮放層的可縮放比特流進行解復用，從共同的比特流中提取基本縮放層 1002和增強縮放層1004。將基本縮放層1002提供給基本圖像解碼器1060，基本圖像解碼 器1060形成為對基本縮放層進行解碼，以獲得解碼的殘差圖像的基本序列和基本運動數 據，並將其提供給輸出線1062。然後將線1062處的輸出信號提供給基本運動組合器1064， 基本運動組合器1064抵消在塊1012中的編碼器中引入的基本運動預測器，在輸出側輸出 解碼的第一縮放層的圖像。此外，本發明的解碼器包括增強圖像解碼器1066，用於對增強縮 放層1004進行解碼，以在輸出線1068處獲得增強預測殘差圖像。此外，輸出線1068包括 運動數據信息，例如運動數據標誌1070，如果實際上在增強縮放層1004中存在增強運動數 據或增強運動數據殘留值，則還包括這些增強運算數據。現在，線1062上的解碼的基本序列由插值器1070進行插值，或者不變地(線1072)提供給中間層組合器1074，以便抵消由 圖Ia的中間層預測器1018所執行的中間層預測。因此，中間層組合器形成為組合增強預 測殘差圖像和插值了的(1070)或未插值的(1072)與線1062上的解碼的基本序列有關的 信息，以獲得殘差圖像的增強序列，最終將該序列提供給增強運動組合器1076，與基本運動 組合器1064相同，增強運動組合器1076抵消在增強層中執行的運動補償。增強運動組合 器1076與運動數據確定裝置1078相連，提供用於塊1076中的運動組合的運動數據。運動 數據實際上可以是增強圖像解碼器在輸出1068處提供的增強層的完整增強運動數據。可 選地，增強運動數據還可以是運動數據殘留值。在兩種情況下，經由增強運動數據線1080， 將相應數據提供給運動數據確定裝置1078。然而，如果運動數據標誌1070用信號通知對於 增強層未傳輸增強運動數據，則取決於直接的(1084)或由上採樣器1086的上採樣之後的 所用可縮放性，從基本層中獲取所需運動數據。此外，在塊內的中間層預測的情況下，即沒有運動數據殘留值的情況下，在解碼器 一側提供增強運動組合器1076與基本運動組合器1064之間的相應連接，取決於空間可縮 放性，該連接具有插值器1090，或在僅使用SNR可縮放性時，該連接具有旁路線。在兩層之 間的可選塊內預測的情況下，僅將預測殘留信號發送到該宏塊內的增強層，這由比特流中 的相應信號化信息表示。在這種情況下，除了下面所述的功能之外，增強運動組合器還執行 該宏塊的累加，即執行宏塊殘留值與來自較低縮放層的宏塊值之間的組合，並將所組合的 宏塊提供給實際的逆運動補償處理。下面，參考圖3至5d，分別來解釋基本運動預測器1012或增強運動預測器1016的 優選實施例，即增強運動組合器1076或基本運動補償器1064。基本上，可使用任何運動補償預測算法，這意味著也包括圖9的92處所示的運動 補償算法。因此，傳統的運動補償算法也遵從圖1所示的系統，然而，其中，停用圖4以附圖 標記45所示的更新算子U。這導致將圖像組分別轉換為原始圖像、和殘留圖像以及預測殘 留信號或者基於其的殘差信號。然而，如果在以已知運動補償方案實現了如圖4所示的更 新算子有效且被計算的增強，如圖5a至5d所示，則正常的運動補償預測計算變為所謂的 MCTF處理，該處理還被稱為運動補償時間濾波。這裡，由於原始圖像與由更新算子加權的預 測殘留信號組合，所以傳統運動補償的正常圖像和中間圖像通過更新運算分別變為低通圖 像。如已經參考圖Ia和2所述的，在本發明的優選實施例中，針對每個縮放層來執行 MCTF處理，其中，優選地按照參考圖3至5a以及7至8所述的方式來執行MCTF處理。下面，參考圖4以及隨後的圖5a_5來描述運動補償濾波器的優選地實施例。如已 經解釋的，運動補償時間濾波器(MCTF)由常見提升方案組成，該方案包括三步，即多相分 解、預測和更新。圖4示出了相應的分析/合成濾波器組結構。在分析一側，通過對預測殘 留值使用預測算子P和高通信號H，將給定信號的奇數採樣濾除偶數採樣的線性組合。通過 使用更新算子，將預測殘留值h的線性組合與輸入信號s的偶數採樣相加，來形成相應的低 通信號1。圖5a示出了圖4所示的變量h和1的等式關係以及算子P和U的基本實施例。由於可完全逆轉預測步驟和更新步驟，所以可將相應的變換當作嚴格採樣的理想 重構濾波器組。合成濾波器組包括預測算子和更新算子以與求和過程相反的符號、按照相 反的順序的應用，其中，使用偶數和奇數多相分量。對於高通/低通分量的歸一化，使用相
19應的縮放因子F1和Fh。不一定要使用這些縮放因子，但是在編碼期間選擇了量化器步長時 可使用這些縮放因子。f[x,k]示出了空間坐標χ = (x，y)T的視頻信號，其中，k是時間坐標。如圖5b的 左手邊所示，給出了使用hair小波的提升表徵的時間分解的預測算子P和更新算子U。對 於5/3變換，相應的算子如圖5b的右手邊所示。通過如圖5c所示修改預測算子和更新算 子，獲得對運動補償時間濾波的增強。具體地，參見參考指標r>0，其允許一般的圖像自適 應運動補償濾波。通過這些參考指標，可確保在圖4所示的場景中，不僅兩個時間緊隨的圖 像被分解為高通圖像和低通圖像，而且可利用序列的第三圖像，按照運動補償的方式對第 一圖像進行濾波。可選地，參考指標的適當選擇使得可將序列的同一個圖像用作運動矢量 的基準。這意味著參考指標允許在八個圖像的序列中，所有運動矢量與序列的第四個圖像 相關聯，從而通過圖4中的濾波方案，通過處理這八個圖像，最終獲得單個低通圖像，並且 產生七個高通圖像(增強圖像)，並且在一個增強圖像與每個運動矢量相關聯的情況下，所 有運動矢量與原始序列的同一個圖像相關聯。因此，如果將序列的同一個圖像用作對多個其它圖像進行濾波的基準，則這導致 時間解析度縮放並不遵循因子2，這對於某些應用是有利的。總是將同一個圖像，即八個圖 像的序列的第四個圖像饋入圖4的分析濾波器組的下分支。低通圖像在每次濾波中都是相 同的，即最終產生圖像序列的所希望的單個低通圖像。當更新參數為零時，基本圖像僅僅是 「通過」下分支。與之相比較，高通圖像總是取決於原始序列的相應另一個圖像和預測算子， 其中，在預測中使用與該輸入圖像相關聯的運動矢量。因此，在這種情況下，最終獲得的低 通圖像與原始圖像序列的某個圖像相關聯，並且每個高通圖像與原始序列的圖像相關聯， 其中，原始圖像與序列的所選基本圖像(饋入圖4的分析濾波器組的下分支的圖像)的偏 差對應於序列(運動補償)。當每個更新參數Mtll，Mn，M21和M31等於零時，這導致饋入第四 級的下分支73的圖像僅僅是「通向」底部。以某種方式，將低通圖像TPl 「重複地」饋入濾 波器組，而由參考指標控制的其它圖像一個接一個地引入圖3的輸入64。從上述等式可見，運動補償濾波的預測和更新算子分別提供兩個不同小波的不同 預測。當使用hair小波時，實現了單向運動補償預測。然而，如果使用5/3樣條小波，則兩 個算子規定了雙向運動補償預測。由於與單向預測相比，雙向補償預測通常減少預測殘留值的能量，但是增加運動 矢量速率，所以希望在單項和雙向預測之間動態地切換，這意味著可根據基於圖像的控制 信號，在hair小波的提升表徵和5/3樣條小波之間切換。針對時間濾波並不使用閉合反饋 迴路的本發明概念可容易地逐個宏塊地在兩個小波之間切換，從而支持靈活性和數據流節 約，這可最優地以信號自適應方式執行。為了表示運動場或通常的預測數據場Mp和Mu，理想地，可使用H. 264/AVC中已有 的B片的語法。通過級聯配對的圖像分解級，獲得二值樹結構，其將2"個圖像的組分為個殘留 圖像和單個低通(或中間)圖像，如圖7針對八個圖像的組所示的。具體地，圖7示出了在 第一級濾波器的輸出22處的第一級高通圖像HPl以及在第一級濾波器的輸出24處的第一 級低通圖像。圖7還示出了從第二級獲得的在第二級濾波器的輸出16處的兩個低通圖像 TP2以及高通圖像，作為第二級圖像。第三級低通圖像被提供給第三級濾波器的輸出76，而
20第三級高通圖像以已處理的形式被提供給輸出75。八個圖像的組最初可包括八個視頻圖 像，其中使用圖3的解碼器而不使用第四濾波器級。然而，如果八個圖像的組是八個低通圖 像的組，如在第四級濾波器的輸出73處所用的，則可將本發明的MCTF分解分別用作基本運 動預測器、增強運動預測器，並用作基本運動組合器或增強運動組合器。因此，通常，在分解2n個圖像的組中，傳輸(2n+1_2)個運動場描述、(2n_0殘留圖像 以及單個低通(或中間)圖像。優選地，分別通過基本控制參數和增強控制參數來控制基本運動補償器和增強運 動補償器，來計算量化參數(1034或1036)和運動信息的最佳組合，該組合基於某一速率 是固定的。根據以下方法來執行計算以獲得關於某一最大比特率的最佳比。因此，可以發 現，對於較低的比特率，即相對粗略的量化參數，運動矢量比採用相對精細的量化參數的更 高縮放層更加重要。因此，對於粗量化因而低比特率的情況，計算比更高縮放層少的運動數 據。因此，優選地，在更高縮放層中，變為子宏塊模式來計算大量運動數據，以用於高比特率 的良好質量和最佳情況，而不是較低比特率，其中，運動數據關於殘留數據的重要性比更高 縮放層的情況成比例地增加。這將在下面加以討論。給定圖像A和B，它們是原始圖像或表示在先前的分析級中產生的低通信號的圖 像。此外，提供亮度採樣a[]和b□的相應陣列。如下逐個宏塊地估計運動描述Mitl:對於圖像B中所有可能的宏塊和宏塊i的子宏塊劃分，通過使拉格朗日函數Ini = arg min { Dsad (i, m) + 義.i 0',m) }
Ine1S"最小化，來確定有關的運動矢量Iiii = [mx,my]T其中，退化項給出如下 dSad(「m) = Σ Ib^y]-a[x~mx'y-my]\這裡，S規定了參考圖像A內的運動矢量搜索區域。P是由所考慮的宏塊劃分或子 宏塊劃分覆蓋的區域。R(i，m)規定了傳輸運動矢量m的所有分量所需的比特數，其中，λ 是固定的拉格朗日乘子。首先，運動搜索在給定搜索區域S中的所有整數採樣的精確運動矢量上進行。然 後，通過使用最佳的整數運動矢量，來測試八個環繞二分之一採樣的精確運動矢量。最後， 通過使用最佳二分之一採樣的精確運動矢量，來測試八個環繞四分之一採樣的精確運動矢 量。對於二分之一和四分之一精確運動矢量改進，以下項a[x-mx, y-my]被解釋為插值算子。通常，宏塊模式和子宏塊模式的模式判決遵循相同的方法。從給定的一組可能的 宏塊或子宏塊模式Sm。de中選擇使以下拉格朗日函數最小化的模式Pi Pi = arg min { Dsad (/, ρ) + λ· R(i, ρ) }
Pe^made衰減項給出如下Κ「Ρ)= Yj I b[x, y] -a[x-mx[p,x,y],y- my [p,x,y]]\其中，P規定了宏塊或子宏塊區域，m[p, χ, y]是與宏塊或子宏塊模式ρ以及劃分
21或子宏塊劃分相關聯的運動矢量，包括亮度位置(X，y)。速率項表示比特數，與編碼器模式ρ的選擇相關聯。對於運動補償編碼器模式，其 還分別包括宏塊模式(如果適用)、子宏塊模式(如果適用)以及運動矢量。對於幀內模 式，其還包括宏塊模式的比特和量化的亮度和色度變換係數水平的陣列。所述一組可能的子宏塊模式由下式給出{P_8x8，P_8x4，P_4x8，P_4x4}。所述一組可能的宏塊模式由下式給出{P_16xl6, P_16x8，P_8xl6, P_8x8, INTRA}，其中，僅在估計用於預測步驟的運動場描述Mitl時才使用INTRA(幀內)模式。根據以下等式，基於要估計運動場的分解級的高通圖像的基本層量化參數來設置 拉格朗日乘子入λ = 0. 33 · 2" (QPm/3-4)根據本發明，使用圖8所示的分解方案，假設能夠在時間可縮放性和編碼器效率
之間做出明智的折衷。將原始圖像序列當作輸入圖像序列A、B、A、B、A、B.....A、B。因此，
該方案提供了具有最佳時間可縮放性的一級(低通圖像之間具有相等距離)。將用作所有
後繼分解級的輸入信號的低通圖像序列當作輸入圖像序列B、A、A、B、B、A.....A、B，從而被
分解的低通圖像之間的間距在後繼的兩個通道分析方案中保持較小，如從圖8可見。接下來，關於圖6a至6d，參考運動數據中間層預測和殘留數據中間層預測的優選 實施方式。為了分別獲得空間和SNR可縮放性，基本上，將較低的縮放層的運動數據和紋理 數據用於預測更高的縮放層。這裡，具體地，在空間可縮放性方面，在運動數據可用於預測 空間增強層的解碼之前，需要對運動數據進行上採樣。通過使用AVC的已有B片語法來傳 輸基本層表徵的運動預測數據。優選地，在對增強層的運動場的編碼中引入兩個附加宏塊 模式。第一宏塊模式是「base_layer_mode」，第二模式是「eqpel_refinement_mode」。為 了用信號表示這兩個附加宏塊模式，如圖1所示，將兩個標誌BLFlag和QrefFlag添加到宏 塊層語法中，在語法元素mbjiiode之前。因此，第一標誌BLFlagl098用信號表示基本層模 式，而另一個標誌1100用符號表示qpel精細模式。如果這種標誌置位，則其值為1，並且 數據流如圖6a所示。因此，如果標誌1098值為1，則標誌1100和語法元素宏塊模式1102 不再重要。然而，如果標誌1098值為零，則其未置位，並且使用標誌1100。然而，如果標誌 1098和1100的值均為零，則意味著兩者都未置位，將在語法元素1102中估計宏塊模式。當BLFlag=I時，使用基本層模式，對於相應宏塊則不再使用其它信息。該宏塊模 式表示包括基本層的相應宏塊的宏塊劃分的運動預測信息直接用於增強層。應該注意，在 這裡且在整個說明書中，術語「基本層」用於表示關於當前所考慮的層(即增強層)的相鄰 下一層。當基本層表示具有二分之一空間解析度的層時，如圖6b所示，相應地縮放運動矢 量場(即包括宏塊劃分的運動矢量場)。在這種情況下，當前宏塊包括與8X8子宏塊的基 本層運動場相同的區域。因此，如果以直接的16X16、16X8或8X16模式來編碼相應的基 本層宏塊，或者以8X8模式或直接的8X8模式來編碼相應基板層子宏塊，則將16X 16模 式用於當前宏塊。另一方面，如果以8X4、4X8或4X4模式編碼基本層子宏塊，則當前宏塊 的宏塊模式是16 X 8、8 X 16或8 X 8 (所有子宏塊模式是8X8)。當基本層宏塊表示INTRA宏塊時，將當前宏塊設置為INTRA_BASE，這表示當前宏塊時從基本層預測的宏塊。對於當 前宏塊的宏塊劃分，將相同的參考指標用於基本層塊的相應宏塊/子宏塊劃分。將有關的 運動矢量乘以因子2。該因子適用於圖6b所示的情況，其中基本層1102包括增強層1104 的區域和像素數的二分之一。如果基本層的空間解析度與增強層的空間解析度之比不等於 1/2，則將相應的縮放因子用於運動矢量。然而，如果標誌1098等於零且標誌1100等於1，則用信號表示宏塊模式qpel_ refinementjiiode。標誌1100優選地僅在基本層表示具有二分之一的當前層的空間解析度 的層時才出現。否則，宏塊模式(qpelrefinementjiiode)並未包含在所述一組可能的宏塊 模式中。該宏塊模式與基本層模式類似。與基本層模式一樣，導出宏塊劃分以及參考指標 和運動矢量。然而，對於每個運動矢量，對於每個運動矢量分量，存在附加的四分之一採樣 運動矢量改進-ι. 0或+1，還附加地將其傳輸且添加到導出的運動矢量。當標誌1098等於零且標誌1100等於零時，或者當標誌1100不存在時，照常規定 宏塊模式以及相應參考指標和運動矢量差。這表示按照與基本層相同的方式對增強層傳輸 完整的一組運動數據。然而，根據本發明，可能將基本層運動矢量用作當前增強層運動矢量 的預測器(代替空間運動矢量預測器)。因此，列表X(其中X在0和1之間)擁有規定所 考慮的運動矢量的參考指標列表。如果所有以下條件均為真，則如圖6c所示，針對每個運 動矢量差，傳輸標誌MvPrdFlag -未以INTRA宏塊模式來編碼包括當前宏塊/子宏塊劃分的基本層宏塊；-覆蓋當前宏塊/子宏塊劃分的左上採樣的基本層宏塊/子宏塊劃分使用列表X 或雙向預測；-包括當前宏塊/子宏塊劃分的左上採樣的基本層宏塊/子宏塊劃分的列表X參 考指標等於當前宏塊/子宏塊劃分的列表X參考指標。如果圖6c的標誌1106不存在，或者如果該標誌1106等於零，則按照標準AVC的 情況來規定空間運動矢量預測器。否則，當標誌1106存在且等於1時，將相應的基本層矢 量用作運動矢量預測器。在這種情況下，通過向基本層宏塊/子宏塊劃分的可能縮放的列 表X運動矢量添加所傳輸的列表X運動矢量差，來獲得當前宏塊/子宏塊劃分的列表X運 動矢量(其中X = O或1)。因此，標誌1098、1100和1106共同表示可能實現圖Ia大致示出的運動數據標誌 1048以及運動數據控制信號1048。當然，可使用不同的其它可能的信號標誌，其中使用發 送機和接收機之間的固定協議，這可以減少用信號表示的信息。總之，關於圖le、lf^n lg，詳細示出了圖Ia的增強運動補償器1014和圖2的增強 運動數據確定裝置1078的詳細實施方式。參考圖le，可見，增強運動補償器1014基本上必須進行兩件事。因此，首先它必 須計算增強運動數據，典型地即整個運動矢量，並將其提供給增強運動預測器1016，以使增 強運動預測器1016可使用未編碼形式的這些矢量來獲得殘差圖像的增強序列，在現有技 術中，典型地逐個塊自適應地獲得殘差圖像的增強序列。然而，另一件事是增強運動數據處 理，即儘可能地壓縮用於運動補償預測的運動數據，並寫入比特流。為了寫入比特流，如圖 Ie所示，必須使各個數據進入增強圖像編碼器1028。因此，增強運動數據處理裝置1014b 具有關於基本層儘可能地減少增強運動數據計算裝置1014a所確定的增強運動數據中包含的冗餘的功能。根據本發明，基本運動數據或上採樣的基本運動數據可由增強運動數據計算裝置 1014a用來計算實際要使用的增強運動數據，或者還可僅用於增強運動數據處理，即增強運 動數據壓縮，而它們對於計算增強運動數據不重要。圖Ig的1.)和2.)兩種可能示出了基 本運動數據和上採樣的基本運動數據已經用於增強運動數據的實施例，而圖Ib的實施例 3.)示出了與基本運動數據有關的信息未用於計算增強運動數據而僅用於分別對殘留數據 進行編碼和捕獲的情況。圖If示出了增強運動數據確定裝置1078的編碼器一側的實施方式，具有用於逐 個塊進行控制的控制模塊1078a，包含分別來自比特流和來自增強圖像編碼器1066的信號 表示信息。此外，增強運動數據確定裝置1078包括增強運動數據重構裝置1078b，用於僅通 過使用解碼的基本運動數據或解碼的上採樣基本運動數據，或通過組合與解碼的基本運動 數據有關且來自增強運動解碼器1066從增強縮放層1104中提取出的殘留數據的信息，實 際確定增強運動數據場的運動矢量，然後運動矢量可由增強運動組合器1076使用，組合器 1076可形成為常用組合器，用於逆轉編碼器一側的運動補償預測。接下來，參考圖Ig所示的不同實施例。如圖6a已經示出的，BLFlagl098表示增 強運動預測的上採樣的基本運動數據的完整接收。在這種情況下，裝置1014a形成為完整 地接收基本運動數據，並且在不同層有不同解析度的情況下，接收放大形式的運動數據，並 將其發送到裝置1016。然而，不向增強圖像編碼器發送任何與運動場或運動矢量有關的信 息。而是，針對每個塊(宏塊或者子宏塊)，發送各個標誌1098。在解碼器一側，這意味著圖If的裝置178a對一個塊的標誌1098進行解碼，如果 標誌1098是有效的，則使用來自基本層的解碼的基本運動數據或解碼的上採樣基本運動 數據來計算增強運動數據，然後將其提供給塊1076。在這種情況下，裝置1078不需要運動 矢量殘留數據。在由標誌QrefFlag 1100表示的本發明第二實施例中，將基本運動矢量併入裝置 1014a所執行的增強運動數據計算中。如圖Ig中部分2.)所示，並且如上所述，分別通過搜 索以下項的最小值來執行運動數據計算和運動矢量m的計算(D+ λ R) 0將當前圖像的塊B與移位了特定位置運動矢量的先前和/或後繼圖像的塊之間的 差引入失真項D。將圖Ia中由1036表示的增強圖像編碼器的量化參數引入因子λ。項R 提供了與用於對位置運動矢量進行編碼的比特數有關的信息。通常，在不同位置運動矢量中進行搜索，其中，針對每個新的運動矢量來計算失真 項D，並計算速率項R，並考慮優選地為固定的但是也可改變的增強量化參數1036。針對不 同位置運動矢量來估計所述求和項，從而使用提供最小求和結果的運動矢量。現在，根據本發明，還將來自基本層的相應塊的基本運動矢量併入該迭代搜索中。 如果滿足搜索標準，則僅需要傳輸標誌1100，而不必傳輸該塊的殘留值或任意其它信息。因 此，當基本運動矢量滿足塊的標準(最小的先前項)，則裝置1041a使用基本運動矢量來將 其傳輸到裝置1016。然而，僅將標誌1100傳輸到增強圖像編碼器。在解碼器一側，由於增強圖像解碼器不必傳輸殘留數據，所以這意味著裝置1078a 在根據基本運動數據而解碼標誌1100以確定該塊的運動矢量時控制裝置1078b。
在第二實施例的變體中，不僅將基本運動矢量，而且將從基本運動矢量中導出並 (稍有)改變的多個基本運動矢量併入搜索中。取決於實現方式，運動矢量的任意分量可獨 立地增加或減少一個量，或保持相同。該量可表示運動矢量的特定粒度，例如解析度步長、 二分之一解析度步長或四分之一解析度步長。如果這種改變的基本運動矢量滿足搜索標 準，則附加地將改變量(所述量)，即+1、0或-1傳輸到標誌1100。由標誌1100激活，解碼器然後在數據流中搜索該量，並恢復基本運動矢量或上採 樣的基本運動矢量，並在塊1078b中將該量與相應的基本運動矢量組合，以獲得增強層中 的相應塊的運動矢量。在由標誌1107表示的第三實施例中，基本上可隨意地執行運動矢量的確定。關於 完整的靈活性，裝置1014a可例如根據在第二實施例中提到的最小化目標，確定增強運動 數據。然後，將所確定的運動矢量用於編碼器一側的運動補償預測，而不考慮來自基本層的 信息。然而，在這種情況下，增強運動數據處理1014a形成為在實際運算編碼之前將基本運 動矢量併入運動矢量處理以降低冗餘。 因此，根據標準H. 264/AVC，執行運動矢量差的傳輸，其中確定圖像內的相鄰塊之 間的差。在實現中，該差可形成在不同的相鄰塊之間，用以選擇最小的差。現在，根據本發 明，將圖像中相應塊的基本運動矢量併入針對運動矢量差的最佳預測器的搜索中。如果滿 足提供最小殘差值作為預測器的標準，則這由標誌1106進行標誌，並僅將殘差值傳輸到塊 1028。如果基本運動矢量不滿足該標準，則不對標誌1016進行置位，並執行空間運動矢量 差計算。然而，對於更簡單的編碼器實現，代替迭代搜索，總是針對塊自適應地確定基本運 動矢量，並將其上採樣版本用作預測器。根據本發明，還執行殘留數據的中間層預測。下面將對此進行討論。當運動信息 在層之間改變時，根據基本層來預測殘留信息以及(在MCTF分解的情況下)增強層的高通 信息是有利或不利的。噹噹前層的塊的運動矢量與相應基本層的運動矢量類似，並且逐個 宏塊地與相應基本層的相應運動矢量類似時，在編碼的基本層殘留信息(高通信號)用於 預測增強殘留信號(增強高通信號)時編碼器的效率有可能增加，因此僅對增強殘留信號 和基本層重構(圖Ia的線1024)之間的差進行編碼。然而，當運動矢量不類似時，對殘留 信號的預測不太可能提高編碼器效率。因此，將自適應方法用於預測殘留信號和高通信號。 可根據差信號，通過對受益的實際計算，或者根據對宏塊的基本縮放層的運動矢量與增強 縮放層中相應宏塊的運動矢量之差的估計，來執行該自適應方法，即中間層預測器是否有 效。如果該差小於特定閾值，則經由控制線130來激活中間層預測器。然而，如果該差高於 特定閾值，則使針對該塊的中間層預測器去激活(deactivated)。傳輸標誌ResPrdFlag 1108。當標誌1108等於1時，將基本層的重構的殘留信號 用於預測增強層的當前宏塊的殘留信號，其中，僅對增強層的當前殘留信號與其基本層的 重構之間的差的近似進行編碼。否則，標誌1108不存在或等於零。這時，對增強層中當前 宏塊的殘留信號進行編碼，而不根據基本層來預測。當基本層表示具有二分之一的增強層的空間解析度的層時，在將基本層的上採樣 的殘留信號用作預測信號之前，通過使用插值濾波器來對殘留信號進行上採樣。該濾波器 是具有六個抽頭的插值濾波器，用於對由於較低解析度而在基本層中不存在的增強層的較
25高空間解析度的值進行插值，周圍的值用於獲得儘可能好的插值結果。然而，如果對變換塊的邊緣處的值進行插值，並且插值濾波器將僅使用另一變換 塊的值來進行插值，則優選地並不這麼做，而是對所考慮塊之外的插值濾波器的值進行合 成，以進行偽像儘可能小的插值。根據所謂核心試驗(core experiment)，發現運動和殘留值的中間層預測顯著地 提高了基於AVC的MCTF方法的編碼器效率。對於特定的測試點，獲得了大於IdB的PSNR 增益。尤其是對於每個空間解析度(除了基本層)有非常低的比特率，可清楚地看到重構 質量的提高。取決於情況，本發明的方法可以硬體或軟體來實現。可在數字存儲介質中執行該 實現，具體地在具有電可讀控制信號的盤或CD中實現，該數字存儲介質可與可編程計算機 系統進行協作來執行該方法。因此，通常，本發明還包括具有存儲在機器可讀載體中的程序 代碼的電腦程式產品，當電腦程式產品在計算機上運行時，所述程序代碼用於執行本 發明方法。換言之，本發明還可實現為具有程序代碼的電腦程式，當該電腦程式在計算 機上運行時，所述程序代碼執行本發明方法。此外，本發明涉及一種計算機可讀介質，其中針對不同的解碼器側的裝置，存儲了 具有第一縮放層和第二縮放層的可縮放數據流以及有關的控制字符。因此，計算機可讀介 質可以是數據載體或網際網路，在網際網路上將數據流從提供方傳輸到接收機。
2權利要求
一種用於產生具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列的設備，包括用於計算基本運動數據的基本運動數據計算器(1006)，所述基本運動數據表示當前圖像中的宏塊相對於圖像組中另一圖像怎樣運動；用於通過使用基本運動數據來計算殘差圖像的基本序列的基本序列計算器(1012)；基本圖像編碼器(1010)，形成為根據殘差圖像的基本序列來計算編碼的基本縮放層(1002)；用於確定增強層運動數據的增強運動數據計算器(1014)；用於通過使用所述增強層運動數據來計算殘差圖像的增強序列的增強序列計算器(1016)；中間層預測器(1018)，用於通過使用殘差圖像的增強序列，並使用與殘差圖像的基本序列有關的信息(1026)，來計算增強層殘差圖像；以及增強圖像編碼器(1028)，用於對增強層殘差圖像進行編碼，以獲得編碼的增強縮放層(1004)。
2.根據權利要求1所述的設備，其中，基本圖像編碼器(1010)形成為以基本量化參數(1034)來執行量化； 增強圖像編碼器(1028)形成為以增強量化參數(1036)來執行量化，其中增強量化參 數(1036)能夠產生比基本量化參數(1034)更精細的量化；基本圖像編碼器(1010)形成為對以基本量化參數(1034)量化的殘差圖像的基本序列 進行重構，以獲得重構基本序列；以及中間層預測器(1018)形成為通過使用殘差圖像的增強序列，並使用殘差圖像的重構 基本序列作為與殘差圖像的基本序列有關的信息，來計算增強層殘差圖像。
3.根據權利要求1所述的設備，還包括抽取器(1032)，用於對圖像組的解析度進行抽取，其中，抽取器(1032)形成為給基本 運動數據計算器(1006)提供具有基本解析度的圖像組，所述基本解析度小於提供給增強 運動數據計算器(1014)的圖像組的增強解析度；以及插值器(1022)，用於對殘差圖像的基本序列或殘差圖像的重構基本序列進行空間插 值，以獲得殘差圖像的插值基本序列，殘差圖像的插值基本序列能作為與殘差圖像的基本 序列有關的信息(1026)而被提供給中間層預測器(1018)。
4.根據權利要求3所述的設備，還包括運動數據上採樣器(1042)，用於使基本運動數 據適應增強解析度。
5.根據權利要求1所述的設備，其中，基本運動數據計算器(1006)形成為計算宏塊的二維運動矢量。
6.根據權利要求1所述的設備，其中，基本序列計算器(1012)形成用於從當前宏塊中 減去使用基本運動數據所預測的宏塊，以獲得殘差圖像的基本序列的殘差圖像的宏塊。
7.根據權利要求1所述的設備，其中，中間層預測器(1018)形成為針對塊，通過運用預 測，與來自殘差圖像的增強序列的塊的使用相比，自適應地判決是否增加編碼器增益。
8.根據權利要求1所述的設備，其中，中間層預測器(1018)形成為從殘差圖像的增強 序列的當前宏塊中，減去使用來自殘差圖像的基本序列或殘差圖像的重構基本序列或者殘差圖像的插值基本序列或殘差圖像的重構且插值的基本序列的宏塊所預測的宏塊，以獲得 增強層殘差圖像的宏塊。
9.根據權利要求2所述的設備，其中，基本運動數據計算器(1006)形成為依據基本量 化參數(1034)、失真項和用於發送基本運動數據的數據率，來計算基本運動數據。
10.根據權利要求2所述的設備，其中，增強運動補償器(1014)形成為依據增強量化參 數(1036)、失真項和用於發送增強層運動數據的數據率，來計算增強層運動數據。
11.根據權利要求1所述的設備，其中，增強運動數據計算器(1014)形成為依據模式控 制信號，使用基本運動數據或縮放的運動數據。
12.根據權利要求1所述的設備，其中，基本縮放層(1002)的解析度比增強縮放層 (1004)低，並且增強運動數據計算器(1014)另外形成為依據控制信號(1048)來確定殘留 運動數據，並且增強圖像編碼器(1028)形成為將殘留運動數據編碼到增強縮放層(1004)。
13.根據權利要求1所述的設備，其中，基本序列計算器(1012)和增強序列計算器 (1016)形成為執行運動補償預測操作。
14.根據權利要求1所述的設備，其中，基本序列計算器(1012)和增強序列計算器 (1016)形成為執行運動補償預測操作，還執行運動補償更新操作，以進行運動補償時間分 解，分解為至少一個低通和多個高通圖像。
15.一種用於產生具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列的 方法，包括步驟計算(1006)基本運動數據，所述基本運動數據表示當前圖像中的宏塊相對於圖像組 中另一圖像怎樣運動；通過使用基本運動數據來計算(1012)殘差圖像的基本序列； 根據殘差圖像的基本序列，對與殘差圖像的基本序列有關的信息進行編碼(1010)，以 計算編碼的基本縮放層(1002)； 確定(1014)增強層運動數據；通過使用所述增強層運動數據，計算(1016)殘差圖像的增強序列； 通過使用殘差圖像的增強序列，並使用與殘差圖像的基本序列有關的信息(1026)，來 計算(1018)增強層殘差圖像；以及對增強層殘差圖像進行編碼(1028)，以獲得編碼的增強縮放層(1004)。
16.一種用於對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行 解碼的設備，包括基本圖像解碼器(1060)，用於對基本縮放層進行解碼，以獲得殘差圖像的解碼基本序 列和基本運動數據，所述基本運動數據表示當前圖像中的宏塊相對於圖像組中另一圖像怎 樣運動；增強圖像解碼器(1066)，用於對增強縮放層進行解碼以獲得增強層殘差圖像； 中間層組合器(1074)，用於將殘差圖像的解碼基本序列或殘差圖像的插值基本序列與 增強層殘差圖像組合，以獲得殘差圖像的增強序列；增強運動組合器(1076)，形成為通過使用殘差圖像的增強序列和增強層運動數據，來 獲得增強縮放層的圖像序列。
17.一種用於對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行解碼的方法，包括步驟對基本縮放層進行解碼(1060)，以獲得殘差圖像的解碼基本序列和基本運動數據，所 述基本運動數據表示當前圖像中的宏塊相對於圖像組中另一圖像怎樣運動； 對增強縮放層進行解碼(1066)以獲得增強層殘差圖像；將殘差圖像的解碼基本序列 或殘差圖像的插值基本序列與增強層殘差圖像組合 (1074)，以獲得殘差圖像的增強序列；通過使用殘差圖像的增強序列和增強層運動數據，執行增強運動組合(1076)，來獲得 增強縮放層的圖像序列。
全文摘要
視頻編碼器在基本層(1002)和增強層(1004)中執行運動補償預測(1906、1012、1014、1016)，通過使用來自基本層的運動數據，確定增強層的運動數據，和/或通過使用來自基本層的殘差圖像的序列，在增強層的運動補償預測之後，通過中間層預測器(1018)，預測殘差圖像的序列。在解碼器一側，中間層組合器用於抵消該中間層預測。因而與沒有中間層預測但具有相同圖像質量的可縮放方案相比，提高了數據率。
文檔編號H04N7/26GK101938651SQ201010245510
公開日2011年1月5日 申請日期2005年9月21日 優先權日2004年10月15日
發明者德特勒夫·馬爾佩, 託馬斯·威甘德, 海科·施瓦茨 申請人:弗勞恩霍夫應用研究促進協會