具有精度可縮放性的編碼方案的製作方法

2023-07-02 08:36:31 4

專利名稱：具有精度可縮放性的編碼方案的製作方法
技術領域：
本發明涉及支持質量、精度或SNR可縮放性的圖像或視頻編碼。
背景技術：
ISO/IEC運動圖像專家組(MPEG)的聯合視頻組(JVT)和ITU-T 視頻編碼專家組(VCEG)的當前計劃是開發在ITU-T Rec.&ISO/IEC 14496-10 AVC， "Advanced Video Coding for Generic Audiovisual Services", version 3, 2005中定義的現有技術視頻編碼標準 H.264緣EG4-AVC的可縮放擴展。如J. Reichel， H. Schwarz和M. Wien, eds.， "Scalable Video Coding — Joint Draft 4", Joint Video Team, Doc. JVT-Q201, Nice, France, October 2005以及 J. Reichel, H. Schwarz禾口 M. Wien， eds.， "Joint Scalable Video Model JSVM-4，" Joint Video Team, Doc. JVT-Q202, Nice, France, October 2005中所述，當前 工作草案支持對視頻序列的時間、空間和SNR可縮放編碼及其組合。
如ITU-T Rec.&ISO/IEC 14496-10 AVC， "Advanced Video Coding for Generic Audiovisual Services", version 3， 2005 中所述， H.264/MPEG4-AVC規定了混合視頻編解碼器，其中通過運動補償預 測或幀內預測來產生宏塊預測信號，並且在兩種預測之後進行殘差編 碼。不具有可縮放性擴展的H.264/MPEG4-AVC編碼稱作單層 H.264/MPEG4-AVC編碼。速率失真性能可與單層H.264/MPEG4-AVC 相比的意思是典型地在10%的比特率上達到相同的視覺再現質量。在 上述情況下，可縮放性視為如下功能在去除比特流的一部分的同時， 達到在任何所支持的空間、時間或SNR解析度上的、與該特定解析度 上的單層H.264/MPEG4-AVC編碼可相比的R-D性能。
可以將可縮放視頻編碼(SVC)的基本設計歸類為分層的視頻編 解碼器。在每一層，如在H.264/MPEG4-AVC中一樣採用運動補償預 測和幀內預測的基本構思。但是，已集成了附加的層間預測機制，以 利用多個空間或SNR層之間的冗餘。SNR可縮放性基本上是通過殘 差量化來實現的，而對於空間可縮放性，採用運動補償預測和過採樣 金字塔分解的組合。保持H.264/MPEG4-AVC的時間可縮放性方法。
一般而言，編碼器結構取決於應用所需的可縮放性空間。作為示 例，圖5示出了具有兩個空間層卯2a和卯2b的典型編碼器結構900。 在每一層中，釆用具有層特定運動參數906a， b的獨立分級運動補償 預測結構904a， b。通過包括針對運動參數906a， b和紋理數據910a， b的預測機制的層間預測概念908，利用連續層902a， b之間的冗餘。 通過與H.264/MPEG4-AVC類似地對916a， b進行變換編碼，獲得每 一層902a， b的輸入圖像914a， b的基本(base)表徵912a， b，相應 的NAL單元(NAL-網絡抽象層)包含運動信息和紋理數據；最低層 (即，912a)的基本表徵的NAL單元與單層H.264/MPEG4-AVC兼容。 通過所謂的漸進細化分片(progressive refinement slice)的附加編碼 918a， b，可以提高基本表徵的重建質量；可以任意地截短相應的NAL 單元，以支持細顆粒質量可縮放性(FGS)或靈活比特率適應。
復用器920將分別通過各個層902a， b的基層編碼916a， b和漸 進SNR細化紋理編碼918a， b輸出的結果比特流復用，以產生可縮放 比特流922。該比特流922在時間、空間和SNR質量上均可縮放。
綜上所述，根據視頻編碼標準H.264/MPEG4-AVC的上述可縮放 擴展，通過使用分級預測結構，提供了時間可縮放性。對於該分級預 測結果，可以毫無改變地使用單層H.264/MPEG4-AVC標準之一。對 於空間和SNR可縮放性，必須向單層H.264/MPEG4-AVC添加附加工 具。可以組合三種可縮放性類型，以產生支持較大程度的組合的縮放 性的比特流。
對於SNR可縮放性，要區分粗顆粒可縮放性(CGS)和細顆粒可 縮放性(FGS)。對於CGS，只支持所選的SNR可縮放性層，並針對 從一層到下一層的因子1.5-2的粗速率分度(gmduatkm)，優化編碼效
率。FGS能夠進行在任意點且最終在字節對準點處的NAL單元截短。 NAL單元表示比特分組數據(bit packet),比特分組數據是串行地對 準的，以表示由復用器920輸出的可縮放比特流922。
為了支持細顆粒SNR可縮放性，引入了所謂的漸進細化(PR) 分片。漸進細化分片包含對分別從基層比特流912a， b中可獲得的該 分片的重建質量進行細化的細化信息。更精確地，用於PR分片的每 個NAL單元表示與量化步長(QP增加為6)的二等分相對應的細化 信號。以下述方式表示這些信號在解碼器側，對每個變換塊只必須 執行單次逆變換。換言之，由PRNAL單元表示的細化信號對由視頻 的當前圖像分離而得到的變換塊的變換係數進行細化。在解碼器側， 該細化信號可以用於在執行逆變換之前對基層比特流內的變換係數進 行細化，以重建對通過運動補償等空間和/或時間預測來重建實際圖像 所用的預測殘差紋理。
可以在任意點截短漸進細化NAL單元，從而可以採用細顆粒方 式來提高SNR基層的質量。因此，修改了變換係數等級的編碼順序。 不是如在(正常)分片中一樣逐宏塊地掃描變換係數，而是以分離路 徑對變換係數塊進行掃描，在每條路徑中，只對變換係數塊的少量編 碼符號進行編碼。除修改的編碼順序之外，仍然再使用 H.264/MPEG4-AVC中規定的CAB AC熵編碼。
M. Winken， H. Schwarz, D. Marpe禾口 T. Wiegand, "Adaptive motion refinement for FGS slices," Joint Video Team, Doc. JVT-Q031, Nice, France, October 2005中描述了對圖5所示編碼器結構的改善。具體地， 如該文所述，向圖5的編碼結構添加了具有運動/預測信息自適應細化 的視頻序列細顆粒SNR可縮放編碼的概念。SNR可縮放視頻編碼的 自適應運動信息細化的方法使圖5的視頻編碼器能夠選擇從速率失真 (RD)意義上來說更好的、用於殘差和運動數據編碼的比特流之間的 權衡。具體地，如圖5中虛線924a和924b所示，對於與支持運動補 償預測的基層分片(所謂P-和B-分片)相對應的漸進細化分片中的每 個宏塊，細化編碼塊918a和918b附加地判定要使用以下兩種可能編 碼模式中的哪一種。具體地，根據第一模式，編碼塊918a， b使用相同的運動信息作為SNR基層，因此只傳輸殘差數據的細化。該模式等 於前述圖5編碼結構的功能。但是，在另一可選編碼模式中，編碼塊 918a， b在細化分片信息內將新的運動信息與新的殘差一起傳輸。新 的運動和殘差數據均可從SNR從屬層中預測，以達到更好的RD性能。 該可能運動模式與視頻編碼標準H.264/MPEG4-AVC所支持的相同， 這意味著通過將宏塊再分為用於運動補償預測的更小塊，可以發信號 傳輸用於P-分片的多達16個運動矢量以及用於B-分片的多達32個運 動矢量。
使用Lagrangian方法，在相對於由塊918a， b執行的運動信息的 兩種編碼模式之間做出判定，其中對於給定的X，將Lagrangian成本 函數j = d + XR最小化。這裡，D代表原始和重建(解碼的)信號之 間的失真，R代表宏塊編碼所需的比特率。如果只細化殘差數據的成 本比可能運動細化模式之一的成本高，則從速率失真的意義來說，顯 然傳輸該宏塊的新的運動信息集更好。由此，通過使用自適應運動信 息細化，可以在相同的比特率上達到更高的圖像質量。
對於逐行掃描的源材料(source material),即，無論是否由頂場 和底場組成而在其中可以逐圖像或逐幀地有效處理圖像的視頻，上述 視頻編碼標準H.264/MPEG4-AVC的可縮放擴展工作良好。但是，希
望對於隔行掃描的源材料(即，在視頻中，每一幀由兩個隔行掃描的
場組成，像幀一樣或利用宏塊逐對判定來單獨處理這些場(場編碼)，
宏塊逐對判定是關於是否根據幀內頂或底場的隸屬關係或宏塊對區域 的上半或下半的隸屬關係來將各個宏塊部分分為兩個宏塊)也具有精
度可縮放性和更好的RD性能的編碼結構。

發明內容
因此，本申請的目的是提供一種編碼方案，該編碼方案提供精確 可縮放性，以允許提高特別是隔行掃描視頻材料中的編碼效率。
該目的由根據權利要求1的解碼器、根據權利要求13的編碼器、 根據權利要求22或23的方法和精度可縮放比特率的權利要求21來實 現。
本發明的基本思想是通過使編碼器有機會改變對第一精度編碼數 據和第二精度編碼數據之間的各個圖像部分的逐場/幀處理，來提高編 碼效率，其中第二精度比第一精度高。
根據本發明優選實施例，通過在獨立於對應基本質量分片的幀/ 場判定的漸進細化分片中形成並編碼幀/場判定，實現隔行掃描幀的細 顆粒SNR可縮放編碼概念。與之相比，上述不支持運動信息細化的 H.264/MPEG4-AVC標準的可縮放擴展只對變換係數的細化編碼。運 動和預測信息是從相應的基層分片複製的。此外，支持SNR和空間可 縮放性的工具只是針對逐行掃描源材料而設計的，而未結合用於提高 隔行掃描源材料的編碼效率的特殊工具。根據前述包括運動信息細化 的可縮放擴展，FGS編碼方案允許運動和預測信息的自適應細化，以 提高尤其針對較大比特率間隔的細顆粒SNR可縮放編碼的編碼效率。 但是，後一FGS編碼方案也只是針對逐行掃描源材料而設計的。
下述FGS編碼方案實施例擴展了上述運動信息細化可縮放擴展， 以使其也支持對協同定位宏塊對的幀/場判定和基本質量分片的修改， 從而能夠實現具有改善的R/D比的精度可縮放數據流。


以下，參照附圖描述本申請的優選實施例，附圖中
圖1是根據本發明實施例的視頻編碼器的框圖； 圖2示意性地示出了在宏塊自適應幀/場判定已激活的編碼幀的 分片情況下將圖像再分為宏塊對以及漸進細化分片的宏塊掃描；
圖3a是示出了圖1編碼器關於創建基層數據流的操作模式的示意
框圖3b是示出了圖l編碼器關於創建第一增強層的操作模式的示意 框圖； 圖4是示出了根據本發明實施例在解碼器側執行的步驟的流程 圖；以及
圖5是用於可縮放視頻編碼的常規編碼器結構。
具體實施例方式
以下，利用結構類似於圖5常規編碼器結構的實施例，對本發明 進行描述。但是，為了更加清楚地指示根據本發明的改善之處，首先 描述代表本發明實施例的圖1視頻編碼器根據本說明書引言部分中參 照圖5己示出的H.264/MPEG4-AVC標準的可縮放擴展而進行操作。 之後，通過強調根據圖5視頻結構的操作模式的差別，說明圖l編碼 器的實際操作。從該論述中可看出，差別在於細化編碼裝置。
如上述聯合草案中定義的一樣進行操作的圖1視頻編碼器支持兩
個空間層。為此，圖1中由ioo總體指示的編碼器包括兩個層部分或
層102a和102b，其中，層102b專用於產生與較粗空間解析度有關的 所需可縮放比特流部分，而另一層102a專用於使用與輸入視頻信號 104的較高解析度表徵有關的信息來補充層102b的比特流輸出。因此， 要由編碼器100編碼的視頻信號104直接輸入層102a，而編碼器100 包括空間抽取器106，用於先對視頻信號104進行空間抽取，然後將 得到的空間抽取視頻信號108輸入層102b。
例如，在空間抽取器106中執行的抽取包括通過丟棄列和行方向 上的每個第二像素，以因子4對原始視頻信號104的每幅圖像104a 的像素數目進行抽取。
低解析度層102b包括運動補償預測塊110b、基層編碼塊112b和 細化編碼塊1Mb。預測塊110b對抽取後的視頻信號108的圖像108a 執行運動補償預測，以根據抽取後視頻信號108的其他參考圖像108a， 預測抽取後視頻信號108的圖像108a。例如，對於特定圖像108a，預 測塊110b產生運動信息，該運動信息指示怎樣可以根據視頻信號108 的其他圖像(即，根據參考圖像)，預測該圖像。為此，運動信息可以 具體包括由運動矢量和相關參考圖像索引組成的對，例如，每一對指 示如何通過用相應運動矢量替代相應參考圖像來從索引參考圖像預測 當前圖像的特定部分或宏塊。可以向每個宏塊分配一對或多對運動矢 量和參考圖像索引。此外，可以對圖像的一些宏塊進行幀內預測，艮P，
使用當前圖像的信息進行預測。具體地，預測塊iio可以對抽取後視
頻信號108執行分級運動補償預測。
預測塊110b輸出運動信息116b和表示預測圖像與實際抽取後圖 像108a之間的差別的視頻紋理信息118b的預測殘差。具體地，執行 預測塊llb、運動信息116b和紋理信息118b的確定，以使利用後續 基層編碼llb的該信息的結果編碼產生優選地具有最優速率失真性能 的基本表徵比特流。
如上所述，基層編碼塊112b接收來自塊116的第一運動信息116b 和紋理信息U8b，並將該信息編碼為基本表徵比特流120b。由塊112b 執行的編碼包括對紋理信息118b的變換和量化。具體地，塊112b使 用的量化相對較粗。因此，為了能夠提高比特流120b的質量或精度縮 放，細化編碼塊114b支持具有多種細化層的附加比特流的比特流 120b，附加比特流包含對比特流120b中表示紋理信息的粗量化變換系 數進行細化的信息。如稍後更加詳細地描述，例如，與預測塊110b 協同操作的細化編碼塊114b也能夠判定特定細化層比特流122b應該 伴隨有細化運動信息116b，即在上述可縮放擴展中已述的功能。但是， 根據本發明實施例，該功能與對幀/場判定進行新編碼的功能有關，因 此，以下將共同地描述這些功能。例如，相對於在前輸出的低細化層 比特流122b的基本表徵120b的殘差紋理信息的細化包括對變換係數 的當前量化誤差的編碼，從而表示具有更細量化預測的紋理信息 118b。
由編碼器100包括的復用器124對比特流120b和122b進行復用， 以將這兩個比特流插入到表示編碼器100的輸出的最終可縮放比特流 126中。
層102a的操作基本上與層102b相同。相應地，層102a包括運動 補償預測塊110a、基層編碼塊112a和細化編碼塊114a。與層102b — 致，預測塊110a接收視頻信號104，並對其執行運動補償預測，以獲 得運動信息116a和紋理信息118a。編碼塊112a接收輸出的運動和紋理信息116a和118a，並對該信息進行編碼，以獲得基本表徵比特流 120a。細化編碼塊114a通過對比特流120a的變換係數和從原始紋理 信息118a中得到的實際變換係數進行比較，對在基本表徵120上表明 自身的量化誤差的細化進行編碼，從而輸出多種細化層的細化層比特 流122a。
層102a和102b之間的唯一差別在於層102a是層間預測的。艮卩， 預測塊110a使用從層102b可導出的、諸如從一個和多個比特流120 和122b中導出的殘差紋理信息、運動信息和重建視頻信息等信息，以 預預測(pre-predict)視頻信號104的高解析度圖像104a，之後如以 上相對於抽取後視頻信號108的預測塊110b所述的一樣，對預預測的 殘差執行運動補償預測。可選地，預測塊110a使用從層102b中可導 出的信息，預測預定補償殘差118a。在這種情況下，對於幀內塊，可 以利用重建的基層圖像預測圖像內容104a。對於幀間塊104a，可以根 據相應的重建基層運動矢量，預測從110a輸出的運動矢量116a。此 外，在已確定層102a的運動補償殘差118a之後，可以從相應圖像的 重建基層殘差中預測運動矢量116a，然後，進一步在塊112a和114a 中處理該圖像的殘差。
至此，對圖1編碼器的操作模式的描述集中在細化編碼裝置114a， b對殘差信息的處理上。具體地，在細化編碼裝置114a， b中對由塊 110a， b輸出並在編碼裝置112a， b中以基層精度編碼的殘差信息或 紋理信息進行細化。但是，細化編碼裝置114a， b也能夠進行一層到 下一層的運動信息細化或改變、以及由塊118a， b做出的幀/場判定中 的改變。
如上所述，圖1編碼器的功能十分適合逐行掃描視頻源材料的情 況或基層編碼裝置112a， b使用等於1的frame—MBS—only—flag從而 忽略幀到場的分解的情況，其中frame—MBS—only—flag等於1的意思 是圖像序列表示視頻只包括已編碼的幀。但是，根據上述功能，圖1 編碼器提供的SNR和空間可縮放性對於隔行掃描源材料不很理想。因 此，根據本發明實施例進行操作的圖1編碼器不僅能夠細化紋理信息， 還能夠細化運動信息以及主要是幀/場判定，從而形成對隔行掃描源的
一種擴展。
但是，在描述圖1編碼器的不同行為之前，參考已結合有多種隔
行掃描工具的H.264/MPEG4-AVC標準。在第一工具中，可以將幀編 碼為編碼幀或兩個編碼場。這稱作圖像自適應幀場編碼。換言之，幀 或視頻可以視為包含兩個交織的場，頂和底場。頂場包含偶數行0， 2， ...， H/2-l， H是該幀的行數，底場包含開始於該幀第二行的奇數 行。如果在不同時刻捕獲幀的兩個場，則該幀可以稱作隔行掃描幀， 否則稱作逐行掃描幀。H.264/MPEG4-AVC中的編碼表徵相對於該視 頻特性(即，原始捕獲圖像的底層隔行掃描或逐行掃描時序)基本上 是不可知的。而是，其編碼指定主要基於幾何概念的表徵，而不是基 於時序的。上述圖像自適應幀場編碼的概念也擴展至宏塊自適應幀場 編碼。當幀編碼為單個幀，並且在序列參數集中傳輸的標誌 mb_adaptive—frame—field—flag等於1時，如圖2所示，修改分片內部 對宏塊的掃描。圖2示出了圖像200的示例部分。將該圖像再分為宏 塊202。此外，在激活宏塊自適應幀/場編碼的情況下，將每一對垂直 相鄰的宏塊202分組為宏塊對204。如從以下論述中清楚可見的，圖 像200到宏塊202的再分用於提供量的統一，其中，編碼器可以判定 必須適應各個圖像區域中的視頻內容的編碼參數，以得到較高編碼效 率。同時，宏塊對204在空間上將圖像200再分為宏塊對204的矩形 陣列。 一個宏塊對204的兩個宏塊202a和202b在空間上佔據垂直分 辨率為圖像200的垂直解析度的一半的、圖像200的整個宏塊對部分， 或者在空間上將宏塊對204的區域分為上半部分和下半部分。在上述 任一情況下，均將包含第一、第三...行或佔據上半部分的宏塊稱作頂 宏塊202a，而將另一部分稱作底宏塊。換言之，兩個這種垂直相鄰宏 塊稱作宏塊對，該宏塊對也可以如圖2所示排列成矩形陣列。對於每 個宏塊對，傳輸或推斷語法元素mb—field—decoding—flag 。當 mb—fkld_decoding—flag等於0時，將宏塊對編碼為幀宏塊對，在幾何 意義上，頂宏塊表示宏塊對的上半部分，底宏塊表示宏塊對的下半部 分。對mb—adaptive_frame_fidd—coding等於0的幀宏塊應用針對頂和 底宏塊的運動補償預測和變換編碼，其中mb—adaptive—
fmme_field—coding等於0指示使宏塊自適應幀場編碼無效，並且只存 在幀宏塊。當mb—field—decoding—flag等於1時，宏塊對表示場宏塊對， 頂宏塊表示宏塊對的頂場行，底宏塊表示宏塊對的底場行。因此，在 這種情況下，頂和底宏塊基本上覆蓋圖像的相同區域，即宏塊對區域。 但是，在這些宏塊中，垂直解析度是水平解析度的兩倍。在後一場宏 塊對的情況下，以場為基礎執行運動補償預測和變換編碼。在分片中 執行基層和細化層內的圖像內容的編碼，即宏塊組或宏塊對組。 一幅 圖像或一幀可以包括一個或多個分片。在圖2中，假設宏塊對屬於相 同分片，圖2箭頭指示各層中對宏塊編碼的順序。可見，宏塊是逐對 掃描的，首先是頂宏塊，隨後是相應底宏塊，之後訪問下一宏塊對。
編碼場的宏塊或mb—field—decoding—flag的宏塊等於1個編碼幀稱 作場宏塊。因為場宏塊的每個變換塊表示垂直解析度等於水平解析度 的兩倍的圖像區域，所以非零變換係數等級的分布很可能朝著水平低 頻移動，並且對於速率失真優化編碼，相對於幀宏塊的場宏塊，修改 變換塊內的變換係數的掃描。
圖1編碼器的以下描述集中在運動信息細化和針對各個宏塊對而 執行的幀/場判定的更新。但是，在描述該數據的細化更新之前，參照 圖3a，圖3a示意性地示出了由塊110a， b和112a， b執行的步驟以獲 得基層比特流912a， b。同樣，作為起始點，圖3a示出了要編碼的圖 像200，圖像200再分為宏塊202，宏塊202分組為宏塊對204，從而 宏塊對204在空間上將圖像200再分為矩形陣列。在對圖像200的編 碼中，塊110a， b針對每個宏塊對204，判定該宏塊對的宏塊應該是 編碼場的宏塊還是編碼幀的宏塊。換言之，塊904a， b針對每個宏塊 對，判定該宏塊對應該是以場模式還是以幀模式來編碼，圖3a中在 206處指示了該判定。通過用圓圈208圈住宏塊對204之一，示例性 地突出該宏塊對，以指示判定206是逐宏塊對地執行的。在210a和b 處指示了判定206的結果。可見，在幀編碼宏塊202a和202b構成宏 塊對204的情況下，幀編碼宏塊202a和202b在空間上將由宏塊對204 佔據的圖像區域再分為上半部分和下半部分。因此，兩個宏塊對202a 和202b包括在圖像的奇數和偶數行中包含的圖像信息，奇數行由白色
矩形指示，偶數行由陰影指示。相反，在場模式的情況下，頂宏塊202a 只包括奇數行中包含的宏塊對區域內的圖像信息，即頂場，而低宏塊 包含偶數行中包含的宏塊對區域內的圖像信息。通過比較210a和 210b，這是很清楚的。在場模式的情況下，垂直方向的圖像解析度以 因子2降低。由塊104a， b做出的幀/場模式判定206在基層比特流 120a， b中有所反映，以便在解碼器側，可以從可縮放比特流126中， 特別是從可縮放比特流126的基層數據流中提取判定206，如圖3a中 從判定206指向基層數據流216中包含的塊214的箭頭212所示。只 是作為預防措施，要注意不一定需要將幀/場模式判定設置或編碼到基 層數據流216內的連續塊中。相對於各個宏塊對204的判定以可解析 的方式分布在整個基層數據流216上。詳細內容參見 H.264/MPEG4-AVC標準。
但是，幀/場模式判定206不是由塊110a， b做出的唯一判定。而 是如218所示，塊110a， b也確定每個宏塊的運動參數。例如，這些
運動參數定義在什麼空間解析度上針對相應宏塊確定運動矢量。如圖 3a中220a處所示，例如，頂宏塊202a已再分為四個分區222，其中 針對每個分區222，定義運動矢量224。與之相比，將底宏塊202b保 留為一個分區，從而針對該宏塊只確定了一個運動矢量224。當然， 從速率/失真優化的意義來說，關於運動參數的判定218並不獨立於幀 /場判定206。這由220b指示，指示出在場編碼宏塊情況下宏塊202a 和202b的示例分區劃分，而前述220a的情況反映了幀編碼宏塊的情 況。雖然示例性示出的分區劃分相同，但是很明顯，依據幀/場判定 206，分區劃分可以不同。另一運動參數可以定義用於運動補償預測各 個宏塊的參考圖像的數目。該判定可以是基於分區、宏塊、圖像或分 片而做出的。但是，為了簡化圖3a，對於每個分區222，只示出了一 個運動矢量。除此之外，運動參數218當然還可以定義運動矢量本身， 例如其方向和長度。運動矢量定義重建參考圖像的位移，在將重建參 考圖像的圖像內容作為宏塊202a， b中包含的圖像信息的預測之前， 必須執行該位移。在確定226殘差或預測誤差時，考慮到場編碼宏塊 和幀編碼宏塊，從按照運動矢量224所定義的一樣進行位移之後的重
建參考圖像中提取的圖像內容當然不同。在幀編碼宏塊的情況下，從 位移和重建的參考圖像中提取使用的圖像信息表示連續空間子區域。 而在場編碼宏塊的情況下，從位移和重建的參考圖像中提取使用的圖
像信息涉及高兩倍的區域。因此，對於幀編碼宏塊，在228處指示對 於特定分區222獲得的殘差，而對於場編碼宏塊，在222b處指示對於 特定分區222獲得的殘差。該分區228a， b中包含的殘差採樣並不是 直接編碼為基層比特流的。而是，在殘差採樣上執行諸如DCT或一些 其他譜分解的變換，以獲得用於表示228a， b中包含的殘差信息的變 換係數矩陣。可以在整個分區或宏塊202a， b上執行變換230。但是， 也可以在宏塊202a， b的子部分或分區228a， b上執行變換230，如 分區228a中由虛線232所指示的。相應地，可以從一個宏塊或分區中 獲得一個或多個變換係數矩陣234。
基層編碼裝置112a， b將運動參數218和矩陣234中的變換係數 (如上所述，後者是相對粗的量化形式)結合為如箭頭236和238所 示的基層數據流216或120a， b，從而獲得基層數據流120a， b中的 運動信息240和殘差信息242。
可以採用Lagrangian方法來確定幀/場判定和運動參數218，以優 化速率/失真比。雖然對於與基層數據流相關的質量，判定206和218 可能在速率/失真意義上是最優的，但是當考慮更高質量時，不同的判 定206和218也可以是最優的。這一考慮產生了根據本申請實施例的 圖l編碼器的操作模式，根據本申請，編碼器不一定必須保持幀/場模 式判定206。而是，編碼器和解碼器能夠改變相對於細化層中各個宏 塊對的幀/場模式判定。根據圖1實施例，幀/場模式判定的改變總是 伴隨有運動參數和殘差變換係數的更新。但是，如後將述，也不一定 必須是這樣的。
圖3b示意性示出了根據本發明實施例的細化編碼裝置114a， b 的操作模式。圖3b集中在一個示例宏塊對204的細化上，該宏塊對 204示例性地包括兩個幀編碼宏塊202a和202b，頂宏塊202a劃分為 四個分區222，而底宏塊202b只包括一個分區。由此針對該代表性宏 塊對204而定義的場/幀模式判定和運動參數與圖3a中220a處所示的
宏塊相對應。如己相對於圖3a所述的，通過在變換係數矩陣234中排 列的變換係數，傳輸關於宏塊對204的殘差信息。變換係數矩陣234 中的變換係數與水平方向244和垂直方向246上的不同頻率相對應。 在圖3b中，例如，左上變換係數與DC分量相對應，該變換係數由 248a指示。
現在，考慮宏塊對204的細化或質量或精度增強，細化編碼裝置 114a， b做出260以下判定是保持還是改變相對於基層由塊110a， b 做出的相關判定的幀/場模式判定。
首先，考慮保持幀/場模式判定的情況。在這種情況下，依然將宏 塊對204作為細化層中的幀編碼而進行處理。但是，細化編碼裝置 114a， b考慮在速率-失真意義上，更好的是保持運動信息(即，採用 來自從屬層(即基層)的運動信息，只細化殘差信息)還是與基層相 比改變運動信息和殘差信息。該判定由圖3b中252指示。如果細化編 碼裝置114a， b判定對於特定宏塊對204要保持幀/場模式判定和運動 信息，則細化編碼裝置114a， b將判定250和252的結果結合到第一 增強層數據流122a， b中。判定250的結果是以模式改變指示符256 的形式結合到數據流122a， b中的，如虛線258所示。相應地，判定 252的結果是作為運動精度增強開/關指示符260結合到數據流122a， b中的，如虛線262所示。此外，細化編碼裝置114a， b將殘差精度 增強信息266結合到數據流122a， b中，該結合由虛線箭頭263指示。 在本優選實施例中，在263處結合的殘差精度增強信息266將表示殘 差變換係數等級，該殘差變換係數等級表示在減小的量化步長(例如， 相對於從屬層，除以2)上，如當前所定義的一樣，由從屬層(即， 從屬細化層或基層)表示各個變換係數等級的殘差。但是，如下所示， 可以使用數據流122a， b內的另一標誌/指示符來指示對於特定宏塊， 要在解碼器側將殘差精度增強信息266作為新的變換係數等級而進行 解譯，該新的變換係數等級表示與可導出到從屬層的當前變換係數等 級無關的變換係數等級。
細化編碼裝置114a， b可以判定不保持特定宏塊的運動信息，而 相對於基層細化該運動信息。在這種情況下，細化編碼裝置114a， b
通過第一增強層數據流122a， b中的相應指示符260來指示該可選判 定252的結果。此外，細化編碼裝置114a， b將運動精度增強信息264 和殘差精度增強信息266結合到數據流122a， b中，如虛線箭頭268 和270所示。運動精度增強信息264和/或殘差精度增強信息266可以 表示完全新的運動信息/殘差信息或用於分別細化從屬層(即，圖3b 所示情況下的基層)的運動信息和殘差信息的細化信息。完全新的增 強信息264或266將指示-如以上相對於殘差數據已指示的-完全取代 從屬增強層(即基層)的相應增強信息的增強信息。與之相反，增強 信息264和266用於細化從屬層的運動/殘差信息和當前細化層(在圖 3b的情況下，即第一增強層)的運動/殘差信息，當前細化層的運動/ 殘差信息可通過僅組合當前增強信息264， 266以及從屬層的運動/殘 差信息而導出，例如通過將兩個連續細化等級的相應變換係數等級或 運動矢量分量等級相加。
為了說明改變第一增強層中運動信息的效果，圖3b中在272處指 示了保持幀/場模式判定而改變運動信息的效果。如圖所示，第一增強 層中與宏塊對204相關的運動信息與基層中與宏塊對204相關的運動 信息的不同之處在於，使用兩幅參考圖像來預測宏塊對內的圖像內容。 因此，每個分區222與兩個運動矢量224a和224b相關聯。此外，第 一增強層的運動信息對底宏塊202b的分區劃分的改變在於，將底宏塊 202b劃分為四個分區，而不是如基層中的情況一樣只形成一個分區。 第一細化層的運動信息(即參考圖像編號)、運動矢量224a和224b 以及宏塊202a和202b的分區劃分可以完全新地編碼在第一增強層數 據流122a， b中，或採用基層的運動信息作為預測器來對其進行編碼。 例如，如果運動矢量224a與相同參考圖像相對應，則可以只將運動矢 量224a相對於基層的運動矢量224的偏移編碼到運動精度增強信息 264中。假設暫時的線性運動，運動矢量224也可以用作對涉及不同 參考圖像的新運動矢量224b進行預測的基礎。除此之外，底宏塊202b 的單個分區的單個運動矢量224可以用作第一增強層中底宏塊202b 的每個分區的運動矢量的預測器。
類似地，在第一增強層數據流122a， b中傳輸的變換係數矩陣234
的變換係數的變換係數等級可以只表示以更細的量化補償量化的相對 於基層的變換係數等級的殘差或偏移，或者表示不使用基層的變換系
數作為預測器而完全新的變換係數矩陣234的變換係數。
至此，描述了細化編碼裝置114a， b判定保持關於宏塊對204的 幀/場模式判定的情況。但是，如果判定250的結果是改變第一增強層 中的幀/場模式，則由相應的模式改變指示符256指示這一結果，並將 新的運動信息連同新的殘差信息以運動精度增強信息264和殘差精度 增強信息266的形式插入到第一增強層數據流122a， b總，如虛線箭 頭274和276所示。具體地，根據圖3b的示例，從基層到第一增強層 改變宏塊對204的運動信息，以定義頂宏塊202a的分區222的新運動 矢量224，並將底宏塊202b劃分為4個分區，每個分區222 —個運動 矢量224。如278所示，例如，宏塊202a和202b現在是以只包括奇 數行的頂宏塊202a而場編碼的。採用被編碼的等級的各個變換係數矩 陣234中的變換係數的變換係數等級對殘差信息編碼，而未使用基層 矩陣234的變換係數等級作為預測。
但是，雖然根據本實施例，在不保持幀/場模式判定的情況下，對 運動和殘差信息進行完全新的編碼，但是可選地，可以使用針對不同 幀/場模式而定義的基層運動信息和殘差信息作為預測器。例如，考慮 變換係數。基層中的殘差採樣的垂直解析度是第一增強層的殘差採樣 的垂直解析度的兩倍。因此，基層的矩陣234包括變換係數的垂直方 向246上的最高頻率分量是第一增強層包括變換係數的垂直方向246 上的最高頻率分量的兩倍。因此，可以將基層矩陣234的至少一部分 用作第一增強層矩陣234的變換係數的預測器。更精確地，表示DC 分量並在第一增強層數據流122a， b中殘差精度增強信息266內傳輸 276的變換係數248a的變換係數等級可以表示相對於基層數據流 120a， b中傳輸的相應變換係數248a的變換係數等級的偏移。這適用 於更高頻率的水平分量。此外，針對下一更高垂直頻率分量280而傳 輸的第一增強層的變換係數等級可以作為相對於基層中該下一垂直頻 率分量的、由282指示的預測誤差來編碼。類似地，基層的幀編碼宏 塊的運動矢量可以用作第一增強層的運動矢量的預測器。
當然，從基層中的幀編碼宏塊對改變到第一增強層中的場編碼宏 塊對的以上示例只是一個可能示例。當然，可以將基層中的場編碼宏 塊對改變為第一增強層中的幀編碼宏塊對。此外，在第一增強層中可 以不改變關於特定宏塊對的幀/場模式判定，而可以在第二和隨後的增 強層中改變。例如，通過減小用於傳輸變換係數等級的量化步長、提 高定義運動矢量的解析度和/或使用針對運動補償的更細分區劃分和 更大數量的參考圖像，可以逐層地提高視頻圖像的質量或精度，並減
小圖像失真。此外，除了指示符256和260，可以在第一增強層數據 流122a， b中傳輸其他指示符。例如，可以在第一增強層數據流122a， b內傳輸指示符，以指示是用第一增強層數據流122a， b只取代或細 化關於特定宏塊的運動信息或殘差信息還是取代兩者。類似地，可以 使用索引指示符，以定義關於特定宏塊的運動精度增強信息或殘差精 度增強信息是否要取代或細化從屬層的相應運動/殘差信息。
可以注意到，根據本發明的優選實施例，將第一增強層的變換系 數等級插入當前增強層數據流122a， b中的順序取決於判定250的結 果。例如，根據當前增強層，如果特定宏塊是幀編碼宏塊，則用於定 義第一增強層的變換係數等級插入殘差精度增強信息266中的順序的 掃描路徑284不同於用於從屬增強層中相應場編碼宏塊的變換係數等 級的掃描路徑。場和幀編碼宏塊的掃描路徑的差別反映了相對於場編 碼宏塊，幀編碼宏塊的變換係數矩陣234中的存在更高頻率垂直分量。 具體地，優選地在殘差精度增強信息266內傳輸變換係數，首先傳輸 非有效(non-significant)變換係數(即，對於這些變換係數，根據從 屬層的變換係數等級是0)的變換係數等級。以所謂的有效路徑對非 有效變換係數的變換係數等級進行編碼。將隨後有效變換係數的變換 係數等級的編碼所成的路徑稱作細化路徑。在多個循環中執行有效路 徑。在第一循環中，例如，對第一宏塊第一變換塊(見圖3a232)中 沿掃描路徑方向284或286的第一非有效變換係數進行編碼。最終， 依據變換塊大小，之後立即對當前變換塊內掃描路徑方向284和286 上的隨後非有效變換係數的另外變換係數等級進行編碼。接著，訪問 當前宏塊內沿變換塊掃描順序的下一變換塊，直到訪問了當前宏塊內
的所有變換塊。之後，訪問當前分片內沿宏塊掃描順序的下一宏塊，
其中在該宏塊內再次執行上述過程，宏塊掃描順序由圖2中288指示。 在訪問了當前分片的最後宏塊中的最後變換塊之後，執行另外的循環。 在將非有效變換係數的變換係數等級編碼之後，沿細化路徑對有效變 換係數的變換係數等級進行編碼。細化路徑可以依據將語法元素編碼 到比特流126中所用的編碼方案，例如，通過只掃描一次分片內的宏 塊或通過以固定數目的循環來掃描它們而執行的可變長編碼或算術編 碼，其中每個循環專用於掃描順序284或286中的特定變換係數位置， 如果變換係數是有效的，可以只對特定變換係數位置的相應變換係數 等級進行編碼。
在有效路徑和細化路徑中，用於確定相應變換塊內的變換係數中 的訪問順序的掃描路逕取決於根據當前細化層的相應宏塊對的幀/長 模式。即，如果使用上下文自適應編碼方案，則將第一增強層中變換 係數等級排序，以將具有類似概率分別的變換係數等級排列在第一增 強層數據流122a， b內並置的位置上，這能夠實現編碼所用的概率估 計的更好適應，所以對第一增強層數據流122a， b中變換係數的排序 可以影響所產生的第一增強層數據流122a， b的速率/失真比。因此， 判定250和252也可以取決於這些判定對用於編碼語法元素以及特別
是第一增強層中變換係數等級的概率估計的編碼效率或質量的影響。 這樣，細化編碼裝置114a，b做出判定250和252的方式與塊110a， b連同基層編碼塊112a， b創建基層比特流120a， b的方式類似。更 精確地，可以採用Lagrangian方法，以在速率/失真意義上優化這些判 定。
在相對於圖3b描述了細化編碼裝置114a， b的功能之後，參照圖 1到圖3b，並更具體地參照H.264/MPEG4-AVC標準，再次描述圖1 編碼器的操作模式。換言之，在創建可縮放比特流126的情況下更加 精確地描述圖1編碼器的功能，作為H.264/MPEG4-AVC標準的可縮 放擴展。在上述2005年10月的SVC工作草案中，可縮放性工具尤其 專用於等於1的frame_MBS—only一flag。換言之，根據這些草案，宏 塊只是幀宏塊。支持SNR和空間可縮放性的概念只是針對逐行掃描源
材料而設計的。但是，圖1編碼器通過考慮隔行掃描源材料的特性， 形成對於隔行掃描源的擴展。具體地，圖1編碼器利用上述工作草案
JVT-Q031中所述的針對隔行掃描源材料的自適應運動細化，優化對漸 進細化分片的編碼。除了運動和殘差細化之外，可以在FGS增強層中 傳輸對基本質量層的基於宏塊的幀/場判定的修改。
具體地，圖1編碼器利用具有宏塊自適應幀/場判定的對於隔行掃 描幀的自適應運動細化對漸進細化分片編碼的擴展在於，當啟用宏塊 自適應幀/場編碼時，對於編碼幀的漸進細化分片中所有宏塊對或宏塊 對的子集，傳輸語法元素，該語法元素用信號告知宏塊對是作為成對 宏塊、場宏塊還是幀宏塊而編碼的。依據宏塊對的幀/場模式、漸進細 化分片和從屬SNR層中協同定位宏塊對的幀/場模式，應用如下(1) 如果當前宏塊202a (圖3b)是以場-幀模式編碼的，從屬SNR層(圖 3b，基層)中的協同定位宏塊對是以相同的場-幀模式編碼的(見開始 於圖3b中判定250的"是"路徑)，則使用從屬SNR層宏塊對的場-幀判定。可以獨立於作為附加指示符或語法元素262、 268和270而傳 輸的場/幀判定，細化運動和預測信息，對此，更多細節參見PCTEP 2005/010972，將其中關於在保持幀/場模式判定不變的情況下細化運 動信息和細化信息的內容合併在此，作為參考。(2)否則，如果當前 分片中的場/幀巨大不同於從屬SNR層中的場/幀判定(見從250的 "是"分支)，對於宏塊對中的兩個宏塊，除了殘差信號的細化(266) 之外，還一併傳輸新的宏塊模式(260)和相應的運動和預測信息(264)。 可能的宏塊模式與編碼標準H.264/MPEG4-AVC所支持的相同，這表 示通過將宏塊再分為用於運動補償預測的更小塊或分區，可以用信號 傳輸用於P-分片的多達16個的運動矢量以及用於B-分片的多達32 個的運動矢量。
在漸進細化分片中進行該幀/場判定的一種方法是使用Lagmngian 方法，其中對於給定的X，將Lagrangian成本函數j = d + Xr最小化。 這裡，D代表原始和重建(解碼)信號之間的失真，R代表宏塊對編 碼所需的比特率。如果將從屬SNR層的幀/場判定反轉的成本比保持 從屬SNR層的幀/場判定的成本地，則從速率-失真的意義來說，顯然 反轉宏塊對的幀/場判定並傳輸該宏塊的新的運動和/或預測信息集更
好(見判定250的"否"路徑)。由此，通過使用自適應幀/場細化， 可以在相同的比特率上達到更高的圖像質量。
相對於圖1和3b所提出的FGS編碼方案的優點在於，對於每個 變換塊，只須執行一次解碼器側的逆變換。對保持幀/場編碼模式的宏 塊對而言，將基本質量層和所有相關漸進細化分片的縮放後變換係數 相加，並只須變換得到的變換係數，該變換係數表示可獲得的最高質 量。根據圖1和3b的FGS編碼方案，自適應運動細化也是遵循這一 概念的。為了不增加針對具有自適應幀/場判定的FGS編碼方案的解 碼器複雜度，在從屬SNR從的幀/場判定改變的情況下，優選地引入 特殊限制。當在特定細化層，以具有自適應運動細化的FGS編碼方案 傳輸新的宏塊模式時，另一語法元素residuaLprediction—flag用信號告 知是否將SNR基層(或從屬細化層)的殘差信號用於重建。如果該標 志等於1，則將已在SNR基層中傳輸的變換係數用於重建增強層表徵 的殘差。否則，如果該標誌等於0，則只使用在FGS增強層122a， b 中傳輸的變換係數等級266來重建增強層表徵的殘差信號。因為針對 場宏塊對而執行的變換所使用的釆樣集與針對幀宏塊對而執行的變換 所使用的採樣集不同，所以通過在幀/場判定改變時禁止殘差預測，有 利地避免了多重變換。因此，在本發明的優選實施例中，僅當在SNR 增強層中未修改SNR基層的幀/場判定時，才傳輸指定來自SNR基層 的殘差的上述使用的語法元素，即，語法元素residuaLprediction—flag。 否則，在解碼器側推斷語法元素residual_prediction—flag等於0。
根據本發明實施例，可以通過以下偽代碼表述指定幀/場判定的語 法和FGS增強層的宏塊模式。就此而言，以下代碼定義了由塊114a， b執行的、將上述語法元素編碼到細化層數據流122a， b中的步驟。
(10)…
(12) if( ! field_pic—flag && mb—adaptive—frame—field—flag ) { (14)… — — — 一
(16) mb—field—decoding_flag—EL 〃 frame/field decision in (18) 〃 enhancement layer
(20) if(mb—field—decoding—flag—EL == mb—field—decoding—flag) {
(22) 〃 frame/field decision of is not modified
(24) 〃 top macroblock
(26) change—top_pred—info—flag 〃 modified
(28) 〃 motion/prediction
(30) if(change—topjpred—info—flag ) {
(32) transmission of macroblock mode, motion and
(34) prediction data
(36) transmission of residual_prediction—flag
(38) } —
(40) start transmission of transform coefficient
(42) levels for the top macroblock
(44) 〃 bottom macroblock
(46) change_bot_pred—info_flag 〃 modified
(48) 〃 motion/predicton
(50) if( change—bot_pred—info—flag ) {
(52) transmission of macroblock mode, motion and
(54) prediction data
(56) transmission of residual_prediction_flag
(58) } _
(60) start transmission of transform coefficient
(62) levels for the bottom macroblock
(64) } else {
(66) 〃 frame/field decision is modified
(68) 〃 top macroblock
(70) transmission of macroblock mode, motion and
(72) prediction data
(74) residual_prediction—flag is inferred to be equal
(76) to 0
(78) 〃 bottom macroblock
(80) transmission of macroblock mode, motion and
(82) prediction data
(84) residual_prediction—flag is inferred to be equal
(86) to 0
(88) 〃 coding of transform coefficients
(90) start transmission of transform coefficient
(92) levels for the macroblock pair
(94) }
(96)…
(98) }
第一個if從句(行12)檢査視頻源材料是否己由基層編碼塊112a， b編碼，以激活宏塊自適應幀/場判定。如果情況如此，則在當前宏塊 對或多個宏塊對的增強層中傳輸語法元素mb一field—decoding—flag—EL (行16)，以在該增強層中定義幀/場判定。第二個if從句(行20)檢 查幀/場判定在增強層中是否已相對於基層而改變，其中幀/場判定是 在基層中編碼為mb—field—decoding—flag的。
下面的行(行22-62)定義了當未修改幀/場判定時傳輸的信息。 在這種情況下，首先，傳輸語法元素change—top_pred_info_flag並對 其編碼(行26)，以指示是否相對於從屬層而修改當前頂宏塊的運動 /預測信息。因此，該語法元素表示圖3b所示的指示符260。如果情 況如此(行30的第三個if從句)，則產生新的宏塊模式、新的運算 矢量和參考圖像編號(行32和34)。接著，傳輸語法元素 residual_prediction—flag (行36)，以用信號告知當前頂宏塊到下一宏 塊的變換係數層是作為自包含的新變換係數傳輸，還是作為用於細化 當前粗量化變換係數的細化信息而傳輸。接著，即，如果指示運動信 息是從從屬層獲取的(行30中if從句的"否"路徑)，或者如果已 傳輸了新的運動信息連同residual_prediction—flag (行32-36)，則執 行變換係數等級(行40， 42)，在將change—top_pred_info—flag置位 的情況下，依據行36中傳輸的residual_prediction—flag,該變換係數
等級表示是新的變換係數等級信息、是差分編碼的或者是殘差變換系 數等級。在其他情況下，即，未將change_top_pred_info_flag置位的
情況下，變換係數等級表示殘差變換係數等級，即，推斷 residual_prediction_flag指示差分編碼。對於底宏塊，重複上述過程(行 44-60)。
換言之，根據本實施例，在未修改幀/場判定的情況下，無論如何 都要進行對殘差信息的"細化"。當然，該細化可以是0，或者"細 化"的意思可以是不使用至此傳輸的比特流，而產生不是差分編碼的 完全新的信號。第 一 標誌change_top/bot_pred_info_flag指示是否在"正 常模式"下執行殘差的細化，即，使用與從屬層中的運動參數相同的
運動參數，並將殘差的細化作為與基層中和從屬細化層(如果有)至
此傳輸的變換係數的差而編碼。在未將change_top/bot_pred_info_flag 置位的情況下，傳輸新的運動參數，(在本實施例中，沒有差分編碼， 但是如上所述，差分編碼也是可能的)並傳輸另 一 標誌 residual_prediction—flag,該標誌指示是否使用至此有效的殘差。如果 將該標誌置位，則將細化作為差/殘差/細化而編碼，否則對殘差信號 進行完全新的編碼。
但是，如果幀/場判定已相對於基層而修改了，則針對當前頂宏塊， 傳輸新的宏塊分區模式、運動矢量和參考圖像編號(行70， 72)，而 不用信號告知語法元素residualjprediction—flag,而在解碼器側推斷該 標誌等於0 (行74， 76)。對於底宏塊重複該過程(行78-86)。在 傳輸了整個宏塊對的頂和底宏塊的運動信息之後，開始傳輸當前宏塊 對的變換係數等級(行90， 92)。當然，針對其他宏塊對，同樣執行 步驟10-92。
關於上述偽代碼實施例，重點在於只在傳輸編碼幀(即， field_piC—flag等於0)並且啟用宏塊自適應幀/場編碼(即， mb_adaptive—frame_field—flag)時(行12)，才應用修改的語法。此 外，僅當在漸進細化分片的編碼期間第一次訪問宏塊對時，才傳輸幀/ 場判定(行16， 18)。當語法元素不同於SNR基層的相應語法元素 時，針對宏塊對的兩個宏塊，傳輸新的宏塊模式、運動和/或預測信息 的集合(行70， 72， 80， 82)，對於宏塊對的兩個宏塊，推斷 residual_prediction—flag等於0 (行74， 76， 84, 86)。此外，可以傳 輸指定變換大小(transform size)的語法元素。沿上述有效路徑以頂 宏塊的第一變換係數等級來進行編碼(行90， 92)。當指定幀/場判 定的語法元素的值等於其在基本質量分片中的值時，FGS編碼採用上 述PCT應用中的概念或JVT-Q031的概念。對頂宏塊進行編碼，這裡， 首先傳輸語法元素change—top _pred_info—flag (行26)，該語法元素 指定宏塊模式和相關運動和預測數據的改變。如果該語法元素等於1， 則傳輸新的宏塊模式和相關運動和預測數據、以及對來自基層的殘差
預測的使用進行指定的標誌(行32-36)。然後，沿有效路徑，對頂 宏塊的第一變換係數等級進行編碼(行40， 42)。
在以下所有宏塊對或宏塊的訪問中，即，當己傳輸了 mb—field—decoding—flag_EL禾口 change_top_pred—info—flag或change— botjredjnfo—flag (當可應用時)、以及指定修改後宏塊預測模式的 相應語法元素時，按照上述順序，僅將另外的變換係數等級編碼。艮P， 僅當第一次訪問宏塊對，並在當前漸進細化分片中尚未傳輸該宏塊對 的變換係數等級時，才傳輸語法元素mb—field—decoding—flag—EL (以 及對相應宏塊對的宏塊預測信息的可能修改)。類似地，僅當 mb—field—decoding—flag_EL等於SNR基層中協同定位宏塊對的 mb—field—decoding—flag時，以及僅當第一次訪問該宏塊並還未傳輸該 宏塊的變換係數等級時，才傳輸語法元素change—topjred—info—flag 或change—bot_pred—info—flag、以及宏塊預測信息的可能修改。
參照圖4，描述解碼器執行的、對可縮放比特流126進行解碼的 步驟。開始於步驟800，解碼器首先解析可縮放比特流126中包含的 基層比特流122a和122b。作為步驟800的結果，解碼器獲知每個宏 塊對的場/幀模式、每個宏塊的運動參數和殘差信息的存在。換言之， 在步驟800，解碼器從基層數據流122a，b中提取信息214,240和242。 在下一步驟802中，解碼器檢查是否需要/要求進一步細化或質量增 強。如果不需要，則解碼器立即在解碼步驟804中對基層數據流122a， b進行解碼。依據所需/要求的空間解析度，根據H.264/MPEG4-AVC 標準，通過僅對基層流120b進行解碼，來執行解碼804，或者根據該 標準，對兩個基層比特流120a， b均解碼，然後用更精細的重建圖像 細化粗重建的圖像。
如果需要/要求進一步細化，解碼器前進到步驟806，在步驟806， 從下一更高階細化層比特流122a， b中提取幀/場模式改變指示 (mb—field—decoding—flag)、以及在指示無改變時，提取運動增強開/ 關指示(change_*_pred_into—flag)。在步驟806，解碼器能夠根據當 前細化層中宏塊對的幀/場模式和基層或從屬層中的變換係數等級的 有效性，重建解碼器側所用的、當前細化層的有效路徑和細化路徑。
在下一步驟808，解碼器相應地解析細化層，以提取所有具有運動增 強開/關指示的宏塊和幀/場模式判定已改變的所有宏塊的運動信息 (運動增強開/關指示指示了當前運動信息的替換)和殘差信息，依據 在將change—*_pred—into—flag置位的情況下從細化數據流中解析得到 的、或在未將change—*_pred—into—flag置位的情況下推斷為指示差分 編碼的reSidual_prediction—flag,殘差信息表示差分編碼的殘差信息或 自足獨立的殘差信息。接著，在步驟810，對於每個宏塊對，解碼器 檢査幀/場判定是否己相對於從屬層而改變。如果己改變，則解碼器前 進到步驟812，由於推斷residuaLprediction—flag等於0，所以用從當 前增強層的增強層數據流中提取的運動/細化信息264和266替換當前 編碼數據，即，當前運動/殘差數據。但是，對於幀/場模式還未修改 的所有宏塊對，解碼器檢查運動增強開/關指示符，g卩，語法元素 change—bot_pred—info—flag,其指示對於宏塊對的各個宏塊，是否存在 運動增強信息264或266。如果存在，則解碼器替換(在可選實施例 中，細化)該宏塊的當前運動數據(即運動信息)，並依據在輸入數 據流中傳輸的相應標誌residual_prediction—flag,替換或細化該宏塊的 殘差數據。更精確地，在根據上述偽代碼對增強層數據流解碼的情況 下，始終要替換運動信息，而在未修改幀/場判定的情況下，依據特定 指示符，即上述偽代碼增強層數據流情況下的residual_prediction—flag, 替換或細化殘差信息。在進行替換的情況下，增強層中包含的特定宏 塊的運動信息完全替換從屬層的運動信息。在進行細化的情況下，將 從屬層的信息與增強層中的相應信息組合。具體地，將增強層的變換 係數等級去量化，並與已去量化或己縮放(最終累加起來)的從屬層 相應變換係數的變換係數等級相加。
否則，如果運動增強開/關指示符示出了增強層不具有相應宏塊的 運動增強信息，則對於該宏塊的運動數據不進行任何改變，但是在步 驟818，解碼器通過組合從輸入數據流中獲得的當前變換係數和(經 由去量化)用於細化殘差數據的當前細化層的細化信息(即，針對減 小的量化步長而定義的變換係數等級)，細化殘差數據。
之後，即，在對當前圖像的所有宏塊執行了步驟812、 816和818 中的任何步驟之後，過程返回到步驟802，以檢査是否需要/要求進一 步細化。如果需要，則對下一細化層再次執行步驟806到818。否則， 過程前進到步驟804，在步驟804，對當前編碼數據解碼(即執行重變 換，例如逆譜分解)，使用當前運動信息並基於已重建的參考圖像和 通過重變換獲得的、與由此獲得的預測相組合的殘差信息，預測宏塊 的圖像內容，以產生重建形式的當前圖像。
總結上述實施例，它們表示了具有如下特性的FGS編碼方案。首 先，支持具有宏塊自適應幀/場判定的幀的細化信息的編碼，其中，垂 直相鄰宏塊對作為幀宏塊對或場宏塊對而編碼。此外，允許在FGS增 強層中自適應地修改SNR基層的宏塊對的幀/場判定。可以通過FGS 增強層中針對每個宏塊對或針對宏塊對子集的語法元素，用信號告知 FGS增強層的幀/場判定。對於未用信號告知其幀/場判定的宏塊對， 通過使用已傳輸的語法元素，推斷幀/場判定。在一個實施例中，當增 強層中的幀/場判定不同於SNR基層的幀/場判定時，傳輸整個宏塊運 動和預測信息集合。當增強層中的幀/場判定不同於SNR基層的幀/場 判定時，推斷對來自SNR基層的殘差預測的使用進行指定的語法元素 等於X。這裡，值X指定未應用殘差預測，並且只使用當前FGS增 強層的變換係數等級來獲得重建的殘差信號。可選地，對於宏塊對的 兩個宏塊，當它們在增強層中的幀/場判定與SNR基層的幀/場判定相 同時，可以傳輸語法元素。該語法元素可以指定是否在FGS增強層中 傳輸新的宏塊運動和/或預測信息，或者指定是否使用SNR基層中協 同定位宏塊的運動和/或預測信息。以場為基礎執行場宏塊的運動補 償，而以幀為基礎執行幀宏塊的運動補償。類似地，可以場為基礎執 行場宏塊的逆變換，而以幀為基礎執行幀宏塊的逆變換。此外，類似 地，變換塊內部的變換係數的掃描順序可以取決於該宏塊是場或幀宏 塊。
接下來，要注意，可以使用條件熵編碼來傳輸指定宏塊對的幀/ 場模式的語法元素，其中該條件取決於SNR基層中協同定位宏塊對的
幀/場模式。例如，可以通過使用取決於基層中場/幀模式判定212的 概率估計的熵編碼，傳輸語法元素258。
最後，要注意，上述實施例具體是與H.264/MPEG4-AVC標準相 關的。但是，本發明也可應用於其他編碼方案。
依據實際的實現方式，本發明編碼方案可以採用硬體或軟體形式 實現。因此，本發明也涉及可以存儲在諸如CD、盤或其他數據載體 等計算機可讀介質上的電腦程式。因此，本發明也是一種具有程序 代碼的電腦程式，當在計算機上執行時，該計算機代碼執行結合上 述附圖所描述的本發明方法。
此外，要注意，可以通過相應裝置實現流程圖中指示的所有步驟, 該實現可以包括在CPU、 ASIC的電路部分等上運行的子例程。
雖然參考特定實施例具體示出並描述了以上內容，但是本領域技 術人員將理解，在不背離本發明精神和範圍的前提下，可以對形式和 細節進行多種其他改變。要理解，在不背離這裡公開的和根據所附權 利要求理解的較寬概念的情況下，可以進行多種改變，以適應不同實 施例。
權利要求
1.一種解碼器，用於對將預定圖像(200)編碼的精度可縮放編碼數據流(126)進行解碼，所述編碼的精度可縮放編碼數據流(126)包括第一精度編碼數據(120a，b)，其中通過以逐幀和逐場中的第一模式處理預定圖像的預定部分(202a，b)，以第一精度編碼預定圖像；更高精度信息(122a，b)，表示第二精度編碼數據，其中通過以逐幀和逐場中的第二模式，以高於第一精度的第二精度編碼預定部分(202a，b)，或細化信息能夠細化第一精度編碼數據，以獲得第二精度編碼數據；以及指示信息(256)，用於指示第一精度編碼數據與第二精度編碼數據之間的逐場/逐幀處理中是否存在改變，所述解碼器包括檢查裝置(810)，用於檢查指示信息是否指示了第一精度編碼數據與第二精度編碼數據之間預定部分的逐場/逐幀處理中的改變；設置裝置(810-816)，用於在指示信息指示了逐場/逐幀處理改變時，忽略關於預定部分的第一精度編碼數據中至少一部分，並將第二精度編碼數據設置為用於解碼的數據，或者基於更高精度信息，細化第一精度編碼數據，以獲得第二精度編碼數據，並將獲得的第二精度編碼數據設置為用於解碼的數據；以及解碼裝置(804)，用於通過以所述逐幀或逐場模式處理預定圖像的預定部分，對所設置的用於解碼的數據進行解碼，從而以第二精度重建預定圖像。
2. 根據權利要求1所述的解碼器，還包括-解析裝置(800-808)，用於解析精度可縮放編碼數據流，以實現 第一精度編碼數據和更高精度信息。
3. 根據權利要求2所述的解碼器，其中解析裝置配置為依據指示 信息對更高精度信息執行解析。
4. 根據前述權利要求之一所述的解碼器，其中預定圖像是視頻圖 像序列004)的一部分，解碼裝置配置為從用於解碼的數據中提取預 定部分的運動信息和各個殘差信息，將運動信息應用於重建的參考圖 像，以獲得預定部分的運動補償預測，並基於運動補償預測和殘差信 息，重建預定部分。
5. 根據權利要求4所述的解碼器，其中解碼裝置配置為執行逆譜 分解，以提取殘差信息。
6. 根據權利要求4和5之一所述的解碼器，其中解碼裝置配置為 依據指示信息來應用運動信息和預定部分的重建。
7. 根據前述權利要求之一所述的解碼器，其中設置裝置(810-816) 配置為，如果至解碼器的指令用信號告知僅以第一精度重建預定圖像， 則忽略第二精度編碼數據，並將第一精度編碼數據設置為用於編碼的 數據。
8. 根據前述權利要求之一所述的解碼器，其中設置裝置(810-816) 配置為，如果指示信息指示第一精度編碼數據與第二精度編碼數據之 間預定部分的逐場/逐幀處理中不存在改變，則檢査(814)編碼的精 度可縮放數據流中的細化改變信息(260)是否要細化相對預定部分的 第一精度編碼數據，依據檢査結果，將第一精度編碼數據保持作為關 於預定部分的待解碼數據，或者基於更高精度信息，細化第一精度編 碼數據以獲得第二精度編碼數據，並將獲得的第二精度編碼數據設置 為待解碼數據。
9. 根據前述權利要求之一所述的解碼器，其中通過與所述預定部 分相關聯的第一語法元素，用信號告知指示信息，預定圖像包括另一 預定部分，其中，更高精度信息缺少與所述另一部分相關聯的、用信 號告知關於所述另一預定部分的逐幀/逐場處理中是否存在改變的任 意第二語法元素，檢查裝置配置為使用更高精度信息中已檢査的語法 元素，推斷第二語法元素的值。
10. 根據前述權利要求之一所述的解碼器，還包括第二檢查裝 置，如果在指示信息指示了關於預定部分的逐幀/逐場處理中不存在改 變時，在更高精度信息中撿查關於第二精度編碼數據是否包括運動信 息和/或殘差信息、以及關於第二精度編碼數據是否要替換關於預定部 分的第一精度編碼數據或第二精度編碼數據專用於細化第一精度編碼 數據以獲得第二精度編碼數據的從屬信息(260)，以獲得檢査結果，其中設置裝置配置為依據檢查結果，執行關於運動和/或殘差信息 的忽略和設置或者細化和設置。
11. 根據前述權利要求之一所述的解碼器，其中第二精度編碼數 據包括變換係數矩陣的變換係數等級，所述變換係數矩陣表示預定部 分中至少一部分的運動補償殘差，其中，解析裝置配置為根據精度可 縮放編碼數據中變換係數的出現順序和變換係數的掃描順序，將變換 係數等級與變換係數矩陣的變換係數相關聯，依據指示信息，所述掃 描順序等於第一掃描順序和不同於第一掃描順序的第二掃描順序中的 一種。
12. 根據權利要求11所述的解碼器，其中設置和解碼裝置配置為， 如果指示信息(256)指示了預定部分的逐幀/逐場處理中存在改變， 則對變換矩陣應用逆變換以獲得運動補償殘差，將運動補償殘差與從 預定部分以更高精度信息或第一精度編碼數據中指示的運動信息發生 位移的、重建參考圖像的逐場或逐幀部分相結合，以獲得候選重建圖 像，在逐幀和逐場中的所述第二模式是逐幀的情況下，候選重建圖像 等於重建圖像，而在逐幀和逐場中的所述第二模式是逐場的情況下， 將候選重建圖像從場表徵轉換為幀表徵，以獲得重建圖像。
13. —種編碼器，用於對預定圖像進行編碼，包括-基本編碼裝置(110a， b， n2a， b)，通過以逐幀和逐場模式之一處理預定圖像的預定部分(202a， b)，以第一精度對預定圖像進行編 碼，以獲得第一精度編碼數據(120a， b);確定裝置Ul4a， b)，通過以逐幀和逐場模式中的另一模式處理 預定部分，確定更高精度信息(122a， b)，所述更高精度信息(122a， b)表示第二精度編碼數據，其中第二精度編碼數據通過以逐幀和逐場 模式中的另一模式處理預定部分，以高於第一精度的第二精度編碼預 定部分，或細化信息能夠細化第一精度編碼數據，以獲得第二精度編 碼數據；以及構建裝置(124)，用於構建將預定圖像編碼的精度可縮放編碼數 據流(126)，以包括第一精度編碼數據(120a，b)、更高精度信息(122a，b)和指示信息(256)，所述指示信息(256)指示第一精度編碼數據 與第二精度編碼數據之間的逐場/逐幀處理中的改變。
14. 根據權利要求13所述的編碼器，其中預定圖像還包括另一預 定部分，更高精度信息還表示另一第二精度編碼數據，其中另一第二 精度編碼數據通過以逐幀和逐場模式之一處理另一預定部分，以第二 精度編碼另一預定部分，或相應的另一細化信息能夠細化以第一精度 編碼另一預定部分的另一第一精度編碼數據；確定裝置配置為確定第二精度編碼數據和另一第二精度編碼數 據，以使第二精度編碼數據包括表示預定部分的運動補償殘差的第一 變換係數矩陣的第一變換係數等級，並使另一第二精度編碼數據包括 表示另一預定部分的運動補償殘差的第二變換係數矩陣的第二變換系 數等級；構建裝置配置為根據第一變換係數矩陣的變換係數中的第一掃描 順序，將第一變換係數等級插入到精度可縮放編碼數據流中，並根據 第二變換係數矩陣的變換係數中不同於第一掃描順序的第二掃描順 序，將第二變換係數等級插入到精度可縮放編碼數據流中。
15. 根據權利要求13或14所述的編碼器，其中構建裝置配置為執行構建，以使對更高精度信息的正確解析依據指示信息。
16. 根據權利要求13到15之一所述的編碼器，其中預定圖像是 視頻圖像序列(104)的一部分，設計基本編碼裝置和確定裝置，從而 第二精度編碼數據使得能夠從精度可縮放編碼數據流中獲得預定部分 的運動信息和/或相應的殘差信息，將運動信息應用於己編碼和重建的 參考圖像，以獲得預定部分的運動補償預測，並基於運動補償預測和 殘差信息，重建預定部分。
17. 根據權利要求16所述的編碼器，其中配置基本編碼裝置和確 定裝置，從而必須執行逆譜分解，以提取殘差信息。
18. 根據權利要求16和17之一所述的編碼器，其中配置基本編 碼裝置和確定裝置，從而必須依據指示信息來應用運動信息和重建預 定部分。
19. 根據權利要求13到18之一所述的編碼器，其中配置構建裝 置(114a， b)，從而指示信息指示了預定圖像中另一預定部分的逐幀/ 逐場處理中不存在改變，並配置構建裝置和確定裝置，從而精度可縮 放編碼數據流包括指示是否要細化關於另一預定部分的第一精度編碼 數據的細化改變信息(260)，更高精度信息附加地表示另一細化信息， 所述另一細化信息能夠細化關於另一預定部分的第一精度編碼數據， 以獲得以第二精度將預定部分編碼到其中的另一第二精度編碼數據。
20. 根據權利要求13到19之一所述的編碼器，其中配置構建裝 置(114a， b)，從而指示信息指示了預定圖像中另一預定部分的逐幀/ 逐場處理中不存在改變，並配置構建裝置和確定裝置，從而精度可縮 放編碼數據流包括更高精度信息中的從屬信息(260)，所述從屬信息(260)指示更高精度信息是否包括另一第二精度編碼數據，並指示另 一第二精度編碼數據是要替換關於預定部分的第一精度編碼數據、還 是另一第二精度編碼數據專用於細化關於另一預定部分的第一精度編 碼數據以獲得第二精度編碼數據，其中所述另一第二精度編碼數據包 括另一預定部分的運動信息和/或殘差信息。
21. —種編碼預定圖像的精度可縮放比特流，包括 精度編碼數據(120a， b),通過以逐幀和逐場中的第一模式處理預定圖像的預定部分(202a， b)，以第一精度編碼預定圖像；更高精度信息(122a， b)，表示第二精度編碼數據，其中，通過以逐幀和逐場模式中的另一模式處理預定部分，以高於第一精度的第二精度編碼預定部分，或細化信息能夠細化第一精度編碼數據，以獲得第二精度編碼數據；以及指示信息(256)，用於指示第一精度編碼數據與第二精度編碼數據之間的逐場/逐幀處理中是否存在改變。
22. —種對將預定圖像(200)編碼的精度可縮放編碼數據流(126)進行解碼的方法，所述精度可縮放編碼數據流(126)包括第一精度 編碼數據(120a， b)，其中通過以逐幀和逐場中的第一模式處理預定 圖像的預定部分(202a, b)，以第一精度編碼預定圖像編碼；更高精 度信息(122a， b)，表示第二精度編碼數據，其中通過以逐幀和逐場中的第二模式，以高於第一精度的第二精度編碼預定部分(202a， b)， 或細化信息能夠細化第一精度編碼數據，以獲得第二精度編碼數據； 以及指示信息(256)，用於指示第一精度編碼數據與第二精度編碼數 據之間的逐場/逐幀處理中是否存在改變，所述方法包括如下步驟檢查(810)指示信息是否指示了第一精度編碼數據與第二精度編 碼數據之間預定部分的逐場/逐幀處理中的改變；如果指示信息指示了逐場/逐幀處理改變(810-816)，則忽略關於 預定部分的第一精度編碼數據中至少一部分，並將第二精度編碼數據 設置為用於解碼的數據，或者基於更高精度信息，細化第一精度編碼 數據，以獲得第二精度編碼數據，並將獲得的第二精度編碼數據設置 為用於解碼的數據；以及通過以所述逐幀或逐場模式處理預定圖像的預定部分，對所設置 的用於解碼的數據進行解碼(804)，從而以第二精度重建預定圖像。
23. —種對預定圖像進行編碼的方法，包括如下步驟通過以逐幀和逐場模式之一處理預定圖像的預定部分(202a， b)， 以第一精度對預定圖像進行編碼，以獲得第一精度編碼數據(120a，b);通過以逐幀和逐場模式中的另一模式處理預定部分，確定更高精 度信息(122a， b)，所述更高精度信息(122a， b)表示第二精度編碼 數據，其中通過以逐幀和逐場模式中的另一模式處理預定部分，以高 於第一精度的第二精度編碼預定部分，或細化信息能夠細化第一精度 編碼數據，以獲得第二精度編碼數據；以及構建編碼預定圖像的編碼的精度可縮放編碼數據流(126)，以包 括第一精度編碼數據(120a， b)、更高精度信息(122a， b)和指示信 息(256)，所述指示信息(256)指示第一精度編碼數據與第二精度編 碼數據之間的逐場/逐幀處理中的改變。
全文摘要
通過使編碼器有機會改變對第一精度編碼數據和第二精度編碼數據之間的各個圖像部分的逐場/幀處理，來提高編碼效率，其中第二精度比第一精度高。
文檔編號H04N7/50GK101189883SQ200680008132
公開日2008年5月28日 申請日期2006年3月22日 優先權日2006年3月22日
發明者託比亞斯·欣茨, 託馬斯·維德, 海科·施瓦茨 申請人:弗勞恩霍夫應用研究促進協會