層間運動預測方法

2023-10-08 13:41:34 1

專利名稱：層間運動預測方法
技術領域：
本發明涉及用於從與低解析度圖像序列的像素塊相關聯的運動 數據中，產生用於高解析度圖像序列的像素塊的至少一個運動預測值 的方法。
背景技術：
現有的可縮放分級編碼方法允許對信息進行分級編碼，以便於其 能夠以不同的解析度和/或質量等級而解碼。因此，可縮放編碼設備產 生的數據流被分為多個層，基礎層和一個或更多個增強層。這些設備 允許唯一的數據流適用於可變的傳送條件(帶寬、誤碼率......)和接
收設備的能力(CPU、再現設備特性......)。空間可縮放分級編碼(或
解碼)方法對數據的稱為基礎層的第一部分進行編碼(或解碼)，基礎
層與低解析度圖像，也稱為基礎層圖像(BL圖像)相關；根據這個
基礎層對至少另一個稱為增強層的數據部分進行編碼(或解碼)，增強
層與高解析度的圖像，也稱為增強層圖像(EL圖像)相關。與增強層 相關的編碼信息或編碼數據可以通過稱為層間預測或層間繼承的方法 從與基礎層相關的編碼信息中繼承(即導出)。因此，高解析度圖像的 每個宏塊根據經典預測模式(例如，雙向預測模式、直接預測模式、 前向/後向預測......)進行時間預測，或根據層間預測模式進行預測。
在前者中，與高解析度宏塊相關聯的運動信息/數據(例如，與高分辨 率圖像的像素宏塊/塊相關聯的分區模式(用於將所述宏塊/塊分離為 多個子塊)、與所述塊相關聯的編碼模式、可能的運動矢量和與某些塊 相關聯的允許參考用於預測所述塊的圖像的一個或更多個圖像參考索 引)必須被從與低解析度圖像的宏塊相關聯的運動數據中導出或繼承， 不論低或高解析度圖像的格式是例如逐行的還是隔行的。

發明內容
本發明涉及一種作為視頻編碼或解碼處理過程的一部分的方法， 所述方法用於從與低解析度圖像的宏塊相關聯的運動數據中產生用於 至少一個高解析度圖像的宏塊的至少一個運動預測值，所述低解析度 圖像的宏塊被稱為低解析度宏塊，所述高解析度圖像的宏塊被稱為高 解析度宏塊。所述方法包括以下步驟
-定義由非交疊宏塊組成的虛擬結構，稱為虛擬基礎層宏塊，所述 虛擬結構具有與所述低解析度圖像相同的尺寸；
-基於所述高解析度宏塊在所述高解析度圖像中的位置，以及基於 低解析度和高解析度圖像尺寸的比例，在所述虛擬圖像中識別用於所 述高解析度宏塊的相應的虛擬基礎層宏塊；
-基於相應的低解析度宏塊對的場/幀模式，以及基於所述高分辨 率宏塊的幀/場模式，從與所述相應的低解析度宏塊對的至少一個宏塊 相關聯的運動數據中導出用於每個識別的虛擬基礎層宏塊的運動數 據；
-對與所述相應的虛擬基礎層宏塊相關聯的運動數據進行重採樣， 以產生所述至少一個運動預測值。
若高解析度宏塊具有幀模式，且若相應的低解析度宏塊對具有場 模式，則導出步驟包括以下步驟
-以比例2對由頂宏塊和底宏塊組成的所述低解析度宏塊對進行 垂直上採樣，每個上採樣後的宏塊由上部分和下部分組成；以及
-將上採樣後的頂宏塊的上部分的運動數據和上採樣後的底宏塊 的上部分的運動數據進行合併，並將上採樣後的頂宏塊的下部分的運 動數據和上採樣後的底宏塊的下部分的運動數據進行合併。
若高解析度宏塊具有場模式，且若所述相應的低解析度宏塊對具
有幀模式，則導出步驟包括如下步驟以比例2對與所述相應的低分
辨率宏塊對相關聯的運動數據進行垂直下採樣。
本發明還涉及一種設備，用於對由宏塊組成的高解析度圖像的序 列以及低解析度圖像的序列進行編碼，所述組成高解析度圖像的宏塊 被稱為高解析度宏塊，所述低解析度圖像被稱為低解析度宏塊。所述
設備包括
-第一編碼裝置，用於編碼所述低解析度圖像，所述第一編碼裝置 產生用於所述低解析度圖像的宏塊的運動數據和基礎層數據流；
-繼承裝置，用於從被稱為低解析度宏塊的低解析度圖像的宏塊的 運動數據中導出用於被稱為高解析度宏塊的至少一個高解析度圖像的 宏塊的運動數據；以及
-第二編碼裝置，用於使用所述導出的運動數據對所述高解析度圖 像進行編碼，所述第二編碼裝置產生增強層數據流。
所述繼承裝置包括
-用於定義由非交疊宏塊組成的虛擬結構的裝置，所述非交疊宏塊 被稱為虛擬基礎層宏塊，所述虛擬結構具有與所述低解析度圖像相同 的尺寸；
-用於基於所述高解析度宏塊在所述高解析度圖像中的位置，以及 基於低解析度和高解析度圖像尺寸的比例，在所述虛擬圖像中識別用
於所述高解析度宏塊的相應的虛擬基礎層宏塊的裝置；
-用於基於相應的低解析度宏塊對的場/幀模式，以及基於所述高 解析度宏塊的幀/場模式，從與所述相應的低解析度宏塊對的至少一個 宏塊相關聯的運動數據中導出用於每個識別的虛擬基礎層宏塊的運動
數據的裝置；以及
-用於對與所述相應的虛擬基礎層宏塊相關聯的運動數據進行重 採樣，以產生所述至少一個運動預測值的裝置。
根據具體實施例，第一編碼裝置是MPEG-4AVC視頻編碼器。
本發明還涉及一種解碼設備，用於至少對編碼的高解析度圖像序 列進行解碼，所述編碼的圖像以數據流的形式出現，每個圖像被分為 非交疊的宏塊。所述設備包括
-第一解碼裝置，用於至少對所述數據流的第一部分進行解碼，以 產生低解析度圖像和用於所述低解析度圖像的宏塊的運動數據；
-繼承裝置，用於從低解析度圖像的宏塊的運動數據中導出用於至
少一個高解析度圖像的宏塊的運動數據；以及
-第二解碼裝置，用於使用所述導出的運動數據至少對所述數據流
的第二部分進行解碼，以產生高解析度圖像。 所述繼承裝置包括
-用於定義由非交疊宏塊組成的虛擬結構的裝置，所述非交疊宏塊 被稱為虛擬基礎層宏塊，所述虛擬結構具有與所述低解析度圖像相同 的尺寸；
-用於基於所述高解析度宏塊在所述高解析度圖像中的位置，以及 基於低解析度和高解析度圖像尺寸的比例，在所述虛擬圖像中識別用 於所述高解析度宏塊的相應的虛擬基礎層宏塊的裝置；
-用於基於相應的低解析度宏塊對的場/幀模式，以及基於所述高 解析度宏塊的幀/場模式，從與所述相應的低解析度宏塊對的至少一個 宏塊相關聯的運動數據中導出用於每個識別的虛擬基礎層宏塊的運動 數據的裝置；以及
-用於對與所述相應的虛擬基礎層宏塊相關聯的運動數據進行重 採樣，以產生所述至少一個運動預測值的裝置。
根據具體實施例，第一解碼裝置是MPEG-4 AVC視頻解碼器。


通過以下一些實施例的描述，本發明的其他特徵和優點是顯而易 見的，以下的描述結合附圖進行，其中-
-圖1描述了一對垂直放置的宏塊，以幀模式(圖的左側部分)或 場模式(圖的右側部分)進行編碼；
-圖2描述了根據本發明的方法的流程-圖3示出了從基礎層TOP和BOTTOM宏塊的隔行對中產生虛擬 基礎層TOP和BOTTOM場宏塊的處理過程；
-圖4示出了 UP和DOWN逐行宏塊垂直下採樣的處理過程；
-圖5示出了 TOP和BOTTOM宏塊合併的處理過程；
-圖6示出了隔行宏塊對合併的處理過程；
-圖7示出了逐行81^宏塊(垂直)下釆樣的處理過程；
-圖8描述了 BL逐行宏塊清除過程的框-圖9示出了 4x4和8x4子分區合併的處理過程；
_圖IO描述了下採樣宏塊導出處理過程的框-圖11示出了不同的垂直下採樣的情況；
-圖12示出了隔行BLTOP和BOTTOM宏塊合併的處理過程； -圖13示出了在場圖像中的TOP和BOTTOM宏塊； -圖14示出了在幀圖像(MBAFF)中的TOP和BOTTOM宏塊; -圖15示出了隔行TOP和BOTTOM宏塊合併過程的兩個步驟； -圖16描述了上採樣宏塊內容合併處理過程的框圖； -圖17描述了虛擬基礎層結構；
-圖18描述了根據本發明的給定的ELMB的層間預測處理過程;
-圖19描述了根據本發明的編碼設備；以及
-圖20描述了根據本發明的解碼設備。
具體實施例方式
當前由JVT (MPEG & ITU)在ISO/IEC MPEG & ITU-T VCEG中題 為《 Scalable Video Coding — Joint Draft 4 的文檔JVT-Q202中定義的 SVC標準(以下稱為JSVM4)中，只考慮了針對逐行素材的空間可縮 放性。在兩個(或更多)連續空間層(基礎層和增強層)之間的運動 層間預測只處理了逐行視頻序列的情況。本發明提出擴展層間預測處 理過程，以支持隔行/逐行可縮放性的任意組合。
根據許多視頻編碼標準，隔行圖像包括與在不同時刻捕捉的底場 進行隔行交織的頂場，隔行圖像可以用兩個場圖像(場圖像模式)進 行編碼，即對圖像的兩個場分別編碼，或用幀圖像(幀圖像模式)進 行編碼，即圖像可以被編碼為單個幀。在題為《 Text of 14496-2 Third Edition》的文檔ISO/IEC JTC 1/SC 29/WG 11 N5546中描述的MPEG畫4 AVC允許獨立地對整個圖像或獨立地對每兩個垂直宏塊對做出決定。 當決定在圖像級做出時，稱為PAFF編碼(PAFF代表Image Adaptative Frame/Field (圖像自適應幀/場))，當決定在宏塊對級做出時，稱為 MBAFF (代表Macroblock Adaptative Frame/Field(宏塊自適應幀/場))。 更準確地，根據MPEG-4 AVC，當隔行圖像被編碼為幀圖像且允許 MBAFF時，每一對垂直宏塊MB可以隔行，即場模式(圖1的右側部分)，
或逐行，即幀模式(圖l的左側部分)進行編碼。在圖1中，灰色線表 示圖像的偶數線，與奇數線，即圖像的白色線隔行交織。當垂直宏塊
對處於場模式時，對中的每個MB被稱為場宏塊。當垂直宏塊對處於 幀模式時，對中的每個MB被稱為幀宏塊。
根據本發明的方法允許從與低解析度圖像的一些宏塊(也稱為基 礎層宏塊，標記為BLMB)相關聯的運動數據中，產生用於高解析度 圖像的宏塊(也稱為增強層宏塊，標記為ELMB)的至少一個層間運 動預測值，不論高和低解析度序列的格式如何(隔行或逐行)。與高分 辨率圖像的宏塊相關聯的層間運動預測值，更簡單地稱為運動預測值， 是運動數據(例如分區/子分區類型、可能存在的允許識別參考圖像的 參考索引、運動矢量......)與之相關聯的宏塊。根據MPEG-4 AVC，
對圖像序列中的每個圖像，參考索引從兩個參考列表(列表0以及列表
1)中選擇，定義如下
-每個參考索引與給定的參考圖像編號相關聯；
-對每個列表， 一些參考索引被標記為無效；以及
-每個SxS塊，即8乘以8像素大小的塊，可以用於每個列表作為單
個參考索引。
無效的參考索引對應於在解碼處理過程中還不可用(未解碼)的 參考場或幀。
使用如JSVM4文檔中描述的ESS (代表Extended Spatial Scalability
(擴展空間可縮放性))方法之類的運動下採樣方法產生運動預測值。 若所考慮的高解析度圖像是隔行的，則兩個層間預測模式可潛在地用 於編碼或解碼每個EL宏塊
1. 層間隔行(IL—I)模式對應於TOP或BOTTOM場數據的宏塊，
即場宏塊；
2. 層間逐行(IL—P)模式對應於FRAME數據的宏塊，即幀宏塊。
本發明提出了用於產生這樣的層間宏塊預測值的方法。為了這個 目的，本發明在於，在步驟190根據BLMB定義"虛擬基礎層"(VBL) 宏塊，而不是深入修改JSVM4中描述的方法。"虛擬基礎層"(VBL)
宏塊是運動數據與之相關聯的結構。由於多數與隔行相關的問題在
VBL數據導出過程中報告，使用VBL結構避免或至少明顯限制了 JSVM4上採樣處理過程的修改。事實上，"虛擬基礎層"(VBL)宏塊 確保了BL和EL宏塊之間的兼容性，有利於JSVM4中定義的層間預測 直接再用於逐行圖像。BL宏塊首先被轉換為全部具有與EL宏塊場/幀 模式兼容的場/幀模式的VBL宏塊，而不是直接對BL宏塊實施重採樣 處理過程。實際中，這種方法要求使用以下結構VBL幀(具有與BL 圖像相同的尺寸)、形成與BL圖像相同尺寸的VBL場的VBL TOP場和 VBLBOTTOM場(具有與BL圖像相同的寬度，和BL圖像一半的高度)， 如圖17所示。每個VBL結構被分為運動數據與其相關聯的稱為VBL幀 MB、 VBLTOP場MB和VBLBOTTOM場MB的宏塊。接著，使用VBL MB替代原始BLMB，應用JSVM4中描述的經典ESS下採樣方法，用於 從BL MB中導出用於高解析度圖像MB的運動信息。層間運動預測方 法可以是用於編碼圖像序列的處理過程的部分和用於解碼圖像序列的 處理過程的部分。在編碼處理過程中，計算所有潛在的層間運動預測 值。接著，編碼處理過程使用層間預測模式或經典預測模式選擇編碼 當前的ELMB。若編碼處理過程選擇了層間預測模式，則解碼處理過 程只計算相應的層間預測值。參照圖2，用於當前ELMB (其層間模式 IL—mode是IL—P，即幀模式，或ILJ，即場模式)的層間運動預測處理
過程實現以下步驟
-識另1」200相應的￥81^宏塊{(:0，(;1,..工>^};
-對每個相應的位於(xi， yi)的VBL宏塊ci， i-0…N，根據層間 預測模式，從與BL宏塊相關聯的運動數據中導出210相關聯的運動數 據；以及
-使用JSVM4中描述的ESS處理過程，從各個VBL MB導出220層間
運動預測值，其中在垂直方向比例等於heWhbase，在水平方向比例等於 Wenh/Wbase，其中henh和Wenh是HL由片的高度和寬度，h旨和Wb靴是BL圖
片的高度和寬度。
在解碼側，層間模式IL—mode從比特流中導出。在編碼側，該模
式通過編碼模式決定方法導出。該方法例如基於後驗準則，即它選擇
使失真和編碼成本的線性組合最小化的模式。
圖18作為示例，示出在低解析度圖像為隔行並在MBAFF模式下編 碼為幀圖像，以及在高解析度圖像為隔行並在MBAFF模式下編碼為幀 圖像的情況下，層間運動預測處理過程。給定EL宏塊(填以黑色，本 示例中視為幀宏塊)，首先識別'其對應的VBL宏塊。相應的BL宏塊可 以具有與EL宏塊不同的幀/場模式。例如，在圖18中，右側的BL宏塊 對由兩個場宏塊組成，而EL宏塊處於幀模式。在這種情況下，轉換與 BL宏塊相關聯的運動數據。因此，被轉換的運動信息與具有和EL宏塊 相同的場/幀模式的VBL宏塊相關聯。最終，使用JSVM4中描述的'標 準'逐行重採樣處理過程，從VBL宏塊向EL宏塊進行層間預測。
以下情況需要幀-場宏塊轉換。
情況l， BL和EL幀使用MBAFF模式編碼，ELMB是場編碼而相應 的BLMB是幀編碼。這需要幀至場的轉換。
情況2. ELMB是幀編碼，BL是幀圖像且相應的BLMB是場編碼。
在這種情況下，需要場至幀的轉換。
情況3.BL圖像是逐行幀；ELMB是在幀圖像中場編碼或屬於場圖 像；而EL場高度/V2低於BL幀高度/^。在這種情況下，需要幀至場的 轉換。
步驟200在於識別相應的VBL宏塊(cO，cl，…cN)。若ELMB模式是 IL_P，即使用VBL幀MB，則相應的VBLMB將使用以下處理過程來確 定
XS = [ X * Wbase/Wenh] / 16
ys = [y * hbase/henh]/ 16
xe = [ (x+15) * wbase / wenh ] / 16
ye = [(y+15)*hbase/henh]/16 其中(x， y)是所考慮的EL MB的左上採樣位置，(wbase， hbase)是基礎
圖像尺寸，(Wenh,henh)是增強圖像尺寸。相應的VBL宏塊(cO,cl,…cN〉
位於由左上位置(xs， ys)和右下位置(xe， ye)所界定的窗口之內。
若EL MB模式是IL—I，即使用VBL TOP或BOTTOM場MB，則相 應的VBL MB將使用以下處理過程來確定
XS = [ (X-X0) * Wbase / Wenh ] / 16
ys = [(y-y0"(hbase/2)/henh]/i6
Xe = [ (X+15-X0) * Wbase / Wenh ] / 16
ye = [ (y+15-y0) * (hbase/2) / henh〗/16
相應的VBL宏塊(cO，cl,...cN)位於由左上位置(xs，ys)和右下位置(xe， ye)所界定的窗口之內。
步驟210在於產生產生VBLMB，更具體地，在於導出與VBLMB 相關聯的運動數據。根據BL圖像編碼模式，VBLTOPMB的產生如下
-若BL圖像被編碼為幀圖像，則若位於(xi，2,i)的BL MB是逐行 的，VBLTOPMB (^是包括位於(^,2*^+1)的8!^1^8和位於^1,2*^)的 BL MB的MB對的垂直下採樣版本。隨後定義新的下採樣處理過程， 用於導出如圖3所示的逐行宏塊對的垂直下採樣宏塊版本，否則，若位 於(xi^yi)的BLMB是隔行的，與VBLTOPMB ci相關聯的運動數據是 與位於(xi"yi)的TOPBLMB相關聯的運動數據的拷貝。
-若BL圖像被編碼為場圖像，與VBLTOPMBci相關聯的運動數據 是與位於(xi, yi)的TOPBLMB相關聯的運動數據的拷貝。
根據BL圖像編碼模式，VBL BOTTOM MB的產生如下
-若BL圖像被編碼為幀圖像，則若位於(",2*力+1)的81^]\48是逐行 的，VBL BOTTOM MB (^是包括位於(^，2*力+1)的81^ MB和位於 (xi^yi)的BL MB的MB對的垂直下採樣版本。使用如圖4所示的新的 下採樣處理過程產生，否則，若位於(^,2*^+1)的81^ MB是隔行的， 與VBL BOTTOM MB ci相關聯的運動數據是與位於(xi，2fyi+l)的 BOTTOM BL MB相關聯的運動數據的拷貝。
-若BL圖像被編碼為場圖像，與VBL BOTTOM MB ci相關聯的運 動數據是與位於(xi, yi)的BOTTOM BL MB相關聯的運動數據的拷貝。
根據BL圖像編碼模式，VBL幀MB的產生如下
-若BL圖像被編碼為幀圖像，如圖5所示，若位於(xi，yi)的BLMB 是逐行的，則與VBL幀MB ci相關聯的運動數據是與位於(xi， yi)的BL MB相關聯的運動數據的直接拷貝，否則，若位於(xi，yi)的BLMB是隔 行的，VBL幀MB ci是包括位於(xi， yi)的BL MB和位於 (xi，yi+l-2^yi。/。2))的BLMB的MB對的合併版本。隨後定義新的合併處 理過程，其允許把2個宏塊合併為逐行宏塊。
在這種情況下，MB對中的VBL幀MB UP和DOWN是相同的，因 為它們是從相同的TOP和B OTTOM B L MB中產生的。
-若BL圖像被編碼為場圖像，如圖6所示，VBL幀MB d是位於(xi, yi/2)的BL TOP場MB和位於(xi, yi/2)的BL BOTTOM場MB的合併版 本。這個VBL幀MB使用新的合併處理過程而產生。
用於導出逐行宏塊對的垂直下採樣宏塊版本的新的下採樣處理 過程應用於位於(mbX, 2+mbY)和(mbX, 2^^mbY+l)的、以逐行格式編碼 的BL宏塊對(UP和DOWN)。其在於比例為2的垂直下採樣(圖7中描 述了一個示例)。該處理過程輸出位於(mbX，mbY)的下採樣宏塊。
如圖7所示，兩個BLUP和D0WN宏塊中的每一個在垂直下採樣後 產生16x8分區。因此，基本上，垂直下採樣宏塊被分為兩個16x8分區。 垂直下採樣處理過程可產生MPEG-4AVC標準所禁止的配置，如
-8x8子分區內不同的參考索引(例如，若一個BL宏塊被分為4個 8x8塊且兩個相鄰的上和下8x8塊具有不同的參考索引，則它一旦被下 採樣，將產生被分為兩個具有不同參考索引的8x4塊的8x8塊)；或
-高為2個像素的子分區(例如，若輸入的8x8塊被子分區為8x4， 則它一旦被下採樣，將產生8x2大小的子分區)。
因此，首先對BL UP和DOWN MB應用清除處理過程，以避免這 樣的配置。首先清除逐行BL宏塊對的每一個宏塊，以避免具有無效運 動矢量的分區。圖8所示的用於一個標記為MBBL的BL宏塊的處理過程 連續地應用於該宏塊對的UP和DOWNMB。它基本實現了以下三個步
驟
-移除800無效分區；
-參考索引均化(homogenization) 810;以及
-合併820 4x4和4x8子分區。
步驟800在於移除無效分區，即使用無效參考索引的分區，對應 於在解碼處理過程中還不可用的參考場和幀的分區。 若MBbl的模式不是INTRA，則執行以下處理過程 對每個列表(0和1)執行以下處理過程
-首先，把具有無效參考索引的分區歸類為INVALID，並把其他分 區歸類為VALID。
-接著，若至少一個分區是VALID，則對於每個被歸類為INVALD 的分區，執行無效分區的移除。例如，把未歸類為INVALD的宏塊的 相鄰分區的子分區、運動矢量和參考索引拷貝給INVALD分區。相鄰 分區可以按以下順序掃描水平、垂直、對角。接著把該分區歸類為 VALID 。
若對於兩個列表，所有的分區都為INVALD，則把MBbl的模式投 為INVALD。
若MBbl的模式是INTRA，則不做任何處理。 步驟810在於對mbbl的分區內的參考索引進行均化。它只在mbbl
的模式未被設為INVALD時實施。
-若BL宏塊分區等於16x8或8x8，對宏塊的每個上分區實施以下處
理過程
-若至少對於一個列表(0或1)，宏塊的下分區具有與其上分區不
同的參考索引，則對每個列表(0和1)實施以下處理過程
-識別使用最小參考索引W的上或下分區(標記為refPart)。 -另一分區被強制具有與refPart相同的參考索引A子分區(若
適用)和運動矢量。
可能地，在步驟815，實施分區合併處理過程。若分區沒有被子分
區，且若對於每個列表其參考索引和運動矢量是相同的，則把分區合
並為單個分區。宏塊模式修改如下 -16x8和8xl6轉化為16xl6。
-8x8按以下轉化
-若左8x8塊被合併在一起且右8x8塊被合併在一起，則轉化
為8xl6;
-若上8x8塊被合併在一起且下8X8塊被合併在一起，則轉化 為16x8;
-若4個8x8塊被合併在一起，則轉化為16x16。 步驟815是可選的。
步驟820在於合併4x4和8x4子分區。它只在MBBL的模式未被設為 INVALD時實施。若MB肌的模式不為INVALD也不為INTRA且宏塊分 區等於8x8，則對宏塊中具有等於8x4或4x4的子分區的每個8x8分區實 施子分區合併。8x4子分區合併為8x8子分區，4"子分區合併為4^8子 分區，如圖9所示。對每個合併區域，對每個列表(0和1),合併區域 運動矢量被設為兩個待合併的部分的平均運動矢量。
在清除處理過程之後，產生名為MBD的下採樣宏塊。它具有兩個 相應的BL清除宏塊，BMbUp和BMbDown。圖10描述了被實施用於產 生下採樣宏塊MBD的處理過程的流程圖。
若BMbUp和BmbDown為INTRA,則MBD的模式被設為INTRA。
否則，若BMbUp和BMbDown是INTRA或INVALID (這裡考慮三 種情況，BMbUp是INTRA, BMbDown是INVALID ;或BMbUp是 INVALID, BMbDown是INTRA;或兩個宏塊BMbUp和BMbDown都是 INVALID), MBo的模式被設為INVALID。
否則，實施以下處理過程
在步驟IOOO， MBD被分為兩個I6x8部分(以下標記為16x8PartUp 和16x8PartDown )。每個16x8部分具有一個相應的BL幀宏塊 (16x8PartUp對應於BMbUp， 16x8PartDown對應於BMbDown)。
在步驟1200，使用以下處理過程(如圖ll所示)建立每個16x8部 分16x8PartZ (Z由Up或Down替代)
-若BMbZ是INVALID或INTRA ，把16 x 8PartZ歸類為NEUTRAL 。
-否則，若BMbZ分區是16x16，則16x8PartZ分區是16x8 (圖lla)。 對於每個列表，16x8PartZ的參考索引是BMbZ的參考索引。
-否則，16x8PartZ分區是8x8。 16x8PartZ的兩個8x8塊接著被子分 區如下
-若BMbZ分區是16x8，對兩個塊，則針對兩個塊的子分區 是8x4 (圖llb)。
-否則，若BMbZ分區是8x16，則對兩個塊的子分區是8xg(圖
llc)。
-否則，若BMbZ分區是8x8，用左和右替代W，實施以下處 理過程(圖lld中的示例)
-若至少一個WBMbZ8x8塊被分為4x8，則W8xg塊子 分區是4x4。
-否則，W8x8塊子分區是8x4。 -每個導出的16x8PartZ的分區/子分區，繼承其參考索引和運動矢 量如下
-識別所考慮的分區/子分區的左上塊坐標(b4X，b4Y)。 -把坐標為(b4X,b4Y/2)的BMbZ的4x4塊的參考索引和運動 矢量拷貝給所考慮的分區/子分區。
步驟1200在於若存在NEUTRAL分區則將其移除。若兩個16x8部 分中的一個被歸類為NEUTRAL，其內容(分區/子分區、參考索引和 運動矢量)從另一16x8部分的內容拷貝得到。
步驟1300在於導出MBD分區如下
-若16x8PartUp和16x8PartDown分區是16x8，則MBo分區是16x8。 -否則，MBD分區被設為8x8。
可能地，在步驟1400，實施步驟815的分區合併處理過程。步驟1400 是可選的。
對兩個以隔行格式編碼的BL宏塊實施用於將TOP宏塊(即來自BL TOP場)和BOTTOM宏塊(即來自BL BOTTOM場)合併為逐行宏塊 對(UP和DOWN)的新的合併處理過程。所考慮的第一個宏塊是TOP 宏塊BMbTop。第二個宏塊是BOTTOM宏塊BMbBot。如圖12所示，該 處理過程的輸出是一對逐行宏塊UP和DOWN。BMbTop和BMbBot定義
如下
-若BL圖像被編碼為場圖像，BMbTop是位於(mbX, mbY)的BL TOP場宏塊，BMbBot是位於(mbX， mbY)的BL BOTTOM場宏塊，
如圖13所示；
-否則(BL圖像被編碼為幀圖像)，BMbTop和BMbBot是位於(mbX， 2+mbY)和(mbX， 2^bY+l)的BL幀宏塊——這隻適用於BL幀宏塊對 以隔行模式編碼的情況，如圖14所示。
參照圖15，該處理過程包括以下兩個步驟
匿步驟1500，用於以比例2垂直上採樣BMbTop和BMbBot，該步驟 產生兩個上採樣TOP宏塊，即MbTopUp和MbTopDown，和兩個上採樣 BOTTOM宏塊，即MbBottomUp和MbBottomDown 。
-步驟1510，用於將上採樣宏塊MbTopUp和MbBottomUp合併為一 個宏塊MbUp ，將上採樣宏塊MbTopDown和MbBottomDown合併為一 個宏塊MbDown。
步驟1500在於在垂直方向上以比例2進行宏塊上採樣。該步驟在於 在水平方向上以比例1和在垂直方向上以比例2直接應用JSVM4 (Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG JVT-Q202, "Scalable Video Coding — Joint Draft 4"， J.Reichel， H.Schwarz， M.Wien) 中所定義的ESS上採樣處理過程。
步驟1510應用於兩個宏塊Mblnl和Mbln2並產生一個合併的宏塊 MbOut。參照圖15，若宏塊Mblnl和Mbln2分別與MbTopUp和MbBotUp 相關，則MbOut與MbUp相關，若宏塊Mblnl和Mbln2分別與 MbTopDown和MbBotDown相關，則MbOut與MbDown相關。
根據第一實施例，MbInl所關聯的運動數據與MbOut相關聯。
-若MbOut不是INTRA，通過先前所述的無效分區移除處理過程移 除無效分區；
-若MbOut被歸類為INVALID， Mbln2所關聯的運動數據與MbOut
相關聯。然後，應用以下處理過程-.
-若MbOut不是INTRA，通過先前所述的無效分區移除處理
過程移除無效分區； 根據優選實施例，參照圖16，步驟1510在於實施以下子步驟 在子步驟1600， Mblnl所關聯的運動數據與MbOut相關聯。 接著，若MbOut不是INTRA，實施以下處理過程
-對每個列表(0和1)實施以下處理過程
-在子步驟1610，把具有無效參考索引的分區歸類為 INVALID,並把其他分區歸類為VALID。 INVALID分區處理如下 -在子步驟1620， MbOut分區被強制為8x8。 INVAUD分 區被分為8x8分區。MbOut模式被強制為8x8。對每個 8x8分區，實施以下處理過程
-在子步驟1630,若Mbln2中相應的8x8塊使用有效 參考索引，該Mbln2 8x8塊的子分區(若存在)、參考索 引和運動矢量被拷貝到所考慮的MbOut 8x8分區。這個 分區被歸類為VALID。否則，MbOut 8x8分區被歸類為 INVALID 0
-若至少一個MbOut 8x8分區是VALID，則在子步驟 1640，對每個被歸類為INVALID的分區，實現無效分區的移 除。例如，把未被歸類為INVALID的宏塊的相鄰分區的子分 區、運動矢量和參考索引拷貝給INVALID分區。相鄰分區可 以按以下順序掃描水平、垂直、對角。接著把該分區歸類 為VALID 。
若對於兩個列表，所有的分區都是INVALID，則把模式設為 INVALID 。
在子步驟1650，可通過實施步驟815的分區合併處理過程來合併 MbOut分區。子步驟1650是可選的。
在圖2、 8、 10和16中，所表現的框是純功能實體，不必對應於物 理分離實體。即它們可以用軟體的形式開發，或在一個或多個集成電 路中實現。
用於產生層間運動預測值的方法可以用於編碼視頻信號的處理過 程和JSVM4中描述的編碼視頻信號的處理過程。
本發明還涉及圖19所示的編碼設備8。編碼設備8包括用於編碼低 解析度圖像的第一編碼模塊80。模塊80產生用於所述低解析度圖像的 基礎層數據流和運動數據。優選地，模塊80適於產生與MPEG4 AVC 標準兼容的基礎層數據流。編碼設備8包括繼承裝置82，用於從第一編 碼模塊80產生的低解析度圖像的運動數據中導出高解析度圖像的運動 數據。繼承裝置82適於執行根據本發明的方法的步驟200至220。編碼 設備8包括用於編碼高解析度圖像的第二編碼模塊81。第二編碼模塊81 使用繼承裝置82導出的運動數據以編碼高解析度圖像。這樣，第二編 碼模塊81產生增強層數據流。優選地，編碼設備8還包括模塊83 (例如 復用器)，用於將第一編碼模塊80和第二編碼模塊81分別提供的基礎層 數據流和增強層數據流進行合併，以產生單個數據流。因此，若ELMB 由第二編碼模塊81使用層間預測模式進行編碼，由於與所述ELMB相 關的運動數據是從與模塊80提供的BLMB相關的運動數據中導出的， 因此與所述ELMB相關的運動數據不被編碼到數據流中(或只是部分 編碼，由於可能編碼四分之一像素運動細化)。這可以節省一些比特。 另一方面，若使用經典模式(例如雙向模式)編碼ELMB，則與所述 EL MB相關的運動數據被編碼到數據流中。
本發明還涉及圖20所示的解碼設備9，用於從例如編碼設備8產生 的數據流解碼高解析度圖像。解碼設備9包括第一解碼模塊91，用於解 碼數據流的第一部分，稱為基礎層數據流，以便導出低解析度圖像和 用於所述低解析度圖像的運動數據。優選地，模塊91適於解碼與 MPEG4 AVC標準兼容的數據流。解碼設備9包括繼承裝置82，用於從 第一解碼模塊91產生的低解析度圖像的運動數據導出高解析度圖像的 運動數據。繼承裝置82適於執行根據本發明的方法的步驟200至220。 解碼設備9包括第二解碼模塊92，用於解碼數據流的第二部分，稱為增 強層數據流。第二解碼模塊92使用繼承裝置82導出的運動數據以解碼 數據流的第二部分。這樣，第二解碼模塊92產生高解析度圖像。有利 地，解碼設備9還包括提取模塊90 (例如解復用器)，用於從所接收的 數據流中提取基礎層數據流和增強層數據流。
根據另一實施例，解碼設備接收兩個數據流基礎層數據流和增 強層數據流。在這種情況下，設備9不包括提取模塊90。
權利要求
1.一種作為可縮放視頻編碼或解碼處理過程的一部分的方法，所述方法用於從與低解析度圖像的宏塊相關聯的運動數據中產生用於至少一個高解析度圖像的宏塊的至少一個運動預測值，所述低解析度圖像的宏塊被稱為低解析度宏塊，所述高解析度圖像的宏塊被稱為高解析度宏塊，所述方法的特徵在於包括以下步驟-定義(190)由非交疊宏塊組成的虛擬結構，稱為虛擬基礎層宏塊，所述虛擬結構具有與所述低解析度圖像相同的尺寸；-基於所述高解析度宏塊在所述高解析度圖像中的位置，以及基於低解析度和高解析度圖像尺寸的比例，在所述虛擬圖像中識別(200)用於所述高解析度宏塊的相應的虛擬基礎層宏塊；-向每個識別的虛擬基礎層宏塊關聯(210)運動數據，所述運動數據基於相應的低解析度宏塊對的場/幀模式，以及基於所述高解析度宏塊的幀/場模式，從與所述相應的低解析度宏塊對的至少一個宏塊相關聯的運動數據中導出；-對與所述相應的虛擬基礎層宏塊相關聯的運動數據進行重採樣(220)，以產生所述至少一個運動預測值。
2. 如權利要求l所述的方法，其中，若所述高解析度宏塊具有幀 模式，且若所述相應的低解析度宏塊對具有場模式，則導出步驟(210) 包括以下步驟--以比例2對由頂宏塊和底宏塊組成的所述低解析度宏塊對進行 垂直上採樣(1500)，每個上採樣後的宏塊由上部分和下部分組成；以 及-將上採樣後的頂宏塊的上部分的運動數據和上採樣後的底宏塊的上部分的運動數據進行合併(1510)，並將上採樣後的頂宏塊的下部分的運動數據和上採樣後的底宏塊的下部分的運動數據進行合併 (1510)。
3. 如權利要求1或2所述的方法，其中，若所述高解析度宏塊具 有場模式，且若所述相應的低解析度宏塊對具有幀模式，則導出步驟(210)包括如下步驟以比例2對與所述相應的低解析度宏塊對相關聯的運動數據進行垂直下釆樣。
4. 一種編碼設備(8)，用於對由宏塊組成的高解析度圖像的序列 以及低解析度圖像的序列進行編碼，所述組成高解析度圖像的宏塊被 稱為高解析度宏塊，所述低解析度圖像被稱為低解析度宏塊，所述設備包括-第一編碼裝置(80)，用於編碼所述低解析度圖像，所述第一編碼裝置產生用於所述低解析度圖像的宏塊的運動數據和基礎層數據流；-繼承裝置(82)，用於從被稱為低解析度宏塊的低解析度圖像的 宏塊的運動數據中導出用於被稱為高解析度宏塊的至少一個高解析度 圖像的宏塊的運動數據；以及-第二編碼裝置(81)，用於使用所述導出的運動數據對所述高分 辨率圖像進行編碼，所述第二編碼裝置產生增強層數據流；其特徵在於，所述繼承裝置(82)包括-用於定義由非交疊宏塊組成的虛擬結構的裝置，所述非交疊宏塊 被稱為虛擬基礎層宏塊，所述虛擬結構具有與所述低解析度圖像相同 的尺寸；-用於基於所述高解析度宏塊在所述高解析度圖像中的位置，以及 基於低解析度和高解析度圖像尺寸的比例，在所述虛擬圖像中識別用 於所述高解析度宏塊的相應的虛擬基礎層宏塊的裝置；-用於基於相應的低解析度宏塊對的場/幀模式，以及基於所述高 解析度宏塊的幀/場模式，從與所述相應的低解析度宏塊對的至少一個 宏塊相關聯的運動數據中導出用於每個識別的虛擬基礎層宏塊的運動 數據的裝置；以及-用於對與所述相應的虛擬基礎層宏塊相關聯的運動數據進行重 採樣，以產生所述至少一個運動預測值的裝置。
5. 如權利要求4所述的設備，其中，所述第一編碼裝置是MPEG-4 AVC視頻編碼器。
6. —種解碼設備(9)，用於至少對編碼的高解析度圖像序列進行 解碼，所述編碼的圖像以數據流的形式出現，每個圖像被分為非交疊 的宏塊，所述設備包括-第一解碼裝置(91)，用於至少對所述數據流的第一部分進行解 碼，以產生低解析度圖像和用於所述低解析度圖像的宏塊的運動數據;-繼承裝置(82)，用於從低解析度圖像的宏塊的運動數據中導出 用於至少一個高解析度圖像的宏塊的運動數據；以及-第二解碼裝置(92)，用於使用所述導出的運動數據至少對所述 數據流的第二部分進行解碼，以產生高解析度圖像；其特徵在於，所述繼承裝置(82)包括-用於定義由非交疊宏塊組成的虛擬結構的裝置，所述非交疊宏塊 被稱為虛擬基礎層宏塊，所述虛擬結構具有與所述低解析度圖像相同 的尺寸；-用於基於所述高解析度宏塊在所述高解析度圖像中的位置，以及 基於低解析度和高解析度圖像尺寸的比例，在所述虛擬圖像中識別用 於所述高解析度宏塊的相應的虛擬基礎層宏塊的裝置；-用於基於相應的低解析度宏塊對的場/幀模式，以及基於所述高 解析度宏塊的幀/場模式，從與所述相應的低解析度宏塊對的至少一個 宏塊相關聯的運動數據中導出用於每個識別的虛擬基礎層宏塊的運動 數據的裝置；以及-用於對與所述相應的虛擬基礎層宏塊相關聯的運動數據進行重 採樣，以產生所述至少一個運動預測值的裝置。
7.如權利要求6所述的設備，其中，所述第一解碼裝置是MPEG-4 AVC視頻解碼器。
全文摘要
本發明涉及一種方法，用於從與低解析度圖像的宏塊相關聯的運動數據中，產生用於至少一個高解析度圖像的宏塊的至少一個運動預測值。所述方法包括以下步驟定義由非交疊宏塊組成的虛擬結構，稱為虛擬基礎層宏塊；基於高解析度宏塊在高解析度圖像中的位置，以及基於低解析度和高解析度圖像尺寸的比例，在虛擬圖像中識別用於高解析度宏塊的對應的虛擬基礎層宏塊；基於對應的低解析度宏塊對的場/幀模式，以及基於高解析度宏塊的幀/場模式，從與對應的低解析度宏塊對的至少一個宏塊相關聯的運動數據中導出用於每個識別的虛擬基礎層宏塊的運動數據；對與對應的虛擬基礎層宏塊相關聯的運動數據進行重採樣，以產生至少一個運動預測值。
文檔編號H04N7/26GK101356820SQ200680050454
公開日2009年1月28日 申請日期2006年12月18日 優先權日2006年1月5日
發明者派屈克·洛佩茲, 文森特·博特羅, 熱羅姆·維耶龍, 愛德華·弗朗索瓦, 穎 陳 申請人:湯姆森許可貿易公司