編碼設備和用於對包含場的電影進行可伸縮編碼的方法

2023-09-21 04:43:50

專利名稱：編碼設備和用於對包含場的電影進行可伸縮編碼的方法
編碼設備和用於對包含場的電影 進行可伸縮編碼的方法發明領域本發明涉及視頻壓縮/解壓縮領域，尤其涉及包含了可伸縮視頻比 特流的視頻應用。特別地，本發明涉及一種編碼設備，該設備包含了 用於將電影數據編碼成壓縮的可伸縮比特流的編碼裝置，其中該編碼始於包含隔行(interlaced)場的至少一個隔行基層以及至少一個包 含逐行(progressive)幀的逐行增強層，所述隔行場中的某些場是與 場重複標記相關聯的重複場。 發明背景特別地，在下列文獻中描述了適於輸出可伸縮視頻比特流的可伸 縮視頻壓縮4支術的實例MPEG-2標準的可伸縮擴展(相關實例參見"Information Technology Generic coding of moving pictures and associated audio information: Video" ， IS0/IEC 13818-2， 1996 ) ， MPEG-4標準的可伸縮擴展(相關實例參見"Information Technology - Coding of Audio— Visual Objects - Part 2: Visual"， IS0/IEC 14496-2:2001， Second Edition, 2001 )，以及H. 264/AVC(也被稱為JSVC)標準的可伸縮擴展(相關實例參見"Final Draft International Standard of Joint Video Specification" ， ISO IBC 14496-10， 2004 ， 以及 JSVC Working Draft 2， output document JVT-0201 of the 16th JVT meeting, Busan， South Korea, April 2005 )。 在很多應用中用到了可伸縮視頻編碼，例如家庭聯網、xDSL廣播 和移動5危傳輸。特另'J地，在文獻"Requirements and Applications for Scalable Video Coding" , output document N6880 of the 71" MPEG meeting, Hong Kong， China, January 2005中描述了某些應用。這其中的某些應用涉及的是被流傳輸或廣播到標清(隔行)或高 清(逐行)電視機之類的多個設備的電影(以24幀/秒的速率逐行掃 描)。在此類應用中，將要編碼的電影數據包括至少一個基層和至少 一個增強層。優選地，所述一個或多個基層(或者至少一個較低的空 間層)是用隔行場編碼的，而所述一個或多個增強層則允許恢復逐行信號，與此同時，幀速率必須與目標顯示器的至少一個速率匹配。本 發明涉及的正是這種可伸縮視頻比特流。由於幀速率不同，因此，這些電影(或影片)在時間上是異於視頻的。回想一下，視頻速率會根據標準而改變，例如在NTSC中是30 幀/秒，在PAL/SECAM中是25幀/秒，而在高清(HD )情況下則是25、 30或60幀/秒。由於該時間差異，在被編碼以及在電視上傳送之前， 有必要對電影(或影片)進行時間調整。為了應用該時間調整，舉例 來說，我們可以使用所謂的"3:2下拉(pull-down)"技術，該技術 的目的是將電影信號轉換成30幀或60場/秒的隔行視頻信號。某些時 間調整技術、尤其是藉助這種3:2下拉技術的時間調整技術引入了某 些數據場副本。因此，為了有效編碼基層的重複數據場，在現有視頻 壓縮標準中使用了所謂的"場重複標記"。如果我們希望使用現有技術(例如上文引用的壓縮標準)利用逐 行增強層以可伸縮形式對這種序列進行編碼，那麼至少可以採用三種 解決方案。第一種解決方案是將增強層和基層全都視為逐行形式來對其進行 編碼。但是在這種解決方案中，基層並未得到良好編碼。第二種解決方案是將增強層和基層全都視為隔行形式來對其進行 編碼。但是在這種解決方案中，"場圖像編碼"不利於一個或多個增 強層的壓縮效率。

圖1描述的第三種解決方案是使用隔行編碼工具來編碼基層(BL )， 然後成對重組這個編碼基層(BL)的連續隔行場(FTi， BTi)，以便 構成用於預測一個或多個增強(更高)層(EL)的預測幀(PFr)。但 是，該解決方案將會產生某些(失配)預測幀(MPFr),這些預測幀 是附屬於初始材料中的不同幀的兩個場(FTi， BTi)的組合，並且其 對預測而言是非常不利的。由此，通過使用上述壓縮技術(例如MPEG-2、 MPEG-4以及 H.264/AVC),可以對包含重複場或幀的可伸縮視頻流進行編碼，但是 在壓縮性能和視覺質量方面，這種處理顯然不是非常有效的。發明概述本發明的目的是改善這種狀況。為此目的，本發明涉及一種如在說明書前言部分定義的編碼設備，該編碼設備的特徵還在於編碼裝置被安排為i)構造一個預測層，其 中該預測層包括從隔行基層的場配對定義的預測幀，這些配對不包括 含有重複場的配對，以及ii)在為了處理遺失預測幀而對與隔行基層 的相應重複場相關聯的場重複標記加以考慮的同時，通過計算每一個 預測幀與相應逐行幀之間的差值來編碼一個或多個逐行增強層的逐行 幀。換言之，我們使用了與隔行基(或更低)層的重複場相關聯的場 重複標記來編碼與這個隔行基層相關聯的一個或多個逐行增強(或更 高)層的逐行幀。通過這種處理，可以更有效地執行編碼，以及在解 碼過程中更好地重建逐行視頻序列。根據本發明的編碼設備可以包括單獨或組合考慮的附加特徵，尤 其是(a) 編碼裝置可以被安排為i)構造一個預測層，其中該預測層 只包括根據不與場重複標記相關聯的隔行基層的場配對而定義的預測 幀，以及ii )通過計算逐行幀與相應預測幀之間的差值，只對與預測 幀相對應的每一個逐行幀進行編碼；(b) 編碼裝置可以被安排為i)構造一個預測層，其中該預測 層包括根據不與場重複標記相關聯的隔行基層的場配對而定義的預測 幀，以及重複預測幀，其中當重複預測幀對應的是與場重複標記相關 聯的隔行基層的場時，每一個所述重複預測幀都與在前的預測幀相同， 以及ii)通過計算其自身與相應預測幀以及重複預測幀之間的差值來 編石馬逐4亍幀；(c) 編碼裝置可以被安排為i)構造一個預測層，其中該預測 層包括根據隔行基層中與場重複標記不相關聯的場配對定義的預測 幀，以及使用與遺失預測幀相對應的逐行幀之前的逐行幀的副本來填 充與關聯於場重複標記的隔行基層的場相對應的每一個遺失預測幀， 以及ii)通過計算該逐行幀與相應預測幀或逐行幀副本之間的差值來 編碼與預測幀相對應的每一個逐^亍幀；(d) 編碼設備可以包括空間過採樣裝置，該裝置被安排為為預測 層施加空間過採樣處理，以便獲取與所要編碼的逐行幀之一相等的空 間解析度；(e) 編碼設備可以包括調整裝置，該調整裝置將時間調整技術應用於與第一幀速率相關聯的主電影數據，以便以第二幀速率輸出一個 或多個隔行基層以及一個或多個逐行增強層，所述第二幀速率適於在選定顯示設備上顯示(例如，該調整裝置可以被安排為應用所謂的"3: 2 下拉"時間調整技術)。本發明還提供了一種解碼設備，其中該解碼設備包括用於對壓縮 的可伸縮比特流進行解碼的解碼裝置，其中所述解碼始於至少一個包 含隔行編碼場的編碼隔行基層以及至少一個包含編碼逐行幀的編碼逐 行增強層，並且其中某些隔行編碼場是與場重複標記相關聯的重複場。該解碼設備的特徵在於解碼裝置被安排為i)構造一個預測層， 其中該預測層包含了根據編碼隔行基層的場配對定義的預測幀，以及 ii )在考慮到了與編碼隔行基層的相應重複場相關聯的場重複標記的 同時，通過計算每一個預測幀與每一個編碼逐行增強層的相應編碼逐 行幀的總和來重建一個或多個逐行增強層的逐行幀。根據本發明的解碼設備可以包括單獨或組合考慮的附加特徵，尤 其是(a) 解碼裝置可以被安排為i)構造一個預測層，其中該預測 層只包括根據編碼隔行基層中與場重複標記不相關聯的場配對定義的 預測幀，以及ii)通過計算每一個預測幀與相應編碼逐行幀的總和來 重建一個或多個逐行增強層的每一個逐行幀，以及使用先前重建的逐 行幀的副本來填充與關聯於場重複標記的編碼隔行基層的場相對應的 每一個遺失逐行幀；(b) 解碼裝置可以被安排為i)構造一個預測層，其中該預測 層包括根據編碼隔行基層中與場重複標記不相關聯的場配對定義的預 測幀，以及重複預測幀，其中當重複預測幀對應的是與場重複標記相 關聯的編碼隔行基層的場時，每一個重複預測幀都與在前的預測幀相 同，以及ii)通過計算每一個預測幀或重複預測幀與相應編碼逐行幀的總和來重建一個或多個逐行增強層的每一個逐行幀；(c) 解碼裝置可以被安排為i)構造一個預測層，其中該預測層只包括根據編碼隔行基層中與場重複標記不相關聯的場配對定義的 預測幀，以及ii)通過計算預測幀與相應編碼逐行幀的總和來重建與 預測幀相對應的一個或多個逐行增強層的每一個逐行幀，以及通過計 算相應編碼逐行幀與所要重建的逐行幀之前的已重建逐行幀的副本的總和來重建與遺失預測幀相對應的一個或多個逐行增強層的每一個逐 行幀。本發明還提供了一種包括如上介紹的編碼設備和/或解碼設備的 電子裝置。舉例來說，該電子裝置可以是家庭伺服器，專用於家庭聯 網的機頂盒，廣播編碼器，流式傳輸編碼器，或是顯示器。本發明還提供了一種用於在經過壓縮的可伸縮比特流中對電影數 據進行編碼的方法，其中該編碼始於包含隔行場的至少一個隔行基層 以及至少一個包含了逐行幀的逐行增強層，其中某些隔行場是與場重 復標記相關聯的重複場。該編碼方法包括i)構造一個預測層，其中該預測層包含根據隔行基層的場配對定義的預測幀，以及ii)在考慮到與隔行基層的相應 的第一和第二重複場相關聯的場重複標記的同時，通過計算每一個預測幀與相應逐行幀之間的差值來編碼每一個逐行增強層的逐行幀。本發明還提供了一種用於對經過壓縮的可伸縮比特流進行解碼的 方法，其中所述解碼始於至少一個包含了隔行編碼場的編碼隔行基層 以及至少一個包含編碼逐行幀的編碼逐行增強層，並且其中某些隔行 編碼場是與場重複標記相關聯的重複場，。該解碼方法包括以下步驟i)構造一個預測層，其中該預測層包 括根據編碼隔行基層的場配對定義的預測幀，以及ii)在考慮到與編 碼隔行基層的第一和第二重複場相關聯的場重複標記的同時，通過計 算每一個預測幀與每一個編碼逐行增強層的相應編碼逐行幀的總和來 重建每一逐行增強層的逐行幀。本發明的典型應用是通過電視廣播來向不同電子設備傳遞電影， 其中舉例來說，所述電子設備可以是隔行標清顯示器(在很多情況下， 它是隔行的陰極管顯示器)或逐行高清顯示器。附圖簡述通過考察下文中的詳細描述和附圖，可以清楚了解本發明的其他 特徵和優點，其中圖1示意性描述了根據現有技術的隔行基層(BL)、將要編碼的 逐行增強層(EL)以及預測層(PL)的實例，圖2從功能上示意性描述了根據本發明的編碼設備實施例的一個 實例，圖3示意性描述了將要編碼的隔行基層(BL)和逐行增強層(EL) 的實例，以及相應的預測層(PL)和編碼逐行增強層(EL，)的第一 實例，圖4示意性描述了將要編碼的隔行基層(BL)和逐行增強層(EL) 的實例，以及相應的預測層(PL)和編碼逐行增強層(EL，)的第二 實例，圖5示意性描述了將要編碼的隔行基層(BL)和逐行增強層(EL) 的實例，以及相應的預測層(PL)和編碼逐行增強層(EL，)的第三 實例，圖6從功能上示意性描述了根據本發明的解碼設備的一個實例，圖7示意性描述了將要解碼的編碼隔行基層(BL')和編碼逐行 增強層(EL，)的實例，以及相應的預測層(PL，)和解碼逐行增強 層(EL")的第一實例，圖8示意性描述了將要解碼的編碼隔行基層(BL，)和編碼逐行 增強層(EL，)的實例，以及相應的預測層(PL，)和解碼逐行增強 層(EL，，)的笫二實例，以及圖9示意性描述了將要解碼的編碼隔行基層(BL，)和編碼逐行 增強層(EL，)的實例，以及相應的預測層(PL，)和解碼逐行增強 層(EL，，)的第三實例。詳細描述首先參考圖2，該圖描述的是根據本發明的編碼設備Dl的實施例 例示，其中舉例來說，所述編碼設備既可以是家庭伺服器或機頂盒(尤 其是專用於家庭聯網)之類的電子設備的一部分，也可以是廣播編碼 器或流式傳輸編碼器。本發明尤其適合將電影(或影片)通過電視廣 播給不同的電子設備，例如隔行標清顯示器或逐行高清顯示器。回想一下，電影(或影片)具有與視頻不同的幀速率。通常，電 影的幀速率等於24幀(或圖像)每秒。而視頻的幀速率則會依照標準 而改變(在NTSC中是30幀每秒，在PAL/SECAM中是"幀每秒，對高 清(HD)而言則是25、 30或60幀每秒)。正如在圖2中從功能方面示意性描述的那樣，根據本發明的編碼 設備D1包括至少一個編碼模塊CM，用於將接收到的電影數據編碼成經 過壓縮的可伸縮比特流。值得一提的是，對接收到的電影數據來說，該數據要麼是為了將 其(第一)幀速率轉換成另一個(第二)幀速率而被應用了時間調整 技術的(經過預處理的)數據，要麼必須對其應用時間調整技術的"主"數據PVD。如果接收到的電影數據是經過預處理的數據，那麼編碼設備 D1隻包括編碼模塊CM。如果接收到的電影數據是主數據PVD，那麼如 圖2所示，編碼設備D1必須包括調整模塊AM(用於幀速率轉換)和編 碼模塊CM。在這裡可以實施本領域技術人員已知的任何時間調整技術(可以 由調整模塊AM來實施)，以便產生預備在傳送之前進行處理和編碼的 預處理電影數據，例如在電視上傳送。舉個例子，我們可以使用所謂 的"3: 2下拉"技術，該技術會將電影信號轉換成30幀(或60場)每 秒的隔行視頻信號。在這裡，"預處理電影數據"指的是應用了時間 調整技術並且會在至少一個隔行(電影數據)基層BL與至少一個逐行 (電影數據)增強層EL之間分配的電影數據。回想一下，隔行基層BL包括以低解析度或標準解析度來定義圖像 的隔行數據場，而逐行增強層EL包含的則是逐行幀，其中在使用逐行 掃描進行顯示的過程中，如果這些逐行幀與一個或多個相關聯的隔行 基層相結合，那麼將會提供更高的圖像解析度。更具體地說，隔行基 層BL包括前場(top field) TFi和後場(bottom field) BFi，其中 前場通常包含了從第一行開始定義圖像奇數(或偶數)行的數據，而 後場則通常包含了用於定義圖像偶數(或奇數)行的數據。如圖1所 示，前場TFi 是從後場BFi時間移位的。而視頻中所有圖像的隔行 場則定義了一個"隔行視頻"(IV)。此外，逐行增強層EL包括被分組為逐行幀的圖像數據。逐行增強 層數據通常被稱為"逐行數據，，，並且該數據定義了通常所說的"逐 行視頻"(PV)。 一個或多個逐行增強層可以與一個隔行基層相關聯。 在顯示之前，已解碼的逐行增強層的逐行數據將會與相關聯的已解碼 隔行基層的已解碼隔行數據相結合，以便定義標清或高清圖像。在這裡，對於接收到的將要處理和編碼的電影數據來說，假設其 隔行基層BL包括某些通過時間調整技術而被引入的重複場DF。正如本 領域技術人員已知的那樣，每一個重複場DF都與一個通常被稱為"場 重複標記，，的標記相關聯，並且在經過編碼的比特流SVB中傳送。編碼模塊CM可以包括空間過採樣模塊，其中在將接收到的預處理 隔行基層BL的第一 TFi和第二 BFi場用於構造預測層PL之前，該空 間過採樣模塊會對其應用空間過採樣處理。這樣做允許獲取空間分辨 率與將要編碼的逐行幀之一相等的隔行基層BL。編碼模塊CM包括處理模塊PM，它被安排為根據接收到的隔行基層 BL的前場TFi和後場BFi來構造一個預測層PL。更確切地說，它構造 了一個包含預測幀PFr的預測層PL，其中每一個預測幀都包括基層BL 的前場TFi以及(這個基層BL的)後場BFi，並且所述後場BFi在時 間上處於這個前場TFi之後。舉個例子，如果基層BL包括前場TFi序 列(Al， ， Bl， ， Bl， ， Cl， ， Dl，，...)和後場BFi序列(A2， ， B2，， C2， ， C2， ， D2，，...)，那麼預測層PL應該包括圖1所示的預測幀 序歹'J (Al， +A2， ， Bl， +B2， ， Bl， +C2， ， Cl， +C2， ， Dl， +D2，，…)。編碼模塊CM的編碼子模塊EM使用預測層PL來編碼每一個逐行增 強層EL的逐行幀。更確切地說，編碼子模塊EM被安排為計算預測層 PL的每一個預測幀與逐行增強層EL的相應逐行幀之間的差值，以便輸 出一個包含編碼逐行幀的編碼逐行增強層EL'。舉個例子，如圖3所示，如果預測幀等於Al， +A2，，並且相應的 逐行幀等於A,那麼編碼子模塊EM計算的相應編碼逐行幀等於5A，， 其中5 A，= A - (Al， +A2，)。當預測層PL包含的是根據屬於同一圖像的前場和後場構造的預測 幀時，這種計算將會正確運作。但是，當預測層PL包含的是根據屬於 兩個連續圖像(如圖l所示)的前場和後場構造的"複合"預測幀(或 失配預測幀)MPFr時，該計算將無法正確運作。這種情況會在隔行基 層BL包含重複場DFi的時候發生。在這種情況下，"複合"預測幀MPFr 與將要編碼的相應逐行幀將會失配。圖1中的預測層PL的第三預測幀 (Bl， +C2，)即為這種複合預測幀的一個實例。對根據本發明的編碼設備Dl來說，其目的是克服由隔行基層BL 的重複場DFi引入的缺陷。為此目的，當其接收到經過預處理的電影 數據(BL+EL)時，其處理模塊PM將被安排為構造一個預測層PL,其 中該預測層PL包括根據隔行基層BL的第一 TFi和第二 BFi場定義的 預測幀，並且其編碼子模塊EM被安排為在考慮了與隔行基層BL所具 有的相應第一TFi和第二BFi重複場相關聯的場重複標記FiRF的同時，通過計算每一個預測幀與相應逐行幀之間的差值來編碼每一個增強層EL的逐行幀。編碼設備Dl至少可以採用三種不同方式來使用場重複標記FiRF。 現在參考圖3來描述在編碼過程中根據本發明使用場重複標記 FiRF的第一方式。在所述第一方式中，處理模塊PM都安排為每當接收 到包含與至少一個增強層EL相關聯的至少一個隔行基層BL的預處理 電影數據時構造一個預測層PL,其中該預測層只包括如下的預測幀 每一預測幀是根據與場重複標記FiRF不相關聯的隔行基層BL的前場 TFi和後場BFi定義的。由此，處理模塊PM沒有保留複合預測幀，並 且在預測層PL中將會遺失某些預測幀(MPF)。在這種情況下，編碼子模塊EM被安排為只對逐行增強層EL中與 預測幀相對應的逐行增強層EL的每一個逐行幀進行編碼。由此，它會 計算與已有預測幀相對應的每一個逐行幀同所述相應預測幀之間的差 值。在圖3所示實例中，遺失的是第三預測幀MPF，由此，編碼子模塊 EM並未編碼增強層EL的第三逐行幀。這樣一來，經過編碼的逐行增強 層EL，包含的是從相應差值(A- (Al， +A2， ))、 (B- (Bl， +B2，))、 (C - (Cl， +C2，))和(D- (Dl， +D2，))產生的編碼逐行幀5 A， ， 5 B， ， 5C，和5D，。值得一提的是， 一旦構造了預測層PL，那麼編碼子模塊EM根據笫 一方式(結合圖3 )實施的編碼技術與現有技術中的編碼設備實施的編 碼技術是相同的。這種編碼技術是本領域技術人員公知的，並且在這 裡不再對其進行描述。編碼子模塊EM輸出 一個預備通過例如網絡傳送到顯示設備的經過 壓縮的可伸縮比特流SVB，該比特流包含經過編碼的隔行基層BL，以 及一個或多個經過編碼的逐行增強層EL。現在通過參考圖4來描述根據本發明而在編碼過程中使用場重複 標記FiRF的第二方式。在所述第二方式中，處理模塊PM都被安排為 每當接收到包含與至少一個增強層EL相關聯的至少一個隔行基層BL 的預處理電影數據時構造一個預測層PL,該預測層包含每一個都是根 據與場重複標記FiRF不相關聯的隔行基層BL的前場TFi和後場BFi 定義的預測幀以及重複預測幀DPFt，其中當重複預測幀DPFr與關聯於場重複標記(FiRF)的隔行基層BL的一個或多個第一 TFi和/或第二 BFi場相對應時，該重複預測幀分別與其前的預測幀相同。由此，在預 測層PL中既沒有複合預測幀，也沒有遺失的預測幀MPF。在圖4的非限制性實例中，預測層PL包括預測幀序列(Al， +A2，， Bl， +B2， ， Bl， +B2， ， Cl， +C2， ， Dl， +D2，，…)。由於第三預 測幀(Bl，+B2，)對應於與場重複標記FiRF相關聯的重複場(Bl，) DFi, 因此它是第二預測幀(Bl， +B2，)的重複DPFr。在這種情況下，由於逐行增強層EL的每一個逐行幀都與相應的預 測幀或重複預測幀DPFr相關聯，因此，編碼子模塊EM被安排為對所 迷每一個逐行幀進行編碼。這樣一來，它會計算每一個逐行幀與相應 預測幀或重複預測幀DPFr之間的差值。在圖4所示的實例中，編碼子模塊EM產生一個編碼逐行增強層 EL，，該層包含了從相應差值(A-(Al， +A2， ))、 (Ba-(Bl， +B2，))、 (Bb-(Bl， +B2， ))、 (C-(Cl， +C2，))以及(D-(Dl， +D2，))得到的編 碼逐;f於幀5A， 、 5Ba， 、 5 Bb， 、 5 C'以及5D，。值得一提的是， 一旦構造了預測層PL，那麼由編碼子模塊EM根據 第二方式(結合圖4)實施的編碼技術與現有技術中的編碼設備實施的 編碼技術是相同的。這種編碼技術對本領域技術人員來說是公知的， 並且在這裡不再對其進行描述。編碼子模塊EM輸出一個預備傳送到顯示設備的經過壓縮的可伸縮 比特流SVB，該比特流包含了編碼隔行基層BL，以及一個或多個編碼 逐行增強層EL，所述傳送可以例如經由網絡來進行。現在將通過參考圖5來描述根據本發明而在編碼過程中使用場重 復標記FiRF的第三方式。所述第三方式是第一方式的一種變體，在該 方式中，處理模塊PM都被安排為每當接收到包含與至少一個逐行增強 層EL相關聯的至少一個隔行基層BL的預處理電影數據時構造一個預 測層PL，該預測層PL包含了兩個來源的預測幀。第一個來源是隔行基層BL。處理模塊PM將會構造(第一)預測幀， 其中每一個預測幀都是根據不與場重複標記FiRF相關聯的隔行基層 BL的前場TFi和後場BFi定義的。由此，處理模塊PM並未保持複合預 測幀，並且在預測層PL中將會遺失某些預測幀(MPF)。第二個來源是逐行增強層EL。該處理模塊PM將會構造(第二 )預測幀，以便將遺失的預測幀MPF填充到正在構造的預測層PL中。更確 切地說，每當檢測到與增強層EL的逐行幀相對應的遺失預測幀MPF時， 它都會重複處於這個相應逐行幀之前的逐行幀，並且使用該重複逐行 幀DFr來填充相應的遺失預測幀MPF。由此，在最終的預測層PL中將 不再有遺失的預測幀MPF。在圖5的非限制性實例中，預測層PL包括預測幀序列(Al' +A2，， Bl， +B2， ， Ba， Cl， +C2， ， Dl， +D2，，...)。由於第三預測幀(Ba) 對應的是與場重複標記FiRF相關聯的重複場(Bl， ) DFi，因此它是 增強層EL的第二逐行幀(Ba)的副本DFr。在這種情況下，由於增強層EL的每一個逐行幀都與相應預測幀或 重複逐行幀DFr相關聯，因此，編碼子模塊EM被安排為對所述每一個 逐行幀進行編碼。這樣一來，它會計算每一個逐行幀與相應預測幀或 重複逐行幀DFr之間的差值。在圖5所示的實例中，編碼子模塊EM產生一個編碼逐行增強層 EL，，該層包含了從相應差值(A-(A1， +A2， ))、 (Ba-(B1， +B2，))、 (Bb-Ba)、 (C-(C1， +C2，))以及(D-(D1， +D2，))得到的編碼逐行幀5 A， 、 5Ba， 、 5Bb， 、 5 C'以及5D，。值得一提的是， 一旦構造了預測層PL,那麼由編碼子模塊EM根據 第三方式(結合圖5)實施的編碼技術與現有技術中的編碼設備實施的 編碼技術是相同的。這種編碼技術對本領域技術人員來說是公知的， 並且在這裡不再對其進行描述。編碼子模塊EM輸出一個預備傳送到顯示設備的經過壓縮的可伸縮 比特流SVB，該比特流包含了編碼隔行基層BL，以及一個或多個編碼 逐行增強層EL，並且所述傳送可以例如經由網絡來進行。現在將通過參考圖6來描述根據本發明的解碼設備D2的實施例例 示，其中舉例來說，所述解碼設備既可以是諸如家庭伺服器或機頂盒(尤其是專用於家庭聯網的)的電子裝置的一部分，也可以是隔行標 清顯示器或逐行高清顯示器。如圖6中從功能上示意性描述的那樣，根據本發明的解碼設備D2 主要包括一個解碼模塊DM，用於對編碼i殳備Dl產生的經過壓縮的可伸 縮比特流SVB進行解碼。作為輸入，該解碼設備接收至少一個編碼隔 行基層BL，以及至少一個編碼逐行增強層EL，。解碼模塊DM包括處理模塊PM，和解碼子模塊SDM,其中該處理模 塊被安排為構造一個預測層PL，，該預測層包括根據接收到的編碼隔 行基層BL的前場TFi，和後場BFi，定義的預測幀，該解碼子模塊則 根據所接收的每一個編碼逐行增強層EL，的編碼逐行幀、所接收的編 碼隔行基層BL的前場TFi，和後場BFi，以及與隔行基層BL，的第一 TFi，和第二BFi，重複場相關聯的場重複標記FiRF來重建每一個增強 層EL"的逐行幀。更確切地說，解碼子模塊SDM被安排為在考慮了與隔行基層BL， 中的相應的第一 TFi，和第二 BFi，重複場相關聯的場重複標記FiRF 的同時，計算每一個預測幀與所接收的每一個編碼逐行增強層EL，的 相應編碼逐4於幀的總和。解碼設備D2至少可以採用三種不同方式來使用場重複標記FiRF。現在將通過參考圖7來描述根據本發明而在解碼過程中使用場重 復標記FiRF的第一方式。在所述第一方式中，處理模塊PM，都被安排 為每當接收到與至少一個編碼逐行增強層EL'相關聯的至少一個編碼 隔行基層BL，時構造一個預測層PL，，其中該預測層只包括每一個都 是根據不與場重複標記FiRF相關聯的編碼隔行基層BL'的前場TFi， 和後場BFi，定義的預測幀。由此，處理模塊PM，並未保持複合預測 幀(先前定義的)，並且在預測層PL，中將會遺失某些預測幀(MPF) (如圖7所示)。在這種情況下，每個接收到的編碼逐行增強層EL，還包括遺失編 碼逐行幀MEF,該MEF與預測層PL，的遺失預測幀MPF相對應(如圖7 所示)，這是因為它已經由編碼設備D1根據第一方式進行了定義。這樣一來，解碼子模塊SDM被安排為通過計算預測層PL，的每一 個預測幀與相應(已有)編碼逐行幀的總和來重建每一個增強層EL" 的每一個逐行幀，並且使用在先重建的逐行幀的副本來填充與關聯於 場重複標記FiRF的隔行基層BL，的第一TFi'和/或第二BFi，場相對應的每一個遺失重建逐行幀 在圖7所示的實例中，第三預測幀MPF和相應的第三編碼逐4亍幀 MEF是遺失的。因此，解碼子模塊SDM首先重建與已有編碼逐行幀相對 應的逐行幀，由此將會給出(A， = (Al， +A2， ) + 5A， )、 (B， = (Bl， +B2， ) + 5B， )、 (C-(C1， +C2， ) + 5C，)以及(D，= (Dl， +D2，)+ 5D，)。然後，它會重複第二重建逐行幀B，，以便產生第三重建逐 行幀B，。由此，最終的重建逐行增強層EL"包括逐行幀序列(A， ， B，， B， ， C， ， D，)'值得一提的是，除了專用於填充遺失逐行幀的部分之外，解碼子 模塊SDM依照第一方式(結合圖7)實施的解碼技術與現有技術中的解 碼設備執行的解碼技術是相同的。這種解碼技術對本領域技術人員來 說是公知的，並且在這裡不再對其進行描述。解碼子模塊SDM輸出一個預備通過可能的組合來構造用於顯示的標清或高清圖像的已解碼可伸縮比特流，其中該比特流包含了解碼隔 行基層BL以及一個或多個解碼逐行增強層EL"。現在將通過參考圖8來描述根據本發明而在解碼過程中使用場重 復標記FiRF的第二方式。在所述第二方式中，處理模塊PM，被安排為 在每次接收到與至少一個編碼逐行增強層EL，相關聯的至少一個編碼 隔行基層BL，時構造一個預測層PL，，該預測層PL，包括每一個都是 根據不與場重複標記FiRF相關聯的編碼隔行基層BL'的前場TFi，和 BFi，定義的預測幀，以及重複預測幀DPF,其中當所述重複預測幀DPF 對應於與場重複標記FiRF相關聯的編碼隔行基層BL，的一個或多個第 一 TFi，和/或第二 BFi，場時，它們將會分別等同於處於其前的預測 幀。由此，在預測層PL，中既沒有複合預測幀，也沒有遺失預測幀MPF。在圖8的非限制性實例中，預測層PL，包括預測幀序列(Al， +A2，， Bl， +B2， ， Bl， +B2， ， Cl， +C2， ， Dl， +D2，，...)。由於第三預測 幀(Bl， +B2，)對應的是與場重複標記FiRF相關聯的重複場(Bl，) DFi,因此它是第二預測幀(Bl， +B2，)的重複DPF。在這種情況下，解碼子模塊SDM將會通過計算預測層PL，的每一 個預測幀或重複預測幀DPF與編碼逐行增強層EL'的相應編碼逐行幀 的總和來重建每一個增強層EL"的每一個逐行幀。在圖8所示的實例中，重建逐行增強層EL"包括逐行幀序列(A，= (Al， +A2， ) + 5A， )， (Ba，= (Bl， +B2， ) + 5 Ba, )， (Bb，= (Bl， +B2， ) + 5Bb， )， (C-(Cl， +C2， ) + 5 C，)以及(D，= (Dl， +D2，) + 5D，)。值得一提的是， 一旦構造了預測層PL，，那麼解碼子模塊SDM根 據第二方式(結合圖8)實施的解碼技術與現有技術中的解碼設備實施的解碼技術是相同的。這種解碼技術對本領域技術人員來說是公知的， 並且在這裡不再對其進行描述。解碼子模塊SDM輸出一個預備通過可能的組合來構造用於顯示的 標清或高清圖像的已解碼可伸縮比特流，其中該比特流包含了解碼隔 行基層BL以及一個或多個解碼逐行增強層EL"。現在將通過參考圖9來描述根據本發明而在解碼過程中使用場重 復標記FiRF的第三方式。所述第三方式是笫一方式的一種變體，在該 方式中，處理模塊PM，被安排為每當接收到與至少一個編碼逐行增強 層EL'相關聯的至少一個編碼隔行基層BL，時構造一個預測層PL', 該預測層只包括每一個都是根據不與場重複標記FiRF相關聯的編碼隔 行基層BL，的前場TFi，和後場BFi，而定義的預測幀。由此，處理模 塊PM，並未保留複合預測幀(先前定義的)，並且在預測層PL，中將 會遺失某些預測幀(MPF)(如圖9所示)。在這種情況下，與第一方式相反，接收到的每一個編碼逐行增強 層EL，並不包含遺失的編碼逐行幀MEF,這是因為所述層已經由編碼 設備Dl根據第三方式進行了定義。這樣一來，解碼子模塊SDM被安排為通過計算預測層PL，的每一 個現有預測幀與相應編碼逐行幀的總和來重建每一個增強層EL"的每 一個逐行幀，並且使用相應編碼逐行幀與被重建逐行幀前的重建逐行 幀的副本的總和來填充與遺失的預測幀相對應的每一個遺失的重建逐 行幀(然後則填充與關聯於場重複標記FiRF的隔行基層BL，的第一 TFi，和/或第二BFi，場相對應的每一個遺失的重建逐行幀)。在圖9所示的實例中，第三預測幀MPF是遺失的。因此，解碼子 模塊SDM首先重建的是與這個預測幀相對應的逐行幀，由此將會給出 (A， = (Al， +A2， ) + 5A， )， (Ba， = (Bl， +B2， ) + 5 Ba，)，…， (C， = (C1， +C2， ) + 5C，)以及(D， - (Dl， +D2， ) + 5 D，)。 然後，它會重複第二個重建逐行幀Ba，，並且將其添加給第三編碼逐 行幀5Bb，，以便產生第三個重建逐行幀Bb， (Bb， = Ba， + 5 Bb，)。 由此，最終的重建逐行增強層EL"包括逐行幀序列(A' ， Ba' ， Bb'， C， ， D，)。值得一提的是，除了專用於填充遺失逐行幀的部分之外，解碼子 模塊SDM依照第三方式(結合圖9)實施的解碼技術與現有技術中的解碼設備執行的解碼技術是相同的。這種解碼技術對本領域技術人員來 說是公知的，並且在這裡不再對其進行描述。解碼子模塊SDM輸出一個預備通過可能組合來構造用於顯示的標 清或高清圖像的已解碼可伸縮比特流，其中該比特流包含了解碼隔行 基層BL以及一個或多個解碼逐行增強層EL"。優選地，編碼設備Dl和解碼設備D2是集成電路IC。這種集成電 路可以用CMOS技術或是當前在晶片工廠中使用的任何技術來實現。但 是，這其中的每一個設備也可以作為軟體或是軟硬體組合而在任何可 編程平臺或電子設備中實現。本發明可以被認為是一種編碼方法，特別地，該編碼方法可以借 助如上所述的編碼設備Dl的實施例例示來實施。由此，在下文中僅僅 述及了該編碼方法的主要特徵。根據本發明的編碼方法包括i)構造一個預測層PL,該預測層包 括根據隔行基層BL的(第一TFi和第二BFi)場定義的預測幀，以及 ii)在考慮了與隔行基層BL的相應重複場相關聯的場重複標記FiRF 的同時，通過計算每一 個預測幀與相應逐行幀之間的差值來編碼每一 個逐行增強層EL的逐行幀。本發明還可以被視為一種解碼方法，特別地，該方法可以藉助如 上所述的解碼設備D2的實施例例示來實施。由此，在下文中僅僅述及的是該解碼方法的主要特徵。這種解碼方法包括i)構造一個預測層PL，，該預測層包括根據 編碼隔行基層BL，的場配對(TFi，和BFi，)定義的預測幀，以及ii) 在考慮了與編碼隔行基層BL，的相應重複場相關聯的場重複標記FiRF 的同時，通過計算每一個預測幀與每一個編碼逐行增強層的相應編碼 逐行幀的總和來重建每一個增強層EL"的逐行幀。本發明並不局限於如上所述並且僅僅作為實例的編碼設備、解碼 設備、電子設備、編碼方法以及解碼方法的實施例，相反，本發明包 含了本領域技術人員可以想到並處於後續權利要求範圍以內的所有替 換實施例。實際上，藉助硬體或軟體項實施功能的方式是很多的。就此而論， 這些附圖是非常概略的，並且它們僅僅顯示了本發明的可行性實施例。 由此，雖然附圖將不同功能顯示成不同部件，但是並不排除由單個硬體或軟體項來執行若干種功能。此外也不排除由硬體或軟體項裝置或 是這二者的裝置來執行某種功能。在這裡，在參考附圖論證詳細描述之前所做的說明是為了例證而 不是限制本發明。在附加權利要求範圍以內，多種替換方案都是可以 存在的。任何權利要求中的參考符號都不應該被解釋成是限制權利要 求。單詞"包括"並沒有排除在權利要求所列舉的部件或步驟之外還 存在其他部件或步驟。處於部件或步驟之前的單詞"一"或"一個" 並未排除多個部件或步驟的存在。
權利要求
1.一種編碼設備(D1)，包括用於將電影數據編碼為壓縮的可伸縮比特流(SVB)的編碼裝置(CM)，其中該編碼是從包含隔行場的至少一個隔行基層(BL)以及包含了逐行幀的至少一個逐行增強層(EL)開始的，並且其中某些隔行場是與場重複標記(FiRF)相關聯的重複場，其特徵在於所述編碼裝置被安排為i)構造一個預測層(PL)，其中該預測層包括根據所述隔行基層(BL)中除了包含重複場的配對之外的場配對而定義的預測幀，以及ii)在為了處理每一個遺失預測幀而對與所述隔行基層(BL)的相應重複場相關聯的場重複標記(FiRF)加以考慮的同時，通過計算每一個預測幀與相應逐行幀之間的差值來編碼每一個逐行增強層(EL)的所述逐行幀。
2. 根據權利要求1的編碼設備，其特徵在於所述編碼裝置被安排 為i)構造一個預測層(PL)，其中該預測層只包括根據不與場重複標 記(FiRF)相關聯的所述隔行基層(BL)的場配對而定義的預測幀， 以及ii)通過計算逐行幀與相應預測幀之間的差值而只對與該預測幀 相對應的每一個逐4於幀進4於編碼。
3. 根據權利要求1的編碼設備，其特徵在於所述編碼裝置被安排 為i )構造一個預測層(PL)，該預測層包括根據不與場重複標記(FiRF) 相關聯的所述隔行基層(BL)的場配對而定義的預測幀，以及重複預 測幀，其中當所述重複預測幀對應的是與場重複標記(FiRF)相關聯 的所述隔行基層(BL)的場時，每一個所述重複預測幀都與在前的預 測幀相同，以及ii)通過計算所述逐行幀與相應預測幀以及重複預測 幀之間的差值來對其進行編碼。
4. 根據權利要求1的編碼設備，其特徵在於所述編碼裝置被安排 為i )構造一個預測層(PL)，該預測層包括根據不與場重複標記(FiRF) 相關聯的所迷隔行基層(BL)的場配對定義的預測幀，以及使用與遺標記(FiRF)的所述隔行基層(BL)的場相對應的每一個遺失預測幀， 以及ii )通過計算該逐行幀與相應預測幀或逐行幀副本之間的差值來 編碼與預測幀相對應的每 一 個逐4亍幀。
5. 根據權利要求1至4中任一權利要求的編碼設備，其特徵在於它包括過採樣裝置，該裝置被安排用於在構造所述預測層(PL)之前 對所述隔行基層(BL)的所述場進行過採樣，以便獲取與所要編碼的 逐行幀的一個空間解析度相等的空間解析度。
6. 根據權利要求1至5中任一權利要求的編碼設備，其特徵在於 它包括調整裝置(AM)，該裝置被安排為將時間調整技術應用於與第 一幀速率相關聯的主電影數據(PVD),以便以適於在選定顯示設備上 顯示的第二幀速率來輸出所述隔行基層(BL)和所述一個或多個逐行 增強層(EL)。
7. 根據權利要求6的編碼設備，其特徵在於所述調整裝置(AM) 被安排為應用所謂的3: 2下拉時間調整技術。
8. —種解碼設備(D2)，包括用於對壓縮的可伸縮比特流進行解 碼的解碼裝置(DM)，其中所述解碼始於至少一個包含隔行編碼場的 編碼隔行基層(BL，)以及至少一個包含編碼逐行幀的編碼逐行增強 層(EL，)，並且其中某些隔行編碼場是與場重複標記(FiRF)相關 聯的重複場，其特徵在於所述解碼裝置(DM)被安排為i)構造一個 預測層(PL，)，該預測層包含了根據編碼隔行基層(BL，)的場配 對定義的預測幀，以及ii)在考慮到了與所述編碼隔行基層(BL，) 的相應重複場相關聯的所述場重複標記(FiRF)的同時，通過計算每 一個預測幀與每一個編碼逐行增強層(EL，)的相應編碼逐行幀的總 和來重建一個或多個逐行增強層(EL")的所述逐行幀。
9. 根據權利要求8的解碼設備，其特徵在於所述解碼裝置(DM) 被安排為i)構造一個預測層(PL，)，該預測層只包括根據不與場重 復標記(FiRF)相關聯的編碼隔行基層(BL，)的場配對定義的預測 幀，以及ii)通過計算每一個預測幀與相應編碼逐行幀的總和來重建 每一個逐行增強層(EL")的每一個逐行幀，以及使用在前的重建逐 行幀的副本來填充與關聯於場重複標記(FiRF)的編碼隔行基層(BL，) 的場相對應的每一個遺失逐《於幀。
10. 根據權利要求8的解碼設備，其特徵在於所述解碼裝置(DM) 被安排為i)構造一個預測層(PL，)，該預測層包括根據不與場重複 標記(FiRF)相關聯的所述編碼隔行基層(BL，)的場配對而定義的 預測幀，以及重複預測幀，當重複預測幀對應的是與場重複標記(F i RF ) 相關聯的所述編碼隔行基層(BL，)的場時，每一個重複預測幀與在前的預測幀相等，以及ii)通過計算每一個預測幀或重複預測幀與相應編碼逐行幀的總和來重建每一個逐行增強層(EL，，)的每一個逐行幀。
11. 根據權利要求8的解碼設備，其特徵在於所述解碼裝置(DM) 被安排為i )構造一個預測層(PL，)，其中該預測層只包括根據不與 場重複標記(FiRF)相關聯的所述編碼隔行基層(BL，)的場配對而 定義的預測幀，以及ii)通過計算預測幀與相應編碼逐行幀的總和來 重建與該預測幀相對應的每一個逐行增強層(EL")的每一個逐行幀， 以及通過計算相應編碼逐行幀與所要重建的逐行幀之前的已重建逐行 幀的副本的總和來重建與遺失預測幀相對應的每一個逐行增強層(EL")的每一個逐行幀。
12. —種電子設備，其特徵在於它包括根據前述任一權利要求的 編碼設備(Dl)和/或解碼設備(D2)。
13. 根據權利要求12的電子設備，其特徵在於它選自於包含家庭 伺服器、專用於家庭聯網的機頂盒、廣播編碼器、流傳輸編碼器以及 顯示器的組。
14. 一種用於在壓縮的可伸縮比特流(SVB)中編碼電影數據的方 法，其中該編碼是從包含隔行場的至少一個隔行基層(BL)以及包含 逐行幀的至少一個逐行增強層(EL)開始的，其中某些隔行場是與場 重複標記(FiRF)相關聯的重複場，其特徵在於它包括以下步驟i) 構造一個預測層(PL)，該預測層包括根據所述隔行基層(BL)的場 配對而定義的預測幀，以及ii)在考慮了與所述隔行基層(BL)的相 應重複場相關聯的場重複標記(FiRF)的同時，通過計算每一個預測 幀與相應逐行幀之間的差值來編碼每一個逐行增強層(EL)的所述逐 行幀。
15. —種用於解碼壓縮的可伸縮比特流的方法，其中該解碼是從 包含隔行編碼場的至少一個編碼隔行基層(BL，)以及包含了編碼逐 行幀的至少一個編碼逐行增強層(EL，)開始的，並且其中某些隔行 編碼場是與場重複標記(FiRF)相關聯的重複場，其特徵在於該方法 包括以下步驟i)構造一個預測層(PL，)，該預測層包括根據所述 編碼隔行基層(BL，)的場配對而定義的預測幀，以及ii)在考慮與 所述編碼隔行基層(BL，)的相應重複場相關聯的所述場重複標記(FiRF)的同時，通過計算每一個預測幀與每一個編碼逐行增強層 (EL，)的相應編碼逐行幀的總和來重建一個或多個逐行增強層(EL")的逐行幀。
全文摘要
一種用於電子裝置的編碼設備(D1)，包括用於將電影數據編碼成壓縮的可伸縮比特流(SVB)的編碼裝置(CM)，其中該編碼是從包含隔行場的至少一個隔行基層(BL)以及包含了逐行幀的至少一個逐行增強層(EL)開始的，並且其中某些隔行場是與場重複標記相關聯的重複場。更確切地說，這些編碼裝置被安排為i)構造一個預測層(PL)，該預測層包括根據所述隔行基層(BL)的第一和第二場定義的預測幀，但是排除了那些包含重複場的預測幀，以及ii)在為了處理遺失預測幀而對與隔行基層(BL)的相應重複場相關聯的場重複標記加以考慮的同時，通過計算每一個預測幀與相應逐行幀之間的差值來編碼每一個逐行增強層(EL)的逐行幀。
文檔編號H04N7/26GK101406065SQ200780010302
公開日2009年4月8日 申請日期2007年3月16日 優先權日2006年3月23日
發明者A·鮑爾格 申請人:皇家飛利浦電子股份有限公司