用於視頻數據的有效精細粒度伸縮(fgs)編碼和解碼的方法、裝置和系統的製作方法
2023-05-27 06:23:46 1
專利名稱：用於視頻數據的有效精細粒度伸縮(fgs)編碼和解碼的方法、裝置和系統的製作方法
技術領域：
本發明涉及視頻編碼和解碼領域，且尤其涉及基於精細粒度伸 縮的可伸縮視頻數據處理。
背景技術：
傳統的視頻編碼標準(例如，MPEG-1, H.261/263/364)結合運 動估計和運動補償以消除視頻幀之間的時間冗餘。這些概念對於那 些對視頻編碼技術有基本了解的技術人員而言是十分熟悉的，將不 進4亍^"細4苗述。
目前，對H.264/AVC的可伸縮擴展允許精細粒度的可伸縮性， 據此可以通過以10%或更小的增量來增加比特率，使得視頻序列的 質量得以提高。根據傳統實施，每個FGS(精細粒度伸縮)條帶(slice ) 必須與其"基本層圖像"中的對應條帶覆蓋相同的空間區域，即， 一個FGS條帶的開始宏塊和宏塊數量必須與其"基本層圖像"中的 對應條帶相同。因此，每個FGS平面必須具有與其"基本層圖像"
相同的條帶數量。
根據現有技術，每個FGS條帶必須與其"基本層圖像"中對應 的條帶覆蓋相同空間區域這一約束，影響了 NAL (網絡提取層)單 元的尺寸，因此無法根據已知的包丟失率和協議數據單元(PDU) 尺寸來進行最優傳輸。此外，該約束不允許感興趣區域(ROI) FGS 增強，其中這些感興趣區域可具有比其他區域更好的質量。
發明內容
本發明的目的是分別提供用於有效編碼或解碼的方法、裝置和 系統，其克服現有技術的上述問題，並提供有效的和質量上有所改
進的編碼。
本發明的主要優勢在於FGS條帶可以被編碼，使得起始宏塊位 置和宏塊數量的大小可以根據最優傳輸的需要確定，例如，使得條 帶的字節數接近但決不超過協議數據單元(PDU)的字節數，還在 於FGS條帶可以被編碼，使得它覆蓋更為重要的感興趣區域或其部 分，並且它以高於不重要區域的質量被編碼，或者，可選地，僅覆 蓋感興趣區域的FGS條帶^C編碼和傳輸。
根據本發明，每個FGS條帶必須與其"基本層圖像"中對應條 帶覆蓋相同空間區域這一約束被消除。此外，被一個FGS條帶覆蓋 的區域(即，起始宏塊和宏塊數量)獨立於其基本層圖像。相應地， 應用了支持FGS條帶的可伸縮視頻編碼的任何應用，都可受益於本 發明的創造性。
本發明的目的由所附獨立權利要求中定義的主題解決。
根據本發明的第一方面，提供一種用於編碼視頻數據的方法， 該方法包括獲取所述視頻數據；基於所述獲取的視頻數據產生基本 層圖像，基本層圖像包括至少一個條帶，所述條帶對應於所述基本 層圖像中的區域；並產生對應於所述基本層圖像的至少 一 個增強層 圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮 (FGS)條帶，所述至少一個FGS條帶對應於所述增強層圖像中的 區域，其中所述F G S條帶對應的至少 一 個區域不同於所述基本層中 的所述條帶對應的區域，編碼所述基本層圖像和所述至少一個增強 層圖像得到編碼的視頻數據。
在一個優選實施方式中，所述至少一個FGS條帶是如在視頻編 碼標準H.264/AVC的可伸縮擴展中說明的漸進細化條帶。
在一個優選實施方式中，所述產生所述基本層圖像和所述至少 一個增強層圖像是基於所述視頻數據中的運動信息，所述運動信息 由運動估計過程提供。
優選地，至少一個FGS條帶對應於圖像中的感興趣區域(ROI)。
優選地，所述基本層圖像中的條帶數量不同於增強層圖像中的
FGS條帶數量。
優選地，所述FGS條帶被編碼，使得其具有根據預定數值的字 節數。
根據本發明的另 一方面，提供一種用於編碼視頻數據的可伸縮
解碼的方法，包括以下步驟獲取所述編碼^L頻數據；識別所述編 碼視頻數據中的基本層圖像和至少 一個增強層圖像；所述基本層圖 像包括至少一個條帶，所述條帶對應於所述基本層圖像中的區域； 以及對應於所述基本層圖像的至少 一個增強層圖像，其中所述至少 一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少 一個FGS條帶對應於所述增強層圖像中的一個區域，其中所述至少
區域，以及通過合併所述基本層圖像和所述至少 一個增強層圖像解 碼所述編碼視頻數據，得到解碼視頻數據。
優選地，所述至少一個FGS條帶是如在稱為H.264/AVC的視頻 編碼標準的可伸縮擴展中說明的漸進細化條帶。
優選地，所述基本層和所述增強層圖像基於所述編碼視頻數據 中的運動信息，所述運動信息在所述編碼視頻數據中提供。
優選地，所述至少一個FGS條帶涉及所述編碼視頻數據中單獨 圖像的某些感興趣區域。
優選地，所述編碼視頻數據不包括覆蓋非感興趣區域的FGS條帶。
優選地，所述至少一個FGS條帶具有接近但小於預定數值的字 節數。
另 一 方面，提供 一 種根據用於編碼的上述方法操作的設備。 另 一方面，提供一種根據用於解碼的上述方法操作的設備。 另一方面，提供一種系統，所述系統根據用於編碼的上述方法 支持數據傳輸。
另一方面，提供一種系統，所述系統根據用於解碼的上述方法 支持數據傳輸。
還提供一種數據傳輸系統，包括至少一個編碼設備，用於執行
可伸縮編碼視頻數據的方法，包括步驟獲取所述視頻數據；基於 所述獲取的視頻數據產生基本層圖像，基本層圖像包括至少一個條 帶，所述條帶對應於所述基本層圖像中的區域；並產生對應於所述 基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像 包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶 對應於所述增強層圖像中的區域，其中所述至少 一個所述FGS條帶 對應的區域不同於所述基本層圖像中所述條帶對應的區域，編碼所 述基本層圖像和所述至少 一個增強層圖像得到編碼視頻數據，以及 一種解碼設備，用於執行編碼視頻數據的可伸縮解碼方法，包括步 驟獲取所述編碼視頻數據，識別所述編碼視頻數據中的基本層圖 像和至少一個增強層圖像；所述基本層圖像包括至少一個條帶，所 述條帶對應於所述基本層圖像中的區域；以及對應於所述基本層圖 像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少 一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應於所 述增強層圖像中的區域，其中所述至少一個所述FGS條帶對應的區 域不同於所述基本層中條帶對應的區域，以及通過合併所述基本層 圖像和所述至少 一 個增強層圖像解碼所述編碼視頻數據，得到解碼 視頻數據。
提供一種計算程序產品，包括計算機可讀存儲結構，其上包含 電腦程式代碼，用於由電子設備主控的計算機處理器執行，其中 所述電腦程式代碼包括用於執行上述編碼方法的指令。
還提供一種電腦程式產品，包括計算機可讀存儲結構，其上 包含電腦程式代碼，用於由電子設備主控的計算機處理器執行，
其中所述電腦程式代碼包括執行上述解碼方法的指令。
還提供一種實施在載波中和表示指令的計算機數據信號，當其
被處理器執行時，導致編碼方法的操作被執行。
還提供一種用於視頻數據的可伸縮編碼的模塊，包括獲取組
件，用於獲取所述視頻數據；產生組件，用於基於獲取的視頻數據 產生基本層圖像；產生組件，用於基於所述獲取的視頻數據和所述 基本層產生至少一個增強層圖像，基本層圖像包括至少一個條帶，
所述條帶對應於所述基本層圖像中的區域；且至少 一個增強層圖像 對應於所述基本層圖像，其中所述至少一個增強層圖像包括至少一 個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應於所述 增強層圖像中的區域；以及定義組件，用於以如下方式定義所述一 個或多個產生的增強層FGS條帶的所述至少一個，即所述FGS條帶 對應的區域不同於所述基本層圖像中條帶對應的區域；以及編碼組 件，用於編碼所述基本層和所述至少一個增強層，得到編碼視頻數 據的。
還提供一種用於編碼視頻數據的可伸縮解碼的模塊，包括獲 取組件，用於獲取所述編碼視頻數據；識別組件，用於識別所述編 碼視頻數據中基本層圖像和至少 一個增強層圖像；其中所述基本層 圖像包括至少 一個條帶，所述條帶對應於所述基本層圖像中的區域； 以及對應於所述基本層圖像的至少 一個增強層圖像，其中所述至少 一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少 一個FGS條帶對應於所述增強層圖像中的區域，其中所述所述FGS 條帶的至少 一個對應的區域不同於所述基本層圖像中條帶對應的區 域，以及解碼組件，用於通過合併所述基本層和所述至少一個增強 層解碼被編碼的視頻數據，得到解碼視頻數據。
還提供一種實施在載波中和表示指令的計算機數據信號，當其 被處理器執行時，導致用於解碼的方法的操作被執行。
由此，現在提供了一種用於在這樣的意義下對FGS條帶靈活編 碼的方法，即由FGS條帶覆蓋的區域獨立於其基本層圖像。並因此， 每個FGS平面可以具有不同於"基本層"的條帶數量。
本發明的更多優勢將在閱讀本發明實施方式的詳細說明時明 晰，基於此，創造性概念是很容易理解的。
在詳細說明和附圖中，為清晰起見，相同或相似的組件，單元 或設備被標以相同的參考數字。
附圖被用來提供對本發明的進一 步理解，它被引入說明書並組 成說明書的一個部分。
了本發明的實施方式，並與描述一 起用來解釋本發明的原理。在附圖中，
圖1示意性地示出便攜客戶電子設備的示例框圖，其基於蜂窩
終端物設備被典型地實施；
圖2是根據本發明的編碼原理的詳細圖示；
圖3是根據本發明的解碼原理的詳細圖示；
圖4繪出根據本發明表示的編碼側的操作序列；
圖5繪出根據本發明表示的解碼側的操作序列；
圖6表示根據示出所有組件的本發明的編碼模塊；
圖7表示根據示出所有組件的本發明的解碼模塊。
雖然本發明是參考根據附圖的實施方式被說明的，但顯然本發
明並不限於此，而是它可以在所附權利要求的範圍內以多種方式修改。
在下文對各種實施方式的描述中將參考附圖，其構成說明書的 一部分，並且其中通過圖示本發明可被實施的各種實施方式來表示。 應該理解，其他可能^f吏用的實施方式以及可能f文出的結構性和功能 性修改沒有脫離本發明的範圍。貫穿附圖和說明書，儘可能使用相 同的參考編號來指代相似或相同的部分。
具體實施例方式
圖1繪出了根據本發明的一個實施方式的一種典型的行動裝置。 圖1中表示的行動裝置10能夠進行蜂窩數據和語音通信。應當指出， 這種特定實施方式以說明的方式代表了多種實施方式中的一種，本 發明不限於此特定的實施方式。行動裝置10包括(主)微處理器或 微控制器10 0以及與控制行動裝置的操作的微處理器相關聯的組件。 這些組件包括連接到顯示模塊135的顯示控制器130、非易失性存儲
器140、易失性存儲器150 (例如，隨機存取存儲器(RAM))、連 接到麥克風161的音頻輸入/輸出(I/O)接口 160、揚聲器162和/ 或聽筒163、連接到小鍵盤175或鍵盤的小鍵盤控制器170、任何輔 助輸入/輸出(1/0)4妻口 200、以及短程通信接口 180。這樣的設備 還典型地包括被總體示為190的其他設備子系統。
行動裝置10可以在語音網絡上通信，和/或在數據網絡上同樣地 通信，例如，任何公共陸地行動網路(PLMN)，形式上是例如數字 蜂窩網絡，尤其是GSM (全球移動通信系統)或UMTS (通用移動 通信系統)。典型地，語音和/或數據通信通過空中接口被操作，即 與基站(BS)或節點B (沒有示出)的其他部件(如上)協作的蜂 窩通信接口子系統，其中基站(BS)或節點B是蜂窩網絡基礎設施 的無線接入網絡(RAN)的一部分。參考如圖1中說明性描述的蜂 窩通信接口子系統，包括蜂窩接口 110、數位訊號處理器(DSPH20、 接收器(RX) 121、發送器(TX) 122、以及一個或多個本地振蕩器 (L〇)123,它支持與一個或多個公共陸地行動網路(PLMN)的通 信。數位訊號處理器(DSP) 120發送通信信號124到發送器(TX) 122，並從接收器(RX) 121接收通信信號125。除了處理通信信號 之外，數位訊號處理器120還提供接收器控制信號126和發送器控 制信號127。例如，除分別對將要發送信號的調製和對接收信號的解 調製外，接收器(RX) 121和發送器(TX) 122中通信信號所應用 的增益水平可以通過實施在數位訊號處理器(DSP) 120中實施的自 動增益控制算法自適應地控制。其他收發器控制算法也可以在數字 信號處理器(DSP) 120中實施，以提供收發器122更為複雜的控制。 當行動裝置IO通過PLMN的通信發生在單一頻率或一組密集分布頻 率上時，單個的本地振蕩器(LO) 123可以與發送器(TX) 122和 接收器(RX) 121協同使用。可選地，如果不同的頻率被用於語音/ 數據通信或發送與接收，則多個本地振蕩器128可被用以產生多個 相應的頻率。儘管圖1中描述的天線129可以是不同的天線系統(未 示出)，行動裝置IO可以如圖所示地使用單天線結構用於信號接收
及發送。包括語音和數據信息兩者在內的信息經由接口 110與數字
信號處理器(DSP) 120之間的數據鏈路在蜂窩接口 IIO之間往來通 信。蜂窩接口 IIO的詳細設計，例如頻帶、組件選擇、功率水平等， 將依賴於其中旨在操作行動裝置100的無線網絡。
在完成了所有所需的網絡註冊或激活過程之後(該過程可能涉 及在蜂窩網絡中註冊所需的訂戶識別模塊(SIM) 210)，然後移動 設備10可以通過無線網絡發送和接收通信信號，包括語音和數據信 號。由天線129從無線網絡接收到的信號被路由給接收器121，其提 供如下操作信號放大、頻率下變頻、濾波、通道選擇以及模數轉 換。接收信號的模數轉換允許使用數位訊號處理器(DSP) 120執行 更為複雜的通信功能，例如數字解調和解碼。以類似的方式，將要 被發送的信號由例如數位訊號處理器(DSP) 120處理(包括調製和 編碼)，而後提供給發送器122用於數模轉換、頻率上變頻、濾波、 放大，並經由天線129傳輸到無線網絡。
可被指定為設備平臺微處理器的微處理器/微控制器(HC) 100 管理行動裝置10的功能。由處理器IIO使用的作業系統軟體149優 選地在例如非易失性存儲器140中永久地存儲，其可被實施為例如 快閃記憶體、支持電池的RAM、任何其他的非易失性存儲技術、或其組合。 除了控制行動裝置10的低層功能和(圖形)基本用戶界面功能的操 作系統149之外，非易失性存儲器140還包括多個高層軟體應用程 序或模塊，例如語音通信軟體應用程式142、數據通信軟體應用程式 141、組織器模塊(未示出)、或其他任何類型的軟體模塊(未示出)。 這些模塊被處理器IOO執行並提供行動裝置IO與其用戶之間的高層 接口 。該接口典型地包括通過受控於顯示控制器130的顯示器135 提供的圖形組件、以及通過小鍵盤控制器170與處理器100連接的 小鍵盤175提供的輸入/輸出組件、輔助輸入/輸出(I/O)接口 200、 和/或短程(SR)通信接口 180。輔助1/0接口 200尤其包括USB(通 用串行總線)接口、串行接口、 MMC (多媒體卡)接口和相關接口 技術/標準、以及其他任何標準化的或私有的數據通信總線技術，而短程通信接口射頻(RF)低功率接口尤其包括WLAN(無線區域網) 和藍牙通信技術或IRDA (紅外數據接入)接口。這裡引入的RF低 功率接口應特別糹皮理解為包括任何IEEE 801.xx標準技術，其描述可 從電子電氣工程師協會獲得。此外，輔助1/0接口 200和短程通信接 口 180可以分別表示一個和多個接口 ，這些接口分別支持一個或多 個輸入/輸出接口技術和通信接口技術。
作業系統、特定的設備軟體應用或模塊或其部分可以被暫時性 地加載到易失性存儲器150中，例如典型地基於DRAM (直接隨機 存取存儲器)技術實現的隨機存取存儲器，以便更快地操作。此外， 接收到的通信信號在被永久性地寫入文件系統前，也可以被暫時性 地保存在易失性存儲器150中，其中文件系統位於非易失性存儲器
儲器上。應當理解，上述組件代表了這裡以蜂窩電話形式實施的傳 統行動裝置10的典型組件。本發明不限於這些特定組件，對其實現 的描述僅為說明之用及出於完整性考慮。
行動裝置10的示例性軟體應用模塊是個人信息管理器應用程 序，其提供PDA (個人數字助理)功能，典型地包括聯繫人管理器、 日曆、任務管理器等。這樣的個人信息管理器由處理器100執行， 可訪問行動裝置10的組件，也可與其他軟體應用才莫塊交互。例如， 與語音通信軟體應用的交互使其可以管理電話呼叫、語音郵件等， 並且與數據通信軟體應用程式的交互使其可以管理SMS (短消息服 務)、MMS (多媒體服務)、電子郵件通信和其他數據傳輸。非易 失性存儲器140優選地提供文件系統以利於永久保存設備上數據項， 具體包括日曆條目、聯繫人等。與例如經由蜂窩接口、短程通信接 口或輔助I/O接口的網絡進行數據通信能力支持經由這些網絡的上
傳、下載、同步。
應用模塊141到149表示被配置為由處理器IOO執行的設備功 能或軟體應用。在大多數已知的行動裝置中，單個的處理器管理和 控制行動裝置的全部操作及所有設備功能和軟體應用。這個概念適
用於今天的行動裝置。特別地，增強的多媒體功能的實施驅動對計 算能力的需求，該實施包括例如視頻流重現應用、對由集成地或可 拆卸地連接的數位照相機功能獲取的數字圖像和視頻序列的才喿作、 以及還包括複雜圖形學的遊戲應用程式。處理計算能力需求的 一 種 方式是通過實施強大的和通用的處理器內核來解決提高計算能力的 問題，這種方法在過去被沿用。另一個用於提供計算能力的方法是 實現兩個或多個獨立的處理器內核，這是本領域內眾所周知的方法。
管通用處理器被設計為執行多樣性的不同任務，沒有針對事先選定 的特殊任務的專門化，但多處理器設置可以包括一個或多個通用處 理器、以及被配置為處理預定任務集的一個或多個專用處理器。然 而，在一個設備中多個處理器的實施中，特別是在如行動裝置10這 樣的行動裝置中，傳統上需要對組件進行完全和複雜的重新設計。
下文中，本發明將提出一個概念，它允許附加處理器內核與現 有處理設備實施的簡單集成，使得代價高昂的完全和複雜的重新設 計可以被省略。將參考片上系統(SoC)設計加以描述創造性。片上 系統(SoC)是將處理設備的至少多個(或所有)組件集成在單個的
高集成化晶片上的概念。這樣的片上系統可以包含數字、模擬、混 合信號，並常常包含射頻功能——全部在一個晶片上。典型的處理 設備包括執行不同任務的多個集成電路。這些集成電路具體包括微
處理器、存儲器、通用異步結接收器-發送器(UART)、串行/並行 埠、直接存儲器存取(DMA)控制器等。通用異步接收器-發送器 (UART)在數據的並行比特和串行比特之間轉換。導致超大規模集 成(VLSI)電路的半導體技術近來的進展實現複雜性方面的重大增 長，從而有可能將系統的多個組件集成在單一的晶片上。參考圖1, 其一個或多個組件，例如控制器130和160、存儲器組件150和140、 以及接口 200、 180、 IIO中的一個或多個，可以與處理器100—起 集成在單個的晶片中，最終形成片上系統(SoC)。
另外，所述設備10配備有用於根據本發明的創造性操作視頻數
據可伸縮編碼的模塊105和解碼的模塊106。依靠CPU 100，所述模 塊105和106可以單獨被使用。然而，所述設備IO被配置為分別執 行視頻數據編碼或解碼。所述視頻數據可能依靠設備的通信模塊被 接收，也可以被保存在設備10中的任意可能想到的存儲裝置上。
參考附圖2,根據本發明的FGS編碼原理的詳細解釋被描述。 原始的未加工—見頻數據:故用於運動估計，以及還用於編碼基本層EL 和相應的增強層EL。原則上，每個EL包括被編碼的FGS信息，它 可以例如實現解碼器側的進一 步圖像改進。在進行了所有編碼操作 之後，BL數據流和(如果需要)具有附加FGS信息的多於一個的 EL數據流被提供。根據本發明的創造性步驟，FGS信息以如下方式 有利地編碼，即，每個FGS條帶可以覆蓋與基本層圖像中其對應條 帶覆蓋的區域不同的區域。因此，對於沒有被基本層圖像中的一組 條帶準確覆蓋的某個區域，可以基於EL中的FGS信息增強圖像質 量，從而可以通過以更高的質量編碼覆蓋感興趣區域的FGS條帶、 或只編碼覆蓋感興趣區域的FGS條帶，從而實現感興趣區域ROI的 圖4象改進。可選地，由運動估計ME產生的運動向量MV可以4皮進 一步處理或發送給接收器。
圖3繪出了根據本發明的FGS解碼原理。在接收到BL和EL流 之後，FGS解碼器對所述可伸縮編碼的視頻數據提供適當的解碼。 依靠運動向量MV和EL中的FGS條帶，解碼器將根據FGS信息確 定基本層中的哪部分圖像應當被改進。可伸縮解碼技術由此被實現， 同時解碼器可以確定哪些圖像區域應當利用EL的FGS信息。在這 個典型的實施方式中，只有一個EL被描述並^皮相應地解碼，^旦可以 想像解碼器可以處理多個EL。
圖4示出了操作序列，該操作序列圖示出根據本發明的 一般FGS 編碼方法。在操作S400中序列開始。這可能對應於編碼器模塊從例 如照相機獲取未加工視頻數據流的時間，參考操作S410。下一個操 作將根據本操作的創造性步驟使用相應的FGS信息提供可伸縮視頻 編碼。操作S420和S430分別象徵從基本層BL產生或創建(如果
需要)多於一個的增強層EL。對於每個EL,FGS信息將被定義S440， 其中所述信息被包含在對應於基本層圖像某區域的FGS條帶中。在 定義了包含FGS信息的所有相關的FGS條帶之後，編碼器確定基本 層圖像中的哪部分表示ROI,並可由此將條帶中的FGS信息專門用 於該圖像部分，如參考操作S440所示。本發明範圍內的其他實施同 樣也是可以想像到的。
如果不需要進一步處理，則操作序列可以到結束操作S490,也 可以才艮據新的迭^t而 一皮重新啟動。
圖5是根據本發明的FGS解碼方法的操作序列。操作序列在操 作S500被啟動。接下來提供了獲取操作S510，它與例如包含FGS 信息的可伸縮編碼數據流的接收相 一 致。基於所述接收到的編碼數 據流，解碼器導出S520全部所需信息BL、 EL和所謂FGS條帶中 包含的FGS信息。
根據接收到的FGS條帶、基本層和增強層，解碼器被配置為重 構原始序列S530。根據本發明的創造性步驟，接收到的FGS信息可 被用於基本層圖像中的某些感興趣區域。
如果不需要進一步處理，操作序列可能到達結束操作S590,也 可能根據新的迭代而被重新啟動。
參考圖6和圖7,根據本發明的編碼和解碼模塊被描述。所述模 塊可以被實施為軟體、硬體等單獨形式或任意組合形式。
圖6示出用於視頻數據可伸縮編碼的模塊105。所述模塊105包
括獲取組件600,用於獲取所述視頻數據，產生組件610，用於基
於所述獲取的視頻數據產生基本層，產生組件620,用於根據所述視
頻數據和所述基本層產生至少一個相應的可伸縮增強層，其中所述 至少一個增強層包括基於一個或多個增強FGS條帶的精細粒度伸縮
(FGS)信息，所述FGS條帶描述所述基本層中的某些區域；以及 定義組件630,用於以如下方式定義所述一個或多個產生的增強FGS 條帶的至少一個，即所述至少一個產生的增強FGS條帶覆蓋的區域 不同於基本層圖像中相應條帶覆蓋的區域；以及編碼組件640,用於
編碼所述基本層和所述至少 一 個增強層，得到編碼視頻數據。
圖7示出了用於編碼視頻數據的可伸縮解碼的模塊106，包括獲
取組件700，用於獲取所述編碼視頻數據，識別組件710,用於識別 所述編碼視頻數據中的基本層和多個增強層，確定組件720，用於確 定所述多個增強層中關於所述基本層的精細粒度伸縮(FGS)信息， 其中所述FGS信息包括描述所述基本層中某區域的至少 一個FGS條 帶，且所述FGS條帶的至少一個覆蓋的區域不同於所述基本層圖像 中相應條帶所覆蓋的區域，解碼組件730,用於通過合併所述基本層、 所述多個增強層和所述F G S信息解碼所述編碼視頻數據，得到解碼 視頻數據。
儘管本發明參考基於附圖的實施方式被描述，顯而易見的是， 本發明並不限於此，其可以在所附權利要求的範圍內以多種方式修 改。
權利要求
1.一種用於編碼視頻數據的方法，該方法包括-獲取所述視頻數據；-基於所述獲取的視頻數據產生基本層圖像，所述基本層圖像包括至少一個條帶，所述條帶對應於所述基本層圖像中的區域；以及-產生對應於所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應於所述增強層圖像中的區域，-其中，所述FGS條帶的至少一個對應的區域不同於基本層圖像中的所述條帶對應的區域，-編碼所述基本層圖像和所述至少一個增強層圖像，得到編碼視頻數據。
2. 根據權利要求1所述的方法，其中所述至少一個FGS條帶是 視頻編碼標準H.264/AVC的可伸縮擴展中說明的漸進細化條帶。
3. 根據權利要求1所述的方法，其中所述產生所述基本層圖像 和所述至少 一 個增強層圖像是基於所述視頻數據中的運動信息，所 述運動信息由運動估計過程提供。
4. 根據權利要求1所述的方法，其中所述至少一個FGS條帶對 應於圖像中的感興趣區域(ROI)。
5. 根據權利要求1所述的方法，其中所述基本層圖像中條帶的 數量和增強層圖像中FGS條帶的數量不同。
6. 根據權利要求1所述的方法，其中所述FGS條帶被編碼，使 得其具有對應於預定數值的字節數。
7. —種用於編碼視頻數據的可伸縮解碼的方法，包括步驟 -獲取所述編碼視頻數據；-識別所述編碼視頻數據中的基本層圖像和至少 一 個增強層圖所述基本層圖像包括至少一個條帶，所述條帶對應於所述基本層圖像中的區域；並且至少一個增強層圖像對應於所述基本層圖像， 其中所述至少 一 個增強層圖像包括至少 一 個精細粒度伸縮(F G S )條 帶，所述至少一個FGS條帶對應於所述增強層圖像中的區域，其中所述FGS條帶的所述至少 一個對應的區域不同於所述基本 層圖像中的所述條帶對應的區域，通過合併所述基本層圖像、所述至少一個增強層圖像解碼所述 編碼視頻數據，得到解碼視頻數據。
8. 根據權利要求7所述的方法，其中所述至少一個FGS條帶是 稱作H.264/AVC的視頻編碼標準的可伸縮擴展中說明的漸進細化條 帶。
9. 根據權利要求7所述的方法，其中所述基本層圖像和所述增 強層圖像是基於所述編碼視頻數據中的運動信息，所述運動信息由 所述編碼視頻數據提供。
10. 根據權利要求7所述的方法，其中所述至少一個FGS條帶 涉及所述編碼視頻數據中單獨圖像的某些感興趣區域。
11. 根據權利要求7所述的方法，其中所述編碼^L頻數據不包括 覆蓋非感興趣區域的FGS條帶。
12. 根據權利要求7所述的方法，其中所述至少一個FGS條帶 具有接近但小於預定數值的字節數。
13. —種根據權利要求1所述的方法操作的設備。
14. 一種根據權利要求7所述的方法操作的設備。
15. —種用於根據權利要求1所述方法支持數據傳輸的系統。
16. —種用於根據權利要求7所述方法支持數據傳輸的系統。
17. —種數據傳輸系統，包括至少一個編碼設備，用於執行視頻 數據的可伸縮編碼方法，包括步驟-獲取所述視頻數據；-基於所述獲取的視頻數據產生基本層圖像，所述基本層圖像 包括至少一個條帶，所述條帶對應於所述基本層圖像中的區域；以及-產生對應於所述基本層圖像的至少一個增強層圖像，其中所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所 述至少一個FGS條帶對應於所述增強層圖像中的區域，-其中所述FGS條帶的所述至少一個對應的區域不同於所述基 本層圖像中的所述條帶對應的區域。-編碼所述基本層圖像和所述至少一個增強層圖像，得到編碼 視頻數據，以及一種解碼設備，用於執行編碼視頻數據的可伸縮解碼方法，包 括步驟獲取所述編碼視頻數據；識別所述編碼視頻數據中的基本層圖像和至少 一 個增強層圖像；所述基本層圖像包括至少一個條帶，所述條帶對應於所述基本 層圖像中的區域；以及對應於所述基本層圖像的至少 一個增強層圖 像，其中所述至少 一 個增強層圖像包括至少 一 個精細粒度伸縮(F G S ) 條帶，所述至少 一個FGS條帶對應於所述增強層圖像中的區域，其中所述FGS條帶的所述至少一個對應的區域不同於所述基本 層圖像中的所述條帶對應的區域，通過合併所述基本層圖像、所述至少 一個增強層圖像解碼所述 編碼視頻數據，得到解碼視頻數據。
18. —種電腦程式產品，包括計算機可讀存儲結構，其上包含 電腦程式代碼，用於由電子設備主控的計算機處理器執行，其中 所述電腦程式代碼包括用於執行根據權利要求1所述的方法的指 令。
19. 一種電腦程式產品，包括計算機可讀存儲結構，其上包含 電腦程式代碼，用於由電子設備主控的計算機處理器執行，其中 所述電腦程式代碼包括用於執行根據權利要求7所述的方法的指 令。
20. —種實施於載波中並表示指令的計算機數據信號，當其被處 理器執行時，導致權利要求1的操作被執行。
21. —種用於視頻數據的可伸縮編碼的模塊(105),包括 獲取組件(600 ),用於獲取所述視頻數據；產生組件(610),用於產生基於所獲取的視頻數據的基本層圖像；產生組件(620)，用於基於所述獲取的視頻數據和所述基本層 產生至少一個增強層圖像，所述基本層圖像包括至少一個條帶，所 述條帶對應於所述基本層圖像中的區域；且至少 一個增強層圖像對 應於所述基本層圖像，其中所述至少一個增強層圖像包括至少一個 精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應於所述增 強層圖像中的區域；以及定義組件(630 ),用於以如下方式定義所述一個或多個產生的 增強層FGS條帶的至少一個，即所述FGS條帶的所述至少一個對應 的區域不同於所述基本層圖像中的所述條帶對應的區域；以及編碼組件(640 ),用於編碼所述基本層和所述至少一個增強層， 得到編碼視頻數據。
22. —種用於編碼視頻數據的可伸縮解碼的模塊(106)，包括 獲取組件(700)，用於獲取所述編碼視頻數據；識別組件(710),用於識別所述編碼視頻數據中的基本層圖像 和至少 一個增強層圖像；其中所述基本層圖像包括至少 一個條帶，所述條帶對應於所述基本層圖像中的區域；且至少 一 個增強層圖像 對應於所述基本層圖像，其中所述至少 一 個增強層圖像包括至少一 個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應於所述 增強層圖像中的區域，其中所述FGS條帶的所述至少一個對應的區域不同於所述基本 層圖像中的所述條帶對應的區域；以及解碼組件(730 ),用於通過合併所述基本層、所述至少一個增 強層解碼被編碼的視頻數據，得到解碼視頻數據。
23. —種實施於載波中並表示指令的計算機數據信號，當其被處 理器執行時，導致權利要求7的操作被執行。
全文摘要
本發明公開了一種用於基於精細粒度伸縮(FGS)信息的有效的和改進的視頻數據可伸縮編碼和/或解碼的方法，裝置和系統。根據本發明的第一方面，一種用於視頻數據編碼的方法被提出，該方法包括獲取所述視頻數據；基於所述獲取的視頻數據產生基本層圖像，基本層圖像包括至少一個條帶，所述條帶對應於所述基本層圖像中的區域；並產生對應於所述基本層圖像的至少一個的增強層圖像，其中，所述至少一個增強層圖像包括至少一個精細粒度伸縮(FGS)條帶，所述至少一個FGS條帶對應於所述增強層圖像中的區域，其中所述FGS條帶對應的所述至少一個區域不同於所述基礎層中所述條帶對應的區域，編碼所述基礎層圖像和所述至少一個增強層圖像，得到編碼視頻數據。
文檔編號H04N7/26GK101180884SQ200680018048
公開日2008年5月14日 申請日期2006年3月22日 優先權日2005年4月13日
發明者王業奎 申請人:諾基亞公司