對多視角圖像進行編碼和解碼的設備和方法

2023-06-18 15:28:31 2

專利名稱：對多視角圖像進行編碼和解碼的設備和方法
技術領域：
與示例性實施例一致的設備和方法涉及對圖像進行編碼和解碼，更具體地說，涉及在保持與特定視頻編解碼器的兼容性的同時對包括立體圖像的多視角圖像進行編碼和解碼。
背景技術：
在運動圖像專家組(MPEG)-2多視角配置(profile)中，已建立了使用MPEG-2支持三維(3D)圖像服務的標準，但由於該標準具有低編碼效率和應該基於MPEG-2的問題，還沒有被使用。在以下描述中，應該理解，立體圖像是指由左側圖像和右側圖像組成的雙視角圖像，3D圖像是指包括立體圖像的多視角圖像(例如，多於兩個視角的圖像)。此外，國際標準化組織/國際電工委員會(IS0/IEC)和國際電信聯盟(ITU)推動多視角圖像的編碼方法的標準，但所述標準具有基於H. 264的結構。

發明內容
技術問題因此，需要使用現有編解碼器，但是不基於MPEG-2和H. 264的系統不能夠使用現有編解碼器。為了在使用不同的編解碼器(諸如數字影院等)的狀態下有效地應用3D圖像，需要在使用現有編解碼器的同時還新支持3D圖像的方案。該方案被要求在這樣的系統中具有有效的增強除了意圖支持數字影院以外還意圖支持3D圖像，但當前不基於H. 264 或 MPEG-2。技術方案示例性實施例提供一種用於在保持與現有視頻編解碼器的兼容性的同時對3D圖像進行編碼和解碼的設備和方法。示例性實施例還提供一種用於對分層結構的3D圖像進行編碼和解碼的設備和方法。示例性實施例還提供一種用於對分層結構的對多視角圖像進行編碼和解碼的設備和方法。根據示例性實施例的一方面，提供了一種用於對多視角圖像進行編碼的方法，所述方法包括對基本層圖像進行編碼以產生基本層比特流；對基本層圖像執行基於視角的轉換以產生視角轉換的基本層圖像；獲得輸入的增強層圖像和視角轉換的基本層圖像之間的殘差；對獲得的殘差進行編碼以產生增強層比特流。根據另一示例性實施例的一方面，提供了一種用於對多視角圖像進行編碼的設備，所述設備包括基本層編碼單元，對基本層圖像進行編碼以產生基本層比特流；基於視角的轉換單元，對基本層圖像執行基於視角的轉換以產生視角轉換的基本層圖像；殘差檢測單元，獲得輸入的增強層圖像和基於視角轉換的基本層圖像之間的殘差；增強層編碼單元，對獲得的殘差進行編碼以產生增強層比特流。
根據另一示例性實施例的一方面，提供了一種用於對多視角圖像進行解碼的方法，所述方法包括重建基本層比特流以產生重建的基本層圖像；對重建的基本層圖像執行基於視角的轉換以產生基於視角轉換的基本層圖像；對輸入的增強層比特流進行解碼以獲得殘差；將殘差與基於視角轉換的基本層圖像相加以產生增強層圖像。根據另一示例性實施例的一方面，提供了一種用於對多視角圖像進行解碼的設備，所述設備包括基本層解碼單元，重建輸入的基本層比特流以產生基本層圖像；基於視角的轉換單元，對重建的基本層圖像執行基於視角的轉換；增強層解碼單元，對輸入的增強層比特流進行解碼以產生殘差；圖像重建單元，將殘差與基於視角轉換的基本層圖像相加以產生增強層圖像。通過使用示例性實施例的分級結構，可在保持與特定視頻編解碼器的兼容性的同時對立體圖像進行壓縮和編碼。因此，當在使用各種編解碼器的環境中(如在傳統數字影院中)，需要重新對立體圖像進行壓縮和發送時，可在使用現有編解碼器的同時添加新的服務。此外，通過僅接收比特流的一部分，現有解碼器可從由新的系統製作的比特流中連續提供現有服務。


從下面結合附圖的示例性實施例的詳細描述中，以上和其它方面將更加明顯，其中圖1是示出根據示例性實施例的分層多視角圖像編碼設備的配置的示圖；圖2是示出根據示例性實施例的分層多視角圖像解碼設備的配置的示圖；圖3是示出根據示例性實施例的圖1的多視角圖像編碼設備的操作的流程圖；圖4是示出根據示例性實施例的圖2的多視角圖像解碼設備的操作的流程圖。
具體實施例方式以下，將參照附圖描述示例性實施例。在以下描述中，雖然相同的標號在不同的附圖中示出，但是相同的標號將指定相同的元件。此外，在以下描述中發現的各種特定定義 (諸如特定種類的編解碼器(諸如H. 264或VC-I等))僅被提供以幫助一般的理解，而本領域技術人員將清楚，在沒有這樣的定義的情況下，也可實現本發明構思。此外，在以下描述中，可省略對合併於此的公知功能和配置的詳細描述。為了能夠在保持與特定現有編解碼器的兼容性的同時提供新的3D圖像服務，在示例性實施例中，以分層結構設計3D圖像編碼和解碼設備。以下，在示例性實施例中，將以用於對由左側圖像和右側圖像組成的立體圖像進行編碼和解碼的方案作為示例。然而，本發明構思不限於立體圖像，並且可以以相同的方式被應用於多視角圖像(例如，多於兩個視角的圖像)。在示例性實施例中，圖像編碼設備被配置為在基本(或較低)層中，通過現有2D 圖像編解碼器對基本層圖像進行壓縮和編碼，在增強(或較高)層中，通過對具有與基本層的圖像的視點不同的視點的圖像進行壓縮和編碼來對3D圖像數據進行壓縮和編碼。在這種情況下，增強層不使用與基本層的編解碼器結構相似的編解碼器結構(其中，基本層採用與現有方法相同的方式)，而是不管在基本層中使用的編碼種類，將基本層的視點轉換為增強層的視點，對增強層中的兩個視點之間的差進行壓縮和編碼以發送編碼的差。因此，當編碼的差在解碼設備中被解碼時，在重建基本層之後，通過將經由基於視角的轉換獲得的數據與來自增強層的重建數據合併，可重建具有與基本層的視點不同的視點的數據，並且根據需要，可通過僅對基本層進行解碼來重建現有2D圖像。圖1是示出根據示例性實施例的分層多視角圖像編碼設備的配置的示圖。通過分離的相機、輸入接口或文件將左側圖像(即，第一圖像)和右側圖像(即， 第二圖像)輸入到圖1的編碼設備。左側圖像和右側圖像之一被輸入到基本層，並由基本層進行編碼，另一圖像被輸入到增強層，並由增強層進行編碼。以下，在示例性實施例中，假設左側圖像被輸入到基本層，右側圖像被輸入到增強層。然而，相反的情況也是可能的。如果2D圖像或與左眼相應的圖像(即，左側圖像)被輸入到圖像編解碼器，則圖像編解碼器的基本層編碼部分對輸入的左側圖像進行壓縮和編碼。這裡，圖像編解碼器可以是公知的圖像編解碼器(諸如H. 264或VC-I)。參照圖1，公知圖像編解碼器的編碼部分可被用作基本層編碼單元11，這樣，圖1的圖像編碼設備具有與現有圖像編解碼器的兼容性。換句話說，圖1的圖像編碼設備可具有接口單元，該接口單元用於將從特定圖像編解碼器壓縮並編碼的左側圖像輸入為基本層比特流。此外，為了對右側圖像進行編碼，圖1的圖像編碼設備將左側圖像的重建圖像轉換為右側圖像的視點。也就是說，如果從基本層編碼單元11輸入壓縮並編碼的左側圖像， 則基本層重建單元13將壓縮並編碼的左側圖像重建為基本層圖像。隨後，圖1的基於視角的轉換單元15對與左眼或一個視點相應的重建基本層圖像執行基於視角的轉換，將其轉換為與右眼或另一視點相應的圖像。具體地，基於視角的轉換單元15估計左側圖像和右側圖像之間的位移(例如，諸如運動矢量的位移矢量)的程度， 並且使用估計的位移執行左側圖像到右側圖像的基於視角的轉換。也就是說，位移估計和補償單元15作為視角轉換器進行工作，將一個視點的圖像(例如，左側圖像)轉換為另一視點的圖像(例如，右側圖像)。在預測編碼結構中，視角轉換的圖像被用作右側圖像的預測圖像。圖1的殘差檢測單元17可由減法器實現，並在使用估計的位移進行了視角轉換的圖像(即，估計圖像)和具有與重建圖像的視點不同的視點的圖像之間進行減法運算。如上所述，根據示例性實施例，可通過獲得輸入的左側圖像和右側圖像的預測圖像之間的差
來獲得殘差。圖1的殘差轉換單元19控制由殘差檢測單元17獲得的殘差的範圍，增強層編碼單元21對範圍控制的殘差進行壓縮和編碼。圖1的比特流合併單元23將增強層比特流與基本層比特流進行合併。因此，通過對殘差進行壓縮並編碼而獲得的壓縮並編碼的基本層比特流和增強層比特流被重建為將被發送的單個比特流。在這種情況下，為了確定比特流的指定單元是屬於基本層還是屬於增強層，可(例如)插入標記。復用器可被用作比特流合併單元23。圖3是示出根據示例性實施例的圖1的多視角圖像編碼設備的操作的流程圖。參照圖3，在操作301，基本層編碼單元11對輸入的基本層圖像(例如，左側圖像) 進行編碼，並輸出基本層比特流。在操作303，基本層重建單元13對編碼的基本層圖像進行重建，在操作305，基於視角的轉換單元15執行將重建的基本層圖像轉換為增強層圖像(例如，右側圖像)的視點的視角轉換器的功能。隨後，在操作307，減法器17將輸入的增強層圖像和視角轉換的基本層圖像之間的差輸出為殘差，在操作309，增強層編碼單元21對殘差進行編碼，並輸出增強層比特流。如果多個增強層圖像被提供，則各增強層圖像具有不同的視點，並且對每個增強層執行基於視角的轉換。圖2是示出根據示例性實施例的分層多視角圖像解碼設備的配置的示圖。參照圖2，比特流分析單元52與圖1的比特流合併單元23相應。比特流分析單元 52基於標記將輸入比特流分離為增強層比特流和基本層比特流。也就是說，比特流分析單元52檢查標記以確定輸入比特流是增強層比特流還是基本層比特流。如果確定輸入比特流是增強層比特流，則比特流分析單元52將輸入比特流傳送到增強層解碼部分。如果確定輸入比特流是基本層比特流，則比特流分析單元52將輸入比特流傳送到基本層解碼部分。在圖2中，基本層解碼單元M對基本層進行解碼以獲得重建左側圖像。這裡，基本層解碼單元M與圖1的基本層編碼單元11相應，並可使用現有圖像編解碼器(諸如H. 264 和VC-1)的基本層解碼部分實現。換句話說，圖2的圖像解碼設備可具有用於輸入從特定圖像編解碼器輸出的重建左側圖像的接口單元。在圖2中，基於視角的轉換單元56對由基本層解碼單元M重建的左側圖像執行基於視角的轉換，將其轉換為不同視點的圖像(例如，右側圖像)。也就是說，基於視角的轉換單元56使用通過比特流傳送的位移信息(例如，諸如運動矢量的位移矢量)來對重建左側圖像執行基於視角的轉換，將其轉換為與與增強層的視點相應的右側圖像以輸出預測圖像。傳送到圖2中的增強層的比特流被輸入到增強層解碼單元58。增強層解碼單元 58對由圖1的圖像編碼設備編碼並且作為增強層比特流傳送的殘差進行重建。如上所述， 所述殘差是指右側圖像的預測圖像和左側圖像之間的差。殘差逆轉換單元60執行由圖1 的殘差轉換單元執行的轉換的逆處理。在圖2中，可由加法器來實現圖像重建單元62，並且圖像重建單元62通過將從殘差逆轉換單元60輸出的殘差與來自基本層的視角轉換的圖像相加來重建右側圖像。這裡來自基本層的視角轉換的圖像從基於視角的轉換單元56輸出。另一方面，如果僅有基本層的比特流將被重建，而不考慮由圖2的比特流分析單元52提取的增強層的比特流，則可使用現有2D圖像標準方法來重建2D圖像。圖4是示出根據示例性實施例的圖2的多視角圖像解碼設備的操作的流程圖。參照圖4，在操作301，基本層解碼單元M對輸入的基本層比特流進行解碼，並輸出第一視角圖像(例如，左側圖像)。另一方面，在基本層比特流和增強層比特流中，可包括指示相應的比特流是否是需要基於視角的轉換的增強層圖像的標誌信息。因此，如果增強層比特流被輸入，則圖2的比特流分析單元52可通過確認標誌信息來識別相應的比特流是否是增強層比特流。如果在操作403確定相應的比特流是增強層比特流，則在操作405，執行基於視角的轉換的功能的基於視角的轉換單元56將重建的基本層圖像轉換為增強層圖像(例如，右側圖像)的視點。隨後，在操作407，增強層解碼單元58對輸入增強層比特流進行解碼，並輸出殘差。在操作409，加法器62將殘差與視角轉換的基本層圖像相加，並輸出第二視角圖像，即，增強層圖像。如參照圖4所述，如果多個增強層圖像被提供，則各增強層圖像具有不同的視點， 並且對每個增強層執行基於視角的轉換。雖然為了說明的目的描述了示例性實施例，但是清楚的是在不脫離本發明構思的範圍的情況下可進行各種修改。因此，本發明構思不應受限於上述的示例性實施例，而應該由權利要求及其等同特定義。例如，雖然在示例性實施例中描述了單個視點或兩個視點(即，左側圖像和右側圖像)，但也可將根據示例性實施例的圖像編碼和解碼方法提高為多個層從而對多個視點進行分層編碼。這裡，多個視點可與(例如)分別通過三個相機輸入的左側圖像、右側圖像和中心圖像。在這種情況下，右側圖像和中心圖像的層可存在於用於處理左側圖像的基本層的周圍。以下，將描述根據示例性實施例的對多個時間點進行分層編碼的圖像編碼和解碼設備的配置示例。在示例性實施例中，用於對3D圖像(即，多視點圖像)進行編碼的設備包括基本層處理單元，對輸入的第一圖像到第n(其中，η是等於或大於2的自然數)圖像中的第一圖像進行壓縮和編碼；第一增強層處理單元到第(η-1)增強層處理單元，對第二圖像到第η 圖像執行基於視角的轉換，從而第η圖像具有與其它圖像的視點不同的視點(例如，在第二圖像的情況下，其視點不同於第一圖像的視點，在第三圖像的情況下，其視點不同於第一圖像或第二圖像的視點)，獲得第η圖像和所述其它圖像之間的視點的差(例如，殘差)，並對該殘差進行壓縮和編碼；比特流合併單元，通過對從基本層處理單元輸出的比特流和從第一增強層處理單元到第η-1增強層處理單元輸出的比特流進行合併來重建比特流。此外，在示例性實施例中，用於對3D圖像(即，多視角圖像)進行解碼的設備包括比特流分析單元，將輸入比特流分離為第一到第n-1 (其中，η是等於或大於2的自然數)；基本層解碼單元，通過對分離的基本層比特流進行解碼來重建輸入第一圖像；第一增強層處理單元到第η-1增強層處理單元，通過使用檢測的視點信息來對第一增強層到第 η-1增強層比特流進行解碼和轉換以使解碼的比特流具有相應的視點，來重建輸入第二圖像到第η圖像。此外，還可將一個或多個位移矢量(例如，運動矢量)用作轉換變量以將基本層的視點轉換為增強層的視點，並將這些位移矢量插入比特流中。為了將基本層的視點轉換為增強層的視點，可使用特定函數，並可將關於所述函數的參數插入比特流。這裡，特定函數可以是可將左側圖像和右側圖像之間的差表示為像素單元值之間的差的函數。此外，在整個序列單元或在當前幀單元中可選擇性地執行基本層的視點到增強層的視點的轉換。這裡，整個序列是指組成一定時間的運動圖像的多個場景，當前幀是指單個場景。換句話說，圖1所示的情況與單個場景相應，並且對於多個圖像中的每個圖像，都存在左側圖像和右側圖像。如上所述，在整個序列單元或當前幀單元中選擇性地執行基於視角的轉換所需要的位移矢量和參數可被插入序列頭或者幀/場頭。雖然已示出並描述了示例性實施例，但本領域的技術人員應該理解，可以對其形式和細節進行各種改變。
權利要求
1.一種用於對多視角圖像進行編碼的方法，包括以下步驟 對輸入的基本層圖像進行編碼以產生基本層比特流；對基本層圖像執行基於視角的轉換以產生視角轉換的基本層圖像； 獲得輸入增強層圖像和視角轉換的基本層圖像之間的殘差； 對獲得的殘差進行編碼以產生增強層比特流。
2.如權利要求1所述的方法，其中，通過估計基本層圖像和增強層圖像之間的位移矢量來執行基於視角的轉換。
3.如權利要求1所述的方法，其中，執行基於視角的轉換的步驟包括以下步驟 重建編碼的基本層圖像；將重建的基本層圖像的視點轉換為輸入的增強層圖像的視點。
4.一種對多視角圖像進行編碼的設備，包括基本層編碼單元，對輸入的基本層圖像進行編碼以產生基本層比特流； 基於視角的轉換單元，對基本層圖像執行基於視角的轉換以產生視角轉換的基本層圖像；減法器，獲得輸入的增強層圖像和視角轉換的基本層圖像之間的殘差； 增強層編碼單元，對獲得的殘差進行編碼以產生增強層比特流。
5.如權利要求4所述的設備，其中，基於視角的轉換單元通過估計基本層圖像和增強層圖像之間的位移矢量來執行基於視角的轉換。
6.如權利要求4所述的設備，還包括基本層重建單元，重建編碼的基本層圖像； 其中，視點轉換單元將重建的基本層圖像的視點轉換為輸入的增強層圖像的視點。
7.一種對多視角圖像進行解碼的方法，包括以下步驟 重建輸入的基本層比特流以產生重建的基本層圖像；對重建的基本層圖像執行基於視角的轉換以產生視角轉換的基本層圖像； 對輸入的增強層比特流進行解碼以獲得殘差； 將殘差與視角轉換的基本層圖像相加以產生增強層圖像。
8.如權利要求7所述的方法，其中，通過估計基本層圖像和增強層圖像之間的位移矢量來執行基於視角的轉換。
9.如權利要求7所述的方法，其中，執行基於視角的轉換的步驟包括以下步驟將重建的基本層圖像的視點轉換為增強層圖像的視點。
10.一種對多視角圖像進行解碼的設備，包括基本層解碼單元，重建輸入的基本層比特流以產生基本層圖像； 基於視角的轉換單元，對重建的基本層圖像執行基於視角的轉換以產生視角轉換的基本層圖像；增強層解碼單元，對輸入的增強層比特流進行解碼以獲得殘差； 加法器，將殘差與視角轉換的基本層圖像相加以產生增強層圖像。
11.如權利要求1所述的方法、權利要求4所述的設備、權利要求7所述的方法或權利要求10所述的設備，其中，用於在基本層比特流和增強層比特流之間進行區分的標誌信息被插入每個比特流。
12.如權利要求10所述的設備，其中，基於視角的轉換單元通過估計基本層圖像和增強層圖像之間的位移矢量來執行基於視角的轉換。
13.如權利要求10所述的設備，其中，視點轉換單元將重建的基本層圖像的視點轉換為增強層圖像的視點。
14.如權利要求1所述的方法、權利要求4所述的設備、權利要求7所述的方法或權利要求10所述的設備，其中，如果多視角圖像是立體圖像，則基本層圖像和增強層圖像與左側圖像和右側圖像中的任何一個相應。
15.如權利要求1所述的方法、權利要求4所述的設備、權利要求7所述的方法或權利要求10所述的設備，其中，多個增強層圖像被提供，各增強層圖像具有不同的視點，並且對於每個增強層，執行基於視角的轉換以及殘差的編碼。
全文摘要
提供了一種用於對包括立體圖像的多視角圖像進行編碼和解碼的設備和方法。用於對多視角圖像進行編碼的設備包括基本層編碼單元，對基本層圖像進行編碼以產生基本層比特流；基於視角的轉換單元，對基本層圖像執行基於視角的轉換以產生視角轉換的基本層圖像；減法器，獲得增強層圖像和視角轉換的基本層圖像之間的殘差；增強層編碼單元，對獲得的殘差進行編碼以產生增強層比特流。
文檔編號H04N13/00GK102308583SQ201080006714
公開日2012年1月4日 申請日期2010年2月4日 優先權日2009年2月4日
發明者鄭載宇, 金大熙 申請人:三星電子株式會社