用於編碼3d視頻信號的方法和系統、封裝的3d視頻信號、用於3d視頻信號解碼器的方法和系統的製作方法

2023-10-21 11:53:42

專利名稱：用於編碼3d視頻信號的方法和系統、封裝的3d視頻信號、用於3d視頻信號解碼器的方法和系統的製作方法
技術領域：
本發明涉及視頻編碼和解碼領域。它給出了 一種用於編碼3D視頻 信號的方法和系統。本發明還涉及一種用於解碼3D視頻信號的方法和 系統。本發明還涉及一種經過編碼的3D視頻信號。
背景技術：
進來，人們對在3D圖像顯示器上提供3D圖像產生了極大興趣。 在成像方面，3D成像被認為是繼彩色成像之後的下一個重大創新。我 們現在正處於為消費市場引入自動立體成像顯示器的時候。
3D顯示設備通常具有在其上顯示圖像的顯示屏。
基本上，使用立體對(stereo pair)，也就是定向到觀看者的雙眼的 兩個稍微不同的圖像，可以產生三維效果。
產生立體圖像的方式有好幾種。圖像可以在2D顯示器上時間復 用，但是這需要觀看者佩戴具有例如LCD快門的眼鏡。當同時顯示立 體圖像時，這時可以使用頭戴顯示器或者使用偏振眼鏡(然後，圖像 是用正交偏振光產生的)來將圖像定向到恰當的眼睛。觀察者佩戴的 眼鏡將會有效地將視圖傳遞到每一隻眼睛。眼鏡中的快門或偏振片與 幀速率同步，以便控制所述傳遞。為了防止閃爍，相對於二維等價圖 像來說，幀速率必須翻倍或者解析度必須減半。這種系統的缺點在於 必須佩戴眼鏡來產生任何效果。這對於那些不熟悉眼鏡佩戴的觀察者 來說是不愉快的，而且對於已經佩戴眼鏡的觀察者來說是潛在的問題， 因為附加一對眼鏡並不總是適合。
代替接近觀看者的眼部，兩個立體圖像還可以在顯示屏幕上藉助 於視差格柵之類的分割屏幕來分割，其例如示於US5，969，850。這種設 備被稱為自動立體成像顯示器，因為其自身(自動)提供立體成像效 果而不使用眼鏡。若干不同類型的立體成像設備是已知的。
無論使用什麼類型的顯示器，3D圖像信息都必須被提供給顯示設 備。這通常是以採用包含數字數據的視頻信號的形式來完成的。
7由於數字成像中固有的巨量數據，數字圖像的處理和/或傳輸構成 了很大的問題。在很多環境中，可獲得的處理能力和/或傳輸容量不足 以處理和/或傳送高質量的視頻信號。更特別地，每個數字圖像幀都是 由像素陣列形成的靜止圖像。
原始數字信息量通常是巨大的，需要大的處理能力和/或大的傳輸
速率，而這並不是總是可獲得的。包括MPEG-2、 MPEG-4和H.263 的各種壓縮方法已被提出來減小傳輸數據量。
這些壓縮方法本來是為標準的2D圖像建立的。
3D圖像的生成通常是通過在顯示器端將輸入的經過編碼的2D視 頻信號轉換成3D視頻信號來完成的。就在顯示視頻序列之前，輸入的 2D數據序列被轉換成3D序列。經常在顯示器端在2D圖像的像素中 添加深度圖(depth map),所述深度圖提供關於圖像內像素的深度的信 息並且由此提供3D信息。通過為圖像使用深度圖，可以構建提供3D 圖像的左眼和右眼圖像。例如，2D圖像內對象的相對深度可以從焦距 (焦距內，焦距外)或者對象如何相互模糊中推導得出。
由於在顯示器端生成的3D信息具有瑕瘋，存在對生成改進3D信 息的需求。在獲取端生成的3D信息可以提供改進的3D圖像渲染，這 是因為
-有可能在獲取端具有更強大的計算 -有可能實施離線處理 -有可能進行手動幹預
如果3D信息是在獲取端生成的，則有必要傳送該信息，並且為了 在比特率方面具有低的額外開銷，則需要壓縮3D信息。優選地，3D 信息的壓縮(或編碼)是以一種可以使用現有壓縮標準僅做相對較小 調整實施3D信息壓縮的方式執行的。
3D信息經常是以具有深度圖(z圖)的圖像的形式給出的。
越好的深度圖使3D顯示器能夠產生越大的深度。但是，深度再現 程度的增大將會導致產生圍繞深度不連續性的可見瑕疵。這些可見瑕 瘋將會極大損害改進的深度圖的正面效果。此外，傳輸能力是有限的， 並且編碼效率是非常重要的。
由此，本發明的一個目的是提供一種用於在傳輸端編碼3D圖像數 據的方法，其中在保持編碼數據內部的數據量處於界內的同時，圍繞200880021844.7
說明書 進編碼器、用於 解碼3D視頻信號的解碼器以及3D視頻信號。
發明概述
為此目的，根據本發明的編碼方法的特徵在於3D視頻信號被編 碼，經過編碼的3D視頻信號包括中心視圖視頻幀、用於中心視圖視頻 幀的深度圖以及用於中心視圖視頻幀的遮擋數據幀，其中在用於中心 視圖的深度圖中的數據的控制下，為該遮擋數據幀數據產生一個用於 將遮擋數據幀中的功能性數據與非功能性數據區分開來的指示裝置， 該遮擋數據幀隨後被編碼。
在實踐中，這意味著在遮擋數據幀中存在著沒有生成相關遮擋(即 非功能性)數據的區域。該方法包括"開關功能"，其中該開關具有至 少兩種設置，在一種設置中，數據被識別為非功能性的，也就是說， 數據不依賴於實際視頻內容和/或是不相關的，在另一種設置中，數據 則被識別為功能性數據，也就是依賴於視頻內容並且相關的數據。能 夠將非功能性數據與功能性數據區分開來，這允許提高後續編碼的編 碼效率和/或減少所傳送的比特數量。
在優選實施例中，遮擋數據幀是在深度圖編碼之後被編碼的。原 則上，原始深度圖可以被使用。但是，在解碼器端將會使用逆向處理， 並且在解碼器端，"原始"深度圖將不再可用，可用的僅僅是經過編碼 的版本。在編碼器端使用原始而非經過編碼/解碼的深度圖，這會導致 不確定性，因為在解碼器端的處理並不是完全相同的。
在一個實施例中，在深度圖中的數據的控制下，在遮擋數據幀中 生成固定值或固定範圍內的值，作為區分非功能性數據的指示裝置。
然後，這個固定值(例如純黑或純白)由解碼器加以解釋，即使 遮擋數據幀的像素可以具有一個值，即固定值或固定範圍內的值，該 遮擋數據幀也不會被視為真實的遮擋數據，也就是說，它並不涉及相 關視頻信息。這允許極大地減少比特和提高編碼效率。如果選擇固定 範圍作為通常在圖像中存在錯誤時生成的值(例如純黑)，那麼將獲得 附加的優點。優選地，具有固定值或固定範圍內的任何功能性數據被替換成與固定值不同或固定值範圍以外的值，由此排除用於功能性數 據的固定值或值範圍。例如，這可以容易地通過剪輯輸入遮擋數據來 執行。所述剪輯將提供'自由範圍，的值(即經過剪輯的值)，然後，這 其中的一個或所有值可以被用作非功能性數據的指示裝置。
在這樣的實施例中，，所述指示隨後將會顯性包含在遮擋數據幀內
的數據中，也就是說某些值代表非功能性數據。
優選地，固定值或固定值範圍作為元數據引入到視頻信號中。 該指示裝置還可以是採用插入到數據流中的參數的形式，其中該
參數允許解碼器將遮擋數據幀數據內的非功能性數據和功能性數據區
分開來。
本發明是以如下洞察為基礎的
深度圖是在獲取端生成的，由於在獲取端可以得到更多和更詳細 的信息，因此能夠產生更好的深度圖。
與在接收端生成遮擋數據相比，提供用於中心視圖幀的遮擋數據 幀，這使得能實現3D圖像質量可感知的改進。
例如且優選地，通過在遮擋數據幀中使用固定值而將功能性數據 與非功能性數據區分開來的能力極大減少了所要傳送的數據量並且提 高了編碼效率。
深度圖中的數據為將功能性和非功能性數據區分開來提供了很好 的基礎。
本發明還可以在用於編碼3D視頻信號的編碼器中實現，其中經過 編碼的3D視頻信號包括中心視圖視頻幀、用於中心視圖視頻幀的深度 圖以及用於中心視圖視頻幀的遮擋數據幀，其中該編碼器包括用於將 被編碼的中心視頻數據幀、用於中心視圖數據幀的深度圖以及遮擋數 據幀的輸入，該編碼器包括控制器，該控制器基於用於深度圖的數據 來控制開關，所述開關為該遮擋數據幀數據生成非功能性數據或功能 性數據。
優選地，在控制中應用深度不連續性閾值，其中深度圖中深度不 連續性小於閾值是一個確定因素。優選地，遮擋數椐在深度圖編碼之 後生成。這是因為遮擋數據是在深度不連續性充分高(高於某個閾值) 的情況下產生的，並且深度不連續性會因為壓縮處理而在原始和編碼 深度之間改變。因此，如果不是在解碼深度圖上確定遮擋數據，所使用的閾值可能低於實際定義的閾值。這將會導致產生超出嚴格需要的 遮擋數據，而這進而又導致更高的比特率。
當相鄰像素的深度值相差很大數量的時候，出現深度不連續性。 一個對象有可能隱藏在另一個對象之後的狀況可以通過深度值的跳變
來推導得出。突然變化是從前景到背景對象、或更一般是從一個對象 變化到另一個對象的圖像變化的指示。平滑改變的值指示的是對象內 的變化。遮擋數據僅僅是在深度不連續性(也就是相鄰像素之間的深 度值變化)大於閾值、也就是足夠大的時候生成的。
遮擋數據是為"前景對象之後的"區域生成的，其中該區域即為與 深度值變化超過閾值的線或點相鄰的區域。此類區域可以容易地通過 圖像中超過閾值的深度不連續性來區分。優選地，該閾值是從深度圖 中的數據計算得到的。這是在控制器中完成的。可替換地，所述閾值 可以被設定成固定值，但是優選是動態計算得到的，這是因為不同的 圖像有可能具有不同的內容，所述內容會對最優閾值產生影響。優選
地，控制器具有用於插入在經過編碼的3D圖像數據中使用的閾值的輸 出。然後，這個閾值可以在解碼器中使用，由此在解碼器中不再需要 確定所使用的閾值。
目前業已發現，更進一步的比特減少可以通過縮減遮擋數據幀數 據來獲得。
遮擋數據填充前景對象周圍的邊緣。縮減遮擋數據幀中的數據已 顯示只對質量產生有限的作用，同時還減少經過編碼的3D信號內的比 特數量。
在優選實施例中，控制器具有用於經過編碼的遮擋數據幀的比特 率的輸入。
由此，控制器可以調整用於區分"功能性"和"非功能性"的參數， 並且由此調整遮擋數據幀中功能性與非功能性數據的比值。這提供了 手動幹預的可能性。在實踐中，這例如可以意味著閾值是依照比特率 調整的，使得如果比特率有變得過大而超過為遮擋數據幀分配的比特 率的危險，那麼閾值將會提升從而使得具有功能性數據的幀區域減小。
在另一個實施例中，視頻深度圖和遮擋數據幀將被編碼，其中遮 擋數據幀是在編碼中使用 一個或多個中心視圖幀作為參考幀來編碼 的。200880021844.7
說明書第6/24頁 對於優選實施例觀察到，在為遮擋數據幀使用來自中心視圖的參 考幀時，遮擋數據幀的編碼效率顯著提升。在一開始，這一點聽上去 相當令人驚訝，因為遮擋數據包含那些在中心視圖中無法看到並且由 此在中心視圖幀中不可用的數據。但是，由於前景對象的運動，遮擋 數據與接近於中心視圖中的前景對象的中心視圖數據的相關性可能很 高。已經發現，通過將來自中心視圖的參考幀用於編碼遮擋數據幀， 顯著提高了遮擋數據幀的編碼效率。
遮擋數據的數量受視頻深度圖限制。在本發明的框架內，遮擋數 據幀的生成優選也被局限於最大視角範圍。由此，遮擋數據量是受視 頻深度圖以及(在優選實施例中)最大視場或最大視角限制的。在這 樣的實施例中，遮擋數據被局限於在給出深度圖和向左及向右的最大 位移(即視角)的情況下看到的數據。因此，超過中心視圖數據以及 用於中心視圖數據的深度圖所需數量的附加數據量是有限的，僅需要 有限的附加比特。優選地，解碼器中的控制器具有用於最大視角範圍 的輸入。
在本發明中，遮擋數據是在視頻數據收集端生成的。 應該注意的是，在接收機端生成一種類型的遮擋數據是已知的。 但是，當在接收機端基於中心視圖和用於中心視圖的深度圖來執行該 處理時，由於基本上不知曉隱藏在中心圖中的前景對象之後的內容， 因此，這時不能真實重建遮擋數據，也就是說，不能重建前景對象之 後的內容。因此，遮擋數據通常是通過"有根據的推測"類型的算法從 中心視圖生成的。遺失的部分被猜測得到和填充。
此外還應該注意，全3D技術並不能或者至少不容易與當前的編碼 技術相兼容。在本發明中，所有編碼數據都只涉及一個視角和一個坐 標系統，由此使其更易於與現有技術兼容。
在視頻信號處理中，信號是由幀內編碼和幀間編碼幀，例如I幀、 P幀和B幀構成的。I幀是幀內編碼的。P和B幀淨皮稱為幀間編碼幀。 幀內編碼幀可以在不參考其它幀的情況下重建；幀間編碼幀則是使用 其它幀(前向或反向預測)的數據重建的。
本發明是在用於編碼的方法中實現的，但是同樣是在具有用於執 行該方法的不同步驟的裝置的相應編碼器中實現的。這些裝置可以在 硬體或者軟體中提供，或者硬體和軟體的任何組合或者共享軟體中提
12供。
本發明還可以在所述編碼方法產生的信號中實現，以及在用於解 碼此類信號的任何解碼方法和解碼器中實現。
特別地，本發明還可以在用於對經過編碼的視頻信號進行解碼的
方法中實現，其中3D視頻信號被解碼，該3D視頻信號包括經過編碼 的中心視圖視頻幀、用於中心視圖視頻幀的深度圖以及用於中心視圖 視頻幀的遮擋數據幀，經過編碼的視頻信號包括用於區分非功能性遮 擋數據和功能性遮擋數據的指示，其中在解碼中產生包含功能性遮擋 數據和中心視圖數據的組合數據流。
本發明還可以在用於解碼經過編碼的視頻信號的解碼器中實現， 其中3D視頻信號被解碼，該3D視頻信號包括經過編碼的中心視圖視 頻幀、用於中心視圖視頻幀的深度圖以及用於中心視圖視頻幀的遮擋 數據幀，經過編碼的視頻信號包括用於區分非功能性遮擋數據和功能 性遮擋數據的指示，其中該解碼器包括用於產生組合數據流的組合器， 所述組合信號包括功能性遮擋數據和中心視圖數據。
本發明的這些和其它方面將會藉助示例並且參考附圖而被更詳細 地說明，其中
附圖簡述


圖1示出的是自動立體成像顯示設備的示例，
圖2和3示出的是遮擋(occlusion)問題，
圖4示出的是計算機生成場景的左視圖和右視圖，
圖5在三個數據圖中示出了圖4的表示；中心視圖、用於中心視
圖的深度圖以及用於中心視圖的遮擋數據，
圖6示出的是根據本發明的編碼方案和編碼器，
圖7示出的是根據本發明的解碼方案和解碼器的實施例，
圖8示出的是根據本發明的解碼方案和解碼器的另 一個實施例，
圖9示出的是其中可以看見遮擋數據的塊網格排列的中心視圖數
據和遮擋數據放大，
圖10示出的是編碼/解碼方案，
圖11和12示出的是另外的編碼/解碼方案
圖13示出的是在編碼遮擋幀中使用中心視圖幀作為參考幀的編碼方法，
圖14示出的是在編碼用於遮擋幀的深度圖中使用用於中心視圖幀 的深度圖作為參考幀的編碼方法，
圖15示出的是在解碼遮擋幀中使用中心視圖參考幀的解碼步驟， 圖16示出的是本發明的另外的實施例，
這些附圖並不是按比例繪製的。通常，相同的元件在圖中用相同 的參考數字表示。
優選實施例詳述
圖1示出的是一種自動立體成像顯示設備的基本原理。該顯示設 備包括用於形成兩個立體圖像5和6的透鏡狀屏幕分裂器3。兩個立體 圖像的垂直線(在空間上)交替地顯示在例如具有背光1的空間光調 制器2 (例如LCD)上。背光連同空間光調製器一起形成像素陣列。 透鏡狀屏幕3的透鏡結構會將立體圖像指引到觀看者的恰當的眼睛。
在圖2和3中示出了遮擋問題。在這個圖中，用"背景"指示的線 條是背景，並且用"前景"指示的線條代表位於背景前方的對象。"左" 和"右"代表這個場景的兩個視圖。例如，這兩個視圖可以是用於立體 結構的左和右視圖，或者對於使用n視圖顯示器的情形，這兩個視圖 是最外部的視圖。n視圖顯示器所需要的其餘n-2個視圖應該在顯示器 端生成。用L+R表示的線條可以通過兩個視圖來觀察，而L部分則只 能從左視圖中觀察並且R部分只能從右視圖中觀察。因此，R部分不 能從左視圖觀察，且類似地，L部分不能從右視圖中觀察。在圖3中， "中心，，指示的是中心視圖。從這個圖中可以看出，可以從中心視圖看
到圖3所示背景的L和R部分中的一部分(分別是L1和Rl )。然而， L和R部分的一部分從中心視圖看不到，因為該部分隱藏在前景對象 之後。用Oc指示的這些區域是為中心視圖遮擋的區域，但是這些區域 是可以從其它視圖中看到的。從圖中可以看出，遮擋區域通常在前景 對象邊緣出現。僅僅從中心視圖和深度圖生成3D數據會造成遮擋區域 的問題。隱藏在前景對象之後的圖像部分的數據是未知的。
更好的深度圖轉而使3D顯示器能夠產生更大的深度。深度再現的 提升將會因為缺少遮擋數據而導致在深度不連續的位置周圍出現可見 瑕疵。因此，本發明人認識到了高質量的深度圖對於遮擋數據的需要。圖4示出了計算機生成場景的左視圖和右視圖。行動電話漂浮在 具有黃色花磚地面和兩面牆的虛擬房間中。在左視圖中，農夫清楚可 見，而在右視圖中則看不到他。右視圖中的褐色奶牛的情況相反。
在圖5中，我們具有與如上所述相同的場景。現在，根據本發明， 該場景是用三個數據圖表示的，即具有用於中心視圖的圖像數據的圖、 用於中心視圖的深度圖以及用於中心視圖的遮擋圖，其中遮擋數據由 視頻深度圖確定。功能性遮擋數據的範圍由深度圖確定。基本上，它 遵循中心視圖中的深度階梯線。在本示例中，包含在遮擋數據中的區 域是由沿著行動電話輪廓的條帶形成的。該條帶(其由此確定遮擋區 域的範圍)可以採用各種方式來確定
-作為從最大視場和深度階梯得出的寬度
-作為標準寬度 -作為所要設置的寬度
-作為與行動電話的輪廓(外部和/或內部)相鄰的任何事物
深度圖是密集圖。在深度圖中，亮的部分代表近的對象，並且深 度圖越暗，則對象越遠離觀察者。
在圖5所示本發明的示例中，功能性遮擋數據是具有一寬度的條 帶，此條帶對應於在將數據限制在給出了深度圖以及相對於左邊和右 邊的最大位移的情況下看到的內容。其餘遮擋數據不是功能性的。
大多數數字視頻編碼標準支持附加數據信道，該信道可以是視頻 級的，或者是系統級的。如果這些信道可用，則可以直接傳送遮擋數 據。
圖6示出了根據本發明的編碼方法和編碼器的實施例。該編碼器 接收三個數據流提供用於中心視圖的數據的數據61、提供用於中心 視圖的深度圖的數據62以及提供遮擋數據的數據63。這其中的每一個 數據流都具有一個編碼器，其中用於中心視圖數據編碼器的是編碼器 CV,用於中心視圖數據的深度圖的是編碼器CV(z),用於遮擋數據的 是編碼器Occl，最後用於遮擋數據的可選深度圖的是編碼器Occl(z)。 遮擋數據幀可能是大的數椐集合。
該數據還可以包括用於遮擋數據的深度圖，如圖6最下面的部分 中示意性所示。
中心視圖深度圖數據被提供給控制器65，其中控制器65調整測定
15器或開關66。根據控制器65的輸出，在功能性數據(也就是在編碼方
非功能性數據之間I分遮擋數據幀中^數據，其中所述非功能性數: 在功能上是被丟棄的。在圖5中，非功能性區域是灰色的。非功能性 數據在圖6中用Occl-"0"來示意性示出。對其進行處理的最直接方式 是為非功能性區域的數據指定固定值(例如純黑)。在編碼器的全部其 餘部分中和在解碼器中，這些非功能性數據都然後被識別為是非功能 性的。在控制器內部，優選設置或計算閾值TH。優選地，該固定值或 固定範圍內的值被保留用於非功能性數據，並且該固定值的或是該固 定值範圍內的任何功能性數據被替換成該保留值之外或是保留範圍以 外的值。
如果純黑(Y值為零)指示非功能性數據，解碼器將任何非功能 性數據辨認為非功能性數據，但是純屬偶然而也是純黑的功能性區域 中的任何數據也將被視為"非功能性"數據，並且由此，在功能性區域 中會形成小的孔洞。通過為非功能性數據保留純黑，將防止出現這種 負面效果。這可以容易地通過將輸入遮擋數據(例如在亮度值0與255 之間延伸)剪輯到例如亮度值4來執行。輸入遮擋數據中的所有純黑 信號(或者Y值為O、 1、 2或3的任何信號)其黑色將輕微減少，也 就是說，此類像素的"純黑，，值被替換成(在本示例中是藉助於剪輯) 並非保留值或者保留值範圍以外的其它值。然後"純黑"將被保留用於 非功能性數據。在本示例中，也可以將範圍Y=0、 1、 2或3保留用於 非功能性數據。根據本發明實施例的方法產生的結果3D視頻信號相對 容易被識別，因為很多遮擋數據幀具有全為"純黑"的相對較大區域， 而其餘區域顯示一系列值，並且其餘區域中的像素沒有一個是"純黑"。
通過根據視頻深度圖來限制功能性遮擋區域，將附加數據的量保 持在界內。優選地，首先對深度圖編碼且隨後對遮擋數據編碼，其中 用於深度圖的數據被用於在功能性與非功能性數據之間進行區分。當 相鄰像素的深度值相差很大的數量時，出現深度不連續性。 一個對象 隱藏在另 一個對象之後的情況可以通過深度值跳變來推導得出。突然 改變是圖像從前景到背景對象的變化的指示，或者更為一般的是圖像 從一個對象到另一個對象的變化的指示。平滑變化值指示對象內的變 化。遮擋數據僅僅是在深度不連續性(即，相鄰像素之間的深度值變化)大於閾值即足夠高的時候產生。在一具體實施例中，最大編碼誤
差被確定(該最大編碼誤差為閾值TH設置下限，將閾值TH設置為低 於發生的編碼誤差是無用的)，閾值TH將被計算。在控制TH時，將 閾值與像素之間的深度差值進行比較，這用減法方塊67來示意性顯示。 解碼器深度圖數據和相鄰深度圖數據(在圖6中用偏移示意性顯示) 被饋送到此方塊。當相鄰像素之間的深度階梯大於閾值TH時，該階 梯指示數據中的"真實邊緣"。測量的深度階梯或深度不連續性與計算 的閾值TH之間因此進行比較，並且成為控制中的確定因素。根據真 實邊緣，可以確定前景對象的位置，並且由此確定功能性遮擋數據區 域的界限。控制器65相應地控制開關66。當遮擋數據幀的像素屬於該 幀的非功能性部分時，該數據被辨認為非功能性的。
這具有的優點為，在遮擋編碼器中僅僅為遮擋數據幀中為功能性 遮擋數據的部分生成和處理功能性遮擋數據。對於深度不連續性低於 下限閾值的通常很小的遮擋區域，此遮擋區域的填充可以通過例如展 寬(stretching)的其它技術來解決。
優選地，遮擋區域是由最小深度不連續性以及在顯示器端生成的 最大視場或最大視角確定的。在圖6中，這是用措詞"最大視角"與方 框"控制"之間的線條指示。後面的約束確定遮擋圖中的遮擋區域的帶 寬，也就是需要在前景圖像之後多遠的位置才能看到。除了最大視角， 帶寬也可以取決於實際深度值，這正是從解碼器到控制的線條存在的 原因。
圖6還示出下列內容控制器具有作為輸入的編碼/解碼深度圖數 據。可以使用原始數據，即，用原始數據來直接饋送控制和其它部分。 但在解碼器端，原始數據將不再可用，可用的僅僅是經過編碼且通常 是經過高度壓縮的數據。這些數據被解碼，由此在解碼端必須使用經 過編碼的信號。例如，如果深度不連續性足夠高(高於某個閾值)並 且深度不連續性因為壓縮而在原始與經過編碼的深度圖之間改變，則 功能性遮擋數據被生成。因此，如果在經過解碼的深度圖上沒有確定 遮擋數據，所使用的閾值應該低於實際定義的閾值，以免遺漏功能性 數據。這可能導致產生比嚴格需要的遮擋數據更多的遮擋數據，而這 進而又會導致更高的比特率。
遮擋數椐幀中不包含有用遮擋數據的區域(圖5的灰色區域)被辨認為非功能性的，並且它們同樣不會在解碼處理中發揮作用。如上 所述， 一種用於達成這一點的簡單方式是為此類像素指定固定值，例 如純黑或純白。對於非功能性遮擋數據，在這裡可以應用極端的壓縮 措施和方法，這樣做允許極大減少經過編碼的遮擋幀信號中以及傳輸
中的比特數量，並且允許提高編碼和解碼效率而不降低最終圖像質量； 對於功能性遮擋數據來說，由於可能的信息損失有可能導致圖像質量 損失，上述措施和方法是不合理的。對於被辨認成是非功能性的數據， 可以應用提供最小比特數量的任何形式的(可變長度)編碼。由於最 大深度從深度圖已知，並且最大視角已知，可以計算最大遮擋區域。 在其它優選實施例中，其中可以採取措施來提高編碼效率。例如，其 它優選實施例是通過編碼器occl與控制之間的線條給出的。經過編碼 的遮擋幀的比特率的輸入可以用於控制開關66。如果比特率有超過設 定值的危險，則可以更嚴格地控制開關66，其中舉例來說，這意味著 提高閾值TH,和/或減小最大視場。當然，這會引起功能性區域的大 小的減小以及遮擋幀中的非功能性數據百分比的增大。這會對顯示器 上的圖像產生負面效果；但是，正面結果是將經過編碼的遮擋幀的比 特率保持在界限內。總之，淨結果是正面的。如果遮擋深度幀可用， 在控制器65中也可以使用此遮擋深度幀的信息來"精細調諧"發現圖像 中的邊緣。 一種可替換方案可以是，在那些沒有自動縮減(downscaling) 遮擋數據的實施例中，如果比特率有超出設定值的危險，觸發縮減。
另 一個實施例包括在控制器中附加輸入中心視圖數據。當圍繞中 心視圖中的邊緣時，中心視像將會非常平滑，也就是顯示很少細 節，尤其是前景圖像周圍存在平滑背景(例如沒有紋理的簡單顏色) 時，展寬很有可能給出很好的結果。展寬是一種在解碼器端執行的操 作，並且該操作不需要發送比特。在這種情況下，不是斷言遮擋數據 是功能性的，該遮擋數據(儘管階梯高度可能足夠高)可以被指定為 非功能性的。這樣做將會節約比特，同時負面效果很有可能最小。
在編碼方法中使用的所有參數數據，例如閾值TH、用於非功能性 數據的固定值(或固定範圍)、偏移t1和t2，以及諸如最大視角和控 制中使用的編碼遮擋數據比特率的參數，可以作為元數據與編碼數據 流一起發送。然後，在解碼器端以相似的方式來使用這些參數。
圖6還示出了另一個優選實施例編碼器包括用於編碼中心視圖幀的編碼器(編碼器cv)和用於對經過編碼的中心視圖幀進行解碼的 解碼器(解碼器CV)，用於編碼遮擋數據幀的編碼器(編碼器occl) 以及在用於編碼遮擋數據幀的編碼器用於插入已解碼中心視圖幀作為 參考幀的輸入。這用從解碼器CV到編碼器occl的線條示意性顯示。 優選地，在這裡不僅使用來自相同時間的中心視圖幀作為參考幀，而 且還使用時間(或幀)偏移，即， 一個或多個先前或未來的中心視圖 幀在編碼器中被作為用於遮擋數據幀的參考幀。觀察到，在為遮擋數 據使用來自中心視圖的參考幀時，遮擋數據的編碼效率顯著提升。在 一開始，這聽上去相當令人驚訝，因為遮擋數據包含那些在當前時間 點在中心視圖中看不到並且由此在中心視圖幀中不可用的數據。但是， 遮擋數據與接近前景對象的背景數據的相關性很高。已經發現，將來 自中心視圖的參考幀用於編碼遮擋數據幀，顯著提高遮擋數據的編碼 效率。這在部分67中示意性示出了。
在指示遮擋幀深度圖的數據的線條中，從控制到開關66，的線條表 明，如果某些遮擋數據自身被辨認成是非功能性的，那麼相同的操作 可以應用到用於遮擋幀的相應深度數據。這將允許減少遮擋數據深度 圖中的比特。原則上，可以僅僅使用開關66，，但是與在遮擋幀深度圖 中相比，在遮擋幀中可以獲得最重要的比特減少。可以使用遮擋數據 幀的深度圖中的數據作為 一種用於在遮擋數據幀自身內辨別非功能性 區域的手段。舉例來說，這允許通過遮擋數據幀的深度圖的內容來識 別遮擋數據幀中的非功能性區域。然後，這些非功能性區域在值方面 將不再受到限制，並且由此可以用於存儲其它信息。應該指出的是，"非 功能性"意味著不包含與像素值相關的值。然後，用於指示遮擋數據幀 中的非功能性區域的指示裝置將包含在用於遮擋數據幀的已編碼深度 圖中。
圖7示出了根據本發明的解碼方法和解碼器。該解碼器中與編碼 器的某些部分大致對應的部分使用比圖6中的數字大10的數字指示。
圖7和8的最右邊部分示出了屏幕Sc上的不同視圖。中心視圖是 直接在屏幕上的視圖；其它視圖是通過改變視角來產生的，示意性且 通過示例地用範圍為+2到-2的視角指數指示的。
在這裡，中心深度不連續性(discontinuity )控制扭曲方塊(主要 執行像素偏移)。扭曲量也取決於期望的視點位置N，其中每個視點位
19孔洞"。
當遮擋深度數據可用時，解碼遮擋經由開關s使用遮擋深度不連
續性也被扭曲，開關S現在處於位置a。
現在當經過扭曲的遮擋信息可用時，這意味該信息不等於"0"(它 也可以定義為小的間隔)，可以使用該遮擋信息來填充中心視圖中的 "孔洞，，(開關76處於位置a)。否則，該孔洞通過從"孔洞"邊緣複製， 例如通過展寬來填充(開關76處於位置b )。
"0"範圍由編碼器ENC傳送並由解碼器DEC接收，因此它的值是 已知的，並且它可以正確控制開關76。
當沒有遮擋深度信息可用時，開關S通常位於位置c，這意味著改 為使用中心深度。當中心視圖不連續性產生跳變(大於閾值TH)時， 深度不連續性會重複，如位於b位置的開關S所指示的。
閾值TH也由編碼器ENC在完整的流中總作為元數據來傳送(也 參見圖6)並且還控制開關76,以便在那裡獲取數據來填充扭曲的中 心圖像中的"孔洞"。當中心深度不連續性小於TH時，開關76位於位 置b。信號78是包含功能性遮擋數據和中心視圖數據這二者的組合信 號，其中開關76的位置確定所述組合。
圖8示出了根據本發明的編碼方法和解碼器的另 一 實施例。
中心視圖在用於中心視圖的解碼器DEC CV中被解碼。經過解碼 的CV將提供中心視像，以在不同角度生成圖像，而在warp2執 行扭曲處理(畸變操作)。這會給出具有"孔洞"的圖像。中心視圖中的 對象遮蔽背景的某些部分，這些部分現在本應是"可見的"。但是，用 於中心視像的數據不包括用於這些"孔洞"部分的數據。這些孔洞 必須在孔洞填充操作中被填充。在常規方法中，這是通過例如展寬來 完成的，也就是說，"孔洞"周圍的像素值用於有根據地猜測孔洞中的 像素的內容。但是，這並沒有真實描繪前景圖像之後的內容，而是僅 僅做出了一個猜測。在本發明中，經過編碼的遮擋數據幀被使用。在 位置88，產生組合數據流。該組合數據流一方面包含了功能性遮擋數 據，並且還包含來自中心視圖的數據。這些開關具有傳遞功能性遮擋 數據的第一位置(用於功能性遮擋數據，在圖中是用occl大'0"示意性 指示的)。開關86提供的功能與圖7中的開關76相同。如果將數據辨 認成是非功能性的，那麼開關86被放在傳遞中心視圖數據的位置。其結果是包含中心視圖數據以及從遮擋數據幀中得出的部分的組合數據
流88,其中所述部分包含功能性遮擋數據。由此，開關76和86是由 功能性與非功能性數據之間的差別以及可能另外的參數觸發，產生組
合信號78、 88的組合器，其中該組合信號包含功能性遮擋數據與中心 視圖數據的組合。此組合信號將被用於填充孔洞。
此信號88現在由warp 1來"扭曲"。如果遮擋深度流可用，從經 過解碼的遮擋深度流中獲取由warp 1使用的深度信息。否則，由warp l使用的深度信息從中心視圖深度信號中導出。對於非"孔洞"位置，經 過解碼的中心視圖深度信號經由開關sw3和開關sw2傳遞到扭曲器 warp 1。
在"孔洞"位置，開關sw3處於"孔洞"位置，並且cv深度信號被重 復(或者可替換地使用經過編碼的cv深度信號)，直至下一個非"孔洞" 位置。
對於解碼器， 一個選擇是只是重複該"孔洞"之前的最後一個已知 深度值，但是，由於這個位置通常很接近較大的深度跳變，因此它可 以包含某些編碼人工產物(artifact)，而這將會為"孔洞，，產生不精確的深 度值。編碼器可以在此類位置例如通過測量所要重複的值的深度誤差 來檢測這種狀況，並且通過以較高精度(例如通過降低Qsc值)對其 進行編碼來減少誤差。另一方面，解碼器也可以不是通過只是重複最 後的深度值，而是通過例如重複來自就在"孔洞"外部的很小的 一 系列 深度值的中間或平均值來採取措施。
在warpl中，畸變被應用於混合數據流。這個扭曲的混合圖像在 孔洞填充操作中被用來同步來自不同角度的不同視圖。由於複合數據 流包含來自遮擋數據幀的功能性數據，因此可以精確得多地填充孔洞， 產生改進的圖像質量。應該指出，經過扭曲的中心視像內的某些 "孔洞"仍是通過展寬來填充的。例如在一些實施例中，對於低於閾值 的小的階梯高度，遮擋數據是非功能性的，由此複合數據流包含中心 視圖數據，因為開關設置為讓中心數據通過。應該注意的是，為了清 楚起見，在述及的關於開關的描述的場合中，開關可以由任何硬體、 軟體或是用於執行所述功能的計算機代碼組成。其優點在於， 一方面， 對於此類狀況，孔洞填充是非常良好和有效的過程，而另一方面，通 過限制功能性遮擋數據，允許以極端措施壓縮非功能性遮擋數據，編碼效率可以提高。圖7與8的實施例之間的主要差別在於在圖7中， 扭曲是在產生組合信號之前執行的，而在圖8中，組合信號88是在扭 曲之前產生的。此外，在圖8中還產生組合深度信號88z。
優選地，遮擋數據被網格塊對準。這將能夠實現改進的編碼效率。 圖9示出了中心視圖數據和遮擋數據的放大視圖，其中遮擋數據的網 格塊對準是可見的。
優選地，遮擋數據使用已知技術來編碼。
在本發明中，遮擋數據可以使用來自中心視圖的參考幀來編碼。 在本發明的框架內部已經發現，遮擋數據的空間和時間相關性要遠遠 小於例如中心視圖中的相關性。觀察到，當使用來自中心視圖的參考 幀時，遮擋數據的編碼效率顯著提高。在一開始，這可能聽起來是很 令人驚訝的，因為在中心視圖中遮擋數據是不可用的。但是，遮擋數 據與接近前景對象但卻在時間上偏移的背景數椐的相關性很高。因此， 使用與中心視圖可能在時間上偏移的參考幀來編碼遮擋數據將提高遮 擋數據的編碼效率。
在圖9中描述了移動場景的放大部分。可以清楚看到，遮擋數據 與中心視圖中的背景數據的相關性很高。通過利用中心視圖數據與遮 擋數據之間的這種空間相關性，可以顯著降低比特率。在MPEG標準 主體的內部，舉例來說，H.264 MVC (多視圖編碼)具有一些使得能 夠在各視圖使用參考幀的，具有良好性能的基本原理。MVC的方法是 基於使用廣義B幀的工具，利用了由多個相機獲取的視圖之間的相關 性。這些工具可以被應用於使用來自中心視圖的參考幀來編碼遮擋數 據的目的。
在另 一個實施例中，我們可以具有包含中心視圖的 一個或多個視 圖以及包含遮擋數據的第二視圖，並且使用具有廣義B幀的H.264 MVC來編碼這個流。這意味著我們不必設計新的編碼標準，在這種情 況下，MVC標準是以應在該標準中標記的不同方式械J吏用。
圖10示意性示出了 MVC編碼方案，如圖10的部分A所示，在 時間T0、 Tl等，傳送不同的^L圖sl、 s2等。圖10的部分B示意性示 出了如何在編碼中心視圖幀(CV)和遮擋數據幀(Ocd)中使用相似 的方案。
但是，在一個編碼器和/或MVC中使用廣義B幀具有三個重要限
22制幀速率和解析度必須匹配，以及使用現有標準/珪。
某些更複雜的視頻壓縮標準例如AVC壓縮標準具有很多多種預測 的可能性。將會做出數量相對較多的時間的(即前向或反向)預測。 不但考慮將時間上最接近的幀用於產生預測，而且還考慮在時間上更 遠的幀。在緩存器中，若干個幀存儲於存儲器內，以便用於時間預測。 該原理應用在本發明實施例的第 一方面的框架內。
圖11示意性示出了多個參考。箭頭指示幀之間的參考關係，箭頭 數量是所使用的幀的數量。時間T0、 Tl等代表顯示順序。在該圖中我 們看到，例如在用於時間T4時的幀P的編碼中(以及類似地在解碼中)， T0時的幀I、 T2時的幀P以及更早的幀被用作參考幀。這是用指到 T4時的幀P的箭頭來指示的。T4時的幀P自身是用於T3時的幀B(反 向)以及T6時的幀P(前向)的參考幀。在圖11中，I和P指內部(Intra) 和預測編碼幀，而B指雙向預測幀。箭頭指示預測。在圖ll描述的情 形中，例如在時間點T5，來自時間點T2、 T4、 T6和T8的幀的預測 被使用。
圖12提供的是本發明優選實施例的示意性圖示。
我們看到，存在兩種類型的幀，即中心視圖幀和遮擋數據幀。與 圖11中相同，中心幀將被用作中心幀的參考幀，同樣，遮擋數據幀被 用作用於前向和反向預測遮擋數據幀的參考幀。
應該注意，在每個時間T0、 Tl等，在相同位置以及靜噪情況下， 遮擋數據幀與中心視圖幀之間的相關性是有限的，因為遮擋數據幀包 含那些不在中心視圖中的數據。但是已經發現，如果使用中心視圖幀 作為用於遮擋數據幀的參考幀，則提供編碼效率的可感知的提升，這 在圖12中是用從中心視圖幀(上方方塊)到遮擋數據幀(下方方塊) 的箭頭指示的。在圖12中，I指的是幀內編碼，P幀指的是預測幀，B 指的是雙向預測幀。索引涉及幀所在的層。圖像則只能從更低的層來 預測。因此，時間點T0的遮擋數據只能從中心視圖中的圖像來預測， 而時間點T2的遮擋數據可以使用中心視圖的所有圖像加上T0和T8 的遮擋數據。將使用的參考幀的數量可以是規定的。這個限制是從實 施觀點而不從概念觀點引入的。
因此，通過將中心視圖參考幀用於編碼遮擋數據來獲取更高編碼 效率是本發明這個實施例的基本原理。在圖6中已經通過解碼器CV與編碼器occl之間的線條指示了這 一點。
在本發明的框架以內，在用於預測遮擋的編碼過程中存儲的幀可 以包括先前或後續中心視圖幀以外的先前遮擋幀。使用中心視圖幀並 沒有排除也使用遮擋數據的可能性。
但是，在一個編碼器和/或MVC中使用廣義B幀具有三個重要限 制幀速率和解析度必須匹配，以及使用現有標準/矽。
圖13示出了如何可以將這些原理應用於中心視像和遮擋數據 圖像的聯合編碼的圖示，這與圖6中用方塊67示意性指示的優選實施 例相對應。遮擋數據圖像現在可以用減小的空間(乃至時間)解析度 來壓縮，以便能夠以很低的開銷設置來工作。對於空間解析度降低的 情形，則可以確定並且使用經過編碼的遮擋數據比特流來傳送最優的 上過濾器係數。對於時間解析度(幀速率)降低的情形，已知的時間 上變換技術(類似於自然運動)可以用於3D渲染處理。
在該圖的底部描述用於編碼中心視圖數據的可能方案。
圖13中使用的縮略語代表
DCT:離散餘弦變換
Q:量化
DCT—1:離散餘弦逆變換
逆量化 VLC:可變長度編碼 ME/MC:運動估計/運動補償 R0、 Rl等編碼中使用的存儲器中的幀 PTSi:呈現時間戳i
這個方案的實施歸結為在定義明確的時間點改變存儲器指針。當 然，所使用的來自中心視圖數據層的幀的數量可以是任何數量，但是 實際上似乎是存在某些限制的(存儲器限制，例如MVC實施例的情形 也是如此)。
良好的選擇看上去為當前幀(PTSi)和幀值偏移(例如a^5)，由 此為幀PTSi-a，即先前的中心視圖幀。甚至可以考慮依靠未來的幀例 如PTSi+a，也就是使用未來的中心視圖幀用於預測遮擋幀的內容。在 這裡有可能存在更大偏移，例如3=-5、 -2、 0、 2、 5。此外，偏移中心視圖幀的加權也可以顯示一種變化。偏移數字對應於圖6中的偏移t2。 偏移T2是示出了時間偏移的偏移，而時間戳偏移則是幀(由此也是時 間)偏移。在圖6中示意性顯示了單個偏移t:2。將會清楚，可以使用 多於一個的偏移T2 (有可能使用一個以上的先前或未來中心視圖幀作 為參考幀)。在本發明的概念以內，參考幀可以包括中心視圖幀以及先 前的遮擋數據幀。基於先前視頻內容，例如取決於前景對象相對於背 景的移動及其方向，可以確定偏移數字a，並且有可能確定相應的被參 考中心視圖幀的加權，其中當在水平方向確定快速運動時，偏移數字 較小，當確定在這個方向上的緩慢運動並且使用了若干個先前幀時， 偏移數字較大，其中所述加權隨著幀變舊而減小的。
在計算移位或偏移和/或加權的實施例中，此類信息優選地例如作 為元數據被併入視頻信號。這將消除對於解碼器端相應計算步驟的需 要。
基於圖像中的原始數據，可以計算移位或偏移數字，並且有可能 計算加權，但是該計算優選是在經過編碼/解碼的幀上進行的。在解碼 器端，原始信號不再可用。此外，如圖所示，編碼/解碼幀形成參考幀， 因此，在計算中使用的任何參數優選都涉及這些幀。
根據所確定的運動及其方向，遮擋幀可以形成參考幀，它在圖13 中是用從編碼遮擋幀線到存儲器R-，、 R,2的線條示意性指示的。
圖13顯示了在編碼之前縮減(也參見圖6)遮擋數據的優選實施 例。在編碼之後，結果數據必須再次擴大。為此目的，用於最佳擴大 處理的上過濾係數將被計算，例如通過將經過縮減並且隨後擴大的幀 與原始幀相比較，以便儘可能減小縮減/擴大人工產物。這些係數將會 作為元數據併入到數據比特流中。這樣做允許在解碼器端執行相同的 處理。
在本實施例中，遮擋數據編碼中使用的參考幀是中心視圖幀以及 遮擋數據幀。
相同的原理也可以應用於編碼用於遮擋幀的深度圖。用於中心視 圖數據的深度圖可以在編碼用於遮擋幀的深度圖中作為參考幀使用。 作為例示，在圖14中顯示了用於此類編碼的方案。同樣，使用用於遮 擋數據幀的非功能性數據的原理可以用於遮擋幀的深度圖，這一 點也 可以參見圖6。應該注意的是，使用中心視圖幀作為用於編碼遮擋幀(無論是否 包含實際圖像數據還是深度數據)的參考幀的原理可以在與區分遮擋 幀(或者用於遮擋幀的深度圖)中的功能性和非功能性數據的原理無 關的情況下應用。但是，在與區分非功能性數據的原理結合時，上述 原理是特別有利的。
將一個編碼器與廣義B編碼處理結合使用，其中中心視圖和遮擋 數據幀是作為交織的圖像序列編碼的，雖然提供有用的實施例，但是 具有無法向後兼容現有的2D編碼方案的缺陷。
遮擋和中心視圖數據是可以交織的。常規解碼器不能處理此類流。
所有幀都要解碼和顯示，而這將會給出惡劣的圖像。使用MVC工具對 此是有幫助的。
圖15示出了在解碼遮擋幀中使用中心視圖參考幀的解碼步驟。 這些步驟基本上是圖13所示的編碼方法的逆過程。IQ代表逆量 化，在圖13中則將其表示為Q-1, IDCT代表逆DCT ( DCT1 )。對於
圖14的用於編碼深度數據的編碼方案，可以使用類似的解碼方案。
如上文例示的那樣，本發明涉及一種編碼方法和系統以及一種解 碼方法和系統。
本發明還可以在包含編碼視頻信號以及控制信息的視頻信號中實 現，該控制信息例如包括用於在解碼方法中使用的功能參數。控制信 息可以包括依照如上所述的任何一個實施例或是其任何組合的數據。
在根據本發明的視頻信號中封裝的控制信息可以包括一個或多個 下列信息
A. —般信息，也就是適用於整個視頻信號
1. 該方法用於編碼視頻信號。如果在以後僅僅使用一種標準方法， 那麼這是有用的
2. 該方法的特定實施例用於編碼視頻信號，或是實施例內部例如 閾值TH的參數。
3. 在該方法中使用的參數，舉例來說，所述參數可以是
- 所使用的時間戳
- 在整個視頻信號編碼過程中使用的參數，例如用於過濾器、 擴大或縮減算法、或者用於確定使用哪種預測的算法的參數。
B. 特定的動態信息如果視頻信號是動態生成的，也就是說，在編碼過程中作出的某 些選擇取決於視頻內容，那麼在編碼器中做出的選擇可以被包含在編 碼視頻信號中。例如，如果編碼方法包括一種用於確定使用哪一個時
間戳的算法(例如a或t2的值)，那麼可以選擇將所述選擇算法的細 節包含在視頻信號中(由此將一般信息包含在視頻信號中)。但是，這 僅僅在解碼器包含所述算法時發揮作用。如果解碼器不包含該算法， 則可以發送特定的動態信息，也就是規定(例如通過一個標記)對於 視頻信號的特定部分使用特定的時間戳值。
視頻信號可以包括一般信息以及動態信息。所有上述類型的信息
框架內都被稱為參數。
本發明也可以在用於根據本發明的方法或設備的電腦程式產品 中實現。對電腦程式產品來說，應該理解的是，在經過一系列加栽 步驟(這其中可以包括中間的轉換步驟，例如變換到中間語言以及最 終的處理器語言)之後，任何以物理方式實現的命令集合都能使通用 或專用處理器獲取命令進入該處理器，以便執行本發明的任何特有功 能。特別地，電腦程式產品可以作為磁碟或磁帶之類的載體上的數 據、存儲器中存在的數據、經由有線或無線網絡連接傳播的數據、或 是紙件上的程序代碼來實現。除了程序代碼之外，程序所需要的特有 數據也可以作為電腦程式產品來實現。
簡言之，本發明可以描述如下
在一種用於3D視頻信號的編碼方法和編碼器中，中心視圖幀、用 於中心視圖幀的深度圖以及遮擋數據幀將被編碼。基於用於中心視圖 幀的深度圖，在遮擋數據幀的功能性與非功能性數據之間加以區分。 這允許極大減少編碼遮擋數據幀所需要的比特。在解碼器中，組合數 據流是由編碼遮擋數據幀中的功能性數據以及中心視圖幀構成的。優 選地，在編碼遮擋數據幀的過程中，中心視圖幀是作為參考幀使用的。
應該指出的是，上述實施例是例證而不是限制本發明。並且本領 域技術人員能在不脫離所附權利要求範圍的情況下設計出很多可替換 的實施例。
例如，圖16示出了本發明的另一個實施例。
圖16顯示了作為中心視圖像素位置x的函數的典型不一致分布D。
27所述不一致分布主要顯示中心視圖中處於不同位置的多個對象，這些
位置在深度上是以階梯AL(1)、 AL(2)、 AR(1)、 A,分離的，其中L代表 與左眼視圖相關的不一致性，也就是左邊的視角，而R代表與右眼視 圖相關的不一致性。如果使用這個不一致分布來渲染新的視圖，那麼 在新視圖中將會因為不一致性階梯而出現孔洞。如果為左眼渲染新視 圖，則階梯&(1)和Aj"將會導致出現孔洞(hLl&hL2)。如果為右眼 渲染新視圖，則階梯ArW和A^"將會導致出現孔洞(hRl&hR2)。對 左眼視圖來說，超出指定閾值的AL表明孔洞將會使用來自遮擋幀的相 應數據來填充。但是，這隻有在發現相應"功能性數據"(示例1至4 中的區域Ln L2、 R!、 R2)的情況下才進行。在本示例中，例如由於 功能性數據的亮度值高於閾值，而低於所述閾值的亮度數據(例如亮 度值3)則是非功能性數據，因此，功能性數據的這些區域是可以與具 有非功能性數據的區域區分開的。如果在相應孔洞位置存在"非功能 性"數據，那麼必須使用來自中心視圖紋理的數據來填充該孔洞，例如 使用紋理重複來填充。如果在沒有"非功能性"數據的情況下遭遇到兩 個連續階梯Al(")和AL(k+1)，那麼該"功能性數據"因為Al 而屬於孔洞 並且它們因為AL(k+1)(示例2)而不能用於填充孔洞。相同的情況對於 ArW和A,+"來說也成立。在遮擋數據幀中，如果在兩個連續階梯AL(k) 和AR^之間沒有遭遇到"非功能性"，那麼由於Al 和Ar⑨而使用相同 的"功能性數據，，來填充孔洞，以便分別創建左眼和右眼視圖(示例3 )。 在這裡既可以為特定孔洞給出"功能性數據"，也可以不給出(示例4)。 如果在編碼器上可以得到所有"3D"數據(例如在已經用"藍屏"技 術創建了中心視圖並且所有中間層仍舊可用時)，在將該數據組合到遮 擋幀之前，編碼器必須選擇出哪些部分比其它部分更為重要，由此也 將遮擋幀數據的比特率考慮在內。示例1至4顯示了編碼器可以做出 的某些不同選擇。通過在這些部分(L1、 L2、 ...， Rl、 R2、...)之間 插入非功能性間隙(occl='0，)，在解碼器端可以將其相互分離並對其 進行正確解釋(使得它們在渲染過程中出現在正確的孔洞中)。當因為 編碼器做出的選擇而使所述孔洞填充數據不可用時，由於(occl='0，) 或者其為錯誤類型(例如對右視圖渲染來說，Lx部分永遠都不能用於 孔洞填充)，孔洞應該用來自中心視圖的數據填充，例如通過重複數據 來填充。如先前所述以及示例3所示，如果在Li與Rj之間沒有遇到
28非功能性數據，那麼在為L和R眼部方向執行渲染處理的過程中可以^使用該部分來填充相應孔洞。
在用於遮擋數據幀的候選部分中，紋理豐富的量可以是供編碼器確定哪些部分優先於其它部分的判據(示例2，其中很明顯，L1比L2重要，L2被省略)。
在此類實施例中，多個遮擋部分組合到一個遮擋數據幀中，並且指示裝置(間隙)被生成用於將不同的遮擋部分相互區分。
在本實施例中，其中使用從功能性(occW0")到非功能性(occl="0，，)的變換出現率，也就是用於至少一個像素的遮擋信號間隙的插入與否，作為用於區分遮擋數據幀內部的不同的遮擋部分的指示符。如上所述，在實施例中，用於非功能性數據的可以是保留值或是保留範圍內的值。如果使用的是保留範圍，例如0、 1、 2和3，則可以使用實際值來向解碼器傳遞關於相鄰功能性區域的信息，例如它是右邊還是左邊的區域，其中舉例來說，值0表明後續的功能性區域是左邊的區域，值1表明後續的區域是右邊的區域。由於解碼器知道不同遮擋部分的特性，因此可以在解碼器中設置該信息以便良好的使用。
如上文中結合圖6所述，"非功能性"意味著數據不能用於像素值。由此，該數據不被視為像素數據。但是，"非功能性"數據可以包括其它信息，而這僅僅是一個簡單的示例。簡言之，如果使用數值範圍，那麼有可能藉助"非功能性"數據來向解碼器傳達除像素值之外的其它信息。如果可以藉助其值之外的手段來區分非功能性數據，例如藉助深度圖的內容(參見關於圖6的描述)，則可以在遮擋數據幀的非功能性區域存儲數量相對較大量的信息。當然，這樣做將會增大遮擋數據幀所需要的比特數量，但是如果此類信息是有價值的並且以其它方式是不能有效傳送的，那麼這也會提高編碼效率。
在解碼器端，用於對編碼信號解碼的解碼器接收視頻信號，其中多個遮擋部分將會組合到一個遮擋數據幀中，並且存在用於將不同的遮擋部分相互區分的指示符(所插入的間隙和/或間隙內部的實際值)，而且解碼器具有用於識別該指示符的裝置，也就是說，它使用編碼器中使用來插入指示符的算法的逆算法。
在權利要求中，括弧之間的任何參考符號都不應該被解釋成是限制該權利要求。單詞"包括"並未排除權利要求所列舉的部件或步驟之外的其它部件或步驟的存在。本發明可以藉助如上所述的各種不同優選實施例中的特徵的任何組合來實現。
權利要求
1.一種用於編碼3D視頻信號的方法，其中3D視頻信號被編碼，該3D視頻信號包括中心視圖視頻幀(61)、用於中心視圖視頻幀的深度圖(62)以及用於中心視圖視頻幀的遮擋數據幀(63)，其中在用於中心視圖的深度圖中的數據的控制下，在編碼該遮擋數據幀(63)之前，為遮擋數據幀數據產生指示裝置，用於將該遮擋數據幀中的功能性數據與非功能性數據區分開來。
2. 如權利要求1所述的編碼方法，其中，該遮擋數據幀(63)在 編碼深度數據(63)之後被編碼。
3. 如權利要求1所述的編碼方法，其中，遮擋深度圖也被編碼。
4. 如權利要求3所述的編碼方法，其中，遮擋深度幀數據被用於 生成指示裝置，用於將該遮擋數據幀中的功能性數據與非功能性數據 區分開來。
5. 如權利要求1或2所述的編碼方法，其中，在該深度圖中的數 據的控制下，在該遮擋數據幀中生成固定值或固定範圍內的值，作為 用於區分非功能性數據(occ卜"0")的指示裝置。
6. 如權利要求5所述的編碼方法，其中，該固定值或固定範圍內 的值被保留用於非功能性數據，並且任何具有固定值或固定值範圍以 內的功能性數據被替換成非該保留值或是保留範圍以外的值。
7. 如權利要求1或2所述的編碼方法，其中，在控制中應用深度 不連續性閾值，其中深度圖中的深度不連續性小於閾值(TH)是一個 確定因素。
8. 如權利要求7所述的編碼方法，其中，該閾值(TH)是從該 深度圖中的數據計算得到的。
9. 如權利要求5、 6、 7或8所述的編碼方法，其中，在經過編碼 的—見頻信號中併入該閾值(TH)和/或該固定值或固定範圍。
10. 如—又利要求9所述的編碼方法，其中，該閾值(TH)和/或該 固定值或固定範圍作為元數據被併入該視頻信號。
11. 如權利要求1所述的編碼方法，其中，將多個遮擋部分組合 到一個遮擋數據幀中，並且生成用於將不同的遮擋部分相互區分開來 的指示裝置。
12. 如權利要求11所述的編碼方法，其中，在用於至少一個像素的遮擋信號中從功能性(ocd#'0，，)到非功能性(occl-"0")和/或從非 功能性(occl-"0")到功能性(occW'0")的變換出現率被用作指示符 來區分該遮擋數據幀內的不同遮擋部分。
13. 如任一前述權利要求所述的編碼方法，其中，該控制中的另 一個確定因素是最大視角。
14. 如任一前述權利要求所述的編碼方法，其中，該控制中的另 一個確定因素是由該編碼遮擋數據幀的比特率形成的。
15. 如任一前述權利要求所述的編碼方法，其中，在遮擋數據幀 的編碼中，該中心視圖數據幀被用作參考幀。
16. 如權利要求15所述的編碼方法，其中，在遮擋數據幀的編碼 中，使用時間偏移的中心視圖數據，並且時間偏移是從該圖像數據中 計算的。
17. 如權利要求16所述的編碼方法，其中，計算得到的時間偏移 被併入到該視頻信號中。
18. 如權利要求17所述的編碼方法，其中，計算得到的時間偏移 作為元數據被併入到該視頻信號中。
19. 一種用於編碼3D視頻信號的編碼器，其中經過編碼的3D視 頻信號包括中心視圖視頻幀(61 )、用於中心視圖視頻幀的深度圖(62 ) 以及用於中心視圖視頻幀的遮擋數據幀(63)，其中該編碼器包括用於 將被編碼的中心視圖數據幀、用於中心視圖數據幀的深度圖以及遮擋 數據幀的輸入，並且該編碼器包括控制器(65)，該控制器基於用於深 度圖的數據來控制開關(66 )，所述開關為該遮擋數據幀數據生成非功 能性數據(occl="0，，)或功能性數據。
20. 如權利要求19所述的編碼器，其中，該編碼器包括校準器， 並且功能性和非功能性數據的校準是經過網格塊對準的。
21. 如權利要求20所述的編碼器，其中，該校準器布置成在4x4、 8x8、 16 x 16和/或其它任何整數組合上進行網格塊校準。
22. 如權利要求19所述的編碼器，其中，該編碼器包括用於編碼 用於該中心視圖幀的深度圖的編碼器(編碼器CV(z))以及用於對編碼 深度圖進行解碼的內部解碼器(解碼器CV(Z))，其中在該控制器(65) 中使用由該內部解碼器解碼的深度圖。
23. 如前述權利要求19至22中任意一項所述的編碼器，其中，該編碼器包括用於計算該深度圖中的深度不連續性的閾值(TH)的計 算器，其中該開關的控制依賴於測量得到的深度不連續性與閾值的比 較。
24. 如權利要求23所述的編碼器，其中，該編碼器包括用於將計 算得到的閾值(TH)併入經過編碼的數據流的輸出。
25. 如前述權利要求19至24中任意一項所述的編碼器，其中， 該編碼器包括用於編碼中心視圖幀的編碼器以及用於對經過編碼的中 心視圖幀進行解碼的解碼器、用於編碼該遮擋數據幀的編碼器以及在 用於編碼遮擋數據幀的編碼器上用於插入已解碼中心視圖幀作為參考 幀的輸入。
26. 如權利要求23所述的編碼器，其中，偏移參數(t2， a)被 計算並被併入該視頻信號中。
27. —種用於對經過編碼的視頻信號進行解碼的方法，其中3D視 頻信號將被解碼，該3D視頻信號包括經過編碼的中心視圖視頻幀、用 於中心視圖視頻幀的深度圖以及用於中心視圖視頻幀的遮擋數據幀， 經過編碼的視頻信號包括用於將非功能性遮擋數據與功能性遮擋數據 區分開來的指示，其中在解碼中生成包含功能性遮擋數據和中心視圖 數據的組合數據流(78, 88)。
28. 如權利要求27所述的用於對經過編碼的視頻信號進行解碼的 方法，其中，在解碼該遮擋數據幀中，中心視圖數據幀被用作參考幀。
29. 如權利要求247或28所述的用於對經過編碼的視頻信號進行 解碼的方法，其中，該組合信號(88)在生成之後被扭曲。
30. 如權利要求27或28所述的用於對經過編碼的視頻信號進行 解碼的方法，其中，所述扭曲在該組合信號(78)生成之前執行。
31. 如權利要求27至30中任意一項所述的用於對經過編碼的視 頻信號進行解碼的方法，其中，在解碼中生成包括功能性深度遮擋數 據和深度中心視圖數據的組合深度數據流(88z)。
32. —種用於對經過編碼的視頻信號進行解碼的解碼器，其中3D 視頻信號被解碼，該3D視頻信號包括經過編碼的中心視圖視頻幀、用 於中心視圖視頻幀的深度圖以及用於中心視圖視頻幀的遮擋數據幀， 經過編碼的視頻信號包括用於將非功能性遮擋數據與功能性遮擋數據 區分開來的指示，其中該解碼器包括用於產生組合數據流(78， 88)的組合器(76， 86)，所述組合信號包括功能性遮擋數據和中心視圖數 據。
33. 如權利要求32所述的用於對經過編碼的視頻信號進行解碼的 解碼器，其中，用於遮擋數據幀的解碼器布置成在遮擋數據幀的解碼中使用被用作參考幀的中心視圖數據幀。
34. 如權利要求32或33所述的用於對經過編碼的視頻信號進行 解碼的解碼器，其中，該解碼器包括用於扭曲該組合信號(88)的扭 曲器(warp 1 )。
35. 如權利要求32或33所述的用於對經過編碼的信號進行解碼 的解碼器，其中，該解碼器包括用於在該組合信號(78)生成之前執 行扭曲的扭曲器(warpA)。
36. 如權利要求32至35中任意一項所述的用於對經過編碼的信 號進行解碼的解碼器，其中，該解碼器包括用於產生包含功能性深度 遮擋數據和深度中心視圖數據的組合深度數據流(88z)的組合器。
37. 如權利要求32至36中任意一項所述的用於對經過編碼的信 號進行解碼的解碼器，其中，經過編碼的信號包括組合在一個遮擋數 據幀中的多個遮擋部分，並且經過編碼的信號包括用於將不同的遮擋 部分相互區分的指示符，該解碼器具有用於識別該指示符以及使用該 指示符來識別不同遮擋部分的裝置。
38. 如權利要求37所述的用於對經過編碼的信號進行解碼的解碼 器，其中，該指示符是通過該遮擋信號中從功能性(occ^"0")到非功0") 的變換出現率來形成的。
39. —種3D視頻信號，該3D視頻信號包括經過編碼的中心視圖 視頻幀、用於中心視圖視頻幀的深度圖以及用於中心視圖視頻幀的遮 擋數據幀，其中該3D視頻信號包括用於將非功能性遮擋數據和功能性 遮擋數據區分開來的指示裝置。
40. 如權利要求39所述的3D視頻信號，其中，該非功能性數據 具有固定值或固定範圍內的值，並且該功能性值具有非該固定值或該 固定範圍以外的值，所述值充當指示裝置。
41. 如權利要求39所述的3D視頻信號，其中，該指示裝置包括 用於深度不連續性的閾值。
42. 如權利要求39所述的3D視頻信號，其中，該3D視頻信號 包括用於遮擋數據幀的編碼深度圖，該編碼深度圖包括用於將非功能 性遮擋數據與功能性遮擋數據區分開來的指示裝置。
43. 如權利要求39所述的3D視頻信號，其中，該視頻信號包括 作為元數據的用於該遮擋數據的值範圍或值，所述值或範圍指示所述 遮擋數據是功能性還是非功能性的。
44. 如權利要求39至43中任意一項所述的3D視頻信號，其中， 該視頻信號包括控制信息，該控制信息用於控制在解碼中將中心視圖 幀用作用於解碼遮擋數據幀的參考幀的方式。
45. —種包含計算機代碼裝置的電腦程式，用於當所述程序在 計算機上運行時執行如權利要求1至18中任意一項所述的編碼方法。
46. —種包含計算機代碼裝置的電腦程式，用於當所述程序在 計算機上運行時執行如權利要求27至31中任意一項所述的解碼方法。
47. —種包含存儲在計算機可讀介質上的計算機代碼裝置的計算 機程序產品，用於執行如權利要求1至18中任意一項所述的編碼方法。
48. —種包含存儲在計算機可讀介質上的計算機代碼裝置的計算 機程序產品，用於執行如權利要求27至31中任意一項所述的解碼方 法。
全文摘要
在用於3D視頻信號的編碼方法和編碼器中，中心視圖幀、用於中心視圖幀的深度圖以及遮擋數據幀將被編碼。基於用於中心視圖幀的深度圖，遮擋數據幀中的功能性與非功能性數據被區分。這允許極大減少經過編碼的遮擋數據幀需要的比特。在解碼器中，組合數據流是由經過編碼的遮擋數據幀中的功能性數據以及中心視圖幀構成的。優選地，在編碼遮擋數據幀中，中心視圖幀被用作參考幀。
文檔編號H04N13/00GK101690249SQ200880021844
公開日2010年3月31日 申請日期2008年6月19日 優先權日2007年6月26日
發明者C·瓦雷坎普, R·B·M·克萊因古尼韋克, W·H·A·布魯爾斯 申請人:皇家飛利浦電子股份有限公司