用於3維視頻的舒適噪聲和膠片顆粒處理的製作方法

2023-08-03 21:05:16

專利名稱：用於3維視頻的舒適噪聲和膠片顆粒處理的製作方法
技術領域：
本發明涉及向數字圖像添加噪聲。
背景技術：
隨著時間流逝，電視已經從黑白圖像向彩色圖像發展，並且現在向高清發展。當前，一些電視設備製造商已經開始在市場上出售能夠產生和顯示三維(3D)圖像的產品。新出現的3D電視顯示當前引起了多種視覺不適來源，包括梯形失真(keystonedistortion)、深度平面曲率、放大、縮小效果、剪切失真(shear distortion)、串擾、柵欄效應(picket fence effect)和圖像翻轉。此外，視覺不適還可以因缺乏深度提示(depthcue)(例如，具有高運動的畫面區域)導致模糊而引起。觀看者通常在觀看圖像中缺乏深度提示的區域時經歷不舒服的感覺。與3D圖像的左眼視圖和右眼視圖中的膠片顆粒(filmgrain)相關聯的隨機噪聲的差異還可以導致出現奇怪的視覺效果。 向數字圖像添加抖動(dither)信號可以降低對編碼偽像(例如，輪廓(contouring)和塊(blocking)偽像)的人類敏感度，並且可以改善主觀質量。向視頻添加噪聲(典型地被稱作「舒適噪聲」)用於實現該目標。儘管存在用於向二維圖像添加舒適噪聲的技術，但是不存在針對3D圖像的舒適噪聲的已知技術。

發明內容
簡而言之，根據本發明原理的優選實施例，提供了一種用於向三維圖像添加噪聲的方法，包括根據圖像深度向圖像的不同區域添加噪聲的步驟。


圖I示出了根據本發明原理的用於向三維圖像添加噪聲的設備的示例性實施例；圖2示出了根據本發明原理第一示例性實施例的用於由圖I的設備來執行以向三維圖像添加噪聲的方法步驟的流程圖；圖3示出了根據第二優選實施例的用於向三維圖像添加噪聲的方法步驟的流程圖；以及圖4示出了根據本發明原理第二優選實施例的用於向三維圖像添加膠片顆粒的方法步驟的流程圖。
具體實施例方式圖I示出了根據本發明原理優選實施例的用於向三維圖像(典型地，數字圖像)添加噪聲的設備10的示意框圖。如以下更詳細所述，噪聲可以採用「舒適」噪聲的形式，向圖像添加該類型的噪聲來減少偽像(artifacts)。備選地，在數字圖像包含源自運動畫面膠片的視頻的情況下，噪聲可以採用用於模仿運動畫面膠片的外觀的膠片顆粒的形式。在下文中，當涉及噪聲添加時，添加的噪聲可以包括膠片顆粒或舒適噪聲。
設備10可以採用不同的形式。在示意實施例中，設備10包括機頂盒，機頂盒從數據源12 (例如，有線系統首端)包含視頻和深度信息的比特流。解復用器14 (在圖I中視為「解復用器」)將視頻信息和深度信息分離，以分別由視頻解碼器16和深度解碼器17解碼。舒適噪聲模塊18根據已解碼的視頻和深度信息產生舒適噪聲，從而獲得三維(3D)視頻輸出信號，由3D電視接收機(未示出)接收。舒適噪聲模塊18包括舒適噪聲產生器20，根據分別從視頻解碼器16和深度解碼器17提供的已解碼視頻和深度信息來產生舒適噪聲。實際上，噪聲產生器20可以採用用於執行程序指令的處理器(未示出)的形式。以下參照圖2及其相應描述，將更好地理解舒適噪聲產生器20根據已解碼視頻和深度信息產生舒適噪聲的方式。舒適噪聲和視頻混合器22將來自舒適噪聲產生器20的舒適噪聲與已解碼視頻和深度信息相結合，來獲得3D視頻輸出信號。圖2示出了根據本發明原理優選實施例的用於產生舒適噪聲的方法步驟的流程圖。換言之，圖2的方法構成噪聲產生器20內處理器的指令。圖2的方法從開始步驟200開始，在開始步驟200期間進行初始化。此後，執行步驟202以產生針對左視圖的舒適噪聲 值隊。如根據下文更容易理解的那樣，包含運動的典型3D視頻圖像包括畫面對，每對畫面包括左視圖和右視圖。本發明原理的噪聲產生技術首先針對畫面對中的左視圖畫面產生舒適噪聲，然後使用該值來產生針對畫面對中的右視圖畫面的舒適噪聲。為了產生針對畫面對中的左視圖畫面的噪聲，圖I的舒適噪聲產生器20利用加性噪聲模型(additive noise model),在加性噪聲模型中,針對給定畫面的噪聲(下文中被稱作「噪聲」畫面)N可以在數學上由以下關係表示N(k, x, y) = a (k, x, y) XN(k_l, x, y) + (l-a (k, x, y)) X β (k, x, y) XR(k, x, y)(公式I)其中，k是幀號，x、y是像素的橫坐標和縱坐標。R(k，X，y)是隨機數，典型地具有高斯或拉普拉斯分布。a (k，x, y)和β (k，x, y)分別是時間相關和亮度因子，並且取O和I之間範圍中的值。a (k，x，y)取決於重構的圖像像素或其對應塊與先前顯示畫面中相同位置的像素或塊之間的時間相關，而β (k，x，y)取決於當前像素或其關聯塊的亮度。在步驟202期間使用公式(I)產生針對左視圖畫面的舒適噪聲畫面(NJ之後，可以在步驟204期間將該噪聲畫面添加至左視圖畫面。在步驟204之後，進行針對右視圖畫面的噪聲畫面(Nk)的合成。右視圖噪聲畫面Nk的合成在多個步驟中進行。首先，在步驟206期間，對左噪聲畫面隊進行翹曲(warping)，以獲得典型地具有「孔洞」或缺失值的右視圖噪聲畫面(NKwithItolJ。以下參照圖3，將清楚填充這種孔洞的方式。翹曲3D畫面的處理典型地需要將像素從一個或多個圖像投影到新的視點(viewpoint)和參考平面。在本領域中存在使用場景和深度信息(可以分別從圖I的視頻解碼器16和深度解碼器17獲得)來完成3D圖像翹曲的多種技術。例如，基於深度的圖像渲染(rendering)構成一種使用矩陣乘法根據參考圖像和關聯的深度信息來合成虛擬視圖的公知處理。在步驟206之後，執行圖2的步驟208，以填充右視圖噪聲畫面(NKwithItoles)中的孔洞，以獲得更完整的右視圖噪聲畫面(Nk)。參照圖3將更好地理解進行孔洞填充的處理。然後在步驟210期間向右視圖添加右視圖噪聲畫面(Nk)。接著，執行步驟212，檢查視頻圖像中是否存在另外的畫面供處理。如果不存在另外的畫面供處理，則處理在步驟214處結束。否則，再次執行步驟202-212，直到不存在其他畫面為止。圖2中示出的舒適噪聲添加方法假定左噪聲畫面和右噪聲畫面具有與視頻圖像相同的視差(disparity)。與簡單地向右視圖和左視圖添加相同噪聲或分別添加噪聲畫面相比，本發明原理的依賴於深度信息來合成噪聲畫面的舒適噪聲添加技術在經驗上提供最佳觀看質量。圖3示出了根據本發明原理的用於填充右視圖噪聲畫面(NKwithItolJ中的孔洞(缺失值)的方法步驟的流程圖。與孔洞區域中的基礎真實信息(ground truth information)存在但與其他視點保持非閉合(dis-occluded)的常規孔洞填充問題不同，在翹曲的噪聲畫面的孔洞區域中不存在這樣的基礎真實信息。為了克服該問題，本發明原理的孔洞填充方法並不傳播背景噪聲，而相反產生新的噪聲信息。產生新噪聲引起偽像減少，從而左視圖畫面和右視圖畫面在添加舒適噪聲之後看起來更自然。
圖3的方法在步驟300處開始，在步驟300期間進行初始化。接著，執行步驟302，標記或另外識別右視圖噪聲畫面(NKwithItolJ中需要填充的區域(即，「孔洞」)，即，具有需要校正的缺失值的區域。在步驟304期間，針對每個「孔洞」，圖I的舒適噪聲產生器20基於針對包括該孔洞的像素的圖像和深度信息來產生針對該孔洞的舒適噪聲。此後，將步驟304期間針對孔洞而產生的噪聲值複製到右視圖噪聲畫面(NKwithItolJ中，以獲得更完整的右噪聲畫面(Nk)。此後，處理在步驟308處結束。在運動畫面膠片上記錄的圖像通常呈現可感知的顆粒。這樣的顆粒構成已處理照片膠片的隨機光學紋理，這是由於存在從已經接收到足夠光子的滷化銀顯影的金屬銀的小顆粒。因此，不同畫面或視圖中的膠片顆粒彼此無關。當按照3D模式觀看膠片時，無關的噪聲引起不適的視覺效果。根據本發明原理的另一實施例，提取圖像中原始存在的膠片顆粒，並且用針對3D觀看而特殊合成的膠片顆粒來代替，以免不適的視覺效果。圖4示出了提取原始顆粒並基於深度信息合成膠片顆粒的方法步驟的流程圖。圖4的方法在執行開始步驟400時開始，在開始步驟400期間進行初始化。此後，在步驟402期間提取左視圖畫面中存在的膠片顆粒(Grairk)。現有的膠片顆粒提取器(未示出)可以用來提取這種顆粒。由於膠片顆粒在時間上非相關地，但是具有一些空間相關性，因此一個或多個時間濾波器(未示出)可以去除膠片顆粒。濾波之後時間上平滑的圖像與原始圖像之間的差包括提取的膠片顆粒。在步驟402之後，執行步驟404，在步驟404期間使用相似技術來從右視圖畫面中提取膠片顆粒(Grain,)。在步驟404之後，執行步驟406，以從右視圖畫面中去除膠片顆粒。此後，在步驟408期間對針對左視圖畫面提取的膠片顆粒(Grairk)進行翹曲，以獲得針對右視圖畫面的合成顆粒(GrainliwithlfolJ。對針對左視圖提取的膠片顆粒(Grairk)進行翹曲的方式類似於先前關於圖2的步驟206討論的對左視圖舒適噪聲畫面進行翹曲的處理。在步驟410期間填充合成顆粒(GrainKwithIfolJ中存在的孔洞，填充的方式類似於結合圖2的步驟208討論的方式，以獲得針對右視圖畫面的更多膠片顆粒(Grain)。在步驟410之後，執行步驟412，在步驟412期間，將更完整的右顆粒(Grain,)添加至右視圖畫面。在步驟412之後是步驟414，在步驟414期間，進行檢查以確定視頻圖像中是否存在另外的畫面供處理。如果不存在另外的畫面供處理，則處理在步驟416處結束。否則，再次執行步驟402-412，直到不存在供處理的其他畫面為止。如上所述，圖4的膠片顆粒噪聲添加技術通過提取並去除左視圖畫面和右視圖畫面中的膠片顆粒來操作。代替將提取的膠片顆粒從左視圖翹曲到右視圖，能夠使用關於圖2和3描述的技術將舒適噪聲添加至左視圖和右視圖。對於本文描述的所有實施例，與如上所述的對左視圖噪聲和膠片顆粒進行翹曲相反，本發明原理的噪聲添加技術可以通過對右視圖畫面舒適噪聲和膠片顆粒進行翹曲來操作，以分別獲得左視圖噪聲和舒適顆粒。 以上描述了用於向數字圖像添加噪聲的技術。
權利要求
1.一種用於向三維圖像添加噪聲的方法，包括根據圖像深度向圖像的不同區域添加噪聲的步驟。
2.根據權利要求I所述的方法，其中，噪聲包括舒適噪聲。
3.根據權利要求I所述的方法，其中，噪聲包括膠片顆粒。
4.根據權利要求I所述的方法，其中，三維圖像具有第一視圖和第二視圖，並且根據圖像深度向第一視圖和第二視圖添加噪聲。
5.根據權利要求I所述的方法，其中，添加噪聲的步驟還包括以下步驟 計算針對圖像中第一視圖的噪聲； 向第一視圖畫面添加計算的噪聲； 基於圖像深度，根據針對第一視圖畫面計算的噪聲來合成針對第二視圖畫面的噪聲； 向第二視圖畫面添加合成的噪聲。
6.根據權利要求5所述的方法，其中，合成針對第二視圖畫面的噪聲的步驟還包括以下步驟 識別合成噪聲中值缺失的區域；以及 用噪聲填充識別出的區域。
7.一種用於向具有第一視圖畫面和第二視圖畫面的三維圖像添加膠片顆粒的方法，包括以下步驟 從第一視圖畫面中提取膠片顆粒； 從第二視圖畫面中去除顆粒； 基於圖像深度根據針對第一視圖畫面提取的膠片顆粒來合成針對第二視圖畫面的膠片顆粒；以及 向第二視圖畫面添加合成的膠片顆粒。
8.根據權利要求7所述的方法，其中，合成針對第二視圖畫面的膠片顆粒的步驟還包括以下步驟 識別合成膠片中值缺失的區域；以及 用膠片顆粒填充識別出的區域。
9.一種用於向具有第一視圖畫面和第二視圖畫面的三維圖像添加膠片顆粒的方法，包括以下步驟 從第一視圖畫面中去除膠片顆粒； 從第二視圖畫面中去除膠片顆粒； 產生針對第一視圖畫面的舒適噪聲和膠片顆粒之一； 基於圖像深度，根據針對第一視圖畫面的產生的舒適噪聲和膠片顆粒之一，合成針對第二視圖畫面的舒適噪聲和膠片顆粒之一；並且 向第二視圖畫面添加合成的舒適噪聲和膠片顆粒之一。
10.根據權利要求9所述的方法，其中，合成針對第二視圖畫面的舒適噪聲和膠片顆粒之一的步驟還包括以下步驟 識別合成的舒適噪聲和膠片顆粒之一中值缺失的區域；以及 用舒適噪聲和膠片顆粒之一填充識別出的區域。
11.一種用於向三維圖像添加噪聲的設備，包括噪聲產生器，用於根據圖像深度向圖像的不同區域添加噪聲。
12.根據權利要求11所述的設備，其中，噪聲產生器還包括 用於計算針對圖像中第一視圖的噪聲的裝置； 用於向第一視圖畫面添加計算的噪聲的裝置； 用於基於圖像深度根據針對第一視圖畫面計算的噪聲來合成針對第二視圖畫面的噪聲的裝置； 用於向第二視圖畫面添加合成的噪聲的裝置。
13.根據權利要求10所述的設備，其中，用於合成針對第二視圖畫面的噪聲的裝置還包括 用於識別合成噪聲中值缺失的區域的裝置；以及 用於用噪聲填充識別出的區域的裝置。
14.一種用於向具有第一視圖畫面和第二視圖畫面的三維圖像添加膠片顆粒的設備，包括 用於從第一視圖畫面中提取膠片顆粒的裝置； 用於從第二視圖畫面中去除顆粒的裝置； 用於基於圖像深度根據針對第一視圖畫面提取的膠片顆粒來合成針對第二視圖畫面的膠片顆粒的裝置；以及 用於向第二視圖畫面添加合成的膠片顆粒的裝置。
15.根據權利要求14所述的設備，其中，用於合成針對第二視圖畫面的膠片顆粒的裝置還包括 用於識別合成膠片中值缺失的區域的裝置；以及 用於用膠片顆粒填充識別出的區域的裝置。
全文摘要
根據圖像深度信息向三維圖像添加舒適噪聲或膠片顆粒形式的噪聲，以降低人類對編碼偽像的敏感度，從而提高主觀圖像質量。
文檔編號H04N13/00GK102884799SQ201080066655
公開日2013年1月16日 申請日期2010年5月11日 優先權日2010年5月11日
發明者田棟, 鄒德鯤 申請人:湯姆森許可貿易公司