用於處理輸入的三維視頻信號的方法和系統的製作方法

2023-09-13 10:05:30

專利名稱：用於處理輸入的三維視頻信號的方法和系統的製作方法
技術領域：
本發明涉及一種用於處理輸入的三維視頻信號的方法和系統以及一種用於實現根據本發明的方法的計算程序產品。
背景技術：
適於顯示三維圖像的顯示設備在研究中受到增長的關注。另外，進行了大量的研究，以便確立如何為終端用戶提供令人滿意的高質量觀看體驗。三維(3D)顯示器通過為觀看者的雙眼提供被觀看的場景的不同視圖來為觀看體驗添加第三維。這可以通過使用戶佩戴眼鏡以分離被顯示的兩個視圖而實現。然而，由於眼鏡可能被視為對於用戶來說不方便，在許多場景下優選使用自動立體顯示器，其使用顯示器處的裝置(諸如雙凸透鏡或隔板)來分離視圖，並且將它們以不同的方向發送，其中它們可以分別到達用戶的眼睛。對於立體顯示器，需要兩個視圖，而自動立體顯示器典型地需要更多視圖(諸如例如九個視圖)。存在各種不同的途徑來為這種立體設備和自動立體設備提供內容。流行的格式是傳遞有效地包括可以由顯示設備顯示的相應視圖的多個圖像的立體內容或多視圖內容。這樣做的優點是通常這種顯示設備和內容創建中的處理要求可以保持到最小。與傳遞包括用於顯示的實際的編碼的視圖的立體或多視圖內容相關聯的問題是這些圖像以隱式的方式有效地修正兩個或者更多個相應的視圖之間的視差關係。

發明內容
本發明的一個目的是減輕在施加疊加時編碼用於三維顯示器的立體或多視圖內容中的視差關係的缺點。此目的是通過根據本發明的處理輸入的三維視頻信號的方法而實現的，其中所述方法包括確定指示輸入的三維視頻信號的最大視差值的遠視差估計、以及指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計，通過基於所述遠視差估計藉助於視差移位向後移位輸入的三維視頻信號來適配三維視頻信號，並且基於所述近視差估計和所述視差移位在經過移位的三維視頻信號的空間區域內生成疊加。通過使一些視差信息(遠值和近值)變為顯式的(與多視像數據中的隱式信息相對照)，使得可以進行諸如確定移位的量之類的顯式處理。本發明的發明人認識到通過建立如上所述的遠和近視差估計，可以建立用於疊加的可用自由空間(headroom)，以便允許在視頻信號中描繪的場景的前面安全地放置疊加。可以例如通過使用輸入的三維視頻信號的粗粒視差分析、或者作為替代通過使用在輸入的三維視頻信號中提供的元數據，來確定遠和近視差估計。一旦清楚是否可以適配輸入的三維視頻信號以及適配多少，可以基於遠視差估計藉助於視差移位來向後移位所述輸入的三維視頻信號的視差範圍。視差移位不需要重新呈現內容，而是可以典型地通過修剪以及延展視圖而以相對節省成本的方式實現。
結果是，可以延展可用於生成疊加的視差範圍，從而允許例如疊加更靠近顯示器的零視差平面而被放置，以便獲得更明顯(Sharper)的疊加。將對於本領域技術人員清楚的是所述疊加受輸入的三維視頻信號中的可用自由空間的影響。在一個實施例中，遠和近視差估計基於輸入的三維視頻信號的視差估計。具體地， 當在視差範圍的適配中保留餘量時，可以進行粗視差估計(coarse disparity estimate). 在稀疏視差估計(sparse disparity estimate)不完全正確的情況下，所述餘量仍可以補償這種錯誤。在替代實施例中，從作為輸入的三維視頻信號內的元數據提供的信息中導出遠和近視差估計。結果是，可以以高度節省成本的方式實現本發明。在根據本發明的優選實施例中，所述方法還包括用所生成的疊加疊加經過移位的三維視頻信號，從而使得能夠生成用在包括諸如例如字幕、隱蔽式字幕信息、用戶界面信息和/或圖像序列之類的疊加的多視圖顯示器上的圖像。這些疊加自身可以是二維或三維圖像數據的靜止圖像或者動畫序列，隨後基於近視差估計和所施加的視差移位使用適當的視差值對它們進行編碼。在三維疊加的情況下，可能需要以這種方式來移位疊加的視差範圍即，所述視差範圍可以在可用的視差範圍內放置。當使用計算機製圖法生成疊加時，存在對於圖形的放置的完全控制，並且可以利用可用於經過移位的三維視頻信號中的疊加的整個可用的視差範圍。在優選實施例中，視差值估計是基於每個鏡頭確定的。為了確定鏡頭邊界(也被稱為鏡頭切換)，可以將傳統的鏡頭切換檢測技術應用於輸入的三維視頻信號中的視圖的一個或多個視圖。B. L. Yeo 和 B. Liu 在 IEEE Trans. Circuits and Systems for Video Technology, Vol. 5，pp. 533-544，1995 年 12 月中發表的 「Rapid Scene Analysis on Compressed Videos」中給出了這種技術的實例。儘管可以實時地確定鏡頭邊界，但是與本發明一起使用的確定通常將需要充分的前瞻(look-ahead)。結果是，鏡頭切換檢測優選地離線地進行。如果疊加要呈現在若干連續鏡頭中，例如在畫中畫場景下，優選地基於這些連續鏡頭的內容來確定遠和近視差估計，以便允許適當地疊加所述疊加。在有利的實施例中，視差移位基於多個視圖的相鄰視圖之間的預先確定的最大視差值來確定。貫穿本申請，正視差用於指示被感知為位於零視差平面後面的對象。結果是， 這裡考慮預先確定的最大值。大於眼距的正視差對應於在物理上不可解釋的發散的眼線(eye line)。結果是， 大於眼距的正視差可以導致觀看不適。為了避免這點，可以將最大視差設置為平均眼距，或者設置為低於平均眼距的值。優選地，選擇最大視差，以使得考慮安全餘量，以便為所有的觀看者保持舒適性。可替代地，最大視差可以是可選地上限為平均眼距的用戶定義的值。後者尤其有利，因為其允許補償例如成人或孩子之間的眼距的差異。疊加信息的範圍可以包括例如編碼在光碟和/或以數字傳輸流可用的字幕或者隱蔽式字幕信息。疊加信息也可以涉及疊合(superimpose)在輸入的三維視頻信號之上的圖形用戶界面數據(GUI)。另外，可替代地，疊加可以是畫中畫系統(PiP)或者包括諸如GUI 中的動畫縮略圖或者動畫TV臺標誌之類的動畫內容的其它子畫面。
在一個實施例中，輸入的三維視頻信號的適配包括在視圖的第一側上修剪輸入的三維視頻信號的一個或者多個視圖。隨後，經過修剪的視圖可以被延展以便通過在與視圖的第一側相對的一側填充或者插入像素來獲得完整尺寸的視圖，從而對於經過修剪的視圖獲得改變的視差範圍。可替代地，可以使用圖像放大(zooming)來再次將剩餘部分縮放到完整寬度。在此場景下，圖像放大因數也將必須被應用於其它視圖。在立體的輸入的視頻信號的情況下，所述方法可以包括修剪單個圖像，然而，優選地，修剪兩個圖像，以便分布(distribute)由延展經過修剪的圖像而導致的可能的偽像。對於本領域技術人員來說將是清楚的是延展經過修剪的圖像可以包含範圍從簡單的像素重複方案到從靜止/運動圖像復原的領域已知的更複雜的描繪方案的各種算法。在一個實施例中，所述方法還包括在經過移位的三維視頻信號中嵌入元數據，所述數據指示經過移位的三維視頻信號的遠和近視差。可替代地，當所述方法也包括疊加經過移位的三維視頻信號時，所述方法包括在包括所述疊加的經過移位的三維視頻信號中嵌入元數據，所述數據指示包括所述疊加的經過移位的三維視頻信號的遠和近視差。結果是， 所述元數據可以用於進一步的下遊處理步驟。本發明還涉及一種計算程序產品，包括用於執行本發明的方法的程序指令。本發明還涉及一種用於處理包括多個視圖的輸入的三維視頻信號的系統，所述系統包括視差確定器，用於確定指示輸入的三維視頻信號的最大視差值的遠視差估計、以及指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計；視差移位器，其被配置為通過基於所述遠視差估計藉助於視差移位向後移位所述三維視頻信號來適配所述三維視頻信號；以及疊加生成器，其被配置為基於所述近視差估計和所述視差移位在經過移位的三維視頻信號的疊加安全區域內生成疊加。優選地，還提供視頻混合器，以在經過移位的三維視頻信號上疊加所述疊加。本發明這些和其它方面、特徵以及優點將根據下文描述的實施例而清楚明白，並且將參照下文描述的實施例而被闡明。


將參照附圖僅以實例的方式描述本發明的實施例，其中相似的標號指代具有相似功能的元件，附圖中
圖1圖示了定義視差的若干一般概念和參數， 圖2A圖示了三維輸入信號的視差頻率分布圖(histogram)， 圖2B圖示了三維輸入信號和三維疊加的另一個視差頻率分布圖， 圖3圖示了根據本發明的立體輸入對的右視像的適配， 圖4圖示了根據本發明的方法， 圖5A圖示了根據本發明的系統，以及圖5B圖示了根據本發明的另一個系統。
具體實施例方式圖1圖示了定義視差的若干一般概念和參數。圖1示出了位於雙箭頭E的邊緣的、相隔眼距E的兩個視點。由虛線表示的屏幕S位於觀看距離Z處，其用於顯示三維信息。這種屏幕在實踐中可以是例如可替代地為佩戴適合的眼部佩戴物的觀看者的眼睛提供用於相應的視點的適當圖像信息的時間序列顯示器或者頻譜序列顯示器。這裡屏幕S放置在零視差處，W指示屏幕的寬度。N (近)表示屏幕S前面的最大感知深度。同樣地，F (遠) 表示屏幕S後面的最大感知深度。線dN表示位於屏幕S前面N處的對象的所感知的視差，視差值dN這裡是負的，也被稱作交叉視差，並且可被表示為
dN= N E / (Z-N)[1]
線dF表示位於屏幕S後面F處的對象的所感知的視差，視差值dF這裡是正的，也被稱作非交叉視差，並且可被表示為
dF = F E / (Z+F)[2]
在實踐中，最大視差應當低於眼距E，以允許舒適的觀看。在實踐中，最大視差優選地設置為低於平均眼距E的值，以允許各人之間眼距的變化。應注意作為對應於最大正視差的像素的數目的最大正屏幕視差(screen parallax)取決於屏幕S的解析度和屏幕寬度W。圖2A圖示了三維輸入信號的視差頻率分布圖205。該頻率分布圖205是基於輸入的三維信號、即基於三維輸入信號的整個空間區域而確定的。可替代地，視差頻率分布圖可以被編譯用於三維輸入信號的整個空間區域的代表樣本。在圖2A中，沿d軸的最近視差值是具有負視差的點C。最遠的視差值是沿d軸的具有正視差的點B。基於頻率分布圖205，用於根據本發明的方法的遠視差估計對應於點B。頻率分布圖205指示在視差範圍內存在可用於遠離觀看者地移位輸入的三維的視差範圍的自由空間215，其將頻率分布圖向右移動。考慮其中疊加需要被放置在相應視圖中的特定空間區域內的情況。圖2A還示出了相關空間區域中的輸入的三維信號的視差頻率分布圖。該空間區域的三維輸入信號的頻率分布圖由粗虛線205』指示。基於頻率分布圖205』，指示此空間區域的最小視差值的近視差估計對應於點A。注意由於此特定的空間區域不包括更小(即更負)的視差值，在空間區域中已經存在用於放置疊加的很大的自由空間210。注意用於放置疊加的空間區域典型地是由輪廓定義的塊或者段(segment)，並且同樣明顯不同於如上所述的用於以其整體確定視圖的視差估計的樣本點。儘管在空間區域中已經存在用於放置疊加的很大的自由空間，但是可以通過將輸入的三維視頻信號的視差範圍遠離觀看者移位視差移位DS (其中DS < E-B)來創建甚至更多的自由空間。儘管不是嚴格必需，但是可以建議保留如圖2B中由余量215』所指示的餘量(E-B) - DS，以便適應各種用戶之間的不同的眼距。結果是，本發明提供了用於放置疊加的視差範圍中的附加增益。頻率分布圖220指示疊加的視差頻率分布圖，由於疊加完全放置在此空間區域內，因此此頻率分布圖也是整個圖像上的疊加的頻率分布圖。作為視差移位的結果，現在可以將諸如字幕之類的疊加信息放置在零視差平面處或者接近零視差平面，這提高了疊加觀看舒適性。如上面所指示的，遠和近視差估計可以基於與輸入的三維視頻信號一起提供的視差頻率分布圖信息而確定。可替代地，遠和近視差估計可以使用對於本領域技術人員來說已知的算法而從輸入的三維視頻信號導出。在Konrad等人的「Dense disparity estimation from feature correspondences，，， IS&T/SPIE Symposium on Electronic Imaging Stereoscopic Displays and Virtual Reality Syst., Jan. 23-28， 2000, San Jose, CA, USA中給出了這種算法的實例。圖3圖示了由本發明提出的移位視差的過程。左手側示出了來自輸入的立體視頻信號的圖像對LVl和RV1。所述圖像示出了放置在零視差處的灰色塊310和310』以及分別放置在圖像LVl和RVl中的負視差處的塊的前面的白色盤305和305』。如可從灰色塊310和310』的邊緣處的垂直密虛線看到的，該矩形具有零視差，因為其在左圖像和右圖像中放置在相同的位置。盤305和305，具有負屏幕視差，即，在右圖像RVl中，盤305，在左圖像LVl中盤 305的位置的左側。結果是，其在顯示器的前面可視化。為了向後移位場景，我們將RVl向右移位以獲得RV1，。將RV1，與LVl比較，我們
現在看到盤305』具有零視差並且矩形具有正視差。為了使經過移位的圖像適合立體顯示器，經過移位的圖像RV1』在右手側被修剪並且在左手側被延展相等的量以得到RV1』 』。LVl和RV1』 』繼而可以一起被可視化為其中與原始LVl-RVl對相比屏幕已經被向後移位的新的立體對。結果是，對LV1-RV1』 』比對LVl-RVl 具有更多的用於放置疊加的自由空間。應當注意儘管在上述實例中視圖中的僅一個被移位，但是還可以將左圖像LVl 和右圖像RVl兩者移位相等的相反量，其中組合的量對應於RV1』的移位。結果是，兩個經過移位的圖像都將必須被延展，但是延展區域是圖3中修剪和延展的區域的大小的一半。結果是，由延展造成的偽像可以更均勻地散布(spread)。當移位多視圖(例如三視圖)內容時，可以保留中心圖像並且分別移位和延展左和右圖像。對於技術人員來說將是清楚的是上面的移位視差範圍的方式隨後可以被擴展到另外的多視像並且擴展到任何適當量的圖像移位，從而造成它們之間相同的相對移位量。當適配輸入的三維視頻信號時，若干選項可用，例如，第一選項是僅使用修剪。考慮立體視頻信號，在此情況下可以將視頻信號中的左和右圖像兩者修剪相同量。如果圖像高寬比不是問題，則經過修剪的視圖不需要延展並且可以照原樣使用。這樣做的優點是不需要延展，不引入延展偽像。第二選項是使用如上所述的修剪和延展。考慮立體視頻信號， 在此情況下可以將視頻信號中的左圖像和右圖像兩者修剪相等的量，並且隨後如圖3所示的那樣延展相應的視圖。使用延展的優點是可以保留輸入的三維視頻信號的高寬比。注意 上面的選項的列出不是窮舉的。圖4給出根據本發明的用於處理包括多個視圖的輸入的三維視頻信號的方法400 的流程圖。所述方法包括用於確定405指示輸入的三維視頻信號的最大視差值的遠視差估計和指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計的步驟。如上面所指示的，相應的視差估計可以基於元數據，或者可以可替代地基於輸入的三維視頻信號的圖像內容而確定。所述方法還包括步驟通過基於所述遠視差估計藉助於視差移位向後移位輸入的三維視頻信號來適配410三維視頻信號，並且基於所述近視差估計和所述視差移位在經過移位的三維視頻信號的空間區域內生成415疊加。優選地，所述方法還包括在經過移位的三維視頻信號上疊加420疊加的步驟。如上面所指示的，適配輸入的三維視頻信號的步驟可以包括用於修剪425相應的視圖並且利用填充像素來延展430所述相應的視圖以便獲得改變的視差範圍的步驟。在立體信號的情況下，一個或者優選地兩個視圖被修剪並且隨後被延展。對於N 視圖多視像，在N為偶數的情況下，N-I或者優選地N個視圖被如上所述地修剪並且延展。圖5A給出了根據本發明的用於處理包括多個視圖的輸入的三維視頻信號的系統 500。所述系統500包括視差確定器505，用於確定指示輸入的三維視頻信號的最大視差值的遠視差估計、以及指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計。 如上面所指示的，視差確定器505可以被實現為視差估計器。所述系統還包括視差移位器 510，其被配置為通過基於所述遠視差估計藉助於視差移位向後移位所述三維視頻信號來適配所述三維視頻信號。所述系統500還包括疊加生成器515，其被配置為基於所述近視差估計和所述視差移位在經過移位的三維視頻信號的疊加安全區域內生成疊加。優選地，所述系統500還包括視頻混合器520，其被配置為在經過移位的三維視頻信號上疊加所述疊加。如圖5A所示的系統500可以實現在個人計算機或者其它用於離線處理內容的計算平臺上。可替代地，所述系統500可以實現在例如能夠進行藍光碟重放的設備或者機頂盒或3D-TV中。圖5B示出了根據本發明的另一個系統500，其中所述系統被分為分析設備502和混合設備503，兩個設備相結合實現如圖5A中給出的系統500中得到的功能。將理解上面為了清楚而進行的描述已經參照不同的功能單元和處理器描述了本發明的各實施例。然而，將清楚的是可以在不脫離本發明的情況下使用不同的功能單元或者處理器之間的任何適當的功能分布。例如，被說明為由分離的單元、處理器或控制器執行的功能可以由相同的處理器或控制器執行。因此，對於特定功能單元的引用僅被視為對於用於提供所描述的功能的適當的裝置的引用，而不是指示嚴格的邏輯或物理結構或組織。本發明可以以包括硬體、軟體、固件或其任何組合的任何適當形式實現。本發明可以可選地至少部分地實現為在一個或多個數據處理器和/或數位訊號處理器上運行的計算機軟體。本發明的實施例的元件和組件可以以任何適當方式物理地、功能性地和邏輯地實現。實際上，功能可以在單個單元中、多個單元中或作為其他功能單元的一部分實現。同樣，本發明可以以單個單元實現，或可以在不同單元和處理器之間物理地和功能性地分布。儘管已經關於一些實施例描述了本發明，但是不意在限制為這裡闡述的特定形式。而是，本發明的範圍僅由所附權利要求限定。另外，儘管特徵可能看起來是關於特定實施例描述的，但是本領域技術人員將認識到所描述的實施例的各種特徵可以根據本發明而組合。在權利要求中，術語包括不排除其他元件或步驟的存在。此外，儘管被單獨列出，但是多個裝置、元件或方法步驟可以由例如單個單元或處理器實現。另外，儘管各個特徵可以被包括在不同的權利要求中，但是這些特徵可以被有利地組合，並且包括在不同的權利要求中不意味著特徵的組合是不可行和/或不利的。而且， 特徵包括在一個類別的權利要求中不意味著限於該類別，而是指示該特徵等同地可適當地應用於其它權利要求類別。此外，權利要求書中特徵的順序不意味著所述特徵必須按其起作用的任何特定順序，具體而言，方法權利要求中各個步驟的順序不意味著各步驟必須按此順序執行。而是，可以以任何適當的順序執行步驟。另外，單數的引用不排除多個。因此， 對「一」、「第一」、「第二」等的引用不排除多個。權利要求中的附圖標記僅僅被提供來作為澄清性的實例，而不應被解釋為以任何方式限制權利要求的範圍。
權利要求
1.一種處理包括多個視圖的輸入的三維視頻信號的方法(400)，所述方法包括 -確定(405)-指示輸入的三維視頻信號的最大視差值的遠視差估計(B)， -指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計(A)， -通過基於所述遠視差估計藉助於視差移位(DS)向後移位所述輸入的三維視頻信號來適配(310)所述輸入的三維視頻信號，-基於所述近視差估計和所述視差移位(DS)在經過移位的三維視頻信號的空間區域內生成(315)疊加。
2.如權利要求1所述的方法，所述方法還包括-在經過移位的三維視頻信號上疊加(320)所述疊加。
3.如權利要求1所述的方法，其中所述遠視差估計(B)和所述近視差估計(A)兩者基於鏡頭或者基於鏡頭組。
4.如權利要求1所述的方法，其中所述視差移位(DS)基於多個視圖中的相鄰視圖之間的預先確定的最大視差值。
5.如權利要求4所述的方法，其中所述預先確定的最大視差值基於以下之一 -所選擇的眼距值和安全餘量(M)以及-用戶定義的最大視差值。
6.如權利要求1-5中的任一項所述的方法，其中所述疊加包括以下中的至少一個_字幕，-隱蔽式字幕信息， -用戶界面信息，以及 -另外的輸入的三維輸入信號。
7.如權利要求1-5中的任一項所述的方法，其中適配輸入的三維視頻信號包括以下之-在一側修剪(325)至少一個視圖，以便在所述經過修剪的視圖與視圖中的另一個視圖組合時獲得改變的視差範圍，-在一側修剪(325)至少一個視圖並且在所述一側的相對側延展(330)該至少一個經過修剪的視圖，以便在所述經過延展的經過修剪的視圖與視圖中的另一個視圖組合時獲得改變的視差範圍，以及-修剪(325)至少一個視圖並且將其縮放回完整寬度，以便在所述經過延展的縮放的修剪視圖與另一個經過縮放的修剪視圖組合時獲得改變的視差範圍。
8.如權利要求1所述的方法，其中所述方法還包括在經過移位的三維視頻信號中嵌入指示經過移位的三維視頻信號的遠視差和近視差的元數據。
9.如權利要求2所述的方法，其中所述方法還包括在包括所述疊加的經過移位的三維視頻信號中嵌入指示包括所述疊加的經過移位的三維視頻信號的遠視差和近視差的元數據。
10.一種電腦程式產品，包括用於執行權利要求1、2、3、4、5、8或9中的任一項所述的方法的程序指令。
11.用於處理包括多個視圖的輸入的三維視頻信號的系統(500)，所述系統包括 -視差確定器(505)，用於確定-指示輸入的三維視頻信號的最大視差值的遠視差估計以及 -指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計， -視差移位器(510)，其被配置為通過基於所述遠視差估計藉助於視差移位向後移位所述輸入的三維視頻信號來適配所述輸入的三維視頻信號，-疊加生成器(515)，其被配置為基於所述近視差估計和所述視差移位在經過移位的三維視頻信號的疊加安全區域內生成疊加。
12.如權利要求10所述的系統，該系統還包括-視頻混合器(520)，其被配置為在經過移位的三維視頻信號上疊加所述疊加。
13.如權利要求11-12中的任一項所述的系統，其中所述視差估計器(505)被配置為基於每個鏡頭或者基於每個鏡頭組來確定所述遠視差估計和所述近視差估計。
14.如權利要求11-12中的任一項所述的系統，其中所述視差移位(DS)基於多個視圖中的相鄰視圖之間的預先確定的最大視差值。
全文摘要
本發明涉及一種處理包括多個視圖的輸入的三維視頻信號的系統和方法，所述方法包括確定指示輸入的三維視頻信號的最大視差值的遠視差估計、以及指示輸入的三維視頻信號內的空間區域的最小視差值的近視差估計，通過基於所述遠視差估計藉助於視差移位向後移位輸入的三維視頻信號來適配輸入的三維視頻信號，並且基於所述近視差估計和所述視差移位在經過移位的三維視頻信號的空間區域內生成疊加。本發明還涉及一種實現根據本發明的方法的電腦程式產品。
文檔編號H04N13/00GK102204261SQ200980141834
公開日2011年9月28日 申請日期2009年10月16日 優先權日2008年10月21日
發明者B·G·B·巴倫布魯格, G·W·T·范德海登, P·J·L·A·斯維倫斯 申請人:皇家飛利浦電子股份有限公司