用於將對象數據插入立體圖像中的方法和設備的製作方法
2023-12-03 03:19:11 1
專利名稱：用於將對象數據插入立體圖像中的方法和設備的製作方法
技術領域：
本發明涉及一種用於將對象(object)數據插入到立體圖像中的方法和設備。
背景技術：
為了提高視頻內容(諸如實況廣播或故事片)對於聽力受損的那些人的可訪問性，提供了隱藏字幕。這使得與內容片段中的聲音有關的信息或對白被寫到屏幕上。存在當內容的語言與觀看者所講的語言不同時提供小標題的類似系統。目前，正在努力使得用戶可以在家裡觀看以3D捕獲的視頻素材。然而，將隱藏字幕合併到3D素材中是不容易的。這是因為字幕的3D位置難以被用戶感知到。具體地，如果字幕被置於圖像之上，則對字幕的位置的感知必然在圖像的前方。然而，如果3D圖像佔據了 3D空間中字幕前方的位置，使得用戶的眼睛集中於字幕的「前方」，則用戶會接收到相矛盾的提示。這會使得用戶感到不舒服。可以依賴於主體(subject)在3D空間中的位置來調節隱藏字幕的位置。換而言之，可以確保隱藏字幕的位置在3D空間中在主體的前方。然而，該方案具有兩個顯然的缺點。首先，該方案不是特別適合實況動作，其中主體可能突然向前移動，從而「突破」隱藏字幕。第二，為了確保隱藏字幕被置於正確的地方，需要場景的深度圖。深度圖為場景中的每個像素確定場景中的該像素距離相機的正確距離。深度圖的生成在計算上是精深的。期望在3D圖像中包括既適合於實況鏡頭又可以以不那麼計算密集的方式生成的隱藏字幕。本發明的目的就是輔助提供這樣的方案。
發明內容
根據本發明的一個方面，提供一種用於將對象數據插入立體圖像以用於在屏幕上顯示的方法，該方法包括如下步驟提供具有前景分量的第一圖像和具有前景分量的第二圖像，第二圖像的前景分量是第一圖像的前景分量的被水平移位的版本；將第一不透明部分插入第一圖像中，並且將第二不透明部分插入第二圖像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一圖像的分量與第二圖像的分量之間的位移小於第一不透明部分與第二不透明部分之間的位移；以及將對象數據插入到第一不透明部分上以用於在屏幕上顯示。該方法可以包括將對象數據插入到第二不透明部分上，其中對象數據被插入到第二圖像中的像素位置與對象數據被插入到第一圖像中的像素位置類似，以使得對象數據可被觀看為實質上位於屏幕平面上。該方法可以包括將第一不透明部分插入第一圖像中的一定位置，該位置依賴於圖像部分中的連續圖像之間的運動量和/或對象數目來確定。第一不透明部分的位置可以根據第一圖像中的運動和/或閾值對象數目來確定。該方法可以包括從輸入數據流提取指示第一不透明部分的位置的位置信息。該方法可以包括分析第一圖像並根據該分析來確定第一不透明部分的位置。
不透明部分的尺寸可以根據第一圖像中的對象數目和/或對象數據的大小和/或
運動量來確定。對象數據可以是增補視覺內容。第一不透明部分與第二不透明部分之間的位移可以被固定為預定距離。第一不透明部分與第二不透明部分之間的位移可以是屏幕寬度的比例。屏幕寬度的比例可以是1%。另外，可以提供一種包括計算機可讀指令的電腦程式產品，計算機可讀指令當被加載到計算機上時使得該計算機被配置為執行如前述實施例中的任何一個實施例所述的方法。另外，提供一種存儲介質，被配置為在其中或其上存儲所述電腦程式。根據另一個方面，提供一種用於將對象數據插入到立體圖像中以用於在屏幕上顯示的設備，包括顯示控制器，所述顯示控制器可操作來提供具有前景分量的第一圖像和具有前景分量的第二圖像，第二圖像的前景分量是第一圖像的前景分量的被水平移位的版本；所述顯示控制器還可操作來將第一不透明部分插入第一圖像中，並且將第二不透明部分插入第二圖像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一圖像的分量與第二圖像的分量之間的位移小於第一不透明部分與第二不透明部分之間的位移；以及所述顯示控制器還可操作來將對象數據插入到第一不透明部分上以用於在屏幕上顯不。所述顯示控制器還可操作來將對象數據插入到第二不透明部分上，其中對象數據被插入到第二圖像中的像素位置與對象數據被插入到第一圖像中的像素位置類似，以使得對象數據可被觀看為實質上位於屏幕平面上。所述顯示控制器還可操作來將第一不透明部分插入第一圖像中的一定位置，該位置依賴於圖像部分中的連續圖像之間的運動量和/或對象數目來確定。第一不透明部分的位置可以根據第一圖像中的運動和/或閾值對象數目來確定。所述顯示控制器還可操作來從輸入數據流提取指示第一不透明部分的位置的位
直fe息。所述顯示控制器還可操作來分析第一圖像並根據該分析來確定第一不透明部分的位置。不透明部分的尺寸可以根據第一圖像中的對象數目和/或對象數據的大小和/或
運動量來確定。對象數據可以是增補視覺內容。第一不透明部分與第二不透明部分之間的位移可以被固定為預定距離。第一不透明部分與第二不透明部分之間的位移可以是屏幕寬度的比例。屏幕寬度的比例可以是1%。
本發明的以上目標、特徵和優點將從以下對說明性實施例的詳細描述中變得明了，該描述應當結合附圖來閱讀，在附圖中圖1描述本發明的實施例的總體系統；
圖2描述圖1中示出的接收裝置的更為詳細的示圖；圖3是示出隱藏字幕和其中包含的文本在3D空間中的定位的示意圖；以及圖4是說明3D場景中的每個對象需要的位移的示圖。
具體實施例方式參考圖1，示出根據本發明的實施例的系統。該系統100包括顯示器120。顯示器120是3D使能的。換而言之，顯示器120被配置為顯示立體圖像，立體圖像允許用戶在觀看內容時體驗3D效果。該顯示器120可以與用戶所配戴的快門眼鏡交互或者可以要求用戶使用偏光眼鏡來顯示立體圖像，以使得3D效果被實現。在圖1中，用戶130被示出配戴著快門眼鏡140。然而，可以構想到諸如偏光眼鏡之類的任意其它類型的眼鏡。此外，3D 技術中的進步可能意味著用戶可以在完全不使用任何眼鏡的情況下觀看具有3D效果的圖像。例如，顯示器120可以利用諸如垂直透鏡片(perpendicular lenticular sheet)之類的技術來使得用戶130能夠在沒有眼鏡的情況下實現3D效果。連接至顯示器120的是控制盒200。控制盒200使用電線連接至顯示器，但是本發明不限於此。連接可以是無線的，或者可以通過有線的或無線的網絡來實現，或者可以被集成到顯示器中。內容的輸入流被饋送到控制盒200中。該內容可以包括3D鏡頭或者可以被控制盒200轉換成3D內容的2D鏡頭。在實施例中，輸入流還可以包括其它數據。其它數據可以由元數據組成，元數據是與內容有關的數據並且通常比其所描述的內容的大小更小。其它數據可以包括深度信息。深度信息描述場景內的每個像素的深度。從該信息，控制盒200 可以計算形成顯示器120上的立體圖像的兩個圖像之間的所需差異。另外地或替代地，深度信息可以是減少控制盒200所需的計算量的差異信息。輸入流還包含對象數據。對象數據是描述將要插入到所顯示的圖像中的對象的數據。對象數據的一個示例是隱藏字幕信息。隱藏字幕信息是音頻數據的視覺表示。例如， 隱藏字幕信息可以是描述屏幕上的兩個角色的對白的小標題。此外，隱藏字幕信息可以描述內容內的背景聲音，例如表明門正被砰地關上。隱藏字幕信息主要針對聽力受損的用戶。對象數據還可以包括增補視覺內容。增補視覺內容是對將要顯示的圖像內容進行增補的視覺內容。這可以包括足球比賽中的比分或當前新聞頭條的滾動更新。增補視覺內容的其它示例包括廣告、與當前在屏幕上的角色或運動員有關的信息、對顯示器上的事件的解說或可以增補當前顯示的圖像中所提供的信息的任意其它類型的視覺數據。對象數據還可以包括電子節目指南信息，或由電視顯示器或機頂盒生成的任意類型的數據，諸如電視菜單或任意類型的屏幕上的圖形。參考圖2，控制盒200被更詳細地示出。輸入流被饋送到對象數據提取器210中。 對象數據提取器210通常是解復用器，在實施例中，所述解復用器從輸入流中移除接收的對象數據。在包括隱藏字幕信息的對象數據的示例中，對象數據提取器210通過分析分組基本流(Packet Elementary Stream,PES)來獲知隱藏字幕信息是存在的。具體而言，當輸入流中包括隱藏字幕信息時，PES_packet_data_byte (PES_分組_數據_字節)被編碼為歐洲電信標準協會(ETSI)定義的PES_data_field(PES_數據_欄位)。當對象數據提取器 210識別出輸入流中包括隱藏字幕信息時，從分組中提取對象數據。技術人員將明白，雖然已經參考ETSI標準說明了以上內容，但是輸入流實際上可以是任何的廣播標準，或從任何存儲的或記錄的內容(例如，諸如在藍光光碟上提供的內容)播放而來。另外，對象數據提取器210向顯示裝置230輸出左眼圖像和相應的右眼圖像(相應的右眼圖像是左眼圖像的被水平移位的版本)。左眼圖像和右眼圖像一起形成立體圖像。 左眼圖像和右眼圖像中的對象之間的位移量決定對象在3D空間中的位置。換而言之，如技術人員理解的，左眼圖像和右眼圖像之間的水平位移決定了用戶感知到的對象的深度。所提取的對象數據被饋送給對象數據處理裝置220。對象數據處理裝置220使用通過輸入流接收到的PES分組中所包括的任何字體、顏色或大小信息來對對象數據進行格式化。換而言之，對象數據處理裝置220對對象數據施加格式化處理以使得其可以被正確地顯示。對象數據處理裝置220還生成當被顯示在屏幕上時將被插入到內容中的不透明部分。不透明部分將被以一特定深度放置在3D空間內並且將把圖像阻擋在後面。這確保了與不透明部分疊加的任何東西都將容易被讀到。不透明部分被放置的深度可以是在場景中的重要對象(以下，稱為前景分量)的前方的任何深度。左眼圖像和右眼圖像中的不透明部分的像素位置之間的位移將限定不透明部分的深度。稍後將參考圖3來描述不透明部分。已格式化的對象數據和不透明部分的左眼版本和右眼版本被饋送給顯示裝置 230。顯示裝置230還被饋送來自對象數據提取器210的左眼圖像和右眼圖像。顯示裝置 230生成圖像的左眼版本和右眼版本以用於立體顯示。特別地，顯示裝置230通過將不透明部分的左眼版本疊加到圖像的左眼版本上來生成用於顯示的圖像的左眼版本。類似地，顯示裝置230通過將不透明部分的右眼版本疊加到圖像的右眼版本上來生成用於顯示的圖像的右眼版本。對象數據還被插入到左眼圖像和右眼圖像二者中。在這裡應當注意，在實施例中，對象數據可以以在左眼版本和右眼版本之間幾乎沒有或沒有水平位移的方式被插入。這將使得對象數據能夠在立體圖像中被感知為是位於屏幕平面上的。換而言之，對象數據被用戶感知到是位於與屏幕相同或相似的深度。這是有用的，因為用戶在觀看時關注屏幕並且因此將對象數據放置在屏幕平面上或其周圍使得對象數據能夠更容易被用戶觀看。參考圖3和圖4，不透明部分在3D空間中的定位被示出。如在圖3中所示，用戶 130被定位於顯示器120的前方。為了體驗在顯示器120前方出現的角色310，在實施例中，用戶配戴快門眼鏡140。角色310僅僅是作為在3D空間中被定位得與觀看者最接近的任意對象的前景分量的一個示例。另外，由對象數據處理裝置220生成的不透明部分330被顯示。如圖3中所示，不透明部分330被定位在角色310的前方。此外，不透明部分330在3D空間中被定位為是最前方的對象。換而言之，不透明部分330看起來被定位在前景分量的前方。因此，不透明部分330在Z方向上具有的正值比角色310在Z方向上的值更大。如圖3中所示，對象數據是陳述單詞「你好」340B的隱藏字幕數據。對象數據340B 被疊加在不透明部分330上並且被設置成不同於不透明部分的顏色，以使得其是可見的。 然而，雖然不透明部分330顯得非常接近用戶130(即，位於在Z方向上具有比人物310更大的正值的平面上)，但是，在實施例中，對象數據被放置在與屏幕相同的平面上。通過將對象數據放置在與屏幕相同的平面上(在下文中或者稱為放置在屏幕平面中)，與Z方向上的任何其他位置相比，用戶將能夠更容易地集中於對象數據。圖3中示出了如下圖示對象數據「你好」340B在不透明部分330上對於用戶130可見。然而，在實施例中，對象數據「你好」 340A實際被放置在屏幕平面上。因為不透明部分330看起來象是圖像中最前的對象，所以用戶似乎要看穿不透明部分330來觀看位於屏幕平面上的對象數據。參考圖4，將描述創建圖3中的呈現的方法。為了生成立體圖像，圖像的左眼版本和圖像的右眼版本被顯示在屏幕上。眼鏡使得合適的眼睛能夠觀看正確圖像被原樣顯示的樣子。左眼圖像120L被生成。這包括左眼角色310L和左眼不透明部分330L。相應的右眼圖像120R被生成。這包括右眼角色310R和右眼不透明部分330R。為了產生角色310 看起來接近用戶的效果，左眼角色310L和右眼角色310R被水平移位距離d。該值可以是長度或者可以是某一像素數目。然而，因為不透明部分330看起來比角色310更接近用戶130 時，所以左眼不透明部分330L和右眼不透明部分330R被分隔距離e，距離e比d大。對象數據(在此情況下是單詞「你好」)被疊加在左眼不透明部分330L和右眼不透明部分330R 二者上。然而，因為在該實施例中對象數據將位於屏幕平面上，所以在顯示器上左眼圖對象數據和右眼對象數據之間沒有水平位移。換而言之，左眼版本的對象數據與對象數據的右眼版本處於相同的像素位置。左眼不透明部分和右眼不透明部分的位移的值e可以由廣播商提供並被包括在輸入流中。可替換地，值e可以是從左眼角色310L和右眼角色310R之間的位移d中導出的。因為在3D空間中不透明部分330需要位於角色310的前方，所以e的值必須比d的值更大。換而言之，e>d。e超過d的量可以是恆定的或者可以是變化的。然而，為了不對用戶造成不適，e的值可以服從於閾值。當不透明部分出現在屏幕的前方時，該閾值可以為屏幕寬度的1 %，如果不透明部分出現在屏幕後方時，該閾值可以為屏幕寬度的2%。然而， 這些僅僅是示例並且該閾值可以是相同的而不論不透明部分是出現在屏幕的前方還是後方。雖然上述閾值是屏幕寬度的百分比，但是該閾值可以簡單地是預定數目的像素，例如當不透明部分出現在典型高清晰(HD)顯示器上的屏幕的前方時，該閾值為20像素。另外，可以選擇e的值並且在節目的持續期間維持該值。這是有利的，因為d的值將不需要知道。e的值可以由廣播商提供，或者，當其不是由廣播商提供時，將需要在控制盒 200中計算e的值。然而，在計算方面花費很貴。因此，在沒有差異元數據被提供時，可以將 e的值設置為閾值距離。例如，如以上所述，當不透明部分將位於顯示器的前方時，e的值例如可以是屏幕的1%。這將通常等於20像素。這是因為，對於家庭觀看，3D節目(即d的值)一般不會超過該值，因此在正常情況下，不透明部分將總是處於角色310的前方。可替代地，可以從節目的深度預算計算出e的值。深度預算是由製作者設置的並且定義角色310可以具有的ζ方向的最正和最負的位置。通過獲知該深度預算，可以將e 的值設置得比該值大，從而確保不透明部分330將總是前景對象。不透明部分在屏幕上的寬度、高度和位置也可以改變。例如，不透明部分的寬度和高度可以依賴於將被置於屏幕上的對象數據的數量而被調節。因此，在僅單詞「你好」被顯示的本示例的情況中，使不透明部分具有較小的寬度(或填充屏幕上的較少的水平空間) 或較小的高度(或填充屏幕上的較少的垂直空間)是適當的。這確保較少的圖像被不透明部分遮住。還可以調節不透明部分在屏幕上的位置。在實施例中，不透明部分被朝著圖像的底部放置。然而，如果在屏幕的該區域中存在大量對象或者運動，則將不透明部分放置在那兒可能是不適當的。在此情況下，不透明部分被放置在屏幕上的其他地方(例如在屏幕的頂部附近(此處具有較少的運動或對象))可能更好。用於不透明部分的定位信息可以由廣播商在輸入流中提供，或者可以由控制盒200 「即時」計算出來。可以針對輸入圖像中的其他對象的數目和/或連續幀之間的運動量來分析輸入圖像並且可以基於此信息來選擇不透明部分的定位。換而言之，可以基於圖像中的最少量的運動或最少數目的對象來選擇不透明部分的定位。在實施例中，不透明部分可以僅被移動到屏幕上的特定區域。這改善了用戶的觀看體驗。儘管可以將不透明部分移動到屏幕的任何部分，但是確保不透明部分不會太經常地移動是有用的。如果不透明部分要定期移動，則用戶會被不透明部分轉移注意力。類似地，如果不透明部分要移動到屏幕的許多不同部分，則用戶還是會因不透明部分的移動而從實際圖像內容轉移注意力。為了解決該問題。在實施例中，不透明部分僅可以移動到所分配的屏幕位置。這可以是僅在圖像的頂部或底部。此外，不透明部分可以僅在當屏幕的特定區域中的對象數目和/或運動的量超過閾值時才移動屏幕位置。雖然已經在對象數據被放置在左眼圖像和右眼圖像二者中的情況說明了前述內容，但是本發明不限於此。對象數據可以是僅被放置在左眼圖像中或右眼圖像中。在此情況下，另一眼睛將會使不透明部分插入到圖像中，而沒有對象數據被疊加。雖然已經參考對象數據被放置在屏幕平面上的情況說明了前述內容，但是本發明不限於此。具體而言，對象數據可以被放置在沿ζ方向具有比不透明部分更小的ζ值的任意位置。這便於用戶將注意力集中到對象數據上。雖然已經參考硬體說明了前述內容，但是本發明不限於此。在實施例中，由所述硬體執行的處理可以由包含計算機可讀指令的計算機軟體來執行。這些計算機可讀指令形成可以被微處理器等讀取的電腦程式。電腦程式可被存儲在存儲介質上，存儲介質諸如光學可讀介質、固態存儲裝置、硬碟等。電腦程式可以作為信號通過諸如網際網路之類的網絡被傳送。雖然在此已經參考附圖詳細描述了本發明的說明性實施例，但是應當理解，本發明不限於這些精確實施例，並且在不偏離所附權利要求書所限定的本發明的範圍和精神的情況下，本領域技術人員可實行各種更改和修改。
權利要求
1.一種用於將對象數據插入立體圖像以用於在屏幕上顯示的方法，該方法包括如下步驟提供具有前景分量的第一圖像和具有前景分量的第二圖像，第二圖像的前景分量是第一圖像的前景分量的被水平移位的版本；將第一不透明部分插入第一圖像中，並且將第二不透明部分插入第二圖像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一圖像的分量與第二圖像的分量之間的位移小於第一不透明部分與第二不透明部分之間的位移；將對象數據插入到第一不透明部分上以用於在屏幕上顯示；以及將對象數據插入到第二不透明部分上，其中對象數據被插入到第二圖像中的像素位置與對象數據被插入到第一圖像中的像素位置類似，以使得對象數據可被觀看為實質上位於屏幕平面上。
2.如權利要求1所述的方法，包括將第一不透明部分插入第一圖像中的一定位置，此位置依賴於圖像部分中的連續圖像之間的運動量和/或對象數目來確定。
3.如權利要求2所述的方法，其中，第一不透明部分的位置根據第一圖像中的運動和/ 或閾值對象數目來確定。
4.如權利要求1所述的方法，包括從輸入數據流提取指示第一不透明部分的位置的位直fe息。
5.如權利要求1所述的方法，包括分析第一圖像並根據該分析來確定第一不透明部分的位置。
6.如權利要求1所述的方法，其中，所述不透明部分的尺寸根據第一圖像中的對象數目和/或對象數據的大小和/或運動量來確定。
7.如權利要求1所述的方法，其中，所述對象數據是增補視覺內容。
8.如權利要求1所述的方法，其中，第一不透明部分與第二不透明部分之間的位移被固定為預定距離。
9.如權利要求8所述的方法，其中，第一不透明部分與第二不透明部分之間的位移是屏幕寬度的比例。
10.如權利要求9所述的方法，其中，所述屏幕寬度的比例是1%。
11.一種電腦程式產品，包括計算機可讀指令，所述計算機可讀指令當被加載到計算機上時使得該計算機被配置為執行如權利要求1所述的方法。
12.—種存儲介質，被配置為在其中或其上存儲如權利要求11所述的電腦程式。
13.一種用於將對象數據插入到立體圖像中以用於在屏幕上顯示的設備，包括顯示控制器，所述顯示控制器可操作來提供具有前景分量的第一圖像和具有前景分量的第二圖像，第二圖像的前景分量是第一圖像的前景分量的被水平移位的版本；所述顯示控制器還可操作來將第一不透明部分插入第一圖像中，並且將第二不透明部分插入第二圖像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一圖像的分量與第二圖像的分量之間的位移小於第一不透明部分與第二不透明部分之間的位移；以及將對象數據插入到第一不透明部分上以用於在屏幕上顯示；其中所述顯示控制器還可操作來將對象數據插入到第二不透明部分上，其中對象數據被插入到第二圖像中的像素位置與對象數據被插入到第一圖像中的像素位置類似，以使得對象數據可被觀看為實質上位於屏幕平面上。
14.如權利要求13所述的設備，其中，所述顯示控制器還可操作來將第一不透明部分插入第一圖像中的一定位置，此位置依賴於圖像部分中的連續圖像之間的運動量和/或對象數目來確定。
15.如權利要求14所述的設備，其中，第一不透明部分的位置根據第一圖像中的運動和/或閾值對象數目來確定。
16.如權利要求13所述的設備，其中，所述顯示控制器還可操作來從輸入數據流提取指示第一不透明部分的位置的位置信息。
17.如權利要求13所述的設備，其中，所述顯示控制器還可操作來分析第一圖像並根據該分析來確定第一不透明部分的位置。
18.如權利要求13所述的設備，其中，所述不透明部分的尺寸根據第一圖像中的對象數目和/或對象數據的大小和/或運動量來確定。
19.如權利要求13所述的設備，其中，所述對象數據是增補視覺內容。
20.如權利要求13所述的設備，其中，第一不透明部分與第二不透明部分之間的位移被固定為預定距離。
21.如權利要求13所述的設備，其中，第一不透明部分與第二不透明部分之間的位移是屏幕寬度的比例。
22.如權利要求21所述的設備，其中，所述屏幕寬度的比例是1%。
全文摘要
本發明公開了用於將對象數據插入立體圖像中的方法和設備。用於將對象數據插入立體圖像以用於在屏幕上顯示的方法包括如下步驟提供具有前景分量的第一圖像和具有前景分量的第二圖像，第二圖像的前景分量是第一圖像的前景分量的被水平移位的版本；將第一不透明部分插入第一圖像中，並且將第二不透明部分插入第二圖像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一圖像的分量與第二圖像的分量之間的位移小於第一不透明部分與第二不透明部分之間的位移；以及將對象數據插入到第一不透明部分上以用於在屏幕上顯示。
文檔編號H04N5/445GK102457750SQ20111033343
公開日2012年5月16日 申請日期2011年10月26日 優先權日2010年10月26日
發明者喬納森·理察·索爾佩 申請人:索尼公司