顯示數據生成設備的製作方法

2023-10-18 01:52:09 3

專利名稱：顯示數據生成設備的製作方法
技術領域：
本發明涉及一種顯示數據生成設備，其生成用於顯示要添加到視頻的在
屏(on-screen)字幕的數據。
背景技術：
隨著高清晰度數字大屏幕TV、視頻壓縮技術和成批數據傳輸技術的發 展，觀看電視節目、視頻信息等的形式近來已變得多種多樣。舉例而言，已 經提出了一種任意視點(viewpoint)視頻分發系統，其滿足"從喜好的視點觀看 電影或者棒球比賽的願望"。所述任意視點視頻分發系統用於向觀眾發送從多 個視點捕獲的視頻數據以及從這些數據生成的任意視點視頻數據。觀眾可以 從所接收的多個任意視點數據選擇對應於喜好視點的視點視頻，因此觀看如 此選擇的視頻數據。通過任意視點視頻分發系統，多個觀眾在相同的時間分 別可以觀看單個節目的不同視頻。 一種這樣的技術(參見例如專利文件1) 用於從被劃分為用於多個區域的多個部分圖像的圖像數據中，選擇和發送生 成由中心預測為用戶期望的視點的圖像所需要的部分圖像。
順便提及，向電視圖像添加諸如字幕之類的說明信息使得觀眾能夠迅速 地獲取與視頻相關的信息。通過同時參照字幕，觀眾變得容易理解正被觀看 的圖像。按照觀看屏幕的情況，呈現字幕；例如，在一種情況下是關於對象 (subject)的說明信息，在另一種情況下是諸如分數和時間的整體信息。即，要 疊加在視頻上的字幕的目的是更清楚和迅速地向觀眾提供關於視頻屏幕的說 明信息。廣播臺的編輯人工地在視頻上疊加所創建的字幕的技術已經作為用 於向電視圖像添加信息的現有技術而常見。其原因是作為信息的添加目標的 視頻僅僅是一個。
同時，與地圖導航系統相關的技術可被作為用於向任意視點視頻添加信 息並且顯示所述視頻的技術。在導航系統中，服務中心按照從用戶接收的視 點信息(視點的位置和縮放比例信息)而再生要顯示的圖像；從GIS (地理 信息系統)獲取落入屏幕區域內的整體地圖引導信息；在地像上疊加所
述地圖引導信息，並且顯示如此疊加的信息(例如參見專利文件2)。
專利文件1: JP-A-2004-193941第8-20頁，圖1 專利文件2: JP-A-2002-213984第9-14頁，圖
發明內容
本發明要解決的問題
當所述任意視點視頻分發系統使用現有技術的字幕添加技術時，廣播臺 的編輯選擇適合於在所有視點獲取的各個視點視頻數據的字幕，並且將如此 選擇的字幕疊加在每個視點視頻上。但是，因為視點的數量可以是無限的， 因此不能實現字幕的疊加。而且，字幕的實時疊加也是不現實的。
當結合專利文件2而說明的信息添加技術被應用到所述任意視點視頻分 發系統時，在圖20A中所示的任意視點圖像上顯示關於在屏幕範圍中呈現的 所有對象的說明信息。因此，顯示與字幕的指示的目的(更清楚和迅速地向 觀眾提供關於視頻屏幕的說明信息)相反的不適當的字幕。不能確定字幕的 細節或者字幕的布置(屏幕布局)的選^f奪，除非確定了屏幕狀態，諸如各個 對象如何顯示在視頻屏幕上。諸如在圖20B中所示的屏幕顯示最好作為字幕 的適當顯示。
鑑於所述情況而構思了本發明，並且本發明旨在提供一種顯示數據生成 設備，其能夠生成用於顯示適合於各個視頻的字幕的數據。 解決問題的手段
本發明的顯示數據生成設備的特徵在於包括對象確定部分，其根據視 點信息和對象信息來確定在屏幕上出現的對象；重要對象確定部分，其根據 由所述對象確定部分提供的確定結果和所述對象信息來確定會吸引觀眾注意 力的重要對象，並且其生成關於重要對象的特徵信息；布局選擇部分，其從 多個布局模板選擇具有符合關於所述重要對象的特徵信息的選擇條件的布局 模板；以及，字幕生成部分，其從所選擇的布局模板生成字幕顯示數據。
按照所述配置，可以選擇符合在屏幕上的對象的配置的適當布局，因此， 可以生成適合於各個的視頻的字幕顯示數據。由此，甚至分發任意視點視頻 的系統也可以更迅速和清楚地向觀眾提供關於每個觀眾終端的視頻屏幕的說 明信息。
本發明的顯示數據生成設備的特徵在於，所述重要對象確定部分通過使
用從在所述視點信息中包括的視點的位置到在所述對象信息中包括的對象的
位置的距離來確定所述重要對象。
按照所述配置，可以精確地確定被添加說明信息(字幕)的重要對象。 所述顯示數據生成設備的特徵在於，所述重要對象確定部分將位於離所
述視點的位置最短距離的對象確定為所述重要對象。
所述配置使得能夠精確地確定被添加說明信息(字幕)的重要對象。 而且，本發明的顯示數據生成設備其特徵在於，所述重要對象確定部分
根據所述視點信息和所述對象信息，生成作為所述重要對象在屏幕上的大小
的、關於所述重要對象的特徵信息；並且，所述布局選擇部分選擇具有符合
所述重要對象在屏幕上的大小的選擇條件的布局模板。
所述配置使得有可能與被確定為添加說明信息(字幕)的對象的重要對 象相關地在適當的布局中顯示字幕。
本發明的所述顯示數據生成設備的特徵還在於所述對象信息具有對象 屬性；所述布局模板的選擇條件具有對象屬性；並且，所述布局選擇部分選 擇具有符合所述重要對象的對象屬性的選擇條件的布局模板。
所述配置使得有可能在適當的布局中顯示包括符合對象屬性的適當信息 的字幕。
本發明的顯示數據生成方法也包括對象確定步驟，用於根據視點信息 和對象信息來確定在屏幕上出現的對象；重要對象確定步驟，用於根據確定 結果和所述對象信息來確定會吸S1觀眾注意力的重要對象，並且該步驟生成 關於重要對象的特徵信息；布局選擇步驟，用於從多個布局模板選擇具有符 合關於所述重要對象的所述特徵信息的選擇條件的布局模板；以及，字幕生 成步驟，用於從所選擇的布局模板生成字幕顯示數據。
本發明的顯示數據生成方法的特徵在於所述重要對象確定步驟包括 通過使用從在所述視點信息中包括的視點的位置到在所述對象信息中包括的 對象的位置的距離來確定所述重要對象。
本發明的所述顯示數據生成方法的特徵在於，所述重要對象確定步驟包 括將位於離視點的位置最短距離的對象確定為所述重要對象。
本發明的所述顯示數據生成方法的特徵還在於，所述重要對象確定步驟 包括基於所述視點信息和所述對象信息，生成作為所述重要對象在屏幕上 的大小的、關於所述重要對象的特徵信息；並且，所述布局選擇步驟包括
選擇具有符合所述重要對象在屏幕上的大小的選擇條件的布局模板。
本發明的所述顯示數據生成方法的特徵還在於所述對象信息具有對象
屬性；所述布局模板的選擇條件具有對象屬性；並且，所述布局選擇步驟包 括選擇具有符合所述重要對象的對象屬性的選擇條件的布局模板。
本發明的數據生成程序是用於使得計算機作為下述部件起作用對象確 定部件，其根據視點信息和對象信息來確定在屏幕上出現的對象；重要對象 確定部件，其根據由所述對象確定部件提供的確定的結果和所述對象信息來 確定會吸《1觀眾注意力的重要對象，所述重要對象生成重要對象的特徵信息； 布局選擇部件，其從多個布局模板選擇具有符合關於所述重要對象的所述特 徵信息的選擇條件的布局模板；以及，字幕生成部件，其從所選4奪的布局才莫 板生成字幕顯示數據。
本發明的優點
根據本發明，可以選擇符合在屏幕上的對象的配置的適當布局，因此， 可以生成其中適當的字幕被疊加在各個任意視點視頻上的顯示數據。


圖1是示出本發明的第一實施例的顯示數據生成設備的內部配置的視圖。
圖2A、 2B是在概念上示出本發明的第一實施例的顯示數據生成設備中 使用的對象信息的數據結構的視圖。
圖3是在概念上示出本發明的第一實施例的顯示數據生成設備中使用的 視點信息的數據結構的視圖。
圖4是用於說明視點信息的項目的示意圖。
圖5是用於說明對象確定方法的示意圖。
圖6A、 6B是用於說明對象確定部分如何確定多個對象的示意圖。 圖7是用於說明重要對象確定方法的示意圖。
圖8是用於說明用於計算對象的屏幕份額(screen share)的方法的示意圖。 圖9是在概念上示出在本發明的第一實施例的顯示數據生成設備中使用 的布局模板的數據結構的視圖。
圖IO是用於說明用於選擇布局模板的方法的示意圖。 圖11是示出布局模板的顯示示例的示意圖。 圖12是在概念上示出用於說明字幕的材料的數據結構的視圖13A、 13B是在概念上示出用於說明字幕的材料的數據結構的視圖14是示出用於本發明的第一實施例的顯示數據生成設備的字幕顯示
數據生成處理過程的流程圖。
圖15是用於說明用於顯示字幕的數據的具體示例生成的視圖。
圖16A- 16C是用於說明當存在多種類型的字幕時發生的問題的視圖。
圖17A- 17C是在概念上示出在本發明的第二實施例的顯示數據生成設
備中使用的對象信息的數據結構的視圖。
圖18是在概念上示出在本發明的第二實施例的顯示數據生成設備中使
用的布局模板的數據結構的視圖。
圖19是用於描述本發明的第二實施例的顯示數據生成設備的布局選擇
部分的操作的視圖。
圖20A、 20B是用於說明現有技術的問題的視圖。 附圖標號的說明
100顯示數據生成設備
101視點信息輸入部分
102任意視點視頻接收部分
1034壬意^L點^L頻重》i部分
104附加信息接收部分
105對象確定部分
106重要對象確定部分
107布局選擇部分
108字幕生成部分
109牙見頻疊加部分
具體實施例方式
以下參見附圖描迷本發明的實施例。 [第一實施例]
圖1是示出本發明的第一實施例的顯示數據生成設備的內部配置的視
圖。顯示數據生成設備100由下述部分構成視點信息輸入部分101;任意 視點視頻接收部分102;任意視點視頻重放部分103;附加信息接收部分104;
對象確定部分105;重要對象確定部分106;布局選擇部分107;字幕生成吾， 分108;以及視頻疊加部分109。這些部分被大致地分類為任意視點視頻控 制系統塊，其控制任意視點視頻的顯示；以及，附加信息控制系統塊，其控 制字幕的顯示。
首先，描述所述任意視點視頻控制系統塊。所述任意視點視頻控制系統 塊包括視點信息輸入部分101、任意視點視頻接收部分102和任意視點一見頻 重放部分103。視點信息輸入部分101用於通過諸如遙控器的輸入部件來獲 取視點信息，並且指令任意視點圖像的選擇。視點信息被輸出到對象確定部 分105和重要對象確定部分106以及任意視點視頻接收部分102。視點fT息 也可以通過除了輸入之外的方法來獲取，諸如從操作歷史獲取信息。
根據所述視點信息，任意視點視頻接收部分102選擇性地從多個一見頻^ 據中接收符合視點信息的視頻數據，所述多個視頻數據從分發視頻的分發中 心(以下稱為"中心，，)分發，並且已經從多個視點被捕獲，並且用作用於生 成任意視點視頻的源。任意視點視頻重放部分103重放如此接收的視頻數據。 可以想像的用於提供任意視點視頻數據的技術是例如，用於通過在專利文 件1中描述的任意視點視頻分發系統而分發視頻數據、並且選擇性地4妻收包 括接收端所需要的視點視頻的視頻數據的方法，所述要分發的視頻數據已經 從多個視點被捕獲，並且作為所述中心從中生成任意視點視頻的源。
接著，將說明附加信息控制系統塊。附加信息控制系統塊包括附加信息 接收部分104、對象確定部分105、重要對象確定部分106、布局選擇部分107 和字幕生成部分108。附加信息接收部分104—直接收對象信息、用於"i兌明 字幕的材料和與布局模板相關的更新數據，並且向對象確定部分105提供所 接收的對象信息，向字幕生成部分108提供用於說明字幕的材料，並且向布 局選擇部分107提供布局模板。用於獲取諸如對象信息、用於說明字幕的材 料和布局模板的附加信息的方法不限於接收由所述中心作為視頻數據而復用 和發布的附加信息。例如，也可以獲取在顯示數據生成設備中累積的附加信 息，或者也可以獲取已經與視頻數據一起被中心復用並且通過廣播而一皮發送 的附加信息。所述附加信息的源不限於中心。例如，除了中心之外的第三方 也可以提供附加信息。在通過其來提供附加信息的發送信道上未施加任何限 制。
對象信息是用於指定對象並且描述其特徵的信息。對象信息由中心(攝
像機側)生成，並且被發送到顯示數據生成設備100。所述對象包括在連才妻 到顯示數據生成設備100的視頻顯示終端(從附圖中省略)的屏幕上顯示的 對象，並且包括在視頻顯示終端的屏幕上未顯示的對象。在關於單個對象的 信息被用作發送單位時分發對象信息。在本實施例中不特別限制對象信息的 發送頻率。對象信息也可以在每視頻幀的基礎上或者以除了用於一般的視頻
幀的間隔之外的間隔^皮發送。例如，當^L頻發送速度是30幀/秒時，也可以 以每1/30秒發送對象信息，或者也可以以1/2秒的間隔(每15幀)發送對象 信息。也可以通過顯示數據生成設備100以及通過中心(攝像機側)生成對 象信息。
用於說明字幕的材料是用於說明添加到屏幕的字幕的細節的材料。用於 說明字幕的材料由中心的編輯輸入。所述中心向顯示數據生成設備100發送 預先產生的、用於說明字幕的材料，並且隨後在產生需要時僅發送關於更新 的差別的信息。而且，也可以在將以指定用於說明字幕的特定材料的信息定 界的數據作為發送單位時，分發用於說明字幕的材料。
所述布局模板是進行用於說明字幕的屏幕設計所需要的信息。所述布局 模板由中心生成，並且被發送到顯示數據生成設備100。中心向顯示翁:據生 成設備IOO發送預先創建的布局模板，並且隨後在任何時間發送更新的信息。 而且，也可以在將使用用於選擇布局模板的信息定界的數據用作發送單位時 分發布局模板。
附加信息接收部分104也可以一直獨立地執行處理，但是不限於這才羊的 處理。作為替代，所述附加信息接收部分也可以執行異步處理，但是也不限 於所述處理。而且，附加信息接收部分104也可以被配置為與任意視點視頻 接收部分102相同的功能部分。
對象確定部分105確定是否在屏幕上顯示了與所獲取的對象信息相關的 對象。重要對象確定部分106從在屏幕上出現的對象中指定將會吸引觀眾注 意力的重要對象，並且生成關於該重要對象的特徵信息。而且，布局選4奪部 分107將關於重要對象的特徵信息和與由附加信息接收部分104接收的布局 模板相關的選擇條件相比較，由此選擇具有符合的選擇條件的布局模板。 字幕生成部分108從所選擇的布局模板生成字幕顯示數據。 現在說明具有上述配置的顯示數據生成設備100的操作。 首先，將說明用於控制字幕的顯示的操作。對象確定部分105根據通過
視點信息輸入部分101輸入的視點信息來從由附加信息接收部分104接收的
對象信息中提取在屏幕上出現的對象。接著，重要對象確定部分106從在屏 幕上出現的對象中確定將會吸引觀眾注意力的重要對象，並且生成關於該重 要對象的特徵信息。而且，布局選擇部分107將關於重要對象的特徵信息和 與附加信息接收部分104接收的布局模板相關的選擇條件相比較，由此選擇 符合的布局模板。
根據所選擇的布局模板，字幕生成部分108從由附加信息接收部分104 接收的、用於說明字幕的材料中選擇適用於模板的各個部分的所需要的信息。 字幕生成部分108通過使用所選擇的布局模板和所選擇的關於字幕的說明來 生成字幕顯示數據。最後，視頻疊加部分109在所生成的字幕顯示數據上疊 加任意視點視頻，並且將如此疊加的數據輸出至未示出的視頻顯示裝置。
現在詳細說明對象信息和視點信息的定義。
圖2是在概念上示出由本發明的第一實施例的顯示數據生成設備使用的 對象信息的數據結構的視圖。如圖2A中所示，對象信息D8100由對象標識 信息D8101和對象位置D8102構成。對象標識信息D8101表示名稱和S於象 ID，而對象位置D8102表示對象的當前位置。可以通過GPS、超聲波雷達和 圖像識別等來測量與對象的位置相關的坐標數據。所述對象被感知為坐標點。 例如，如圖2B中所示，與三個對象A、 B和C相關，生成了對象標識^f言息 A-作為關於A先生/女士的對象信息的對象位置(-12米，0米，16米)；對 象標識信息B -作為關於B先生/女士的對象信息的對象位置(-36米，0 米，48米)；以及，對象標識信息C -作為關於C先生/女士的對象信息的 對象位置(60米，0米，80米)。
接著描述視點信息。任意視點視頻接收部分102通過使用被分配給在觀 眾期望的位置的虛擬攝像機的參數，從已經從中心分發、並且從多個浮見點的 位置捕獲的視頻數據生成觀眾期望的任意視點視頻。圖3是在概念上示出本 發明的第 一 實施例的顯示數據生成設備使用的視點信息的數據結構的視圖。 在本實施例中，所述視點信息是用於指定被分配給虛擬攝像機的參數的信息； 即，視點位置、視線方向和視野角(視角)。如圖所示，視點信息D8200由 視點位置D8201、視線方向D8201和視角D8203構成。圖4是用於描述^見點 信息的項目的示意圖。視點的位置是用於生成任意視點屏幕的虛擬攝^4幾的 位置，並且被表達為虛擬攝像機的三維位置坐標(x, y, z)。視線方向對應
於虛擬攝像機執行成像的方向，並且由兩個參數來表達；即，水平分量和垂
直分量(搖攝角度a和傾斜角度p)。視角通過由虛擬攝像機捕獲的視頻的範 圍來標識；即視角e。視角一般由兩個參數來表示即水平^L角和垂直-見角， 並且在本實施例中，假定如果所捕獲的視頻的縱橫比被預先固定到16:9的<1， 則僅僅通過使用水平視角來表達。視點信息的參數不總是需要通過在本實施 例中描述的7個參數表達，並且也可以通過任何信息表達，只要可以通過所 述信息來指定成像位置、成像方向和視角。
現在詳細說明用於控制字幕的顯示的、在操作期間各個部分執行的處理。 首先，將描述對象確定部分104的對象確定處理。圖5是用於說明確定 對象的方法的示意圖。如圖所示，如果虛擬攝像機的位置被用作頂點，則沿 著在視線方向上確定的虛擬攝像機的方向、通過虛擬攝像機的水平視角01和 垂直視角92來定義錐體的三維視場。當在視場中存在任意對象(點)時，對 象確定部分104確定在從視點信息確定的屏幕上顯示對象。例如，因為在附 圖中的對象P1存在於三維視場中，因此對象確定部分104確定對象P1 4皮顯 示在屏幕上。同時，因為對象P2不存在於所述三維視場中，因此對象確定部 分104確定對象P2不顯示在屏幕上。
同樣，圖6是用於說明對象確定部分104如何感知多個對象的示意圖。 圖6A是示出當沿著Y軸向下觀看時由某一虛擬攝像機生成的視場的視圖。 按照各個對象是否存在於所述三維視場中，對象確定部分104確定在碎見場中
存在的對象A、 B和C被顯示在屏幕上，並且在視場中不存在的對象D和E 不顯示在屏幕上。圖6B是示出在圖6A所示的條件下捕獲的任意視點屏幕的 示意圖。對象A、 B和C^L顯示在屏幕上，並且對象D和E未被顯示為屏幕 上。
接著，將說明重要對象確定部分106的重要對象確定處理。圖7是用於 說明重要對象確定方法的示意圖。按照用於確定重要對象的規則來說明會吸 引觀眾的注意力的重要對象。在本實施例中，用於確定重要對象的規則被定 義為"將在屏幕上出現的對象中位於最接近虛擬攝像機(視點的位置)的範
圍內的對象確定為將會吸引觀眾的注意力的重要對象。"
如圖7中所示，對應於在屏幕上出現的三個對象A、 B和C的對象位置 相對於虛擬攝像機的位置(即視點位置(O米，0米，0米))是(-12米，0米，16 米)、(-36米，0米，48米)和(60米，0米，80米)。通過計算空間中的兩個點
之間的距離，在對象A和虛擬攝像機之間的距離Ll、在對象B和虛擬:^H象
機之間的距離L2和在對象C和虛擬攝像機之間的距離L3被計算為20米、 60米和100米。因此，重要對象確定部分106將最接近虛擬攝像機的對象A 確定為重要對象。
在本實施例中，將對象和虛擬攝像機之間的距離用作用於指定將吸引觀 眾的吸引力的重要對象的確定方法，但是本發明不限於所述距離。
現在將描述用於生成關於重要對象的特徵信息的處理，其是由重要對象 確定部分106執行的另一個處理。關於對象的特徵信息是表示如何顯示對象 的信息。用於指定觀眾看到的對象的大小的對象的屏幕份額(screen share)淨皮用 作關於對象的特徵信息。圖8是用於說明計算對象的屏幕份額的方法的示意 圖。在本實施例中，通過將在屏幕上出現的對象的大小除以屏幕大小而確定 的值被用作對象的屏幕份額，如方程I所示。更精確而言，在屏幕上出現的 對象的大小應當被指示為在屏幕上出現的對象的面積。但是，在本實施例中， 所述對象被投影在如圖所示的X-Z屏幕上，並且通過沿著X軸投影對象而獲 取的長度被視為在屏幕上出現的對象的大小。
p=K，/H， (方程1 )
附圖標號p指定對象的屏幕份額；K，指定對象在屏幕上的大小；以及， H，指定屏幕的大小。而且，附圖標號K指定對象的實際大小，並且H指定與 屏幕平行、並且通過被識別為對象的點的類似附圖的大小。根據類似性原理 獲得K7H、K/H，並且將所述關係代入方程1，由此獲得方程2。
p=K/H (方程2)
而且，如圖8中所示，附圖標號L指定對象到虛擬攝像機的位置的距離， 並且從三角法函數得出方程3。 [數學表達式3]
tan(e/2)=(H/2)L (方程3 )
在方程3轉換後，獲得方程4。 [數學表達式4]
H=2*L*tan(e/2) (方程4 )
方程4被代入方程2，並且代入結果被轉換，由此獲得方程5。[數學表達式5]
p=K/(2*L*tane/2) (方程5 )
其中，K指定由例如選手的寬度表達的對象的實際大小，並且通過近似J也忽 略個體差別而被預先提供為常數。如上所述，通過方程5近似地計算乂於象的 屏幕份額。按照方程5,隨著對象接近攝像機或者隨著視角變窄，所述屏幕 份額變大。
接著，通過使用在圖7中所示的前述實施例來具體計算重要對象的屏幕 份額。在圖7所示的實施例中，附圖標號A指定重要對象。對象A與虛擬攝 像機的距離是20米；攝像機的位置是(O米，0米，0米)；並且水平^見角是 5度。如果對象的實際大小(選手的寬度)是常數值0.80米，則重要對象A 的屏幕份額p從方程5確定為0.458。下面，為了簡化描述，從所生成的關於 重要對象的特徵信息和關於所接收的重要對象的對象標識信息形成的信息被 用作重要對象信息。因此，在圖7所示的實施例中，從對象標識信息A和屏 幕份額0.458形成所述重要對象信息。雖然在本實施例中將對象的屏幕份額 用作特徵信息，但是特徵信息不限於屏幕份額。
現在將描述布局選擇部分107的布局選擇處理。根據由重要對象確定部 分106生成的重要對象信息，布局選4奪部分107為符合當前視頻屏幕上的對 象的配置的顯示字幕選擇適合的布局模板，並將如此選擇的布局模板4是交至 字幕生成部分108。具體上，布局選^f奪部分107從由附加對象接收部分l(M 接收的布局模板選擇具有滿足由重要對象確定部分106提取的重要對象的屏 幕份額的選擇條件的布局模板。
圖9是在概念上示出在本發明第一實施例的顯示數據生成設備中使用的 布局模板的數據結構的視圖。如圖所示，布局模板D8400由選擇條件D8401 和布局項目D8402構成。在本實施例中，用於選擇布局模板的條件被描述為 選擇條件D8401,並且被下限屏幕份額和上限屏幕份額限定。只要對象的屏 幕份額落在所述下限和所述上限之間的範圍中，則滿足用於選擇布局模板的 條件，布局項目D8402是用於布置字幕的信息，並且由諸如項目位置、材料 類型和項目屬性的lt據構成。項目的屬性不是必不可少的。
圖IO是用於描述選擇布局模板的方法的示意圖。所述附圖描述了向附加 信息接收部分104提供三個布局模板D102、 D103和D104的情況。布局模板 D102具有符合從0.4到0.8的屏幕份額的選擇條件，其中，布置了用於介紹
選手的姓名、擊球率和年齡的項目以及用於介紹比賽的狀態(對方隊的名稱
和分數)的項目。同時，布局模板D103具有符合從0.05到0.4的屏幕4分額 的選擇條件，其中，布置了對方隊名稱和分數。而且，布局模板D104具有 符合從0到0.05的屏幕份額的選擇條件，其中，布置了每次獲取的對方隊的 分數的顯示。
如圖10中所示，由重要對象確定部分D106提取的重要對象信息D101 中包括的重要對象的屏幕份額是0.458。因此，布局選擇部分107確定具有從 0.4到0.8的屏幕份額的布局模板D102符合選擇條件。因此，布局選擇部分 107提取布局模板D102，並且將如此提取的模板用作用於顯示目的的布局模板。
圖11是示出布局模板的示例顯示的示意圖。所述示例顯示體現在圖10 中所示的布局模板D102的顯示。在所述布局模板中，在屏幕的左上獲得的 位置坐標是(O, 0),並且屏幕被假定具有1600像素的寬度和1200像素的高 度。如圖所示，布局模板的部分由固定顯示部分、整體公共部分和對象相關 部分構成。
在所述布局模板中，固定顯示部分是其中確定項目位置和顯示內容、並 且主要由陰影背景和標籤形成的部分。在屏幕上的所述固定顯示部分的布局 由"項目位置"確定。而且，在固定顯示部分中，通過屬於布局項目的"顯 示內容'，來確定顯示內容。例如，如圖11中所示，背景D201、背景D202、 名稱標籤D205、年齡標籤和擊球率(battingaverage)標籤等是固定顯示部分。 通過背景202的項目的位置(即左上位置(20， 900)和右下位置(1580, 1180 )) 來確定背景202在屏幕上的布局。如在背景202的情況中那樣，通過名稱標 籤D205的項目的位置(即左上位置(100， 1020)和右下位置(270， 1100)) 來確定名稱標籤D205在屏幕上的布局。可以類似地確定附圖的其他固定顯 示部分在屏幕上的布局。
所述整體公共部分是不依賴於特定對象的布局模板的一部分。整個公共 部分主要由關於隊的信息、分數信息等構成。通過"項目位置"來確定在屏 幕上的整體公共部分的布局。例如，如圖ll所示，兩隊的隊l的隊名稱一皮布 置在布局模板的部分D203中。通過部分D203的項目的位置來確定部分D203 在屏幕上的布局，所述部分D203的項目的位置即左上位置(30， 30)和右 下位置(160， 130)。而且，關於部分D203的特定信息由在布局項目中包括
的"材料類型"的"隊信息/隊1"和"項目屬性"的"隊名稱"形成。下面 將說明用於通過具體信息提取關於字幕的說明的方法。類似的，在布局模板
的部分D204中布置了兩隊的隊1的分悽t。通過部分D204的項目的位置來確 定部分D204在屏幕上的布局，所述部分D204的項目的位置即左上位置(30, 150)和右下位置(160， 200)。
關於部分D204的具體信息由在布局項目中包括的"材料類型，，的"隊 信息/隊1"和"項目屬性"的"分數"形成。下面也說明用於通過具體信息 填充關於字幕的說明的方法。也可以同樣地確定附圖的其他整體公共部分在 屏幕上的布局。
所述對象相關部分是依賴於布局模板中的具體對象的部分。所述對象相 關部分主要由與選手相關的說明信息等形成。所述對象相關部分在屏幕上的 布局也由項目的位置確定，例如，如圖11所示，在部分D206中布置了任意 選手的姓名。通過部分D206的項目的位置來確定部分D206在屏幕上的布局， 所述部分D206的項目位置即左上位置(290， 1020 )和右下位置(760, 1100)。 關於部分D206的具體信息由在布局的項目中包括的"材料類型"的"選手" 和"項目屬性"的"選手姓名"形成。下面將說明通過具體信息來提耳又關於 字幕的說明的方法。而且，附圖的其他對象相關部分在屏幕上的布局也可以 類似地確定。也可以將示出在屏幕上的部分的疊加順序的信息添加到布局模 板的每個部分上。例如，其中在背景部分之前的位置顯示標籤部分的布局是 有可能的。
現在將描述字幕生成部分108的字幕生成處理。根據所提取的布局模板， 字幕生成部分108從用於說明由附加信息接收部分104接收的字幕的材衝牛選 擇關於字幕的說明，由此生成字幕顯示數據。
圖12和13是概念上示出用於說明字幕的材料的數據結構的視圖。如圖 12所示，字幕說明材料D8500由材料類型D8501和字幕說明項目D8502形 成。字幕說明項目D8502由項目屬性和字幕說明形成。材料類型D8501是用 於指定用於說明字幕的材料的信息。可以通過分層描述方法來描述材料類型 D8501的具體形式。如例如圖13A中所示，材料類型被描述為"選手/A"。而 且，如圖13B中所示，材料類型被描述為"隊信息/隊l"。
現在將描述用於生成字幕顯示數據的過程。圖14是示出本發明的第一實 施例的顯示數據生成設備的字幕顯示數據生成處理過程的流程圖。首先，字
幕生成部分108使用固定顯示部分作為字幕顯示數據來填充由布局選擇部分
107選擇的布局模板，所述固定顯示部分的顯示內容和屏幕布局已經被確定，
諸如任意陰影背景或者標籤(步驟S001 )。
接著，字幕生成部分108獲取在由布局選擇部分107選擇的布局才莫板的 整體公共部分內包括的第一材料類型和第一項目屬性(步驟S002)。當第一
材料類型和在由附加信息接收部分104接收的用於說明字幕的材料中包括的 第二材料類型彼此一致時，並且當第 一項目屬性和在由附加信息接收部分104 接收的用於說明字幕的材料中包括的第二項目屬性彼此一致時，字幕生成部 分108提取符合所述第二材料類型和第二項目屬性的字幕的說明。字幕生成 部分108按照在整體公共部分中包括的項目的位置使用如此提取的字幕的說 明來填充字幕顯示數據。
接著，字幕生成部分108獲取在由布局選擇部分107選擇的布局4莫板中 的對象相關部分中包括的第三材料類型和第三項目屬性(步驟S003 )。字幕 生成部分108將所述第三材料類型進一步與在由重要對象確定部分106提取 的重要對象信息中包括的對象標識信息相結合，由此生成第四材料類型。當 所述第四材料類型與在由附加信息接收部分104接收的用於說明字幕的材料 中包括的第五材料類型彼此一致時，並且當第三項目屬性和在由附加信息接 收部分104接收的用於說明字幕的材料中包括的第五項目屬性彼此一致時， 字幕生成部分108提取符合第五材料類型和第五項目屬性的字幕說明。字幕 生成部分108按照在對象相關部分中包括的項目的位置，使用如此提取的字 幕的說明來填充字幕顯示數據。
通過關於在所提取的布局模板中的部分的疊加順序的信息，字幕生成部 分108調整在字幕顯示數據中的部分的疊加的順序(步驟S004)。可以確定 要在字幕顯示數據的部分之前的位置顯示的部分和要在字幕顯示數據的部分 之後的位置顯示的部分。
圖15是用於說明生成字幕顯示數據的具體示例的視圖。通過使用由在圖 10中所示的布局選擇部分107選擇的布局模板來說明所述示例。
如圖15所示，在布局模板中的固定顯示部分(背景和標籤等)被首先填 充為字幕顯示數據。在模板D300中布置的標籤D301的細節是"名稱"。在 標籤D301中，在字幕顯示數據D400中的相同坐標位置被填充標籤D301的 項目的位置。由此，生成部分D401 "名稱"作為字幕顯示數據D400。通過
類似處理，可以生成布局模板D300中的其他固定顯示部分作為字幕顯示悽丈 據D400。
不依賴於在布局模板中的特定對象的整體公共部分(關於整個隊和分翁: 信息等的信息)被填充為字幕顯示數據。在模板D300中布置的部分D302中 包括的材料類型D3021對應於"隊信息/隊1"，並且項目屬性D3022對應於 "隊名稱"。同時，在由附加信息接收部分108接收的字幕說明材料D500中， 材料類型D501對應於"隊信息/隊1"，並且項目屬性D502對應於"隊名稱"。 因此，材料類型D3021與材料類型D501 —致，並且項目屬性D3022與項目 屬性D502 —致。因此，與部分D302的坐標位置相同的字幕顯示數據400的 坐標位置用符合材料類型D501和說明材料D502的字幕說明D503 (其值表 示"日本")來填充。結果，生成其內容是"日本"的部分D402作為字幕顯 示數據D400。可以通過類似的處理生成布局模板D300中的其他整體 ^共部 分作為字幕顯示數據D400。
依賴於在布局模板中的特定對象的對象相關部分(選手的介紹等)被填 充為字幕顯示數據。在模板D300中布置的部分D303中包括的材料類型 D3031對應於"選手"，並且項目屬性D3032對應於"選手的姓名"。而且， 在由重要對象確定部分106提取的重要對象信息D304中包括的對象標識信 息D3041對應於"A"。關於重要對象的材料類型D3031和對象標識信息D3041 被組合在一起，由此建立新的材料類型D305。材料類型D305的細節對應於 "選手/A"。同時，在字幕說明材料D500中，材料類型D504的細節對應於 "選手/A"，並且項目屬性D505的細節對應於"選手的姓名"。因此，材料 類型D305與材料類型D504 —致，並且項目屬性D3032與項目屬性D505 — 致。因此，在與部分D303的坐標位置相同的在字幕顯示數據D400中的坐標 位置被填充符合材料類型D504和說明材料D505的字幕說明D506 (其值表 示"日本Ichiro")。結果，生成部分D403 "日本Ichiro"作為字幕顯示數據 D400。可以通過類似處理生成在布局模板D300中的其他對象相關部分作為 字幕顯示數據D400。
通過關於在布局模板D300中的所有部分的疊加的順序的信息，調整在 如此生成的字幕顯示數據D400中的所有部分的疊加的順序。
如上所述，按照本發明第一實施例的顯示數據生成設備，結合在屏幕上 出現的對象而確定吸引觀眾注意力的重要對象，並且可以按照重要對象的特
性(諸如在屏幕上的對象圖像的大小)來轉換字幕的顯示。按照屏幕的顯示 狀態，結合各種任意的視點視頻屏幕來同時適當選擇關於重要對象的信息， 並且以具有適當布局的字幕的形式來顯示信息。因此，觀眾容易注意和適當 地理解所顯示的字幕的細節。 [第二實施例]
第 一實施例的顯示數據生成設備根據到攝像機的距離而選擇重要對象， 並且還按照在屏幕上的對象的大小來選擇與一個並且唯一的對象相關的字幕 布局模板。相反，在第二實施例中，將描述其中存在多個類型的對象(選手 等)，並且其中必須選4奪不同的對象相關(諸如個人介紹)的字幕布局才莫;f反的 情況。
圖16是用於描述當存在多種類型的對象時發生的問題的視圖。在第一實 施例的顯示數據生成設備中，當被選擇為屏幕上的重要對象的選手是在圖 16A中所示的擊球手時，僅僅按照屏幕份額而與選手的類型是野外球員 (fleldsman)還是投手無關地選擇適當的字幕布局模板。隨後，當用作屏幕上的 重要對象的選手被改變為另一種類型的選手(諸如如圖16B中所示的投手)時， 最好選擇如圖16C中所示的符合投手的字幕布局模板。但是，在第一實施例 的顯示數據生成設備中，相對於用於選擇布局模板的條件，僅查看選手的屏 幕份額。因此，如圖16B所示選擇符合在圖16A中所示的屏幕份額的擊球手 的類似字幕布局模板。
如在圖16中所示的實施例的情況那樣，即使當同一選手改變為不同的狀 態時，產生類似的問題。例如，如圖16A所示，當任意的選手進入擊球區和 擊球手狀態時，選擇符合擊球手狀態的字幕布局模板。但是，當如圖16B所 示，同一選手進入投手區域以如此進入投手的狀態時，優選的是，轉換到符 合在圖16C中所示的投手的狀態的字幕布局模板。但是，在第一實施例的顯 示數據生成設備中，因為相對於用於選擇布局模板的條件僅僅查看了選手的 屏幕份額，因此如圖16B所示選擇擊球手的字幕布局模板。在諸如足球的另 一種情況下，當選手作為前鋒和守門員時，類似地選擇不同的介紹字幕布局 模板。
因此，在第二實施例的顯示數據生成設備中，布局選擇部分107還向用 於選擇布局模板的條件添加諸如投手和野外球員的對象屬性，並且進一步向 對象信息添加對象屬性，由此按照對象的屏幕大小(屏幕份額)而選擇的布
局模板來選擇符合重要對象的對象屬性和用於選擇的條件的布局。因此，當 被選擇為重要對象的對象的類型(例如投手、野外球員、守門員和前鋒等) 改變時，可以轉換到符合所述改變的字幕。第二實施例的顯示數據生成設備 在內部配置上與第 一實施例的相同，因此省略其說明。
圖17是在概念上示出在本發明的第二實施例的顯示數據生成設備內使
用的對象信息的數據結構的視圖。如圖17A中所示，與圖2A中所示的第一 實施例的顯示數據生成設備中使用的對象信息D8100相反，對象信息D9100 被另外提供有對象屬性D9103。對象屬性D9103是與對象相關的、用於識別 對象的類型和種類的屬性。如圖17B中所示，對象信息D9901的對象標識信 息是A，並且對象屬性是"擊球手狀態"。如圖17C中所示，對象信息D9902 的對象標識信息是B,並且對象屬性是"投手狀態"。
圖18是在概念上示出在本發明的第二實施例的顯示數據生成設備中4吏 用的布局模板的數據結構的視圖。與在圖9中所示的第一實施例的顯示數據 生成設備中使用的布局模板D8400相反，布局模板D9400將對象屬性D9403 加入到選擇條件D9401。對象屬性D9403是用於確定對象的狀態和類型的條 件。
現在將描述第二實施例的顯示數據生成設備的布局選擇部分107的布局 選擇處理，布局選擇部分107從由附加信息接收部分104接收的布局模板檢 索用於選擇滿足由重要對象確定部分106提取的重要對象的屏幕份額以及對 象屬性的布局模板的條件，由此選擇符合所述選擇條件的布局模板。落入在 圖18中所示的選擇條件D9401中包括的下限屏幕份額和上限屏幕份額之間 的範圍內的對象的屏幕份額的第一選擇條件，和符合在選擇條件D9401中包 括的對象屬性的對象的對象屬性的第二選擇條件，被用作用於選擇布局模板 的條件。
圖19是用於描述本發明的第二實施例的顯示數據生成設備中的布局選 擇部分107的視圖。
如圖所示，在重要對象信息D9910中包括的對象屬性D9911的細節是"投 手的狀態，，，並且屏幕份額D9912是"0.458"。例如，在任意布局模板的選才奪 條件D9920中包括的下限屏幕份額是"0.4"，在其中包括的上限屏幕份額是 "0.8",並且對象屬性是"投手的狀態"。在這種情況下，滿足超過選擇條件 D9920的下限屏幕份額並且等於或者小於選擇條件D9920的上限屏幕份額的
屏幕份額D9912的第一選擇條件和符合選擇條件D9920的對象屬性的對象屬 性D9911的第二選擇條件，因此布局選擇部分107確定重要對象D9910滿足 選擇條件D9920。因此，布局選擇部分107選擇符合選擇條件D9920的布局 模板。同時，例如，在其他布局模板選擇條件D9930中包括的下限屏幕份額 是"0.4",上限屏幕份額是"0.8"，並且對象屬性是"擊球手狀態"。在這種 情況下，滿足落入在從選擇條件D9930的下限屏幕份額到選擇條件D9930的 上限屏幕份額的範圍內的屏幕份額D9912的第一選擇條件。但是，不滿足符 合選擇條件D9930的對象屬性的對象屬性D9911的第二選擇條件。因此，布 局選擇部分107確定重要對象D9910不滿足選擇條件D9930。因此，布局選 擇部分107不選擇符合選擇條件D9930的布局模板。
從由布局選擇部分107選擇的布局模板生成字幕類似於第一實施例的顯 示數據生成設備的字幕生成處理，因此省略其說明。
如上所述，本發明的第二實施例的顯示數據生成設備使得能夠在顯示與 對象相關的字幕時按照不同的對象類型來轉換字幕。而且，即使當單個對象 的狀態改變(例如作為對象的棒球選手從投球狀態向擊球狀態改變，等等) 時，可以適當地轉換字幕。如上所述，可以提供適合於觀看各種任意視點視 頻的信息。按照要顯示的對象的改變來適當地改變字幕的顯示，因此觀眾可 以適當地獲取關於對象的信息。
不必說，所述實施例的多個顯示數據生成設備甚至適用於提供視點視頻 的另 一個一見頻分發系統，對於所述視點碎見頻，觀眾可以通過轉換一見點來4丸行 選擇性觀看。例如，所述顯示數據生成設備適用於多方向視頻分發系統(多 角度分發系統)，其同時分發通過使用多個攝像機而捕獲的多角度視頻；自由 角度視頻分發系統，其能夠拍攝超寬角度的、特高解析度的視頻，並且能夠 將視頻(視點圖像)的一部分切割(slice),並將切割的部分提交給觀眾，等等。
雖然已經通過參見具體實施例而詳細說明了本發明，但是對於本領域的 技術人員而言，顯然容許在不脫離本發明的精神和範圍的情況下，對本發明 進行各種改變或者修改。
本專利申請基於2006年2月13日提交的日本專利申請 (JP-A-2006-035175 )，其內容通過引用被包含在此。
產業上的應用
本發明的顯示數據生成設備可以選擇符合屏幕上的對象的配置的適當布
局；因此，獲得了能夠生成適合於各個視頻的字幕顯示數據的優點；並且對
於生成被添加到視頻的字幕顯示數據的顯示數據生成設備等是有用的。
權利要求
1. 一種顯示數據生成設備，包括:對象確定部分，其根據視點信息和對象信息來確定在屏幕上出現的對象；重要對象確定部分，其根據由所述對象確定部分提供的確定結果和所述對象信息來確定會吸引觀眾注意力的重要對象，並且其生成關於所述重要對象的特徵信息；布局選擇部分，其從多個布局模板選擇具有符合關於所述重要對象的特徵信息的選擇條件的布局模板；以及，字幕生成部分，其從所選擇的布局模板生成字幕顯示數據。
2. 根據權利要求1的顯示數據生成設備，其中，所述重要對象確定部分 通過使用從在所迷視點信息內包括的視點的位置到在所述對象信息內包括的 對象的位置的距離來確定所述重要對象。
3. 根據權利要求2的顯示數據生成設備，其中，所述重要對象確定部分 將位於離所述視點的位置最短距離的對象確定為所述重要對象。
4. 才艮據權利要求l、 2或者3的顯示數據生成設備，其中 所述重要對象確定部分根據所述視點信息和所述對象信息，生成作為所述重要對象在屏幕上的大小的、關於所述重要對象的特徵信息；及所述布局選擇部分選擇具有符合所述重要對象在屏幕上的大小的選擇條 件的布局模板。
5. 根據權利要求4的顯示數據生成設備，其中 所述對象信息具有對象屬性； 所述布局模板的選擇條件具有對象屬性；及所述布局選擇部分選擇具有符合所述重要對象的對象屬性的選擇條件的 布局模板。
6. —種顯示數據生成方法，包括對象確定步驟，用於根據視點信息和對象信息來確定在屏幕上出現的對象；重要對象確定步驟，用於根據確定結果和所述對象信息來確定會吸51觀 眾注意力的重要對象，並且該步驟生成關於重要對象的特徵信息；布局選擇步驟，用於從多個布局模板選擇具有符合關於所述重要對象的 所述特徵信息的選擇條件的布局模板；以及，字幕生成步驟，用於從所選擇的布局模板生成字幕顯示數據。
7. 根據權利要求6的顯示數據生成方法，其中，所述重要對象確定步驟 包括通過使用從在所述視點信息內包括的視點的位置到在所述對象信息內 包括的對象的位置的距離來確定所述重要對象。
8. 根據權利要求7的顯示數據生成方法，其中，所述重要對象確定步驟包括將位於離視點的位置最短距離的對象確定為所述重要對象。
9. 根據權利要求6、 7或者8的顯示數據生成方法，其中 所述重要對象確定步驟包括基於所述視點信息和所述對象信息，生成作為所述重要對象在屏幕上的大小的、關於所述重要對象的特徵信息；並且， 所述布局選擇步驟包括選擇具有符合所述重要對象在屏幕上的大小的 選擇條件的布局模板。
10. 根據權利要求9的顯示數據生成方法，其中，所述對象信息具有對 象屬性；所述布局模板的選擇條件具有對象屬性；並且，所述布局選擇步驟包括選擇具有符合所述重要對象的對象屬性的選擇 條件的布局模板。
11. 一種顯示數據生成程序，用於使得計算機作為下述部件起作用 對象確定部件，其根據視點信息和對象信息來確定在屏幕上出現的對象； 重要對象確定部件，其根據由所述對象確定部件提供的確定結果和所述對象信息來確定會吸引觀眾注意力的重要對象，並且其生成關於重要對象的 特徵信息；布局選擇部件，其從多個布局模板選擇具有符合關於所述重要對象的特 徵信息的選擇條件的布局模板；以及，字幕生成部件，其從所選擇的布局模板生成字幕顯示數據。
全文摘要
可能提供一種顯示數據生成裝置，其能夠生成用於每個視頻的字幕顯示的數據。所述顯示數據生成裝置包括對象判定單元(105)，其根據視點信息和對象信息來判定在屏幕上顯示的對象；重要對象判定單元(106)，其根據所述對象判定單元(105)的判定結果和所述對象信息來判定對象是否是重要對象，並生成關於該重要對象的特徵信息；布局選擇單元(107)，選擇具有與關於所述重要對象的特徵信息匹配的選擇條件的布局模板；以及字幕生成單元(108)，根據所選擇的布局模板生成字幕顯示數據。
文檔編號H04N7/173GK101385343SQ20078000533
公開日2009年3月11日 申請日期2007年2月8日 優先權日2006年2月13日
發明者旗 王, 遠藤康男 申請人:松下電器產業株式會社