用於趕上正在播放的廣播或存儲內容的方法和設備的製作方法
2023-07-26 19:58:06 1
專利名稱：用於趕上正在播放的廣播或存儲內容的方法和設備的製作方法
技術領域：
本發明通常涉及播放內容流，尤其涉及提供自動對內容流提取摘要及定製摘要。
有時，觀看諸如在電視廣播中或數字通用光碟(DVD)上的娛樂內容流的觀眾可能希望在錯過其中的一部分之後，可以不必觀看整個被錯過的部分，「趕上(catch up)」內容流裡的情節發展。在這些情況下，利用自動內容分析及摘要方法生成的摘要可能是比較有利的。
因此，在技術上需要一種更有效的方法來自動對正在播放的廣播或存儲的內容部分提取摘要。
為了解決上面討論的現有技術中存在的缺陷，本發明的主要目的是為了在內容呈現系統中使用，使用把節目映射到新的分段空間的摘要功能，並依賴於內容部分是內容流的開頭、中間還是結尾部分，對節目的部分內容流進行自動摘要提取。所生成的摘要也取決於提取摘要的分段的持續時間、摘要的選定長度、節目類型(直播還是從存儲器重放)、流派、以及個性化的用戶簡檔信息。如果可用的話，可以將整個節目的全摘要用於生成內容部分摘要。自動視頻內容分析以及字幕或輔助信息源分析，如果其中的一種是可用的話，可用來生成摘要。對於本領域技術人員來說，從下列附圖、描述和權利要求中了解本發明的其它技術優勢是顯而易見的。
在閱讀下面的本發明詳細描述之前，闡明本專利文獻中通篇使用的特定詞或短語的定義是比較有利的術語「包括」和「包含」以及其它派生詞都表示不受限制的包含；術語「或」是包含性的意思，意味著以及/或；短語「相關聯」和「與之關聯」以及其它派生詞表示包括、包括於、相互連接、包含、包含於、連接、耦合、可通信、協同、交織、並列、接近、固定於、具有、具有……的屬性以及類似的詞；術語「控制器」表示控制至少一個操作的任意裝置、系統或它們的一部分，不管這種裝置以硬體、固件、軟體或其中至少兩種的某種組合的方式來實現。應該注意到，與任意特定控制器相關聯的功能可以集中管理或者分布式管理，不管是本地的還是遠程的。貫穿該專利文獻始終，提供了特定詞或短語的定義，本領域普通技術人員將理解這些定義應用於許多現有技術的例子中，即使不是大部分的例子裡，同時未來也會使用所定義的這些詞和短語。
為了更完整地理解本發明及其所具有的優點，可以參照以下結合附圖的描述來理解本發明，附圖中的相同編號表示相同的對象，其中
圖1描述了一種根據本發明實施方案的組合內容呈現及自動提取摘要的系統。
圖2是圖示根據本發明實施方案的提取一部分節目的摘要的過程的高層流程圖；以及圖3圖示了根據本發明的一個實施方案對節目的不同部分自動提取摘要。
下面討論的圖1至3和本專利文獻中用於描述本發明原理的不同實施方案僅僅用於描述本發明，不應以任何方式解釋為限定本發明的保護範圍。本領域技術人員可以理解本發明的原理可以在任何合適地配置的設備中實現。
圖1描述了一種根據本發明實施方案的組合內容呈現及自動提取摘要的系統。系統100包括一個具有連接102的處理器或控制器101，該連接連接到無線廣播、地面或衛星天線、廣播電纜或可經其接收視頻和/或音頻內容的網際網路中的一個或多個。替代地，或者除連接102之外，系統100還包括連接103，用於從諸如數字通用光碟(DVD)、光碟(CD)、安全數字(SD)存儲器及其類似的存儲介質中檢索所存儲的內容。處理器101也連接到包含可由處理器101執行的軟體的存儲器104，所述軟體用以控制系統100的操作，在輸出裝置105(例如，視頻顯示器和/或音頻揚聲器)上生成連接102和/或103上接收到的內容的顯示，以及執行在下面將進一步詳細描述的自動提取摘要。系統100可選地包括遠程控制裝置106，優選可編程的，該遠程控制裝置106為用戶提供了一組用於作業系統100以及可選地實現一部分提取摘要處理的用戶控制。例如，遠程控制裝置106包括一專用按鈕，該按鈕用於啟動自動對所錯過內容部分提取摘要。
本領域技術人員將意識到在附圖或本文的描述中並沒有描述出內容呈現及自動摘要系統100的完全構造和操作。替代地，出於簡化或清楚的考慮，僅描述了內容呈現及自動摘要系統中那些為了理解本發明所必需的或本發明獨有的部分。另外，本領域技術人員將意識到內容呈現及自動摘要系統100可以實現為諸如電視系統、視頻或音頻接收器、視頻或音頻播放器、這些設備的任意組合以及個人數字助理(PDA)等中的一種或多種。
僅僅為了說明起見，根據本發明的摘要提取將參考來自地面或廣播視屏內容流或者記錄在視頻存儲介質中的視頻內容進行描述。通常，用於廣播視頻內容的電子節目嚮導(EPG)提供了正在播放的節目的簡要描述，還提供了諸如標題、流派、演員表等高級信息。另外，通常是相對於整個節目而言，摘要提取技術允許生成視頻內容的較短表示。本發明所要解決的問題涉及加入到一個已播放的節目中，並趕上被錯過的節目部分中的事件，或者迅速獲得電影或其它節目的任意部分的摘要。例如，如果觀眾在棒球比賽開始之後30分鐘才開始觀看，摘要系統應給出到目前為止比賽的最精彩場面。
本發明提供了智能的、自適應的摘要提取技術，該技術通過考慮節目總長度(如果知道的話)、已播放的節目長度、流派以及一般的全摘要(如果可用的話)，給出最佳摘要結果。基於那些信息生成的追加摘要應根據不同觀眾進行個性化。
圖2是圖示根據本發明一個實施方案的提取一部分節目摘要的過程的高層流程圖。過程200是由處理器101通過執行來自存儲器104的軟體程序，並對輸入102和/或103上接收到的內容進行操作來執行的。過程200開始於啟動對一部分接收到的內容(或節目)提取摘要(步驟201)。首先，為節目p得出總摘要函數S(p)，基於內容中某些特徵的出現或不出現，該函數把連續的原始節目映射到的新的分段空間(步驟202)。為具有可利用的全摘要F(p)的節目檢索該全摘要(可選步驟203)。基於用戶簡檔中的期望摘要長度、摘要中要包括的媒體元素(圖像、音頻、文本)、摘要中的內容元素等，利用對正播放的節目部分操作的摘要函數S(p)，以及全摘要F(p)-如果可用的話，得出錯過部分(根據用戶加入正播放的節目的時間或按用戶定義確定)的追及摘要C(p)。在最簡單的情況中，追及摘要C(p)可以是一個僅從摘要S(p)和F(p)中挑選特定元素的線性函數，如下面所進一步詳細描述的。
本發明的目的是僅提取節目的一部分的摘要，以趕上電影、或任何正播放的節目或者定期廣播。假設系統100具有把節目內容和元數據信息存儲到存儲器104的記錄能力，並耦合有在處理器101上執行來分析節目內容的軟體。雖然已經知道了一般摘要技術，但是僅對節目的一部分的摘要提取需要解決當正播放的節目的一部分已經被呈現並且觀眾希望在節目的當前點處加入而不必觀看整個被錯過的部分時，自動提取被錯過的內容的摘要的問題，。
圖3圖示根據本發明一個實施方案使節目的不同部分自動提取摘要。在本發明中，所生成的摘要取決於是要對正播放的節目的開始、中間還是結尾部分提取摘要。在快速啟動的情況下，觀眾期望在節目啟動n分鐘之後開始觀看節目。在播放中間出現中斷的情況下，觀眾的注意力被臨時轉移到另一個諸如接打電話之類的任務上，用戶只想用比她實際缺席更少的時間來簡單「趕上」她缺席期間所播放的內容，而不是觀看整個被錯過的部分。對體育消息廣播來說，這一特徵是很有用的，在體育消息廣播中，用戶並不希望耽擱該廣播的整個剩餘部分，而是更希望了解剛剛播放的內容(例如發生的什麼有趣事件)，然後在當前臨時點重新加入正在播放的節目。最後，在快速結束的情況下，在接近節目結尾時，用戶可能更希望去作其它事情(例如出去)，而不是觀看節目的所有剩餘部分，但也不希望因此而錯過結尾。
本發明基於被提取摘要的正播放的節目300的一部分分別是節目的開頭、中間還是結尾部分301-303，來提供正播放的節目300的一部分的「追及」摘要。這意味著基於被提取摘要部分相對於節目的實際長度而言是開頭和結尾的部分，普通的摘要算法將被「偏置(biased)」，以致於使自適應摘要器不但要考慮特徵，而且還對提取摘要進行多次迭代以確定最終的摘要。也應該基於諸如可用時間、被錯過的時間、對文本、立體或多媒體摘要的偏愛、流派以及觀看摘要的位置等用戶偏好來個性化摘要。
此外，根據是否存儲及預分析了節目或者節目是否涉及直播內容，摘要會有不同。在直播的情況下，必須基於節目中迄今已知的內容，來決定要提取摘要的內容，而不用考慮稍後節目中可能出現的重要部分。在對已存儲的內容(或者在存儲介質上，或者來自存儲器的廣播)提取摘要時，其中整個節目是可用的，基於稍後事件的重要順序，可偏置提取開頭或中間部分的摘要。例如，如果一個人起初是作為一個小角色出現，但後來變成一個關鍵人物，那麼在節目300的開頭及中間部分301、302的摘要中，可以包括比僅被那些部分的內容所保證的多得多的關於這個人物的信息。
對於所存儲的內容，應該考慮要進行摘要處理的內容的來源DVD、廣播或Web下載電影。在DVD或者類似的存儲介質的情況下，追及摘要可包括預覽宣傳片或在存儲介質上包括的其它信息。此外，摘要系統可以選擇性地聚焦在特定事件或人上。如果存儲介質上包括電影劇本(filmography)，摘要算法也可以使用那些劇本。
在下載的電影的情況下，可以把來自其它Web站點的附加信息提供給摘要算法，例如提供關於情節和故事結尾的信息的全部抄本或節目播出順序表，即使對於所存儲的視頻來說，字幕數據是不可用的也是如此。可以使用來自評論家和影迷的電影評論，來反覆核查電影裡的重要事件和人物。使用這種信息需要經細化的語義原文和視聽分析的連結，例如通過字幕。如果沒有完善的分析可以利用，那麼至少可以通過給出額外的觀點的方式，利用這些評論來豐富摘要。
對於存儲的內容或者下載的內容(如果網際網路連接是可用的)或者來自另一資源的外部信息，從那些源可用的信息可以影響摘要提取過程。例如，可以使用關於第二次世界大戰的Web站點來給一個第二次世界大戰電影增加新的信息。
摘要完整性和摘要呈現是生成摘要時要考慮的兩個因素。對於摘要完整性來說，要考慮使用全摘要的必要性和全摘要對部分摘要的影響，而不管是否使用了「快速結束(fast finish)」選項。為用戶呈現摘要的不同模式可以根據用戶想如何得到摘要、以及可用的摘要時間、被錯過的時間、用戶偏好、流派，來提供例如即時摘要、快速瀏覽或完整(長)摘要中的一種。
嚴格為了舉例起見，根據本發明對電影提取摘要可以按照以下方式進行對於快速開始的摘要(摘要電影的開頭部分)來說，摘要包括預告片(如果可用的話)、標題頁、來自電子節目嚮導的標題演員表、以及在有最大時間限制的條件下電影內容的映射(即，15分鐘映射成2分鐘，以及45分鐘也映射到2分鐘)。對於中間或中部的摘要來說，選擇個性化的摘要內容來呈現新奇項，基於個人檢測和事件檢測(例如爆炸)、新人物的出現、以及根據結尾(如果可用的話)來加入摘要內容。對於結尾部分的快速結束的提取摘要來說，摘要提供給觀眾關於劇情高潮(例如，殺手的識別或中心人物是否結婚)的信息、每個重要人物發生的事情、電影裡事件的完全摘要和任何懸念的解決(對於一個「緩慢的「快速完成來說)，以及如果存在的話，正文的收場段落。
在本發明中，優選提供遠程控制106上的特定按鈕或可編程用戶控制，從而使用戶訪問該追及功能。基於用戶偏好，立即呈現該追及摘要。可以根據從開始播放節目還是在運行期間加入等，或者基於用戶輸入來自動選擇所生成的摘要類型(開頭、中間或結尾)。通過連續以不同次數操作追及(catch-up)按紐，用戶可以選擇摘要呈現的級別(即，細節或持續時間量)。可以對開頭、中間及結尾這三種追及摘要使用相同的接口。在結尾的情況下，用戶可以操作該控制，然後出去，期待該設備會依據用戶偏好中關於應該何時交付追及摘要而執行—也就是說，電影結尾的摘要可以一直在家庭電影伺服器上等待，直到該觀眾返回，或者觀眾可期待來自家庭媒體伺服器的包括結尾描述的電話。
利用把節目內容映射到新的分段空間的摘要功能，本發明允許為用戶自動提取任意內容流部分的摘要，提取摘要的不同取決於被提取摘要的部分是內容流的開頭、中間段或者內容流的結尾。所生成的摘要也取決於被提取摘要的分段的持續時間、摘要的選定長度、節目類型(直播或從存儲器重放)、流派以及個性化的用戶簡檔信息。整個節目的全摘要，如果可用的話，可以用於生成部分摘要，並且可以迭代摘要提取過程來獲取最終的摘要。自動視頻內容分析，以及字幕或輔助信息源分析，如果其中的一個是可用的話，可用於生成摘要。
值得注意的是，當在全功能系統的上下文中描述本發明時，本領域技術人員將意識到本發明的至少一些部分機制可以以機器可用介質的形式分發，該機器可用介質包含不同形式的指令，並且本發明平等地得到應用，而不管用來實際實施分發的承載信號的媒介的特定類型是什麼。機器可用介質的例子包括非易失性、諸如只讀存儲器(ROM)或電可擦除只讀存儲器(EEPROM)之類的硬編碼型介質，諸如軟盤、硬碟驅動器和光碟(CD-ROM)或數字通用光碟(DVD)之類的可記錄型介質，以及諸如數字及模擬通信鏈路和幀或分組之類的數據傳輸型介質。
雖然已詳細描述了本發明，但本領域技術人員將理解在不脫離本發明的精神和範圍的前提下，對本文公開的發明進行的各種改變、替換、變更、提高、細微差異、漸變、更小的形式、更替、修改、改進及刪減都可以以最寬的形式來做出。
權利要求
1.一種內容呈現系統[100]，包括輸入端[102，103]，在該輸入端上接收內容流[300]；存儲器[104]，在其中存儲至少一部分接收到的內容流[300]；以及控制器[101]，其耦合到存儲器[104]上，並對接收到的內容流的選定部分提取摘要，其中由控制器[101]生成的摘要取決於接收到的內容流的選定部分是內容流[300]的開頭部分、中間部分還是結尾部分[301-303]。
2.根據權利要求1所述的內容呈現系統[100]，其中由控制器[101]生成的摘要取決於內容流[300]的選定部分的長度和摘要長度。
3.根據權利要求1所述的內容呈現系統[100]，其中由控制器[101]生成的摘要取決於內容流[300]的已經歷的時間和內容流[300]的總長度。
4.根據權利要求1所述的內容呈現系統[100]，其中由控制器[101]生成的摘要取決於內容流[300]包括的是直播還是所存儲內容的重放。
5.根據權利要求1所述的內容呈現系統[100]，其中控制器[101]執行將內容流[300]的選定部分映射到新的分段空間以生成摘要的摘要功能。
6.根據權利要求5所述的內容呈現系統[100]，其中如果可用的話，摘要功能使用整個內容流[300]的全摘要。
7.根據權利要求5所述的內容呈現系統[100]，其中摘要功能包括視頻內容分析、字幕分析、以及對從與內容流[300]相分離的源檢索的輔助信息的分析中的一種或多種。
8.一種包括根據權利要求1所述的內容呈現系統[100]的視頻顯示設備，該視頻顯示設備包括顯示器[105]，在該顯示器上呈現內容流[300]和摘要；以及遠程控制單元[10]，選擇性地控制視頻顯示設備的操作。
9.根據權利要求8所述的視頻顯示設備，其中遠程控制單元[106]包括通過控制器[101]選擇性地啟動摘要的生成的用戶控制。
10.一種內容呈現方法[200]，包括接收內容流[300]；存儲至少一部分接收到的內容流[300]；以及對接收內容流[300]的選定部分提取摘要，其中通過摘要提取而生成的摘要取決於接收到的內容流[300]的選定部分是內容流[300]的開頭部分、中間部分還是結尾部分。
11.根據權利要求10所述的方法[200]，其中摘要取決於內容流[300]的選定部分的長度和摘要長度。
12.根據權利要求10所述的方法[200]，其中摘要取決於內容流[300]的已經歷時間和內容流[300]的總長度。
13.根據權利要求10所述的方法[200]，其中摘要取決於內容流[300]包括的是直播還是所存儲內容的重放。
14.根據權利要求10所述的方法[200]，其中通過執行把內容流[300]的選定部分映射到新的分段空間的摘要功能來生成摘要。
15.根據權利要求14所述的方法[200]，其中如果可用的話，摘要功能使用整個內容流[300]的全摘要。
16.根據權利要求14所述的方法[200]，其中摘要功能包括視頻內容分析、字幕分析、以及對從與內容流[300]相分離的源中檢索到的輔助信息的分析中的一種或多種。
17.根據權利要求10所述的方法[200]，進一步包括響應於用戶控制在遠程控制裝置[106]上的操作來啟動摘要的生成。
18.一種視頻系統[100]，包括顯示器[105]；以及控制器[101]，該控制器選擇性地啟動對顯示器[105]上正顯示的內容流[300]的選定部分的摘要的顯示，其中摘要取決於該選定部分是內容流[300]的開頭部分、中間部分還是結尾部分。
19.根據權利要求18所述的視頻系統[100]，其中摘要取決於下列項中的一項或多項內容流[300]的選定部分的長度；用戶選定的摘要的長度；內容流[300]的已經歷時間；內容流[300]的總長度；以及內容流[300]包括的是直播還是所存儲內容的重放。
20.根據權利要求18所述的視頻系統[100]，其中響應於和視頻系統[100]相關聯的遠程控制[106]上的摘要用戶控制的操作，控制器啟動摘要的顯示。
全文摘要
自動提取節目的內容流(300)的部分(301－303)的摘要利用把節目映射到新的分段空間的摘要功能並根據內容部分的開頭、中間還是結尾部分。所生成的摘要也依賴於被提取摘要的分段的持續時間、摘要的選定長度、節目類型(直播還是從存儲器重放)、流派、以及個性化的用戶簡檔信息。如果可用的話，可以利用整個節目的全摘來生成這部分內容的摘要。自動視頻內容分析，和字幕或輔助信息源分析一起，如果其中的一個是可用的話，可用來生成摘要。
文檔編號G11B27/10GK1977262SQ200580012371
公開日2007年6月6日 申請日期2005年4月21日 優先權日2004年4月23日
發明者N·迪米特羅瓦, M·巴比裡, L·阿尼霍特裡 申請人:皇家飛利浦電子股份有限公司