充實視頻的屏幕文字觸發字的製作方法
2023-06-01 07:34:01 2
專利名稱：充實視頻的屏幕文字觸發字的製作方法
背景技術：
1.發明領域本發明涉及媒體技術領域。具體而言涉及視頻和相關的屏幕文字。
2.相關申請的交叉引用本發明利用屏幕文字將視頻信號跟輔助信息關聯起來，並且提取和增加文字信息，就象本受讓人於1999年7月9日提交的09/351086號共同未決申請所涉及的一樣，在這裡將它引入作為參考。3.相關技術近些年來，媒體源的數量越來越大，來自每個源的信息的量也在不斷增大，使得信息超出了負荷能力。大多數消費者既沒有時間也不願意將時間花在大量信息上來尋找跟他們的需求相關的信息。因此人們發展了所謂的「推銷技術」。Pointcast或者Backweb這樣的網絡應用程式，或者是更新的網絡瀏覽器，會詢問用戶對哪些種類的信息和網站感興趣。然後網絡伺服器將用戶感興趣的信息「推銷」給用戶，而不是等待用戶請求獲得它們。這樣做是周期性的，不會引起人注意。
與此同時，隨著媒體技術的進步，視頻、音頻和其它媒體之間的界線已經模糊。媒體技術的進步使得將網際網路信息和其它信息材料跟傳統的電視節目一起發送給消費者的視頻顯示器成為可能。因為網際網路已經成為電子商務的工具，消費者要查看相同或者相關主題的視頻、音頻和文字信息這些媒體的組合。消費者已經熟悉了超級連結概念，以及「鑽進去」提取它們正在環球網(WWW)上查看的主題的額外信息這樣的概念。
目前，這些額外信息的提取可以利用閉路字幕文字、音頻和自動情節分段以及識別來實現。Mitre公司提供的廣播新聞編輯器(BNE)通過自動地將新聞廣播劃分成一個一個的情節段，並且在跟這些段有關的閉路字幕文字的第一行提供每個情節段的概要，使得這種提取成為可能。除此以外，還為每個情節段找出閉路字幕文字或者音頻信息的關鍵字。
同樣是Mitre公司的廣播新聞瀏覽器(BNN)按照跟消費者選出來的搜索字相匹配的每個情節段的關鍵字的出現次數對節目段進行排序。因此，消費者很可能感興趣的情節段已經被找出來。但是，將BNN和BNE結合起來使用要求消費者腦子裡有一個明確的搜索主題，而在典型的頻道搜索情形中常常不是這樣。
為用戶提供電視節目輔助信息的專利有Brodsky的第5809471號美國專利「利用動態提取的詞彙提取交互式電視或者電話信號中沒有的額外信息」和Legall等等的第6005565號美國專利「電子節目指南、網際網路和其它信息資源的綜合搜索」。在『471號專利中，從電視節目或者閉路字幕文字提取關鍵字，產生一個動態變化的辭典。用戶在從電視廣播中看到的詞語或者聽到的詞的基礎之上請求獲得信息。將用戶的請求跟辭典進行比較，發現相同詞的時候，就搜索要顯示的輔助信息。
按照』565號專利，用戶選擇要搜索的主題或者來源。根據用戶輸入的信息，搜索工具搜索電子節目指南和環球網這樣的其它信息資源並顯示搜索結果。『471號專利和『565號專利都要求用戶提供感興趣的關鍵字。跟節目(也就是股市報告)的主題形成對比，這兩個專利都沒有將提取的輔助信息跟節目的全局內容(也就是新聞節目)關聯起來。
發明簡述因此，提供一種方法和一種系統，利用屏幕文字自動地提供輔助多媒體信息增強消費者的電視觀看體驗，是非常有意義的。所謂的屏幕文字(transcripttext)至少包括以下內容之一視頻文字、語音識別軟體產生的文字、節目屏幕文字、電子節目指南信息和包括所有或者部分節目信息的閉路字幕文字。視頻文字是將圖像作為背景，前景上顯示的疊加或者重疊文字。例如，定位名常常作為視頻文字出現。視頻文字也可以是嵌入文字的形式，例如可以從視頻圖像中識別和提取街道名稱。
提供不僅僅是單個消費者已知的興趣或者簡檔專用，同時也是正在觀看的節目內容專用的輔助信息也是非常有意義的。例如，新聞段會跟有線網新聞(CNN)網頁的連接有關，而廣告則會跟另外的產品信息有關。這種方法和系統將利用學習模型在電視內容和其它媒體內容之間連續地產生新的關聯，同時確定應該顯示多少和哪種類型的這種輔助信息。通過這種方式，輔助信息會跟電視節目無縫隙地結合起來，而不會影響觀眾，也不會要求觀眾進行任何操作。
為了以上需求，本發明提供一種系統，(也就是一種方法、一種裝置和計算機能夠執行的過程步驟)，用於提取跟視頻段有關的輔助信息，顯示在消費者的視頻顯示器上。該系統包括一個識別引擎，用於確定伴隨視頻段的閉路字幕文字或者跟其它屏幕文字有關的文字中是否包括用於提取輔助信息的擴展關鍵字。如果找到一個關鍵字，就根據儲存起來的規則顯示輔助信息，從大量信息中按照用戶簡檔和這一段的上下文選擇出來的信息。也可以擴展這些屏幕文字關鍵字，然後跟用戶簡檔進行比較。在分類數據的基礎之上自動地確定這一段的上下文。這些數據包括節目分類、目標跟蹤方法、屏幕文字信息和/或電子節目指南信息的自然語言處理。
信息顯示在一個窗口中，或者不引人注目地疊加在主視頻段上。也可以將信息發射給例如手持裝置或者電子郵件帳號，儲存在次級存儲器中，或者在本地存儲器中緩存。在情節分類中，這個系統自動地識別每一段的開頭和結尾，因而能夠更新對應於節目段上下文的規則子集。
另一方面，本發明將輔助信息跟正在觀看的視頻段關聯起來的這一組規則是動態的，建立在一個學習模型的基礎之上。這組規則從一組源更新，包括第三方的源，並且按照用戶的選擇和行為模式使用戶能夠獲得這些信息。在一個實施方案中，這個規則是從具有無線連接的個人數字助理(PDA)發射過來的。
給出這個簡述的目的是使讀者能夠迅速地了解本發明的實質。為了更加完整地了解本發明，可以參考下面對優選實施方案的詳細介紹和附圖
。
圖2說明這個系統中包括的處理器的單元。
圖3a和3b是用於說明本發明工作過程的流程圖。
圖4是一個表，它說明本發明中給定視頻段的輔助信息觸發字(triggers)。
圖4a說明如何擴展關鍵字和觸發字。
圖5說明本發明學習模型的一個實施方案。
圖6說明為了提取輔助信息如何更新和維護關聯規則資料庫。
圖7說明如何顯示輔助信息。
圖8說明本發明中採用機頂盒的一個實施方案。
圖9說明本發明中採用電視顯示器的另外一個實施方案。
根據MPEG標準，視頻數據是用離散餘弦變換編碼的，分割成長度可變的編碼數據包進行發射。MPEG標準的一個標準，MPEG-2，在1996年7月的國際標準組織-運動圖像專家組文件ISO/IECJTCI/SC29/WG11「運動圖像和音頻信號的編碼」中進行了描述。MPEG僅僅是可以用於這一系統的一個格式實例。
在視頻信號162中傳送的屏幕文字由屏幕文字提取器4從模擬視頻信號線21或者MPEG流用戶數據欄位中提取。屏幕文字提取器4還將視頻節目分段。特定幀的屏幕文字可以儲存在存儲器10中。也可以將它作為實時數據流進行分析。
存儲器10中還儲存電子節目指南信息(EPG)。根據用戶請求或者在預編程時間下載這些信息，給出幾天或者幾周電視廣播節目信息。它由本地模擬TV廣播商在場消隱期間或者通過「家犬」上的MPEG-2專用表發射。也可以通過電話線或者通過無線裝置發射。EPG數據包括節目類型和子類、收看率和簡短節目介紹這樣的信息。EPG數據被用於確定節目的類型，比如它是一個新聞節目、一個付費節目摘錄、一個肥皂劇或者一個旅行紀錄影片。
儲存在次級存儲器18，能夠在存儲器10中獲得的還有關鍵字或者「觸發字」形式的個人簡檔信息，說明用戶的興趣所在。典型的觸發字可以是「Clint Eastwood」、「環境」、「總統選舉」或者「曲棍球」。在本發明的一個方面中將這些觸發字擴展成包括同義詞和相關詞。
如同本領域中大家都知道的一樣，通過用戶輸入、自動建立或者通過這兩種方法結合起來，建立起用戶興趣的一個個人簡檔。例如，TiVoTM個人TV業務允許用戶利用TiVoTM遙控器上的「向上」或者「向下」按鈕說明用戶喜歡哪些節目。TiVoTM隨後利用這一信息選擇用戶喜歡觀看的其它相關節目。
當一個觸發字符合屏幕文字中包括的關鍵字的時候，提取輔助數據，例如通過通信裝置17從網際網路14或者專用源13。另一個輔助數據源是例如另外一個頻道。然後在顯示器16上將這些數據作為環球網網頁或者它的一部分顯示出來，或者以一種不引人注目的方式疊加在主視頻上。也可以將一個簡單的統一資源定位符(URL)或者信息消息返回給觀看者。
將這些觸發字跟環球網(WWW)網頁這樣的輔助數據關聯起來的規則同樣儲存在次級存儲器18中，能夠從存儲器10中獲得。這些規則是通過一個默認簡檔建立起來的，這個默認簡檔是根據用戶的行為，或者通過提醒用戶輸入興趣信息然後產生規則集的一個詢問程序加以更新的。還通過通信裝置17從個人數字助理(PDA)或者蜂窩電話這樣的移動裝置15接收這些規則。根據正在觀看的節目段的上下文，這些規則將輔助信息跟觸發字關聯起來。例如，如果這個節目是ClintEastwood新電影的廣告，那麼上下文就是廣告，提取到的輔助數據是他正在觀看的電影的描述。如果這個節目段是描述Clint Eastwood的車禍，上下文就是新聞，提取的輔助數據就是傳記網頁，或者跟www.cnn.com的連結，以獲得關於他為什麼在新聞中這個問題的更多信息。
如上所述，關聯規則還跟EPG欄位的組合有關。例如，如果「ClintEastwood」出現在EPG數據的演員欄位，而且上下文是廣告，並且閉路字幕數據是「下面的廣告以後我們將很快回到Clint Eastwood和滿手鈔票」，那麼，這個關聯規則就提取跟正在上映的電影有關的輔助數據。另一方面，如果「Clint Eastwood」沒有出現在EPG數據的演員欄位中，它的上下文是廣告，而且閉路字幕數據是「將在星期五播出Clint Eastwood主演的高原流浪者」，那麼，關聯規則就提取這個電影播出時間這樣的輔助數據。這些差別可以通過例如將分數跟閉路字幕數據中提取的文字進行比較來確定。如果相同，正在做廣告的節目就是正在觀看的節目。也可以利用自然語言處理來識別「返回」這樣的關鍵詞語，它們也會說明正在做廣告的節目就是正在觀看的節目。
此外，如果EPG數據的演員欄位中沒有出現「Clint Eastwood」，上下文是廣告，並且閉路字幕數據說「會在最近播出Clint Eastwood的新電影」，那麼這個關聯規則就通過連結到Clint Eastwood主頁來提取輔助數據，找出電影的更多信息。
關聯規則還確定要提取的媒體的類型。例如，如果「科索沃」是觸發字，並且節目是由國家地理雜誌贊助的，那麼這個關聯規則就提取這個區域的一個地圖。如果節目段上下文是新聞，「戰爭」這個詞在EPG數據中，那麼這個關聯規則就提取這個區域的最新政治歷史信息。
在另外一些實施方案中，這個系統包括一個有處理和存儲器的視頻顯示器，或者用於處理和儲存信息的單獨一個機頂盒。這些實施方案可以包括通信裝置或者到通信裝置的接口。視頻信號和網際網路信息的接收是通過無線、衛星、電纜或者其它媒體進行的。這個系統可以改變成通過通信裝置17在無線電發射機上或者通過無線裝置發射輔助信息作為輸出信號，其中的信號嵌入載波160中。輔助信息可以發射給一個電子郵件清單，和/或下載給蜂窩電話這樣的移動裝置15的話音郵件裝置，和/或發射給Palm Pilot這樣的手持式掌上裝置。
圖2是處理器單元的一個示意圖。簡檔產生器50產生用戶已知興趣的一個簡檔並儲存起來，其中包括觸發字信息或者興趣的關鍵詞。這是通過例如用戶輸入、讓用戶對一系列問題做出回答、在用戶修改過的用戶特性的基礎之上產生一個默認簡檔或者通過監視用戶活動找出興趣點來完成的。規則產生器52產生這些關聯規則，它們在邏輯上將每個觸發字跟各種上下文組合起來，確定應該將哪些輔助信息顯示給用戶。識別引擎54將每個觸發字跟屏幕文字比較，確定文字信息中觸發字是否作為一個關鍵詞存在。找到有一個跟一個觸發字相同時候，提取部分56就提取輔助信息，格式化部分58對數據進行格式化，以供顯示。上下文監視器60監視上下文，看它是否因為顯示新節目段而改變。當上下文發生改變的時候，上下文監視器60就訪問次級存儲器18來提取關聯規則的一個新子集。
數據更新器62用於更新輔助信息，以結合例如新網站或者反映各種搜尋引擎的搜索結果。重複計數器64計算請求獲得某一信息的頻率，點擊流監視器66測量用戶請求獲得輔助數據的頻率。這些智能代理跟提取修改器68協同工作，修改信息類型和呈現給用戶的信息的量。
圖3a和3b是說明本發明的方法的流程圖。首先，在步驟S201中，將輸入的視頻信號輸入給接收機。這個視頻信號是模擬的或者數字形式的。在步驟S202中跟處理器不同或者結合在處理器中的屏幕文字提取器提取屏幕文字，確定每個視頻信號段的開頭和結尾。接下來在步驟S203中，處理器從屏幕文字提取關鍵字。關鍵字的提取方法在本領域中是眾所周知的，在Brodsky的第5809471號美國專利「利用動態地提取的詞庫提取交互式電視或者電話信號中找不到的信息」中描述了這樣一種提取方法。如圖4a所示，通過將它們跟圖3a中的步驟S204所說明的同義詞或者相關關鍵詞關聯起來從屏幕文字154中提取這些關鍵字152，得到更加有意義、更加完整的結果。將一個辭典或者Wordnet這樣的一個資料庫用於這一目的，Wordnet是一個在線辭典，它的設計受到了現行語言理論的鼓勵。語音信號的各個部分被組織成同義詞集，每個都代表一個辭典概念。
還可以通過確定屏幕文字的主題來擴展關鍵字。例如，如果同時存在「通貨膨脹」、「阿蘭·格林斯潘」和「失業率」這樣的關鍵字，就可以知道屏幕文字中存在觸發字「經濟」。同樣，如果屏幕文字中有關鍵字「美國總統」，就存在觸發字「總統柯林頓」。
當辭典和百科全書這樣的參考工具中有輔助數據的時候，就可以採用特殊規則，如圖4114132所示。在一種模式中，根據觀看者的理解程度將觸發字變換成不同的關鍵字。例如，如果觀看者是一個孩子或者一個講外語的觀看者，觸發字「失業」就被轉換成關鍵詞「沒有工作」，但是不會轉換成關鍵字「多餘」。在另一種模式中，按照上面描述的方式擴展關鍵詞。
父母控制是在節目段裡節目這一層次以下或者上下文這一層次以下進行的。因此，在例如合適的卡通片播放過程中播放不適合於孩子的廣告的時候，父母不必擔心。在播放廣告的時候只給孩子播放一個特殊畫面。這個特殊畫面可以採取玩具廣告的形式，而不是常見的封閉屏。還要擴展封閉觸發字，以增強封閉的效果。例如，如果父母不希望孩子看到跟戰爭有關的視頻片斷，就將觸發字「戰爭」轉換成「武裝衝突」和「轟炸」這樣的關鍵字和詞。觸發字擴展的一個實例在圖4a 102 156中給出。
回到圖3a，在步驟S205中，讀取包括觸發字的個人簡檔。在步驟S206中，處理器將利用屏幕文字獲得的關鍵字跟用戶簡檔中包括的觸發字進行比較。如果沒有任何相同之處，處理器就繼續提取其它屏幕文字。
如果有匹配之處，在圖3b的步驟S207中，就識別正在播出的視頻節目的上下文。這是用幾種方式進行的，利用閉路字幕數據、EPG數據、對象跟蹤方法或者顏色、運動、紋理或者形狀這樣的低級特徵提取方法。同時利用自然語言技術從屏幕文字中提取節目段的上下文。例如微軟公司已經開發了一種軟體，它通過分析文字來進行學習，它包括在線辭典和百科全書，並且通過這一分析自動地獲取知識。這一知識被隨後用於限制對「飛行中的飛機可能是危險的」這個句子中的詞「飛機」的解釋，並由此斷定這個句子是跟航空有關，而不是跟木材加工有關。
軟體還利用論文分析確定閉路字幕文字的結構和它的上下文，在論文這一層次上進行工作。例如，新聞節目被確定為新聞節目，因為它一般都是報告最重要的事實，在它的開頭說明「人物、事件、時間、地點、如何發生」。因此，以「早上7點鐘Clint Eastwood在卡梅爾加利福尼亞的大街上發生了一場槍戰，被目擊者用家用攝像機拍攝下來」開始的節目被認為是一個新聞題材。還可以從上面描述的類型和子類型欄位或者欄位的組合在EPG數據中獲得上下文。
下面在步驟S208中讀取關聯規則。關聯規則根據關鍵字和上下文確定應當從儲存的資料庫中提取哪些輔助數據。在步驟S209中，讀取定製顯示模塊。這些模塊使得用戶能夠限制用戶想觀看的信息的類型，因而限制信息量。例如，用戶可能只希望看到WWW頁的統一資源定位符(URL)，只希望看到頁面、頁面摘要或者完整頁較大的標題。用戶可以選擇他希望看到的輔助資源並且使這些資源的優先級較高。
在步驟S210中，從存儲器中儲存的資料庫裡提取輔助數據。資料庫包括感興趣的項目，或者指向感興趣的項目的指針，附屬於觸發字。例如，資料庫包括以下內容中的任意內容名人和公眾人物的名字，國家、首都和總統這樣的地理信息，產品和商標名稱，分類話題。
從建立起來的一組源維護和更新這個資料庫。這些源包括例如Bloomberg網站、百科全書、辭典和一組網站或者搜尋引擎。來自EPG的信息和閉路字幕數據也結合在這個資料庫中。
一組更新和提純規則，如圖5和6所示，也儲存在一個資料庫或者一個觀眾的簡檔裡，對其進行維護，以管理資料庫或者簡檔的大小以及它的當前鍵值。例如，在選舉結束以後，將刪除選舉結果以及到投票和候選人信息的連結這樣的「陳舊」條目。
回到圖3b，在步驟S211中，對輔助信息進行格式化以便顯示。將信息顯示在一個窗口中，或者不引人注目地疊加在主要視頻段上。也可以將信息格式化成用於傳輸給例如Palm公司生產的Palm PilotTM這樣的手持裝置或者傳輸給電子郵件帳號。
圖4說明幾個觸發字102的關聯規則100。在這個表中，第一列表示觸發字102，第2～4列表示圖示觸發字的可能上下文104、106、108、110。從第一個觸發字102「Clint Eastwood」的關聯規則102開始，當用戶簡檔中出現這個觸發字102的時候，提取出三個不同輔助信息項116、118、120中的一個進行顯示，具體提取哪一個取決於上下文出現在正在觀看的視頻段中的哪個Clint Eastwood。雖然這個表格實例中每個框框都只畫出了一個連結，但是實際上存在多個連結。如果Clint Eastwood出現在一個廣告中，這個系統就會連結到www.imdb.com的WWW網頁，並且按照定製的顯示模型顯示這個網頁。如果Clint Eastwood出現在一個談話節目中，他出現的這個談話節目段將被儲存起來用於提取118和/或將一個通知信號實時地發送給觀眾。也可以發送一個離線通知信號，供以後觀看，告訴觀看者這一段已經被儲存起來。
以自動方式或者手動方式提取通知信號。還將通知信號跟一個主題關聯起來，因而在下次播出Clint Eastwood電影的時候能夠顯示出來。如果Clint Eastwood出現在一個新聞節目中，這個系統就會連結到www.cnn.com的WWW網頁。通知信號具有優先權，使用戶能夠選擇希望得到通知的情形。例如，用戶只希望看到跟惡劣天氣警報有關的通知。
觸發字102馬其頓的第二個關聯規則122針對的是4種不同的上下文。如果觸發字「馬其頓」出現在廣告中，系統就連接到www.travel.com130的WWW網頁。如果馬其頓是一個談話節目的主題，這個系統就連接到康普頓百科全書132中「馬其頓」的一個入口。如果馬其頓是一個新聞節目的主題，就將用戶調諧到正在播出134這個節目的電臺上。如果馬其頓是國家地理雜誌贊助的一個節目的主題，這個系統就連結到www.yahoo.com/maps136，顯示馬其頓的地圖。
關聯規則3～5124126128應該按照上述實例中相同的方式進行解釋。如同表格中所示，當「Meryl Streep」這樣的特定觸發字102出現在屏幕文字中，系統只為特定的上下文提供輔助信息。對於「MerylStreep」，只將輔助信息提供給談話節目和新聞上下文。如果需要，將這樣一個規則擴展到應用於著名演員或者所有演員的一個清單。
圖4a說明如何擴展觸發字和關鍵字來提取輔助信息。對於例如圖中所示的屏幕文字150，從屏幕文字150中提取關鍵字152「萊姆關節炎」。隨後將這個關鍵字152擴展到對應另外的關鍵字「扁蝨」、「扁蝨叮咬」、「牛皮癬」和「鹿虻叮咬」。如果這些擴展關鍵字中有任何字出現在屏幕文字中，跟Lyme Disease有關的輔助信息就會被提取出來。
圖4a還說明如何擴展觸發字。觸發字102「萊姆關節炎」被擴展156到包括相關的詞語「扁蝨叮咬」、「西萊茵河病毒」和「殺蚊噴劑」。因此，如果屏幕文字150包括任何擴展觸發字，就儲存這一段。
圖5說明用一個學習模型來連續地更新定製的顯示模塊和關聯規則。重複計數器20記錄用戶對同一個輔助數據的請求次數，例如用戶通過點擊一個URL來發出這樣的請求。還有，圖2所示的處理器的提取部分56可以為每一段提取一個以上的輔助信息，用戶可以選擇用戶希望看到的信息。如果用戶請求某一輔助數據的次數少於一個預定次數，提取修改器24就更新儲存的關聯規則26，從規則中刪除輔助數據，或者將規則改成包括一個新的源。點擊流監視器22監視用戶請求所有輔助數據的頻度。如果用戶選擇輔助數據的次數少於預定次數，提取修改器24就修改這個用戶的客戶顯示模塊28，給用戶顯示更少的信息。
圖6說明如何更新和維護動態關聯規則資料庫。這個資料庫包括一些感興趣的項，或者指向感興趣的項的指針，當屏幕文字中的關鍵字和用戶簡檔中的觸發字相同的時候，它們提供輔助信息。隨著時間的變遷不斷地更新資料庫，以反映當前的事件，跟不斷變化的用戶簡檔相匹配。
已有的數據源集合36，說明構成關聯規則資料庫26的數據來源。包括來自各種公開源、專有信息的外部數據38和來自網際網路14的數據的數據源集合36由數據更新器40更新，結合進例如新的網站，或者反映各種搜尋引擎的搜索結果。保存好一組刷新規則32，使資料庫的大小保持在預先確定的範圍內。根據已經制定的一組優先級，需要的時候刪除信息。還保存一組提純規則34，說明什麼時候如何刪除「陳舊」信息。給某些種類的信息記錄下日期，比預定月數和/或年數舊的信息都被刪除。
圖7說明以不起眼的方式在主視頻段中顯示輔助信息70的一個實施方案。輔助信息出現在圖像的底部。
圖8說明機頂盒75包括一個接收機2的一個實施方案，這個接收機2接收視頻節目和屏幕文字。屏幕文字提取器和分段器4從視頻信號中提取屏幕文字150，並且將它跟廣告或者新動畫這樣的視頻節目段關聯起來。處理器系統6包括本領域中大家都知道的處理單元—一個輸入/輸出部分8、一個存儲器10和一個處理器12。處理器系統通過通信裝置17從各種源提取視頻節目的輔助信息。作為實例畫出了這些源中的三個，網際網路14、專有(非公眾)資料庫13和PDA這樣的移動裝置15。通信裝置17可以通過無線裝置、有線數據機、數字用戶線或者網絡跟沒有畫出的其它裝置連接。次級存儲器18用於儲存輔助信息和規則，用於提取信息。機頂盒可以跟PC顯示器或者電視機這樣的顯示器連接。
圖9說明另外一個實施方案，其中的電視80包括一個接收機2、一個屏幕文字提取器和一個分段器4、一個處理器系統6、次級存儲器18、通信裝置17和一個顯示器16。處理器系統6包括本領域中大家都知道的處理單元——一個輸入/輸出部分8、一個存儲器10和一個處理器12。電視機80通過連接網際網路14、專有源13和移動裝置15的通信裝置17跟輔助信息的源連接。
已經參考特定的說明性實施方案描述了本發明。顯然本發明並不限於這裡描述的實施方案，本領域中的技術人員可以對它們進行修改、改變和改進，而不會偏離後面的權利要求給出的實質和範圍。
權利要求
1.一種用於提取視頻節目輔助信息的關聯方法，包括以下步驟接收視頻節目(2)；在視頻節目中至少確定一段(4)；接收所述至少一段的分類數據(4，2)；接收視頻節目的屏幕文字(4)；為視頻節目觀看者確定一個用戶簡檔(50)；結合分類數據確定一組規則(52)，當屏幕文字和用戶簡檔滿足一組條件的時候將輔助信息跟視頻節目關聯起來；和在這一組規則的基礎之上自動地提取輔助信息，在顯示器上顯示(56)。
2.權利要求1的方法，其中的那組規則(100)包括來自用戶簡檔(102)的信息。
3.權利要求2的方法，其中的用戶簡檔至少包括一個觸發字(102)，它確定視頻節目觀看者感興趣的一個主題。
4.權利要求3的方法，其中的那組條件說明只有當屏幕文字中的一個關鍵字跟用戶簡檔中的至少一個觸發字(102)相同(S206)的時候，識別引擎(54)才提取輔助信息。
5.權利要求1的方法，其中的屏幕文字包括閉路字幕文字、視頻文字、節目屏幕文字或者電子節目指南信息。
6.權利要求1的方法，其中的屏幕文字(150)是由語音識別軟體產生的。
7.權利要求1的方法，還包括從一個移動裝置(15)或者一個第三方源(13)接收至少這組規則(100)的一部分的步驟。
8.權利要求1的方法，其中至少有部分輔助信息和指向輔助信息的指針儲存在資料庫(26)中，或者發射給個人數字助理(15)，或者發射給一個電子郵件地址(14)。
9.權利要求1的方法，其中輔助信息(116、118、120)的提取是實時的。
10.權利要求1的方法，其中的輔助信息(116、118、120)被格式化成在窗口(70)上顯示，或者疊加在顯示器(16)的視頻節目上。
11.權利要求1的方法，其中的輔助信息是文字信息(114)或者來自環球網(116)的網頁。
12.權利要求5的方法，還包括從電子節目指南信息(150)中為每一個視頻節目段自動地選擇規則組(100)的步驟。
13.權利要求3的方法，還包括通過對每個視頻節目段的屏幕文字(150)進行自然語言處理，自動地選擇規則組(100)，用來確定屏幕文字(4)中的某個關鍵字(S203)是否跟用戶簡檔中的一個觸發字(102)相同的步驟。
14.權利要求3的方法，還包括確定屏幕文字(150)中的至少一個關鍵字(S203、152)，將這至少一個關鍵字(S204、152)擴展成包括相關詞語(154)，當這個關鍵字或者相關詞語跟用戶簡檔中的至少一個觸發字(102)相匹配(S206)的時候提取輔助信息(S210)的步驟。
15.權利要求3的方法，還包括對每個視頻節目段的屏幕文字(150)進行講話分析，自動地產生一組規則(52)，用來確定屏幕文字(150)中的一個關鍵字(152)是否跟用戶簡檔中的一個觸發字(S206、102)相匹配的步驟。
16.權利要求3的方法，還包括將用戶簡檔中的至少一個觸發字(154)擴展成包括至少一個詞語，確定屏幕文字中的至少一個關鍵字，當這個觸發字或者有關的詞語跟屏幕文字中的至少一個關鍵字相匹配的時候提取輔助信息的步驟。
17.權利要求8的方法，還包括刪除(40)在特定日期之前添加到資料庫或者跟已經結束的事件有關的輔助信息(26)或者輔助信息指針的步驟。
18.權利要求11的方法，其中只有網頁的統一資源定位符(URL)(28、70)或者小於整個網頁的一部分網頁(28)或者其中的網頁(28)摘要被顯示出來。
19.權利要求1的方法，還包括監視視頻節目觀看者觀看的輔助信息量，視頻節目觀看者觀看輔助信息的頻度(20)，按照預定的規則改變(24)格式化過供顯示的輔助信息量的步驟。
20.權利要求1的方法，其中的輔助信息包括在電子郵件消息(15)中，或者被下載(17)給一個個人信息管理器(15)。
21.提取視頻節目輔助信息的一種裝置，該裝置包括接收視頻節目、視頻節目分類數據和視頻節目屏幕文字的一個接收機(2)；一個屏幕文字提取器(4)，用於確定視頻節目中的至少一段，並且將屏幕文字跟所述段關聯起來；一個上下文監視器(60、S207)，它監視每一段的分類數據(104、106、108、110)，從而確定每一段的上下文；一個簡檔產生器(50)，它為視頻節目觀看者建立一個用戶簡檔；一個規則產生器(52)，結合分類數據(102、104、106、108、110)，當屏幕文字(50)和用戶簡檔(102)滿足一組條件的時候，建立一組規則(100)將輔助信息(116、118、120)跟視頻節目關聯起來；一個提取部分(56)，在那一組規則(100)的基礎之上提取輔助信息(116、118、120)；一個格式化部分(58)，它對提取出來的輔助信息進行格式化(S211)，以便跟視頻節目一起顯示。
22.權利要求21的裝置，當用戶簡檔中的一個觸發字(102)跟屏幕文字中的一個關鍵字(152)相同(S206)的時候，其中的提取部分提取(S210)輔助信息(116、118、120)。
23.權利要求22的裝置，擴展(156)其中用戶簡檔的至少一個觸發字(102)，使它包括相關詞語，將這個觸發字和相關詞語跟關鍵字(152)進行比較(S206)。
24.權利要求22的裝置，擴展(154、S204)其中屏幕文字(150)中的至少一個關鍵字(152)，使它包括相關詞語，將這個觸發字(102)跟關鍵字(154)和相關詞語進行比較。
25.權利要求21的裝置，其中的提取(S207、104、106、108、110)部分(56)根據這一段的上下文提取這一段的信息。
26.計算機能夠執行的處理步驟，用來提取視頻節目的輔助信息，計算機能夠執行的這些處理步驟儲存在計算機能夠讀的媒介(18)中，包括接收視頻節目、描述視頻節目的分類數據和視頻節目屏幕文字的接收步驟(S210)；在分類數據的基礎之上確定視頻節目的至少一段和這一段的上下文的上下文確定步驟(S207)；確定視頻節目至少一段的屏幕文字中關鍵字的關鍵字確定步驟(S203)；將關鍵字擴展成包括相關詞語的關鍵字擴展步驟(S204)；為觀看視頻節目的觀看者提取用戶簡檔的個人簡檔提取步驟(S205)；將關鍵字和相關詞語跟用戶簡檔中的至少一個觸發字進行比較的關鍵字比較步驟(S206)；提取一組規則，說明在確定出來的上下文的基礎之上要提取視頻節目的哪些輔助信息的關聯規則提取步驟(S208)；當關鍵字比較步驟成功的時候在這一組規則的基礎之上提取輔助信息的提取步驟(S210)；和格式化提取出來的輔助信息供顯示的格式化步驟(S211)。
27.嵌入載波中的一種信號(60)，代表視頻節目(162)和它的輔助信息(116、118、120)，包括視頻節目分類數據(104、106、108、110)；屏幕文字(150)；用戶簡檔(102)；以及屏幕文字跟用戶簡檔滿足一組條件(S206)的時候，結合視頻節目分類數據，將輔助信息跟視頻節目關聯起來的規則(100)。
28.提取和顯示視頻節目輔助信息的一種裝置，包括接收視頻節目(162)的裝置(2)；確定視頻節目中至少一段(4)的裝置；接收描述至少一段(4、2)的節目分類數據的裝置；接收視頻節目屏幕文字(150)，將這些屏幕文字跟至少一段(4)關聯起來的裝置；提取視頻節目觀看者(50)用戶簡檔的裝置；當屏幕文字和用戶簡檔(102)滿足一組條件(S206)的時候，確定(52)一組規則(100)，結合分類數據(104、106、108、110)，將輔助信息(116、118、120)跟視頻節目關聯起來的裝置；在這組規則(56、S210)的基礎之上提取輔助信息的裝置；和格式化(58)輔助信息用來跟視頻節目一起顯示的裝置。
29.視頻節目觀看者的一種機頂盒(75)，包括接收視頻節目(102)、視頻節目分類數據(104、106、108、110)和視頻節目屏幕文字(150)的接收裝置(2)；屏幕文字提取和分段裝置(4)，確定視頻節目中的至少一段，將這些屏幕文字跟這至少一段關聯起來；跟至少一個信息源(14、13、15)連接，接收視頻節目(116、118、120)輔助信息的通信裝置(17)；處理器裝置(6)，它a)提取視頻節目觀看者的用戶簡檔(50)，它至少包括一個觸發字(102)，反映視頻節目觀看者的興趣，b)將分類數據跟這至少一段關聯起來(60、S207)，c)結合這些分類數據，確定一組規則(52)，將輔助信息跟這一段關聯起來，d)在屏幕文字裡搜索用戶簡檔(54)中包括的一個觸發字，e)當觸發字(102)包括在屏幕文字(150)中的時候，利用通信裝置(17)在這組規則(100)的基礎之上，提取輔助信息(56)，和f)格式化(58)提取出來的輔助信息供顯示；和存儲裝置(18)，用於儲存屏幕文字、用戶簡檔、這組規則和輔助信息。
30.權利要求29的機頂盒(75)，其中的接收裝置接收數字視頻節目。
31.權利要求29的機頂盒(75)，其中的處理器(12)對數字視頻節目進行解碼和格式化，以便在模擬顯示器上顯示。
32.權利要求29的機頂盒(75)，其中的視頻節目觀看者選擇要通過通信裝置(17)發射輔助信息過去的一個目的地(15)。
33.權利要求29的機頂盒(75)，其中處理器(12)為每一段提取一種以上的輔助信息(116、118、120)，提取出來的輔助信息被根據用戶簡檔(S209)按照一種優先級自動地排列，默認具有最高優先級的輔助信息要被格式化供顯示(S211)。
34.權利要求29的機頂盒(75)，其中處理器(12)為每一段提取一種以上的輔助信息(116、118、120)，視頻節目觀看者選擇提取出來的視頻節目觀看者想看的輔助信息。
35.一種電視機(80)，包括接收裝置(2)，它接收視頻節目(162)、視頻節目分類數據(104、106、108、110)和視頻節目屏幕文字(150)；屏幕文字提取和分段裝置(4)，它確定視頻節目中的至少一段，將屏幕文字跟至少一段關聯起來；通信裝置(17)，跟至少一個信息源連接起來，接收這個視頻節目的輔助信息；處理器裝置(12)，它a)提取視頻節目觀看者的用戶簡檔(50)，它至少包括一個觸發字(102)，反映視頻節目觀看者的興趣，b)將分類數據跟這至少一段關聯起來(4、2)，c)結合這些分類數據，確定一組(52)規則(100)，將輔助信息跟這一段關聯起來，d)在屏幕文字(54)裡搜索用戶簡檔中包括的一個觸發字(102)，e)當觸發字(102)包括在屏幕文字中的時候，利用通信裝置(17)在這組規則(100)的基礎之上，提取輔助信息(116、118、120)，和f)格式化(58)提取出來的輔助信息供顯示；儲存屏幕文字、用戶簡檔、這組規則和輔助信息的存儲裝置(18)；和顯示視頻節目、提取出來和格式化過的輔助信息的顯示裝置。
36.計算機能夠執行的處理步驟，用來提取視頻節目的輔助信息，這個計算機能夠執行的處理步驟儲存在計算機能夠讀的媒介(18)中，包括一個接收步驟(S201)，用來接收視頻節目、描述這一視頻節目的分類數據和這一視頻節目的屏幕文字數據；一個分段步驟(S202)，用來確定視頻節目中的至少一段和這一段的分類數據；第一個確定步驟(S205)，用來確定視頻節目觀看者的一個用戶簡檔；第二個確定步驟(S208)，用來結合分類數據確定一組規則，當屏幕文字和用戶簡檔滿足一組條件的時候，將輔助信息跟視頻節目關聯起來；和提取步驟(S210)，用於在這組規則的基礎之上自動地提取輔助信息。
全文摘要
提取視頻節目輔助信息的一種系統和方法。在屏幕文字中搜索感興趣的詞語，以及確定跟這些詞語有關的信息。在用戶簡檔和被觀看視頻段分類的基礎之上，格式化輔助信息供顯示。隨著時間的流逝，可以用學習模型修改將輔助信息跟感興趣的詞語相關聯的關聯規則。
文檔編號H04N7/173GK1393107SQ01802881
公開日2003年1月22日 申請日期2001年7月11日 優先權日2000年7月27日
發明者T·麥吉, N·迪米特羅瓦, L·阿格尼霍特裡 申請人:皇家菲利浦電子有限公司