利用常識知識來表徵多媒體內容的製作方法
2023-12-06 12:14:41
專利名稱：利用常識知識來表徵多媒體內容的製作方法
技術領域：
本發明涉及一種處理諸如音頻或視頻內容之類的多媒體內容的方法。本發明還涉及一種用於處理諸如音頻或視頻內容之類的多媒體內容的設備。而且，本發明涉及一種描述多媒體內容的數據信號，其中該數據信號還包括元數據。本發明還涉及一種包括描述多媒體內容的數據信號的存儲介質，其中該數據信號還包括元數據。
隨著電視觀眾可收到的頻道數不斷增加，同時可在這些頻道上得到的節目內容的多樣性不斷提高，對於電視觀眾而言，識別感興趣的電視節目變得越來越具有挑戰性。
在歷史上，電視觀眾通過分析印刷的電視節目指南來識別感興趣的電視節目。典型地，這種印刷的電視節目指南包含了按時間和日期、頻道和標題列出的可收到的電視節目的表格(grid)。隨著電視節目數量的增多，利用這種印刷的指南來有效地識別想看的電視節目變得越來越難。
更近一些，電視節目指南變得可以以電子格式得到，其被通常稱作電子節目指南(EPG)。像印刷的電視節目指南一樣，EPG包含按時間和日期、頻道和標題列出的可收到的電視節目的表格。然而，一些EPG允許觀眾根據個人喜好對可收到的電視節目進行分類或搜索。此外，EPG允許在屏幕上呈現可收到的電視節目。
雖然EPG允許觀眾比傳統的印刷指南更有效地識別出想看的節目，但是它們受到許多限制，如果克服掉這些限制，則可以進一步提高觀眾識別想看的節目的能力。
一般而言，存在下述的推薦器和內容管理系統，即它們基於多媒體信號(例如視頻和/或音頻信號)中的元數據來定義內容的特性，並從而為觀眾或聽眾提供識別特定內容的更多可能性。推薦器和內容管理系統只有在可獲得合適的元數據時才提供增值。元數據的類型很多，但是當前缺乏的一種類型是內容或部分內容(例如場景或音樂的部分)的情感或情緒描述的元數據。儘管MPEG 7標準通過提供應該包含這種情感信息的元數據標記而預見到這種元數據的重要性，但是還沒有提出如何確定該標記的信息。缺少這種類型的信息的原因之一是，標準化的分類不存在，並且手工標記是費時的工作。而且，傳統的特徵提取(或信號分析)並不提供這種信息，因為它本身並不明確地存在於內容當中。
本發明的目的是提供一種解決上述問題的辦法並找到一種確定多媒體內容的情感和情緒描述的方法。
這通過一種處理諸如音頻或視頻內容之類的多媒體內容的方法來獲得，其中所述方法包括以下步驟-接收包括所述多媒體內容的數據信號；-識別所接收到的多媒體內容中的預定義要素(feature)；-根據一個或多個所述識別出的預定義要素與一個或多個特徵之間的預定義聯繫，確定所接收到的多媒體內容的特徵，其中所述要素與所述特徵之間的聯繫是基於真實世界的知識建立的。
可以產生參數，其基於所述特徵並可被用於許多用途，例如內容中的關鍵字搜索、基於特徵和語言檢測的內容再現。在一個實施例中，在呈現內容過程中可實時確定特徵；可替換地，特徵可被預添加到內容中。基於真實世界知識的特徵可以是內容的氛圍(ambience)，例如悲傷、快樂、生氣等。真實世界知識包括常識推理以及一般知識。因此，基於在多媒體內容中檢測到的內容，包括常識或一般知識的真實世界知識可以用於將內容聯繫到特徵。特徵和內容的關係可作為規則庫或者作為關係標示圖來進行存儲。以前已經描述了可以如何使用真實世界的知識來檢測文本的特徵。這可以在H.Liu，H.Lieberman，T.Selker(2003)的文章A Model of Textual Affect Sensing using Real-World Knowledge，IUI 2003，January 2003，Miami，Florida，USA中找到。
在一個特定實施例中，多媒體內容中的預定義要素是視頻信號中的預定義顏色。預定義顏色可以是預定義範圍的顏色，或者它們可以是特定的預定義顏色。用於場景中的顏色通常用於與觀眾交流；這例如可以是氛圍或文化。
在另一個特定實施例中，多媒體內容中的預定義要素是音頻信號中的預定義聲音元素。在例如場景中使用的聲音或音樂通常被用於與觀眾交流，並可以表示例如悲傷、恐懼、動作、愛；除了這些氛圍特徵以外，它還可以是文化。
在一個特定實施例中，所述方法還包括根據確定的特徵來呈現多媒體信號的內容的步驟。多媒體內容的呈現在呈現過程中可被進一步優化；例如，通過在快樂場景中使光線變暗或者增強特定的文化環境中的顏色。
在一個實施例中，將所確定的特徵作為元數據添加到多媒體信號上。包括元數據的信號例如可以被存儲或廣播，並且接收機或閱讀器不必為了使用它們而確定該數據。
在一個特定實施例中，所確定的特徵是所接收到的多媒體內容的氛圍。氛圍可以是例如環境的氣氛，以及多媒體內容的氛圍相對簡單地基於多媒體內容中的預定義要素來確定。特定的顏色或聲音通常被用於為觀眾或聽眾增強多媒體內容的氛圍；如上所述，這種氛圍例如可以是悲傷、恐懼、動作、愛。
本發明還涉及一種用於處理諸如音頻或視頻內容之類的多媒體內容的設備，其中所述設備包括-接收機，適於接收描述所述多媒體內容的數據信號；-處理器，適於識別所接收到的多媒體內容中的預定義要素；-資料庫，包括一個或多個所述識別出的預定義要素與一個或多個特徵之間的聯繫，其中所述要素和所述特徵之間的聯繫是基於真實世界的知識建立的；-處理器，適於根據所述資料庫中的內容來確定所接收到的多媒體內容的特徵。
在一個特定實施例中，該設備適於讀取包括多媒體內容的存儲介質的內容，其中接收機適於接收描述所述多媒體內容的數據信號，其中所述數據信號是從所述存儲介質中讀出的。
本發明也涉及一種描述多媒體內容的數據信號，其中該數據信號還包括元數據，所述元數據定義了所述多媒體內容的特徵，以及其中這些特徵是通過識別所述多媒體內容中的預定義要素並且通過基於一個或多個所述識別出的預定義要素與一個或多個特徵之間的預定義聯繫來確定所接收到的多媒體內容的特徵而得以確定的，其中所述要素和所述特徵之間的聯繫是基於真實世界的知識建立的。
本發明還涉及一種用於處理如上文定義的數據信號的設備，其中所述設備包括-用於接收包括識別多媒體內容的特徵的用戶請求的裝置，-用於通過搜索定義了與所述用戶請求中識別的特徵相似的特徵的元數據來處理所述數據信號的裝置，-用於如果所述數據信號中的元數據定義了與由所述用戶請求識別的特徵相似的特徵，則為用戶呈現數據信號中的多媒體內容的裝置。
該設備也可被稱作內容推薦器，並且通過使用用於推薦內容的元數據，有可能根據由元數據定義的基於真實世界知識的特徵來進行推薦。通過使根據例如多媒體內容的氛圍來進行推薦成為可能，這增加了推薦器系統的質量。
本發明還涉及一種包括描述多媒體內容的數據的存儲介質，其中該數據還包括元數據，所述元數據定義了所述多媒體內容的特徵，以及其中這些特徵是通過識別所述多媒體內容中的預定義要素並且通過基於一個或多個所述識別出的預定義要素與一個或多個特徵之間的預定義聯繫來確定所接收到的多媒體內容的特徵而得以確定的，其中所述要素和所述特徵之間的聯繫是基於真實世界的知識建立的。
下文將參考附圖來描述本發明的優選實施例，其中
圖1說明一種依據本發明的系統；圖2說明一種包括預定義要素和特徵之間的聯繫的資料庫；圖3說明一種依據本發明的確定多媒體內容中的特徵的方法；圖4說明依據本發明的處理和使用包括了元標記的多媒體信號的不同類型。
在圖1中說明了按照本發明的系統101，該系統包括中央處理器(CPU)103、接收機105和資料庫107，該資料庫107通過通信總線108進行通信。接收機105能夠接收包括諸如音頻和/或視頻數據之類的多媒體內容數據的多媒體信號(MS)109。這種多媒體數據例如可以從一種適於從包括多媒體數據的存儲介質(比如DVD或VCR)中讀取多媒體內容的設備中接收。而且，該信號也可以從一種適於接收例如數位電視信號中的廣播多媒體內容的接收機中接收。資料庫107包括多媒體內容中的預定義要素和相應特徵之間的聯繫，其中所述要素和所述特徵之間的聯繫基於真實世界的知識111。運行檢測算法的CPU 103然後使用資料庫107的內容來確定多媒體內容的特徵。檢測算法可以包括例如通過使用音頻或視頻檢測器來檢測多媒體內容中的顏色元素和/或音頻元素的步驟。可以得到多種檢測多媒體內容中的顏色或音頻元素的方法，並且為了從多媒體內容中獲得更高層次的信息，可以將這些方法結合起來。檢測顏色元素的一種方法是通過從像素信息中提取平均顏色，這可以在RGB顏色空間中通過使用各個像素的RGB值以及然後計算整個屏幕或屏幕中的區域或物體的平均RGB值而得以完成。例如通過檢測音頻波形中的過零可以檢測音頻元素，這可以用於確定音頻的力度變化或速度。在檢測出多媒體內容中的要素後，該算法在資料庫107中搜索所檢測到的要素，並基於從要素到特徵的聯繫，該算法產生新的信號113，該信號包括多媒體信號(MS)和能夠被產生的識別特徵的元標記(MTAG)。
在圖2中說明了資料庫111的內容，其中將不同的預定義要素(F1，F2，F3，F4)或要素的組合與不同的特徵(C1，C2，C3，C4)聯繫起來。多媒體內容中的預定義要素可以是特定的顏色、特定的顏色類型或特定的顏色組合。而且，這些要素可以是特定的聲音或者聲音和顏色的組合。更一般地，所述要素可以是關於涉及一個或多個視頻場景、視頻幀和/或聲音或聲音的組合的多媒體內容的任何類型的信息。然後定義這些預定義的特徵，並將它們與資料庫中的特徵聯繫起來。按照本發明的總體思想，這種聯繫基於真實世界的知識。
多媒體內容要素和特徵可以這樣按照真實世界的知識聯繫起來將諸如歡樂和假日之類的特徵與多媒體內容中的預定義要素暖色、藍天和拉丁音樂聯繫起來。另一個基於真實世界的知識將內容的要素與特徵聯繫起來的例子可以是下面的情形。在一些國家(取決於文化)中，服喪的人們可能穿黑衣，這與悲傷聯繫起來。因此，當多媒體內容包括以穿著黑衣的人們為要素的場景時，可確定例如悲傷的特徵；例如在某一國家或地區，這一判斷可能必須要結合另一個基於真實世界知識進行的要素與特定文化或文化類型之間的聯繫的判斷來進行。在音頻中，可以基於例如曲調中不同音調的速度來進行類似的操作，其中緩慢的曲調是一種可能暗示著人們關係親密的場景或者至少非動作的場景的要素，而非常快的曲調可能意味著它是牽涉到很多動作的場景或者至少不安靜的場景。
圖3說明如何在多媒體內容中檢測到特徵。首先，在301中，由系統接收包括多媒體內容的多媒體信號；這例如可以從內部多媒體內容閱讀器/接收機或者從外接的多媒體內容閱讀器/接收機中接收。在303中，基於資料庫107的內容在多媒體內容中搜索並識別預定義要素，例如通過搜索資料庫107中識別的內容中的特定顏色和/或特定聲音。
接下來，在305中，根據所識別出的要素和它們在資料庫107中的相應聯繫來確定內容的特徵。最後，在307中，使用附加的確定信息來確定多媒體內容的特徵並可以對該內容進行處理。
圖4示出處理或使用包括附加的確定信息的多媒體內容的不同方法的例子。在圖中，將包括元標記的多媒體信號401說明為處理設備403的輸入。在例子405中，用戶可以基於內容的特徵來搜索特定的多媒體內容，例如他可以搜索悲傷內容或動作內容、或者這些特徵的組合。在407中，使用這些特徵來確定文化和國家，並從而確定語言，例如當將語音轉換為文本或者當給視頻內容加字幕時，可以使用該信息。在409中，當呈現該內容時使用了該信息，其中當再現內容時可以使用元數據，例如根據特徵通過減弱場景中的光線或者通過增強音頻中特定的音調。
在內容推薦器系統中可以執行該處理，該系統能夠基於多媒體內容的特徵來推薦特定的多媒體內容。在一個例子中，多媒體內容可以是例如來自諸如DVD之類的源的視頻內容，在該DVD上存儲著包括多媒體內容和元數據的數據。可替換地，可以僅將多媒體內容存儲在DVD上，並且在內容推薦器系統處理該內容之前進行如上所述的元數據的產生。內容推薦器系統包括用於讀取DVD上的數據的設備，然後就可以使用元數據以根據元數據中識別的特徵來呈現多媒體內容的特定部分。更具體而言，使用諸如鍵盤或遙控器之類的輸入設備的用戶可以規定他只想看內容中歡樂的部分。然後推薦器系統在元數據中搜索歡樂的特徵，並且呈現具有識別歡樂特徵的元數據的內容。可替換地，推薦器也可以一開始就對DVD上的數據進行掃描，並且基於檢測的元數據對內容進行評定，例如，如果預定百分比的內容涉及諸如悲傷、暴力或色情場景之類的特徵，則應當將該多媒體內容列為兒童不宜。
應該注意，上述實施例是說明而不是限制本發明，並且本領域技術人員將能設計出許多可替換實施例而不偏離所附權利要求書的範圍。在權利要求書中，置於括號中的任何附圖標記皆不應被理解為限制權利要求。使用動詞「包括」及其變形並不排除存在未在權利要求中列出的元件或步驟。本發明可以藉助於包括若干不同元件的硬體以及藉助於適當編程的計算機來實現。在列舉若干裝置的設備權利要求中，這些裝置中的若干可以通過同一項硬體來實現。僅僅在相互不同的從屬權利要求中陳述特定措施的事實並不表明這些措施的組合不能被有利地使用。
權利要求
1.一種處理多媒體內容的方法，其中該方法包括以下步驟-接收(301)包括所述多媒體內容的數據信號(109)；-識別(303)所接收到的多媒體內容中的預定義要素(F1，F1+F4，F3，F1+F6)；-根據一個或多個所述識別出的預定義要素(F1，F1+F4，F3，F1+F6)與一個或多個特徵(C1，C2，C3，C4)之間的預定義聯繫，確定(305)所接收到的多媒體內容的特徵，其中所述要素與所述特徵之間的聯繫是基於真實世界的知識(111)建立的。
2.如權利要求1所述的方法，其中多媒體內容中的預定義要素是視頻信號中的預定義顏色。
3.如權利要求1所述的方法，其中多媒體內容中的預定義要素是音頻信號中的預定義聲音元素。
4.如權利要求1到3所述的方法，其中該方法還包括按照所確定的特徵來呈現多媒體信號的內容的步驟。
5.如權利要求1到4所述的方法，其中將所確定的特徵作為元數據添加到多媒體信號上。
6.如權利要求1到5所述的方法，其中所確定的特徵是所接收到的多媒體內容的氛圍。
7.一種用於處理諸如音頻或視頻內容之類的多媒體內容的設備，其中該設備包括-接收機(105)，適於接收描述所述多媒體內容的數據信號(109)；-處理器(103)，適於識別所接收到的多媒體內容中的預定義要素(F1，F1+F4，F3，F1+F6)；-資料庫(11)，包括一個或多個所述識別出的預定義要素(F1，F1+F4，F3，F1+F6)與一個或多個特徵(C1，C2，C3，C4)之間的聯繫，其中所述要素和所述特徵之間的聯繫是基於真實世界的知識(111)建立的；-處理器(103)，適於根據所述資料庫中的內容來確定所接收到的多媒體內容的特徵。
8.如權利要求7所述的設備，其中該設備適於讀取包括多媒體內容的存儲介質的內容，以及其中接收機適於接收描述所述多媒體內容的數據信號，其中所述數據信號是從所述存儲介質中讀取的。
9.一種描述多媒體內容的數據信號，其中該數據信號還包括元數據，所述元數據定義了所述多媒體內容的特徵，以及其中這些特徵是通過識別所述多媒體內容中的預定義要素並且通過基於一個或多個所述識別出的預定義要素與一個或多個特徵之間的預定義聯繫來確定所接收到的多媒體內容的特徵而得以確定的，其中所述要素和所述特徵之間的聯繫是基於真實世界的知識建立的。
10.一種用於處理如權利要求9所述的數據信號的設備，其中該設備包括-用於接收包括識別多媒體內容的特徵的用戶請求的裝置，-用於通過搜索定義了與所述用戶請求中識別的特徵相似的特徵的元數據來處理所述數據信號的裝置，-用於如果所述數據信號中的元數據定義了與由所述用戶請求所識別的特徵相似的特徵，則為用戶呈現數據信號中的多媒體內容的裝置。
11.一種包括描述多媒體內容的數據的存儲介質，其中該數據還包括元數據，所述元數據定義了所述多媒體內容的特徵，以及其中這些特徵是通過識別所述多媒體內容中的預定義要素並且通過基於一個或多個所述識別出的預定義要素與一個或多個特徵之間的預定義聯繫來確定所接收到的多媒體內容的特徵而得以確定的，其中所述要素和所述特徵之間的聯繫是基於真實世界的知識建立的。
全文摘要
本發明涉及一種處理諸如音頻或視頻內容之類的多媒體內容的方法，其中該方法包括以下步驟接收包括所述多媒體內容的數據信號；識別所接收到的多媒體內容中的預定義要素；根據一個或多個所述識別出的預定義要素與一個或多個特徵之間的預定義聯繫，確定所接收到的多媒體內容的特徵，其中所述要素與所述特徵之間的聯繫是基於真實世界的知識建立的。可以產生參數，該參數基於所述特徵，並且可以用於許多用途，例如內容中的關鍵字搜索、或者基於特徵和語言檢測的內容再現。
文檔編號H04N7/16GK1853415SQ200480026651
公開日2006年10月25日 申請日期2004年8月30日 優先權日2003年9月16日
發明者E·M·A·迪德裡克斯 申請人:皇家飛利浦電子股份有限公司