使用數字圖像的元數據和內容特徵來找到相關音頻伴奏的系統和方法

2023-11-30 13:57:46 1

專利名稱：使用數字圖像的元數據和內容特徵來找到相關音頻伴奏的系統和方法
使用數字圖像的元數據和內容特徵來 找到相關音頻伴奏的系統和方法
技術領域：
本發明涉及的是使用數字圖像序列的元數據來識別音頻伴奏並與之 關聯，以及創建與所識別的音頻相結合的序列，從而將其作為建議播放列 表或是視聽展示呈現給用戶，其中所述音頻伴奏包含了具有與圖像元數據 相類似的文本和元數據的音樂和聲音。
越來越多的消費者系統將不同類型內容的存儲和回放組合在了 一起。 由此，個人用於回放數字照片的系統通常將能在顯示這些照片的同時播放
音樂伴奏。由此產生的問題是這種可能性為用戶提出了額外的任務，那 就是找到並選擇恰當的音樂，以便為照片幻燈顯示(數字圖像序列)提供 伴奏。由此需要一種用於自動播放(或建議)與特定數字圖像序列的內容 相匹配的音頻伴奏的方法。
在一個實施例中，本發明的系統、設備和方法提供了一種通過使用數 字圖像(例如照片、相簿、家庭視頻)的元數據來搜索音樂的方法，其中 所述音樂包含了與這些照片相關聯的歌曲文本。
為了實現該目的
(1) 從一個或多個圖像(的集合/序列)或是從圖像元數據中得到文 本標籤，以及
(2) 這些文本標籤或關鍵短語包含了至少一個關鍵字，並且被用於 找到在音樂標題中、或是在與音樂相關聯的歌曲文本的某些(顯著)部分 中、或是在音頻的元數據中包含了這些關鍵短語的音頻伴奏。
4艮多經典作品都具有為其音樂設置的文字，例如，"I'm Always Chasing Rainbows"是一首為Chopin's Fantasie Impromptu設置的歌曲。 此外，^f艮多沒有文字的音樂作品都適合作為用於幻燈顯示的背景音樂，例 如與海洋音樂相關聯的海濱幻燈顯示。除了音樂之外，音軌同樣可以作為 音頻伴奏而被提供。後面的這些音頻伴奏必須具有用於描述其內容的相關 元數據。圖l描述的是根據本發明的方法的功能流程圖2描述的是根據本發明而將音樂與歌曲相關聯的設備；以及
圖3描述的是根據本發明的系統。
本領域普通技術人員應該理解，提供以下描述是為了進行例證，而不 是加以限制。技術人員應該理解的是，在本發明的實質和所附權利要求的 範圍以內存在著多種變型。對已知功能和操作來說，與"M目關的不必要細 節可以從當前描述中被省略，以免與本發明相混淆。
在一個優選實施例中，用戶提供的數字圖像內容和特性被用於導出文 本標籤(圖像元數據)，這些文本標籤可以是包含了從用戶指定的圖像名/ 標籤中導出的至少一個關鍵字的關鍵短語，或者是從圖像的文本注釋中得 出的關鍵短語。在一個優選實施例中，通過對文本內容使用光學字符識別 (0CR)、對場景使用圖像場景識別以及對對象(包括人和動物)使用圖像 對象識別，識別圖像序列的內容。用戶提供的圖像特性被當作圖像元數據 對待，並且可以包括如下項目，例如特定於用戶的數據(例如種族劃分、 性別、年齡、職業)、圖像的創建時間和創建地點的信息，這些項目將被 轉換成有意義的名稱，或者轉換成包含標準化關鍵字並且描述了最有可能 發生的事件和地點(例如生日、聖誕節、紐約、巴黎、暑假.......)的關
鍵短語o
在一個實施例中，使用圖像內容分析算法來對圖像風景進行分類，並 且提供了用於描述圖像的元數據，而這些元數據則可以用作搜索項，以便 搜索用關鍵短語索引的音頻伴奏資料庫。與該分類相關聯的文字或標籤同 樣被用於導出文本標籤(圖像元數據)，然後，這些文本標籤被用於找到 相關的音頻內容。例如，我們可以從其總體的白色中檢測到冬天的場景。 這種特性的識別被轉換成某個文本元數據(標籤)，例如冬天、雪、白色。 然後，這些元數據可以用於找到具有與冬天、下雪等等有關的歌曲文本和 音頻元數據的音頻。
在一個優選實施例中，關於圖像的元數據被合併。例如，時間信息可 以轉換成"聖誕節"，而場景分析信息產生(除了別的文字之外)"白色"。 本發明在這個實例中找出"白色聖誕節"以及下雪的聲音。
在一個優選實施例中，選定的音頻伴奏會在時間上延續，以便覆蓋圖 像序列，這是因為一般來說，並不希望此類序列為每一個組成圖像都跳轉 另一個音頻伴奏。由此，較為有利的是將可用於圖像序列的元數據聚合成關於整個序列的描述。然後，通過使用聚合元數據，可以選擇至少一個適 合整個圖像序列的音頻伴奏。
在另 一個替換實施例中，可以通過具有關於用戶的可用信息(例如用 於提供恰當程度的位置粒度的地理住宅位置，用於導出正確事件的區域/ 文化背景，用於確定假期的個人/家庭信息，等等)，來改進元數據到有意 義的文本標籤的轉換。
在一個優選實施例中，音效是作為與圖像的元數據相關的音頻伴奏提 供的。例如，聚會的幻燈顯示可以穿插玻璃杯的聲音。關於人群的圖片可 以觸發一個低語的聲音。
現在參考

圖1，該圖描述了根據本發明的方法的優選實施例的一個流
程圖實例。在步驟102，圖像或圖像序列101連同相關聯的元數據101 — 起被輸入，其中該元數據是為至少一個圖像接收和創建的元數據中的至少 一個，然後，圖像和元數據保留在短期持久性存儲器(persistent memory)103中。該圖像元數據既可以由用戶輸入，也可以由本發明導出， 並且可以包括日期、時間、事件、位置、圖像與用戶的關係或是其他描 述符。本發明的系統、設備和方法可以包括用於將用戶輸入的任何元數據 標準化成標準集合的術語及其同義詞的辭典104. 1，例如mom， mother, ma， mama， madre等等，所有這些指示的都是圖像的同一 "mother (母親)" 特性。同樣，本發明的方法IOO可以包括用於創建白色冬天場景之類的圖 像元數據的圖像分析能力。包括用戶輸入的元數據和系統創建的元數據的 這兩種類型元數據連同圖像序列一起保存在持久性存儲器103中，並且必 須保存至少一種類型的元數據，以便本發明的系統300、設備200和方法 100定位(locate)用於輸入圖4象序列的相應音頻伴奏。
提供了一個預先用標準化的音頻伴奏元數據注釋(索引)的音頻伴奏 資料庫104。通過使用保留在短期持久性存儲器103中的、標準化的被捕 獲/創建的圖像元數據，在步驟105,搜索所提供的音樂資料庫104，以 尋求匹配音樂元數據。在步驟106，所有匹配的音樂元數據都被編譯到一 個播放列表中，與圖像相關聯，並且保留在持久性存儲器103中。在一個 優選實施例中，還會導出匹配程度，例如，冬天、白色圖像以及用戶提供 的日期12/25將會導致與"White Christmas (白色聖誕節)"100%匹配， 而與"Walking In A Winter Wonderland (在冬天仙境漫步)，，則沒那麼匹 配。在步驟107，從持久性存儲器103中檢索搜索結果，在顯示圖像的同 時，最佳匹配是在有序的音樂伴奏建議列表中被播放或呈現的一個。在一個優選實施例中，圖像和音頻注釋都保存在資料庫108中，以便在以後進 行檢索、顯示和播放。
現在參考圖2，該圖描述的是用於在顯示圖像時將音頻伴奏與圖像相 關聯以及用於向用戶呈現音頻伴奏播放列表的設備200。該設備包括圖像 元數據捕獲/創建模塊201，用於接收圖像、圖像序列以及描述圖像和圖 像序列的元數據。該元數據包括日期、時間、季節、事件、與用戶的關係、 個人/寵物的名稱，圖像和圖像序列的位置。用戶輸入的元數據由模塊201 捕獲，以及由模塊201通過圖像分析創建，例如是海洋或湖泊、島嶼等等。 一旦捕獲了圖像及其元數據，並且模塊201創建了用於輸入圖像序列的元 數據，那麼它會保留在短期持久性存儲器103中。然後，搜索/關聯模塊 203根據元數據在資料庫102中搜索適當的音頻伴奏，並且建議/播放模 塊204進行建議播放列表或播放搜索得出的最相關音頻伴奏中的至少一 個。在一個優選實施例中，該結果被保存在已注釋圖像的資料庫108中， 以便在以後進行檢索和播放。持久性存儲器103是一個相對短期的存儲 器，其持續時間僅與用戶希望由包括設備200的顯示裝置顯示圖像序列的 時間是一樣長的。
現在參考圖3，該圖描述的是包括圖2設備200的系統300。該系統 300接受數字圖像內容，以及由此由用戶101輸入的元數據，通過使用圖 2的設備200藉助辭典104. 1來創建附加圖像元數據(如有必要)，以在 其資料庫104中定位恰當音頻伴奏，並且將得到的與輸入序列相關聯的音 頻伴奏保存在短期持久性存儲器103中。然後，該系統或者在顯示302圖 像/序列的同時播放301音頻伴奏，或者向用戶建議302結果播放列表。 這些結果以及圖像還可以保存在注釋的圖像資料庫108中，以便在以後進 行檢索和查看。
雖然在這裡描述並且例證了本發明的優選實施例，但是本領域技術人 員應該理解，這裡描述的系統、設備和方法是例證性的，在沒有脫離本發 明的實際範圍的情況下，眾多的變更和修改都是可行的，並且可以使用等 價物來替換其部件。此外，在不脫離本發明中心範圍的情況下，眾多的修 改都可被實施，以使本發明的教導適應於特定的圖像回放/聲音/音效設 置。由此，本發明並不局限於作為預期執行本發明的最佳模式而被公開的 特定實施例，相反，本發明包含了落入所附權利要求範圍以內的所有實施 例。
權利要求
1. 一種使用與至少一個圖像(ioi)的序列相關聯的內容元數據來為其提供音樂伴奏的方法，包括以下步驟使用與該序列相關聯的內容元數據，在資料庫(104)中定位匹配的 (105)音頻伴奏；以及提供所定位的音頻伴奏(107),作為該序列的伴奏。
2. 權利要求l的方法，其中，內容元數據包括日期、時間、事件、 位置、圖像與用戶的關係、用戶特性以及描述符關鍵短語。
3. 權利要求l的方法，還包括以下步驟 提供標準內容元數據及其同義詞的辭典(104. 1);以及 使用該辭典(104. 1 )來將關聯於該序列(101)的內容元數據標準化成標準的內容元數據(104.1)。
4. 權利要求3的方法，其中，內容元數據包括日期、時間、事件、 位置、圖像與用戶的關係、以及描述符關鍵短語。
5. 權利要求1的方法，還包括以下步驟通過從包含以下各項的組 中選擇的技術而將內容元數據與序列相關聯(102):分配元數據描述符， 通過至少一個圖像的內容分析來導出出元數據描述符。
6. 權利要求5的方法，其中，內容分析是從包含以下各項的組中選 出的文本的光學字符識別，圖像場景識別，以及圖像對象識別。
7. 權利要求5的圖像，其中，提供步驟還包括首先執行以下步驟 將所定位的音頻伴奏編譯(106)到與該序列相關聯的播放列表中；以及奏中。
8. 權利要求7的方法，還包括以下步驟將序列以及為其定位的音頻伴奏保留在短期持久性存儲器103中；以及在所述提供步驟之前，檢索保留的序列以及為其定位的音頻伴奏。
9. 權利要求8的方法，其中，內容元數據包括用戶數據、日期、 時間、事件、位置、圖像與用戶的關係、圖像中的個人姓名、圖像中的寵 物名稱、圖像標題、季節、溫度、緯度、經度、大小、身體部位、顏色、 以及描述符關鍵短語。
10. 權利要求9的方法，還包括以下步驟 提供標準內容元數據及其同義詞的辭典(104.1);以及 使用該辭典(104. 1)來將關聯於序列(101)的內容元數據標準化成標準的內容元數據(104.1)。
11. 權利要求10的方法，其中 所述定位步驟還包括導出匹配程度的步驟；以及 所述提供步驟還包括首先根據匹配程度來對所提供的音頻伴奏執行從最低到最高的排序的步驟。
12. 權利要求10的方法，其中，所述提供步驟還包括以下步驟 將關聯於所定位的音頻伴奏的序列存儲在資料庫108中；以及 從資料庫(108)中檢索所存儲的序列以及相關聯的音頻伴奏。
13. —種將音頻伴奏與至少一個圖像的序列相關聯的設備(200 ),其 中該圖像具有與之同時呈現的內容，該設備(200)包括圖像/元數據捕獲/創建模塊(201)，用於捕獲序列，以及捕獲和創建 用於描述至少一個圖像的內容的元數據；音頻伴奏元數據搜索/關聯模塊(203 ),該模塊使用相關聯的元數據 作為搜索準則，在音頻伴奏資料庫(104)中搜索音頻伴奏；音頻伴奏建議/播放模塊(204 ),用於建議從搜索中得出的音頻伴奏 的播放列表；以及圖像序列顯示模塊(202 )，用於在音頻伴奏建議/播放模塊(204 )播 放從搜索中得到的音頻伴奏時同時顯示該序列。
14. 權利要求13的設備(200 ),還包括 資料庫(108);其中，圖像/元數據捕獲/創建模塊(201)和音頻伴奏元數據搜索/ 關聯模塊(203 )每一個被進一步配置成將序列、元數據和所定位的音頻 伴奏存儲在資料庫(108)中；以及其中音頻伴奏建議/播放模塊(204 )和圖像序列顯示模塊(202 )每 一個被進一步配置成從資料庫(108)中檢索序列以及相關聯的元數據， 以便同時對其進行顯示和播放。
15. 權利要求13的設備(200 )，其中，圖像/元數據捕獲/創建模塊 (201 )被進一步配置成使用圖像內容分析技術來創建元數據。
16. 權利要求15的設備(200 )，其中，圖像內容分析技術是從包含 以下各項的組中選出的文本的光學字符識別，圖像場景識別，圖像對象識別。
17. —種用於至少一個數字圖像的序列的音頻伴奏的系統(300 )，包括顯示設備(301); 音頻伴奏播放設備(302 );以及根據權利要求16的設備(200 ),其中該設備可操作地連接到顯示設 備(301)和音頻播放設備(302 )，其中該設備(200 )接受至少一個圖像的序列以及第一圖像元數據 (101)，使用內容分析技術(102)來導出第二圖像元數據，使用第一和 第二元數據來定位恰當的音頻伴奏，然後則執行以下操作之一在顯示 (302 )序列的時候播放(301)音頻伴奏，或者向用戶建議(302 )結果 的播放列表。
全文摘要
在這裡提供了一種系統(300)、設備(200)和方法(100)，用於在顯示具有至少一個數字圖像的序列的時候自動播放/建議至少一個音頻伴奏，使得音頻伴奏與特定圖像序列的內容相匹配，以及匹配任何提供的和/或產生的圖像元數據。搜索項是從圖像自身以及用戶提供的任何元數據當中導出的，然後，這些搜索項被用於找到具有如下特性的音頻伴奏(1)在圖像或相關文本(例如歌曲文本)中包含這些搜索項或是其同義詞，或者(2)代表通常與圖像相關聯的聲音，例如用於快速流動的小河的圖像的衝水聲。本發明接受用戶輸入，定位恰當的音頻伴奏作為搜索結果，並且通過在顯示圖像的時候播放音頻伴奏或者通過向用戶建議從這些結果中編譯的播放列表來將這些結果呈現給用戶。
文檔編號G11B27/34GK101313364SQ200680043552
公開日2008年11月26日 申請日期2006年11月15日 優先權日2005年11月21日
發明者A·裡克卡爾特, B·M·斯盧伊斯, K·H·J·夫裡林克, M·弗伯克特 申請人:皇家飛利浦電子股份有限公司