測量視頻內容相似度的方法、管理視頻內容的方法及系統的製作方法

2023-05-22 04:35:06

專利名稱：測量視頻內容相似度的方法、管理視頻內容的方法及系統的製作方法
技術領域：
本發明的示例性實施例涉及一種測量數字視頻內容的相似度的方法、一 種使用所述測量數字視頻內容的相似度的方法來管理視頻內容的方法、以及 一種使用所述管理視頻內容的方法的視頻內容的管理系統。更具體地講，本 發明的示例性實施例涉及一種用於判斷數字視頻內容是否相似的測量數字視 頻內容的相似度的方法、 一種使用測量數字視頻內容的相似度的方法來管理 視頻內容的方法、以及一種使用所述管理視頻內容的方法的-見頻內容的管理 系統。
背景技術：
隨著網際網路媒體變成交換和獲取信息的常用手段，視頻內容被容易而頻 繁地共享。
因此，關於從廣播公司提供的各種視頻內容，比如普通的天波廣播、數
字多媒體廣播(DMB)、網際網路廣播等，在第一內容用戶獲得了視頻內容之 後，通過使用比如共享網站的網際網路媒體而將視頻內容容易地發送到第二內 容用戶。
然而，這種信息發送違背了信息的版權所有者的意圖而被發送到第二內 容用戶，從而侵犯了版權所有者的智慧財產權，並導致了嚴重的問題，也就是， 版權所有者經過巨大付出與努力的成果被非法地在網際網路上傳播。此外，更 嚴重的問題在於對版權所有者的成果的共享並沒有產生少數內容用戶，而 是產生了很多非法的內容用戶。
因此，需要一種用於防止這種非法共享視頻內容的視頻內容管理方法， 從而需要一種有效測量悽t字4見頻內容的相似度的方法。

發明內容
本發明的示例性實施例提供了一種測量數字視頻內容的相似性的方法， 以提供一種判斷數字視頻內容是否相似的標準。本發明的示例性實施例還提供一種管理視頻內容的方法，所述方法能夠
本發明的示例性實施例還提供一種使用管理視頻內容的方法的視頻內容 的管理系統。
根據本發明的一方面，如下所述提供了 一種測量數字內容的相似度的方 法。首先，檢測視頻內容的場景轉換以將視頻內容劃分為多個場景。然後， 從劃分的場景的第一場景中提取第一場景特徵。之後，通過將提取的第一場 景的第 一場景特徵與第二場景的第二場景特徵相比較來測量相似度。
第一場景可包括多個第一幀。可如下面所述來^是^^第一場景特徵。從每 個第一幀中提取第一幀特徵。然後，對從第一幀中提取的第一幀特徵進行分 組以限定第一場景的第一場景特徵。第二場景可包括多個第二幀。可如下所 述來提取第二場景特徵。從每個第二幀中提取第二幀特徵。然後，對從第二 幀中提取的第二幀特徵進行分組以限定第二場景的第二場景特徵。
從第一幀中提取第一幀特徵的步驟可包括對第一幀的運動向量的角度 做直方圖；按做成直方圖的角度的幅度的順序來選擇預定數量的運動向量以 限定第一幀的第一幀特徵。從第二幀中提取第二幀特徵的步驟可包括對第 二幀的運動向量的角度做直方圖；按做成直方圖的角度的幅度的順序選擇預 定數量的運動向量以限定第二幀的第二幀特徵。
在示例性實施例中，可通過計算第一場景中第一幀的第一幀特徵的平均 值和第二場景中第二幀的第二幀特徵的平均值之間的歐幾裡得距離來測量相似度。
在另一示例性實施例中，可通過計算第一場景中第一幀的每個第一幀特 徵和第二場景中第二幀的每個第二幀特徵之間的歐幾裡得距離的平均值來測 量相似度。
在檢測視頻內容的場景轉換以將視頻內容劃分為多個場景之前，可通過 實時地對經過數字廣播發送的信號編索引來提取特徵，並可將提取的特徵存 儲在特徵資料庫中。第二場景可包括在特徵資料庫中存儲的視頻內容中。
根據本發明的另一方面，如下所述提供了一種管理視頻內容的方法。從 視頻內容的服務提供商接收對向內容用戶提供的至少一個第一視頻內容的注 冊請求。然後，從第一視頻內容中提取第一特徵以將提取的第一特徵存儲並 註冊在特徵資料庫中。之後，當在共享網站上共享第二視頻內容時，從共享網站接收在特徵資料庫中是否註冊了第二視頻內容的查詢。從第二視頻內容 的至少 一部分中提取第二特徵，並通過將提取的第二特徵與存儲在特徵數據 庫中的第 一特徵相比較來判斷第 一視頻內容與第二視頻內容是否相似。
在示例性實施例中，可分別從第 一和第二視頻內容的第 一和第二場景或 第一和第二幀中提取第一和第二特徵。
在判斷第 一視頻內容和第二視頻內容是否相似之後，可通知服務提供商 第 一視頻內容和第二視頻內容之間的相似性。在第一^L頻內容和第二視頻內 容相似的情況下，可在第二視頻內容上強加廣告或者可對下載第二視頻內容 進行收費。
在內容用戶請求在共享網站上上傳第二視頻內容時，可接收在特徵數據 庫中是否註冊了第二視頻內容的查詢。在第 一視頻內容和第二視頻內容相似 的情況下，共享網站可拒絕上傳第二視頻內容的請求。
在從第 一視頻內容提取第 一特徵以在特徵資料庫中存儲和註冊提取的第
一特徵之前，可實時監控和搜集所述至少一個第一^L頻內容。
在第一視頻內容和第二3見頻內容相似的情況下，可向第二^L頻內容的用 戶提供與第 一視頻內容有關的附加信息。
根據本發明的另一方面， 一種視頻內容的管理系統包括內容搜集部分， 從向內容用戶提供第 一視頻內容的服務提供商搜集第一視頻內容；特徵提取 部分，從由內容搜集部分搜集的第一視頻內容中提取第一特徵；特徵資料庫， 存儲由特徵提取部分提取的第一特徵；查詢接收部分，當在共享網站中共享 第二視頻內容時，從共享網站接收在特徵資料庫中是否註冊了第二視頻內容 的查詢；相似性判斷部分，通過將第二視頻內容的第二特徵與特徵資料庫中 存儲的第 一特徵相比較來判斷第 一視頻內容與第二視頻內容是否相似。
在示例性實施例中，所述查詢接收部分可從共享網站接收第二視頻內容 的至少一部分，所述特徵提取部分可從所接收的第二^L頻內容的至少一部分 中提取第二特徵，並將提取的第二特徵發送到相似性判斷部分。在另一示例 性實施例中，在共享網站中，可提取第二視頻內容的第二特徵並將該第二特 徵發送到查詢接收部分，所述查詢接收部分可將第二^L頻內容的第二特徵發 送到相似性判斷部分。
所述管理系統還可包括查詢響應部分，通知共享網站第一視頻內容和 第二視頻內容之間的相似性。所述管理系統還可包括相似性通知部分，通知服務提供商第一視頻內容和第二視頻內容之間的相似性。
所述管理系統還可包括附加信息資料庫，存儲與多個附加視頻內容有 關的附加信息；附加信息發送部分，在第一視頻內容和第二視頻內容相似的 情況下，向第二視頻內容的用戶提供附加信息中與第 一視頻內容有關的信息。
根據本發明的另一實施例，如下所述提供了 一種管理視頻內容的方法。 首先，從視頻內容的服務提供商接收對向內容用戶提供的至少一個第 一視頻 內容的註冊請求。然後，從第一視頻內容中提取第一特徵以將提取的第一特 徵存儲並註冊在特徵資料庫中。之後，當內容用戶播放第二視頻內容時，接 收與第二視頻內容有關的信息。然後，通過將第二視頻內容的第二特徵與存 儲在特徵資料庫中的第 一特徵相比較來判斷第 一視頻內容與第二視頻內容是 否相似。
在第一視頻內容和第二視頻內容相似的情況下，可提供與第一視頻內容 有關的附加信息。
在示例性實施例中，在判斷第一視頻內容與第二視頻內容是否相似之前， 可從第二視頻內容提取第二特徵。在另一示例性實施例中，所述與第二視頻 內容有關的信息可包括第二視頻內容的第二特徵。
根據本發明，從數字視頻內容的場景提取的場景特徵與另 一視頻內容的 場景特徵相比較從而有效地測量數字視頻內容的相似度。
另外，為了版權保護或其他目的，從需要防止共享的視頻內容中提取特 徵，並將該特徵存儲在資料庫中。因此，當共享視頻內容時，從視頻內容提 取特徵以與保護共享的視頻內容進行比較，並比較保護的視頻內容與共享的 視頻內容是否相同，從而防止保護的視頻內容被非法共享，並預先防止可能 會大量增加的非法內容用戶。
另外，可實時搜集共享被保護的視頻內容，並可獲取和報告共享動作， 從而提供防止共享的安全系統。
另外，可實時地將與內容用戶播放的視頻內容有關的其他視頻內容的信 息另外提供給內容用戶。
因此，可在內容管理和內容傳播中有效地使用本發明。


通過參照附圖對本發明示例性實施例的詳細描述，本發明的上述和其他特徵和優點將會更清楚。
圖1是根據本發明示例性實施例的測量數字視頻內容的相似度的方法的 流程圖。
圖3是示出根據本發明示例性實施例的管理視頻內容的方法的框圖。 圖4是示出根據本發明另一示例性實施例的管理視頻內容的方法的流程圖。
圖5是示出根據本發明另一示例性實施例的管理視頻內容的方法的框圖。
圖6是示出根據本發明示例性實施例的視頻內容的管理系統的框圖。 圖7是示出根據本發明另一示例性實施例的視頻內容的管理系統的框圖。
圖8是根據本發明另 一示例性實施例的視頻內容的管理系統的框圖。
具體實施例方式
下面將參照本發明的示例性實施例在其中示出的附圖來更全面地描述本 發明。然而，可以以多種不同的形式來實施本發明，並且本發明不應該被解 釋為限於這裡闡述的示例性實施例。相反，提供這些示例性實施例以使得本 公開將是徹底和完整的，並向本領域的技術人員全面傳達本發明的範圍。在 附圖中，為了清楚起見，放大了層和區域的大小和相對大小。
應該理解，當部件或層^皮稱作"在"另一部件或層"上"、"連接到"或"結合 到"另一部件或層時，其可直接在所述另一部件或層上、直接連接到或直接結 合到所述的另一部件或層，或者可有中間部件或層。相反，當部件被稱作"直 接在"另 一部件或層"上"或"直接連接到"或"直接結合到"另 一部件或層時，沒 有中間部件或層。相同的標號始終表示相同的部件。如這裡所使用的，術語"和 /或"包括列出的相關項的一項或多項的任何組合或者所有的組合。
應該理解，儘管術語第一、第二、第三等在這裡可被用於描述各種部件、 組件、區域、層和/或部分，但是這些部件、組件、區域、層和/或部分不應該 受這些術語的限制。這些術語只用於區分一個部件、組件、區域、層或部分 與另一區域、層或部分。因此，在不脫離本發明的教導的情況下，下面所討 論的第一部件、組件、區域、層或部分可被命名為第二部件、組件、區域、層或部分。
這裡使用的術語只是為了描述具體示例性實施例的目的，而不意於作為 對本發明的限制。如這裡所使用的，除非有上下文清楚地指示相反的情況， 否則單數形式意在包括複數形式。還應理解當在說明書中使用術語"包括"時， 該術語指定描述的特徵、整體、步驟、操作、部件和/或組件的存在，而並不 排除其他特徵、整體、步驟、操作、部件、組件和/或其組合的存在。
將參照作為本發明的理想化的示例性實施例(和中間結構)的示意性示 圖的代表性示圖來描述本發明的示例性實施例。這樣，可以預料作為例如制 造技術和/或偏差的結果出現示圖在形狀上的各種改變。因此，本發明的示例 性實施例不應該被解釋為限於這裡示出的區域的具體形狀，而是包括例如制 造所導致的形狀上的各種偏差。例如，示出為矩形的插入區域通常將具有圓 形的或者彎曲的特徵，和/或在邊緣其插入量有一定斜度，而非從插入到非插 入區域的二進位的改變。同樣，通過插入形成的掩埋區域可導致在掩埋區域 和發生插入的表面之間的區域中的一些插入。因此，在圖中示出的區域本質 上是示意性的，它們的形狀並不意於示出裝置區域的實際形狀，並且也不意 於限制本發明的範圍。
除非有相反的限定，這裡使用的所有術語(包括科技術語)具有本發明 所屬領域的普通技術人員所公知的相同含義。還應該理解，比如在通用字典 裡限定的那些術語，應該被解釋為其含義與相關技術環境中的含義一致，並 不應該被解釋為理想化的或者過於形式化的意義，除非在這裡有清楚的限定。
下面，將參照附圖來詳細解釋#4居本發明的示例性實施例。 圖1是示出根據本發明示例性實施例的測量數字視頻內容的相似度的方 法的流程圖。
參考圖1，為了測量數字視頻內容的相似度，首先在步驟S110中檢測視
頻內容的場景轉換，以將視頻內容劃分為多個場景。
例如，兩個視頻內容之間有多少場景實質上相同會是測量數字視頻內容 的相似度的一個重要因素。
例如，視頻內容可包括以MPEG-2TS型壓縮的數字視頻內容。在這種情 況下，由於數字^L頻內容以二進位代碼形式被編碼，所以，首先4企測編碼的 數字視頻內容的場景轉換以將視頻內容劃分為多個場景，並對兩個視頻內容 的場景進行兩個視頻內容的場景是否相似、相同的比較。例如，當壓縮的數字視頻內容包括I幀、P幀和B幀時，可通過使用殘 差能量被快速改變的屬性來檢測場景轉換。
另外，當壓縮的數字視頻內容只包括I幀和P幀時，可不管殘差能量，
通過使用下述屬性來才企測場景轉換當在預定的P幀中幀內塊和運動補償塊 (MC塊)的比快速改變時獲得場景轉換。
隨後，在步驟S210中從劃分的場景中提取第一場景特徵。
為了知道劃分的場景中的一個場景與包括在其他—見頻內容中的場景是否 相似，可限定每個場景的場景特徵以通過預定方法用li字表示場景的唯一特 性。因此，在本說明書中的詞語特徵被用作能夠選擇相似場景的選擇因素。 劃分的場景中的任何一個場景被定義為第一場景。
每個第一場景可包括多個第一幀。因此，可通過多個第一幀來確定第一 場景的第一場景特徵。例如，從每個第一幀中提取用作數字選擇因素的第一 幀特徵，可考慮用提取的第一幀特徵形成第一場景特徵。
在示例性實施例中，為了提取第一場景特徵，從第一幀中的每一個中提 取第一幀特徵，然後將從第一幀中提取的第一幀特徵分組，以限定第一場景 的第一場景特徵。
這裡，為了從第一幀中提取第一幀特徵，首先對第一幀的運動向量的角 度做直方圖。幀的直方圖表示總的運動趨勢，可認為與直方圖中的少的角度 對應的運動產生為添加到實際運動中的包括隨機誤差的運動。因此，可從表 示幀的總的運動趨勢中排除與直方圖中的少的角度對應的運動。因此，可按 做成直方圖的角度的幅度的順序選擇預定數量的運動向量，選擇的運動向量 可被定義為第一幀的第一幀特徵。所述預定數量可以為，例如，3至5。如上 所述，對於包括在第一場景中的每個第一幀，從每個第一幀中提取被選為第 一幀特徵的預定數量的數據，對所有第一幀的數據進行分組，從而限定第一場 景的選擇因素，也就是，第一場景特徵。
隨後，在操作S130中，通過將提取的第一場景的第一場景特徵與第二場 景的第二場景特徵相比較來測量相似度。
例如，第二場景可屬於與比較目標對應的數字^L頻內容。第一場景可以 與第二場景進行比較以判斷它們之間的相似性。因此，可通過將數位化的第 一場景的第一場景特徵與數位化的第二場景的第二場景特徵進行比較，來測 量相似度。與第一場景相似，第二場景也可包括多個第二幀，並以實質上與第一場 景特徵相同的方法來才是取第二場景特徵。另外，以實質上與第一幀特徵相同 的方法來從第二幀中提取第二幀特徵。
測量相似度可簡化為測量數位化的第 一場景特徵和數位化的第二場景特 徵之間的距離。
因此，在示例性實施例中，計算第一場景中第一幀的第一幀特徵的平均
值和第二場景中第二幀的第二幀特徵的平均值之間的歐幾裡得(Euclidean)距 離，該歐幾裡得距離可被認為是相似度。
在另一示例性實施例中，計算第一場景中第一幀的每個第一幀特徵和第 二場景中第二幀的每個第二幀特徵之間的歐幾裡得距離的平均值，所述歐幾 裡得距離的平均值可被認為是相似度。
在步驟S110中檢測視頻內容的場景轉換以將視頻內容劃分為多個場景 之前，通過實時地對數字廣播發送的信號編索引來提取特徵，提取的特徵被 存儲在特徵資料庫中，從而實時地將數字廣播中的各種視頻內容的特徵存儲 在資料庫中。第二場景被包括在特徵資料庫中存儲的視頻內容中。
下面，將詳細描述通過^f吏用上述測量^L頻內容相似度的方法來管理-f見頻 內容的方法。
施例中，管理視頻內容中的管理目標內容對應於，例如容易發生版權侵害的 視頻內容。可替換地，不管版權侵害，各種有害的視頻內容、沒有註冊的視 頻內容等可被包括在管理目標內容中。
參照圖2和圖3，為了管理視頻內容，首先，在S210步驟中，內容管理
頻內容進行註冊的請求。
所述第 一視頻內容對應於需要版權保護的目標視頻內容。所述至少一個 第一視頻內容可包括一個或多個視頻內容。服務提供商20可包括，例如，天 波廣播伺服器。可替換地，服務提供商20可包括DMB廣播伺服器、網際網路 廣播伺服器等以及在線音樂伺服器。服務提供商20的請求可被具體地執行， 比如指示具體的視頻內容，但是可簡單地執行。例如，服務提供商20可請求 對從服務提供商20提供的所有視頻內容進行版權保護。在這種情況下，內容管理器IO搜集從服務提供商20提供的所有視頻內容的版權資訊。
隨後，在步驟S220中，內容管理器IO從第一視頻內容中提取第一特徵， 以將提取的第 一特徵存儲並註冊在特徵資料庫中。
服務提供商20可請求多個第一視頻內容的註冊，並且特徵資料庫可存儲 多個第一視頻內容。在從第一視頻內容的視頻流檢測到場景或幀之後，可從 所述場景或幀中提取該第 一特徵。可以以例如二進位代碼的形式對所述第一 特徵進行編碼。特徵資料庫除了存儲從服務提供商20註冊的第一視頻內容的 第一特徵之外，還可存儲從其他服務提供商註冊的視頻內容的特徵。
在內容管理器10從第一視頻內容提取第一特徵以在特徵資料庫中存儲 第 一特徵並註冊第 一特徵之前，所述至少一個第 一視頻內容可被實時地監控 和搜集。例如，當服務提供商20是天波廣播伺服器時，實時收集天波中廣播 的視頻內容，並從搜集的視頻內容中提取第一特徵。
然後，在第二視頻內容在共享網站上被共享時，在步驟S230中，內容管 理器10從共享網站的管理伺服器接收對第二視頻內容是否被註冊在特徵數 據庫中的查詢。
共享網站對應於網際網路網站，管理網際網路網站的共享服務提供商30可包 括，例如，提供比如YouTube或Pandora TV的免費或收費的共享服務的服務 器。可替換地，提供網際網路網站的共享服務提供商30可包括盈利目的和非盈 利目的的個人伺服器。
第一內容用戶40可共享第二視頻內容。第一內容用戶40可通過下載或 者存儲第一視頻內容來獲得第一視頻內容。例如，在服務提供商20包括天波 廣播伺服器的情況下，第一內容用戶40可通過使用記錄裝置(比如錄像帶記 錄器)記錄第一視頻內容來獲得第一視頻內容。在這種情況下，所述視頻內 容包括第一視頻內容，當視頻內容被共享時可侵害所述第一視頻內容的版權。 然後，當特定的第二視頻內容被共享時，可請求對第二視頻內容是否侵害版 權的查詢。
在示例性實施例中，當通過第一內容用戶40向共享網站上傳第二視頻內 容時，執行對第二一見頻內容是否被註冊的查詢請求。可替換地，在向共享網 站上傳了第二視頻內容之後可執行對第二視頻內容是否被註冊的查詢請求。
隨後，通過內容管理器IO從第二視頻內容的至少一部分中提取第二特徵 以判斷第二視頻內容是否屬於在特徵資料庫中註冊的視頻內容。在步驟S240中，將提取的第二特徵與存儲在特徵資料庫中的第一特徵進行比較，並判斷 第 一視頻內容與第二一見頻內容是否相似。
如上所述，當笫二視頻內容包括從服務提供商20提供、被第 一 內容用戶
40下載並存儲或記錄的第一4^L頻內容的至少一部分時，第二^L頻內容可侵害 服務提供商20的版權。
第 一視頻內容和第二視頻內容是否相似的判斷是判斷共享的第二視頻內 容是否侵害版權保護列表中註冊的第一視頻內容的版權的標準。例如，為了 判斷第 一視頻內容與第二視頻內容是否相似，第 一和第二視頻內容之間的相 似度可用百分比表示。因此，例如，在提前確定了參考相似度之後，在相似 度大於參考相似度的情況下，可確定第一視頻內容與第二視頻內容相似。第 一視頻內容和第二視頻內容之間的相似性可包括相同。
視頻內容的服務提供商20和/或共享服務提供商30可知道第 一視頻內容 和第二視頻內容之間的相似性或者相似度。當第二一見頻內容實質上與註冊在 版權保護列表中的第一視頻內容相同或者相似時，內容管理器IO可在服務提 供商20的命令下或者通過服務提供商20發出的命令通過在第二視頻內容上 強加廣告或者對下載第二視頻內容收費來對從共享服務提供商30的共享網 站下載第二視頻內容的第二內容用戶50執行版權保護。為了在第二視頻內容 上強加廣告，例如，可採用插件。另外，根據本發明示例性實施例的管理視 頻內容的方法還可^皮應用到第二內容用戶50。
可替換地，當第二視頻內容侵害了在版權保護列表中註冊的第 一視頻內 容的版權時，共享服務提供商30可拒絕第一內容用戶40上傳第二視頻內容 的請求，或停止上傳第二視頻內容。在已經上傳了第二視頻內容之後，共享 服務提供商30可刪除上傳的第二視頻內容，或者上傳的第二視頻的內容可被 限制共享。
根據上述的管理視頻內容的方法，從為了版權保護或者其他目的而需要 防止共享的視頻內容中提取特徵，並將該特徵存儲在資料庫中。因此，當共 享視頻內容時，從該視頻內容中提取特徵並與保護共享的視頻內容相比較， 判斷保護的視頻內容與共享的視頻內容是否相似，從而防止保護的視頻內容 被非法共享並提前防止可能會大量增加的非法內容用戶。
當第二視頻內容實質上與第一視頻內容相同或相似時，與第一視頻內容 有關的附加信息可被提供給第二內容用戶50。由於第一視頻內容實質上與第二視頻內容相同或相似，可預料到對第二視頻內容感興趣的第二內容用戶50 也對與已經被存儲的第一視頻內容有關的附加信息感興趣。因此，可向第二 內容用戶50提供該附加信息，從而有效地管理一見頻內容。
圖4是示出根據本發明另一示例性實施例的管理視頻內容的方法的流程
圖。圖5是示出根據本發明另一示例性實施例的管理視頻內容的方法的框圖。 參照圖4和圖5，為了管理視頻內容，首先，在步驟S310中，內容管理
頻內容進行註冊的請求。然後，在步驟S320中，內容管理器10從第一視頻 內容中提取第一特徵，並將提取的第一特徵存儲並註冊在特徵資料庫中。步 驟S310和步驟S320實質上與圖2和圖3中示出的步驟S210和S220相同。 因此，將省略任何進一步的描述。在圖4和圖5中，搜集信息可包括搜集版 權信息和搜集內容信息。
隨後，當第二內容用戶50播放第二視頻內容時，在步驟S330中，與第 二視頻內容有關的信息可被發送到第二內容用戶50。通過使用例如插件來在 視頻內容播放器中自動實現所述的發送。
內容管理器10以實質上與圖2和圖3的方法相同的方法來^v第二^L頻內 容提取第二特徵。可替換地，與第二視頻內容有關的信息可包括第二視頻內 容的第二特徵，並且內容管理器10可通過使用發送的第二特徵來判斷相似 性，這將在下面進行描述。
然後，在步驟S340中，將第二視頻內容的第二特徵與存儲在特徵資料庫 中的第一特徵進行比較，並判斷第一視頻內容和第二視頻內容之間的相似度。
判斷相似度之後的處理實質上與圖2和圖3中所示的處理相同。
在第一視頻內容和第二視頻內容相似的情況下，內容管理器IO可提供與 第一視頻內容有關的附加信息。例如，可通過附加信息提供商25來提供附加 信息。附加信息提供商25可以與服務提供商20相同或者不同。
下面，將詳細描述內容管理器IO的管理系統。
圖6是示出根據本發明示例性實施例的視頻內容的管理系統的框圖。參 照圖6,視頻內容管理系統100包括內容搜集部分110、特徵提取部分120、 特徵資料庫130、查詢接收部分140和相似性判斷部分150。
內容搜集部分110從向第 一內容用戶40提供第一視頻內容的服務提供商 20搜集第一視頻內容。特徵提取部分120從由內容搜集部分110搜集的第一視頻內容中提取第
一特徵。
特徵提取部分120提取的第一特徵被存儲在特徵資料庫130中。 當在共享服務提供商30的共享網站中共享第二視頻內容時，查詢接收部 分140從共享網站接收第二視頻內容是否被註冊在特徵資料庫中的查詢。查 詢接收部分140從共享網站接收第二視頻內容的至少一部分。特徵提取部分 120從接收到的第二視頻內容的所述部分中提取第二特徵，並將該第二特徵 發送糹合相似性判斷部分150。
相似性判斷部分150通過將第二視頻內容的第二特徵與存儲在特徵數據 庫130中的第一特徵進行比較來判斷第一視頻內容與第二視頻內容是否相 似。
4見頻內容管理系統100還可包括查詢響應部分160。查詢響應部分160 通知共享網站第一視頻內容和第二視頻內容之間的相似性。基於第一視頻內 容和第二視頻內容之間的相似性的結果，共享網站可採取如上所述的各種動
作，比如拒絕上傳第二視頻內容的請求或停止上傳第二視頻內容、刪除上傳 的第二視頻內容或限制上傳的第二視頻內容的共享等。
視頻內容管理系統100還可包括相似性通知部分170。相似性通知部分 170通知服務提供商20第一視頻內容和第二視頻內容之間的相似性。儘管在 圖6中沒有示出，但是基於相似性的結果，視頻內容管理系統IOO可在第二 視頻內容上強加廣告或者對下載第二視頻內容進行收費。被通知相似性的服 務提供商20也可在第二視頻內容上強加廣告或者對下載第二視頻內容進行 收費。
視頻內容管理系統100還可包括記錄器(logger) 180和日誌資料庫190。 記錄器180存儲相似性的結果，並將該結果發送到日誌資料庫190。日誌數 據庫190通過使用記錄器180除了記錄和存儲第一視頻內容和第二視頻內容 之間的相似性的結果之外，還記錄和存儲第 一視頻內容和上傳到共享網站中 的其他第二視頻內容之間的相似性的結果，並將該結果發送到相似性通知部 分170。相似性通知部分170根據預定標準(例如預定時間間隔或預定數據 量)周期性地通知服務提供商20存儲的結果。
圖7是示出根據本發明另一示例性實施例的視頻內容的管 系統的框 圖。圖7的視頻內容管理系統除了查詢接收部分和特徵提取部分之外實質上與圖6示出的視頻內容管理系統100相同。因此，將省略任何進一步的描述。 參照圖7，視頻內容管理系統102包括內容搜集部分110、特徵提取部分
122、特徵資料庫130、查詢接收部分142和相似性判斷部分150。
當在共享網站中共享第二視頻內容時，查詢接收部分142從共享服務提
供商30接收在特徵資料庫130中是否註冊了第二視頻內容的查詢。共享網站 可具有用於查詢其內部的註冊的模塊。也就是說，共享網站可提取第二視頻 內容的第二特徵，並將提取的第二特徵發送到查詢接收部分142,查詢接收 部分142將第二視頻內容的第二特徵發送到相似性判斷部分150。
共享服務提供商30可獨立地包括實質上與特徵提取部分122相同的特徵 提取部分32，以自己提取第二視頻內容的第二特徵，並且可選擇地包括查詢 產生器34，以將從特徵提取部分32提取的第二特徵和第二^L頻內容發送到 查詢4妄收部分142。
另外，共享服務提供商30還可包括響應接收部分36,所述響應接收部 分36接收從視頻內容管理系統100的查詢響應部分160響應的相似性。
因此，特徵提取部分122從在內容搜集部分110中搜集的第一視頻內容 來提取第一特徵，而不會從第二視頻內容提取第二特徵。
如上所述，-現頻內容管理系統100和102可防止^見頻內容的非法共享， 因此可防止可能會大量增加的非法內容用戶。另外，可通過內容搜集部分IIO 實時搜集共享被保護的視頻內容，並且可通過相似性通知部分170來獲取和 報告共享動作，從而提供一種防止共享的安全系統。
圖8是示出根據本發明另一示例性實施例的視頻內容的管理系統的框 圖。圖8中的視頻內容管理系統除了與附加信息有關的特徵之外實質上與圖 7中示出的視頻內容管理系統102相同。因此，將省略任何進一步的描述。
參照圖8，視頻內容管理系統104還可包括提供附加信息的通知部分210、 附加信息資料庫220、附加信息查詢部分230和附加信息發送部分240。
與圖7不同，例如，第二內容用戶50從共享服務提供商30下載的視頻 內容可在視頻內容播放器中播放。例如，通過插件來從特徵提取部分52提取 第二視頻內容的第二特徵，並且該特徵被發送到查詢產生器54。然後，查詢 產生器54將第二視頻內容的第二特徵發送到查詢接收部分142。
將省略下面的處理中與圖7實質上相同的處理的進一步描述。
附加信息資料庫220可存儲與很多附加^L頻內容有關的附加信息。附加信息可以是附加信息本身，或者是比如用於連結到附加信息的URL的連結信 息。可從附加信息提供商25提前提供這種附加信息，在第二視頻內容實質上 與第一視頻內容相同或者相似的情況下，附加信息提供商25預先命令內容管 理器來向第二內容用戶50提供與存儲在附加信息資料庫220中的附加信息的 第 一視頻內容有關的信息。所述有關的信息被提前存儲在附加信息資料庫220 中。
在第 一視頻內容和第二視頻內容相似的情況下，已經從相似性判斷部分 150接收到相似性結果的查詢響應部分160,向附加信息查詢部分230請求附 加信息的查詢，以提供附加信息。
在附加信息查詢部分230從查詢響應部分160接收到附加信息的查詢請 求之後，附加信息查詢部分230從存儲在附加信息資料庫220中的附加信息 中搜索與第一視頻內容有關的信息，並經過附加信息發送部分240向第二內 容用戶50的附加信息接收部分56提供該有關的信息。
日誌資料庫190除了將相似性的結果發送到相似性通知部分170之外， 還發送到通知部分210。
通知部分210通知附加信息提供商25相似性的結果，因此附加信息提供 商25可知道通過使用提前提供給內容管理器的附加信息資料庫220來將附加 信息提供給第二內容用戶50。附加信息提供商25可以與視頻內容20相同或 者不同。
根據視頻管理系統104,可實時向內容用戶提供與內容用戶播放的視頻 內容有關的其他視頻內容的信息。
上面的描述用於解釋本發明，並不應該被解釋為限制本發明。儘管已經 描述了本發明的幾個示例性實施例，但是本領域的技術人員應該理解，在本 質上不脫離本發明的新穎性教導和優點的情況下，可對示例性實施例進行很 多改變。因此，所有的這種修改可意於包括在由權利要求限定的本發明的範 圍內。在權利要求中，裝置加功能的句子意於涵蓋這裡描述的執行所述功能 的結構，它不僅是結構的等同物而且還是等同的結構。因此，應該理解，上 面的描述是解釋本發明，而不應被解釋為限於公開的具體示例性實施例，對 公開的示例性實施例的修改以及其他示例性實施例意於包括在權利要求的範 圍中。本發明由權利要求及其等同物限定。
權利要求
1、一種測量數字內容的相似度的方法，包括檢測視頻內容的場景轉換以將視頻內容劃分為多個場景；從劃分的場景的第一場景中提取第一場景特徵；通過將提取的第一場景的第一場景特徵與第二場景的第二場景特徵相比較來測量相似度。
2、 如權利要求l所述的方法，其中，第一場景包括多個第一幀，所述提 取第 一場景特徵的步驟包括從每個第一幀中提取第一幀特徵；和對從第 一幀中提取的第 一幀特徵進行分組以限定第 一場景的第 一場景特徵，其中，第二場景包括多個第二幀，所述提取第二場景特徵的步驟包括 從每個第二幀中提取第二幀特徵；和對從第二幀中提取的第二幀特徵進行分組以限定第二場景的第二場景特徵。
3、 如權利要求2所述的方法，其中，從第一幀中提取第一幀特徵的步驟 包括對第一幀的運動向量的角度^:直方圖；按做成直方圖的角度的幅度的順序來選擇預定數量的運動向量以限定第 一幀的第一幀特徵，其中，從第二幀中提取第二幀特徵的步驟包括 對第二幀的運動向量的角度做直方圖；和按做成直方圖的角度的幅度的順序選擇預定數量的運動向量以限定第二 幀的第二幀特^E。
4、 如權利要求3所述的方法，其中，通過計算第一場景中第一幀的第一 幀特徵的平均值和第二場景中第二幀的第二幀特徵的平均值之間的歐幾裡得 距離來測量相似度。
5、 如權利要求3所述的方法，其中，通過計算第一場景中第一幀的每個 第一幀特徵和第二場景中第二幀的每個第二幀特徵之間的歐幾裡得距離的平 均值來測量相似度。
6、 如權利要求1所述的方法，在檢測視頻內容的場景轉換以將視頻內容劃分為多個場景之前，還包括通過實時地對經過數字廣播發送的信號編索引來提取特徵，並將提取的 特徵存儲在特徵資料庫中，其中，第二場景包括在特徵資料庫中存儲的視頻內容中。
7、 一種管理^L頻內容的方法，包括從視頻內容的服務提供商接收對向內容用戶提供的至少一個第一視頻內 容的註冊請求；從第 一視頻內容中提取第 一特徵以將提取的第 一特徵存儲並註冊在特徵 資料庫中； 當在共享網站上共享第二視頻內容時，從共享網站接收在特徵資料庫中 是否註冊了第二視頻內容的查詢；從第二視頻內容的至少一部分中提取第二特徵，並通過將提取的第二特 徵與存儲在特徵資料庫中的第 一特徵相比較來判斷第 一視頻內容與第二視頻 內容是否相似。
8、 如權利要求7所述的方法，其中，分別從第一和第二一見頻內容的第一 和第二場景或第 一和第二幀中提取第 一和第二特徵。
9、 如權利要求7所述的方法，在判斷第一視頻內容和第二視頻內容是否 相似之後，還包括 通知服務提供商第 一視頻內容和第二視頻內容之間的相似性。
10、 如權利要求7所述的方法，在判斷第一視頻內容和第二視頻內容是 否相似之後，在第一一見頻內容和第二3見頻內容相似的情況下，還包括在第二視頻內容上強加廣告或者對下載第二視頻內容進行收費。
11、 如權利要求7所述的方法，其中，在內容用戶請求在共享網站上上 傳第二視頻內容時，接收在特徵資料庫中是否註冊了笫二視頻內容的查詢， 並在第 一視頻內容和第二視頻內容相似的情況下，共享網站拒絕上傳第二視 頻內容的請求。
12、 如權利要求7所述的方法，在從第一視頻內容提取第一特徵以在特 徵資料庫中存儲和註冊提取的第一特徵之前，實時監控和搜集所述至少一個 第一視頻內容。
13、 如權利要求7所述的方法，在判斷了第一視頻內容和第二視頻內容是否相似之後，在第一視頻內容和第二視頻內容相似的情況下，還包括 向第二視頻內容的用戶提供與第 一視頻內容有關的附加信息。
14、 一種^L頻內容的管理系統，包括內容搜集部分，從向內容用戶提供第一視頻內容的服務提供商搜集第一 視頻內容；特徵提取部分，從由內容搜集部分搜集的第一視頻內容中提取第一特徵；特徵資料庫，存儲由特徵提取部分提取的第一特徵；查詢接收部分，當在共享網站中共享第二視頻內容時，從共享網站接收 在特徵資料庫中是否註冊了第二視頻內容的查詢；相似性判斷部分，通過將第二視頻內容的第二特徵與特徵資料庫中存儲 的第 一特徵相比較來判斷第 一視頻內容與第二視頻內容是否相似。
15、 如權利要求14所述的管理系統，其中，所述查詢接收部分從共享網 站接收第二視頻內容的至少一部分，所述特徵提取部分從所接收的第二視頻 內容的至少一部分中提取第二特徵，並將提取的第二特徵發送到相似性判斷 部分。
16、 如權利要求14所述的管理系統，其中，在共享網站中，提取第二視 頻內容的第二特徵並將該第二特徵發送到查詢接收部分，所述查詢接收部分 將第二視頻內容的第二特徵發送到相似性判斷部分。
17、 如權利要求14所述的管理系統，還包括查詢響應部分，通知共享 網站第 一視頻內容和第二浮見頻內容之間的相似性。
18、 如權利要求14所述的管理系統，還包括相似性通知部分，通知服 務提供商第一一見頻內容和第二視頻內容之間的相似性。
19、 如權利要求14所述的管理系統，還包括附加信息資料庫，存儲與多個附加視頻內容有關的附加信息； 附加信息發送部分，在第一視頻內容和第二視頻內容相似的情況下，向 第二視頻內容的用戶提供附加信息中與第 一視頻內容有關的信息。
20、 一種管理^L頻內容的方法，包括容的註冊請求；從第 一視頻內容中提取第 一特徵以將提取的第 一特徵存儲並註冊在特徵 資料庫中；當內容用戶播放第二視頻內容時，接收與第二視頻內容有關的信息； 通過將第二視頻內容的第二特徵與存儲在特徵^t據庫中的第 一特4正相比 較來判斷第 一視頻內容與第二視頻內容是否相似。
21、 如權利要求20所述的方法，在判斷第一視頻內容和第二視頻內容是 否相似之後，在第一視頻內容和第二視頻內容相似的情況下，提供與第一視 頻內容有關的附加信息。
22、 如權利要求20所述的方法，在判斷第一視頻內容與第二視頻內容是 否相似之前，從第二視頻內容提取第二特徵。
23、 如權利要求20所述的方法，其中，所述與第二^L頻內容有關的信息 包括第二視頻內容的第二特徵。
全文摘要
提供了一種測量視頻內容相似度的方法、管理視頻內容的方法及系統。下面提供了一種測量數字視頻內容的相似性的方法。首先，檢測視頻內容的場景轉換以將視頻內容劃分多個場景。然後，從劃分的場景的第一場景中提取第一場景特徵。之後，通過將第一場景的第一場景特徵與第二場景的第二場景特徵相比較來測量相似度。因此，可有效地測量數字視頻內容的相似度，從而防止數字視頻內容被非法共享，並在播放數字視頻內容時提供與數字視頻內容有關的附加內容信息。因此，所述方法可被有效地用於內容管理和內容傳播。
文檔編號G06Q50/00GK101676914SQ20091017385
公開日2010年3月24日 申請日期2009年9月16日 優先權日2008年9月16日
發明者嚴垣錫, 沈相奎 申請人:Widi實驗室