基於多模態信息融合與圖聚類的跨媒體話題檢測方法、裝置製造方法
2023-05-03 21:25:16
基於多模態信息融合與圖聚類的跨媒體話題檢測方法、裝置製造方法
【專利摘要】本發明公開了一種基於多模態信息融合與圖聚類的跨媒體話題檢測方法、裝置，其中該方法包括：步驟一，進行文本信息、視頻內容預處理；步驟二，進行文本融合及高層特徵提取，獲取文本信息相似度；步驟三，進行視頻相似片段檢測，獲取視覺信息相似度；步驟四，根據文本信息相似度、視覺信息相似度並融合數據的時間信息計算最終數據相似度；步驟五，根據最終數據相似度進行圖融合、圖聚類，完成話題檢測。該方法有效避免了對時間軸的硬量化帶來的過分割與過生成的問題以及現有話題檢測方法無法移植到來自不同媒體源的多模態數據的話題檢測問題。
【專利說明】基於多模態信息融合與圖聚類的跨媒體話題檢測方法、裝
【技術領域】
[0001]本發明涉及多媒體數據中的話題檢測技術，特別是涉及一種基於多模態信息融合與圖聚類的跨媒體話題檢測方法。
【背景技術】
[0002]社交網絡與社交媒體的快速發展，以及在社交網絡和社交媒體上面數據的高速傳播，使得從網絡數據中進行話題檢測成為信息處理領域的研究熱點之一。合理有效的按照話題組織網絡數據，一方面可以方便用戶瀏覽網絡數據，提高用戶體驗，使他們能更快更準確的找到想要了解的社會現實話題，另一方面有利於網絡管理員與政府相關部門進行信息管理。
[0003]目前，大多數進行話題檢測的方法，按照研究對象大體可分為三類:
[0004](I).只關注來自單一媒體源的具有多種模態信息的多媒體數據，如網絡視頻。
[0005](2).只關注來自單一媒體源的單一模態的數據，如只關注新聞文本或微博數據。
[0006](3).關注來自不同媒體源的特定模態的數據，如只關注新聞文本和微博數據。
[0007]但在實際網絡數據中，來自不同媒體源的多種模態數據往往共生存在。而且單一媒體源的信息容量、接受群體有限，單一媒體源的數據往往無法很好的體現社會現實話題。來自不同媒體源的不同模態的數據包含更加豐富多樣的信息，具有一定程度的互補性，可以為話題提供更加全面的描述。
[0008]但是，不同數據源之間具有多種模態信息的數據，數據與數據之間具有各種各樣的關聯性，如數據各種模態信息的相似性、數據產生時間等，而且這種關聯性具有多對多的結構。不同媒體數據源包含多種數據模態，但是不是所有的數據源的數據都含有所有潛在的數據模態(數據不完整性)，比如，新聞文本可能只包含文本信息，個別視頻沒有周邊文本信息。而且，不同媒體源的數據同一模態的信息特點差異也很大(數據不整齊性)，如，信息容量、數據量化後的維度、信噪比等多個層面。這樣的數據不完整性與不整齊性，必然會影響數據表示，進而影響話題檢測效果。
[0009]在現有進行話題檢測的方法中並沒有提供很好的解決數據不完整性與不整齊性的思路。同時，現有方法往往按照某種規則劃分時間片段，對每個時間段內數據分別進行無監督聚類，然後根據內容相似性對不同時間段內所得的聚類結果進行連接得到話題，如圖1所示。這種解決思路在執行過程中存在著話題過分割(劃分時間片段導致，話題具有時間連續性)與過生成(不同時間段內結果進行連接導致)之間的折中問題，以及對噪聲敏感(往往由聚類方法引起)的問題。因此需要採取一種對時間進行軟量化然後直接融入數據相似度計算的思路，以有效避免硬量化帶來過分割與過生成的問題。對於噪聲敏感問題，主要是由於聚類方法的選取引起的，現有用於話題檢測的聚類方法往往對噪聲不魯棒，從而導致整個話題檢測系統對於噪聲較為敏感。而且現有話題檢測方法無法移植到來自不同媒體源的多模態數據的話題檢測問題上。
【發明內容】
[0010]本發明所要解決的技術問題在於提供一種基於多模態信息融合與圖聚類的跨媒體話題檢測方法及其裝置，用於有效避免對時間軸的硬量化帶來的過分割與過生成的問題以及現有話題檢測方法無法移植到來自不同媒體源的多模態數據的話題檢測問題。
[0011]為了實現上述目的，本發明提供了一種基於多模態信息融合與圖聚類的跨媒體話題檢測方法，其特徵在於，包括:
[0012]步驟一，進行文本信息、視頻內容預處理；
[0013]步驟二，進行文本融合及高層特徵提取，獲取文本信息相似度；
[0014]步驟三，進行視頻相似片段檢測，獲取視覺信息相似度；
[0015]步驟四，根據文本信息相似度、視覺信息相似度並融合數據的時間信息計算最終數據相似度；
[0016]步驟五，根據最終數據相似度進行圖融合、圖聚類，完成話題檢測。
[0017]所述的跨媒體話題檢測方法，其中，所述步驟二中，包括:利用餘弦距離計算兩個數據點間的文本信息相似度，公式如下:
【權利要求】
1.一種基於多模態信息融合與圖聚類的跨媒體話題檢測方法，其特徵在於，包括: 步驟一，進行文本信息、視頻內容預處理； 步驟二，進行文本融合及高層特徵提取，獲取文本信息相似度； 步驟三，進行視頻相似片段檢測，獲取視覺信息相似度； 步驟四，根據文本信息相似度、視覺信息相似度並融合數據的時間信息計算最終數據相似度； 步驟五，根據最終數據相似度進行圖融合、圖聚類，完成話題檢測。
2.根據權利要求1所述的跨媒體話題檢測方法，其特徵在於，所述步驟二中，包括:利用餘弦距離計算兩個數據點間的文本信息相似度，公式如下:
Sim1ii = cos ine{d\ ,d]) 其中: Sim/表示第i個數據和第j個數據在文本層面的文本信息相似度； <表示第i個數據的文本高層特徵； <表示第j個數據的文 本高層特徵。
3.根據權利要求1或2所述的跨媒體話題檢測方法，其特徵在於，所述步驟三中，包括:將視頻信息相似度定義為視頻重複關鍵幀的數目；
Sim^.二# NDK(J1J) 其中: Sim/衰示第i個數據與第j個數據在視覺信息層面的視覺信息相似度； #NDK(i, j)表示第i個數據的視頻與第j個數據的視頻重複關鍵幀的數目。
4.根據權利要求3所述的跨媒體話題檢測方法，其特徵在於，所述步驟四中，包括:採用Jaccard相似度計算兩個數據點k近鄰的數據集的相似度作為兩個節點的實際相似度:
TVf⑷η聯)
iJ — ivf ㈨ Uiv;W.jV _ N^imNrj {k)
iJ — Nj(mN]{k) 其中: N；r(k)表示第i個節點文本信息相似度排名最高的k個數據點集合，不包含i節點本身； N/(k斷'第j個節點文本信息相似度排名最高的k個數據點集合，不包含j節點本身； Ok)衰示第i個節點視覺信息相似度排名最高的k個數據點集合，不包含i節點本身；Nf (k)轟示第j個節點視覺信息相似度排名最高的k個數據點集合，不包含j節點本身；
表示第i個節點和第j個節點在文本信息層面的Jaccard相似度； Jj表示第i個節點和第j個節點在視覺信息層面的Jaccard相似度。
5.根據權利要求4所述的跨媒體話題檢測方法，其特徵在於，所述步驟四中，包括:對數據進行時序約束:
6.根據權利要求5所述的跨媒體話題檢測方法，其特徵在於，所述步驟五中，包括:獲取不同模態信息圖的邊權重:
v^ ij ~ aij.H =Oy-Jl 其中: <為第i個數據與第j個數據在文本模態信息相關圖上的邊權重； V ^第i個數據與第j個數據在視覺模態信息相關圖上的邊權重。
7.一種基於多模態信息融合與圖聚類的跨媒體話題檢測裝置，其特徵在於，包括: 預處理模塊，用於進行文本信息、視頻內容預處理； 融合提取模塊，連接預處理模塊，用於進行文本融合及高層特徵提取，獲取文本信息相似度； 第一相似度計算模塊，連接預處理模塊，用於進行視頻相似片段檢測，獲取視覺信息相似度； 第二相似度計算模塊，連接融合提取模塊、第一相似度計算模塊，用於根據文本信息相似度、視覺信息相似度並融合數據的時間信息計算最終數據相似度； 融合聚類模塊，連接第二相似度計算模塊，用於根據最終數據相似度進行圖融合、圖聚類，完成話題檢測。
8.根據權利要求7所述的跨媒體話題檢測裝置，其特徵在於，所述融合提取模塊利用餘弦距離計算兩個數據點間的文本相似度，公式如下:
Sim1ij = Cosineid1j ,cf:) 其中: Sim/表示第i個數據和第j個數據在文本層面的文本信息相似度；<表示第i個數據的文本高層特徵； <表示第j個數據的文本高層特徵。
9.根據權利要求7或8所述的跨媒體話題檢測裝置，其特徵在於，所述第一相似度計算模塊將視頻信息相似度定義為視頻重複關鍵幀的數目；
Sim〉=#NDK(i,j) 其中: Sim/表示第i個數據與第j個數據在視覺信息層面的相似度； #NDK(i, j)表示第i個數據的視頻與第j個數據的視頻重複關鍵幀的數目。
10.根據權利要求9所述的跨媒體話題檢測裝置，其特徵在於，所述第二相似度計算模塊採用Jaccard相似度計算兩個數據點k近鄰的數據集的相似度作為兩個節點的實際相似度:
11.根據權利要求10所述的跨媒體話題檢測裝置，其特徵在於，所述第二相似度計算模塊對數據進行時序約束:
12.根據權利要求11所述的跨媒體話題檢測裝置，其特徵在於，所述融合聚類模塊獲取不同模態信息圖的邊權重:
wij = aIj.Jy
^ij =aIj-jI
其中: <為第i個數據與第j個數據在文本模態信息相關圖上的邊權重； <是第i個數據與第j個數 據在視覺模態信息相關圖上的邊權重。
【文檔編號】G06K9/00GK103995804SQ201410203087
【公開日】2014年8月20日 申請日期:2014年5月14日 優先權日:2013年5月20日
【發明者】黃慶明, 張豔雁, 褚令洋, 李國榮, 王樹徽, 張維剛 申請人:中國科學院計算技術研究所