一種基於多模態信息的自動化結果生成方法與流程

2023-05-30 21:32:41 1

本發明涉及網絡信息交互領域，尤其涉及一種基於多模態信息的自動化結果生成方法。

背景技術：

我們生活在網絡和社會信息的洪流中，龐大的信息量提供了大量實時新聞。隨著社會網絡的發展，越來越多的人開始上傳圖片或評論到不同的社交平臺上，並從社交網絡中獲取信息。社交媒體為人們的生活提供了很多便利，如旅行建議、場地主題提取、目標推薦、事件檢測等等。然而，用戶原創內容中由於包含大量的視覺和文本信息噪聲，很難為其他用戶提供有用的信息或結果。

近年來，現有技術中已提出很多方法來解決此問題：

1、一種基於官方網站新聞的事件檢測方法，可以有效地用於廣播新聞報導[1]；

2、一個新的框架，以社交網絡平臺提供的旅遊信息為基礎，為用戶推薦相關旅遊信息，大大豐富用戶的選擇範圍[2]；

3、利用圖聚類方法收集大規模多模態信息，尋找信息檢索的潛在主題[3]。

然而，上述方法只能用於用戶有針對地查詢的情況。當查詢不明確時，很難向用戶提出一些有用信息。例如，當折扣信息出現在網站中時，用戶只想獲取自己感興趣的目標信息。

技術實現要素：

本發明提供了一種基於多模態信息的自動化結果生成方法，本發明實現了利用在不同模態和不同社交網絡上的多媒體數據自動生成相關結果，詳見下文描述：

一種基於多模態信息的自動化結果生成方法，所述自動化結果生成方法包括：

對文本信息進行預處理，對預處理後的文本信息生成潛在的文本主題，作為文本主題集；

採用基於部分檢測模型對視覺信息進行處理，獲取預處理後的事件圖片集；

根據文本主題集、預處理後的事件圖片集生成多模態圖，將分類後的多模態圖作為稠密子圖，將稠密子圖的局部最大值作為一個主題，進行多模態主題的提取。

其中，所述基於部分檢測模型具體為：

由pascal資料庫、與harr人臉檢測模型組成。

其中，所述多模態圖具體為：

g＝(v,e,w)

其中，g表示多模態圖的結構，v＝{v1,...,vn}表示頂點集，表示邊的集合，w＝y(e)表示每條邊的權重，代表點與點的相似度，y(e)為權重函數；每個點v可以是文本主題或事件圖片集。

其中，所述將稠密子圖的局部最大值作為一個主題具體為：

通過拉格朗日函數的優化、以及karush-kuhn-tucker條件，獲取稠密子圖的局部最大值。

本發明提供的技術方案的有益效果是：

1、提出了一個有效的自動化結果生成框架，可以有效地從官方網站檢測流行事件，並通過多模態社交網絡數據來突出流行事件，為用戶生成最終的結果；

2、利用圖聚類算法對圖結構進行聚類，從而得到一系列的子圖結構，提取多模態的話題模型，根據不同主題生成最終結果；且通過相應的實驗驗證了方法的實用性。

附圖說明

圖1為一種基於多模態信息的自動化結果生成方法的流程圖；

圖2為生成報導的平均滿意度。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面對本發明實施方式作進一步地詳細描述。

實施例1

一種基於多模態信息的自動化結果生成方法，參見圖1，該自動化結果生成方法包括：

101：對文本信息進行預處理，對預處理後的文本信息生成潛在的文本主題，作為文本主題集；

102：採用基於部分檢測模型對視覺信息進行處理，獲取預處理後的事件圖片集；

103：根據文本主題集、預處理後的事件圖片集生成多模態圖，將分類後的多模態圖作為稠密子圖，將稠密子圖的局部最大值作為一個主題，進行多模態主題的提取。

綜上所述，本發明實施例通過上述步驟101-步驟103實現了利用修改後的圖聚類方法，提取多模態的話題模型，根據不同主題生成最終結果，滿足了實際應用中的多種需要。

實施例2

下面結合具體的計算公式，對實施例1提出的一種基於多模態信息的自動化結果生成方法做出詳細說明，詳見下文描述：

201：對文本信息進行預處理，對預處理後的文本信息生成潛在的文本主題，作為文本主題集；

其中，對文本信息的處理包括：濾除不相關的推特信息、濾除所有冗餘單詞、移除諸如網頁和郵件地址等連結，同時收集在其他網站上關於相關事件的數據。

將同一事件的文本數據統一看作一個文檔文件。利用三層貝葉斯概率模型lda(latentdirichletallocation)，為每一個事件生成一系列潛在文本主題t＝{t1,t2,...,tn}，每個文本主題用tn表示，n的取值為正整數，為文本主題tn中第j個單詞。

202：採用基於部分檢測模型對視覺信息進行處理，獲取預處理後的事件圖片集；

與文本信息類似，根據不同事件，用戶上傳的圖片相關性也會不同[4][5]。不同的用戶有不同的習慣和興趣。表示不同事件的圖片之間關聯性低。通過觀察發現，含有人的圖像與事件的相關性程度較低[6]。人佔圖像的面積越大，圖像的相關性就越低。為了消除相關性低的圖像，採用基於部分檢測模型dpm(part-baseddetectionmodel)檢測傳統對象[7]如人臉和人，即包括：

1、在本發明實施例中採用pascal(patternanalysis,staticalmodelingandcomputationallearning，模式分析，統計建模，計算學習)資料庫訓練人體檢測模型；

若人佔圖像的面積超過45％，就會刪除該張圖片。通過統計實驗得到，將閾值設為45％最為合理。

2、移除人臉圖像，採用經典的harr人臉檢測模型，將過濾閾值設置為45％。

即，本發明實施例通過pascal資料庫、與harr人臉檢測模型組成的基於部分檢測模型，對圖片進行處理，獲取預處理後的事件圖片集。

其中，本發明實施例對上述的檢測模型、資料庫、以及設定的閾值等不做限制，可以根據實際應用中需要進行組合，或參數的設定，只要能實現上述功能的方法、參數均可。

203：根據文本主題集、預處理後的事件圖片集生成多模態圖，將分類後的多模態圖作為稠密子圖，將稠密子圖的局部最大值作為一個主題，進行多模態主題的提取。

給定一個地理區域，t＝{t1,...,tn}表示文本主題集，p＝{p1,...,pn}分別表示事件圖片集。通過建立一個多模態圖來表示多媒體文件之間的關係。每個多媒體文件，包括文本主題和圖像，用圖像裡的一個節點來表示。因此，在多模態圖結構中有兩類頂點：

g＝(v,e,w)

其中，g表示多模態圖結構，v＝{v1,...,vn}表示頂點集，表示邊的集合，w＝y(e)表示每條邊的權重，代表點與點的相似度，y(e)為權重函數。

每個點v可以是文本主題ti或圖片集pj。邊代表點與點之間的關係，邊權重反映了一對相鄰頂點之間的相似度。將多模態圖g相對應的加權相似度矩陣表示為a∈rn×n，rn×n為n×n的實數域矩陣。

多模態圖構建後，對構建的多模態圖進行分類，將多模態圖g分類之後的子圖作為稠密子圖，可以將稠密子圖作為一個語義主題。為了檢測稠密子圖，將採用擴展圖移位的成對聚類方法[8]。然而，圖像尺度不變特徵轉換方法(gs)假設節點具有相同的模態，不能保證子圖中含有不同類型的節點。因此，將圖移位的成對聚類方法擴展到不同媒體類型節點的處理上。每個局部最大值表示多模態圖的一個稠密子圖，被定義為一個主題：

g(x)＝xtax

其中，a是相似度矩陣，概率集群x∈δn表示分類後的子類，將概率集群x用向量表示。

其中，δn＝{x|x∈rn,x≥0,|x|1＝1}，rn為n維向量，|x|1為x的1-範數。

實際上，x是單位映射向量，用於表示子圖包含的每個頂點的概率。特別地，xi＝0表示不包含在該子類中的第i個頂點。gs方法通過g(x)測量子圖x*的平均連接強度，找到分類後分值最大的g(x)。

上述gs成功將一個標準的二次優化問題轉換為子圖檢測問題，並提出鄰域展開法，將子圖模式的支持擴展到鄰域，以解決這個二次規劃問題。發現稠密子圖與g(x)的最大值是相等的，此時∑xi＝1,xi≥ci。其中i＝2,...n時，ci＝0。c1被設為一個正數，這樣稠密子圖才能總是包括主題節點。

本發明實施例的目標是要找到包含一個文本主題及其相應視覺信息的稠密子圖，每次只考慮一個主題節點和所有的圖片節點。下面給出一個約束的優化問題，得到拉格朗日函數：

其中，用x1表示主題節點，因此，c1被設為一個正數，且當i＝2,...n時，ci＝0。這樣稠密子圖才能總是包括主題節點λ，αi為拉格朗日乘數。

任何局部最大值x*都必須滿足karush-kuhn-tucker(kkt)條件。如下：

其中

綜上所述，本發明實施例通過上述步驟201-步驟203實現了可以有效地從官方網站檢測流行事件，並通過多模態社交網絡數據來突出流行事件，為用戶生成最終的結果。

實施例3

下面結合圖2，以及實驗數據對實施例1和2中的方案進行可行性驗證，詳見下文描述：

本實驗選取了6個可信任且有影響力的網站，包括straitstimes，todayonline，channelnewsasia，landtransportauthority,therealsingapore,和asiaone構建資料庫。利用豐富站點摘要rss(richsitesummary)技術收集在新加坡發生的新聞文章。使用新聞爬蟲工具，每一小時爬一次。共計爬了7700條新聞並以json格式儲存在mongodb資料庫，時間是從2015年2月24日到2015年5月30日。也使用twitter流api(applicationprogramminginterface)爬了地理標記的推特信息，時間是從2014年10月30日至2015年5月15日，地理位置坐標範圍為[103.600333，1.199395，104.087852，1.476724]，因為新加坡位於此範圍內。此外，對不位於新加坡的推特信息進行過濾，通過使用新加坡地域多邊形，共收集了1396745個推特信息。

為了評估本方法的性能，選取20個用戶為一組，採用如下的三個評判標準：

(1)每一事件的多媒體報導的一致性水平；

(2)每一事件的多媒體報導的完整程度；

(3)多媒體報導的滿意度。

本方法邀請了20人參加該次測試，評估結果如圖2所示。一般來說，本方法生成的報告基本能夠滿足用戶的需求。

從文章中提取的關鍵詞作為新聞twitter的共享信息，並使用此信息查詢在twitter的資料庫搜索相關的推特信息。

該數字表明，密集度最高的地方在新加坡的cbd周圍，假設為「妝藝」的位置。此處同樣也是最擁擠的位置，很多人聚集在此參加活動。這與報導該事件的新聞網站所檢測到的新聞是一致的，但它提供了更詳細的信息，包括在事件中人們的興趣分布情況。

總之，該實驗表明，通過聚類和融合社會數據的方法，從新聞中偵測該事件，不僅可以找到人們感興趣的事件在整個新加坡是如何分布的，也涵蓋了人們對於該事件的評論。本方法提供了一個非官方報導的標準新聞文章，滿足時效性和新奇性。

本領域技術人員可以理解附圖只是一個優選實施例的示意圖，上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。

以上所述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。

參考文獻

[1]xiel,sundaramh,campbellm(2008)eventmininginmultimediastreams.procieee96(4):623–647

[2]huat,chenf,zhaol,luct,ramakrishnann(2013)sted:semi-supervisedtargeted-interesteventdetectionintwitter.in:proceedingsofthe19thacmsigkddinternationalconferenceonknowledgediscoveryanddatamining,pp1466–1469

[3]niew,wangx,zhaoyl,gaoy,suy,chuats(2013)venuesemantics:multimediatopicmodelingofsocialmediacontents.in:pacific-rimconferenceonadvancesinmultimediainformationprocessingpcm,pp574–585

[4]aggarwalcc,zhaicx(2012)asurveyoftextclusteringalgorithms.springer,us

[5]liua-a,suy-t,jiap-p,gaoz,haot,yangz-x(2015)multipe/single-viewhumanactionrecognitionviapart-inducedmultitaskstructurallearning.ieeetranscybern45(6):1194–1208

[6]wengj,leebs(2011)eventdetectionintwitter.in:internationalconferenceonweblogsandsocialmedia,barcelona,cataloniaspain,pp311–312

[7]zhangy,lig,chul,wangs(2013)cross-mediatopicdetection:amultimodalityfusionframework.in:ieeeinternationalconferenceonmultimedia&expo,pp1–6

[8]beckerh,dani,naamanm,gravanol(2015)identifyingcontentforplannedeventsacrosssocialmediasites.ph.d.dissertation,us

[9]larivireb,joostenh,malthouseec,birgelenmv,aksoyp,kunzwh,mhhuang(2013)valuefusion:theblendingofconsumerandfirmvalueinthedistinctcontextofmobiletechnologiesandsocialmedia.jservmanag24(3):268–293