一種基於監測子網的微博熱點事件實時檢測方法及系統的製作方法

2023-06-10 01:52:51

專利名稱：一種基於監測子網的微博熱點事件實時檢測方法及系統的製作方法
技術領域：
本發明涉及一種社交網絡領域，具體地說，涉及的是一種在微博平臺上進行熱點事件實時檢測的方法及系統。
背景技術：
在Web2.0時代，社交網絡日益成為人們網絡生活的重要組成部分。微博作為一種通過關注機制分享簡簡訊息的廣播式的新型社交網絡平臺，它具有操作簡單、互動性強等特點。隨著2009年新浪微博的上線，騰訊、搜狐、網易國內四大微博網站以迅猛之勢進入中文上網主流人群視野。中國網際網路信息中心(CNNIC)發布了《第28次中國網際網路發展狀況統計報告》顯示，2011年底微博用戶數量增長迅猛，已經從6311萬增長到1.95億，微博月度覆蓋人數已超博客等其它社交網絡，成為社會化媒體中最重要的組成之一；月度瀏覽時長已超新聞資訊大類服務，成為主流信息資訊平臺之一。由中國人民大學輿論研究所與百度合作完成的《中國社會輿情年度報告(2012)》藍皮書集中呈現了 2011年中國社會發展現狀及熱點問題。藍皮書顯示，在網民數量攀升與權利意識提高、熱點話題層出不窮、「全民發聲」、「圍觀結構」的網際網路背景下，中國社會輿情呈現出複雜的變化趨勢。2011全年具有社會影響力的網絡熱點事件總計349個，2010年為274個，2009年僅有248個，社會輿情指數不斷攀升。輿情報告統計 數據同樣表明2011年發生的輿情事件中，微博是第一大信息源，從單純的社交工具到輿論監督利器，微博已經完成了角色變換，正成為社會輿論熱點的主要策源地，全面參與並影響著現實世界。微博在熱點事件的發生到推動整個過程中起到非常關鍵的作用，如果能在熱點事件發生的初期就檢測出來，將能夠給相關部門或企業爭取時間，對事件發展進行合理引導和及時採取相應的對策。因此為了避免熱點事件由於處理不當或者反應過慢可能帶來的巨大經濟損失和不良的社會後果，對熱點事件的及時準確的檢測非常必要，具有重大的社會意義。現有的熱點事件檢測一般採用分時間段採集所有微博，提取微博關鍵詞構建特徵向量，通過相似度比較統計所有話題相關的微博，然後根據參與話題的人數多少進行事件是否是熱點的判斷。目前大部分研究集中在如何對海量微博進行快速搜索，怎樣提高微博內容語義識別以及話題相似度判斷等。這些研究和方法可以在一定程度上提高熱點事件檢測系統的性能，但是由於微博以及熱點事件的獨特性，目前的熱點事件檢測方法和系統面臨下面問題的挑戰: 微博數據量巨大，對處理速度要求極高:截止到2012年2月，Twitter用戶已超5億，活躍用戶超一億，每天新微博的發布數量達到2.5億，相當於每分鐘17.5萬條；新浪微博用戶突破3億，每天活躍用戶3000萬左右，每天微博數接近一億條；騰訊微博用戶突破4億，每天微博數量也是非常巨大。直接監測和處理微博網絡上的所有微博，處理速度是瓶頸，代價非常大。 微博內容短關鍵詞少話題合併準確率低:通過少量微博關鍵詞搜索話題和合併，會導致大量跟話題無關的噪聲微博被合併。比如話題一般都由多個關鍵詞組成，很多無關的微博卻只是因為包含某個關鍵詞也被加入到話題中，而且有很多垃圾微博推送者經常在微博中使用常用的關鍵詞進行推廣，幹擾了熱點事件的判斷。鑑於以上分析，傳統的面向長信息的新聞類事件檢測方法不太適合微博熱點事件檢測，同時隨著微博用戶和微博數量的爆炸式增長，對所有信息進行搜索和檢測的方法需要非常大的經濟和時間代價。公開號為102194012A的中國發明專利提出一種基於傳統新聞話題檢測方法的微博話題檢測方法，他們的方法主要是將傳統的新聞話題檢測方法應用到微博話題檢測中。他們需要檢測所有微博用戶產生的巨量微博，不僅計算量巨大，系統費用非常高，而且因為微博內容信息較少以及大量噪聲微博的影響，很難提取出較好的微博話題。本發明是通過樣本學習獲取少量重要的微博傳播用戶。監測這些少量用戶產生的少量微博，不僅計算量非常小，而且噪聲微博很少，可以以非常少的代價提取更準確的熱點話題。

發明內容
本發明的目的在於針對目前微博數量巨大、微博熱點話題檢測幹擾大、系統代價非常大的問題，提出一種基於微博監測子網的微博熱點事件實時檢測方法及系統。根據本發明的一方面，本發明提供一種基於監測子網的微博熱點事件實時檢測方法，具體步驟包括如下:步驟1:微博監測子網構建，根據用戶影響力、用戶參與事件的活躍度、用戶參與事件的時間三個參數構建包含有限用戶數量的微博監測子網；步驟2:基於微博監測子網用戶的微博數據實時採集，每隔一定時間收集微博監測子網中所有用戶在該時間段內產生的新微博；步驟3:微博內容分詞與話題合併，對收集到的新微博進行分詞，為每條微博基於分詞詞彙構建特徵向量，構建微博然後進行話題合併；步驟4:話題列表的構建、更新與查詢，對話題列表進行構建、更新與查詢；步驟5:熱點事件判決，基於時間窗口對話題列表內的話題，統計參與話題的用戶數量變化進行熱點事件判決；步驟6:輸出熱點事件列表。根據本發明的另一方面，本發明提供一種基於監測子網的微博熱點事件檢測系統具體包括:a.微博監測子網構建模塊，用來獲取用戶參與事件活躍、影響力大、參與事件的響應時間快到少量關鍵微博用戶；b.在線微博信息收集模塊，實時收集微博監測子網用戶在時間周期內的所有新微博；c.微博內容分詞與話題合併模塊，對收集到的新微博進行分詞，為每條微博基於分詞詞彙構建特徵向量，構建微博然後進行話題合併；d.話題列表構建、更新與查詢模塊，對話題列表進行構建、更新與查詢；e.微博熱點事件判決與輸出模塊，基於時間窗口對話題列表內的話題，統計參與話題的用戶數量變化進行熱點事件判決。
用傳統的新聞話題檢測方法對除運營商以外的第三方應用來說要實現話題實時檢測幾乎是不可能的。因此本發明利用少量關鍵用戶在熱點事件傳播中的重要作用，提出一種只檢測少量關鍵用戶的微博提取話題來替代檢測所有用戶的微博提取話題的方法和框架，不僅極大地降低了需要處理的微博數據量，降低系統成本，而且可以去除大量噪聲微博，提高話題合併的準確率，僅利用單臺伺服器就可以實現實時快速的熱點事件檢測。與現有技術相比，本發明具有如下的有益效果:本發明區別於傳統的檢測微博網絡中所有用戶微博的方法，首先構建由少量有影響力、參與事件活躍以及響應事件快速的關鍵用戶組成的微博監測子網，然後通過檢測微博監測子網用戶的微博來進行話題合併與熱點判斷。本發明利用少量關鍵用戶在熱點事件傳播中的重要作用，通過構建微博監測子網，不僅極大地降低了需要處理的微博數據量，降低系統成本，而且可以去除大量噪聲微博，提高話題合併的準確率，可以更快更準確的檢測到熱點事件。相比背景技術中的專利方法，本發明方法代價極小而且準確率高。


通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特徵、目的和優點將會變得更明顯:圖1是本發明方法的流程圖。圖2是微博子網構建的流程圖。圖3是微博內容分詞與話題合併流程圖。圖4是熱點事件判決流程圖。
具體實施例方式下面結合具體實施例對本發明進行詳細說明。以下實施例將有助於本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬於本發明的保護範圍。如圖1所示，本實施例的流程可以分為以下幾個步驟:步驟1:微博監測子網構建，根據用戶影響力、用戶參與事件的活躍度、用戶參與事件的時間三個參數構建包含有限用戶數量的微博監測子網；步驟2:基於微博監測子網用戶的微博數據實時採集，每隔一定時間收集微博監測子網中所有用戶在該時間段內產生的新微博；步驟3:微博內容分詞與話題合併，對收集到的新微博進行分詞，為每條微博基於分詞詞彙構建特徵向量，構建微博然後進行話題合併；步驟4:話題列表的構建、更新與查詢，對話題列表進行構建、更新與查詢；步驟5:熱點事件判決，基於時間窗口對話題列表內的話題，統計參與話題的用戶數量變化進行熱點事件判決；步驟6:輸出熱點事件列表。如步驟I所述，微博監測子網的構建流程，如圖2所示:a.建立微博熱點事件樣本庫；樣本事件獲取可以是人工或機器選取，熱點事件可以根據事件類型分類或者不分類。b.基於樣本微博分別計算用戶活躍度、用戶影響力和用戶響應時間；用戶參與事件的活躍度是指用戶參與總樣本熱點事件的參與概率，如果樣本事件分成多種事件類型，則是指用戶參與每種事件類型的參與概率；用戶的影響力由用戶的粉絲數量和用戶微博的平均轉發數量二個因素構成的歸一化因子；用戶參與事件的響應時間是指用戶多次參與熱點事件所發的微博距離熱點事件的源微博的平均時間差。c.根據用戶活躍度、用戶影響力和用戶響應時間獲取有限用戶數量的微博監測子網。有限用戶數量的微博監測子網是指最終監測子網用戶數量是由系統能實時監測處理多少個微博用戶來確定的。首先選取在樣本熱點事件中，節點平均響應時間在小於某一閾值(如7天)的節點構建初選集合SI;優先獲取用戶活躍度大的節點，假設節點i，j的活躍度分別為Ai，Aj，節點i，j的影響力分別為Fi，Fj，如果此時Ai>Aj，Fi>Fj，則優先選取節點i ;但當Ai>Aj，Fi〈Fj時，如果滿足如下情況時:(Fj-Fi) / (A1-Aj) > T，則優先選取節點j，直到選取的節點數達到預定數目為止。如步驟2所述:基於微博監測子網用戶的微博數據實時採集，每隔固定時間周期性收集微博監測子網中所有用戶在該時間段內產生的新微博。周期性收集微博的時間間隔可根據系統處理能力和實際微博網絡產生微博的速度來決定。需要採集的新微博是指微博監測子網中的所有用戶在新的時間段內新發布和評論轉發的所有微博。如步驟3所述，微博內容的分詞和話題合併流程，如圖3所示:具體實現包括如下步驟:a.對每條新微博內容分詞時採用去停用詞、去虛詞，去形容詞、去單字；b.丟棄分詞後詞彙個數小於閾值tl的微博，閾值tl取值為[10，15]中的一個，具體數值可以根據實際檢測結果調整。c.為滿足條件9.b的每條微博基於分詞詞彙構建基於Tf/Idf加權的特徵向量；Tf-1df分別是指詞頻Tf，逆向文檔頻率Idf。d.採用基於向量間距離的相似性判斷方法進行話題合併。即將微博對應的向量之間的距離小於閾值t2的所有微博合併成一個話題，一條微博只能合併到一個話題。閾值t2通過對話題微博樣本進行學習，使話題合併準確率最高的距離閾值設為t2。如步驟4所述，話題列表的構建、更新與查詢具體包括:話題列表構建是指，當話題列表不存在時創建話題列表，其中表結構包括話題發起時間，監測子網中參與話題的用戶，整個網絡中參與話題傳播的用戶數量；話題描述，是否熱點；話題列表更新是指將所述的步驟9.d中產生的話題數據對話題列表進行新話題創建，已有話題數據修改，已有話題刪除；話題列表查詢是指將所述的步驟9.d中產生的話題和話題列表中話題進行距離相似性比較，距離小於閾值t2且距離最近的為相同話題。如步驟5所述的熱點事件判決流程，如圖4所示，包括:參與話題的微博監測子網人數閾值Pl比較，該話題相關微博的總轉發評論數閾值P2比較，以及話題持續時間與時間窗口大小的比較，滿足上述條件的話題被選為熱點事件，輸出熱點事件列表。時間窗口是指一個固定長度的時間段。步驟5中的熱點事件判決是指對話題列表中的每個話題，如果微博監測子網用戶在一個時間窗口內參與某個話題的用戶數超過閾值Pl且該話題相關的總轉發評論數超過閾值P2時，則該話題判定為熱點，加入到熱點事件列表中；如果某個話題持續時間已經超過一個時間窗口長度，而參與的微博監測子網用戶數少於閾值Pl或該話題相關的總微博轉發評論數少於P2，則判定為非熱點，從話題列表中刪除該話題；如果話題持續時間小於時間窗口長度，而參與的微博監測子網用戶數少於閾值Pl或該話題相關的總微博轉發評論數少於P2，則該話題為待確定狀態。其中閾值Pl的取值為訓練樣本中相同的時間窗口內參與同一話題的平均子網用戶數；閾值P2的取值為訓練樣本中相同的時間窗口內參與同一話題的微博的平均轉發數。時間窗口長度大小可以是[12，120]小時內任意值，具體數值根據系統存儲和計算資源來調整。步驟6中的輸出熱點事件列表，是指將步驟5中的熱點事件判決為熱點的話題輸出。基於上述方法，一種在微博平臺上進行熱點事件檢測的系統，包括以下模塊:微博監測子網構建模塊，在線微博信息收集模塊，微博內容分詞與話題合併模塊，話題列表構建、更新與查詢模塊，微博熱點事件判決與輸出模塊。上述系統中，微博監測子網構建模塊通過微博用戶活躍度、影響力和事件響應時間來獲取少量且在微博傳播網絡中起關鍵作用的用戶；微博數據實時採集模塊每隔一個周期收集微博監測子網所有用戶產生的所有新發布的微博；微博內容分詞與話題合併模塊對採集到的新微博進行分詞處理，並通過基於向量距離的相似性判斷方法進行話題合併；話題列表模塊對話題合併模塊·所產生的多個話題進行查詢、更新和構建；熱點事件判決模塊基於時間窗口對話題列表內的話題，統計參與話題的用戶數量變化進行熱點事件判決。具體實驗結果:採集300個新浪熱點事件，獲取所有參與事件傳播的微博用戶共167萬個，在系統處理能力為每天7000和15000條微博的兩種約束條件情況下，分別選定了子網用戶數分別為500和940的監測子網，能監測到65%的新浪熱點微博和60%百度頭條新聞，並且檢測時間比新浪早6小時，比百度早13小時。其中監測子網中的用戶分布如下表。該表證明本發明的方法確實提取到了影響力大且積極參與事件傳播的用戶，因此能保證快速而有效的檢測熱點事件。
子網用戶數在名人堂中新聞媒微博達人數的用戶數量體數量
·940334159211
·500143116157以上對本發明的具體實施例進行了描述。需要理解的是，本發明並不局限於上述特定實施方式，本領域技術人員可以在權利要求的範圍內做出各種變形或修改，這並不影響本發明的實質內容。
權利要求
1.一種基於監測子網的微博熱點事件實時檢測方法，其特徵在於包括以下步驟: 步驟1:微博監測子網構建，根據用戶影響力、用戶參與事件的活躍度、用戶參與事件的時間三個參數構建包含有限用戶數量的微博監測子網； 步驟2:基於微博監測子網用戶的微博數據實時採集，每隔一定時間收集微博監測子網中所有用戶在該時間段內產生的新微博； 步驟3:微博內容分詞與話題合併，對收集到的新微博進行分詞，為每條微博基於分詞詞彙構建特徵向量，構建微博然後進行話題合併； 步驟4:話題列表的構建、更新與查詢，對話題列表進行構建、更新與查詢； 步驟5:熱點事件判決，基於時間窗口對話題列表內的話題，統計參與話題的用戶數量變化進行熱點事件判決； 步驟6:輸出熱點事件列表。
2.根據權利要求1所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟I的微博監測子網構建，包括: a.建立微博熱點事件樣本庫； b.基於樣本微博分別計算用戶活躍度、用戶影響力和用戶響應時間； c.根據用戶活躍度、用戶影響力和用戶響應時間獲取有限用戶數量的微博監測子網。
3.根據權利要求2所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟a中，樣本事件獲取是人工或機器選取，熱點事件根據事件類型分類或者不分類。
4.根據權利要求2所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟b中，用戶參與事件的活躍度是指用戶參與總樣本熱點事件的參與概率，如果樣本事件分成多種事件類型，則是指用戶參與每種事件類型的參與概率；用戶的影響力由用戶的粉絲數量和用戶微博的平均轉發數量二個因素構成的歸一化因子；用戶參與事件的響應時間是指用戶多次參與熱點事件所發的微博距離熱點事件的源微博的平均時間差。
5.根據權利要求2所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟c中，有限用戶數量的微博監測子網是指最終監測子網用戶數量是由系統能實時監測處理多少個微博用戶來確定的。
6.根據權利要求2所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟c的具體實現如下: 首先選取在樣本熱點事件中，節點平均響應時間在小於7天的節點構建初選集合SI;優先獲取用戶活躍度大的節點，假設節點i，j的活躍度分別為Ai，Aj，節點i，j的影響力分別為Fi，Fj，如果此時Ai>Aj，Fi>Fj，則優先選取節點i ;但當Ai>Aj，Fi〈Fj時，如果滿足如下情況時=(Fj-Fi)/ (A1-Aj)> T，則優先選取節點j，直到選取的節點數達到預定數目為止。
7.根據權利要求1所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟3中，具體實現包括如下步驟: a.對每條新微博內容分詞時採用去停用詞、去虛詞，去形容詞、去單字； b.丟棄分詞後詞彙個數小於閾值tl的微博；閾值tl取值為[10，15]中的一個； c.為滿足步驟b的每條微博基於分詞詞彙構建基於Tf/Idf加權的特徵向量；Tf、Idf分別是指詞頻Tf，逆向文檔頻率Idf ；d.採用基於向量間距離的相似性判斷方法進行話題合併。
8.根據權利要求7所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟d中，是指將微博對應的向量之間的距離小於閾值t2的所有微博合併成一個話題，一條微博只能合併到一個話題；閾值t2通過對話題微博樣本進行學習，使話題合併準確率最高的距離閾值設為t2。
9.根據權利要求1-7任一項所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟4中，話題列表構建是指，當話題列表不存在時創建話題列表，其中表結構包括話題發起時間，監測子網中參與話題的用戶，整個網絡中參與話題傳播的用戶數量；話題描述，是否熱點；話題列表更新是指將所述的步驟3中產生的話題數據對話題列表進行新話題創建，已有話題數據修改，已有話題刪除；話題列表查詢是指將所述的步驟3中產生的話題和話題列表中話題進行距離相似性比較，距離小於閾值t2且距離最近的為相同話題。
10.根據權利要求1-7任一項所述的基於監測子網的微博熱點事件實時檢測方法，其特徵在於步驟5中的熱點事件判決是指對話題列表中的每個話題，如果微博監測子網用戶在一個時間窗口內參與某個話題的用戶數超過閾值Pl且該話題相關的總轉發評論數超過閾值P2時，則該話題判定為熱點，加入到熱點事件列表中；如果某個話題持續時間已經超過一個時間窗口長度，而參與的微博監測子網用戶數少於閾值Pl或該話題相關的總微博轉發評論數少於閾值P2，則判定為非熱點，從話題列表中刪除該話題；如果話題持續時間小於時間窗口長度，而參與的微博監測子網用戶數少於閾值Pl或該話題相關的總微博轉發評論數少於閾值P2，則該話題為待確定狀態；時間窗口是指一個固定長度的時間段；其中閾值Pl的取值為訓練樣本中相同的時間窗口內參與同一話題的平均子網用戶數；閾值P2的取值為訓練樣本中相同的時間窗口內參與同一話題的微博的平均轉發數，時間窗口長度大小是[12，120]小時內任意值。
11.一種基於監測子網的微博熱點事件檢測系統，其特徵在於包括以下模塊: a.微博監測子網構建模塊，用來獲取用戶參與事件活躍、影響力大、參與事件的響應時間快到少量關鍵微博用戶； b.在線微博信息收集模塊，實時收集微博監測子網用戶在時間周期內的所有新微博； c.微博內容分詞與話題合併模塊，對收集到的新微博進行分詞，為每條微博基於分詞詞彙構建特徵向量，構建微博然後進行話題合併； d.話題列表構建、更新與查詢模塊，對話題列表進行構建、更新與查詢； e.微博熱點事件判決與輸出模塊，基於時間窗口對話題列表內的話題，統計參與話題的用戶數量變化進行熱點事件判決。
全文摘要
本發明公開一種基於監測子網的微博熱點事件實時檢測方法及系統。該方法包括1)微博監測子網構建，基於用戶活躍度、影響力和響應時間構建含有少量關鍵用戶的微博監測子網；2)微博數據實時收集，每隔一定時間周期實時收集微博監測子網所有用戶發布的新微博；3)對收集的新微博進行分詞和話題合併；4)構建、查詢和更新話題列表；5)基於一定時間窗口，根據話題列表內的參與某話題的人數變化進行熱點事件判決。本發明利用少量關鍵用戶在熱點事件傳播中的重要作用，構建微博監測子網，不僅極大地降低了需要處理的微博數據量，降低系統成本，而且可以去除大量噪聲微博，提高話題合併的準確率，可以利用單臺伺服器實現實時快速熱點事件檢測。
文檔編號G06F17/30GK103116605SQ20131001781
公開日2013年5月22日 申請日期2013年1月17日 優先權日2013年1月17日
發明者陳凱, 周異 申請人:上海交通大學