一種基於新聞評論網頁的情感傾向性分析系統的製作方法
2023-09-16 15:21:30 2
專利名稱：一種基於新聞評論網頁的情感傾向性分析系統的製作方法
技術領域：
本發明涉及一種數據挖掘系統，特別是關於一種基於新聞評論網頁的實體情 感傾向性分析系統。
技術背景情感傾向性分析是通過對新聞材料信息進行分析和挖掘，用以獲取公眾輿論 對某些產品、企業、政策等實體的情感傾向。這樣就能更好地掌握公眾對政府政 策、企業動態等熱點問題的情感傾向，為政府、企業的戰略決策方向提供科學依 據。現有的關於產品情感分析系統主要側重於段落粒度或者句子粒度的產品評價 的情感分析。此類系統主要是通過抽取新聞材料中的情感特徵，利用分類或者統 計的方法實現情感分析，這種方法對於情感特徵抽取簡單的領域相對適用。而由於目前日益複雜的社會政治經濟環境，上述分析系統對於複雜的分析實 體不太適用。首先,在新聞評論和企業競爭力評論領域中，情感特徵複雜多變，情 感特徵的抽取和用戶的背景知識密切相關，對某個事件的評價和相關人物、地點、 組織等背景知識密切相關，這樣就很難在複雜的背景下分析出輿論對實體的情感 傾向。其次，這些領域中情感分析和用戶的情感立場密切相關，例如，對一個用 戶感覺正向的評論對另外的用戶感覺可能是負向的，而對於兩個對立的實體來說， 對一個實體的"贊成"，可能是對另一個實體的"反對"；而對一個實體中包含的 某一實體的"贊成"態度，也可能是對這個實體的"贊成"態度。這樣就不能在 一個統一的立場下，分析同一實體的情感傾向。 發明內容針對上述問題，本發明的目的是提供一種根據用戶提供的表示用戶情感立場 的參考實體和情感動詞等情感分析規則，對有關新聞評論進行情感分析，得出情 感傾向量化輸出的基於新聞評論網頁的實體情感傾向性分析系統。為實現上述目的，本發明採取以下技術方案 一種基於新聞評論網頁的實體 情感傾向性分析系統，其特徵在於它包括用戶輸入模塊、實體提取和層次關係 發現模塊、同層實體情感提取模塊、實體特徵提取模塊、實體定位模塊和情感輸 出模塊；所述用戶輸入模塊包括用戶輸入的新聞網頁集合和情感分析規則；所述 情感分析規則中包括參考實體和情感動詞；所述實體提取和層次關係發現模塊用 於從所述新聞網頁中提取有效實體，並建立實體層次關係圖；所述同層實體情感提取模塊在所述實體層次關係圖中定位所述參考實體，利用參考實體、與參考實 體同層次的有效實體和情感動詞，獲取新聞評論網頁；通過對所述情感動詞的新 聞評論網頁聚類，獲得新聞評論網頁子集和對應的情感主題；所述實體特徵提取 模塊用於獲取待測新聞評論網頁中的中間實體，並輸出所述中間實體的情感分析 數據；所述實體定位模塊中，判斷所述中間實體是否存在於所述實體情感關係圖 中，如果所述中間實體不存在於所述實體情感關係圖中，則直接在所述情感輸出 模塊中輸出所述情感分析數據，反之在所述實體情感關係圖中定位所述中間實體； 如果所述中間實體與所述參考實體同在一情感關係樹中，則在所述情感輸出模塊 中輸出參考實體的情感分析數據，反之根據中間實體所在的新聞評論語句相同情 感主題的所述新聞評論網頁子集合進行相似度判定，間接獲取所述參考實體的情 感分析數據。所述實體提取和層次關係發現模塊中，通過表格結構處理和文本處理方法來 提取所述有效實體。所述情感關係樹以所述參考實體或與參考實體同層次的有效實體為根節點， 根節點之間存在所述情感主題的連接關係，通過文檔聚類發現情感主題。所述實體特徵提取模塊中，通過實體抽取工具獲取中間實體。所述實體特徵提取模塊中，通過情感分析工具得到所述中間實體的情感分析 數據。所述情感動詞為表明情感傾向的動詞，包括正向的和負向的動詞，或帶有權 重的動詞。本發明由於採取以上技術方案，其具有以下優點1、本發明通過用戶提供的 實體提取規則和情感特徵從新聞評論網頁中提取有效實體，並建立實體情感關係 圖，對用戶的背景知識進行建模，識別實體之間和內部的層次關係，從而直接或 間接的得出新聞評論網頁中針對參考實體的情感分析數據，提高情感分析的正確 性。2、本發明通過在實體情感關係圖中定位中間實體的情感值，通過新聞網頁聚 類的方式，發現實體情感關係圖中根節點之間不同情感主題，在情感分析中考慮 用戶的立場，獲取針對參考實體的情感信息，提高情感分析的正確性。本發明可 廣泛用於國家方針政策的制定和企業戰略方向的諮詢工作。
圖1是本發明系統的整體結構示意2是本發明利用實體情感關係圖對新聞評論網頁做實體情感傾向性分析的 流程示意3是本發明本發明實施例的實體情感關係示意圖 實施方式下面結合附圖和實施例對本發明進行詳細的描述。如圖1所示，本發明的系統包括用戶輸入模塊1、實體提取和層次關係發現模塊2、同層實體情感提取模塊3、實體特徵提取模塊4、實體定位模塊5和情感輸 出模塊6。用戶輸入模塊1包括由用戶通過其指定的關於參考實體的權威網站中下 載的新聞網頁集合，以及用戶指定的參考實體和情感動詞等情感分析規則。權威 網站是個可選的參數，針對於一個參考實體，作為構建實體情感關係圖的新聞網 頁集合的重要來源；用戶指定的參考實體體現出用戶的分析立場；情感動詞為表 明情感傾向的動詞，包括正向的、負向的，也可以帶有權重。將來自權威網站的新聞網頁集合輸入到實體提取和層次關係發現模塊2中， 基於新聞網頁中表格結構處理和文本處理的方法來提取新聞評論網頁中的有效實 體，並建立實體層次關係圖。基於表格結構處理的提取，是使用啟發式規則實現 表格檢測，檢測網頁中存在的表格；如果某個有效實體出現在表格的行中，則其 他行中的有效實體為這個有效實體的同層實體；如果某個有效實體出現在表格的 表頭中，則表示這個有效實體為出現在表格的行中有效實體的上層實體。基於文 本處理的提取是利用正則表達式處理分詞之後的集合，如"A包括B、C、D、……" 或"B、 C、 D、……等A"，則A和B、 C、 D之間存在總-分的關係。同層實體情感提取模塊3根據用戶輸入模塊1的參考實體，在實體層次關係 圖中定位一個由用戶指定的參考實體來表示用戶分析評論的立場，在實體情感關 系圖中找出與參考實體同一層次的有效實體；根據情感動詞，利用元搜索或者搜 索系統在網絡中獲取同時包含參考實體、情感動詞和實體層次關係圖中與參考實 體同層次的有效實體的新聞評論網頁集合，如搜索所有同時包含參考實體"中國"、 情感動詞"譴責"和與參考實體同層次的有效實體"美國"的新聞評論網頁。利 用文本聚類的方法，得出在相同情感動詞下針對不同情感主題的新聞評論網頁子 集合，以及這些新聞網頁子集合所對應的情感主題。如在"譴責"這一情感動詞 下，"中國"與"美國"之間的情感主題有"臺灣問題"和"人權問題"等。通過不同的情感動詞，根據情感動詞獲取相應的新聞評論網頁集合，再分別進行聚類， 發現參考實體和同級實體在正向和負向情感方面的情感主題。針對參考實體、與 參考實體同層次的有效實體和情感主題建立實體情感關係圖。實體情感關係圖是 由一系列的情感關係樹構成，每棵樹的根節點是參考實體或者與參考實體同層次 的有效實體，根節點之間存在連接關係，每個連接關係表示一個情感主題，同時標記該情感主題對應的情感動詞。兩個根節點之間的情感主題的情感動詞，表示 兩個實體在這一情感主題上的情感傾向，如在"禽流感"這一情感主題上，美國這一實體對中國的情感動詞為"贊成"；而對"臺灣問題"這一情感主題，中國對美國的情感動詞為"反對"。情感關係樹的內部存在層次關係，確定根節點後，根 據實體層次關係圖中的實體包含關係，建立關於指定的參考實體或與參考實體同 層次的有效實體的情感關係樹。本發明的目的是從新聞評論中獲取針對參考實體的情感分析數據，對於其他 實體不同情感主題下的情感因素，要考慮構造出的情感關係圖，結合當前新聞的 情感主題，綜合考慮對參考實體的影響。在實體特徵提取模塊4中輸入待測新聞評論網頁，利用現有的實體抽取工具 對待測新聞評論網頁進行分析，獲取中間實體。之後對中間實體的情感特徵進行 分析，利用語句級別的情感分析工具，分析這個中間實體所在的評論語句的情感 傾向，輸出量化的情感分析數據到實體定位模塊5中。本發明的實體抽取工具用 於提取待測新聞評論網頁中的中間實體，藉助現有的實體抽取工具實現；情感分 析工具單純分析每句話獲取其情感傾向，也通過現有工具實現。如圖2所示，在實體定位模塊5中輸入同層實體情感提取模塊3中建立的實 體情感關係圖，判斷中間實體是否存在於實體情感關係圖中。如果中間實體不存 在於實體情感關係圖中，則說明現有的實體情感關係圖沒有此中間實體的信息， 也即只能進行無背景知識的情感分析，在情感輸出模塊6中直接輸出實體特徵提 取模塊4的中間實體的情感分析數據。反之如果中間實體存在於實體情感關係圖 中，則在實體情感關係圖中定位這個中間實體。如果中間實體包含在參考實體所 在的情感關係樹中，則直接在情感輸出模塊6輸出根據中間實體得到的參考實體 的情感分析數據；如果中間實體在實體情感關係圖中，卻不包含在參考實體所在 的情感關係樹中，則將中間實體所在的新聞評論語句與同層實體情感提取模塊3 中的相同情感主題的新聞評論網頁子集合進行相似度判定，判斷其所在的新聞評 論網頁和前面建立的不同情感主題的相似度。將當前新聞評論網頁歸屬到相似度 最高的情感主題中，從而間接的獲取針對參考實體的情感分析數據，在情感輸出 模塊6中輸出帶有情感權重的情感分析數據。情感分析數據表明了新聞評論人對 中間實體的情感傾向，通過判斷中間實體的歸屬，如中間實體屬於參考實體，則 直接得到新聞評論對參考實體的情感傾向；或者間接的通過與其他同層實體的情 感相似度判定，得到新聞評論對參考實體的間接的情感傾向。下面通過一個實施例來進一步說明本發明的系統。7中國政府和美國政府均為實體，中國政府下設有國務院、各級省市政府等各 級政府構成的實體層次，美國政府也有對應的實體層次。對於如"禽流感"和"臺 灣"這類情感主題，需要通過新聞評論來分析新聞評論人對中國政府的情感。對 中國政府這一參考實體的評價不僅僅要看新聞評論中對中國政府本身的評價，而 且要看對中國政府包含的各級政府的評價，因此對各級政府的好惡觀點均可反映 為對中國的觀點。同時，對於不同的新聞情感主題，某些事件中國和美國之間是 彼此矛盾的，而另外的事件中國美國利益是相同的，因此對美國的評價也對中國 政府的情感產生間接影響。1、 構造實體情感關係圖通過用戶指定的權威網站，利用網頁收集機制下載新聞網頁，作為新聞網頁 集合；同時用戶指定參考實體和情感動詞等情感分析規則。1) 基於新聞網頁中利用文本處理和表格結構處理來提取新聞網頁中的有效實 體，並建立實體層次關係圖。2) 在實體層次關係圖中定位參考實體如"中國政府"，並査找參考實體的同 層實體，如"美國政府"。3) 用戶輸入參考實體"中國政府"和情感動詞如"支持"，在利用搜尋引擎 技術在網絡中搜索同時包含"中國政府"、"支持"和"美國政府"的新聞評論網 頁。4) 對搜索的新聞評論網頁進行聚類，將新聞評論網頁分為對應不同情感主題 的新聞評論網頁子集合。例如某一新聞評論網頁子集合對應的情感主題為"禽流 感"，美國政府對中國政府在情感主題"禽流感"下的情感動詞"支持"。5) 針對參考實體和情感主題建立實體情感關係圖，如圖3所示。2、 利用實體情感關係圖對示例中的新聞評論網頁做實體情感傾向性分析 示例1、對參考實體的直接情感分析i) 利用現有的實體抽取工具，從待測新聞評論網頁中獲取到中間實體"衛生部"。ii) 利用用戶訓練的語句級別的情感分析工具，分析"衛生部"的情感特徵， 得到中間實體的情感分析數據。iii) 在實體情感關係圖中定位中間實體，由於"衛生部"存在於實體情感關 系圖中，並且與"中國政府"同在一棵情感關係樹中，則在情感分析中考慮這一 因素。iv) 中間實體"衛生部"包含在參考實體"中國政府"所在的情感關係樹中，則直接輸出對於參考實體"中國政府"的情感分析數據，即"衛生部"的情感特 徵。示例2、對參考實體的間接情感分析I) 利用現有的實體抽取工具，從待測新聞評論網頁中獲取到中間實體"美國"。II) 利用用戶訓練的語句級別的情感分析工具，分析"美國"的情感特徵， 得到中間實體的情感分析數據。III) 在實體情感關係圖中定位中間實體，由於"美國"在實體情感關係圖中，卻不包含在參考實體所在的情感關係樹中，則需要對"美國"所在的新聞評論語 句與相同情感主題的新聞評論網頁子集合進行相似度判定。IV) 由於"美國"在另一棵情感層次樹中，發現當前的新聞和中國、美國實 體之間的已有情感主題進行匹配，定位"臺灣"主題，發現中國、美國實體在臺 灣主題上意見相反，則因此新聞評論人對"美國"在此問題上的負面評價對於參 考實體"中國政府"來講是正面的。V) 輸出對於參考實體"中國政府"的情感分析數據。
權利要求
1、一種基於新聞評論網頁的實體情感傾向性分析系統，其特徵在於它包括用戶輸入模塊、實體提取和層次關係發現模塊、同層實體情感提取模塊、實體特徵提取模塊、實體定位模塊和情感輸出模塊；所述用戶輸入模塊包括用戶輸入的新聞網頁集合和情感分析規則；所述情感分析規則中包括參考實體和情感動詞；所述實體提取和層次關係發現模塊用於從所述新聞網頁中提取有效實體，並建立實體層次關係圖；所述同層實體情感提取模塊在所述實體層次關係圖中定位所述參考實體，利用參考實體、與參考實體同層次的有效實體和情感動詞，獲取新聞評論網頁；通過對所述情感動詞的新聞評論網頁聚類，獲得新聞評論網頁子集和對應的情感主題；所述實體特徵提取模塊用於獲取待測新聞評論網頁中的中間實體，並輸出所述中間實體的情感分析數據；所述實體定位模塊中，判斷所述中間實體是否存在於所述實體情感關係圖中，如果所述中間實體不存在於所述實體情感關係圖中，則直接在所述情感輸出模塊中輸出所述情感分析數據，反之在所述實體情感關係圖中定位所述中間實體；如果所述中間實體與所述參考實體同在一情感關係樹中，則在所述情感輸出模塊中輸出參考實體的情感分析數據，反之根據中間實體所在的新聞評論語句相同情感主題的所述新聞評論網頁子集合進行相似度判定，間接獲取所述參考實體的情感分析數據。
2、 一種如權利要求1所述的基於新聞評論網頁的實體情感傾向性分析系統， 其特徵在於所述實體提取和層次關係發現模塊中，通過表格結構處理和文本處 理方法來提取所述有效實體。
3、 一種如權利要求1所述的基於新聞評論網頁的實體情感傾向性分析系統， 其特徵在於所述情感關係樹以所述參考實體或與參考實體同層次的有效實體為 根節點，根節點之間存在所述情感主題的連接關係，通過文檔聚類發現情感主題。
4、 一種如權利要求2所述的基於新聞評論網頁的實體情感傾向性分析系統， 其特徵在於所述情感關係樹以所述參考實體或與參考實體同層次的有效實體為 根節點，根節點之間存在所述情感主題的連接關係，通過文檔聚類發現情感主題。
5、 一種如權利要求1或2或3或4所述的基於新聞評論網頁的實體情感傾向 性分析系統，其特徵在於所述實體特徵提取模塊中，通過實體抽取工具獲取中 間實體。
6、 一種如權利要求1或2或3或4所述的基於新聞評論網頁的實體情感傾向性分析系統，其特徵在於所述實體特徵提取模塊中，通過情感分析工具得到所 述中間實體的情感分析數據。
7、 一種如權利要求5所述的基於新聞評論網頁的實體情感傾向性分析系統， 其特徵在於所述實體特徵提取模塊中，通過情感分析工具得到所述中間實體的 情感分析數據。
8、 一種如權利要求1或2或3或4或7所述的基於新聞評論網頁的實體情感傾向性分析系統，其特徵在於所述情感動詞為表明情感傾向的動詞，包括正 向的和負向的動詞，或帶有權重的動詞。
9、 一種如權利要求5所述的基於新聞評論網頁的實體情感傾向性分析系統， 其特徵在於所述情感動詞為表明情感傾向的動詞，包括正向的和負向的動詞， 或帶有權重的動詞。
10、 一種如權利要求6所述的基於新聞評論網頁的實體情感傾向性分析系統， 其特徵在於所述情感動詞為表明情感傾向的動詞，包括正向的和負向的動詞， 或帶有權重的動詞。
全文摘要
本發明涉及一種基於新聞評論網頁的實體情感傾向性分析系統，其特徵在於它包括用戶輸入模塊、實體提取和層次關係發現模塊、同層實體提取模塊、實體特徵提取模塊、實體定位模塊和情感輸出模塊；用戶輸入模塊包括用戶輸入的新聞評論網頁集合和情感分析規則；情感分析規則中包括參考實體和情感動詞；實體提取和層次關係發現模塊用於從新聞評論網頁中提取有效實體，並建立實體層次關係圖；同層實體提取模塊在實體層次關係圖中定位參考實體，建立由情感關係樹組成的實體情感關係圖；實體特徵提取模塊用於獲取新聞評論網頁中的中間實體，並輸出中間實體的情感分析數據；實體定位模塊中判斷中間實體是否存在於實體情感關係圖和情感關係樹中。
文檔編號G06F17/30GK101593204SQ20091008654
公開日2009年12月2日 申請日期2009年6月5日 優先權日2009年6月5日
發明者雷 常, 楊冬青, 王騰蛟, 陶富民, 軍 高 申請人:北京大學