基於概率主題詞的兩級組合文本分類方法
2023-05-30 18:36:36 2
專利名稱：基於概率主題詞的兩級組合文本分類方法
技術領域：
本發明涉及模式識別和自然語言處理技術領域，是一種基於概率主題詞的串行組合文本分類方法。
背景技術：
文本分類(Text Categorization)是多種自然語言處理技術的綜合應用之一，實現對文本的計算機自動分類能夠更好的幫助我們去組織和利用目前的浩瀚文本信息。同時，文本分類方法涉及到模式識別中的很多基本問題，例如分類器設計問題，高維特徵問題等等。因此，文本分類技術的研究具有重要的實用價值和理論意義。
衡量文本分類方法的好壞一般要考慮到兩個因素。一個是分類結果的正確率，往往也是最主要的因素。另一個是利用這種方法實現的系統的效率，即系統完成分類任務所需要的時間消耗，這方面的要求主要是網上實時系統的需要。以往的研究中，多種分類方法已經應用到文本分類任務中，例如K近鄰方法，支持向量機方法，貝頁斯方法等等。值得注意的是，文本分類問題中的特徵數非常龐大，在應用這些分類方法之前，一般都要有特徵提取的過程。由於文本分類中的高維特徵空間及各個分類器本身的缺陷，單一的分類器很難能夠在正確率和效率兩方面都有明顯的優勢，進而這些分類方法很難在實際應用中發揮作用。
發明內容
為了解決現有技術單一的分類器很難在正確率和效率兩方面都有明顯的優勢的缺陷，本發明的目的在於彌補單一分類器的不足，提出組合的分類方法，實現一種基於概率主題詞的兩級組合文本分類方法。
本發明提供基於概率主題詞的兩級組合文本分類方法，基本思想是基於分級的組合分類方法的。在這種組合的方法裡，我們把兩個分類器應用到分類的不同階段，本發明的分類步驟如下第一階段文本分類步驟基於樸素貝葉斯分類方法，利用概率主題詞(PTW)特徵對測試文本分類，利用拒絕條件判斷是否屬於樸素貝葉斯分類；第二階段文本分類步驟除第一階段文本分類方法和文本分類之外，基於傳統的特徵提取方法提取出特徵詞。
所述第一階段文本分類的判斷拒絕條件步驟判斷一篇文檔是否可以用第一個分類方法分類，採用兩個拒絕條件利用計算文檔屬於各個類別的後驗概率值的大小；利用計算提取出來的概率主題詞的數目大小。
本發明的有益效果本發明從研究文本中的主題詞作用和規律入手，在語料庫學習方法中，本發明定義統計意義的主題詞，通過統計方法在語料庫中提取統計主題詞；利用這些統計主題詞對文本進行分類。利用拒絕條件，對那些拒絕的文本進行第二次分類。第二級分類將利用更多的特徵及不同的分類器。本發明採用「兩級組合」的思想來進行文本的分類，與單一分類方法不同，在本發明方法中，充分考慮到了主題詞在文本分類過程中的重要作用。並且用一種合理的方式將兩個階段的分類方法結合起來，從而又充分利用了兩個分類方法各自的優點，使得應用本發明方法的分類系統能夠獲得更好的分類效果。另外，第一個階段的分類方法所用的概率主題詞數目非常有限，但能夠分類的文本數目卻很多，因此，本發明的組合分類方法實現的系統在正確率及效率方面整個系統的效率相對單一分類方法的系統有了很大的提高。
本發明的方法在兩個不一樣的測試語料中在效率和正確率兩方面，與現有的單一分類方法相比較都具有較大的優勢。
通過以下結合附圖的詳細描述，本發明的上述和其它方面、特徵和優點將變得更加顯而易見。附圖中圖1是本發明的基於概率主題詞的兩級組合文本分類系統框架2是本發明第一級分類器在兩個語料庫訓練文本中的正確率和召回率的示意3是採用本發明宏平均F1值評測標準的實驗結果具體實施方式
下面結合附圖對本發明作具體說明。應該指出，所描述的施例僅僅視為說明的目的，而不是對本發明的限制。
根據本發明，提出的基於概率主題詞的兩級組合文本分類方法，在人工進行分類的時候，人們如果判斷一個文本屬於哪一類，往往只是觀察文本中某些關鍵的詞就可以得到正確的判斷。這些關鍵的詞一般被叫做主題詞，很多分類詞典中就是包括了這些主題詞。然而，給出一個嚴格的關於主題詞的形式定義是不可能的。在語料庫學習方法中，可以定義一種統計意義上的主題詞，命名為「概率主題詞」(Probabilistic TopicWord，PTW)。然後通過統計的方法在語料庫中提取這種詞。然後先利用這些「統計主題詞」對文本進行分類。利用適當的拒絕條件，對那些拒絕的文本即不能用這種方法的進行分類的文本進行第二次分類。第二級分類將利用更多的特徵及不同的分類器。也就是說，本發明實現了一種兩級的組合方式分類方法。
下面參考附圖來描述根據本發明的優選實施例。
圖1是本發明的基於概率主題詞的兩級組合文本分類方法框架圖，它的系統主要由四部分構成第一級的概率主題詞特徵提取；第一級的貝葉斯分類器；第二級的信息增益特徵詞提取；第二級的分類器。第二級的分類器可以選擇貝葉斯分類器、K近鄰分類器、支持向量機分類器等中的任一分類器。
具體步驟為提取概率主題詞步驟1從測試文本訓練語料中抽取概率主題詞(PTW)；分類步驟2利用概率主題詞和樸素貝葉斯分類方法進行第一級分類提取特徵詞。
拒絕條件步驟3如果第一級分類結果被拒絕條件拒絕，則進行下面的步驟4，否則，接受分類結果。接受文本應該具有下面兩個特徵，首先它屬於具有最大後驗概率的類別的概率值大於某個閾值；其次該文本中提取出來的概率主題詞要達到一定數目。
信息增益特徵詞提取步驟4利用信息增益特徵提取方法提取訓練語料庫中的信息增益特徵詞(IG)。這些信息增益特徵詞的數目一般要遠遠多於上面提取出來的概率主題詞。
獲取分類步驟5基於拒絕條件步驟3，對那些被拒絕分類的文本利用信息增益特徵詞進行第二級分類，得到第二級分類結果。
本發明基於概率主題詞的兩級組合文本分類方法，可以分為第一級分類過程和第二級分類過程兩部分，具體步驟如下第一級分類步驟包括a)提取概率主題詞；b)以概率主題詞為特徵，利用樸素貝葉斯分類器對文本進行分類；c)確定兩個拒絕條件；d)通過拒絕條件判斷此文本是否可以用第一階段裡面的分類器進行分類；第二級分類步驟包括aa)提取信息增益特徵詞；bb)利用一種分類方法對被拒絕的文本進行分類；所述第一級分類過程中步驟a)中利用詞屬於每個類別中的後驗概率提取主題詞；所述第一級分類過程中步驟b)中通過這些概率主題詞特徵計算文本的後驗概率，概率值最大的類別為分類的可能結果；所述第一級分類過程中步驟c)中兩個拒絕規則是通過分析文本屬於每個類別的後驗概率及概率主題詞的數目決定的；所述第一級分類過程中步驟d)中如果判斷結果為可以分類，整個分類過程結束；如果判斷結果為拒絕分類則進行第二級分類過程；所述第二級分類過程中步驟aa)利用傳統的特徵提取方法，例如信息增益或者文檔頻率，提取特徵詞；所述第二級分類過程中步驟bb)這個階段的分類器可以是基於樸素貝葉斯、支持向量機或者K近鄰方法的分類器。實際應用中，我們可以選擇其中的任一個分類器；根據本發明，基於概率主題詞的的兩級組合文本分類方法，系統的實現可以按照上述的裝置依次順序連接。
下面詳細說明本發明方法所涉及的各個細節問題。
1.概率主題詞的定義和提取本發明僅僅利用少部分的概率主題詞就可以對文本進行正確的分類。首先，我們給出概率主題詞的定義。
定義如果一個詞t的類別後驗概率滿足條件p(ci|t)＞θ，θ∈(0.5，1)時，我們稱這個詞為置信度為θ的概率主題詞。
給出了定義後，通過這個定義提取概率主題詞，即通過統計訓練語料得到每個詞的類別後驗概率值。在實現的系統中，θ取值為0.6。詞t的類別後驗概率可由下面兩個公式計算得到P(ci|t)=P(t|ci)P(ci)P(t)]]>P(t|ci)=1+k=1ditf(tk)|V|+j=1|V|k=1ditf(tjk)]]>其中，tf(tjk)為詞t在屬於類ci的文檔Dk中的頻率，di是訓練語料中類別ci中的所有文檔數目。|V|是訓練語料詞典V中的詞數目。
2.第一級文本分類方法—樸素貝葉斯分類方法本發明的基本思想是利用特徵項和分類的聯合概率來估計給定文檔的分類概率。純粹貝葉斯假設文本是基於詞的unigram模型，即文本中詞的出現依賴於文本類別，但不依賴於其他詞及文本的長度，也就是說，詞與詞之間是獨立的。
本發明採用文檔採用TF向量表示法，即文檔向量的分量為相應的單詞在該文檔中出現的頻度，則文檔Doc屬於ci類的概率為
P(ci|Doc)=P(ci)P(tj|cj)TF(tjDoc)mP(cm)tiVP(ti|Cm)TF(tiDoc)]]>P(tj|ci)=1+TF(tj,ci)|V|+iTF(ti,ci)]]>其中P(ci)為一個文檔屬於ci類的概率，P(tj|ci)是對在ci類文檔中特徵tj出現的條件概率的拉普拉斯概率估計，TF(tj，ci)是ci類文檔中特徵tj出現的頻度，|V|為單詞詞典集的大小，等於文檔表示中所包含的不同特徵的總數目，TF(tj，Doc)是在文檔Doc中特徵tj出現的頻度。
3.兩個拒絕條件本發明判斷一個文本是否能夠用第一級的分類方法進行分類需要相應的拒絕條件，本發明給出兩個不同的拒絕條件第一個是判斷由上面貝葉斯分類方法計算出來的文本的後驗概率是否大於某個閾值。
第二個是判斷從被分類文本中提取出來的概率主題詞的數目是否滿足一定的條件。
所述第一個拒絕條件如果文本屬於具有最大後驗概率的類別的概率值小於某個閾值，則拒絕分類。閾值的大小由調節參數uThreshold決定，此參數可以通過訓練語料得到比較合適的值。
P(wmax|x)uThreshold{P(wmax|x)}+i=1,imaxmp(wi|x)]]>所述第二個拒絕條件如果文本中提取出來的概率主題詞的數目滿足下面的不等式時，則拒絕分類。不等式中的參數μi和σi可由訓練語料得到|n1-nD·μi|＞nD·2σi下面詳細說明一下這兩個拒絕條件拒絕條件在多級組合分類方法中起著關鍵的作用第一個拒絕條件是一個很明顯的條件，可以應用到所有基於概率的分類方法上面。通過調節參數uThreshold的值，可以使得系統的拒絕率達到任何想要的值。
第二個拒絕條件是我們針對概率主題詞這一特殊特徵設計的特殊拒絕條件。本發明假設待測試文本(該文本屬於ci類)所包含的所有詞nD與實際包括的概率主題詞nT滿足某種線性關係，即nT＝ki×nD。通過觀測語料不難發現，ki值滿足正態分布。於是nT也是一個滿足正態分布的變量。通過訓練語料，我們不難獲得ki分布的兩個參數均值μi和方差值σi。於是，第二個拒絕條件的含義就比較明顯了，它要求提取出的待測文本中概率主題詞的數目不能偏離實際包括的概率主題詞數目太多。
利用上面兩個條件，第一級分類方法在訓練語料庫中所取得的測試結果，如圖2所示。
4.第二級特徵提取如果待測文本被第一級的分類方法拒絕後，本發明需要提取另外的詞作為第二級裡面分類方法的特徵。通過比較研究，信息增益提取方法能夠在中文文本分類中取得比較不錯的效果，所以在第二階段的特徵詞提取中應用特徵增益提取方法。
依據某特徵項ti為整個分類所能提供的信息量，即不考慮任何特徵的熵和考慮該特徵後的熵的差值，來衡量該特徵項的重要度。
Gain(ti)=Entropy(S)-ExpectedEntropy(Sti)]]>={-j=1MP(cj)logP(cj)}-{P(ti)[-j=1MP(cj|ti)logP(cj|ti)]]]>+P(ti)[-j=1MP(cj|t)logP(cj|ti)]}]]>其中P(cj)表示cj類文檔在語料中出現的概率，P(ti)表示語料中包含詞條ti的文檔的概率，P(cj|ti)表示文檔包含詞條ti時屬於cj類的條件概率， 表示語料中不包含詞條ti的文檔的概率， 表示文檔不包含詞條ti時屬於cj的條件概率，M表示類別數。
5.第二級文本分類方法第二級的分類方法可以選擇任意一種以前應用到文本分類上面的分類方法。在實現的系統中，分別應用樸素貝葉斯(NB)、K近鄰(KNN)及支持向量機(SVM)分類方法，作為本發明第二級裡面的分類方法的實施例a.樸素貝葉斯分類方法已經在上面介紹。
b.K近鄰(KNN)是著名的模式識別統計學方法，是比較好文本分類算法之一，其算法大概思想是給定一個測試文檔，系統在訓練集中查找離它最近的K個鄰居，並根據這些鄰居的分類來給測試文檔的候選分類評分。把鄰居文檔和測試文檔的相似度作為鄰居文檔所在分類的權重，如果這K個鄰居中的部分文檔屬於同一個分類，則K近鄰(KNN)分類中的每個鄰居的權重求和作為該候選類別和測試文檔的相似度。通過對所有候選分類評分的排序，然後給出一個閾值，就可以判定測試文檔的分類。
c.支持向量機(SVM)是在統計理論基礎上發展起來的一種新的通用學習方法，它在結構風險最小化原理的近似實現，因為它同時是最小化經驗風險和VC維的界。在文本分類任務中，這種分類方法得到了很大的應用，相關的研究工作非常多。
6.實驗結果為了將本文的兩級組合分類方法和傳統的單一分類方法相比較，我們使用一定的訓練和測試語料分別對這兩種分類方法進行訓練和測試。為了驗證這種組合方法的有效性，使用了兩個不同的語料庫。第一個語料庫為人民日報新聞語料，總文檔數目在3千篇左右。在這個語料庫中，所有文檔一共被分為經濟、政治、電腦、體育、教育和法律六大類。另一個是從Internet收集的網頁內容語料，這個語料庫的規模較大，總文檔數目在3萬篇左右。在這個語料庫中，所有文檔一共被分為體育、科學、新聞、健康、金融和娛樂六大類。
圖2所示，本發明實施例第一級分類器在兩個語料庫訓練文本中的正確率和召回率示意圖中Y軸代表訓練語料的正確率和回召率；X軸代表調節參數的值(uThreshold)；PdCorp代表人民日報新聞語料；IntCorp代表Internet收集的網頁內容語料；-*-代表PdCorp的正確率；×代表PdCorp的召回率；-+-代表IntCorp的正確率；○代表IntCorp的召回率。
圖2中表示第一級分類器在兩個語料庫訓練文本中的正確率和召回率。在這個分類過程中，採用的特徵為概率主題詞。概率主題詞在人民日報新聞語料和Internet收集的網頁內容語料的數目分別為789和6,753。語料提取出來概率主題詞的數目相對於兩個語料庫中的詞彙量還是要小很多。在應用兩個拒絕條件後，僅僅利用一小部分的概率主題詞就能獲得這麼高的正確率和召回率，足以說明我們的方法在效率方面有很大的優勢。
如圖3所示，採用本發明方法系統宏平均F1值評測標準的實驗結果，我們採用宏平均值MroF1標準對我們的方法性能進行評估以及同單一分類方法的比較。
KNN代表僅利用K近鄰分類方法實現的單一分類器，所用的特徵就是用傳統的信息增益特徵提取方法提取的詞特徵；NB(PTW)+KNN代表兩級分類器，第一級用的是樸素貝頁斯分類器，第二級用的是K近鄰分類器。其中第一級分類所用的特徵就是我們定義的概率主題詞(PTW)，第二級所用的特徵是傳統的信息增益特徵提取方法提取的詞特徵；NB代表僅利用樸素貝頁斯分類方法實現的單一分類器，所用的特徵就是用傳統的信息增益特徵提取方法提取的詞特徵；NB(PTW)+NB代表兩級分類器，第一級用的是樸素貝頁斯分類器，第二級用的也是樸素貝頁斯分類器。其中第一級分類所用的特徵就是我們定義的概率主題詞(PTW)，第二級所用的特徵是傳統的信息增益特徵提取方法提取的詞特徵；SVM代表僅利用支持向量機分類方法實現的單一分類器，所用的特徵就是用傳統的信息增益特徵提取方法提取的詞特徵；NB(PTW)+SVM代表兩級分類器，第一級用的是樸素貝頁斯分類器，第二級用的是支持向量機分類器。其中第一級分類所用的特徵就是我們定義的概率主題詞(PTW)，第二級所用的特徵是傳統的信息增益特徵提取方法提取的詞特徵；從圖3所示的對比數據，可以看出，在兩個不同的語料庫中的實驗數據表明本發明的兩級組合分類方法的正確率都高於相應的單一分類方法。此外，由於第一級裡面所用的概率主題詞(PTW)特徵佔所有語料庫詞表的一小部分，加上樸素貝葉斯方法相對於其他分類方法效率要高很多，所以系統的整體效率也有很大的提高。
上面描述是用於實現本發明及其實施例，各個步驟均為示例，本領域普通技術人員可以根據實際情況確定要使用的實際步驟，而且各個步驟有多種實現方法，均應屬於本發明的範圍之內。因此，本發明的範圍不應由該描述來限定。本領域的技術人員應該理解，在不脫離本發明的範圍的任何修改或局部替換，均屬於本發明權利要求來限定的範圍。
權利要求
1.一種基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述方法包括第一級文本分類基於樸素貝葉斯分類方法，利用概率主題詞特徵對測試文本分類，利用拒絕條件判斷是否屬於樸素貝葉斯分類；第二級文本分類對於第一階段文本分類方法不能分類的文本，基於傳統的特徵提取方法提取出特徵詞，再利用這些特徵詞以及文本分類方法進行第二次文本分類。
2.根據權利要求1所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第一級文本分類的判斷拒絕條件是判斷一篇文檔是否可以用第一個分類方法分類，採用兩個拒絕條件利用計算文檔屬於各個類別的後驗概率值的大小；利用計算提取出來的概率主題詞的數目大小。
3.根據權利要求1所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第一級文本分類步驟包括a)提取概率主題詞；b)以概率主題詞為特徵，利用樸素貝葉斯分類器對文本進行分類；c)確定兩個拒絕條件；d)通過拒絕條件判斷此文本是否可以用第一階段裡面的分類器進行分類。
4.根據權利要求1所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第二級文本分類步驟包括aa)提取信息增益特徵詞；bb)利用一種分類方法對被拒絕的文本進行分類。
5.根據權利要求3所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第一級文本分類步驟a，利用詞屬於每個類別中的後驗概率提取主題詞。
6.根據權利要求3所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第一級文本分類步驟b，通過這些概率主題詞特徵計算文本的後驗概率，概率值最大的類別為分類的可能結果。
7.根據權利要求3所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第一級文本分類步驟c，兩個拒絕規則是通過分析文本屬於每個類別的後驗概率及概率主題詞的數目決定的。
8.根據權利要求3所述基於概率主題詞的兩級組合文本分類方法，其特徵在於所述第一級文本分類步驟d，如果判斷結果為可以分類，整個分類過程結束；如果判斷結果為拒絕分類則進行第二級分類過程。
9.根據權利要求4所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第二級文本分類步驟aa，利用傳統的特徵提取方法信息增益或者文檔頻率提取特徵詞。
10.根據權利要求4所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述第二級文本分類步驟bb，這個階段的分類器是基於樸素貝葉斯、支持向量機或者K近鄰方法的分類器，可以選擇其中的任一個分類器。
11.根據權利要求2所述基於概率主題詞的兩級組合文本分類方法，其特徵在於，所述拒絕條件是第一個是判斷由貝葉斯分類方法計算出來的文本的後驗概率是否大於某個閾值；如果文本屬於具有最大後驗概率的類別的概率值小於某個閾值，則拒絕分類；第二個是判斷從被分類文本中提取出來的概率主題詞的數目是否滿足一定的條件；如果文本中提取出來的概率主題詞的數目滿足給定的不等式時，則拒絕分類。
全文摘要
本發明涉及自然語言處理及模式識別領域，公開基於概率主題詞的兩級組合文本分類方法，一級分類基於樸素貝葉斯分類方法，利用概率主題詞特徵和拒絕條件判斷對測試文本分類；二級分類再基於傳統特徵提取方法提取出特徵詞對被第一級拒絕分類的測試文本進行分類。本發明分級組合方法對文本進行分類，融和不同分類器的特點能夠非常快的在一級分類中對很多文本進行正確分類，大大提高文本分類系統效率，為文本分類系統實用化提供很好的處理方式；考慮文本特點提出概率主題詞，在適當的拒絕條件下，概率主題詞以很高的正確率完成大量文本分類任務。實驗證明本發明兩級組合與傳統單一分類相比，能夠大大減少時間消耗並能提高系統分類正確率。
文檔編號G06F17/27GK101059796SQ20061001174
公開日2007年10月24日 申請日期2006年4月19日 優先權日2006年4月19日
發明者宗成山, 李壽山 申請人:中國科學院自動化研究所