一種單篇文本關鍵詞的提取方法
2023-07-04 05:06:56 1
專利名稱：一種單篇文本關鍵詞的提取方法
技術領域：
本發明涉及一種單篇文本關鍵詞的提取方法，具體是涉及一種對TFIDF方法提取 領域文集中單篇文本關鍵詞的改進方法。
背景技術：
單篇文本關鍵詞是文本知識流生成、語義鏈網絡構建、文本語境複雜度和信息量 中文本表示的基本元素。單篇文本關鍵詞的提取精度直接影響到文本分類、聚類、詞語關聯 分析、文本自動摘要、文本過濾、信息檢索、話題檢測、標註網頁等文本信息處理的質量與效 果。目前對單篇文本關鍵詞提取技術的研究主要有TFIDF方法、樸素貝葉斯分類法、互信 息方法、最大熵模型法、最大似然性和前綴樹法等。目前應用最廣的單篇文本關鍵詞的提取方法是TFIDF方法。TFIDF方法認為，單 篇文本的關鍵詞應該在文本中經常出現，並且在其他文集中很少出現。TFIDF方法用詞權 公式計算一個詞對於文集中的單篇文本的重要程度。TFIDF方法的詞權就是詞頻TF(Term Frequency)與逆文檔頻率 IDF(Inverse Document Frequency)的乘積。TFIDF 詞權公式如 下TFIDFt = TFt X IDFt = TFt X log (N/nt)其中，TFt為詞t的詞頻，也就是詞t在文本中出現的次數。IDFt為詞t的逆文檔 頻率，它通過Iog(NAit)計算；N為文集的文本總數；nt為詞t的篇頻，也就是文集中包含詞 t的文本數。詞的逆文檔頻率與篇頻成反比，篇頻越高則逆文檔頻率越低。所以，通過檢驗 詞的逆文檔頻率可以過濾掉那些在文集裡最普遍出現的高篇頻詞。但是用TFIDF方法提取領域文集中的單篇文本關鍵詞時，存在以下不足(I)TFIDF方法中無關領域文集涉及的領域和文本總數會降低單篇文本關鍵詞的 提取質量。(2)由於詞的逆文檔頻率與詞在文集中出現的篇頻成反比，TFIDF詞權會傾向於 低篇頻詞，導致單篇文本關鍵詞的提取精度降低。(3)當領域文集屬於單一領域時，一些代表領域整體的高篇頻也會被過濾掉，最終 關鍵詞提取結果只能保留文本特性而不能保持領域特性。
發明內容
本發明的目的在於針對TFIDF方法的不足，提供一種單篇文本關鍵詞的提取方 法，該方法能避免無關領域文集對關鍵詞提取結果的影響，提高關鍵詞的提取精度，還能提 高關鍵詞提取結果的領域特性。為了達到上述的目的，本發明的構思如下採用搜尋引擎輔助法提取單篇文本的 關鍵詞，提高領域文集中單篇文本關鍵詞的提取精度，提高關鍵詞提取的領域特性；所述的 搜尋引擎輔助法是通過搜尋引擎檢驗詞的普遍性，再通過改進的TFIDF詞權公式提取關 鍵詞。
3
根據上述的發明構思，本發明採用下述技術方案一種單篇文本關鍵詞的提取方法，其特徵在於，其具體步驟如下(1)打開領域文集中的單篇文本；(2)文本內容預處理，包括分詞、詞性標註；(3)提取有意義的實詞；(4)統計實詞的詞頻；(5)打開領域文集的所有文本；(6)統計實詞在領域文集中的篇頻；(7)統計搜尋引擎檢索實詞所返回的頁面數；(8)用改進的TFIDF詞權公式計算單篇文本所有實詞的權重，從中提取一定比例 的關鍵詞。所述的改進的TFIDF詞權公式，記為TFMIDF，其計算式如下
權利要求
一種單篇文本關鍵詞的提取方法，其特徵在於，採用搜尋引擎輔助法提取單篇文本的關鍵詞，提高領域文集中單篇文本關鍵詞的提取精度，提高關鍵詞提取的領域特性；所述的搜尋引擎輔助法是通過搜尋引擎檢驗詞的普遍性，再通過改進的TFIDF詞權公式提取關鍵詞，其具體步驟如下(1)打開領域文集中的單篇文本；(2)文本內容預處理，包括分詞、詞性標註；(3)提取有意義的實詞；(4)統計實詞的詞頻；(5)打開領域文集的所有文本；(6)統計實詞在領域文集中的篇頻；(7)統計搜尋引擎檢索實詞所返回的頁面數；(8)用改進的TFIDF詞權公式計算單篇文本所有實詞的權重，從中提取一定比例的關鍵詞。
2.按權利要求1所述的一種單篇文本關鍵詞的提取方法，其特徵在於，上述步驟(8)中 所述的改進的TFIDF詞權公式，記為TFMIDF，其計算式如下TFMDFt = TFtX (a *DIDFt+(l-a )*SIDFt)其中TFt是詞t在文本中出現的次數；DIDFt是領域文集中的逆文檔頻率，SIDFt是利用 搜尋引擎計算的逆文檔頻率；α是用來調節原始DIDF與SIDF之間的權重；當a = 1時， TFMDFt = TFtXDIDFt,詞權賦值依賴領域文集數；當a = 0時，TFMDFt = TFt X SIDFt,詞權 賦值不依賴領域文集數，提取關鍵詞直接面向單篇文本。
3.按權利要求2所述的一種單篇文本關鍵詞的提取方法，其特徵在於，所述的領域文集中的逆文檔頻率，其計算公式如下MDIDF , = log(nt其中Nd是領域文集的文本總數，nt是領域文集中包含詞t的文本數。
4.按權利要求2所述的一種單篇文本關鍵詞的提取方法，其特徵在於，所述的利用搜尋引擎計算的逆文檔頻率，其計算公式如下 NsSIDFt = log(—) Pt其中Ns等價於搜尋引擎的索引總頁面數，pt為一個檢索查到詞t的頁面數。
全文摘要
本發明公開了一種單篇文本關鍵詞的提取方法，該方法具體步驟如下(1)打開領域文集中的單篇文本；(2)文本內容預處理；(3)提取有意義的實詞；(4)統計實詞的詞頻；(5)打開領域文集的所有文本；(6)統計實詞在領域文集中的篇頻；(7)統計搜尋引擎檢索實詞所返回的頁面數；(8)用改進的TFIDF詞權公式計算單篇文本中所有實詞的權重，從中提取一定比例的關鍵詞。該方法能夠彌補TFIDF算法的不足，能避免無關領域文集對關鍵詞提取的影響，提高關鍵詞的提取精度，保持關鍵詞提取結果的領域特性。
文檔編號G06F17/30GK101968801SQ201010290828
公開日2011年2月9日 申請日期2010年9月21日 優先權日2010年9月21日
發明者張順香, 徐煒民, 梁國寧, 殷曉波, 駱祥峰 申請人:上海大學