一種基於數據挖掘技術的文本多精度表示方法
2023-05-31 09:35:06 1
專利名稱：一種基於數據挖掘技術的文本多精度表示方法
技術領域：
本發明涉及計算機文本自動處理領域中的一種基於數據挖掘技 術的文本多精度表示方法，特別適用於任何語言的文本文檔的文本 搜索、文本聚類、文本摘要等諸多文本智能處理。
背景技術：
目前對文本的表示通常採用向量空間模型，即從詞彙表中抽取 特徵詞構成一個公共表示空間一向量空間，然後把文檔集合中的每 一個文檔表示在向量空間中。在向量空間模型中，是以單個詞為處 理對象的。並且，有一個重要的前提假設詞與詞之間是相互獨立 的。在這種設計中，由於是以單個詞為處理對象，這樣就割裂了語
言中詞與詞之間相互關聯關係；同樣，詞與詞之間相互獨立這一假
設也是不成立的。在現實語言中，詞與詞之間是相互關聯的。因 此，基於向量空間模型的文檔表示有表示不清，文檔間易於混淆等缺點。
發明內容
本發明所要解決的技術問題在於避免上述背景技術中的不足之 處而提供一種基於數據挖掘技術的詞關聯挖掘算法，準確地從文本 中抽取多層次文本特徵，形成文本精確表示的基於數據挖掘技術的 文本多精度表示方法。本發明利用數據挖掘算法充分發現文本中那 些相互關聯的且與文本中心內容緊密相關的詞組合，這些詞組合代 表了與文本中心思想相關的概念，通過這些概念詞組合對文檔進行精確表示。本發明具有運算速度快，性能穩定，與文本所用語言無 關，適用面廣等特點。
本發明所要解決的技術問題由以下技術方案實現
它包括步驟
① 對文本進行分詞處理，停用詞過濾處理；
② 根據數據挖掘技術設計詞關聯挖掘算法，對分詞及停用詞 過濾處理後的文本進行多層次文本特徵抽取；
詞關聯挖掘算法包括步驟給定一篇文檔D，
抽取出D中所有的句子形成集合S={Sl,s2，……s丄其中 s,， S2,……Sn代表文檔中的句子；
(1) D中出現的詞構成集合d，統計d中各個詞在句子中出現 的頻率，設定一個限定值R,把發生次數超過R的詞放入集合L中， 把未能進入L,的詞放入集合 L,中；
(2) 利用集合 L,對S中的句子進行處理，其過程是去除每個 句子中在 L,中出現的詞組合元素，經過處理的句子形成新的集合
。貼',
(3) 基於S,中的每個句子，找出句中所有兩個詞的詞組 合，形成集合C2，找出C2中每個詞組合在句子中出現的頻率，把發 生頻率次數超過R的詞組合放入L2中，把未能進入L2的詞組合放入 "中；
(4) 利用集合~"對S中的句子進行處理，其過程是去除每個 句子中在 L2中出現的詞組合元素，經過處理的句子形成新的集合
(5) 基於S,中的每個句子，找出句中所有三個詞的詞組 合，形成集合C3，找出C3中每個詞組合在句子中出現的頻率，把發生頻率次數超過R的詞組合放入U中，把未能進入U的詞組合放入 U中；
重複上述(5)、 (6)步驟，直至找出所有滿足限定值R的包含n 個詞的詞組合特徵，放入L中，n為大於3的整數，
集合L,，L2，...... ，U中的詞組合就構成了文檔D的多層次文本
特徵，多層次文本特徵包括單個詞特徵、兩詞特徵、三詞特徵及n 個詞的特徵，n為大於3的整數；
多層次文本特徵表示形式為
單個詞特徵{WorcU, {Word2};
兩詞特徵(Word,， Word2}， {Word3, Word4};
三詞特徵(Word,， Word2, Word3}， {Word4, Words, WordJ ;
n個詞特徵{Word, Word2,......， Wordn}。
本發明與背景技術相比具有以下有優點
1. 本發明採用詞關聯挖掘算法不僅可以發現文本中的單個詞特 徵，還可以發現多詞特徵，對文本進行多層次描述，比傳統方法抽 取的單個詞的特徵更能反映文本的內容特徵。
2. 本發明區別傳統的向量空間模型試圖用一個向量空間表示文檔 集合中所有的文檔，由於向量空間所含特徵維數是有限的。因此， 向量空間模型的表示能力也是有限的。隨著文檔集合中文檔數量的 增加，向量空間模型的這種局限性就越明顯。因此，向量空間模型 不適用於動態增加的文檔集合。但現實生活中，大部分文檔集合是 動態增加的。本發明能對每個文檔單獨處理，抽取其特徵，從而避 免了上述缺點，適合於動態文檔集合。
3. 本發明使用多層次特徵表示文本，多層次特徵的數量是依具體 文本的不同而不同的，文本中的特徵多，挖掘出的特徵就多；而在
6向量空間模型中，集合中所有的文檔都使用同一個向量表示空間。 因此，從每個文檔中挖掘出的特徵數量是一樣的，不能隨文檔所含 特徵量的不同而變化。
4.本發明還具有運算速度快，性能穩定，與文本的文字語言無 關，適用範圍廣等優點。
圖1是本發明的文本多層次特徵挖掘過程的流程圖。
具體實施例方式
參照圖1,本發明包括計算機處理文本時的文本表示技術，文 本表示是指抽取自然語言原始文本中的特徵並用特徵表示文本的過 程，在計算機內部是基於文本表示進行文本檢索、分類、聚類處理 運算。本發明包括步驟
① 對文本進行分詞處理，停用詞過濾處理； 實施例本發明文本分詞處理。對於中文文本，首先找出文本中
的詞邊界，從而把文本中包含的詞顯式表示出來，這一過程就是分 詞，然後對每一個詞進行詞性標註。對於西方語言，詞與詞之間有 空格作為間隔，無需進行分詞處理，可直接進行詞性標註處理。
實施例本發明停用詞過濾處理，即把與文本中與內容不相關的 詞，如介詞、連詞等從文本中刪除。這樣不會損失文本的原有信 息，且可以減少運算量。如圖1所示，第①步驟中的文本分詞和停 用詞過濾是公知的文本處理措施。
② 根據數據挖掘技術設計詞關聯挖掘算法，對分詞及停用詞過 濾處理後的文本進行多層次文本特徵抽取；
詞關聯挖掘算法包括步驟給定一篇文檔D，(1) 抽取出D中所有的句子形成集合S={Sl，s2，……s丄其中 Sl, S2,……s。代表文檔中的句子；
(2) D中出現的詞構成集合d,統計d中各個詞在句子中出現 的頻率，設定一個限定值R，把發生次數超過R的詞放入集合"中， 把未能進入L的詞放入集合 L中；
(3) 利用集合 U對S中的句子進行處理，其過程是去除每個 句子中在 lw中出現的詞組合元素，經過處理的句子形成新的集合 Snewj
(4) 基於S,中的每個句子，找出句中所有兩個詞的詞組合， 形成集合C2，找出C2中每個詞組合在句子中出現的頻率，把發生頻 率次數超過R的詞組合放入"中，把未能進入L2的詞組合放入 L2 中；
(5) 利用集合 U對S中的句子進行處理，其過程是去除每個 句子中在 L2中出現的詞組合元素，經過處理的句子形成新的集合
(6) 基於S,中的每個句子，找出句中所有三個詞的詞組合， 形成集合C3，找出C3中每個詞組合在句子中出現的頻率，把發生頻 率次數超過R的詞組合放入U中，把未能進入U的詞組合放入 L3 中；
重複上述(5)、 (6)步驟，直至找出所有滿足限定值R的包含n 個詞的詞組合特徵，放入L中，n為大於3的整數，
集合LbL2，...... ，Ln中的詞組合就構成了文檔D的多層次文本特
徵，多層次文本特徵包括單個詞特徵、兩詞特徵、三詞特徵及n個 詞的特徵，n為大於3的整數；
多層次文本特徵表示形式為單個詞特徵{Word,}, {Word2}; 兩詞特徵(Word,, Word2}， {Word3， WordJ; 三詞特徵(Wor山，Word2， Word3}， {Word4， Words, WordJ; n個詞特徵{Word!, Word2，......， Word}。
如圖1所示，實施例本發明第②步中詞關聯挖掘算法各步驟操 作過程如下-
利用數據挖據技術抽取文本中的多詞文本特徵，多詞特徵包括 單個詞特徵，兩詞特徵，三詞特徵等各種長度的特徵。特徵長度越 長，對文本的刻畫越細膩。這些各種長度的詞特徵形成文本的多精 度表示。具體的文本特徵挖掘算法以函數的形式描述如下，是由一 組順序調用的函數組成的。 (l)MineDoc函數 輸入 一個文檔T
輸出文檔中包含的多層次詞組特徵
MineDoc (Document r)
行l:S爭T: hl;〃S代表原始文檔T中的所有句子Sp s2， .....sn 行2: while ( Sk#0) do begin
行3: 找出在所有句子中發生次數超過或等於R次的詞序列， 組成集合A;同時也找出發生次數未超過R次的詞序列， 組成集合 A。
行4: 利用 丄;t對Sk中的每一個句子進行處理，刪除句子中在 Z^t中出現的詞。具體步驟參見SentenceProc函數說明
行5:
行6: end
行7: Result- "k (k=l, 2，……n)〃結果Result由丄/，丄2,.....，丄 等 組成。L,含有單個詞，L2包含兩詞特徵，以此類推。MineDoc函數中第4步使用的函數SentenceProc0描述如下， 即為第(2)個函數。 (2) SentenceProc 0函數 輸入 一個句子s
輸出 一個經處理後縮短了的句子
SentenceProc (Sentence s， 行l:if(k-l)
行2: t = remove items in ~qk from s
行3: else {
行4: generate ordered frequency tree r;
行5: Ss = Break(r);
行6: t = mapping Ss to sentence;
行7: }
行8: return t
其中，s代表一個句子； w是一個集合，它包含了 "中所有與 s相關的非頻繁k-itemset集合。當—l時，只需將^中的元素從s中刪 除即可。當A:》2，首先需要建立一個頻率樹。然後，在SentenceProc 算法中的第5步，調用Break函數進行運算，結果放在&中。&中是 一些是由0和1組成的數字串，即在Break函數內部的運算是二進位 的，這樣可以加快運算速度，到最後再把這些數字串通過映射變為 句子。
SentenceProc函數是此挖掘算法的核心，它能夠對句子進行分 解，分解產生的子句的長度會比原來的句子短。這樣，每調用一次 SentenceProc函數，文檔中的句子會越變越短，數量也越變越少，對
文檔的掃描時間也會隨之縮短。
函數Break(灘述如下，即為第(3)個函數。(3)函數Break
輸入 一棵基於句子建立的樹
輸出 一串由0和1組成的二進位碼
Break(Tree r)
行1: if(r is leaf) return 0;
行2: forall xer.subs do
行3:subres[x] = Break(x) U newString (~x)
今亍4: result =newStringO;
行5: forall xer.subs do
行6:result = result & subres[x];
行7: remove beresult， b.size《A
行8: return result;
Break函數的輸入是一個樹結構，輸出是一些由若干0和1組 成的數字串。函數的第1行是一個退出條件，如果當前節點是樹的 葉節點則返回空集。第2和3行是一個迭代循環，每一次迭代循環 負責處理樹r的一個分支，處理結果放在subres中。newString(~x) 函數負責生成一個由0和1組成的數字串，在此數字串中除與x對 應的位是0外，其它位都是1。在第4行，利用newString( x)函數 對result進行初始化。在第5和6行，把subres中的數字串進行連續 邏輯與操作，具體運算過程是首先讓初始化後的result與subres 中的一個數字串進行邏輯與操作，在隨後的運算中每一個數字串都 與上一次操作的結果進行邏輯與運算。最終在result中會有若干個 由0和1組成的數字串。在第7步，刪除result中那些含1的個數不 大於k的數字串。因為，由這些數字串映射產生的句子的長度不會 大於k，在下一次第k+1次循環中，不可能從中產生長度為k+1的 特徵。利用本發明所建立的一個文本檢索系統實驗表明，利用本發明所 述文本表示方法實現的文本檢索系統比使用傳統向量空間文本表示
方法建立的檢索系統的査全率和準確率都能提高約io%。
權利要求
1. 一種基於數據挖掘技術的文本多精度表示方法，它包括步驟①對文本進行分詞處理，停用詞過濾處理；其特徵在於還包括步驟②根據數據挖掘技術設計詞關聯挖掘算法，對分詞及停用詞過濾處理後的文本進行多層次文本特徵抽取；詞關聯挖掘算法包括步驟給定一篇文檔D，(1)抽取出D中所有的句子形成集合S＝{s1，s2，……，sn}，其中s1，s2，……，sn代表文檔中的句子；(2)D中出現的詞構成集合C1，統計C1中各個詞在句子中出現的頻率，設定一個限定值R，把發生次數超過R的詞放入集合L1中，把未能進入L1的詞放入集合~L1中；(3)利用集合~L1對S中的句子進行處理，其過程是去除每個句子中在~L1中出現的詞組合元素，經過處理的句子形成新的集合Snew；(4)基於Snew中的每個句子，找出句中所有兩個詞的詞組合，形成集合C2，找出C2中每個詞組合在句子中出現的頻率，把發生頻率次數超過R的詞組合放入L2中，把未能進入L2的詞組合放入~L2中；(5)利用集合~L2對S中的句子進行處理，其過程是去除每個句子中在~L2中出現的詞組合元素，經過處理的句子形成新的集合Snew；(6)基於Snew中的每個句子，找出句中所有三個詞的詞組合，形成集合C3，找出C3中每個詞組合在句子中出現的頻率，把發生頻率次數超過R的詞組合放入L3中，把未能進入L3的詞組合放入~L3中；重複上述(5)、(6)步驟，直至找出所有滿足限定值R的包含n個詞的詞組合特徵，放入Ln中，n為大於3的整數，集合L1，L2，......，Ln中的詞組合就構成了文檔D的多層次文本特徵，多層次文本特徵包括單個詞特徵、兩詞特徵、三詞特徵及n個詞的特徵，n為大於3的整數；多層次文本特徵表示形式為單個詞特徵{Word1}，{Word2}；兩詞特徵{Word1，Word2}，{Word3，Word4}；三詞特徵{Word1，Word2，Word3}，{Word4，Word5，Word6}；n個詞特徵{Word1，Word2，……，Wordn}。
全文摘要
本發明公開了一種基於數據挖掘技術的文本多精度表示方法。它涉及計算機領域中的電子文本文檔的精確表示技術。它能夠利用數據挖掘技術從海量文本中發現重要的文本特徵信息，這些特徵信息是多層次、多精度的。利用這些特徵能夠形成文本的精確表示，計算機基於這種精確的文本表示進行文本檢索、聚類和分類等處理，能產生更佳的效果。本發明還具有運算速度快、性能穩定、適用於各種自然語言文本的特點。本發明可以用於任何語言的文本文檔的文本搜索、文本聚類、文本摘要等諸多文本智能處理。
文檔編號G06F17/27GK101436194SQ20081007968
公開日2009年5月20日 申請日期2008年11月4日 優先權日2008年11月4日
發明者張佳驥, 勇 陳 申請人:中國電子科技集團公司第五十四研究所