基於不確定推理的文本層次分類方法與裝置的製作方法
2023-12-08 20:30:21
專利名稱：基於不確定推理的文本層次分類方法與裝置的製作方法
技術領域：
本發明涉及利用數據挖掘技術進行中文文本處理的信息技術領域，特別是涉及一種基於證據推理的無標題文本的分類方法和裝置。
背景技術：
隨著在行業內部網絡或者網際網路上的各種技術類、辦公類以及其他電 子化文檔的快速增長，對文檔的分類管理效率及性能提出了更高要求。一方面海量的文檔 導致單層目錄導航不再高效，需要更加科學的多層次目錄分類系統進行文檔分類管理。另 一方面單純依靠手工對大量文檔進行分類已經顯得不切實際。所以，文本的自動層次分類 技術的研究有很強的實際應用意義。然而目前比較成熟的研究與應用大多在文檔的單層目 錄分類上，文本多層次分類技術還處在初步探索階段，分類的準確度和性能仍是需要解決 的關鍵問題。目前探索的層次分類方法的解決方案可以分為兩種(1)自頂向下的方法(top-down level-based)現有的大部分層次分類方法都採 用這種模式，其特點是在類別樹的每一層都構建一個或者多個分類器，每個分類器在所在 層像單層文本分類一樣工作。一個文本從根節點開始，逐層向下分類，直至到達葉子節點。 這種方法具有明顯的優點將大的分類問題轉化為小的子問題，能較好地降低時間和空間 複雜度。然而這種方法也有明顯的缺點如果一個文本被分入了錯誤的父類，將不可能分入 正確的葉子類。(2)大爆炸方法(big-bang)這種方法在整個分類過程中只構造一個分類器。並用 來對文本進行分類。雖然克服了方法1所述的缺點，但方法的時間空間開銷一般比較大，不 適合在對時間要求較高的場合比如網絡上使用。在沒有一種方法能保證100%的正確率的前提下，近可能提高分類準確率就成了 分類算法追求的目標。利用特徵進行分類的模式下，特徵包含的信息是模糊的，不確定的。 比如「電腦」 一詞即可能出現在計算機類的文本中，也可能出現在生物科技類的文本，很難 確定一個特徵詞只出現在一個文本類中，不出現在其他類中，這就是當前的分類算法熱衷 於使用概率來描述特徵的區分度的原因。
發明內容
本發明的目的在於提供一種新的中文文本層次分類方法和裝置，用於 提高對中文文本分類的準確程度。本發明利用不確定推理理論即證據推理和模糊數的相關理論，充分挖掘特徵中 的不確定信息，改善分類的準確度。本發明是這樣來實現的一種基於不確定推理的文本層次分類方法，包括a)從訓練文本中提取特徵；b)確定分類問題的辨識框架和焦元；c)利用特徵的權重構造基本可信度分配函數(BPA)；d)根據基本可信度分配函數和待分類文本的特徵權重合成待分類文本的信度分 配；e)利用信度分布根據分類規則對待分類文本進行分類。本發明還提供一種文本層次分類裝置，包括
a)文本預處理模塊Ul，用於將文本預處理成算法需要的TF及BINARY向量形式；b)特徵抽取、分類器訓練模塊U2，用於對文本預處理模塊Ul處理的文本特徵的抽取、訓練分類器；即用於利用TF*IDF方法提取文本特徵，對文本降維，並利用特徵權重構造 基本可信度分配函數；c)分類模塊U3，用於根據特徵抽取、分類器訓練模塊U2生成的分類器對待分類文 本進行分類，並評價分類效率與準確性。與現有文本層次分類技術相比，本發明具有以下優點通過將非葉子類構造成虛擬的葉子類參與分類，很好的區分了父類與子類之間的 不同特徵；利用基本可信度分配函數分配給非葉子類的信度以及pignistic概率將文本的 分類可信度表示為一個三角模糊數，在分類時充分地利用了不確定信息，提高了分類的準 確程度。
圖1是本發明實施例中文本層次分類方法的流程圖；圖2是本發明實施例中分類器訓練的流程圖；圖3是本發明實施例中分類模塊的流程圖；圖4是本發明實施例中測試文本的分類結果判定的流程圖；圖5A、5B是本發明實施例中測試宏平均值及微平均值與每個類選取的特徵數之 間的關係圖；圖6是實現本發明的文本層次分類方法的裝置的結構具體實施例方式以下結合附圖對本發明作具體說明。應該指出，所描述的實施例僅 僅視為說明的目的，而不是對本發明的限制。實施例1本發明的實施例1提供了一種文本層次分類方法，如圖1所示，包括以下步驟步驟101 從訓練文本中提取特徵；步驟102 確定分類問題的辨識框架和焦元，利用特徵的權重構造基本可信度分 配函數(BPA)；步驟103 根據基本可信度分配函數和待分類文本的特徵權重合成測試文本的信 度分配；步驟104 利用信度分布根據分類規則對待分類文本進行分類。以下進一步詳細的說明本發明實施例的文本層次分類方法中的各個細節問題。1、語料選擇本實施例採用的語料為中文文本分類語料庫-TanCorpVl. 0，該語料庫分為兩個層 次，第一層12個類別，第二層60個類別，共有文本14150篇，具體層級結構及文本數見表1。 實驗時選取每個類別其中的70%作為訓練語料，剩下的30%作為測試語料。表 權利要求
一種基於不確定推理的文本層次分類方法，其特徵在於，所述方法包括如下步驟從訓練文本中提取特徵；確定分類問題的辨識框架和焦元集合；利用特徵的權重構造基本可信度分配函數(BPA)；根據基本可信度分配函數和待分類文本的特徵權重合成待分類文本的信度分配；利用信度分布根據分類規則對待分類文本進行分類。
2.如權利要求1的方法，其特徵在於，所述從訓練文本中提取特徵包括對文本進行分詞，統計詞頻，將文本表示成TF向量和BINARY向量，計算文本中詞的 TF*IDF值，根據權重提取特徵；文本中特徵的權重包括其中，WWi, fj)為文本Cli中特徵fj的權重，TFWi, fj)為文本Cli中特徵fj的頻數， IDF(fj)為特徵。的反文檔頻率。
3.如權利要求1的方法，其特徵在於，確定分類問題的辨識框架和焦元集合，是將所有 的葉子節點類的集合確定為分類問題的辨識框架；將除根節點外的所有節點類的集合作為 分類問題的焦元集合；焦元集合中的非葉子節點類焦元的信度是指分配在該大類上且不確 定該分配給該大類的哪個子類的信度。
4.如權利要求1的方法，其特徵在於，所述根據特徵的權重構造基本可信度分配函數 包括
5.如權利要求1的方法，其特徵在於，所述利用信度分布根據分類規則對待分類文本 進行分類包括由待分類文本的TF向量按下述公式生成待分類文本的特徵證據權重其中，％為待分類文本中特徵。的權重，TFj為待分類文本中特徵。出現的頻數； 利用證據權重對基本可信度分配加權，再利用遞推合成算法得到待分類文本屬於焦元 集合中所有類的信度分布；由信度分布根據分類規則對待分類文本進行分類。
6.如權利要求5的方法，其特徵在於，所述根據分類規則進行分類包括 利用信度分布計算待分類文本屬於每個層次的所有類的概率；利用待分類文本屬於每個層次的所有類的概率根據分類規則在每個層次上分類。
7.如權利要求6的方法，其特徵在於，所述利用信度分布計算待分類文本屬於每個層 次的所有類的概率包括將分配給父類的信度根據Pignistic概率分配方法分配給其子類，構造子類的信度的 三角模糊數的表述形式，並逆模糊化為概率；一個父類的信度等於分配給其所有子類的的
8.如權利要求6的方法，其特徵在於，所述分類規則包括如果下一層次概率最大的類別屬於上一層次的概率最大的類別，則接受上下兩個層次 上的分類結果，按各層次最大概率分類；如果下一層次概率最大的類別不屬於上一層次的 概率最大的類別，但上一層次的最大概率大於預先設定的閥值時，將上一層次按最大概率 分類，再在該類別中按照概率最大原則分類；如果下一層次概率最大的類別不屬於上一層 次的概率最大的類別，同時上一層次的最大概率不大於預先設定的閥值，按照下一層次的 概率最大原則確定文本的上下層次分類結果。
9.一種基於不確定推理的文本層次分類裝置，其特徵在於，包括文本預處理模塊U1，用於將文本預處理成算法需要的TF及BINARY向量形式； 特徵抽取、分類器訓練模塊U2，用於對文本預處理模塊Ul處理的文本特徵的抽取、訓 練分類器；即用於利用TF*IDF方法提取文本特徵，對文本降維，並利用特徵權重構造基本 可信度分配函數；分類模塊U3，用於根據特徵抽取、分類器訓練模塊U2生成的分類器對待分類文本進行 分類，並評價分類效率與準確性。
10.如權利要求9的文本層次分類裝置，其特徵在於，所述文本預處理模塊Ul包括 分詞單元，用於對輸入的文本進行分析，輸出分詞的結果詞列表；系統詞典生成單元，用於統計文本集合中出現的詞，並統一編號； 文本向量生成單元，用於根據系統詞典對每個文本進行分析，生成文本的TF向量及 BINARY 向量。
11.如權利要求9的文本層次分類裝置，其特徵在於，所述特徵抽取、分類器訓練模塊 U2包括類文本向量生成單元，用於統計每個類，包括葉子節點類和非葉子節點類的文本TF向 量及BINARY向量；特徵抽取單元，用於根據特徵權重計算公式和權重閥值抽取一定數目的特徵； 特徵BPA函數生成單元，用於根據類的文本特徵權重向量生成各特徵的基本可信度分 配(BPA)函數。
12.如權利要求9的文本層次分類裝置，其特徵在於，所述分類模塊U3包括特徵證據權重生成單元，用於對待分類文本表示成特徵的TF向量形式，並生成歸一化 的特徵證據權重；證據合成單元，用於根據特徵抽取、分類器訓練模塊模塊生成的BPA函數和特徵證據 權重對證據進行合成，生成待分類文本屬於各類別的信度分布；概率計算單元，用於根據證據合成單元生成的信度分布，利用Pignistic概率以及三 角模糊數的知識計算待分類文本屬於各葉子節點類和非葉子節點類的概率； 分類結果判定單元，用於根據概率計算單元輸出的待分類文本屬於各類別的概率，一 用分類規則判定待分類文本的最終分類結果；分類精度評價單元，用於對待分類文本集的分類結果按照通用的評價標準評價分類進度；最優特徵數生成單元，用於根據多次具體的分類精度評價值的優劣生成特徵提取時的 最優特徵權重閥值及特徵數。
全文摘要
本發明涉及利用數據挖掘技術進行中文文本處理的信息技術領域，涉及一種基於不確定推理的文本層次分類方法和裝置。包括a)從訓練文本中提取特徵；b)確定分類問題的辨識框架和焦元；c)利用特徵的權重構造基本可信度分配函數；d)利用特徵的基本可信度分配函數合成測試文本的信度分布；e)利用信度分布根據分類規則進行分類。本發明具有以下優點通過將非葉子類構造成虛擬的葉子類參與分類，很好的區分了父類與子類之間的不同特徵；利用基本可信度分配函數分配給非葉子類的信度以及pignistic概率將文本的分類可信度表示為一個三角模糊數，在分類時充分地利用了不確定信息，提高了分類的準確程度。
文檔編號G06F17/30GK101976270SQ201010562470
公開日2011年2月16日 申請日期2010年11月29日 優先權日2010年11月29日
發明者馮向前, 姜乃松, 沈玲玲, 王海, 王豔軍, 錢鋼 申請人:南京師範大學