基於信息概念格矯正的svm文本自動分類方法及其系統的製作方法
2023-07-06 07:16:36
專利名稱：基於信息概念格矯正的svm文本自動分類方法及其系統的製作方法
技術領域：
本發明涉及數據挖掘領域，特別是涉及一種基於信息概念格矯正的SVM文本自動分類方法及其系統。
背景技術：
經典的支持向量機(SVM)算法只給出了二類分類的算法，而在數據挖掘的實際應用中，一般要解決以下兩個問題:1、樹狀多層次類別的分類首先，針對這個問題現有技術是通過多個二類支持向量機的組合來解決，主要有一對多組合模式、一對一組合模式和SVM決策樹，再就是通過構造多個分類器的組合來解決。而這幾種解決方法最終解決是單層多個類別之間的文本分類，並沒有解決實際應用中樹狀多層次類別的分類問題及其分類精度。其次，由於SVM是藉助二次規劃來求解支持向量，而求解二次規劃將涉及m階矩陣的計算(m為樣本的個數)，當m數目很大時該矩陣的存儲和計算將耗費大量的機器內存和運算時間。2、分類精度現有技術雖結合了其他算法的優勢，解決多類問題的分類精度。如:與粗集理論結合，形成一種優勢互補的多類問題的組合分類器。但是對於樹狀類別的細化和深入，類別與類別之間的距離越來越近，不僅計 算量大量增加而且分類精度也越來越低。
發明內容
本發明所要解決的技術問題是提供一種基於信息概念格矯正的SVM文本自動分類方法，其基於信息概念格矯正可以對文本進行全方面的挖掘和分析，如對新聞全方面的挖掘和分析可以提高廣告投放和新聞搜索的精度。為解決上述技術問題，本發明米用的一技術方案是:一種基於信息概念格矯正的SVM文本自動分類方法，其包括以下具體步驟:第一步:信息概念格的建立，其用可擴展標記語言存儲數據，並由多個Category節點和多個指針節點兩部分組成，其中指針的類型至少包括:局部與整體關係、類屬關係、製造關係、人物關係、地理關係、白名單、黑名單；第二步:信息概念格中Category節點和指針節點的計算；第三步:信息概念格結合SVM預測文本類別,根據Category節點與指針節點的關係及指針節點相對於Category節點的權重值預測文本類別，如信息概念格無法預測類別時則用SVM模型預測類別。在上述技術方案的基礎上，進一步包括附屬技術方案:所述第二步中對於某個類別的所有特徵詞先採用開方檢驗方法，其計算公式是:
權利要求
1.一種基於信息概念格矯正的SVM文本自動分類方法，其特徵在於其包括以下步驟: 第一步:信息概念格的建立，其用可擴展標記語言存儲數據，並由多個Category節點和多個指針節點兩部分組成，其中指針節點的類型至少包括:局部與整體關係、類屬關係、製造關係、人物關係、地理關係、白名單、黑名單； 第二步:信息概念格中Category節點和指針節點權重的計算； 第三步:信息概念格結合SVM預測文本類別,根據Category節點與指針節點的關係及指針節點相對於Category節點的權重值預測文本類別，如信息概念格無法預測類別時則用SVM模型預測類別。
2.根據權利要求1所述的SVM文本自動分類方法，其特徵在於:所述第二步中對於某個類別的所有特徵詞先採用開方檢驗方法，其計算公式是:
3.根據權利要求2所述的SVM文本自動分類方法,其特徵在於:所述Category節點指的是類別對象，指針節點指的是類別屬性，而信息概念格描述的是Category節點之間、Category節點和指針節點之間、指針節點之間的聯繫和統一。
4.一種基於信息概念格矯正的SVM文本自動分類系統,其特徵在於其包括:數據存儲模塊、權重計算模塊、SVM訓練建模模塊、和類別預測模塊，其中數據存儲模塊通過利用分詞工具建立由多個Category節點和多個指針節點兩部分組成的信息概念格,指針節點的類型至少包括:局部與整體關係、類屬關係、製造關係、人物關係、地理關係、白名單、黑名單；權重計算模塊來計算節點的權重。
5.根據權利要求4所述的SVM文本自動分類系統，其特徵在於:所述數據存儲模塊的建立包括以下步驟: 1)添加大類類別，生成信息概念格最基本的框架； 2)添加類別類屬，按順序步驟如下: ①採集各個大類樣本； ②利用分詞工具添加類屬關係、製造關係(上下遊關係)、黑名單、白名單四大關係； ③人工採集分析信息添加節點的人物關係和地理關係； ④添加特徵詞屬性，方法同SVM訓練建模模塊中文本預處理步驟中的特徵選擇； 3)添加類別的id,給每個Category節點添加id屬性,按照Category節點層次唯一標識一個節點。
6.根據權利要求5所述的SVM文本自動分類系統，其特徵在於:所述SVM訓練建模模塊包括如下步驟:1)依次進行切詞、去停止詞、特徵選擇、文本向量化的文本預處理；2)支持向量機。
7.根據權利要求4或5或6所述的SVM文本自動分類系統，其特徵在於:所述類別預測模塊包括如下步驟:文本分 詞處理、分析分詞結果、類別匹配計算。
全文摘要
本發明公開了一種基於信息概念格矯正的SVM文本自動分類方法及其系統，其包括信息概念格的建立、信息概念格中節點權重的計算、和信息概念格結合SVM預測文本類別。本發明實現樹狀類別的分類，並且在很大程度上減少了計算量。另外，基於信息概念格的矯正大大提高了方法的精度。
文檔編號G06F17/30GK103092994SQ201310053968
公開日2013年5月8日 申請日期2013年2月20日 優先權日2013年2月20日
發明者胡琳, 陳勇兵, 朱造峰 申請人:蘇州思方信息科技有限公司