一種基於組合特徵加權的科技文獻標註精簡研究結論的方法流程與流程
2023-11-05 15:43:07
本發明新型涉及基於組合特徵加權的科技文獻標註精簡研究結論的方法流程技術領域，具體為一種基於組合特徵加權的科技文獻標註精簡研究結論的方法流程。
背景技術：
伴隨著科學技術的飛速發展，文獻在各個學科及各種生活、生產領域總均有廣泛應用，且數量巨大，文獻的精簡的研究結論作為一種簡明扼要的信息歸結內容，亦廣泛存在於文獻的原始語句中，而從文獻中抽取出這些句子實際上仍是基於人工閱讀和標註，這就帶來很大的勞動量，不適合海量的文獻的信息提取，而目前研究中對文獻研究結論提出的提取方法，多數基於文本分類的文章，有基於文本情感分析，文本相似度檢測、基本利用規則抽、統計機器學習方法等進行文本處理科技術語，命名實體識別等，但對於期刊中文文本來講，其規則複雜性太高，而單獨基於統計機器學習的方法對中文內容識別其效果依賴於特徵的選取，這給實際提取本發明基於期刊論文等資源，從內容碎片化角度上將文章碎片化為句子級別，以句子為單位來抽取每篇文章的研究結論，作為每篇文章的得到的實際結論。
發明新型內容
本發明新型的目的在於提供一種基於組合特徵加權的科技文獻標註精簡研究結論的方法流程，以解決上述背景技術中提出的問題。
為實現上述目的，本發明新型提供如下技術方案：一種基於組合特徵加權的科技文獻標註精簡研究結論的方法流程，其包括分類抽取流程，既是基於訓練語料，做數據前清洗，然後分句獲得句子和類標籤，句子特徵選擇進行特徵化，然後訓練分類器，評價分類器，對訓練的分類器進行保存序列化，在應用階段，獲得應用文本，對其同樣數據清洗，分句，然後特徵化(應用 階段chi詞特徵是使用訓練階段的chi詞)，加載訓練分類器對應用文本進行研究結論預測，之後對預測的結果句子人工審核，進行後數據清洗處理，然後將這些清洗規則加入到原有程序中，迭代實驗，具體的步驟如下：
步驟一：前數據清洗模塊
由於句子本身會有亂碼公式表格英文字母數字等，需要對句子進行預處理去掉這些髒東西，在這裡需要數據前清洗，閱讀大量待處理的文本，總結出的文本前處理特點，結合其特點採用規則處理清洗；
步驟二：訓練階段模塊
獲取訓練樣本的全文文本，這些訓練樣本全部經過人工標註，即對全文欄位中的全部內容(這裡指的是正文的全部內容，不包括參考文獻等)，按照句子級別(句號)標出屬於研究結論的句子，非研究結論的句子不予標註，一篇文章可以標註多個結論句子，經過程序處理獲得全篇的句子(保持原文句子順序)和對應的標籤屬於研究結論的句子對應的標籤為正例1，不屬於研究結論的句子對應標籤為反例0，假如一篇被標註的文章有50句子，標記為研究結論的5句，其餘45句是非研究結論，那么正例就是5句話，反例45句話，這樣就獲得了句子樣本數據，假如有10篇標註的文章，那麼按照文章的順序，每篇文章分50個句子，那麼就是500個句子，具體的，訓練過程的算法為：
(1)獲取樣本
獲取訓練樣本文句子記錄為集合sens＝{sens(i)}，對應的句子訓練標籤集合為labels＝{labels(i)}，句子總數為n，各個句子表示為sens(i)，其中1＝<i＝10000，labels(i)的取值為1或0兩種取值，其中1代表本句子是研究結論句，為正例表示，0代表本句子是非研究結論句子，為反例表示；
(2)對訓練語料sens(i)句子進行特徵化表示，句子特徵化這裡使用了以下特徵：人工標記的標識詞特徵1個、chi詞頻特徵200個、句子所在文章級別的相關特徵4個、句子級別的相關特徵10個、詞語級別的相關特徵3 個、句序特徵1個、句序比特徵1個、句子結論段特徵4個，一共224個特徵，可以表示為f＝{f1，f2，f3……fn}，fi表示每個特徵n為224，f0到f224一共224個特徵，每個句子都要提取224個特徵；
步驟三：選取分類器訓練與評價模塊
(31)樣本類平衡處理，這裡分類屬於二分類問題，由於樣本中正例(研究結論句子很少)，反例(非研究結論句子很多)造成樣本分布不均勻，對於這些不均勻樣本直接採用分類的話會影響分類效果，所以需要進行樣本類平衡處理，有三種辦法可以處理：1增加少數類樣本數量，2減少多數類樣本數量，3增加少數類樣本的權重比例。可以根據需要採用任何一種方法處理；
(32)訓練分類器，使用常用的分類器decisiontree、svm、gaussiannb、randomforest、gradientboosting等分別對輸入特徵矩陣f和label訓練，可以選用5折交叉驗證，(80％數據訓練，20％的數據來測試)來平均訓練的分類器，某些情況下還要進行分類器的參數調優；
(33)評價分類器，評價參數主要是預測標籤的準確率，召回率，f值，a:正例測試文檔被正確分類為該類的數量，b:負例測試文檔被錯誤分類為屬於該類的數量，c:正例測試文檔被錯誤分類為不屬於該類的數量，d:負例測試文檔被正確分類為不屬於該類的數量，準確率precision＝a/(a+b)，召回率recall＝a/(a＝c)，f＝(2*precision*recall)/(precision+recall)，選擇f值較大的分類器作為生成的模型，如果效果不太理想，需要調整分類器參數，選擇好分類器之後，將訓練得到的這個分類器序列化到硬碟上保存起來，當需要應用測試的時候將其加載到內存即可進行應用預測；
步驟四：應用分類器預測研究結論標籤模塊
將待預測的rec文本全文欄位的正文部分經過程序分句提取出對應的特徵矩陣，{f0，f1......f223}這種形式，然後可以加載訓練保存的分類器模型進行預測出對應的研究結論標籤。
優選的，所述步驟二中，對訓練語料sens(i)句子進行特徵化表示，其中各特徵的提取細節步驟為：
第一步，人工標記的標識詞特徵1個，人工標識的短語句子集合記錄為tops＝{tops(i)，}，tops(i)為短語集合中的第i個短語，針對sens中的sens(i)，看當前的sens(i)能包含幾個tops(i)，記錄特徵為f0，表示為當前句子包含多少個tops(i)f0＝當期句子sens(i)包含多少個tops(i)，
第二步，chi詞頻特徵200個：對各個句子分詞後的詞語是否包含對應的chi詞語(200個)建立chi詞頻特徵，記錄為f1，f2，，，，，f200，這裡分兩個步驟，步驟1為如何構建200個chi詞語，步驟2為句子分詞後的詞語在對應的200個chi詞語位置上是否出現，出現的話此位置特徵為1，不出現特徵為0，
第三步，句子所在文章的級別相關特徵4個，這裡主要有本文章的句子總個數，影響因子，頁數，作者個數，關鍵字的個數，但是句子總個數需要分句程序來計算。特徵記錄為{f影響因子，f頁數，f作者個數，f關鍵字個數}，f201＝當前句子sens(i)所在文章的影響因子數，f202＝當前句子sens(i)所在文章的總頁數是多少，f203＝當前句子sens(i)所在文章的作者個數，f204＝當前句子sens(i)所在文章的關鍵詞個數是幾個第四步，句子級別相關特徵10個，句子相關特徵主要有本句子長度，句子是否有引用別的句子(參考文獻)，句子中文字符個數，句子其他字符個數，逗號個數，分號個數，引用號個數，頓號個數，冒號個數，當前句子中文字數佔句子所在文章的全部句子的中文字數比例，結論段句子中文字數佔全文總句子中的中文詞個數比例，f205＝當前句子sens(i)的長度，f206＝當前句子sens(i)是否引用別的文章，引用為1，否則為0，f207＝當前句子sens(i)的中文字符個數，f208＝當前句子sens(i)的非中文字符個數，f209＝當前句子sens(i)的逗號個數，f210＝當前句子sens(i)的分號個數，f211＝當前句子sens(i) 的引用號個數，f212＝當前句子sens(i)的頓號個數，f213＝當前句子sens(i)的冒號個數，f214＝{(當前句子sens(i)的中文字符個數，分母>0)/(當前句子sens(i)所在文章全部句子中文字符個數，分母為0)}，
第五步，詞語級別相關特徵3個，這裡主要是句子分詞後與標題詞共同出現的詞個數(去停用詞)，與文章定義的關鍵詞共現的個數，句子分次後的詞語與chi的200個詞共現的個數f215＝當前句子sens(i)分詞去停用詞後與標題分詞後二者共同出現詞個數，f216＝當前句子sens(i)分詞去停用詞後與文章定義的關鍵詞共同出現詞個數，f217＝當前句子sens(i)分詞去停用詞後與chi200個詞共同出現詞個數，
第六步，句序特徵1個，這裡是指一個句子在本篇文章所有句子的句序，比如一篇文章有100句，當前第49句的句序就是49，特徵記錄為218＝當前句子sens(i)在所在問所有句子的句序，
第七步，句序比特徵1個，這裡是指一個句子在本篇文章所有句子的句序比例，比如一篇文章有100句，當前第49句的句序就是0.49，也就是百分之49，特徵記錄為f219＝{(當前句子sens(i)的句序)/(當前句子sens(i)所在文章的所有句子的總個數)}，
第八步，結論段特徵4個，結論段特徵是基於某些算法或者規則得到一篇文章哪些句子開始的段落屬於結論段。屬於結論段的句子的開始句序到結尾都屬於結論段。主要有：當前句子是否是處於結論段，是1，否0；當前句子結論段的處於結論段的據序號，初始結論段據序位0，後續依次加1；當前句子處於結論段是通過句子開頭關鍵詞匹配找到；當前句子處於結論段是通過句子中間關鍵詞找到的，記錄為f220＝當前句子sens(i)是否為與結論段，是1，否0，f221＝當前句子sens(i)在所在結論段序，結論段開始1，後續句子依次加1，f222＝當前句子sens(i)處於結論段是通過句子開頭關鍵詞找到，為1，否則為0，以上f0到f223就是224個句子特徵化後的特徵， 每個句子也對應一個label特徵，標記這個句子是否是研究結論句子，將訓練語料中所有字符的特徵化結果f＝{f1，f2，f3……fn}特徵和對應的類別表示結果label作為輸入數據，進行訓練，得到訓練後的研究結論提取模型m。
優選的，所述在第二步中，構建chi詞語時，首先針對sens中的所有句子進行分詞，分詞以後形成詞集合，記錄為words_all＝{words(j)}，wrods(j)是words_all中的第j個詞語，針對每個words(j)計算chi，包含words(j)同時屬於正例的句子總數為a，包含words(j)同時屬於反例的句子總數為b，不包含words(j)同時屬於正例的句子總數為c，不包含words(j)同時屬於反例的句子總數為d，正例句子總數為a+b，反例句子總數為b+d，包含word(j)句子總數為a+b，不包含words(j)的句子總數為c+d，chi＝(n(ad-bc)*(ad-bc))/{(a+b)(c+d)(a+c)(d+b)}其中n＝a+b+c+d為樣本容量，一般我們不關心具體數值，只關心大小順序，可簡化計算chi＝chi(words(j)，正例)＝(n(ad-bc)*(ad-bc))/{(a+b)(c+d)}，這樣就獲得所有句子分詞後的詞集合為words_all＝{words(j)}，每個words(j)對應一個chi值，記錄為詞典dict_words_all＝{words(j)；chi(j)}，，words(j)為words_all集合中的第j個詞語，它對應的chi值記錄為chi(j)，保存各個詞語及其它的chi值，選擇chi大的前200個words(j)作為特徵詞記錄集合為chi200＝{feat_chi_words(j)}，其中1＝<j<＝200，最後chi詞頻特徵化200個chi詞排成200列，當前句子sens(i)的分詞結果集合記錄為words_sens_currents，每個屬於chi200的詞為feat_chi_words(j)，如果feat_chi_words(j)出現在words_sens_cuurets中，則當前feat_chi_words(j)處的特徵記錄為1，否則為0，fj＝1或者0，如果當前句子分詞出現chi(j)詞語，為1否則0，其中j範圍1到200。
與現有技術相比，本發明新型的有益效果是：本發明基於將文章碎片化為背景、目的、研究對象、研究內容、研究方法、研究結論等元數據，結合 規則和機器學習方法二者並用，建立了基於文章、段落、句子、詞、位置等特徵，採用分類和規則結合方法、主要從句子級別提取一篇文章的結論問題，另外還在一次分類的基礎上研究試驗了二次分類，在一次分類評判的結果語料上，進行再次建模分類實驗測試，在實際應用中更貼近問題的本質，從而有很高的發明效果。
附圖說明
圖1為本發明新型的方法流程圖。
具體實施方式
下面將結合本發明新型實施例中的附圖，對本發明新型實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明新型一部分實施例，而不是全部的實施例。基於本發明新型中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明新型保護的範圍。
實施例一
一種基於組合特徵加權的科技文獻標註精簡研究結論的方法流程，包括分類抽取流程，既是基於訓練語料，做數據前清洗，然後分句獲得句子和類標籤，句子特徵選擇進行特徵化，然後訓練分類器，評價分類器，對訓練的分類器進行保存序列化，在應用階段，獲得應用文本，對其同樣數據清洗，分句，然後特徵化(應用階段chi詞特徵是使用訓練階段的chi詞)，加載訓練分類器對應用文本進行研究結論預測，之後對預測的結果句子人工審核，進行後數據清洗處理，然後將這些清洗規則加入到原有程序中，迭代實驗，具體的步驟如下：
步驟一：前數據清洗模塊
由於句子本身會有亂碼公式表格英文字母數字等，需要對句子進行預處理去掉這些髒東西，在這裡需要數據前清洗，閱讀大量待處理的文本，總結 出的文本前處理特點，結合其特點採用規則處理清洗；
步驟二：訓練階段模塊
獲取訓練樣本的全文文本，這些訓練樣本全部經過人工標註，即對全文欄位中的全部內容(這裡指的是正文的全部內容，不包括參考文獻等)，按照句子級別(句號)標出屬於研究結論的句子，非研究結論的句子不予標註，一篇文章可以標註多個結論句子，標註形式可以如使用xml標註，這標籤中間是屬於研究結論句子經過程序處理獲得全篇的句子(保持原文句子順序)和對應的標籤屬於研究結論的句子對應的標籤為正例1，不屬於研究結論的句子對應標籤為反例0，假如一篇被標註的文章有50句子，標記為研究結論的5句，其餘45句是非研究結論，那么正例就是5句話，反例45句話，這樣就獲得了句子樣本數據，假如有10篇標註的文章，那麼按照文章的順序，每篇文章分50個句子，那麼就是500個句子，具體的，訓練過程的算法為：
(1)獲取樣本
獲取訓練樣本文句子記錄為集合sens＝{sens(i)}，對應的句子訓練標籤集合為labels＝{labels(i)}，句子總數為n，各個句子表示為sens(i)，其中1＝<i＝10000，labels(i)的取值為1或0兩種取值，其中1代表本句子是研究結論句，為正例表示，0代表本句子是非研究結論句子，為反例表示；
(2)對訓練語料sens(i)句子進行特徵化表示，句子特徵化這裡使用了以下特徵：人工標記的標識詞特徵1個、chi詞頻特徵200個、句子所在文章級別的相關特徵4個、句子級別的相關特徵10個、詞語級別的相關特徵3個、句序特徵1個、句序比特徵1個、句子結論段特徵4個，一共224個特徵，可以表示為f＝{f1，f2，f3……fn}，fi表示每個特徵n為224，f0到f224一共224個特徵，每個句子都要提取224個特徵，步驟二中，對訓練語料sens(i)句子進行特徵化表示，其中各特徵的提取細節步驟為：
第一步，人工標記的標識詞特徵1個，人工標識的短語句子集合記錄為tops＝{tops(i)，}，tops(i)為短語集合中的第i個短語，針對sens中的sens(i)，看當前的sens(i)能包含幾個tops(i)，記錄特徵為f0，表示為當前句子包含多少個tops(i)f0＝當期句子sens(i)包含多少個tops(i)，
第二步，chi詞頻特徵200個對各個句子分詞後的詞語是否包含對應的chi詞語(200個)建立chi詞頻特徵，記錄為f1，f2，，，，，f200，這裡分兩個步驟，步驟1為如何構建200個chi詞語，步驟2為句子分詞後的詞語在對應的200個chi詞語位置上是否出現，出現的話此位置特徵為1，不出現特徵為0，所述在第二步中，構建chi詞語時，首先針對sens中的所有句子進行分詞，分詞以後形成詞集合，記錄為words_all＝{words(j)}，wrods(j)是words_all中的第j個詞語，針對每個words(j)計算chi，包含words(j)同時屬於正例的句子總數為a，包含words(j)同時屬於反例的句子總數為b，不包含words(j)同時屬於正例的句子總數為c，不包含words(j)同時屬於反例的句子總數為d，正例句子總數為a+b，反例句子總數為b+d，包含word(j)句子總數為a+b，不包含words(j)的句子總數為c+d，chi＝(n(ad-bc)*(ad-bc))/{(a+b)(c+d)(a+c)(d+b)}其中n＝a+b+c+d為樣本容量，一般我們不關心具體數值，只關心大小順序，可簡化計算chi＝chi(words(j)，正例)＝(n(ad-bc)*(ad-bc))/{(a+b)(c+d)}，這樣就獲得所有句子分詞後的詞集合為words_all＝{words(j)}，每個words(j)對應一個chi值，記錄為詞典dict_words_all＝{words(j)；chi(j)}，，words(j)為words_all集合中的第j個詞語，它對應的chi值記錄為chi(j)，保存各個詞語及其它的chi值，選擇chi大的前200個words(j)作為特徵詞記錄集合為chi200＝{feat_chi_words(j)}，其中1＝<j0)/(當前句子sens(i)所在文章全部句子中文字符個數，分母為0)}，
第五步，詞語級別相關特徵3個，這裡主要是句子分詞後與標題詞共同出現的詞個數(去停用詞)，與文章定義的關鍵詞共現的個數，句子分次後的詞語與chi的200個詞共現的個數f215＝當前句子sens(i)分詞去停用詞後與標題分詞後二者共同出現詞個數，f216＝當前句子sens(i)分詞去停用詞 後與文章定義的關鍵詞共同出現詞個數，f217＝當前句子sens(i)分詞去停用詞後與chi200個詞共同出現詞個數，
第六步，句序特徵1個，這裡是指一個句子在本篇文章所有句子的句序，比如一篇文章有100句，當前第49句的句序就是49，特徵記錄為218＝當前句子sens(i)在所在問所有句子的句序，
第七步，句序比特徵1個，這裡是指一個句子在本篇文章所有句子的句序比例，比如一篇文章有100句，當前第49句的句序就是0.49，也就是百分之49，特徵記錄為f219＝{(當前句子sens(i)的句序)/(當前句子sens(i)所在文章的所有句子的總個數)}，
第八步，結論段特徵4個，結論段特徵是基於某些算法或者規則得到一篇文章哪些句子開始的段落屬於結論段。屬於結論段的句子的開始句序到結尾都屬於結論段。主要有：當前句子是否是處於結論段，是1，否0；當前句子結論段的處於結論段的據序號，初始結論段據序位0，後續依次加1；當前句子處於結論段是通過句子開頭關鍵詞匹配找到；當前句子處於結論段是通過句子中間關鍵詞找到的，記錄為f220＝當前句子sens(i)是否為與結論段，是1，否0，f221＝當前句子sens(i)在所在結論段序，結論段開始1，後續句子依次加1，f222＝當前句子sens(i)處於結論段是通過句子開頭關鍵詞找到，為1，否則為0，以上f0到f223就是224個句子特徵化後的特徵，每個句子也對應一個label特徵，標記這個句子是否是研究結論句子，將訓練語料中所有字符的特徵化結果f＝{f1，f2，f3……fn}特徵和對應的類別表示結果label作為輸入數據，進行訓練，得到訓練後的研究結論提取模型m；
步驟三：選取分類器訓練與評價模塊
(31)樣本類平衡處理，這裡分類屬於二分類問題，由於樣本中正例(研究結論句子很少)，反例(非研究結論句子很多)造成樣本分布不均勻，對於這些不均勻樣本直接採用分類的話會影響分類效果，所以需要進行樣本類平 衡處理，有三種辦法可以處理：1增加少數類樣本數量，2減少多數類樣本數量，3增加少數類樣本的權重比例。可以根據需要採用任何一種方法處理；
(32)訓練分類器，使用常用的分類器decisiontree、svm、gaussiannb、randomforest、gradientboosting等分別對輸入特徵矩陣f和label訓練，可以選用5折交叉驗證，(80％數據訓練，20％的數據來測試)來平均訓練的分類器，某些情況下還要進行分類器的參數調優；
(33)評價分類器，評價參數主要是預測標籤的準確率，召回率，f值，a:正例測試文檔被正確分類為該類的數量，b:負例測試文檔被錯誤分類為屬於該類的數量，c:正例測試文檔被錯誤分類為不屬於該類的數量，d:負例測試文檔被正確分類為不屬於該類的數量，準確率precision＝a/(a+b)，召回率recall＝a/(a＝c)，f＝(2*precision*recall)/(precision+recall)，選擇f值較大的分類器作為生成的模型，如果效果不太理想，需要調整分類器參數，選擇好分類器之後，將訓練得到的這個分類器序列化到硬碟上保存起來，當需要應用測試的時候將其加載到內存即可進行應用預測；
步驟四：應用分類器預測研究結論標籤模塊
將待預測的文本全文欄位的正文部分經過程序分句提取出對應的特徵矩陣，{f0，f1......f223}這種形式，然後可以加載訓練保存的分類器模型進行預測出對應的研究結論標籤。
儘管已經示出和描述了本發明新型的實施例，對於本領域的普通技術人員而言，可以理解在不脫離本發明新型的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明新型的範圍由所附權利要求及其等同物限定。