一種語義化文本描述方法及系統的製作方法
2023-05-18 20:04:26 2
一種語義化文本描述方法及系統的製作方法
【專利摘要】本發明公開了一種語義化文本描述方法及系統，該方法包括以下步驟：將整個文本文檔中各個語義段落進行段落級語義分析；對各個段落級語義匯總語義信息；對每個段落進行語義維度化描述；進行文檔特徵描述；文檔特徵描述維度互校正。本發明中，使自然語言段落間的起承轉合體現在語義空間和維度特徵上，會存在相鄰段落間語義向量和維度的較強的關聯性，通過增強相關維度，抑制無關維度的計算，增強核心語義特徵，並起到抑制噪聲的效果。
【專利說明】 一種語義化文本描述方法及系統
【技術領域】
[0001]本發明涉及數據網絡【技術領域】，尤其涉及一種語義化文本描述方法及系統。
【背景技術】
[0002]文本與訊息的意義大致相同，指有一定的符號或符碼組成的信息結構體，這種結構體可採用不同的表現形態，如語言的、文字的、影像等。文本是由特定的人製作的，文本的語義不可避免地會反映人的特定立場、觀點、價值和利益，因此，由文本內容分析，可以推斷文本提供者的意圖和目的。
[0003]文本分析是指對文本的表示及其特徵項的選取；文本分析是文本挖掘、信息檢索的一個基本問題，它把從文本中抽取出的特徵詞進行量化來表示文本信息。將它們從一個無結構的原始文本轉化為結構化的計算機可以識別處理的信息，即對文本進行科學的抽象，建立它的數學模型，用以描述和代替文本。使計算機能夠通過對這種模型的計算和操作來實現對文本的識別。由於文本是非結構化的數據，要想從大量的文本中挖掘有用的信息就必須首先將文本轉化為可處理的結構化形式。目前人們通常採用向量空間模型來描述文本向量，但是如果直接用分詞算法和詞頻統計方法得到的特徵項來表示文本向量中的各個維，那麼這個向量的維度將是非常的大。這種未經處理的文本矢量不僅給後續工作帶來巨大的計算開銷，使整個處理過程的效率非常低下，而且會損害分類、聚類算法的精確性，從而使所得到的結果很難令人滿意。
【發明內容】
[0004]為了解決【背景技術】中存在的技術問題，本發明提出了一種語義化文本描述方法及系統，抑制無關維度的計算，增強核心語義特徵，並起到抑制噪聲的效果。
[0005]本發明提出的一種語義化文本描述方法，包括以下步驟:
[0006]將整個文本文檔中各個語義段落進行段落級語義分析；
[0007]對各個段落級語義匯總語義信息；
[0008]對每個段落進行語義維度化描述；
[0009]進行文檔特徵描述；
[0010]文檔特徵描述維度互校正。
[0011]優選地，所述將整個文本文檔中各個語義段落進行段落級語義分析，具體為對文本文檔中每句話作語義分析，標註動詞性語義點、名詞性語義點和語義傾向性。
[0012]優選地，所述對各個段落級語義匯總語義信息，具體為:匯總成段落和整個篇章的語義側重點，最後利用語義側重點，結合篇章特點，以字數為約束條件，來挑選儘可能涵蓋全文語義的若干個句組組成全文摘要。
[0013]優選地，所述對每個段落進行語義維度化描述包括時間序列、地區分布維度。
[0014]優選地，所述進行文檔特徵描述，具體包括計算文檔特徵參數，並用來描述該文檔。
[0015]優選地，所述文檔特徵描述維度互校正，具體包括對相鄰語義段落的維度分析矢量、維度矢量做矯正:根據詞語語義關聯、維度關聯進行平方和互乘，然後開方，並處以維度和，作為矯正後的值。
[0016]本發明提出的一種語義化文本描述系統，包括:
[0017]分析模塊，用於將整個文本文檔中各個語義段落進行段落級語義分析；
[0018]匯總模塊，與所述分析模塊連接，用於對各個段落級語義匯總語義信息；
[0019]維度化描述模塊，與所述匯總模塊連接，用於對每個段落進行語義維度化描述；
[0020]特徵描述模塊，與所述維度化描述模塊連接，用於進行文檔特徵描述；
[0021 ] 互校正模塊，與所述特徵描述模塊連接，用於文檔特徵描述維度互校正。
[0022]優選地，所述分析模塊具體用於將整個文本文檔中各個語義段落進行段落級語義分析，為對文本文檔中每句話作語義分析，標註動詞性語義點、名詞性語義點和語義傾向性。
[0023]優選地，所述匯總模塊具體用於匯總成段落和整個篇章的語義側重點，利用語義側重點，結合篇章特點，以字數為約束條件，來挑選儘可能涵蓋全文語義的若干個句組組成全文摘要。
[0024]優選地，所述互校正模塊，具體用於對相鄰語義段落的維度分析矢量、維度矢量做矯正:根據詞語語義關聯、維度關聯進行平方和互乘，然後開方，並處以維度和，作為矯正後的值。
[0025]本發明中，使自然語言段落間的起承轉合體現在語義空間和維度特徵上，會存在相鄰段落間語義向量和維度的較強的關聯性，通過增強相關維度，抑制無關維度的計算，增強核心語義特徵，並起到抑制噪聲的效果。
【專利附圖】
【附圖說明】
[0026]圖1為本發明實施例提出的一種語義化文本描述方法流程圖；
[0027]圖2為本發明實施例提出的一種語義化文本描述系統結構圖。
【具體實施方式】
[0028]如圖1所示，本發明實施例提出了一種語義化文本描述方法及系統，包括以下步驟:
[0029]步驟101，將整個文本文檔中各個語義段落進行段落級語義分析。具體為對文本文檔中每句話作語義分析，標註動詞性語義點、名詞性語義點和語義傾向性等。
[0030]步驟102，對各個段落級語義匯總語義信息。具體為:匯總成段落和整個篇章的語義側重點，最後利用語義側重點，結合篇章特點，以字數為約束條件，來挑選儘可能涵蓋全文語義的若干個「句組」組成全文摘要。
[0031]步驟103，對每個段落進行語義維度化描述。包括時間序列、地區分布等多維度描述。
[0032]步驟104，進行文檔特徵描述。計算文檔特徵參數，並用來描述該文檔；通過該特徵參數，可以檢索、調用該文檔。其中，對於文檔層面的描述，主要特徵參數為文檔語義向量、維度矢量以及文檔語義流動圖。
[0033]文檔特徵包括:能夠確實標識文本內容、將目標文本與其他文本相區分的能力、個數適中、分離要比較容易實現。在中文文檔中可以採用字、詞或短語作為表示文本的文檔特徵。由於詞比字具有更強的表達能力，而詞和短語相比，詞的切分難度比短語的切分難度小得多。因此，採用詞作為文檔特徵，作為文檔的中間表示形式，用來實現文檔與文檔、文檔與用戶目標之間的相似度計算。通常根據某個特徵評估函數計算各個特徵的評分值，然後按評分值對這些特徵進行排序，選取若干個評分值最高的作為特徵詞，這就是特徵抽取:用映射或變換的方法把原始特徵變換為較少的新特徵；從原始特徵中挑選出一些最具代表性的特徵；根據專家的知識挑選最有影響的特徵；用數學的方法進行選取，找出最具分類信息的特徵，這種方法是一種比較精確的方法，人為因素的幹擾較少，尤其適合於文本自動分類挖掘系統的應用。
[0034]步驟105，文檔特徵描述維度互校正。對相鄰語義段落的維度分析矢量、維度矢量做矯正:根據詞語語義關聯、維度關聯進行平方和互乘，然後開方，並處以維度和，作為矯正後的值，使相關聯的維度特徵被增強，而無定義維度關聯的維度會被適當削弱。
[0035]如圖2所示，本發明實施例提出了一種語義化文本描述系統，包括:分析模塊10，用於將整個文本文檔中各個語義段落進行段落級語義分析；匯總模塊20，與所述分析模塊10連接，用於對各個段落級語義匯總語義信息；維度化描述模塊30，與所述匯總模塊20連接，用於對每個段落進行語義維度化描述；特徵描述模塊40，與所述維度化描述模塊30連接，用於進行文檔特徵描述；互校正模塊50，與所述特徵描述模塊40連接，用於文檔特徵描述維度互校正。
[0036]所述分析模塊10具體用於將整個文本文檔中各個語義段落進行段落級語義分析，為對文本文檔中每句話作語義分析，標註動詞性語義點、名詞性語義點和語義傾向性。
[0037]所述匯總模塊20具體用於匯總成段落和整個篇章的語義側重點，利用語義側重點，結合篇章特點，以字數為約束條件，來挑選儘可能涵蓋全文語義的若干個句組組成全文摘要。
[0038]所述互校正模塊50，具體用於對相鄰語義段落的維度分析矢量、維度矢量做矯正:根據詞語語義關聯、維度關聯進行平方和互乘，然後開方，並處以維度和，作為矯正後的值。
[0039]以上所述，僅為本發明較佳的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術範圍內，根據本發明的技術方案及其發明構思加以等同替換或改變，都應涵蓋在本發明的保護範圍之內。
【權利要求】
1.一種語義化文本描述方法，其特徵在於，包括以下步驟: 將整個文本文檔中各個語義段落進行段落級語義分析； 對各個段落級語義匯總語義信息； 對每個段落進行語義維度化描述； 進行文檔特徵描述； 進行文檔特徵描述維度互校正。
2.根據權利要求1所述的語義化文本描述方法，其特徵在於，所述將整個文本文檔中各個語義段落進行段落級語義分析，具體為對文本文檔中每句話作語義分析，標註動詞性語義點、名詞性語義點和語義傾向性。
3.根據權利要求1所述的語義化文本描述方法，其特徵在於，所述對各個段落級語義匯總語義信息，具體為:匯總段落和整個篇章的語義側重點，最後利用語義側重點，結合篇章特點，以字數為約束條件，來挑選儘可能涵蓋全文語義的若干個句組組成全文摘要。
4.根據權利要求1所述的語義化文本描述方法，其特徵在於，所述對每個段落進行語義維度化描述包括時間序列、地區分布維度。
5.根據權利要求1所述的語義化文本描述方法，其特徵在於，所述進行文檔特徵描述，具體包括計算文檔特徵參數，並用來描述該文檔。
6.根據權利要求1所述的語義化文本描述方法，其特徵在於，所述文檔特徵描述維度互校正，具體包括對相鄰語義段落的維度分析矢量、維度矢量做矯正:根據詞語語義關聯、維度關聯進行平方和互乘，然後開方，並處以維度和，作為矯正後的值。
7.—種語義化文本描述系統,其特徵在於,包括: 分析模塊，用於將整個文本文檔中各個語義段落進行段落級語義分析； 匯總模塊，與所述分析模塊連接，用於對各個段落級語義匯總語義信息； 維度化描述模塊，與所述匯總模塊連接，用於對每個段落進行語義維度化描述； 特徵描述模塊，與所述維度化描述模塊連接，用於進行文檔特徵描述； 互校正模塊，與所述特徵描述模塊連接，用於文檔特徵描述維度互校正。
8.根據權利要求7所述的語義化文本描述系統，其特徵在於，所述分析模塊具體用於將整個文本文檔中各個語義段落進行段落級語義分析，為對文本文檔中每句話作語義分析，標註動詞性語義點、名詞性語義點和語義傾向性。
9.根據權利要求7所述的語義化文本描述系統，其特徵在於，所述匯總模塊具體用於匯總成段落和整個篇章的語義側重點，利用語義側重點，結合篇章特點，以字數為約束條件，來挑選儘可能涵蓋全文語義的若干個句組組成全文摘要。
10.根據權利要求7所述的語義化文本描述系統，其特徵在於，所述互校正模塊，具體用於對相鄰語義段落的維度分析矢量、維度矢量做矯正:根據詞語語義關聯、維度關聯進行平方和互乘，然後開方，並處以維度和，作為矯正後的值。
【文檔編號】G06F17/27GK104281566SQ201410537829
【公開日】2015年1月14日 申請日期:2014年10月13日 優先權日:2014年10月13日
【發明者】賈巖 申請人:安徽華貞信息科技有限公司