一種潛在語義分析方法及系統的製作方法
2023-05-30 18:51:46
一種潛在語義分析方法及系統的製作方法
【專利摘要】本發明公開了一種潛在語義分析方法及系統，該方法包括以下步驟：對文本庫進行訓練；對訓練好的文本庫進行潛在語義分析；將分解後的潛在語義分析存儲到系統中；用戶通過該系統的矩陣訪問接口可以根據歷史參考數據或對象向量與矩陣、關聯度識別對象調用段落間關聯度、話題間關聯度和維度獨立性與關聯度。本發明可以消除文本中詞之間的相關性，並簡化文本向量實現降低語義維度。
【專利說明】一種潛在語義分析方法及系統
【技術領域】
[0001]本發明涉及數據網絡【技術領域】，尤其涉及一種潛在語義分析方法及系統。
【背景技術】
[0002]語義分析是編譯過程的一個邏輯階段，語義分析的任務是對結構上正確的文本進行上下文有關性質的審查，進行審查，審查文本有無語義錯誤。比如語義分析的一個工作是進行類型審查，審查每個算符是否具有語言規範允許的運算對象，當不符合語言規範時，應報告錯誤。
[0003]然而，現有技術中的語義分析無法消除文本中詞之間的相關性，並簡化文本向量，不利於客戶整體把握情報的概貌，起到輿情監控類似效果。
【發明內容】
[0004]為了解決【背景技術】中存在的技術問題，本發明提出了一種潛在語義分析方法及系統，可以消除文本中詞之間的相關性，並簡化文本向量，實現降低語義維度。
[0005]本發明提出的一種潛在語義分析方法，包括以下步驟:
[0006]對文本庫進行訓練；
[0007]對訓練好的文本庫進行潛在語義分析；
[0008]將分解後的潛在語義分析存儲到系統中；
[0009]用戶通過該系統的矩陣訪問接口可以根據歷史參考數據或對象向量與矩陣、關聯度識別對象調用段落間關聯度、話題間關聯度和維度獨立性與關聯度。
[0010]優選地，所述對文本庫進行訓練具體為:採用基於統計的方法，提取出文本庫中傾向相關特徵，利用提取出的特徵進行訓練文本庫的學習。
[0011]優選地，利用最大熵方法算出特徵的權值，自動統計得出規則進行語義傾向的判斷。
[0012]優選地，所述提取的特徵項包括:1)極性詞；2)極性詞的極性，例如方向、大小等；3)否定詞；4)否定詞的位置，即相對於極性詞的位置；5)程度詞；6)程度詞的強度；7)程度詞的位置；8)否定詞與程度詞的位置關係。
[0013]優選地，所述對訓練好的文本庫進行潛在語義分析具體為:通過對項/文檔矩陣的矩陣分解將高維的向量空間模型表示中的文檔映射到低維的潛在語義空間中。
[0014]優選地，所述矩陣分解是將矩陣拆解為數個矩陣的乘積，可分為三角分解、滿秩分解、QR分解、Jordan分解和奇異值分解。
[0015]優選地，所述奇異值分解得到三個矩陣SVD，用S、D矩陣作為計算段落間關聯度計算、話題間關聯度、維度獨立性計算。
[0016]本發明提出的一種潛在語義分析系統，包括:
[0017]訓練模塊，用於對文本庫進行訓練；
[0018]分析模塊，與所述訓練模塊連接，用於對訓練好的文本庫進行潛在語義分析；
[0019]存儲模塊，與所述分析模塊連接，用於將分解後的潛在語義分析存儲到系統中；
[0020]訪問模塊，與所述存儲模塊連接，使用戶通過該系統模塊可以根據歷史參考數據或對象向量與矩陣、關聯度識別對象調用段落間關聯度、話題間關聯度和維度獨立性與關聯度。
[0021]優選地，所述訓練模塊具體用於採用基於統計的方法，提取出文本庫中傾向相關特徵，利用提取出的特徵進行訓練文本庫的學習，利用最大熵方法算出特徵的權值，自動統計得出規則進行語義傾向的判斷。
[0022]優選地，所述分析模塊具體用於:通過對項/文檔矩陣的矩陣分解將高維的向量空間模型表示中的文檔映射到低維的潛在語義空間中。
[0023]本發明中，對大量的文本集進行分析，從而提取出詞與詞之間潛在的語義結構，並用這種潛在的語義結構，表示詞和文本，達到消除詞之間的相關性和簡化文本向量實現降維的目的；不但有利於對維度關聯情況的把握，而且為分析大文檔集合中的核心維度和話題核心變化以及趨勢預測提供參考依據，有利於客戶整體把握情報的概貌，起到輿情監控類似效果。
【專利附圖】
【附圖說明】
[0024]圖1為本發明實施例提出的一種潛在語義分析方法流程圖；
[0025]圖2為本發明實施例提出的一種潛在語義分析系統結構圖。
【具體實施方式】
[0026]如圖1所示，本發明實施例提出了一種潛在語義分析方法，包括以下步驟:
[0027]步驟101，對文本庫進行訓練。採用基於統計的方法，提取出文本庫中傾向相關特徵，利用提取出的特徵進行訓練文本庫的學習，利用最大熵方法算出特徵的權值，自動統計得出規則進行語義傾向的判斷。其中，提取的特徵項包括:1)極性詞；2)極性詞的極性，例如方向、大小等；3)否定詞；4)否定詞的位置，即相對於極性詞的位置；5)程度詞；6)程度詞的強度；7)程度詞的位置；8)否定詞與程度詞的位置關係等。
[0028]步驟102，對訓練好的文本庫進行潛在語義分析，通過對項/文檔矩陣的矩陣分解將高維的向量空間模型表示中的文檔映射到低維的潛在語義空間中。其中，矩陣分解是將矩陣拆解為數個矩陣的乘積，可分為三角分解、滿秩分解、QR分解、Jordan分解和SVD (奇異值)分解等，常見的有三種:1)三角分解法，2) QR分解法，3)奇異值分解法。奇異值分解是一種正交矩陣分解法，【U，S，V】=svd(A)，其中U和V分別代表兩個正交矩陣，而S代表一對角矩陣，使用SVD分解法的用途是解最小平方誤差法和數據壓縮。
[0029]分解後得到三個矩陣SVD，用S、D矩陣作為計算段落間關聯度計算、話題間關聯度、維度獨立性計算。(I)段落間關聯度用於得出段落間語義關聯的強弱指標值；(2)話題間關聯度提供了一種潛在語義意義上的話題關聯情況的參考值。(3)維度獨立性分析用以對語義維度的關聯性計算，不但有利於對維度關聯情況的把握，而且為分析大文檔集合中的核心維度和話題核心變化以及趨勢預測提供參考依據，有利於客戶整體把握情報的概貌，起到輿情監控類似效果。
[0030]步驟103，將分解後的潛在語義分析存儲到系統中。
[0031]步驟104，用戶通過該系統的矩陣訪問接口可以根據歷史參考數據或對象向量與矩陣、關聯度識別對象調用段落間關聯度、話題間關聯度和維度獨立性與關聯度。
[0032]如圖2所示，本發明實施例提出的一種潛在語義分析系統，包括:訓練模塊10，用於對文本庫進行訓練；分析模塊20，與所述訓練模塊10連接，用於對訓練好的文本庫進行潛在語義分析；存儲模塊30，與所述分析模塊20連接，用於將分解後的潛在語義分析存儲到系統中；訪問模塊40，與所述存儲模塊30連接，使用戶通過該系統模塊可以根據歷史參考數據或對象向量與矩陣、關聯度識別對象調用段落間關聯度、話題間關聯度和維度獨立性與關聯度。
[0033]所述訓練模塊10具體用於採用基於統計的方法，提取出文本庫中傾向相關特徵，利用提取出的特徵進行訓練文本庫的學習，利用最大熵方法算出特徵的權值，自動統計得出規則進行語義傾向的判斷。
[0034]所述分析模塊20具體用於:通過對項/文檔矩陣的矩陣分解將高維的向量空間模型表示中的文檔映射到低維的潛在語義空間中。
[0035]以上所述，僅為本發明較佳的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術範圍內，根據本發明的技術方案及其發明構思加以等同替換或改變，都應涵蓋在本發明的保護範圍之內。
【權利要求】
1.一種潛在語義分析方法，其特徵在於，包括以下步驟: 對文本庫進行訓練； 對訓練好的文本庫進行潛在語義分析； 將分解後的潛在語義分析存儲到系統中； 通過矩陣訪問接口根據歷史參考數據或對象向量與矩陣、關聯度識別對象調用段落間關聯度、話題間關聯度和維度獨立性與關聯度。
2.根據權利要求1所述的潛在語義分析方法，其特徵在於，所述對文本庫進行訓練具體為:採用基於統計的方法，提取出文本庫中傾向相關特徵，利用提取出的特徵進行訓練文本庫的學習。
3.根據權利要求2所述的潛在語義分析方法，其特徵在於，利用最大熵方法算出特徵的權值，自動統計得出規則進行語義傾向的判斷。
4.根據權利要求3所述的潛在語義分析方法，其特徵在於，所述提取的特徵項包括:極性詞、極性詞的極性、否定詞、否定詞的位置、程度詞、程度詞的強度、程度詞的位置、否定詞與程度詞的位置關係。
5.根據權利要求1所述的潛在語義分析方法，其特徵在於，所述對訓練好的文本庫進行潛在語義分析具體為:通過對項/文檔矩陣的矩陣分解將高維的向量空間模型表示中的文檔映射到低維的潛在語義空間中。
6.根據權利要求5所述的潛在語義分析方法，其特徵在於，所述矩陣分解是將矩陣拆解為數個矩陣的乘積，可分為三角分解、滿秩分解、QR分解、Jordan分解和奇異值分解。
7.根據權利要求6所述的潛在語義分析方法，其特徵在於，所述奇異值分解得到三個矩陣SVD，用S、D矩陣作為計算段落間關聯度計算、話題間關聯度、維度獨立性計算。
8.一種潛在語義分析系統，其特徵在於，包括: 訓練模塊，用於對文本庫進行訓練； 分析模塊，與所述訓練模塊連接，用於對訓練好的文本庫進行潛在語義分析； 存儲模塊，與所述分析模塊連接，用於將分解後的潛在語義分析存儲到系統中； 訪問模塊，與所述存儲模塊連接，使用戶通過該系統模塊可以根據歷史參考數據或對象向量與矩陣、關聯度識別對象調用段落間關聯度、話題間關聯度和維度獨立性與關聯度。
9.根據權利要求8所述的潛在語義分析系統，其特徵在於，所述訓練模塊具體用於採用基於統計的方法，提取出文本庫中傾向相關特徵，利用提取出的特徵進行訓練文本庫的學習，利用最大熵方法算出特徵的權值，自動統計得出規則進行語義傾向的判斷。
10.根據權利要求8所述的潛在語義分析系統，其特徵在於，所述分析模塊具體用於:通過對項/文檔矩陣的矩陣分解將高維的向量空間模型表示中的文檔映射到低維的潛在語義空間中。
【文檔編號】G06F17/30GK104281567SQ201410537871
【公開日】2015年1月14日 申請日期:2014年10月13日 優先權日:2014年10月13日
【發明者】賈巖 申請人:安徽華貞信息科技有限公司