基於神經網絡和標籤庫的語句相似度算法的製作方法
2023-09-19 07:19:50 1
我"和"俺"，簡化詞條如下tableseeoriginaldocumentpage8可見，"我"和"俺"具有相同的英語譯文(W—E)"I"和語義定義(DEF)"firstPerson/我"，是一對同義詞。表l中給出了使用HotNet進行詞擴展的一些例子。從中可以看出，使用HotNet進行詞的擴展，效果是比較理想的。表1HotNet進行詞擴展示例tableseeoriginaldocumentpage8(2)同義詞詞林的使用本發明中，編輯距離算法還用到了《同義詞詞林》，其基本思想就是利用詞林中對每個詞提供的語義編碼進行兩個詞之間的語義距離計算。本發明中的《同義詞詞林》將詞的詞義逐級劃分為5層，描述了一個由上到下、由寬泛概念到具體詞義的語義分類體系，並將所收的詞按詞義分門別類組織在其中。每個漢語詞都按照其語義，賦予了一個或多個5位的語義代碼。與此分類體系相對應的是一個詞義的編碼體系，描述如下〈詞義編碼>::=〈1層X2層X3層X4層X5層>〈1層>::=〈大寫英文字母>〈2層>::=〈小寫英文字母>〈3層>::=〈數字X數字〉〈4層>::=〈大寫英文字母>〈5層〉=〈數字X數字〉對於A，B兩詞之間的語義距離，只要查到他們的語義編碼，然後用公式(6)進行計算^D/W(j,_S)=min^fo/(",6)(6)其中P，Q分別為A，B兩詞具有語義的集合。語義a，b之間的距離為dist(a，b)=2X(7-n)(7)其中，n為它們之間的語義代碼從第n層開始不同，全部相同語義距離為O。如"蘋果"Bh07A14，"香蕉"Bh07A34，"喜歡"Gb09A01，"愛"Gb09A01。用上面的公式可知Dist(蘋果，香蕉)二2，Dist(喜歡，愛)=0。從以上的操作可以看出利用詞林進行語義距離計算相似度比較方便、快捷。下面以網絡監管為例來對本發明的實施過程進行描述。首先，在網絡監控中心的主機上載入語義詞典和同義詞詞林，然後從網絡上獲取網絡內的原始數據信息(即數據流)；隨後通過分析語言單位內成分之間的依存關係揭示其整體句法結構，得到語句的謂語中心詞，然後再利用依存文法分析器的分詞和詞性標註功能分別得到語句有效成分序列並對語義詞典進行擴展更新，再通過本發明所在主機結合exUCL標籤庫的標引方法對所獲取的原始數據信息進行分析，確定該原始數據信息在標籤庫中對應的標題欄位，確定後計算兩者相似度。對於網絡監控來說，一般只需要監控網絡的原始數據信息中是否出現違反規定的內容，如法輪功、色情等內容，因此，在計算語句相似度時，只需要計算與監控內容接近的原始數據信息的相似度，如原始數據中出現了與法輪功接近的詞語，則計算該原始數據與法輪功的語句相似度，在此基礎上，網絡監管人員可根據結果進行相應的操作，如斷網、向有關管理部門通報等等。在計算語句相似度的同時，利用神經網絡技術對得到的結論進行學習、訓練以更新語義詞典和同義詞詞林。本發明中所述的神經網絡是經過系統建模後構建出來的適合網絡應用的神經網絡，使用時先進行初始化，再對語句相似度的計算結果進行訓練。本發明還可以應用到商品銷售的貨物驗證系統中，銷售商只需要將商品的數量、編號、EPC和具體時間輸入到驗證系統中，購買方即可查看商品的數據信息是否有效，從而判斷該商品是否是正品。9權利要求基於神經網絡和標籤庫的語句相似度算法，其特徵在於，包括以下步驟(1)載入分別帶有神經網絡的語義詞典和同義詞詞林；(2)輸入完整的待分析語句；(3)利用依存文法分析器分析出語句的整體句法結構，然後對語句進行分層，並獲取語句的有效成分序列；(4)根據分層及其有效成分序列，確定語句在exUCL標籤庫中對應的標題欄位；(5)判斷語句是否有相似詞對，若有則計算語句的相似度，反之，則重新輸入新的待分析語句，再次進行相似度計算。2.根據權利要求1所述的基於神經網絡和標籤庫的語句相似度算法，其特徵在於，所述整體句法結構的分層包括第一層語句的謂語中心詞，第二層謂語中心詞的有效支配成分。3.根據權利要求2所述的基於神經網絡和標籤庫的語句相似度算法，其特徵在於，所述第二層獲取的方法是利用依存算法分析器對語句進行分詞和詞性標註。4.根據權利要求3所述的基於神經網絡和標籤庫的語句相似度算法，其特徵在於，所述語句相似度計算包括對第一層進行語義距離計算和對第二層進行編輯距離計算。5.根據權利要求4所述的基於神經網絡和標籤庫的語句相似度算法，其特徵在於，所述語義距離計算公式如下formulaseeoriginaldocumentpage26.根據權利要求5所述的基於神經網絡和標籤庫的語句相似度算法，其特徵在於，所述語句相似度按照下列公式計算其中，formulaseeoriginaldocumentpage27.根據權利要求1或6所述的基於神經網絡和標籤庫的語句相似度算法，其特徵在於，所述語句相似度計算完成後，還將計算結果發送至神經網絡進行訓練，並將訓練結果輸入至語義詞典和同義詞詞林。全文摘要本發明公開了一種基於神經網絡和標籤庫的語句相似度算法，其特徵在於，包括以下步驟(1)載入分別帶有神經網絡的語義詞典和同義詞詞林；(2)輸入完整的待分析語句；(3)利用依存文法分析器分析出語句的整體句法結構，然後對語句進行分層，並獲取語句的有效成分序列；(4)根據分層及其有效成分序列，確定語句在exUCL標籤庫中對應的標題欄位；(5)判斷語句是否有相似詞對，若有則計算語句的相似度，反之，則重新輸入新的待分析語句，再次進行相似度計算。本發明結合了基於依存的語句相似度算法和編輯距離算法的優點，使計算精度大大提高。文檔編號G06F17/30GK101777042SQ20101002814公開日2010年7月14日申請日期2010年1月21日優先權日2010年1月21日發明者王娟娟,邢玲,馬建國申請人:西南科技大學