一種基於多標籤分類的中英文搜索結果可視化系統的製作方法
2024-04-03 02:21:05 2
專利名稱：一種基於多標籤分類的中英文搜索結果可視化系統的製作方法
技術領域：
本發明涉及信息技術領域，尤其是涉及一種基於多標籤分類的中英文搜索結果可視化系統。
背景技術：
目前，網上電子文檔迅猛增長，每天都有大量的文檔上傳到網上。搜尋引擎，作為獲取網絡知識的一種重要方法，得到了越來越廣泛的應用。然而，搜尋引擎往往返回大量的搜索結果，這使用戶常常被淹沒在信息的海洋中。當前主流的搜尋引擎返回根據用戶關鍵字排序的搜索結果。為了找到感興趣的信息，用戶需要逐條瀏覽搜索結果。針對以上問題，一些人開始探索更先進的信息檢索方法。通常來說，有兩種方式一種是基於語義的信息檢索方法，即力求採用語義分析技術理解文檔和用戶的查詢語句；另一種是基於機器學習的方法，即運用從歷史數據中學習到的模型對搜索結果中的文檔進行分類或者聚類。本發明關注基於機器學習的方法來改進信息檢索結果的問題。網頁搜索結果可視化指根據搜索結果的內容，將搜索結果以一種更清晰、更條理的方式展示給用戶的過程。其目的在於提高查詢效率，改善用戶瀏覽體驗。對於該任務，目前多數研究工作採用基於文本聚類的技術，即將可視化任務看作一個非監督的分類問題。根據模式分類的方法體系，我們首先從文本中抽取特徵來表示文本，然後將文本分配到與其相似度最高的類簇中。基於聚類技術的搜尋引擎有Vivisimo和Groker。在這種方法中，類簇的名稱通常由系統根據特徵詞自動給出。然而，這種自動獲取的類簇名稱往往很難表達類簇的主要內容。這就使用戶很難根據系統給定的類簇名來定位自己感興趣的信息的位置，這種可視化過程的作用就不明顯了。與傳統的模式分類任務中一個對象對應一個類別標籤不同，在多標籤分類中，一個對象可能與多個標籤相關聯，比如一篇文檔可能與經濟相關，同時還可能與計算機相關，因此該文檔與經濟和計算機兩個類別相關。多標籤分類起源於文本分類任務的需求，其中訓練集中每篇文檔與一個標籤集合相關聯，分類的任務就是訓練文檔與已知標籤集合之間關係的模型，並根據該模型為每篇標籤未知的文檔輸出一個標籤集合。
發明內容
本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基於多標籤的中英文搜索結果信息分類方法以及應用該信息分類方法的中英文搜索結果可視化系統，借鑑粒計算思想，能夠根據用戶的需求按類別顯示搜索結果，提高用戶瀏覽效率，改善用戶瀏覽體驗。本發明的目的可以通過以下技術方案來實現一種基於多標籤分類的中英文搜索結果可視化系統，該系統包括顯示模塊，用於顯示用戶界面及搜索結果；搜索模塊，用於根據用戶查詢語句調用搜尋引擎API進行搜索，並獲取搜索結果，分別整合中文和英文的搜索結果；分類模塊，用於對搜索模塊獲取的結果進行中英文多標籤分類，並對分類結果進行整合；可視化模塊，用於對整合後的分類結果實現Web用戶界面設計，並通過顯示模塊輸出。所述的分類模塊包括分類器，用於對搜索模塊獲取的結果進行中英文多標籤分類，並進行分類結果整合；分類語料庫，該分類語料庫為不平衡語料庫，包括若干個類別的多標籤語料庫，用於訓練分類器。所述的分類語料庫包括中文分類語料庫和英文分類語料庫。所述的分類模塊採用基於貝葉斯理論的中英文多標籤分類方法進行分類，該方法具體包括以下步驟I)構建中文和英文分類語料庫；2)分類器通過分類語料庫進行離線學習；3)分類器分別對中文和英文的搜索結果進行分類，同時進行在線學習；4)對分類結果進行整合。所述的步驟2)具體包括以下步驟A)遍歷分類語料庫中的訓練文本； B)對訓練文本進行預處理；C)掃描訓練文本,記錄每個特徵詞的詞頻信息,加入HashMap中；D)根據HashMap中詞頻統計信息計算每個特徵詞的條件概率，並且將所得結果保存至文件中。所述的步驟3)具體包括以下步驟a)從訓練過程生成文件中讀入特徵詞及其統計信息，並加入HashMap中；b)對未知文本進行預處理，生成特徵詞集合；c)遍歷所有特徵詞,並在步驟a)中生成的HashMap中查找每個特徵詞對每個類別的條件概率；d)根據每個特徵詞對於每個類別的條件概率，計算出該未知文本對於所有類別的聯合概率；e)根據所有得到的聯合概率，計算出概率閾值；f)為該未知文本分配所有聯合概率不小於概率閾值的類別標籤，並輸出標籤；g)在HashMap中修改該未知文本中特徵詞對應於分類結果給出的類別中的條件概率；h)分類過程結束。所述的概率閾值Pthres為未知文本Cli對於所有已知類別的後驗概率的算術平均數
權利要求
1.一種基於多標籤分類的中英文搜索結果可視化系統，其特徵在於，該系統包括 顯示模塊，用於顯示用戶界面及搜索結果； 搜索模塊，用於根據用戶查詢語句調用搜尋引擎API進行搜索，並獲取搜索結果，分別整合中文和英文的搜索結果； 分類模塊，用於對搜索模塊獲取的結果進行中英文多標籤分類，並對分類結果進行整合； 可視化模塊，用於對整合後的分類結果實現Web用戶界面設計，並通過顯示模塊輸出。
2.根據權利要求1所述的一種基於多標籤分類的中英文搜索結果可視化系統，其特徵在於，所述的分類模塊包括 分類器，用於對搜索模塊獲取的結果進行中英文多標籤分類，並進行分類結果整合；分類語料庫，該分類語料庫為不平衡語料庫，包括若干個類別的多標籤語料庫，用於訓練分類器。
3.根據權利要求2所述的一種基於多標籤分類的中英文搜索結果可視化系統，其特徵在於，所述的分類語料庫包括中文分類語料庫和英文分類語料庫。
4.根據權利要求1所述的一種基於多標籤分類的中英文搜索結果可視化系統，其特徵在於，所述的分類模塊採用基於貝葉斯理論的中英文多標籤分類方法進行分類，該方法具體包括以下步驟 1)構建中文和英文分類語料庫； 2)分類器通過分類語料庫進行離線學習； 3)分類器分別對中文和英文的搜索結果進行分類，同時進行在線學習； 4)對分類結果進行整合。
5.根據權利要求4所述的一種基於多標籤分類的中英文搜索結果可視化系統，其特徵在於，所述的步驟2)具體包括以下步驟 A)遍歷分類語料庫中的訓練文本； B)對訓練文本進行預處理； C)掃描訓練文本，記錄每個特徵詞的詞頻信息，加入HashMap中； D)根據HashMap中詞頻統計信息計算每個特徵詞的條件概率，並且將所得結果保存至文件中。
6.根據權利要求4所述的一種基於多標籤分類的中英文搜索結果可視化系統，其特徵在於，所述的步驟3)具體包括以下步驟 a)從訓練過程生成文件中讀入特徵詞及其統計信息，並加入HashMap中； b)對未知文本進行預處理，生成特徵詞集合； c)遍歷所有特徵詞，並在步驟a)中生成的HashMap中查找每個特徵詞對每個類別的條件概率； d)根據每個特徵詞對於每個類別的條件概率，計算出該未知文本對於所有類別的聯合概率； e)根據所有得到的聯合概率，計算出概率閾值； f)為該未知文本分配所有聯合概率不小於概率閾值的類別標籤，並輸出標籤； g)在HashMap中修改該未知文本中特徵詞對應於分類結果給出的類別中的條件概率；h)分類過程結束。
7.根據權利要求6所述的一種基於多標籤分類的中英文搜索結果可視化系統，其特徵在於，所述的概率閾值Pthres為未知文本Cli對於所有已知類別的後驗概率的算術平均數
全文摘要
本發明涉及一種基於多標籤分類的中英文搜索結果可視化系統，該系統包括顯示模塊，用於顯示用戶界面及搜索結果；搜索模塊，用於根據用戶查詢語句調用搜尋引擎API進行搜索，並獲取搜索結果，分別整合中文和英文的搜索結果；分類模塊，用於對搜索模塊獲取的結果進行中英文多標籤分類，並對分類結果進行整合；可視化模塊，用於對整合後的分類結果實現Web用戶界面設計，並通過顯示模塊輸出。與現有技術相比，本發明借鑑粒計算細想，通過採用基於貝葉斯理論的多標籤分類方法，可對搜索結果進行有效的多標籤分類和整合，通過採用該方法設計可視化系統，能夠根據用戶的需求按類別顯示搜索結果，同時儘量做到不丟失搜索結果，提高用戶瀏覽效率，改善用戶瀏覽體驗。
文檔編號G06F17/30GK103049454SQ20111031266
公開日2013年4月17日 申請日期2011年10月16日 優先權日2011年10月16日
發明者衛志華, 苗奪謙 申請人:同濟大學