聚類方法及裝置的製作方法
2023-12-08 16:31:46
專利名稱：聚類方法及裝置的製作方法
技術領域：
本發明涉及信息檢索領域，尤其涉及一種聚類方法及裝置。
背景技術：
檢索結果聚類，是指將搜尋引擎搜索到的檢索結果中類似的搜索結果聚集成簇的 過程，其中，簇是一組彼此相似的檢索結果的集合，相同簇中的檢索結果彼此相似，而不同 簇中的檢索結果則往往彼此相異。檢索結果聚類能夠幫助用戶更好的使用搜尋引擎，比如， 能夠幫助用戶更加快速的定位到需要的信息，或者能夠幫助用戶獲取更加全面的信息等。在現有技術中，已有的檢索結果聚類方法主要分為兩類一類被稱為基於文檔 (Documents-Based)的方法；而另一類被稱為基於標籤(Label-Based)的方法。所謂基於 文檔的方法是指首先通過傳統的文檔聚類方法，把文檔聚集成多個類別，然後再從各類別 中分別抽取出合適的聚類標籤來標註各個類別，由於採用基於文檔的方法往往不能生成可 讀性較好的聚類標籤，不同聚類標籤之間區分性較小，從而用戶難以從區分性較小的各聚 類標籤中找到符合自己需求的檢索結果，因此這一類方法只是在早期的檢索結果聚類工作 中使用較多；而基於標籤的方法則是指首先從文檔中抽取一些有代表性的詞語，然後對抽 取的詞語進行合理的評價與篩選，並將經過評價和篩選處理後得到的不同詞語作為對應於 不同類別文檔的聚類標籤，從而後續可以以該不同類別的聚類標籤為基礎，進一步實現對 文檔的分類，在這類方法中，聚類標籤的選取很關鍵，但按照現有技術中提供的聚類標籤選 取方式，同樣很難得到可讀性較好的聚類標籤。由上述可知，現有技術採用的各類檢索結果聚類方法都存在著難以生成可讀性較 好的聚類標籤，從而使得用戶難以按照聚類標籤找到符合自己需求的檢索結果的缺陷。
發明內容
本發明實施例提供一種聚類方法及裝置，用以解決按照現有技術提供的檢索結果 聚類方法難以生成可讀性較好的聚類標籤的缺陷。為此，本發明實施例採用以下技術方案—種聚類方法，包括根據預設的選取策略，從待聚類的各個文檔中選取第一候選 字串集合；針對所述第一候選字串集合中的各字串，根據與該字串相關的參數，從所述第一 候選字串集合中選取第二候選字串，所述與該字串相關的參數為該字串出現在所述待聚類 的所有文檔中的總次數、該字串出現在指定文檔中的總次數、該字串包含的字符個數以及 所述待聚類的文檔中包含該各字串的文檔個數中的至少一個參數；將所述第二候選字串確 定為對所述待聚類的各個文檔進行聚類的聚類標籤，並將所述待聚類的各個文檔分別歸類 到與所述聚類標籤對應的簇中。較佳地，針對所述第一候選字串集合中的各字串，根據與該字串相關的參數，從所 述第一候選字串集合中選取第二候選字串具體包括針對所述第一候選字串集合中的各字 串，根據該字串出現在所述待聚類的所有文檔中的總次數、該字串出現在指定文檔中的總次數、該字串包含的字符個數以及所述待聚類的文檔中包含該各字串的文檔個數，採用下 述公式計算該字串的重要度Score Sco
權利要求
一種聚類方法，其特徵在於，包括根據預設的選取策略，從待聚類的各個文檔中選取第一候選字串集合；針對所述第一候選字串集合中的各字串，根據與該字串相關的參數，從所述第一候選字串集合中選取第二候選字串，所述與該字串相關的參數為該字串出現在所述待聚類的所有文檔中的總次數、該字串出現在指定文檔中的總次數、該字串包含的字符個數以及所述待聚類的文檔中包含該各字串的文檔個數中的至少一個參數；將所述第二候選字串確定為對所述待聚類的各個文檔進行聚類的聚類標籤，並將所述待聚類的各個文檔分別歸類到與所述聚類標籤對應的簇中。
2.如權利要求1所述的方法，其特徵在於，針對所述第一候選字串集合中的各字串，根 據與該字串相關的參數，從所述第一候選字串集合中選取第二候選字串具體包括針對所述第一候選字串集合中的各字串，根據該字串出現在所述待聚類的所有文檔中 的總次數、該字串出現在指定文檔中的總次數、該字串包含的字符個數以及所述待聚類的 文檔中包含該各字串的文檔個數，採用下述公式計算該字串的重要度Score Score = ~wor(^-tf_ * word,df * \og(word length) wordnormtf其中，word, tf為該字串出現在所述待聚類的各個文檔中的總次數，word, normtf為該 字串出現在所述指定文檔中的總次數，word, df為包含該字串的所述待聚類的文檔個數， word, length為該字串包含的字符個數；在計算出所述第一候選字串集合中各字串的重要度Score後，根據所述重要度Score， 從所述第一候選字串集合中選取第二候選字串。
3.如權利要求2所述的方法，其特徵在於，還包括按照所述確定的聚類標籤的重要度Score由大至小的順序，對所述確定的聚類標籤進 行對應排列。
4.如權利要求1所述的方法，其特徵在於，根據預設的選取策略，從待聚類的各個文檔 中選取第一候選字串集合具體包括從待聚類的各個文檔所包含的字串中，選取字串包含的字符個數與預設的第一字符個 數閾值一致的字串；從所述選取的字串中選取符合預設規則的第一候選字串集合，所述預設規則為以下規 則中的任意一種或為以下規則的任意組合針對所述第一候選字串集合中的各字串，包含該字串的所述待聚類的文檔的個數不小 於預設的第一閾值；針對所述第一候選字串集合中的各字串，在所述待聚類的各個文檔中，與該字串相鄰、 位於該字串之前、且包含的字符數目與預設的第二字符個數閾值一致的不同字串的個數不 小於預設的第二閾值；針對所述第一候選字串集合中的各字串，在所述待聚類的各個文檔中，與該字串相鄰、 位於該字串之後、且包含的字符數目與預設的第二字符個數閾值一致的不同字串的個數不 小於預設的第三閾值；針對所述第一候選字串集合中的各字串，該字串出現在所述待聚類的所有文檔中的總次數除以該字串包含的各字符出現在所述待聚類的所有文檔中的總次數所得的數值不小於預設的第四閾值。
5.如權利要求1、2或4所述的方法，其特徵在於，採用多模式匹配的方法，將所述待聚 類的各個文檔分別歸類到與所述聚類標籤對應的簇中。
6.如權利要求1、2或4所述的方法，其特徵在於，還包括針對所述確定的聚類標籤中的各聚類標籤，確定該聚類標籤出現在所述待聚類的所有 文檔中的總次數，並按照各個所述確定的總次數由多至少的順序，對所述確定的聚類標籤 進行對應排列；或針對所述確定的聚類標籤中的各聚類標籤，確定包含有該聚類標籤的所述待聚類的文 檔個數，並按照各個所述確定的文檔個數由多至少的順序，對所述確定的聚類標籤進行對 應排列；或按照所述確定的聚類標籤分別被用作搜尋引擎所使用的查詢詞的頻率由高至低的順 序，對所述確定的聚類標籤進行對應排列，其中，所述待聚類的文檔為通過搜尋引擎搜索到 的搜索結果。
7.一種聚類裝置，其特徵在於，包括第一選取單元，用於根據預設的選取策略，從待聚類的各個文檔中選取第一候選字串 集合；第二選取單元，用於針對第一選取單元選取的第一候選字串集合中的各字串，根據與 該字串相關的參數，從所述第一候選字串集合中選取第二候選字串，所述與該字串相關的 參數為該字串出現在所述待聚類的所有文檔中的總次數、該字串出現在指定文檔中的總次 數、該字串包含的字符個數以及所述待聚類的文檔中包含該各字串的文檔個數中的至少一 個參數；標籤確定單元，用於將第二選取單元選取的第二候選字串確定為對所述待聚類的各個 文檔進行聚類的聚類標籤；歸類單元，用於將所述待聚類的各個文檔分別歸類到與所述標籤確定單元確定的聚類 標籤對應的簇中。
8.如權利要求7所述的裝置，其特徵在於，所述第二選取單元具體包括計算模塊，用於針對所述第一候選字串集合中的各字串，根據該字串出現在所述待 聚類的所有文檔中的總次數、該字串出現在指定文檔中的總次數、該字串包含的字符個數 以及所述待聚類的文檔中包含該各字串的文檔個數，採用下述公式計算該字串的重要度 Score
9.如權利要求7所述的裝置，其特徵在於，所述第一選取單元具體包括第一選取模塊，用於從所述待聚類的各個文檔所包含的字串中，選取字串包含的字符個數與預設的第一字符個數閾值一致的字串；第二選取模塊，用於從第一選取模塊選取的字串中選取符合預設規則的第一候選字串 集合，所述預設規則為以下規則中的任意一種或為以下規則的任意組合針對所述第一候選字串集合中的各字串，包含該字串的所述待聚類的文檔的個數不小 於預設的第一閾值；針對所述第一候選字串集合中的各字串，在所述待聚類的各個文檔中，與該字串相鄰、 位於該字串之前、且包含的字符數目與預設的第二字符個數閾值一致的不同字串的個數不 小於預設的第二閾值；針對所述第一候選字串集合中的各字串，在所述待聚類的各個文檔中，與該字串相鄰、 位於該字串之後、且包含的字符數目與預設的第二字符個數閾值一致的不同字串的個數不 小於預設的第三閾值；針對所述第一候選字串集合中的各字串，該字串出現在所述待聚類的所有文檔中的總 次數除以該字串包含的各字符出現在所述待聚類的所有文檔中的總次數所得的數值不小 於預設的第四閾值。
10.如7 9任一權利要求所述的裝置，其特徵在於，還包括 次數確定單元，用於分別針對標籤確定單元確定的聚類標籤中的各聚類標籤，確定該 聚類標籤出現在所述待聚類的所有文檔中的總次數；標籤排列單元，用於按照次數確定單元分別確定的各個總次數由多至少的順序，對所 述確定的聚類標籤進行對應排列；或者還包括文檔個數確定單元，用於針對標籤確定單元確定的聚類標籤中的各聚類標籤， 確定包含有該聚類標籤的所述待聚類的文檔個數；標籤排列單元，用於按照文檔個數確定單元確定的各個文檔個數由多至少的順序，對 所述確定的聚類標籤進行對應排列；或者還包括標籤排列單元，用於按照標籤確定單元確定的聚類標籤分別被用作搜尋引擎 所使用的查詢詞的頻率由高至低的順序，對所述確定的聚類標籤進行對應排列，其中，所述 待聚類的文檔為通過搜尋引擎搜索到的搜索結果。
全文摘要
本發明公開了一種聚類方法，用以解決現有技術提供的檢索結果聚類方法難以生成可讀性較好的聚類標籤的缺陷，該方法包括根據預設的選取策略，從待聚類的各個文檔中選取第一候選字串集合；針對第一候選字串集合中的各字串，根據與該字串相關的參數，從第一候選字串集合中選取第二候選字串，所述與該字串相關的參數為該字串出現在待聚類的所有文檔中的總次數、該字串出現在指定文檔中的總次數、該字串包含的字符個數以及待聚類的文檔中包含該各字串的文檔個數中的至少一個參數；將第二候選字串確定為對所述待聚類的各個文檔進行聚類的聚類標籤，並將待聚類的各個文檔分別歸類到與所述聚類標籤對應的簇中。本發明還公開了一種聚類裝置。
文檔編號G06F17/30GK101989281SQ20091008917
公開日2011年3月23日 申請日期2009年8月3日 優先權日2009年8月3日
發明者孫宏偉, 羅治國, 胡珉 申請人:中國移動通信集團公司