一種為文本集合生成語義標識的方法和裝置製造方法
2023-04-25 01:45:11 4
一種為文本集合生成語義標識的方法和裝置製造方法
【專利摘要】本發明公開了一種為文本集合生成語義標識的方法和裝置，所述方法包括以下步驟：對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得每一個文本相對應的候選語義標識；根據所述候選語義標識的文本特徵、用戶行為特徵、以及長度L，確定每一個候選語義標識的優先級；以及將優先級最高的一個或多個候選語義標識確定為所述文本集合的正式語義標識。
【專利說明】一種為文本集合生成語義標識的方法和裝置
【技術領域】
[0001] 本發明涉及信息處理【技術領域】，尤其涉及一種為文本集合生成語義標識的方法和 裝直。
【背景技術】
[0002] 目前，在網際網路領域，為了更好的了解用戶的需求和興趣，經常需要對各類短文本 進行分類，針對每個短文本集合，通過對該文本集合中的文本進行分析，生成與該文本集合 對應的語義標識，並為每一個文本集合打上相對應的語義標識。如某個襯衫集合打上"襯衫 女"/ "襯衫男"等語義標識；如針對某鞋類，打上"豆豆鞋女"或"牛津鞋"等語義標識。但 是由於文本類別繁多，數以萬計，通過傳統方法對每一種文本集合打上相應的語義標識，效 率較低，速度緩慢。
【發明內容】
[0003] 鑑於上述問題，提出了本發明，以便提供一種克服上述問題或者至少部分地解決 上述問題的為文本集合生成語義標識的方法和裝置。
[0004] 依據本發明的第一方面，提供了一種為文本集合生成語義標識的方法，包括步驟： 對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得每一個文 本相對應的候選語義標識；根據所述候選語義標識的文本特徵、用戶行為特徵、以及長度 L，確定每一個候選語義標識的優先級；以及將優先級最高的一個或多個候選語義標識確定 為所述文本集合的正式語義標識。
[0005] 可選地，在根據本發明的實施例的為文本集合生成語義標識的方法中，所述對文 本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得每一個文本相 對應的候選語義標識的步驟包括以下中的至少一個：對所述文本集合中的每一個文本進行 分詞，以獲得每一個文本相對應的第一組分詞；將所述每一個文本相對應的第一組分詞中 的連續兩個或更多個單字分詞分別合併為一個分詞，以獲得與每一個文本相對應的第二組 分詞；以及將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組 合，以獲得每一個文本相對應的候選語義標識。
[0006] 可選地，在根據本發明的實施例的為文本集合生成語義標識的方法中，在獲得每 一個文本相對應的候選語義標識之後，所述方法還包括步驟：從候選語義標識中刪除單字 候選語義標識；判斷組成候選語義標識的首分詞或尾分詞是否為單字；在判斷為是的情況 下，進一步判斷所述單字是否位於與所述候選語義標識相對應的第二組分詞中的非首字或 非尾字；以及在判斷為是的情況下，刪除所述候選語義標識。
[0007] 可選地，在根據本發明的實施例的為文本集合生成語義標識的方法中，在獲得每 一個文本相對應的候選語義標識之後，所述方法還包括步驟：將所述文本集合中所有文本 相對應的每一個候選語義標識與所述每一個文本進行匹配，以確定對於每一個候選語義標 識匹配成功的文本數量Ν，以作為該候選語義標識的文本特徵；以及根據用戶行為日誌，統 計每一個候選語義標識所在的文本在用戶行為中所涉及的頻次M，以作為該候選語義標識 的用戶行為特徵。
[0008] 可選地，在根據本發明的實施例的為文本集合生成語義標識的方法中，所述候選 語義標識的優先級與所述文本數量N、頻次M、以及長度L正相關。
[0009] 可選地，在根據本發明的實施例的為文本集合生成語義標識的方法中，將所述文 本集合中所有文本相對應的每一個候選語義標識與所述每一個文本進行匹配的步驟包括： 判斷所述候選語義標識中的每個單字是否都包含在文本中、並且每個單字在所述候選語義 標識中出現的次數是否小於所述單字在所述文本中出現的次數，如果兩個判斷結果均為 是，則確定所述語義標識與所述文本匹配。
[0010] 可選地，在根據本發明的實施例的為文本集合生成語義標識的方法中，所述根據 用戶行為日誌，統計每一個候選語義標識所在的文本在用戶行為中所涉及的頻次M的步驟 包括：根據所述用戶行為日誌，統計每一個候選語義標識所在的文本被用戶輸入進行查詢 的頻次、被用戶點擊的頻次，以確定所述文本在用戶行為中所涉及的頻次M。
[0011] 可選地，在根據本發明的實施例的為文本集合生成語義標識的方法中， 所述根據所述候選語義標識的文本特徵、用戶行為特徵、以及長度L，確定每一個 候選語義標識的優先級的步驟包括：根據所述匹配成功的文本數量N、頻次M、以 及候選語義標識的長度L，通過以下公式確定每一個候選語義標識的優先級P : /5 = Viv X X (l + log Uf) / ιοοοο)。
[0012] 依據本發明的第二方面，提供了一種為文本集合生成語義標識的裝置，包括：候選 語義標識獲得模塊，用於對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至 少一個，以獲得每一個文本相對應的候選語義標識；優先級確定模塊，用於根據所述候選語 義標識的文本特徵、用戶行為特徵、以及長度L，確定每一個候選語義標識的優先級；以及 正式語義標識確定模塊，用於將優先級最高的一個或多個候選語義標識確定為所述文本集 合的正式語義標識。
[0013] 可選地，在根據本發明的實施例的為文本集合生成語義標識的裝置中，所述候選 語義標識獲得模塊用於執行以下中的至少一個：對所述文本集合中的每一個文本進行分 詞，以獲得每一個文本相對應的第一組分詞；將所述每一個文本相對應的第一組分詞中的 連續兩個或更多個單字分詞分別合併為一個分詞，以獲得與每一個文本相對應的第二組分 詞；以及將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組合， 以獲得每一個文本相對應的候選語義標識。
[0014] 可選地，在根據本發明的實施例的為文本集合生成語義標識的裝置中，還包括候 選語義標識篩選模塊，用於在所述候選語義標識獲得模塊獲得每一個文本相對應的候選語 義標識之後：從候選語義標識中刪除單字候選語義標識；判斷組成候選語義標識的首分詞 或尾分詞是否為單字；在判斷為是的情況下，進一步判斷所述單字是否位於與所述候選語 義標識相對應的第二組分詞中的非首字或非尾字；以及在判斷為是的情況下，刪除所述候 選語義標識。
[0015] 可選地，在根據本發明的實施例的為文本集合生成語義標識的裝置中，還包括文 本特徵和用戶行為特徵獲得模塊，用於在所述候選語義標識獲得模塊獲得每一個文本相對 應的候選語義標識之後：將所述文本集合中所有文本相對應的每一個候選語義標識與所述 每一個文本進行匹配，以確定對於每一個候選語義標識匹配成功的文本數量N，以作為該候 選語義標識的文本特徵；以及根據用戶行為日誌，統計每一個候選語義標識所在的文本在 用戶行為中所涉及的頻次M，以作為該候選語義標識的用戶行為特徵。
[0016] 可選地，在根據本發明的實施例的為文本集合生成語義標識的裝置中，所述候選 語義標識的優先級與所述文本數量N、頻次M、以及長度L正相關。
[0017] 可選地，在根據本發明的實施例的為文本集合生成語義標識的裝置中，所述文本 特徵和用戶行為特徵獲得模塊用於：判斷所述候選語義標識中的每個單字是否都包含在文 本中、並且每個單字在所述候選語義標識中出現的次數是否小於所述單字在所述文本中出 現的次數，如果兩個判斷結果均為是，則確定所述語義標識與所述文本匹配。
[0018] 可選地，在根據本發明的實施例的為文本集合生成語義標識的裝置中，所述文本 特徵和用戶行為特徵獲得模塊用於：根據所述用戶行為日誌，統計每一個候選語義標識所 在的文本被用戶輸入進行查詢的頻次、被用戶點擊的頻次，以確定所述文本在用戶行為中 所涉及的頻次M。
[0019] 可選地，在根據本發明的實施例的為文本集合生成語義標識的裝置 中，所述優先級確定模塊用於：根據所述匹配成功的文本數量N、頻次M、以及 候選語義標識的長度L，通過以下公式確定每一個候選語義標識的優先級P : P = # X VIX (I + log (JO / 10000)。
[0020] 本發明提供了上述為文本集合生成語義標識的方法和裝置。根據本發明的實施 例，可以對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得 每一個文本相對應的候選語義標識，並根據所述候選語義標識的文本特徵、用戶行為特徵、 以及長度L，確定每一個候選語義標識的優先級，然後，將優先級最高的一個或多個候選語 義標識確定為所述文本集合的正式語義標識。由此，相對於現有技術中為文本集合或類別 生成語義標識的方案，極大地提高了效率，並且能夠適應任何新出現或新領域的文本集合 或類別，為其生成適當的語義標識。此外，由於在確定候選語義標識的優先級時還考慮了候 選語義標識的用戶行為特徵，能夠使得最終確定的正式語義標識更準確，更能夠符合用戶 的實際需求。
[0021] 上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段， 而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠 更明顯易懂，以下特舉本發明的【具體實施方式】。
【專利附圖】
【附圖說明】
[0022] 通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通 技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明 的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：
[0023] 圖1是根據本發明的實施例的為文本集合生成語義標識的方法的流程圖；以及
[0024] 圖2是根據本發明的實施例的為文本集合生成語義標識的裝置以及伺服器的結 構示意圖。
【具體實施方式】
[0025] 下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開 的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例 所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍 完整的傳達給本領域的技術人員。
[0026] 根據本發明的第一方面，提供了一種為文本集合生成語義標識的方法。圖1示出 了根據本發明的實施例的為文本集合生成語義標識的方法100的流程圖。
[0027] 如圖1所示，所述方法100始於步驟S110,在步驟SllO中，對文本集合中的每一個 文本進行分詞、單字合併、排列組合中的至少一個，以獲得每一個文本相對應的候選語義標 識。
[0028] 根據本發明的實施例，所述步驟SllO可以包括以下子步驟中的至少一個：
[0029] 對所述文本集合中的每一個文本進行分詞，以獲得每一個文本相對應的第一組分 詞（子步驟Sl 12);
[0030] 將所述每一個文本相對應的第一組分詞中的連續兩個或更多個單字分詞分別合 並為一個分詞，以獲得與每一個文本相對應的第二組分詞（子步驟S114);以及；
[0031] 將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組合， 以獲得每一個文本相對應的候選語義標識（子步驟Sl 16)。
[0032] 在上述子步驟S112中，可以對所述文本集合中的每一個文本進行分詞，以獲得每 一個文本相對應的第一組分詞。可選地，可以採用本領域中的任何分詞技術來對於文本集 合中的每一個文本進行分詞。例如，某一文本內容為"望京世界百貨豆豆鞋專賣店"，對該文 本進行分詞後，得到一組分詞為："望京"、"世界"、"百貨"、"豆"、"豆"、"鞋"、"專賣店"。舉 出此示例是為了幫助讀者更容易地理解本發明的原理，而非意在以任何形式限制本發明的 範圍。本發明的範圍不限於此，而是可以應用於任何文本集合和文本內容。
[0033] 在上述子步驟S114中，將所述每一個文本相對應的第一組分詞中的連續兩個或 更多個單字分詞分別合併為一個分詞，以獲得與每一個文本相對應的第二組分詞。根據本 發明的實施例，若第一組分詞中存在連續η個分詞均為單字，則將該η個連續的單字合併成 一個分詞，其中η大於等於2,以得到第二組分詞。承接前述例子，該組分詞中存在連續3個 單字"豆"、"豆"、"鞋"，則將該3個單字合併為一個分詞"豆豆鞋"，因此，可以得到第二組分 詞為："望京"、"世界"、"百貨"、"豆豆鞋"、"專賣店"。
[0034] 在上述子步驟Sl 16中，將所述每一個文本對應的第一組分詞或第二組分詞中的 各個分詞進行排列組合，以獲得每一個文本相對應的候選語義標識。根據本發明的實施例， 以對上述第二組分詞中的各個分詞進行排列組合為例，可以遍歷第二組分詞中的每一個分 詞，將當前遍歷的分詞作為一個候選語義標識，再以該當前遍歷的分詞作為組合分詞的首 分詞，將該當前遍歷的分詞後面的每一個分詞分別作為組合分詞的尾分詞，針對每一個尾 分詞，將前述首分詞+中間分詞（其中中間分詞為位於首分詞與該尾分詞之間的分詞）+尾 分詞，作為一個組合分詞，將該組合分詞作為候選語義標識；以此類推，直到遍歷完第二組 分詞中的所有分詞。承接上述例子，遍歷第二組分詞，首先遍歷"望京"，將"望京"本身作為 候選語義標識，將組合分詞"望京世界"、"望京世界百貨"、"望京世界百貨豆豆鞋"、"望京世 界百貨豆豆鞋專賣店"作為候選語義標識；遍歷下一個分詞"世界"，將"世界"本身作為一 候選語義標識，將組合分詞"世界百貨"、"世界百貨豆豆鞋"、"世界百貨豆豆鞋專賣店"作為 候選語義標識依次遍歷，直到遍歷完"專賣店"為止。可以將按照上述步驟獲得的所有語義 標識作為所述文本相對應的候選語義標識。
[0035] 根據本發明的一種可選的實施例，在執行上述步驟SllO之後，所述方法可以包括 以下可選步驟：從候選語義標識中刪除單字候選語義標識；判斷組成候選語義標識的首分 詞或尾分詞是否為單字；在判斷為是的情況下，進一步判斷所述單字是否位於與所述候選 語義標識相對應的第二組分詞中的非首字或非尾字；以及在判斷為是的情況下，刪除所述 候選語義標識。上述可選步驟的目的主要是從候選語義標識中濾除無效的語義標識。
[0036] 如圖1所示，在所述步驟SllO之後，執行步驟S130,其中，根據所述候選語義標識 的文本特徵、用戶行為特徵、以及長度L，確定每一個候選語義標識的優先級。
[0037] 根據本發明的實施例，在執行上述步驟SllO之後、步驟S130之前，可以執行以下 步驟：將所述文本集合中所有文本相對應的每一個候選語義標識與所述每一個文本進行匹 配，以確定對於每一個候選語義標識匹配成功的文本數量N，以作為該候選語義標識的文本 特徵；以及根據用戶行為日誌，統計每一個候選語義標識所在的文本在用戶行為中所涉及 的頻次M，以作為該候選語義標識的用戶行為特徵。即，在上述實施例中，候選語義標識的文 本特徵為對於該候選語義標識匹配成功的文本數量N，而候選語義標識的用戶行為特徵為 該候選語義標識所在的文本在用戶行為中所涉及的頻次M。
[0038] 根據本發明的實施例，上述將所述文本集合中所有文本相對應的每一個候選語義 標識與所述每一個文本進行匹配的步驟包括：判斷所述候選語義標識中的每個單字是否都 包含在文本中、並且每個單字在所述候選語義標識中出現的次數是否小於所述單字在所述 文本中出現的次數，如果兩個判斷結果均為是，則確定所述語義標識與所述文本匹配。承接 上述例子，假設候選語義標識為"豆豆鞋"，則其完全包含在文本"豆豆鞋女士"中，與該文本 匹配，但不完全包含在"豆鞋女士"中，與該文本不匹配。由此，可以得到對於每一個候選語 義標識匹配成功的文本數量N，以作為該候選語義標識的文本特徵。
[0039] 根據本發明的實施例，上述根據用戶行為日誌統計每一個候選語義標識所在的文 本在用戶行為中所涉及的頻次M的步驟包括：根據所述用戶行為日誌，統計每一個候選語 義標識所在的文本被用戶輸入進行查詢的頻次、被用戶點擊的頻次，以確定所述文本在用 戶行為中所涉及的頻次M。可選地，文本在用戶行為中涉及可以包括以下幾種情況：情況 1，用戶輸入該候選語義標識所在的文本，將該文本作為查詢關鍵詞；情況2,用戶通過點擊 (如單擊/雙擊）或其它方式（比如用戶點擊連結後顯示的網頁的標題為該候選語義標識 所在的文本）觸發該候選語義標識所在的文本，例如，文本1為"豆豆鞋女"，文本2為"豆 豆鞋男"，候選語義標識為"豆豆鞋"，根據所有的用戶行為日誌統計得到：用戶在輸入框中 輸入"豆豆鞋女"的次數為nl，輸入框中輸入"豆豆鞋男"的次數為n2,用戶通過點擊"豆豆 鞋女"的次數為n3,點擊"豆豆鞋男"的次數為n4,採用其他方式觸發"豆豆鞋女"的次數為 n5,採用其他方式觸發"豆豆鞋男"的次數為n5,則統計得到該候選語義標識"豆豆鞋"被用 戶選中的總頻次為（nl+n2+n3+n4+n5+n6)。可選地，可以將上述情況1和情況2中的次數相 力口，以得到每一個候選語義標識所在的文本在用戶行為中所涉及的頻次Μ，以作為該候選語 義標識的用戶行為特徵。
[0040] 根據本發明的實施例，所述候選語義標識的優先級可以與所述文本數量N、頻次 M、以及長度L正相關。在一種實施例中，所述根據所述候選語義標識的文本特徵、用戶行為 特徵、以及長度L，確定每一個候選語義標識的優先級的步驟可以包括：根據所述匹配成功 的文本數量N、頻次M、以及候選語義標識的長度L，通過以下公式確定每一個候選語義標識 的優先級P=Z5 = ^xVZxfl + IogU/) / 10000)。本領域技術人員能夠理解：通過上述 公式確定每一個候選語義標識的優先級P的方式僅為本發明的一種實施例，本發明的範圍 不限於此，只要能夠根據所述候選語義標識的文本特徵、用戶行為特徵、以及長度L，確定每 一個候選語義標識的優先級，都符合本發明的原理，落入本發明的範圍內。
[0041] 如圖1所示，在步驟S120之後，執行步驟S130,其中，將優先級最高的一個或多個 候選語義標識確定為所述文本集合的正式語義標識。可選地，可以將優先級最高的一個候 選語義標識確定為所述文本集合的正式語義標識，也可以將優先級最高的多個候選語義標 識確定為所述文本集合的正式語義標識。
[0042] 根據本發明的第二方面，與上述方法100相對應，本發明還提供了一種為文本集 合生成語義標識的裝置200。圖2是根據本發明的實施例的為文本集合生成語義標識的裝 置200以及伺服器300的結構示意圖。
[0043] 如圖2所示，所述裝置200主要包括候選語義標識獲得模塊210、優先級確定模塊 220、正式語義標識確定模塊230。根據本發明的實施例，所述候選語義標識獲得模塊210用 於對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得每一個 文本相對應的候選語義標識；所述優先級確定模塊220用於根據所述候選語義標識的文本 特徵、用戶行為特徵、以及長度L，確定每一個候選語義標識的優先級；所述正式語義標識 確定模塊230用於將優先級最高的一個或多個候選語義標識確定為所述文本集合的正式 語義標識。
[0044] 首先，所述候選語義標識獲得模塊210對文本集合中的每一個文本進行分詞、單 字合併、排列組合中的至少一個，以獲得每一個文本相對應的候選語義標識。
[0045] 根據本發明的實施例，所述候選語義標識獲得模塊210可以執行以下操作中的至 少一個：
[0046] 對所述文本集合中的每一個文本進行分詞，以獲得每一個文本相對應的第一組分 詞；
[0047] 將所述每一個文本相對應的第一組分詞中的連續兩個或更多個單字分詞分別合 並為一個分詞，以獲得與每一個文本相對應的第二組分詞；以及；
[0048] 將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組合， 以獲得每一個文本相對應的候選語義標識。
[0049] 根據本發明的實施例，首先，所述候選語義標識獲得模塊210可以對所述文本集 合中的每一個文本進行分詞，以獲得每一個文本相對應的第一組分詞。可選地，所述候選語 義標識獲得模塊210可以採用本領域中的任何分詞技術來對於文本集合中的每一個文本 進行分詞。例如，某一文本內容為"望京世界百貨豆豆鞋專賣店"，所述候選語義標識獲得模 塊210對該文本進行分詞後，得到一組分詞為："望京"、"世界"、"百貨"、"豆"、"豆"、"鞋"、 "專賣店"。舉出此示例是為了幫助讀者更容易地理解本發明的原理，而非意在以任何形式 限制本發明的範圍。本發明的範圍不限於此，而是可以應用於任何文本集合和文本內容。
[0050] 隨後，所述候選語義標識獲得模塊210可以將所述每一個文本相對應的第一組分 詞中的連續兩個或更多個單字分詞分別合併為一個分詞，以獲得與每一個文本相對應的第 二組分詞。根據本發明的實施例，若第一組分詞中存在連續η個分詞均為單字，則所述候選 語義標識獲得模塊210將該η個連續的單字合併成一個分詞，其中η大於等於2,以得到第 二組分詞。承接前述例子，該組分詞中存在連續3個單字"豆"、"豆"、"鞋"，則將該3個單 字合併為一個分詞"豆豆鞋"，因此，可以得到第二組分詞為："望京"、"世界"、"百貨"、"豆豆 鞋"、"專賣店"。
[0051] 之後，所述候選語義標識獲得模塊210將所述每一個文本對應的第一組分詞或第 二組分詞中的各個分詞進行排列組合，以獲得每一個文本相對應的候選語義標識。根據本 發明的實施例，以對上述第二組分詞中的各個分詞進行排列組合為例，所述候選語義標識 獲得模塊210可以遍歷第二組分詞中的每一個分詞，將當前遍歷的分詞作為一個候選語義 標識，再以該當前遍歷的分詞作為組合分詞的首分詞，將該當前遍歷的分詞後面的每一個 分詞分別作為組合分詞的尾分詞，針對每一個尾分詞，所述候選語義標識獲得模塊210可 以將前述首分詞+中間分詞（其中中間分詞為位於首分詞與該尾分詞之間的分詞）+尾分 詞作為一個組合分詞，將該組合分詞作為候選語義標識；以此類推，直到遍歷完第二組分詞 中的所有分詞。承接上述例子，遍歷第二組分詞，所述候選語義標識獲得模塊210首先遍歷 "望京"，將"望京"本身作為候選語義標識，將組合分詞"望京世界"、"望京世界百貨"、"望京 世界百貨豆豆鞋"、"望京世界百貨豆豆鞋專賣店"作為候選語義標識；所述候選語義標識獲 得模塊210遍歷下一個分詞"世界"，將"世界"本身作為一候選語義標識，將組合分詞"世界 百貨"、"世界百貨豆豆鞋"、"世界百貨豆豆鞋專賣店"作為候選語義標識依次遍歷，直到遍 歷完"專賣店"為止。所述候選語義標識獲得模塊210可以將按照上述操作獲得的所有語 義標識作為所述文本相對應的候選語義標識。
[0052] 根據本發明的一種可選的實施例，所述裝置200還可以包括可選模塊一候選語 義標識篩選模塊，用於在所述候選語義標識獲得模塊210獲得每一個文本相對應的候選語 義標識之後：從候選語義標識中刪除單字候選語義標識；判斷組成候選語義標識的首分詞 或尾分詞是否為單字；在判斷為是的情況下，進一步判斷所述單字是否位於與所述候選語 義標識相對應的第二組分詞中的非首字或非尾字；以及在判斷為是的情況下，刪除所述候 選語義標識。上述可選模塊的功能主要是從候選語義標識中濾除無效的語義標識。
[0053] 之後，所述優先級確定模塊220根據所述候選語義標識的文本特徵、用戶行為特 徵、以及長度L，確定每一個候選語義標識的優先級。
[0054] 根據本發明的實施例，所述裝置200還可以包括文本特徵和用戶行為特徵獲得模 塊，用於在所述候選語義標識獲得模塊210獲得每一個文本相對應的候選語義標識之後、 在所述優先級確定模塊220確定每一個候選語義標識的優先級之前，將所述文本集合中所 有文本相對應的每一個候選語義標識與所述每一個文本進行匹配，以確定對於每一個候選 語義標識匹配成功的文本數量Ν，以作為該候選語義標識的文本特徵；以及根據用戶行為 日誌，統計每一個候選語義標識所在的文本在用戶行為中所涉及的頻次Μ，以作為該候選語 義標識的用戶行為特徵。即，在上述實施例中，候選語義標識的文本特徵為對於該候選語義 標識匹配成功的文本數量Ν，而候選語義標識的用戶行為特徵為該候選語義標識所在的文 本在用戶行為中所涉及的頻次Μ。
[0055] 根據本發明的實施例，所述文本特徵和用戶行為特徵獲得模塊的上述將所述文本 集合中所有文本相對應的每一個候選語義標識與所述每一個文本進行匹配的操作包括：判 斷所述候選語義標識中的每個單字是否都包含在文本中、並且每個單字在所述候選語義標 識中出現的次數是否小於所述單字在所述文本中出現的次數，如果兩個判斷結果均為是， 所述文本特徵和用戶行為特徵獲得模塊則確定所述語義標識與所述文本匹配。承接上述例 子，假設候選語義標識為"豆豆鞋"，則其完全包含在文本"豆豆鞋女士"中，與該文本匹配， 但不完全包含在"豆鞋女士"中，與該文本不匹配。由此，所述文本特徵和用戶行為特徵獲 得模塊可以得到對於每一個候選語義標識匹配成功的文本數量Ν，以作為該候選語義標識 的文本特徵。
[0056] 根據本發明的實施例，所述文本特徵和用戶行為特徵獲得模塊的上述根據用戶行 為日誌統計每一個候選語義標識所在的文本在用戶行為中所涉及的頻次M的操作包括：根 據所述用戶行為日誌，統計每一個候選語義標識所在的文本被用戶輸入進行查詢的頻次、 被用戶點擊的頻次，以確定所述文本在用戶行為中所涉及的頻次Μ。可選地，文本在用戶行 為中涉及可以包括以下幾種情況：情況1，用戶輸入該候選語義標識所在的文本，將該文本 作為查詢關鍵詞；情況2,用戶通過點擊（如單擊/雙擊）或其它方式（比如用戶點擊連結 後顯示的網頁的標題為該候選語義標識所在的文本）觸發該候選語義標識所在的文本，例 如，文本1為"豆豆鞋女"，文本2為"豆豆鞋男"，候選語義標識為"豆豆鞋"，根據所有的用 戶行為日誌統計得到：用戶在輸入框中輸入"豆豆鞋女"的次數為nl，輸入框中輸入"豆豆 鞋男"的次數為n2,用戶通過點擊"豆豆鞋女"的次數為n3,點擊"豆豆鞋男"的次數為n4， 採用其他方式觸發"豆豆鞋女"的次數為n5,採用其他方式觸發"豆豆鞋男"的次數為n5， 則統計得到該候選語義標識"豆豆鞋"被用戶選中的總頻次為（nl+n2+n3+n4+n5+n6)。可選 地，所述文本特徵和用戶行為特徵獲得模塊可以將上述情況1和情況2中的次數相加，以得 到每一個候選語義標識所在的文本在用戶行為中所涉及的頻次Μ，以作為該候選語義標識 的用戶行為特徵。
[0057] 根據本發明的實施例，所述候選語義標識的優先級可以與所述文本數量Ν、頻次 Μ、以及長度L正相關。在一種實施例中，所述優先級確定模塊220可以根據所述匹配成功 的文本數量Ν、頻次Μ、以及候選語義標識的長度L，通過以下公式確定每一個候選語義標識 的優先級Ρ:屍= #xVZx(l + IogOO / 10000)。本領域技術人員能夠理解：所述優先 級確定模塊220通過上述公式確定每一個候選語義標識的優先級P的方式僅為本發明的一 種實施例，本發明的範圍不限於此，只要能夠根據所述候選語義標識的文本特徵、用戶行為 特徵、以及長度L，確定每一個候選語義標識的優先級，都符合本發明的原理，落入本發明的 範圍內。
[0058] 然後，所述正式語義標識確定模塊230將優先級最高的一個或多個候選語義標識 確定為所述文本集合的正式語義標識。可選地，所述正式語義標識確定模塊230可以將優 先級最高的一個候選語義標識確定為所述文本集合的正式語義標識，也可以將優先級最高 的多個候選語義標識確定為所述文本集合的正式語義標識。
[0059] 本發明提供了上述為文本集合生成語義標識的方法和裝置。根據本發明的實施 例，可以對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得 每一個文本相對應的候選語義標識，並根據所述候選語義標識的文本特徵、用戶行為特徵、 以及長度L，確定每一個候選語義標識的優先級，然後，將優先級最高的一個或多個候選語 義標識確定為所述文本集合的正式語義標識。由此，相對於現有技術中為文本集合或類別 生成語義標識的方案，極大地提高了效率，並且能夠適應任何新出現或新領域的文本集合 或類別，為其生成適當的語義標識。此外，由於在確定候選語義標識的優先級時還考慮了候 選語義標識的用戶行為特徵，能夠使得最終確定的正式語義標識更準確，更能夠符合用戶 的實際需求。
[0060] 在此提供的方法和裝置不與任何特定計算機、虛擬系統或者其它設備固有相關。 各種通用系統也可以與基於在此的示教一起使用。根據上面的描述，構造這類裝置所要求 的結構是顯而易見的。此外，本發明也不針對任何特定程式語言。應當明白，可以利用各種 程式語言實現在此描述的本發明的內容，並且上面對特定語言所做的描述是為了披露本發 明的最佳實施方式。
[0061] 在此處所提供的說明書中，說明了大量具體細節。然而，能夠理解，本發明的實施 例可以在沒有這些具體細節的情況下實踐。在一些實例中，並未詳細示出公知的方法、結構 和技術，以便不模糊對本說明書的理解。
[0062] 類似地，應當理解，為了精簡本公開並幫助理解各個發明方面中的一個或多個，在 上面對本發明的示例性實施例的描述中，本發明的各個特徵有時被一起分組到單個實施 例、圖、或者對其的描述中。然而，並不應將該公開的方法解釋成反映如下意圖：即所要求保 護的本發明要求比在每個權利要求中所明確記載的特徵更多的特徵。更確切地說，如權利 要求書所反映的那樣，發明方面在於少於前面公開的單個實施例的所有特徵。因此，遵循具 體實施方式的權利要求書由此明確地併入該【具體實施方式】，其中每個權利要求本身都作為 本發明的單獨實施例。
[0063] 本領域那些技術人員可以理解，可以對實施例中的裝置中的模塊進行自適應性地 改變並且把它們設置在與該實施例不同的一個或多個裝置中。可以把實施例中的若干模塊 組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。 除了這樣的特徵和/或過程或者模塊中的至少一些是相互排斥之外，可以採用任何組合對 本說明書（包括伴隨的權利要求、摘要和附圖）中公開的所有特徵以及如此公開的任何方 法或者設備的所有過程或單元進行組合。除非另外明確陳述，本說明書（包括伴隨的權利 要求、摘要和附圖）中公開的每個特徵可以由提供相同、等同或相似目的替代特徵來代替。
[0064] 此外，本領域的技術人員能夠理解，儘管在此所述的一些實施例包括其它實施例 中所包括的某些特徵而不是其它特徵，但是不同實施例的特徵的組合意味著處於本發明的 範圍之內並且形成不同的實施例。例如，在權利要求書中，所要求保護的實施例的任意之一 都可以以任意的組合方式來使用。
[0065] 本發明的各個裝置實施例可以以硬體實現，或者以在一個或者多個處理器上運行 的軟體模塊實現，或者以它們的組合實現。本領域的技術人員應當理解，可以在實踐中使用 微處理器或者數位訊號處理器（DSP)來實現根據本發明實施例的裝置中的一些或者全部 模塊的一些或者全部功能。本發明還可以實現為用於執行這裡所描述的方法的一部分或者 全部的裝置程序（例如，電腦程式和電腦程式產品）。這樣的實現本發明的程序可以存 儲在計算機可讀介質上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特 網網站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0066] 應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制，並且本領 域技術人員在不脫離所附權利要求的範圍的情況下可設計出替換實施例。在權利要求中， 不應將位於括號之間的任何參考符號構造成對權利要求的限制。單詞"包含"不排除存在 未列在權利要求中的元件或步驟。位於元件之前的單詞"一"或"一個"不排除存在多個這 樣的元件。本發明可以藉助於包括有若干不同元件的硬體以及藉助於適當編程的計算機來 實現。在列舉了若干裝置的單元權利要求中，這些裝置中的若干個可以是通過同一個硬體 項來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為 名稱。
[0067] 本發明還公開了：
[0068] Al. -種為文本集合生成語義標識的方法，包括步驟：
[0069] 對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得 每一個文本相對應的候選語義標識；
[0070] 根據所述候選語義標識的文本特徵、用戶行為特徵、以及長度L，確定每一個候選 語義標識的優先級；以及
[0071] 將優先級最高的一個或多個候選語義標識確定為所述文本集合的正式語義標識。
[0072] A2.如權利要求Al所述的方法，其中所述對文本集合中的每一個文本進行分詞、 單字合併、排列組合中的至少一個，以獲得每一個文本相對應的候選語義標識的步驟包括 以下中的至少一個：
[0073] 對所述文本集合中的每一個文本進行分詞，以獲得每一個文本相對應的第一組分 詞；
[0074] 將所述每一個文本相對應的第一組分詞中的連續兩個或更多個單字分詞分別合 並為一個分詞，以獲得與每一個文本相對應的第二組分詞；以及
[0075] 將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組合， 以獲得每一個文本相對應的候選語義標識。
[0076] A3.如權利要求Al所述的方法，其中在獲得每一個文本相對應的候選語義標識之 後，所述方法還包括步驟：
[0077] 從候選語義標識中刪除單字候選語義標識；
[0078] 判斷組成候選語義標識的首分詞或尾分詞是否為單字；
[0079] 在判斷為是的情況下，進一步判斷所述單字是否位於與所述候選語義標識相對應 的第二組分詞中的非首字或非尾字；以及
[0080] 在判斷為是的情況下，刪除所述候選語義標識。
[0081] A4.如權利要求Al至A3中的任一項所述的方法，其中在獲得每一個文本相對應的 候選語義標識之後，所述方法還包括步驟：
[0082] 將所述文本集合中所有文本相對應的每一個候選語義標識與所述每一個文本進 行匹配，以確定對於每一個候選語義標識匹配成功的文本數量N，以作為該候選語義標識的 文本特徵；以及
[0083] 根據用戶行為日誌，統計每一個候選語義標識所在的文本在用戶行為中所涉及的 頻次M，以作為該候選語義標識的用戶行為特徵。
[0084] A5.如權利要求A4所述的方法，其中所述候選語義標識的優先級與所述文本數量 N、頻次M、以及長度L正相關。
[0085] A6.如權利要求A4所述的方法，其中將所述文本集合中所有文本相對應的每一個 候選語義標識與所述每一個文本進行匹配的步驟包括：
[0086] 判斷所述候選語義標識中的每個單字是否都包含在文本中、並且每個單字在所述 候選語義標識中出現的次數是否小於所述單字在所述文本中出現的次數，如果兩個判斷結 果均為是，則確定所述語義標識與所述文本匹配。
[0087] A7.如權利要求A4所述的方法，其中所述根據用戶行為日誌，統計每一個候選語 義標識所在的文本在用戶行為中所涉及的頻次M的步驟包括：
[0088] 根據所述用戶行為日誌，統計每一個候選語義標識所在的文本被用戶輸入進行查 詢的頻次、被用戶點擊的頻次，以確定所述文本在用戶行為中所涉及的頻次M。
[0089] A8.如權利要求A4所述的方法，其中所述根據所述候選語義標識的文本特徵、用 戶行為特徵、以及長度L，確定每一個候選語義標識的優先級的步驟包括：
[0090] 根據所述匹配成功的文本數量N、頻次M、以及候選語義標識的長度L，通過以下公 式確定每一個候選語義標識的優先級P :
[0091] P = # X λ/Γ X (I + log (#) / 10000)。
[0092] B9. -種為文本集合生成語義標識的裝置，包括：
[0093] 候選語義標識獲得模塊，用於對文本集合中的每一個文本進行分詞、單字合併、排 列組合中的至少一個，以獲得每一個文本相對應的候選語義標識；
[0094] 優先級確定模塊，用於根據所述候選語義標識的文本特徵、用戶行為特徵、以及長 度L，確定每一個候選語義標識的優先級；以及
[0095] 正式語義標識確定模塊，用於將優先級最高的一個或多個候選語義標識確定為所 述文本集合的正式語義標識。
[0096] B10.如權利要求B9所述的裝置，其中所述候選語義標識獲得模塊用於執行以下 中的至少一個：
[0097] 對所述文本集合中的每一個文本進行分詞，以獲得每一個文本相對應的第一組分 詞；
[0098] 將所述每一個文本相對應的第一組分詞中的連續兩個或更多個單字分詞分別合 並為一個分詞，以獲得與每一個文本相對應的第二組分詞；以及
[0099] 將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組合， 以獲得每一個文本相對應的候選語義標識。
[0100] BlL如權利要求B9所述的裝置，還包括候選語義標識篩選模塊，用於在所述候選 語義標識獲得模塊獲得每一個文本相對應的候選語義標識之後：
[0101] 從候選語義標識中刪除單字候選語義標識；
[0102] 判斷組成候選語義標識的首分詞或尾分詞是否為單字；
[0103] 在判斷為是的情況下，進一步判斷所述單字是否位於與所述候選語義標識相對應 的第二組分詞中的非首字或非尾字；以及
[0104] 在判斷為是的情況下，刪除所述候選語義標識。
[0105] B12.如權利要求B9至Bll中的任一項所述的裝置，還包括文本特徵和用戶行為特 徵獲得模塊，用於在所述候選語義標識獲得模塊獲得每一個文本相對應的候選語義標識之 後：
[0106] 將所述文本集合中所有文本相對應的每一個候選語義標識與所述每一個文本進 行匹配，以確定對於每一個候選語義標識匹配成功的文本數量N，以作為該候選語義標識的 文本特徵；以及
[0107] 根據用戶行為日誌，統計每一個候選語義標識所在的文本在用戶行為中所涉及的 頻次M，以作為該候選語義標識的用戶行為特徵。
[0108] B13.如權利要求B12所述的裝置，其中所述候選語義標識的優先級與所述文本數 量N、頻次M、以及長度L正相關。
[0109] B14.如權利要求B12所述的裝置，其中所述文本特徵和用戶行為特徵獲得模塊用 於：
[0110] 判斷所述候選語義標識中的每個單字是否都包含在文本中、並且每個單字在所述 候選語義標識中出現的次數是否小於所述單字在所述文本中出現的次數，如果兩個判斷結 果均為是，則確定所述語義標識與所述文本匹配。
[0111] B15.如權利要求B12所述的裝置，其中所述文本特徵和用戶行為特徵獲得模塊用 於：
[0112] 根據所述用戶行為日誌，統計每一個候選語義標識所在的文本被用戶輸入進行查 詢的頻次、被用戶點擊的頻次，以確定所述文本在用戶行為中所涉及的的頻次M。
[0113] B16.如權利要求B8所述的裝置，其中所述優先級確定模塊用於：
[0114] 根據所述匹配成功的文本數量N、頻次M、以及候選語義標識的長度L，通過以下公 式確定每一個候選語義標識的優先級P :
[0115] Z5 = # X VZ X (I + log ClO / 10000)。
【權利要求】
1. 一種為文本集合生成語義標識的方法，包括步驟： 對文本集合中的每一個文本進行分詞、單字合併、排列組合中的至少一個，以獲得每一 個文本相對應的候選語義標識； 根據所述候選語義標識的文本特徵、用戶行為特徵、以及長度L，確定每一個候選語義 標識的優先級；以及 將優先級最高的一個或多個候選語義標識確定為所述文本集合的正式語義標識。
2. 如權利要求1所述的方法，其中所述對文本集合中的每一個文本進行分詞、單字合 並、排列組合中的至少一個，以獲得每一個文本相對應的候選語義標識的步驟包括以下中 的至少一個： 對所述文本集合中的每一個文本進行分詞，以獲得每一個文本相對應的第一組分詞； 將所述每一個文本相對應的第一組分詞中的連續兩個或更多個單字分詞分別合併為 一個分詞，以獲得與每一個文本相對應的第二組分詞；以及 將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組合，以獲 得每一個文本相對應的候選語義標識。
3. 如權利要求1所述的方法，其中在獲得每一個文本相對應的候選語義標識之後，所 述方法還包括步驟： 從候選語義標識中刪除單字候選語義標識； 判斷組成候選語義標識的首分詞或尾分詞是否為單字； 在判斷為是的情況下，進一步判斷所述單字是否位於與所述候選語義標識相對應的第 二組分詞中的非首字或非尾字；以及 在判斷為是的情況下，刪除所述候選語義標識。
4. 如權利要求1至3中的任一項所述的方法，其中在獲得每一個文本相對應的候選語 義標識之後，所述方法還包括步驟： 將所述文本集合中所有文本相對應的每一個候選語義標識與所述每一個文本進行匹 配，以確定對於每一個候選語義標識匹配成功的文本數量N，以作為該候選語義標識的文本 特徵；以及 根據用戶行為日誌，統計每一個候選語義標識所在的文本在用戶行為中所涉及的頻次M，以作為該候選語義標識的用戶行為特徵。
5. 如權利要求4所述的方法，其中所述候選語義標識的優先級與所述文本數量N、頻次 M、以及長度L正相關。
6. 如權利要求4所述的方法，其中將所述文本集合中所有文本相對應的每一個候選語 義標識與所述每一個文本進行匹配的步驟包括： 判斷所述候選語義標識中的每個單字是否都包含在文本中、並且每個單字在所述候選 語義標識中出現的次數是否小於所述單字在所述文本中出現的次數，如果兩個判斷結果均 為是，則確定所述語義標識與所述文本匹配。
7. 如權利要求4所述的方法，其中所述根據用戶行為日誌，統計每一個候選語義標識 所在的文本在用戶行為中所涉及的頻次M的步驟包括： 根據所述用戶行為日誌，統計每一個候選語義標識所在的文本被用戶輸入進行查詢的 頻次、被用戶點擊的頻次，以確定所述文本在用戶行為中所涉及的頻次M。
8. 如權利要求4所述的方法，其中所述根據所述候選語義標識的文本特徵、用戶行為 特徵、以及長度L，確定每一個候選語義標識的優先級的步驟包括： 根據所述匹配成功的文本數量N、頻次M、以及候選語義標識的長度L，通過以下公式確 定每一個候選語義標識的優先級P: Z3 = # X VI X (I + log (i〇/ 10000)〇
9. 一種為文本集合生成語義標識的裝置，包括： 候選語義標識獲得模塊，用於對文本集合中的每一個文本進行分詞、單字合併、排列組 合中的至少一個，以獲得每一個文本相對應的候選語義標識； 優先級確定模塊，用於根據所述候選語義標識的文本特徵、用戶行為特徵、以及長度L， 確定每一個候選語義標識的優先級；以及 正式語義標識確定模塊，用於將優先級最高的一個或多個候選語義標識確定為所述文 本集合的正式語義標識。
10. 如權利要求9所述的裝置，其中所述候選語義標識獲得模塊用於執行以下中的至 少一個： 對所述文本集合中的每一個文本進行分詞，以獲得每一個文本相對應的第一組分詞； 將所述每一個文本相對應的第一組分詞中的連續兩個或更多個單字分詞分別合併為 一個分詞，以獲得與每一個文本相對應的第二組分詞；以及 將所述每一個文本對應的第一組分詞或第二組分詞中的各個分詞進行排列組合，以獲 得每一個文本相對應的候選語義標識。
【文檔編號】G06F17/30GK104462360SQ201410743203
【公開日】2015年3月25日 申請日期:2014年12月5日 優先權日:2014年12月5日
【發明者】楊詩 申請人:北京奇虎科技有限公司, 奇智軟體（北京）有限公司