一種知識共享平臺的詞條處理裝置和方法
2023-05-27 21:43:41
一種知識共享平臺的詞條處理裝置和方法
【專利摘要】提供了一種知識共享平臺的詞條處理裝置和方法。所述知識共享平臺的詞條處理裝置包括：候選詞條獲取單元，用於根據目標詞條的目錄中第一目錄的目錄名稱和所述第一目錄下的目錄內容，獲取與所述第一目錄關聯的候選詞條及其詞條內容；內容比較單元，用於計算每個候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度；詞條確定單元，用於根據內容比較單元計算的文本相似度，從候選詞條中確定與所述第一目錄相關的詞條。
【專利說明】一種知識共享平臺的詞條處理裝置和方法
【技術領域】
[0001]本發明涉及一種知識共享平臺的詞條處理裝置和方法，更具體地講，涉及一種網絡百科的詞條處理裝置和方法。
【背景技術】
[0002]隨著網際網路技術的快速發展，在網際網路上能夠為用戶提供的內容也越來越多，網際網路的用戶更加傾向於在網際網路上搜尋自己想要了解的內容。然而，在用戶從網際網路搜尋想要了解的內容時，網際網路所能夠提供的結果通常過於繁雜，並且與用戶想要了解的內容可能並不十分相關，這使得用戶感到非常的不便。
[0003]在網際網路上提供的百科應用是一種能夠供用戶查檢所需知識和事實資料的在線資料應用，通常以詞條的形式向用戶提供相關的知識內容。並且由於網際網路能夠提供更加豐富的資料，因此現在的網際網路百科應用所能夠提供的詞條內容也越來越詳細，不僅包括對於詞條的說明，還會包括與詞條相關的一些其他內容。例如，如圖1A中所示，當展示詞條「紅樓夢」的相關內容時，不僅會展示對於紅樓夢這部作品的內容介紹，還會展示與紅樓夢相關的其他信息，諸如作者簡介、人物介紹等等內容。由於展示的內容通常較多，因此如圖1A中所示，會以目錄的形式對這些內容進行歸類，以便於用戶查看相應內容。
[0004]然而，在百科詞條之間會存在許多相似或重複的內容。例如，如圖1B所示，在詞條「紅樓夢」的目錄項「作者簡介」部分，以大量的篇幅介紹了作者「曹雪芹」，而在百科中，「曹雪芹」也是一個百科詞條，詞條「紅樓夢」的部分詞條內容與詞條「曹雪芹」相似或重複，在詞條「紅樓夢」的詞條內容中以大量的篇幅介紹了與另一詞條相關的一些內容。也就是說，在一個詞條的詞條內容中，通常會存在與其他詞條相關的一些內容，這可能導致在向用戶展示與該詞條相關的內容時，展示的內容過多使得用戶難以很快的找到想要的信息，並且這樣的詞條展示方式需要大量的存儲空間來存儲每個詞條的詞條內容。此外，如圖1B中所示，儘管在詞條「紅樓夢」的相關詞條內容中包括對作者曹雪芹的一些介紹，但相對於詞條「曹雪芹」中提供的與曹雪芹相關的信息而言，這些介紹可能不夠詳細。因此，需要一種新的百科詞條內容設置方法使得能夠以更加簡潔、高效的方式向用戶展示詞條的相關信息。
【發明內容】
[0005]根據本發明的一方面，提供了一種知識共享平臺的詞條處理裝置，所述裝置包括:候選詞條獲取單元，用於根據目標詞條的目錄中第一目錄的目錄名稱和所述第一目錄下的目錄內容，獲取與所述第一目錄關聯的候選詞條及其詞條內容；內容比較單元，用於計算每個候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度；詞條確定單元，用於根據內容比較單元計算的文本相似度，從候選詞條中確定與所述第一目錄相關的詞條。
[0006]所述候選詞條獲取單元可使用trie樹算法從存儲有詞條的詞條資料庫提取與所述第一目錄關聯的候選詞條。[0007]所述內容比較單元可使用tf-1df算法來計算候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度。
[0008]所述詞條確定單元可具體用於:將針對特定候選詞條而計算的文本相似度與預設閾值進行比較，如果計算的文本相似度高於預設閾值，則所述詞條確定單元將所述特定候選詞條確定為與所述第一目錄相關的詞條。
[0009]所述詞條確定單元還可用於:確定所述特定候選詞條是否滿足預設的多條後處理規則；如果所述特定候選詞條滿足預設的多條後處理規則中的第N條，則所述詞條確定單元確定所述第N條後處理規則對應的閥值，並判斷針對所述特定候選詞條計算的文本相似度是否高於與所述第N條後處理規則對應的閾值，如果高於，則所述詞條確定單元將所述特定候選詞條確定為與所述第一目錄相關的詞條，N為自然數。
[0010]根據本發明的另一方面，提供了一種知識共享平臺的詞條處理方法，所述方法包括:根據目標詞條的目錄中第一目錄的目錄名稱和所述第一目錄下的目錄內容，獲取與所述第一目錄關聯的候選詞條及其詞條內容；計算每個候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度；根據計算的文本相似度，從候選詞條中確定與所述第一目錄相關的詞條。
[0011]可使用trie樹算法從存儲有詞條的詞條資料庫提取與所述第一目錄關聯的候選詞條。
[0012]可使用tf-1df算法來計算候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度。
[0013]確定與所述第一目錄相關的詞條的步驟具體可包括:將針對特定候選詞條而計算的文本相似度與預設閾值進行比較，如果計算的文本相似度高於預設閾值，則將所述特定候選詞條確定為與所述第一目錄相關的詞條。
[0014]確定與所述第一目錄相關的詞條的步驟可進一步包括:確定所述特定候選詞條是否滿足預設的多條後處理規則；如果所述特定候選詞條滿足預設的多條後處理規則中的第N條，則確定所述第N條後處理規則對應的閥值，並判斷針對所述特定候選詞條計算的文本相似度是否高於與所述第N條後處理規則對應的閾值，如果高於，則將所述特定候選詞條確定為與所述第一目錄相關的詞條，N為自然數。
[0015]有益效果
[0016]通過應用本發明的知識共享平臺的詞條處理裝置和方法，不僅能夠引導用戶方便地瀏覽更詳細的詞條相關信息，還能夠實現詞條間的內容去重從而達到節省存儲詞條內容所需的存儲空間的目的。
【專利附圖】
【附圖說明】
[0017]通過下面結合附圖對本發明的示例性實施例進行的描述，本發明的上述和其他目的和特點將會變得更加清楚，其中:
[0018]圖1A和圖1B是示出詞條目錄和內容的示意性示圖；
[0019]圖2是示出根據本發明的示例性實施例的知識共享平臺的詞條處理裝置的框圖；
[0020]圖3是示出根據本發明的示例性實施例的知識共享平臺的詞條處理方法的流程圖。【具體實施方式】
[0021]提供以下參照附圖進行的描述以幫助全面理解由權利要求及其等同物限定的本發明的示例性實施例。所述描述包括各種特定細節以幫助理解，但這些細節被認為僅是示例性的。因此，本領域的普通技術人員將認識到:在不脫離本發明的範圍和精神的情況下，可對這裡描述的實施例進行各種改變和修改。此外，為了清楚和簡明，可省略已知功能和構造的描述。
[0022]圖2是示出根據本發明的示例性實施例的知識共享平臺的詞條處理裝置100的框圖。
[0023]參照圖2，本發明的示例性實施例的知識共享平臺的詞條處理裝置100可包括:候選詞條獲取單元110、內容比較單元120和詞條確定單元130。
[0024]在本發明的示例性實施例中，候選詞條獲取單元110可根據目標詞條A (例如，紅樓夢)的目錄中的某個目錄B (例如，圖1A和IB中的作者之謎)的目錄名(即，作者之謎)和所述目錄B下的目錄內容，獲取與所述目錄B關聯的候選詞條C及其詞條內容。
[0025]具體地講，候選詞條獲取單元110可使用trie樹(即，字典樹)算法從存儲有詞條的詞條資料庫提取與所述目錄B關聯的候選詞條並獲取其詞條內容。例如，候選詞條獲取單元110可選擇目錄B的目錄名加上目錄B的一部分目錄內容(例如，目錄B下的目錄內容的前幾句話)組成候選文本，使用trie樹算法從該候選文本中找出候選詞條的集合C={C1，C2，…，Cn}，即，使用trie樹從所述候選文本中確定哪些詞屬於詞條資料庫中的現有詞條，將該候選文本中屬於詞條資料庫中的現有詞條的詞條確定為候選詞條並獲取其詞條內容。在找出候選詞條集合之後，候選詞條獲取單元110還可通過詞條的逆向文件頻率(idf)來過濾掉一些無 意義的候選詞條。在本發明的示例性實施例中，可基於預先設置的語料庫或文件集來獲得詞條的idf。
[0026]應該理解，使用trie樹算法找出候選詞條的方法以及使用idf來濾除無意義的候選詞條的方法對於本領域技術人員而言是已知的，因此在此將不再進行詳細描述。此外，從所述候選文本中找出哪些詞條屬於詞條資料庫中的現有詞條的方法也不限於trie樹算法，還可使用本領域已知的各種算法對所述候選文本進行處理以確定出候選詞條。
[0027]在提取出候選詞條的集合C之後，內容比較單元120可計算集合C中的每個候選詞條的詞條內容與目錄B下的目錄內容(B卩，目標詞條A的詞條內容中的用於描述目錄B的一部分內容)之間的文本相似度。
[0028]在本發明的示例性實施例中，僅作為示例，內容比較單元120可使用tf-1df算法來計算候選詞條的詞條內容與目錄B下的目錄內容之間的文本相似度。
[0029]具體地講，首先，內容比較單元120可對待比較的候選詞條的詞條內容的文本以及目錄B下的目錄內容的文本進行詞語和詞性的標註，從而過濾掉一些副詞或介詞。然後，內容比較單元120可基於所述兩個文本中剩餘的每個詞語的兩個詞向量tf (關鍵詞詞頻)和idf (逆向文件頻率)來計算每個候選詞條的詞條內容的文本與目錄B下的目錄內容的文本之間的文本相似度，例如，可將基於所述剩餘詞語的tf和idf而計算的候選詞條的詞條內容的文本與目錄B下的目錄內容的文本之間的餘弦相似度確定為其文本相似度。
[0030]應該理解，使用tf-1df算法計算文本相似度的方法對於本領域技術人員而言是已知的並且不限於以上所列舉的示例，因此為了簡明，在此將不再進行更加詳細的描述。
[0031]詞條確定單元130可根據內容比較單元120計算的文本相似度，從候選詞條C中確定與目錄B相關的詞條。具體地講，所述詞條確定單元130可將針對每個候選詞條而計算的文本相似度與預設閾值進行比較，如果計算的文本相似度高於預設閾值，則所述詞條確定單元130可將所述候選詞條確定為與所述目錄B相關的詞條。在本發明的實施例中，所述候選閾值可根據候選詞條所滿足的預設後處理規則而不同。具體地講，可根據預先確定的後處理規則來對目錄B和針對目錄B確定的候選詞條的集合C進行後處理，判斷候選詞條集合C中的每個候選詞條所滿足的後處理規則。例如，對於候選詞條集合C中的某個候選詞條Ci，詞條確定單元130可確定所述候選詞條Ci是否滿足預設的多條後處理規則；如果所述特定候選詞條Ci滿足預設的多條後處理規則中的第N條後處理規則(其中，N為自然數)，則所述詞條確定單元130可確定所述第N條後處理規則對應的閥值，並判斷針對候選詞條Ci而計算的文本相似度是否高於與所述第N條後處理規則對應的閾值，如果高於與所述第N條後處理規則對應的閾值，則所述詞條確定單元130可將所述候選詞條Ci確定為與目錄B相關的詞條CB。以下列出了一些用於判斷候選詞條Ci是否可被確定為與目錄B相關的詞條的後處理規則。
[0032]規則1:如果B不包含A並且B屬於人名，則閾值設置為0.5。
[0033]規則2:如果B中含有比較明顯的關鍵字並且Ci是人名，則針對B的以下不同關鍵字，可分別設置相應的閾值:
[0034](I)(專家簡介，閾值設置為0.5)；
[0035](2)(樂團簡介、作家，閾值設置為0.7)；
[0036](3)(樂隊簡介、譯者簡介，閾值設置為0.6)；
[0037](4)(作家簡介、聲優簡介、聲優介紹、聲優資料、歌手介紹、作者介紹、歌手資料、歌手簡介、畫家介紹、作者簡介、畫家簡介、作者、聲優等，閾值設置為0.5)；
[0038](5)(創始人且詞條Ci的詞條區分tf值大於預設值，閾值設置為0.4)
[0039](6)(相關信息、相關知識、相關簡介、相關介紹，閾值設置為0.8)。
[0040]規則3:
[0041](I)如果B不包含A並且B包含Ci，則閾值設置為0.8 ;
[0042](2)如果B包含A且B等於Ci，則閾值設置為0.4。
[0043]規則4:
[0044](I)如果B和Ci的長度同時大於等於4個字，B不包含A，且B也不包含C，則閾值設置為0.8 ；
[0045](2)如果B的長度大於4個字並且Ci屬於實體類，則閾值設置為0.9;
[0046](3)如果B的長度大於4個字，Ci屬於實體類，且B包含Ci，則閾值設置為0.9。
[0047]然而，應該理解，上面列出的後處理規則僅是為了便於理解而舉出的一些示例，在實際應用中，用戶還可根據需要而設置不同的後處理規則。
[0048]僅作為上述確定結果的一種示例性應用，在確定了與目錄B相關的詞條Cb之後，在展示目錄B的目錄內容時，可將所述目錄內容中與詞條Cb相關的部分替換為具有可連結到詞條Cb的詞條內容頁面的連結形式的詞條CB。這樣，當用戶希望查看目錄B下與詞條Cb相關的信息時，可通過點擊具有連結的詞條Cb來跳轉到詞條Cb的頁面，從而能夠獲得更詳細的關於該部分的相關信息。
[0049]圖3是示出根據本發明的示例性實施例的知識共享平臺的詞條處理方法的流程圖。
[0050]如圖3中所示，在210，可由根據本發明的示例性實施例的知識共享平臺的詞條處理裝置100的候選詞條獲取單元110根據目標詞條的目錄中第一目錄的目錄名稱和所述第一目錄下的目錄內容，獲取與所述第一目錄關聯的候選詞條及其詞條內容。在本發明的示例性實施例中，候選詞條獲取單元110可使用trie樹算法從存儲有詞條的詞條資料庫提取與所述第一目錄關聯的候選詞條。僅作為示例，候選詞條獲取單元110可選擇目標詞條A的多個目錄之中的目錄B的目錄名加上目錄B的一部分目錄內容(例如，目錄B下的目錄內容的前幾句話)組成候選文本，使用trie樹算法從所述候選文本中確定哪些詞屬於詞條資料庫中的現有詞條，並將該候選文本中屬於詞條資料庫中的現有詞條的詞條確定為候選詞條並獲取其詞條內容。
[0051]在找出與目錄關聯的候選詞條之後，在230，可由知識共享平臺的詞條處理裝置100的內容比較單元120計算每個候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度。在本發明的示例性實施例中，所述內容比較單元120可使用tf-1df算法來計算候選詞條的詞條內容和所述第一目錄下的目錄內容之間的文本相似度。
[0052]具體地講，例如，內容比較單元120可對待比較的候選詞條的詞條內容的文本以及第一目錄下的目錄內容的文本進行詞語和詞性的標註，從而過濾掉一些副詞或介詞。然後，內容比較單元120可基於所述兩個文本中剩餘的每個詞語的兩個詞向量tf (關鍵詞詞頻)和idf (逆向文件頻率)來計算每個候選詞條的詞條內容的文本與第一目錄下的目錄內容的文本之間的文本相似度，例如，可將基於所述剩餘詞語的tf和idf而計算的候選詞條的詞條內容的文本與第一目錄下的目錄內容的文本之間的餘弦相似度確定為其文本相似度。
[0053]然後，在250，可由知識共享平臺的詞條處理裝置100的詞條確定單元130根據內容比較單元120計算的文本相似度，從候選詞條中確定與所述第一目錄相關的詞條。
[0054]在本發明的示例性實施例中，詞條確定單元120可將針對候選詞條而計算的文本相似度與預設閾值進行比較，如果計算的文本相似度高於預設閾值，則可將所述候選詞條確定為與所述第一目錄相關的詞條。
[0055]優選地，在本發明的示例性實施例中，可預設多條後處理規則來從候選詞條確定與所述第一目錄相關的詞條，每條預設規則可具有不同的閾值。在這種情況下，僅作為示例，對於某個候選詞條Ci，詞條確定單元130可首先確定所述候選詞條Ci是否滿足預設的多條後處理規則，如果所述特定候選詞條Ci滿足預設的多條後處理規則中的第N條後處理規則，則所述詞條確定單元130可確定所述第N條後處理規則對應的閥值，並判斷針對候選詞條Ci而計算的文本相似度是否高於與所述第N條後處理規則對應的閾值，如果高於與所述第N條後處理規則對應的閾值，則所述詞條確定單元130可將所述候選詞條Ci確定為與第一目錄相關的詞條CB。
[0056]通過應用以上所描述的根據知識共享平臺的詞條處理裝置和方法，不僅能夠引導用戶方便地瀏覽更詳細的詞條相關信息，還能夠實現詞條間的內容去重從而達到節省存儲詞條內容所需的存儲空間的目的。[0057]本發明示例性實施例可實現為計算機可讀記錄介質上的計算機可讀代碼。計算機可讀記錄介質是可存儲其後可由計算機系統讀出的數據的任意數據存儲裝置。計算機可讀記錄介質的示例包括:只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光數據存儲裝置和載波(諸如經有線或無線傳輸路徑通過網際網路的數據傳輸)。計算機可讀記錄介質也可分布於連接網絡的計算機系統，從而計算機可讀代碼以分布式存儲和執行。此夕卜，完成本發明的功能程序、代碼和代碼段可容易地被與本發明相關的領域的普通程式設計師在本發明的範圍之內解釋。
[0058]儘管已經參照其示例性實施例具體顯示和描述了本發明，但是本領域的技術人員應該理解，在不脫離權利要求所限定的本發明的精神和範圍的情況下，可以對其進行形式和細節上的各種改變。
【權利要求】
1.一種知識共享平臺的詞條處理裝置，所述裝置包括: 候選詞條獲取單元，用於根據目標詞條的目錄中第一目錄的目錄名稱和所述第一目錄下的目錄內容，獲取與所述第一目錄關聯的候選詞條及其詞條內容； 內容比較單元，用於計算每個候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度； 詞條確定單元，用於根據內容比較單元計算的文本相似度，從候選詞條中確定與所述第一目錄相關的詞條。
2.如權利要求1所述的裝置，其中，所述候選詞條獲取單元使用trie樹算法從存儲有詞條的詞條資料庫提取與所述第一目錄關聯的候選詞條。
3.如權利要求1所述的裝置，其中，所述內容比較單元使用tf-1df算法來計算候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度。
4.如權利要求1所述的裝置，其中，所述詞條確定單元具體用於:將針對特定候選詞條而計算的文本相似度與預設閾值進行比較，如果計算的文本相似度高於預設閾值，則所述詞條確定單元將所述特定候選詞條確定為與所述第一目錄相關的詞條。
5.如權利要求4所述的裝置，其中，所述詞條確定單元還用於:確定所述特定候選詞條是否滿足預設的多條後 處理規則；如果所述特定候選詞條滿足預設的多條後處理規則中的第N條，則所述詞條確定單元確定所述第N條後處理規則對應的閥值，並判斷針對所述特定候選詞條計算的文本相似度是否高於與所述第N條後處理規則對應的閾值，如果高於，則所述詞條確定單元將所述特定候選詞條確定為與所述第一目錄相關的詞條，N為自然數。
6.—種知識共享平臺的詞條處理方法，所述方法包括: 根據目標詞條的目錄中第一目錄的目錄名稱和所述第一目錄下的目錄內容，獲取與所述第一目錄關聯的候選詞條及其詞條內容； 計算每個候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度； 根據計算的文本相似度，從候選詞條中確定與所述第一目錄相關的詞條。
7.如權利要求6所述的方法，其中，使用trie樹算法從存儲有詞條的詞條資料庫提取與所述第一目錄關聯的候選詞條。
8.如權利要求6所述的方法，其中，使用tf-1df算法來計算候選詞條的詞條內容與所述第一目錄下的目錄內容之間的文本相似度。
9.如權利要求6所述的方法，其中，確定與所述第一目錄相關的詞條的步驟具體包括:將針對特定候選詞條而計算的文本相似度與預設閾值進行比較，如果計算的文本相似度高於預設閾值，則將所述特定候選詞條確定為與所述第一目錄相關的詞條。
10.如權利要求9所述的方法，其中，確定與所述第一目錄相關的詞條的步驟進一步包括:確定所述特定候選詞條是否滿足預設的多條後處理規則；如果所述特定候選詞條滿足預設的多條後處理規則中的第N條，則確定所述第N條後處理規則對應的閥值，並判斷針對所述特定候選詞條計算的文本相似度是否高於與所述第N條後處理規則對應的閾值，如果高於，則將所述特定候選詞條確定為與所述第一目錄相關的詞條，N為自然數。
【文檔編號】G06F17/30GK104021202SQ201410268830
【公開日】2014年9月3日 申請日期:2014年6月16日 優先權日:2014年6月16日
【發明者】李永強 申請人:百度在線網絡技術（北京）有限公司