Xml資料庫的檢索方法及系統的製作方法
2023-05-07 14:29:36
Xml資料庫的檢索方法及系統的製作方法
【專利摘要】本發明提供了一種XML資料庫的檢索方法及系統，該方法包括：在所述XML資料庫中創建全文索引表，所述全文索引表使用關鍵詞作為鍵值，所述鍵值以數據行位置標識TID作為指針，指向所述XML資料庫的節點表中的含有所述關鍵詞的節點數據行；在對所述XML資料庫進行全文檢索時，將用戶輸入的查詢條件中的關鍵詞依次匹配所述全文索引表，得到多個TID集合；根據所述關鍵詞在查詢條件中的邏輯關係對所述多個TID集合進行邏輯運算，得到符合全文檢索條件的TID集合；輸出所述符合全文檢索條件的TID集合對應的數據行。本發明可以實現對XML資料庫的全文檢索，提高檢索效率。
【專利說明】XI資料庫的檢索方法及系統
【技術領域】
[0001]本發明涉及資料庫【技術領域】，具體而言，涉及一種XII資料庫的檢索方法及系統。
【背景技術】
[0002]XII資料庫管理系統是近年來快速發展的一種新型的資料庫管理系統(0818),它存儲和檢索的數據是XIII文檔，並且可以更新XIII文檔。由於存儲和檢索的是XII文檔，所以X祖1)813常常被用作文檔資料庫，因此全文檢索就是X祖1)813的一個非常核心的功能。
[0003]乂見數據的檢索和更新語言是由13(:制定的標準的糾1161~7和雙！1161~7邱(1社6。130同時制定了父如61~7標準，作為X祖1)813的標準的全文檢索語言。父如61~7系列語言基於序列數據模型001),即X如61*7中任意數據都是一個序列，序列由若干個有序的項目組成；一個項目是一個原子值或者一個乂01節點，一個乂01節點是XII文檔的7種節點之一。基於這樣的數據模型，最自然和高效的XII數據存儲方案就是把XII文檔存儲為節點。
[0004]在X祖1)813中存儲X見文檔的實體稱為容器，一個容器中存儲任意多個X見文檔的數據內容，而這個容器由若干個數據表支撐，分別存儲這些XII文檔的各個方面的數據和結構信息，包括節點數據，節點間關係，路徑數據，各種索引，各種統計信息等。數據表存儲的單位是數據行，一個數據表中含有若干個數據行，並且可以通過索引快速查找到特定的數據行。
[0005]XII文檔內容被作為節點數據存儲在一個節點表中，在乂01的7種節點中，將屬性節點、名字空間節點、文本節點、注釋節點和處理指令節點都存放在它們的父節點(必然是元素節點)中，因此節點表中只存儲元素節點和文檔節點。文檔節點存儲一個XII文檔的元數據信息，而文檔的內容則存儲在這個文檔的所有元素節點中。
[0006]因為XII資料庫的數據量非常龐大，因此需要一個高效的全文檢索方法來對XII資料庫進行全文檢索。
【發明內容】
[0007]本發明實施例提供一種XII資料庫的檢索方法及系統，以實現對XII資料庫的全文檢索，提高檢索效率。
[0008]為此，本發明實施例提供如下技術方案:
[0009]一種資料庫的檢索方法，包括:
[0010]在XII資料庫中創建全文索引表，所述全文索引表使用關鍵詞作為鍵值，所述鍵值以數據行位置標識110作為指針，指向所述XII資料庫的節點表中的含有所述關鍵詞的節點數據行；
[0011]在對所述XII資料庫進行全文檢索時，將用戶輸入的查詢條件中的關鍵詞依次匹配所述全文索引表，得到多個110集合；
[0012]根據所述關鍵詞在查詢條件中的邏輯關係對所述多個110集合進行邏輯運算，得到符合全文檢索條件的110集合；
[0013]輸出所述符合全文檢索條件的110集合對應的數據行。
[0014]優選地，所述110集合以位圖的方式存儲。
[0015]優選地，在所述週I資料庫中創建全文索引表包括:
[0016]將要存儲的XII文檔的文本節點分詞，得到所述關鍵詞的集合；
[0017]將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XII文檔的節點數據行。
[0018]優選地，在所述XIII資料庫中創建全文索引表還包括:
[0019]在將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XII文檔的節點數據行之前，利用所述XII資料庫中的停用詞元數據表對所述集合進行過濾。
[0020]優選地，所述方法還包括:
[0021]對所述查詢條件進行分詞，得到分詞結果；
[0022]從所述分詞結果中提取關鍵詞。
[0023]優選地，所述從所述分詞結果中提取關鍵詞包括:
[0024]對所述分詞結果中的單詞用所述XII資料庫中的停用詞元數據表進行過濾；
[0025]對過濾後的分詞結果，利用所述XII資料庫中的詞彙關係元數據表發展所述分詞結果中的關鍵詞的關係詞，和/或利用所述XII資料庫中的詞根化元數據表發展所述分詞結果中的關鍵詞的同詞根的詞。
[0026]一種乂1\11資料庫的檢索系統，包括:
[0027]索引表創建模塊，用於在XII資料庫中創建全文索引表，所述全文索引表使用關鍵詞作為鍵值，所述鍵值以數據行位置標識110作為指針，指向所述XII資料庫的節點表中的含有所述關鍵詞的節點數據行；
[0028]匹配模塊，用於在對所述XII資料庫進行全文檢索時，將用戶輸入的查詢條件中的關鍵詞依次匹配所述全文索引表，得到多個110集合；
[0029]邏輯運算模塊，用於根據所述關鍵詞在查詢條件中的邏輯關係對所述多個110集合進行邏輯運算，得到符合全文檢索條件的110集合；
[0030]檢索結果輸出模塊，用於輸出所述符合全文檢索條件的110集合對應的數據行。[0031〕 優選地，索引表創建模塊包括:
[0032]分詞單元，用於將要存儲的X見文檔的文本節點分詞，得到所述關鍵詞的集合；
[0033]插入單元，用於將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XII文檔的節點數據行。
[0034]優選地，所述索引表創建模塊還包括:
[0035]過濾單元，用於在將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XII文檔的節點數據行之前，利用所述XII資料庫中的停用詞元數據表對所述集合進行過濾。
[0036]優選地，所述系統還包括:
[0037]查詢條件分解模塊，用於對所述查詢條件進行分詞，得到分詞結果；
[0038]關鍵詞提取模塊，用於從所述分詞結果中提取關鍵詞。
[0039]優選地，所述關鍵詞提取模塊，具體用於對所述分詞結果中的單詞用所述XII資料庫中的停用詞元數據表進行過濾；對過濾後的分詞結果，利用所述XII資料庫中的詞彙關係元數據表發展所述分詞結果中的關鍵詞的關係詞，和/或利用所述XII資料庫中的詞根化元數據表發展所述分詞結果中的關鍵詞的同詞根的詞。
[0040]本發明實施例提供的XII資料庫的檢索方法及系統，在所述XII資料庫中創建全文索引表，全文索引表使用關鍵詞作為鍵值，指向節點表中的含有這個關鍵詞的一個節點數據行。使用這種文本索引，可以快速地完成關鍵詞匹配測試，從而迅速得出符合全文檢索條件的節點數據行，實現高效的全文檢索。
【專利附圖】
【附圖說明】
[0041]圖1是本發明實施例XII資料庫的檢索方法的流程圖；
[0042]圖2是本發明實施例XII資料庫的檢索系統的一種結構示意圖；
[0043]圖3是本發明實施例XII資料庫的檢索系統的另一種結構示意圖。
【具體實施方式】
[0044]下面將參考附圖並結合實施例，來詳細說明本發明。
[0045]在存儲一個X見文檔時，文檔被X祖1)813的查詢引擎送入「X (31,16八?I
X見)模式的X見文檔解析器中，該解析器將XII文檔數據作為事件來通知給X見0813的執行引擎。執行引擎將XII文檔數據中的文本節點送入分詞器中，得到的就是一個關鍵詞的集合。這些關鍵詞被插入到全文索引中來指向這個節點數據行。
[0046]「X是一個用於處理X見事件驅動的「推」模型，「X解析器在讀取文檔時激活一系列事件，這些事件被推給事件處理器，然後由事件處理器提供對文檔內容的訪問方法。
[0047]X祖1)813系統定義一個默認的停用詞表31，分詞器產生的單詞中在31中的，不插入到全文索引表中。在全文檢索查詢語句中的全文檢索字符串也使用該停用詞表進行過濾，過濾後剩餘單詞再使用全文索引表來查詢。如果被分詞後的單詞集合被31過濾後為空集，那麼不再使用全文索引表而是直接掃描節點表。使用這個默認的停用詞表可以防止全文索引表被非常常用的單詞，比如英語中的」3，冊，^6, 1！！，0！1，如」等以及漢語中的語氣助詞等急劇膨脹而影響查詢效率----那些單詞在每個文本節點中都很可能存在。這個停用詞表可以由用戶修改和定製，這樣用戶可以根據自己的應用需求靈活調整。
[0048]基於XII資料庫的上述特點，本發明提出一種實現高效的全文檢索的文本索引技術。使用這種文本索引，可以快速地完成關鍵詞匹配測試，從而迅速得出符合全文檢索條件的節點數據行。這種文本索引為節點表而建立，是節點表的索引，為了方便描述，將這種文本索引表稱為全文索引表。
[0049]如圖1所示，是本發明實施例XII資料庫的檢索方法的流程圖，包括以下步驟:
[0050]步驟101，在X祖^資料庫中創建全文索引表，所述全文索引表使用關鍵詞作為鍵值，所述鍵值以數據行位置標識110作為指針，指向所述XII資料庫的節點表中的含有所述關鍵詞的節點數據行。
[0051]全文索引表使用關鍵詞作為鍵值，指向節點表中的含有這個關鍵詞的一個節點數據行。由於任何一個單詞都很可能在多個節點中出現，所以全文索引表是允許重複鍵值的，比如「這個詞為鍵值的索引有很多條，分別指向節點表中的多個節點數據行；反過來任何一個節點數據行也通常有多個全文索弓I行指向它，因為其中有多個關鍵詞。
[0052]與任何其他索引一樣，本發明實施例中的全文索引表指向節點表的「指針」稱為數據行標識(110),它含有節點表數據行的地址，使用它即可得到節點表中對應的數據行。當進行全文檢索時，將用戶查詢條件中的關鍵詞收集起來，然後依次查找全文索引表，得到若干個110構成的位圖，然後根據這些關鍵詞在查詢條件中的邏輯關係對這些位圖進行與/或/非操作，即可得到最終符合全部的全文檢索條件的110集合，從而得出查詢結果。比如查找同時含有」￡1卯16」和的節點，前者得到110位圖是「000100110100」後者是得到的丁10位圖是「010100010010」，對這兩個位圖做與操作，最終得到結果是「000100010000」，從這個位圖看到第4位和第8位是1，所以可以得知110是4和8的兩行是最終結果。
[0053]步驟102，在對所述XII資料庫進行全文檢索時，將用戶輸入的查詢條件中的關鍵詞依次匹配所述全文索引表，得到多個110集合。
[0054]步驟103，根據所述關鍵詞在查詢條件中的邏輯關係對所述多個110集合進行邏輯運算，得到符合全文檢索條件的110集合；
[0055]步驟104，輸出所述符合全文檢索條件的110集合對應的數據行。
[0056]首先在創建一個容器時，創建一個全文索引表作為該容器的節點表的索引表。在存儲一個XII文檔時，^110818的查詢引擎將XII文檔送入執行引擎的5八X模式的XII解析器，該解析器會以事件通知的形式讓執行引擎獲得XIII文檔的節點數據。
[0057]在文本節點所屬的元素節點結束事件處理函數中，執行引擎存儲元素節點數據到節點表，然後存儲引擎的索引維護機制會調用全文索引表的回調函數(簡寫為叩，叩代表的回調函數用於產生索引表鍵值)來創建索引表鍵值。回調函數？？將這個元素節點的所有文本子節點的字符串依次送入分詞器，分詞器為每個字符串返回若干個單詞，所有這些單詞構成一個集合30。30被默認的停用詞表過濾得到最終的有效單詞集合3。3中的單詞被叩全部返回給存儲引擎的索引構建邏輯。然後索引構建邏輯會將所有這些鍵值都插入到全文索引表中，他們都指向同一個節點數據行。
[0058]當一個節點數據內容被更新時，並不去除那些原來指向這個節點數據行的全文索弓丨。這樣當得到一個節點時，還需要進一步對其文本節點數據做分詞，並且查找目標單詞。即便如此，使用了全文索引仍然可以加速全文檢索，因為可以避免從一個容器的節點表的大量的節點中查找目標單詞。
[0059]做X如60查詢時將查詢條件字符串做分詞並使用默認的停用詞表過濾後，得到查詢單詞集合33。用集合33中的單詞依次查詢全文索引表得到若干個對應的110集合。根據查詢條件的不同，33中的單詞之間的邏輯關係就是這些110集合之間的運算關係。對這些位圖執行邏輯運算得到最終的110集合。
[0060]比如，33=( 「英語」，「教師」丨，這兩個單詞間的關係是與，也就是要查詢同時含有「英語」和「教師」兩個單詞的XII元素節點。使用「英語」和「教師」兩詞分別查詢全文索引表，得到兩個110集合110341和110342。110集合以位圖的方式存儲，而位圖可以方便地做邏輯位運算，即與或非運算。所以對110341和110342做按位與操作，即可得出這兩個集合的交集，也就是同時含有這兩個單詞的110的集合11036切。11086^0中含有最終結果，從中取出每一個110並且從節點表中用此110獲取節點數據行，就找到了符合全文檢索條件的數據。
[0061]本發明實施例的XI[資料庫的檢索方法可以適用於乂01161~7 ？11111:6X1:的查詢方式和本)(10)813目前的工作方式，可以高效地實現全文檢索功能。特別是在存儲海量XII數據時，以及全文檢索條件有大量邏輯運算組合時，使用本索引方案的優勢更接近明顯。
[0062]相應地，本發明實施例還提供一種XII資料庫的檢索系統，如圖2所示，是該系統的一種結構示意圖。
[0063]在該實施例中，所述系統包括:
[0064]索引表創建模塊201，用於在所述)011資料庫中創建全文索引表，所述全文索引表使用關鍵詞作為鍵值，所述鍵值以數據行位置標識110作為指針，指向所述XII資料庫的節點表中的含有所述關鍵詞的節點數據行；
[0065]匹配模塊202，用於在對所述XII資料庫進行全文檢索時，將用戶輸入的查詢條件中的關鍵詞依次匹配所述全文索引表，得到多個110集合；
[0066]邏輯運算模塊203，用於根據所述關鍵詞在查詢條件中的邏輯關係對所述多個110集合進行邏輯運算，得到符合全文檢索條件的110集合；
[0067]檢索結果輸出模塊204，用於輸出所述符合全文檢索條件的110集合對應的數據行。
[0068]在本發明實施例中，索引表創建模塊包括:分詞單元和插入單元(未圖示其中:
[0069]所述分詞單元，用於將要存儲的XII文檔的文本節點分詞，得到所述關鍵詞的集合；
[0070]所述插入單元，用於將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XII文檔的節點數據行。
[0071]所述索引表創建模塊還可包括:過濾單元(未圖示),用於在將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XII文檔的節點數據行之前，利用所述XII資料庫中的停用詞元數據表對所述集合進行過濾。
[0072]如圖3所示，是本發明實施例XII資料庫的檢索系統的另一結構示意圖。
[0073]與圖2所示實施例不同的是，在該實施例中，所述系統還包括:
[0074]查詢條件分解模塊301，用於對所述查詢條件進行分詞，得到分詞結果；
[0075]關鍵詞提取模塊302，用於從所述分詞結果中提取關鍵詞。
[0076]在實際應用中，上述關鍵詞提取模塊302具體可以對所述分詞結果中的單詞用所述XII資料庫中的停用詞元數據表進行過濾；對過濾後的分詞結果，利用所述XII資料庫中的詞彙關係元數據表發展所述分詞結果中的關鍵詞的關係詞，和/或利用所述XII資料庫中的詞根化元數據表發展所述分詞結果中的關鍵詞的同詞根的詞。
[0077]本發明實施例的XI[資料庫的檢索系統可以適用於乂01161~7 ？11111:6X1:的查詢方式和本)(10)813目前的工作方式，可以高效地實現全文檢索功能。特別是在存儲海量XII數據時，以及全文檢索條件有大量邏輯運算組合時，使用本索引方案的優勢更接近明顯。
[0078]本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。
[0079]顯然，本領域的技術人員應該明白，上述的本發明的各模塊或各步驟可以用通用的計算裝置來實現，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網絡上，可選地，它們可以用計算裝置可執行的程序代碼來實現，從而，可以將它們存儲在存儲裝置中由計算裝置來執行，或者將它們分別製作成各個集成電路模塊，或者將它們中的多個模塊或步驟製作成單個集成電路模塊來實現。這樣，本發明不限制於任何特定的硬體和軟體結合。
[0080]以上所述僅為本發明的優選實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
【權利要求】
1.一種XML資料庫的檢索方法，其特徵在於，包括: 在XML資料庫中創建全文索引表，所述全文索引表使用關鍵詞作為鍵值，所述鍵值以數據行位置標識TID作為指針，指向所述XML資料庫的節點表中的含有所述關鍵詞的節點數據行； 在對所述XML資料庫進行全文檢索時，將用戶輸入的查詢條件中的關鍵詞依次匹配所述全文索引表，得到多個TID集合； 根據所述關鍵詞在查詢條件中的邏輯關係對所述多個TID集合進行邏輯運算，得到符合全文檢索條件的TID集合； 輸出所述符合全文檢索條件的TID集合對應的數據行。
2.根據權利要求1所述的方法，其特徵在於，所述TID集合以位圖的方式存儲。
3.根據權利要求1所述的方法，其特徵在於，在所述XML資料庫中創建全文索引表包括: 將要存儲的XML文檔的文本節點分詞，得到所述關鍵詞的集合； 將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XML文檔的節點數據行。
4.根據權利要求3所述的方法，其特徵在於，在所述XML資料庫中創建全文索引表還包括: 在將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XML文檔的節點數據行之前，利用所述XML資料庫中的停用詞元數據表對所述集合進行過濾。
5.根據權利要求1所述的方法，其特徵在於，所述方法還包括: 對所述查詢條件進行分詞，得到分詞結果； 從所述分詞結果中提取關鍵詞。
6.根據權利要求5所述的方法，其特徵在於，所述從所述分詞結果中提取關鍵詞包括: 對所述分詞結果中的單詞用所述XML資料庫中的停用詞元數據表進行過濾； 對過濾後的分詞結果，利用所述XML資料庫中的詞彙關係元數據表發展所述分詞結果中的關鍵詞的關係詞，和/或利用所述XML資料庫中的詞根化元數據表發展所述分詞結果中的關鍵詞的同詞根的詞。
7.—種XML資料庫的檢索系統，其特徵在於，包括: 索引表創建模塊，用於在XML資料庫中創建全文索引表，所述全文索引表使用關鍵詞作為鍵值，所述鍵值以數據行位置標識TID作為指針，指向所述XML資料庫的節點表中的含有所述關鍵詞的節點數據行； 匹配模塊，用於在對所述XML資料庫進行全文檢索時，將用戶輸入的查詢條件中的關鍵詞依次匹配所述全文索引表，得到多個TID集合； 邏輯運算模塊，用於根據所述關鍵詞在查詢條件中的邏輯關係對所述多個TID集合進行邏輯運算，得到符合全文檢索條件的TID集合； 檢索結果輸出模塊，用於輸出所述符合全文檢索條件的TID集合對應的數據行。
8.根據權利要求7所述的系統，其特徵在於，索引表創建模塊包括: 分詞單元，用於將要存儲的XML文檔的文本節點分詞，得到所述關鍵詞的集合； 插入單元，用於將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XML文檔的節點數據行。
9.根據權利要求8所述的系統，其特徵在於，所述索引表創建模塊還包括: 過濾單元，用於在將所述關鍵詞作為新的索引插入到所述全文索引表中來指向所述XML文檔的節點數據行之前，利用所述XML資料庫中的停用詞元數據表對所述集合進行過濾。
10.根據權利要求7所述的系統，其特徵在於，所述系統還包括: 查詢條件分解模塊，用於對所述查詢條件進行分詞，得到分詞結果； 關鍵詞提取模塊，用於從所述分詞結果中提取關鍵詞。
11.根據權利要求10所述的系統，其特徵在於， 所述關鍵詞提取模塊，具體用於對所述分詞結果中的單詞用所述XML資料庫中的停用詞元數據表進行過濾；對過濾後的分詞結果，利用所述XML資料庫中的詞彙關係元數據表發展所述分詞結果中的關鍵詞的關係詞，和/或利用所述XML資料庫中的詞根化元數據表發展所述分詞結果中的關鍵詞的同詞根的詞。
【文檔編號】G06F17/30GK104346331SQ201310311497
【公開日】2015年2月11日 申請日期:2013年7月23日 優先權日:2013年7月23日
【發明者】趙偉, 李 浩, 鄭程光, 孫偉豐, 羅正海, 陳麗娟 申請人:北大方正集團有限公司, 方正信息產業控股有限公司, 上海方正數字出版技術有限公司