基於本體的情境搜索方法
2023-06-06 14:01:11 1
專利名稱：基於本體的情境搜索方法
技術領域：
本發明涉及一種搜尋引擎領域的搜索方法，更確切地說，本發明涉及一種基於通用本體的情境搜索方法。
背景技術：
現如今，海量的信息資源以網絡為載體，人們已習慣於通過搜索獲得信息。搜索改變了我們尋找答案、文章、廣告、產品、人物和地點等諸多事物的方式，影響著我們的學習、工作和生活，為我們的決策提供參考信息。然而人們在獲得豐富信息同時，也面臨著信息選擇方面的困惑，且通常需要反覆修改查詢詞來重新定位自己所需要的信息。搜尋引擎是指根據一定的策略、運用特定的電腦程式從特定網絡如網際網路上搜集信息，在對信息進行組織和處理後，為用戶提供檢索服務，將與用戶檢索相關的信息展示給用戶的系統。現在搜尋引擎所面臨的問題並不是信息量不足，而是信息資源的泛濫讓人們無法快捷、精確的找到真正符合自己需要的信息，大量用戶認為傳統的搜尋引擎返回的結果中垃圾信息太多，無法提供優質的搜索服務，其不足主要體現在1.精準度不夠據權威統計，40 %的搜索結果不能回答用戶的問題，50 %的查詢需在搜索過程中不斷調整查詢詞以試探最佳結果。2.個性化不足傳統搜尋引擎沒有 綜合考慮用戶的搜索歷史、當前搜索內容、興趣、所處位置和時間，千人一面，無法提供個性化的搜索服務。3.智能性缺失傳統搜尋引擎很少動態追蹤用戶行為、挖掘檢索詞背後隱含興趣和意圖，無法智能化完善用戶查詢以輔助用戶完成搜索任務，不能向用戶自動推薦其所需信息。4.語境被忽視傳統搜尋引擎忽略了詞彙的語境擴展，只能根據查詢詞與網頁詞彙的匹配進行簡單地匹配和檢索。傳統搜尋引擎將網頁簡單表示為若干詞彙的向量，這種表示缺少網頁情境信息(如詞、語境詞、網頁地點、更新時間等)。另外，傳統搜尋引擎在搜索過程中沒有考慮用戶情境(如與搜索行為有關的時間、地點、用戶興趣和查詢意圖)，目前獲取用戶情境的主要方法有兩種一是由用戶明確提供，這種方法直接有效，但會增加用戶負擔，研究表明，用戶並不願意提供這種反饋信息；二是通過系統對交互數據進行計算推理獲得，這種方法符合搜索智能化發展戰略目標，但如何自動獲取準確有效的用戶情境也是一個不可迴避的問題。另一方面當前搜索系統多數採用詞到文檔的倒排索引，這種索引結構簡單、操作方便、檢索快速、吞吐開銷較小，但缺少網頁情境信息，且不利於用戶情境的應用，在傳統索引基礎上進行檢索只能遵循「先搜索、再過濾」的技術路線，效率低，效果差，且傳統索引基礎上進行檢索的過程中大部分用戶情境信息都不能直接影響檢索結果，通常用戶提交的搜索詞是多義的，例如對於搜索詞apple，可能有水果、電子產品、電影等多種釋義，在該情況下，傳統檢索模型會返回很多冗餘記錄。在傳統結果排序方法中，比較流行的是詞頻統計法和超連結分析法。這些方法忽略了搜索個體之間搜索情境的差異，導致當不同用戶提交相同查詢時，返回相同的搜索結果，且不能依據用戶的後續行為，重新調整搜索結果。由此可見傳統搜尋引擎脫離情境是以上諸多問題產生的根源。因此，如何將情境融入搜索是一個亟待解決的問題。當前，較完整的情境搜索定義是情境搜索包含7個要素(6W&1H)，它強調「以人(Who)為本」，也就是以用戶為中心，根據其搜索行為的時間(When)、地點(Where)、輸入(What)、需求(Want)、習慣(How)、背景(Why)等因素,得到最適合的搜索結果，再將這一結果直接呈現給用戶。情境具有多維性、多樣性、動態性和延展性等特徵1.多維性用戶情境包括與搜索行為有關的時間、地點、興趣、意圖等，網頁情境包括詞、語境詞、網頁地點、更新時間等，這些信息可以全方位多角度地描述情境，體現了情境的多維性；2.多樣性情境搜索的服務對象千差萬別，情境搜索要針對不同用戶提供個性化的檢索服務;3.動態性用戶情境中興趣、意圖的漂移，網頁情境中信息、熱點的更新，體現出了情境明顯的動態性；4.延展性在用戶情境中，當前查詢意圖通常與其前數次查詢意圖相關，即用戶查詢意圖具有短期延展性。目前信息表示的主要方法有詞袋、向量和圖，但均不足以應對用戶情境表示面臨的各種挑戰，而本體是關於領域知識的概念化、形式化的明確規範，定義了組成主題領域的詞彙表的基本術語及其關係，以及結合這些術語和關係來定義詞彙表外延的規則。經過仔細分析，本方法採用的本體技術作為一種通用工具，特別適合情境搜索問題。
發明內容
本發明所要解決的技術問題是克服了現有技術存在精準度不夠、個性化不足、智能性缺失與情境被忽視等問題，提供了一種基於本體的情境搜索方法。為解決上述技術問題，本發明是採用如下技術方案實現的所述的基於本體的情境搜索方法包括如下步驟1.由網頁情境解析與表示模塊對採集到的網頁進行解析並表示網頁情境信息(I)使用網絡爬蟲即Crawler採集網頁並存入網頁資料庫；(2)建立DOM樹進行網頁解析，並使用實時搜索爬蟲提取網頁最近更新時間；
(3)實現網頁情境解析；(4)利用命名實體識別技術獲取文檔內的時間與地點信息，並將文檔表示為網頁情境形式PC =〈 W, O}，PG, PT〉其中W為詞或術語,C為語境詞,PG為網頁內的地點信息,PT為網頁時間信息,包含創建時間、更新時間與網頁內時間。2.由用戶情境挖掘與表示模塊實現用戶情境挖掘與表示並和第I步驟同時進行(I)用戶興趣挖掘；(2)查詢意圖預測；(3)基於步驟⑴與步驟(2)中的得到的處理結果，使用本體技術給出清晰、明確、可計算的用戶情境說明和描述；用戶情境包括用戶興趣、查詢意圖以及搜索時間和地點；可以將用戶情境表示為UC =〈L，S，I，Q，UG，UT>其中L為用戶長期興趣，S為用戶短期興趣，I為當前查詢意圖，Q為查詢詞，UG為用戶地理位置，UT為用戶查詢時間；3.由情境索引處理模塊設計融入網頁情境信息的索引結構(I)構建情境正向索引；(2)構建情境倒排索引；4.由情境擴展模塊實現情境擴展並形成查詢情境；5.由情境查詢處理模塊實現情境查詢處理。技術方案中所述的實現網頁情境解析包括如下步驟I)如果網頁是中文網頁，則對網頁進行分詞；2)利用通用本體和自然語言處理技術構建語義關聯圖，對詞或術語進行詞義標註；3)確定語義關聯圖中語義關係權重；語義關係權重的確定採用如下公式
權利要求
1.一種基於本體的情境搜索方法，其特徵在於，所述的基於本體的情境搜索方法包括如下步驟 1)由網頁情境解析與表示模塊對採集到的網頁進行解析並表示網頁情境信息 (1)使用網絡爬蟲即Crawler採集網頁並存入網頁資料庫； (2)建立DOM樹進行網頁解析，並使用實時搜索爬蟲提取網頁最近更新時間； (3)實現網頁情境解析； (4)利用命名實體識別技術獲取文檔內的時間與地點信息，並將文檔表示為網頁情境形式PC=}，PG, PT〉 其中W為詞或術語，C為語境詞，PG為網頁內的地點信息，PT為網頁時間信息，包含創建時間、更新時間與網頁內時間； 2)由用戶情境挖掘與表示模塊實現用戶情境挖掘與表示並和第I)步驟同時進行 (1)用戶興趣挖掘； (2)查詢意圖預測； (3)基於步驟(I)與步驟(2)中得到的處理結果，使用本體技術給出清晰、明確、可計算的用戶情境說明和描述；用戶情境包括用戶興趣、查詢意圖以及搜索時間和地點；可以將用戶情境表不為UC=〈L，S，I，Q，UG, UT> 其中L為用戶長期興趣，S為用戶短期興趣，I為當前查詢意圖，Q為檢索詞，UG為用戶地理位置，UT為用戶查詢時間； 3)由情境索引處理模塊設計融入網頁情境信息的索引結構 (1)構建情境正向索引； (2)構建情境倒排索引； 4)由情境擴展模塊實現情境擴展即形成查詢情境； 5)由情境查詢處理模塊實現情境查詢處理。
2.按照權利要求1所述的基於本體的情境搜索方法，其特徵在於，所述的實現網頁情境解析包括如下步驟 1)如果網頁是中文網頁，則對網頁進行分詞； 2)利用通用本體和自然語言處理技術構建語義關聯圖，對詞或術語進行詞義標註； 3)確定語義關聯圖中語義關係權重；語義關係權重的確定採用如下公式
3.按照權利要求1所述的基於本體的情境搜索方法，其特徵在於，所述的用戶興趣挖掘包括如下步驟 1)對用戶搜索日誌進行挖掘，獲取用戶點擊的網頁類別； 2)量化用戶點擊各類網頁的會話數和頻度； 3)設定閾值，依據頻度，提取用戶長期興趣概念集Q和短期興趣概念集Cs； 用戶長期興趣與短期興趣分別用通用本體的局部來表示，並可動態漂移；針對用戶興趣的漂移性，用戶的長期興趣和短期興趣漂移表示為L』 =long_term_interest_drift(L, S，H)S，=short_term_interest_drift(S，L, H) 其中L為用戶長期興趣，S為用戶短期興趣，H為查詢歷史數據，L』和S』分別為用戶興趣增量學習過程獲得的長期興趣和短期興趣； 4)以用戶興趣為基礎，基於通用本體，提取(^和Cs中的上下位詞彙鏈，將各詞彙鏈銜接在一起，即得用戶興趣模型。
4.按照權利要求1所述的基於本體的情境搜索方法，其特徵在於，所述的查詢意圖預測包括如下步驟 1)根據用戶本次的檢索詞，從用戶連續的搜索行為中預測查詢意圖，並實現用戶情境獲取確定用戶的查詢意圖；採用動態貝葉斯網絡推斷當前用戶查詢的搜索意圖，形式化表示為I=Intent_infer (L, S，P, QXl1 (P1)，I2(P2),…，In (Pn) > 其中1為用戶的查詢意圖，P1, P2，…，Pn分別為查詢子意
圖11, I2，…，In的概率，L為用戶的長期興趣，S為用戶的短期興趣，P為點擊網頁，Q為查詢，Intentjnfer為基於動態貝葉斯網的查詢意圖推測函數； 2)通過動態貝葉斯網絡，利用搜索系統的先驗知識，計算用戶當前查詢意圖的後驗概率分布；根據已有的經驗知識，定義了①用戶的查詢意圖1、②用戶的長期興趣L、③用戶的短期興趣S、④點擊網頁P與⑤查詢Q五個數據變量，並找出了數據變量之間的因果關係，獲得動態貝葉斯網絡； 查詢意圖預測涉及的主要概率計算公式如下
5.按照權利要求1所述的基於本體的情境搜索方法，其特徵在於，所述的構建情境正向索引是指在傳統正向索引的基礎上，設計融入了語境詞和時間、空間信息的情境正向索引結構；所述的構建情境倒排索引是指利用情境正向索引，設計了〈詞，語境詞 > 到網頁列表的語境索引結構，並藉助時空資料庫技術，建立基於R*樹的空間索引和基於B+樹的時間索弓丨，最後將語境索引與時空索引有機地結合在一起，得到真正直接支持情境檢索的索引結構。
6.按照權利要求1所述的基於本體的情境搜索方法，其特徵在於，所述的情境擴展是指利用用戶情境，在情境級別上對查詢詞進行擴展，限定查詢詞所屬的語境，形成查詢情境; 利用通用本體結合查詢詞和權利要求1中步驟2)中得到的查詢意圖獲得相應語境詞，實現情境擴展，形式化表示為SearchContext=ContextExpansion (Q, O, I, UG, UT) 其中Q為查詢詞，O為通用本體，I為查詢意圖，UG為查詢地點，UT為查詢時間，在絕大多數情況下，本發明推薦的語境詞是恰當的，但當用戶意圖發生突變時，最佳匹配的語境詞不一定是本次搜索所期望的，此時本發明將提供次佳匹配的語境詞；因此，需要將多個語境詞按匹配情況進行排序； 1)根據用戶提供的檢索詞和在權利要求1中步驟2)中用戶情境挖掘與表示模塊所獲得的用戶情境信息，使用通用本體提取查詢詞Q的若干釋義〈QS」 QS2,…，QSm>及相應的若干語境〈Cu C2,…Cm> ； 2)在權利要求1中步驟2)中用戶情境挖掘與表示模塊所獲得的查詢意圖O1(P1), I2(P2),…，In(pn)>的基礎上，利用樸素貝葉斯模型計算語境詞Ci的後驗概率P(Ci)I1, I2,…，In)，將多個語境詞按匹配情況進行降序排序，並按照該值的降序向用戶推薦相應語境的情境擴展，其中最大值所對應的語境詞為最佳語境詞，其次為次佳語境詞； 3)若用戶選擇某情境擴展，則取相應語境為最終確認結果，否則自動選取P (Ci 111, I2，…，In)值最大的語境為最終確認結果，且以次佳匹配的語境詞為備選，用戶選定擴展的語境詞後，如果用戶選定的語境詞與本發明提供的最佳語境詞不一致，需要更新該用戶的興趣和查詢意圖； 4)最後獲取查詢詞Q的同義詞集Syn，查詢情境形式化表示為}，UG, UT>,其中Q為查詢詞，Syn為Q的同義詞集，C為Q的語境詞，UG為查詢地點，UT為查詢時間。
7.按照權利要求1所述的基於本體的情境搜索方法，其特徵在於，所述的情境查詢處理模塊實現情境查詢處理，步驟如下 I)情境推薦 在用戶打開查詢界面但是沒有進行查詢操作時，對於經權利要求1中步驟I)網頁採集存儲在網頁資料庫中網頁，根據網頁情境與用戶情境的匹配程度及網頁權威性，以合理的順序向用戶主動推薦網頁，達到「不搜亦得」的智能化檢索目標；情境推薦的形式化表示為Result=Recommend (Pages, UT, UG, A, Rsl) 其中=Pages表示新抓取的網頁集合，UT表示用戶最近查詢時間，UG表示用戶所處地點，A表示網頁權威性，Rsl表示用戶興趣與網頁情境的相關性； 情境推薦形式化表示中的各項的計算方法如下 a.網頁權威性A的計算採用經典的基於網頁連結的PageRank靜態排序算法；b.用戶興趣與網頁情境的相關性Ra=mXRs+nX&;其中m和η是權衡係數，Rs表示短期興趣與網頁情境的相關性，&表示長期興趣與網頁情境的相關性；
全文摘要
本發明公開了一種基於本體的情境搜索方法，旨在克服現有技術存在精準度不夠、個性化不足、智能性缺失與情境被忽視等問題。該方法的步驟為1.由網頁情境解析與表示模塊對採集到的網頁進行解析並表示網頁情境信息；2.由用戶情境挖掘與表示模塊實現用戶情境挖掘與表示並和第1步驟同時進行，3.由情境索引模塊設計融入網頁情境信息的索引結構；4.由情境擴展模塊實現情境擴展即形成查詢情境，所述的情境擴展是指利用用戶情境，在情境級別上對查詢詞進行擴展，限定查詢詞所屬的語境，形成查詢情境；5.由情境查詢處理模塊實現情境查詢處理其步驟為1)情境推薦；2)情境檢索；3)情境排序；排序之後的結果就可以提供到用戶查詢界面中。
文檔編號G06F17/30GK103064945SQ20121057528
公開日2013年4月24日 申請日期2012年12月26日 優先權日2012年12月26日
發明者左萬利, 赫楓齡, 王俊華, 王鑫, 鳳麗洲, 王英, 彭濤, 萬海旭, 蘇雪陽, 高寧寧, 閆昭, 張雪松 申請人:吉林大學