基於偏好的智能檢索方法及系統的製作方法
2023-05-18 09:00:41 1
基於偏好的智能檢索方法及系統的製作方法
【專利摘要】本發明涉及數據檢索領域，公開了一種基於偏好的智能檢索方法及系統。所述方法包括步驟：基於數據主題分類、用戶特徵及操作日誌，建立用戶主題偏好模型；利用用戶主題偏好模型及用戶檢索輸入，進行查詢擴展獲得初次檢索結果；利用用戶主題偏好模型和數據在各個主題上的分布情況，進行數據的主題偏好打分，對初次檢索結果進行基於主題偏好的個性化檢索排序；利用相關反饋和偽相關反饋綜合模型對排序後的初次檢索結果進行二次反饋檢索獲得最終檢索結果。本發明利用主題標引技術確定數據資源的主題分布，使用基於主題的查詢擴展和相關反饋等技術構建更能代表用戶需求的檢索向量，向用戶提供更符合其潛在需求的檢索結果。
【專利說明】基於偏好的智能檢索方法及系統
【技術領域】
[0001]本發明涉及數據檢索領域，尤其是涉及一種基於偏好的智能檢索方法及系統。
【背景技術】
[0002]隨著社會信息化程度的不斷提高以及IT設備的高速發展，信息的存儲量呈指數上升趨勢；而與此同時人們對信息的獲取要求越來越高，如何利用檢索技術快速找到所需的有用信息越來越困難。傳統的搜尋引擎基於關鍵詞進行檢索，但即便是採用多個關鍵詞進行組合檢索，面對海量的網絡信息，所獲得結果的數量仍然是難以計數的，要從這些結果中找到最需要的信息對用戶來說也是項艱巨的工作。因此，當前數據檢索最關鍵的問題就是如何從檢索結果中找到用戶最需要的信息。
[0003]現有技術中，搜尋引擎或數據檢索系統會基於部分統計信息對檢索結果進行排序，以爭取把相關度較高的結果優先提供給用戶。類似的統計信息主要有關鍵詞出現頻率、匹配度和點擊率等，這些信息是對數據本身的確定內容進行統計，雖然處理量較大但內容明確較易實現。此外，還有部分較先進的系統進行了更進一步的優化，比如基於各種文本語義的統計特徵將數據分類或對關鍵詞進行擴展等，力求使靠前的檢索結果與進行檢索的關鍵詞的相關度儘可能地高。但是上述方式主要基於用戶單次提交的查詢請求中的描述信息(關鍵詞、時間、檢索範圍等要求的組合)和數據的文本信息，而由於上述兩種信息可用內容有限，加上數據本身的信息無法體現用戶間的差異，即便採用現有技術的方式進行優化，檢索結果也難以全面地體現不同用戶的需求差異，這導致現有方式的檢索效率、精確度和用戶滿意度很難達到理想的狀態。
【發明內容】
[0004]針對現有技術中存在的上述缺陷，本發明所要解決的技術問題是如何針對不同用戶的差異優化檢索。
[0005]為解決上述技術問題，一方面，本發明提供了一種基於偏好的智能檢索方法，該方法包括步驟:
[0006]SI，基於數據主題分類、用戶特徵及操作日誌，建立用戶主題偏好模型；
[0007]S2，利用用戶主題偏好模型及用戶檢索輸入，進行查詢擴展獲得初次檢索結果；
[0008]S3，利用用戶主題偏好模型和數據在各個主題上的分布情況，進行數據的主題偏好打分，對初次檢索結果進行基於主題偏好的個性化檢索排序；
[0009]S4，利用相關反饋和偽相關反饋綜合模型對排序後的初次檢索結果進行二次反饋檢索獲得最終檢索結果。
[0010]優選地，所述步驟SI中，所述建立用戶主題偏好模型包括步驟:
[0011]根據所述主題分類建立主題向量空間；
[0012]根據所述用戶特徵確定用戶的預定義主題偏好向量；
[0013]根據所述操作日誌確定用戶的歷史主題偏好向量；[0014]將所述預定義主題偏好向量和所述歷史主題偏好向量進行加權，得到所述用戶主題偏好模型。
[0015]優選地，所述步驟S2中，所述進行擴展查詢包括步驟:
[0016]計算所述用戶檢索輸入中的檢索詞對應數據集合中各詞項的概率分布；
[0017]計算所述用戶主題偏好模型的向量空間中各主題詞對應數據集合中各詞項的概率分布；
[0018]衡量上述兩種概率分布的相互差異，選擇概率分布差異較小的主題詞，將其以一定權重加入檢索向量中。
[0019]優選地，所述步驟S3中，所述個性化檢索排序包括步驟:
[0020]通過計算所述初次檢索結果中各結果與所述用戶主題偏好模型的向量相似度，評判所述各結果在用戶偏好的主題上的得分；
[0021]計算所述各結果的質量評分；
[0022]根據所述向量相似度、所述在用戶偏好的主題上的得分及所述質量評分的加權得到所述各結果的終排序得分，按照所述終排序得分對所述初次檢索結果中的各結果進行排序。
[0023]優選地，所述步驟S4中，所述二次反饋檢索包括步驟:
[0024]利用所述相關反饋確定所述初次檢索結果中的相關結果的向量集合；
[0025]利用所述偽相關反饋確定所述初次檢索結果中的不相關結果的向量集合；
[0026]將所述用戶主題偏好模型、所述相關結果的向量集合、所述不相關結果的向量集合與原始查詢向量結合進行反饋查詢。
[0027]另一方面，本發明還同時提供了一種基於偏好的智能檢索系統，該系統包括:
[0028]用戶主題偏好識別模塊，用於基於數據主題分類、用戶特徵及操作日誌，建立用戶主題偏好模型；
[0029]查詢擴展模塊，利用用戶主題偏好模型及用戶檢索輸入，進行查詢擴展獲得初次檢索結果；
[0030]檢索排序模塊，利用用戶主題偏好模型和數據在各個主題上的分布情況，進行數據的主題偏好打分，對初次檢索結果進行基於主題偏好的個性化檢索排序；
[0031]反饋檢索模塊，利用相關反饋和偽相關反饋綜合模型對排序後的初次檢索結果進行二次反饋檢索獲得最終檢索結果。
[0032]優選地，所述用戶主題偏好識別模塊中進一步包括:
[0033]主題向量空間模塊，用於根據所述主題分類建立主題向量空間；
[0034]預定義偏好模塊，用於根據所述用戶特徵確定用戶的預定義主題偏好向量；
[0035]歷史偏好模塊，用於根據所述操作日誌確定用戶的歷史主題偏好向量；
[0036]偏好模型獲取模塊，用於將所述預定義主題偏好向量和所述歷史主題偏好向量進行加權，得到所述用戶主題偏好模型。
[0037]優選地，所述查詢擴展模塊進一步包括:
[0038]檢索詞分布模塊，用於計算所述用戶檢索輸入中的檢索詞對應數據集合中各詞項的概率分布；
[0039]主題詞分布模塊，用於計算所述用戶主題偏好模型的向量空間中各主題詞對應數據集合中各詞項的概率分布；
[0040]擴展模塊，用于衡量上述兩種概率分布的相互差異，選擇概率分布差異較小的主題詞，將其以一定權重加入檢索向量中。
[0041]優選地,所述檢索排序模塊進一步包括:
[0042]主題得分模塊，用於通過計算所述初次檢索結果中各結果與所述用戶主題偏好模型的向量相似度，評判所述各結果在用戶偏好的主題上的得分；
[0043]質量評分模塊，用於計算所述各結果的質量評分；
[0044]排序模塊，用於根據所述向量相似度、所述在用戶偏好的主題上的得分及所述質量評分的加權得到所述各結果的終排序得分，按照所述終排序得分對所述初次檢索結果中的各結果進行排序。
[0045]優選地，所述反饋檢索模塊進一步包括:
[0046]相關反饋模塊，用於利用所述相關反饋確定所述初次檢索結果中的相關結果的向
量集合；
[0047]偽相關反饋模塊，用於利用所述偽相關反饋確定所述初次檢索結果中的不相關結果的向量集合；
[0048]反饋模塊，用於將所述用戶主題偏好模型、所述相關結果的向量集合、所述不相關結果的向量集合與原始查詢向量結合進行反饋查詢。
[0049]本發明提供了一種基於偏好的智能檢索方法及系統，利用主題標引技術確定數據資源的主題分布，使用基於主題的查詢擴展和相關反饋等技術構建更能代表用戶需求的檢索向量，再通過結合了用戶主題偏好的智能排序模型，向用戶提供更符合其潛在需求的檢索結果。本發明所實現的算法和系統能夠識別用戶潛在的、基於專業主題詞表進行描述的情報需求，因而具有更好的檢索效果。
【專利附圖】
【附圖說明】
[0050]圖1為本發明的一個實施例中基於偏好的智能檢索方法的流程示意圖；
[0051]圖2為本發明的一個優選實施例中基於主題的查詢擴展算法流程示意圖；
[0052]圖3為本發明的一個優選實施例中結合主題的相關反饋算法流程示意圖；
[0053]圖4位本發明的一個典型應用場景中基於偏好的智能檢索系統的模塊結構示意圖。
【具體實施方式】
[0054]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例為實施本發明的較佳實施方式，所述描述是以說明本發明的一般原則為目的，並非用以限定本發明的範圍。本發明的保護範圍應當以權利要求所界定者為準，基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0055]現有技術主要針對被檢索數據進行優化，最理想的情況也只是對被檢索數據進行了精確分類和擴展，然後再將其與用戶單次提交的查詢請求中的描述信息進行匹配。這種方式雖然很大程度上提高了檢索的精確度，但其並未體現出用戶間的差異，只要查詢請求相同，檢索結果就會相同，這與實際情況中不同的用戶有著不同的需求的狀況存在著明顯的區別。
[0056]在本發明的實施例中，通過觀察分析用戶在較長一段時間內的檢索行為來獲取用戶的潛在需求，將用戶需求與數據分類兩者結合，把顯性相關反饋與隱性相關反饋技術融入到檢索優化中，準確體現出了用戶的需求差異並有效提高了數據檢索的整體效率和精確度。
[0057]參見圖1，在本發明的一個實施例中，基於偏好的智能檢索方法包括步驟:
[0058]SI，基於數據主題分類、用戶特徵及操作日誌，建立用戶主題偏好模型；
[0059]S2，利用用戶主題偏好模型及用戶檢索輸入，進行查詢擴展獲得初次檢索結果；
[0060]S3，利用用戶主題偏好模型和數據在各個主題上的分布情況，進行數據的主題偏好打分，對初次檢索結果進行基於主題偏好的個性化檢索排序；
[0061]S4，利用相關反饋和偽相關反饋綜合模型對排序後的初次檢索結果進行二次反饋檢索獲得最終檢索結果。
[0062]以下對上述實施例的各種優選方式做進一步的擴展說明，在下文的優選實施例中，為了進一步突出本發明的技術規律和實際效果，將被檢索的數據範圍限定在技術情報信息中，但本領域相關技術人員應該理解，技術情報信息只是全部數據中的一個具體分類，本發明的技術方案顯然可以直接應用於各種數字信息中，下述優選實施例不應視作對本發明的限制。
[0063]用戶對數據資源的獲取存在潛在的主題需求，以科技文獻為例，不同領域的用戶對同一關鍵詞的需求有著顯著差異，使這種隱性的主題需求表現得更加明顯。在本發明的優選實施例中，步驟Si裡運用主題詞範疇表對用戶需求進行映射，發現用戶在文獻資源分類上的偏好，從而為智能檢索提供良好的基礎。主題偏好主要從以下兩個方面進行考慮:
[0064]一、用戶主題偏好的預定義
[0065]不同的用戶有著不同的特徵，其中有不少可體現出用戶的潛在需求，因此，可以根據用戶特徵(比如用戶的地域、職能信息或崗位文獻範疇等)預先定義一些用戶的主題偏好。具體來說，比如電力行業中高壓試驗崗位的用戶，對電力變壓器、斷路器、互感器等相關的文獻資源有特殊需求，因而可從這些崗位文獻中提取出主題詞，結合崗位職能描述信息，將其映射到規範的主題範疇上，作為用戶的需求偏好預定義。更優選地，步驟Si中用向量空間模型來表示用戶的主題偏好:
[0066]首先,分析主題分布情況,建立N維主題向量空間[(IipW1), (k2, W2), *..(kN,wN)]；其中，kj為第i個主題,Wi為用戶在Ici上的偏好程度，i e 1,2,…，N。
[0067]然後，從用戶特徵(如崗位職能描述信息、崗位文獻等)中提取主題詞，統計這些主題詞的頻率來計算其概率分布；其中，」為主題詞SUbi的詞頻，freqsub total為主題詞集合的總詞頻。
[0068]最後，將八叫經過一定的系統調整後用來表徵用戶在各個主題詞SUbi上的偏好程度，從而得到預定義的用戶主題偏好向量1； W1 2, ''',W1 n);其中 ,Wi=O- psub，I=1,2,…，n，表示用戶在主題匕上預定義的偏好程度。
[0069]二、從用戶操作日誌中發現用戶主題偏好[0070]用戶的檢索行為是用戶獲取信息的整體行為中的一部分；相關的有用戶從系統中點擊、下載、收藏文獻等操作，這些操作都會被記錄在系統日誌中。因而可以從用戶大量的操作日誌信息中挖掘出用戶的主題偏好，為智能檢索提供基礎支撐。在上述方法的步驟SI中，還建立完備的操作日誌收集機制，利用操作日誌確定用戶主題偏好。
[0071]具體地，收集並分析日誌，獲取用戶操作文獻的集合Dtjp= {(!_，d-，…，d_}。對
^di ^ Dop =，統計用戶對Cli的點擊、下載、收藏等操作頻次，並賦予不同操作權
重，加權後計算得到用戶對Cli的訪問頻率。根據文獻的主題標引，可以得到Cli在主題詞上的分布，再結合Cli的訪問頻率，即可得到用戶在各個主題詞上的訪問頻率，將其作為用戶的主題偏好程度，對應到主題向量空間中，從而得到用戶的主題偏好向量-,wn)。
[0072]最後，通過將以上兩種主題偏好進行加權，從而確定用戶的主題偏好W=a j.Wpre+ a 2.Wop ;其中a ^ a 2是兩種向量各自的權重，根據偏重程度進行預設或調整。需要注意的是，根據日誌分析得到用戶偏好是隨著時間變化的，需要根據日誌的更新情況進行相應的更新。
[0073]查詢請求是用戶查詢需求的直接反應，其中同樣蘊含著潛在的主題需求，這種主題需求在一定程度上反應了用戶對所需文獻的抽象和概括，更能反映用戶的需求。同時主題詞可以作為文獻資源的標記，反應了文獻的內容核心及分類信息，能更好的表達文獻的本質。綜合這兩方面進行考慮，本發明的步驟S2中選擇主題詞進行查詢擴展，從很大程度上提升了檢索的功效，其算法流程如圖2所示。
[0074]如果用戶的檢索輸入直接就是規範的主題詞，可以通過主題範疇表中的上位詞、下位詞等關聯關係，找到相關的主題詞進行查詢擴展。但很多時候，用戶輸入的查詢請求與潛在主題需求之間沒有顯性的關聯，這時可以通過歷史檢索文獻以及主題標引文獻為其建立關聯關係。如圖2所不,基本思想如下: [0075]記用戶檢索請求Q對應的文檔集合為:Dqray= Wql, dq2,…，dqN}。通過對Dquery中各個文檔進行分詞，得到一組Term集合，記為Tquea7=Itql, tq2,..., tqN}。對^tqi e Tquery (? = 1,2，...,#)，統計概率凡,.=freqt: Zfreqtotal，從而得到 Dquery 對應的集合Tquery 的概
率分布，記為仄―=(P^，°其中，freqt 為 tqi 的詞頻，freqtotal 為 Tquery 中 Term 的詞頻總數。
[0076]對於主題向量空間的主題詞，通過文獻的主題標引也可以得到一組文檔集合，記為Dsub_t={dsl，ds2，…，dsN}。類似地，通過文檔集合獲取詞條集合，再通過相應詞頻的計算，
可以得到Dsubjeet對應的詞條集合的概率分布，記為K^ect = (psll, Psh，...，pstN)。
[0077]在獲取了這兩方面的概率分布後，可以通過計算概率分布的相似性，找到與檢索詞最相關的主題詞，進而用來做主題詞的查詢擴展。
[0078]在計算檢索詞和主題詞對應的兩組文檔的概率分布相似性時，優選考慮使用Kullback-Leibler 散度(Kullback-Leibler Divergence 的簡稱，也叫做相對熵 RelativeEntropy)進行計算。
[0079]這樣,通過Dkl(Fsliject丨IFquery)即可計算出Fsu_相對於Ftw的概率分布差異，取差異較對於小的主題詞構建查詢擴展[0080]
【權利要求】
1.一種基於偏好的智能檢索方法，其特徵在於，所述方法包括步驟: S1，基於數據主題分類、用戶特徵及操作日誌，建立用戶主題偏好模型； S2，利用用戶主題偏好模型及用戶檢索輸入，進行查詢擴展獲得初次檢索結果； S3，利用用戶主題偏好模型和數據在各個主題上的分布情況，進行數據的主題偏好打分，對初次檢索結果進行基於主題偏好的個性化檢索排序； S4，利用相關反饋和偽相關反饋綜合模型對排序後的初次檢索結果進行二次反饋檢索獲得最終檢索結果。
2.根據權利要求1所述的方法，其特徵在於，所述步驟SI中，所述建立用戶主題偏好模型包括步驟: 根據所述主題分類建立主題向量空間； 根據所述用戶特徵確定用戶的預定義主題偏好向量； 根據所述操作日誌確定用戶的歷史主題偏好向量； 將所述預定義主題偏好向量和所述歷史主題偏好向量進行加權，得到所述用戶主題偏好模型。
3.根據權利要求1所述的方法，其特徵在於，所述步驟S2中，所述進行擴展查詢包括步驟: 計算所述用戶檢索輸入中的檢索詞對應數據集合中各詞項的概率分布； 計算所述用戶主題偏好模型的向量空間中各主題詞對應數據集合中各詞項的概率分布； 衡量上述兩種概率分布的相互差異，選擇概率分布差異較小的主題詞，將其以一定權重加入檢索向量中。
4.根據權利要求1所述的方法，其特徵在於，所述步驟S3中，所述個性化檢索排序包括步驟: 通過計算所述初次檢索結果中各結果與所述用戶主題偏好模型的向量相似度，評判所述各結果在用戶偏好的主題上的得分； 計算所述各結果的質量評分； 根據所述向量相似度、所述在用戶偏好的主題上的得分及所述質量評分的加權得到所述各結果的終排序得分，按照所述終排序得分對所述初次檢索結果中的各結果進行排序。
5.根據權利要求1所述的方法，其特徵在於，所述步驟S4中，所述二次反饋檢索包括步驟: 利用所述相關反饋確定所述初次檢索結果中的相關結果的向量集合； 利用所述偽相關反饋確定所述初次檢索結果中的不相關結果的向量集合； 將所述用戶主題偏好模型、所述相關結果的向量集合、所述不相關結果的向量集合與原始查詢向量結合進行反饋查詢。
6.一種基於偏好的智能檢索系統，其特徵在於，所述系統包括: 用戶主題偏好識別模塊，用於基於數據主題分類、用戶特徵及操作日誌，建立用戶主題偏好模型； 查詢擴展模塊，利用用戶主題偏好模型及用戶檢索輸入，進行查詢擴展獲得初次檢索結果;檢索排序模塊，利用用戶主題偏好模型和數據在各個主題上的分布情況，進行數據的主題偏好打分，對初次檢索結果進行基於主題偏好的個性化檢索排序； 反饋檢索模塊，利用相關反饋和偽相關反饋綜合模型對排序後的初次檢索結果進行二次反饋檢索獲得最終檢索結果。
7.根據權利要求6所述的系統，其特徵在於，所述用戶主題偏好識別模塊中進一步包括: 主題向量空間模塊，用於根據所述主題分類建立主題向量空間； 預定義偏好模塊，用於根據所述用戶特徵確定用戶的預定義主題偏好向量； 歷史偏好模塊，用於根據所述操作日誌確定用戶的歷史主題偏好向量； 偏好模型獲取模塊，用於將所述預定義主題偏好向量和所述歷史主題偏好向量進行加權，得到所述用戶主題偏好模型。
8.根據權利要求6所述的系統，其特徵在於，所述查詢擴展模塊進一步包括: 檢索詞分布模塊，用於計算所述用戶檢索輸入中的檢索詞對應數據集合中各詞項的概率分布； 主題詞分布模塊，用於計算所述用戶主題偏好模型的向量空間中各主題詞對應數據集合中各詞項的概率分布； 擴展模塊，用于衡量上述兩種概率分布的相互差異，選擇概率分布差異較小的主題詞，將其以一定權重加入檢索向量中。
9.根據權利要求6所述的系`統，其特徵在於，所述檢索排序模塊進一步包括: 主題得分模塊，用於通過計算所述初次檢索結果中各結果與所述用戶主題偏好模型的向量相似度，評判所述各結果在用戶偏好的主題上的得分； 質量評分模塊，用於計算所述各結果的質量評分； 排序模塊，用於根據所述向量相似度、所述在用戶偏好的主題上的得分及所述質量評分的加權得到所述各結果的終排序得分，按照所述終排序得分對所述初次檢索結果中的各結果進行排序。
10.根據權利要求6所述的系統，其特徵在於，所述反饋檢索模塊進一步包括: 相關反饋模塊，用於利用所述相關反饋確定所述初次檢索結果中的相關結果的向量集合； 偽相關反饋模塊，用於利用所述偽相關反饋確定所述初次檢索結果中的不相關結果的向量集合； 反饋模塊，用於將所述用戶主題偏好模型、所述相關結果的向量集合、所述不相關結果的向量集合與原始查詢向量結合進行反饋查詢。
【文檔編號】G06F17/30GK103593425SQ201310549069
【公開日】2014年2月19日 申請日期:2013年11月8日 優先權日:2013年11月8日
【發明者】李鵬, 周育忠, 王慶紅, 龔婷, 陳傳夫, 王平, 冉從敬, 吳江 申請人:南方電網科學研究院有限責任公司, 武漢大學