合併搜索結果的製作方法

2023-05-19 16:46:26

專利名稱：合併搜索結果的製作方法
合併搜索結果背景在執行聯合搜索的情況下，通常存在對合併從可以從不同的源檢索信息的不同的搜尋引擎接收的搜索結果的需求。例如，可以在接收搜索查詢並將該搜索查詢發送給多個不同的搜尋引擎的搜索門戶處執行聯合搜索。該搜索門戶收集結果且通常提供可以由此訪問所收集的結果的用戶界面。將查詢發送給不同的搜尋引擎和接收結果的過程自動地發生而不需要用戶輸入，且可以「後臺」執行以使得用戶可以不知道它正在發生。以此方式，當前使用聯合搜索門戶來搜索許多不同的公共信息源，例如通過使用網際網路搜尋引擎、公共資料庫和其他公共數據集合。然而，許多企業、教育機構和其他實體具有對非公共信息源的訪問權。於是，出現了關於在信息源中的至少一些是公共的且信息源中的至少一些不是公共的情況下如何適當地提供聯合搜索的問題。現有的聯合搜索系統常常簡單地收集從不同的信息源獲得的結果的列表而不在呈現結果的方式中提供任何附加的「智能」。例如，在一些聯合搜索系統中，門戶提供用戶界面手段，由此要求終端用戶手動地對來自不同的信息源的結果列表進行合併、去重複和排名。這是費時和複雜的，且給終端用戶帶來過度負擔。在終端用戶是甚至不知道正在搜索的各個數據源的存在的初學者或孩子的情況下尤其如此。已知其他信息檢索系統，由此用戶可以操作用戶界面以便指定向用戶指定的多個不同的源發出查詢。在用戶界面接收並且通常並排呈現原始結果以供用戶使用作為用戶界面的一部分來提供的工具來管理。這一類型的搜索不是以與聯合搜索相同的方式自動進行的，且主要在用戶界面處而非在獨立的聯合搜尋引擎處提供該功能。而且，這一類型的搜索系統僅適用於具有可獲得的不同信息源的詳盡知識的專家用戶。下面描述的各實施例不限於解決已知的信息檢索系統的缺點中的任一個或全部的實現。概述下面提供本發明的簡要概述以便向讀者提供基本的理解。本概述不是本發明的詳盡概觀，並且既不標識本發明的關鍵/重要元素，也不描繪本發明的範圍。其唯一目的是以簡化形式提供在此公開一些概念作為稍後提供的更詳細描述的序言。例如在信息檢索系統向多個源發出查詢並獲得多個結果列表的情況下，需要合併搜索結果。在一種實施例中，在企業域處的搜尋引擎將查詢發送給企業搜尋引擎且也發送給公共網際網路搜尋引擎。在各實施例中，使用合併模型來合併從不同的源獲得的結果列表， 該合併模型使用機器學習過程來學習且例如在觀察到點進數據時更新。在各示例中，使用企業域中可用的用戶信息來影響合併過程以便改善結果的相關性。在一些示例中，將用戶信息用於查詢修改。在一種實施例中，用戶可以扮演指定的組的用戶以便促進特定的結果。許多附帶特徵將隨著參考下面的詳細描述並結合附圖進行理解而得到更好的認識。附圖簡述根據附圖閱讀以下詳細描述，將更好地理解本發明，在附圖中


圖1是在防火牆後連接到網際網路的企業處的信息檢索系統的示意圖；圖2是在經由防火牆連接到網際網路的企業處具有聯立範圍搜尋引擎的信息檢索系統的示意圖；圖3是在信息檢索系統處合併結果的方法的流程圖；圖4是合併模型的示意圖；圖5是被提供給合併模型的各類型的輸入的示意圖；圖6是在合併引擎處的方法的流程圖；圖7是在合併引擎處的另一方法的流程圖；圖8是由信息檢索系統提供的用戶界面的示意圖；圖9是在改變搜索範圍時在信息檢索系統處的方法的流程圖；圖10是在做出扮演用戶選擇時在信息檢索系統處的方法的流程圖；圖11是在信息檢索系統處的用於查詢修改的方法的流程圖；圖12闡釋可以在其中實現信息檢索系統的實施例的示例性的基於計算的設備。附圖中使用相同的附圖標記來指代相同的部分。詳細描述下面提供本發明的簡要概述以便向讀者提供基本的理解。本概述不是本發明的詳盡概觀，並且既不標識本發明的關鍵/重要元素，也不描繪本發明的範圍。其唯一目的是以簡化形式提供在此公開一些概念作為稍後提供的更詳細描述的序言。在此使用術語「聯立範圍搜索」來意指使用單個搜尋引擎來自動地搜索多個信息源，多個信息源中的至少一個在該單個搜尋引擎擁有對其的訪問權的私有域中，且多個信息源中的至少另一個是在公共域。儘管在此將本示例描述和闡釋為在用於聯立範圍搜索的信息檢索系統中實現，但是作為示例而非限制而提供所描述的系統。本領域中的技術人員將明白，本示例中的至少一些適用於各種不同類型的信息檢索系統中的應用，包括用於搜索多個不同的信息源的那些信息檢索系統。圖1是在防火牆101後連接到網際網路100的企業(或其他私有域)處的信息檢索系統的示意圖。圖1中的虛線左邊的實體在此被稱為是企業域的部分，而虛線右邊的那些實體是在公共域中。在被提供到網際網路100的公共域中提供搜尋引擎112，並將其安排為提供在企業域中的諸如客戶機終端107等的客戶機終端處的用戶可以瀏覽的用戶界面113。 搜尋引擎112具有對文檔110的索引111的訪問權。它被安排為從客戶機終端107(在公共域或私有域中)處的終端用戶接收查詢項108並使用本領域中已知的索引111來返回經排名的文檔列表109。在企業域中也提供內聯網搜尋引擎105並將其連接到內聯網102，客戶機終端107 也連接到內聯網102。內聯網搜尋引擎105具有對文檔103的索引104的訪問權，文檔103 對企業中的用戶是可用的，但一般對在企業域外的用戶不可用。例如，教育機構的內聯網可以擁有對在公共網際網路上不可用的優質內容的免費訪問權。而且，國家醫療服務提供者的內聯網可以擁有對公眾不可用的秘密的和/或昂貴的信息的訪問權。在另一示例中，一組用戶可以擁有對公眾不可用的私有社交網絡站點的訪問權。在這種情況中，圖1中的文檔 103和索引104表示通常不可公開獲得的至少一些信息。內聯網搜尋引擎105也提供可由客戶機終端107訪問的用戶界面106。在客戶機終端107處的終端用戶可以將用戶查詢項 108輸入到內聯網搜尋引擎用戶界面106以便從索引104獲得經排名的文檔列表109。以此方式，終端用戶可以手動地將查詢發送給網際網路搜尋引擎112或內聯網搜尋引擎105。然而，終端用戶常常不知道他們可能從哪個源找到最佳結果。耗時的試錯過程常常導致由此終端用戶在將查詢發送給內聯網搜尋引擎之前將相同的查詢發送給網際網路搜尋引擎(例如)並查閱結果。在圖1中的內聯網搜尋引擎105和公共網際網路搜尋引擎112之間的另一差異是內聯網搜尋引擎105可以擁有對關於內聯網的用戶的私有用戶信息的訪問權，該私有用戶信息對公共網際網路搜尋引擎112是不可用的。例如，這一信息可以是人口統計信息和/或可以包括諸如用戶的年齡、用戶在企業中的角色(例如，護士、醫生、小學生、教師、管理者、支援人員)、用戶的辦公室位置和其他這樣的細節等的秘密細節。可以提供聯立範圍搜索系統，如圖2中所闡釋的。聯立範圍搜尋引擎202連接到內聯網，且與內聯網搜尋引擎集成或通信。合併引擎203和評估器204與聯立範圍搜尋引擎202集成或連接。內聯網搜尋引擎具有用於聯立範圍搜索205的用戶界面。在客戶機終端107處的用戶可以將用戶查詢項108輸入到聯立範圍搜索205的用戶界面並且獲得經合併的經排名的文檔列表200。聯立範圍搜尋引擎被安排為將查詢項108發送給內聯網搜尋引擎105和網際網路搜尋引擎112兩者並接收結果。它被安排為使用合併引擎203合併結果並在用戶界面205處將經排名的、經合併的結果列表顯示給終端用戶。在用戶界面205處觀察隱式和/或顯式反饋201並將其饋送回聯立範圍搜尋引擎。使用這一反饋來更新合併引擎。即，在合併引擎處的機器學習系統允許它學習如何最佳地合併結果。提供每隔一段時間檢查合併引擎203的性能的評估器204，以便確保學習過程已經適當地工作。可以使用任何合適的評估器。例如，可以使用如Radlinski等的 "How does clickthrough data reflect retrieval quality(點進數據如何反應檢索質量)"Proceedings of 17th ACM conference on Information and Knowledge management, PP 43-52,2008中所描述的交叉存取評估過程，該文獻通過引用以其整體合併於此。參考圖3，描述在聯立範圍搜尋引擎202處的方法。(這種方法也適用於其中多個搜索範圍都來自公共域源的聯合搜尋引擎。)例如從在客戶機終端107處的在校小學生接收300查詢。在校小學生正在查找關於家庭作業任務的企鵝的信息。在校小學生不知道是使用內聯網搜尋引擎還是使用web搜索來搜索。聯立範圍搜尋引擎202將查詢發送301給內聯網搜尋引擎且也發送給公共搜尋引擎(參見框30 。在一些情況中，這可以以對在校小學生透明的方式自動執行，且因此在校小學生不需要選擇搜索哪些信息源的任何技能。 在一些實施例中，執行查詢修改過程313，由此基於要將查詢發送到的源且可選地使用從早期搜索提供的反饋信息來擴展或修改該查詢(如下面更詳細地解釋)。自動地且在一些實施例中以對在校小學生或其他用戶透明的方式執行這一查詢修改。這允許在如何為特定的類型的搜索範圍創建合適的查詢方面沒有經驗的初學者用戶容易地操作該系統。在一些實施例中，可以搜索多於兩個的信息源，如圖3中的框305和框306所指示。從內聯網搜尋引擎接收302第一結果列表，且從web搜尋引擎接收304第二結果列表。 如果已經搜索了多於兩個的信息源，那麼，接收每一信息源的一個結果列表。使用合併模型來合併308各結果列表(各結果列表被存儲307)，並將經合併的結果列表呈現給終端用戶。合併模型也可以使用歷史信息(例如點擊日誌儲存庫)312和其他輸入，如下面參考圖5更詳細地描述。例如，在用戶跳過或點擊經合併的結果列表中的各項中的一個或多個，以及使用該反饋來更新310合併模型的情況下，接收到309反饋。反饋可以是隱式反饋或顯式反饋。另外可以可選地使用這一反饋來影響查詢修改過程313。術語「顯式反饋」被用來意指來自用戶的關於信息檢索系統所檢索的文檔的相關性的主動反饋。例如，給定所指定的查詢，這可以是被人類用戶分配給文檔的標籤。標籤可以起到將文檔分類成多個類中的一個的作用，這取決於用戶認為該文檔與該查詢有多相關。顯式反饋也可以是被認為是考慮到被用來獲得該經排名的列表的查詢項的、對經排名的列表中的一個或多個文檔的評估。顯式反饋也可以被稱為顯式相關性信息。為了使得反饋是顯式的，響應於查詢或對該用戶做出判斷的請求，要求用戶進行主動用戶輸入或動作。相反，對於「隱式反饋」(也被稱為隱式相關性信息)，響應於做出判斷的請求，不要求主動用戶輸入。它也可以被認為是被動反饋。隱式反饋的示例包括諸如查詢-文檔對等的點擊數據。查詢-文檔對是由用戶輸入到搜尋引擎的查詢與文檔的連結或其他標識符的組合。將文檔列出在由搜尋引擎響應於查詢而呈現的經排名的文檔列表中， 且該文檔被用戶點擊。隱式反饋的其他示例包括在用戶界面處沒有活動。例如，諸如用戶不從結果列表訪問文檔等事件被假設為與文檔不相關性有關。存在許多其他可能類型的隱式反饋。例如，停留時間(dwell time)(用戶將用戶界面指針指向文檔列表中的連結上多長時間)。可以設想不同等級的隱式反饋。例如，如果用戶從結果列表複製和粘貼連結或將該連結加為標籤，這可以被認為是高質量的隱式反饋。在此應認識到，可以有利地使用這樣的不同類型的反饋信息來改善從不同的源接收的搜索結果的合併，以便使得經合併的搜索結果更加相關。例如，這是在查詢間基礎上實現的。即，使用來自既往用戶查詢和/或評估器判斷的反饋來改善由相同的或不同的用戶做出的將來的搜索結果的合併。可選地每隔一段時間評估311合併模型，並根據那些評估的結果的要求調整或替換該合併模型。例如，合併模型是搜索結果呈現事件的模型，且被用來預測用戶是否選擇(或點擊)結果以及哪個源或搜索範圍將是優選的(被點擊)。以此方式，可以使用所觀察的關於經合併的搜索結果呈現事件的信息來更新合併模型，且在觀察到經合併的搜索結果呈現事件時，這一過程可以繼續。於是，合併是自適應的，且學習以便在將來以最有可能導致「點擊」的方式合併結果。可以使用對搜索結果呈現事件進行建模的且可以被用來預測用戶是否選擇結果的任何合適的合併模型。這也可以被認為是預測結果將與給定的用戶有多相關的模型。例如，可以使用數據結構來將合併模型400存儲在存儲器中，且合併模型400可以包括多個搜索結果呈現事件變量401，每一個搜索結果呈現事件變量都具有帶有關聯概率分布的權重。每一概率分布可以表示該模型對其關聯的權重是正確的置信。對於結果列表中的給定結果，通過組合各變量、考慮各權重和關於各權重的置信，可以使用該模型來提供給定的結果將被點擊的概率(在這裡稱為點擊概率)。然後，基於這些點擊概率值合併各結果。例如，可以將結果按點擊概率值呈現在經排名的列表中。當更新合併模型時(圖3的步驟310)，學習各權重，且關於這些權重的置信變得更加確定。在於2009年2月12日公布的US 2009\0043539A中描述了合適的合併模型的示例1，該專利屬微軟公司名下，且通過引用以其整體合併於此。合併模型400中所使用的各事件變量描述由此聯立範圍搜尋引擎202的用戶界面 205將結果的經合併的列表呈現給終端用戶的經合併的搜索結果呈現事件。可以使用任何合適數量的事件變量，儘管隨著變量的數量的增加，所需要的計算資源也增加。可以將各事件變量提供為指標值而非實際賦值變量以便減少計算需求，且可以使用修剪過程來減少合併模型的存儲器需求，如上面引用的US2009\0043539A1中所描述。圖5給出被合併引擎203用作輸入以便得到要合併的特定結果的事件變量的示例的非詳盡列表。可以使用一個或多個這樣的事件變量的任何組合。這些事件變量包括該結果的內聯網搜索排名500或分數、被內聯網搜尋引擎用於對結果進行排名的文本特徵501、 網際網路搜索排名或分數502、從由網際網路搜尋引擎提供以供與結果一起使用的任何摘錄中提取的文本特徵503、是否已經由用戶設置扮演用戶選擇504(如下面更詳細地描述)、導致該結果的查詢的查詢頻率505、從給定搜索的每一源獲得的結果的數量、用戶信息507、 該結果的作為經合併的列表的一部分和/或未合併的列表的一部分的既往點擊歷史508。 另一事件變量可以簡單地指示該結果是內聯網結果還是網際網路結果；另一選項是從其他事件變量的值推理這一信息。例如，如果已經從網際網路獲得該結果，則內聯網搜索排名是零 (nil)。另一事件變量可以是基於連結的特徵，例如I^geRank連結分析算法中的頁面排名。用默認的權重初始化合併模型，且使用所觀察的事件數據使用任何合適的訓練過程來訓練該合併模型。在上面引用的US 2009\0043539A1中描述了示例訓練過程。可以離線執行訓練過程，且該訓練過程可以在使用合併引擎時實時繼續。即是說，離線訓練不是必要的。可以作為合併系統的使用的一部分而實時執行訓練過程。使用合併模型400，合併引擎可以從如參考圖3所描述的所接收的多個結果列表中形成單個經排名的結果列表。合併引擎可選地從各列表移除重複600，且對於剩餘結果中的每一個，使用合併模型確定601點擊該結果的概率。對於給定的結果，合併引擎採用如上面參考圖5所描述的所接收的事件變量值。在一個示例中，它考慮權重而組合那些事件變量值，且應用連結函數以便將所組合的變量值映射成概率值，如上面引用的US 2009\0043539A1中所描述。合併引擎被安排為基於所確定的概率值形成602單個經排名的結果列表。在一些實施例中，合併引擎203也被安排為決定是否合併各結果列表。例如，在一些情況中，不適宜合併各結果列表，這是因為，與來自內聯網搜索的結果相比較，來自網際網路搜索(例如)的結果都具有減少的相關性。現在參考圖7描述在聯立範圍搜尋引擎處的示例方法。聯立範圍搜尋引擎從(例如)內聯網搜尋引擎接收700第一範圍結果列表。它也從(例如)網際網路搜尋引擎接收第二範圍結果列表。它使用合併引擎來獲得702如上所述的兩個結果列表中的結果的點擊概率。然後，它被安排為進入決定過程703以便決定是否將各結果呈現為經合併的列表。使用規則、閾值或聯立範圍搜尋引擎處指定的其他準則來做出這一決定。例如，如果網際網路搜索結果的平均點擊概率值是在內聯網搜索結果的平均點擊概率值的10%以內，那麼，合併704各結果。否則，不合併各結果。在這種情況下，聯立範圍搜尋引擎進行到選擇705各結果列表中的一個以便在用戶界面顯示器的主要部分中呈現。使用各規則、閾值或其他準則來做出這一選擇，且也做出706關於是否使用顯示畫面的側面板來呈現其他範圍結果列表707的決定。圖8是供教育領域中的聯立範圍用戶界面205使用的用戶界面顯示的示例。這是參考教育應用描述的特定示例。通過適當地調整用戶界面顯示畫面，該技術也適用於與其他應用領域一起使用。它包括主顯示區域801和側面板802。主顯示區域801包括允許用戶輸入查詢並將該查詢發送給聯立範圍搜尋引擎的文本框800。文本框800下面是範圍複選框803、804、805，範圍複選框803、804、805允許用戶指定是應搜索內聯網和網際網路(框 803)、應僅搜索內聯網(框804)還是應僅搜索網際網路(框80幻。另一複選框806允許用戶扮演另一用戶，在這一示例中，該另一用戶是作為10歲大的在校小學生的「5歲孩子」。各範圍複選框下面是在經排名的列表807中給定的結果的顯示。可以在每一結果的旁邊提供表明從其獲得該結果的源的指示。然而，這不是必要的。如上所述，也可以將各結果顯示在側面板802中。現在參考圖9描述在聯立範圍搜尋引擎處的示例方法。接收900具有第一指定搜索範圍的搜索查詢。例如，這可以是應搜索內聯網和網際網路搜尋引擎兩者(在圖8的示例中，勾選範圍框803)。聯立範圍搜尋引擎進行到如上所述執行該搜索並且合併各結果列表。 在用戶界面處將經合併的結果列表呈現901給用戶。此時，聯立範圍搜尋引擎可以接收902 改變指定搜索範圍的用戶輸入。例如，現在僅需要內聯網搜索結果。在圖8的示例中，這對應於用戶清除框803並勾選框804。合併引擎被安排為根據新的範圍規範更新903經合併的結果列表並且在用戶正在操作搜尋引擎時實時呈現經修訂的列表。這可以通過使用例如在圖6的方法的步驟601已經確定的點擊概率值來實現。可以在側面板顯示器中呈現904 從該類別中移除的結果，例如，在所討論的情況下的網際網路結果。在一些實施例中，用戶扮演另一用戶以便影響合併引擎學習的方式是可能的。例如，對於給定的查詢，老師可能想要扮演孩子，以便促進隨後的孩子搜索的所選擇的結果。 與用戶界面複選框806或其他用戶輸入手段一起使用圖5中被稱為「扮演用戶」504的事件變量。如果設置了扮演用戶事件變量504，則合併引擎被安排為修改圖3的更新過程(步驟 310)以便將比其他事件更多的權重關聯到相應的搜索結果呈現事件。例如參考圖10，與指定扮演用戶情形的用戶輸入一起接收1000搜索查詢。觀察 1001搜索結果呈現事件，且將合併模型更新1002為比所觀察到的不具有扮演用戶情形的事件更高的等級。存在其中圖10的非對稱更新機制以及已經提到的老師-小學生示例有幫助的許多應用。例如，在醫學、工程、藥物或其他應用域中，可以要求影響或引導特定的用戶組的搜
索結果。如上所述，在內聯網域中，信息對不可公開獲得的域中的實體可用。例如，這可以包括關於內聯網或企業域中的個體用戶或用戶組的信息。這一信息可以被聯立範圍搜尋引擎用來影響如何合併結果。例如，合併引擎203使用描述用戶信息507的一個或多個事件變量(參見圖幻。假定終端用戶是學校中正在搜索關於他或她的家庭作業項目的企鵝的信息的孩子。在這一場景中，合併引擎可以接收指定該小學生的年齡的事件變量，且合併模型中的權重已經訓練為允許合併過程偏向來自內聯網搜尋引擎的結果。而且，可以根據小學生的年齡給予來自網際網路搜索的各種結果不同的權重。例如，可以從內聯網搜尋引擎免費獲得優質內容企鵝野生動物視頻。即使小學生不知曉不同的搜尋引擎和/或免費的高質量內容的存在，他或她也可以以快速、簡單和有效的方式來訪問該信息。即使用戶信息是僅在內聯網域內可用，它也被聯立範圍搜尋引擎用來影響來自內聯網和公共域源兩者的結果的
口井O在一些實施例中，用戶信息可以被用來執行查詢修改，查詢修改也可以取決於要搜索的信息源。現在參考圖11描述這一點。用戶(例如，搜索關於企鵝的信息的十歲大的孩子)輸入查詢。聯立範圍搜尋引擎接收1101該查詢，聯立範圍搜尋引擎也接收1102關於該用戶的適用組(例如，十歲大的學校孩子)的信息。聯立範圍搜尋引擎被安排為基於該用戶組和搜索範圍修改查詢。可以通過用戶選擇如圖8中的複選框來明確指定搜索的範圍，或者可以將其設置為作為所有可用的源的默認值。例如，可以使用關於相同的用戶組中的用戶做出的先前搜索的信息通過自動地添加、移除或編輯查詢項來修改查詢。將經修改的查詢發送給適當的搜尋引擎，且接收1104各結果列表。如上所述合併 1105各結果列表。也如上所述接收1106反饋並將其用來更新合併模型1107。對於每一信息源以不同的方式來修改查詢是可能的。例如，被發送到網際網路搜尋引擎的查詢可以不同於被發送到內聯網搜尋引擎的查詢。圖12示出可以被實現為任何形式的計算和/或電子設備，並且其中可以實現信息檢索系統的實施例的示例性基於計算的設備1200的各組件。基於計算的設備1200包括一個或多個輸入1206，它們是用於接收媒體內容的任何合適的類型，網際協議(IP)輸入，查詢、用戶信息或其他輸入。該設備還包括使該設備那個與通信網絡中的其他實體進行通信的通信接口 1207。例如，圖1和圖2的網際網路搜尋引擎和網際網路。基於計算的設備1200還包括一個或多個處理器1201，該一個或多個處理器可以是微處理器、控制器、或用於處理計算可執行指令以控制設備的操作以便提供搜索多個信息源的信息檢索系統的任何其他合適類型的處理器。可以在基於計算的設備處提供包括作業系統1204或任何其他合適的平臺軟體的平臺軟體以使得能夠在該設備上執行應用軟體 1203。計算機可執行指令可使用諸如存儲器1202等任何計算機可讀介質來提供。存儲器具有任何合適的類型，諸如隨機存取存儲器(RAM)、諸如磁或光存儲設備等任何類型的盤存儲設備、硬碟驅動器、或⑶、DVD或其他盤驅動器。也可使用快閃記憶體、EPROM或EEPR0M。還向與基於計算的設備集成或通信的顯示系統提供諸如音頻和/或視頻輸出等輸出。儘管不是必要的，但是顯示界面1205可以提供圖形用戶界面，或者任何合適類型的其它用戶界面。此處使用的術語『計算機』表示具有處理能力以使其能夠執行指令的任何設備。本領域技術人員將認識到這些處理能力被結合到許多不同設備中，並且因此術語『計算機』包括PC、伺服器、行動電話、個人數字助理和許多其他設備。在此描述的各方法可由有形存儲介質上的機器可讀形式的軟體執行。軟體可適於在並行處理器或串行處理器上執行以使得各方法步驟可以按任何合適的次序或同時執行。這確認了軟體可以是有價值的、可單獨交易的商品。它旨在包含運行於或者控制 「啞」或標準硬體以實現所需功能的軟體。它還旨在包含例如用於設計矽晶片，或者用於配置通用可編程晶片的HDL(硬體描述語言)軟體等描述摂或者定義硬體配置以實現期望功能的軟體。本領域技術人員將認識到用於存儲程序指令的存儲設備可分布在網絡上。例如， 遠程計算機可存儲描述為軟體的該過程的示例。本地或終端計算機可訪問遠程計算機並下載該軟體的一部分或全部以運行該程序。或者，本地計算機可按需下載軟體的片斷，或可以在本地終端處執行一些軟體指令而在遠程計算機(或計算機網絡)處執行一些軟體指令。 本領域技術人員將認識到，通過使用本領域技術人員已知的常規技術，軟體指令的全部或部分可由諸如DSP、可編程邏輯陣列等專用電路來執行。如本領域技術人員將清楚的，此處給出的任何範圍或者設備值都可以被擴展或者改變而不失去所尋求的效果。可以理解，上述各好處和優點可涉及一個實施例或者可涉及若干實施例。各實施例不限於解決所述問題中的任一個或全部的實施例或具有所述好處和優點中的任一個或全部的實施例。還可以理解，對『一個』項目的引用指的是這些項目中的一個或多個。本文中描述的各方法步驟可以在適當時按任何合適的次序或同時執行。另外，可從任一種方法中刪除各個框，而不背離此處所述的主題的精神和範圍。上述示例中的任一個的各方面可以與所述其他示例中的任一個的各方面組合以形成其他示例而不失去所尋求的效果。術語『包括』此處用來指包括所標識的方法框或元素，但這些框或元素不構成排他列表，並且方法或裝置可包含附加框或元素。可以理解，上面對一較佳實施例的描述只是作為示例給出並且本領域的技術人員可以做出各種修改。以上說明、示例和數據提供了對本發明的各示例性實施例的結構和使用的全面描述。雖然上文以一定的詳細度或參考一個或多個單個實施例描述了本發明的各實施例，但是，在不偏離本發明的精神或範圍的情況下，本領域的技術人員可以對所公開的實施例作出很多更改。
權利要求
1.一種在被安排為從多個不同的源(105，112)檢索結果的信息檢索系統處的方法，所述方法包括在輸入處，接收(200)查詢；在輸出處，向所述多個源發出(301，303，30幻所述查詢；在所述輸入處，從所述多個源中的每一個接收(302，304，306)結果列表，所述多個源中的至少一個是公共域搜尋引擎且所述多個源中的至少一個是私有域搜尋引擎；將處理器安排為使用合併模型從所接收的結果列表中形成(308)經合併的結果列表；將用戶界面安排為呈現所述經合併的結果列表；觀察(309)響應於所呈現的經合併的結果列表的用戶行為；以及使用所觀察到的用戶行為來更新(310)所述合併模型。
2.如權利要求1中所述的方法，其特徵在於，所述查詢是從用戶接收到的，且其中所述方法還包括接收關於所述用戶的用戶信息(507)，且其中所述合併模型(400)考慮所述用戶fn息。
3.如任一前述權利要求所述的方法，其特徵在於，所述方法還包括使用包括描述經合併的結果列表呈現事件的多個加權事件變量G01)的數據結構來存儲所述合併模型 (400)。
4.如任一前述權利要求所述的方法，其特徵在於，將所述處理器安排為從所接收的結果列表中形成經合併的結果列表的所述步驟包括使用所述合併模型來將每一結果的概率值確定(601)為所述結果將被用戶點擊的概率，並使用所述概率值來形成(60 所述經合併的結果列表。
5.如任一前述權利要求所述的方法，其特徵在於，所述方法還包括使用包括多個事件變量的數據結構來存儲所述合併模型，所述多個事件變量選自以下各項中的任一個搜尋引擎排名(500，502)、文本特徵(501)、從摘錄獲得的文本特徵(503)、扮演用戶設置(504)、 查詢頻率(505)、來自所述源中的每一個的結果的數量(506)、用戶信息(507)、既往點擊歷史(508)。
6.如任一前述權利要求所述的方法，其特徵在於，所述方法還包括將所述處理器安排為選擇(705)所接收的結果中的要從中形成所述經合併的結果列表的子集，其中所述子集可以僅包括所接收的結果列表中的一個。
7.如任一前述權利要求所述的方法，其特徵在於，所述方法還包括接收(90 指定對所述多個不同的源的改變的用戶輸入；將所述處理器安排為根據所述改變更新(90 所述經合併的結果列表；以及將所述用戶界面安排為呈現經更新的經合併的結果列表。
8.如任一前述權利要求所述的方法，其特徵在於，所述方法還包括接收(1000)指定扮演用戶情形的用戶輸入；使用包括包含扮演用戶事件變量的多個事件變量的數據結構來存儲所述合併模型；以及將所述合併模型更新(100 為比所觀察到的其中不應用扮演用戶情形的用戶行為更高的等級。
9.如任一前述權利要求所述的方法，其特徵在於，所述查詢是從用戶接收到的，且其中所述方法還包括接收(110 關於所述用戶的用戶信息；在向所述多個源發出所接收的查詢之前修改(1103)所接收的查詢；並且其中所述修改基於所述用戶信息。
10.如權利要求中1到權利要求8中的任一項所述的方法，其特徵在於，所述方法還包括在向所述多個源發出所接收的查詢之前修改所接收的查詢；並且其中所述修改是源專用的。
11.如任一前述權利要求所述的方法，其特徵在於，所述方法還包括將評估器安排為每隔一段時間評估所述合併模型並基於所述評估修改所述合併模型。
12.—種在被安排為從多個不同的源檢索結果的信息檢索系統處的方法，所述方法包括在輸入處，從私有域中的用戶接收(300)查詢； 在所述輸入處，接收關於所述用戶的信息；在輸出處，向所述多個源發出(301，303，30幻所述查詢，所述多個源中的至少一個在公共域中且所述多個源中的至少一個在所述信息檢索系統擁有對其的訪問權的所述私有域中；在所述輸入處，從所述多個源中的每一個接收(302，304，306)結果列表； 將處理器安排為使用考慮所述用戶信息的合併模型來從所接收的結果列表中形成 (308)經合併的結果列表；將用戶界面安排為呈現所述經合併的結果列表；觀察(309)響應於所呈現的經合併的結果列表的用戶行為；以及使用所觀察到的用戶行為來更新(310)所述合併模型。
13.如權利要求12所述的方法，其特徵在於，所述方法還包括使用包括描述經合併的結果列表呈現事件的多個加權事件變量的數據結構(400)來存儲所述合併模型。
14.如權利要求12或權利要求13所述的方法，其特徵在於，將所述處理器安排為從所接收的結果列表中形成經合併的結果列表的所述步驟包括使用所述合併模型來將每一結果的概率值確定(601)為所述結果將被用戶點擊的概率，並使用所述概率值來形成所述經合併的結果列表。
15.一種信息檢索系統，包括 被安排為接收查詢的輸入(1206)； 被安排為向多個源發出所述查詢的輸出；所述輸入被安排為從所述多個源中的每一個接收結果列表；將合併模型存儲在數據結構中的存儲器(1202)，所述數據結構包括描述經合併的結果列表呈現事件的多個加權事件變量；被安排為使用所述合併模型來從所接收的結果列表中形成經合併的結果列表的處理器(1201)；被安排為呈現所述經合併的結果列表的用戶界面(1205)；並且其中，所述處理器還被安排為觀察響應於所呈現的經合併的結果列表的用戶行為並使用所觀察到的用戶行為來更新所述合併模型。
全文摘要
例如在信息檢索系統向多個源發出查詢並獲得多個結果列表的情況下，需要合併搜索結果。在一種實施例中，在企業域處的搜尋引擎將查詢發送給企業搜尋引擎且也發送給公共網際網路搜尋引擎。在各實施例中，使用合併模型來合併從不同的源獲得的結果列表，該合併模型使用機器學習過程來學習，且例如在觀察到點進數據時更新。在各示例中，使用企業域中可用的用戶信息來影響合併過程以便改善結果的相關性。在一些示例中，將用戶信息用於查詢修改。在一種實施例中，用戶可以扮演所指定的組的用戶以便促進特定的結果。
文檔編號G06F17/30GK102449630SQ201080023853
公開日2012年5月9日 申請日期2010年5月27日 優先權日2009年5月27日
發明者F·拉德林斯基, M·J·泰勒, M·紹庫希 申請人:微軟公司