重排序和提高搜索結果的相關性的製作方法

2023-07-09 12:54:31 1

專利名稱：重排序和提高搜索結果的相關性的製作方法
技術領域：
本發明涉及重排序和提高網際網路搜索結果的相關性的技術，更具體地涉及使用概 念網絡(concept network)提高網際網路搜索結果的相關性並對結果進行重排序的技術。
背景技術：
隨著網際網路的出現和用戶可以通過全球資訊網(網絡)訪問的網頁和媒體內容的增 多，需要為用戶提供一種從網絡過濾和獲取所需信息的改進方法。已開發出了多種搜索系 統和程序來滿足用戶獲取所需信息的需求。通過Yahoo!、G00gle等網站可以接觸到這類 技術的實例。通常，用戶輸入查詢，搜索程序返回一個或多個與查詢相關的搜索結果(鏈 接)。返回的搜索結果可能與用戶實際上所要查找的內容非常相關或完全無關。搜索結果 與查詢的相關性部分地取決於實際輸入的查詢和所使用的搜索系統(基礎收集系統)的穩 健性。人類並不能自然地按照查詢的方式來思考。它們部分地是由查詢搜尋引擎和查找 圖書館目錄的需求強加給我們的。人類也不能自然地按照單個詞的方式來思考。人類是按 照自然概念的方式來進行思考的。搜索查詢通常包括定義一個或多個概念的幾個詞。通常，搜索查詢中的一些詞比 其它詞與定義概念更為相關。搜尋引擎無法獲知搜索查詢中的哪些詞與用戶的意圖最為相 關。結果，搜尋引擎常常會找到許多與用戶的意圖無關的搜索結果。搜尋引擎通常根據搜索結果與搜索查詢的相關性來對搜索結果進行排序。搜索查 詢經常包括多個會導致搜尋引擎返回無關的搜索結果的冗餘項。搜尋引擎經常會將這些無 關的搜索結果排列在搜索結果列表靠前的位置。因此，需要提出一種提高搜索結果與用戶的最初意圖的相關性的網際網路搜索方 法。

發明內容
本發明提供了一種提高網際網路搜索結果與用戶意圖的相關性的方法。本發明還提 供了一種通過確定搜索結果與搜索查詢中的單元、單元聯合、及單元擴展的關聯來對搜索 查詢的搜索結果進行重排序的方法。首先，將搜索查詢分解為多個獨立的單元。每個單元對應於一個或多個表示自然 概念的詞。聯合單元是同時出現在搜索查詢中、但不足夠相關以形成新單元的兩個或多個 單元。擴展單元是同時出現在搜索查詢中、並足夠相關以形成新單元的兩個或多個單元。本發明對概念網絡進行分析，以定位與搜索查詢中的單元相關的概念。概念網絡將彼此相關的概念連結起來。根據特定概念與查詢中的單元的關係，從概念網絡中選出特 定概念。根據一個實施例，基於概念在之前提交的搜索查詢中出現的頻繁程度從概念網絡 選出概念。從選自概念網絡的概念中選擇在之前的搜索查詢中出現頻率較高的概念。對從 概念網絡中選出的一個或多個相關概念執行單獨的網際網路搜索。將每次單獨搜索得到的搜索結果與搜索查詢進行比較，並根據它們與查詢的相關 性進行分類。可以基於搜索結果與最初的搜索查詢中的單元、聯合單元、及擴展單元的相關 性對搜索結果進行分類。通過下面的詳細描述和附圖，本發明的其它目的、特徵、和優點將變得顯而易見， 其中，貫穿所有的附圖，相同的參考標號表示相似的特徵。


圖IA是能夠實現本發明實施例的網際網路通信系統的示意圖；圖IB是能夠實現本發明實施例的網際網路搜索系統的示意圖；圖2是示出根據本發明實施例的提高網際網路搜索結果的相關性的方法的流程圖； 以及圖3A至3D示出了根據本發明的能夠用於處理搜索查詢的概念網絡的實例。
具體實施例方式圖IA示出了根據本發明實施例的包括客戶系統120的信息檢索和通信網絡100 的總體視圖。在計算機網絡100中，客戶系統120可以通過網際網路140或其它通信網絡(例 如，通過任意的LAN或WAN連接)與多個伺服器系統MO1至15(^通信。例如，客戶系統120 可以與搜索結果伺服器160通信。如本文所述，根據本發明的客戶系統120用於與伺服器 系統MO1至150n和160中的任意一個通信，以訪問、接收、檢索、以及顯示媒體內容和諸如 網頁和網站的其他信息。圖IA所示系統中的多個元件包括不必在這裡詳細說明的傳統公知元件。例如，客 戶系統120可以包括桌上型個人計算機、工作站、膝上型電腦、PDA、行動電話、或任何WAP使 能(WAP-enabled)裝置、或任何其它的能夠直接或間接地連接網際網路的計算裝置。客戶系 統120通常運行允許客戶系統120的用戶訪問、處理、及瀏覽其能夠通過網際網路140從服務 器系統1501至1501<獲取的信息和頁面的HTTP客戶程序，例如，微軟的Internet Explorer 瀏覽器、Netscape Navigator 瀏覽器、Mozilla 瀏覽器、Opera瀏覽器，或行動電話、PDA、 或其它無線裝置中的WAP使能瀏覽器等瀏覽程序。客戶系統120通常還包括一個或多個諸如鍵盤、滑鼠、觸控螢幕、筆等的用戶接口裝 置122，用於與由顯示器(例如，監視屏、LCD顯示器等)上的瀏覽器提供的圖形用戶界面 (GUI)、以及由伺服器系統ISO1至150n及其它伺服器提供的頁面、表格、及其它信息進行交 互。本發明適用於網際網路(稱為特定全球網際網路)。但是，應該理解，可以使用其它網絡來 代替網際網路或將其他網絡和網際網路一起使用，例如，內聯網、外聯網、虛擬專用網絡(VPN)、 非基於TCP/IP的網絡、以及任何LAN或WAN等。根據一個實施例，客戶系統120及其所有的組成部分都是能夠使用包括計算機代碼的應用程式進行配置的運算符。其中，可以使用諸如Intel Pentium 處理器、AMD Athlon 處理器等、或多個處理器的中央處理單元來運行計算機代碼。優選地，將用於操作 和配置本文中描述的用於通訊、處理、及顯示數據和媒體內容的客戶系統120的計算機代 碼下載並存儲在硬碟上，但是也可以將整個程序代碼或其多個部分存儲在任何公知的其它 易失性、或非易失性存儲介質或裝置(例如，ROM或RAM)中，或設置在其它任何可以存儲程 序代碼的介質(例如，壓縮磁碟(⑶)介質、數字多功能磁碟(DVD)介質、軟盤等)上。另外，可以使用任何公知的通信介質和協議(例如，TCP/IP、HTTP、HTTPS,乙太網 等)，通過公知的網際網路或其他傳統的網絡連接(例如，外聯網、VPN、LAN等)將整個程序 代碼或其多個部分從軟體源(例如，伺服器系統MO1至150n)傳送並下載至客戶系統120。 還應理解，用於實現本發明的多個方面的計算機代碼可以通過任何能夠在客戶系統上執行 的程序語言實現，例如，通過C、C+、HTML、XML、Java、JavaScript、任何scripting語言(例 如VBScript)實現。在一些實施例中，不向客戶系統120下載任何代碼，而是通過伺服器來 執行所需的代碼，或執行客戶系統120已經存在的代碼。根據一個實施例，在客戶系統120上執行的客戶應用程式(由模塊125表示)包 括用於控制客戶系統120及其組件與伺服器系統ISO1至150n和160進行通信以及處理和 顯示從伺服器系統接收到的數據內容的指令。另外，客戶應用程式模塊125包括用於處理 數據和媒體內容的各種軟體模塊。例如，應用程式模塊125可以包括一個或多個搜索模 塊126，用於處理搜索請求和搜索結果數據；用戶界面模塊127，用於以文本、數據幀、以及 活動窗口(例如，瀏覽器窗口和對話框)的形式呈現數據和媒體內容；以及應用程式接口模 塊128，用於與客戶系統120上執行的各種應用程式連接和通信。另外，界面模塊127可以 包括瀏覽器，例如，客戶系統120上設置的默認瀏覽器或其他瀏覽器。根據一個實施例，搜索結果伺服器160用於向客戶系統120提供搜索結果數據和 媒體內容，伺服器系統150用於(例如)響應於從伺服器系統160提供的搜索結果頁面中 選出的連結而向客戶系統120提供諸如網頁的數據和媒體內容。一個實施例中的伺服器系 統160涉及用於從全球資訊網收集信息和用於將一個或多個索引與(例如)一個或多個頁面以 及頁面的連結等連接起來的收集方法。該收集方法包括自動網頁爬蟲(web crawler)、蜘蛛 (spider)等，也包括手動或半自動的用於在分級結構中對網頁進行分類和排序的分類算法 和界面。在某些方面，伺服器160還配置有用於對網頁進行處理和排序的搜索相關算法，例 如，Google的PageRank算法。伺服器160還優選地用於以查詢日誌文件的形式記錄搜索 查詢。一方面，伺服器160用於響應於從客戶系統(特別是搜索模塊126)接收的各種搜 索請求而提供數據。伺服器系統150和160可以是單個組織的一部分，例如，Yahoo ！ Inc. 提供給用戶的分布式伺服器系統(distributed server system)，或者它們可以是完全不 同的組織的部分。伺服器系統150和伺服器系統160分別包括至少一個伺服器和相關的數 據庫系統，並且可以包括多個伺服器和相關的資料庫系統，並且雖然以單個框示出，但是在 地理上可以是分開的。例如，伺服器系統160的所有伺服器可以彼此緊鄰(例如，位於一個 單獨的建築物或校園內的伺服器區中)，或者可以彼此分布得很遠(例如，位於城市A中的 一個或多個伺服器以及位於城市B中的一個或多個伺服器)。本文中使用的術語「伺服器 系統」通常包括本地分布的或越過一個或多個地理位置的一個或多個邏輯上和/或物理上連接的伺服器。另外，術語「伺服器」通常包括本領域公知的計算機系統、相關的存儲系統、 以及資料庫應用程式。本文中的術語「伺服器」和「伺服器系統」可以交換使用。根據一個實施例，伺服器160包括響應於從容戶系統120接收的搜索查詢向用戶 提供搜索結果的算法。根據本發明的實施例，伺服器系統160用於提高從客戶系統120接 收的搜索查詢的相關性(以下將詳細討論)。圖IB示出了實現本發明實施例的網際網路搜索系統的視圖。將搜索查詢170傳送 至搜尋引擎175以啟動網際網路搜索(例如，網絡搜索)。搜尋引擎175從搜索語料庫(web corpus) 190定位匹配搜索查詢170的網絡內容。搜索語料庫190表示可以通過全球資訊網、互 聯網、內聯網、本地網、及廣域網訪問的內容。搜尋引擎175從搜索語料庫190檢索匹配搜索查詢170的內容，並將匹配的內容 (即，搜索結果)傳送至頁面彙編程序180。頁面彙編程序180根據搜索結果與搜索查詢的 相關性對搜索結果進行分類，並以便於向用戶顯示的順序對結果進行彙編。在搜索結果顯 示屏幕185中向用戶顯示最相關的搜索結果。本發明提供了提高網際網路搜索結果與用戶意圖的相關性的方法。圖2示出了根據 本發明實施例的方法的實例。應該理解，圖2所示的具體步驟並不用於限制本發明的範圍。 對圖2所示方法的各種修改都處於本發明的範圍之內。用戶可以通過輸入搜索查詢啟動網際網路搜索(例如，網絡搜索)。如圖2所示，本 發明的系統在步驟221接收來自用戶的搜索查詢。在步驟222，將搜索查詢分解成多個單兀。可以將搜索查詢分解為多個組成部分(稱作單元)。查詢處理引擎使用統計學方 法將搜索查詢分解為多個單元。單元是一個或多個詞的序列，通常對應於自然概念，如「紐 約市」或「捕食的鳥」。從搜索查詢生成概念單元的方法的進一步細節在未決的、共同轉讓 給(co-pending and commonly-assigned) Shyam Kapur 的、於 2003 年 11 月 12 臼提交的美 國專利申請10/713，576中討論，其內容結合於此作為參考。概念網絡是用於說明相關概念之間的關係的結構。搜索查詢中的每個單元都位於 概念網絡中。概念網絡用於識別與搜索查詢單元相關的概念。當搜索查詢單元已經位於概 念網絡中之後，在步驟223，選出與該單元相關的概念網絡中的概念。概念網絡可以使用許多方法來連接相關概念。根據本發明的一個實施例，概念網 絡對作為同義詞的概念、具有更具體意義的概念、具有更一般意義的概念、概念的具體實際 生活實例、以及發音類似於概念或使用一些相同詞的公知術語或名字進行連接。使用圖3A所示的實例，如果搜索查詢中的單元是摩天樓，則系統在概念網絡中定 位概念「摩天樓」並識別相關概念。圖3A示出了用於「摩天樓」的概念網絡的實例。在這 個概念網絡中，將概念「摩天樓」連接至諸如「建築」和「大廈」的更一般的術語。還將「摩 天樓」連接至相似的術語「高層建築」和摩天樓的著名實例「帝國大廈」。根據另一個實施例，分析先前提交的搜索查詢以確定概念網絡中的相關概念在先 前提交的搜索查詢中同時出現的頻繁程度。可以通過連接在先前提交的搜索查詢中同時出 現的概念來構建概念網絡。在步驟223，從概念網絡中選出在之前提交的搜索查詢中同時出 現最頻繁的相關概念。將所有之前提交的搜索查詢都存儲在存儲器中，用作分析。概念網絡可以基於同時出現在所有用戶提交的查詢中的概念。作為另一個實例，概念網絡或其任何部分可以是連接一個特定用戶(或一組用戶)提交的搜索查詢中同時出 現的概念的基於會話(session)的概念網絡。在步驟223，選出在之前提交的搜索查詢中同 時出現最頻繁的相關概念。圖3B示出了基於會話的概念網絡的實例。在圖3B中，由於特定用戶在過去已經 提交了將「美洲虎」連接至汽車相關概念的查詢，所以將主概念「美洲虎」連接至相關概念 「豪華汽車」、「XYZ汽車公司」、及「車賽」。不同的用戶(例如)可能提交了表示他對美洲虎 動物感興趣的在先查詢。對於該用戶，本發明創建將「美洲虎」連接至諸如貓、動物園、或狩 獵旅行的動物相關概念的不同概念網絡。根據本發明的另一個實施例，概念網絡可以將一個或多個用戶在特定時間內遞交 的先前查詢中同時出現最頻繁的概念連接起來。圖3C示出了時間限制概念網絡的實例。在 該實例中，將概念「JaneDoe」連接至相關概念「Jane Doe現場演出」、「Jane Doe音樂⑶」、 及「樂器音樂」。這些相關概念是在特定時間間隔內在先前的搜索查詢中與「Jone Doe」同 時出現最頻繁的概念。特定時間間隔可以是(例如)過去的24小時、過去的一周、或過去 的一個月。在圖3C的實例中，概念網絡是以基於在過去24小時中最流行的搜索查詢的與名 為Joe Doe的歌手相關的概念為基礎的。在接下來的24小時內，可以將包括「Jane Doe」的 最流行的搜索查詢與具有相同名字的政治家相關聯。圖3D示出了如何將用於「Jane Doe」 的概念網絡變為包括到相關概念「Jane Doe美國參議員」和「Doe立法提案權」的連接的概 念網絡。更新概念網絡，以使其包括在最近的具有單元「Jane Doe」的查詢中出現最頻繁的 概念。根據本發明的實施例，從概念網絡中選出最緊密相關的概念。最緊密相關的概念 可以是(例如)直接連接至概念網絡中的主概念的所有概念。其它概念可以通過直接連接 的概念之一間接連接至主概念。圖3C示出了通過「樂器音樂」連接的概念「Jane Doe」和 「小提琴」之間的間接連接的實例。圖3A至圖3D僅示出了連接概念網絡中的概念的關係的幾個實例。提供的這些實 例僅用於闡述的目的，而不用於限制本發明的範圍。概念網絡中的多個概念之間也可能存 在許多其它的關係。在步驟223執行的選擇處理可以基於任意標準。例如，可以在步驟223從概念網 絡中選出出現最頻繁的前5個相關概念。在另一個實例中，在步驟223選出出現最頻繁的 前50%或前25%的相關概念。根據本發明，可以使用許多其它的選擇方法。本文中討論的 實例用於闡述本發明的原理，而不用於限制本發明的範圍。在步驟224，對在步驟223選出的相關概念中的一個或多個執行獨立的網際網路搜 索(例如，網絡搜索)。例如，如果搜索查詢中存在4個單元，並且在步驟223為每個單元 選出了一個相關概念，則在步驟224執行4個獨立的網際網路搜索。根據一個實施例，如果在 步驟223選出了大量的相關概念，則只對這些概念的子集執行網際網路搜索。例如，如果在步 驟223選出了 20個概念，則只對與搜索查詢中的所有單元相關的前5個概念執行網際網路搜 索。搜尋引擎175可以對在步驟223選出的概念執行獨立的網際網路搜索。可以使用任 何公知的網際網路搜索方法(例如，使用Google或Yahoo ！搜索方法)執行網際網路搜索。
對搜尋引擎175在步驟224執行的單獨網際網路搜索中的每一個檢索單獨的搜索結 果組。搜尋引擎175通常根據搜索結果與每個相關概念的相關性來對每個網際網路搜索的搜 索結果進行分類。在步驟225，本發明對在步驟224執行的網際網路搜索中檢索到的搜索結果進行重 排序。可以將網際網路搜索中檢索到的搜索結果與對整個原始搜索查詢執行的網際網路搜索中 檢索到的搜索結果組合在一起。將每個搜索結果與原始搜索查詢中的單元、單元聯合、及單元擴展進行比較。基於 搜索結果與原始搜索查詢的相關性，為每個搜索結果分配層級或分數。通過對搜索結果和搜索查詢中的單元、聯合單元、及擴展單元進行比較，可以確定 搜索結果與原始搜索查詢的相關性。聯合單元是同時出現在搜索查詢中、但不足夠相關而 形成新單元的兩個或多個單元。擴展單元是同時出現在搜索查詢中、且足夠相關而形成新 單元的兩個或多個單元。分析搜索結果，以確定來自搜索查詢的單元、單元聯合、及單元擴展在搜索結果中 出現的頻率。基於單元、聯合單元、和/或擴展單元的實例在搜索結果中出現的頻率(或相 對頻率)，為搜索結果分配新的分數。給包括較多的單元、聯合單元、和/或擴展單元的實例 的搜索結果分配較高的分數。根據本發明的實施例，對在網際網路搜索中檢索到的搜索結果進行重排序。根據重 排序處理，將重排序分數分配給每個搜索結果。例如，可以通過將搜尋引擎175分配的原始 層級分數與基於搜索結果中的查詢單元、聯合單元、及擴展單元的頻率而計算出的新分數 相乘，來計算重排列分數。然後基於重排序分數對搜索結果進行分類。在步驟225中，給從某些類型的搜索查詢中接收的搜索結果分配較高的分數。例 如，可以對在導航查詢(navigational query)中檢索到的搜索結果分配高於在其它類型的 查詢中檢索到的搜索結果的層級。給導航查詢更高的分數是基於導航查詢通常能夠檢索到 更為相關的搜索結果的公識。一旦基於搜索結果與原始搜索查詢的相關性而為每個搜索結果分配了重排序分 數，則在步驟225根據從最高的重排序分數到最低的重排序分數的順序對搜索結果進行分 類。最高的重排序分數表示該內容與原始搜索查詢最為相關，最低的重排序分數表示該內 容與原始搜索查詢最不相關。本發明通過對與搜索查詢中的單元相關的概念匹配的內容進行定位，提高了在互 聯網搜索中檢索到的搜索結果的相關性。如上所述，從概念網絡中選出多個概念。然後，將 搜索結果與來自基於整個搜索查詢的標準網際網路搜索的搜索結果相結合，並根據搜索結果 與搜索查詢的相關性對搜索結果進行分類。通過使用概念網絡提高搜索結果的數量，使得至少一部分搜索結果很可能與搜索 查詢以及用戶意圖高度相關，而不論用戶意圖是什麼。因為基於搜索結果與查詢的相關性 來對搜索結果進行分類，所以最先顯示最相關的結果。使用這些方法，本發明能夠識別出大 量的相關搜索結果。儘管此處參考本發明的具體實施例來描述本發明，但是可以對本發明進行大量的 改變、變化、及替換。在一些實例中，在不偏離上述的本發明的範圍的條件下，可以不使用相 應特徵而實現本發明的一些特徵。因此，在不偏離本發明的實質範圍和精神的條件下，可以對本文中公開的具體配置和方法進行多種改變。本發明不限於所公開的具體實施例，而可 以包括所有落入權利要求範圍內的實施例和等價物。
權利要求
一種提高在搜索中檢索到的搜索結果的相關性的方法，所述方法包括識別搜索查詢中的一個或多個單元；選出概念網絡中的與所述搜索查詢中的所述一個或多個單元相關的一個或多個特定概念，其中所述概念網絡包括多個概念；其中，所述一個或多個特定概念少於所述概念網絡中的全部概念；基於所述一個或多個特定概念中的至少一個執行搜索，以檢索出多個搜索結果，其中，所述多個搜索結果中的每一個搜索結果都與排序有關；以及基於所述多個搜索結果與所述搜索查詢的相關性，對所述多個搜索結果進行分類。
2.根據權利要求1所述的方法，其中，選出所述概念網絡中的所述一個或多個特定概 念包括從所述概念網絡中選出相對於所述概念網絡中的其他概念而言，在在先提交的搜索查 詢中出現更為頻繁的一個或多個概念。
3.根據權利要求1所述的方法，其中，選出所述概念網絡中的所述一個或多個特定概 念包括從所述概念網絡中選出與所述一個或多個單元最為相關的預訂數目的概念。
4.根據權利要求1所述的方法，其中，選出所述概念網絡中的所述一個或多個特定概 念包括從所述概念網絡中選出直接連結至所述一個或多個單元的所有概念。
5.根據權利要求1所述的方法，其中，選出所述概念網絡中的所述一個或多個特定概 念包括從所述概念網絡中選出與所述一個或多個單元是同義詞的一個或多個特定概念。
6.根據權利要求1所述的方法，其中，選出所述概念網絡中的所述一個或多個特定概 念包括從所述概念網絡中選出直接連結至所述一個或多個單元的至少一個概念。
7.根據權利要求1所述的方法，其中，對在所述搜索中檢索到的所述多個搜索結果進 行重排序還包括基於所述搜索查詢中的所述一個或多個單元在所述多個搜索結果的各個搜索結果中 出現的頻繁程度，為所述多個搜索結果中的各個搜索結果分配重排序分數。
8.根據權利要求7所述的方法，其中，每個所述重排序分數包括對所述一個或多個概 念中的每個概念執行搜索的搜尋引擎所分配的層級分數的貢獻。
9.根據權利要求1所述的方法，其中，對在所述搜索中檢索到的所述多個搜索結果進 行重排序還包括基於所述搜索查詢中的一個或多個擴展單元在所述多個搜索結果的各個搜索結果中 出現的頻繁程度，為所述多個搜索結果中的各個搜索結果分配重排序分數。
10.根據權利要求9所述的方法，其中，對在所述搜索中檢索到的所述多個搜索結果進 行重排序還包括基於所述重排序分數的值，對所述搜索結果進行分類。
11.根據權利要求1所述的方法，其中，對在所述搜索中檢索到的所述多個搜索結果進 行重排序還包括為從導航查詢檢索到的搜索結果分配高於在其它類型的查詢中檢索到的搜索結果的層級。
全文摘要
本發明提出了一種用於重排序和提高網際網路搜索的結果的相關性的方法。首先將搜索查詢分解為多個獨立的單元。每個單元對應於一個或多個表示自然概念的詞。對概念網絡進行分析，以定位與搜索查詢中的單元相關的概念。從概念網絡選出特定概念。對每個選出的概念執行獨立的網際網路搜索。將從這些搜索得出的搜索結果與原始搜索查詢中的單元進行比較，並根據它們與原始搜索查詢的相關性對搜索結果進行分級。
文檔編號G06F17/30GK101882149SQ20101019047
公開日2010年11月10日 申請日期2006年3月10日 優先權日2005年3月10日
發明者吉格納舒·帕裡克, 希亞姆·卡普爾 申請人:雅虎公司