搜索結果的基於原型的重排名的製作方法
2023-04-27 02:24:41
搜索結果的基於原型的重排名的製作方法
【專利摘要】一種基於原型的重排名方法可以對搜索結果重排名以提供經重排名的搜索結果集合。響應於接收到一個或多個查詢，可生成搜索結果集合，由此搜索結果中的每一個可以與一排名位置相關聯。至少部分地基於這些搜索結果，可生成在視覺上表示該一個或多個查詢或這些搜索結果的一個或多個原型。該一個或多個原型可被用來構造一個或多個元重排名器，該元重排名器可生成搜索結果的重排名分數。重排名分數可被聚集以產生搜索結果集合中包括的每一搜索結果的最終相關分數。至少部分地基於每一搜索結果的相關性分數和/或習得的重排名模型，可以提供一組經重排名的搜索結果。
【專利說明】搜索結果的基於原型的重排名
[0001]背景
[0002]用戶利用網絡(諸如網際網路)搜索各種類型的信息已變得很常見。例如，利用計算設備，用戶可以向基於web的搜尋引擎提交對這樣的信息的查詢並且可隨後接收響應於該查詢的搜索結果。具體而言，假定用戶在搜索一個或多個圖像，基於web的搜尋引擎可檢索圖像並基於與在其中發現這些圖像的網頁相關聯的文本(例如，標題、實際內容、元數據等)進行排名。然而，返回給用戶的圖像可能不令用戶滿意和/或可能與對應的查詢不相關和/或沒有對該對應查詢作出響應。這可能由於所返回的圖像與對應於搜尋引擎所標識的網頁的文本之間的失配或缺乏相關性。因此，因為作為這樣的失配的結果，搜索結果的精確性可能受限，用戶可能經常接收到不相關的搜索結果，這會造成很差的用戶體驗。
【發明內容】
[0003]本文描述了用於至少部分地基於重排名模型來對搜索結果集合進行重排名的系統和過程。在各實施例中，可從用戶接收一個或多個查詢。作為響應，可生成搜索結果集合，其中搜索結果中的每一個可以與該搜索結果集合內的排名位置相關聯。至少部分地基於這些搜索結果，可生成在視覺上表示該一個或多個查詢和/或這些搜索結果的一個或多個原型。該一個或多個原型可被用來構造一個或多個元重排名器，該元重排名器可生成搜索結果中的每一個的重排名分數。重排名分數隨後可被聚集以產生搜索結果集合中包括的每一搜索結果的最終相關性分數。重排名模型也可至少部分地基於搜索結果來學習。至少部分地基於每一搜索結果的相關性分數和/或習得的重排名模型，可以提供經重排名的搜索結果的集合。
[0004]提供本概述是為了以簡化的形式介紹將在以下具體實施例中進一步描述的一些概念。本概述並不旨在標識所要求保護主題的關鍵特徵或必要特徵，也不旨在用於限制所要求保護主題的範圍。
【專利附圖】
【附圖說明】
[0005]參考附圖來闡明詳細描述，附圖中，附圖標記最左邊的數字標識該附圖標記首次出現的附圖。在相同不同附圖中使用同一附圖標記指示相似或相同的項或特徵。
[0006]圖1是示出包括用戶、計算設備、網絡和內容伺服器的示例系統的示圖。在這一系統中，搜索結果集合可被重排名並輸出給用戶。
[0007]圖2是示出用於響應於接收到查詢來生成經重排名的圖像的集合的示例系統的示圖。
[0008]圖3是示出用於至少部分地基於被確定為與查詢相關的圖像來構造一個或多個原型或元重排名器的系統的示圖。
[0009]圖4是示出用於通過迭代地將一個或多個圖像與元重排名器相關聯來構造一個或多個原型或元重排名器的系統的示圖。
[0010]圖5是示出至少部分地基於重排名模型對搜索結果集合進行重排名的示例過程的流程圖。
【具體實施方式】
[0011]本文描述了用於至少部分地基於受監督和/或無監督學習來對多個圖像進行重排名的系統和/或過程。在一些實施例中，本文描述的系統和過程可以學習可被用來對已響應於一個或多個查詢而返回的多個圖像進行重排名的重排名模型。更具體地，該重排名模型可以按受監督的方式來學習，通過該方式，初始基於文本的搜索結果的至少一部分被解釋為是相關的。此外，針對有限數量的代表性查詢而獲得的基於文本的搜索結果，可相對於它們與這些代表性查詢的相應相關性被手動地標記。
[0012]相對於響應於一個或多個查詢所返回的搜索結果集合，現有重排名過程可按各種方式來重排該集合中的前N個圖像。然而，這些過程往往假定該前N個圖像相對於該一個或多個查詢是均等地相關的。此外，因為被用來生成搜索結果集合的基於文本的搜尋引擎可能沒有生成完全相關於和/或響應於該一個或多個查詢的搜索結果，所以該搜尋引擎可能返回用戶不感興趣的圖像。作為結果，來自搜索結果集合的前N個圖像也可能不與該一個或多個查詢相關。這些不相關圖像的存在可能將噪聲引入到重排名模型的學習中，這可導致在對圖像進行重排名後返回非最優搜索結果。
[0013]在各實施例中，對於每一查詢，被確定為與查詢相關且被排名(在不同的排名位置)的圖像可具有與該查詢相關的不同概率。例如，被確定為相對於特定查詢排名第一的圖像可具有與被確定為同該排名第一的圖像相比排名較低(例如，第七)的圖像不同的與該查詢相關的概率。因此，為了基於它們與對應查詢的相應相關性來對圖像進行重排名，基於原型的過程可被用來至少部分地基於對學習模型的受監督和/或無監督學習，和/或至少部分地基於每一圖像可與它在初始搜索結果中的排名位置相關的相關性概率的概念來對圖像進行重排名。
[0014]至少部分地基於初始搜索結果中標識的圖像，可生成可在視覺上表示一個或多個查詢的視覺原型。視覺原型可以是任何類型的應用、模型、和/或模式，並且可被用來構造可產生初始搜索結果中包括的圖像的重排名分數的一個或多個元重排名器。元重排名器也可以是被配置成生成重排名分數的任何類型的應用、模型、和/或模式。此外，來自元重排名器中的每一個的重排名分數可利用重排名模型，如線性重排名模型，來被聚集，以產生每一圖像的最終相關性分數並定義每一圖像在經重排名的搜索結果集合中的位置。
[0015]在各示例實施例中，重排名模型可按受監督方式來學習，通過該方式可向不同的元重排名器分配適當的權重。因為習得的模型權重可與對應圖像的初始排名位置相關，而非與圖像本身相關，所以該重排名模型可以是查詢無關的並且可跨多個不同的查詢來應用。此外，重排名模型可按無監督方式來學習。具體而言，來自代表性查詢的各搜索結果(例如，圖像)的相關性可被手動確定並隨後被用來訓練重排名模型。在下文參考圖1-5描述根據各實施例的響應於一個或多個查詢提供經重排名的搜索結果集合的各示例。
[0016]圖1示出用於至少部分地基於習得的重排名模型對響應於一個或多個查詢的搜索結果進行重排名的系統100。更具體地，系統100可包括用戶102、計算設備104、網絡106、以及內容伺服器108。在各實施例中，計算設備104可包括一個或多個處理器110、存儲器112以及顯示器114。此外，內容伺服器108可包括一個或多個處理器116以及存儲器118,存儲器118可包括搜索模塊120、兀重排名器模塊122、學習模塊124以及重排名模塊126。
[0017]在各實施例中，用戶102可以利用計算設備104搜索、訪問、和/或審閱各種類型的信息(例如，文本、圖像等)。更具體而言，用戶102可以使用計算設備104提交一個或多個查詢以接收響應於這些查詢的信息。作為響應，搜尋引擎或其他機制可以返回可具有與先前提交的查詢的不同程度的相關性和/或響應性的搜索結果。在各示例實施例中，返回給用戶102的搜索結果可按它們與查詢的相應相關性的次序來排名。用戶可經由計算設備104的顯示器114來訪問和/或查看搜索結果。計算設備104的各組件將在下文更詳細地描述。
[0018]在一些實施例中，網絡106可以是本領域中已知的任何類型的網絡，如網際網路，並可包括多個相同或不同網絡。此外，計算設備104可以按任何方式，諸如通過有線和/或無線連接，來通信上耦合到網絡106。另外，網絡106可將計算設備104通信耦合到內容伺服器108，以使得用戶102可以利用計算設備104提交信息查詢，並且內容伺服器108可向計算設備104返迴響應於和/或相關於該查詢的搜索結果。
[0019]此外，內容伺服器108可以是本領域公知的任何類型的計算設備或伺服器，諸如web伺服器。內容伺服器108可以存儲和/或能訪問可被提供給計算設備104的各種類型的信息。在各個實施例中，這一信息可包括媒體內容(例如，視頻文件、音頻文件等)、文本數據、圖像、web文檔、和/或本領域中已知的任何其他類型的內容。此外，並且如圖1所示，內容伺服器108可包括處理器116和存儲器118，存儲器118可包括搜索模塊120、元重排名器模塊122、學習模塊124、以及重排名模塊126，這些模塊將在下文詳細地描述。
[0020]本文描述的技術和機制可以由計算設備104和/或內容伺服器108的多個實例來實現，以及由任何其他計算設備、系統、和/或環境來實現。圖1所示的計算設備104和內容伺服器只分別是計算設備和伺服器的一個示例，且並非旨在對用於執行上述過程和/或流程的任何計算設備或伺服器的使用範圍或功能提出任何限制。
[0021]就計算設備104而言，處理器110可以執行一個或多個模塊和/或過程來使得計算設備102執行各種功能。在某些實施例中，處理器110是中央處理單元(CPU)、圖形處理單元(GPU) XPU和GPU兩者、或本領域已知的其他處理單元或組件。此外，每個處理器110可擁有其自己的本地存儲器，這些本地存儲器還可存儲程序模塊、程序數據和/或一個或多個作業系統。計算設備104還可處理某種類型的組件，如通信接口，可允許計算設備104能夠與網絡106和/或諸如內容伺服器108之類的一個或多個設備通信和/或接口。
[0022]取決於計算設備104的確切配置和類型，存儲器114可以是易失性的(諸如RAM)、非易失性的(諸如ROM、快閃記憶體、微型硬碟驅動器、存儲卡等)或是其某種組合。存儲器114可以包括作業系統、一個或多個程序模塊，且可以包括程序數據。
[0023]計算設備104可具有附加特徵和/或功能。例如，計算設備104還可包括附加數據存儲設備(可移動和/或不可移動)，諸如，例如磁碟、光碟或磁帶。這種附加存儲可以包括可移動存儲和/或不可移動存儲。
[0024]計算設備104還可具有輸入設備，諸如鍵盤、滑鼠、筆、語音輸入設備、觸摸輸入設備等。還可包括輸出設備，諸如顯示器114、揚聲器、印表機等。在一些實施例中，用戶102可以利用上述特徵來與計算設備104、網絡106、和/或內容伺服器108進行交互。例如，計算設備104的輸入設備可被用來提交一個或多個查詢，而計算設備104的顯示器114可被用來訪問和/或查看響應於和/或相關於先前提交的查詢的搜索結果。
[0025]可以理解，計算設備104隻是合適的設備的一個示例，並不旨在對所述各實施方式的使用範圍或功能提出任何限制。適用於各實施例的其他公知的計算設備、系統、環境和/或配置包括但不限於，個人計算機、伺服器計算機、手持式或膝上型設備、多處理器系統、基於微處理器的系統、機頂盒、遊戲控制臺、可編程消費者電子產品、網絡PC、小型計算機、大型計算機、包括上述系統或設備中的任一個的分布式計算機環境。此外，上述設備中的任何設備或全部設備可至少部分地由使用現場可編程門陣列(FPGA)和專用集成電路(ASIC)等的實現來實現。
[0026]在其他實施例中，並且如上所述，內容伺服器108可以是被配置成向用戶102提供搜索結果的任何類型的伺服器。更具體地，內容伺服器108可被配置成接收查詢、生成響應於該查詢的搜索結果、學習重排名模型、和/或至少部分地基於該重排名模型向用戶102提供經重排名的搜索結果的集合。如上所述，內容伺服器108可包括一個或多個處理器116和存儲器118，它們可分別類似於或不同於計算設備104的處理器110和存儲器112。
[0027]在各實施例中，計算機可讀介質可包括至少兩種類型的計算機可讀介質，即計算機存儲介質和通信介質。計算機存儲介質可包括以用於存儲諸如計算機可讀指令、數據結構、程序模塊或其他數據等信息的任何方法或技術來實現的易失性和非易失性、可移動和不可移動介質。存儲器114和118、可移動存儲和不可移動存儲是計算機存儲介質的全部示例。計算機存儲介質包括但不限於，隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他存儲器技術、緊緻盤只讀存儲器(CD-ROM)、數字多功能盤(DVD)或其他光學存儲、磁帶盒、磁帶、磁碟存儲或其他磁存儲設備、或能用於存儲所需信息且可以由計算設備104和/或內容伺服器108訪問的任何其他非傳輸介質。任何這樣的計算機存儲介質都可以是計算設備104的一部分。而且，計算機可讀介質可包括在由處理器110和116執行時執行此處所描述的各種功能和/或操作的計算機可執行指令。
[0028]作為對比，通信介質可用諸如載波或其他傳輸機制等已調製數據信號來體現計算機可讀指令、數據結構、程序模塊或其他數據。如本文所定義的，計算機存儲介質不包括通信介質。在各種實施例中，存儲器112和118可以是計算機可讀介質的示例。
[0029]在一些實施例中，內容伺服器108的存儲器118可包括搜索模塊120。搜索模塊120可以從計算設備104的用戶102接收一個或多個查詢。該一個或多個查詢可涉及對特定類型的信息(例如，數據、圖像等等)的請求。響應於該一個或多個查詢，內容伺服器108的搜索模塊120可以搜索響應於和/或相關於該一個或多個查詢的信息。為了生成搜索結果集合，搜索模塊120可以確定特定信息是否相關於該一個或多個查詢。這一搜索結果集合隨後可由搜索模塊120至少部分地基於它們與該一個或多個查詢的相應相關性來排名，並且可任選地經由計算設備104被提供給用戶102。
[0030]在其他實施例中，元重排名器模塊122可至少部分地基於搜索結果集合內包括的圖像來生成可在視覺上表示查詢和/或搜索結果集合中的一個或多個的視覺原型。例如，元重排名器模塊122可以使用視覺原型來構造一個或多個元重排名器，一個或多個元重排名器被配置成產生初始結果集中包括的任何圖像的重排名分數。
[0031]此外，內容伺服器108的學習模塊124可以利用搜索結果和/或重排名分數來學習重排名模型。在一些實施例中，重排名模型可以按無監督和/或受監督方式來學習。出於本討論的目的，搜索結果的重排名被分類成無監督還是受監督可取決於已基於手動過程(例如，受監督)還是自動過程(例如，無監督)學習了重排名模型。更具體而言，無監督學習可不依賴於對相關數據(例如，圖像)的人類標記和/或手動標記。相反，無監督學習可以至少部分地基於與如何採用底層搜索結果集合中包含的信息來對該搜索結果集合進行重排名有關的先前假設。例如，無監督學習過程可包括利用搜索結果集合內的被確定為與查詢相關的搜索結果來學習重排名模型。此外，與每一搜索結果相關聯的排名位置也可被考慮。
[0032]另一方面，並且在其他實施例中，受監督學習可包括被用來對搜索結果集合進行重排名的人類幹預和/或手動過程。更具體而言，受監督學習可包括將搜索結果集合內的搜索結果手動地標記為與查詢相關，並隨後利用這些相關的搜索結果來學習重排名模型。隨後，習得的重排名模型可被用來對搜索結果集合進行重排名，並最終向用戶102提供這些經重排名的搜索結果。
[0033]此外，內容伺服器的重排名模塊126可以利用重排名模型和元重排名器模塊122所生成的重排名分數來對搜索結果集合進行重排名。作為結果，經重排名的圖像可以反映相對於先前提交的查詢的相關性的分等級次序，意味著排名第一的圖像被確定為最相關，排名第二的圖像被確定為第二最相關圖像，以此類推。經重排名的圖像的集合隨後可經由網絡106被提供給在計算設備104處的用戶102並由用戶102訪問。在一些實施例中，經重排名的圖像的集合可以反映最相關於和/或響應於用戶102所提交的查詢的信息(例如，圖像)的集合。用戶102可以訪問這一信息以標識用戶102可能感興趣的信息。在一些實施例中，經重排名的圖像的相關性和/或響應性可以至少部分地基於分配給每一經重排名的圖像的分數或其他度量。
[0034]搜索模塊120、兀排名器模塊122、學習模塊124、以及重排名模塊126將參考圖2-5更詳細地描述。
[0035]圖2示出了至少部分地基於受監督和/或無監督學習，響應於接收到一個或多個查詢來提供一組經重排名的數據的系統200。在一些實施例中，系統200可包括內容伺服器108，如參考圖1討論的。內容伺服器108可包括在線組件202和離線組件204。在各實施例中，在線組件202可以接收查詢206，並可包括搜索模塊120、一個或多個圖像208、元重排名器模塊126、重排名模型220、以及經重排名的圖像222的集合。此外，內容伺服器108的離線模塊204可包括相關性模塊224和學習模塊124。內容伺服器108，且更具體地是在線組件202，可接收來自計算設備104的用戶102的查詢206。在一些實施例中，查詢206可以表示用戶102同時地或在不同的時間提交的多個查詢。
[0036]在各實施例中，響應於接收到一個或多個查詢206，內容伺服器108可以標識據信相關於和/或響應於該一個或多個查詢206的搜索結果(例如，圖像)的集合。雖然該搜索結果集合內的數據可被排名，但每一搜索結果的排名可能沒有與它同該一個或多個查詢的實際相關性相對應。作為結果，內容伺服器108可以學習重排名模型220並利用重排名模型220來對搜索結果集合內的搜索結果進行重排名。因此，經重排名的搜索結果的集合可至少部分地基於它們與先前提交的查詢206的相應相關性和/或響應性來被排名。一旦被提供給計算設備104，用戶12就可以接收據信與用戶102的查詢206相關的相關數據(例如，圖像)。
[0037]更具體地，內容伺服器108的在線組件202可以經由網絡106接收來自計算設備104的查詢206。例如，操作計算設備104的用戶102可以提交請求諸如媒體內容、圖像、文本數據等特定類型的信息的查詢206。作為響應，用戶102可期望接收響應於和/或相關於查詢206的信息。一旦接收到查詢206，搜索模塊120就可以搜索這些信息並確定各信息是否相關於和/或響應於查詢206。在一些實施例中，搜索模塊120可以是任何類型的搜尋引擎和/或通信耦合到搜尋引擎。
[0038]至少部分地基於查詢206，搜索模塊120可以返回搜索結果的集合。在這些實施例中，搜索結果的集合可包括圖像208的集合(例如，5個圖像)。然而，搜索結果可包括任何類型的信息且不限於特定數量。在各實施例中，搜索模塊120所返回的圖像208可被確定為相關於和/或響應於查詢206，諸如通過利用搜尋引擎並對圖像208進行排名。在這些實施例中，離線組件204的相關性模塊224可被用來確定搜索模塊120所返回的圖像208的相關性。相關性模塊224可包括可被用來確定特定圖像208是否相關於查詢206的各種數據/信息和/或在先查詢-搜索結果對。查詢-搜索結果對可能已被形成作為用戶102和/或其他用戶提交的先前查詢206的結果。
[0039]在其他實施例中，基於初始搜索結果中包括的圖像208，可以生成可表示查詢206和/或圖像208的任何數量的原型(可能包括視覺原型)。此外，對於所生成的原型中的每一個，元重排名器模塊122可以構造元重排名器，如元重排名器210-218。元重排名器210-218的構造參考圖3和4更詳細地解釋。
[0040]在各實施例中，對於初始搜索結果中的前N個圖像208中的每一個(其中N可以是任何數)，元重排名器模塊122可以獲得或生成維度分數向量。在這些實施例中，維度分數向量可包括元重排名器210-218在被應用於特定圖像208時的分數。一旦為前N個圖像208中的每一個確定了維度分數向量，這些維度分數向量可被用作重排名模塊126的輸入。如下所示，重排名模型220可能已由離線組件204訓練或學習，並且因此可被配置成生成圖像208中的每一個的重排名分數。作為結果，重排名模塊126可以對圖像208進行重排名以示出經重排名的圖像222的集合。在各實施例中，重排名圖像222可被排序，以使得最相關和/或響應的圖像被呈現給用戶102。此外，經重排名的圖像222可以按分等級的次序來呈現，其中最相關的圖像208被首先呈現。
[0041]另外，內容伺服器108的離線組件204可以學習重排名模型220，使得重排名模塊126可以促進對圖像208的重排名。在某些實施例中，離線組件204的學習模塊124可以至少部分地基於手動地標記的訓練數據來學習重排名模型220。因為學習模塊124可被用來對搜索結果(例如，圖像)進行重排名，所以可以從搜索結果中構造訓練數據。例如，在各實施例中，相關性模塊224可以維護查詢日誌，該查詢日誌標識已被提交給內容伺服器108的查詢206以及已被確定為相關於和/或響應於這些查詢206的信息。為了學習重排名模型224，學習模塊124可以從相關性模塊224獲得和/或選擇一個或多個代表性查詢206。學習模塊124隨後可以利用這些代表性查詢206來從搜索模塊120檢索前N個圖像並下載這些圖像以供後續處理。如上所述，學習模塊124可以檢索任何數量的圖像。
[0042]因此，學習模塊124可以將特定圖像208與特定查詢206進行關聯(例如，查詢-圖像對)。此外，對於每一查詢-圖像對，每一圖像208與其對應的查詢206的相關性可被手動地標記。在一些實施例中，這可由操作某一類型的設備的個人來執行或者通過自動或半自動過程來執行。一旦查詢-圖像對已被做了相關性標記，則對於每一圖像208和對應的查詢206，學習模塊124就可以收集這一訓練數據並隨後計算來自元排名器210-218的分數向量，如以上參考在線組件202討論的。隨後，學習模塊124可以利用該分數向量來學習重排名模型220，該重排名模型隨後可被存儲在存儲器118中並由在線組件202用來對與用戶提交的查詢206相對應的圖像208進行重排名。
[0043]在各實施例中，重排名模型220可通過估計元重排名器模塊122所生成的(且具體地是由不同的元重排名器210-218生成的)組合分數(例如，分數向量)的權重來學習。更具體地，重排名模型220和/或重排名模塊126可以利用學習排名過程，由此元排名器模塊122所輸出的分數向量可被用作關於特定圖像208的排名特徵。在一些實施例中，重排名模塊220可由學習模塊124通過將排名分解成一組對級偏好，並通過利用一個或多個算法(如下式I)來學習:
【權利要求】
1.一種方法，包括: 在計算設備的一個或多個處理器的控制下: 接收一個或多個查詢； 響應於接收到所述一個 或多個查詢，生成搜索結果集合，由此所述搜索結果集合內的每一搜索結果基於與所述一個或多個查詢的相對相關性來被排名； 向所述搜索結果集合內的每一排名位置分配不同的權重； 至少部分地基於所分配的權重來學習重排名模型；以及 至少部分地基於所述重排名模型來對所述搜索結果進行重排名，以生成經重排名的搜索結果的集合。
2.如權利要求1所述的方法，其特徵在於，所述重排名模型是查詢無關的，從而使得所述重排名模型能夠跨多個查詢通用。
3.如權利要求1所述的方法，其特徵在於，還包括: 生成一個或多個原型，所述一個或多個原型在視覺上表示所述一個或多個查詢或所述搜索結果集合中包括的至少一個搜索結果中的至少一個；以及 將所述經重排名的搜索結果的集合輸出給提交所述一個或多個查詢的用戶。
4.如權利要求3所述的方法，其特徵在於，還包括利用所述一個或多個原型來構造至少一個元重排名器，每一元重排名器產生所述搜索結果集合中包括的搜索結果中的一個或多個的重排名分數。
5.如權利要求4所述的方法，其特徵在於，所述一個或多個原型中的至少一個是使用單-圖像過程通過將單個搜索結果與每一元重排名器進行相關來構造的。
6.如權利要求4所述的方法，其特徵在於，所述一個或多個原型中的至少一個是使用多-平均過程通過按降序將搜索結果的經重排名的集合內的搜索結果迭代地添加到每一元重排名器來構造的。
7.如權利要求4所述的方法，其特徵在於，所述一個或多個原型中的至少一個是使用多-集合過程通過按降序將搜索結果的經重排名的集合內的搜索結果迭代地添加到每一元重排名器來構造的，每一元重排名器是通過從所述至少一個原型和所選擇的負面樣本中學習分類器來構造的。
8.如權利要求4所述的方法，其特徵在於，還包括聚集所述元重排名器中的每一個所產生的重排名分數來生成所述搜索結果中的每一個的最終相關性分數，所述最終相關性分數被用來定義在所述經重排名的搜索結果的集合內每一搜索結果的排名位置。
9.如權利要求1所述的方法，其特徵在於，所述重排名模型是至少部分地基於以下來學習到的:自動選擇所述搜索結果的被確定為最相關於所述一個或多個查詢的至少一子集，或通過參考手動地應用於所述搜索結果的至少一子集的具有與所述一個或多個查詢的不同程度的相關性的標記。
10.一個或多個具有計算機可執行指令的計算機可讀介質，當所述計算機可執行指令被一個或多個處理器執行時，配置所述一個或多個處理器以執行包括以下的操作: 響應於一個或多個查詢返回圖像集合，每一圖像相對於彼此被排名； 生成在視覺上表示所述一個或多個查詢且被用來構造一個或多個元重排名器的一個或多個原型；以及至少部分地基於由所述一個或多個元重排名器所提供的重排名分數來對所述圖像進行重排名以生成經重排名的圖像的集合。
11.如權利要求9所述的一個或多個計算機可讀介質，其特徵在於: 每一圖像相對於所述一個或多個查詢的相關性概率表示在所述圖像集合中的對應排名位置；以及 所述一個或多個元重排名器是生成所述圖像中的每一個的重排名分數的應用、模塊、或模式，所述重排名分數被聚集以產生所述圖像中的每一個的最終相關性分數。
12.如權利要求11所述的一個或多個計算機可讀介質，其特徵在於，每一圖像的最終相關性分數定義在所述經重排名的圖像的集合中的排名位置。
13.如權利要求10所述的一個或多個計算機可讀介質，其特徵在於，所述經重排名的圖像的集合是至少部分地基於重排名 模型來生成的，所述重排名模型是至少部分地基於與所述一個或多個查詢的相應相關性以及所述圖像的手動地標記的子集的排名位置來從所述圖像子集學習的。
14.如權利要求10所述的一個或多個計算機可讀介質，其特徵在於，所述一個或多個元重排名器是通過將所述圖像中的不同一個與所述一個或多個原型進行關聯來構造的。
15.如權利要求10所述的一個或多個計算機可讀介質，其特徵在於，所述一個或多個原型是如下構造的:通過按降序將所述圖像與所述一個或多個元重排名器迭代地進行關聯，使得第一圖像與第一元重排名器相關聯，且所述第一圖像和第二圖像與第二元重排名器相關聯。
16.—種方法,包括: 在計算設備的一個或多個處理器的控制下: 接收各自請求一個或多個圖像的一個或多個查詢； 生成包括響應於所述一個或多個查詢的圖像的圖像集合，所述圖像集合的每一圖像至少部分地基於所述圖像的相對相關性與排名位置相關聯； 利用在視覺上表示所述一個或多個查詢的一個或多個原型來構造一個或多個元重排名器，所述一個或多個元重排名器產生所述圖像中的每一個的排名分數； 聚集與所述圖像相關聯的重排名分數以產生每一圖像的最終相關性分數；以及 至少部分地基於所述重排名模型和所述圖像的最終相關性分數來生成經重排名的圖像的集合。
17.如權利要求16所述的方法，其特徵在於，還包括至少部分地基於所述圖像集合中包括的查詢的至少一子集的排名位置來學習所述重排名模型。
18.如權利要求16所述的方法，其特徵在於，所述重排名模型向所述一個或多個元重排名器中的不同的各元重排名器分配不同的權重。
19.如權利要求16所述的方法，其特徵在於，還包括按無監督方式學習所述重排名模型，由此從所述圖像集合中包括的圖像中自動確定相關信息。
20.如權利要求16所述的方法，其特徵在於，還包括按受監督方式學習所述重排名模型，由此所述圖像集合中包括的圖像已至少部分地基於所確定的所述圖像相對於所述一個或多個查詢的相關性而被手動地標記。
【文檔編號】G06F17/30GK103975323SQ201180074951
【公開日】2014年8月6日 申請日期:2011年11月21日 優先權日:2011年11月21日
【發明者】L·楊 申請人:微軟公司