基於圖像和內容的元數據選擇與內容匹配的圖像的方法與流程

2023-10-08 18:24:39 2

本發明的實施方式總體涉及搜索內容。更具體地，本發明的實施方式涉及基於元數據實時搜索具有匹配圖像的內容。

背景技術：

大多數搜尋引擎通常在其操作期間通過運行於客戶端裝置上的瀏覽器來執行對網頁的搜索。搜尋引擎接收由用戶輸入的搜索詞，並檢索與搜索詞相關聯的網頁搜索結果列表。搜尋引擎基於某些標準將搜索結果顯示為搜索列表的一系列子集。在搜索操作期間使用的一般標準是：搜索詞是完整地還是部分地出現在給定網頁上、搜索字串出現在搜索結果中的次數、字母順序等。此外，用戶可以通過點擊滑鼠按鈕來決定打開連結從而打開和瀏覽。搜尋引擎可監控和收集用戶與搜索結果的一些互動和/或用戶信息，從而在以後提供更好的搜索。

通常，響應於搜索查詢而執行搜索以識別和檢索內容項目列表。隨後將內容項目回傳到搜索請求器。常規搜尋引擎將照原樣回傳大多數內容項目而不作修改。搜索結果中的一些內容項目僅僅是純文本或描述，其可認為是無吸引力的或無聊的。有時候，如果內容項目準備有與該內容項目有關的某些圖像，那麼搜索結果中的內容將更具有表現力或更具有吸引力。然而，將恰當的圖像與內容項目匹配是相當有挑戰性的。

技術實現要素：

本申請旨在提供一種響應於搜索查詢為內容項目選擇圖像的計算機實施方法及相應系統。

本申請的一方面提供了一種響應於搜索查詢為內容項目選擇圖像的計算機實施方法，所述方法包括：響應於在伺服器處從客戶端裝置接收的用於搜索內容的搜索查詢，由受所述伺服器託管的搜尋引擎在內容資料庫中或經由內容伺服器基於所述搜索查詢的一個或多個搜索詞進行搜索，以識別一個或多個內容項目的第一列表；由受所述伺服器託管的圖像選擇模塊在圖像存儲器中基於所述一個或多個搜索詞進行搜索，以識別一個或多個圖像的列表；由所述搜尋引擎將所述第一列表的每個內容項目與所述圖像中的一個整合，從而生成一個或多個內容項目的第二列表，所述一個或多個內容項目的第二列表具有整合在所述一個或多個內容項目的第二列表中的所述圖像的至少一部分；以及由所述搜尋引擎將內容項目的所述第二列表發送到所述客戶端裝置，使得所述第一列表的每個內容項目與所述圖像中的一個共同呈現。

本申請的另一方面提供了一種響應於搜索查詢為內容項目選擇圖像的裝置，所述裝置包括：搜索模塊，響應於從客戶端裝置接收的用於搜索內容的搜索查詢，在內容資料庫中或經由內容伺服器基於所述搜索查詢的一個或多個搜索詞進行搜索，以識別一個或多個內容項目的第一列表；以及圖像選擇模塊，在圖像存儲器中基於所述一個或多個搜索詞進行搜索，以識別一個或多個圖像的列表；其中，所述搜索模塊包括：整合單元，將所述第一列表的每個內容項目與所述圖像中的一個整合，從而生成一個或多個內容項目的第二列表，所述一個或多個內容項目的第二列表具有整合在所述一個或多個內容項目的第二列表中的所述圖像的至少一部分；以及發送單元，將內容項目的所述第二列表發送到所述客戶端裝置，使得所述第一列表的每個內容項目與所述圖像中的一個共同呈現。

本申請的另一方面提供了一種數據處理系統，該數據處理系統包括根據本申請的實施方式的響應於搜索查詢為內容項目選擇圖像的裝置。

附圖說明

本發明的實施方式在附圖的各圖中以示例而非限制的方式示出，附圖中的相同的附圖標記表示類似元件。

圖1a和圖1b是示出根據本發明一些實施方式的用於將圖像與內容項目匹配的系統配置的示例的框圖。

圖2是示出根據本發明一個實施方式的用於將圖像與內容項目匹配的系統的框圖。

圖3a到圖3b是根據本發明某些實施方式的查詢-圖像匹配表的示例。

圖4是示出根據本發明一個實施方式的用於將圖像與內容項目匹配的過程的流程圖。

圖5是示出根據本發明一個實施方式的用於將圖像與內容項目匹配的系統的示例的框圖。

圖6是根據本發明一個實施方式的用於生成查詢-圖像映射規則的處理流程。

圖7a到圖7b是示出根據本發明某些實施方式的映射數據結構的示例的圖。

圖8是示出根據本發明一個實施方式的用於生成查詢-圖像映射規則的過程的流程圖。

圖9是示出根據本發明另一個實施方式的查詢-圖像匹配系統的示例的框圖。

圖10是示出根據本發明一個實施方式的響應於搜索查詢將圖像與內容項目匹配的過程的處理流程圖。

圖11是根據本發明一個實施方式的響應於搜索查詢將圖像排序的過程的示例的圖。

圖12是示出根據本發明一個實施方式的基於關鍵詞將圖像與內容項目匹配的過程的流程圖。

圖13是示出根據本發明另一個實施方式的查詢-圖像匹配系統的示例的框圖。

圖14是示出根據本發明一個實施方式的用於確定匹配得分的計分矩陣的示例的框圖。

圖15是示出根據本發明另一個實施方式的用於將圖像與內容項目匹配的過程的流程圖。

圖16是示出根據一個實施方式的數據處理系統的框圖。

具體實施方式

以下將參考所討論的細節來描述本發明的各種實施方式和方面，附圖將示出各種實施方式。以下描述和附圖是對本發明的說明，而不應當解釋為限制本發明。描述了許多具體細節以提供對本發明的各種實施方式的全面理解。然而，在某些示例中，並未描述眾所周知的或常規的細節，從而提供了對本發明的實施方式的簡潔討論。

本說明書中對「一個實施方式」或「實施方式」的引用意味著結合該實施方式所描述的特定特徵、結構或特性可包括在本發明的至少一個實施方式中。在本說明書中各個位置出現的短語「在一個實施方式中」不必全部指代同一實施方式。

根據一些實施方式，為了提供有效的機制來將內容項目與圖像匹配，一組查詢-圖像(查詢/圖像)匹配規則(也稱為關鍵詞/圖像規則)被配置成將一組預定關鍵詞中的每一個關鍵詞映射到用於識別一個或多個圖像的一個或多個圖像標識符(id)。這組預定關鍵詞可被識別為更有可能在搜索查詢中用到的關鍵詞。可基於對用戶搜索活動或搜索歷史的分析或跟蹤來識別這種關鍵詞，可在一段時間內對這種關鍵詞進行編譯。

隨後，當從客戶端裝置接收到用於搜索內容的搜索查詢時，在內容資料庫中或經由內容伺服器執行搜索以檢索內容項目列表。另外，對查詢執行分析，以確定與所述查詢相關聯的一個或多個關鍵詞。所確定的關鍵詞可以是被包括在搜索查詢中的關鍵詞。所確定的關鍵詞還可包括語義上類似或具有最初在搜索查詢中的關鍵詞相同含義的某些關鍵詞(例如，同義詞或同義短語)。基於關鍵詞，使用一組查詢/圖像匹配規則來識別一個或多個圖像的列表。隨後，將所識別的圖像與所述內容項目中的至少一些合併。例如，可將圖像用作內容項目的背景圖像或補充圖像。隨後，將與圖像整合的內容項目作為搜索結果的一部分回傳到客戶端裝置。因此，搜索結果可呈現為更吸引人或不無聊。

根據本發明的一個方面，為了編譯這組查詢/圖像匹配規則，最初建構表示初始查詢/圖像匹配規則的第一查詢/圖像匹配表(也稱為初級查詢/圖像匹配表)。所述第一查詢/圖像匹配表包括多個匹配條目。每個匹配條目將關鍵詞映射到用於識別一個或多個圖像的一個或多個圖像id，其中，圖像已被預先收集，例如已預先使用圖像收集系統(例如，圖像網絡爬蟲)來收集所述圖像。隨後，對第一查詢/圖像表中的每一個匹配條目的關鍵詞執行第一分析，以識別與所述匹配條目的所述關鍵詞有關或語義上類似的一個或多個附加關鍵詞(也稱為擴展關鍵詞)。

針對每一個附加關鍵詞，創建附加的匹配條目(也稱為擴展匹配條目)以將所述附加關鍵詞映射到對應原始關鍵詞的同一組的一個或多個圖像，從而生成第二查詢/圖像匹配表(也稱為擴展查詢/圖像匹配表)。針對第二查詢/圖像表中所添加的每一個附加或擴展匹配條目，執行第二分析以依據與圖像和/或關鍵詞相關聯的元數據來過濾或識別對應關鍵詞並未充分描述圖像或與圖像無關的任何圖像。隨後，從附加的匹配條目移除所識別的一個或多個圖像以生成第三查詢/圖像匹配表(也稱為最終查詢匹配表)。如果在過濾過程之後沒有與關鍵詞相關聯的圖像，那麼可移除所述特定的附加或擴展條目。隨後，在運行時間利用第三查詢/圖像匹配表，以基於與搜索查詢相關聯的一個或多個關鍵詞將圖像與響應於搜索查詢所發現的內容項目匹配和合併。

根據本發明的另一個方面，響應於從客戶端裝置接收的、用於搜索內容的搜索查詢，分析所述搜索查詢以確定一個或多個第一關鍵詞。在圖像-關鍵詞(圖像/關鍵詞)匹配表或數據結構中基於第一關鍵詞執行搜索或查找操作。查詢/圖像映射表包括多個條目，且每個條目將用於識別圖像的圖像id映射到一個或多個第二關鍵詞。針對在圖像/關鍵詞映射表中所識別的圖像中的每一個，執行排序過程以確定第一關鍵詞與第二關鍵詞之間的匹配程度。隨後，基於匹配程度將圖像/關鍵詞映射表中所識別的圖像排序或分類。每一種匹配程度可預先指派有加權因子。因此，第一關鍵詞與第二關鍵詞的匹配程度是在預定類別內，指派對應的一個加權因子。出於分類或排序的目的，可在最後計算表示匹配程度的匹配得分。可將具有高於預定閾值的匹配程度的經分類或排序的圖像用作候選圖像，從而指派從內容資料庫或內容伺服器檢索的內容項目和/或與該內容項目整合。

根據本發明的另一個方面，響應於具有一個或多個搜索詞的搜索查詢，在內容資料庫或內容伺服器中實施第一搜索，以識別和檢索與所述一個或多個搜索詞有關的第一內容項目的列表。在圖像存儲器或圖像伺服器中執行第二搜索，以識別和檢索與所述搜索詞有關的一個或多個圖像的列表。針對通過第二搜索識別的每一個圖像，基於內容項目的上下文及與圖像相關聯的元數據，計算圖像與每一個第一內容項目之間的匹配得分。針對每一個第一內容項目，隨後基於圖像與對應內容項目之間的匹配得分將圖像排序。隨後，從被排序的圖像的列表選擇其中一個圖像來與所述內容項目相關聯。將所選擇的圖像與相關聯的內容項目合併(例如，作為背景圖像)。因此，生成了具有與第一內容項目的至少一部分合併的圖像的至少一部分的第二內容項目的列表，且所述第二內容項目的列表被回傳到客戶端裝置。

圖1a和圖1b是示出根據本發明的一些實施方式的用於將圖像與內容項目匹配的系統配置的示例的框圖。參考圖1a，系統100包括但不限於通過網絡103通信地聯接到伺服器104的一個或多個客戶端裝置101-102。客戶端裝置101-102可以是任何類型的客戶端裝置，諸如，個人計算機(例如，臺式計算機、膝上型計算機和平板計算機)、「薄」客戶端、個人數字助理(pda)、能聯網的電器、智能手錶或行動電話(例如，智慧型手機)等。可替代地，相對於作為後臺伺服器或應用伺服器的伺服器104，客戶端裝置101-102可以是前臺系統或前臺伺服器。網絡103可以是任何類型的網絡，諸如有線或無線的區域網(lan)、諸如網際網路的廣域網(wan)或其組合。

伺服器104可以是任何種類的伺服器或伺服器集群，諸如網絡或雲伺服器、應用伺服器、後臺伺服器或其組合。在一個實施方式中，伺服器104包括但不限於搜尋引擎120、圖像選擇模塊110和查詢/圖像匹配規則115。伺服器104還包括允許客戶端(諸如，客戶端裝置101-102)訪問由伺服器104提供的資源或服務的接口(未示出)。接口可包括網絡接口、應用編程接口(api)和/或命令行接口(cli)。

例如，客戶端(在這個示例中為客戶端裝置101的用戶應用(例如，網絡瀏覽器、移動應用、或前臺伺服器/前臺系統的搜索功能軟體))可向伺服器104發送搜索查詢，搜尋引擎120通過網絡103經由接口來接收搜索查詢。響應於搜索查詢，搜尋引擎120從搜索查詢中提取一個或多個關鍵詞(也稱為搜索詞)。搜尋引擎120在內容資料庫133中執行搜索以識別與關鍵詞有關的內容項目列表，內容資料庫133可包括主要內容資料庫130和/或輔助內容資料庫131。主要內容資料庫130(也稱為主內容資料庫)可以是一般內容資料庫，而輔助內容資料庫131(也稱為二級內容資料庫或附屬內容資料庫)可以是特殊內容資料庫。搜尋引擎120向客戶端裝置101回傳具有列表中的至少一些內容項目的搜索結果頁面，從而在客戶端裝置101中呈現。搜尋引擎120可以是可從百度公司獲取的搜尋引擎，或可替代地，搜尋引擎120可表示搜尋引擎、microsoftbingtm搜尋引擎、搜尋引擎或一些其它搜尋引擎。

搜尋引擎(諸如，網絡搜尋引擎)是被設計成在全球資訊網上搜索信息的軟體系統。搜索結果通常以一系列結果(通常稱為搜尋引擎結果頁面)的形式呈現。信息可以是網頁、圖像和其它類型的文件的混合。一些搜尋引擎還挖掘資料庫或開放式目錄中可用的數據。不同於僅通過人工編輯來維護的網絡目錄，搜尋引擎還通過在網絡爬蟲(webcrawler)上運行算法來維護實時信息。

網絡搜尋引擎通過存儲與許多網頁相關的信息來工作，這些信息是網絡搜尋引擎從頁面的超文本標記語言(html)標記中檢索的。這些頁面通過網絡爬蟲來檢索，網絡爬蟲是抓取網站上的每個連結的自動化網絡爬蟲。隨後搜尋引擎分析每個頁面的內容以確定該頁面應如何被索引(例如，可以從標題、頁面內容、標頭或稱為元標籤的特殊欄位來提取詞語)。將與網頁相關的數據存儲在索引資料庫中，以供在稍後的查詢中使用。索引幫助儘可能快地找到與查詢有關的信息。

當用戶將查詢輸入到搜尋引擎中時(通常是通過使用關鍵詞)，引擎檢查其索引並根據其標準提供最佳匹配網頁的列表，該列表通常具有簡短概述，該概述包含文檔標題以及有時包含部分文本。索引是由與數據一起存儲的信息及信息的索引方法建構而成。搜尋引擎查找與輸入完全一致的詞語或短語。一些搜尋引擎提供稱為近鄰搜索的高級特徵，其允許用戶定義關鍵詞之間的距離。還存在基於概念的搜索，其中搜索涉及在包含所搜索的詞語或短語的頁面上使用統計分析。另外，自然語言查詢允許用戶按照與向人詢問問題的形式相同的形式來輸入問題。

搜尋引擎的有用性取決於其所回饋的結果集的相關性。雖然包括特定詞語或短語的網頁可能有數百萬個，但一些頁面可能比其它頁面更相關、更受人歡迎或更有權威。大多數搜尋引擎採用一些方法來對結果排序從而首先提供「最佳」結果。搜尋引擎如何決定哪些頁面是最佳匹配以及應按什麼順序來示出結果隨著引擎的不同而有很大的不同。

返回參考圖1a，根據一個實施方式，響應於在伺服器104處從客戶端裝置(在這個示例中為客戶端裝置101)接收的搜索查詢，搜尋引擎120在內容資料庫133(諸如，主要內容資料庫130和/或輔助內容資料庫131)中執行搜索，從而生成內容項目列表(稱作第一內容項目)。可經由統一資源連結(url)和/或統一資源標識符(uri)使每一個內容項目與特定內容提供者的特定網站的特定網頁相關聯。在一個實施方式中，主要內容資料庫130存儲已由網絡爬蟲收集的一般內容項目(例如，非贊助內容)。輔助內容資料庫131存儲與特定、已知或預定的內容提供者相關聯的特定或特殊內容項目(例如，贊助內容)。可替代地，在不區分主要內容資料庫131與輔助內容資料庫132的情況下，可將內容資料庫133實施為單個資料庫。

網絡爬蟲(networkcrawler或webcrawler)是自動遍歷網絡超文本結構的程序。在實際應用中，網絡爬蟲可運行於獨立的計算機或伺服器上，計算機或伺服器中的每一個被配置成執行從url下載文檔的一個或多個進程或線程。網絡爬蟲接收所指派的url，並在那些url處下載文檔。網絡爬蟲還可檢索被已檢索的文檔引用的文檔，以供由內容處理系統(未示出)和/或搜尋引擎120處理。網絡爬蟲可以使用各種協議來下載與url相關聯的頁面，諸如超文本傳輸協議(http)和文件傳送協議(ftp)。

另外，根據一個實施方式，圖像選擇模塊110在查詢/圖像匹配規則115中基於與搜索查詢相關聯的關鍵詞進行搜索，以識別圖像或圖像id的列表，所述圖像id用於識別與所述關鍵詞有關的圖像。查詢/圖像匹配規則115可以以多種數據結構(諸如，表或資料庫)實施。基於圖像id，可以從存儲在圖像存儲器125中的圖像122中識別和檢索候選圖像的列表，其中圖像存儲器125還可存儲描述圖像122的圖像元數據124。如上所述，可通過一個或多個圖像爬蟲來獲得圖像122及其相應的元數據124，所述圖像爬蟲被設計成在網絡上爬行以收集圖像以及其周圍的元數據。圖像122可以是不受保護的、無版權的、被恰當許可的圖像，或可以是任何其它授權的圖像。可基於關鍵詞與候選圖像之間的相關度得分或匹配程度將候選圖像排序，所述相關度得分或匹配程度可依據圖像元數據124來確定。針對在內容資料庫133中所發現的每一個內容項目，從候選圖像的列表選擇一個圖像來與所述內容項目相關聯。所選擇的圖像可與所述內容項目合併以生成合併的內容項目。例如，所選擇的圖像可充當所述內容項目的背景圖像或補充圖像。合併的內容項目和圖像的列表作為搜索結果的一部分被回傳到客戶端裝置101。

根據一個實施方式，可在接收搜索查詢之前預先編譯和生成查詢/圖像匹配規則115(例如，離線)。一組查詢/圖像匹配規則115被配置成將一組預定關鍵詞中的每一個映射到用於識別一個或多個圖像的一個或多個圖像id。這組預定關鍵詞可被識別為在搜索查詢中更有可能用到的關鍵詞。可基於對用戶搜索活動或搜索歷史的分析或跟蹤來識別這種關鍵詞，可在一段時間內對這種關鍵詞進行編譯。

隨後，當搜尋引擎120從客戶端裝置接收到搜索內容的搜索查詢時，在內容資料庫133中執行搜索以檢索內容項目列表。另外，例如由圖像選擇模塊110對查詢執行分析，以確定與所述查詢相關聯的一個或多個關鍵詞。所確定的關鍵詞可以是被包括在搜索查詢中的關鍵詞。所確定的關鍵詞還可包括語義上類似或具有最初在搜索查詢中的關鍵詞相同含義的某些關鍵詞(例如，同義詞或同義短語)。基於關鍵詞，使用一組查詢/圖像匹配規則115識別來自於圖像存儲器125的一個或多個圖像的列表。隨後，將所識別的圖像與所述內容項目中的至少一些合併。例如，可將圖像用作內容項目的背景圖像。隨後，將與圖像整合的內容項目作為搜索結果的一部分回傳到客戶端裝置。因此，搜索結果可呈現為更具有吸引力或不無聊。

應注意，已僅出於說明性的目的描述了伺服器104的配置。其它架構或配置也可適用。例如，如圖1b中所示，內容資料庫133可通過網絡被維護和託管在作為內容伺服器的獨立伺服器中。類似地，圖像存儲器125可被維護和託管在作為圖像伺服器的獨立伺服器中。伺服器133和125可以是網絡伺服器、應用伺服器或後臺伺服器。可由與伺服器104相同的實體或組織來組織和提供內容伺服器133和/或圖像伺服器125。可替代地，可由獨立的實體或組織(例如，第三方提供者)來維護或託管內容伺服器133和/或圖像伺服器125，所述實體或組織負責收集內容資料庫130-131中的內容和圖像122及其元數據124。此外，可將圖像選擇模塊110實施為獨立系統，例如實施為經由api或通過網絡通信地聯接到伺服器104的圖像選擇系統或伺服器。

圖2是示出根據本發明一個實施方式的用於將圖像與內容項目匹配的系統的框圖。系統200可實施為圖1a到圖1b的系統100的一部分。參考圖2，當從客戶端裝置(例如，圖1的客戶端裝置101)接收搜索查詢201時，搜尋引擎120在內容資料庫或內容伺服器133中執行第一搜索，以基於與搜索查詢201相關聯的一個或多個關鍵詞或搜索詞來識別和檢索內容項目的第一列表(例如，第一內容項目)。另外，搜尋引擎120與圖像選擇模塊110通信，以使用一組查詢/圖像匹配規則115基於與搜索查詢201相關聯的關鍵詞從圖像存儲器或圖像伺服器125中識別圖像的列表。搜尋引擎120和/或圖像選擇模塊110可對查詢執行分析，以導出被包括在搜索查詢201中的關鍵詞和/或與搜索查詢201中的關鍵詞類似的關鍵詞(例如，語義上類似的詞、同義詞)的列表。可針對擴展關鍵詞的列表執行在內容資料庫/伺服器133和/或圖像存儲器/伺服器125中所執行的搜索。

在一個實施方式中，圖像選擇模塊110和/或查詢/圖像匹配規則115可與搜尋引擎120整合。可預先例如通過查詢/圖像映射系統220來配置或編譯查詢/圖像匹配規則115。查詢/圖像映射系統220可被託管在經由api或通過網絡通信地聯接到系統200的獨立伺服器中。查詢/圖像映射系統220可包括允許用戶或管理員配置一組查詢/圖像匹配規則的用戶接口，這組查詢/圖像匹配規則可隨後由處理邏輯使用預定算法來加以擴展和排序。以下還將描述查詢/圖像映射系統220的另外的細節。

類似地，可由圖像收集系統230來收集存儲在圖像存儲器/伺服器125中的圖像，所述圖像收集系統230可以是通過網絡通信地聯接到系統200的獨立伺服器。可由與系統200相同或不同的實體或組織來運行查詢/圖像映射系統220和/或圖像收集系統230。在這個示例中，可將圖像緩存和存儲在相對於系統200而言為本地(例如，針對伺服器104而言為本地)的圖像存儲器中。可替代地，可由與圖像收集系統230相關聯的指定伺服器來保存圖像，圖像選擇模塊110經由應用編程接口(api)與所述指定伺服器通信以識別和檢索圖像的列表。

基於從圖像存儲器/伺服器125檢索的圖像的列表，圖像選擇模塊110根據排序算法將圖像排序。接著將一些圖像與從內容資料庫/伺服器133識別和檢索的一些內容項目匹配。隨後，將匹配的內容項目與圖像整合到整合的內容項目中。在一個實施方式中，可將圖像選擇為內容項目的背景圖像或補充圖像。例如，內容項目211可以是描述或文本，而圖像212可被選擇為內容項目211的背景圖像。以適當的方式，基於本說明書全文中所描述的匹配技術來選擇圖像212以補充或描述內容項目211，或用內容項目211補充或描述圖像212。例如，內容項目211的內容與如圖像212中所示的內容有關，反之亦然。可將整合的圖像212與內容項目211作為搜索結果215的一部分回傳到客戶端裝置。

應注意，內容資料庫/伺服器133可包括主要內容資料庫130和輔助內容資料庫131。主要內容資料庫130也可實施或維護在獨立的內容伺服器(稱為主要內容伺服器)中。類似地，輔助內容資料庫131可實施或維護在獨立的內容伺服器(稱為輔助內容伺服器)中。可使用將在下文中進一步詳細描述的多種匹配公式將從兩個內容資料庫130-131獲得的內容項目與從圖像存儲器/伺服器125獲得的圖像匹配。可替代地，可僅將從主要內容資料庫130和輔助內容資料庫131中的一者獲得的內容項目與從圖像存儲器/伺服器125獲得的圖像匹配。例如，可將從輔助內容資料庫131獲得的內容項目(例如，贊助內容)與從圖像存儲器/伺服器125獲得的圖像匹配，而從主要內容資料庫130獲得的內容項目(例如，一般內容)將作為搜索結果215的一部分被回傳到客戶端裝置而不作修改。

根據一個實施方式，響應於從客戶端裝置接收的搜索查詢201，基於搜索查詢201來確定一個或多個關鍵詞，其中所述關鍵詞可包括搜索查詢201中的那些關鍵詞或基於對搜索查詢201的分析而擴展的那些關鍵詞。基於所述關鍵詞，在查詢/圖像匹配規則115中執行查找操作或搜索，所述查詢/圖像匹配規則115可以以多種數據結構(諸如，資料庫或表)實施。出於說明性的目的，將查詢/圖像匹配規則115稱為查詢/圖像匹配表。

查詢/圖像匹配表115包括許多匹配條目。每個匹配條目將一個或多個關鍵詞映射到一個或多個圖像id，所述圖像id用於識別存儲在圖像存儲器/伺服器125中的一個或多個圖像。基於以搜索查詢201為基礎獲得的關鍵詞，可從查詢/圖像匹配表115獲得一個或多個圖像id的列表。基於所述圖像id，從圖像存儲器/伺服器125獲得作為候選圖像的對應圖像。隨後，使用將在下文中進一步詳細描述的一個或多個預定排序和/或匹配算法，對候選圖像進行排序和匹配。隨後，可選擇排在前列的圖像來與內容項目相關聯以整合為搜索結果215的一部分。應注意，如圖2中所示的部件或模塊中的一些或全部可以以軟體、硬體或其組合來實施。

圖3a到圖3b是根據本發明某些實施方式的查詢-圖像匹配表的示例。參考圖3a，查詢/圖像匹配表300可表示如上所述的圖1a到圖1b和圖2的查詢/圖像匹配規則115。在一個實施方式中，查詢/圖像匹配表300包括許多匹配條目。每一個匹配條目將一個或多個關鍵詞301映射到一個或多個圖像id302，其中圖像id302用於識別圖像存儲器或圖像伺服器(諸如，圖像存儲器/伺服器125)中的對應圖像。基於關鍵詞對匹配表300進行索引。在這個示例中，第一條目將詞「花朵」映射到圖像1-5。第二條目將詞「北京花朵」僅映射到圖像1。第三條目將詞「上海花朵」映射到圖像2。第四條目將詞「花朵遞送」映射到圖像1-2和4。因此，如果搜索查詢包含「北京花朵」，那麼可識別圖像1-5。然而，圖像1可具有更高排序。

現參考圖3b，其是匹配表的可替代實施方式的示例，這個匹配表是可被用作查詢/圖像匹配規則115的一部分的圖像-關鍵詞(圖像/關鍵詞)匹配表。在這個示例中，圖像/關鍵詞匹配表350包括許多匹配條目。每個匹配條目將圖像id351映射到一個或多個關鍵詞352。基於圖像id對匹配表350進行索引。可互換地利用兩個表300和350。例如，表300可用來識別與一個或多個關鍵詞有關的所有圖像。針對經由表300所識別的每一個圖像，確定關鍵詞352與搜索查詢中的關鍵詞之間的匹配程度，以將由圖像id351所識別的圖像排序。例如，可基於搜索查詢匹配關鍵詞352中的關鍵詞的數目來計算排序得分。如果搜索查詢中的關鍵詞與欄位352中的那些關鍵詞精確匹配，那麼欄位351中所識別的對應圖像將具有最高匹配程度或匹配得分。搜索查詢與欄位352之間的匹配關鍵詞越少，導致匹配程度或匹配得分越低。語義上匹配的關鍵詞(例如，實際不匹配，但為同義詞或具有相同或類似含義的詞語)可具有最低匹配程度或匹配得分。

圖4是示出根據本發明一個實施方式的用於將圖像與內容項目匹配的過程的流程圖。可由處理邏輯來執行過程400，所述處理邏輯可包括軟體、硬體或其組合。例如，可由圖1a到圖1b的伺服器104或圖2的系統200來執行過程400。參考圖4，在框401處，處理邏輯從客戶端裝置接收用於搜索內容的搜索查詢。搜索查詢包括一個或多個關鍵詞或搜索詞。響應於搜索查詢，在框402處，處理邏輯在內容資料庫中或經由內容伺服器進行搜索，以基於關鍵詞來識別一個或多個內容項目的列表。在框403處，處理邏輯在圖像存儲器中或經由圖像伺服器進行搜索，以基於關鍵詞來識別一個或多個圖像的列表。在框404處，處理邏輯可選地基於排序公式來將所述內容項目中的至少一些與所述圖像中的至少一些匹配。在框405處，處理邏輯將所述內容項目中的至少一些與匹配圖像整合(例如，作為背景圖像)，以生成搜索結果。在框406處，將搜索結果發送到客戶端裝置。

圖5是示出根據本發明一個實施方式的用於將圖像與內容項目匹配的系統的示例的框圖。系統500可實施為圖2的系統200的一部分。參考圖5，系統500包括但不限於查詢/圖像映射系統220、圖像存儲器501和查詢/圖像匹配規則502(也稱為關鍵詞/圖像匹配規則)。在一個實施方式中，利用查詢/圖像映射系統200來配置和生成一組查詢/圖像匹配規則502以將某些關鍵詞映射到存儲在圖像存儲器501中的圖像。

圖像存儲器501可通過網絡以本地或遠程的方式被維護在指定的伺服器中。圖像存儲器501可表示圖1a到圖1b的圖像存儲器/伺服器125。用於在查詢/圖像匹配規則中進行映射的關鍵詞可以是在搜索查詢中更有可能用到的關鍵詞。圖像存儲器501存儲圖像511及其相應的元數據512。查詢/圖像匹配規則502包括初級映射規則521、可選的擴展映射規則522和最終映射規則523。可以如上所述的映射或匹配表的形式來實施這些規則521-523。最終映射規則523可用作圖1a到圖1b的查詢/圖像匹配規則115的一部分。

在一個實施方式中，查詢/圖像映射系統220包括匹配規則配置模塊531、數據收集模塊532、分析模塊533、過濾和匹配模塊534及一組過濾/排序規則535。模塊531-534可以以軟體、硬體或其組合來實施。在一個實施方式中，可利用配置模塊531以例如響應於經由用戶接口的用戶請求來配置初級映射規則521。初級映射規則521(在這個示例中為初級映射表521)包括許多映射條目。每個映射條目將關鍵詞映射到一個或多個圖像id，所述圖像id用於識別存儲在圖像存儲器501中的圖像511中的一個或多個。可由數據收集模塊532周期性地收集並更新圖像511和元數據512。數據收集模塊532可採用一些網絡爬蟲來爬取和收集圖像及其周圍的信息或元數據512。

在一個實施方式中，用戶或管理員可經由配置接口(例如，網絡接口)來配置初級映射表521。基於初級映射表521，分析模塊533對關鍵詞與圖像之間的初級映射執行分析，以創建一個或多個附加或擴展映射條目。生成擴展映射規則或擴展映射表522以包括擴展映射條目。基於擴展匹配表522，過濾/匹配模塊534基於一組過濾和排序規則535對附加或擴展條目執行過濾操作，以驗證映射並移除與對應關鍵詞無關的任何圖像。隨後，生成最終映射規則或最終映射表523，其可以用作圖1a到圖1b的查詢/圖像匹配規則115的一部分。

圖6是根據本發明一個實施方式的用於生成查詢-圖像映射規則的處理流程。參考圖6，經由匹配規則配置模塊531生成初級映射規則521。例如，用戶或管理員可登陸到系統600並經由與匹配規則配置模塊531相關聯的圖形用戶接口(gui)進行配置。用戶可規定待映射到使用對應圖像id的一個或多個圖像的特定關鍵詞。例如，圖7a中以映射表700的形式示出初級映射規則521的示例。

現參考圖7a，映射表700包括許多映射條目(也稱為匹配條目)。每個條目將關鍵詞(例如，單個關鍵詞)701映射到一個或多個圖像id702，所述圖像id702識別存儲在圖像存儲器(諸如圖5的圖像存儲器501)中的一個或多個圖像。在這個示例中，條目將詞「花朵」映射到圖像1-5。因此，如果搜索查詢包含詞「花朵」，那麼可將圖像1-5識別為被認為與詞「花朵」有關的候選圖像。

返回參考圖6，基於初級映射規則521，分析模塊533使用一組分析規則601(諸如語義相似性規則601)對初級映射規則521的條目中所包含的關鍵詞執行分析。這種分析可包括潛在語義分析。針對初級映射規則521中的關鍵詞中的至少一些，基於所述分析來識別與所述關鍵詞有關的一個或多個附加關鍵詞(本文中稱為擴展關鍵詞602)。擴展關鍵詞602可以是具有與初級映射規則521中的原始關鍵詞相同或類似含義的那些關鍵詞(例如，語義上類似或同義的詞語)。

潛在語義分析(latentsemanticanalysis，lsa)是自然語言處理(特別是分布式語義)中的技術，其通過生成與一組文檔及這組文檔所包含的詞有關的一組概念來分析該文檔與詞之間的關係。lsa假設含義接近的詞語將出現在文本中類似的片段中。包含每段落詞語數的矩陣(行表示唯一的詞語，以及列表示每個段落)由大段的文本建構而成，且使用稱為奇異值分解(svd)的數學技術來減少行數同時保留列中的相似性結構。隨後，通過使用由任意兩行形成的兩個向量之間的角度的餘弦函數(或兩個歸一化向量之間的點積)來比較詞語。數值接近1表示詞語非常類似，而數值接近0表示詞語非常不同。

針對每一個擴展關鍵詞602，創建附加條目以將所述擴展關鍵詞映射到對應原始關鍵詞的相同圖像id。因此，得以從初級映射規則521創建擴展映射規則522。圖7b示出由圖7a的初級映射表700擴展而來的擴展映射表750的示例。現參考圖7a到圖7b，條目721表示初級映射表700中的原始條目。在對條目721的關鍵詞「花朵」執行分析之後，將附加關鍵詞「北京花朵」、「上海花朵」和「花朵遞送」識別為語義上與原始詞「花朵」有關。因此，得以從初級映射表700創建附加或擴展條目722-724以變成擴展映射表750。擴展條目722-724中的每個被映射到與原始條目721相同的圖像id。在這個示例中，所有條目721-724被映射到圖像1-5。擴展映射表750表示圖6的擴展映射規則522。

返回參考圖6，從擴展映射規則522，過濾/匹配模塊534使用一組過濾規則或公式535依據與匹配圖像相關聯的元數據512(例如，圖像1-5的元數據)對擴展條目(例如，圖7b的條目722-724)執行過濾操作。過濾操作的目的是驗證擴展條目以確保擴展條目的匹配質量。在一個實施方式中，過濾操作移除任何被映射到原始關鍵詞但事實上或實際上與擴展關鍵詞無關的圖像。因此，得以創建最終映射規則523，例如，如圖3a中所示的表300。現參考圖3a，由於過濾操作，使得與條目「北京花朵」、「上海花朵」和「花朵遞送」相關聯的圖像中的一些已被移除。如果在過濾操作之後特定條目不再有圖像與之相關聯，那麼可將該條目從最終映射表中移除。

在一個實施方式中，元數據512包括描述圖像的多種信息或數據，其中可通過指定的數據收集模塊或系統(例如，圖5的數據收集模塊532)來獲得或收集元數據。例如，可在獲得對應圖像的時候收集圖像元數據。圖像元數據可包括圖像的收集來源和收集時間。圖像的收集來源可以是附有圖像的網頁或文檔。可收集諸如源頁面的統一資源定位符(url)的地址。另外，可對源頁面的內容執行分析，以確定圖像可能表示的內容。還可對圖像執行圖像辨識，以確定圖像的內容(例如，圖像是否關於人、物體、風景、文本或其組合)。另外，還可收集圖像的屬性，例如縱橫比、像素數量、亮度、對比度、圖像的拍攝時間和風格(例如，風景或肖像)。此外，也可基於與圖像相關聯的歷史互動來確定過去用戶與圖像和/或關鍵詞的先前互動(例如，點擊率)。這些信息可被編譯為圖像的元數據的一部分。

基於元數據，過濾操作將通過匹配關鍵詞與特定圖像的元數據之間的語義含義來確定特定關鍵詞是否充分描述圖像。例如，如果關鍵詞出現在從中收集到圖像的源頁面中，那麼所述關鍵詞與所述圖像有關。類似地，如果關鍵詞響應於圖像辨識而描述圖像的至少一部分內容，那麼所述關鍵詞可以是相關的。如果基於對元數據的分析確定關鍵詞並未充分描述特定圖像或圖像並未充分描述特定關鍵詞，那麼可移除所述特定圖像。如果確定用戶與特定圖像的先前互動低於預定閾值(例如，較少的用戶互動、較小的用戶興趣或不受歡迎)，那麼可移除所述特定圖像。應注意，本申請全文中，出於說明性的目的，術語「匹配規則」、「映射規則」、「匹配表」和「映射表」是可互換術語。然而，其可以以多種數據結構或數據格式實施。

圖8是示出根據本發明一個實施方式的用於生成查詢-圖像映射規則的過程的流程圖。可由處理邏輯來執行過程800，所述處理邏輯可包括軟體、硬體或其組合。例如，可由圖5的系統500來執行過程800。參考圖8，在框801處，處理邏輯創建第一查詢/圖像映射表(例如，初級映射表)，其中所述第一查詢/圖像映射表將每一個關鍵詞映射到一個或多個圖像。在框802處，基於一組規則對第一查詢圖像映射表中的每一個關鍵詞執行第一分析，以識別與原始關鍵詞有關或類似的一個或多個附加關鍵詞。在框803處，創建第二查詢/圖像映射表(例如，擴展映射表)以包括所述附加關鍵詞的附加條目。所述附加條目將附加關鍵詞映射到與對應原始關鍵詞相同的圖像。在框804處，依據關聯圖像的元數據對第二查詢/圖像映射表執行第二分析(例如，過濾/匹配操作)。在框805處，基於第二分析，從條目移除至少一個圖像或從第二映射表移除被確定為無關的至少一個條目。在框806處，生成第三查詢/圖像映射表以作為最終查詢/圖像映射表。

圖9是示出根據本發明另一個實施方式的查詢-圖像匹配系統的示例的框圖。可將系統900實施為圖2的系統200的一部分。參考圖9，系統900可與圖2的系統200合併。可替代地，可將系統900實施為例如通過網絡或連接件經由api或通信協議通信地聯接到圖2的系統200的獨立系統或獨立伺服器。在一個實施方式中，系統900負責響應於搜索內容的搜索查詢在運行時間識別、排序和選擇待與響應於搜索查詢所發現的內容項目匹配的圖像。

在一個實施方式中，圖像選擇模塊110包括查詢分析模塊901、圖像匹配模塊902、圖像排序模塊903和圖像排序規則或公式904，這些模塊中的一些或全部可以以軟體、硬體或其組合來實施。在一個實施方式中，響應於從客戶端裝置接收的搜索內容的搜索查詢，查詢分析模塊901分析搜索查詢以確定一個或多個第一關鍵詞。圖像匹配模塊902在圖像-關鍵詞(圖像/關鍵詞)匹配表或數據結構115中基於第一關鍵詞來執行搜索或查找操作。查詢/圖像映射表115包括多個條目，每個條目將用於識別圖像的圖像id映射到一個或多個第二關鍵詞或將一個或多個第二關鍵詞映射到用於識別圖像的圖像id(例如，如圖3a到圖3b中所示的匹配表)。

針對圖像/關鍵詞映射表115中所識別的每一個圖像，圖像排序模塊903執行排序過程，以確定第一關鍵詞與第二關鍵詞之間的匹配程度。隨後，從圖像存儲器/伺服器125檢索圖像/關鍵詞映射表115中所識別的圖像。可例如使用圖像排序規則或公式904基於匹配程度將圖像排序或分類。圖像排序規則或公式904可預先配置而成(例如，由用戶經由配置接口來配置、或由規則引擎(未示出)自動地來配置)並被保存在持久性存儲裝置(例如，硬碟)中。在一個實施方式中，每一種匹配程度可預先指派有加權因子。因此，第一關鍵詞與第二關鍵詞的匹配程度是在預定類別內，應用對應的一個加權因子。出於分類或排序的目的，可在最後例如由圖像排序模塊903或匹配得分計算器(未示出)來計算表示匹配程度的匹配得分。可將所分類或排序的、具有高於預定閾值的匹配程度的圖像用作候選圖像。可選擇所述候選圖像中的至少一些來被指派有從內容資料庫或內容伺服器檢索的內容項目和/或與該內容項目整合。

圖10是示出根據本發明一個實施方式的響應於搜索查詢將圖像與內容項目匹配的過程的處理流程圖。可由圖9的系統900來執行過程流程1000。參考圖10，響應於搜索查詢1001，查詢分析模塊901對搜索查詢1001中所包含的關鍵詞執行分析，以生成一個或多個關鍵詞1002的集合。關鍵詞1002可包括被包括在搜索查詢1001中的精確關鍵詞，以及擴展關鍵詞(例如，語義上有關或類似的詞、同義詞)。查詢分析模塊901可對被包括在搜索查詢1001中的關鍵詞執行潛在語義分析，以導出一個或多個擴展關鍵詞的集合。所述擴展關鍵詞可包括一定量的用戶很可能用來說明或搜索具有特定意義的內容的那些詞，例如基於一段時期的先前用戶互動(例如，通過網絡編譯的用戶互動歷史日誌)。

基於關鍵詞1002，圖像匹配模塊902在查詢/圖像映射表115(例如，如圖3a到圖3b中所示的映射表)中執行搜索或查找操作，以識別認為與關鍵詞1002有關的候選圖像1003。圖像匹配模塊902在查詢/圖像映射表115中基於關鍵詞1002執行查找操作，以從匹配關鍵詞1002中的至少一個的條目中檢索圖像id。基於候選圖像1003，圖像排序模塊903確定搜索查詢1001的一個或多個關鍵詞與在查詢/圖像映射表115的匹配條目中的關鍵詞之間的匹配程度。在一個實施方式中，排序模塊903確定有多少個與搜索查詢1001相關聯的關鍵詞1002被包括在查詢/圖像映射表115的匹配條目中。

具有搜索查詢的所有關鍵詞的條目將給出最高匹配程度。關鍵詞與搜索查詢中的關鍵詞匹配較多的條目(例如，僅包括一部分關鍵詞的條目)將具有較高匹配程度。另一方面，如果匹配條目不包括搜索查詢中的任何一個關鍵詞但其包括有關或類似的詞，那麼其對應的匹配程度將較低。另外，針對關鍵詞與圖像之間的每一對匹配，可基於排序規則或公式904來計算表示匹配程度的匹配得分。較高的匹配程度可指派有較高的匹配得分。不同匹配程度可與在排序公式904中被用來計算對應的匹配得分的不同加權因子相關聯。

圖11是示出根據本發明一個實施方式的響應於搜索查詢將圖像排序的過程的示例的圖。參考圖9和圖11，當接收到搜索查詢1101時，查詢分析模塊901執行分析。在這個示例中，搜索查詢1101包括三個詞：「一日」、「花朵」和「遞送」。基於這些關鍵詞，圖像匹配模塊902在查詢/圖像映射表1102中執行查找操作，其中，查詢/圖像映射表1102可表示查詢/圖像映射表115所識別的候選圖像。

在這個示例中，映射表1102包括將圖像1-4映射到各種詞或關鍵詞的匹配條目1111-1114。以關鍵詞「一日」、「花朵」和「遞送」為基礎，使用計分公式1103基於查詢/圖像映射表1102中的匹配搜索查詢1101中的關鍵詞的關鍵詞數目將圖像1111-1114排序。如上所述，搜索查詢1101與映射表1102的條目1111-1114之間的被匹配的關鍵詞越多，匹配得分將越高。在這個示例中，由於條目1112與搜索查詢1101具有關鍵詞的精確匹配，所以圖像2將基於計分公式1103被指派有最高得分，從而作為被選擇來與內容項目相關聯以進行整合的圖像1104。

根據一個實施方式，可以以下各者為基礎來確定由匹配得分計算器或排序模塊基於計分公式1103所計算的匹配得分：搜索查詢與對應於圖像的特定條目的關鍵詞之間的被匹配的關鍵詞的數目；被包括在搜索查詢中的關鍵詞的數目；和/或被包括在所述特定條目中的關鍵詞的數目。在一個特定實施方式中，特定圖像的匹配得分＝(匹配關鍵詞的數目/在搜索查詢中的關鍵詞的數目)*(匹配關鍵詞的數目/與圖像對應的匹配條目中的關鍵詞的數目)。

圖12是示出根據本發明一個實施方式的基於關鍵詞將圖像與內容項目匹配的過程的流程圖。可由處理邏輯來執行過程1200，所述處理邏輯可包括軟體、硬體或其組合。例如，可由圖9的系統900來執行過程1200。參考圖12，在框1201處，處理邏輯維護圖像/關鍵詞映射表以將圖像映射到一個或多個關鍵詞。圖像/關鍵詞映射表包括許多映射條目，每個條目將圖像或用於識別圖像的圖像id映射到一個或多個關鍵詞。在框1202處，響應於搜索查詢，處理邏輯分析搜索查詢以確定一個或多個搜索詞或關鍵詞。在框1203處，處理邏輯在圖像/關鍵詞映射表中基於搜索詞來執行查找操作，以識別一個或多個圖像。在框1204處，針對包括至少一個搜索詞的每一個條目，處理邏輯確定與所述條目對應的圖像的匹配程度。在框1205處，針對每一個所識別的圖像，處理邏輯使用預定計分公式基於對應的匹配程度來計算匹配得分。在框1206處，基於相關聯的匹配得分將圖像排序以導出候選圖像的列表。

用於將圖像與關鍵詞匹配的匹配技術是基於對搜索查詢的關鍵詞和/或圖像的元數據的分析。根據一些實施方式，當對圖像排序時，除基於查詢的關鍵詞和圖像的元數據進行匹配之外，所述排序還可基於響應於搜索查詢所發現的內容項目的周圍信息和/或元數據或者內容項目自身來確定。這種方法的基本原理是：如果圖像和內容項目是來自於類似的來源或具有類似的歷史背景，那麼這些圖像和內容項目很可能是有關的或具有良好的匹配。

根據本發明的另一個方面，響應於具有一個或多個搜索詞的搜索查詢，在內容資料庫中或經由內容伺服器實施第一搜索，以識別和檢索與所述一個或多個搜索詞有關的第一內容項目的列表。在圖像存儲器或圖像伺服器中執行第二搜索，以識別和檢索與所述搜索詞有關的一個或多個圖像的列表。針對通過第二搜索識別的每一個圖像，基於內容項目的上下文及與圖像相關聯的元數據，計算圖像與每一個第一內容項目之間的匹配得分。針對每一個第一內容項目，隨後基於圖像與對應內容項目之間的匹配得分將圖像排序。隨後，從被排序的圖像的列表中選擇其中一個圖像來與所述內容項目相關聯。將所選擇的圖像與相關聯的內容項目合併(例如，作為背景圖像)。因此，生成了第二內容項目的列表，第二內容項目具有合併的、第一內容項目的至少一部分和圖像的至少一部分，且所述第二內容項目的列表被回傳到客戶端裝置。

圖13是示出根據本發明的另一個實施方式的查詢-圖像匹配系統的示例的框圖。系統1300可實施為上述匹配系統的一部分。將使用相同的附圖標記來引用具有與上述部件的功能相同或類似的功能的某些部件。上文關於具有相同附圖標記的部件所闡述的描述將在這裡等同地適用。

參考圖13，根據一個實施方式，當接收到搜索查詢1301時，搜尋引擎120在內容資料庫中或經由內容伺服器執行搜索以識別和檢索內容項目1303的列表，所述內容項目1303可合併到搜索結果中。可從一般內容資料庫/伺服器、輔助內容資料庫/伺服器(例如，贊助內容、特殊內容)或從這兩者檢索內容項目1303。同時，查詢分析模塊901對搜索查詢1301的關鍵詞或搜索詞執行分析，以導出關鍵詞1302的列表。基於關鍵詞1302，圖像匹配模塊902在查詢/圖像映射表或規則115中進行搜索或查找以識別候選圖像1304的列表，如上文中所述。

以候選圖像1304和內容項目1303為基礎，排序模塊903將基於內容項目1303、與內容項目1303相關聯的元數據1311、候選圖像1304和與候選圖像1304相關聯的元數據1312來執行排序過程。可使用預定排序公式1310基於內容項目1303、與內容項目1303相關聯的元數據1311、候選圖像1304和與候選圖像1304相關聯的元數據1312之間的關係來執行排序過程。由於所述排序過程，生成了內容項目與圖像的匹配對1305。可將所匹配的內容項目和圖像整合到整合的內容項目中。例如，可將內容項目(例如，文本)疊加在所匹配的圖像上，其中所匹配的圖像充當背景圖像。可替代地，將所匹配的圖像放在內容項目旁邊以補充內容項目。將具有整合的內容項目的搜索結果發送到啟動搜索查詢1301的客戶端裝置。

在一個實施方式中，在依據內容項目1303將候選圖像1304排序時，排序模塊903考慮圍繞候選圖像1304和內容項目1303的所有信息或數據(統稱為內容項目元數據1311和圖像元數據1312)。基於內容項目1303中的每一個與候選圖像1304中的每一個之間的匹配得分來計算得分矩陣。在計算由內容項目中的一個與候選圖像中的一個組成的每一對的匹配得分(也稱為排序得分)時，計算與所述對的內容項目和候選圖像相關聯的每一個預定屬性或參數的個體匹配得分。可使用與對應屬性或參數相關聯的個體計分公式基於從內容項目元數據1311和/或圖像元數據1312獲得的對應數據來確定所述個體匹配得分。隨後，使用總體計分公式基於個體匹配得分來確定總體匹配得分。如果不止一個匹配具有相同的匹配得分，那麼可應用平局決勝公式以將不同圖像指派給不同內容項目。可替代地，取決於特定情形，可將一個圖像指派給多個內容項目。

從元數據1311-1312獲得的用來對內容項目和候選圖像計分的屬性或參數可以是多種數據，其可使用數據收集模塊(未示出)在一段時間內來收集。在一個實施方式中，可以部分地基於內容項目與候選圖像之間的匹配質量來確定所述內容項目與所述候選圖像之間的匹配得分。術語「匹配質量」可以是指內容項目是否描述從所匹配的圖像辨識的內容。例如，可基於標題和/或描述是否匹配由圖像呈現的內容來確定匹配質量。可經由通過圖像辨識模塊或系統(未示出)所執行的圖像辨識過程來確定由圖像表示的內容。還可基於內容項目和圖像是否從相同來源或相似來源(例如，相同地址(諸如url)、相同域，或由相同或相似的提供者所提供)獲得來確定匹配質量。

在一個實施方式中，可以部分地基於用戶在內容項目與圖像之間的先前互動(例如，先前的用戶訪問模式或行為)來確定內容項目與候選圖像之間的匹配得分，所述互動被稱為點擊率。可從由數據收集模塊或數據收集系統(未示出)在一段時間內所收集的用戶互動的歷史日誌獲得先前的用戶互動。歷史日誌記錄用戶與用戶所訪問或瀏覽的內容和/或圖像的互動，包括識別用戶的信息(例如，ip地址、域、用戶名)、多少個用戶已訪問了內容項目和/或圖像、訪問的時間、用戶停留在展現內容項目和/或圖像的內容頁面有多長時間、用戶訪問內容頁面的頻率如何。點擊率還可記錄用戶對內容項目、圖像或者共同表示的內容項目與圖像兩者的點擊。

在一個實施方式中，可以部分地基於圖像的圖像質量來確定內容項目與候選圖像之間的匹配得分。圖像質量可包括但不限於圖像的大小(例如，高度和寬度)、解析度(例如，像素數量)、縱橫比、布局(例如，風景、肖像)、圖像的拍攝時間(例如，圖像是否為最新的)。匹配得分還可以基於圖像的創新或風格，例如亮度、對比度、相機設定或與圖像相關聯的任何其它元數據。

圖14是示出根據本發明一個實施方式的用於確定匹配得分的計分矩陣的示例的框圖。參考圖14，可通過排序模塊(諸如圖13的排序模塊903)來編譯和生成計分矩陣1400。參考圖14，假設搜尋引擎基於與搜索查詢相關聯的一個或多個關鍵詞從內容資料庫或內容伺服器來識別和檢索內容項目1401(例如，贊助內容)。另外，如上所述，已識別候選圖像1421-1423的列表，所述候選圖像1421-1423與跟搜索查詢相關聯的某些關鍵詞有關。

在一個實施方式中，針對內容項目1401中的每個，計算一組預定屬性或參數1402-1406的個體匹配得分。可由個體匹配得分計算器使用特定或對應的個體匹配得分公式來計算個體匹配得分1402-1406。如上所述，屬性或參數1402-1406中的每一個可與計算個體匹配得分中的特定加權因子或係數相關聯。雖然未示出，但也可計算圖像1422-1423中的每一個的個體匹配得分。針對內容項目1401中的每個，計算圖像1421-1423中的每一個的總體得分1410。隨後，使用針對特定內容項目所計算的圖像1421-1423的總體得分以選擇圖像1421-1423中的一個來與所述特定內容項目相關聯。

在一個實施方式中，選擇針對特定內容項目具有最高總體匹配得分的圖像來與所述內容項目相關聯。例如，假設圖像1421在圖像1421-1423當中具有最高總體匹配得分。可選擇圖像1421來與內容項目1相關聯。如果同一圖像針對多個內容項目(在這個示例中為內容項目1和2)具有相同的最高匹配得分，那麼可應用平局決勝公式來解決競爭。在一個實施方式，針對內容項目1401中的每個計算所有圖像1421-1423的所有總體匹配得分的和。具有最高和的內容項目具有較高的優先權來選擇圖像。可存在其它配置。

圖15是示出根據本發明另一個實施方式的用於將圖像與內容項目匹配的過程的流程圖。可由處理邏輯來執行過程1450，所述處理邏輯可包括軟體、硬體或其組合。例如，可由圖13的系統1300來執行過程1450。參考圖15，在框1451處，響應於搜索查詢，處理邏輯在內容資料庫或伺服器中進行搜索，以識別和檢索內容項目的列表。在框1452處，處理邏輯分析搜索查詢，以確定與搜索查詢相關聯的一個或多個關鍵詞。這些關鍵詞可包括搜索查詢中所包含的關鍵詞和/或與那些關鍵詞有關的擴展關鍵詞。在框1453處，處理邏輯在關鍵詞/圖像映射表中基於關鍵詞進行搜索，以識別候選圖像的列表。

在框1454處，針對每一個候選圖像，處理邏輯計算與內容項目和每一個候選圖像相關聯的每一個預定屬性或參數(例如，匹配質量、圖像質量、點擊率、圖像的創新或風格、用戶互動的歷史)的個體匹配得分。在框1455處，處理邏輯使用預定排序公式基於個體匹配得分來計算總體匹配得分。在框1456處，基於內容項目與所指派的候選圖像之間的總體得分，將候選圖像的至少一部分指派給內容項目。

可以使用上述技術將圖像與贊助內容匹配。一種類型的贊助內容是廣告(ad)。例如，返回參考圖1a到圖1b，內容資料庫(db)或伺服器133可以是ad資料庫或ad伺服器。在另一個實施方式中，主要內容db130可存儲通常在公共網絡中可用的一般內容。輔助內容db131可以是廣告db。一些廣告可僅僅是純文本。通過將圖像與廣告匹配和整合(例如，作為背景圖像)，廣告可更吸引人或對用戶更具吸引力。伺服器104可以是用於搜索內容的網絡伺服器，或可替代地，伺服器104可以是廣告伺服器。

圖16是示出可與本發明的一個實施方式一起使用的數據處理系統的示例的框圖。例如，系統1500可表示執行任一上述過程或方法的任一上述數據處理系統，例如上述客戶端裝置或伺服器。

系統1500可包括許多不同的組件。這些組件可以實施為集成電路(ic)、集成電路的部分、分立的電子裝置或適用於電路板的其它模塊(諸如計算機系統的主板或插卡)，或者實施為以其它方式併入計算機系統的機架內的組件。

還應注意，系統1500旨在示出計算機系統的許多組件的高層次視圖。然而，應當理解的是，某些實現方式中可存在額外的組件，此外，其它實現方式中可出現與所示組件不同的布置。系統1500可表示臺式計算機、膝上型計算機、平板計算機、伺服器、行動電話、媒體播放器、個人數字助理(pda)、智能手錶、個人通信器、遊戲裝置、網絡路由器或集線器、無線接入點(ap)或中繼器、機頂盒或其組合。此外，雖然僅示出了單個機器或系統，但是術語「機器」或「系統」還應當被理解為包括單獨地或共同地執行一組(或多組)指令以執行本文所討論的任何一種或多種方法的機器或系統的任何組合。

在一個實施方式中，系統1500包括經由總線或互連件1510連接的處理器1501、存儲器1503以及裝置1505-1508。處理器1501可表示包括單個處理器內核或多個處理器內核的單個處理器或多個處理器。處理器1501可表示一個或多個通用處理器，諸如微處理器、中央處理單元(cpu)等。更具體地，處理器1501可以是複雜指令集計算(cisc)微處理器、精簡指令集計算(risc)微處理器、超長指令詞語(vliw)微處理器、或實施其它指令集的處理器、或實施指令集組合的處理器。處理器1501還可以是一個或多個專用處理器，諸如專用集成電路(asic)、蜂窩或基帶處理器、場可編程門陣列(fpga)、數位訊號處理器(dsp)、網絡處理器、圖形處理器、通信處理器、加密處理器、協處理器、嵌入式處理器或能夠處理指令的任何其它類型的邏輯。

處理器1501(其可以是低功率多核處理器套接，諸如超低電壓處理器)可用作與系統的各種組件通信的主處理單元和中央集線器。這種處理器可以實施為片上系統(soc)。處理器1501被配置成執行指令以執行本文所討論的操作和步驟。系統1500還可包括與可選的圖形子系統(顯示控制器和/或顯示裝置)1504通信的圖形接口，圖形子系統1504可包括顯示控制器、圖形處理器和/或顯示裝置。

處理器1501可與存儲器1503通信，存儲器1503在一個實施方式中可以經由多個存儲器裝置實施以提供給定量的系統存儲。存儲器1503可包括一個或多個易失性存儲(或存儲器)裝置，諸如隨機存取存儲器(ram)、動態ram(dram)、同步dram(sdram)、靜態ram(sram)或其它類型的存儲裝置。存儲器1503可存儲包括由處理器1501或任何其它裝置執行的指令序列的信息。例如，多種作業系統、裝置驅動器、固件(例如，基本輸入輸出系統或bios)和/或應用的可執行代碼和/或數據可以加載在存儲器1503中並由處理器1501執行。作業系統可以是任何類型的作業系統，例如像來自公司的作業系統、來自蘋果公司的mac來自公司的或其它實時或嵌入式作業系統(諸如vxworks)。

系統1500還可包括i/o裝置，諸如裝置1505-1508，包括網絡接口裝置1505、可選的輸入裝置1506以及其它可選的i/o裝置1507。網絡接口裝置1505可包括無線收發器和/或網絡接口卡(nic)。無線收發器可以是wifi收發器、紅外收發器、藍牙收發器、wimax收發器、無線蜂窩電話收發器、衛星收發器(例如，全球定位系統(gps)收發器)或其它射頻(rf)收發器或其組合。nic可以是乙太網卡。

輸入裝置1506可包括滑鼠、觸摸板、觸敏屏幕(其可以與顯示裝置1504整合在一起)、定點裝置(諸如手寫筆)和/或鍵盤(例如，物理鍵盤或作為觸敏屏幕的一部分顯示的虛擬鍵盤)。例如，輸入裝置1506可包括聯接到觸控螢幕的觸控螢幕控制器。觸控螢幕和觸控螢幕控制器可例如使用多種觸敏技術(包括但不限於電容性、電阻性、紅外和表面聲波技術)中的任一種以及使用用於確定與觸控螢幕的一個或多個接觸點的其它近鄰傳感器陣列或其它元件來檢測其接觸、移動或間斷。

i/o裝置1507可包括音頻裝置。音頻裝置可包括揚聲器和/或麥克風，以協助支持語音的功能，諸如語音辨識、語音複製、數字記錄和/或電話功能。其它i/o裝置1507還可包括通用串行總線(usb)埠、並行埠、串行埠、印表機、網絡接口、總線橋(例如，pci-pci橋)、傳感器(例如，諸如加速度計的運動傳感器、陀螺儀、磁強計、光傳感器、羅盤、近鄰傳感器等)或其組合。裝置1507還可包括成像處理子系統(例如，攝像機)，成像處理子系統可包括用來協助攝像機功能(諸如記錄照片和視頻片段)的光學傳感器，諸如電荷耦合裝置(ccd)或互補金屬氧化物半導體(cmos)光學傳感器。某些傳感器可經由傳感器集線器(未示出)聯接到互連件1510，而其它裝置(諸如，鍵盤或熱傳感器)可由嵌入式控制器(未示出)控制，這取決於系統1500的具體配置或具體設計。

為了提供對信息(諸如，數據、應用、一個或多個作業系統等)的永久性存儲，大容量存儲裝置(未示出)也可聯接到處理器1501。在各種實施方式中，為了實施更薄且更輕的系統設計並且改進系統響應能力，這種大容量存儲裝置可經由固態裝置(ssd)實施。然而，在其它實施方式中，大容量存儲裝置可主要使用硬碟驅動器(hdd)來實施，其中較少量的ssd存儲裝置充當ssd高速緩存以在斷電事件期間實施對上下文狀態以及其它此類信息的非易失性存儲，從而使得在系統活動重新啟動時能夠實施快速上電。另外，快閃記憶體裝置可例如經由串行外圍接口(spi)聯接到處理器1501。這種快閃記憶體裝置可提供系統軟體的非易失性存儲，系統軟體包括系統的基本輸入/輸出軟體(bios)以及其它固件。

存儲裝置1508可包括計算機可訪問的存儲介質1509(也被稱為機器可讀存儲介質或計算機可讀介質)，其上存儲有實現任何一種或多種本文所描述的方法或功能的一組或多組指令或軟體(例如，模塊、單元和/或邏輯1528)。模塊/單元/邏輯1528可表示任一上述組件，例如上述搜尋引擎、編碼器、交互日誌記錄模塊。模塊/單元/邏輯1528還可在其被數據處理系統1500、存儲器1503和處理器1501執行期間完全地或至少部分地駐存在存儲器1503內和/或處理器1501內，從而也構成機器可訪問的存儲介質。模塊/單元/邏輯1528還可通過網絡經由網絡接口裝置1505被發送或接收。

計算機可讀存儲介質1509也可用來永久性地存儲以上描述的一些軟體功能。雖然計算機可讀存儲介質1509在示例性實施方式中被示為單個介質，但是術語「計算機可讀存儲介質」應當被認為包括存儲一組或多組指令的單個介質或多個介質(例如，集中式或分布式資料庫和/或相關聯的高速緩存和伺服器)。術語「計算機可讀存儲介質」還應當被認為包括能夠存儲或編碼一組或多組指令的任何介質，該一組或多組指令由機器執行並且致使機器執行本發明的任何一種或多種方法。因此，術語「計算機可讀存儲介質」應當被認為包括但不限於固態存儲器以及光學介質和磁性介質或者任何其它非暫時性機器可讀介質。

本文所述的模塊/單元/邏輯1528、組件以及其它特徵可以實施為分立的硬體組件或整合在諸如asics、fpga、dsp或類似裝置的硬體組件的功能中。另外，模塊/單元/邏輯1528可以實施為硬體裝置內的固件或功能電路。此外，模塊/單元/邏輯1528可以以硬體裝置和軟體組件的任何組合的形式實施。

應注意，雖然系統1500被示出為具有數據處理系統的各種組件，但是其不旨在表示任何特定的架構或組件互連的方式；因為此類細節和本發明的實施方式沒有密切關係。還應當認識到，具有更少組件或可能具有更多組件的網絡計算機、手持計算機、行動電話、伺服器和/或其它數據處理系統也可與本發明的實施方式一起使用。

前述詳細描述中的一些部分已經依據在計算機存儲器內對數據位的運算的算法和符號表示而呈現。這些算法描述和表示是數據處理領域的技術人員所使用的方法，從而將他們工作的實質內容最有效地傳達給該領域中的其他技術人員。這裡，算法通常被認為是導致所期望結果的自洽的操作序列。這些操作是需要對物理量進行物理操控的操作。

然而，應當牢記，所有這些術語和類似的術語均意圖與適當的物理量相關聯，並且僅僅是適於這些物理量的適宜標記。應當了解，除非在以上討論中另外明確地說明，否則，在本說明書全文中，利用術語(諸如以下權利要求書中所闡述的術語)的討論是指計算機系統或類似電子計算裝置的動作和處理，計算機系統或類似電子計算裝置操控計算機系統的寄存器和存儲器中的表示為物理(例如，電子)量的數據，並將該數據變換成計算機系統存儲器或寄存器或其它此類信息存儲器、傳輸或顯示裝置內類似地表示為物理量的其它數據。

圖中所示的技術可以使用存儲和執行於一個或多個電子裝置上的代碼及數據來實施。此類電子裝置使用計算機可讀介質來存儲和傳遞(在內部和/或通過網絡與其它電子裝置)代碼及數據，計算機可讀介質諸如非暫時性計算機可讀存儲介質(例如，磁碟、光碟；只讀存儲器、快閃記憶體存儲器裝置、相變存儲器)和暫時性計算機可讀傳輸介質(例如，電學、光學、聲學或其它形式的傳播信號—諸如載波、紅外信號、數位訊號)。

前述附圖中所描繪的過程或方法可由處理邏輯來執行，處理邏輯包括硬體(例如，電路、專用邏輯等)、固件、軟體(例如，體現在非暫時性計算機可讀介質上)或其組合。儘管所述過程或方法在上文是依據一些順序操作來描述的，但是應當了解，所描述的一些操作可按不同的順序執行。此外，一些操作可並行地執行而不是順序地執行。

在以上的說明中，已經參考本發明的特定示例性實施方式對本發明的實施方式進行了描述。將顯而易見的是：在不脫離如以下權利要求書中闡述的本發明的更寬泛的精神和範圍的情況下，可對其作出各種修改。因此，應當以說明性含義而不是限制性含義來理解本說明書和附圖。