圖像連結方法和圖像連結設備與流程

2023-05-28 12:00:31 3

本公開涉及網際網路和自然語言處理領域，更具體地，涉及一種用於利用圖像的標籤信息自動地將圖像連結到語義知識庫的圖像連結方法和圖像連結設備。

背景技術：

語義網絡是一種使用可以被計算機理解的方式描述事物的網絡，由節點和弧組成。其中，文本、圖像、音頻以及視頻都能成為語義網絡中的不同類型節點，而連接這些節點的弧則代表著這些節點之間的語義關係。

目前，如何將各種類型的內容自動添加到語義網絡中，已經成為擴大語義網絡規模的關鍵技術點。以中文文本類型的內容為例，由於中文包含常用文字僅為幾千個，即使是由這些字組成的常用詞語也不過幾萬或者幾十萬的量級，因此對文本內容的理解、處理和自動添加到語義網絡的過程相對容易，能夠利用的文本處理工具也較多。然而，針對圖像類型的數據內容，由於圖像本身包含的視覺信息千差萬別，僅僅針對一種物體，就可能由於拍攝角度、光線強度或者其他各種因素而產生非常多不同的圖像，因此自動理解圖像中的內容並且實現自動化的圖像語義化過程，是非常困難的。目前，將圖像連結到語義知識庫中的本體或者資源的過程，基本是由人工來手動完成的，而與圖像連結的本體或者資源則包括圖像的拍攝地點、圖像內的景點、人物以及對圖像內容的其他類型描述。

曾有工作嘗試實現自動的圖像標註過程，其嘗試利用網頁中的文本內容，將網頁中的圖片進行自動的語義標註。然而，由於網頁文本內容的複雜性，使得定位與圖片有實際關聯的文本片段非常困難，有的時候甚至會出現圖片與網頁中所有文本均無語義關聯的情況發生。因此，上述方法中使用的數據包含了很多噪音，使得最終的圖片標註結果不理想。

隨著web2.0技術的發展，以flickr等為代表的在線圖像標註系統網站日益流行。在線圖像標註系統中的圖像對應了大量的人工標註的標籤，這些標籤是上傳圖像的用戶為了讓別人更容易的搜索到自己上傳的圖 像而對圖像的拍攝地點、圖像內的景點、人物等等方面進行描述。這些人工標註的標籤質量好、準確度高，因此，如果利用這些圖像的標籤信息來將圖像連結到語義知識庫中，則能夠更有效地實現基於語義的圖像檢索以及圖像與其他實體之間的關聯關係檢測。

技術實現要素：

在下文中給出了關於本公開的簡要概述，以便提供關於本公開的某些方面的基本理解。但是，應當理解，這個概述並不是關於本公開的窮舉性概述。它並不是意圖用來確定本公開的關鍵性部分或重要部分，也不是意圖用來限定本公開的範圍。其目的僅僅是以簡化的形式給出關於本公開的某些概念，以此作為稍後給出的更詳細描述的前序。

鑑於以上問題，本公開的目的是提供一種圖像連結方法和圖像連結設備，其能夠利用圖像的標籤信息自動地將圖像連結到語義知識庫，從而更有效地實現基於語義的圖像檢索以及圖像與其他實體之間的關聯關係檢測。

根據本公開的一方面，提供了一種用於將圖像連結到語義知識庫的圖像連結方法，包括：查找無歧義標籤步驟，可以用於在圖像的標籤中，查找與語義知識庫中的本體存在無歧義關聯的一個或多個無歧義標籤；查找近似標籤步驟，可以用於針對一個或多個無歧義標籤中的每個無歧義標籤，在圖像的標籤中，查找與該無歧義標籤相似性高的一個或多個近似標籤，並且計算該無歧義標籤與一個或多個近似標籤中的每個近似標籤之間的語義相似度；計算關聯值步驟，可以用於基於一個或多個無歧義標籤與本體的無歧義關聯關係和語義相似度，計算圖像與本體的關聯值；判定步驟，如果圖像與本體的關聯值大於或等於第一閾值，則可以將該本體判定為存在真實關聯的本體；以及關聯步驟，基於語義知識庫中已有的包含存在真實關聯的本體的語義關係組，可以判斷是否將圖像關聯到存在真實關聯的本體，並且可以根據判斷結果來執行關聯操作。

根據本公開的另一方面，還提供了一種用於將圖像連結到語義知識庫的圖像連結設備，包括：查找無歧義標籤單元，可以被配置成在圖像的標籤中，查找與語義知識庫中的本體存在無歧義關聯的一個或多個無歧義標籤；查找近似標籤單元，可以被配置成針對一個或多個無歧義標籤中的每個無歧義標籤，在圖像的標籤中，查找與該無歧義標籤相似性高的一個或 多個近似標籤，並且計算該無歧義標籤與一個或多個近似標籤中的每個近似標籤之間的語義相似度；計算關聯值單元，可以被配置成基於一個或多個無歧義標籤與本體的無歧義關聯關係和語義相似度，計算圖像與本體的關聯值；判定單元，可以被配置成如果圖像與本體的關聯值大於或等於第一閾值，則將該本體判定為存在真實關聯的本體；以及關聯單元，可以被配置成基於語義知識庫中已有的包含存在真實關聯的本體的語義關係組，判斷是否將圖像關聯到存在真實關聯的本體，並且根據判斷結果來執行關聯操作。

根據本公開的其它方面，還提供了用於實現上述根據本公開的方法的電腦程式代碼和電腦程式產品以及其上記錄有該用於實現上述根據本公開的方法的電腦程式代碼的計算機可讀存儲介質。

在下面的說明書部分中給出本公開實施例的其它方面，其中，詳細說明用於充分地公開本公開實施例的優選實施例，而不對其施加限定。

附圖說明

本公開可以通過參考下文中結合附圖所給出的詳細描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中並形成說明書的一部分，用來進一步舉例說明本公開的優選實施例和解釋本公開的原理和優點。其中：

圖1是示出根據本公開的實施例的圖像連結方法的流程示例的流程圖；

圖2是示出圖像-標籤之間的關聯關係的圖；

圖3是示出圖像-主題-標籤三者之間的關聯關係的圖；

圖4是示出根據本公開的實施例的圖像連結設備的功能配置示例的框圖；以及

圖5是示出作為本公開的實施例中可採用的信息處理設備的個人計算機的示例結構的框圖。

具體實施方式

在下文中將結合附圖對本公開的示範性實施例進行描述。為了清楚和簡明起見，在說明書中並未描述實際實施方式的所有特徵。然而，應該了解，在開發任何這種實際實施例的過程中必須做出很多特定於實施方式的決定，以便實現開發人員的具體目標，例如，符合與系統及業務相關的那些限制條件，並且這些限制條件可能會隨著實施方式的不同而有所改變。此外，還應該了解，雖然開發工作有可能是非常複雜和費時的，但對得益於本公開內容的本領域技術人員來說，這種開發工作僅僅是例行的任務。

在此，還需要說明的一點是，為了避免因不必要的細節而模糊了本公開，在附圖中僅僅示出了與根據本公開的方案密切相關的設備結構和/或處理步驟，而省略了與本公開關係不大的其它細節。

下面結合附圖詳細說明根據本公開的實施例。

首先，將參照圖1描述根據本公開的實施例的圖像連結方法的流程示例。圖1是示出根據本公開的實施例的圖像連結方法的流程示例的流程圖。如圖1所示，根據本公開的實施例的圖像連結方法可包括查找無歧義標籤步驟s102、查找近似標籤步驟s104、計算關聯值步驟s106、判定步驟s108以及關聯步驟s110。

首先，在查找無歧義標籤步驟s102中，可以在圖像的標籤中，查找與語義知識庫中的本體存在無歧義關聯的一個或多個無歧義標籤。

在本公開中，例示而非限制，語義知識庫為dbpedia。另外，語義知識庫還可以是schema。我們將無歧義標籤定義為能夠在dbpedia或者schema等語義庫中匹配到唯一對應的已經定義好的本體或者資源的標籤。舉例來說，假設圖像包含一個標籤為「asus」，我們首先在dbpedia中搜索與華碩匹配的本體定義，若發現該標籤能夠無歧義地與本體「http://dbpedia.org/resource/asus」進行關聯，則將該標籤定義為無歧義標籤。以此類推，可以在該圖像的標籤中查找到與本體「http://dbpedia.org/resource/asus」存在無歧義關聯的全部無歧義標籤。換言之，查找無歧義標籤相當於把無歧義標籤連結到語義知識庫，即將無歧義標籤與語義知識庫中的本體或資源進行連結。

在查找近似標籤步驟s104中，可以針對一個或多個無歧義標籤中的每個無歧義標籤，在圖像的標籤中，查找與該無歧義標籤相似性高的一個或多個近似標籤，並且計算該無歧義標籤與一個或多個近似標籤中的每個近似標籤之間的語義相似度。

我們將與無歧義標籤相似性高的標籤定義為近似標籤。在查找近似標籤步驟s104中，可以查找每個無歧義標籤的一個或多個近似標籤，並且計算該無歧義標籤與每個近似標籤之間的語義相似度。

優選地，在查找近似標籤步驟s104中，可以利用主題模型來發現圖像的標籤的主題信息並且形成圖像的標籤與主題之間的轉換關係，從而將圖像的標籤表示成主題向量。

具體地，在在線圖像標註系統中，每個圖像的標籤個數從幾個到幾百個，因為本公開在後面階段需要利用標籤之間的語義相似度進行標籤連結的擴充，因此在查找近似標籤步驟s104中，我們利用lda(latentdirichletallocation，潛在狄利克雷分配)主題模型來發現標籤的主題信息，用以將標籤表示成主題向量並能夠很方便地計算標籤之間的主題向量相似性，亦即是標籤之間的語義相似度。另外，lsa(latentsemanticanalysis，潛在語義分析)模型以及plsa(probabilisticlatentsemanticanalysis，概率潛在語義分析)模型亦可以實現該過程。由於lda模型為領域內常用模型，該處不再進行詳細介紹，只結合本公開實現過程進行直觀解釋。我們首先對大量的圖像標籤進行收集，並將這些標籤去重後形成一個標籤向量空間，將每幅圖像表示成標籤向量之後，利用lda模型發現隱含主題，並形成標籤與主題之間的轉換關係。此處，標籤向量的維度約為幾萬維，並且其中的數據比較稀疏，而主題數目通常會根據經驗設定為幾十到幾百。因此，利用主題模型，每個標籤能夠表示成一個幾十或幾百維的主題向量，方便之後計算標籤之間的語義相似性。

圖2是示出圖像-標籤之間的關聯關係的圖。根據圖2可知，對於m(例如，m為數萬的量級)個圖像，每個標籤(標籤的總數量為n)的標籤向量為m維。

在查找近似標籤步驟s104中，利用「圖像-標籤」關係矩陣訓練主題模型，基於標籤之間的語義相似性進一步增加連結到語義知識庫的標籤範圍。主題模型訓練是指將「圖像-標籤」關係通過對其中包含的隱含主題進行發現從而得到「圖像-主題-標籤」關係，進而能夠將每個標籤表示成一個主題向量。

圖3是示出圖像-主題-標籤三者之間的關聯關係的圖。關聯主題發現的過程，就是如圖2到圖3的轉變過程。根據圖3可知，圖像的數量為m(例如，m為數萬的量級)，而對於k(k為幾十或幾百的量級)個主題，每個標籤(標籤的總數量為n)能夠表示成k維的主題向量。由於標籤 的主題向量的維度較低，因此方便計算標籤之間的語義相似度。

優選地，在查找近似標籤步驟s104中，可以基於主題向量和圖像的標籤之間的包含關係和/或編輯距離，查找一個或多個近似標籤。

如上所述，可以得到每一個標籤的幾十或者幾百維的主題向量。此處的主題向量維度應根據具體的『圖像-標籤』數據規模，由本領域技術人員根據經驗進行設定，通常的維度設定範圍在幾十到幾百之間。本公開利用兩個標籤的主題向量另外輔以兩個標籤的包含關係和/或編輯距離來查找近似標籤。

優選地，對於一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤存在包含關係，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之間的餘弦相似度大於或等於第三閾值。

具體地，如果一個無歧義標籤與另一標籤存在包含關係(例如標籤「birds」和「bird」之間存在包含關係、標籤「grandfather」和「father」之間存在包含關係)，並且這兩個標籤的主題向量之間的餘弦相似度大於或等於閾值α(α為0到1之間的實數)，則判定所述另一標籤為所述一個無歧義標籤的近似標籤。

優選地，對於一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤之間的編輯距離小於或等於第四閾值，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之間的餘弦相似度大於或等於第五閾值。

具體地，如果一個無歧義標籤與另一標籤的編輯距離小於等於閾值β(β為大於或等於1的整數)(例如標籤「fish」和「fsih」之間的編輯距離較小)，並且這兩個標籤的主題向量之間的餘弦相似度大於或等於α(α為0到1之間的實數)，則判定所述另一標籤為所述一個無歧義標籤的近似標籤。

優選地，還可以基於近義詞典來判定兩個標籤之間是否為近似標籤的關係。

如果所述另一標籤為所述一個無歧義標籤的近似標籤，並且其中所述一個無歧義標籤已經存在與語義知識庫中本體的無歧義關聯，則可以認為所述另一個標籤存在到語義知識庫中同一本體的間接關聯。需要注意的是，本公開並沒有把與無歧義標籤相似性較高的近似標籤真的連結到了語 義知識庫中，而是為了在計算關聯值步驟s106中，增加將圖像連結到語義知識庫的可能性。

優選地，基於主題向量而計算一個或多個無歧義標籤中的每個無歧義標籤與一個或多個近似標籤中的每個近似標籤之間的語義相似度。

具體地，本公開利用兩個標籤的主題向量之間的餘弦相似度來衡量這兩個標籤的語義相似度。

如上所述，在查找近似標籤步驟s104中，利用「圖像-標籤」關係矩陣訓練主題模型，並且基於標籤之間的語義相似度進一步增加連結到語義知識庫的標籤範圍。即，通過計算那些尚未關聯到語義知識庫的標籤與那些已經關聯到語義知識庫的無歧義標籤之間的語義相似度，進而將標籤更大範圍地關聯到語義知識庫。

在計算關聯值步驟s106中，可以基於一個或多個無歧義標籤與本體的無歧義關聯關係和語義相似度，計算圖像與本體的關聯值。

優選地，在計算關聯值步驟s106中，針對一個或多個無歧義標籤中的每個無歧義標籤進行如下增加關聯值的處理：基於該無歧義標籤與本體的無歧義關聯關係而將關聯值增加一，以及對於該無歧義標籤的一個或多個近似標籤中的每個近似標籤，將關聯值增加該無歧義標籤與該近似標籤之間的語義相似度。

具體地，將圖像的所有標籤出現的與語義知識庫的直接或者間接關聯，均作為對圖像與本體關聯的依據。對於能夠直接關聯到本體的無歧義標籤的情況，將圖像與該本體之間的關聯值增加1；對於能夠間接關聯到該本體的近似標籤的情況，將圖像與該本體之間的關聯值增加「該近似標籤與其對應的無歧義標籤之間的語義相似度」。

在判定步驟s108中，如果圖像與本體的關聯值大於或等於第一閾值，則將該本體判定為存在真實關聯的本體。

具體地，如果圖像與本體之間的關聯值大於或等於閾值γ(γ為大於或等於1的實數)，則將其判定為與圖像存在真實關聯的本體。

在關聯步驟s110中，基於語義知識庫中已有的包含存在真實關聯的本體的語義關係組，判斷是否將圖像關聯到存在真實關聯的本體，並且根據判斷結果來執行關聯操作。

由於在將圖像連結到語義知識庫中本體的過程中，需要定義圖像與本 體之間的關聯類型，因此，並不是每個判定與圖像存在真實關聯的本體最後都能直接建立它們之間的關聯。對於這些本體，本公開基於語義知識庫中已有的語義關係三元組來判斷是否將圖像關聯到存在真實關聯的本體。若判斷將圖像關聯到存在真實關聯的本體，則執行圖像和存在真實關聯的本體之間的關聯操作。

優選地，在關聯步驟s110中，如果在以存在真實關聯的本體作為賓語的語義關係組中謂語相同的組的數量與以該存在真實關聯的本體作為賓語的語義關係組的總數量的比值大於或等於第二閾值，則將圖像關聯到該本體。

具體地，本公開在已有的語義關係三元組中對以存在真實關聯的本體作為賓語的情況進行統計，如果謂語相同的組的數量與以該存在真實關聯的本體作為賓語的語義關係組的總數量的比值大於或等於第二閾值，則將圖像關聯到該本體，否則不予建立關聯。

優選地，第二閾值可以由本領域技術人員根據經驗或實驗確定。例示而非限制，第二閾值可以為0.9到1之間的實數。第二閾值選取得越大，則越能保證圖像與本體之間所建立的連結的準確性。

優選地，對於該圖像，可以基於所述謂語形成以存在真實關聯的本體作為賓語的語義關係組。

下面以第二閾值為1、即以該存在真實關聯的本體作為賓語的語義關係組中的謂語均相同的情況為例，描述建立圖像與該本體之間的關聯。

例如，假設在判定步驟s108中判定為與圖像存在真實關聯的本體，如果在語義知識庫中已有的所有以本體為賓語的三元組中，謂語均相同(假設謂語均為)，則對於該圖像，以謂語形成以本體作為賓語的語義三元組，即將該圖像與本體間的關係標為。該過程能夠保證建立連結的準確性，從而將圖像有效地連結到語義知識庫中。

在以上描述中，介紹了將圖像與一個本體進行關聯的操作，可以按上述步驟，類似地將圖像與其他本體進行關聯。

根據以上描述可知，根據本公開的實施例的圖像連結方法利用圖像的標籤信息自動地將圖像連結到語義知識庫，從而更有效地實現基於語義的圖像檢索以及圖像與其他實體之間的關聯關係檢測。

與上述方法實施例相對應地，本公開還提供了以下設備實施例。

圖4是示出根據本公開的實施例的圖像連結設備400的功能配置示例的框圖。

如圖4所示，根據本公開的實施例的圖像連結設備400可以包括查找無歧義標籤單元402、查找近似標籤單元404、計算關聯值單元406、判定單元408以及關聯單元410。接下來將描述各個單元的功能配置示例。

在查找無歧義標籤單元402中，可以在圖像的標籤中，查找與語義知識庫中的本體存在無歧義關聯的一個或多個無歧義標籤。查找無歧義標籤相當於把無歧義標籤連結到語義知識庫，即將無歧義標籤與語義知識庫中的本體或資源進行連結。

查找無歧義標籤的具體方法可參見以上方法實施例中相應位置的描述，在此不再重複。

在查找近似標籤步單元404中，可以針對一個或多個無歧義標籤中的每個無歧義標籤，在圖像的標籤中，查找與該無歧義標籤相似性高的一個或多個近似標籤，並且計算該無歧義標籤與一個或多個近似標籤中的每個近似標籤之間的語義相似度。

優選地，在查找近似標籤單元404中，可以利用主題模型來發現圖像的標籤的主題信息並且形成圖像的標籤與主題之間的轉換關係，從而將圖像的標籤表示成主題向量。

得到主題向量的具體方法可參見以上方法實施例中相應位置的描述，在此不再重複。

優選地，在查找近似標籤單元404中，可以基於主題向量和圖像的標籤之間的包含關係和/或編輯距離，查找一個或多個近似標籤。

本公開利用兩個標籤的主題向量另外輔以兩個標籤的包含關係和/或編輯距離來查找近似標籤。

優選地，對於一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤存在包含關係，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之 間的餘弦相似度大於或等於第三閾值。

優選地，對於一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤之間的編輯距離小於或等於第四閾值，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之間的餘弦相似度大於或等於第五閾值。

判定近似標籤的具體方法可參見以上方法實施例中相應位置的描述，在此不再重複。

優選地，還可以基於近義詞典來判定兩個標籤之間是否為近似標籤的關係。

如果一個標籤為一個無歧義標籤的近似標籤，並且其中所述一個無歧義標籤已經存在與語義知識庫中本體的無歧義關聯，則可以認為所述一個個標籤存在到語義知識庫中同一本體的間接關聯。

優選地，基於主題向量而計算一個或多個無歧義標籤中的每個無歧義標籤與一個或多個近似標籤中的每個近似標籤之間的語義相似度。

具體地，本公開利用兩個標籤的主題向量之間的餘弦相似度來衡量這兩個標籤的語義相似度。

在查找近似標籤單元404中，利用「圖像-標籤」關係矩陣訓練主題模型，並且基於標籤之間的語義相似度進一步增加連結到語義知識庫的標籤範圍。即，通過計算那些尚未關聯到語義知識庫的標籤與那些已經關聯到語義知識庫的標籤之間的語義相似度，進而將標籤更大範圍地關聯到語義知識庫。

在計算關聯值單元406中，可以基於一個或多個無歧義標籤與本體的無歧義關聯關係和語義相似度，計算圖像與本體的關聯值。

優選地，在計算關聯值單元406中，針對一個或多個無歧義標籤中的每個無歧義標籤進行如下增加關聯值的處理：基於該無歧義標籤與本體的無歧義關聯關係而將關聯值增加一，以及對於該無歧義標籤的一個或多個近似標籤中的每個近似標籤，將關聯值增加該無歧義標籤與該近似標籤之間的語義相似度。

具體地，將圖像的所有標籤出現的與語義知識庫的直接或者間接關聯，均作為對圖像與本體關聯的依據。對於能夠直接關聯到本體的無歧義標籤的情況，將圖像與該本體之間的關聯值增加1；對於能夠間接關聯到 該本體的近似標籤的情況，將圖像與該本體之間的關聯值增加「該近似標籤與其對應的無歧義標籤之間的語義相似度」。

在判定單元408中，如果圖像與本體的關聯值大於或等於第一閾值，則將該本體判定為存在真實關聯的本體。

具體地，如果圖像與本體之間的關聯值大於或等於閾值γ(γ為大於或等於1的實數)，則將其判定為與圖像存在真實關聯的本體。

在關聯單元410中，基於語義知識庫中已有的包含存在真實關聯的本體的語義關係組，判斷是否將圖像關聯到存在真實關聯的本體，並且根據判斷結果來執行關聯操作。

由於在將圖像連結到語義知識庫中本體的過程中，需要定義圖像與本體之間的關聯類型，因此，並不是每個判定與圖像存在真實關聯的本體最後都能直接建立它們之間的關聯。對於這些本體，本公開基於語義知識庫中已有的語義關係三元組來判斷是否將圖像關聯到存在真實關聯的本體。若判斷將圖像關聯到存在真實關聯的本體，則執行圖像和存在真實關聯的本體之間的關聯操作。

優選地，在關聯單元410中，如果在以存在真實關聯的本體作為賓語的語義關係組中謂語相同的組的數量與以該存在真實關聯的本體作為賓語的語義關係組的總數量的比值大於或等於第二閾值，則將圖像關聯到該本體。

具體地，本公開在已有的語義關係三元組中對以存在真實關聯的本體作為賓語的情況進行統計，如果謂語相同的組的數量與以該存在真實關聯的本體作為賓語的語義關係組的總數量的比值大於或等於第二閾值，則將圖像關聯到該本體，否則不予建立關聯。

優選地，第二閾值可以由本領域技術人員根據經驗或實驗確定。例示而非限制，第二閾值可以為0.9到1之間的實數。第二閾值選取得越大，則越能保證圖像與本體之間所建立的連結的準確性。

優選地，對於該圖像，可以基於所述謂語形成以存在真實關聯的本體作為賓語的語義關係組。

建立圖像與本體的關聯的具體示例可參見以上方法實施例中相應位置的描述，在此不再重複。

根據以上描述可知，根據本公開的實施例的圖像連結設備利用圖像的 標籤信息自動地將圖像連結到語義知識庫，從而更有效地實現基於語義的圖像檢索以及圖像與其他實體之間的關聯關係檢測。

應指出，儘管以上描述了根據本公開的實施例的圖像連結設備的功能配置，但是這僅是示例而非限制，並且本領域技術人員可根據本公開的原理對以上實施例進行修改，例如可對各個實施例中的功能模塊進行添加、刪除或者組合等，並且這樣的修改均落入本公開的範圍內。

此外，還應指出，這裡的裝置實施例是與上述方法實施例相對應的，因此在裝置實施例中未詳細描述的內容可參見方法實施例中相應位置的描述，在此不再重複描述。

應理解，根據本公開的實施例的存儲介質和程序產品中的機器可執行的指令還可以被配置成執行上述圖像連結方法，因此在此未詳細描述的內容可參考先前相應位置的描述，在此不再重複進行描述。

相應地，用於承載上述包括機器可執行的指令的程序產品的存儲介質也包括在本發明的公開中。該存儲介質包括但不限於軟盤、光碟、磁光碟、存儲卡、存儲棒等等。

另外，還應該指出的是，上述系列處理和裝置也可以通過軟體和/或固件實現。在通過軟體和/或固件實現的情況下，從存儲介質或網絡向具有專用硬體結構的計算機，例如圖5所示的通用個人計算機500安裝構成該軟體的程序，該計算機在安裝有各種程序時，能夠執行各種功能等等。

在圖5中，中央處理單元(cpu)501根據只讀存儲器(rom)502中存儲的程序或從存儲部分508加載到隨機存取存儲器(ram)503的程序執行各種處理。在ram503中，也根據需要存儲當cpu501執行各種處理等時所需的數據。

cpu501、rom502和ram503經由總線504彼此連接。輸入/輸出接口505也連接到總線504。

下述部件連接到輸入/輸出接口505：輸入部分506，包括鍵盤、滑鼠等；輸出部分507，包括顯示器，比如陰極射線管(crt)、液晶顯示器(lcd)等，和揚聲器等；存儲部分508，包括硬碟等；和通信部分509，包括網絡接口卡比如lan卡、數據機等。通信部分509經由網絡比如網際網路執行通信處理。

根據需要，驅動器510也連接到輸入/輸出接口505。可拆卸介質511比如磁碟、光碟、磁光碟、半導體存儲器等等根據需要被安裝在驅動器 510上，使得從中讀出的電腦程式根據需要被安裝到存儲部分508中。

在通過軟體實現上述系列處理的情況下，從網絡比如網際網路或存儲介質比如可拆卸介質511安裝構成軟體的程序。

本領域的技術人員應當理解，這種存儲介質不局限於圖5所示的其中存儲有程序、與設備相分離地分發以向用戶提供程序的可拆卸介質511。可拆卸介質511的例子包含磁碟(包含軟盤(註冊商標))、光碟(包含光碟只讀存儲器(cd-rom)和數字通用盤(dvd))、磁光碟(包含迷你盤(md)(註冊商標))和半導體存儲器。或者，存儲介質可以是rom502、存儲部分508中包含的硬碟等等，其中存有程序，並且與包含它們的設備一起被分發給用戶。

以上參照附圖描述了本公開的優選實施例，但是本公開當然不限於以上示例。本領域技術人員可在所附權利要求的範圍內得到各種變更和修改，並且應理解這些變更和修改自然將落入本公開的技術範圍內。

例如，在以上實施例中包括在一個單元中的多個功能可以由分開的裝置來實現。替選地，在以上實施例中由多個單元實現的多個功能可分別由分開的裝置來實現。另外，以上功能之一可由多個單元來實現。無需說，這樣的配置包括在本公開的技術範圍內。

在該說明書中，流程圖中所描述的步驟不僅包括以所述順序按時間序列執行的處理，而且包括並行地或單獨地而不是必須按時間序列執行的處理。此外，甚至在按時間序列處理的步驟中，無需說，也可以適當地改變該順序。

另外，根據本公開的技術還可以如下進行配置。

附記1.一種用於將圖像連結到語義知識庫的圖像連結方法，包括：

查找無歧義標籤步驟，用於在所述圖像的標籤中，查找與所述語義知識庫中的本體存在無歧義關聯的一個或多個無歧義標籤；

查找近似標籤步驟，用於針對所述一個或多個無歧義標籤中的每個無歧義標籤，在所述圖像的標籤中，查找與該無歧義標籤相似性高的一個或多個近似標籤，並且計算該無歧義標籤與所述一個或多個近似標籤中的每個近似標籤之間的語義相似度；

計算關聯值步驟，用於基於所述一個或多個無歧義標籤與所述本體的無歧義關聯關係和所述語義相似度，計算所述圖像與所述本體的關聯值；

判定步驟，如果所述圖像與所述本體的關聯值大於或等於第一閾值，則將所述本體判定為存在真實關聯的本體；以及

關聯步驟，基於所述語義知識庫中已有的包含所述存在真實關聯的本體的語義關係組，判斷是否將所述圖像關聯到所述存在真實關聯的本體，並且根據判斷結果來執行關聯操作。

附記2.根據附記1所述的圖像連結方法，其中，在所述關聯步驟中，如果在以所述存在真實關聯的本體作為賓語的語義關係組中謂語相同的組的數量與以所述存在真實關聯的本體作為賓語的語義關係組的總數量的比值大於或等於第二閾值，則將所述圖像關聯到該本體。

附記3.根據附記2所述的圖像連結方法，其中，對於所述圖像，基於所述謂語形成以所述存在真實關聯的本體作為賓語的語義關係組。

附記4.根據附記1所述的圖像連結方法，其中，在所述查找近似標籤步驟中，利用主題模型來發現所述圖像的標籤的主題信息並且形成所述圖像的標籤與主題之間的轉換關係，從而將所述圖像的標籤表示成主題向量。

附記5.根據附記4所述的圖像連結方法，其中，基於所述主題向量和所述圖像的標籤之間的包含關係和/或編輯距離，查找所述一個或多個近似標籤。

附記6.根據附記5所述的圖像連結方法，其中，對於所述一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤存在包含關係，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之間的餘弦相似度大於或等於第三閾值。

附記7.根據附記5所述的圖像連結方法，其中，對於所述一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤之間的編輯距離小於或等於第四閾值，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之間的餘弦相似度大於或等於第五閾值。

附記8.根據附記4所述的圖像連結方法，其中，基於所述主題向量而計算所述一個或多個無歧義標籤中的每個無歧義標籤與所述一個或多個近似標籤中的每個近似標籤之間的語義相似度。

附記9.根據附記1所述的圖像連結方法，其中，在所述計算關聯值 步驟中，針對所述一個或多個無歧義標籤中的每個無歧義標籤進行如下增加所述關聯值的處理：基於該無歧義標籤與所述本體的無歧義關聯關係而將所述關聯值增加一，以及對於該無歧義標籤的所述一個或多個近似標籤中的每個近似標籤，將所述關聯值增加該無歧義標籤與該近似標籤之間的語義相似度。

附記10.一種用於將圖像連結到語義知識庫的圖像連結設備，包括：

查找無歧義標籤單元，被配置成在所述圖像的標籤中，查找與所述語義知識庫中的本體存在無歧義關聯的一個或多個無歧義標籤；

查找近似標籤單元，被配置成針對所述一個或多個無歧義標籤中的每個無歧義標籤，在所述圖像的標籤中，查找與該無歧義標籤相似性高的一個或多個近似標籤，並且計算該無歧義標籤與所述一個或多個近似標籤中的每個近似標籤之間的語義相似度；

計算關聯值單元，被配置成基於所述一個或多個無歧義標籤與所述本體的無歧義關聯關係和所述語義相似度，計算所述圖像與所述本體的關聯值；

判定單元，被配置成如果所述圖像與所述本體的關聯值大於或等於第一閾值，則將所述本體判定為存在真實關聯的本體；以及

關聯單元，被配置成基於所述語義知識庫中已有的包含所述存在真實關聯的本體的語義關係組，判斷是否將所述圖像關聯到所述存在真實關聯的本體，並且根據判斷結果來執行關聯操作。

附記11.根據附記10所述的圖像連結設備，其中，在所述關聯步驟中，如果在以所述存在真實關聯的本體作為賓語的語義關係組中謂語相同的組的數量與以所述存在真實關聯的本體作為賓語的語義關係組的總數量的比值大於或等於第二閾值，則將所述圖像關聯到該本體。

附記12.根據附記11所述的圖像連結設備，其中，對於所述圖像，基於所述謂語形成以所述存在真實關聯的本體作為賓語的語義關係組。

附記13.根據附記10所述的圖像連結設備，其中，在所述查找近似標籤步驟中，利用主題模型來發現所述圖像的標籤的主題信息並且形成所述圖像的標籤與主題之間的轉換關係，從而將所述圖像的標籤表示成主題向量。

附記14.根據附記13所述的圖像連結設備，其中，基於所述主題向 量和所述圖像的標籤之間的包含關係和/或編輯距離，查找所述一個或多個近似標籤。

附記15.根據附記14所述的圖像連結設備，其中，對於所述一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤存在包含關係，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之間的餘弦相似度大於或等於第三閾值。

附記16.根據附記14所述的圖像連結設備，其中，對於所述一個或多個無歧義標籤中的一個無歧義標籤，判定如下標籤為所述一個無歧義標籤的近似標籤：該標籤與所述一個無歧義標籤之間的編輯距離小於或等於第四閾值，並且該標籤的主題向量與所述一個無歧義標籤的主題向量之間的餘弦相似度大於或等於第五閾值。

附記17.根據附記13所述的圖像連結設備，其中，基於所述主題向量而計算所述一個或多個無歧義標籤中的每個無歧義標籤與所述一個或多個近似標籤中的每個近似標籤之間的語義相似度。

附記18.根據附記10所述的圖像連結設備，其中，在所述計算關聯值步驟中，針對所述一個或多個無歧義標籤中的每個無歧義標籤進行如下增加所述關聯值的處理：基於該無歧義標籤與所述本體的無歧義關聯關係而將所述關聯值增加一，以及對於該無歧義標籤的所述一個或多個近似標籤中的每個近似標籤，將所述關聯值增加該無歧義標籤與該近似標籤之間的語義相似度。