圖像索引的生成方法及設備的製作方法

2023-05-17 08:24:16

專利名稱：圖像索引的生成方法及設備的製作方法
技術領域：
本申請涉及數據檢索技術領域，尤其涉及一種圖像索引的生成方法及設備。
背景技術：
在信息搜索領域中，傳統的基於關鍵詞的信息檢索方式存在著很多弊端。首先，同一詞語在不同環境中的含義不同，例如「蘋果」一詞在不同領域所代表的含義差別就很大，其有可能表示一種水果，也可能表示一種電子產品的品牌。若用戶意圖搜索一種水果並以「蘋果」作為關鍵詞輸入搜尋引擎，則返回的搜索結果中一般會同時出現水果和電子產品這兩種截然不同的信息，而顯然電子產品這樣的信息與用戶的搜索意圖並不匹配。可見，基於關鍵詞的信息檢索方法可能會導致搜索結果與用戶的搜索意圖之間產生一定偏差。針對目前網絡上大部分數據信息都有對應的圖像的情況，目前也有一些技術提出:用戶在進行信息搜索時，可以以圖像作為其輸入的內容，從而基於用戶輸入的圖像，通過獲取該圖像所包含的與圖像相關的信息(以下簡稱圖像信息)，就可以從圖像庫中搜索具備與獲取的圖像信息相匹配的圖像信息的圖像以克服基於關鍵詞的信息檢索方法存在的上述弊端。與基於關鍵詞的信息檢索方法需要以生成信息索引為前提類似，上述基於圖像的信息檢索方法也需要針對圖像庫中海量的圖像生成索引，從而為後續的檢索流程提供數據支持。現有技術中，傳統的基於圖像的信息檢索技術，針對圖像庫中的圖像生成圖像索引時主要採用的是依據圖像的文件名(或其他針對圖像的文字描述信息)的方式，該方式的實現前提是需要操作人員手工為圖像添加相應的文字描述信息。基於手工添加文字描述信息的方式生成圖像索引的缺陷在於:圖像庫中的圖像數量往往非常龐大，基於手工添加文字描述信息的方式生成圖像索引勢必導致耗費較多的處理資源。並且，由於操作人員在添加文字描述信息時難免帶入自身對於圖像的一些主觀感受，從而上述圖像索引生成方式還可能存在生成的圖像索引在一定程度上受到操作人員主觀感受的影響從而準確性不高的問題。

發明內容
本申請實施例提供一種圖像索引的生成方法及設備，用以解決採用現有技術生成的圖像索引的準確性較低的問題。本申請實施例提供的一種圖像索引的生成方法，包括:針對待生成圖像索引的圖像庫所包含的圖像，確定所述圖像中的目標區域圖像，並從確定出的目標區域圖像中提取視覺特徵；根據從不同圖像中提取的視覺特徵，確定所述圖像庫中包含的圖像之間的相似度值；根據確定的圖像之間的相似度值，確定圖像庫所包含的圖像所屬的圖像類別；並按照為同屬同一圖像類別的圖像分配的類別標識相同，為屬於不同圖像類別的圖像分配的類別標識互不相同的標識分配方式，為圖像庫所包含的圖像分別分配類別標識。本申請實施例提供的一種圖像索引的生成設備，包括:提取模塊，用於針對待生成圖像索引的圖像庫所包含的圖像，確定所述圖像中的目標區域圖像，並從確定出的目標區域圖像中提取視覺特徵；相似度確定模塊，用於根據從不同圖像中提取的視覺特徵，確定所述圖像庫中包含的圖像之間的相似度值；類別確定模塊，用於根據確定的圖像之間的相似度值，確定圖像庫所包含的圖像所屬的圖像類別；分配模塊，用於按照為同屬同一圖像類別的圖像分配的類別標識相同，為屬於不同圖像類別的圖像分配的類別標識互不相同的標識分配方式，為圖像庫所包含的圖像分別分配類別標識。本申請實施例提供一種圖像索引的生成方法及設備，該方法分別在圖像庫包含的圖像中的目標區域圖像中提取視覺特徵，並根據提取的視覺特徵確定圖像庫中圖像之間的相似度值，進而確定圖像所屬的圖像類別，最後為屬於同一圖像類別的圖像分配相同的類別標識，為屬於不同圖像類別的圖像分配不同的類別標識，將為圖像分配的類別標識作為生成的該圖像庫的圖像索引。與現有技術相比，該方法可以由相應的設備自動運行實現，無需人工手工添加圖像索引，提高了生成圖像索引的效率，並且，由於生成的圖像索引是基於在圖像中提取的視覺特徵，確定圖像之間的相似度，進而確定圖像所屬的圖像類別而生成的，因此減小了人工生成圖像索引時所帶來的操作人員對圖像的主觀感受的影響，提高了生成的圖像索引的準確性。


圖1為本申請實施例提供的圖像索引的生成過程；圖2a為本申請實施例提供的多特徵融合的圖像搜索過程；圖2b為本申請實施例提供的確定圖像中的目標區域圖像的過程；圖3為本申請實施例提供的圖像索引的生成設備結構示意圖。
具體實施例方式為了解決採用現有技術生成的圖像索引的準確率較低的問題，本申請實施例提供了一種圖像索引的生成方法以及一種圖像索引的生成設備。以下結合附圖，詳細說明本申請實施例提供的圖像索引的生成方法及設備。首先，本申請實施例提供一種圖像索引的生成方法，該方法的具體流程示意圖如圖1所示，包括以下步驟:SlOl:針對待生成圖像索引的圖像庫所包含的圖像，確定該圖像中的目標區域圖像，並從確定出的目標區域圖像中提取視覺特徵。在本申請實施例中，考慮到一幅圖像通常是由前景和背景組成，圖像的前景一般反映了圖像的主要內容，而用戶一般也只注重於圖像的前景，並不太關注圖像的背景。因此本申請實施例中將圖像的前景作為圖像的目標區域圖像，也即確定該圖像庫中的圖像的前景，作為對應該圖像的目標區域圖像，並只在目標區域圖像中提取視覺特徵。
S102:根據從不同圖像中提取的視覺特徵，確定該圖像庫中包含的圖像之間的相似度值。在本申請實施例中，針對該圖像庫中的某個圖像，在該圖像中的目標區域圖像中提取的視覺特徵包括:顏色特徵、形狀特徵、紋理特徵、尺度不變特徵轉換(SIFT，Scale-1nvariant Feature Transform)特徵，當然,還可以包括其他特徵。提取了圖像的視覺特徵後，即可以根據不同圖像的視覺特徵，確定不同圖像之間的相似度值。S103:根據確定的圖像之間的相似度值，確定該圖像庫所包含的圖像所屬的圖像類別。其中，可以將相似度值較小的若干個圖像確定為一個圖像類別。S104:按照為同屬同一圖像類別的圖像分配的類別標識相同，為屬於不同圖像類別的圖像分配的類別標識互不相同的標識分配方式，為該圖像庫所包含的圖像分別分配類別標識。也即，對於同一圖像類別下的各個圖像，每個圖像的類別標識相同，對於不同圖像類別下的圖像，每個圖像的類別標識不同。為圖像分配的類別標識即為生成的圖像索引，在後續的搜索過程中，就可以根據圖像的圖像索引，也即圖像的類別標識，在圖像庫中進行搜索。在上述過程中，分別在圖像庫包含的圖像中的目標區域圖像中提取視覺特徵，並根據提取的視覺特徵確定圖像庫中的不同圖像之間的相似度值，進而確定圖像所屬的圖像類別，最後為屬於同一圖像類別的圖像分配相同的類別標識，為屬於不同圖像類別的圖像分配不同的類別標識，將為圖像分配的類別標識作為生成的該圖像庫的圖像索引，與現有技術相比，上述過程完全可以由相應的設備自動運行實現，無需人工手工添加圖像索引，提高了生成圖像索引的效率，並且，由於生成的圖像索引是基於在圖像中提取的視覺特徵，確定圖像之間的相似度，進而確定圖像所屬的圖像類別而生成的，因此減小了人工生成圖像索引時所帶來的操作人員對圖像的主觀感受的影響，提高了生成的圖像索引的準確性。以下以本申請實施例提供的圖像索引的生成方法和圖像搜索方法在實際中的應用流程為例，詳細說明該方法的具體實現過程。在實際應用中，圖像索引的生成過程和圖像搜索過程是相互獨立的兩個過程，但這兩個過程也可以體現在一個流程中。為了便於描述，本申請實施例中將包含這兩個過程的流程稱為「多特徵融合的圖像搜索流程」，其具體示意圖如圖2a所示。由於圖像索引的生成過程完全可以在系統離線時進行，而圖像搜索過程則必須在系統在線時進行，因此為了在從名稱上體現圖像索引的生成過程和圖像搜索過程在實施時機上的不同特點，本申請實施例中將圖像索引的生成過程稱為「離線處理過程」，而將圖像搜索過程稱為「在線搜索過程」。當然，本申請實施例並不是必然的把圖像索引的生成限定於採用離線處理技術，對於本領域技術人員可以理解的是本申請實施例同樣也可以採用在線方式生成圖像索引。以下對圖2a包含的各步驟進行詳細介紹。其中，步驟S201 S203屬於離線處理過程，而步驟S204 S205則屬於在線搜索過程。S201:針對待生成圖像索引的圖像庫所包含的圖像，從該圖像中提取目標區域圖像。本申請實施例中，可以採用圖像分割和機器學習相結合的方式實現提取目標區域圖像。以一種具體實現方式為例，步驟S201可以由如圖2b所示的下述子步驟S2011 S2013實現:S2011:基於均值漂移(Mean-shift)算法，執行對該圖像進行圖像平滑的操作；Mean-shift算法是現有技術中一種應用於聚類、圖像平滑、圖像分割和跟蹤領域的成熟的技術，這個概念最早是由Fukunaga等人於1975年在一篇關於概率密度梯度函數的估計(The Estimation of the Gradient of a Density Function,with Applicationsin Pattern Recognition)中提出來的。由於該技術是一種現有技術，因此，本申請實施例僅對其做下述簡單介紹:Mean-shift算法本質上是一個自適應的梯度上升搜索峰值的方法，該方法的基本思想在於:如果數據集Ixi, i = 1,2,…，η}服從概率密度函數f(x)，那麼，若給定一個初始點X，並針對該初始點X執行Mean-shift算法,就會使得該點一步步的移動，最終收斂到一個峰值點。結合圖像來說，若數據集Ixi, i = 1,2,…，η}表示一幅圖像中的各個像素點，那麼，將該 數據集中的每一點作為初始點，並分別對其執行Mean-shift算法，則最終可以使數據集中的各個點收斂到相應的峰值點，從而實現對圖像的平滑處理。從Mean-shift算法的具體實現上看,一幅圖像可以表示成一個二維網格點上的p維向量，每一個網格點代表一個像素。P = I表示圖像是一個灰度圖像，P = 3表示圖像是一個彩色圖像，P > 3表示圖像是一個多譜圖。網格點的坐標一般被認為表示了圖像的空間信息。統一考慮圖像的空間信息和色彩(或灰度等)信息，可以組成一個P+2維的向量X = (Xs, Xr),其中，Xs表示網格點的坐標，Xr表示該網格上P維向量特徵。若以核函數Ι4Λ來估計X的分布，則14,4可以具有如下式[I]所示的形式:
權利要求
1.一種圖像索引的生成方法，其特徵在於，包括: 針對待生成圖像索引的圖像庫所包含的圖像，確定所述圖像中的目標區域圖像，並從確定出的目標區域圖像中提取視覺特徵； 根據從不同圖像中提取的視覺特徵，確定所述圖像庫中包含的圖像之間的相似度值；根據確定的圖像之間的相似度值，確定圖像庫所包含的圖像所屬的圖像類別；並按照為同屬同一圖像類別的圖像分配的類別標識相同，為屬於不同圖像類別的圖像分配的類別標識互不相同的標識分配方式，為圖像庫所包含的圖像分別分配類別標識。
2.如權利要求1所述的方法，其特徵在於，從確定出的目標區域圖像中提取的視覺特徵包括:顏色特徵、形狀特徵、紋理特徵、尺度不變特徵轉換SIFT特徵中的一種或幾種； 當提取的視覺特徵為SIFT特徵時，從確定出的目標區域圖像中提取視覺特徵，具體包括: 針對確定的該圖像中的目標區域圖像，利用SIFT算法，從該目標區域圖像中確定各個關鍵像素點，並分別確定對應於各個關鍵像素點的128維特徵向量；並針對每個關鍵像素點對應的128維特徵向量，分別執行下述各個步驟: 比較該關鍵像素點對應的128維特徵向量與預設的圖像樣本庫中各個關鍵像素點對應的128維特徵向量之間的距離，確定所述圖像樣本庫中與該關鍵像素點對應的128維特徵向量距離最小的第一關鍵像素點，並確定預先為該第一關鍵像素點分配的編號；並 將分別針對每個關鍵像素點確定的第一關鍵像素點的編號構成的向量，作為從該目標區域圖像中提取的SIFT特徵。
3.如權利要求1所述的方法，其特徵在於，根據從不同圖像中提取的視覺特徵，確定所述圖像庫中包含的圖像之間的相似度值，具體包括: 根據所述圖像庫中包含的不同圖像的描述信息，分別確定對應於不同圖像的文字標註信息； 確定用于衡量對應於不同圖像的文字標註信息之間相關性大小的相關性值，並根據確定的相關性值，利用層次聚類方法，將所述圖像庫中包含的圖像分配到多個圖像集合；針對任意圖像集合，執行下述步驟: 根據從該圖像集合所包含不同圖像中提取到的視覺特徵，確定對應於不同圖像的視覺特徵向量； 根據確定的對應於不同圖像的視覺特徵向量，確定不同圖像之間的相似度值。
4.如權利要求1所述的方法，其特徵在於，根據從不同圖像中提取的視覺特徵，確定所述圖像庫中包含的圖像之間的相似度值，具體包括: 根據從所述圖像庫中包含的不同圖像中提取到的視覺特徵，確定對應於不同圖像的視覺特徵向量； 根據確定的對應於不同圖像的視覺特徵向量，確定不同圖像之間的相似度值。
5.如權利要求1 4任一所述的方法，其特徵在於，確定所述圖像中的目標區域圖像，具體包括: 對所述圖像執行圖像平滑操作；並 針對進行了圖像平滑操作後的圖像，以該進行了圖像平滑操作後的圖像中的每個像素點為種子進行區域生長操作，使得該進行了圖像平滑操作後的圖像被分割為若干個區域圖像，並在分割的若干個區域圖像中確定目標區域圖像。
6.如權利要求1所述的方法，其特徵在於，根據確定的圖像之間的相似度值，確定圖像庫所包含的圖像所屬的圖像類別，具體包括: 根據確定的圖像之間的相似度值，按照聚類算法，對圖像庫所包含的圖像進行聚類操作，確定圖像庫所包含的圖像所屬的圖像類別。
7.一種圖像索引的生成設備，其特徵在於，包括: 提取模塊，用於針對待生成圖像索引的圖像庫所包含的圖像，確定所述圖像中的目標區域圖像，並從確定出的目標區域圖像中提取視覺特徵； 相似度確定模塊，用於根據從不同圖像中提取的視覺特徵，確定所述圖像庫中包含的圖像之間的相似度值； 類別確定模塊，用於根據確定的圖像之間的相似度值，確定圖像庫所包含的圖像所屬的圖像類別； 分配模塊，用於按照為同屬同一圖像類別的圖像分配的類別標識相同，為屬於不同圖像類別的圖像分配的類別標識互不相同的標識分配方式，為圖像庫所包含的圖像分別分配類別標識。
8.如權利要求7所述的設備，其特徵在於，所述提取模塊具體用於，從確定出的目標區域圖像中提取的視覺特徵包括:顏色特徵、形狀特徵、紋理特徵、尺度不變特徵轉換SIFT特徵中的一種或幾種；當提取的視覺特徵為SIFT特徵時，針對確定的該圖像中的目標區域圖像，利用SIFT算法，從該目標區域圖像中確定各個關鍵像素點，並分別確定對應於各個關鍵像素點的128維特徵向量，針對每個關鍵像素點對應的128維特徵向量，比較該關鍵像素點對應的128維特徵向量與預設的圖像樣本庫中各個關鍵像素點對應的128維特徵向量之間的距離，確定所述圖像樣本庫中與該關鍵像素點對應的128維特徵向量距離最小的第一關鍵像素點，並確定預先為該第一關鍵像素點分配的編號，將分別針對每個關鍵像素點確定的第一關鍵像素點的編號構成的向量，作為從該目標區域圖像中提取的SIFT特徵。
9.如權利要求7所述的設備，其特徵在於，所述相似度確定模塊具體用於，根據所述圖像庫中包含的不同圖像的描述信息，分別確定對應於不同圖像的文字標註信息，確定用于衡量對應於不同圖像的文字標註信息之間相關性大小的相關性值，並根據確定的相關性值，利用層次聚類方法，將所述圖像庫中包含的圖像分配到多個圖像集合，針對任意圖像集合，根據從該圖像集合所包含的不同圖像中提取到的視覺特徵，確定對應於不同圖像的視覺特徵向量，根據確定的對應於不同圖像的視覺特徵向量，確定不同圖像之間的相似度值。
10.如權利要求7所述的設備，其特徵在於，所述相似度確定模塊具體用於，根據從所述圖像庫中包含的不同圖像中提取到的視覺特徵，確定對應於不同圖像的視覺特徵向量，根據確定的對應於不同圖像的視覺特徵向量，確定不同圖像之間的相似度值。
11.如權利要求7 10任一所述的設備，其特徵在於，所述提取模塊具體用於，對所述圖像執行圖像平滑操作，針對進行了圖像平滑操作後的圖像，以該進行了圖像平滑操作後的圖像中的每個像素點為種子進行區域生長操作，使得該進行了圖像平湖操作後的圖像被分割為若干個區域圖像，並在分割的若干個區域圖像中確定目標區域圖像。
12.如權利要求7所述的設備， 其特徵在於，所述類別確定模塊具體用於，根據確定的圖像之間的相似度值，按照聚類算法，對圖像庫所包含的圖像進行聚類操作，確定圖像庫所包含的圖像所屬的圖像類 別。
全文摘要
本發明公開了一種圖像索引的生成方法及設備，用以解決採用現有技術生成的圖像索引的準確性較低的問題。該方法分別在圖像庫包含的圖像中的目標區域圖像內提取視覺特徵，根據提取的視覺特徵確定圖像之間的相似度值，進而確定圖像所屬的圖像類別，為屬於同一圖像類別的圖像分配相同的類別標識，為屬於不同圖像類別的圖像分配不同的類別標識，將為圖像分配的類別標識作為生成的該圖像庫的圖像索引。採用上述方法，由於生成的圖像索引是基於在圖像中提取的視覺特徵而生成的，因此減小了人工生成圖像索引時所帶來的操作人員對圖像的主觀感受的影響，提高了生成的圖像索引的準確性。
文檔編號G06F17/30GK103207879SQ201210015290
公開日2013年7月17日 申請日期2012年1月17日 優先權日2012年1月17日
發明者鄧宇, 陳克 申請人:阿里巴巴集團控股有限公司