圖像相似度計算系統、圖像搜索系統、圖像相似度計算方法和圖像相似度計算程序的製作方法
2023-05-15 10:17:56
專利名稱：圖像相似度計算系統、圖像搜索系統、圖像相似度計算方法和圖像相似度計算程序的製作方法
技術領域：
本發明涉及一種用於計算多個圖像的相似度的圖像相似度計算系統、圖像相似度計算方法和圖像相似度計算程序，還涉及一種用於檢索與查詢圖像相似的圖像的圖像檢索系統。更具體地講，本發明涉及一種用於檢測原始圖像和編輯圖像之間的相似度的圖像相似度計算系統、圖像相似度計算方法和圖像相似度計算程序，還涉及一種用於檢索與所編輯的查詢圖像相似的圖像的圖像檢索系統。
背景技術：
存在一種要計算要彼此進行比較的兩個圖像之間的相似度的圖像相似度計算方法。通常，這樣的圖像相似度計算方法用於在從所登記的圖像組中檢索與查詢圖像相似的圖像的圖像檢索系統中，計算查詢圖像和被檢索圖像之間的相似度。
專利文獻1描述了一種傳統圖像檢索方法的示例。在專利文獻1中所述的圖像檢索方法將圖像分割為多個塊，並計算每一個塊的特徵量。另外，圖像檢索方法根據針對每一個塊所獲得的特徵量來向每一個塊提供標籤，並通過按指定的次序排列標籤來產生標籤矩陣。該圖像檢索方法將查詢圖像和被檢索圖像之間的圖像相似度計算為從這些圖像中所獲得的標籤列的相似度。在檢索時，相似度超過閾值的被檢索圖像被作為檢索結果輸出。
專利文獻2描述了一種檢索與查詢圖像部分相似的圖像的圖像檢索方法。在專利文獻2中所述的圖像檢索方法輸入查詢圖像和查詢區，即，在查詢圖像中進行檢索的區域。該方法將查詢圖像分割為塊。根據每一個塊和查詢區之間的重疊區來定義權重。該方法使用權重對每一個塊的特徵量進行加權以計算特徵量。相似地，該方法計算被檢索的圖像的特徵量，並對兩個特徵量進行比較以計算圖像相似度。在檢索時，將具有高圖像相似度的圖像輸出為檢索結果。
專利文獻3描述了反映用戶的檢索意圖的圖像檢索方法。在專利文獻3中所述的圖像檢索方法將查詢圖像和被檢索圖像分割為多個區域，並允許用戶為所分割的區域定義不同的權重。該方法通過比較查詢圖像和被檢索圖像之間的相應分割區域的特徵量來獲取相似度。該方法將為每一個分割區域而定義的權重應用於相似度，以計算圖像相似度。由於用戶可以在檢索期間指定需要特徵關注的區域，能夠執行反映用戶的檢索意圖的圖像檢索。
專利文獻1JP-A-1999-312248(段落0012-0013，圖9和13)專利文獻2JP-A-2000-163576(段落0017-0020，圖7和8)專利文獻3JP-A-2001-134765(段落0028-0031，圖11)發明內容然而，專利文獻1中所述的方法假定了查詢圖像和被檢索的圖像之間的一致性。可以通過將紙帶疊置在其上或部分地切割或修剪圖像以部分地改變圖像的圖案來變化地編輯圖像。該方法計算這樣改變的圖像和編輯之前的原始圖像之間的圖像相似度的較小值。存在不能夠獲得充分的吞吐量來確定或從編輯圖像中檢索原始圖像的問題。
儘管專利文獻2所述的方法可以處理具有局部不同的圖案的編輯圖像，但是需要預先指定作為檢索目標的區域。同樣，專利文獻3中所述的方法將權重值賦予了圖像中的每一個區域，需要用戶指定在檢索期間需要特別關注的區域。因此，用戶需要預先指定未編輯的區域來計算圖像相似度，以便確定或從編輯圖像中檢索編輯之前的原始圖像。這樣存在著給用戶帶來極大不變的問題。
已經提出了本發明來解決上述問題。因此，本發明的目的是提供一種圖像相似度計算系統、圖像檢索系統、圖像相似度計算方法和圖像相似度計算程序，能夠將圖像相似度計算為編輯圖像和編輯之前的原始圖像之間的較大值，而不會給用戶帶來指定區域的不便，從而確定或從具有局部改變的圖案的編輯圖像中檢索編輯之前的原始圖像。
根據本發明，提供了一種圖像相似度計算系統、圖像相似度計算方法和圖像相似度計算程序，配置為使用針對要應用於圖像的編輯處理的概率的概率模型；將針對查詢圖像的每一個分割的小區域的特徵量與針對參考圖像的每一個分割的小區域的特徵量進行比較；計算查詢圖像和參考圖像之間的圖像相似度。
根據本發明的另一個實施例，提供了一種圖像相似度計算系統、圖像相似度計算方法和圖像相似度計算程序，配置為考慮針對要應用於圖像的每一個區域的編輯處理的概率的概率模型，將針對查詢圖像的每一個分割的小區域的特徵量與針對參考圖像的每一個分割的小區域的特徵量進行比較；以及計算查詢圖像和參考圖像之間的圖像相似度。
根據本發明的另一實施例，提供了一種圖像相似度計算系統、圖像相似度計算方法和圖像相似度計算程序，配置為將針對查詢圖像的每一個分割的小區域的特徵量與針對參考圖像的每一個分割的小區域的特徵量進行比較；並且利用要應用於圖像的編輯處理的概率的概率模型，計算查詢圖像和參考圖像之間的圖像相似度。
根據本發明的另一個實施例，提供了一種圖像相似度計算系統、圖像相似度計算方法和圖像相似度計算程序，配置為利用要應用於每一個圖像區域的編輯處理的概率的概率模型，將針對查詢圖像的每一個分割的小區域的特徵量與針對參考圖像的每一個分割的小區域的特徵量進行比較；以及利用該概率模型，計算查詢圖像和參考圖像之間的圖像相似度。
根據本發明的優選實施例，例如，提供了一種圖像相似度計算系統，包括局部區域權重計算裝置，用於根據要應用於每一個區域的圖像的編輯處理的概率來計算基於圖像區域的權重值；小區域相似度計算裝置，用於將針對查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較，以計算各個小區域的特徵量的相似度；以及圖像相似度計算裝置，用於將基於區域的權重值應用於計算出的基於小區域的相似度，以計算查詢圖像和參考圖像之間的圖像相似度。上述結構用於考慮針對每一個圖像區域的編輯概率來計算圖像相似度。這樣能夠消除在確定圖像相似度期間的很可能被編輯的區域的效應。能夠針對編輯圖像和原始圖像之間的圖像相似度產生較大值。
根據本發明的優選實施例，例如，提供了一種圖像相似度計算系統，包括匹配確定閾值確定裝置，用於根據要用於每一個區域的圖像的編輯處理的概率來計算確定圖像之間的匹配的閾值；小區域相似度計算裝置，用於將針對通過分割查詢圖像得到的每一個小區域的特徵量與通過分割參考圖像得到的每一個小區域的特徵量進行比較，以計算針對各個小區域的特徵量的相似度；以及圖像相似度計算裝置，用於根據計算出的基於小區域的相似度來計算整個圖像的相似度，利用用於確定匹配的閾值來修改整個圖像的相似度，並且計算查詢圖像和參考圖像之間的圖像相似度。通過該結構，根據要應用於圖像的編輯處理的概率的概率模型來估算圖像之間的相似度的概率分布，並且計算用於確定要比較的兩個圖像之間是否匹配的最佳閾值。該閾值用於修改圖像之間的相似度。能夠針對編輯圖像和原始圖像之間的圖像相似度產生較大值，並且針對完全彼此不相關的兩個圖像之間的圖像相似度，產生較小值。另外，能夠計算適合於確定被編輯的查詢圖像是否是從參考圖像中產生的圖像相似度。
根據本發明的優選實施例，例如，提供了一種圖像檢索系統，包括編輯概率模型估算裝置，用於利用作為輸入提供的學習圖像或設備特性，計算局部區域編輯概率，即，要應用於每一個局部區域的圖像的編輯處理的概率；局部區域權重計算裝置，用於根據局部區域編輯概率來計算局部區域權重值，即，圖像中的每一個局部區域的權重值；圖像分割裝置，用於將作為輸入提供的被編輯的查詢圖像分割為小區域；小區域特徵量提取裝置，用於從分割的小區域中提取查詢圖像小區域特徵量，即，針對每一個小區域的特徵量；參考圖像組小區域特徵量存儲裝置，用於存儲針對由多個預先登記的參考圖像構成的參考圖像組中的各個參考圖像的小區域特徵量；小區域相似度計算裝置，用於將存儲在參考圖像組小區域特徵量存儲部分中的每一個參考圖像的小區域特徵量與查詢圖像小區域特徵量進行比較，以計算小區域相似度，即，針對每一個參考圖像的基於小區域的特徵量的相似度；圖像相似度計算裝置，用於利用從局部區域權重值中得到的基於小區域的權重值，針對每一個參考圖像，對由小區域相似度計算裝置計算出的小區域相似度進行加權；以及計算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；以及檢索結果輸出裝置，用於根據針對每一個參考圖像由圖像相似度計算裝置計算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結果。上述結構用於考慮基於圖像區域的編輯概率來計算圖像相似度。這樣能夠消除在確定圖像相似度期間很可能被編輯的區域的效應。能夠針對編輯圖像和原始圖像之間的圖像相似度產生較大值。
本發明的第一效果在於能夠針對編輯圖像和原始圖像之間的圖像相似度產生較大值。原因在於本發明考慮要應用於圖像的編輯處理的概率的概率模型來計算圖像相似度，因此，能夠消除在確定圖像相似度期間很可能被編輯的區域的效應。
本發明的第二效果在於能夠精確地從編輯圖像中檢索原始圖像。原因在於本發明利用具有能夠針對編輯圖像和原始圖像之間的圖像相似度產生較大值的第一效果的圖像相似度計算方法來檢索圖像。
圖1是示出了本發明第一實施例的配置的方框圖；圖2是示出了本發明第一實施例的操作的流程圖；圖3是示出了如何計算局部區域編輯概率的示意圖；圖4是示出了第一實施例的修改的方框圖；圖5是示出了在編輯概率模型存儲裝置中所存儲的局部區域編輯概率的示例的示意圖；圖6是示出了第一實施例的另一個修改的方框圖；圖7是示出了本發明的第二實施例的配置的方框圖；圖8是示出了本發明第二實施例的操作的流程圖；圖9是示出了本發明第三實施例的配置的方框圖；圖10是示出了本發明第四實施例的配置的方框圖；
圖11是示出了本發明第五實施例的配置的方框圖；圖12是示出了本發明第五實施例的操作的流程圖；圖13是示出了本發明第六實施例的配置的方框圖；圖14是示出了本發明第六實施例的操作的流程圖；圖15是示出了本發明第七實施例的配置的方框圖；圖16是示出了本發明第八實施例的配置的方框圖；圖17是示出了本發明第九實施例的配置的方框圖；圖18是示出了本發明第十實施例的配置的方框圖；圖19是示出了本發明第十一實施例的配置的方框圖；圖20是示出了本發明第十二實施例的配置的方框圖；參考符號說明11特徵量提取部分111圖像分割裝置112小區域特徵量提取裝置12圖像相似度計算部分121小區域相似度計算裝置122圖像相似度計算裝置13編輯概率模型估算裝置139編輯概率模型存儲裝置14局部區域權重計算裝置22圖像相似度計算部分221小區域相似度計算裝置222圖像相似度計算裝置25參考圖像組小區域特徵量存儲部分26檢索結果輸出裝置32圖像相似度計算部分321小區域相似度計算裝置322圖像相似度計算裝置33編輯區域檢測裝置
34局部區域權重計算裝置42圖像相似度計算部分421小區域相似度計算裝置422圖像相似度計算裝置52圖像相似度計算部分521小區域相似度計算裝置522圖像相似度計算裝置53編輯概率模型估算裝置54匹配確定閾值計算裝置62圖像相似度計算部分621小區域相似度計算裝置622圖像相似度計算裝置72圖像相似度計算部分721小區域相似度計算裝置722圖像相似度計算裝置73編輯區域檢測裝置74匹配確定閾值計算裝置82圖像相似度計算部分821小區域相似度計算裝置822圖像相似度計算裝置92圖像相似度計算部分921小區域相似度計算裝置922圖像相似度計算裝置93編輯概率模型估算裝置94局部區域權重計算裝置95匹配確定閾值計算裝置1020圖像相似度計算部分1021小區域相似度計算裝置1022圖像相似度計算裝置1120圖像相似度計算部分
1121小區域相似度計算裝置1122圖像相似度計算裝置113編輯區域檢測裝置114局部區域權重計算裝置1 15匹配確定閾值計算裝置1220圖像相似度計算部分1221小區域相似度計算裝置1222圖像相似度計算裝置具體實施方式
下面將參考附圖來詳細描述實現本發明的最佳方式。
將參考附圖來描述本發明的第一實施例。如圖1的方框圖所示，根據本發明的圖像相似度計算系統的第一實施例在功能上包括特徵量提取部分11、圖像相似度計算部分12、編輯概率模型估算裝置(編輯概率計算裝置的一個示例)13、以及局部區域權重計算裝置14。
特徵量提取部分11功能上包括圖像分割裝置111和小區域特徵量提取裝置112。
當輸入所編輯的查詢圖像時，圖像分割裝置111將查詢圖像分割為小區域。圖像分割裝置111將分割為小區域的查詢圖像輸出到小區域特徵量提取裝置112。編輯處理表明部分地改變圖像圖案。編輯示例包括使諸如紙帶(ticker)、標題和字符等疊置對象重疊在圖像上、部分地切割或修剪圖像、以及部分地鑲嵌或模糊圖像。將圖像分割為小區域的任意方法均可使用。將圖像分割為小區域的方法提供了以下示例例如，將圖像分割為等尺寸的矩形、將圖像分割為不規則尺寸的矩形、以及將圖像分割為各種尺寸的形狀，例如除了矩形之外的圓形和三角形。然而，本發明並不局限於這些分割方法。可以對圖像進行分割，從而使小區域彼此部分地重疊。整個圖像可以不必被分割為小區域。可以僅將部分圖像分割為小區域。
小區域特徵量提取裝置112從特徵量提取部分11中輸入的被分割為小區域的查詢圖像中提取針對每一個小區域的特徵量。小區域特徵量提取裝置112將提取的查詢圖像的小區域特徵量輸出到小區域相似度計算裝置121。要提取的小區域特徵量的示例包括顏色信息、邊緣信息、紋理信息、形狀信息和運動信息。本發明並不局限於此。
涉及顏色信息的小區域特徵量由代表值來示例表示，例如針對每一個小區域中的所有像素值的平均值、模值和中值、以及針對像素值的出現直方圖。像素值表明了用於各種顏色空間(例如RGB顏色空間、HSV顏色空間、YUV顏色空間、YIQ顏色空間、YCbCr顏色空間、L*a*b顏色空間和XYZ顏色空間)的坐標值。優選的是，可以使用涉及顏色信息的特徵量，例如在國際標準ISO/IEC 15938-3中所指定的主色、顏色布局、可擴縮(scalable)顏色和顏色結構。
作為涉及邊緣信息的小區域特徵量的示例，優選地，可以使用特徵量(此後被稱為邊緣元素特徵量)來描述針對每一個小區域的全局邊緣圖案，作為多個邊緣圖案中的最佳匹配圖案。另外，優選地，可以使用針對每一個小區域中的本地邊緣圖案的出現直方圖。而且，優選地，可以使用在ISO/IEC 15938-3中所指定的邊緣直方圖。涉及紋理信息的特徵量示例包括在ISO/IEC 15938-3中所指定的均勻紋理和紋理瀏覽。涉及形狀信息的特徵量的示例包括在ISO/IEC 15938-3中所指定的區域形狀、輪廓形狀和形狀3D。
當查詢圖像為運動畫面中的幀圖像時，優選地，可以使用運動信息作為小區域特徵量。針對運動信息的特徵量的示例包括ISO/IEC15938-3中所指定的參數運動和運動行為。
編輯概率模型估算裝置13根據執行作為輸入提供的編輯過程的設備的所編輯的學習圖像或特性，來計算局部圖像編輯概率，即，應用於圖像中的每一個局部區域的編輯過程的概率。編輯概率模型估算裝置13將計算出的局部區域編輯概率輸出到局部區域權重計算裝置14。優選地，局部區域對應於由圖像分割裝置111所分割的小區域。另外，局部區域可以對應於進一步分割由圖像分割裝置111分割的小區域所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割後的區域中的任何一個。
學習圖像或圖像表明了一個或更多編輯圖像，用作編輯概率模型估算裝置13計算局部區域編輯概率的基準。例如，當將本發明應用於視頻編輯設備時，可以將構成任意編輯視頻的幀圖像用作學習圖像。學習圖像並不局限於單一的類型。該學習圖像可以分類為以在屏幕上應用諸如疊置紙帶等編輯處理的位置為特性的類型。這些類型的示例包括用作新節目的新聞圖像、用作體育節目的體育圖像、以及用作各類節目的各類圖像。例如，體育圖像被認為具有將編輯處理應用於屏幕的周圍的較高概率。各類節目圖像被認為具有將編輯處理應用於屏幕中心的較高概率。按照該方式，較好的做法為獨立於針對各類節目圖像的學習圖像來使用針對體育圖像的學習圖像。在該情況下，編輯概率模型估算裝置13計算基於類型的局部區域編輯概率。用戶能夠指定查詢圖像的類型，以使用與查詢圖像的類型相對應的局部區域編輯概率。
當輸入所編輯的學習圖像時，通過指定在學習圖像中應用編輯過程的區域來測量局部區域編輯概率。指定編輯區域的方法不僅可以包括手動方法，還可以包括自動地檢測編輯處理的方法，例如將圖像信息與文本信息相分離的方法(此後稱之為紙帶檢測方法)，如JP-A-2003-179888中所述。執行編輯處理的設備的特性可以被作為輸入提供。在這樣的情況下，根據由該設備應用於圖像的編輯圖案和根據與使用每一個編輯圖案的頻率有關的信息來測量局部區域編輯概率的方法是可用的。
該設備特性的示例包括由編輯設備應用於圖像的編輯圖案和與使用每一個編輯圖案的頻率有關的信息。例如，本發明可以應用於視頻編輯設備。使用給定的視頻編輯設備可以引起處理屏幕上的一個或更多特定區域的較高概率。使用另一個視頻編輯設備可以引起編輯屏幕上的一個或更多不同的特定區域的較高概率。在這種情況下，能夠使用指示這些區域的信息，以便將其編輯為指示編輯圖案的信息。另外，例如，體育圖像被認為具有將編輯處理應用於屏幕的周圍區域的較高概率。各類節目圖像被認為具有將編輯處理應用於屏幕中心區域的較高概率。在該情況下，能夠使用指示這些區域的信息以便將其編輯為指示編輯圖案的信息。也就是，當使用設備(例如紙帶插入設備)來根據圖像類型改變編輯圖案時，設備特性不僅包括原先所暗含的設備特性，而且包括編輯圖案和與使用每一個編輯圖案的頻率有關的信息。
局部區域權重計算裝置14根據從編輯概率模型估算裝置13提供的局部區域編輯概率來計算局部區域權重值。局部區域權重值對從圖像的局部區域中所提取的特徵量如何有效地用於對整個圖像的相似度的計算進行量化。局部區域權重計算裝置14將所計算出的局部區域權重值輸出到圖像相似度計算裝置122。有效的是，與分配給局部區域的局部區域編輯概率的減少成正比地設置更大的局部區域權重值。計算局部區域權重值的方法示例，如下局部區域權重值＝1-部區域編輯概率本發明並不局限於此。當局部區域編輯概率較高時，可以賦予較小的局部區域權重值。而當局部區域編輯概率較低時，可以賦予較大的局部區域權重值。在圖像相似度計算處理期間，優選地，可以使用能夠消除高可能性被編輯的區域的效應的其他計算方法。
如同編輯概率模型估算裝置13中的局部區域，優選地，局部區域對應於由圖像分割裝置111所分割的小區域。另外，局部區域可以對應於進一步分割由圖像分割裝置111分割的小區域所得到的多個更小區域中的任何一個。此外，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割後的區域中的任何一個。
圖像相似度計算部分12功能上包括小區域相似度計算裝置121和圖像相似度計算裝置122。
小區域相似度計算裝置121將從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量與作為輸入提供的參考圖像的小區域特徵量進行比較。小區域相似度計算裝置121計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置121將計算出的小區域相似度輸出到圖像相似度計算裝置122。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在ISO/IEC 15938-3中所指定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0之類的二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或者如果正在比較的邊緣元素不匹配，則將相似度設置為0。作為輸入提供的參考圖像包括涉及小區域特徵量的小區域。優選地，該小區域對應於涉及從小區域特徵量提取裝置112輸入的查詢圖像的小區域特徵量的小區域。這是因為可以對相應的小區域直接進行相互比較。
不同的圖像分割方法可以引起查詢圖像的小區域和參考圖像的小區域之間的差異。在這種情況下，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，然後計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，然後，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
小區域相似度計算裝置121將小區域相似度輸入到圖像相似度計算裝置122。圖像相似度計算裝置122利用從局部區域權重計算裝置14輸入的局部區域權重值中得到的針對每一個小區域的權重值，對該小區域相似度進行加權。圖像相似度計算裝置122根據所得到的加權的小區域相似度來計算圖像相似度，即，整個圖像的相似度，並輸出計算出的圖像相似度。計算圖像相似度的方法包括找到針對所有小區域的加權小區域相似度的總和、或找到其平均值。
如果從局部區域權重計算裝置14輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置121輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，較好的做法是使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將小區域相似度的小區域分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對多個局部區域權重值的平均值，來產生與小區域相似度的小區域相對應的權重值。可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。
圖像相似度計算系統可在計算機上實現。圖像相似度計算系統包括以下組件例如，特徵量提取部分11、圖像相似度計算部分12、編輯概率模型估算裝置13和局部區域權重計算裝置14。這些組件可以被實現為允許計算機的中央處理單元(CPU)執行上述功能的程序。也就是說，構成圖像相似度計算系統的組件可在計算機上實現，並且可以實現為程序。這不僅應用於第一實施例，而且應用於稍後將要描述的其他實施例。
現在將參考圖1的方框圖和圖2的流程圖來描述第一實施例的操作。
將學習圖像或設備特性作為輸入來提供(步驟A1)。編輯概率模型估算裝置13根據輸入的學習圖像或設備特性來計算局部區域編輯概率，即，將編輯處理應用於圖像的每一個局部區域的概率(步驟A2)。
圖3是示出了編輯概率模型估算裝置13如何計算局部區域編輯概率的示意圖。根據圖3所示的示例，將與圖像數據相對應的圖像區域分割為16個局部區域。當將編輯處理應用於針對多個學習圖像中的每一個圖像的各個局部區域時，編輯概率模型估算裝置13指示「1」。否則，編輯概率模型估算裝置13指示「0」。編輯概率模型估算裝置13執行諸如對每一個局部區域進行平均以計算編輯處理應用於每一個局部區域的概率的過程。也就是，編輯概率模型估算裝置13估算指示局部區域編輯概率的概率模型。這裡僅描述了估算概率模型的方法的示例。可以使用其他方法。
編輯概率模型估算裝置13將計算出的局部區域編輯概率輸出到局部區域權重計算裝置14。根據該局部區域編輯概率，局部區域權重計算裝置14計算局部區域權重值，即，針對圖像中的每一個局部區域的權重值(步驟A3)。
將所編輯的查詢圖像作為輸入來提供(步驟A4)。圖像分割裝置111將輸入的查詢圖像分割為小區域，並將分割為小區域的圖像輸出到小區域特徵量提取裝置112(步驟A5)。小區域特徵量提取裝置112提取查詢圖像小區域特徵量，即針對分割圖像的每一個小區域的特徵量。然後，小區域特徵量提取裝置112將所提取的查詢圖像小區域特徵量輸出到小區域相似度計算裝置121(步驟A6)。將參考圖像的小區域特徵量作為輸入來提供(步驟A7)。小區域相似度計算裝置121計算小區域相似度，即，通過將輸入的參考圖像的小區域特徵量與查詢圖像的小區域特徵量進行比較獲得的特徵量之間的特徵量相似度。小區域相似度計算裝置121將計算出的小區域相似度輸出到圖像相似度計算裝置122(步驟A8)。然後，圖像相似度計算裝置122利用由局部區域權重計算裝置14在步驟A3處計算出的局部區域權重值中所得到的針對每一個小區域的權重值，來對小區域相似度進行加權。圖像相似度計算裝置122計算查詢圖像和參考圖像之間的圖像相似度(步驟A9)。按照該方式，使用局部區域權重值能夠消除很可能地被編輯區域的效應。最後，圖像相似度計算裝置122輸出計算出的圖像相似度(步驟A10)。
本發明的第一實施例向分割圖像的每一個小區域的相似度提供考慮到編輯圖像的概率模型而計算出的權重，以計算圖像相似度。結果，圖像相似度計算可以免於很可能性被編輯區域的效應。能夠正確地測量在編輯之前查詢圖像與參考圖像的狀態之間的相似度。能夠針對編輯圖像和原始圖像之間的圖像相似度來產生較大值。另外，本發明的第一實施例不需要從查詢圖像中檢測被編輯區域的處理。局部區域權重值是根據學習圖像或設備特性而計算出的。因此，另一過程可以用來提前找到局部區域權重值，能夠快速計算圖像相似度。
根據該實施例，圖像相似度計算裝置122考慮編輯由編輯概率模型估算裝置13估算出的圖像的概率模型，特別是，考慮到編輯針對每一個局部區域的圖像的概率模型，來計算圖像相似度。此外，小區域相似度計算裝置121可以考慮概率模型，將輸入參考圖像的小區域特徵量與查詢圖像的小區域特徵量進行比較，並計算小區域相似度，即，針對小區域的特徵量之間的相似度。例如，優選地，可以向很可能性被編輯的小區域提供將小區域相似度調節為較小值的處理。應該注意，小區域相似度計算裝置121可以考慮到概率模型來計算小區域相似度。其還應用於以下所述的其他實施例。
編輯概率模型估算裝置13不需要在與每一個查詢圖像的輸入相對應的定時處計算局部區域編輯概率。例如，編輯概率模型估算裝置13可以在按照本發明所應用的設備或系統時、或在稍後的周期性時間點處，計算局部區域編輯概率。編輯概率模型估算裝置13保持計算結果。當輸入查詢圖像時，編輯概率模型估算裝置13將所保持的局部區域編輯概率輸出到局部區域權重計算裝置14。這還應用於根據稍後所述的其他實施例的編輯概率模型估算裝置。
因此，優選地，可以預先計算局部區域編輯概率，並將計算出的局部區域編輯概率存儲在諸如ROM等存儲裝置中。圖4是示出了第一實施例的修改的方框圖。根據該修改，提供了一個存儲裝置來存儲局部區域編輯概率，而非編輯概率模型估算裝置13。
根據圖4所示的配置，編輯概率模型存儲裝置139存儲局部區域編輯概率。優選地，局部區域對應於由圖像分割裝置111分割的小區域。此外，局部區域可以對應於由於進一步分割由圖像分割裝置111所分割的小區域所得到的多個更小區域的任何一個。而且，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按照與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割的任何區域。局部區域編輯概率不僅可以被存儲為所有圖像共同使用的值，而且可以根據要使用的圖像類型而存儲為不同的值，例如新聞圖像、體育圖像和各類圖像。在後一種情況下，用戶可以指定查詢圖像類型來使用與查詢圖像類型相對應的局部區域編輯概率。
圖5示出了編輯概率模型存儲裝置139中所存儲的局部區域編輯概率的示例的示意圖。在該示例中，編輯概率模型存儲裝置139存儲了編輯從與新聞、體育和各類圖像相對應的圖像分割的局部區域的每一個的概率。新聞或體育圖像很可能在圖像的左上、右上和底部被編輯。因此，將較大值賦予針對相應局部區域的局部區域編輯概率。各類圖像也包含用於在圖像的中心處應用編輯處理的概率的較大值。
除了圖4中的編輯概率模型存儲裝置139之外的其他塊具有與圖1所示的塊相同的配置和操作。該修改消除了對提供具有計算功能的編輯概率模型估算裝置13的需要。
優選地，可以將局部區域編輯概率存儲在諸如閃速存儲器等可重寫存儲裝置中，並能夠改變局部區域編輯概率。圖6是示出了第一實施例的另一種修改的方框圖。根據該修改，提出了一種可重寫存儲裝置來存儲局部區域編輯概率，而非編輯概率模型估算裝置13。
根據圖6所示的配置，編輯概率模型估算裝置13根據所編輯的學習圖像或執行根據需要作為附加輸入提供的編輯處理的設備特性，計算局部區域編輯概率，即，應用於圖像中的每一個局部區域的編輯處理的概率。編輯概率模型估算裝置13將計算出的局部區域編輯概率輸出到編輯概率模型更新裝置149。例如，周期性地或在出現可能極大地改變編輯概率模型的事件時，向編輯概率模型估算裝置13提供學習圖像或執行編輯處理的設備特性。
編輯概率模型更新裝置149讀取在編輯概率模型存儲裝置139中預先存儲的局部區域編輯概率。編輯概率模型更新裝置149利用從編輯概率模型存儲裝置139中讀取的局部區域編輯概率和從編輯概率模型估算裝置13中輸入的局部區域編輯概率，來更新局部區域編輯概率。編輯概率模型更新裝置149將更新的局部區域編輯概率存儲在編輯概率模型存儲裝置139中。另外，編輯概率模型更新裝置149通過將從編輯概率模型存儲裝置139中所讀取的新局部區域編輯概率不變地存儲在編輯概率模型存儲裝置139中，來更新局部區域編輯概率。
圖6所示的除了編輯概率模型更新裝置149和編輯概率模型存儲裝置139之外的其他塊具有與圖1所示的塊相同的配置和操作。該修改可以保持在編輯概率模型存儲裝置139中所存儲的局部區域編輯概率的適當內容。
將參考附圖進一步詳細地描述本發明的第二實施例。如圖7的方框圖所示，第二實施例與第一實施例的區別如下。根據本發明的圖像相似度計算系統的第二實施例用圖像相似度計算部分22來替換根據第一實施例的圖1所示的圖像相似度計算部分12。第二實施例包括參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26。第二實施例提供了一種具有參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26的圖像相似度計算系統。這樣的系統實現了圖像檢索系統。
參考圖像組小區域特徵量存儲部分25存儲了針對預先存儲的多個參考圖像的小區域特徵量。參考圖像組小區域特徵量存儲部分25存儲了針對各個參考圖像的小區域特徵量。優選地，涉及這些小區域特徵量的每一個的小區域對應於由圖像分割裝置111所分割的查詢圖像的小區域。另外，該小區域可以是與查詢圖像的小區域不同形狀和尺寸分割而成的區域。
圖像相似度計算部分22功能上包括小區域相似度計算裝置221和圖像相似度計算裝置222。
小區域相似度計算裝置221在圖像的基礎從參考圖像組小區域特徵量存儲部分25中讀取針對多個參考圖像的小區域特徵量。小區域相似度計算裝置221將針對每一個參考圖像的所讀取的小區域特徵量與從小區域特徵量提取裝置112中輸入的查詢圖像的小區域特徵量進行比較。小區域相似度計算裝置221計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置221將計算出的針對參考圖像組中的每一個參考圖像的小區域相似度輸出到圖像相似度計算裝置222。
可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在國際標準ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。不同的圖像分割方法可以引起涉及從小區域特徵量提取裝置112輸入的查詢圖像的小區域特徵量的小區域、與涉及從參考圖像組小區域特徵量存儲部分25讀取的參考圖像的小區域特徵量的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，然後，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
從小區域相似度計算裝置221向圖像相似度計算裝置222提供針對參考圖像組的每一個參考圖像的小區域相似度。圖像相似度計算裝置222利用從局部區域權重計算裝置14提供的局部區域權重值中得到的基於小區域的權重值，對所提供的小區域相似度進行加權。圖像相似度計算裝置222根據所得到的加權的小區域相似度來計算圖像相似度，即，整個圖像的相似度。圖像相似度計算裝置222將計算出的針對參考圖像組中的每一個參考圖像的圖像相似度輸出到檢索結果輸出裝置26。
計算圖像相似度的方法包括找到針對所有小區域的加權小區域相似度的總和、或找到其平均值。如果從局部區域權重計算裝置14輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置121輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，較好的做法是使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將具有小區域相似度的小區域分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對多個局部區域權重值的平均值，來產生與小區域相似度的小區域相對應的權重值。
可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。
檢索結果輸出裝置26根據針對從圖像相似度計算裝置222提供的參考圖像組中的參考圖像的圖像相似度來進行操作，並輸出從參考圖像組中對查詢圖像的檢索結果。存在從輸出參考圖像組中的所有參考圖像中輸出具有最大圖像相似度的參考圖像的檢索方法。另外，優選地，可以將參考圖像組中的參考圖像的圖像相似度與預定閾值進行比較，並輸出其圖像相似度等於或大於閾值的所有參考圖像。
現在將參考圖2的方框圖和圖7的流程圖來描述第二實施例的操作。
將學習圖像或設備特性作為輸入提供給編輯概率模型估算裝置13(步驟B1)。編輯概率模型估算裝置13根據輸入的學習圖像或設備特性來計算局部區域編輯概率，即，編輯圖像中的每一個局部區域的概率。編輯概率模型估算裝置13將計算出的局部區域編輯概率輸出到局部區域權重計算裝置14(步驟B2)。局部區域權重計算裝置14根據局部區域編輯概率來計算局部區域權重值，即，圖像中的每一個局部區域的權重值(步驟B3)。
將所編輯的查詢圖像作為輸入提供給圖像分割裝置111(步驟B4)。圖像分割裝置111將輸入的查詢圖像分割為小區域，並將分割為小區域的圖像輸出到小區域特徵量提取裝置112(步驟B5)。小區域特徵量提取裝置112提取查詢圖像小區域特徵量，即針對分割為小區域的圖像中的每一個小區域的特徵量。小區域特徵量提取裝置112將所提取的查詢圖像小區域特徵量輸出到小區域相似度計算裝置221(步驟B6)。小區域相似度計算裝置221從參考圖像組小區域特徵量存儲部分25中讀取針對一個參考圖像的小區域特徵量(步驟B7)。
小區域相似度計算裝置221將一個所讀取的參考圖像的小區域特徵量與查詢圖像的小區域特徵量進行比較，以計算小區域相似度，即，針對每一個小區域的特徵量相似度。小區域相似度計算裝置221將計算出的小區域相似度輸出到圖像相似度計算裝置222(步驟B8)。然後，圖像相似度計算裝置222利用由局部區域權重計算裝置14在步驟B3計算出的局部區域權重值中所得到的針對每一個小區域的權重值，來對小區域相似度進行加權。圖像相似度計算裝置222計算所述一個讀取的參考圖像和查詢圖像之間的圖像相似度(步驟B9)。該處理檢查是否針對參考圖像組小區域特徵量存儲部分25中所存儲的所有參考圖像計算出了圖像相似度(步驟B10)。當仍存在其圖像相似度未被計算的參考圖像時，該過程返回到步驟B7。當針對所有參考圖像計算了圖像相似度時，該過程進行到步驟B11。最後，檢索結果輸出裝置26根據針對所有參考圖像的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結果。
本發明的第二實施例利用具有根據本發明第一實施例的效果的圖像相似度計算方法來檢索圖像。該第二實施例利用通過消除很可能被編輯的區域而計算出的圖像相似度來檢索圖像。因此，第二實施例可以從編輯圖像中精確地檢索原始圖像。與第一實施例類似，第二實施例不需要從查詢圖像中檢索被編輯區域的過程，並能夠預先找到局部區域權重值，從而實現了快速圖像檢索。
第一實施例的修改也可以應用於第二實施例。也就是說，可以設置編輯概率模型存儲裝置139，替代編輯概率模型估算裝置13。優選地，可以設置編輯概率模型更新裝置149和編輯概率模型存儲裝置139。
將參考附圖進一步詳細地描述本發明的第三實施例。如圖9的方框圖所示，根據本發明的圖像相似度計算系統的第三實施例包括特徵量提取部分11、圖像相似度計算部分32、編輯區域檢測裝置(編輯概率計算裝置的示例)33和局部區域權重計算裝置34。特徵量提取部分11與針對第一實施例所設置的相同。
編輯區域檢測裝置33使用自動檢測被編輯的區域的方法，例如針對作為輸入提供的被編輯查詢圖像的紙帶檢測方法。利用該方法，編輯區域檢測裝置33計算本地編輯概率，即將編輯處理應用於查詢圖像中的每一個局部區域的概率。編輯區域檢測裝置33將計算出的局部區域編輯概率輸出到局部區域權重計算裝置34。局部區域編輯概率可以具有任何概率值或二進位值1或0。局部區域可以對應於由於對由圖像分割裝置111所分割的小區域進一步分割所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像中的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的形狀和尺寸分割的區域中的任何一個。
局部區域權重計算裝置34根據從編輯區域檢測裝置33提供的局部區域編輯概率來計算局部區域權重值。局部區域權重值對從圖像的局部區域中所提取的特徵量如何有效地用於對整個圖像的相似度的計算進行量化。局部區域權重計算裝置34將所計算出的局部區域權重值輸出到圖像相似度計算裝置322。優選地，局部區域對應於由圖像分割裝置111所分割的小區域。另外，局部區域可以對應於進一步分割由圖像分割裝置111分割的小區域所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割後的區域中的任何一個。存在計算局部區域權重值的方法示例，如下局部區域權重值＝1-局部區域編輯概率本發明並不局限於此。在圖像相似度計算處理期間，優選地，可以使用其他能夠消除很可能被編輯的區域的計算方法。編輯區域檢測裝置33可以將局部區域編輯概率作為諸如1和0等二進位概率值來提供。在這種情況下，存在將多個局部區域合成到新的局部區域中的方法。該方法找到局部區域權重值，作為合成之前具有局部區域編輯概率值0的局部區域包括在合成之後的局部區域中的區域比。
圖像相似度計算部分32功能上包括小區域相似度計算裝置321和圖像相似度計算裝置322。
小區域相似度計算裝置321將從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量與作為輸入提供的參考圖像的小區域特徵量進行比較。小區域相似度計算裝置321計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置321將計算出的小區域相似度輸出到圖像相似度計算裝置322。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。
當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。優選地，涉及針對作為輸入提供的參考圖像的小區域特徵量的小區域對應於涉及從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量的小區域。這是因為可以對相應的小區域直接進行相互比較。不同的圖像分割方法可以引起查詢圖像的小區域和參考圖像的小區域之間的差異。為了解決這一問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
小區域相似度計算裝置321輸入小區域相似度。圖像相似度計算裝置322利用從局部區域權重計算裝置34輸入的局部區域權重值中得到的針對每一個小區域的權重值，對該小區域相似度進行加權。圖像相似度計算裝置322根據所得到的加權的小區域相似度來計算圖像相似度，即，整個圖像的相似度，並輸出計算出的圖像相似度。計算圖像相似度的方法包括找到針對所有小區域的加權小區域相似度的總和、或找到其平均值。
如果從局部區域權重計算裝置34輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置321輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，較好的做法是使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將小區域相似度的小區域分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對多個局部區域權重值的平均值，來產生與小區域相似度的小區域相對應的權重值。
可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。
類似於第一實施例，第三實施例通過消除很可能被編輯的區域的效應來計算圖像相似度。此外，第三實施例根據直接從查詢圖像中計算出的局部區域編輯概率來計算局部區域權重值。第一實施例啟發式地根據學習圖像或設備特性來找到局部區域權重值，作為平均值。不同於第一實施例，第三實施例計算針對每一個查詢圖像的局部區域權重值，能夠計算針對編輯圖像和原始圖像之間的圖像相似度的較大值。另外，第三實施例不需要學習圖像或設備特性作為輸入。
參考附圖進一步詳細地描述本發明的第四實施例。如圖10的方框圖所示，第四實施例與第三實施例的區別如下。根據本發明的圖像相似度計算系統的第四實施例用圖像相似度計算部分42來替換根據第三實施例的圖9所示的圖像相似度計算部分32。第四實施例設置了參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26。該參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26與第二實施例相同。
圖像相似度計算部分42功能上包括小區域相似度計算裝置421和圖像相似度計算裝置422。
小區域相似度計算裝置421以圖像為基礎從參考圖像組小區域特徵量存儲部分25中讀取針對多個參考圖像的小區域特徵量。小區域相似度計算裝置421將針對每一個參考圖像的所讀取的小區域特徵量與從小區域特徵量提取裝置112中輸入的查詢圖像的小區域特徵量進行比較。小區域相似度計算裝置421計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置421將計算出的針對參考圖像組中的每一個參考圖像的小區域相似度輸出到圖像相似度計算裝置422。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。
當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在國際標準ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。不同的圖像分割方法可以引起涉及從小區域特徵量提取裝置112輸入的查詢圖像的小區域特徵量的小區域、與涉及從參考圖像組小區域特徵量存儲部分25讀取的參考圖像的小區域特徵量的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
從小區域相似度計算裝置421向圖像相似度計算裝置422提供針對參考圖像組的每一個參考圖像的小區域相似度。圖像相似度計算裝置422利用從局部區域權重計算裝置34提供的局部區域權重值中得到的基於小區域的權重值，對所提供的小區域相似度進行加權。圖像相似度計算裝置422根據所得到的加權的小區域相似度來計算圖像相似度，即，整個圖像的相似度。圖像相似度計算裝置422將計算出的針對參考圖像組中的每一個參考圖像的圖像相似度輸出到檢索結果輸出裝置26。
計算圖像相似度的方法包括針對所有小區域的加權小區域相似度求總和、或求其平均值。如果從局部區域權重計算裝置34輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置421輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，較好的做法是使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將具有小區域相似度的小區域分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對多個局部區域權重值的平均值，來產生與小區域相似度的小區域相對應的權重值。
另外，可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。
類似於第二實施例，檢索結果輸出裝置26輸出檢索結果。
第四實施例利用具有根據本發明第三實施例的效果的圖像相似度計算方法來檢索圖像。不同於第二實施例，第四實施例計算針對每一個詢圖像的局部區域權重值，使其能夠更精確地從編輯圖像中檢索原始圖像。類似於第三實施例，第四實施例不需要學習圖像或設備特性作為輸入。
參考附圖進一步詳細描述本發明的第五實施例。如圖11的方框圖所示，根據本發明的圖像相似度計算系統的第五實施例包括特徵量提取部分11、圖像相似度計算部分52、編輯概率模型估算裝置53和匹配確定閾值計算裝置54。特徵量提取部分11與針對本發明第一實施例所設置的相同。
編輯概率模型估算裝置53(編輯概率計算裝置的示例)根據被編輯的學習圖像或執行作為輸入提供的編輯處理的設備的特性，計算局部區域編輯概率或編輯目標的局部區域計數概率分布。局部區域編輯概率表明了編輯圖像中的每一個局部區域的概率。編輯目標的局部區域計數概率分布表明了要被編輯的圖像的局部區域數目的概率分布。編輯概率模型估算裝置53將計算出的局部區域編輯概率或編輯目標的局部區域計數概率分布輸出到匹配確定閾值計算裝置54。
設備特性的示例包括由編輯設備應用於圖像的編輯圖案和與使用每一個編輯圖案的頻率有關的信息。優選地，局部區域對應於由圖像分割裝置111所分割的小區域。另外，局部區域可以對應於進一步分割由圖像分割裝置111分割的小區域所得到的多個更小區域中的任火熱一個。而且，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割後的區域中的任火熱一個。
當將編輯的學習圖像被作為學習圖像輸入時，通過指定在學習圖像中應用編輯過程的區域來測量局部區域編輯概率。指定編輯區域的方法不僅可以包括手動方法，還可以包括自動地檢測編輯處理的方法，例如紙帶檢測方法。執行編輯處理的設備的特性可以被作為輸入提供。在這樣的情況下，根據由該設備應用於圖像的編輯圖案和根據與使用每一個編輯圖案的頻率有關的信息來測量局部區域編輯概率的方法是可用的。
匹配確定閾值計算裝置54根據從編輯概率模型估算裝置53提供的局部區域編輯概率或編輯目標的局部區域計數概率分布如下操作。匹配確定閾值計算裝置54計算針對稍後將要描述的圖像相似度計算裝置522得到的整個圖像的相似度的匹配確定閾值。匹配確定閾值表示由於確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計算裝置54將計算出的匹配確定閾值輸出到圖像相似度計算裝置522。存在計算最佳閾值的方法。該方法估算整個圖像的相似度的出現概率分布。該方法根據局部區域編輯概率或編輯目標的局部區域計數概率分布，估算從具有部分改變的圖案的編輯圖像和原始圖像之間的圖像的小區域的相似度得到的整個圖像的相似度的出現概率分布。根據所估算出的整個圖像相似度的出現概率分布，該方法找到確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。該方法在估算整個圖像的相似度的出現概率分布的同時，提供了由於編輯處理而造成的圖案變化的效果。此外，優選地，其可以提供由於對圖像重新進行編碼而產生的噪聲出現造成的特徵量變化的效果。
圖像相似度計算部分52功能上包括小區域相似度計算裝置521和圖像相似度計算裝置522。
小區域相似度計算裝置521將從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量與作為輸入提供的參考圖像的小區域特徵量進行比較。小區域相似度計算裝置521計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置521將計算出的小區域相似度輸出到圖像相似度計算裝置522。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。
當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。優選地，涉及針對作為輸入提供的參考圖像的小區域特徵量的小區域對應於涉及從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量的小區域。這是因為可以對相應的小區域直接進行相互比較。不同的圖像分割方法可以引起查詢圖像的小區域和參考圖像的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
圖像相似度計算裝置522利用從小區域相似度計算裝置521提供的小區域相似度來計算整個圖像的相似度。圖像相似度計算裝置522利用從匹配確定閾值計算裝置54提供的匹配確定閾值來修改計算出的整個圖像的相似度。該圖像相似度計算裝置522將修改的相似度作為圖像相似度輸出。計算整個圖像的相似度的方法包括求出針對所有小區域的小區域相似度的總和、或求其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
現在將參考圖11的方框圖和圖12的流程圖來描述第五實施例的操作。
將學習圖像或設備特性作為輸入提供給編輯概率模型估算裝置53(步驟C1)。編輯概率模型估算裝置53根據所提供的學習圖像或設備特性來計算局部區域編輯概率或編輯目標局部區域計數概率分布。局部區域編輯概率表明了編輯圖像中的每一個局部區域的概率。編輯目標的局部區域計數概率分布表明了要被編輯的圖像的局部區域數目的概率分布。編輯概率模型估算裝置53將計算出的局部區域編輯概率或編輯目標局部區域計數概率分布輸出到匹配確定閾值計算裝置54(步驟C2)。根據局部區域編輯概率或編輯目標局部區域計數概率分布，匹配確定閾值計算裝置54計算匹配閾值，即，用於確定圖像之間的匹配的閾值(步驟C3)。
將所編輯的查詢圖像作為輸入提供給圖像分割裝置111(步驟C4)。圖像分割裝置111將分割為小區域的圖像輸出到小區域特徵量提取裝置112(步驟C5)。小區域特徵量提取裝置112提取查詢圖像小區域特徵量，即針對圖像中的每一個分割的小區域的特徵量。小區域特徵量提取裝置112將所提取的查詢圖像小區域特徵量輸出到小區域相似度計算裝置521(步驟C6)。將參考圖像的小區域特徵量作為輸入提供給小區域相似度計算裝置521(步驟C7)。小區域相似度計算裝置521將所提供的參考圖像的小區域特徵量與查詢圖像的小區域特徵量進行比較，以計算小區域相似度，即，針對每一個小區域的特徵量相似度。小區域相似度計算裝置521將計算出的小區域相似度輸出到圖像相似度計算裝置522(步驟C8)。圖像相似度計算裝置522根據小區域相似度來計算整個圖像的相似度。圖像相似度計算裝置522利用由匹配確定閾值計算裝置54在步驟C3處計算出的匹配確定閾值來修改整個圖像的相似度，以計算查詢圖像和參考圖像之間的圖像相似度(步驟C9)。最後，圖像相似度計算裝置522輸出計算出的圖像相似度(步驟C10)。
根據用於編輯圖像的概率模型，第五實施例計算用於確定要比較的兩個圖像之間的匹配的最佳閾值。根據該閾值，該實施例修改圖像之間的相似度以計算圖像相似度。該實施例根據用於確定圖像之間的匹配的閾值來修改相似度。因此，該實施例可以計算適合於確定被編輯的查詢圖像是否是從參考圖像中產生的圖像相似度。第五實施例不需要從查詢圖像中檢測編輯區域的處理。該實施例根據學習圖像或設備特性來計算匹配確定閾值。因此，能夠利用另一處理預先得出匹配確定閾值，並且能夠快速計算圖像相似度。
第一實施例的修改也可以應用於第五實施例。也就是說，可以設置編輯概率模型存儲裝置來替代編輯概率模型估算裝置53。優選地，可以設置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進一步詳細地描述本發明的第六實施例。如圖13的方框圖所示，第六實施例與第五實施例的區別如下。根據本發明的圖像相似度計算系統的第六實施例用圖像相似度計算部分62來替換根據第五實施例的圖11所示的圖像相似度計算部分52。第六實施例包括參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26。該參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26與針對第二實施例所設置的相同。
圖像相似度計算部分62功能上包括小區域相似度計算裝置621和圖像相似度計算裝置622。
小區域相似度計算裝置621以圖像為基礎從參考圖像組小區域特徵量存儲部分25中讀取針對多個參考圖像的小區域特徵量。小區域相似度計算裝置621將針對每一個參考圖像的所讀取的小區域特徵量與從小區域特徵量提取裝置112中輸入的查詢圖像的小區域特徵量進行比較。小區域相似度計算裝置621計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置621將計算出的針對參考圖像組中的每一個參考圖像的小區域相似度輸出到圖像相似度計算裝置622。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。
例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在國際標準ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。不同的圖像分割方法可以引起涉及從小區域特徵量提取裝置112輸入的查詢圖像的小區域特徵量的小區域、與涉及從參考圖像組小區域特徵量存儲部分25讀取的參考圖像的小區域特徵量的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，然後，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
圖像相似度計算裝置622根據從小區域相似度計算裝置621提供的針對參考圖像組中的參考圖像的小區域相似度，來計算整個圖像的相似度。圖像相似度計算裝置622利用從匹配確定閾值計算裝置54提供的匹配確定閾值來修改計算出的整個圖像的相似度。該圖像相似度計算裝置622向檢索結果輸出裝置26輸出圖像相似度，即，參考圖像組中的參考圖像的相似度。計算整個圖像的相似度的方法包括求出針對所有小區域的小區域相似度的總和、或求出其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
類似於第二實施例，檢索結果輸出裝置26輸出檢索結果。
現在參考圖13的方框圖和圖14的流程圖來描述第六實施例的操作。
將學習圖像或設備特性作為輸入提供給編輯概率模型估算裝置53(步驟D1)。編輯概率模型估算裝置53根據所提供的學習圖像或設備特性來計算局部區域編輯概率或編輯目標局部區域計數概率分布。局部區域編輯概率表明了編輯圖像中的每一個局部區域的概率。編輯目標的局部區域計數概率分布表明了要被編輯的圖像的局部區域數目的概率分布。編輯概率模型估算裝置53將計算出的局部區域編輯概率或編輯目標局部區域計數概率分布輸出到匹配確定閾值計算裝置54(步驟D2)。根據局部區域編輯概率或編輯目標局部區域計數概率分布，匹配確定閾值計算裝置54計算匹配閾值，即，用於確定圖像之間的匹配的閾值(步驟D3)。
將所編輯的查詢圖像作為輸入提供給圖像分割裝置111(步驟D4)。圖像分割裝置111將輸入的查詢圖像分割為小區域。圖像分割裝置111將分割為小區域的圖像輸出到小區域特徵量提取裝置112(步驟D5)。小區域特徵量提取裝置112提取查詢圖像小區域特徵量，即針對圖像中的每一個分割的小區域的特徵量。小區域特徵量提取裝置112將所提取的查詢圖像小區域特徵量輸出到小區域相似度計算裝置621(步驟D6)。小區域相似度計算裝置621從參考圖像組小區域特徵量存儲部分25中讀取針對一個參考圖像的小區域特徵量(步驟D7)。小區域相似度計算裝置621將一個所讀取的參考圖像的小區域特徵量與查詢圖像的小區域特徵量進行比較，以計算小區域相似度，即，針對每一個小區域的特徵量相似度。小區域相似度計算裝置621將計算出的小區域相似度輸出到圖像相似度計算裝置622(步驟D8)。
圖像相似度計算裝置622根據小區域相似度來計算整個圖像的相似度。圖像相似度計算裝置622利用由匹配確定閾值計算裝置54在步驟D3處計算出的匹配確定閾值來修改整個圖像的相似度，以計算所述一個讀取的參考圖像和查詢圖像之間的圖像相似度(步驟D9)。然後，該處理檢查是否針對參考圖像組小區域特徵量存儲部分25中所存儲的所有參考圖像計算出了圖像相似度(步驟D10)。當仍存在其圖像相似度未被計算的參考圖像時，該過程返回到步驟D7。當針對所有參考圖像計算了圖像相似度時，該過程進行到步驟D11。最後，檢索結果輸出裝置26根據針對所有參考圖像的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結果(步驟D11)。
第六實施例利用計算適合於確定編輯的查詢圖像是否是從參考圖像中產生的圖像相似度的第五實施例來檢索圖像。即使當參考圖像組登記了針對編輯的查詢圖像的多個原始圖像時，第六實施例可以針對編輯的查詢圖像，精確地檢索確定為原始圖像的所有圖像。類似於第五實施例，第六實施例不需要從查詢圖像中檢測編輯區域的處理，並且能夠精確地找到匹配確定閾值，從而能夠進行快速圖像檢索。
第一實施例的修改也可以應用於第六實施例。也就是說，可以設置編輯概率模型存儲裝置，替代編輯概率模型估算裝置53。優選地，可以設置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進一步詳細地描述本發明的第七實施例。如圖15的方框圖所示，根據本發明的圖像相似度計算系統的第七實施例功能上包括特徵量提取部分11、圖像相似度計算部分72、編輯區域檢測裝置73和匹配確定閾值檢測裝置74。特徵量提取部分11與針對第一實施例所設置的相同。
編輯區域檢測裝置73使用自動檢測被編輯的區域的方法，例如針對作為輸入提供的被編輯查詢圖像的紙帶檢測方法。利用該方法，編輯區域檢測裝置73計算局部編輯概率或編輯目標局部區域計數概率分布。局部區域編輯概率表明了將編輯處理應用於被編輯的查詢圖像中的每一個局部區域的概率。編輯目標的局部區域計數概率分布表明了在應用了編輯處理的被編輯查詢圖像中的局部區域數目的概率分布。編輯區域檢測裝置73將計算出的局部區域編輯概率或編輯目標的局部區域計數概率分布輸出到匹配確定閾值計算裝置74。局部區域編輯概率可以具有任何概率值或二進位值1或0。局部區域可以對應於由於對由圖像分割裝置111所分割的小區域進一步分割所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像中的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的形狀和尺寸分割的區域中的任何一個。
匹配確定閾值計算裝置74根據從編輯區域檢測裝置73提供的局部區域編輯概率或編輯目標的局部區域計數概率分布如下操作。匹配確定閾值計算裝置74計算針對稍後將要描述的圖像相似度計算裝置722得出的整個圖像的相似度的匹配確定閾值。匹配確定閾值表示由於確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計算裝置74將計算出的匹配確定閾值輸出到圖像相似度計算裝置722。存在計算最佳閾值的方法。該方法估算整個圖像的相似度的出現概率分布。該方法根據局部區域編輯概率或編輯目標的局部區域計數概率分布，估算從具有部分改變的圖案的編輯圖像和原始圖像之間的圖像的小區域的相似度得到的整個圖像的相似度的出現概率分布。根據所估算出的整個圖像相似度的出現概率分布，該方法得出確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。該方法在估算整個圖像的相似度的出現概率分布的同時，提供了由於編輯處理而造成的圖案變化的效果。此外，優選地，其可以提供由於對圖像重新進行編碼而產生的噪聲出現造成的特徵量變化的效果。
圖像相似度計算部分72功能上包括小區域相似度計算裝置721和圖像相似度計算裝置722。
小區域相似度計算裝置721將從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量與作為輸入提供的參考圖像的小區域特徵量進行比較。小區域相似度計算裝置721計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置721將計算出的小區域相似度輸出到圖像相似度計算裝置722。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。優選地，涉及針對作為輸入提供的參考圖像的小區域特徵量的小區域對應於涉及從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量的小區域。這是因為可以對相應的小區域直接進行相互比較。不同的圖像分割方法可以引起查詢圖像的小區域和參考圖像的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
圖像相似度計算裝置722利用從小區域相似度計算裝置721提供的小區域相似度來計算整個圖像的相似度。圖像相似度計算裝置722利用從匹配確定閾值計算裝置74提供的匹配確定閾值來修改計算出的整個圖像的相似度。該圖像相似度計算裝置722將修改的相似度作為圖像相似度輸出。計算整個圖像的相似度的方法包括求出針對所有小區域的小區域相似度的總和、或求出其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
類似於第五實施例，第七實施例計算適合於確定被編輯的查詢圖像是否是從參考圖像中產生的圖像相似度。此外，第七實施例根據從查詢圖像直接計算出的局部區域編輯概率來計算匹配確定閾值。第七實施例計算針對每一個查詢圖像的匹配確定閾值，不同於啟發式地根據學習圖像或設備特性求出作為平均值的匹配確定閾值的第五實施例。因此，第七實施例能夠更為精確地求出適合於確定被編輯的查詢圖像是否是從參考圖像產生的圖像相似度。第七實施例不需要學習圖像設備特性作為輸入。
參考附圖進一步詳細地描述本發明的第八實施例。如圖16的方框圖所示，第八實施例與第七實施例的區別如下。根據本發明的圖像相似度計算系統的第八實施例用圖像相似度計算部分82來替換根據第七實施例的圖15所示的圖像相似度計算部分72。第八實施例設置了參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26。參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26與針對第二實施例所設置的相同。
圖像相似度計算部分82功能上包括小區域相似度計算裝置821和圖像相似度計算裝置822。
小區域相似度計算裝置821以圖像為基礎從參考圖像組小區域特徵量存儲部分25中讀取針對多個參考圖像的小區域特徵量。小區域相似度計算裝置821將針對每一個參考圖像的所讀取的小區域特徵量與從小區域特徵量提取裝置112中輸入的查詢圖像的小區域特徵量進行比較。小區域相似度計算裝置821計算小區域相似度，即，每一個小區域的特徵量的相似度。小區域相似度計算裝置821將計算出的針對參考圖像組中的每一個參考圖像的小區域相似度輸出到圖像相似度計算裝置822。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在國際標準ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。不同的圖像分割方法可以引起涉及從小區域特徵量提取裝置112輸入的查詢圖像的小區域特徵量的小區域、與涉及從參考圖像組小區域特徵量存儲部分25讀取的參考圖像的小區域特徵量的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，則與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
圖像相似度計算裝置822根據從小區域相似度計算裝置821提供的針對參考圖像組中的參考圖像的小區域相似度，來計算整個圖像的相似度。圖像相似度計算裝置822利用從匹配確定閾值計算裝置74提供的匹配確定閾值來修改計算出的整個圖像的相似度。該圖像相似度計算裝置822向檢索結果輸出裝置26輸出圖像相似度，即，參考圖像組中的參考圖像的相似度。計算整個圖像的相似度的方法包括求出針對所有小區域的小區域相似度的總和、或求出其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
類似於第二實施例，檢索結果輸出裝置26輸出檢索結果。
第八實施例利用具有根據本發明第七實施例的效果的圖像相似度計算方法來檢索圖像。與第六實施例不同，第八實施例計算針對每一個查詢圖像的匹配確定閾值。因此，第八實施例可以更為精確地從參考圖像組中檢索針對被編輯的查詢圖像的所有原始圖像。類似於第七實施例，第八實施例不需要學習圖像或設備特性作為輸入。
參考附圖進一步詳細地描述本發明的第九實施例。如圖17的方框圖所示，根據本發明的圖像相似度計算系統的第九實施例功能上包括特徵量提取部分11、圖像相似度計算部分92、編輯概率模型估算裝置93、局部區域權重計算裝置94和匹配確定閾值計算裝置95。特徵量提取部分11與針對本發明第一實施例所設置的相同。優選地，可以將局部區域權重計算裝置94和匹配確定閾值計算裝置95配置為單一權重值和匹配確定閾值計算裝置。
編輯概率模型估算裝置93根據被編輯的學習圖像或執行作為輸入提供的編輯處理的設備的特性，計算局部區域編輯概率，即應用於圖像中的每一個局部區域的編輯處理的概率。編輯概率模型估算裝置93將計算出的局部區域編輯概率輸出到局部區域權重計算裝置94。
設備特性的示例包括由編輯設備應用於圖像的編輯圖案和與使用每一個編輯圖案的頻率有關的信息。優選地，局部區域對應於由圖像分割裝置111所分割的小區域。另外，局部區域可以對應於進一步分割由圖像分割裝置111分割的小區域所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割後的區域中的任何一個。
當輸入編輯的學習圖像時，通過指定在學習圖像中應用編輯過程的區域來測量局部區域編輯概率。指定編輯區域的方法不僅可以包括手動方法，還可以包括自動地檢測編輯處理的方法，例如紙帶檢測方法。執行編輯處理的設備的特性可以被作為輸入提供。在這樣的情況下，根據由該設備應用於圖像的編輯圖案和根據與使用每一個編輯圖案的頻率有關的信息來測量局部區域編輯概率的方法是可用的。
局部區域權重計算裝置94根據從編輯概率模型估算裝置93提供的局部區域編輯概率來計算局部區域權重值。局部區域權重值對從圖像的局部區域中所提取的特徵量如何有效地用於對整個圖像的相似度的計算進行量化。局部區域權重計算裝置94將所計算出的局部區域權重值輸出到圖像相似度計算裝置922和匹配確定閾值計算裝置95。有效地，與分配給局部區域的局部區域編輯概率的減少成正比地設置更大的局部區域權重值。存在計算局部區域權重值的方法示例，如下局部區域權重值＝1-局部區域編輯概率本發明並不局限於此。在圖像相似度計算處理期間，優選地，可以使用能夠消除很可能被編輯的區域的效應的其他計算方法。
如同編輯概率模型估算裝置13中的局部區域，優選地，局部區域對應於由圖像分割裝置111所分割的小區域。另外，局部區域可以對應於進一步分割由圖像分割裝置111分割的小區域所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割後的區域中的任何一個。
從局部區域權重計算裝置94向匹配確定閾值計算裝置95提供局部區域權重值。根據局部區域權重值，匹配確定閾值計算裝置95計算針對稍後將要描述的圖像相似度計算裝置922得到的圖像相似度的匹配確定閾值。匹配確定閾值表示用於確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計算裝置95將計算出的匹配確定閾值輸出到圖像相似度計算裝置922。圖像相似度計算裝置922利用從局部區域權重值中得到的基於小區域的權重值，對每一個小區域的相似度進行加權。圖像相似度計算裝置922通過消除編輯處理的效果來計算整個圖像的相似度。因此，匹配確定閾值計算裝置95考慮到局部區域權重值來計算匹配確定閾值。存在計算編輯圖像和原始圖像之間的最佳閾值的方法，如下。該匹配確定閾值計算裝置95通過使用其並消除編輯處理的效果，根據編輯圖像和原始圖像之間的局部區域權重值來計算整個圖像的相似度的估算值。根據估算出的整個圖像的相似度，該方法找到確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。此外，優選地，其可以提供由於對圖像重新進行編碼而產生的噪聲出現造成的特徵量變化的效果。
圖像相似度計算部分92功能上包括小區域相似度計算裝置921和圖像相似度計算裝置922。
小區域相似度計算裝置921將從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量與作為輸入提供的參考圖像的小區域特徵量進行比較。小區域相似度計算裝置921計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置921將計算出的小區域相似度輸出到圖像相似度計算裝置922。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。優選地，涉及針對作為輸入提供的參考圖像的小區域特徵量的小區域對應於涉及從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量的小區域。這是因為可以對相應的小區域直接進行相互比較。不同的圖像分割方法可以引起查詢圖像的小區域和參考圖像的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
小區域相似度計算裝置921將小區域相似度輸入到圖像相似度計算裝置922。圖像相似度計算裝置922利用從局部區域權重計算裝置94輸入的局部區域權重值中所得到的針對每一個小區域的權重值，來計算該小區域相似度。該圖像相似度計算裝置922根據所得到的加權的小區域相似度來計算整個圖像的相似度。圖像相似度計算裝置922利用從匹配確定閾值計算裝置95提供的匹配確定閾值來修改計算出的圖像相似度，並且將修改後的圖像相似度作為圖像相似度輸出。計算整個圖像的相似度的方法包括求出針對所有小區域的小區域相似度的總和、或求出其平均值。
如果從局部區域權重計算裝置94輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置921輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，較好的做法是使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將具有較小區域相似度的小區域分割為多個更小區域而得到的結果。在這種情況下，能夠通過計算針對多個局部區域權重值的平均值，來產生與小區域相似度的小區域相對應的權重值。
可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。存在使用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
第九實施例具有第一和第五實施例的效果。第九實施例能夠消除很可能被編輯的區域的效果，以計算適合於確定所編輯的查詢圖像是否是從參考圖像中產生的圖像相似度。第九實施例將由局部區域權重計算裝置94計算出的局部區域權重值提供給匹配確定閾值計算裝置95。根據該配置，匹配確定閾值計算裝置95不需要根據從編輯概率模型估算裝置93提供的局部區域編輯概率來重新計算局部區域權重值，其中對局部區域權重值進行參考以計算匹配確定閾值。按照該方式，可以抑制計算量。另外，該第九實施例不需要從查詢圖像中檢測編輯區域、以及根據學習圖像或設備特性來計算局部區域權重值和匹配確定閾值的處理。因此，可以使用另一種處理來提前得出局部區域權重值和匹配確定閾值，能夠快速計算圖像相似度。
第一實施例的修改也可以應用於第九實施例。也就是說，可以設置編輯概率模型存儲裝置來替代編輯概率模型估算裝置93。優選地，可以設置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進一步詳細地描述本發明的第十實施例。如圖18的方框圖所示，第十實施例與第九實施例的區別如下。根據本發明的圖像相似度計算系統的第十實施例用圖像相似度計算部分1020來替換根據第九實施例的圖17所示的圖像相似度計算部分92。第十實施例包括參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26。參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26與針對第二實施例設置的相同。
圖像相似度計算部分1020功能上包括小區域相似度計算裝置121和圖像相似度計算裝置122。
小區域相似度計算裝置121以圖像為基礎從參考圖像組小區域特徵量存儲部分25中讀取針對多個參考圖像的小區域特徵量。小區域相似度計算裝置121將針對每一個參考圖像的所讀取的小區域特徵量與從小區域特徵量提取裝置112中輸入的查詢圖像的小區域特徵量進行比較。小區域相似度計算裝置121計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置121將計算出的針對參考圖像組中的每一個參考圖像的小區域相似度輸出到圖像相似度計算裝置122。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在國際標準ISO/IEC 15938-3中所規定的。在該情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。不同的圖像分割方法可以引起涉及從小區域特徵量提取裝置112輸入的查詢圖像的小區域特徵量的小區域、與涉及從參考圖像組小區域特徵量存儲部分25讀取的參考圖像的小區域特徵量的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，然後，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
從小區域相似度計算裝置121向圖像相似度計算裝置122提供針對參考圖像組的每一個參考圖像的小區域相似度。圖像相似度計算裝置122利用從局部區域權重計算裝置94提供的局部區域權重值中得到的基於小區域的權重值，對所提供的小區域相似度進行加權。圖像相似度計算裝置122根據所得到的加權的小區域相似度來計算整個圖像相似度。圖像相似度計算裝置122利用從匹配確定閾值計算裝置95提供的匹配確定閾值，來修改計算出的整個圖像的相似度。圖像相似度計算裝置122向檢索結果輸出裝置26輸出圖像相似度，即，修改的參考圖像組中的參考圖像的相似度。計算整個圖像相似度的方法包括求出針對所有小區域的加權小區域相似度的總和、或求出其平均值。
如果從局部區域權重計算裝置94輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置121輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，可以使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將具有小區域相似度的小區域分割為多個更小區域而得到的。在這種情況下，對多個局部區域權重值進行平均可以產生與小區域相似度的小區域相對應的權重值。
可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
類似於第二實施例，檢索結果輸出裝置26輸出檢索結果。
第十實施例利用具有根據第九實施例的效果的相似度計算方法來檢索圖像。類似於第九實施例，第十實施例不需要從查詢圖像中檢測被編輯的區域的處理，並且能夠預先找到局部區域權重值和匹配確定閾值，因而能夠進行快速圖像檢索。
第一實施例的修改也可以應用於第十實施例。也就是說，可以設置編輯概率模型存儲裝置來替代編輯概率模型估算裝置93。優選地，可以設置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進一步詳細地描述本發明的第十一實施例。如圖19的方框圖所示，根據本發明的圖像相似度計算系統的第十一實施例功能上包括特徵量提取部分11、圖像相似度計算部分112、編輯區域檢測裝置113、局部區域權重計算裝置114和匹配確定閾值計算裝置115。特徵量提取部分11與針對本發明第一實施例所設置的相同。
編輯區域檢測裝置113使用自動檢測被編輯的區域的方法，例如針對作為輸入提供的被編輯查詢圖像的紙帶檢測方法。利用該方法，編輯區域檢測裝置113計算本地編輯概率，即，將編輯處理應用於查詢圖像中的每一個局部區域的概率。編輯區域檢測裝置113將計算出的局部區域編輯概率輸出到局部區域權重計算裝置114。局部區域編輯概率可以具有任何概率值或二進位值1或0。局部區域可以對應於由於對由圖像分割裝置111所分割的小區域進一步分割所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像中的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的形狀和尺寸分割的區域中的任何一個。
局部區域權重計算裝置114根據從編輯區域檢測裝置113提供的局部區域編輯概率來計算局部區域權重值。局部區域權重值對從圖像的局部區域中所提取的特徵量如何有效地用於對整個圖像的相似度的計算進行量化。局部區域權重計算裝置114將所計算出的局部區域權重值輸出到圖像相似度計算裝置1122和匹配確定閾值計算裝置115。
優選地，局部區域對應於由圖像分割裝置111所分割的小區域。另外，局部區域可以對應於進一步分割由圖像分割裝置111分割的小區域所得到的多個更小區域中的任何一個。而且，局部區域可以對應於圖像的每一個元素。另外，局部區域可以對應於按與針對圖像分割裝置111的小區域分割方法不同的任何形狀和尺寸分割後的區域中的任何一個。存在計算局部區域權重值的方法示例，如下局部區域權重值＝1-局部區域編輯概率本發明並不局限於此。在圖像相似度計算處理期間，優選地，可以使用能夠消除很可能被編輯的區域的效應的其他計算方法。
編輯區域檢測裝置113可以將局部區域編輯概率作為諸如1和0等二進位概率值來提供。在這種情況下，存在將多個局部區域合成到新的局部區域中的方法。該方法求出局部區域權重值，作為合成之前具有局部區域編輯概率值0的局部區域包括在合成之後的局部區域中的區域比。
從局部區域權重計算裝置114向匹配確定閾值計算裝置115提供局部區域權重值。根據局部區域權重值，匹配確定閾值計算裝置115計算針對稍後將要描述的圖像相似度計算裝置1122得出的圖像相似度的匹配確定閾值。匹配確定閾值表示用於確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計算裝置115將計算出的匹配確定閾值輸出到圖像相似度計算裝置1122。圖像相似度計算裝置1122利用從局部區域權重值中得到的基於小區域的權重值，對每一個小區域的相似度進行加權。圖像相似度計算裝置1122通過消除編輯處理的效果來計算整個圖像的相似度。因此，匹配確定閾值計算裝置115考慮到局部區域權重值來計算匹配確定閾值。存在計算編輯圖像和原始圖像之間的最佳閾值的方法如下。該匹配確定閾值計算裝置115通過使用其並消除編輯處理的效果，根據編輯圖像和原始圖像之間的局部區域權重值來計算整個圖像的相似度的估算值。根據估算出的整個圖像的相似度，該方法得出確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。此外，優選地，其可以提供由於對圖像重新進行編碼而產生的噪聲出現造成的特徵量變化的效果。
圖像相似度計算部分112功能上包括小區域相似度計算裝置1121和圖像相似度計算裝置1122。
小區域相似度計算裝置1121將從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量與作為輸入提供的參考圖像的小區域特徵量進行比較。小區域相似度計算裝置1121計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置1121將計算出的小區域相似度輸出到圖像相似度計算裝置1122。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在ISO/IEC 151138-3中所規定的。在該情況下，可以根據由ISO/IEC 151138-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。優選地，涉及針對作為輸入提供的參考圖像的小區域特徵量的小區域對應於涉及從小區域特徵量提取裝置112提供的查詢圖像的小區域特徵量的小區域。這是因為可以對相應的小區域直接進行相互比較。不同的圖像分割方法可以引起查詢圖像的小區域和參考圖像的小區域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算針對參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。
可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
小區域相似度計算裝置1121將小區域相似度輸入到圖像相似度計算裝置1122。圖像相似度計算裝置1122利用從局部區域權重計算裝置114輸入的局部區域權重值中所得到的針對每一個小區域的權重值，對該小區域相似度進行加權。該圖像相似度計算裝置1122根據所得到的加權的小區域相似度來計算整個圖像的相似度。圖像相似度計算裝置1122利用從匹配確定閾值計算裝置115提供的匹配確定閾值來修改計算出的圖像相似度，並且將修改後的圖像相似度作為圖像相似度輸出。計算圖像相似度的方法包括找到針對所有小區域的加權的小區域相似度的總和、或找到其平均值。
如果從局部區域權重計算裝置114輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置1121輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，較好的做法是使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將具有較小區域相似度的小區域分割為多個更小區域而得到的。在這種情況下，通過計算針對多個局部區域權重值的平均值，能夠產生與小區域相似度的小區域相對應的權重值。
可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。存在使用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
類似於第九實施例，第十一實施例通過消除很可能被編輯的區域的效果，來計算適合於確定所編輯的查詢圖像是否是從參考圖像中產生的圖像相似度。此外，第十一實施例根據從查詢圖像直接計算出的局部區域編輯概率來計算局部區域權重值和匹配確定閾值。第十一實施例計算針對每一個查詢圖像的局部區域權重值和匹配確定閾值，不同於啟發式地根據學習圖像或設備特性找到作為平均值的局部區域權重值和匹配確定閾值的第九實施例。因此，第十一實施例能夠更為精確地找到適合於確定被編輯的查詢圖像是否是從參考圖像產生的圖像相似度。第十一實施例不需要學習圖像或設備特性作為輸入。類似於第九實施例，第十一實施例將由局部區域權重計算裝置114計算出的局部區域權重值提供給匹配確定閾值計算裝置115。因此，匹配確定閾值計算裝置115不需要根據從編輯概率模型估算裝置113提供的局部區域編輯概率來重新計算局部區域權重值，其中對局部區域權重值進行參考以計算匹配確定閾值。按照該方式，可以抑制計算量。
參考附圖進一步詳細地描述本發明的第十二實施例。如圖20的方框圖所示，第十二實施例與第十一實施例的區別如下。根據本發明的圖像相似度計算系統的第十二實施例用圖像相似度計算部分1220來替換根據第十一實施例的圖19所示的圖像相似度計算部分112。第十二實施例設置了參考圖像組小區域特徵量存儲部分25和檢索結果輸出裝置26。該參考圖像組小區域特徵量存儲部分25與針對第二實施例所設置的相同。
圖像相似度計算部分122功能上包括小區域相似度計算裝置1221和圖像相似度計算裝置1222。
小區域相似度計算裝置1221基於圖像從參考圖像組小區域特徵量存儲部分25中讀取針對多個參考圖像的小區域特徵量。小區域相似度計算裝置1221將針對每一個參考圖像的所讀取的小區域特徵量與從小區域特徵量提取裝置112中輸入的查詢圖像的小區域特徵量進行比較。小區域相似度計算裝置1221計算小區域相似度，即，針對每一個小區域的特徵量的相似度。小區域相似度計算裝置1221將計算出的針對參考圖像組中的每一個參考圖像的小區域相似度輸出到圖像相似度計算裝置1222。可以根據要使用的小區域特徵量，調整計算小區域相似度的任意方法。例如，當要使用的小區域特徵量是諸如針對小區域的顏色的平均值、模值或中值等代表值時，存在根據正在使用的顏色空間的距離值和相關值來計算相似度的方法。當要使用的小區域特徵量是針對顏色和邊緣元素的出現直方圖時，存在計算直方圖之間的相似度的方法。
要使用的小區域特徵量可以是主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、均勻紋理、紋理瀏覽、區域形狀、輪廓形狀、形狀3D、參數運動或運動行為，如在國際標準ISO/IEC 15938-3中所指定的。在這種情況下，可以根據由ISO/IEC 15938-3所推薦的距離(相似度)計算方法來計算相似度。
相似度可以是諸如1或0等二進位確定結果。例如，當將邊緣元素特徵量用作小區域特徵量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設置為1，或如果正在比較的邊緣元素不匹配，則將相似度設置為0。不同的圖像分割方法可以引起涉及從小區域特徵量提取裝置112輸入的查詢圖像的小區域特徵量的小區域、與涉及從參考圖像組小區域特徵量存儲部分25讀取的參考圖像的小區域特徵量的小區域之間的差異。為了解決該問題，較好的做法是使用任一個圖像的小區域特徵量來補充與另一圖像的小區域相對應的特徵量，並計算相似度。例如，涉及參考圖像的小區域特徵量的小區域可以是由於將涉及查詢圖像的小區域特徵量的小區域進一步分割為多個更小區域而得到的。在這種情況下，能夠通過計算參考圖像的多個小區域特徵量的平均值來產生與查詢圖像的小區域相對應的特徵量。可能存在以下情況涉及參考圖像的小區域特徵量的小區域分割方法使用了與涉及查詢圖像的小區域特徵量的小區域分割方法完全不同的形狀和尺寸。在這種情況下，然後，與重疊區域成正比地對與查詢圖像的小區域重疊的參考圖像的小區域的小區域特徵量進行加權，並對其進行總計。按照該方式，能夠產生與查詢圖像的小區域相對應的特徵量。
從小區域相似度計算裝置1221向圖像相似度計算裝置1222提供針對參考圖像組中的每一個參考圖像的小區域相似度。圖像相似度計算裝置1222利用從局部區域權重計算裝置114提供的局部區域權重值中所得到的針對每一個小區域的權重值，對所提供的小區域相似度進行加權。該圖像相似度計算裝置1222根據所得到的加權的小區域相似度來計算整個圖像的相似度。圖像相似度計算裝置1222利用從匹配確定閾值計算裝置115提供的匹配確定閾值來修改計算出的圖像相似度。圖像相似度計算裝置1222向檢索結果輸出裝置26輸出圖像相似度，即修改的參考圖像組中的參考圖像的相似度。計算整個圖像的相似度的方法包括找到針對所有小區域的加權的小區域相似度的總和、或找到其平均值。
如果從局部區域權重計算裝置114輸入的局部區域權重值的局部區域對應於從小區域相似度計算裝置1221輸入的小區域相似度的小區域，則可以將局部區域權重值直接用作針對每一個小區域的權重值。當小區域相似度的小區域不與局部區域權重值的局部區域相對應時，可以使用局部區域權重值來補充與小區域相似度的小區域相對應的權重值。例如，局部區域權重值的局部區域可以是由於進一步將具有較小區域相似度的小區域分割為多個更小區域而得到的。在這種情況下，對多個局部區域權重值進行平均，能夠產生與小區域相似度的小區域相對應的權重值。
可以存在以下情況，涉及局部區域權重值的局部區域分割方法使用了與涉及小區域相似度的小區域分割方法完全不同的形狀和尺寸。在這種情況下，於是，與重疊區域成正比地對與小區域重疊的多個局部區域的權重值進行加權，並對其進行總計。按照該方式，能夠產生與小區域相似度的小區域相對應的權重值。存在使用匹配確定閾值來修改整個圖像的相似度的方法。當圖像相似度等於或大於匹配確定閾值時，該方法將相似度修改為1。當圖像相似度小於匹配確定閾值時，該方法將相似度修改為0。
類似於第二實施例，檢索結果輸出裝置26輸出檢索結果。
第十二實施例利用具有根據第十一實施例的效果的圖像相似度計算方法來檢索圖像。與第一實施例不同的是，第十二實施例計算針對每一個查詢圖像的局部區域權重值和匹配確定閾值。因此，第十二實施例可以更精確地從參考圖像組中檢索出針對被編輯的查詢圖像的所有原始圖像。類似於第十一實施例，第十二實施例不需要學習圖像或設備特性作為輸入。
工業應用性本發明可應用於以下用途圖像相似度計算系統、圖像相似度計算方法、用於計算多個圖像的相似度的圖像相似度計算程序、用於檢索與查詢圖像相似的圖像的圖像檢索系統，等等。
權利要求
1.一種包括圖像相似度計算單元的圖像相似度計算系統，包括針對要應用於圖像的編輯處理使用概率的概率模型；將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較；計算查詢圖像和參考圖像之間的圖像相似度。
2.根據權利要求1所述的圖像相似度計算系統，其中，針對每一個區域確定概率模型；和圖像相似度計算單元，在將查詢圖像的每一個分割的小區域的特徵量和參考圖像的每一個分割的小區域的特徵量進行比較時，使用概率模型。
3.根據權利要求1所述的圖像相似度計算系統，其中圖像相似度計算單元在計算查詢圖像和參考圖像之間的圖像相似度時，使用概率模型。
4.根據權利要求1所述的圖像相似度計算系統，其中，針對每一個區域確定概率模型；和圖像相似度計算單元在將查詢圖像的每一個分割的小區域的特徵量和參考圖像的每一個分割的小區域的特徵量進行比較時，和在計算查詢圖像和參考圖像之間的圖像相似度時，使用概率模型。
5.一種包括圖像相似度計算單元的圖像相似度計算系統，配置為利用基於要應用於每一個局部區域的圖像的編輯處理的概率所計算的基於圖像區域的權重值，將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較；和計算查詢圖像和參考圖像之間的圖像相似度。
6.一種包括圖像相似度計算單元的圖像相似度計算系統，配置為將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較，以便計算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改整個圖像的相似度，所述閾值是基於要應用於每一個局部區域的圖像的編輯處理的概率、或基於將編輯處理應用於圖像的局部區域數目的概率分布計算出的；和計算查詢圖像和參考圖像之間的圖像相似度。
7.一種包括圖像相似度計算單元的圖像相似度計算系統，配置為利用基於要應用於每一個局部區域的圖像的編輯處理的概率計算出的基於圖像區域的權重值，將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較，以便計算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改整個圖像的相似度，所述閾值是基於要應用於每一個局部區域的圖像的編輯處理的概率計算的；和計算查詢圖像和參考圖像之間的圖像相似度。
8.根據權利要求5所述的圖像相似度計算系統，還包括編輯概率計算裝置，利用學習圖像或設備特性來計算要應用於每一個局部區域的圖像的編輯處理的概率，作為要應用於每一個局部區域的圖像的編輯處理的概率。
9.根據權利要求5所述的圖像相似度計算系統，還包括編輯概率計算裝置，利用被編輯的查詢圖像來計算編輯處理被應用於每一個局部區域的圖像的概率，作為要應用於每一個局部區域的圖像的編輯處理的概率。
10.根據權利要求6所述的圖像相似度計算系統，還包括編輯概率分布計算裝置，利用學習圖像或設備特性來計算要應用於每一個局部區域的圖像的編輯處理的概率、或將編輯處理應用於圖像的局部區域數目的概率分布，作為要應用於每一個局部區域的圖像的編輯處理的概率、或將編輯處理應用於圖像的局部區域數目的概率分布。
11.根據權利要求6所述的圖像相似度計算系統，還包括編輯概率計算裝置，利用被編輯的查詢圖像來計算要應用於每一個局部區域的圖像的編輯處理的概率、或將編輯處理應用於圖像的局部區域數目的概率分布，作為要應用於每一個局部區域的圖像的編輯處理的概率、或將編輯處理應用於圖像的局部區域數目的概率分布。
12.根據權利要求7所述的圖像相似度計算系統，還包括編輯概率計算裝置，利用學習圖像或設備特性來計算要應用於每一個局部區域的圖像的編輯處理的概率，作為要應用於每一個局部區域的圖像的編輯處理的概率。
13.根據權利要求7所述的圖像相似度計算系統，還包括編輯概率計算裝置，利用被編輯的查詢圖像來計算要應用於每一個局部區域的圖像的編輯處理的概率，作為要應用於每一個局部區域的圖像的編輯處理的概率。
14.一種圖像相似度計算系統，包括編輯概率模型估算裝置，利用作為輸入提供的學習圖像或設備特性，計算要應用於每一個局部區域的圖像的編輯處理的概率，作為局部區域編輯概率；局部區域權重計算裝置，根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；圖像分割裝置，將作為輸入提供的被編輯的查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；小區域相似度計算裝置，配置為將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和圖像相似度計算裝置，通過利用從局部區域權重值中得到的基於小區域的權重值對小區域相似度進行加權，來計算查詢圖像和參考圖像之間的圖像相似度。
15.一種圖像相似度計算系統，包括編輯區域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計算編輯處理被應用於每一個局部區域的圖像的概率，作為局部區域編輯概率；局部區域權重計算裝置，根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；圖像分割裝置，將查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取針對每一個小區域的特徵量，作為查詢圖像的小區域特徵量；小區域相似度計算裝置，配置為將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和圖像相似度計算裝置，通過利用從局部區域權重值中得到的基於小區域的權重值對小區域相似度進行加權，計算查詢圖像和參考圖像之間的圖像相似度。
16.一種圖像相似度計算系統，包括編輯概率模型估算裝置，利用作為輸入提供的學習圖像或設備特性，計算局部區域編輯概率或編輯目標局部區域計數概率分布，所述局部區域編輯概率是要應用於每一個局部區域的圖像的編輯處理的概率，所述編輯目標局部區域計數概率分布是編輯處理被應用於圖像的局部區域數目的概率分布；匹配確定閾值計算裝置，根據局部區域編輯概率或編輯目標局部區域計數概率分布，計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將作為輸入提供的被編輯查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；小區域相似度計算裝置，配置為將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；以及計算各個小區域的特徵量的相似度，作為小區域相似度；和圖像相似度計算裝置，配置為根據小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計算查詢圖像和參考圖像之間的圖像相似度。
17.一種圖像相似度計算系統，包括編輯區域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計算局部區域編輯概率或編輯目標局部區域計數概率分布；所述局部區域編輯概率是將編輯處理應用於每一個局部區域的圖像的概率，所述編輯目標局部區域計數概率分布是編輯處理必應用於圖像的局部區域數目的概率分布；匹配確定閾值計算裝置，根據局部區域編輯概率或編輯目標局部區域計數概率分布，計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像小區域特徵量；小區域相似度計算裝置，配置為將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；以及計算各個小區域的特徵量的相似度，作為小區域相似度；和圖像相似度計算裝置，配置為根據小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計算查詢圖像和參考圖像之間的圖像相似度。
18.根據權利要求10、11、16和17中的任何一項所述的圖像相似度計算系統，其中所述匹配確定閾值計算裝置通過根據局部區域編輯概率或編輯目標局部區域計數概率分布，來估算在編輯圖像和原始圖像之間從圖像中的每一個小區域的相似度中所得到的整個圖像相似度的出現概率分布，計算匹配確定閾值的最佳值。
19.根據權利要求12或13所述的圖像相似度計算系統，其中所述匹配確定閾值計算裝置利用局部區域權重值，通過根據局部區域權重值估算整個圖像的相似度，來計算所述匹配確定閾值的最佳值。
20.根據權利要求8、9、12、13、14、15和19中的任何一項所述的圖像相似度計算系統，其中所述局部區域權重計算裝置在局部區域編輯概率較高時，減少局部區域權重值；和在局部區域編輯概率較低時，增加局部區域權重值。
21.根據權利要求20所述的圖像相似度計算系統，其中所述局部區域權重計算裝置計算局部區域權重值作為1與局部區域編輯概率之間的差值。
22.根據權利要求8到13中的任何一項的圖像相似度計算系統，其中所述編輯概率計算裝置利用自動檢測編輯區域以指定編輯區域的方法來計算局部區域編輯概率。
23.根據權利要求14或16中的任何一項所述的圖像相似度計算系統，其中所述編輯概率模型估算裝置利用自動檢測編輯區域以指定編輯區域的方法來計算局部區域編輯概率。
24.根據權利要求15或17所述的圖像相似度計算系統，其中所述編輯區域檢測裝置利用自動檢測編輯區域以指定編輯區域的方法來計算局部區域編輯概率。
25.根據權利要求1到21中的任何一項所述的圖像相似度計算系統，其中所述局部區域是分割的區域，從而對應於查詢圖像或參考圖像中的小區域。
26.根據權利要求1到21和25中的任何一項所述的圖像相似度計算系統，其中所述查詢圖像或所述參考圖像中的小區域是通過分割圖像得到的等尺寸的矩形區域。
27.根據權利要求1到21和25中的任何一項所述的圖像相似度計算系統，其中所述查詢圖像或所述參考圖像中的小區域是被分割以致於部分地彼此重疊的區域之一。
28.根據權利要求1到21和25中的任何一項所述的圖像相似度計算系統，其中所述查詢圖像或所述參考圖像中的小區域是通過僅分割圖像的一部分而得到的。
29.根據權利要求1到28中的任何一項所述的圖像相似度計算系統，其中所述特徵量基於以下內容中的至少一個顏色信息、邊緣信息、紋理信息、形狀信息和運動信息。
30.根據權利要求1到28中的任何一項所述的圖像相似度計算系統，其中所述特徵量是以下內容中的至少一個在諸如RGB顏色空間、HSV顏色空間、YUV顏色空間、YIQ顏色空間、YCbCr顏色空間、L*a*b顏色空間和XYZ顏色空間之類顏色空間系統中所指定的顏色坐標的平均值、模值和中值、以及在國際標準ISO/IEC 15938-3中所指定的主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、直方圖紋理、紋理瀏覽、輪廓形狀和形狀3D。
31.根據權利要求1到30中的任何一項所述的圖像相似度計算系統，其中所述編輯處理對應於以下內容中的至少一個將紙帶疊置在圖像上、將標題疊置在圖像上、將字符疊置在圖像上、將對象疊置在圖像上、部分地切割圖像、部分地修剪圖像、部分地鑲嵌圖像、以及部分地模糊圖像。
32.一種利用根據權利要求1到13中的任何一項所述的圖像相似度計算系統計算出的圖像相似度來檢索圖像的圖像檢索系統。
33.一種圖像檢索系統，包括編輯概率模型估算裝置，利用作為輸入提供的學習圖像或設備特性，計算要應用於每一個局部區域的圖像的編輯處理的概率，作為局部區域編輯概率；局部區域權重計算裝置，根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；圖像分割裝置，將作為輸入提供的被編輯查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；參考圖像組小區域特徵量存儲裝置，存儲由多個預先登記的參考圖像構成的參考圖像組中的各個參考圖像的小區域特徵量；小區域相似度計算裝置，配置為將存儲在參考圖像組小區域特徵量存儲裝置中的每一個參考圖像的小區域特徵量與查詢圖像小區域特徵量進行比較；以及計算每一個參考圖像的基於小區域的特徵量的相似度，作為小區域相似度；圖像相似度計算裝置，配置為利用從局部區域權重值中得到的基於小區域的權重值，針對每一個參考圖像，對由小區域相似度計算裝置計算出的小區域相似度進行加權；和計算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結果輸出裝置，根據由圖像相似度計算裝置針對每一個參考圖像計算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結果。
34.一種圖像檢索系統，包括編輯區域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計算將編輯處理應用於每一個局部區域的圖像的概率，作為局部區域編輯概率；局部區域權重計算裝置，根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；圖像分割裝置，將查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；參考圖像組小區域特徵量存儲裝置，存儲由多個預先登記的參考圖像構成的參考圖像組中的各個參考圖像的小區域特徵量；小區域相似度計算裝置，配置為將存儲在參考圖像組小區域特徵量存儲裝置中的每一個參考圖像的小區域特徵量與查詢圖像小區域特徵量進行比較；以及計算每一個參考圖像的基於小區域的特徵量的相似度，作為小區域相似度；圖像相似度計算裝置，配置為利用從局部區域權重值中得到的基於小區域的權重值，對由小區域相似度計算裝置針對每一個參考圖像計算出的小區域相似度進行加權；和計算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結果輸出裝置，根據圖像相似度計算裝置針對每一個參考圖像計算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結果。
35.一種圖像檢索系統，包括編輯概率模型估算裝置，利用作為輸入提供的學習圖像或設備特性，計算局部區域編輯概率或編輯目標局部區域計數概率分布，所述局部區域編輯概率是要應用於每一個局部區域的圖像的編輯處理的概率，所述編輯目標局部區域計數概率分布是編輯處理被應用於圖像的局部區域數目的概率分布；匹配確定閾值計算裝置，根據局部區域編輯概率或編輯目標局部區域計數概率分布，計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將作為輸入提供的被編輯查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；參考圖像組小區域特徵量存儲裝置，存儲由多個預先登記的參考圖像構成的參考圖像組中的各個參考圖像的小區域特徵量；小區域相似度計算裝置，配置為將存儲在參考圖像組小區域特徵量存儲裝置中的每一個參考圖像的小區域特徵量與查詢圖像小區域特徵量進行比較；和計算每一個參考圖像基於小區域的特徵量的相似度，作為小區域相似度；圖像相似度計算裝置，配置為根據由小區域相似度計算裝置計算出的每一個參考圖像的小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改相似度；和計算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結果輸出裝置，根據圖像相似度計算裝置針對每一個參考圖像計算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結果。
36.一種圖像檢索系統，包括編輯區域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計算局部區域編輯概率或編輯目標局部區域計數概率分布，所述局部區域編輯概率是將編輯處理應用於每一個局部區域的圖像的概率，所述編輯目標局部區域計數概率分布是編輯處理被應用於圖像的局部區域數目的概率分布；匹配確定閾值計算裝置，根據局部區域編輯概率或編輯目標局部區域計數概率分布，計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將查詢圖像分割為小區域；小區域特徵量提取裝置，從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；參考圖像組小區域特徵量存儲裝置，存儲由多個預先登記的參考圖像構成的參考圖像組中的各個參考圖像的小區域特徵量；小區域相似度計算裝置，配置為將存儲在參考圖像組小區域特徵量存儲裝置中的每一個參考圖像的小區域特徵量與查詢圖像小區域特徵量進行比較；和計算每一個參考圖像基於小區域的特徵量的相似度，作為小區域相似度；圖像相似度計算裝置，配置為根據由小區域相似度計算裝置計算出的每一個參考圖像的小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改相似度；和計算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結果輸出裝置，根據由圖像相似度計算裝置針對每一個參考圖像計算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結果。
37.根據權利要求35或36所述的圖像檢索系統，其中所述匹配確定閾值計算裝置通過根據局部區域編輯概率或編輯目標局部區域計數概率分布估算在編輯圖像和原始圖像之間從圖像中的每一個小區域的相似度中所得到的整個圖像相似度的出現概率分布，計算匹配確定閾值的最佳值。
38.根據權利要求35或36所述的圖像檢索系統，其中所述匹配確定閾值計算裝置利用局部區域權重值，通過根據局部區域權重值估算整個圖像的相似度，來計算所述匹配確定閾值的最佳值。
39.根據權利要求33、34和38中的任何一項所述的圖像檢索系統，其中所述局部區域權重計算裝置在局部區域編輯概率較高時，減少局部區域權重值；和在局部區域編輯概率較低時，增加局部區域權重值。
40.根據權利要求39所述的圖像檢索系統，其中所述局部區域權重計算裝置計算局部區域權重值計算作為1與局部區域編輯概率之間的差值。
41.根據權利要求33或35所述的圖像檢索系統，其中所述編輯概率模型估算裝置利用自動檢測編輯區域以指定編輯區域的方法來計算局部區域編輯概率。
42.根據權利要求34或36所述的圖像檢索系統，其中所述編輯區域檢測裝置利用自動檢測編輯區域以指定編輯區域的方法來計算局部區域編輯概率。
43.根據權利要求33到40中的任何一項所述的圖像檢索系統，其中所述局部區域是分割的區域，從而對應於查詢圖像或參考圖像中的小區域。
44.根據權利要求33到40和43中的任何一項所述的圖像檢索系統，其中查詢圖像或參考圖像中的小區域是通過分割圖像得到的等尺寸的矩形區域。
45.根據權利要求33到40和43中的任何一項所述的圖像檢索系統，其中查詢圖像或參考圖像中的小區域是被分割以致於彼此部分地重疊的區域之一。
46.根據權利要求33到40和43中的任何一項所述的圖像檢索系統，其中查詢圖像或參考圖像中的小區域是通過僅分割圖像的一部分而得到的。
47.根據權利要求33到46中的任何一項所述的圖像檢索系統，其中所述特徵量基於以下內容中的至少一個顏色信息、邊緣信息、紋理信息、形狀信息和運動信息。
48.根據權利要求33到47中的任何一項所述的圖像檢索系統，其中所述特徵量是以下內容中的至少一個在諸如RGB顏色空間、HSV顏色空間、YUV顏色空間、YIQ顏色空間、YCbCr顏色空間、L*a*b顏色空間和XYZ顏色空間之類的顏色空間系統中所指定的顏色坐標的平均值、模值和中值、以及在國際標準ISO/IEC 15938-3中所指定的主色、顏色布局、可擴縮顏色、顏色結構、邊緣直方圖、直方圖紋理、紋理瀏覽、輪廓形狀和形狀3D。
49.根據權利要求33到47中的任何一項所述的圖像檢索系統，其中所述編輯處理對應於以下內容中的至少一個將紙帶疊置在圖像上、將標題疊置在圖像上、將字符疊置在圖像上、將對象疊置在圖像上、部分地切割圖像、部分地修剪圖像、部分地鑲嵌圖像、以及部分地模糊圖像。
50.一種圖像檢索系統，利用根據權利要求1到29中的任何一項所述的圖像相似度計算系統，根據計算出的圖像相似度輸出多個參考圖像中與查詢圖像相似的圖像。
51.一種圖像相似度計算方法，包括以下步驟使用要應用於圖像的編輯處理的概率的概率模型；將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較；計算查詢圖像和參考圖像之間的圖像相似度。
52.一種圖像相似度計算方法，包括以下步驟利用基於要應用於圖像的編輯處理的概率計算出的基於圖像區域的權重值，將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較；以及計算查詢圖像和參考圖像之間的圖像相似度。
53.一種圖像相似度計算方法，包括以下步驟通過將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較，計算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基於要應用於每一個局部區域的圖像的編輯處理的概率、或基於將編輯處理應用於圖像的局部區域數目的概率分布計算的；和計算查詢圖像和參考圖像之間的圖像相似度。
54.一種圖像相似度計算方法，包括以下步驟利用基於要應用於每一個局部區域的圖像的編輯處理的概率計算的基於圖像區域的權重值，通過將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較，計算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基於編輯每一個局部區域的圖像的概率計算的；和計算查詢圖像和參考圖像之間的圖像相似度。
55.一種圖像相似度計算方法，包括以下步驟利用作為輸入提供的學習圖像或設備特性，計算要應用於每一個局部區域的圖像的編輯處理的概率，作為局部區域編輯概率；根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；將作為輸入提供的被編輯查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和通過利用從局部區域權重值中得到的基於小區域的權重值對小區域相似度進行加權，計算查詢圖像和參考圖像之間的圖像相似度。
56.一種圖像相似度計算方法，包括以下步驟利用作為輸入提供的被編輯查詢圖像，計算將編輯處理應用於每一個局部區域的圖像的概率，作為局部區域編輯概率；根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；將查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和通過利用從局部區域權重值中得到的基於小區域的權重值對小區域相似度進行加權，來計算查詢圖像和參考圖像之間的圖像相似度。
57.一種圖像相似度計算方法，包括以下步驟利用作為輸入提供的學習圖像或設備特性，計算局部區域編輯概率或編輯目標局部區域計數概率分布，所述局部區域編輯概率是要應用於每一個局部區域的圖像的編輯處理的概率，所述編輯目標局部區域計數概率分布是編輯處理被應用於圖像的局部區域數目的概率分布；根據局部區域編輯概率或編輯目標局部區域計數概率分布，來計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；將作為輸入提供的被編輯查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；以及計算各個小區域的特徵量的相似度，作為小區域相似度；和根據小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計算查詢圖像和參考圖像之間的圖像相似度。
58.一種圖像相似度計算方法，包括以下步驟利用作為輸入提供的被編輯查詢圖像，計算局部區域編輯概率或編輯目標局部區域計數概率分布，所述局部區域編輯概率是將編輯處理應用於每一個局部區域的圖像的概率，所述編輯目標局部區域計數概率分布是編輯處理被應用於圖像的局部區域數目的概率分布；根據局部區域編輯概率或編輯目標局部區域計數概率分布，來計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；將查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；以及計算各個小區域的特徵量的相似度，作為小區域相似度；和根據小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計算查詢圖像和參考圖像之間的圖像相似度。
59.一種使計算機執行以下處理的圖像相似度計算程序考慮要應用於圖像的編輯處理的概率的概率模型；將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較；和計算查詢圖像和參考圖像之間的圖像相似度。
60.一種使計算機執行以下處理的圖像相似度計算程序利用基於要應用於圖像的編輯處理的概率計算的基於圖像區域的權重值，將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較；以及計算查詢圖像和參考圖像之間的圖像相似度。
61.一種使計算機執行以下處理的圖像相似度計算程序通過將查詢圖像的每一個分割的小區域的特徵量與參考圖像的每一個分割的小區域的特徵量進行比較，計算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基於要應用於每一個局部區域的圖像的編輯處理的概率、或基於將編輯處理應用於圖像的局部區域數目的概率分布計算的；以及計算查詢圖像和參考圖像之間的圖像相似度。
62.一種使計算機執行以下處理的圖像相似度計算程序利用基於要應用於每一個局部區域的圖像的編輯處理的概率計算的基於圖像區域的權重值，通過將查詢圖像的每一個分割的小區域的特徵量與針對參考圖像的每一個分割的小區域的特徵量進行比較，計算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基於編輯每一個局部區域的圖像的概率計算的；以及計算查詢圖像和參考圖像之間的圖像相似度。
63.一種使計算機執行以下處理的圖像相似度計算程序利用作為輸入提供的學習圖像或設備特性，計算要應用於每一個局部區域的圖像的編輯處理的概率，作為局部區域編輯概率；根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；將作為輸入提供的被編輯查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和通過利用從局部區域權重值中得到的基於小區域的權重值對小區域相似度進行加權，計算查詢圖像和參考圖像之間的圖像相似度。
64.一種使計算機執行以下處理的圖像相似度計算程序利用作為輸入提供的被編輯查詢圖像，計算將編輯處理應用於每一個局部區域的圖像的概率，作為局部區域編輯概率；根據局部區域編輯概率來計算圖像中的每一個局部區域的權重值，作為局部區域權重值；將查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和通過利用從局部區域權重值中得到的基於小區域的權重值對小區域相似度進行加權，計算查詢圖像和參考圖像之間的圖像相似度。
65.一種使計算機執行以下處理的圖像相似度計算程序利用作為輸入提供的學習圖像或設備特性，計算局部區域編輯概率或編輯目標局部區域計數概率分布，所述局部區域編輯概率是要應用於每一個局部區域的圖像的編輯處理的概率，所述編輯目標局部區域計數概率分布是編輯處理被應用於圖像的局部區域數目的概率分布；根據局部區域編輯概率或編輯目標局部區域計數概率分布，計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；將作為輸入提供的被編輯查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和根據小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計算查詢圖像和參考圖像之間的圖像相似度。
66.一種使計算機執行以下處理的圖像相似度計算程序利用作為輸入提供的被編輯查詢圖像，計算局部區域編輯概率或編輯目標局部區域計數概率分布，所述局部區域編輯概率是將編輯處理應用於每一個局部區域的圖像的概率，所述編輯目標局部區域計數概率分布是編輯處理被應用於圖像的局部區域數目的概率分布；根據局部區域編輯概率或編輯目標局部區域計數概率分布，計算用於確定圖像之間的匹配的閾值，作為匹配確定閾值；將查詢圖像分割為小區域；從分割的小區域中提取每一個小區域的特徵量，作為查詢圖像的小區域特徵量；將作為輸入提供的參考圖像的預先準備的小區域特徵量的參考圖像小區域特徵量與查詢圖像小區域特徵量進行比較；和計算各個小區域的特徵量的相似度，作為小區域相似度；和根據小區域相似度來計算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計算查詢圖像和參考圖像之間的圖像相似度。
全文摘要
提供一種圖像相似度計算系統，產生編輯圖像和原始圖像之間的圖像相似度的較大值。局部區域權重計算裝置14根據編輯圖像中的每一個局部區域的概率，來計算圖像中的每一個局部區域的權重值，作為局部區域權重值。局部區域權重計算裝置14將所計算的局部區域權重值輸出到圖像相似度計算裝置122。小區域相似度計算裝置121將通過分割查詢圖像得到的每一個小區域的特徵量與通過分割參考圖像得到的每一個小區域的特徵量進行比較。小區域相似度計算裝置121計算針對各個小區域的特徵量的相似度。圖像相似度計算裝置122通過將基於小區域的權重值應用於計算出的相似度來計算查詢圖像和參考圖像之間的圖像相似度。該權重值是從局部區域權重計算裝置14中提供的局部區域權重值中得到的。
文檔編號G06K9/46GK1926575SQ20058000668
公開日2007年3月7日 申請日期2005年3月2日 優先權日2004年3月3日
發明者巖元浩太 申請人:日本電氣株式會社