圖像檢索系統、程序和方法及圖像分類系統、程序和方法
2023-09-17 06:09:45
專利名稱：圖像檢索系統、程序和方法及圖像分類系統、程序和方法
技術領域：
本發明涉及從多個圖像中檢索與檢索關鍵字圖像相符的圖像或對多個圖像進行分類的系統、程序以及方法，尤其涉及一種適合獲得符合利用者的希望的檢索結果或分類結果的圖像檢索系統、圖像分類系統、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法。
背景技術：
專利文獻1特開2001-52175號公報以往，作為一種根據給出的檢索關鍵字圖像來從多個檢索對象圖像中檢索與檢索關鍵字圖像類似的圖像的技術，例如，有專利文獻1中公開的圖像檢索裝置。
專利文獻1記載的圖像檢索裝置具有特徵向量抽出部其從獲得的對象圖像數據或參照圖像數據中抽出多個特徵量，生成特徵向量；參照向量群處理部其針對獲得的多個參照圖像數據，對各參照圖像數據，將特徵向量抽出部抽出的特徵向量和該參照圖像的地址信息綜合起來，構成參照向量；生成參照向量群；類似度計算部其計算由特徵向量抽出部從獲得的對象圖像數據中抽出的特徵向量與從參照向量群選擇的參照圖像數據的特徵向量的類似度；類似度判斷部其將計算出的類似度與指定基準進行比較；和取出部其從參照向量群取出判斷為類似的圖像的地址信息。
在此，作為圖像的特徵量，使用了顏色、花紋(texture)、結構特徵、時間特徵。通過不透明度柱狀圖、並發關聯矩陣、差分統計量等的計算，求得關於花紋的特徵量；此外，通過拉普拉斯濾波器的卷積積分及霍夫變換等，求得關於邊緣、線、輪廓等結構特徵的特徵量；進而，通過變換成RGB空間、HSV空間或頻譜等，求得關於顏色的特徵量；通過計算光流或進行小波變換，求得關於時間特徵的特徵量。
因為類似的概念很大程度上依賴於人的主觀，所以，有時對某個人而言感覺是類似的圖像，對於其他人而言卻感覺不類似。因此，在進行圖像的類似檢索時，如何定義類似的概念是很重要的。
如果就圖像的整體及部分進行討論，那麼，對於檢索關鍵字圖像，例如，存在整體上類似但特徵部分不類似的圖像、或反之特徵部分類似但整體上不類似的圖像，對於這些圖像，需要分別正確地評價類似度。在利用者看圖像時，利用者注目於圖像中的特徵部分(如果是以花為主體拍攝的圖像，則是花的部分)。因此，應該感覺到特徵部分類似但整體上不類似的圖像比整體上類似但特徵部分不類似的圖像更類似。因此，與採用整個圖像來評價類似度相比，採用重視圖像中的特徵部分的類似度而輕視不是特徵的部分的類似度方式來評價圖像的類似度，更符合實際情況。
但是，由於專利文獻1記載的圖像檢索裝置從圖像數據整體抽出多個特徵量，生成特徵向量，根據生成的特徵向量，進行圖像的類似檢索，所以，沒有考慮利用者所注目的地方來評價圖像的類似度。因此，存在如下問題無法在檢索結果中充分反映利用者的主觀，很難得到符合利用者的希望的檢索結果。
可以想到，這種情況不限於進行圖像的類似檢索的情況，根據類似度對多個圖像進行分類的情況下也存在同樣的問題。
發明內容
因此，本發明是鑑於現有技術中存在的未解決的課題而提出的，其目的在於提供一種適合得到符合利用者的希望的檢索結果或分類結果的圖像檢索系統、圖像分類系統、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法。
為了達成上述目的，發明1的圖像檢索系統是一種根據給出的檢索關鍵字圖像來從多個檢索對象圖像中檢索與上述檢索關鍵字圖像相符的圖像的圖像檢索系統，其特徵在於針對上述檢索關鍵字圖像及上述各檢索對象圖像，從該圖像中抽出引人注目區域，根據抽出的引人注目區域，生成表示該圖像的特徵的特徵向量，根據生成的特徵向量，從上述多個檢索對象圖像中檢索與上述檢索關鍵字圖像相符的圖像。
根據這樣的結構，在給出檢索關鍵字圖像時，從檢索關鍵字圖像中抽出引人注目區域，根據抽出的引人注目區域，生成表示檢索關鍵字圖像的特徵的特徵向量。此外，同樣地，對各檢索對象圖像，從該檢索對象圖像中抽出引人注目區域，根據抽出的引人注目區域，生成表示該檢索對象圖像的特徵的特徵向量。然後，根據生成的特徵向量，從多個檢索對象圖像中檢索與檢索關鍵字圖像相符的圖像。
由此，因為考慮利用者所注目的地方來進行檢索，所以，利用者的主觀容易反映到檢索結果中。因此，與過去相比，可以獲得如下效果可以得到比較符合利用者的希望的檢索結果。
這裡，引人注目區域指的是在檢索關鍵字圖像或檢索對象圖像中，利用者所注目的區域。以下，在發明2的圖像檢索系統、發明8及9的圖像分類系統、發明14的圖像檢索程序、發明15的圖像分類程序、發明16的圖像檢索方法、以及發明17的圖像分類方法中，與此相同。
此外，本系統可以作為單一裝置、終端及其他機器來實現，也可以作為將多個裝置、終端及其他機器連接成可以通信的網絡系統來實現。在後者的情況下，各結構要素只要分別進行可通信地連接，本系統可以屬於多個機器中的任何一個。以下，在發明2的圖像檢索系統、以及發明8及9的圖像分類系統中，與此相同。
進而，發明2的圖像檢索系統是一種根據給出的檢索關鍵字圖像來從多個檢索對象圖像中檢索與上述檢索關鍵字圖像相符的圖像的圖像檢索系統，其特徵在於具有檢索對象圖像存儲裝置，其用於存儲上述多個檢索對象圖像；檢索關鍵字圖像輸入裝置，其輸入上述檢索關鍵字圖像；引人注目區域抽出裝置，其針對上述檢索關鍵字圖像輸入裝置輸入的檢索關鍵字圖像及上述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區域；特徵向量生成裝置，其針對上述檢索關鍵字圖像及上述各檢索對象圖像，根據上述引人注目區域抽出裝置抽出的引人注目區域，生成表示該圖像的特徵的特徵向量；和圖像檢索裝置，其根據上述特徵向量生成裝置生成的特徵向量，從上述檢索對象圖像存儲裝置中檢索與上述檢索關鍵字圖像相符的圖像。
根據這樣的結構，在從檢索關鍵字圖像輸入裝置輸入檢索關鍵字圖像時，由引人注目區域抽出裝置從輸入的檢索關鍵字圖像中抽出引人注目區域，由特徵向量生成裝置根據抽出的引人注目區域，生成表示檢索關鍵字圖像的特徵的特徵向量。此外，同樣地，對檢索對象圖像存儲裝置的各檢索對象圖像，由引人注目區域抽出裝置從該檢索對象圖像抽出引人注目區域，由特徵向量生成裝置根據抽出的引人注目區域，生成表示該檢索對象圖像的特徵的特徵向量。然後，由圖像檢索裝置根據生成的特徵向量，從檢索對象圖像存儲裝置中檢索與檢索關鍵字圖像相符的圖像。
由此，因為考慮利用者所注目的地方來進行檢索，所以，利用者的主觀容易反映到檢索結果中。因此，與過去相比，可以獲得如下效果可以得到符合利用者的希望的檢索結果。
在此，引人注目區域抽出裝置只要針對檢索關鍵字圖像及各檢索對象圖像，從該圖像抽出引人注目區域就可以。例如，可以根據檢索關鍵字圖像或檢索對象圖像，計算吸引度(誘目度)，根據計算出的吸引度，抽出引人注目區域。以下，在發明9的圖像分類系統、發明14的圖像檢索程序及發明15的圖像分類程序中，與此相同。
此外，檢索關鍵字圖像輸入裝置只要能夠輸入檢索關鍵字圖像，可以採用任何結構，例如，既可以將從檢索對象圖像存儲裝置中選擇的檢索對象圖像作為檢索關鍵字圖像進行輸入，也可以從圖像存儲介質、網絡或其他圖像存儲介質輸入檢索關鍵字圖像。以下，在發明9的圖像分類系統、發明14的圖像檢索程序及發明15的圖像分類程序中，與此相同。
此外，檢索對象圖像存儲裝置是使用任何方法且在任何時間存儲檢索對象圖像的裝置，既可以是預先存儲了檢索對象圖像的裝置，也可以是不預先存儲檢索對象圖像，而是在本系統運行時根據外部的輸入等存儲檢索對象圖像的裝置。
進而，發明3的圖像檢索系統的特徵在於在發明2的圖像檢索系統中，還具有面部信息判斷裝置，該面部信息判斷裝置針對上述檢索關鍵字圖像及上述各檢索對象圖像，判斷該圖像中包含的人物圖像的面部信息，上述特徵向量生成裝置針對上述檢索關鍵字圖像及上述各檢索對象圖像，根據上述面部信息判斷裝置判斷出的面部信息，生成表示該圖像的特徵的特徵向量。
根據這樣的結構，由面部信息判斷裝置判斷檢索關鍵字中包含的人物圖像的面部信息，由特徵向量生成裝置根據判斷出的面部信息，生成表示檢索關鍵字圖像的特徵的特徵向量。此外，同樣地，對各檢索對象圖像，由面部信息判斷裝置判斷該檢索對象圖像中包含的人物圖像的面部信息，由特徵向量生成裝置根據判斷出的面部信息，生成表示該檢索對象圖像的特徵的特徵向量。
由此，因為考慮人物圖像的面部信息來進行檢索，所以，也可以獲得如下效果可以得到與檢索關鍵字圖像中包含的人物圖像的面部相符的檢索結果。
進而，發明4的圖像檢索系統的特徵在於在發明2及3中任何一項的圖像檢索系統中，還具有類似度判斷裝置，該類似度判斷裝置對上述各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與上述檢索關鍵字圖像中包含的人物圖像的面部的類似度，上述特徵向量生成裝置針對上述檢索關鍵字圖像及上述各檢索對象圖像，根據上述類似度判斷裝置的判斷結果，生成表示該圖像的特徵的特徵向量。
根據這樣的結構，由類似度判斷裝置對各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與檢索關鍵字圖像中包含的人物圖像的面部的類似度，由特徵向量生成裝置根據該判斷結果，生成表示檢索關鍵字圖像的特徵的特徵向量及表示各檢索對象圖像的特徵的特徵向量。
由此，因為考慮人物圖像的面部之間的類似度來進行檢索，所以，也可以獲得如下效果可以得到與檢索關鍵字圖像中包含的人物圖像的面部類似的檢索結果。
進而，發明5的圖像檢索系統的特徵在於在發明2至4中任何一項的圖像檢索系統中，上述圖像檢索裝置從上述檢索對象圖像存儲裝置中檢索出與上述檢索關鍵字圖像的特徵向量之間的向量間距離最小的特徵向量所對應的檢索對象圖像。
根據這樣的結構，由圖像檢索裝置從檢索對象圖像存儲裝置中檢索出與檢索關鍵字圖像的特徵向量之間的向量間距離最小的特徵向量所對應的檢索對象圖像。
由此，也可以獲得如下效果可以得到被認為最符合利用者的希望的檢索結果。
進而，發明6的圖像檢索系統的特徵在於在發明2至4中任何一項的圖像檢索系統中，上述圖像檢索裝置根據上述檢索對象圖像的特徵向量之間的向量間距離，將上述各檢索對象圖像分類為多個組，從上述檢索對象圖像存儲裝置中檢索出上述多個組之中的上述檢索關鍵字圖像所屬的組的全部檢索對象圖像。
根據這樣的結構，由圖像檢索裝置根據檢索對象圖像的特徵向量之間的向量間距離，將各檢索對象圖像分類為多個組，從檢索對象圖像存儲裝置中檢索出上述多個組之中的檢索關鍵字圖像所屬的組的全部檢索對象圖像。
由此，可以獲得如下效果可以得到被認為最符合利用者的希望的幾個檢索結果。
進而，發明7的圖像檢索系統的特徵在於在發明2至6中任何一項的圖像檢索系統中，上述特徵向量生成裝置在上述檢索關鍵字圖像與上述檢索對象圖像的縱橫比或上述檢索對象圖像之間的縱橫比不同時，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重複區域生成上述第1圖像的特徵向量，針對上述第2圖像之中的重複區域生成上述第2圖像的特徵向量。
根據這樣的結構，在檢索關鍵字圖像與檢索對象圖像的縱橫比或檢索對象圖像之間的縱橫比不同時，由特徵向量生成裝置將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重複區域生成上述第1圖像的特徵向量，針對上述第2圖像之中的重複區域生成上述第2圖像的特徵向量。
由此，因為即使是縱橫比不同的圖像之間，也可以比較正確地判斷是否類似，所以，也可以獲得如下效果可以得到更符合利用者的希望的檢索結果。
另一方面，為了達成上述目的，發明8的圖像分類系統是一種對多個分類對象圖像進行分類的圖像分類系統，其特徵在於對上述各分類對象圖像，從該分類對象圖像中抽出引人注目區域，根據抽出的引人注目區域，生成表示該分類對象圖像的特徵的特徵向量，根據生成的特徵向量，將上述各分類對象圖像分類為多個組。
根據這樣的結構，對各分類對象圖像，從該分類對象圖像中抽出引人注目區域，根據抽出的引人注目區域，生成表示該分類對象圖像的特徵的特徵向量。然後，根據生成的特徵向量，將各分類對象圖像分類為多個組。
由此，因為考慮利用者注目的地方來進行檢索，所以，利用者的主觀容易反映到檢索結果中。因此，與過去相比，可以獲得如下效果可以得到比較符合利用者的希望的分類結果。
進而，發明9的圖像分類系統是一種對多個分類對象圖像進行分類的圖像分類系統，其特徵在於具有分類對象圖像存儲裝置，其用於存儲上述多個分類對象圖像；引人注目區域抽出裝置，其對上述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區域；特徵向量生成裝置，其根據上述引人注目區域抽出裝置抽出的引人注目區域，對上述各分類對象圖像生成表示該分類對象圖像的特徵的特徵向量；和圖像分類裝置，其根據上述特徵向量生成裝置生成的特徵向量，將上述各分類對象圖像分類為多個組。
根據這樣的結構，對分類對象圖像存儲裝置的各分類對象圖像，由引人注目區域抽出裝置從該分類對象圖像中抽出引人注目區域，由特徵向量生成裝置根據抽出的引人注目區域，生成表示該分類對象圖像的特徵的特徵向量。然後，由圖像分類裝置根據生成的特徵向量，將各分類對象圖像分類為多個組。
由此，因為考慮利用者所注目的地方來進行分類，所以，利用者的主觀容易反映到分類結果中。因此，與過去相比，可以獲得如下效果可以得到比較符合利用者的希望的分類結果。
在此，分類對象圖像存儲裝置是使用任何方法且在任何時間存儲分類對象圖像的裝置，既可以是預先存儲了分類對象圖像的裝置，也可以是不預先存儲分類對象圖像，而是在本系統運行時根據外部的輸入等存儲分類對象圖像的裝置。
進而，發明10的圖像分類系統的特徵在於在發明9的圖像分類系統中，還具有面部信息判斷裝置，該面部信息判斷裝置對上述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部信息，上述特徵向量生成裝置根據上述面部信息判斷裝置判斷出的面部信息，對上述各分類對象圖像，生成表示該分類對象圖像的特徵的特徵向量。
根據這樣的結構，對各分類對象圖像，由面部信息判斷裝置判斷該分類對象圖像中包含的人物圖像的面部信息，由特徵向量生成裝置根據判斷出的面部信息，生成表示該分類對象圖像的特徵的特徵向量。
由此，因為考慮人物圖像的面部信息來進行分類，所以，也可以獲得如下效果可以得到與人物圖像的面部相符的圖像都屬於同一組的分類結果。
進而，發明11的圖像分類系統的特徵在於在發明9及10中任何一項的圖像分類系統中，還具有類似度判斷裝置，該類似度判斷裝置對上述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部與特定圖像中包含的人物圖像的面部的類似度，上述特徵向量生成裝置根據上述類似度判斷裝置的判斷結果，對上述各分類對象圖像，生成表示該分類對象圖像的特徵的特徵向量。
根據這樣的結構，對各分類對象圖像，由類似度判斷裝置判斷該分類對象圖像中包含的人物圖像的面部與特定圖像中包含的人物圖像的面部的類似度，由特徵向量生成裝置根據該判斷結果，生成表示該分類對象圖像的特徵的特徵向量。
由此，因為考慮人物圖像的面部之間的類似度來進行分類，所以，也可以獲得如下效果可以得到人物圖像的面部類似的圖像都屬於同一組的分類結果。
進而，發明12的圖像分類系統的特徵在於在發明9至11中任何一項的圖像分類系統中，上述圖像分類裝置根據上述分類對象圖像的特徵向量之間的向量間距離，將上述各分類對象圖像分類為多個組，對上述各組，從上述分類對象圖像存儲裝置中檢索出指定數量的分類對象圖像。
根據這樣的結構，由圖像分類裝置根據分類對象圖像的特徵向量之間的向量間距離，將各分類對象圖像分類為多個組，對各組，從分類對象圖像存儲裝置中檢索出指定數量的分類對象圖像。
由此，因為從不同組中檢索出指定數量的分類對象圖像，所以，也可以獲得如下效果可以得到多樣化的檢索結果。
進而，發明13的圖像分類系統其特徵在於在發明9至12中任何一項的圖像分類系統中，上述特徵向量生成裝置在上述分類對象圖像之間的縱橫比不同時，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重複區域生成上述第1圖像的特徵向量，針對上述第2圖像之中的重複區域生成上述第2圖像的特徵向量。
根據這樣的結構，在分類對象圖像之間的縱橫比不同時，由特徵向量生成裝置將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重複區域生成第1圖像的特徵向量，針對第2圖像之中的重複區域生成第2圖像的特徵向量。
由此，因為即使是縱橫比不同的圖像之間，也可以比較正確地判斷是否類似，所以，也可以獲得如下效果可以得到更符合利用者的希望的分類結果。
另一方面，為了達成上述目的，發明14的圖像檢索程序是一種圖像檢索程序，其根據給出的檢索關鍵字圖像，從多個檢索對象圖像中檢索與上述檢索關鍵字圖像相符的圖像，其特徵在於使可以利用用於存儲上述多個檢索對象圖像的檢索對象圖像存儲裝置和用於輸入上述檢索關鍵字圖像的檢索關鍵字圖像輸入裝置的計算機，執行作為以下裝置所實現的處理引人注目區域抽出裝置，其針對上述檢索關鍵字圖像輸入裝置輸入的檢索關鍵字圖像及上述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區域；特徵向量生成裝置，其針對上述檢索關鍵字圖像及上述各檢索對象圖像，根據上述引人注目區域抽出裝置抽出的引人注目區域，生成表示該圖像的特徵的特徵向量；和圖像檢索裝置，其根據上述特徵向量生成裝置生成的特徵向量，從上述檢索對象圖像存儲裝置中檢索與上述檢索關鍵字圖像相符的圖像。
根據這樣的結構，在通過計算機讀取程序，由計算機根據讀取的程序來執行處理時，可以得到與發明2的圖像檢索系統同等的作用及效果。
另一方面，為了達成上述目的，發明15的圖像分類程序是一種圖像分類程序，其對多個分類對象圖像進行分類，其特徵在於使可以利用用於存儲上述多個分類對象圖像的分類對象圖像存儲裝置的計算機，執行作為以下裝置所實現的處理引人注目區域抽出裝置，其對上述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區域；特徵向量生成裝置，其根據上述引人注目區域抽出裝置抽出的引人注目區域，對上述各分類對象圖像，生成表示該分類對象圖像的特徵的特徵向量；和圖像分類裝置，其根據上述特徵向量生成裝置生成的特徵向量，將上述各分類對象圖像分類為多個組。
根據這樣的結構，在通過計算機讀取程序，由根據讀取的程序來執行處理時，可以得到與發明9的圖像分類系統同等的作用及效果。
另一方面，為了達成上述目的，發明16的圖像檢索方法是一種圖像檢索方法，根據給出的檢索關鍵字圖像，從存儲有多個檢索對象圖像的檢索對象圖像存儲裝置中檢索與上述檢索關鍵字圖像相符的圖像，其特徵在於包括以下步驟檢索關鍵字圖像輸入步驟輸入上述檢索關鍵字圖像；第1引人注目區域抽出步驟從上述檢索關鍵字圖像輸入步驟中輸入的檢索關鍵字圖像中抽出引人注目區域；第1特徵向量生成步驟根據上述第1引人注目區域抽出步驟中抽出的引人注目區域，生成表示上述檢索關鍵字圖像的特徵的特徵向量；第2引人注目區域抽出步驟從上述檢索對象圖像抽出引人注目區域；第2特徵向量生成步驟根據上述第2引人注目區域抽出步驟中抽出的引人注目區域，生成表示上述檢索對象圖像的特徵的特徵向量；重複步驟對上述檢索對象圖像存儲裝置的各檢索對象圖像，重複進行上述第2引人注目區域抽出步驟及上述第2特徵向量生成步驟；和圖像檢索步驟根據上述第1特徵向量生成步驟及第2特徵向量生成步驟中生成的特徵向量，從上述檢索對象圖像存儲裝置中檢索與上述檢索關鍵字圖像相符的圖像。
由此，可以獲得與發明2的圖像檢索系統同等的效果。在此，引人注目區域抽出步驟只要針對檢索關鍵字圖像及各檢索對象圖像，從該圖像抽出引人注目區域就可以。例如，可以根據檢索關鍵字圖像或檢索對象圖像，計算吸引度，根據計算出的吸引度，抽出引人注目區域。以下，在發明17的圖像分類方法中，與此相同。
此外，檢索關鍵字圖像輸入步驟只要能輸入檢索關鍵字圖像，可以採用任何方法，例如，可以將從檢索對象圖像存儲裝置中選擇的檢索對象圖像作為檢索關鍵字圖像進行輸入，也可以從圖像存儲介質、網絡或其他圖像存儲介質輸入檢索關鍵字圖像。
另一方面，為了達成上述目的，發明17的圖像分類方法是一種對多個分類對象圖像進行分類的圖像分類方法，其特徵在於包括以下步驟引人注目區域抽出步驟從上述分類對象圖像中抽出引人注目區域；特徵向量生成步驟根據上述引人注目區域抽出步驟中抽出的引人注目區域，生成表示上述分類對象圖像的特徵的特徵向量；重複步驟對上述各分類對象圖像，重複進行上述引人注目區域抽出步驟及上述特徵向量生成步驟；和圖像分類步驟根據上述特徵向量生成步驟中生成的特徵向量，將上述各分類對象圖像分類為多個組。
由此，可以得到與發明9的圖像分類系統同等的效果。
圖1是表示本發明所涉及的圖像檢索裝置100的結構的功能框圖。
圖2是表示計算機200的結構的框圖。
圖3是表示圖像檢索處理的流程圖。
圖4是表示縱向的檢索對象圖像的一例的圖。
圖5是表示橫向的檢索對象圖像的一例的圖。
圖6是表示將n個特徵向量V分組為2組(cluster)的情況的圖。
圖7是表示顯示出檢索結果的顯示畫面的圖。
圖8是表示將縱橫比不同的檢索對象圖像A、B重疊在一起的情況的圖。
符號說明100圖像檢索裝置；200計算機；10檢索對象圖像登錄DB；12檢索關鍵字圖像指定部；14檢索關鍵字圖像讀出部；16引人注目區域抽出部；18面部圖像處理部；20特徵向量生成部；22檢索條件指定部；24圖像檢索部；26顯示形式指定部；28圖像顯示部；34面部區域判斷部；36面部信息判斷部；38類似度判斷部；50CPU；52ROM；54RAM；58I/F；60輸入裝置；64顯示裝置。
具體實施例方式
以下，參照附圖，就本發明的實施方式進行說明。圖1至圖7是示出本發明所涉及的圖像檢索系統、圖像分類系統、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法的實施方式的圖。
本實施方式考慮利用者所注目的地方，在進行圖像的類似檢索時，應用本發明所涉及的圖像檢索系統、圖像分類系統、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法。
在本實施方式中，作為圖像中利用者所注目的地方(以下稱為引人注目區域)的抽出基準，使用「吸引度」的概念。吸引度的計算方法具體地記載在例如「特開2001-126070號公報(引人注目區域抽出裝置及使用了該裝置的自動構圖決定裝置)」中。
簡單地說明吸引度。
為了抽出引人注目區域，根據原圖像的物理特徵評價吸引度。在此，吸引度是指與人的主觀相符的參數。引人注目區域的抽出是從評價結果中抽出最顯著的區域作為引人注目區域。即，在評價引人注目區域時，因為根據物理特徵來進行與人的主觀相符的評價，所以，可以抽出與人主觀相符的引人注目區域。
例如，物理特徵包含顏色的差異度時，可以根據各區域的顏色不同，評價吸引度。
此外，因為物理特徵除了顏色的差異度，還包含形狀的差異度、面積的差異度及花紋(圖案)的差異度，所以，只要根據該4個差異度的至少1個差異度來評價吸引度，就可以根據原圖像的特徵，正確地評價吸引度。
此外，如果對顏色的3要素(色相、純度、明度)也進行評價，則可以將接近人主觀認為顯著的顏色(紅色)的區域評價為最顯著區域。進而，如果對空間頻率或原圖像中的各區域的面積也進行評價，則可以對最顯著區域的評價進行更正確地判斷。
此外，吸引度的評價按如下步驟進行。
(1)最初對原圖像進行區域分割。此時，將原圖像分割成圖區域和畫區域。區域分割的方法可應用1997IEEE中的W.Y.Ma及B.S.Manjunath等在「Edge FlowA Framework of Boundary Detection and ImageSegmentation」中記載的基於「edge flow」的邊界檢測方法。
(2)其次，抽出分割後的圖區域，評價區域的吸引度。
吸引度的評價大致如下進行。
最初求得各區域的差異性吸引度。此時，分別求得顏色的差異度、花紋的差異度、形狀的差異度及面積的差異度，分別賦予加權係數，進行線性組合，求得各區域的差異性吸引度。
其次，求得各區域的特徵吸引度。此時，求得顏色的吸引度、空間頻率的吸引度、面積的吸引度，分別賦予加權係數，進行線性組合，求得各區域的特徵吸引度。
然後，將各區域的差異性吸引度與特徵吸引度相加，求得特徵量綜合值，通過指定的β函數評價特徵量綜合值，計算吸引度。
(3)此外，根據原圖像生成評價吸引度的模式圖。
下面，參照圖1，就本發明所涉及的圖像檢索裝置100的結構進行說明。
圖1是表示本發明所涉及的圖像檢索裝置100的結構的功能框圖。
圖像檢索裝置100如圖1所示，其由如下部分構成檢索對象圖像登錄資料庫(以下，將資料庫略稱為DB。)10，其登錄了多個檢索對象圖像；檢索關鍵字圖像指定部12，其指定檢索關鍵字圖像；和檢索關鍵字圖像讀出部14，其將檢索關鍵字圖像指定部12指定的檢索對象圖像作為檢索關鍵字圖像，從檢索對象圖像登錄DB10中讀出。還具有引人注目區域抽出部16，其針對檢索關鍵字圖像讀出部14讀出的檢索關鍵字圖像及檢索對象圖像登錄DB10的各檢索對象圖像，從該圖像中抽出引人注目區域；面部圖像處理部18，其針對檢索關鍵字圖像讀出部14讀出的檢索關鍵字圖像及檢索對象圖像DB10的各檢索對象圖像，判斷面部信息及類似度；和特徵向量生成部20，其根據引人注目區域抽出部16抽出的引人注目區域及面部圖像處理部18的判斷結果，生成表示圖像的特徵的特徵向量。還具有檢索條件指定部22，其指定檢索條件；圖像檢索部24，其根據檢索條件指定部22指定的檢索條件及特徵向量生成部20生成的特徵向量，從檢索對象圖像登錄DB10中檢索圖像；顯示形式指定部26，其指定檢索結果的顯示形式；和圖像顯示部28，其用顯示形式指定部26指定的顯示形式來顯示檢索結果的圖像。
面部圖像處理部18具有面部區域判斷部34、面部信息判斷部36和類似度判斷部38，其中，面部區域判斷部34針對檢索關鍵字圖像讀出部14讀出的檢索關鍵字圖像及檢索對象圖像登錄DB10的各檢索對象圖像，判斷該圖像中是否包含相當於人物圖像的面部的區域(以下稱為面部區域)；面部信息判斷部36根據面部區域判斷部34的判斷結果，判斷圖像中包含的人物圖像的面部的方向、大小及重心位置；類似度判斷部38根據面部區域判斷部34的判斷結果，對各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與檢索關鍵字圖像中包含的人物圖像的面部的類似度。
具體來說，如圖2所示，圖像檢索裝置100可以作為計算機200及由其運行的程序來實現。參照圖2，就計算機200的結構進行說明。
圖2是表示計算機200的結構的框圖。
如圖2所示，計算機200由以下裝置構成CPU50，其根據控制程序，控制運算及系統整體；ROM52，其在指定區域中預先存儲CPU50的控制程序等；RAM54，其用於存儲從ROM52等讀出的數據及CPU50的運算過程中所需的運算結果；和I/F58，其向外部裝置傳送數據的輸入輸出。這些裝置利用作為用於傳輸數據的信號線的總線59以相互可以進行數據接收和發送的狀態連接在一起。
在I/F58上，作為外部裝置，連接了以下裝置檢索對象圖像登錄DB10；輸入裝置60，其作為人機接口由可以進行數據輸入的鍵盤及滑鼠等構成；和顯示裝置64，其根據圖像信號，顯示畫面。
CPU50由微處理單元(MPU)等構成，其啟動ROM52的指定區域中存儲的指定程序，根據該程序，執行圖3的流程圖所示的圖像檢索處理。
圖3是表示圖像檢索處理的流程圖。
圖像檢索處理是一種從輸入裝置60接受檢索請求的輸入並執行的處理，在CPU50中執行時，如圖3所示，首先，轉移到步驟S100。
在步驟S100中，輸入檢索條件的指定。作為檢索條件，可以指定以下檢索模式類似圖像檢索模式，其從檢索對象圖像登錄DB10中檢索與檢索關鍵字圖像最類似的圖像；類似圖像群檢索模式，其從檢索對象圖像登錄DB10中檢索與檢索關鍵字圖像類似的多個圖像；和多樣性檢索模式，從檢索對象圖像登錄DB10中檢索性質不同的多個圖像。
接著，轉移到步驟S102，輸入顯示形式的指定。作為顯示形式，可以指定以下顯示模式放大顯示模式，其將符合檢索條件的圖像放大顯示，將不符合檢索條件的圖像縮小顯示；和清晰(鮮明)顯示模式，其將符合檢索條件的圖像清晰顯示，將不符合檢索條件的圖像模糊顯示。
接著，轉移到步驟S104，從檢索對象圖像登錄DB10中指定檢索關鍵字圖像。另外，作為檢索條件指定了多樣性檢索模式時，不需要檢索關鍵字圖像的指定。以下，針對包含檢索關鍵字圖像的全部檢索對象圖像進行步驟S106～S126及步驟S134的處理。
接著，轉移到步驟S106，從檢索對象圖像登錄DB10中讀出開頭的檢索對象圖像，轉移到步驟S108。
在步驟S108中，根據讀出的檢索對象圖像，計算吸引度，根據計算出的吸引度，抽出引人注目區域。引人注目區域的抽出按照上述方法進行。因為有時吸引度的絕對值受檢索對象圖像的影響，所以，為了同等評價全部檢索對象圖像，將吸引度標準化，將引人注目區域的引人注目程度劃分為指定級(例如，10級)。以下，將針對構成檢索對象圖像的各像素計算出的吸引度作為e』xyox、y表示檢索對像圖像中的像素的X坐標及Y坐標。
圖4是表示縱向的檢索對象圖像的一例的圖。
在圖4(a)的例中，攝影方向為縱向，右下配置了花的圖像。此時，在計算引人注目區域時，例如，如圖4(b)所示，將花的圖像之中的花的部分及其近旁的區域作為引人注目程度最高的引人注目區域A抽出，將花的圖像之中的莖及葉的部分及其近旁的區域作為引人注目程度第2高的引人注目區域B抽出。其他區域作為引人注目程度低的區域C抽出。
圖5是表示橫向的檢索對象圖像的一例的圖。
在圖5(a)的例中，攝影方向為橫向，右下配置了花的圖像。此時，在計算引人注目區域時，例如，如圖5(b)所示，將花的圖像之中的花的部分及其近旁的區域作為引人注目程度最高的引人注目區域A抽出，將花的圖像之中的莖及葉的部分及其近旁的區域作為引人注目程度第2高的引人注目區域B抽出。其他區域作為引人注目程度低的區域C抽出。由此，可以知道用同樣的引人注目程度抽出了與圖4的檢索對象圖像幾乎同樣的區域。
接著，轉移到步驟S110，判斷讀出的檢索對象圖像中是否包含面部區域，轉移到步驟S118。
在步驟S118中，根據步驟S110的判斷結果，判斷檢索對象圖像中包含的人物圖像的面部的方向、大小及重心位置。具體來說，假設檢索對象圖像內包含多個面部區域，將它們作為檢測面部區域群時，分別計算檢測面部區域群在檢索對象圖像內佔據的面積的總和f1；檢測面部區域群在檢索對象圖像面內佔據的面積的平均值f2；檢測面部區域群在檢索對象圖像內佔據的面積的方差f3；表示檢測面部區域群的各面部在水平方向朝向正面的程度的水平方向正面朝向程度的平均值f4(-π/2～π/2)；檢測面部區域群的各面部的水平方向正面朝向程度的方差f5；表示檢測面部區域群的各面部在垂直方向朝向正面的程度的垂直方向正面朝向程度的平均值f6(-π/2～π/2)；檢測面部區域群的各面部的垂直方向正面朝向程度的方差f7；檢測面部區域群的各重心位置的平均值f8；及檢測面部區域群的各重心位置的方差f9。在檢索對象圖像內只包含1個面部區域時，f1及f2計算該面部區域的面積；f4及f6計算該面部區域的水平方向正面朝向程度及垂直方向正面朝向程度。另外，檢測面部區域的面部以正面為基準傾斜於水平方向的程度越大，水平方向正面朝向程度的值越小，檢測面部區域的面部以正面為基準傾斜於垂直方向的程度越大，垂直方向正面朝向程度的越變小。以下，除了特別區別的情況，將水平方向正面朝向程度及垂直方向正面朝向程度總稱為正面朝向程度。此外，面部區域的面積通過用檢索對象圖像的大小進行標準化來算出。
接著，轉移到步驟S120，判斷檢索對象圖像中包含的人物圖像的面部與檢索關鍵字圖像中包含的人物圖像的面部的類似度。例如，在檢索關鍵字圖像中包含被拍攝體A、B、C的人物圖像時，對檢索對象圖像中包含的各面部區域，分別判斷與被拍攝體A的面部區域的面部的類似度；與被拍攝體B的面部區域的面部的類似度；以及與被拍攝體C的面部區域的面部的類似度。另外，作為檢索條件，指定了多樣性檢索時，因為不存在檢索關鍵字圖像，所以，對檢索對象圖像中包含的人物圖像的面部與預先設定的特定圖像中包含的人物圖像的面部的類似度進行判斷。
接著，轉移到步驟S124，根據步驟S108抽出的引人注目區域及步驟S118、S120的判斷結果，生成檢索對象圖像的特徵向量V。特徵向量V大致由以下要素群構成與引人注目區域的吸引度對應的第1要素群；與面部信息f1～f9對應的第2要素群；和與類似度對應的第3要素群。
特徵向量V的第1要素群將檢索對象圖像分割為多個區域(例如，水平方向N個及垂直方向M個矩形區域)，根據下述公式(1)，對各分割區域計算該分割區域(i，j)的吸引度的平均值eij，根據吸引度的平均值eij進行決定。分割區域(i，j)在檢索對象圖像中表示水平方向第i(i＝1～N)個、垂直方向第j(j＝1～M)個區域。
eij=n=xi-sn=xi+sm=yi-sm=yi+senm(1)]]>上述公式(1)在各分割區域是由2s×2s的像素構成的正方形區域時，計算分割區域(i，j)的吸引度的平均值eij。在上述公式(1)中，xi是分割區域(i，j)的中心點的x坐標，xj是分割區域(i，j)的中心點的y坐標。
因此，特徵向量V的第1要素群是根據下述公式(2)，在各分割區域的吸引度的平均值eij上分別乘以獨立的係數Eij，將它們作為各要素進行羅列而得到的。將檢索對象圖像分割為水平方向N個及垂直方向M個區域時，特徵向量V的第1要素群由N×M個要素構成。(E11·e11，E12·e12，…，Eij·eij，…ENM·eNM) …(2)特徵向量V的第2要素群是根據下述公式(3)，在步驟S118判斷出的面部信息f1～f9上分別乘以獨立的係數F1～F9，將它們作為各要素進行羅列而成的。
(F1·f1，F2·f2，…，F9·f9)…(3)特徵向量V的第3要素群是根據下述公式(4)，在步驟S120判斷出的類似度pk上分別乘以獨立的係數Pk，將它們作為各要素進行羅列而成的。例如，在檢索關鍵字圖像中包含了K個人物圖像時，對檢索對象圖像中包含的各面部區域，計算與檢索關鍵字圖像中包含的面部區域k(k＝1～K)的面部的類似度。此時，在與面部區域k的面部類似(類似度為大於等於指定值時)時，設pk＝1，在與面部區域k的面部不類似(類似度小於指定值時)時，設pk＝0。
(P1·p1，P2·p2，…，Pk·pk，…Pk·pk) …(4)根據以上所述，特徵向量V是通過下述公式(5)作為羅列第1要素群、第2要素群及第3要素群的各要素來表示的。
V＝(E11·e11，E12·e12，…，ENM·eNM，F1·f1，F2·f2，…，F9·f9，P1·p1，P2·p2，…，Pk·pk) …(5)接著，轉移到步驟S126，針對檢索對象圖像登錄DB10的全部檢索對象圖像，判斷步驟S108～S124的處理是否結束，在判斷為對全部檢索對象圖像結束了處理時(「是」)，轉移到步驟S128。
在步驟S128中，根據檢索對象圖像的特徵向量之間的向量間距離，將各檢索對象圖像分組為多個組。分組可以例如根據以往的K-平均法來進行。在K-平均法中，作為第1處理，適當選擇K個特徵向量V，將選擇的特徵向量Vk(k＝1～K)分別作為組k的中心位置。將組k的中心位置作為mk。接著，作為第2處理，根據下述公式(6)，計算特徵向量Vi(i＝1～N，N是檢索對象圖像的總數)與組k的中心位置mk的向量間距離，將特徵向量Vi歸屬於計算出的向量間距離最小的組k。下述公式(6)計算特徵向量VA與特徵向量VB之間的向量間距離。
S＝|VA-VB|…(6)接著，作為第3處理，用屬於組k的特徵向量Vi的平均值置換組k的中心位置mk。接著，作為第4處理，在i＜N時，將i加「1」，進行第2處理及第3處理。然後，作為第5處理，在第3處理中變更前後的mk有變化時，使i＝1，進行第2處理及第3處理。在第3處理中變更前後的mk沒有變化時，或進行了大於等於一定次數的重複處理時，結束處理，決定組k的中心位置mk及屬於其的特徵向量Vi。
圖6是表示將n個特徵向量V分組為2組的情況的圖。
在圖6的例中，特徵向量V1、V2、V3、Vn屬於中心位置m1的組，特徵向量V4、V5、V6、Vn-1屬於中心位置m2的組。
接著，轉移到步驟S130，根據指定的檢索條件，從檢索對象圖像登錄DB10中檢索圖像。作為檢索條件，在指定了類似圖像檢索模式時，從檢索對象圖像登錄DB10中檢索出與檢索關鍵字圖像的特徵向量V之間的向量間距離最小的特徵向量V所對應的檢索對象圖像。作為檢索條件，在指定了類似圖像群檢索模式時，從檢索對象圖像登錄DB10中檢索出多個組之中的檢索關鍵字圖像所屬的組的全部檢索對象圖像。作為檢索條件，在指定了多樣性檢索模式時，從檢索對象圖像登錄DB10中對每個組檢索出指定數量的檢索對象圖像。
接著，轉移到步驟S132，用指定的顯示形式將檢索出的檢索對象圖像顯示到顯示裝置64上，結束一連串的處理，返回到原來的處理。
圖7是表示顯示了檢索結果的顯示畫面的圖。
圖7的例是用放大顯示模式及清晰顯示模式顯示了檢索對象圖像1～n的情況，因為圖像1、2、3、n是作為檢索結果檢索出來的圖像，所以，放大且清晰地進行了顯示，與此相對，其他圖像4、5、6、n-1被縮小且被模糊地顯示著。
另一方面，在步驟S126判斷為對檢索對象圖像登錄DB10的全部檢索對象圖像，步驟S108～S124的處理沒有結束時(「否」)，轉移到步驟S134，從檢索對象圖像登錄DB10中讀入下面的檢索對象圖像，轉移到步驟S108。
下面，就本實施方式的動作進行說明。
首先，就根據類似圖像檢索模式進行圖像的類似檢索的情況進行說明。
在根據類似圖像檢索模式進行圖像的類似檢索時，利用者輸入檢索請求，作為檢索模式，指定類似圖像檢索模式，同時，指定檢索關鍵字圖像。此外，同時指定顯示形式。
在圖像檢索裝置100中，在指定類似圖像檢索模式及檢索關鍵字圖像後，通過步驟S106～S110，從檢索對象圖像登錄DB10中讀出開頭的檢索對象圖像，從讀出的檢索對象圖像中抽出引人注目區域，同時，判斷檢索對象圖像中是否包含面部區域。接著，通過步驟S118、S120，根據步驟S110的判斷結果，判斷檢索對象中包含的人物圖像的面部的方向、大小及重心位置，判斷檢索對象圖像中包含的人物圖像的面部與檢索關鍵字圖像中包含的人物圖像的面部的類似度。在檢索對象圖像中包含了多個被拍攝體的人物圖像時，通過重複步驟S110～S120，對各面部區域，進行面部信息及類似度的判斷。
接著，在對檢索對象圖像的全部面部區域進行了面部信息及類似度的判斷之後，通過步驟S124，根據抽出的引人注目區域以及判斷出的面部信息及類似度，生成檢索對象圖像的特徵向量V。
在對檢索對象圖像登錄DB10的全部檢索對象圖像進行了這樣的處理時，通過步驟S128、S130，由於根據檢索對象圖像的特徵向量V之間的向量間距離，將各檢索對象圖像分組為多個組，並指定了類似圖像檢索模式，所以，從檢索對象圖像登錄DB10中檢索出與檢索關鍵字圖像的特徵向量V之間的向量間距離最小的特徵向量V所對應的檢索對象圖像。然後，通過步驟S132，把檢索出來的檢索對象圖像用指定的顯示形式進行顯示。
其次，就根據類似圖像群檢索模式進行圖像的類似檢索的情況進行說明。
在根據類似圖像群檢索模式進行圖像的類似檢索時，利用者輸入檢索請求，作為檢索模式，指定類似圖像群檢索模式，同時，指定檢索關鍵字圖像。此外，同時指定顯示形式。
到將各檢索對象圖像分組為止，與類似圖像檢索模式中進行的類似檢索的情況相同。在圖像檢索裝置100中，在對各檢索對象圖像進行了分組時，通過步驟S130，由於指定了類似圖像群檢索模式，所以，從檢索對象圖像登錄DB10中檢索出多個組中的檢索關鍵字圖像所屬的組的全部檢索對象圖像。然後，通過步驟S132，把檢索出來的檢索對象圖像用指定的顯示形式進行顯示。
其次，就根據多樣性檢索模式進行圖像的類似檢索的情況進行說明。
在根據多樣性檢索模式進行圖像的類似檢索時，利用者輸入檢索請求，作為檢索模式，指定多樣性檢索模式。此外，同時指定顯示形式。
到對各檢索對象圖像進行分組為止，與類似圖像檢索模式中進行的類似檢索的情況相同。在圖像檢索裝置100中，在對各檢索對象圖像進行了分組時，通過步驟S130，由於指定了多樣性檢索模式，所以，從檢索對象圖像登錄DB10中對各組檢索出指定數量的檢索對象圖像。然後，通過步驟S132，把檢索出來的檢索對象圖像用指定的顯示形式進行顯示。
這樣，在本實施方式中，針對檢索關鍵字圖像及各檢索對象圖像，從該圖像中抽出引人注目區域，針對檢索關鍵字圖像及各檢索對象圖像，根據抽出的引人注目區域，生成該圖像的特徵向量V，根據生成的特徵向量V，從檢索對象圖像登錄DB10中檢索與檢索關鍵字圖像相符的圖像。
由此，因為考慮利用者注目的地方來進行檢索，所以，利用者的主觀容易反映到檢索結果中。因此，與過去相比，可以得到與利用者的希望比較相符的檢索結果。
進而，在本實施方式中，針對檢索關鍵字圖像及各檢索對象圖像，判斷該圖像中包含的人物圖像的面部的方向、大小及重心位置，針對檢索關鍵字圖像及各檢索對象圖像，根據判斷出的面部的方向、大小或重心位置，生成該圖像的特徵向量V。
由此，因為考慮人物圖像的面部的方向、大小或重心位置來進行檢索，所以，可以得到與檢索關鍵字圖像中包含的人物圖像的面部相符的檢索結果。
進而，在本實施方式中，對各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與檢索關鍵字圖像中包含的人物圖像的面部的類似度，針對檢索關鍵字圖像及各檢索對象圖像，根據判斷出的類似度，生成該圖像的特徵向量V。
由此，因為考慮人物圖像的面部之間的類似度來進行檢索，所以，可以得到與檢索關鍵字圖像中包含的人物圖像的面部類似的檢索結果。
進而，在本實施方式中，從檢索對象圖像登錄DB10中檢索出與檢索關鍵字圖像的特徵向量V之間的向量間距離最小的特徵向量V所對應的檢索對象圖像。
由此，可以得到被認為最符合利用者的希望的檢索結果。
進而，在本實施方式中，根據檢索對象圖像的特徵向量V之間的向量間距離，將各檢索對象圖像分類為多個組，從檢索對象圖像登錄DB10中檢索出多個組中的檢索關鍵字圖像所屬的組的全部檢索對象圖像。
由此，可以得到被認為符合利用者的希望的幾個檢索結果。
進而，在本實施方式中，根據檢索對象圖像的特徵向量V之間的向量間距離，將各檢索對象圖像分類為多個組，從檢索對象圖像登錄DB10中對各組檢索出指定數量的檢索對象圖像。
由此，因為從不同的組檢索出指定數量的檢索對象圖像，所以，可以得到多樣的檢索結果。
在上述實施方式中，檢索對象圖像對應於發明8至12、15或17的分類對象圖像，檢索對象圖像登錄DB10對應於發明2、5、6、14或16的檢索對象圖像存儲裝置或發明9、12或15的分類對象圖像存儲裝置。此外，步驟S104及檢索關鍵字圖像指定部12對應於發明2或14的檢索關鍵字圖像輸入裝置或發明16的檢索關鍵字圖像輸入步驟，步驟S108及引人注目區域抽出部16對應於發明2、9、14或15的引人注目區域抽出裝置、發明17的引人注目區域抽出步驟、發明16的第1引人注目區域抽出步驟或發明16的第2引人注目區域抽出步驟。
此外，在上述實施方式中，步驟S118及面部信息判斷部36對應於發明3或10的面部信息判斷裝置，步驟S120及類似度判斷部38對應於發明4或11的類似度判斷裝置，步驟S124及特徵向量生成部20對應於發明2至4、9至11、14或15的特徵向量生成裝置、發明16的第2特徵向量生成步驟或發明16的第1特徵向量生成步驟。此外，步驟S128、S130及圖像檢索部24對應於發明2、5、6或14的圖像檢索裝置、發明9、12或15的圖像分類裝置、發明16的圖像檢索步驟或發明17的圖像分類步驟。
另外，在上述實施方式中，沒有對檢索對象圖像的縱橫比進行特別說明，但在檢索對象圖像的縱橫比不同時，如下判斷圖像是否類似。
圖8是表示將縱橫比不同的檢索對象圖像A、B重疊在一起的情況的圖。
在判斷縱橫比不同的檢索對象圖像A、B是否類似時，如圖8所示，將檢索對象圖像A、B重疊，針對檢索對象圖像A之中的重複區域，生成檢索對象圖像A的特徵向量VA，針對檢索對象圖像B之中的重複區域，生成檢索對象圖像B的特徵向量VB，根據生成的特徵向量VA、VB，判斷檢索對象圖像A、B是否類似。
此時，也可以進而以使重複區域有所不同的方式改變檢索對象圖像A、B的重疊方法，將檢索對象圖像A、B重疊，將對各組合計算出的檢索對象圖像A的特徵向量VAi(i＝1～N，N是組合總數)的平均值作為檢索對象圖像A的特徵向量VA來生成，將對各組合計算出的檢索對象圖像B的特徵向量VBi的平均值作為檢索對象圖像B的特徵向量VB來生成。
由此，因為即使是對縱橫比不同的檢索對象圖像之間，也可以比較正確地判斷是否類似，所以，可以得到進一步符合利用者的希望的檢索結果。
此時，步驟S124及特徵向量生成部20對應於發明7或13的特徵向量生成裝置。
此外，在上述實施方式中，根據上述公式(2)，在各分割區域的吸引度的平均值eij上分別乘以獨立的係數Eij，將這些作為各要素進行羅列，來生成特徵向量V的第1要素群，但是，不限於此，在引人注目區域的計算中使用吸引度時，因為在分割的區域中吸引度是一定的，所以，在步驟S108中，也可以如下生成。首先，從檢索對象圖像中按照吸引度從高到低的順序選擇H個引人注目區域。接著，根據下述公式(7)，在引人注目區域h(h＝1～H)的水平方向的中心坐標xh上乘以係數X，在引人注目區域h的垂直方向的中心坐標yh上乘以係數Y。此外，在引人注目區域h的吸引度eh上乘以係數E，在引人注目區域h的面積sh上乘以係數S。然後，將這些Xxh、Yyh、Eeh、Ssh作為各要素進行羅列，來生成作為特徵向量V的第1要素群。(X·x1，Y·y1，E·e1，S·s1，…X·xh，Y·yh，E·eh，S·sh，…X·xH，Y·yH，E·eH，S·sH)…(7)此時，抽出的引人注目區域的個數h不滿足指定數(例如，10個)時，將特徵向量V的第1要素群都設為「0」。
此外，在上述實施方式中，對在執行圖3的流程圖所示的處理時，對執行預先存儲在ROM52中的控制程序的情況進行了說明，但是，不限於此，也可以將該程序從存儲了表示這些步驟的程序的存儲介質讀入到RAM54，進行運行。
在此，存儲介質指的是RAM、ROM等半導體存儲介質；FD、HD等磁存儲型存儲介質；CD、CDV、LD、DVD等光學讀取方式存儲介質；MO等磁存儲型/光學讀取方式存儲介質，與電子、磁、光學等讀取方法無關，只要是計算機可以讀取的存儲介質，包含所有存儲介質。
此外，在上述實施方式中，將本發明所涉及的圖像檢索系統、圖像分類系統、圖像檢索程序及圖像分類程序、以及圖像檢索方法及圖像分類方法應用於考慮利用者注目的地方來進行圖像的類似檢索的情況，但是，不限於此，在不脫離本發明的主旨的範圍內，也可以應用於其他情況。例如，可以應用於對圖像進行分類的情況。
權利要求
1.一種圖像檢索系統，根據給出的檢索關鍵字圖像，從多個檢索對象圖像中檢索與所述檢索關鍵字圖像相符的圖像，其特徵在於針對所述檢索關鍵字圖像及所述各檢索對象圖像，從該圖像中抽出引人注目區域，根據抽出的引人注目區域，生成表示該圖像的特徵的特徵向量，根據生成的特徵向量，從所述多個檢索對象圖像中檢索與所述檢索關鍵字圖像相符的圖像。
2.一種圖像檢索系統，根據給出的檢索關鍵字圖像，從多個檢索對象圖像中檢索與所述檢索關鍵字圖像相符的圖像，其特徵在於具有檢索對象圖像存儲裝置，其用於存儲所述多個檢索對象圖像；檢索關鍵字圖像輸入裝置，其輸入所述檢索關鍵字圖像；引人注目區域抽出裝置，其針對所述檢索關鍵字圖像輸入裝置輸入的檢索關鍵字圖像及所述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區域；特徵向量生成裝置，其針對所述檢索關鍵字圖像及所述各檢索對象圖像，根據所述引人注目區域抽出裝置抽出的引人注目區域，生成表示該圖像的特徵的特徵向量；圖像檢索裝置，其根據所述特徵向量生成裝置生成的特徵向量，從所述檢索對象圖像存儲裝置中檢索與所述檢索關鍵字圖像相符的圖像。
3.如權利要求2所述的圖像檢索系統，其特徵在於還具有面部信息判斷裝置，該面部信息判斷裝置針對所述檢索關鍵字圖像及所述各檢索對象圖像，判斷該圖像中包含的人物圖像的面部信息，所述特徵向量生成裝置針對所述檢索關鍵字圖像及所述各檢索對象圖像，根據所述面部信息判斷裝置判斷出的面部信息，生成表示該圖像的特徵的特徵向量。
4.如權利要求2及3中任何一項所述的圖像檢索系統，其特徵在於還具有類似度判斷裝置，該類似度判斷裝置對所述各檢索對象圖像，判斷該檢索對象圖像中包含的人物圖像的面部與所述檢索關鍵字圖像中包含的人物圖像的面部的類似度，所述特徵向量生成裝置針對所述檢索關鍵字圖像及所述各檢索對象圖像，根據所述類似度判斷裝置的判斷結果，生成表示該圖像的特徵的特徵向量。
5.如權利要求2至4中任何一項所述的圖像檢索系統，其特徵在於所述圖像檢索裝置從所述檢索對象圖像存儲裝置中檢索出與所述檢索關鍵字圖像的特徵向量之間的向量間距離最小的特徵向量所對應的檢索對象圖像。
6.如權利要求2至4中任何一項所述的圖像檢索系統，其特徵在於所述圖像檢索裝置根據所述檢索對象圖像的特徵向量之間的向量間距離，將所述各檢索對象圖像分類為多個組，從所述檢索對象圖像存儲裝置中檢索出所述多個組之中的所述檢索關鍵字圖像所屬的組的全部檢索對象圖像。
7.如權利要求2至6中任何一項所述的圖像檢索系統，其特徵在於所述特徵向量生成裝置在所述檢索關鍵字圖像與所述檢索對象圖像的縱橫比或所述檢索對象圖像之間的縱橫比不同時，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重複區域生成所述第1圖像的特徵向量，針對所述第2圖像之中的重複區域生成所述第2圖像的特徵向量。
8.一種圖像分類系統，對多個分類對象圖像進行分類，其特徵在於對所述各分類對象圖像，從該分類對象圖像中抽出引人注目區域，根據抽出的引人注目區域，生成表示該分類對象圖像的特徵的特徵向量，根據生成的特徵向量，將所述各分類對象圖像分類為多個組。
9.一種圖像分類系統，對多個分類對象圖像進行分類，其特徵在於具有分類對象圖像存儲裝置，其用於存儲所述多個分類對象圖像；引人注目區域抽出裝置，其對所述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區域；特徵向量生成裝置，其根據所述引人注目區域抽出裝置抽出的引人注目區域，對所述各分類對象圖像生成表示該分類對象圖像的特徵的特徵向量；圖像分類裝置，其根據所述特徵向量生成裝置生成的特徵向量，將所述各分類對象圖像分類為多個組。
10.如權利要求9所述的圖像分類系統，其特徵在於還具有面部信息判斷裝置，該面部信息判斷裝置對所述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部信息，所述特徵向量生成裝置根據所述面部信息判斷裝置判斷出的面部信息，對所述各分類對象圖像，生成表示該分類對象圖像的特徵的特徵向量。
11.如權利要求9及10中任何一項所述的圖像分類系統，其特徵在於還具有類似度判斷裝置，該類似度判斷裝置對所述各分類對象圖像，判斷該分類對象圖像中包含的人物圖像的面部與特定圖像中包含的人物圖像的面部的類似度，所述特徵向量生成裝置根據所述類似度判斷裝置的判斷結果，對所述各分類對象圖像，生成表示該分類對象圖像的特徵的特徵向量。
12.如權利要求9至11中任何一項所述的圖像分類系統，其特徵在於所述圖像分類裝置根據所述分類對象圖像的特徵向量之間的向量間距離，將所述各分類對象圖像分類為多個組，對所述各組，從所述分類對象圖像存儲裝置中檢索出指定數量的分類對象圖像。
13.如權利要求9至12中任何一項所述的圖像分類系統，其特徵在於所述特徵向量生成裝置在所述分類對象圖像之間的縱橫比不同時，將縱橫比不同的第1圖像及第2圖像重疊在一起，針對第1圖像之中的重複區域生成所述第1圖像的特徵向量，針對所述第2圖像之中的重複區域生成所述第2圖像的特徵向量。
14.一種圖像檢索程序，根據給出的檢索關鍵字圖像，從多個檢索對象圖像中檢索與所述檢索關鍵字圖像相符的圖像，其特徵在於使可以利用用於存儲所述多個檢索對象圖像的檢索對象圖像存儲裝置和用於輸入所述檢索關鍵字圖像的檢索關鍵字圖像輸入裝置的計算機，執行作為以下裝置所實現的處理引人注目區域抽出裝置，其針對所述檢索關鍵字圖像輸入裝置輸入的檢索關鍵字圖像及所述檢索對象圖像存儲裝置的各檢索對象圖像，從該圖像中抽出引人注目區域；特徵向量生成裝置，其針對所述檢索關鍵字圖像及所述各檢索對象圖像，根據所述引人注目區域抽出裝置抽出的引人注目區域，生成表示該圖像的特徵的特徵向量；和圖像檢索裝置，其根據所述特徵向量生成裝置生成的特徵向量，從所述檢索對象圖像存儲裝置中檢索與所述檢索關鍵字圖像相符的圖像。
15.一種圖像分類程序，對多個分類對象圖像進行分類，其特徵在於使可以利用用於存儲所述多個分類對象圖像的分類對象圖像存儲裝置的計算機，執行作為以下裝置所實現的處理引人注目區域抽出裝置，其對所述分類對象圖像存儲裝置的各分類對象圖像，從該分類對象圖像中抽出引人注目區域；特徵向量生成裝置，其根據所述引人注目區域抽出裝置抽出的引人注目區域，對所述各分類對象圖像，生成表示該分類對象圖像的特徵的特徵向量；和圖像分類裝置，其根據所述特徵向量生成裝置生成的特徵向量，將所述各分類對象圖像分類為多個組。
16.一種圖像檢索方法，根據給出的檢索關鍵字圖像，從存儲有多個檢索對象圖像的檢索對象圖像存儲裝置中檢索與所述檢索關鍵字圖像相符的圖像，其特徵在於包括以下步驟檢索關鍵字圖像輸入步驟輸入所述檢索關鍵字圖像；第1引人注目區域抽出步驟從所述檢索關鍵字圖像輸入步驟中輸入的檢索關鍵字圖像中抽出引人注目區域；第1特徵向量生成步驟根據所述第1引人注目區域抽出步驟中抽出的引人注目區域，生成表示所述檢索關鍵字圖像的特徵的特徵向量；第2引人注目區域抽出步驟從所述檢索對象圖像抽出引人注目區域；第2特徵向量生成步驟根據所述第2引人注目區域抽出步驟中抽出的引人注目區域，生成表示所述檢索對象圖像的特徵的特徵向量；重複步驟對所述檢索對象圖像存儲裝置的各檢索對象圖像，重複進行所述第2引人注目區域抽出步驟及所述第2特徵向量生成步驟；和圖像檢索步驟根據所述第1特徵向量生成步驟及第2特徵向量生成步驟中生成的特徵向量，從所述檢索對象圖像存儲裝置中檢索與所述檢索關鍵字圖像相符的圖像。
17.一種圖像分類方法，對多個分類對象圖像進行分類，其特徵在於包括以下步驟引人注目區域抽出步驟從所述分類對象圖像中抽出引人注目區域；特徵向量生成步驟根據所述引人注目區域抽出步驟中抽出的引人注目區域，生成表示所述分類對象圖像的特徵的特徵向量；重複步驟對所述各分類對象圖像，重複進行所述引人注目區域抽出步驟及所述特徵向量生成步驟；和圖像分類步驟根據所述特徵向量生成步驟中生成的特徵向量，將所述各分類對象圖像分類為多個組。
全文摘要
提供一種適合於得到與利用者的希望相符的檢索結果或分類結果的圖像檢索系統。針對檢索關鍵字圖像及各檢索對象圖像，從該圖像中抽出引人注目區域，根據抽出的引人注目區域，生成該圖像的特徵向量V。然後，根據生成的特徵向量V，從檢索對象圖像登錄DB10中檢索與檢索關鍵字圖像類似的圖像。
文檔編號G06T7/00GK1573742SQ20041004554
公開日2005年2月2日 申請日期2004年5月28日 優先權日2003年5月30日
發明者長野敏則, 日向崇 申請人:精工愛普生株式會社