音響信號檢測系統、音響信號檢測伺服器、影像信號搜索裝置、影像信號搜索方法、影像信...的製作方法

2023-06-16 14:41:36 1

專利名稱：音響信號檢測系統、音響信號檢測伺服器、影像信號搜索裝置、影像信號搜索方法、影像信 ...的製作方法
技術領域：
本發明涉及一種從存儲的存儲音響信號中搜索出長度比該存儲音響信號短乃至與其相同的、與目的音響信號類似的信號的位置的信號檢測，涉及例如用於實際環境中的音響信號檢測的音響信號檢測系統和音響信號檢測伺服器。
即，本發明由便攜終端接收在實際環境中流動的音樂或CM(Commercial Message商業廣告)，並使用該接收到的音響信號，從龐大的音樂CM資料庫中檢索相同的音樂或CM。
另外，本發明涉及一種影像信號搜索裝置、影像信號搜索方法、影像信號搜索程序和記錄介質，從存儲在資料庫中的影像信號(存儲影像信號)中，搜索與包含在實際環境下取得的特徵失真的影像信號(目的影像信號)類似的影像信號。
另外，本發明涉及一種信號搜索裝置、信號搜索方法、信號搜索程序及記錄介質，從存儲在資料庫中的信號(存儲信號)中，搜索包含與在實際環境下取得的特徵失真的信號(目的信號)類似的信號。
本申請對2004年7月9日申請的特願2004-203198號主張優先權，這裡援引其內容。
本申請對2004年7月9日申請的特願2004-203199號主張優先權，這裡援引其內容。
本申請對2005年3月17日申請的特願2005-077726號主張優先權，這裡援引其內容。
本申請對2005年3月22日申請的特願2005-082107號主張優先權，這裡援引其內容。
本申請對2005年3月24日申請的特願2005-086280號主張優先權，這裡援引其內容。
背景技術：
近年來，聲音或影像等多媒體信息的流通日益盛行，需要用於得到該多媒體信息的檢索或搜索。
例如，考慮由便攜終端等接收在實際環境中流動的音樂和影像或CM，使用該接收到的信號(目的音響信號或目的影像信號)，從龐大的資料庫中檢索相同的音樂或影像、CM。
因此，需要具體地將想搜索的聲音或影像信號指定為目的音響信號或目的影像信號，搜索與此類似的存儲音響信號或存儲影像信號存在於資料庫的何處。
作為時間系列信號的高速一致法，例如公開有日本專利第3065314號。這裡執行的搜索是時間系列搜索，必需高速且高精度地執行。
但是，考慮在用戶在實際環境中收錄獲得的音樂或影像中，包含各種特性失真，例如基於揚聲器或屏幕等信號發生源的設備特性、輸入的便攜終端的特性的乘法性失真，或基於實際環境中的要素(若為聲音，則為噪音、回聲、吸收等，若為影像，則為大氣透明度、亮度角度不穩定、反射等)的加法性噪音。針對於此，基於日本專利第3065314號公報的方法是以構成檢索對象的信號中特徵失真少為前提，在包含噪音或失真的情況下，其搜索精度顯著下降。
為了解決該缺陷，提出有如下方法，即通過設置對輸入的信號附加變動的變動附加過程，執行對特徵失真穩固的信號檢測(例如參照日本專利第3408800號公報)。但是，在設置上述變動附加過程時，在需要考慮多個噪音或失真的情況下，必須準備這多個目的特徵，存在信息量大幅度增大的缺陷。
另外，提出有如下方法，即檢測輸入的音樂或影像的目的信號的強度峰值，將該峰值的頻率設為特徵，由此進行對噪音或失真穩固的信號檢測。
但是，該方法中存在如下缺陷，即由於使用輸入的信號的峰值，所以受到位於該實際信號峰值周邊的大的噪音的影響，從而實際的信號峰值檢測失敗，搜索精度下降。
因此，提出有通過使用局部特徵的統計量來規格化輸入的聲音或影像的目的信號由此進行對失真穩固的信號檢測的方法(例如參照日本專利特開2003-022084號公報，或尤其就音響信號而言，參照WO02/11123 A2號公報)。即，該信號檢測的方法由於吸收特徵失真引起的聲音或影像的目的信號的變動，所以在抽取頻率特徵之後，對時間-頻率空間上的每個局部區域，都規格化目的信號，執行對特徵失真穩固的向空間的數據變換，在該空間中執行聲音或影像與存儲音響信號的比較。
但是，就執行對上述特徵失真穩固的向空間的數據變換的方法而言，對於噪音或間歇、不穩定的失真，僅通過規格化無法吸收其特徵失真，存在使搜索的可靠性下降的缺陷。

發明內容
本發明鑑於上述問題作出，其目的在於將作為檢索對象的聲音或影像的信號(目的信號目的音響信號和目的影像信號)變換為對加法性噪音或間歇穩固的數據後，使搜索精度提高，並且使搜索時間大幅度縮短。
另外，目的在於提供一種系統，對於包含乘法性失真的信號，通過將其變換為穩固的數據，提高搜索精度，並可執行高速高精度的處理。
另外，目的在於提供一種信號搜索裝置、信號搜索方法、信號搜索程序及記錄介質，通過在線性量化後應用提高量化後的值的可靠性的量化單元，可使整體的搜索精度提高。
為了實現上述目的，本發明的音響信號檢測系統從存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於目的音響信號的部分，其特徵在於，具有存儲特徵計算部，根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的存儲特徵；目的特徵計算部，根據所述目的音響信號的時間系列數據，計算由特徵矢量構成的目的特徵；存儲特徵面積(area)選擇部，根據所述存儲特徵，計算規定的統計量，從該存儲特徵中，選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的存儲面積選擇特徵；目的特徵面積選擇部，根據所述目的特徵，計算規定的統計量，從該目的特徵中，選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的目的面積選擇特徵；以及特徵對照部，在所述存儲面積選擇特徵中，設定對照區間，計算所述目的面積選擇特徵和所述存儲面積選擇特徵中的該對照區間的彼此之間的類似度，所述特徵對照部對於所述存儲面積選擇特徵，使對照區間依次移動並重複執行，根據所述類似度，搜索與目的面積選擇特徵類似的存儲面積選擇特徵的區域。
尤其是，與「高速信號檢測法、裝置及其記錄介質」(日本專利第3065314號公報)和「信號檢測方法、裝置及其程序、記錄介質」(日本專利第3408800號公報)相比，由於新設置存儲特徵面積選擇部和目的特徵面積選擇部，選擇特徵矢量的有特別特徵的要素，僅比較該選擇到的要素，所以對於噪音、間歇，可執行比日本專利第3065314號公報和2更穩固的音響信號檢測。
另外，對於「信號檢測方法和裝置、程序及記錄介質」(日本專利特開2003-022084號公報)的規格化並單純比較判定目的信號和存儲信號的方法，由於新設置存儲特徵面積選擇部和目的特徵面積選擇部，選擇特徵矢量的有特別特徵的要素，僅比較該選擇到的要素，所以對於噪音、間歇，可執行比上述方法更穩固的音響信號檢測。
並且，與「System and methods for recognizing sound and musicsignal in high noise and distortion」(WO 02/11123 A2號公報)相比，由於新設置存儲特徵面積選擇部和目的特徵面積選擇部，選擇特徵矢量的有特別特徵的要素，僅比較該選擇到的要素，所以對於噪音、間歇，可執行比上述方法更穩固的音響信號檢測。
根據本發明，由於去除噪音或間歇的影響，所以從存儲音響信號和目的音響信號中，在統計上僅選擇特徵要素，進行對照。通過使用由該選擇到的要素構成的多維矢量，可比較存儲音響信號與目的音響信號的更有特徵的圖案，算出它們的類似度，不執行無用部分的比較處理，所以可使重疊於目的音響信號上的噪音或音響間歇的影響大幅度降低，可執行穩固的音響信號檢測。
另外，實際上通過從由存儲音響信號和目的音響信號獲得的存儲特徵和目的特徵中，統計評價抽取由更有特徵的要素構成的存儲面積選擇特徵和目的面積選擇特徵，可大幅度降低對照的數據量，使類似度的計算處理高速化，並且可大幅度削減存儲的存儲音響信號每一件的數據量，在與以前一樣的存儲部容量中，可存儲更多的存儲音響信號信息，就這點而言，也可使類似的存儲音響信號的檢測精度提高。
另外，為了實現上述目的，本發明的音響信號檢測系統是一種信號檢測系統，從存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於目的音響信號的部分，其特徵在於，具有存儲特徵計算部，根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的存儲特徵；目的特徵計算部，根據所述目的音響信號的時間系列數據，計算由特徵矢量構成的目的特徵；存儲特徵規格化部，根據所述存儲特徵、以及該存儲特徵的採樣時間附近的其它存儲特徵，計算規定的統計量，對存儲特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的存儲規格化特徵；目的特徵規格化部，根據所述目的特徵、以及該目的特徵的採樣時間附近的其它目的特徵，計算規定的統計量，對目的特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的目的規格化特徵；存儲特徵量化部，根據所述存儲規格化特徵，導出由將量化得到的值設為要素的矢量構成的存儲量化特徵；目的特徵量化部，根據所述目的規格化特徵，導出由將量化得到的值設為要素的矢量構成的目的量化特徵；以及特徵對照部，在所述存儲量化特徵中，設定對照區間，計算所述目的量化特徵和所述存儲量化特徵中的該對照區間的彼此之間的類似度，所述特徵對照部對於所述存儲量化特徵，使對照區間依次移動並重複執行，根據所述類似度，搜索與目的量化特徵類似的存儲量化特徵的區域。
尤其是，與「高速信號檢測法、裝置及其記錄介質」(日本專利第3065314號公報)和「信號檢測方法、裝置及其程序、記錄介質」(日本專利第3408800號公報)相比，由於新設置目的特徵規格化部、存儲特徵規格化部、目的特徵量化部和存儲特徵量化部，在規格化之後，利用規定的閾值量化特徵矢量的各要素，由此對於間歇，可執行比日本專利第3065314號公報和2更穩固的音響信號檢測。
另外，除了「信號檢測方法和裝置、程序及記錄介質」(日本專利特開2003-022084號公報)的規格化並單純比較判定目的信號和存儲信號的方法，還新設置目的特徵量化部和存儲特徵量化部，通過量化特徵矢量的各要素，可對特徵失真執行比上述方法更穩固的音響信號檢測。
並且，與「System and methods for recognizing sound and musicsignal in high noise and distortion」(WO 02/11123 A2號公報)相比，通過新設置目的特徵規格化過程和存儲特徵規格化過程，規格化特徵，可對特徵失真執行比上述方法更穩固的音響信號檢測。
根據本發明，由於吸收特徵失真，所以通過設置利用規定閾值來標量量化音響信號的量化部(過程)，可大幅度降低比較的數據量，使類似度的計算處理高速化，並且可大幅度削減存儲的存儲音響信號每一件的數據量，利用與以前一樣的存儲部容量，可存儲更多的存儲音響信號信息，就這點而言，也可使類似的存儲音響信號的檢測精度提高。
另外，根據本發明，通過設置上述量化部(過程)，不是每個要素的數據的詳細比較判定，而是將對照區間中的特徵矢量作為整體圖案進行檢索，所以可使搜索精度提高，防止漏檢，與公知的方法相比，可執行對各種各樣的特徵失真穩固的信號檢測處理，執行對較通用的特徵失真穩固的音響信號檢測。
並且，為了解決上述問題，本發明是一種影像信號搜索裝置，從存儲影像信號中，搜索類似於目的影像信號的信號，其特徵在於，具有目的特徵計算單元，根據目的影像信號，計算目的特徵；目的統計量計算單元，根據目的特徵，計算目的統計量；目的特徵面積選擇單元，對目的統計量，利用規定閾值，進行閾值處理，選擇目的統計量，並算出目的面積選擇特徵，該目的面積選擇特徵由將選擇到的目的統計量設為要素的矢量或矩陣構成；存儲統計量計算單元，根據存儲特徵，計算規定的存儲統計量；以及存儲特徵面積選擇單元，對存儲統計量，利用規定閾值，進行閾值處理，選擇存儲統計量，並算出存儲面積選擇特徵，該存儲面積選擇特徵由將選擇到的存儲統計量設為要素的矢量或矩陣構成；以及特徵對照單元，對存儲面積選擇特徵設定對照區間，計算對照區間中的存儲面積選擇特徵與目的面積選擇特徵的至少一部分的類似度，特徵對照單元使對照區間依次移動並重複執行，計算出類似度。
本發明就上述所述的發明而言，其特徵在於所述目的特徵面積選擇部和所述存儲特徵面積選擇部分別算出目的特徵和存儲特徵在第1規定時間區間中的平均值以作為統計量，選擇從所述要素中減去該平均值後的值的絕對值超過規定閾值的目的統計量和存儲統計量。
本發明就上述所述的發明而言，其特徵在於所述目的特徵量算出單元和所述存儲統計量計算單元分別對目的特徵和存儲特徵的每個要素算出在第2規定時間區間中的平均值與標準偏差，並使用該平均值與標準偏差，規格化目的特徵和存儲特徵，由此算出目的統計量和存儲統計量。
另外，本發明是一種影像信號搜索方法，從存儲影像信號中搜索類似於目的影像信號的信號，其特徵在於，具有目的特徵計算步驟，根據目的影像信號，計算目的特徵；目的統計量計算步驟，根據目的特徵，計算目的統計量；目的特徵面積選擇步驟，對目的統計量，利用規定閾值，進行閾值處理，選擇目的統計量，並算出目的面積選擇特徵，該目的面積選擇特徵由將選擇到的目的統計量設為要素的矢量或矩陣構成；存儲統計量計算步驟，根據存儲特徵，計算規定的存儲統計量；以及存儲特徵面積選擇步驟，對存儲統計量，利用規定閾值，進行閾值處理，選擇存儲統計量，並算出存儲面積選擇特徵，該存儲面積選擇特徵由將選擇到的存儲統計量設為要素的矢量或矩陣構成；以及特徵對照步驟，對存儲面積選擇特徵設定對照區間，計算對照區間中的存儲面積選擇特徵與目的面積選擇特徵的至少一部分的類似度，特徵對照步驟使對照區間依次移動並重複執行，計算出類似度。
另外，本發明是一種影像信號搜索程序，使計算機用作上述發明之一所述的影像信號搜索裝置。
另外，本發明是一種記錄上述發明的電腦程式的計算機可讀取的記錄介質。
根據本發明，由於去除反射或間歇的影響，所以從存儲影像信號和目的影像信號中，在統計上僅選擇特徵要素，進行對照。通過使用由該選擇到的要素構成的多維矢量，可比較存儲影像信號與目的影像信號的更有特徵的圖案，算出它們的類似度，不執行無用部分的比較處理，所以可使重疊於目的影像信號上的反射或影像的間歇的影響大幅度降低，可執行對噪音穩固的影像信號檢測。
另外，通過從由存儲影像信號和目的影像信號得到的存儲特徵和目的特徵中，統計評價抽取由更有特徵的要素構成的存儲面積選擇特徵和目的面積選擇特徵，可大幅度降低對照的數據量，使類似度的計算處理高速化，並且可大幅度削減存儲的存儲影像信號每一件的數據量，在與以前一樣的存儲容量部中，可存儲更多的存儲影像信號信息。
即，通過設置存儲特徵面積選擇部與目的特徵選擇部，可避開包含於目的影像中的、物體因反射而映射的部位、或捕獲失敗後間歇的部位，執行目的影像信號與存儲影像信號的特徵量彼此的對照。由此，與不執行面積選擇地對照的情況相比，相對的類似度上升，可提高搜索精度。
並且，為了解決上述問題，本發明是一種影像信號搜索裝置，從存儲影像信號中，搜索類似於目的影像信號的信號，其特徵在於，具有目的特徵計算單元，根據目的影像信號，計算目的特徵；目的統計量計算單元，根據目的特徵，計算目的統計量；目的特徵規格化單元，使用目的統計量與目的特徵，算出目的規格化特徵的要素；目的量化單元，使用規定閾值，量化目的規格化特徵的要素，求出目的量化特徵的要素，生成目的矢量；存儲統計量計算單元，根據存儲特徵，計算存儲統計量；存儲特徵規格化單元，使用存儲統計量與存儲特徵，算出存儲規格化特徵的要素；存儲量化單元，使用規定閾值，量化存儲規格化特徵的要素，求出存儲量化特徵的要素，生成存儲矢量；以及特徵對照單元，對存儲矢量設定對照區間，計算對照區間中存儲矢量的要素與目的矢量的至少一部分要素的類似度，特徵對照單元使對照區間依次移動並重複執行，計算出類似度。
另外，本發明是一種影像信號搜索方法，從存儲影像信號中，搜索類似於目的影像信號的信號，其特徵在於，具有目的特徵計算步驟，根據目的影像信號，計算目的特徵；目的統計量計算步驟，根據目的特徵，計算目的統計量；目的特徵規格化步驟，使用目的統計量與目的特徵，算出目的規格化特徵的要素；目的量化步驟，使用規定閾值，量化目的規格化特徵的要素，求出目的量化特徵的要素，生成目的矢量；存儲統計量計算步驟，根據存儲特徵，計算存儲統計量；存儲特徵規格化步驟，使用存儲統計量與存儲特徵，算出存儲規格化特徵的要素；存儲量化步驟，使用規定閾值，量化存儲規格化特徵的要素，求出存儲量化特徵的要素，生成存儲矢量；以及特徵對照步驟，對存儲矢量設定對照區間，計算對照區間中存儲矢量的要素與目的矢量的至少一部分要素的類似度，特徵對照步驟使對照區間依次移動並重複執行，計算出類似度。
另外，本發明是一種影像信號搜索程序，使計算機用作上述影像信號搜索裝置。
另外，本發明是一種記錄上述影像信號程序的計算機可讀取的記錄介質。
根據本發明，由於吸收特徵失真，所以通過設置利用規定閾值來標量量化影像信號的量化部，可大幅度降低比較的數據量，使類似度的運算處理高速化，並且可大幅度削減存儲的存儲影像信號每一件的數據量，利用與以前一樣的存儲部容量，可存儲更多的存儲影像信號，就這點而言，也可使類似的存儲影像信號的檢測精度提高。
另外，根據本發明，通過設置量化部，不是各要素的數據的詳細比較判定，而是將對照區間中的特徵矢量作為整體圖案進行檢索，所以可使搜索精度提高，防止漏檢，與公知的方法相比，可執行對各種各樣的特徵失真穩固的信號檢測處理，執行對較通用的特徵失真穩固的影像信號檢測。
並且，為了解決上述問題，本發明是一種信號搜索裝置，從存儲信號中搜索類似於目的信號的信號，其特徵在於，具有目的特徵計算單元，根據目的信號，計算目的特徵；目的統計量計算單元，根據目的特徵，計算目的統計量；目的特徵規格化單元，使用目的統計量與目的特徵，算出目的規格化特徵的要素；目的面積選擇非線性量化單元，輸入目的規格化特徵的要素，求出被選擇的目的非線性量化特徵的要素，生成目的矢量；存儲統計量計算單元，根據存儲特徵，計算存儲統計量；存儲特徵規格化單元，使用存儲統計量與存儲特徵，算出存儲規格化特徵的要素；存儲面積選擇非線性量化單元，將存儲規格化特徵的要素設為輸入，求出被選擇的存儲非線性量化特徵的要素，生成存儲矢量；以及特徵對照單元，對存儲矢量設定對照區間，計算對照區間中存儲矢量的要素與目的矢量的至少一部分要素的類似度，特徵對照單元使對照區間依次移動並重複執行，計算出類似度。
本發明就上述所述的發明而言，其特徵在於目的面積選擇非線性量化單元和存儲面積選擇非線性量化單元對多維矢量進行芙諾以(Voronoi)分割，非線性量化與特徵矢量所屬的芙諾以邊界面的距離。
本發明就上述所述的發明而言，其特徵在於目的面積選擇非線性量化單元由目的特徵面積選擇單元與非線性量化特徵矢量的目的特徵非線性量化單元構成，所述目的特徵面積選擇單元選擇統計量超過規定閾值的要素，導出由選擇到的要素的多維矢量構成的目的面積選擇特徵。
本發明就上述所述的發明而言，其特徵在於存儲面積選擇量化單元由存儲特徵面積選擇單元與非線性量化特徵矢量的存儲特徵非線性量化單元構成，所述存儲特徵面積選擇單元選擇統計量超過規定閾值的要素，導出由選擇到的要素的多維矢量構成的存儲面積選擇特徵。
本發明是一種信號搜索方法，從存儲信號中搜索類似於目的信號的信號，其特徵在於，具有目的特徵計算步驟，根據目的信號，計算目的特徵；目的統計量計算步驟，根據目的特徵，計算目的統計量；目的特徵規格化步驟，使用目的統計量與目的特徵，算出目的規格化特徵的要素；目的面積選擇非線性量化步驟，輸入目的規格化特徵的要素，求出被選擇的目的非線性量化特徵的要素，生成目的矢量；存儲統計量計算步驟，根據存儲特徵，計算存儲統計量；存儲特徵規格化步驟，使用存儲統計量與存儲特徵，算出存儲規格化特徵的要素；存儲面積選擇非線性量化步驟，將存儲規格化特徵的要素設為輸入，求出被選擇的存儲非線性量化特徵的要素，生成存儲矢量；以及特徵對照步驟，對存儲矢量設定對照區間，計算對照區間中存儲矢量的要素與目的矢量的至少一部分要素的類似度，特徵對照步驟使對照區間依次移動並重複執行，計算出類似度。
另外，本發明是一種信號搜索程序，使計算機用作上述信號搜索裝置。
另外，本發明是一種記錄上述信號搜索程序的計算機可讀取的記錄介質。
另外，根據本發明，由於去除噪音或失真的影響，所以從存儲信號和目的信號中，在統計上僅抽取特徵的要素，進行對照。通過使用由該抽取到的要素構成的多維矢量，可執行識別存儲信號與目的信號的更有特徵的圖案的類似度計算，進而通過將非線性量化適用於利用統計處理算出的統計量中，使量化後的值的可靠性提高，可邊降低重疊於目的信號上的噪音或失真的影響，邊執行高精度的信號檢測。
另外，統計地評價抽取由更有特徵的要素構成的存儲面積選擇特徵和目的面積選擇特徵，進而非線性量化存儲面積選擇特徵和目的面積選擇特徵。由此，可大幅度降低對照的數據量，使類似度的計算處理高速化，並且可大幅度削減存儲的存儲信號每一件的數據量。即，在與以前一樣的存儲容量部中，可存儲更多的存儲信號信息，就這點而言，也可使類似的存儲信號的檢測精度提高。


圖1是表示本發明一實施例的音響信號檢測系統的構成例的框圖。
圖2是表示圖1的音響信號檢測系統的動作例的流程圖。
圖3是表示本發明一實施例的音響信號檢測系統的構成例的框圖。
圖4是表示圖3的音響信號檢測系統的動作例的流程圖。
圖5是表示本發明一實施例的影像信號搜索系統的構成例的框圖。
圖6是用於說明本發明一實施例的影像信號搜索系統中的閾值設定的圖表。
圖7是用於說明本發明一實施例的影像信號搜索系統中的閾值設定的圖表。
圖8是表示圖5的影像信號搜索系統的動作例的流程圖。
圖9是本發明一實施例的影像信號搜索系統中的子畫面的說明圖。
圖10是本發明一實施例的影像信號搜索系統中局部時間與幀的關係的說明圖。
圖11是表示本發明一實施方式的影像信號搜索系統的構成例的框圖。
圖12是表示圖11的影像信號搜索系統的動作例的流程圖。
圖13是本發明一實施方式的影像信號搜索系統中時間窗與幀的關係的說明圖。
圖14是本發明一實施方式的影像信號搜索系統中的子畫面的說明圖。
圖15是表示本發明一實施方式的信號搜索系統的構成例的框圖。
圖16是用於說明本發明一實施例的信號搜索系統中的閾值設定的圖表。
圖17是用於說明本發明一實施例的信號搜索系統中的閾值設定的圖表。
圖18是表示圖15的信號搜索系統的一例動作的流程圖。
圖19是本發明一實施方式的信號搜索系統中時間窗與幀的關係的說明圖。
圖20是本發明一實施方式的信號搜索系統中的子畫面的說明圖。
圖21是本發明一實施方式的非線性量化的說明圖。
圖22是表示圖15的信號搜索系統的動作例的另一例的流程圖。
符號說明11 目的特徵計算部12 存儲特徵計算部13 目的特徵規格化部14 存儲特徵規格化部15 目的特徵面積選擇部16 存儲特徵面積選擇部17 特徵對照部18 存儲面積選擇特徵資料庫21 目的特徵計算部22 存儲特徵計算部23 目的特徵規格化部24 存儲特徵規格化部25 目的特徵量化部26 存儲特徵量化部27 特徵對照部28 存儲量化特徵資料庫31 目的特徵計算部32 存儲特徵計算部33 目的特徵規格化部34 存儲特徵規格化部35 目的特徵面積選擇部
36 存儲特徵面積選擇部37 特徵對照部38 存儲面積選擇特徵資料庫41 目的特徵計算部42 存儲特徵計算部43 目的特徵規格化部44 存儲特徵規格化部45 目的特徵量化部46 存儲特徵量化部47 特徵對照部48 存儲量化特徵資料庫51 目的特徵計算部52 存儲特徵計算部53 目的特徵規格化部54 存儲特徵規格化部55 目的特徵面積選擇部56 存儲特徵面積選擇部57 目的特徵非線性量化部58 存儲特徵非線性量化部59 特徵對照部510 存儲非線性量化特徵資料庫具體實施方式
下面，參照附圖來說明本發明的最佳實施例。但是，本發明不限於以下的各實施例，例如也可適當組合這些實施例的構成要素彼此。
第1實施方式
圖1表示本發明的第1實施方式，是表示將音響信號設為對象的對特徵失真穩固的音響信號檢測系統的構成框圖。
圖1所示的音響信號檢測系統實現將音響信號設為對象的對特徵失真穩固的信號檢測，包括目的特徵計算部11、存儲特徵計算部12、目的特徵規格化部13、存儲特徵規格化部14、目的特徵面積選擇部15、存儲特徵面積選擇部16、特徵對照部17、以及存儲面積選擇特徵資料庫18，輸入存儲時間系列信號(存儲音響信號)即想檢索的音響信號、以及目的時間系列信號(目的音響信號)即檢索的音響信號，輸出與目的時間系列信號類似的存儲時間系列信號中的部位。
目的特徵計算部11從按規定間隔以時間系列採樣目的音響信號得到的、作為離散值的目的時間系列信號中，例如以採樣單位抽取每個頻率的功率譜值等，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的目的特徵。
存儲特徵計算部12也一樣，從按規定間隔以時間系列採樣存儲音響信號得到的、作為離散值的存儲時間系列信號中，例如以採樣單位抽取每個頻率的功率譜值等，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的存儲特徵。
目的特徵規格化部13根據上述目的特徵，使用從還包含鄰接部分的周邊目的特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的多維矢量的目的規格化特徵。
存儲特徵規格化部14根據上述存儲特徵，使用從還包含鄰接部分的周邊存儲特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的多維矢量的存儲規格化特徵。
目的特徵面積選擇部15根據上述目的規格化特徵，計算規定的統計量，從該目的規格化特徵中，選擇其統計量超過規定閾值的要素，導出由該被選擇的要素的多維矢量構成的目的面積選擇特徵。
存儲特徵面積選擇部16根據上述存儲規格化特徵，計算規定的統計量，從該存儲規格化特徵中，選擇其統計量超過規定閾值的要素，導出由該被選擇的要素的多維矢量構成的存儲面積選擇特徵。
例如，各面積選擇部可求出所述規格化中的存儲特徵和目的特徵與「0」和「1」的邊界面的差分，作為統計量，將其與閾值相比較，由此分別導出面積特徵。此時，考慮該閾值為最大差分值的7/10或8/10的數值。
在各頻帶下，由於將功率譜變動大的要素設為特徵要素，所以如上所述，選擇具有較大值的要素，作為特徵圖案。
此時，也可設置每個要素的下限值，進行控制，使閾值緩慢降低，直到選擇超過該下限值(1或多個)的要素為止。
另外，目的特徵面積選擇部15也可對上述目的特徵求出排列中的規定範圍的特徵矢量的各要素的平均值(每個頻帶下的平均值)，從該目的規格化特徵中，選擇各要素除以該平均值後的結果的絕對值超過規定閾值的要素，並導出由該被選擇的要素的多維矢量構成的目的面積選擇特徵。
同樣，存儲特徵面積選擇部16也可對上述存儲特徵求出排列中的規定範圍的特徵矢量的各要素的平均值(每個頻帶下的平均值)，從該存儲面積特徵中，選擇各要素除以該平均值後的結果的絕對值超過規定閾值的要素，並導出由該被選擇的要素的多維矢量構成的存儲面積選擇特徵。
利用上述方法，各面積選擇部計算存儲特徵或目的特徵與平均值的差分值，作為統計量，通過將其與閾值相比較，分別導出面積選擇特徵，此時，考慮該閾值為最大差分值的7/10或8/10的數值。
在各頻帶下，由於將功率譜變動大的要素設為特徵要素，所以如上所述，選擇具有大值的要素，作為特徵圖案。
此時，也可設置要素的下限值，進行控制使閾值緩慢降低，直到選擇超過該下限值的要素為止。
並且，目的特徵面積選擇部15也可輸入上述目的特徵和目的規格化特徵，求出該目的特徵排列中的規定範圍(一定區段)的特徵矢量的每個要素的標準偏差(每個頻帶下的標準偏差)，然後，對目的規格化特徵的對應排列位置的特徵矢量的每個要素，乘以上述標準偏差，計算乘法結果的絕對值，作為統計量，從目的規格化特徵中，選擇該統計量中最上位或從最上位起的多個(例如2個)統計量，導出作為特徵圖案的、被選擇的要素的多維矢量所構成的目的面積選擇特徵。
同樣，存儲特徵面積選擇部16也可輸入上述存儲特徵和存儲面積選擇特徵，求出該存儲特徵排列中的規定範圍(一定區段)的特徵矢量的每個要素的標準偏差(每個頻帶下的標準偏差)，然後，對存儲規格化特徵的對應排列位置的特徵矢量的每個要素，乘以上述標準偏差，計算乘法結果的絕對值，作為統計量，從存儲規格化特徵中，選擇該統計量中最上位或從最上位起的多個(例如2個)統計量，導出作為特徵圖案的、被選擇的要素的多維矢量所構成的存儲面積選擇特徵。
該目的面積選擇特徵和存儲面積選擇特徵分別按時間系列採樣的順序，依次排列各採樣中的特徵矢量。目的面積選擇特徵的排列數(排列長度)比存儲面積選擇特徵的短，或相等。
特徵對照部17對上述存儲面積選擇特徵中按時間系列排列的特徵矢量，設定該排列的規定範圍，作為對照區間，將長度與該對照區間相同的被對照區間設定為目的面積選擇特徵，計算上述對照區間與被對照區間的類似度，與事先設定的搜索閾值相比較，判定是否類似。
另外，特徵對照部17在上述對照區間的對照處理結束時，由於設定新的對照區間，所以移向排列鄰接的相同時間寬度範圍。
存儲面積選擇特徵資料庫18對多個、例如很好配送的歌曲，利用存儲特徵計算部12、存儲特徵規格化部14和存儲特徵面積選擇部16，事先計算存儲面積選擇特徵，對應於各歌曲名來存儲。
下面，參照附圖來說明本實施例的音響信號檢測系統的動作。圖2是表示圖1的音響信號檢測系統的動作例的流程圖。
存儲特徵計算部12讀入提供的存儲音響信號並進行輸入(步驟S1)，對輸入的存儲音響信號執行特徵抽取。
此時，存儲特徵計算部12使用音響信號的傅立葉變換的振幅分量，抽取(傅立葉變換例如以頻率8000Hz標本化的音響信號的1秒區間，將0-4000Hz等間隔分割為32個頻帶的區間，以每0.1秒排列)各區間內的振幅分量的平均功率構成的32維多維矢量，作為特徵矢量，設為存儲特徵(步驟S2)。
然後，存儲特徵規格化部14從存儲特徵計算部12讀入存儲特徵，對該存儲特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
例如，存儲特徵規格化部14根據每個頻帶(要素)下某個時間區間的值，求出平均值與標準偏差，使用求出的平均值與標準偏差，進行規格化。
此時，存儲特徵規格化部14規格化後的頻率特徵y(i)的第k個要素如下式(1)所示。
(公式1)
y(i,k)=1(i,k)(x(i,k)-m(i,k))---(1)]]>其中，式(1)中，m(i，k)為平均值，由下式(2)求出，σ(i，k)為標準偏差，由下式(3)求出。
(公式2)m(i,k)=12Mi=-MM-1x(i,k)---(2)]]>(公式3)(i,k)2=12Mi=-MM-1(x(i,k)-m(i,k))2---(3)]]>式(2)和式(3)中，M是用於求出局部時間內的頻率特徵的平均值和標準偏差的時間窗一半大小的數值。
然後，將由式(1)-(3)得到的多維矢量的時間系列的排列(由k表示的順序)設為存儲規格化特徵(步驟S3)。
接著，存儲特徵面積選擇部16從存儲特徵計算部12讀入存儲特徵並進行輸入，或從存儲特徵規格化部14讀入存儲規格化特徵並進行輸入，用上述式(2)和(3)，對各要素(頻帶的功率譜構成的特徵矢量)排列的一定區段，求出存儲特徵的多維矢量的每個要素的標準偏差σ(i，k)。
然後，存儲特徵面積選擇部16如下式(5)所示，對每個要素y(i，k)乘以上述標準偏差σ(i，k)，取其絕對值。
(公式4)z(i，k)＝|y(i，k)·σ(i，k)| …(4)
這裡，存儲特徵面積選擇部16從得到的各要素與標準偏差的乘法結果的統計量z(i，k)中，以規定區間單位對每個要素選擇從最上位起的多個矢量、例如上位2個矢量。
然後，存儲特徵面積選擇部16對於上述一定區段，輸出從存儲規格化特徵中對每個要素選擇的要素的矢量構成的多維矢量，作為存儲面積選擇特徵(步驟S4)。
此時，存儲特徵面積選擇部16執行將由計算得出的存儲面積選擇特徵直接發送給特徵對照部17、或暫時登錄到存儲面積選擇特徵資料庫18之一的處理。
在特徵對照部17實時比較存儲面積選擇特徵與目的面積選擇特徵的情況下，存儲特徵面積選擇部16向特徵對照部17輸出輸入的存儲音響信號的存儲面積選擇特徵，向存儲面積選擇特徵資料庫18登錄存儲音響信號的數據，此時，存儲特徵面積選擇部16不向特徵對照部17發送存儲面積選擇特徵，而與歌曲名對應地向存儲面積選擇特徵資料庫18登錄存儲面積選擇特徵。
目的特徵計算部11讀入提供的目的音響信號並進行輸入(步驟S5)，對輸入的目的音響信號執行特徵抽取。
此時，目的特徵計算部11與存儲特徵計算部12一樣，使用音響信號的傅立葉變換的振幅分量，抽取(傅立葉變換例如以頻率8000Hz標本化的音響信號的1秒區間，將0-4000Hz等間隔分割為32個頻帶的區間(特徵矢量的要素)，以每0.1秒排列)各區間內的振幅分量的平均功率構成的32維多維矢量，作為特徵矢量，設為目的特徵(步驟S6)。
然後，目的特徵規格化部13從目的特徵計算部11讀入目的特徵，對該目的特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
即，目的特徵規格化部13與存儲特徵規格化部14一樣，將由式(1)-(3)得到的多維矢量的時間系列的排列(由k表示的順序)設為目的規格化特徵(步驟S7)。
接著，目的特徵面積選擇部15從目的特徵計算部11讀入目的特徵並進行輸入，或從目的特徵規格化部13讀入目的規格化特徵並進行輸入，與存儲特徵面積選擇部16一樣，對每個要素乘以根據目的特徵的一定區段求出的標準偏差σ(i，k)，將乘法結果設為統計量。
然後，目的特徵面積選擇部15對每個要素的排列，從上述統計量中，按數值從大到小的順序，選擇上位的2個要素，輸出從目的規格化特徵中對每個要素選擇的要素的矢量構成的多維矢量，作為目的面積選擇特徵(步驟S8)。
然後，特徵對照部17分別讀入由目的特徵面積選擇部15和存儲特徵面積選擇部16得到的目的面積選擇特徵和存儲面積選擇特徵。
另外，特徵對照部17在同時輸入目的音響信號和存儲音響信號、實時判定類似的情況以外，從存儲面積選擇特徵資料庫18中依次讀出進行比較的存儲面積選擇特徵，與目的面積選擇特徵進行比較。
此時，特徵對照部17對於存儲面積選擇特徵，將長度與由目的特徵面積選擇部15提供的目的面積選擇特徵相同的特徵矢量的排列設定為對照區間。
即，特徵對照部17將由多個上述一定區段構成的目的面積選擇特徵設為對照區間，對於存儲面積選擇特徵，使與目的面積選擇特徵相同的一定區段數構成的排列長度對應，作為相對目的面積選擇特徵的對照區間，依次利用類似度來比較兩個對照區間。
然後，特徵對照部17用下式(5)來計算目的面積選擇特徵與存儲面積選擇特徵中對照區間與比較部位的類似度。
即，特徵對照部17計算目的面積選擇特徵中的要素yq(i，k)和存儲面積選擇特徵的對照區間中的要素ys(i，k)的一致部位的歐幾裡德距離、與向非一致部位的數量乘以規定常數a的值的和，輸出該和，作為類似度(步驟S9)(公式5)S=k=qs(yq(i,k)-ys(i+j,k))2+a(max(|q|,|s|)-|qs|)---(5)]]>其中，q、s表示目的特徵和存儲特徵的面積選擇部位，x∩y表示x與y的共同部位，|x|表示面積選擇部位x的要素數量，max(x，y)表示x與y中大的一方的數量。
這裡，例如特徵對照部17在設目的面積選擇特徵為15秒長度時，從該目的面積選擇特徵的特徵矢量排列中，以0.1秒間隔抽取共計150部位的作為排列要素的特徵矢量，對各採樣，將頻帶分割成32份，所以根據由這些矢量構成的150×32的4800維，對每個頻帶使用功率譜的上位2個(目的特徵面積選擇部15抽取)，將64個要素構成的多維矢量設為用於對照的目的矢量。
另外，與上述目的矢量一樣，特徵對照部17從存儲面積選擇特徵的數據開頭起，15秒長度為單位，依次設定為對照區間，從特徵矢量的排列中，以0.1秒為間隔抽取共計150部位的特徵矢量，對各採樣，將頻帶分割成32份，所以根據由這些矢量構成的150×32的4800維，對每個頻帶使用功率譜的上位2個(存儲特徵面積選擇部16抽取)，將64個要素構成的多維矢量設為用於對照的存儲矢量。
接著，特徵對照部17邊從存儲面積選擇特徵的開頭依次偏移對照區間，邊使用與目的面積選擇特徵的即式(5)，計算上述目的矢量與存儲矢量的類似度，與事先設定的搜索閾值進行比較處理(步驟S10)。
在對照處理目的面積選擇特徵與存儲面積選擇特徵直到存儲面積選擇特徵的最後之後，輸出每個對照區間的類似度比事先設定的搜索閾值低的、存儲面積選擇特徵的對照區間的區域，作為搜索結果(步驟S11)。
另外，特徵對照部17也可輸出比較的結果中、類似度明顯低的存儲面積選擇特徵的對照區間的區域，作為搜索結果。
另外，特徵對照部17也可在多個對照區間的類似度低於搜索閾值的情況下，輸出類似度的上位(從低的數值起)第N個以前的對照區間。
並且，特徵對照部17也可在沒有低於搜索閾值的對照區間的情況等下，通知表示沒有對應部位的信息，從存儲面積選擇特徵資料庫18中讀出新的存儲音響信號的存儲面積選擇特徵，繼續步驟S9以後的搜索處理，直到搜索具有上述搜索閾值以下的對照區間的存儲面積選擇特徵。
另外，也可將圖1中的目的特徵計算部11、目的特徵規格化部13和目的特徵面積選擇部5安裝在各用戶終端(例如電腦)中，將具有存儲特徵計算部12、存儲特徵規格化部14、存儲特徵面積選擇部16、特徵對照部17和存儲面積選擇特徵資料庫18的音響信號檢測伺服器設置在執行音樂配送的服務提供者中。
由此，構成為將用戶利用便攜電話等接收到的音響信號作為目的音響信號，生成至目的面積選擇特徵，經網際網路等向上述音響信號檢測伺服器發送該目的面積選擇特徵，請求搜索類似於該目的面積選擇特徵的存儲音響信號。此時，使計算存儲面積選擇特徵和目的面積選擇特徵時的一定區段的特徵矢量的排列長度等規定在音響信號檢測伺服器與終端中事先一致。
下面，示出應用上述音響信號檢測系統時的動作實驗例及其結果。
為了確認本發明的音響信號檢測系統的效果，比較應用本發明的情況與不應用本發明的情況下的搜索精度。
為了實驗，將再生某個CD(緻密盤)的歌曲的音響信號作為存儲音響信號，原樣輸入到圖1的音響信號檢測系統的存儲特徵計算部12中。
另一方面，作為目的音響信號，利用噪音大的飲茶店內的揚聲器，播出上述CD的相同歌曲的規定部分(存儲音響信號的一部分)，在該飲茶店內將便攜電話連接於PHS(註冊商標)，將從該PHS(註冊商標)的聲音輸出接收得到的音響信號作為目的音響信號，輸入到目的特徵計算部11。
在上述相同的實驗條件下，重複執行搜索處理200次，測定搜索精度。
該搜索精度為調節搜索閾值的設定、適合率(precision rate)與再現率(recall rate)相等時的值。
這裡，所謂適合率是作為搜索結果輸出的結果中正確的比例，再現率是應搜索的對象中、作為搜索結果輸出的比例。
適合率或再現率隨著搜索閾值的設定而變化，在本實驗中，由下式(6)來確定搜索閾值(相對於式(5)中使用的類似度的閾值)。
(公式6)θ＝m+nν…(6)
在上式(6)中，m和ν分別是對提供的存儲信號採樣輸入信號、並預備執行類似度的計算後收集到的類似度的平均值與標準偏差，n是經驗提供的係數。
其中，式(6)中，在搜索閾值θ超過1的情況下，設θ＝1，當低於0時，θ＝0。
在本實驗中，設在重複執行200次期間，式(6)中的n值恆定，調節其t值，使適合率與再現率大致相等。
上述實驗的結果是上述精度在不使用利用規格化特徵得到的存儲和目的面積選擇特徵時為15.0％，在使用本發明的存儲和目的面積選擇特徵時(一實施例)為80.1％。
另外，就搜索處理而言，在CPU中使用Intel(註冊商標)Pentium(註冊商標)III 1133MHz，在OS中使用RedHat(註冊商標)7.3，在程序編譯器中使用GNU gcc。
另外，執行文件利用程序編譯器最佳化選項「-03」來執行編譯。
在上述實驗中，可確認通過本發明的音響信號檢測系統，搜索精度提高。
本發明的音響信號檢測系統也可用於附加在實際環境中收錄的有噪音或間歇的片斷音響信號，不僅搜索一致的音樂或CM的曲名或播放時間，還使其與存儲了關聯於音樂或CM的信息的附帶信息資料庫組合，進行信息搜索。
例如，用戶利用便攜電話接收從TV或廣播流動的音樂或CM，發送給音響信號檢索服務等。可構成為音響信號檢索服務提供者從資料庫中檢索與該音響信號一致或類似的音響，經網際網路等網絡，收費或免費地將音樂或關於該CM的信息(例如演奏者、作詞作曲者名、商品信息、製品特徵、服務、拍攝地、出演者、主頁等)提供給用戶。
這裡，就檢索的音響的輸入方法而言，也可從便攜終端訪問伺服器，由終端的麥克風直接接收信號，作為目的信號。另外，也可適當切取暫且錄音的音響後發送。
另外，作為其它發明的實施例，也可用於根據用戶利用家庭用磁帶錄音機錄音的圖象音響中，從配送的CD或電影、電視程序中檢索接近該圖象的音樂的音節，利用內容，或收集相當於錄音的圖象音響的音節來編輯。
第2實施方式
圖3表示本發明的第2實施方式，是表示將音響信號設為對象的對特徵失真穩固的音響信號檢測系統的構成框圖。
圖3所示的音響信號檢測系統實現將音響信號設為對象的對特徵失真穩固的信號檢測，包括目的特徵計算部21、存儲特徵計算部22、目的特徵規格化部23、存儲特徵規格化部24、目的特徵量化部25、存儲特徵量化部26、特徵對照部27、以及存儲量化特徵資料庫28，輸入存儲時間系列信號(存儲音響信號)即想檢索的音響信號、以及目的時間系列信號(目的音響信號)即檢索的音響信號，輸出與目的時間系列信號類似的存儲時間系列信號中的部位。
目的特徵計算部21從按規定間隔以時間系列採樣目的音響信號得到的、作為離散值的目的時間系列信號中，例如以採樣單位抽取每個頻率的功率譜值等，多維矢量化該抽取出的特徵量，得到特徵矢量，導出(計算)由該特徵矢量構成的目的特徵。
存儲特徵計算部22也一樣，從按規定間隔以時間系列採樣存儲音響信號得到的、作為離散值的存儲時間系列信號中，例如以採樣單位抽取每個頻率的功率譜值等，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的存儲特徵。
目的特徵規格化部23根據上述目的特徵，使用從還包含鄰接部分的周邊目的特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的多維矢量的目的規格化特徵。
存儲特徵規格化部24根據上述存儲特徵，使用從還包含鄰接部分的周邊存儲特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的多維矢量的存儲規格化特徵。
目的特徵量化部25利用規定閾值，標量量化上述目的規格化特徵，導出將由該量化得到的值設為要素的多維矢量構成的目的量化特徵。
存儲特徵量化部26利用規定閾值，標量量化上述存儲規格化特徵，導出將由該量化得到的值設為要素的多維矢量構成的存儲量化特徵。
在例如二進位化目的和存儲規格化特徵的情況下，通過選擇最小化二進位得到的要素的數值與原要素的數值的均方差的點等，求出執行量化的上述規定閾值。
該目的量化特徵和存儲量化特徵分別按時間系列採樣的順序，依次排列各採樣中的特徵矢量。目的量化特徵的排列數(排列長度)比存儲量化特徵的短，或相等。
另外，下面，所謂存儲特徵中被簡併(degeneracy)的矢量是根據存儲面積選擇特徵或存儲規格化特徵等規定的統計量、通過計算得到的矢量，此外，所謂目的特徵中被簡併的矢量是根據目的面積選擇特徵或目的規格化特徵等規定的統計量、通過計算得到的矢量。
特徵對照部27對上述存儲量化特徵中按時間系列排列的特徵矢量，設定該排列的規定範圍，作為對照區間，將長度與該對照區間相同的被對照區間設定為目的量化特徵，計算上述對照區間與被對照區間的類似度，與事先設定的搜索閾值相比較，判定是否類似。
另外，特徵對照部27在上述對照區間的對照處理結束時，由於設定新的對照區間，所以移向排列鄰接的相同時間寬度範圍。
存儲量化特徵資料庫18對多個、例如很好配送的歌曲，利用存儲特徵計算部22、存儲特徵規格化部24和存儲特徵量化部26，事先計算存儲量化特徵，對應於各歌曲名來存儲。
下面，參照附圖來說明本實施例的音響信號檢測系統的動作。圖4是表示圖3的音響信號檢測系統的動作例的流程圖。
存儲特徵計算部22讀入提供的存儲音響信號並進行輸入(步驟T1)，對輸入的存儲音響信號執行特徵抽取。
此時，存儲特徵計算部22使用音響信號的傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標本化的音響信號的1秒區間，將0-4000Hz等間隔分割為32個頻帶的區間，以每0.1秒抽取各區間內的振幅分量的平均功率構成的32維多維矢量，作為特徵矢量，設為存儲特徵(步驟T2)。
然後，存儲特徵規格化部24從存儲特徵計算部22讀入存儲特徵，對該存儲特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
例如，存儲特徵規格化部24根據每個頻帶下某個時間區間的值，求出平均值與標準偏差，使用求出的平均值與標準偏差，進行規格化。
此時，存儲特徵規格化部24規格化後的頻率特徵y(i)的第k個要素如下式(21)所示。
(公式21)y(i,k)=1(i,k)(Q(i,k)-m(i,k))---(21)]]>其中，式(21)中，m(i，k)為平均值，由下式(22)求出，σ(i，k)為標準偏差，由下式(23)求出。
(公式22)m(i,k)=12Mi=-MM-1Q(i,k)---(22)]]>(公式23)(i,k)2=12Mi=-MM-1(Q(i,k)-m(i,k))2---(23)]]>式(22)和式(23)中，M是用於求出局部時間內的頻率特徵的平均值和標準偏差的時間窗一半大小的數值。
然後，將由式(21)-(23)得到的多維矢量的時間系列的排列(由k表示的順序)設為存儲規格化特徵(步驟T3)。
接著，存儲特徵量化部26從存儲特徵規格化部24讀入存儲規格化特徵並進行輸入，對存儲規格化特徵的多維矢量的每個要素，以事先提供的閾值為界，執行二進位化處理，得到量化後的數值的矢量。
例如，存儲特徵量化部26以得到的閾值t為界，量化存儲規格化特徵的各要素。
由此，存儲特徵量化部26利用下示的式(24)，分別計算量化後的頻率特徵z(i)的第k個要素。
(公式24)
然後，存儲特徵量化部26二進位化各要素，輸出該多維矢量，作為存儲量化特徵(步驟T4)。
此時，存儲特徵量化部26執行將由計算得出的存儲量化特徵直接發送給特徵對照部27、或暫時登錄到存儲量化特徵資料庫28之一的處理。
在特徵對照部27實時比較存儲量化特徵與目的量化特徵的情況下，存儲特徵量化部26向特徵對照部27輸出輸入的存儲音響信號的存儲量化特徵，向存儲量化特徵資料庫28登錄存儲音響信號的數據，此時，存儲特徵量化部26不向特徵對照部27發送存儲量化特徵，而與歌曲名對應地向存儲量化特徵資料庫28登錄存儲量化特徵。
目的特徵計算部21讀入提供的目的音響信號並進行輸入(步驟T5)，對輸入的目的音響信號執行特徵抽取。
此時，目的特徵計算部21與存儲特徵計算部22一樣，使用音響信號的傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標本化的音響信號的1秒區間，將0-4000Hz等間隔分割為32個頻帶的區間，以每0.1秒抽取各區間內的振幅分量的平均功率構成的32維多維矢量，作為特徵矢量，設為目的特徵(步驟T6)。
然後，目的特徵規格化部23從目的特徵計算部21讀入目的特徵，對該目的特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
即，目的特徵規格化部23與存儲特徵規格化部24一樣，將由式(21)-(23)得到的多維矢量的時間系列的排列(由k表示的順序)設為目的規格化特徵(步驟T7)。
接著，目的特徵量化部25從目的特徵規格化部23讀入目的規格化特徵並進行輸入，對目的規格化特徵的多維矢量的每個要素，以事先提供的閾值為界，與存儲特徵量化部26一樣，使用式(24)，執行二進位化處理，得到量化後的數值的矢量。
然後，目的特徵量化部25輸出二進位化各要素後的該多維矢量，作為目的量化特徵(步驟T8)。
接著，特徵對照部27分別讀入由目的特徵量化部25和存儲特徵量化部26得到的目的量化特徵和存儲量化特徵。
另外，特徵對照部27在同時輸入目的音響信號和存儲音響信號、實時判定類似的情況以外，從存儲量化特徵資料庫28中依次讀出進行比較的存儲量化特徵，與目的量化特徵進行比較。
此時，特徵對照部27對於存儲量化特徵，將長度與由目的特徵量化部25提供的目的量化特徵相同的特徵矢量的排列設定為對照區間。
然後，特徵對照部27計算目的量化特徵與上述對照區間的類似度，作為類似度，計算雙方的特徵矢量之間的加重平均(hamming)距離(步驟T9)。
例如，特徵對照部27在設目的量化特徵為15秒長度時，從該目的量化特徵的特徵矢量排列中，以0.1秒間隔抽取共計150部位的作為排列要素的特徵矢量，對各採樣，將頻帶分割成32份，所以將由這些矢量構成的150×32的4800維多維矢量設為用於對照的目的矢量。
另外，與上述目的矢量一樣，特徵對照部27從存儲量化特徵的數據開頭起，以15秒長度為單位，依次設定為對照區間，從特徵矢量的排列中，以0.1秒為間隔抽取共計150部位的特徵矢量，對各採樣，將頻帶分割成32份，所以將由這些矢量構成的150×32的4800維多維矢量設為用於對照的存儲矢量。
此時，特徵對照部27也可從目的量化特徵的特徵矢量排列中，抽取多個部位的要素，若是設為目的矢量的要素，則目的特徵量化部25從目的規格化特徵中事先抽取作為排列的要素的特徵矢量，即，以0.1秒為間隔抽取共計150部位的特徵矢量，執行標量量化，作為目的矢量輸出到特徵對照部27。
此時，特徵對照部27邊從存儲量化特徵的開頭依次偏移對照區間，邊通過計算與目的量化特徵的即上述目的矢量與存儲矢量的加重平均距離來進行比較處理。
接著，在對照處理存儲量化特徵至最後之後，特徵對照部27參照每個對照區間的加重平均距離，輸出加重平均距離最小的對照區間的區域，作為搜索結果。
另外，特徵對照部27也可在事先提供加重平均距離的搜索閾值來作為搜索結果的情況下，判定該搜索閾值與選擇到的對照區間的加重平均距離(步驟T10)，僅輸出低於該搜索閾值的對照區間(步驟T11)。
另外，特徵對照部27也可在多個對照區間的加重平均距離低於搜索閾值的情況下，輸出加重平均距離的上位(從低的數值起)第N個以前的對照區間。
並且，特徵對照部27也可在沒有低於搜索閾值的對照區間的情況等下，通知表示沒有對應部位的信息，從存儲量化特徵資料庫28中讀出新的存儲音響信號的存儲量化特徵，繼續步驟T9以後的搜索處理，直到搜索具有上述搜索閾值以下的對照區間的存儲量化特徵。
另外，也可將圖3中的目的特徵計算部21、目的特徵規格化部23和目的特徵量化部25安裝在各用戶終端(例如電腦)中，將具有存儲特徵計算部22、存儲特徵規格化部24、存儲特徵量化部26、特徵對照部27和存儲量化特徵資料庫28的音響信號檢測伺服器設置在執行音樂配送的服務提供者中。
由此，構成為將用戶利用便攜電話等接收到的音響信號作為目的音響信號，生成至目的量化特徵，經網際網路等向上述音響信號檢測伺服器發送該目的量化特徵，請求搜索類似於該目的量化特徵的存儲音響信號。
下面，示出應用上述音響信號檢測系統時的動作實驗例及其結果。
為了確認本發明的音響信號檢測系統的效果，比較應用本發明的情況與不應用本發明的情況下的搜索精度。
為了實驗，將再生某個CD(緻密盤)的歌曲的音響信號作為存儲音響信號，原樣輸入到圖3的音響信號檢測系統的存儲特徵計算部22中。
另一方面，作為目的音響信號，利用揚聲器，播出上述CD的相同歌曲的規定部分(存儲音響信號的一部分)，在該飲茶店內將便攜電話連接於PHS(註冊商標)，將從該PHS(註冊商標)的聲音輸出接收得到的音響信號作為目的音響信號，輸入到目的特徵計算部21。
在上述相同的實驗條件下，重複執行搜索處理200次，測定搜索精度。
該搜索精度為調節搜索閾值的設定、適合率(precision rate)與再現率(recall rate)相等時的值。
這裡，所謂適合率是作為搜索結果輸出的結果中正確的比例，再現率是應搜索的對象中、作為搜索結果輸出的比例。
適合率或再現率隨著搜索閾值的設定而變化，在本實驗中，由下式(25)來確定搜索閾值(相對於加重平均距離的閾值)。
(公式25)θ＝m+nν…(25)在上式(25)中，m和ν分別是對提供的存儲信號採樣輸入信號、並預備執行類似度的計算後收集到的類似度的平均值與標準偏差，n是經驗提供的係數。
其中，式(25)中，在搜索閾值θ超過1的情況下，設θ＝1，當低於0時，θ＝0。
在本實驗中，設在重複執行200次期間，式(25)中的n值恆定，調節其t值，使適合率與再現率大致相等。
上述實驗的結果是上述精度在不執行規格化特徵的量化時為60.0％，在執行了量化時(一實施例)為85.77％。
另外，就搜索處理而言，在CPU中使用Intel(註冊商標)Pentium(註冊商標)III 1133MHz，在OS中使用RedHat(註冊商標)7.3，在程序編譯器中使用GNU gcc。
另外，執行文件利用編譯器最佳化選項「-03」來執行編譯。
在上述實驗中，可確認通過本發明的音響信號檢測系統，搜索精度提高。
本發明的音響信號檢測系統也可用於附加在實際環境中收錄的因終端特徵、編碼特性等而失真的片斷音響信號，不僅搜索一致的音樂或CM的曲名或播放時間，還使其與存儲了關聯於音樂或CM的信息的附帶信息資料庫組合，進行信息搜索。
例如，用戶利用便攜電話接收從TV或廣播流動的音樂或CM，發送給音響信號檢索服務等。可構成為音響信號檢索服務提供者從資料庫中檢索與該音響信號一致或類似的音響，經網際網路等網絡，收費或免費地將音樂或關於該CM的信息(例如演奏者、作詞作曲者名、商品信息、製品特徵、服務、拍攝地、出演者、主頁等)提供給用戶。
這裡，就檢索的音響的輸入方法而言，也可從便攜終端訪問伺服器，由終端的麥克風直接接收信號，作為目的信號。另外，也可適當切取暫且錄音的音響後發送。
另外，作為其它發明的實施例，也可用於根據用戶利用家庭用磁帶錄音機錄音的圖象音響中，從配送的CD或電影、電視程序中檢索接近該圖象的音樂的音節，利用內容，或收集相當於錄音的圖象音響的音節來編輯。
第3實施方式
下面，參照附圖來說明本發明的第3實施方式。圖5是本發明的一實施方式，是表示將影像信號設為對象的對反射或間歇穩固的影像信號搜索系統的構成框圖。
圖5所示的影像信號搜索系統實現將影像信號設為對象的對反射或間歇穩固的信號檢測，包括目的特徵計算部31、存儲特徵計算部32、目的特徵規格化部33、存儲特徵規格化部34、目的特徵面積選擇部35、存儲特徵面積選擇部36、特徵對照部37、以及存儲面積選擇特徵資料庫38，輸入存儲影像信號即檢索的影像信號、以及目的影像信號即想檢索的影像信號，輸出與目的時間系列信號類似的存儲時間系列信號中的部位。
目的特徵計算部31將目的影像信號設為輸入，從按規定間隔以時間系列採樣該目的影像信號得到的、作為離散值的目的時間系列信號中，例如以採樣單位從目的影像信號中抽取每個頻率的功率譜值等，設為特徵量，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的目的特徵。
存儲特徵計算部32與目的特徵計算部31一樣，多維矢量化從按規定間隔以時間系列採樣存儲影像信號得到的作為離散數據的存儲時間系列信號中、抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的存儲特徵。
另外，這裡將目的特徵和存儲特徵作為多維矢量，但也可矩陣表現目的特徵和存儲特徵。
目的特徵規格化部33根據上述目的特徵，使用從包含鄰接該目的特徵的目的特徵的周邊多個目的特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的特徵矢量的目的規格化特徵。
存儲特徵規格化部34根據上述存儲特徵，使用從包含鄰接該存儲特徵的存儲特徵的周邊多個存儲特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的特徵矢量的存儲規格化特徵。
這裡，所謂在「『鄰接』於存儲特徵的存儲特徵」的表現中使用的「鄰接」對應於例如對於就時間採樣影像信號時得到的離散時刻的幀、表示其前後的離散時刻的幀時的「前後離散時刻的」。另外，所謂「周邊的多個的」在使用所述實例時，對應於「某個離散時刻間的」。
目的特徵面積選擇部35根據上述目的特徵，計算規定的統計量，從目的規格化特徵中，選擇其統計量超過規定閾值的要素，導出由被選擇的要素的多維矢量構成的目的面積選擇特徵。
存儲特徵面積選擇部36根據上述存儲規格化特徵，計算規定的統計量，從存儲規格化特徵中，選擇其統計量超過規定閾值的要素，導出由被選擇的要素的多維矢量構成的存儲面積選擇特徵。
特徵對照部37對上述存儲面積選擇特徵，將規定範圍設定為對照區間，將長度與該對照區間相同的被對照區間設定為目的面積選擇特徵，計算上述對照區間與被對照區間的類似度，與事先設定的搜索閾值相比較，判定是否類似，輸出其結果，作為信號檢測結果。
另外，特徵對照部37在上述對照區間的對照處理結束時，由於設定新的對照區間，所以執行將對照區間移向排列鄰接的相同時間寬度範圍的處理。
存儲面積選擇特徵資料庫38存儲利用存儲特徵計算部32、存儲特徵規格化部34和存儲特徵面積選擇部36事先計算的存儲面積選擇特徵。
若使用將多個CM影像設為存儲影像信號的實例，則存儲面積選擇特徵資料庫38對應於各CM提供者名，存儲所述事先計算的存儲面積選擇特徵。
另外，在本例中，在存儲面積選擇特徵資料庫38中計算存儲事先計算的存儲面積選擇特徵，但也可設置存儲存儲影像信號(新的影像信號)的資料庫。
這裡，說明目的特徵面積選擇部35和存儲特徵面積選擇部36中的閾值設定。
考慮上述閾值在例如選擇規格化特徵矢量的各要素的值、與通過統計處理求出的構成基準的值(這裡為「0」)的差分絕對值大的要素時，將規格化特徵矢量的各要素值與「0」的差分的絕對值最大的值的8/10的數值設為閾值，選擇各要素中、差分的絕對值超過閾值的要素。
圖6表示該實例。圖6中，將規格化特徵矢量的各要素d1-d6的值與「0」的差分的絕對值設為D1-D6。這裡，選擇差分的絕對值D1-D6中最大的絕對值，將該值的例如8/10設為閾值。
如圖6所示，差分的絕對值最大的是要素d2的差分絕對值D2。由此，將與D2的差分的絕對值的8/10設定為閾值|θ|。
|θ|＝0.8×D2然後，分別將與各要素d1-d6的值的差分絕對值D1-D6與閾值|θ|相比較，抽取超過閾值的要素。另外，對被選擇的要素附加圓標記。
圖6中，由於要素d2的差分的絕對值D2、要素d4的差分的絕對值D4、要素d5的差分的絕對值D5、要素d6的差分的絕對值D6超過閾值|θ|，所以選擇這些要素，作為選擇特徵的圖案。
這裡，將差分的絕對值最大的絕對值的8/10的值設為閾值，但這是一例，不限於8/10。
另外，也可設置每個要素的下限值，進行控制使閾值緩慢降低，直到選擇得到該下限值(1或多個)的要素為止。例如，在圖7的實例中，示出選擇上位2個要素的情況，通過緩慢降低閾值，選擇差分的絕對值最大的要素d2的值與「0」的差分的絕對值D2、以及要素d5的值與「0」的差分的絕對值D5，作為選擇特徵的圖案。
另外，目的特徵面積選擇部35也可求出上述目的特徵中的規定範圍的特徵矢量的各要素的平均值，從目的規格化特徵中，選擇各要素除以該平均值後的結果的絕對值超過規定閾值的要素，並導出由被選擇的要素的多維矢量構成的目的面積選擇特徵。
同樣，存儲特徵面積選擇部36也可求出上述存儲特徵中的規定範圍的特徵矢量的各要素的平均值，從存儲規格化特徵中，選擇各要素除以該平均值後的結果的絕對值超過規定閾值的要素，並導出由被選擇的要素的多維矢量構成的存儲面積選擇特徵。
上述閾值例如也可在選擇規格化特徵矢量的各要素的值與平均值的差分的絕對值大的要素的情況下，將規格化特徵矢量的各要素的值與平均值的差分的絕對值最大的值的如8/10的數值設為閾值，選擇各要素中、與平均值的差分的絕對值超過閾值的要素。
此時，也可設置要素的下限值，進行控制使閾值緩慢降低，直到選擇超過該下限值的要素為止。
並且，目的特徵面積選擇部35也可輸入上述目的特徵和目的規格化特徵，求出該目的特徵中的規定範圍(一定區段)的特徵矢量的每個要素的標準偏差，然後，對目的規格化特徵的對應排列位置的特徵矢量的每個要素，乘以上述標準偏差，計算乘法結果的絕對值，作為統計量，從目的規格化特徵中，選擇該統計量中最上位或從最上位起的多個(例如2個)統計量，導出作為特徵圖案的、被選擇的要素的多維矢量所構成的目的面積選擇特徵。
同樣，存儲特徵面積選擇部36也可輸入上述存儲特徵和存儲規格化特徵，求出該存儲特徵中的規定範圍(一定區段)的特徵矢量的每個要素的標準偏差，然後，對存儲規格化特徵的對應排列位置的特徵矢量的每個要素，乘以上述標準偏差，計算乘法結果的絕對值，作為統計量，從目的規格化特徵中，選擇該統計量中最上位或從最上位起的多個(例如2個)統計量，導出作為特徵圖案的、被選擇的要素的多維矢量所構成的目的面積選擇特徵。
下面，參照附圖來說明本實施方式的影像信號搜索系統的動作。圖8是表示圖5的影像信號搜索系統的動作例的流程圖。
在以下的說明中，示出使用將1幀分割成多個的各區域的RGB各色的平均值信息的實施例。
圖8中，存儲特徵計算部32讀入提供的存儲影像信號並進行輸出(步驟U1)，對輸入的存儲影像信號執行特徵抽取。
此時，存儲特徵計算部32根據存儲影像的時間系列數據，如圖9所示，例如將存儲影像的1幀圖像橫向3等分、縱向3等分，共計分割成9個區域，對各個分割(區域)內的RGB各色象素，算出平均值。在第i個幀的情況下，將關於第1子畫面的RGB的平均值分別設為(xi，1，xi，2，xi，3)，將關於第2子畫面的RGB的平均值分別設為(xi，4，xi，5，xi，6)，將關於第3子畫面的RGB的平均值分別設為(xi，7，xi，8，xi，9)，以下一樣，生成將關於各子畫面的RGB的平均值分別設為要素的多維矢量。將該多維矢量稱為局部區域原色特徵。
此時，所述的xi，1等變為局部區域原色特徵的要素。
抽取如此得到的9個區域中的RGB各自的平均象素值構成的共計27維矢量，作為特徵矢量，並設為存儲特徵。此時，對每個幀得到特徵矢量(步驟U2)。
另外，在存儲特徵的抽取方法中，有使用作為數字動態圖像壓縮技術的MPEG(Moving Picture Coding Experts Group)編碼方式(由活動補償、DCT(Discrete Cosine Transform)與可變長編碼構成)或傅立葉變換的振幅分量的方法。
然後，存儲特徵規格化部34從存儲特徵計算部32讀入存儲特徵，對該存儲特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。例如，存儲特徵規格化部34對各區域中每個RGB色，根據某個時間區間的值，求出平均值與標準偏差，使用求出的平均值與標準偏差，進行規格化。
此時，當將存儲特徵規格化部34規格化後的局部區域原色特徵稱為規格化局部原色特徵時，其第k個要素如下式(31)所示。
(公式31)yi,k=1i,kxi,k-mi,k---(31)]]>其中，式(31)中的x(i+j)，k表示向全部幀附加通用序號時的第(i+j)個幀的局部區域特徵的第k個要素。j是對設定的時間區間內的幀中的中心幀的相對序號，在設定的時間區間內包含2M個幀的情況下，為-M≤j≤M-1，j為整數。i為設定的時間區間的幀中、中心幀的通用序號(i≥M)，相當於j＝0時的通用序號。另外，mi，k是對-M≤j≤M-1的x(i+j)，k的平均值，由式(32)表示。σi，k為對-M≤j≤M-1的x(i+j)，k的標準偏差，由下式(33)求出。
(公式32)mi,k=12Mj=-MM-1x(i+j),k---(32)]]>(公式33)2i,k=12Mj=-MM-1(x(i+j),k-mi,k)2---(33)]]>為了執行局部時間內的統計處理，當設定相當於2M幀的時間窗時，如圖10所示，得到2M幀大小的特徵矢量。特徵矢量如圖9所示，將1幀分割成9個區域，在各個區域中，對RGB的各象素平均化，所以由27個要素構成。從而，若設定相當於2M幀的時間窗時，則得到2M個特徵矢量，若統一由該2M幀構成的特徵矢量，則可由如下的(2M)行N列矩陣表現。其中，N為對每個幀得到的特徵矢量的要素數量。當將n設為表示分割1幀時的子畫面的數量的整數時，N由N＝3×n來表示。另外，所述時間窗的幀數量由2M等偶數來記載，但不限於偶數，也可以是奇數。
(公式34)x0.1x0.2x0.3x0.4x0.5x0.6x0.Nx1.1x1.2x1.3x1.4x1.5x1.6x1.Nx(2M-1).1x(2M-1).2x(2M-1).3x(2M-1).4x(2M-1).5x(2M-1).6x(2M-1).N---(34)]]>將下一階段設定的時間窗設定在僅移位1幀的位置上。然後，將利用式(31)-(33)得到的規格化局部區域原色特徵的要素構成的多維矢量的時間系列的排列(由k表示的順序)設為存儲規格化特徵(步驟U3)。
接著，存儲特徵面積選擇部36從存儲特徵計算部32讀入存儲特徵並進行輸入，或從存儲特徵規格化部34讀入存儲規格化特徵並進行輸入，用上述式(32)和(33)，對各要素(由局部區域的RGB原色構成的特徵矢量)排列的一定區段，就存儲特徵的多維矢量的每個要素求出標準偏差σi，k。同樣，也可通過將存儲規格化特徵與標準偏差從存儲特徵規格化部34讀入並輸入存儲特徵面積選擇部36中來實現。
然後，存儲特徵面積選擇部36如下式(35)所示，對每個要素yi，k乘以標準偏差σi，k，取其絕對值。
(公式35)zi，k＝|yi，k·σi，k|＝|xi，k-mi，k| …(35)這裡，存儲特徵面積選擇部36從得到的作為各要素與標準偏差的乘法結果的統計量zi，k中，以規定區間單位對每個要素選擇從最上位起的多個要素、例如上位2個要素。用於選擇統計量zi，k的規定區間(時間窗或幀數)與算出規格化局部區域原色特徵的要素yi，k時的時間窗獨立確定，不必一致。這裡，設包含於所述時間窗中的幀數為M』。
即，局部時間內的特徵矢量也可用式(36)所示的矩陣表現。在該矩陣的各行要素中，按降序選擇對應於上述規定個數的P個(P為正整數)、例如(P＝2)個。
(公式36)Z=zi.1zi.2zi.3zi.4zi.5zi.6zi.Nzi+1.1zi+1.2zi+1.3zi+1.4zi+1.5zi+1.6zi+1.Nzi+(M-1).1zi+(M-1).2zi+(M-1).3zi+(M-1).4zi+(M-1).5zi+(M-1).6zi+(M-1).N---(36)]]>這種選擇可通過將對應於被選擇的(M』×P)個要素的要素為「0」、其它要素為(-zi，k)的矩陣(選擇屏蔽(mask))相加來實現。例如，選擇zi，1，zi，3，zi+1，2，zi+1，N，zi+(M』-1)，2，zi+(M』-1)，3的選擇屏蔽如下所示。
(公式37)
Z0=0-zi.20-zi.4-zi.5-zi.6zi.N-zi+1.10-zi+1.3-zi+1.4-zi+1.5z-i+1.60-zi+(M-1).100-zi+(M-1).4-zi+(M-1).5-zi+(M-1).6-zi+(M-1).N---(37)]]>若向式(36)所示的矩陣加上式(37)所示的選擇屏蔽，則如下所示，得到存儲面積選擇特徵的矩陣。
(公式38)Zs＝Z+Z0…(38)Zs存儲面積選擇特徵然後，存儲特徵面積選擇部36對於上述一定區間，輸出從存儲規格化特徵中對每個要素選擇的要素的矢量構成的多維矢量，作為存儲面積選擇特徵(步驟U4)。
此時，存儲特徵面積選擇部36執行將由計算得出的存儲面積選擇特徵直接發送給特徵對照部37、或暫時登錄到存儲面積選擇特徵資料庫38之一的處理。
在特徵對照部37實時比較存儲面積選擇特徵與目的面積選擇特徵的情況下，存儲特徵面積選擇部36向特徵對照部37輸出輸入的存儲影像信號的存儲面積選擇特徵。另外，在向存儲面積選擇特徵資料庫38登錄存儲影像信號的數據的情況下，存儲特徵面積選擇部36不向特徵對照部37發送存儲面積選擇特徵，而與例如影像廣告提供者名或節目名和電影的題目對應地向存儲面積選擇特徵資料庫38登錄存儲面積選擇特徵。
目的特徵計算部31讀入提供的目的影像信號並進行輸入(步驟U5)，對輸入的目的影像信號執行特徵抽取。
此時，目的特徵計算部31與存儲特徵計算部32一樣，根據目的影像的時間系列數據，例如將目的影像的1幀圖像橫向3等分、縱向3等分，共計分割成9個區域，對各個分割(區域)內的RGB各色象素，算出平均值。抽取如此得到的9個區域中的RGB各自的平均象素值構成的共計27維矢量，作為特徵矢量，並設為目的特徵(步驟U6)。
另外，在存儲特徵的抽取方法中，有使用作為數字動態圖像壓縮技術的MPEG編碼方式(由活動補償、DCT與可變長編碼構成)或傅立葉變換的振幅分量的方法。
然後，目的特徵規格化部33從目的特徵計算部31讀入目的特徵，對該目的特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
即，目的特徵規格化部33與存儲特徵規格化部34一樣，將利用式(31)-(33)得到的多維矢量的時間系列的排列(由k表示的順序)設為目的規格化特徵(步驟U7)。
接著，目的特徵面積選擇部35從目的特徵計算部31讀入目的特徵並進行輸入，或從目的特徵規格化部33讀入目的規格化特徵並進行輸入，與存儲特徵面積選擇部36一樣，對每個要素乘以根據目的特徵的一定區段求出的標準偏差σi，k，將乘法結果設為統計量。同樣，也可通過將目的規格化特徵與標準偏差從目的特徵規格化部33讀入並輸入目的特徵面積選擇部35中來實現。
然後，目的特徵面積選擇部35對每個要素的排列，根據上述統計量，按數值從大到小的順序，選擇上位2個要素，輸出從目的規格化特徵中對每個要素選擇的要素的矢量構成的多維矢量，作為目的面積選擇特徵(步驟U8)。
然後，特徵對照部37分別讀入由目的特徵面積選擇部35和存儲特徵面積選擇部36得到的目的面積選擇特徵和存儲面積選擇特徵。
另外，特徵對照部37在同時輸入目的影像信號和存儲影像信號、實時判定類似的情況以外，從存儲面積選擇特徵資料庫38中依次讀出進行比較的存儲面積選擇特徵，與目的面積選擇特徵進行比較。
此時，特徵對照部37對於存儲面積選擇特徵，將長度與由目的特徵面積選擇部35提供的目的面積選擇特徵相同的特徵矢量的排列設定為對照區間。
即，特徵對照部37將由多個上述一定區段構成的目的面積選擇特徵設為對照區間，對於存儲面積選擇特徵，使與目的面積選擇特徵相同的一定區段數構成的排列長度對應，作為相對目的面積選擇特徵的對照區間，依次利用類似度來比較兩個對照區間。
然後，特徵對照部37用下式(39)來計算目的面積選擇特徵與存儲面積選擇特徵中與對照區間的比較部位的類似度判斷數。特徵對照部37中使用的對照區間(時間窗或幀數)與存儲面積選擇部36或目的面積選擇部35中使用的時間區間(時間窗)和存儲或目的特徵規格化部33中使用的時間區間(時間窗)獨立確定，即未必使用一致的時間區間。
特徵對照部37計算目的面積選擇特徵和存儲面積選擇特徵的對照區間中的各個規格化局部區域原色特徵yq-i，k與ys-i，k的一致部位的歐幾裡德距離、以及向非一致部位的數量乘以規定常數a的值的和，輸出該和，作為類似度判斷數S(步驟U9)。
另外，就生成存儲面積選擇特徵與目的面積選擇特徵時的各個選擇屏蔽而言，將具有相同i，k的要素(相同位置的要素)為「0」的要素稱為「一致」，將此外的要素稱為「不一致」。
(公式39)S=k=qs(yq_i,k-ys_i+r.k)2+a(max(|q|,|s|)-|qs|)---(39)]]>x∩yx與y一致的要素其中，q、s分別表示目的特徵的面積選擇部位、存儲特徵的面積選擇部位，r是整數，是表示目的特徵與存儲特徵中的幀序號也可不相等的變量。a被認為是例如yi，k的歐幾裡德距離的差分值取得值的最大值，即yi，k的量化等級數的平方。x是面積選擇部位x的要素數量，max(x，y)由下式定義。
(公式40) 這裡，例如特徵對照部37在設目的面積選擇特徵為15秒長度時，以0.1秒為間隔抽取共計150部位的作為排列要素的特徵矢量。對各採樣，分割幀圖像，求出RGB各自的平均象素值，所以根據由這些矢量構成的(150×27)的4050維，使用各區域中的各RGB色強度的上位2個(目的特徵面積選擇部35抽取)，將54個要素構成的多維矢量設為用於對照的目的矢量。
另外，與上述目的矢量一樣，特徵對照部37從存儲面積選擇特徵的數據開頭起，以15秒長度為單位，依次設定為對照區間，從特徵矢量的排列中，以0.1秒為間隔抽取共計150部位的特徵矢量，對各採樣，分割幀圖像，求出RGB各自的平均象素值，所以根據由這些矢量構成的(150×27)的4050維，使用各區域中的各RGB色強度的上位2個(存儲特徵面積選擇部36抽取)，將54個要素構成的多維矢量設為用於對照的存儲矢量。
接著，特徵對照部37執行目的面積選擇特徵與存儲面積選擇特徵的對照。
即，使用式(39)，計算上述目的矢量與存儲矢量的類似度判斷數S，與事先設定的搜索閾值進行比較處理(步驟U10)。對照的結果是在由式(39)求出的類似度判斷數S比事先設定的搜索閾值大(類似度小)的情況下，移位時間窗，進行反饋(步驟U11)。
在步驟U11中，邊從存儲面積選擇特徵的開頭依次偏移對照區間(例如邊使其各移位1幀)，邊計算上述目的矢量與存儲矢量的類似度判斷數S，與事先設定的搜索閾值進行比較處理，對照處理目的面積選擇特徵與存儲面積選擇特徵直到存儲面積選擇特徵的最後，然後，若檢索到每個對照區間的類似度判斷數S比事先設定的搜索閾值低的存儲面積選擇特徵的對照區間的區域，則輸出該對照區間，作為搜索結果(步驟U12)。
另外，對照時的目的影像信號的幀數與存儲影像信號的幀數未必相等。
如上所述，在本發明的實施方式中，從存儲影像信號和目的影像信號中，僅選擇統計上有特徵的要素來進行對照。
另外，特徵對照部37也可輸出比較的結果中、類似度判斷數明顯低的存儲面積選擇特徵的對照區間的區域，作為搜索結果。
另外，特徵對照部37也可在多個對照區間的類似度低於搜索閾值的情況下，輸出類似度的上位(從低的數值起)第N個以前的對照區間。
並且，特徵對照部37也可在沒有低於搜索閾值的對照區間的情況等下，通知表示沒有對應部位的信息，從存儲面積選擇特徵資料庫38中讀出新的存儲影像信號的存儲面積選擇特徵，繼續步驟U9以後的搜索處理，直到搜索具有上述搜索閾值以下的對照區間的存儲面積選擇特徵。
另外，也可將圖5中的目的特徵計算部31、目的特徵規格化部33和目的特徵面積選擇部35安裝在各用戶終端(例如電腦)中，將具有存儲特徵計算部32、存儲特徵規格化部34、存儲特徵面積選擇部36、特徵對照部37和存儲面積選擇特徵資料庫38的影像信號搜索伺服器設置在執行影像配送的服務提供者中。
由此，構成為將用戶利用帶攝影機的便攜電話等接收到的影像信號作為目的影像信號，生成至目的面積選擇特徵，經網際網路等向上述影像信號搜索伺服器發送該目的面積選擇特徵，請求搜索類似於該目的面積選擇特徵的存儲影像信號。此時，使計算存儲面積選擇特徵和目的面積選擇特徵時的一定區段的特徵矢量的排列長度等規定在影像信號搜索伺服器與終端中事先一致。
下面，示出應用上述影像信號搜索系統的實施方式。本發明的影像信號搜索系統可用於使用在實際環境中收錄的有反射或間歇的片斷影像信號，搜索一致的影像並進行信息檢索。例如，用戶利用帶攝影機的便攜電話拍攝在街頭的大型屏幕中播出的CM，發送給影像信號搜索服務等。影像信號搜索服務提供者從資料庫中檢索與該影像信號一致或類似的影像，收費或免費地將內容或關於該影像的信息(例如商品信息、製品特徵、服務、拍攝地、出演者、主頁等)提供給用戶。
這裡，就檢索的影像的輸入方法而言，期望使帶攝影機的終端的取景器或屏幕與想拍攝的影像(目的影像信號)的幀一致後進行拍攝，或利用菜單操作或筆輸入等手動跟蹤(manual trace)來範圍指定拍攝的影像中的動態圖像幀。
另外，由於可利用本發明來容易地搜索以前難以正確搜索的、由家庭用視頻反覆配音複製的影像、或位速率低的影像，所以還可廣泛應用於網際網路上的動態圖像的著作權管理系統、或CM信息檢索服務等。
另外，還可用於使用用戶利用攝影機拍攝的動態圖像影像，從配送的電影或電視程序中切取接近該圖像的剪輯後進行編輯。
第4實施方式
下面，參照附圖來說明本發明的第4實施方式。圖11是本發明的一實施方式，是表示將影像信號設為對象的對反射或間歇穩固的影像信號搜索系統的構成框圖。
圖11所示的影像信號搜索系統實現將影像信號設為對象的對反射或間歇穩固的信號檢測，包括目的特徵計算部41、存儲特徵計算部42、目的特徵規格化部43、存儲特徵規格化部44、目的特徵量化部45、存儲特徵量化部46、特徵對照部47、以及存儲量化特徵資料庫48，輸入存儲影像信號即檢索的影像信號、以及目的影像信號即想檢索的影像信號，輸出與目的時間系列信號類似的存儲時間系列信號中的部位。
目的特徵計算部41將目的影像信號設為輸入，多維矢量化從按規定間隔以時間系列採樣該目的影像信號得到的、作為離散數據的存儲時間系列信號中抽取的特徵量，得到特徵矢量，算出由該特徵矢量構成的目的特徵。
存儲特徵計算部42與目的特徵計算部41一樣，從按規定間隔以時間系列採樣存儲影像信號得到的、作為離散值的存儲時間系列信號中，例如以採樣單位從存儲影像信號中抽取每個頻率的功率譜值等，設為特徵量，多維矢量化該抽取出的特徵量，得到特徵矢量，算出由該特徵矢量構成的存儲特徵。
目的特徵規格化部43根據上述目的特徵，使用從包含鄰接該目的特徵的目的特徵的周邊多個目的特徵導出的統計量(也稱為目的統計量)，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的特徵矢量的目的規格化特徵。
存儲特徵規格化部44根據上述存儲特徵，使用從包含鄰接該存儲特徵的存儲特徵的周邊多個存儲特徵導出的統計量(也稱為存儲統計量)，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的特徵矢量的存儲規格化特徵。
這裡，所謂在「『鄰接』於存儲特徵的存儲特徵」的表現中使用的「鄰接」對應於例如對於就時刻採樣影像信號時得到的離散時刻的幀、表現其前後的離散時刻的幀時的「前後離散時刻的」。
另外，所謂「周邊的多個的」在使用所述實例時，對應於「某個離散時刻間的」。
目的特徵量化部45對上述目的規格化特徵的各要素，利用相同或單獨的閾值來執行標量量化，導出目的量化特徵，作為將該量化後的值設為矢量的要素的多維矢量。
存儲特徵量化部46對上述存儲規格化特徵的各要素，利用相同或單獨的閾值來執行標量量化，導出作為將該量化後的值設為矢量的要素的多維矢量的存儲量化特徵，。
另外，影像信號中的對存儲特徵簡併的矢量和對目的特徵簡併的矢量通過與上述一樣的計算得到。
在二進位化目的和存儲規格化特徵的情況下，進行量化的上述規定閾值使用最小化各代碼的代表數值與原要素數值的均方差的值。作為代表數值，例如兩個代碼中一個使用比閾值大1的值，另一個使用比閾值小1的值。
特徵對照部47對上述存儲量化特徵設定規定範圍，作為對照區間，對目的量化特徵設定長度與該對照區間相同的被對照區間，對上述對照區間與被對照區間的類似度進行運算，與事先設定的搜索閾值進行比較，判定是否類似。
另外，特徵對照部47當上述對照區間的對照處理結束時，由於設定新的對照區間，所以執行將對照區間移向排列鄰接的相同時間寬度範圍的處理。
存儲量化特徵資料庫48利用存儲特徵計算部42、存儲特徵規格化部44和存儲特徵量化部46，事先計算並存儲存儲量化特徵。若使用將多個CM(Commercial Message)影像設為存儲影像信號的實例，則存儲量化特徵資料庫48對應於各CM提供者名，存儲事先計算的存儲量化特徵。
另外，在本例中，在存儲量化特徵資料庫48中，計算存儲事先計算的存儲量化特徵，但也可設置存儲存儲影像信號(新的影像信號)的資料庫。
下面，參照附圖來說明本實施方式的影像信號搜索系統的動作。
圖12是表示圖11的影像信號搜索系統的動作例的流程圖。
另外，以下的說明中，示出使用將1幀分割成多個的各區域的R(紅)、G(綠)、B(藍)各色的平均值信息的實施例。
圖12中，存儲特徵計算部42讀入提供的存儲影像信號並進行輸出(步驟V1)，對輸入的存儲影像信號執行特徵抽取。
此時，存儲特徵計算部42根據存儲影像的時間系列數據，將存儲影像的1幀圖像分割成n個區域(例如橫向3等分、縱向3等分，共計9個區域)，對各個分割區域內的RGB各色象素，算出平均值。
即，如圖13所示，當設定相當於從幀(-M)至幀(M-1)的2M幀的時間窗時，就位於其間的幀0(0表示時間窗內的幀中的相對序號，表示第0個幀)而言，如圖14所示，將1個幀分割成n個子畫面。平均幀0的第1子畫面的RGB各色的象素，取得平均值(xi，1，xi，2，xi，3)，平均第2子畫面的RGB各色的象素，取得平均值(xi，4，xi，5，xi，6)，平均第3子畫面的RGB各色的象素，取得平均值(xi，7，xi，8，xi，9)，以下一樣，平均第n子畫面的RGB各色的象素，取得平均值(xi，(3n-2)，xi，(3n-1)，xi，3n)。其中，第1個下標表示賦予全部幀的通用序號，第2個下標表示該幀內的要素的序號。另外，第1個下標由賦予全部幀的通用序號i、與表示相對於第i個幀的相對位置的j的和(i+j)來表示。
由此，例如當設n＝9時，各幀得到(3×9＝27)維的值，抽取如此得到的27維的多維矢量，作為特徵矢量，設為存儲特徵(步驟V2)。將所述多維矢量稱為局部區域原色特徵。此時，所述Xi，1等為局部區域原色特徵的要素。
另外，在存儲特徵的抽取方法中，有使用作為數字動態圖像壓縮技術的MPEG(Moving Picture Coding Experts Group)編碼方式(由活動補償、DCT(Discrete Cosine Transform)與可變長編碼構成)或傅立葉變換的振幅分量的方法。
然後，存儲特徵規格化部44從存儲特徵計算部42讀入存儲特徵，對該存儲特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
例如，存儲特徵規格化部44對各區域中每個RGB色，根據某個時間區間的值，求出平均值與標準偏差，使用求出的平均值與標準偏差，進行規格化。
此時，當將存儲特徵規格化部44規格化後的局部區域原色特徵稱為規格化局部原色特徵時，其第k個要素yi，k如下式(41)所示。
(公式41)
yi,k=1i,k(xi,k-mi,k)---(41)]]>(公式42)mi,k=12Mj=-MM-1x(i+j),k---(42)]]>(公式43)2i,k=12Mj=-MM-1(x(i+j),k-mi,k)2---(43)]]>其中，式(42)中的x(i+j)，k表示向全部幀附加通用序號時的第(i+j)個幀的局部區域特徵的第k個要素。j是對設定的時間區間內的幀中的中心幀的相對序號，在設定的時間區間內包含2M個幀的情況下，為-M≤j≤M-1，j為整數。i為設定的時間區間的幀中、中心幀的通用序號(i≥M)，相當於j＝0時的通用序號。另外，mi，k是對-M≤j≤M-1的x(i+j)，k的平均值。式(43)中的σi，k為對-M≤j≤M-1的x(i+j)，k的標準偏差。
以某個幀為中心幀，使用該中心幀的前後幀的局部區域原色特徵，執行統計處理(規格化)，對該中心幀，得到規格化局部區域原色特徵。通過邊錯開1幀邊設定中心幀，可對全部幀得到規格化局部區域原色特徵。該步驟是將局部區域原色特徵映射到規格化局部區域特徵的步驟。將存儲特徵的所述影像稱為規格化存儲特徵Y(步驟V3)。
(公式44)Y＝(yi，1，yi，2，yi，3，…，yi，N) …(44)其中，N是對每個幀得到的特徵矢量的要素數量。當將1幀分割成n個時，N由3×n來表示。
然後，存儲特徵量化部46從存儲特徵規格化部44讀入存儲特徵並進行輸入，利用1以上的閾值，對存儲規格化特徵的多維矢量的每個要素進行量化。
例如，將閾值設為t1、t2、…、tR，量化上述式(44)所示的矢量Y時，如下所述，在使用R個閾值的情況下，(R+1)維編碼yi，k。
(公式45)zi,k=0yi,kt11tiyi,kt2R-1tR-1yi,ktRRtRyi,k---(45)]]>下面，為了簡化，說明由閾值t來2維編碼(二進位)的情況。基於閾值t的2維編碼如下。
(公式46)zi,k=0yi,kt1yi,k>t---(46)]]>當將利用閾值t來2維編碼式(44)所示的矩陣後的量設為量化特徵Z時，量化特徵Z如下所示。
(公式47)Z＝(zi，1，zi，2，zi，3，…，zi，N) …(47)存儲特徵量化部46輸出將該多維矢量Z、或多維矢量的時間系列(即多個幀大小的Z)設為1個新的多維矢量的量，作為存儲量化特徵(步驟V4)。
此時，存儲特徵量化部46進行將通過運算得到的存儲量化特徵直接發送到特徵對照部47、或暫時登錄到存儲量化資料庫48之一的處理。
在特徵對照部47實時比較存儲量化特徵與目的量化特徵的情況下，存儲特徵量化部46向特徵對照部47輸出輸入的存儲影像信號的存儲量化特徵。另外，在向存儲量化特徵資料庫48登錄存儲影像信號的數據的情況下，存儲特徵量化部46不向特徵對照部47發送存儲量化特徵，而與例如影像廣告提供者名或節目名和電影的題目對應地向存儲量化特徵資料庫48登錄存儲量化特徵。
目的特徵計算部41讀入提供的目的影像信號並進行輸入(步驟V5)，對輸入的目的影像信號執行特徵抽取。
此時，目的特徵計算部41與存儲特徵計算部42一樣，根據目的影像的時間系列數據，例如將目的影像的1幀圖像分割成n個區域(例如橫向3等分、縱向3等分，共計9個區域)，對各個分割區域內的RGB各色象素，算出平均值。抽取如此得到的各區域中的RGB各自的平均象素值構成的例如27維矢量(n＝9的情況)，作為特徵矢量，設為目的特徵(步驟V6)。
另外，在目的特徵的抽取方法中，有使用作為數字動態圖像壓縮技術的MPEG編碼方式(由活動補償、DCT與可變長編碼構成)或傅立葉變換的振幅分量的方法。
然後，目的特徵規格化部43從目的特徵計算部41讀入目的特徵，對該目的特徵的特徵矢量的每個要素，運算求出規定的一定區段的平均值與標準偏差。
即，目的特徵規格化部43與存儲特徵規格化部44一樣，將利用式(41)-(43)得到的多維矢量的時間系列的排列(由k表示的順序)設為目的規格化特徵(步驟V7)。
然後，目的特徵量化部45從目的特徵規格化部43讀入目的規格化特徵並進行輸入，生成式(44)所示的矩陣，以對該矩陣的每個要素事先提供的閾值為界，與存儲特徵量化部46一樣，使用式(46)，例如量化成二進位，如式(47)所示，得到量化特徵。然後，輸出該量化特徵，作為目的量化特徵(步驟V8)。
然後，特徵對照部47分別讀入由目的特徵量化部45和存儲特徵量化部46得到的目的量化特徵和存儲量化特徵。
另外，特徵對照部47在同時輸入目的影像信號和存儲影像信號、實時判定類似的情況以外，從存儲量化特徵資料庫48中依次讀出進行比較的存儲量化特徵，與目的量化特徵進行比較。
此時，特徵對照部47對於存儲量化特徵，將長度與由目的特徵量化部45提供的目的量化特徵相同的特徵矢量的排列設定為對照區間。
然後，特徵對照部47運算目的量化特徵與存儲量化特徵在上述對照區間中的類似度。運算雙方特徵矢量間的加重平均距離，作為類似度(步驟V9)。
特徵對照部47從目的量化特徵的特徵矢量排列中，抽取多個部位的要素，設為作為排列的要素的特徵矢量。
例如在設目的量化特徵為15秒長度時，以0.1秒為間隔抽取共計150部位的作為排列要素的特徵矢量。對各採樣，分割幀圖像，求出RGB各自的平均象素值，所以將由這些矢量構成的(150×27)4050維的矢量設為特徵對照部47用於對照的目的矢量。
另外，與上述目的矢量一樣，特徵對照部47從存儲量化特徵的數據開頭起，以15秒長度為單位，依次設定為對照區間，從特徵矢量的排列中，以0.1秒間隔抽取共計150部位的特徵矢量，對各採樣，分割幀圖像，求出RGB各自的平均象素值，所以將由這些矢量構成的(150×27)4050維的矢量設為用於對照的存儲矢量。
此時，若特徵對照部47從目的量化特徵的特徵矢量的排列中，抽取多個部位的要素並設為目的矢量，則目的特徵量化部45事先從目的規格化特徵中抽取作為排列要素的特徵矢量，即每0.1秒間隔抽取共計150部位，進行標量量化，作為目的矢量，輸出到特徵對照部47。
特徵對照部47邊從存儲量化特徵的開頭依次依次偏移對照區間，邊運算與目的量化特徵即上述目的矢量與存儲矢量的加重平均距離，由此進行比較處理(步驟V10)。
然後，特徵對照部47對照存儲量化特徵直到最後，然後，參照每個對照區間的加重平均距離，輸出加重平均距離最小的對照區間的區域，作為搜索結果(步驟V11)。
另外，特徵對照部47也可在事先提供加重平均距離的搜索閾值的情況下，判定該搜索閾值與選擇的對照區間的加重平均距離，作為搜索結果(步驟V10)，僅輸出低於該搜索閾值的區域(步驟V11)。
但是，如(R+1)維編碼的情況那樣，在非二維的情況下，也可代替加重平均距離，應用如下定義的李(リ-)距離。其中，在下式(48)中，‖zq_i，k-zs_r，k‖是指(zq_i，k-zs_r，k)mod(R+1)與(zq_i，k-zs_r，k)mod(R+1)中小的一方。r是幀序號，是為了表示q與s未必一致而導入的記號。
(公式48)dL=(i,r)k=1N||zq_i,k-zs_r,k||---(48)]]>如上所述，在本發明的實施方式中，從存儲影像信號和目的影像信號中，抽取作為由多維矢量構成的存儲特徵和目的特徵，量化該多維矢量，算出量化特徵，並使用加重平均距離等來對照該存儲量化特徵與目的量化特徵。
另外，特徵對照部47在多個對照區間的加重平均距離低於搜索閾值的情況下，也可輸出加重平均距離的上位(從低數值的開始)第P個(P為規定的正整數)前的對照區間。
並且，特徵對照部47也可在沒有低於搜索閾值的對照區間的情況等下，通知表示沒有對應部位的信息，從存儲量化特徵資料庫48中讀出新的存儲影像信號的存儲量化特徵，繼續步驟V9以後的搜索處理，直到搜索具有上述搜索閾值以下的對照區間的存儲量化特徵。
另外，也可將圖11中的目的特徵計算部41、目的特徵規格化部43和目的特徵量化部45安裝在各用戶終端(例如電腦)中，將具有存儲特徵計算部42、存儲特徵規格化部44、存儲特徵量化部46、特徵對照部47和存儲量化特徵資料庫48的影像信號搜索伺服器設置在執行影像配送的服務提供器中。
由此，構成為將用戶利用帶攝影機的便攜電話等接收到的影像信號作為目的影像信號，生成至目的量化特徵，經網際網路等向上述影像信號搜索伺服器發送該目的量化特徵，請求搜索類似於該目的量化特徵的存儲影像信號。此時，使計算存儲量化特徵和目的量化特徵時的一定區段的特徵矢量的排列長度等規定在影像信號搜索伺服器與終端中事先一致。
下面，示出應用上述影像信號搜索系統的實施方式。本發明的影像信號搜索系統可用於使用在實際環境中收錄的有反射或間歇的片斷影像信號，搜索一致的影像並進行信息檢索。例如，用戶利用帶攝影機的便攜電話拍攝在街頭的大型屏幕中播出的CM，發送給影像信號搜索服務等。影像信號搜索服務提供者從資料庫中檢索與該影像信號一致或類似的影像，收費或免費地將內容或關於該影像的信息(例如商品信息、製品特徵、服務、拍攝地、出演者、主頁等)提供給用戶。
這裡，就檢索的影像的輸入方法而言，期望使帶攝影機的終端的取景器或屏幕與想拍攝的影像(目的影像信號)的幀一致後進行拍攝，或利用菜單動作或筆輸入等手動跟蹤(manua1 trace)來範圍指定拍攝的影像中的動態圖像幀。
另外，由於可利用本發明來容易地搜索以前難以正確搜索的、由家庭用視頻反覆配音複製的影像、或位速率低的影像，所以還可廣泛應用於網際網路上的動態圖像的著作權管理系統、或CM信息檢索服務等。
另外，還可用於使用用戶利用攝影機拍攝的動態圖像影像，從配送的電影或電視程序中切取接近該影像的剪輯後進行編輯。
第5實施方式
圖15表示本發明的第5實施方式，是表示對噪音或失真穩固的高精度信號搜索系統的構成框圖。這裡，所謂信號是時間系列數據，是指若有規定的再生裝置則可再生的所有信息。例如，就音樂而言，表示作為音樂本身的模擬數據、記錄在CD(Compact Disc)中的數據、WAV文件的數據、MP3(MPEG-1 Audio Layer3)文件的數據等。
另外，就影像而言，表示作為影像本身的模擬數據、以MPEG-2(Moving Picture Coding Experts Group 2)為代表的數字數據等。這裡，將信號檢測的對象作為影像信號和音響信號來進行說明。
圖15所示的信號檢測系統實現將時間系列信號設為對象的對噪音或失真穩固的高精度信號檢測，包括目的特徵計算部51、存儲特徵計算部52、目的特徵規格化部53、存儲特徵規格化部54、目的特徵面積選擇部55、存儲特徵面積選擇部56、目的特徵非線性量化部57、存儲特徵非線性量化部58、特徵對照部59、以及存儲非線性量化特徵資料庫510，輸入存儲時間系列信號(存儲信號)即想檢索的信號、以及目的時間系列信號(目的信號)即檢索的信號，輸出與目的時間系列信號類似的存儲時間系列信號中的部位。另外，根據目的信號，在從存儲信號中執行檢索之後，目的信號比存儲信號短。
目的特徵計算部51從按規定間隔以時間系列採樣目的信號得到的、作為離散值的目的時間系列信號中，例如在音響信號的情況下，以採樣單位抽取每個頻率的功率譜值，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的目的特徵。另外，在影像信號的情況下，分割幀，抽取分割區域內的象素的平均值，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的目的特徵。
存儲特徵計算部52與目的特徵計算部51一樣，從按規定間隔以時間系列採樣存儲信號得到的、作為離散值的存儲時間系列信號中，例如在音響信號的情況下，以採樣單位抽取每個頻率的功率譜值，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的存儲特徵。另外，在影像信號的情況下，分割幀，抽取分割區域內的象素的平均值，多維矢量化該抽取出的特徵量，得到特徵矢量，導出由該特徵矢量構成的存儲特徵。
目的特徵規格化部53根據上述目的特徵，使用從包含鄰接該目的特徵的目的特徵的周邊多個目的特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的多維矢量的目的規格化特徵。
存儲特徵規格化部54根據上述存儲特徵，使用從包含鄰接該存儲特徵的存儲特徵的周邊多個存儲特徵導出的統計量，對特徵矢量的每個要素獨立規格化，導出具有由規格化後的值構成的多維矢量的存儲規格化特徵。
目的特徵面積選擇部55根據上述目的規格化特徵，計算規定的統計量，從目的規格化特徵中，選擇其統計量超過規定閾值的要素，導出由被選擇的要素的多維矢量構成的目的面積選擇特徵。
存儲特徵面積選擇部56根據上述存儲規格化特徵，計算規定的統計量，從存儲規格化特徵中，選擇其統計量超過規定閾值的要素，導出由被選擇的要素的多維矢量構成的存儲面積選擇特徵。
這裡，參照圖16和圖17來說明目的特徵面積選擇部55和存儲特徵面積選擇部56的閾值設定。
例如，考慮在選擇規格化特徵矢量的各要素的值、與通過統計處理求出的構成基準的值(這裡為「0」)的差分絕對值大的要素的情況下，將規格化特徵矢量的各要素的值與「0」的差分絕對值最大的值的例如8/10的數值設為閾值，選擇各要素中、差分的絕對值超過閾值的要素。
圖16中，將規格化特徵矢量的各要素d1-d6的值與「0」的差分的絕對值設為D1-D6。這裡，選擇差分的絕對值D1-D6中最大的絕對值，將該值的例如8/10設為閾值。
如圖16所示，差分的絕對值最大的是要素d2的差分絕對值D2。由此，將與D2的差分的絕對值的8/10設定為閾值|θ|。
|θ|＝0.8×D2然後，分別將與各要素d1-d6的值的差分絕對值D1-D6與閾值|θ|相比較，抽取超過閾值的要素。另外，對被選擇的要素附加圓標記。
圖16中，由於要素d2的差分的絕對值D2、要素d4的差分的絕對值D4、要素d5的差分的絕對值D5、要素d6的差分的絕對值D6超過閾值|θ|，所以選擇這些要素，作為選擇特徵的圖案。
這裡，將差分的絕對值最大的絕對值的8/10的值設為閾值，但這是一例，不限於8/10。
另外，也可設置每個要素的下限值，進行控制使閾值緩慢降低，直到選擇得到該下限值(1或多個)的要素為止。例如，在圖17的實例中，示出選擇上位2個要素的情況，通過緩慢降低閾值，選擇差分的絕對值最大的要素d2的值與「0」的差分的絕對值D2、以及要素d5的值與「0」的差分的絕對值D5，作為選擇特徵的圖案。
另外，目的特徵面積選擇部55也可求出上述目的特徵中、排列的規定範圍的特徵矢量的各要素的平均值，從目的規格化特徵中，選擇各要素除以該平均值後的結果的絕對值超過規定閾值的要素，並導出由該被選擇的要素的多維矢量構成的目的面積選擇特徵。
同樣，存儲特徵面積選擇部56也可求出上述存儲特徵中、排列的規定範圍的特徵矢量的各要素的平均值，從存儲規格化特徵中，選擇各要素除以該平均值後的結果的絕對值超過規定閾值的要素，並導出由被選擇的要素的多維矢量構成的存儲面積選擇特徵。
另外，所謂上述「排列」是按時間系列採樣的順序、依次排列各採樣中的特徵矢量的排列，所謂「規定範圍的特徵矢量」是指該排列中的規定時間區間(下面為一定區段)的特徵矢量。
上述閾值例如也可在選擇規格化特徵矢量的各要素的值與平均值的差分的絕對值大的要素的情況下，將規格化特徵矢量的各要素的值與平均值的差分的絕對值最大的值的例如8/10的數值設為閾值，選擇各要素中、與平均值的差分的絕對值超過閾值的要素。
此時，也可設置要素的下限值，進行控制使閾值緩慢降低，直到選擇超過該下限值的要素為止。
並且，目的特徵面積選擇部55也可輸入上述目的特徵和目的規格化特徵，求出該目的特徵排列中的規定範圍(一定區段)的特徵矢量的每個要素的標準偏差，然後，對目的規格化特徵的對應排列位置的特徵矢量的每個要素，乘以上述標準偏差，計算乘法結果的絕對值，作為統計量，從目的規格化特徵中，選擇該統計量中最上位或從最上位起的多個(例如2個)統計量，導出作為特徵圖案的、被選擇的要素的多維矢量所構成的目的面積選擇特徵。
同樣，存儲特徵面積選擇部56也可輸入上述存儲特徵和存儲規格化特徵，求出該存儲特徵排列中的規定範圍(一定區段)的特徵矢量的每個要素的標準偏差，然後，對存儲規格化特徵的對應排列位置的特徵矢量的每個要素，乘以上述標準偏差，計算乘法結果的絕對值，作為統計量，從目的規格化特徵中，選擇該統計量中最上位或從最上位起的多個(例如2個)統計量，導出作為特徵圖案的、被選擇的要素的多維矢量所構成的目的面積選擇特徵。
目的特徵非線性量化部57對上述目的面積選擇特徵執行後述的芙諾以分割，根據距接近特徵矢量所屬的芙諾以區域的1個或多個芙諾以邊界面的距離，量化特徵矢量。該量化利用S形(sigmoid)函數或分段直線函數，非線性量化與各個芙諾以邊界面的距離，導出得到的量化的值組，作為目的非線性量化特徵。
或者，利用S形函數或分段直線函數，標量非線性量化上述目的面積選擇特徵的矢量的各個要素，導出作為要素得到非線性量化為多個灰度的值的多維矢量構成的目的非線性量化特徵。
存儲特徵非線性量化部58也與目的特徵非線性量化部57一樣，對上述存儲面積選擇特徵執行後述的芙諾以分割，根據距接近特徵矢量所屬的芙諾以區域的1個或多個芙諾以邊界面的距離，量化特徵矢量。
該量化利用S形函數或分段直線函數，非線性量化與各個芙諾以邊界面的距離，導出得到的量化值的組，作為存儲非線性量化特徵。
或者，利用S形函數或分段直線函數，標量非線性量化上述存儲面積選擇特徵的矢量的各個要素，導出作為要素得到非線性量化為多個灰度的值的多維矢量構成的存儲非線性量化特徵。
該目的非線性量化特徵和存儲非線性量化特徵分別按時間系列採樣的順序，依次排列各採樣中的特徵矢量。
特徵對照部59對於按時間系列排列上述存儲非線性量化特徵的特徵矢量，將該排列的規定範圍設定為對照區間，將長度與該對照區間相同的被對照區間設定為目的非線性量化特徵，計算上述對照區間與被對照區間的類似度，與事先設定的搜索閾值進行比較，判定是否類似。
另外，特徵對照部59在上述對照區間的對照處理結束時，由於設定新的對照區間，所以移向排列鄰接的相同時間寬度範圍。
存儲非線性量化特徵資料庫510對多個、例如很好配送的音樂或CM，利用存儲特徵計算部52、存儲特徵規格化部54、存儲特徵面積選擇部56、存儲特徵非線性量化部58，事先計算存儲非線性量化特徵，對應於各歌曲名或CM提供者名來存儲存儲非線性量化特徵。
另外，本例中，在存儲非線性量化特徵資料庫510中，計算存儲事先計算的非線性量化特徵，但也可設置存儲存儲信號(新信號)的資料庫。
下面，參照附圖來說明本實施方式的信號檢測系統的動作。圖18是表示圖15的信號檢測系統的動作例的流程圖。
存儲特徵計算部52讀入提供的存儲信號並進行輸出(步驟W1)，對輸入的存儲信號執行特徵抽取。
就存儲特徵計算部52中的特徵抽取而言，下面示出輸入的信號是音響信號的情況、以及是影像信號的情況等兩種實例。存儲特徵計算部52在檢測的對象是音響信號的情況下，使用傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標本化的音響信號的1秒區間，等間隔地將0-4000Hz分割成32個頻帶區間，將各區間中的振幅分量的平均功率構成的32維多維矢量作為特徵矢量，每0.1秒抽取，設為存儲特徵(步驟W2)。
在影像信號是檢測對象的情況下，根據存儲的時間系列數據，例如將存儲的1幀圖像橫向3等分、縱向3等分，共計分割成9個區域，對各個分割(區域)內的RGB各色象素，算出平均值。抽取如此得到的9個區域中的RGB各自的平均象素值構成的共計27維的矢量，作為特徵矢量，設為存儲特徵(步驟W2)。此時，對每個幀得到所述特徵矢量。
即，如圖19所示，當設定相當於從幀(i-M)至幀(i+M-1)的2M幀的時間窗時(i為開頭幀的幀序號)，就位於其間的幀(i+0)(下面有時也記作幀i)而言，如圖20所示，將1個幀分割成n個子畫面。平均幀i的第1子畫面的RGB各色的象素，取得平均值(xi，1，xi，2，xi，3)，平均第2子畫面的RGB各色的象素，取得平均值(xi，4，xi，5，xi，6)，平均第3子畫面的RGB各色的象素，取得平均值(xi，7，xi，8，xi，9)，以下一樣，平均第n子畫面的RGB各色的象素，取得平均值(xi，(3n-2)，xi，(3n-1)，xi，3n)。其中，第1個下標表示幀的通用序號，第2個下標表示該幀內的要素的序號。
另外，上述說明中，各象素具有R值、G值、B值，但各象素也可具有R值、G值、B值之一。
由此，例如若設n＝9，則各幀得到(3×9＝27)個值，抽取如此得到的27維多維矢量，作為特徵矢量，並設為存儲特徵(步驟W2)。將所述多維矢量稱為局部區域原色特徵。此時，所述的xi，1等變為局部區域原色特徵的要素。
另外，在存儲特徵的抽取方法中，有使用作為數字動態圖像壓縮技術的MPEG(Moving Picture Coding Experts Group)編碼方式(由活動補償、DCT(Discrete Cosine Transform)與可變長編碼構成)或傅立葉變換的振幅分量的方法。
然後，圖15中，存儲特徵規格化部54從存儲特徵計算部52讀入存儲特徵，對該存儲特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
例如，在影像信號的情況下，存儲特徵規格化部54對各局部區域中RGB各色，根據某個時間區間的值，求出平均值與標準偏差，使用求出的平均值與標準偏差，進行規格化。此時，當將存儲特徵規格化部54規格化後的局部區域原色特徵稱為規格化局部原色特徵時，其第k個要素yi，k如下式(51)所示。
(公式51)
yi,k=1i,k(xi,k-mi,k)---(51)]]>(公式52)mi,k=12Mj=-MM-1x(i+j),k---(52)]]>(公式53)2i,k=12Mj=-MM-1(x(i+j),k-mi,k)2---(53)]]>其中，式(52)中的x(i+j)，k表示向全部幀附加通用序號時的第(i+j)個幀的局部區域特徵的第k個要素。j是對設定的時間區間內的幀中的中心幀的相對序號，在設定的時間區間內包含2M個幀的情況下，為-M≤j≤M-1，j為整數。i為設定的時間區間的幀中、中心幀的通用序號(i≥M)，相當於j＝0時的通用序號。另外，mi，k是對-M≤j≤M-1的x(i+j)，k的平均值。式(53)中的σi，k為對-M≤j≤M-1的x(i+j)，k的標準偏差。
然後，使用由式(51)-(53)得到的多維矢量的時間系列的排列即1以上的幀，將通過按幀序號的上升順序排列由按k的上升順序排列各幀的要素的要素所構成的多維矢量所生成的多維矢量設為存儲規格化特徵(步驟W3)。
接著，存儲特徵面積選擇部56從存儲特徵計算部52讀入存儲特徵並進行輸入，或從存儲特徵規格化部54讀入存儲規格化特徵並進行輸入，就關於各要素的一定區段，使用上述式(52)和式(53)，求出存儲特徵的多維矢量的每個要素的標準偏差σi，k。同樣，也可通過從存儲特徵規格化部54將存儲規格化特徵與標準偏差讀入並輸入存儲特徵面積選擇部56來實現。這是因為由存儲特徵規格化部54算出的標準偏差、與根據從存儲特徵計算部52得到的存儲特徵算出的標準偏差為相同值。
然後，存儲特徵面積選擇部56如下式(54)所示，對每個要素yik乘以上述標準偏差σi，k，取其絕對值。
(公式54)zi，k＝|yi，k·σi，k| …(54)這裡，存儲特徵面積選擇部56從得到的各要素與標準偏差的乘法結果的統計量zik中，按一定區段單位，對每個要素選擇從最上位開始的多個矢量、例如上位兩個矢量(步驟W4)。
存儲特徵非線性量化部58對存儲面積選擇特徵的多維矢量的各要素執行上述芙諾以分割，根據基於特徵矢量與芙諾以邊界面所得到的距離，進行非線性量化計算(步驟W5)。
這裡，參照圖21來說明上述芙諾以分割。圖21表示非線性量化2維特徵矢量中的芙諾以邊界與其距離的情況。圖21中，Q1、Q2、Q3為芙諾以區域的原點(母點)。這些原點Q1、Q2、Q 3事先提供學習信號、使用公知的矢量量化法來確定。原點Q1、Q2、Q3各自被芙諾以多邊形包圍，設定芙諾以區域R1、R2、R3。
然後，確定該特徵矢量屬於芙諾以區域R1、R2、R3的哪個區域。接著，選擇接近該區域的芙諾以邊界(用實線表示)中、最近的芙諾以邊界。使用關於距選擇的芙諾以邊界的距離x的非線性函數f(x)，對與對f(x)的規定定義值對應的每個x值，分配1個代碼，進行量化。另外，圖21中，虛線表示非線性的分割線，點劃線是二等分兩個芙諾以邊界間的區域的超平面。作為非線性函數，例如使用下示的S形函數。
(公式55)f(x)=11+exp(-x)---(55)]]>例如圖21所示，非線性分割與芙諾以邊界的距離，分配各代碼A-U。此時，對於全部芙諾以分割區域中的細化的區域，設定代碼長度，以不分配相同的代碼。
另外，作為非線性函數，也可使用下示的分段直線函數。
(公式56)f(x)=x0.2(0x0.2)x-0.20.3+1.0(0.2x0.5)x-0.50.5+2.0(0.5x1.0)x+2.0(1.0x)---(56)]]>另外，在量化特徵矢量的情況下，也可標量量化各個要素。另外，也可使用將幾個要素一起設為矢量的量化法。
然後，存儲特徵非線性量化部58執行將由上述非線性量化計算得出的存儲非線性量化特徵直接發送給特徵對照部59、或暫時登錄到存儲非線性量化特徵資料庫510之一的處理。
在特徵對照部59實時比較存儲非線性量化特徵與目的非線性量化特徵的情況下，存儲特徵非線性量化部58向特徵對照部59輸出輸入的存儲信號的存儲非線性量化特徵。另外，在向存儲非線性量化特徵資料庫510登錄存儲信號的數據的情況下，存儲特徵非線性量化部58不向特徵對照部59發送存儲非線性量化特徵，而與例如廣告提供者名或節目名和電影的題目對應地向存儲非線性量化特徵資料庫510登錄存儲面積選擇特徵。
目的特徵計算部51讀入提供的目的信號並進行輸入(步驟W6)，對輸入的目的信號執行特徵抽取。
目的特徵計算部51在檢測的對象是音響信號的情況下，使用傅立葉變換的振幅分量，傅立葉變換例如以頻率8000Hz標本化的音響信號的1秒區間，將0-4000Hz等間隔分割為32個頻帶的區間，以每0.1秒抽取各區間內的振幅分量的平均功率構成的32維多維矢量，作為特徵矢量，設為目的特徵(步驟W7)。
在影像信號是檢測對象的情況下，根據目的的時間系列數據，例如將目的的1幀圖像橫向3等分、縱向3等分，共計分割成9個區域，對各個分割(區域)內的RGB各色象素，算出平均值。抽取如此得到的9個區域中的RGB各自的平均象素值構成的共計27維的矢量，作為特徵矢量，設為目的特徵(步驟W7)。此時，對每個幀得到所述特徵矢量。
然後，目的特徵規格化部53從目的特徵計算部51讀入目的特徵，對該目的特徵的特徵矢量的每個要素，計算求出規定的一定區段的平均值與標準偏差。
即，目的特徵規格化部53與存儲特徵規格化部54一樣，將由式(51)-(53)得到的多維矢量的時間系列的排列(由k表示的順序)設為目的規格化特徵(步驟W8)。
接著，目的特徵面積選擇部55從目的特徵計算部51讀入目的特徵並進行輸入，或從目的特徵規格化部53讀入目的規格化特徵並進行輸入，與存儲特徵面積選擇部56一樣，對每個要素乘以根據目的特徵的一定區段求出的標準偏差σi，k，將乘法結果設為統計量。同樣，也可通過從目的特徵規格化部53將目的規格化特徵與標準偏差讀入並輸入目的特徵面積選擇部55來實現。這是因為由目的特徵規格化部53算出的標準偏差、與根據由目的特徵計算部51得到的目的特徵算出的標準偏差為相同值。
這裡，目的特徵面積選擇部55從得到的各要素與標準偏差的乘法結果的統計量zi，k中，按一定區段單位，對每個要素，選擇從最上位起的多個矢量、例如上位2個矢量(步驟W9)。
目的特徵非線性量化部57對目的面積選擇特徵的多維矢量的各要素執行上述芙諾以分割，根據基於特徵矢量與芙諾以邊界面所得到的距離，進行非線性量化計算。然後，將通過所述非線性量化計算得到的目的非線性量化特徵輸出到特徵對照部59(步驟W10)。
特徵對照部59分別讀入由目的特徵非線性量化部57和存儲特徵非線性量化部58得到的目的非線性量化特徵和存儲非線性量化特徵。
另外，特徵對照部59在同時輸入目的信號和存儲信號、實時判定類似的情況以外，從存儲非線性量化特徵資料庫510中依次讀出進行比較的存儲非線性量化特徵，與目的非線性量化特徵進行比較。
此時，特徵對照部59對於存儲非線性量化特徵，將長度與由目的特徵非線性量化部57提供的目的非線性量化特徵相同的特徵矢量的排列設定為對照區間。
然後，特徵對照部59運算目的非線性量化特徵與上述對照區間的類似度。運算雙方特徵矢量間的加重平均距離，作為類似度(步驟W11)。
特徵對照部59從目的非線性量化特徵的特徵矢量的排列中，抽取多個部位的要素，並設為作為排列的要素的特徵矢量。例如，在設目的非線性量化特徵為15秒長度時，從該目的非線性量化特徵的特徵矢量排列中，以0.1秒為間隔抽取共計150部位的作為排列要素的特徵矢量。對各採樣，將頻帶分割成3個，所以將由這些矢量構成的(150×32)的4800維多維矢量設為特徵對照部59用於對照的目的矢量。
另外，與上述目的矢量一樣，特徵對照部59從存儲非線性量化特徵的數據開頭起，以15秒長度為單位，依次設定為對照區間，從特徵矢量的排列中，以0.1秒為間隔抽取共計150部位的特徵矢量，對各採樣，將頻帶分割成32份，所以將由這些矢量構成的(150×32)的4800維多維矢量設為特徵對照部59用於對照的存儲矢量。
此時，若特徵對照部59從目的非線性量化特徵的特徵矢量排列中，抽取多個部位的要素並設為目的矢量，則目的特徵非線性量化部57也可從面積選擇特徵中事先抽取作為排列的要素的特徵矢量，即以0.1秒為間隔抽取共計150部位，執行非線性量化，作為目的矢量，輸出到特徵對照部59。
特徵對照部59在事先提供加重平均距離的搜索閾值作為搜索結果的情況下，判定該搜索閾值與選擇的對照區間的加重平均距離(步驟W12)。
在步驟W12中，邊從存儲面積選擇特徵的開頭起依次偏移對照區間，邊計算上述目的非線性量化特徵與存儲非線性量化特徵的加重平均距離，與事先設定的搜索閾值進行比較處理，在對照處理至最後之後，若檢索到每個對照區間的加重平均距離比事先設定的搜索閾值低的存儲面積選擇特徵的對照區間的區域，則輸出該對照區間，作為搜索結果(步驟W13)。
如上所述，在本發明的實施方式中，根據存儲影像信號和目的影像信號，求出為由多維矢量構成的存儲特徵和目的特徵，規格化該多維矢量，進行要素選擇，進行非線性量化，算出非線性存儲量化特徵和非線性目的量化特徵，使用加重平均距離等，對照該非線性存儲量化特徵和非線性目的量化特徵。
另外，在上述實例中，在進行面積選擇之後，進行非線性量化，但也可如圖22中的流程圖所示，在進行非線性量化之後(步驟W5和步驟W10)，進行面積選擇(步驟W4和步驟W9)。
特徵對照部59所用的對照區間(時間窗或幀數)或與存儲特徵面積選擇部56或目的特徵面積選擇部55所用的時間區間、以及存儲特徵規格化部54或目的特徵規格化部53所用的時間區間獨立確定，即，未必使用一致的時間區間。
另外，特徵對照部59也可在事先提供加重平均距離的搜索閾值作為搜索結果的情況下，判定該搜索閾值與選擇的對照區間的加重平均距離，僅輸出低於該搜索閾值的區域。
另外，特徵對照部59也可在多個對照區間的加重平均距離低於搜索閾值的情況下，輸出加重平均距離的上位(從低的數值起)第L個以前的對照區間。
並且，特徵對照部59也可在沒有低於搜索閾值的對照區間的情況等下，通知表示沒有對應部位的信息，從存儲非線性量化特徵資料庫510中讀出新的存儲信號的存儲非線性量化特徵，繼續步驟W10以後的搜索處理，直到搜索具有上述搜索閾值以下的對照區間的存儲非線性量化特徵。
另外，也可將圖15中的目的特徵計算部51、目的特徵規格化部53、目的特徵面積選擇部55和目的特徵非線性量化部57安裝在各用戶終端(例如電腦)中，將具有存儲特徵計算部52、存儲特徵規格化部54、存儲特徵面積選擇部56、存儲特徵非線性量化部58、特徵對照部59和存儲非線性量化特徵資料庫510的信號檢索伺服器設置在執行配送的服務提供器中。
由此，構成為將用戶利用便攜電話等接收到的信號作為目的信號，生成至目的非線性量化特徵，經網際網路等向上述信號搜索伺服器發送該目的非線性量化特徵，請求搜索類似於該目的非線性量化特徵的存儲信號。此時，使計算存儲非線性量化特徵和目的非線性量化特徵時的一定區段的特徵矢量的排列長度等規定在信號檢測伺服器與終端中事先一致。
下面，示出應用上述信號檢測系統時的實施方式。本發明的搜索系統可用於使用在實際環境中收錄的有噪音或失真的片斷信號，搜索一致或類似的信號或進行信息檢索。例如，用戶利用便攜電話等便攜終端，接收在飲茶店作為BGM(Back Ground Music)播放的音樂、或在街頭的大型屏幕中播出的CM的音樂或影像，發送給信號檢索服務。信號檢索服務提供者從資料庫中檢索與該信號一致或類似的信息，收費或免費地將內容或關聯信息(例如曲名、演奏者名、節目、商品、音樂會信息、或主頁等)提供給用戶。
這裡，在檢索影像信號的情況下，期望當輸入影像信號時，由帶有錄音功能的終端裝置使帶攝影機的終端的取景器或屏幕與想拍攝的(目的信號的)幀一致後進行拍攝，或利用菜單動作或筆輸入等手動跟蹤來範圍指定拍攝中的動態圖像幀。
當實際上構造上述各實施方式中的檢索系統時，也可通過將實現各系統功能用的程序記錄在計算機可讀取的記錄介質中，使記錄在該記錄介質中的程序讀入計算機系統中，通過執行，進行信號檢測處理和對資料庫的存儲信號的存儲處理。設這裡所謂的「計算機系統」包含OS(Operating System)或外圍設備等硬體。另外，設「計算機系統」還包含具備主頁提供環境(或顯示環境)的WWW(World Wide Web)系統，另外，所謂「計算機可讀取的記錄介質」是指軟盤、磁光碟、ROM(ReadOnly Memory)、CD-ROM(Compact Disc Read On1y Memory)等可移動介質、內置於計算機中的硬碟等存儲裝置。另外，所謂「計算機可讀取的記錄介質」還包含在經網際網路等網絡或電話線路等通信線路發送程序時的、構成伺服器或客戶機的計算機內部的易失性存儲器(RAM)等、在一定時間保持程序的存儲器。
另外，上述程序也可從將該程序存儲在存儲裝置等中的計算機系統，經傳輸介質，或由傳輸介質中的載波傳輸到其它計算機。這裡，傳輸程序的「傳輸介質」是指網際網路等網絡(通信網)或電話線路等通信線路(通信線)等、具有傳輸信息的功能的介質。另外，上述程序也可用於實現所述功能的一部分。並且，也可以利用與已記錄在計算機系統中的程序的組合來實現所述功能的所謂差分文件(差分程序)。
另外，在上述各實施方式中，作為用戶取入音樂所用的捕獲器件，例如也可使用附帶於便攜電話或IC錄音機等便攜終端上的麥克風、連接於電腦上的麥克風、或來自電視或視頻等的線輸入。
另外，在例如上述第1實施方式中對用戶提供服務的方法中，有具備如下處理步驟的方法。
首先，利用便攜電話的聲音通話來發送接受用戶的指示的該便攜電話捕獲的聲音。然後，接收側執行關於從該便攜電話接收到的聲音數據的特徵抽取，再根據該抽取結果執行搜索。然後，接收側生成搜索結果的一覽信息，將該一覽信息發送給該便攜電話。
然後，該便攜電話接收該一覽信息，輸出到自身的顯示部進行顯示。用戶確認該便攜電話的顯示部，指示該便攜電話下載期望的音樂數據等。以後的處理也可與現有的音樂數據的下載等中的處理一樣。
另外，上述提供服務的方法中，用戶也可使用電腦來代替便攜電話。此時，也可在電腦上對聲音進行特徵抽取，並且，也可經網際網路發送特徵的抽取結果，由接收側進行搜索。
另外，在上述提供服務的方法中，也可在便攜終端上特徵抽取聲音，並且，也可由i模式(註冊商標)等數據包通信、撥號連接或無線LAN(Local Area Network)等手段發送特徵的抽取結果，由接收側進行搜索。
另外，就上述提供服務的方法而言，既可文件化聲音，還可利用HTTP(Hyper Text Transfer Protocol)或SMTP(Simple Mail TransferProtocol)等經網際網路發送，在接收側執行特徵抽取和搜索。
另外，在上述各實施方式中，作為用戶為了取入影像而使用的捕獲器件，例如也可使用附屬在便攜終端上的照相機、數位相機、連接於電腦上的網絡相機(web camera)、或來自電視或視頻等的影像輸入。
另外，在例如上述第3實施方式中對用戶提供服務的方法中，有具備如下處理步驟的方法。
首先，接受到用戶指示的便攜電話發送由自身的電視電話功能得到的影像。然後，接收側執行關於從該便攜電話接收到的影像數據的特徵抽取，再根據該抽取結果執行搜索。然後，接收側生成搜索結果的一覽信息，將該一覽信息發送給該便攜電話。
然後，該便攜電話接收該一覽信息，輸出到自身的顯示部進行顯示。用戶確認該便攜電話的顯示部，指示該便攜電話下載期望的影像數據等。以後的處理也可與現有的影像數據的下載等中的處理一樣。
另外，上述提供服務的方法中，用戶也可使用電腦來代替便攜電話。此時，也可在電腦上對影像進行特徵抽取，並且，也可經網際網路發送特徵的抽取結果，由接收側進行搜索。
另外，在上述提供服務的方法中，也可在便攜終端上特徵抽取影像，並且，也可由i模式(註冊商標)等數據包通信、撥號連接或無線LAN等手段發送特徵的抽取結果，由接收側進行搜索。
另外，就上述提供服務的方法而言，既可文件化影像，還可利用HTTP或SMTP等經網際網路發送，在接收側執行特徵抽取和搜索。
另外，在上述服務的提供方法中，便攜電話既可在聲音通話中利用聲音通知搜索結果，還可告知附帶信息。此時，利用HTTP或SMTP將從接收側發送的搜索結果發送給便攜電話，便攜電話利用文本來顯示搜索結果，告知用戶。並且，該附帶信息也可包含音樂或影像的藝術家名、標題、關聯的URL等。另外，上述附帶信息在檢索結果是CM的情況下，還包含該CM的商品信息等。另外，該便攜電話在檢索結果中存在關於由MPEG7等記述的作為檢索結果的內容的摘要信息或關聯信息的情況下，還顯示這些摘要信息或關聯信息。
本發明可在便攜終端接收在實際環境中播放的影像或CM，使用該接收到的影像信號(目的影像信號想搜索的影像)，從龐大的影像CM資料庫中檢索相同的影像或CM。
另外，本發明可在便攜終端接收在實際環境中播放的CM等影像信號或音樂等音響信號，使用該接收到的影像信號或音響信號(目的信號想搜索的影像信號或音響信號)，從存儲龐大的影像或音樂的信號信息的資料庫中，檢索相同的影像或音樂。
權利要求
1.一種信號檢測系統，從存儲信號中搜索出類似於目的信號的部分，其特徵在於，具有存儲特徵計算部，根據所述存儲信號，計算存儲特徵；目的特徵計算部，根據所述目的信號，計算目的特徵；以及特徵對照部，使用根據所述存儲特徵的規定統計量使所述存儲特徵簡併的矢量、以及根據所述目的特徵的規定統計量使所述目的特徵簡併的矢量，計算類似度。
2.一種信號檢測伺服器，從存儲信號中搜索出類似於從用戶終端輸入的目的信號的部分，其特徵在於，具有用戶信號輸入部，接收所述用戶終端得到的所述目的信號的目的特徵；存儲特徵計算部，根據所述存儲信號，計算存儲特徵；以及特徵對照部，使用根據所述存儲特徵的規定統計量使所述存儲特徵簡併的矢量、以及根據所述目的特徵的規定統計量使所述目的特徵簡併的矢量，計算類似度。
3.一種信號搜索方法，從存儲信號中搜索類似於目的信號的信號，其特徵在於，具有目的特徵計算步驟，根據目的信號，計算目的特徵；目的統計量計算步驟，根據所述目的特徵，計算目的統計量；以及特徵對照步驟，使用根據所述存儲特徵的規定統計量使所述存儲特徵簡併的矢量、以及根據所述目的特徵的規定統計量使所述目的特徵簡併的矢量，計算類似度。
4.一種信號搜索裝置，從存儲信號中搜索類似於目的信號的信號，其特徵在於，具有目的特徵計算單元，根據目的信號，計算目的特徵；目的統計量計算單元，根據所述目的特徵，計算目的統計量；存儲統計量計算單元，根據基於所述存儲信號的存儲特徵，計算存儲統計量；以及特徵對照單元，使用根據所述存儲特徵的規定統計量使所述存儲特徵簡併的矢量、以及根據所述目的特徵的規定統計量使所述目的特徵簡併的矢量，計算類似度。
5.根據權利要求1所述的音響信號檢測系統，其特徵在於該系統是作為所述信號檢測系統的音響信號檢測系統，從作為所述存儲信號的存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於所述目的信號即目的音響信號的部分，所述存儲特徵計算部根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的所述存儲特徵，所述目的特徵計算部根據所述目的音響信號的時間系列數據，計算由特徵矢量構成的所述目的特徵，所述音響信號檢測系統還具有存儲特徵面積選擇部，根據所述存儲特徵，計算規定的統計量，從該存儲特徵中選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的存儲面積選擇特徵；以及目的特徵面積選擇部，根據所述目的特徵，計算規定的統計量，從該目的特徵中選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的目的面積選擇特徵，所述特徵對照部在所述存儲面積選擇特徵中設定對照區間，計算所述目的面積選擇特徵和所述存儲面積選擇特徵中的該對照區間的彼此之間的類似度，對於所述存儲面積選擇特徵，使對照區間依次移動並重複執行，根據所述類似度，搜索與目的面積選擇特徵類似的存儲面積選擇特徵的區域。
6.根據權利要求5所述的音響信號檢測系統，其特徵在於所述目的特徵面積選擇部和存儲特徵面積選擇部根據周邊的特徵矢量，對每個要素計算平均值以作為所述面積選擇時的統計量，根據從各要素中減去該平均值所得的值來選擇特徵部位，計算出由持有該被選擇部位的要素實值的矢量構成的面積選擇特徵。
7.根據權利要求6所述的音響信號檢測系統，其特徵在於所述目的特徵面積選擇部和存儲特徵面積選擇部根據周邊的特徵矢量，對每個要素計算平均值以作為所述面積選擇時的統計量，選擇從各要素中減去該平均值所得的值的絕對值超過規定閾值的部位，使用由持有該被選擇部位的要素實值的矢量構成的面積選擇特徵。
8.根據權利要求6所述的音響信號檢測系統，其特徵在於在所述目的特徵面積選擇過程和所述存儲特徵面積選擇過程中，根據周邊的特徵矢量，對每個要素計算平均值以作為所述面積選擇時的統計量，選擇從各要素中減去該平均值所得的值的絕對值的上位一至多個要素，並使用由該選擇到的要素的矢量構成的面積選擇特徵。
9.根據權利要求5所述的音響信號檢測系統，其特徵在於，具有存儲特徵規格化部，根據所述存儲特徵、以及該存儲特徵的採樣時間附近的其它存儲特徵，計算規定的統計量，對存儲特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的存儲規格化特徵；以及目的特徵規格化部，根據所述目的特徵、以及該目的特徵的採樣時間附近的其它目的特徵，計算規定的統計量，對目的特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的目的規格化特徵。
10.根據權利要求5所述的音響信號檢測系統，其特徵在於所述音響信號檢測系統由用戶終端與信號檢測伺服器構成，所述用戶終端請求搜索類似於所述目的音響信號的所述存儲信號，所述信號檢測伺服器從所述存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於所述目的音響信號的部分，所述用戶終端具有所述目的特徵計算部與所述目的特徵面積選擇部，所述信號檢測伺服器具有所述存儲特徵計算部、所述存儲特徵面積選擇部、以及所述特徵對照部。
11.根據權利要求2所述的音響信號檢測伺服器，其特徵在於所述信號檢測伺服器是一種音響信號檢測伺服器，從作為所述存儲信號的存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於從所述用戶終端輸入的所述目的信號即目的音響信號的部分，所述用戶終端中，所述用戶信號輸入部具有目的特徵計算部，根據所述目的音響信號的時間系列數據，計算由特徵矢量構成的目的特徵；以及目的特徵面積選擇部，根據所述目的特徵，計算規定的統計量，從該目的特徵中，選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的、作為所述目的特徵的目的面積選擇特徵，所述存儲特徵計算部根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的所述存儲特徵，所述音響信號檢測伺服器還具有存儲特徵面積選擇部，根據所述存儲特徵，計算規定的統計量，從該存儲特徵中，選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的存儲面積選擇特徵，所述特徵對照部在所述存儲面積選擇特徵中設定對照區間，計算所述目的面積選擇特徵和所述存儲面積選擇特徵中的該對照區間的彼此之間的類似度，對於所述存儲面積選擇特徵，使對照區間依次移動並重複執行，根據所述類似度，搜索與目的面積選擇特徵類似的存儲面積選擇特徵的區域。
12.根據權利要求3所述的音響信號檢測方法，其特徵在於所述信號搜索方法是一種音響信號檢測方法，從作為所述存儲信號的存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於所述目的信號即目的音響信號的部分，在所述存儲特徵計算步驟中，根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的存儲特徵，在所述目的特徵計算步驟中，根據所述目的音響信號的時間系列數據，計算由特徵矢量構成的目的特徵，所述音響信號檢測方法還具有存儲特徵面積選擇步驟，根據所述存儲特徵計算規定的統計量，從該存儲特徵中，選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的存儲面積選擇特徵；以及目的特徵面積選擇步驟，根據所述目的特徵計算規定的統計量，從該目的特徵中，選擇其統計量超過規定閾值的要素，導出由該選擇到的要素的矢量構成的目的面積選擇特徵，在所述特徵對照步驟中，在所述存儲面積選擇特徵中設定對照區間，計算所述目的面積選擇特徵和所述存儲面積選擇特徵中的該對照區間的彼此之間的類似度，使所述存儲面積選擇特徵中的對照區間依次移動並重複執行，根據所述類似度，搜索與目的面積選擇特徵類似的存儲面積選擇特徵的區域。
13.根據權利要求1所述的音響信號檢測系統，其特徵在於該系統是作為所述信號檢測系統的音響信號檢測系統，從作為所述存儲信號的存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於所述目的信號即目的音響信號的部分，所述存儲特徵計算部根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的所述存儲特徵，所述目的特徵計算部根據所述目的音響信號的時間系列數據，計算由特徵矢量構成的所述目的特徵，所述音響信號檢測系統還具有存儲特徵規格化部，根據所述存儲特徵、以及該存儲特徵的採樣時間附近的其它存儲特徵，計算規定的統計量，對存儲特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的存儲規格化特徵；目的特徵規格化部，根據所述目的特徵、以及該目的特徵的採樣時間附近的其它目的特徵，計算規定的統計量，對目的特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的目的規格化特徵；存儲特徵量化部，根據所述存儲規格化特徵，導出由將量化得到的值設為要素的矢量構成的存儲量化特徵；以及目的特徵量化部，根據所述目的規格化特徵，導出由將量化得到的值設為要素的矢量構成的目的量化特徵，所述特徵對照部在所述存儲量化特徵中設定對照區間，計算所述目的量化特徵和所述存儲量化特徵中的該對照區間的彼此之間的類似度，對於所述存儲量化特徵，使對照區間依次移動並重複執行，根據所述類似度，搜索與目的量化特徵類似的存儲量化特徵的區域。
14.根據權利要求13所述的音響信號檢測系統，其特徵在於所述特徵矢量是將按每個規定間隔採樣的每個頻率的強度信息設為要素的矢量，所述統計量是對照區間中的特徵矢量的平均值和方差。
15.根據權利要求13所述的音響信號檢測系統，其特徵在於所述目的特徵量化部和所述存儲特徵量化部將二進位矢量作為量化特徵，該二進位矢量是利用規定閾值對所述規格化特徵的各要素進行標量量化而得到的。
16.根據權利要求13所述的音響信號檢測系統，其特徵在於所述目的特徵量化部和所述存儲特徵量化部將一矢量作為量化特徵，該矢量在要素中持有通過矢量量化所述規格化特徵的矢量要素中多個要素所得到的代碼。
17.根據權利要求13所述的音響信號檢測系統，其特徵在於所述音響信號檢測系統由用戶終端與信號檢測伺服器構成，所述用戶終端請求搜索類似於所述目的音響信號的存儲信號，所述信號檢測伺服器從所述存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於所述目的音響信號的部分，所述用戶終端具有所述目的特徵計算部、所述目的特徵規格化部、以及所述目的特徵量化部，所述信號檢測伺服器具有所述存儲特徵計算部、所述存儲特徵規格化部、所述存儲特徵量化部、以及所述特徵對照部。
18.一種使用權利要求2所述的音響信號檢測伺服器的音響信號檢測系統，其特徵在於作為所述信號檢測伺服器的音響信號檢測伺服器是如下的音響信號檢測伺服器，即從作為所述存儲信號的存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於從所述用戶終端輸入的所述目的信號即目的音響信號的部分，所述用戶終端具有目的特徵計算部，根據作為所述目的信號的目的音響信號的時間系列數據，計算由特徵矢量構成的所述目的特徵；目的特徵規格化部，根據所述目的特徵、以及該目的特徵的採樣時間附近的其它目的特徵，計算規定的統計量，對目的特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的目的規格化特徵；以及目的特徵量化部，根據所述目的規格化特徵，導出由將量化得到的值設為要素的矢量構成的目的量化特徵，所述存儲特徵計算部根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的所述存儲特徵，所述音響信號檢測伺服器還具有存儲特徵規格化部，根據所述存儲特徵、以及該存儲特徵的採樣時間附近的其它存儲特徵，計算規定的統計量，對存儲特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的存儲規格化特徵；以及存儲特徵量化部，根據所述存儲規格化特徵，導出由將量化得到的值設為要素的矢量構成的存儲量化特徵，所述特徵對照部在所述存儲量化特徵中設定對照區間，計算所述目的量化特徵和所述存儲量化特徵中的該對照區間的彼此之間的類似度，對於所述存儲量化特徵，使對照區間依次移動並重複執行，根據所述類似度，搜索與目的量化特徵類似的存儲量化特徵的區域。
19.根據權利要求3所述的音響信號檢測方法，其特徵在於所述信號搜索方法是一種音響信號檢測方法，從作為所述存儲信號的存儲音響信號中，搜索出長度比該存儲音響信號短乃至與其相同的、類似於所述目的信號即目的音響信號的部分，在所述存儲特徵計算步驟中，根據所述存儲音響信號的時間系列數據，計算由特徵矢量構成的所述存儲特徵，在所述目的特徵計算步驟中，根據所述目的音響信號的時間系列數據，計算由特徵矢量構成的所述目的特徵，所述音響信號檢測方法還具有存儲特徵規格化步驟，根據所述存儲特徵、以及該存儲特徵的採樣時間附近的其它存儲特徵，計算規定的統計量，對存儲特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的存儲規格化特徵；目的特徵規格化步驟，根據所述目的特徵、以及該目的特徵的採樣時間附近的其它目的特徵，計算規定的統計量，對目的特徵中的矢量的每個要素進行規格化，導出由將該規格化得到的數值設為要素的矢量構成的目的規格化特徵；存儲特徵量化步驟，根據所述存儲規格化特徵，導出由將量化得到的值設為要素的矢量構成的存儲量化特徵；以及目的特徵量化步驟，根據所述目的規格化特徵，導出由將量化得到的值設為要素的矢量構成的目的量化特徵，在所述特徵對照步驟中，在所述存儲量化特徵中設定對照區間，計算所述目的量化特徵和所述存儲量化特徵中的該對照區間的彼此之間的類似度，對於所述存儲量化特徵，使對照區間依次移動並重複執行，根據所述類似度，搜索與目的量化特徵類似的存儲量化特徵的區域。
20.根據權利要求4所述的影像信號搜索裝置，其特徵在於作為所述信號搜索裝置，從作為所述存儲信號的存儲影像信號中、搜索類似於所述目的信號即目的影像信號的信號的影像信號搜索裝置還具有目的特徵面積選擇單元，對所述目的統計量，利用規定閾值，進行閾值處理，選擇目的統計量，並算出目的面積選擇特徵，該目的面積選擇特徵由將選擇到的目的統計量設為要素的矢量或矩陣構成；以及存儲特徵面積選擇單元，對所述存儲統計量，利用規定閾值，進行閾值處理，選擇存儲統計量，並算出存儲面積選擇特徵，該存儲面積選擇特徵由將選擇到的存儲統計量設為要素的矢量或矩陣構成，所述特徵對照單元對所述存儲面積選擇特徵設定對照區間，計算對照區間中的所述存儲面積選擇特徵與所述目的面積選擇特徵的至少一部分的類似度，使對照區間依次移動並重複執行，計算出類似度。
21.根據權利要求20所述的影像信號搜索裝置，其特徵在於所述目的特徵面積選擇部和所述存儲特徵面積選擇部分別算出目的特徵和存儲特徵在第1規定時間區間中的平均值以作為統計量，選擇從所述要素中減去該平均值後的值的絕對值超過規定閾值的目的統計量和存儲統計量。
22.根據權利要求21所述的影像信號搜索裝置，其特徵在於所述目的特徵量算出單元和所述存儲統計量計算單元分別對目的特徵和存儲特徵的每個要素算出在第2規定時間區間中的平均值與標準偏差，並使用該平均值與標準偏差，對目的特徵和存儲特徵進行規格化，由此算出目的統計量和存儲統計量。
23.根據權利要求3所述的影像信號搜索方法，其特徵在於所述信號搜索方法是一種影像信號搜索方法，從作為所述存儲信號的存儲影像信號中，搜索類似於所述目的信號即目的影像信號的信號，該方法還具有目的特徵面積選擇步驟，對所述目的統計量，利用規定閾值進行閾值處理，選擇目的統計量，並算出目的面積選擇特徵，該目的面積選擇特徵由將選擇到的目的統計量設為要素的矢量或矩陣構成；存儲統計量計算步驟，根據存儲特徵來計算規定的存儲統計量；以及存儲特徵面積選擇步驟，對所述存儲統計量，利用規定閾值進行閾值處理，選擇存儲統計量，並算出存儲面積選擇特徵，該存儲面積選擇特徵由將選擇到的存儲統計量設為要素的矢量或矩陣構成，在所述特徵對照步驟中，對所述存儲面積選擇特徵設定對照區間，計算對照區間中所述存儲面積選擇特徵與所述目的面積選擇特徵的至少一部分的類似度。
24.一種影像信號搜索程序，用於使計算機作為權利要求20-22的任一項所述的影像信號搜索裝置來發揮作用。
25.一種計算機可讀取的記錄介質，記錄權利要求24所述的電腦程式。
26.根據權利要求4所述的影像信號搜索裝置，其特徵在於作為所述信號搜索裝置，從作為所述存儲信號的存儲影像信號中、搜索類似於所述目的信號即目的影像信號的信號的影像信號搜索裝置還具有目的特徵規格化單元，使用所述目的統計量與所述目的特徵，算出目的規格化特徵的要素；目的量化單元，使用規定閾值，量化所述目的規格化特徵的要素，求出目的量化特徵的要素，生成目的矢量；存儲特徵規格化單元，使用所述存儲統計量與所述存儲特徵，算出存儲規格化特徵的要素；以及存儲量化單元，使用規定閾值，量化所述存儲規格化特徵的要素，求出存儲量化特徵的要素，生成存儲矢量，所述特徵對照單元對所述存儲矢量設定對照區間，計算對照區間中所述存儲矢量的要素與所述目的矢量的至少一部分要素的類似度，使對照區間依次移動並重複執行，計算出類似度。
27.根據權利要求3所述的影像信號搜索方法，其特徵在於所述信號搜索方法是一種影像信號搜索方法，從作為所述存儲信號的存儲影像信號中，搜索類似於作為所述目的信號的目的影像信號的信號，該方法還具有目的特徵規格化步驟，使用所述目的統計量與所述目的特徵，算出目的規格化特徵的要素；目的量化步驟，使用規定閾值，量化所述目的規格化特徵的要素，求出目的量化特徵的要素，生成目的矢量；存儲統計量計算步驟，根據存儲特徵來計算存儲統計量；存儲特徵規格化步驟，使用所述存儲統計量與所述存儲特徵，算出存儲規格化特徵的要素；以及存儲量化步驟，使用規定閾值，量化所述存儲規格化特徵的要素，求出存儲量化特徵的要素，生成存儲矢量，在所述特徵對照步驟中，對所述存儲矢量設定對照區間，計算對照區間中所述存儲矢量的要素與所述目的矢量的至少一部分要素的類似度。
28.一種影像信號搜索程序，用於使計算機作為權利要求26所述的影像信號搜索裝置來發揮作用。
29.一種計算機可讀取的記錄介質，記錄權利要求28所述的影像信號搜索程序。
30.根據權利要求4所述的信號搜索裝置，其特徵在於所述信號搜索裝置還具有目的特徵規格化單元，使用所述目的統計量與所述目的特徵，算出目的規格化特徵的要素；目的面積選擇非線性量化單元，將所述目的規格化特徵的要素設為輸入，求出被選擇的目的非線性量化特徵的要素，生成目的矢量；存儲特徵規格化單元，使用所述存儲統計量與所述存儲特徵，算出存儲規格化特徵的要素；以及存儲面積選擇非線性量化單元，將所述存儲規格化特徵的要素設為輸入，求出被選擇的存儲非線性量化特徵的要素，生成存儲矢量，所述特徵對照單元對所述存儲矢量設定對照區間，計算對照區間中所述存儲矢量的要素與所述目的矢量的至少一部分要素的類似度，使對照區間依次移動並重複執行，計算出類似度。
31.根據權利要求30所述的信號搜索裝置，其特徵在於所述目的面積選擇非線性量化單元和所述存儲面積選擇非線性量化單元對多維矢量進行芙諾以分割，對與特徵矢量所屬的芙諾以邊界面的距離進行非線性量化。
32.根據權利要求30所述的信號搜索裝置，其特徵在於所述目的面積選擇非線性量化單元由目的特徵面積選擇單元與對特徵矢量進行非線性量化的目的特徵非線性量化單元構成，所述目的特徵面積選擇單元選擇統計量超過規定閾值的要素，導出由選擇到的要素的多維矢量構成的目的面積選擇特徵。
33.根據權利要求30所述的信號搜索裝置，其特徵在於所述存儲面積選擇量化單元由存儲特徵面積選擇單元與對特徵矢量進行非線性量化的存儲特徵非線性量化單元構成，所述存儲特徵面積選擇單元選擇統計量超過規定閾值的要素，導出由選擇到的要素的多維矢量構成的存儲面積選擇特徵。
34.根據權利要求3所述的信號搜索方法，其特徵在於所述信號搜索方法還具有目的特徵規格化步驟，使用所述目的統計量與所述目的特徵，算出目的規格化特徵的要素；目的面積選擇非線性量化步驟，將所述目的規格化特徵的要素設為輸入，求出被選擇的目的非線性量化特徵的要素，生成目的矢量；存儲統計量計算步驟，根據存儲特徵，計算存儲統計量；存儲特徵規格化步驟，使用所述存儲統計量與所述存儲特徵，算出存儲規格化特徵的要素；以及存儲面積選擇非線性量化步驟，將所述存儲規格化特徵的要素設為輸入，求出被選擇的存儲非線性量化特徵的要素，生成存儲矢量，對所述存儲矢量設定對照區間，計算對照區間中所述存儲矢量的要素與所述目的矢量的至少一部分要素的類似度。
35.一種信號搜索程序，用於使計算機作為權利要求30-33的任一項所述的信號搜索裝置來發揮作用。
36.一種計算機可讀取的記錄介質，記錄權利要求35所述的信號搜索程序。
全文摘要
本發明的音響信號檢測系統從存儲音響信號中，搜索出類似於目的音響信號的部分，其中，具有存儲特徵計算部，根據存儲音響信號的時間系列數據，計算存儲特徵；目的特徵計算部，根據目的音響信號的時間系列數據，計算目的特徵；存儲特徵面積選擇部，從存儲特徵中，選擇存儲特徵的統計量超過閾值的要素，導出由選擇的要素構成的存儲面積選擇特徵；目的特徵面積選擇部，從目的特徵中選擇目的特徵的統計量超過閾值的要素，導出由選擇的要素構成的目的面積選擇特徵；以及特徵對照部，對存儲面積選擇特徵設定對照區間，計算目的和存儲面積選擇特徵中對照區間的彼此之間的類似度。
文檔編號G10L11/00GK1898720SQ20058000135
公開日2007年1月17日 申請日期2005年7月8日 優先權日2004年7月9日
發明者黑住隆行, 永野秀尚, 柏野邦夫 申請人:日本電信電話株式會社