圖像檢索裝置及方法、程序和程序記錄介質的製作方法
2023-04-25 22:50:21
專利名稱：圖像檢索裝置及方法、程序和程序記錄介質的製作方法
技術領域：
本發明涉及一種用於從通過壓縮編碼多個幀形成的經過編碼的碼流中檢索與特定幀大致一致的幀的圖像檢索裝置及方法，以及一種程序和程序記錄介質。
背景技術：
為了檢索視頻內容或者管理網絡內容，例如，過去一直需要一種用於以特定幀的圖像作為檢索查詢條件(query)，從未知視頻內容中檢索與特定幀大致一致的幀的技術。例如，日本專利申請公開第2004-45565號提出了一種技術，用於通過從每個瞬時幀的視頻內容中提取特徵值來確定特徵向量，並將該特徵向量與參考圖像的特徵向量進行比較，來從視頻內容中檢索與特定幀大致一致的幀。
發明內容
目前，例如數位相機和可攜式攝像機的成像裝置已經越來越流行，並且圖像數位化技術也相應地展現出快速的革新。即便例如電影、TV節目等的長時間視頻內容也可以用JPEG(Joint PhotographicExperts Group，聯合圖像專家組)、MPEG(Moving Picture ExpertsGroup，運動圖像專家組)、或者JPEG 2000中定義的圖像壓縮技術通過對其壓縮編碼而很容易地記錄到硬碟等中。
因此，可以預料，將越來越需要從壓縮編碼的視頻中檢索與特定幀大致一致的幀。然而，即便採用上述日本專利申請公開第2004-45565號等公開的傳統技術，由於需要在檢索之前對經過編碼的碼流進行解碼，因此整個檢索過程的計算量將很大。
因此，期望通過提供一種無需將經過編碼的碼流解碼為其原始形式就能夠從經過編碼的碼流中檢索與特定幀大致一致的幀的圖像檢索裝置及方法、一種程序、以及一種程序記錄介質來克服相關技術的上述缺點。
根據本發明，提供了一種從通過多個幀的壓縮編碼形成的對象編碼碼流(object encoded code stream)中檢索與特定幀大致一致的幀的圖像檢索裝置，該裝置包括解碼裝置，用於對對象編碼碼流進行熵解碼來生成每一幀的量化係數；匹配裝置，用於對特定幀的量化係數和由解碼裝置生成並與特定幀的量化係數在採樣位置上相對應的每一幀的量化係數之間進行匹配；以及判斷裝置，用於基於匹配結果，判斷該幀是否與特定幀大致一致。
上述圖像檢索裝置中的匹配裝置對採樣位置彼此對應的量化係數之間進行符號(正或負)上的順序匹配。
根據本發明的上述圖像檢索裝置進一步包括去量化裝置，用於對由解碼裝置生成的每一幀的量化係數進行去量化，以提供每一幀的變換係數。在這種情況下，匹配裝置對特定幀的變換係數和由去量化裝置生成並與特定幀的變換係數在採樣位置上相對應的每一幀的變換係數之間進行符號(正或負)上的匹配。
同樣，每當出現量化係數與特定幀的量化係數在符號上不匹配的幀時，上述圖像檢索裝置中的判斷裝置增加計數器的計數值，並且如果當某一幀的所有量化係數與特定幀的量化係數的匹配結束時的計數值小於預定閾值，則判定該幀與特定幀大致一致。
根據本發明，還提供了一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索大致與特定幀一致的幀的圖像檢索方法，該方法包括以下步驟對對象編碼碼流進行熵解碼，以生成每一幀的量化係數；對特定幀的量化係數和在解碼步驟中生成並與特定幀的量化係數在採樣位置上相對應的每一幀的量化係數之間進行匹配；以及基於匹配結果，判斷該幀是否與特定幀大致一致。
根據本發明，還提供了一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，該裝置包括量化或變換係數獲取裝置，用於獲取當生成對象編碼碼流時算出的每一幀的量化或變換係數以及特定幀的量化或變換係數；匹配裝置，用於對特定幀的量化或變換係數和由量化或變換係數獲取裝置生成並與特定幀的量化或變換係數在採樣位置上相對應的的每一幀的量化或變換係數之間進行匹配；以及判斷裝置，用於基於匹配結果，判斷每一幀是否與特定幀大致一致。
根據本發明，還提供了一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索方法，該方法包括以下步驟獲取當生成對象編碼碼流時算出的每一幀的量化或變換係數和特定幀的量化或變換係數；對特定幀的量化或變換係數和在量化或變換係數獲取步驟中生成並與特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數之間進行匹配；以及基於匹配結果，判斷每一幀是否與特定幀大致一致。
根據本發明，還提供了一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，該裝置包括第一記錄裝置，用於將當對特定幀進行編碼時算出的特定幀的量化或變換係數與特定幀一起記錄到記錄介質；第二記錄裝置，用於將當檢索對象編碼碼流時算出的每一幀的量化或變換係數與對象編碼碼流一起記錄到記錄介質；量化或變換係數獲取裝置，用於從記錄介質獲取每一幀的量化或變換係數以及特定幀的量化或變換係數；匹配裝置，用於對特定幀的量化或變換係數和由量化或變換係數獲取裝置生成並與特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數之間進行匹配；
判斷裝置，用於基於匹配結果，判斷每一幀是否與特定幀大致一致；解碼裝置，用於對由判斷裝置判定與特定幀大致一致的幀進行解碼；以及輸出裝置，用於將由解碼裝置解碼的幀輸出到顯示裝置。
根據本發明，還提供了一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索方法，該方法包括第一記錄步驟，將當對特定幀進行編碼時算出的特定幀的量化或變換係數與特定幀一起記錄到記錄介質；第二記錄步驟，將當檢索對象編碼碼流時算出的每一幀的量化或變換係數與對象編碼碼流一起記錄到記錄介質；量化或變換係數獲取步驟，從記錄介質獲取每一幀的量化或變換係數以及特定幀的量化或變換係數；匹配步驟，對特定幀的量化或變換係數和在量化或變換係數獲取步驟中生成並與特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數之間進行匹配；判斷步驟，基於匹配結果，判斷每一幀是否與特定幀大致一致；解碼步驟，對在判斷步驟中判定與特定幀大致一致的幀進行解碼；以及輸出步驟，將在解碼步驟中解碼的幀輸出到顯示裝置。
根據本發明，還提供了一種允許計算機執行上述圖像檢索操作的程序、以及一種記錄了該程序並可由計算機讀取的記錄介質。
藉助於根據本發明的圖像檢索裝置及方法、程序和程序記錄介質，同通過將經過編碼的碼流解碼為其原始形式的傳統圖像檢索所需的計算量相比，可以顯著降低整個圖像檢索過程所需的計算量，這是因為通過對特定幀的量化或變換係數和與特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數之間在符號(正或負)上進行匹配，並基於匹配結果，判斷每一幀是否與特定幀大致一致，來從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀。特別地，由於量化或變換係數之間的匹配僅僅在符號(正或負)上進行而不用考慮其絕對值，因此可以不依賴於對象編碼碼流被壓縮的比率而進行檢索。
圖1是作為本發明第一實施例的圖像檢索裝置的示意性框圖；圖2示出了在匹配單元中實行的匹配的例子；圖3示出了由圖1中的圖像檢索裝置執行的操作的流程；圖4是作為本發明第二實施例的圖像檢索裝置的示意性框圖；圖5是作為本發明第三實施例的圖像檢索裝置的示意性框圖，其中，匹配在某一幀的量化係數和特定幀的量化係數之間進行；圖6是作為本發明第三實施例的圖像檢索裝置的示意性框圖，其中，匹配在某一幀的變換係數和特定幀的變換係數之間進行；
圖7是作為本發明第四實施例的圖像檢索裝置的示意性框圖，其中，特定幀僅僅存在於原始圖像中，並且匹配在某一幀的量化係數和特定幀的量化係數之間進行；圖8是作為本發明第四實施例的圖像檢索裝置的示意性框圖，其中，特定幀僅僅存在於原始圖像中，並且匹配在某一幀的變換係數和特定幀的變換係數之間進行；圖9是在作為本發明第五實施例的圖像檢索裝置中採用的符合JPEG的圖像編解碼器的示意圖；圖10解釋了JPEG中定義的量化和去量化；圖11是在作為本發明第六實施例的圖像檢索裝置中採用的符合JPEG 2000的圖像編解碼器的示意圖；圖12解釋了當圖像經過三次小波變換後的子帶；圖13解釋了當測試圖像經過小波變換後的子帶；圖14示出了JPEG 2000中的子帶、碼塊(code block)、和比特平面(bit plane)之間的關係；圖15示出了作為本發明第七實施例的圖像檢索裝置中的HL-1子帶中的係數之間的匹配的例子；圖16示出了當對每個子帶中的係數之間進行匹配時選擇子帶的順序；圖17示出了在每一子帶中的某一幀的量化係數和特定幀的量化係數之間進行匹配時，由圖像檢索裝置執行的操作的流程；
圖18示出了在出現幀的即使一個量化係數與特定幀的量化係數在符號(正或負)上不一致即轉移到下一對象幀時，由圖像檢索裝置執行的操作的流程；圖19示出了在結束對所包含的預定碼塊的量化係數之間的匹配並且無需進一步匹配、以及在出現幀的即使一個量化係數與特定幀的相應量化係數在符號(正或負)上不一致即轉移到下一幀時，由圖像檢索裝置執行的操作的流程；圖20示出了由符合JPEG 2000的壓縮編碼實際形成的經過編碼的碼流中的第一碼塊的識別結果，其中，在某一幀的係數和特定幀的係數之間發現不一致。
圖21示出了在對每個碼塊進行熵解碼以及並行匹配、以及在出現幀的即使一個量化係數與特定幀的相應量化係數在符號(正或負)上不一致即轉移到下一對象幀時，由作為本發明第八實施例的圖像檢索裝置執行的操作的流程；圖22示出了在結束對所包含的預定碼塊的量化係數之間的匹配並且無需進一步匹配、以及在出現幀的即使一個量化係數與特定幀的相應量化係數在符號(正或負)上不一致即轉移到下一對象幀時，由作為本發明第八實施例的圖像檢索裝置執行的操作的流程；圖23是作為本發明第九實施例的圖像檢索裝置的示意性框圖；圖24是作為本發明第十實施例的圖像檢索裝置的示意性框圖，其中，已經存在特定幀的經過編碼的碼流和量化係數；圖25是作為第十實施例變型的圖像檢索裝置的示意性框圖，其中，既存在特定幀的經過編碼的碼流和量化係數，又存在對象幀的經過編碼的碼流和量化係數；
圖26是作為本發明第十一實施例的圖像檢索裝置的示意性框圖，其中，使用了一個特定幀；以及圖27是作為第十一實施例的變型的圖像檢索裝置的示意性框圖，其中，使用了兩個特定幀。
具體實施例方式
下面將參考附圖就本發明的實施例詳細地描述本發明。
第一優選實施例現在參照圖1，作為本發明第一實施例的圖像檢索裝置以框圖的形式示意性地示出。如圖1所示，作為第一實施例的圖像檢索裝置，通常用參考數字1表示，包括熵解碼器10和11、匹配單元12、和判斷單元13。
在圖像檢索裝置1中，熵解碼器10根據預定算法對作為檢索查詢對象的特定幀的經過編碼的碼流D100進行熵解碼，並將該特定幀的量化係數D101提供給匹配單元12。另一方面，熵解碼器11根據預定算法對通過多個幀圖像的壓縮編碼形成的經過編碼的碼流(每一幀的經過編碼的碼流的集合)中的對象幀的經過編碼的碼流D102進行熵解碼，並將該對象幀的量化係數D103提供給匹配單元12。應當注意，在已經存在特定幀的量化係數D101的情況下，可以省略熵解碼器10的操作。
匹配單元12在特定幀的量化係數D101和與特定幀採取相同採樣位置的對象幀的量化係數D103之間進行符號(正或負)上的匹配，並將匹配結果D104提供給判斷單元13。圖2示出了每一個均包括共16個採樣(每行和每列均有4個採樣)的幀之間匹配的例子。在圖2中，箭頭a和d表示絕對值彼此不同但是符號(正或負)彼此一致的採樣。
判斷單元13基於從匹配單元12提供的匹配結果D104，判斷對象幀和特定幀是否大致彼此一致。具體來說，每次出現符號(正或負)彼此不一致的採樣時，計數器的計數值加一。如果所有採樣的匹配完成之後計數值為零(0)，即，如果發現所有採樣的量化係數在符號(正或負)上彼此一致，則可以判定對象幀和特定幀彼此大致一致，並將判斷結果D105提供到外部。
圖3示出了圖像檢索裝置1的操作的流程。首先在步驟S1中，圖像檢索裝置1對特定幀的經過編碼的碼流D100和對象幀的經過編碼的碼流D102進行熵解碼，以提供特定幀的量化係數D101和對象幀的量化係數D103。
接下來在步驟S2中，圖像檢索裝置1對採樣位置彼此對應的特定幀的量化係數D101和對象幀的量化係數D103之間進行符號(正或負)上的匹配，以判斷量化係數D101和D103的符號是否彼此一致。如果符號彼此一致，則圖像檢索裝置1進入步驟S4。如果符號彼此不一致，則圖像檢索裝置1在步驟S3中將計數器的計數值加一，然後進入到步驟S4。應當注意，如果任意一個量化係數為零(0)，例如，如圖2中b和c所示，則圖像檢索裝置1理想地應當跳過匹配過程。
接下來在步驟S4中，圖像檢索裝置1判斷是否對所有的採樣都完成了匹配。如果判斷出匹配尚未結束，則圖像檢索裝置1在步驟S5中轉移到下一採樣，然後返回到步驟S2。相反地，如果判斷出匹配已經結束，則圖像檢索裝置1進入到步驟S6。
在步驟S6中，圖像檢索裝置1判斷計數值是否為0。如果計數值不為0，則圖像檢索裝置1判定對象幀與特定幀不一致，並進入到步驟S7，向其提供下一對象幀的經過編碼的碼流。然後，進入步驟S8，將計數值復位到0，並從步驟S1開始重複上述過程。相反地，如果計數值為0，則對象幀與特定幀對於所有的採樣來說都一致。因此，圖像檢索裝置1進入步驟S9，判定對象幀與特定幀大致一致，並退出檢索操作。
注意，儘管上面參照圖3中的流程圖描述了對每個幀的所有採樣進行匹配，但是為了降低檢索過程所需的時間，也可以在計數值大於預定閾值時判定對象幀與特定幀不一致，然後轉移到下一對象幀。尤其是，在只有當對所有採樣結束匹配之後計數值為0才判定對象幀與特定幀大致一致的情況下，計數值變為一(1)即轉移到下一對象幀有可能會減少檢索過程所需的時間。
同樣，上面還描述了僅在當對所有採樣結束匹配之後計數值為0時判定對象幀與特定幀大致一致。然而，圖像檢索裝置也可以適應於當對所有採樣結束匹配之後計數值小於預定閾值時判定對象幀與特定幀大致一致。在這種情況下，有可能會出現多個候選幀，但這樣可以防止檢索過程中的任何失敗。
由於圖像檢索裝置1通過如上述在採樣位置上彼此對應的幀的量化係數之間進行匹配來檢索與特定幀圖像大致一致的幀圖像，因此與在將幀解碼為原始幀圖像之後進行的傳統幀檢索相比，可以顯著降低整個檢索過程的計算量。特別地，由於量化係數之間的匹配僅在符號(正或負)上進行而不考慮其絕對值，因此即使在特定幀的經過編碼的碼流D100與對象幀的經過編碼的碼流D102的壓縮比率不同的情況下，也可以進行檢索。
第二實施例圖4示出了作為本發明第二實施例的圖像檢索裝置，通常用參考數字2表示。圖像檢索裝置2的基本結構與圖1所示的圖像檢索裝置1類似，除了其進一步包括用於對採樣位置上彼此對應的某一幀和特定幀的變換係數之間在符號(正或負)上進行匹配的去量化器14和15。因此，圖像檢索裝置2的與圖1中的圖像檢索裝置1的元件相同的元件用相同的參考數字表示，並且將不再詳細描述。
在圖像檢索裝置2中，去量化器14對特定幀的量化係數D101去量化，以提供特定幀的變換係數D106，並將變換係數D106提供給匹配單元12。另一方面，去量化器15對對象幀的量化係數D103去量化，以將所獲得的對象幀的變換係數D107提供到匹配單元12。匹配單元12對採樣位置彼此對應的特定幀的變換係數D106和對象幀的變換係數D107之間在符號(正或負)上進行匹配，並將匹配結果D104提供到判斷單元13。應當注意，該第二實施例中採取的匹配技術與第一實施例中採用的類似。判斷單元13基於從匹配單元12提供的匹配結果D104來判斷對象幀是否與特定幀大致一致。
由於圖像檢索裝置2通過如上所述對採樣位置彼此對應的幀的變換係數之間進行匹配來檢索與特定幀圖像大致一致的幀圖像，因此，同在將幀解碼為原始幀圖像之後進行的傳統幀檢索相比，可以顯著減小整個檢索過程的計算量。特別地，由於量化係數之間的匹配僅在符號(正或負)上進行而不用考慮其絕對值，因此即使在特定幀的經過編碼的碼流D100與對象幀的經過編碼的碼流D102的壓縮比率不同的情況下，也可以進行檢索。
注意，因為需要用到去量化器14和15，因此第二實施例中的整個檢索過程所需的計算量比第一實施例中的長，但是如果已有特定幀的變換係數D106，則第二實施例更實用。
第三實施例在上文中，已經描述了判斷單元13的判斷結果被提供到外部的第一和第二實施例。在這些實施例之後，將對第三和第四實施例進行說明和描述，在這些實施例中，為了對幀進行可視檢查，特定幀的圖像和判定為與特定幀大致一致的幀的圖像被分別顯示在顯示單元上。圖5是作為第三實施例的圖像檢索裝置的示意性框圖，通常用參考數字3表示，其中，匹配在採樣位置彼此對應的量化係數之間進行，圖6也是作為第三實施例的圖像檢索裝置的示意性框圖，通常用參考數字4表示，其中，匹配在採樣位置彼此對應的變換係數之間進行。應當注意，這些圖像檢索裝置3和4的分別與在圖1和圖4示出的圖像檢索裝置1和2的元件相同的元件用相同的參考數字表示，並且將不再詳細描述。
首先，將說明和解釋圖像檢索裝置3。
在圖像檢索裝置3中，熵解碼器10根據預定算法對特定幀的經過編碼的碼流D100進行熵解碼，以提供量化係數D101，並將量化係數D101提供給匹配單元12和去量化器16。另一方面，熵解碼器11根據預定算法對對象幀的經過編碼的碼流D102進行熵解碼，以提供對象幀的量化係數D103，並將量化係數D103提供給匹配單元12和去量化器16。
匹配單元12對採樣位置彼此對應的特定幀的量化係數D101和對象幀的量化係數D103之間進行符號(正或負)上的匹配，並將匹配結果D104提供給判斷單元13。判斷單元13基於從匹配單元12提供的匹配結果D104，來判斷對象幀和特定幀是否彼此大致一致。如果判斷出對象幀和特定幀彼此大致一致，即，如果判定在所有採樣上，特定幀的量化係數D101在符號上與在採樣位置上與特定幀的量化係數D101相對應的對象幀的量化係數D103一致，則判斷結果D105被提供給去量化器16。
當從判斷單元13提供對象幀和特定幀彼此大致一致的判斷結果D105時，去量化器16對特定幀的量化係數D101和對象幀的量化係數D103進行去量化，以提供特定幀的變換係數D106和對象幀的變換係數D107，並將變換係數D106和D107提供給逆變換器17。逆變換器17對特定幀的變換係數D106和對象幀的變換係數D107進行逆變換，以提供特定幀的解碼圖像D108和對象幀的解碼圖像D109，並將解碼圖像D108和D109分別顯示在顯示單元18和19上。
接下來，將說明和解釋圖像檢索裝置4。
在圖像檢索裝置4中，去量化器14對特定幀的量化係數D101進行去量化，以提供特定幀的變換係數D106，並將變換係數D106提供給匹配單元12和逆變換器17。另一方面，去量化器15對對象幀的量化係數D103進行去量化，以提供對象幀的變換係數D107，並將變換係數D107提供給匹配單元12和逆變換器17。
匹配單元12對採樣位置彼此對應的特定幀的變換係數D106和對象幀的變換係數D107之間進行符號(正或負)上的匹配，並將匹配結果D104提供給判斷單元13。判斷單元13基於從匹配單元12提供的匹配結果D104，判斷對象幀和特定幀是否彼此大致一致。如果判定對象幀和特定幀彼此大致一致，即，如果判定在所有採樣上，特定幀的變換係數D106在符號上與在採樣位置上與特定幀的變換係數D106相對應的對象幀的變換係數D107一致，則將判斷結果D105提供給逆變換器17。逆變換器17對特定幀的變換係數D106和對象幀的變換係數D107進行逆變換，以提供特定幀的解碼圖像D108和對象幀的解碼圖像D109，並將解碼圖像D108和D109分別顯示在顯示單元18和19上。
在圖像檢索裝置3和4中，如上所述，由於特定幀圖像和判定為與特定幀圖像大致一致的幀圖像被分別顯示在顯示單元18和19上，因此實際上可以從視覺上檢查特定幀和對象幀是否彼此一致。
在第三和第四實施例中，只有當對所有採樣的匹配完成之後計數值為零(0)時被判定為與特定幀圖像大致一致的幀圖像被顯示在顯示單元18和19上。然而，可以改裝圖像檢索裝置3和4，使得如果不存在計數值為0的幀，則計數值為最小值的幀被顯示在顯示單元18和19上。
第四實施例在前面提到的第一和第二實施例中，特定幀的經過編碼的碼流D100是已知的。下面將說明特定幀僅以原始圖像形式存在的第四實施例。
圖7是通常用參考數字5表示的圖像檢索裝置的示意性框圖，其中，與第一實施例中一樣，匹配是在採樣位置彼此對應的量化係數之間進行。在該圖像檢索裝置5中，變換器20根據預定算法對特定幀圖像D110進行變換以提供變換係數D111，並且將變換係數D111提供給量化器21。量化器21對特定幀的變換係數D111進行量化以提供量化係數D112，並將量化係數D112提供給匹配單元12。應當注意，後續操作與第一實施例中的操作類似，將不再解釋。
圖8是通常用參考數字6表示的圖像檢索裝置的示意性框圖，其中，與第二實施例中一樣，匹配是在採樣位置彼此對應的變換係數之間進行的。在圖像檢索裝置6中，變換器20根據預定算法對特定幀圖像D110進行變換以提供變換係數D111，並將變換係數D111提供給匹配單元12。應當注意，後續操作與第二實施例中的操作類似，將不再解釋。
如上所述，即使特定幀僅以原始圖像形式存在，作為第四實施例的圖像檢索裝置5和6也可以用較小的計算量檢索與特定幀圖像大致一致的幀圖像。
第五實施例注意，在第一到第四實施例的上面的描述中，並未詳細描述熵解碼器10和11、去量化器14～16、逆變換器17、變換器20、和量化器21的算法。這裡將說明和解釋採用JPEG作為圖像壓縮技術的本發明的第五實施例。目前，JPEG是在數位相機和可攜式攝像機中使用來壓縮靜止圖像的最普遍的圖像壓縮技術。
圖9是根據JPEG對輸入圖像信號進行編碼和解碼的、作為第五實施例的圖像編解碼器(編碼器/解碼器)的示意性框圖。在本文中描述該圖像編解碼器作為參考。如圖9所示，通常用參考數字30表示的圖像編解碼器包括DCT(離散餘弦變換)變換器(下文中將稱為「DCT變換器」)31、量化器32、熵編碼器33、熵解碼器34、去量化器35、以及逆DCT變換器(下文中將稱為「逆DCT變換器」)36。
在圖像編解碼器30中，DCT變換器31被提供圖像信號D200，並對輸入圖像信號D200進行離散餘弦變換(DCT)，以生成DCT係數D201。利用矩陣形的量化表，量化器32對DCT係數D201進行量化以生成量化係數D202。該量化過程(以及稍後將進一步描述的去量化)在圖10中示出。根據JPEG標準，因為以8×8個像素(8個垂直像素×8個水平像素)為單位進行DCT，因此可以確定如圖10所示的8×8個DCT係數(A)。之後，這些DCT係數(A)除以存儲並保持在ROM(只讀存儲器)等(未顯示)中的量化表(B)來計算量化係數(C＝A/B)。熵編碼器33對量化係數D202進行編碼以生成經過編碼的碼流D203，並將經過編碼的碼流D203發送到信道/記錄介質。這裡應當注意，熵編碼器33參照變長表進行變長編碼，以確定對應於出現的量化係數的遊和程(run and level)的編碼。通常，變長表為存儲在存儲器中的預定表格。
熵解碼器34對從信道/記錄介質發送的經過編碼的碼流D203進行解碼，以生成量化係數D204。這裡應當注意，熵解碼器34進行與熵編碼器33的操作相反的變長解碼。即，熵解碼器34參考變長表確定對應於出現的編碼的遊和長(run and length)，以生成量化係數D204。如圖10所示，去量化器35藉助於使用前面提到的量化表對量化係數D204進行去量化，以生成變換係數D205。如圖10所示，量化係數(C)中的每個係數均乘以量化表(B)中的對應係數，以計算去量化係數(D＝C×B)。逆DCT變換器36對變換係數D205進行逆DCT，以提供經過解碼的圖像信號D206，並將此信號提供到外部。
在使用JPEG作為圖像壓縮技術的情況下，則前面提到的熵解碼器10和11相當於參考變長表來確定對應於出現的編碼的遊和程的熵解碼器34。同樣，去量化器14～16以及量化器21分別相當於均使用量化表的去量化器35和量化器32。同樣，逆變換器17和變換器20分別相當於進行逆DCT的逆DCT變換器36和進行DCT的DCT變換器31。因此，前面提到的匹配單元12將對採樣位置彼此對應的量化係數之間或者採樣位置彼此對應的DCT係數之間進行匹配。
第六實施例在上文中，已經描述了使用JPEG作為圖像壓縮技術的第五實施例。這裡將說明和解釋使用JPEG 2000作為圖像壓縮技術的第六實施例。JPEG 2000是由ISO/IEC/JTC1國際委員會標準化的國際標準靜止圖像/活動圖像壓縮技術，並且預計將逐漸地普及取代JPEG。
圖11是根據JPEG 2000對輸入圖像信號進行編碼和解碼的圖像編解碼器的示意性框圖。在本文中示出該圖像編解碼器作為參考。如圖11所示，通常用參考數字40表示的圖像編解碼器包括DWT(離散小波變換)變換器41、標量量化器(scalar quantizer)42、EBCOT(基於優化截斷的嵌入式塊編碼)編碼器43、EBCOT解碼器44、標量去量化器45、以及逆DWT變換器46。
在圖像編解碼器40中，DWT變換器41對輸入圖像信號D300進行DWT，以生成DWT係數D301。這裡應當注意，DWT用由低通濾波器和高通濾波器組成的濾波器組來表現，並且，對包括二維信號的圖像進行的DWT相應於圖12中所示的DWT的劃分步驟的數目而增加通過劃分頻帶形成的子帶的數目。圖12示出了3次劃分頻帶而形成從LL-3(最低頻帶分量)到HH-1(最高頻帶分量)的總共10個子帶的例子。圖13A示出了通過對測試圖像進行一次DWT形成的子帶，圖13B示出了對測試圖像進行三次DWT形成的子帶。
再次參考圖11進行描述。標量量化器42用JPEG 2000中定義的標量量化技術對每個子帶的DWT係數D301進行量化，以生成每個子帶的量化係數D302。EBCOT編碼器43用JPEG 2000中定義為熵編碼技術的EBCOT技術對量化係數D302進行編碼，以生成經過編碼的碼流D303，並將經過編碼的碼流D303發送到信道/記錄介質。詳細說來，EBCOT編碼器43將子帶劃分為如圖14所示的預定尺寸的碼塊。碼塊的尺寸通常為32×32或者64×64。每個碼塊的量化係數D302形成為一組二進位係數位(0或1)的比特平面，並且這些係數位以比特平面為單位進行編碼。
EBCOT解碼器44用JPEG 2000中定義的技術對從信道/記錄介質發送的經過編碼的碼流D303進行解碼，以生成量化係數D304。標量去量化器45對量化係數D304進行去量化，以生成DWT係數D305，並且逆DWT變換器46對DWT係數D305進行逆DWT變換，以提供經過解碼的圖像信號D306。
在將JPEG 2000用作圖像壓縮技術的情況下，則前面提到的熵解碼器10和11相當於EBCOT解碼器44。同樣，去量化器14～16以及量化器21相當於標量去量化器45和標量量化器42。同樣，逆變換器17和變換器20分別相當於進行逆DWT變換的逆DWT變換器46和進行DWT變換的DWT變換器41。因此，前面提到的匹配單元12將對採樣位置彼此對應的量化係數或者採樣位置彼此對應的DWT係數之間進行匹配。
第七實施例正如已經就第六實施例描述過的，JPEG 2000使得輸入圖像信號的頻帶由DWT劃分為每一個都反映圖像特徵的多個子帶。例如，一幅圖像的能量大多集中在最低頻帶。因此，對由頻帶劃分產生的每一個子帶的量化係數或DWT係數之間進行的匹配是最有效的。圖15中示出了在每個HL-1子帶的係數之間的匹配的例子。在圖15中，箭頭a和d表示絕對值彼此不一致但符號(正或負)彼此一致的係數，箭頭b和c表示其中任意一個為零(0)的係數。
由於圖像在低頻帶子帶中彼此相當接近，不同幀圖像在符號(正或負)上彼此相差很大，並且出現在高頻帶子帶中為零(0)的係數比出現在低頻帶子帶中的要多很多，因此在許多情況下符號判斷是行不通的。由於這個原因，量化係數或DWT係數之間的匹配應當優選地按照從最低頻帶中的子帶向最高頻帶中的子帶的順序進行。例如，如果已經實行了三次DWT變換，則量化係數或DWT係數之間的匹配應當優選地按照圖16所示的LL-3(最低頻帶子帶)、HL-3、LH-3、HH-3、HL-2、LH-2、HH-2、HL-1、LH-1、和HH-1的順序進行。
注意，如果所有原始圖像均為正值，則DWT係數和量化係數的最低頻帶分量始終為正號。在這種情況下，匹配應當從緊接在最低頻帶分量之後的子帶的係數開始。
圖17示出了由圖像檢索裝置執行的對每個子帶的量化係數之間進行匹配的操作的流程。首先在步驟S11中，圖像檢索裝置對特定幀的經過編碼的碼流和對象幀的經過編碼的碼流進行熵解碼，以生成特定幀的量化係數和對象幀的量化係數。
接著在步驟S12中，圖像檢索裝置對採樣位置彼此對應的特定幀的量化係數和對象幀的量化係數之間進行符號(正或負)上的匹配，並且判斷量化係數在符號上是否彼此一致。如果判定量化係數在符號上彼此一致，則圖像檢索裝置進入到步驟S14。如果判定量化係數在符號上彼此不一致，則圖像檢索裝置將在步驟S13中給計數器的計數值加一，然後進入到步驟S14。在步驟S14中，圖像檢索裝置判斷對同一子帶中的所有採樣的匹配是否已經結束。如果判定匹配沒有結束，則圖像檢索裝置在步驟S15中轉移到下一採樣，然後返回到步驟S12。如果判定匹配結束，則圖像檢索裝置轉到步驟S16。
接著在步驟S16中，圖像檢索裝置判斷是否存在下一子帶。如果判定存在下一子帶，則圖像檢索裝置在步驟S17中轉移到該子帶，然後轉到步驟S12。相反地，如果不存在下一子帶，則圖像檢索裝置轉到步驟S18。
在步驟S18中，圖像檢索裝置判斷計數值是否為零(0)。如果計數值不為零，則圖像檢索裝置判定對象幀與特定幀不一致，在步驟S19中其被提供下一對象幀的經過編碼的碼流，在步驟S20中將計數值復位為零，然後重複步驟S11以及後續步驟中的類似檢索操作。相反地，計數值為零意味著對於所有採樣量化係數在符號(正或負)上彼此一致。因此，圖像檢索裝置在步驟S21中判定對象幀與特定幀大致一致，並退出檢索過程。
注意，儘管在圖17的流程圖中是對所有採樣進行的匹配，但是檢索過程可以使得當計數值已經變得大於預定閾值時即判定量化係數彼此不一致，並且圖像檢索裝置移動到下一對象幀，這樣做的目的是減少檢索過程所需的時間。具體來說，在僅當對所有採樣的匹配結束時計數值為零(0)時判定對象幀與特定幀大致一致的情況下，通過當計數值已經變為一(1)時轉移到下一對象幀可以減少檢索過程所需的時間。
圖18示出了當在出現即使一個量化係數在符號(正或負)上與對應的量化係數不一致即轉移到下一對象幀時，由圖像檢索裝置執行的操作的流程。首先在步驟S31中，圖像檢索裝置對特定幀的經過編碼的碼流以及對象幀的經過編碼的碼流進行熵解碼，以生成特定幀的量化係數和對象幀的量化係數。
接著在步驟S32中，圖像檢索裝置對採樣位置彼此對應的特定幀的量化係數和對象幀的量化係數之間進行符號(正或負)上的匹配，以判斷量化係數在符號上是否彼此一致。如果發現量化係數在符號上彼此一致，則圖像檢索裝置進入步驟S34。如果判定量化係數在符號上彼此不一致，則圖像檢索裝置判定對象幀與特定幀不一致。在步驟S33中，向圖像檢索裝置提供下一對象幀的經過編碼的碼流，並且重複從步驟S31開始的類似檢索過程。
接著在步驟S34中，圖像檢索裝置判斷對同一碼塊中的所有採樣的匹配是否結束。如果匹配沒有結束，則圖像檢索裝置在步驟S35中轉移到下一採樣然後返回到步驟S32。如果匹配結束，則圖像檢索裝置轉到判斷是否存在下一碼塊的步驟S36。如果存在下一碼塊，則圖像檢索裝置在步驟S37中轉移到下一碼塊，然後轉到步驟S32。相反地，如果不存在下一碼塊，則意味著對所有採樣的匹配結束。因此，圖像檢索裝置在步驟S38中判定對象幀與特定幀大致一致，並退出檢索過程。
在上文中，僅當在對所有採樣結束匹配之後計數值為零(0)時，圖像檢索裝置判定對象幀與特定幀大致一致。然而，圖像檢索裝置可以適於當在對所有採樣結束匹配之後計數值小於預定閾值時判定對象幀與特定幀大致一致。在這種情況下，有可能出現多個候選幀，但是可以防止檢索的任何失敗。
注意，儘管上面在假設除非出現在符號上彼此不一致的任何係數，將完成對所有採樣的匹配的情況下解釋了本發明，但是該圖像檢索裝置可以只匹配到所包括的預定碼塊或者子帶，無需進一步匹配。
圖19示出了在只進行到所包括的預定碼塊的量化係數之間的匹配且不進一步匹配，以及當即使只出現幀的一個量化係數與特定幀的相應量化係數在符號(正或負)上不一致即轉移到下一對象幀時，由圖像檢索裝置執行的操作的流程。首先在步驟S41中，圖像檢索裝置對特定幀的經過編碼的碼流以及對象幀的經過編碼的碼流進行熵解碼，以生成特定幀的量化係數和對象幀的量化係數。
接著在步驟S42中，圖像檢索裝置對採樣位置彼此對應的特定幀的量化係數和對象幀的量化係數之間進行符號(正或負)上的匹配，以判斷量化係數在符號上是否彼此一致。如果發現量化係數在符號上彼此一致，則圖像檢索裝置轉到步驟S44。如果判定量化係數在符號上彼此不一致，則圖像檢索裝置判定對象幀與特定幀不一致。在步驟S43中，向圖像檢索裝置提供下一對象幀的經過編碼的碼流，並且重複從步驟S41開始的類似檢索過程。
接著在步驟S44中，圖像檢索裝置判斷對相同碼塊中的所有採樣的匹配是否結束。如果匹配沒有結束，則圖像檢索裝置在步驟S45中轉移到下一採樣，然後返回到步驟S42。如果匹配結束，則圖像檢索裝置轉到判斷是否已經執行了預定碼塊的匹配的步驟S46。如果尚未執行預定碼塊的匹配，則圖像檢索裝置在步驟S47中切換到下一碼塊，然後返回到步驟S42。相反地，如果已經執行預定碼塊的匹配，這意味著對所有採樣的匹配結束。因此，圖像檢索裝置在步驟S48中判定對象幀與特定幀大致一致，並退出檢索過程。
圖20示出了實際由符合JPEG 2000的壓縮編碼形成的經過編碼的碼流中的第一碼塊的識別結果，其中，在某一幀的係數和特定幀的係數之間發現了不一致。如圖20所示，識別結果為，在總共300幀的292幀的第一碼塊、3幀的第四碼塊、以及57幀的第九碼塊中，發現幀的係數與特定幀的係數之間不一致。也就是說，在300幀的大部分(97.3％)的第一碼塊中發現了不一致。因此，毫無疑問，無需對第九碼塊進行進一步的匹配。然而，由於檢索操作的完成應當具備一定的靈活性以處理各種圖像，因此把相當於所有碼塊例如10％的碼塊(這種情況下，168×10％＝17個碼塊)作為要進行匹配的對象碼塊是很有效的。
第八實施例在上面的本發明第七實施例中，碼塊中的量化係數在對所有碼塊的熵解碼之後進行匹配。然而，如上所述，由於在大部分幀的第一碼塊中發現不一致，因此即使在中途停止匹配的多種情況下也不會出現問題。這裡將說明和解釋本發明的第八實施例，其中，每個碼塊的熵解碼和匹配並行地執行以減少整個檢索過程的計算量。
圖21示出了在對每個碼塊進行熵解碼和並行匹配、以及即使當只出現幀的一個量化係數與特定幀的相應的量化係數在符號(正或負)上不一致即轉移到下一對象幀時，由作為第八實施例的圖像檢索裝置執行的操作的流程。首先在步驟S51中，圖像檢索裝置對特定幀的經過編碼的碼流的一個碼塊以及對象幀的經過編碼的碼流的一個碼塊進行熵解碼，以生成特定幀的每個碼塊的量化係數和對象幀的一個碼塊的量化係數。
接著在步驟S52中，圖像檢索裝置對採樣位置彼此對應的特定幀的每個碼塊的量化係數和對象幀的每個碼塊的量化係數之間進行符號(正或負)上的匹配，以判斷量化係數在符號上是否彼此一致。如果發現係數在符號上彼此一致，則圖像檢索裝置轉到步驟S54。如果係數在符號上彼此不一致，則圖像檢索裝置判定對象幀與特定幀不一致，並轉到向其提供下一對象幀的經過編碼的碼流的步驟S53，並且重複從步驟S51開始的類似檢索過程。
接著在步驟S54中，圖像檢索裝置判斷對相同碼塊中的所有採樣的匹配是否結束。如果匹配沒有結束，則圖像檢索裝置在步驟S55中轉移到下一採樣，然後返回到步驟S52。如果匹配結束，則圖像檢索裝置轉到判斷是否存在下一碼塊的步驟S56。如果存在下一碼塊，則圖像檢索裝置在步驟S57中轉移到下一碼塊，然後返回到步驟S51。相反地，如果不存在下一碼塊，則意味著對所有採樣的匹配結束。因此，圖像檢索裝置在步驟S58中判定對象幀與特定幀大致一致，並退出檢索過程。
同樣在此實施例中，與在第七實施例中一樣，圖像檢索裝置可以適於完成對所包括的預定碼塊的匹配，並且無需進一步匹配。
圖22示出了在進行針對所包括的預定碼塊的量化係數之間的匹配且無需進一步匹配、以及即使當只出現幀的一個量化係數與特定幀的相應的量化係數在符號(正或負)上不一致即轉移到下一對象幀時，由圖像檢索裝置執行的操作的流程。首先在步驟S61中，圖像檢索裝置對特定幀的一個碼塊以及對象幀的一個碼塊進行熵解碼，以生成特定幀的每個碼塊的量化係數和對象幀的每個碼塊的量化係數。
接著在步驟S62中，圖像檢索裝置對採樣位置彼此對應的特定幀的每個碼塊的量化係數和對象幀的每個碼塊的量化係數之間進行符號(正或負)上的匹配，以判斷量化係數在符號上是否彼此一致。如果發現係數在符號上彼此一致，則圖像檢索裝置轉到步驟S64。如果係數在符號上彼此不一致，則圖像檢索裝置判定對象幀與特定幀不一致，並轉到將向其被提供下一對象幀的經過編碼的碼流的步驟S63，並且重複從步驟S61開始的類似檢索過程。
接著在步驟S64中，圖像檢索裝置判斷對相同碼塊中的所有採樣的匹配是否結束。如果匹配沒有結束，則圖像檢索裝置在步驟S65中轉移到下一採樣，然後返回到步驟S62。如果匹配結束，則圖像檢索裝置轉到判斷是否已經執行了預定碼塊的匹配的步驟S66。如果已經執行預定碼塊的匹配，則圖像檢索裝置在步驟S67中轉移到下一碼塊，然後返回到步驟S61。相反地，如果尚未執行預定碼塊的匹配，則意味著量化係數在符號上彼此一致。因此，圖像檢索裝置在步驟S68中判定對象幀與特定幀大致一致，並且退出檢索過程。
第九實施例注意，在沒有參考生成特定幀的經過編碼的碼流和對象幀的經過編碼的碼流的系統的配置的情況下說明和解釋了上述的第一到第八實施例。這裡將說明和解釋第九實施例以及包括在圖像檢索裝置中用於生成特定幀的經過編碼的碼流和對象幀的經過編碼的碼流的系統。
圖23以框圖的形式示意性地示出了作為本發明的第九實施例的圖像檢索裝置。如圖23所示，通常用參考數字50表示的作為第九實施例的圖像檢索裝置包括成像單元51、A-D轉換器52、編碼器53和54、存儲器55、匹配/判斷單元56、解碼器57和58、以及顯示單元59。
在圖像檢索裝置50中，成像單元51是，例如，CCD(電荷耦合器件)相機，它將通過對物體成像獲得的圖像信號D400提供給A-D(模擬-數字)轉換器52，該A-D(模擬-數字)轉換器將圖像信號D400A-D轉換為圖像數據D402，並將該圖像數據D402提供給編碼器53。編碼器53根據預定算法對圖像數據D402進行壓縮編碼，以生成經過編碼的碼流D404。應當注意，經過編碼的碼流D404是前面提到的特定幀的經過編碼的碼流。編碼器53將在壓縮編碼期間生成的量化係數D405與經過編碼的碼流D404一起提供給存儲經過編碼的碼流D404和量化係數D405的存儲器55。
類似地，成像單元51將通過對物體成像獲得的活動圖像信號D401提供給A-D轉換器52，該A-D轉換器對活動圖像信號D401進行A-D轉換以提供視頻數據D403，並將該視頻數據D403提供給編碼器54。編碼器54根據預定算法對視頻數據D403進行壓縮編碼，以生成經過編碼的碼流D406。應當注意，經過編碼的碼流D406是前面提到的對象幀的經過編碼的碼流。編碼器54將在壓縮編碼期間生成的量化係數D407與經過編碼的碼流D406一起提供給存儲經過編碼的碼流D406和量化係數D407的存儲器55。
匹配/判斷單元56類似於前面提到的匹配單元12和判斷單元13，並從經過編碼的碼流D406中檢索與特定幀大致一致的幀。如果存在與特定幀大致一致的幀，則匹配/判斷單元56將判斷結果D408提供給解碼器58，解碼器58相應於判斷結果408對與特定幀大致一致的幀進行解碼以提供解碼圖像D410，並將解碼圖像D410提供給顯示單元59。同樣，解碼器57對特定幀的經過編碼的碼流進行解碼以提供解碼圖像D409，並將解碼圖像D409提供給顯示單元59。
由於作為第九實施例的圖像檢索裝置50將在壓縮編碼期間產生的量化係數D405和D407連同特定幀的經過編碼的碼流D404和對象幀的經過編碼的碼流D406一起記錄到存儲器55，因此能夠無需對經過編碼的碼流D404和D406進行熵解碼就可以對量化係數之間進行匹配。
注意，儘管上面已經描述了通過對與特定幀大致一致的幀進行解碼獲得的解碼圖像D410被顯示在顯示單元59上，但是本發明不限於該技術，而是可以將與特定幀大致一致的幀作為再生起始幀，並對再生起始幀和後續幀進行解碼，以顯示在顯示單元59上。同樣，可以將與特定幀大致一致的幀作為再生終止幀，並解碼一直到該再生終止幀的幀，從而顯示在顯示單元59上。
上文已經描述了在壓縮編碼期間生成的量化係數D405和D407被記錄到存儲器55，從而在它們之間進行匹配。然而，本發明不限於該技術，變換係數也可以被記錄到存儲器55中，從而對它們之間進行匹配。
第十實施例上面已經描述的第九實施例中，特定幀圖像和對象活動圖像都是未被壓縮編碼過的，即，特定幀的經過編碼的碼流和量化係數以及對象幀的經過編碼的碼流和量化係數都不是現有的。這裡將說明和解釋第十實施例，其中，至少已有特定幀的經過編碼的碼流和量化係數或對象幀的經過編碼的碼流和量化係數。
圖24是作為本發明第十實施例的圖像檢索裝置的示意性框圖，其中，已存在特定幀的經過編碼的碼流和量化係數。該圖像檢索裝置通常用參考數字60表示。在該圖像檢索裝置60中，特定幀的經過編碼的碼流D404和量化係數D405從記錄介質、外部伺服器等拷貝或下載到存儲器55。同樣，編碼器53根據預定算法對對象視頻數據D403進行壓縮編碼以提供經過編碼的碼流D406，並且在壓縮編碼期間生成的經過編碼的碼流D406和量化係數D407記錄到存儲器55中。後續操作與圖像檢索裝置50中的類似，因此將不再描述。
圖25是作為第十實施例的變型的圖像檢索裝置的示意性框圖，其中，既存在特定幀的經過編碼的碼流和量化係數，也存在對象編碼碼流和量化係數。該圖像檢索裝置通常用參考數字70表示。在該圖像檢索裝置70中，特定幀的經過編碼的碼流D404和量化係數D405以及對象幀的經過編碼的碼流D406和量化係數D407從記錄介質或外部伺服器拷貝或下載到存儲器55。後續操作與圖像檢索裝置50中的類似，因此將不再描述。
由於圖像檢索裝置60和70至少已存在特定幀的經過編碼的碼流和量化係數或者對象幀的經過編碼的碼流和量化係數，因此能夠通過將其拷貝或者下載到存儲器55很容易地用於匹配。
第十一實施例在第九和第十實施例中，存儲器55已經在其中記錄了特定幀的經過編碼的碼流和量化係數以及對象幀的經過編碼的碼流和量化係數。這裡將說明和解釋第十一實施例，其中，當從存儲器55把要檢索的對象編碼碼流拷貝到其他記錄介質時，利用了特定幀的量化係數和要檢索的對象的量化係數。
圖26是作為本發明第十一實施例的圖像檢索裝置的示意性框圖，其中，使用一個特定幀。該圖像檢索裝置通常用參考數字80表示。在該圖像檢索裝置80中，匹配/判斷單元56在特定幀的量化係數D405和要檢索的對象的量化係數D407之間進行比較，以從對象編碼碼流D406中檢索與特定幀大致一致的幀。如果發現了與特定幀大致一致的這種幀，則匹配/判斷單元56將判斷結果D408提供給記錄控制器81，該記錄控制器將相應於判斷結果D408來控制將對象編碼碼流D406記錄到記錄介質82。更特別地，當經過編碼的碼流D406被記錄到記錄介質82時，與特定幀大致一致的幀被標記為再生起始幀。可選地，將與特定幀大致一致的幀作為再生起始幀，並將再生起始幀之後的幀記錄到記錄介質82。應當注意，可以改裝圖像檢索裝置80，使得特定幀的經過編碼的碼流被單獨地記錄到記錄介質82。
圖27是作為第十一實施例的變型的圖像檢索裝置的示意性框圖，其中，使用了兩個特定幀。該圖像檢索裝置通常用參考數字90表示。在該圖像檢索裝置90中，匹配/判斷單元56對第一特定幀的量化係數D411和要檢索的對象的量化係數D407之間進行比較，以從對象編碼碼流D406中檢索與第一特定幀大致一致的幀。類似地，匹配/判斷單元56對第二特定幀的量化係數D412和待檢索的對象的量化係數D407之間進行比較，以從對象編碼碼流D406中檢索與第二特定幀大致一致的幀。如果發現分別與第一特定幀和第二特定幀大致一致的幀，則匹配/判斷單元56將判斷結果D408提供給記錄控制器81，該記錄控制器相應於判斷結果D408來控制將對象編碼碼流D406記錄到記錄介質82。更特別地，當經過編碼的碼流D406被記錄到記錄介質82時，與第一和第二特定幀大致一致的幀分別被標記為再生起始幀(IN點)和再生終止幀(OUT點)。可選地，將與第一和第二特定幀大致一致的幀分別取為再生起始幀和再生終止幀，並且，從再生起始幀到再生終止幀的幀被記錄到記錄介質82。應當注意，可以改裝圖像檢索裝置90，使得第一和第二特定幀的經過編碼的碼流被單獨地記錄到記錄介質82。同樣，可以僅改裝圖像檢索裝置90，使得經過編碼的碼流D406被記錄到記錄介質82，並且將與第一和第二特定幀大致一致的幀分別標記為再生起始幀和再生終止幀。
此外，如果使用了n個特定幀，則可以將與第一和第n特定幀大致一致的幀分別標記為再生起始幀(IN點)和再生終止幀(OUT點)，同時將與第二、…、第(n-1)特定幀大致一致的幀標記為再生繼續點(例如，場景改變點、章節點等)。
在上文中，已經結合優選實施例對本發明進行了說明和解釋，但本發明並不限於這些實施例。
例如，儘管已經藉助於將靜止圖像作為檢索查詢條件對前面提到的實施例進行了描述，但是也可以將活動圖像作為檢索查詢條件。在這種情況下，可以按照上面所述，在將形成作為檢索查詢條件的活動圖像的多個幀的一部分選擇作為靜止圖像的檢索查詢條件的情況下進行圖像檢索，並且計數值大於預定值(閾值)的與檢索查詢條件一致的幀可以被檢索作為相同的活動圖像。
同樣，在前面提到的實施例中執行的一系列操作可以通過軟體來執行。在這種情況下，構成軟體的程序可以預結合到專用硬體中，例如，計算機的ROM或者硬碟。可選地，也可以通過網絡或者程序記錄介質將其安裝到通用個人計算機中，該計算機上具有安裝於其中的各種程序，因此可以執行各種功能。
程序記錄介質和前面提到的記錄介質可以是封裝介質，例如磁碟(包括軟盤)、光碟(CD-ROM(＝光碟只讀存儲器)和DVD(數字多功能盤))、磁-光碟(MD(＝Mini-Disk(商標))、或者半導體存儲器。
以上所述僅為本發明的優選實施例，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同更換、改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，所述裝置包括解碼裝置，用於對所述對象編碼碼流進行熵解碼以生成每一幀的量化係數；匹配裝置，用於對所述特定幀的量化係數和由所述解碼裝置生成並與所述特定幀的量化係數在採樣位置上相對應的每一幀的量化係數進行匹配；以及判斷裝置，用於基於匹配結果判斷所述幀是否與所述特定幀大致一致。
2.根據權利要求1所述的裝置，其中，所述匹配裝置對採樣位置彼此對應的所述量化係數之間進行符號(正或負)上的順序匹配。
3.根據權利要求1所述的裝置，進一步包括去量化裝置，用於對由所述解碼裝置生成的每一幀的所述量化係數進行去量化，以提供每一幀的變換係數，所述匹配裝置對所述特定幀的變換係數和由所述去量化裝置生成並與所述特定幀的變換係數在採樣位置上相對應的每一幀的變換係數之間進行符號(正或負)上的匹配。
4.根據權利要求1所述的裝置，其中，每當出現量化係數與所述特定幀的量化係數在符號上不匹配的幀時，所述判斷裝置增加計數器的計數值，並且如果當所述幀的所有量化係數與所述特定幀的量化係數的匹配結束時所述計數值小於預定閾值，則判定所述幀與所述特定幀大致一致。
5.根據權利要求1所述的裝置，其中，當彼此將被匹配的兩個量化係數中的至少一個為零(0)時，所述匹配裝置不進行匹配。
6.根據權利要求4所述的裝置，其中，如果所述計數器的所述計數值大於預定閾值，則所述判斷裝置判定所述幀與所述特定幀不一致，並且所述匹配裝置不對所述幀進行進一步的匹配。
7.根據權利要求4所述的裝置，進一步包括顯示裝置，用於分別顯示所述特定幀的圖像以及由所述判斷裝置判定為與所述特定幀大致一致的幀的圖像。
8.根據權利要求7所述的裝置，其中，如果不存在由所述判斷裝置判定為與所述特定幀大致一致的任何幀，則所述顯示裝置分別顯示所述特定幀的圖像以及所述計數器的所述計數值為最小的幀的圖像。
9.根據權利要求1所述的裝置，其中，所述解碼裝置參照變長解碼錶對所述對象編碼碼流進行解碼，以生成每一幀的量化係數，所述每一幀的離散餘弦變換係數已經參照量化表被量化。
10.根據權利要求1所述的裝置，其中，所述解碼裝置通過JPEG2000中定義的EBCOT解碼對所述對象編碼碼流進行解碼，以生成每一幀的量化係數，所述每一幀的小波變換係數已經被標量量化。
11.根據權利要求10所述的裝置，其中，所述匹配裝置對通過頻帶劃分形成的多個子帶中的每個碼塊的量化係數之間進行匹配。
12.根據權利要求11所述的裝置，其中，所述匹配裝置按照從最低頻帶中的子帶到最高頻帶中的子帶的順序對量化係數之間進行匹配。
13.根據權利要求11所述的裝置，其中，所述匹配裝置僅對到特定子帶或者到特定碼塊為止的子帶的量化係數之間進行匹配。
14.根據權利要求11所述的裝置，其中，在完成對碼決中的所有量化係數的匹配之後，所述解碼裝置生成下一碼塊的量化係數。
15.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索方法，所述方法包括以下步驟對所述對象編碼碼流進行熵解碼，以生成每一幀的量化係數；對所述特定幀的量化係數和在所述解碼步驟中生成並與所述特定幀的量化係數在採樣位置上相對應的每一幀的量化係數進行匹配；以及基於匹配結果判斷所述幀是否與所述特定幀大致一致。
16.一種允許計算機從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的程序，所述程序包括以下步驟對所述對象編碼碼流進行熵解碼，以生成每一幀的量化係數；對所述特定幀的量化係數和在所述解碼步驟中生成並與所述特定幀的量化係數在採樣位置上相對應的每一幀的量化係數進行匹配；以及基於匹配結果判斷所述幀是否與所述特定幀大致一致。
17.一種可由計算機讀取、並記錄有允許所述計算機從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的程序的程序記錄介質，所述程序包括以下步驟對所述對象編碼碼流進行熵解碼，以生成每一幀的量化係數；對所述特定幀的量化係數和在所述解碼步驟中生成並與所述特定幀的量化係數在採樣位置上相對應的每一幀的量化係數進行匹配；以及基於匹配結果判斷所述幀是否與所述特定幀大致一致。
18.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，所述裝置包括量化或變換係數獲取裝置，用於獲取當生成所述對象編碼碼流時算出的每一幀的量化或變換係數以及所述特定幀的量化或變換係數；匹配裝置，用於對所述特定幀的量化或變換係數和由所述量化或變換係數獲取裝置生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；以及判斷裝置，用於基於匹配結果判斷每一幀是否與所述特定幀大致一致。
19.根據權利要求18所述的裝置，其中，當生成所述對象編碼碼流時算出的每一幀的所述量化或變換係數以及所述特定幀的量化或變換係數均被記錄在記錄介質中。
20.根據權利要求18所述的裝置，進一步包括解碼裝置，用於對由所述判斷裝置判定為與所述特定幀大致一致的幀進行解碼；以及輸出裝置，用於將由所述解碼裝置解碼的所述幀的圖像輸出到顯示裝置。
21.根據權利要求18所述的裝置，進一步包括解碼裝置，用於對所述對象編碼碼流進行解碼；以及輸出裝置，用於將由所述解碼裝置解碼的所述對象編碼碼流輸出到顯示裝置，其中，由所述判斷裝置判定為與所述特定幀大致一致的幀被取為再生起始幀或者再生終止幀。
22.根據權利要求18所述的裝置，進一步包括記錄控制裝置，用於將所述對象編碼碼流記錄到記錄介質，其中，由所述判斷裝置判定為與所述特定幀大致一致的幀被作為再生起始幀或者再生終止幀。
23.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索方法，所述方法包括以下步驟獲取當生成所述對象編碼碼流時算出的每一幀的量化或變換係數以及所述特定幀的量化或變換係數；對所述特定幀的量化或變換係數和在所述量化或變換係數獲取步驟中生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；以及基於匹配結果判斷每一幀是否與所述特定幀大致一致。
24.一種允許計算機從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的程序，所述程序包括以下步驟獲取當生成所述對象編碼碼流時算出的每一幀的量化或變換係數以及所述特定幀的量化或變換係數；對所述特定幀的量化或變換係數和在所述量化或變換係數獲取步驟中生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；以及基於匹配結果判斷每一幀是否與所述特定幀大致一致。
25.一種可由計算機讀取、並記錄有允許所述計算機從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的程序的程序記錄介質，所述程序包括以下步驟獲取當生成所述對象編碼碼流時算出的每一幀的量化或變換係數以及所述特定幀的量化或變換係數；對所述特定幀的量化或變換係數和在所述量化或變換係數獲取步驟中生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；以及基於匹配結果判斷每一幀是否與所述特定幀大致一致。
26.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，所述裝置包括第一記錄裝置，用於將當對所述特定幀進行編碼時算出的所述特定幀的量化或變換係數連同所述特定幀一起記錄到記錄介質；第二記錄裝置，用於將當檢索所述對象編碼碼流時算出的每一幀的量化或變換係數連同所述對象編碼碼流一起記錄到所述記錄介質；量化或變換係數獲取裝置，用於從所述記錄介質獲取每一幀的所述量化或變換係數以及所述特定幀的量化或變換係數；匹配裝置，用於對所述特定幀的量化或變換係數和由所述量化或變換係數獲取裝置生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；判斷裝置，用於基於匹配結果判斷每一幀是否與所述特定幀大致一致；解碼裝置，用於對由所述判斷裝置判定為與所述特定幀大致一致的所述幀進行解碼；以及輸出裝置，用於將由所述解碼裝置解碼的所述幀輸出到顯示裝置。
27.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索方法，所述方法包括第一記錄步驟，將當對所述特定幀進行編碼時算出的所述特定幀的量化或變換係數連同所述特定幀一起記錄到記錄介質；第二記錄步驟，將當檢索所述對象編碼碼流時算出的每一幀的量化或變換係數連同所述對象編碼碼流一起記錄到所述記錄介質；量化或變換係數獲取步驟，從所述記錄介質獲取每一幀的所述量化或變換係數以及所述特定幀的量化或變換係數；匹配步驟，對所述特定幀的量化或變換係數和在所述量化或變換係數獲取步驟中生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；判斷步驟，基於匹配結果判斷每一幀是否與所述特定幀大致一致；解碼步驟，對在所述判斷步驟中判定為與所述特定幀大致一致的所述幀進行解碼；以及輸出步驟，將在所述解碼步驟中解碼的所述幀輸出到顯示裝置。
28.一種允許計算機從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的程序，所述程序包括以下步驟第一記錄步驟，將當對所述特定幀進行編碼時算出的所述特定幀的量化或變換係數連同所述特定幀一起記錄到記錄介質；第二記錄步驟，將當檢索所述對象編碼碼流時算出的每一幀的量化或變換係數連同所述對象編碼碼流一起記錄到所述記錄介質；量化或變換係數獲取步驟，從所述記錄介質獲取每一幀的所述量化或變換係數以及所述特定幀的量化或變換係數；匹配步驟，對所述特定幀的量化或變換係數和在所述量化或變換係數獲取步驟中生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；判斷步驟，基於匹配結果判斷每一幀是否與所述特定幀大致一致；解碼步驟，對在所述判斷步驟中判定為與所述特定幀大致一致的所述幀進行解碼；以及輸出步驟，將在所述解碼步驟中解碼的所述幀輸出到顯示裝置。
29.一種可由計算機讀取、並記錄有允許所述計算機從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的程序的程序記錄介質，所述程序包括第一記錄步驟，將當對所述特定幀進行編碼時算出的所述特定幀的量化或變換係數連同所述特定幀一起記錄到記錄介質；第二記錄步驟，將當檢索所述對象編碼碼流時算出的每一幀的量化或變換係數連同所述對象編碼碼流一起記錄到所述記錄介質；量化或變換係數獲取步驟，從所述記錄介質獲取每一幀的所述量化或變換係數以及所述特定幀的量化或變換係數；匹配步驟，對所述特定幀的量化或變換係數和在所述量化或變換係數獲取步驟中生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；判斷步驟，基於匹配結果判斷每一幀是否與所述特定幀大致一致；解碼步驟，對在所述判斷步驟中判定為與所述特定幀大致一致的所述幀進行解碼；以及輸出步驟，將在所述解碼步驟中解碼的所述幀輸出到顯示裝置。
30.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，所述裝置包括解碼器，用於對所述對象編碼碼流進行熵解碼，以生成每一幀的量化係數；匹配單元，用於對所述特定幀的量化係數和由所述解碼器生成並與所述特定幀的量化係數在採樣位置上相對應的每一幀的量化係數進行匹配；以及判斷單元，用於基於匹配結果判斷所述幀是否與所述特定幀大致一致。
31.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，所述裝置包括量化或變換係數獲取單元，用於獲取當生成所述對象編碼碼流時算出的每一幀的量化或變換係數以及所述特定幀的量化或變換係數；匹配單元，用於對所述特定幀的量化或變換係數和由所述量化或變換係數獲取單元生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；以及判斷單元，用於基於匹配結果判斷每一幀是否與所述特定幀大致一致。
32.一種從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀的圖像檢索裝置，所述裝置包括第一記錄單元，用於將當對所述特定幀進行編碼時算出的所述特定幀的量化或變換係數連同所述特定幀一起記錄到記錄介質；第二記錄單元，用於將當檢索所述對象編碼碼流時算出的每一幀的量化或變換係數連同所述對象編碼碼流一起記錄到所述記錄介質；量化或變換係數獲取單元，用於從所述記錄介質獲取每一幀的量化或變換係數以及所述特定幀的量化或變換係數；匹配單元，用於對所述特定幀的量化或變換係數和由所述量化或變換係數獲取單元生成並與所述特定幀的量化或變換係數在採樣位置上相對應的每一幀的量化或變換係數進行匹配；判斷單元，用於基於匹配結果判斷每一幀是否與所述特定幀大致一致；解碼器，用於對由所述判斷單元判定為與所述特定幀大致一致的所述幀進行解碼；以及輸出單元，用於將由所述解碼器解碼的所述幀輸出到顯示單元。
全文摘要
不用將幀解碼為其原始圖像，就能從經過編碼的碼流中檢索出與特定幀大致一致的幀。本發明提供了一種圖像檢索裝置，用於從通過多個幀的壓縮編碼形成的對象編碼碼流中檢索與特定幀大致一致的幀，該圖像檢索裝置包括解碼器，用於對對象編碼碼流進行熵解碼，以生成每一幀的量化係數；匹配單元，用於對特定幀的量化係數和由解碼器生成並與特定幀的量化係數在採樣位置上相對應的每一幀的量化係數進行匹配；以及判斷單元，用於基於匹配結果判斷該幀是否與特定幀大致一致。
文檔編號G06T9/00GK1808469SQ20061000206
公開日2006年7月26日 申請日期2006年1月20日 優先權日2005年1月21日
發明者福原隆浩, 貴家仁志 申請人:索尼公司, 貴家仁志