用於指紋識別視頻的系統和方法
2023-06-24 16:02:11
專利名稱：用於指紋識別視頻的系統和方法
技術領域：
本發明涉及用於指紋識別視頻的系統和方法。
背景技術：
視頻指紋識別可用於很多方面。視頻指紋是指相對於多個視頻的集合或文集中的其他視頻可以唯一地識別視頻的方法。本領域中的視頻指紋識別系統和方法通常在一定程度上缺乏穩健性，它們不能識別視頻的片段、編輯版本和/或甚至是已被壓縮的完整版本，或沒有包含基準視頻的逐位匹配。如果視頻質量降低或有其他的改變，現有技術的視頻指紋識別系統和方法也可能不能匹配分析中的視頻和基準視頻。
發明內容
本發明的一個方面涉及一種在至少一個計算設備中執行的方法，所述方法包括以下步驟:檢測視頻中的多個場景變化；和至少基於一個子集的所述多個場景變化之間的各自的時間間隔生成視頻指紋。在上述方法中，優選所述生成視頻指紋的步驟進一步包含:識別視頻片段中的第一場景變化；識別鄰近所述第一場景變化且在所述第一場景變化之後的第二場景變化，並確定所述第一場景變化和所述第二場景變化之間的第一時間間隔；和識別鄰近所述第二場景變化且在所述第二場景變化之後的第三場景變化，並確定所述第二場景變化和所述第三場景變化之間的第二時間間隔；其中，所述視頻指紋包含第一指紋配對，所述第一指紋配對包含所述第一時間間隔和所述第二時間間隔。在上述方法中，優選進一步包括以下步驟:識別鄰近所述第三場景變化且在所述第三場景變化之後的第四場景變化，並確定所述第三場景變化和所述第四場景變化之間的第三時間間隔。在上述方法中，優選所述視頻指紋進一步包含第二指紋配對，所述第二指紋配對包含所述第一時間間隔、以及所述第二時間間隔與所述第三時間間隔之和。在上述方法中，優選所述視頻指紋進一步包含第三指紋配對，所述第三指紋配對包含所述第三時間間隔、以及所述第一時間間隔與所述第二時間間隔之和。在上述方法中，優選所述第一指紋配對、所述第二指紋配對和所述第三指紋配對在所述視頻指紋中與所述第一場景變化相關聯。在上述方法中，優選所述視頻指紋進一步包含與所述第一場景變化相關聯的第一場景變化起始時間。在上述方法中，優選所述視頻指紋進一步包含第四指紋配對，所述第四指紋配對包含所述第二時間間隔和所述第三時間間隔。 在上述方法中，優選所述第四指紋配對在所述視頻指紋中與所述第二場景變化相關聯。本發明的另一方面涉及一種系統，包括:至少一個計算設備；和在所述至少一個計算設備中執行的視頻指紋識別應用程式，所述視頻指紋識別應用程式包含:檢測視頻中的多個場景變化的邏輯；識別所述視頻中出現所述場景變化的時間的邏輯；至少基於所述視頻中出現所述場景變化的時間生成視頻特徵的邏輯；和至少基於所述視頻中出現所述場景變化的時間確定所述視頻特徵是否匹配視頻指紋的邏輯。在上述系統中，優選所述生成視頻特徵的邏輯進一步包含:識別在視頻片段中第一場景變化的邏輯；識別鄰近所述第一場景變化且在所述第一場景變化之後的第二場景變化、並確定所述第一場景變化與所述第二場景變化之間的第一時間間隔的邏輯；以及識別鄰近所述第二場景變化且在所述第二場景變化之後的第三場景變化、並確定所述第二場景變化與所述第三場景變化之間的第二時間間隔的邏輯；其中，所述視頻特徵包含第一配對，所述第一配對包含所述第一時間間隔和所述第二時間間隔。在上述系統中，優選所述生成視頻特徵的邏輯進一步包含:識別鄰近所述第三場景變化且在所述第三場景變化之後的第四場景變化的邏輯；和確定所述第三場景變化和所述第四場景變化之間的第三時間間隔的邏輯。在上述系統中，優選所述視頻特徵進一步包含第二配對，所述第二配對包含所述第一時間間隔、和所述第二時間間隔與所述第三時間間隔之和。在上述系統中，優選所述視頻特徵進一步包含第三配對，所述第三配對包含所述第三時間間隔、和所述第一時間間隔與所述第二時間間隔之和。在上述系統中，優選所述第一配對、所述第二配對和所述第三配對在所述視頻指紋中與所述第一場景變化相關聯。在上述系統中，優選所述視頻特徵進一步包含與所述第一場景變化相關聯的第一場景變化起始時間。在上述系統中，優選所述視頻指紋至少基於所述視頻中出現所述場景變化的時間，以及確定所述視頻特徵是否匹配視頻指紋的邏輯進一步包括:確定視頻指紋是否含有對應於以下之一的條目的邏輯:所述第一配對、所述第二配對和所述第三配對。在上述系統中，優選所述視頻指紋識別應用程式進一步包含:至少基於至少一個子集的所述多個場景變化之間的各自的時間間隔生成所述視頻指紋的邏輯。本發明的又一方面涉及一種系統，所述系統包括:用於檢測視頻中多個場景變化的裝置；和用於通過識別視頻片段中的第一場景變化、識別鄰近所述第一場景變化且在其之後的第二場景變化、確定所述第一場景變化和所述第二場景變化之間的第一時間間隔以及識別鄰近所述第二場景變化且在其之後的第三場景變化、以及確定所述第二場景變化和所述第三場景變化之間的第二時間間隔，從而至少基於至少一個子集的所述多個場景變化之間的各自的時間間隔生成視頻指紋的裝置，其中所述視頻指紋包含第一指紋配對，所述第一指紋配對包含所述第一時間間隔和所述第二時間間隔。在上述系統中，優選進一步包括:用於識別鄰近所述第三場景變化且在其之後的第四場景變化、以及確定所述第三場景變化和所述第四場景變化之間的第三時間間隔的裝置，所述視頻指紋進一步包含第二指紋配對和第三指紋配對，其中所述第二指紋配對包含所述第一時間間隔、和所述第二時間間隔與所述第三時間間隔之和，而所述第三指紋配對包含所述第三時間間隔、和所述第一時間間隔與所述第二時間間隔之和。
參考下面的附圖可以更好地理解本發明的許多方面。在附圖中的部件不一定按比例繪，而是著重於明確地示出本發明的原理。而且，在附圖中，相似的參考數字用於以下附圖相應的部分。圖1是根據本公開的多個不同實施方式的可以生成視頻指紋的視頻時間線的圖。圖2是根據本公開多個不同實施方式的對應於圖1的視頻的一部分視頻指紋的圖。圖3A至圖31是示出了根據本公開的多個不同實施方式的視頻特徵(videoprofile)與圖2的視頻指紋匹配的圖。圖4和圖5是根據本公開的多個不同實施方式的能實施視頻指紋識別應用程式的計算環境的圖。圖6和圖7是流程圖，其不出了作為根據本公開的多個不同實施方式在圖4和圖5的計算設備中執行的部分視頻指紋識別應用程式而實現的功能的一個實例。圖8是一個示意性框圖，其提供的一個實例示出了根據本公開的多個不同實施方式在圖4和圖5的計算環境中使用的計算設備。
具體實施例方式本公開的實施方式主要涉及生成與視頻相關聯的指紋和通過把與視頻相關聯的指紋和基準指紋相比較來識別視頻。視頻指紋識別技術是用於識別和提取視頻的性能特徵的常用技術，能夠通過其產生的指紋唯一地識別視頻。與視頻本身相比較，根據本公開的實施方式生成的視頻指紋是高度壓縮的，意味著高度壓縮的視頻指紋通常比其相應的視頻消耗的數據更少。如以下所述，本文中所公開的視頻指紋識別技術是對稱過程，意味著識別與視頻相關聯的基準指紋的過程與生成視頻指紋本身是相似的過程。在本公開的背景中，可以將實施本文中所描述的視頻指紋識別處理的系統用於促進:識別未知的視頻或視頻片段、從資料庫中檢索與視頻相關聯的元數據(例如，標題、流派、導演名字、拍攝年限、演員名字等)、為了數字版權管理(DRM)分類或識別視頻、跟蹤未授權的或非法內容的分發、視頻搜尋引擎、內容感知(content aware)廣告、識別用戶的觀看選擇和/或習慣以與其他人共享、識別大資料庫中的複製視頻片段、同步檢索的隱蔽字幕數據、和/或其可以理解的其他應用。因此，現在參考圖1，其示出了說明根據本公開實施方式的視頻指紋識別技術的工作原理的視頻表示法(representation)。所描述的實施方式示出了隨時間表示的視頻101的一部分。本文中公開的視頻指紋識別技術包含檢測視頻中出現的場景變化。如圖1中所示，場景變化出現在視頻的不同時間點(Sp s2、s3、s4、S5、S6、S7等)。利用本領域中已知的不同系統和方法可以檢測到視頻源中的場景變化。因此，為了根據本公開的實施方式生成視頻指紋，可以檢測視頻中的場景變化和每個場景變化在視頻中出現的時間(例如，相對於視頻的起始點)。此外，還檢測連續的場景變化之間的時間差(例如，時間量、幀數等)。圖1中通過At1'At2、At3、At4、At5和At6表示視頻的非限制實例的時間差。因此，與視頻101相關聯的視頻指紋至少基於兩個信息，其包括與每個場景變化相關聯的視頻的時間和連續場景變化之間的時間差。現在參考圖2，其示出了根據本公開實施方式的與視頻相關聯的視頻指紋201的一個表示法(representation)。應當理解,所描述的視頻指紋201僅僅是視頻指紋的一個實例，可與本公開一致地使用體現相同或相似數據的其他表示法。在所描述的實例中，視頻指紋201可以表不視頻的基準指紋。因此，視頻指紋201可與視頻標識符203相關聯，視頻標識符203唯一地識別與指紋201相關聯的視頻。與視頻相關聯的任何其他識別信息也可以與不同應用中提供的標識符203和/或指紋201相關聯。例如，如上所述，不同的元數據也可以與視頻相關聯，元數據可以存儲在通過視頻標識符203和/或指紋201可以指示的相同或不同的資料庫中。視頻指紋201可以包括包含至少三種類型的數據的表格表示法。視頻中至少一個子集的場景變化的場景起始時間可以與在特定場景變化之後的場景變化之間的至少兩個時間差相關聯。換句話說，指紋201使場景變化與下兩個連續場景變化之間的配對時間間隔相關聯，如圖所示。因此，在所描述的實例中，視頻指紋201的表格中的第一條目(entry)使得場景變化起始時間S1與At1和At2相關聯，其表示在時間S1視頻中出現的場景變化和緊接著在時間S2與S3視頻中出現的兩個場景變化之間的時間差。指紋201還使得特定的場景變化與表示可能錯過的場景變化檢測的其他時間差或時間間隔配對相關聯。在所描述的實例指紋201的第二條目中，場景變化起始時間S1也與At1和At2+At3的時間差配對相關聯，如果未檢測到場景變化S3，其表示緊接著兩個連續場景變化的時間間隔配對。換句話說，該時間間隔配對表示場景變化S2和S4的時間間隔，其導致錯過場景變化s2。相似地，在所描述的實例指紋201的第三條目中，場景變化起始時間S1也與八^+八^和At3的時間差配對相關聯，如果未檢測到場景變化S2，其表示緊接著兩個連續場景變化的時間間隔配對。此外，視頻指紋201表格可以包括連續場景變化的相似條目。因此，為了處理視頻和試圖識別基準視頻指紋，如圖2中所描述的實例中的基準視頻指紋，通過檢測視頻中的場景變化和測量每個檢測的場景變化的場景變化起始時間與緊接著兩個連續場景變化的時間間隔，計算設備可以生成表格。然後，計算設備可以試圖匹配生成的表格和基準視頻指紋201，可以存儲在資料庫中或其他數據存儲設備中。圖3A示出了一個例子。圖3A中所示的表格示出了表示視頻特徵的表格301的實例，其中視頻特徵是響應處理試圖識別視頻匹配的視頻指紋201的視頻生成的。圖3A示出了未錯過(miss,丟失)場景變化的檢測且不存在任何假陽性場景變化(false positivescene change)檢測的情況。因此，執行過程因而試圖匹配視頻與基準視頻指紋的計算設備可以比較通過處理視頻生成的表格中的條目與不同的基準視頻指紋201，直到找到匹配。在所描述的實例中，通過匹配表格301中的時間間隔配對可以定位基準視頻指紋201。視頻指紋識別過程和匹配視頻特徵與基準視頻指紋201的過程可以在視頻101的任何部分進行。例如，可以生成表示基準視頻片段的視頻特徵，並且與基準視頻信號101比較，從而確定是否存在匹配。為了示出，可以生成表示幾分鐘基準視頻的任何部分的剪輯的視頻特徵，並且根據出現場景變化的時間和它們之間的時間間隔進行匹配。此外，視頻特徵中的第一場景變化不一定對應於基準視頻信號201中的第一場景變化，但是相反可以對應於在基準視頻中許多先前場景變化之後出現的場景變化。
在所描述的圖3A的表格301表示的視頻特徵實例中，與基準視頻指紋201相似，表格301也包括所檢測的視頻中場景變化的場景起始時間，其與特定場景變化之後的場景變化之間的至少兩個時間差相關聯。換句話說，表示視頻特徵的表格301也使得場景變化與緊接著所示兩個連續場景變化之間的時間間隔配對相關聯。用這種方式，即使生成視頻特徵的設備在分析下準確地檢測到視頻的每個場景變化，甚至是在基準視頻指紋201缺乏某些場景變化的條目的情況下(即基準視頻指紋201 「錯過」場景變化)，利用基準視頻指紋201可以發現匹配。視頻特徵也可以通過包括假陽性場景變化條目的基準視頻指紋201而發現匹配。換句話說，生成視頻指紋201的過程和生成用於通過視頻指紋201匹配的視頻特徵的過程彼此對稱，以計算(account)視頻指紋201和/或視頻特徵中可能的誤差。這將在圖3B至圖31中進一步示出並在下文中討論。此外，表格301的每個條目的場景起始時間可以增加匹配的置信度。相對於進行視頻分析的時間測量場景起始時間。換句話說，在分析下的視頻場景起始時間可以不表示絕對的場景起始時間，而是相對於視頻片段開始出現場景變化的視頻片段時間，其可以不同於從基準視頻起始測量的基準視頻中的場景起始時間。因此，在絕對意義上並不意味著會處理場景起始時間值。相應的間隔配對的起始時間之間的相對差是有意義的。例如，表格301中s』i和基準視頻/[目號201中的S1之差可以與表格301中的s』 2和基準視頻信號201中的S2進行比較，從而確定該差異是否一致。因此，表格301中的條目之間相對於基準指紋201的相對場景變化起始時間之差中標記的一致性，可以增加與匹配相關聯的置信度得分。在所描述的實例中，由於每個場景起始時間之間的時間差的相似性，可以增加圖2中所示的實例視頻指紋201和表格301表示的視頻特徵之間的匹配的置信度得分。在某些實施方式中，可以生成對應於表格301和基準視頻指紋201之間匹配可能性的置信度得分。應當理解，無論是根據幀數目跟蹤的和/或根據視頻運行時間跟蹤的，場景變化檢測不會導致在表格301中的條目和基準視頻指紋201之間精確地匹配。因此，置信度得分可以至少基於表格301和視頻指紋201之差或其誤差量。在某些實施方式中，產生表格301和指紋201之間的最小誤差和/或其最小差的基準視頻指紋201可以識別為匹配。現在參考圖3B和圖3C，其示出了對應於圖1中所示視頻101的視頻特徵。在圖3B的實例中，產生對應於視頻101的視頻特徵的計算設備已經錯過在時間S，3視頻中出現的場景變化。在該實例中，儘管通過計算設備生成表格351未能檢測到場景變化，但是基準視頻指紋201仍可以與對應於表格351的視頻特徵相匹配，因為基準視頻指紋201包含考慮到可能錯過的場景變化檢測的條目。因此，如圖3C中所示，表格351表示在試圖識別視頻與其匹配的視頻指紋201中生成的視頻特徵。因為錯過在時間s』3視頻中出現的場景變化，所以表格351不包括對應於在時間s』 3開始的場景的條目。儘管由於考慮了可能錯過的場景變化檢測的條目而錯過場景變化，但是基準視頻指紋201仍可以與圖3C中所示的表格351匹配。為了示出，圖3D和圖3E示出了基準視頻指紋201和表格351中對應於視頻特徵的匹配條目。基準視頻指紋201中的條目365構成與表格351中的條目375的匹配。此外，基準視頻指紋201中的條目369構成與表格351中的條目379的匹配，等等。因此，儘管錯過場景變化S3的檢測，但是對應於表格351的框架仍可以與基準視頻指紋201相匹配。現在參考圖3F和圖3G，其示出了對應於圖1中所示視頻101的視頻特徵的可選實例。在圖3F的實例中，生成對應於視頻101的視頻特徵的計算設備已經檢測到假陽性場景變化。換句話說，在基準視頻指紋未反應相應的場景變化的視頻內的時間，已經檢測到場景變化。在圖3F中，該假陽性場景變化由表示。在圖3F的實例中，因為在時間檢測到假陽性場景變化，對應於與視頻101相關聯的視頻特徵的表格381包括對應於假陽性場景變化的其他系列的條目，其不包括在基準視頻指紋201內。在某些情況中，在基準視頻指紋201含有錯過的場景變化的情況下視頻特徵可以正確地反映場景變化，這將導致相似的情況。然而，由於本文中所描述的算法的對稱性質，對應於表格381的視頻特徵仍可以與相應的基準視頻指紋201相匹配。為了示出，圖3H和圖31示出了基準視頻指紋201和表格381中對應於視頻特徵的匹配條目。基準視頻指紋201中的條目383構成與表格381中的條目391的匹配。此夕卜，基準視頻指紋201中的條目385構成與表格381中的條目393的匹配，等等。因此，儘管檢測到假陽性場景變化，但是對應於表格381的框架仍可以與基準視頻指紋201相匹配。此外，應當理解，通過使用本文中所描述的方法，可以使得包括假陽性和/或錯過的場景變化檢測的不同組合的視頻特徵與基準視頻指紋201相匹配。此外，儘管以上所述的方法可以導致基準視頻和/或在分析中的視頻的可能錯過場景檢測，但是通過擴展視頻指紋使兩個以上的時間間隔和相關聯的其他間隔的置換關聯，可以提高抗誤差穩健性，從而導致錯過的場景變化檢測。換句話說，代替將視頻指紋限制為與緊接著兩個場景變化相關聯的時間間隔配對，可以擴展視頻指紋使得場景變化與緊接著三個、四個、或任意數目的隨後場景變化相關聯。在這種情況下，視頻指紋中的每個場景變化將與緊接著X個場景變化的時間間隔相關聯，其中X是任意正整數。場景變化還將與涉及與圖2中所述實例相一致的可能錯過的場景變化檢測的不同置換的時間間隔相關聯。因此，使用與以上一致的視頻指紋和匹配過程的實施方式，可以計算有效的指紋生成和與壓縮視頻指紋的匹配，用於高效地傳輸和存儲。此外，使用該設計的系統和方法能夠識別基準視頻的短節段或片段。依靠場景變化檢測和隨後的場景變化之間的時間間隔，該方法也能抗噪聲，並且可以引起基準視頻和分析中的視頻之間的編碼差異。由於自動解碼，編碼差異可以引起通過視頻攝像機(例如，行動裝置、智慧型手機、平板式計算系統、可攜式計算機)捕獲視頻、未對準取景、攝像機振動、和/或基準視頻和分析中的視頻之間的幀速度的變化。該方法還能夠抗基準視頻和分析中的視頻之間的圖像質量的差異。圖像質量特性可以包括但不限於，銳度、對比度、亮度、色調、飽和度、縮放比例等。現在參考圖4，其示出了可以實施本公開的實施方式的至少一個計算設備401的實施方式。計算設備401所描述的結構可以是根據以上所述方法生成對應於視頻的視頻指紋的結構。計算設備401可以包含，例如，伺服器計算機或提供計算性能的任何其他系統。或者，可以使用例如布置在一個或多個伺服器庫(server bank)或計算機庫(computerbank)或其他裝置中的多個計算設備401。例如，多個計算設備401可以共同包含雲計算資源、網格計算資源、和/或任何其他分布式計算裝置。計算設備401可以位於一個裝置中或可以分布在許多不同地理位置之間。為了方便起見，計算設備401在本文中認為是單數。即使認為計算設備是單數，要理解的是，如上所述在不同的裝置中可以使用多個計算設備401。計算設備401可以包含，例如，基於處理器的系統，如計算機系統。該計算機系統可以概括為桌上型計算機、膝上型計算機、個人數字助理、行動電話、機頂盒、音樂播放器、移動計算設備、平板計算機系統、遊戲控制器、或具有相似性能的其他設備。存儲在數據存儲402中的數據包括，例如，與不同視頻相關聯的視頻數據403，視頻指紋405和元數據407可以相關聯，以及關於根據本公開的實施方式的系統指示的視頻的潛在其他數據。通過唯一識別視頻的視頻標識符404可以指示對應於特定視頻的條目。應當理解，數據存儲402可以表示相關的或不相關的資料庫或也可以在計算設備401通過網絡可以訪問的專用計算系統中執行的其他數據存儲系統。在圖4的實例中，計算設備401可以執行視頻指紋識別應用程式411，其可以接收視頻413作為輸入，並如上所述生成視頻指紋415。換句話說，視頻指紋識別應用程式411可以生成與視頻413相關聯的基準視頻指紋405。在該意義上，視頻413可以通過基於視頻指紋415的視頻指紋405和/或視頻標識符404指示，而視頻指紋415基於檢測的視頻內的場景變化和不同場景變化之間的時間間隔的視頻指紋識別應用程式411生成。在某些實施方式中，視頻指紋識別應用程式411可以含有促進識別視頻413內的場景變化的邏輯。在其他實施方式中，視頻指紋識別應用程式411可以依賴於應用程式編程接口提供的場景變化邏輯，其中所述應用程式編程接口訪問促進場景變化檢測的外部軟體和/或硬體邏輯。因此，在圖5中，示出了執行視頻指紋識別應用程式411的計算設備401的可選描述。在圖5的實例中，視頻指紋識別應用程式411可以接收視頻521和生成如上關於圖3A-圖3B所述的視頻特徵533。換句話說，視頻指紋識別應用程式411可以識別場景變化和視頻521中場景變化之間的時間間隔，從而生成視頻特徵533。因此，視頻指紋識別應用程式411可以確定對應於數據存儲402中的視頻數據403的視頻是否匹配視頻特徵533和返回相應視頻的視頻標識符540。應當理解，在某些實施方式中，正在觀看和/或捕獲視頻521的客戶端設備可以生成視頻特徵533，利用客戶端設備生成的至少一部分視頻特徵533提交請求給視頻指紋識別應用程式411從而尋找匹配的視頻。例如，客戶端設備，例如正在捕獲其希望定位匹配視頻的視頻的行動裝置，可以提供包括視頻521內可以檢測的場景變化的時間列表的部分視頻特徵。因此，視頻指紋識別應用程式411可以確定對應於如上關於圖3A-圖3B所述的每個經識別的場景變化的連續場景變化之間的時間間隔。然後，通過識別匹配具有最高置信度的視頻特徵533的視頻指紋405，視頻指紋識別應用程式411可以識別數據存儲中匹配的視頻。接著參考圖6，示出了根據不同實施方式的用於生成視頻指紋的一部分視頻指紋識別應用程式411的操作的一個實例的流程圖。要理解的是，圖6的流程圖僅僅提供了如本文中所描述可以用於執行一部分視頻指紋識別應用程式411的操作的許多不同類型的功能布局的實例。作為替代，圖6的流程圖可以視為描述了根據一種或多種實施方式在計算設備401中執行的方法的步驟的實例。在一種實施方式中，為了生成對應於視頻的基準視頻指紋，在單元601中檢測視頻內的多個場景變化。如上所述，利用提供訪問硬體和/或軟體邏輯促進場景變化檢測的場景變化檢測API可以檢測場景變化。在單元603中，檢測視頻中出現場景變化的時間。在單元605中，視頻指紋識別應用程式411可以檢測視頻中鄰近場景變化之間的時間間隔。最後，在單元607中，視頻指紋識別應用程式411可以基於出現場景變化的時間和鄰近場景變化之間的時間間隔生成視頻指紋，其中所述指紋還考慮如上所述可能錯過或假陽性場景變化檢測。接著參考圖7，示出了根據不同實施方式的用於識別資料庫或其他視頻指紋資料庫中視頻特徵匹配的基準視頻指紋的一部分視頻指紋識別應用程式411的操作的一個實例的流程圖。要理解的是，圖7的流程圖僅僅提供了如本文中所描述可以用於執行一部分視頻指紋識別應用程式411的操作的許多不同類型的功能布局的實例。作為替代，圖7的流程圖可以視為描述了根據一種或多種實施方式在計算設備401中執行的方法的步驟的實例。首先，在單元701中，可以檢測視頻中的場景變化，以及在單元703中識別視頻中出現場景變化的時間。在單元705中，確定鄰近的場景變化之間的時間間隔。在單元707中，生成描述出現場景變化的時間和隨後的場景變化之間的時間間隔的視頻特徵。在單元709中，視頻指紋識別應用程式411識別基準視頻指紋是否匹配生成的視頻特徵。如上所述，關於對應於視頻的基準視頻指紋識別描述的某些或所有功能可以在客戶端中執行。此外，在某些實施方式中，客戶端設備可以利用集成的視頻攝像機記錄視頻源和將視頻和/或來自視頻的場景變化數據提交給執行視頻指紋識別應用程式411的計算設備，其可以確定視頻是否匹配基準視頻指紋。在其他實施方式中，視頻指紋識別應用程式411可以掃描視頻集合，並且分析視頻的場景變化特性，從而在資料庫中識別可能匹配的基準視頻指紋。應當理解，與本公開相一致可以使用應用生成和匹配視頻指紋的過程的許多其他變形。圖8示出了根據本公開的實施方式包含計算機伺服器或等同設備的計算設備401的一個實例。計算設備401可以包括具有處理器803和存儲器806的一個或多個處理器電路，處理器803和存儲器806同時耦合本地接口 809。在這方面，可以理解為本地接口 809可以包含例如數據總線以及附隨的控制總線/地址總線。存儲在存儲器806中由處理器803可執行的是不同的構成部分，例如作業系統813、視頻指紋識別應用程式411和其他應用程式或數據。此外，要理解的是，許多其他構成部分可以存儲在存儲器806中，並且由處理器803執行。而且，可以理解為這些構成部分可以位於計算設備401的外部存儲器中。如上所述，許多構成部分存儲在存儲器806中，並且可以由處理器803執行。在這方面，術語「可執行的」是指最終可以由處理器803運行的形式的程序文件。可執行程序的實例可以是，例如，可以轉換成可裝載到存儲器806的隨機存取部分和由處理器803執行的機器代碼的編譯程序，或以合適形式表述的原始碼，例如能夠裝載到存儲器806的隨機存取部分和由處理器803執行的目標代碼。可執行程序可以存儲在存儲器806的任何部分或部件中，包括例如，隨機存取存儲器、只讀存儲器、硬碟驅動器、光碟(CD)、軟盤或其他存儲部件。本文中將存儲器806限定為易失性存儲器和非易失性存儲器與數據存儲部件。易失性部件是那些一旦停電就不能保存數據值的部件。非易失性部件是那些一旦停電還能保存數據的部件。因此，存儲器806可以包含，例如，隨機存取存儲器(RAM)、只讀存儲器(ROM)、硬碟驅動器、通過相關聯的軟盤驅動器訪問的軟盤、通過光碟驅動器訪問的光碟、通過合適的磁帶驅動器訪問的磁帶和/或其他存儲部件、或這些存儲部件的任何兩個或更多個的組合。此外，RAM可以包含，例如，靜態隨機存取存儲器(SRAM)、動態隨機存取存儲器(DRAM)、或磁隨機存取存儲器(MRAM)和其他這些設備。ROM可以包含，例如，可編程只讀存儲器(PR0M)、可擦除可編程只讀存儲器(EPR0M)、電可擦除可編程只讀存儲器(EEPROM),或其他相似的存儲器設備。此外，處理器803可以表示多個處理器，存儲器806可以表示並行運行的多個存儲器。在這種情況下，本地接口 809可以是促進在多個處理器中任意兩個處理器之間通信、在任意處理器和任意一個存儲器之間通信、或在任意兩個存儲器之間通信等的合適的網絡。處理器803可以是本領域的普通技術人員可以理解的電氣結構、光學結構或某些其他結構。執行作業系統813控制諸如存儲器的硬體資源的分配和使用與計算設備401中的處理時間。本領域的普通技術人員一般都知道，用這種方式，伺服器作業系統813用作應用程式依賴的基礎。儘管以上關於圖1-圖7將不同部件的功能描述為，例如，視頻指紋識別應用程式411，體現在以上所述的通用硬體執行的軟體或代碼，但是作為替代也可以體現在專用硬體或軟體/通用硬體和專用硬體的組合中。如果體現在專用硬體中，那麼這些部件的功能可以實施為使用任何一種技術或許多技術的組合的電路或狀態機。這些技術可以包括，但不限於，具有一旦應用一個或多個數據信號就執行不同邏輯功能的邏輯門的離散邏輯電路、具有合適的邏輯門的專用集成電路、可編程門陣列(PGA)、現場可編程門陣列(FPGA)或其他部件等。本領域的普通技術人員一般已知這些技術，因此，本文中不再詳細描述。圖6和圖7的流程圖示出了在計算設備401上執行的功能和功能操作。如果體現在軟體中，那麼每個方框可以表示模塊、段、或包含用於執行具體邏輯功能的程序指令的部分代碼。可以通過原始碼或機器代碼的形式體現程序指令，其中原始碼包含用程式語言書寫的人類可讀語句，機器代碼包含合適的執行系統可識別的數字指令，例如計算機系統或其他系統中的處理器。機器代碼可以是從原始碼等轉換的。如果體現在硬體中，那麼每個方框可以表示用於執行具體邏輯功能的電路或許多互連電路。儘管流程圖示出了執行的特定順序，但是要理解的是，執行順序可以不同於所描述的順序。例如，可以相對於所示順序打亂兩個或更多個方框的執行順序。而且，流程圖中連續示出的兩個或更多個方框可以同時執行或部分同時執行。此外，為了提高效用、計數、性能測量或提供發現並修理故障的幫助等，也可以將許多計數器、狀態變量、警告信號量或消息增加至本文中所描述的邏輯流。要理解的是，所有這些變量均在本公開的保護範圍內。而且，在以軟體或代碼的形式表述所公開系統的功能的情況中，所公開系統的功能可以體現在通過或關於指令執行系統使用的任何計算機可讀介質中，例如，計算機系統或其他系統中的處理器。在這個意義上，功能可以包含，包括可以從計算機可讀介質獲取和由指令執行系統執行的指令和聲明的語句。在本公開的背景中，「計算機可讀介質」可以是含有、存儲、或保存通過或關於指令執行系統使用的網頁的任何介質。計算機可讀介質可以包含許多物理介質中的任何一個，例如，電介質、磁介質、光學介質或半導體介質。合適的計算機可讀介質的更多具體實例包括但不限於，磁帶、磁軟盤、磁硬碟驅動器或光碟。而且，計算機可讀介質可以是隨機存取存儲器(RAM)，其包括例如靜態隨機存取存儲器(SRAM)和動態隨機存取存儲器(DRAM)或磁隨機存取存儲器(MRAM)。此外，計算機可讀介質可以是只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPR0M)、電可擦除可編程只讀存儲器(EEPROM)或其他類型的存儲設備。應當強調，本發明的以上所述實施方式僅僅是可能的實施方式的例子，闡述以上所述實施方式是為了清晰地理解本發明的原理。在基本不偏離本發明的精神和原理的情況下，可以對本發明的以上所述實施方式進行許多改變和改進。所有這些改進和改變均包括在本公開和本發明的保護範圍內，並且由權利要求書保護。
權利要求
1.一種在至少一個計算設備中執行的方法，所述方法包括以下步驟: 檢測視頻中的多個場景變化；和 至少基於一個子集的所述多個場景變化之間的各自的時間間隔生成視頻指紋。
2.根據權利要求1所述的方法，其中，所述生成視頻指紋的步驟進一步包含: 識別視頻片段中的第一場景變化； 識別鄰近所述第一場景變化且在所述第一場景變化之後的第二場景變化，並確定所述第一場景變化和所述第二場景變化之間的第一時間間隔；和 識別鄰近所述第二場景變化且在所述第二場景變化之後的第三場景變化，並確定所述第二場景變化和所述第三場景變化之間的第二時間間隔； 其中，所述視頻指紋包含第一指紋配對，所述第一指紋配對包含所述第一時間間隔和所述第二時間間隔。
3.根據權利要求2所述的方法，進一步包括以下步驟: 識別鄰近所述第三場景變化且在所述第三場景變化之後的第四場景變化，並確定所述第三場景變化和所述第四場景變化之間的第三時間間隔。
4.根據權利要求3所述的方法，其中，所述視頻指紋進一步包含第二指紋配對，所述第二指紋配對包含所述第一時間間隔、以及所述第二時間間隔與所述第三時間間隔之和。
5.根據權利要求3所述的方法，其中，所述視頻指紋進一步包含第三指紋配對，所述第三指紋配對包含所述第 三時間間隔、以及所述第一時間間隔與所述第二時間間隔之和。
6.根據權利要求5所述的方法，其中，所述第一指紋配對、所述第二指紋配對和所述第三指紋配對在所述視頻指紋中與所述第一場景變化相關聯。
7.根據權利要求5所述的方法，其中，所述視頻指紋進一步包含與所述第一場景變化相關聯的第一場景變化起始時間。
8.根據權利要求3所述的方法，其中，所述視頻指紋進一步包含第四指紋配對，所述第四指紋配對包含所述第二時間間隔和所述第三時間間隔。
9.一種系統,包括: 至少一個計算設備；和 在所述至少一個計算設備中執行的視頻指紋識別應用程式，所述視頻指紋識別應用程式包含: 檢測視頻中的多個場景變化的邏輯； 識別所述視頻中出現所述場景變化的時間的邏輯； 至少基於所述視頻中出現所述場景變化的時間生成視頻特徵的邏輯；和至少基於所述視頻中出現所述場景變化的時間確定所述視頻特徵是否匹配視頻指紋的邏輯。
10.一種系統,所述系統包括: 用於檢測視頻中多個場景變化的裝置；和 用於通過識別視頻片段中的第一場景變化、識別鄰近所述第一場景變化且在其之後的第二場景變化、確定所述第一場景變化和所述第二場景變化之間的第一時間間隔以及識別鄰近所述第二場景變化且在其之後的第三場景變化、以及確定所述第二場景變化和所述第三場景變化之間的第二時間間隔，從而至少基於至少一個子集的所述多個場景變化之間的各自的時間間隔生成視頻指紋的裝置，其中所述視頻指紋包含第一指紋配對，所述第一指紋配對包含所述第一 時間間隔和所述第二時間間隔。
全文摘要
本發明涉及用於指紋識別視頻的系統和方法。本發明公開了生成視頻指紋的不同實施方式。可以檢測視頻中的場景變化，基於出現場景變化的時間和相對於鄰近場景變化的場景變化之間的時間間隔生成視頻指紋。可以捕獲視頻並通過比較視頻中檢測到的場景變化和視頻指紋描述的場景變化來分析。
文檔編號G06K9/00GK103198293SQ20121037136
公開日2013年7月10日 申請日期2012年9月28日 優先權日2011年12月22日
發明者艾克·艾基齊安, 馬庫斯·凱勒曼 申請人:美國博通公司