用於識別視頻檔案中的對象的方法
2023-09-12 14:00:50
專利名稱：用於識別視頻檔案中的對象的方法
技術領域：
本發明屬於在視頻檔案中搜索信息的領域，並且更特別地涉及一種用於識別視頻檔案中的對象的方法和設備，該視頻檔案包括從照相機網絡中獲得的多個圖像。
本發明還涉及一種在記錄媒介上所記錄的電腦程式，當其在計算機上執行時能夠用於實現根據本發明的方法。
背景技術：
現代資料庫使得能夠存檔數量不斷增加的不同類型(數據、文本、音頻、視頻等) 的信息。使用資料庫的效率主要取決於用於在資料庫中構造數據的模型。
在一種分級模型中，根據具有層級的樹形結構來組織信息，僅可從該樹形結構的根部進行訪問。
這種表示方式的主要不足之處源自於存在訪問由分級樹的根組成的信息的唯一點的事實，這導致搜索信息中的問題。
還可以根據圖表形式的網絡模型來組織數據，其中利用邏輯指針將存檔的實體相互連結。
面向對象的資料庫同樣是公知的，其能夠存儲對象中的多種信息，該對象例如單個表格、機器、資源等，值和屬性與它們相關聯。
多種搜索途徑已經提出了一種用於資料庫的語義模型，其中根據概念圖來組織數據，該概念圖由語義上相互連結的概念的集合表示構成。然而，仍然沒有可用的語義模塊。
無論資料庫的類型是什麼，根本問題源自於特別難於迅速地識別包含大量圖像的資料庫的視頻檔案中的對象的事實，特別是當被搜索對象上有很少信息可用時。
例如，基於簡單的描述，在包含數千小時記錄的視頻監視檔案中搜索一個之前沒有被識別的個體期間，這種情況會發生。
在這種情況下，當前必須手動瀏覽所有被記錄的視頻檔案。
除了這個過程非常複雜之外，並且如果視頻監視攝像機網絡中的攝像機數量越大，這些網絡的密度越大，則情況更是如此，這對於搜索運行個體情形下的緊急情況是不適用的。此外，這意味著禁止了與需要快速進行調查相矛盾的分析時期。
本發明的一個目的是通過自動分析來優化在這種資料庫中的操作，以便加速視頻檔案中的搜索過程。
本發明的另一個目的是使得操作員能夠訪問各種各樣視頻資料庫中出現的對象的結構化的可視概要。
本發明的另一個目的是給予操作員優化的工具，用於通過交互式搜索策略在資料庫中操作。
發明內容
這些目的通過一種用於識別視頻檔案中的對象的方法來實現，所述視頻檔案包括在攝像機網絡中獲得的許多圖像，所述方法包括對要識別的對象進行特徵描述的階段和在所述檔案中搜索所述對象的階段，其中，所述特徵描述階段包括為所述對象定義至少一個語義特徵，所述語義特徵能夠從所述視頻檔案中被提取出來，即使對低解析度的圖像也是如此，並且所述語義特徵能夠直接由操作員解釋，其中，所述搜索階段包括根據之前定義的語義特徵從所述視頻檔案中過濾所述圖像，從所述檔案中自動提取包含具有所述語義特徵的對象的圖像，定義一組對象，所述一組對象包括所述視頻檔案中出現的具有所述語義特徵的所有對象，以及根據與所述攝像機網絡覆蓋的空間中的所述要識別的對象的路線有關的視覺和時空特徵來度量所述要識別的對象與之前定義的組中的每個其他對象之間的相似性。
根據本發明的另一個特徵，相似性度量的步驟包括如下步驟 -評估所述要識別的對象的語義特徵與從之前定義的組中的其他對象的圖像中提取的語義特徵之間的一致性(compatibility)，和/或， -評估所述要識別的對象的路線與之前定義的組中的另一個對象的路線之間的時空一致性，其中，所述另一個對象具有類似的語義特徵，並且不具有與所述要識別的對象的特徵不一致的任何特徵。
根據本發明的方法優選地還包括將概率係數分配給每一個相似性度量的步驟。
根據本發明的方法還包括如下步驟合併相似性度量步驟的結果，以便定義單個統一的相似性度量，使得能夠定義在所述要識別的對象的空間中的距離。
此外，根據本發明的方法包括通過之前定義的距離，進行感興趣對象的空間的動態構造，以便能夠利用分層樹在所述視頻檔案中交互操作。
本發明可以應用於對於人的搜索，其中所述要識別的對象是一個僅能獲得簡單描述的人。在這樣的應用中，這個人的語義特徵由可視的身體特徵和/或可視的附屬物組成。
本發明特別有利於搜索視頻檔案中的嫌疑人，該視頻檔案包括在遠程監視攝像機網絡覆蓋的空間中分布的多個攝像機拍攝的多個視頻序列。
根據本發明的方法通過用於識別視頻檔案中的對象的設備來實現，所述視頻檔案包括在攝像機網絡中獲得的許多圖像，所述設備的特徵在於其包括特徵描述模塊，用於對要識別的對象進行特徵描述；和搜索模塊，用於在所述檔案中搜索所述對象，其中，所述特徵描述模塊包括用於為所述對象定義至少一個語義特徵的模塊，所述語義特徵能夠從所述視頻檔案中被提取出來，即使對低解析度的圖像也是如此，並且所述語義特徵能夠直接由操作員解釋，其中，所述搜索模塊包括用於根據之前定義的語義特徵從所述視頻檔案中過濾所述圖像的模塊，用於從所述檔案中自動提取包含具有所述語義特徵的對象的圖像的模塊，用於定義一組對象的模塊，所述一組對象包括所述視頻檔案中出現的具有所述語義特徵的所有對象，以及用於根據與所述攝像機網絡覆蓋的空間中的所述要識別的對象的路線有關的視覺和時空特徵來度量所述要識別的對象與之前定義的組中的每個其他對象之間的相似性的模塊。
優選地，用於相似形度量的模塊包括 -第一計算模塊，其配置來評估所述要識別的對象的語義特徵與從之前定義的組中的其他對象的圖像中提取的語義特徵之間的一致性，和/或， -第二計算模塊，其配置來評估所述要識別的對象的路線與之前定義的組中的另一個對象的路線之間的時空一致性，其中，所述另一個對象具有與所述要識別的對象的語義特徵類似的語義特徵。
根據本發明的方法在所述設備中通過記錄在記錄介質上的電腦程式來實現，當其在計算機上執行時適於識別視頻檔案中的對象，所述視頻檔案包括在攝像機網絡中獲得的許多圖像，其中，所述電腦程式包括用於執行對要識別的對象進行特徵描述的階段的指令和用於執行在所述檔案中搜索所述對象的階段的指令，其中，所述特徵描述階段包括為所述對象定義至少一個語義特徵，所述語義特徵能夠從所述視頻檔案中被提取出來，即使與低解析度圖像有關，並且能夠直接由操作員解釋，其中，所述搜索階段包括根據之前定義的語義特徵從所述視頻檔案中過濾所述圖像，從所述檔案中自動提取包含具有所述語義特徵的對象的圖像，定義一組對象，所述一組對象包括所述視頻檔案中出現的具有所述語義特徵的所有對象，以及根據視覺特徵和所述攝像機網絡覆蓋的空間中的所述要識別的對象的時空路線上的約束來度量所述要識別的對象與之前定義的組中的每個其他對象之間的相似性。
參考附圖，本發明的其他特性和優點在下面的描述中將更清晰，該描述作為非限制性的實例而給出。
具體實施例方式本發明將在一特定應用的環境中被描述，其中考慮了現有的視頻監視攝像機的擴展網絡，例如城市交通網絡或機場網絡。我們採用對事件(攻擊、盜竊、恐怖事件)之後的調查的特定環境的觀察。
還可以預先假定多個目擊證人給出了嫌疑人的描述。然後迅速地確定目標為找到事件的圖像(如果任何圖像存在的話)，以及發現攝像機網絡所覆蓋的區域內嫌疑人的完整路線，以便確定時空路線並識別他們。
傳統的方式包括瀏覽由接近事件發生位置的攝像機和非常接近目擊證人指示的位置的攝像機拍攝的圖像，以便在視頻攝製檔案中識別該事件。
本發明建議的方式包括利用目擊證人給出的描述來組織對嫌疑人的搜索，並且在優化對視頻監視檔案中的圖像的搜索之前過濾數據。
為了達到這個目的，由目擊證人給出的嫌疑人的描述被用來定義與嫌疑人有關的語義信息。從而，其可以例如是高的、非常瘦、穿著長款黑色外套並且帶著墨鏡，而且有鬍鬚和長頭髮。根據本發明的方法能夠使用一些這樣的特徵，並且它們能夠被直接編入到系統中。
隨後自動預處理存在於檔案中的所有視頻數據。這種預處理包括以下步驟 -分析所有移動對象並跟蹤他們，特別考慮堵塞和停止； -偵查檔案圖像中的人； -利用專用算法來表徵每個被識別的人，該算法基於特定的輸入，在輸出端給出語義屬性列表，並且對於每個屬性給出信任度度量、概率度量和/或似然性度量。
在本發明的優選實施例中，可以通過由高斯混合模型化場景(其中背景是固定的)來實現移動檢測，可以通過卡爾曼(Kalman)濾波器來實現跟蹤，並且隨後通過本地分析來完成，該本地分析例如利用SIFT或SURF類型的本地描述，或者可能更簡單且更不常見的模型化形式，以便解決由堵塞導致的模糊性。
在這個實施例中，例如通過如下方式獲取人員的檢測通過使用級聯分類器技術 (例如Adaboost 和Hmr濾波器技術)來檢測臉部，然後可能通過形體分析得出完整的身體輪廓，該形體分析可能需要基於學習技術來考慮自然規律係數或各個檢測器。
用來表徵每個人的專用算法是優選的，例如，能夠指示某個個體具有長頭髮還是短頭髮、有沒有鬍鬚、是圓臉還是長臉、是矮胖的還是修長的輪廓等的分類器。
有利地針對被提取信息的每個要素給出響應可靠性的度量。這些特徵描述(或從圖像提取的描述符)可以直接被操作員解釋並能夠直接關聯到在目擊證人說明期間收集的語義信息。此外，即使對於低解析度的圖像也可以計算它們。實際上，沒有必要使用與一張臉有關的由數百像素組成的寬度來確定一個人是否戴了眼鏡。
在優選實施例中，利用下面描述的方法獲取分類器 -從與提取的極小特徵相關的描述符中局部地提取圖像(例如，為了確定一個人是否有鬍鬚，考慮臉部檢測模型的下半部)；這些描述符例如可以是顏色柱狀圖、梯度、表徵紋理的空間分布特性、對濾波器(例如Gabor濾波器)的響應等； -然後由機器學習來構造分類器，以便指出哪些臉具有「鬍鬚」特徵；一種可選的方法包括學習特定於這些特徵的距離度量，並然後使用這些特定距離來確定與某些語義方面有關的的兩張臉之間的接近度或區別。可靠性度量可以由分類器直接提供。也可以在事件之後模型化，例如，通過將之前的輸出轉換為概率。另外，考慮到檔案圖像的質量，還可能啟用多個標準，以便確定極小特徵中語義特徵的評估是否可靠。因此，一張非常雜亂的圖像，或者一張人工壓縮後生成的高度失真的圖像是非常難以分析的，在這種情況下，這種評估很自然地不太安全且不太可靠。
-當時空信息可用則啟動要被連結的攝像機，這用來建立在不同攝像機中進行的觀察之間的第一連結。
因此，如果各個攝像機的相對位置和查看領域的區域被獲知，能夠建立在不同攝像機中的移動之間的與時空相關的一致性；這點特別地使得通過了解移動速度，能夠得出一個全局速度已經被測量的實體不會在某個時期之前出現在視頻中，並且可能會在一預測時期附近出現。該時空一致性約束可以是二元的(同一時間一個人不會出現在兩個地方)， 或者含糊不清的(不確定的信任值，即較大或較小的概率)。利用這些約束，多個攝像機之間的觀察可以彼此關聯，且因此在資料庫中的所有實體之間建立了或多或少的複雜和可靠的關係。
根據前述的這一點，由與在至少一個視頻中看到的每個個體相關聯的語義數據的資料庫來表示視頻監視檔案。
構造語義資料庫包括以下步驟 -使用目擊證人給出的描述。該描述包括語義特徵，可能具有相關聯的信任度度量，依賴於目擊證人的記憶力以及聲明的一致性； -利用所述語義特徵在資料庫中應用濾波器，僅保留那些具有這些特徵的個體，並排除沒有這些特徵的所有個體； -所有具有相似外貌的個體以分層方式被編組；換句話說，基於相似性標準來對個體編組，為每個組以及每個子組建立該組的個體的共同特徵描述。如果個體之間的相似性度量是基於語義標準，那麼分層編組還可以被限定為語義。因此，不會僅僅由於他們彼此相像(兩個個體穿著幾乎相同的衣服)的事實而將兩個圖像編組，還因為他們具有一個或多個共同的描述信息元素(例如，兩個個體有鬍鬚並戴著墨鏡)。有利地，資料庫的結構可以是動態的。為了這個目的，只需要添加、刪除或修改用於分層結構的語義標準以使其能夠被更新，從而反映操作員的期望。因此，有可能限定關於肥胖的信息項目的可靠性，或者添加一條新的信息項目來考慮臉部形狀以及是否戴了帽子。還可以想到的是，可以自動地向用戶建議新的結構形式。
當資料庫已經被構造，用戶就能夠根據個體以及他們的特徵在資料庫中高效地操作，並且不再根據攝像機和時間流逝。
當個體被指定時，相應的視頻序列可以被瀏覽；這種指定使得可視的外貌能夠被更精確地指定，其使得相似性度量能夠被完成。此外，提供考慮了個體的位置的時空信息。 因此，再次對之前過濾的資料庫進行過濾，以排除採集位置和日期與該指定的個體的正常移動的時空約束不匹配的所有個體。
通過與移動有關的時空約束(由於距離可以被估計，所以能夠計算出可能的速度，並定義最大速度)，根據語義要素、外貌特徵以及這確實是指定的個體的概率的組合來對剩餘的個體進行排序。接著，通過利用時空約束、語義屬性和外貌標準來瀏覽檔案，而不需要考慮攝像機的選擇或數據的時間戳，用戶能夠瀏覽這個排序後的列表並能夠採用非常高效且非常迅速的方式跟蹤和反向跟蹤(其包括及時返回)該被指定的個體。
附圖描述了根據上述應用背景下的本發明的方法的主要步驟。
在Tl階段過程中，由攝像機網絡4記錄場景圖像(步驟幻，所述攝像機網絡包括地理上分布於被監視區域的多個攝像機。
在步驟6中，選擇要在其中分析被記錄的圖像的時間範圍。
在T2階段過程中，被記錄的圖像中的個體被檢測(步驟8)並生成該檢測到的個體的小圖像(步驟10)。
在T3階段過程中，提取所述小圖像的語義特徵(步驟12)。其隨後被編碼和索引。
在步驟14中，具有一個或多個描述的共同信息項目的小圖像被編組在一起。在步驟16中，生成具有圖像的可視概要的文件，然後在步驟18中進行顯示。
T4階段描述了操作員20對在T1-T3階段過程中構造的資料庫的使用。
在步驟22中，操作員指定拍攝的事件的時間範圍。
在步驟M中，操作員經由用戶接口提供搜索個體的屬性。系統顯示(步驟26)從之前的步驟過程中已經生成的被構造的資料庫中過濾的圖像。
上面描述的特定實施例被應用於個體。可以將該概念更寬泛地應用於其他實體， 例如交通工具。
權利要求
1.一種用於識別視頻檔案中的對象的方法，所述視頻檔案包括在攝像機網絡中獲得的許多圖像，所述方法的特徵在於其包括對要識別的對象進行特徵描述的階段和在所述檔案中搜索所述對象的階段，其中，所述特徵描述階段包括為所述對象定義至少一個語義特徵，所述語義特徵能夠從所述視頻檔案中被提取出來，即使對低解析度的圖像也是如此，並且所述語義特徵能夠直接由操作員解釋，其中，所述搜索階段包括根據之前定義的語義特徵從所述視頻檔案中過濾所述圖像， 從所述檔案中自動提取包含具有所述語義特徵的對象的圖像，定義一組對象，所述一組對象包括所述視頻檔案中出現的具有所述語義特徵的所有對象，以及根據與所述攝像機網絡覆蓋的空間中的所述要識別的對象的路線有關的視覺和時空特徵來度量所述要識別的對象與之前定義的組中的每個其他對象之間的相似性。
2.根據權利要求1所述的方法，其中，所述相似性的度量包括如下步驟-評估所述要識別的對象的語義特徵與從所述之前定義的組中的其他對象的圖像中提取的語義特徵之間的一致性，和/或，-評估所述要識別的對象的路線與所述之前定義的組中的另一個對象的路線之間的時空一致性，其中，所述另一個對象具有類似的語義特徵，並且不具有與所述要識別的對象的特徵不一致的任何特徵。
3.根據權利要求2所述的方法，還包括如下步驟將概率係數分配給每一個相似性度量。
4.根據權利要求3所述的方法，還包括如下步驟合併相似性度量步驟的結果，以便定義單個統一的相似性度量，使得能夠定義在所述要識別的對象的空間中的距離。
5.根據權利要求3所述的方法，還包括如下步驟通過所述距離，進行所述要識別的對象的空間的動態構造，以便能夠利用分層樹在所述視頻檔案中交互操作。
6.根據權利要求5所述的方法，其中，所述要識別的對象是人類。
7.根據權利要求6所述的方法，其中，所述人類的語義特徵包括可視的身體特徵。
8.根據權利要求6所述的方法，其中，所述人類的語義特徵包括可視的服裝配件。
9.一種用於識別視頻檔案中的對象的設備，所述視頻檔案包括在攝像機網絡中獲得的許多圖像，所述設備的特徵在於其包括特徵描述模塊，用於對要識別的對象進行特徵描述；和搜索模塊，用於在所述檔案中搜索所述對象，其中，所述特徵描述模塊包括用於為所述對象定義至少一個語義特徵的模塊， 所述語義特徵能夠從所述視頻檔案中被提取出來，即使對低解析度的圖像也是如此，並且所述語義特徵能夠直接由操作員解釋，其中，所述搜索模塊包括用於根據之前定義的語義特徵從所述視頻檔案中過濾所述圖像的模塊，用於從所述檔案中自動提取包含具有所述語義特徵的對象的圖像的模塊，用於定義一組對象的模塊，所述一組對象包括所述視頻檔案中出現的具有所述語義特徵的所有對象，以及用於根據與所述攝像機網絡覆蓋的空間中的所述要識別的對象的路線有關的視覺和時空特徵來度量所述要識別的對象與之前定義的組中的每個其他對象之間的相似性的模塊。
10.根據權利要求9所述的設備，其中，所述用於度量相似性的模塊包括-第一計算模塊，其配置來評估所述要識別的對象的語義特徵與從所述之前定義的組中的其他對象的圖像中提取的語義特徵之間的一致性，和/或，-第二計算模塊，其配置來評估所述要識別的對象的路線與所述之前定義的組中的另一個對象的路線之間的時空一致性，其中，所述另一個對象具有與所述要識別的對象的語義特徵類似的語義特徵。
11. 一種記錄在記錄介質上的電腦程式，當其在計算機上執行時適於識別視頻檔案中的對象，所述視頻檔案包括在攝像機網絡中獲得的許多圖像，其中，所述電腦程式的特徵在於其包括用於執行對要識別的對象進行特徵描述的階段的指令和用於執行在所述檔案中搜索所述對象的階段的指令，其中，所述特徵描述階段包括為所述對象定義至少一個語義特徵， 所述語義特徵能夠從所述視頻檔案中被提取出來並且能夠直接由操作員解釋，其中，所述搜索階段包括根據之前定義的語義特徵從所述視頻檔案中過濾所述圖像，從所述檔案中自動提取包含具有所述語義特徵的對象的圖像，定義一組對象，所述一組對象包括所述視頻檔案中出現的具有所述語義特徵的所有對象，以及根據視覺特徵和所述攝像機網絡覆蓋的空間中的所述要識別的對象的時空路線上的約束來度量所述要識別的對象與之前定義的組中的每個其他對象之間的相似性。
全文摘要
本發明涉及一種用於識別視頻檔案中的對象的方法，所述視頻檔案包括在攝像機網絡中獲得的多個圖像，所述方法包括對要識別的對象進行特徵描述的階段和在所述檔案中搜索所述對象的階段，其中，所述特徵描述階段包括為所述對象定義至少一個語義特徵，所述語義特徵能夠從所述視頻檔案中被提取出來，即使對低解析度的圖像也是如此。
文檔編號G06K9/62GK102187336SQ200980133643
公開日2011年9月14日 申請日期2009年8月26日 優先權日2008年8月27日
發明者M·斯圖爾澤, F·菲裡耶 申請人:歐洲航空防務和航天公司