一種基於人臉的視頻標註方法和視頻檢索方法

2023-06-14 08:17:21

一種基於人臉的視頻標註方法和視頻檢索方法
【專利摘要】本發明提供一種基於人臉的視頻標註方法和視頻檢索方法，標註方法包括：提取待標註視頻中的人臉畫面及對應的人臉特徵，將人臉特徵及其屬性信息合併後得到人臉元數據；對待標註視頻文件中獲得的所有人臉特徵進行自動特徵聚類，然後對特徵類別進行特徵篩選和特徵召回，得到特徵類別集合P2和未分類特徵集合Q2；對於P2中的各個元素，進行所屬特徵類別推薦並人工確認，對於Q2中的各個元素，進行未分類人臉特徵推薦並人工確認，對特徵類別和未分類特徵進行姓名標註，利用標註後的特徵類別與未分類人臉特徵信息組成該視頻文件的視頻標註文件。在視頻標註過程中，將程序自動推薦與人工確認結合起來，既保證了結果的準確性，又提高了效率。
【專利說明】一種基於人臉的視頻標註方法和視頻檢索方法

【技術領域】
[0001]本發明屬於視頻編目【技術領域】，具體涉及一種基於人臉的視頻標註方法和視頻檢索方法。

【背景技術】
[0002]基於人臉的視頻標註是指對視頻中包含的人臉進行提取並標註，將視頻中所有人臉標註完成並整理成標註文件，便於檢索和再利用。
[0003]現有的涉及基於人臉的視頻標註方法的專利主要有基於人臉識別或人臉聚類的視頻編目方法，例如，申請號為201110453762.3的專利申請公開了一種基於人臉識別技術的自動編目方法，具體包括:接收人臉素材庫；接收多媒體文件；根據所述視頻文件獲取關鍵幀記錄及與之對應的關鍵幀數據畫面；根據所述關鍵幀數據畫面獲取關鍵幀人臉畫面；根據所述關鍵幀人臉畫面查詢所述人臉素材庫人臉畫面信息，獲取匹配人臉素材文本信息；根據所述關鍵幀記錄對所述音頻文件進行語言識別獲取關鍵幀編目文本；根據所述關鍵幀記錄在所述關鍵幀編目文本中合併所述人臉素材文本信息，獲取編目文件。該專利解決了無法通過視頻文件自動生成基於人臉的編目文件的問題，提高了基於人臉的視頻編目的自動化程度，節省了人力成本。
[0004]但是，在實現本發明的過程中，發明人發現，上述專利申請至少具有以下不足:
[0005](I)需要提前建立人臉樣本庫:該方法需要提前建立並維護一個關鍵人物樣本庫，在人物樣本庫中預製感興趣人物的人臉樣本，藉助該人臉樣本庫對視頻進行人臉標註；
(2)僅支持對關鍵人物進行標註:該方法只能識別樣本庫中的關鍵人物，導致其他大部分人物息丟失。


【發明內容】

[0006]針對現有技術存在的缺陷，本發明提供一種基於人臉的視頻標註方法和視頻檢索方法，用以解決上述問題。
[0007]本發明採用的技術方案如下:
[0008]本發明提供一種基於人臉的視頻標註方法，包括以下步驟:
[0009]SI，當需要對某一視頻文件進行視頻標註時，導入待標註視頻文件；
[0010]S2，對所述待標註視頻文件進行鏡頭切分，得到視頻鏡頭序列；
[0011]S3，對所述視頻鏡頭序列中的每個視頻鏡頭提取若干個關鍵幀，然後對所述關鍵幀進行人臉檢測，獲得每個鏡頭中出現的各個人物的人臉圖片；其中，所述關鍵幀指視頻序列中具有代表性的視頻幀；
[0012]S4，對所述人臉圖片進行預處理；
[0013]S5，對預處理後的人臉圖片進行人臉特徵提取，得到與每張人臉圖片唯一對應的人臉特徵；
[0014]S6，獲得每一個人臉特徵的屬性信息，將人臉特徵及其屬性信息合併後即得到原始的人臉元數據；其中，所述人臉特徵的屬性信息包括:該人臉特徵所屬的視頻文件的視頻ID、該人臉特徵在所述視頻文件中所屬鏡頭的鏡頭序號、該人臉特徵在所屬鏡頭中的視頻幀序號、該人臉特徵在所屬視頻文件中出現時間、該人臉特徵對應的人臉圖片的保存路徑、該人臉特徵為未分類狀態、該人臉特徵所屬的特徵類別ID為O ;其中，該人臉特徵所屬的特徵類別ID指:該人臉特徵所屬的特徵類別在特徵類別庫中的標識，初始態時，該人臉特徵所屬的特徵類別ID為O ;該人臉特徵是否已分類具體包括兩種狀態:人臉特徵已分類狀態和人臉特徵未分類狀態，初始態時，每一個人臉特徵均為未分類狀態；
[0015]S7，將所述待標註視頻文件中獲得的所有原始的人臉元數據存入預建立的人臉特徵庫；
[0016]S8，將所述待標註視頻文件中獲得的所有人臉特徵進行自動特徵聚類，設共有N個人臉特徵，將相似度超過第一閾值的若干個人臉特徵聚為一個特徵類別，由此得到由多個特徵類別組成的特徵類別集合Po ;將與其他任何一個人臉特徵之間的相似度均低於第一閾值的人臉特徵聚合在一起，形成未分類特徵集合Qtl ；
[0017]S9，對S8形成的特徵類別集合Ptl中的每一個特徵類別進行特徵篩選，判斷每一個特徵類別中是否存在分類錯誤的人臉特徵，若存在，則將該分類錯誤的人臉特徵從其所在的特徵類別刪除，並將該分類錯誤的人臉特徵添加到未分類特徵集合Qo，由此得到篩選後的特徵類別集合P1和未分類特徵集合Q1 ;同時，在人臉特徵庫中更新特徵類別集合P1中所有人臉特徵的屬性信息，將人臉特徵從未分類狀態更新為已分類狀態；
[0018]S10，在得到特徵類別集合P1後，對於特徵類別集合P1中的每一個特徵類別P1+進行特徵類別召回操作，召回漏掉的人臉特徵，即:判斷人臉特徵庫中是否存在與特徵類別Pw相似度超過第二閾值的至少一個未分類的人臉特徵i，如果有，則將得到的各個人臉特徵i添加到推薦特徵集合FeatureSet中；然後，人工判斷推薦特徵集合FeatureSet中是否存在與特徵類別Pw屬於同一個人的人臉特徵，如果有，則將該人臉特徵i添加到特徵類別Pw中，同時將人臉特徵庫中該人臉特徵i的屬性由未分類狀態修改為已分類狀態，由此得到召回後的特徵類別集合P2和未分類特徵集合Q2 ;
[0019]S11，預建立有特徵類別庫，該特徵類別庫存儲其他多個視頻標註得到的特徵類別魚A P:? 口廣 3，
[0020]對於本次導入視頻形成的特徵類別集合P2,每當特徵類別集合P2中的一個特徵類別按S12中的方法進行標註後，即將標註後的特徵類別移入特徵類別集合P4 ;初始時，特徵類別集合P4為空；
[0021]對於特徵類別集合P2，執行S12 ;對於未分類特徵集合Q2，執行S13 ;
[0022]S12，對於特徵類別集合P2中的任何一個元素，記為特徵類別j，均執行以下步驟:
[0023]S12.1，判斷特徵類別集合P3和P4中是否存在與特徵類別j相似度超過第三閾值的特徵類別，如果存在，則執行S12.2 ;如果不存在，則執行S12.4 ；
[0024]S12.2，將與特徵類別j相似度超過第三閾值的特徵類別稱為推薦特徵類別；然後將特徵類別集合P3和P4中的所有推薦特徵類別組成一個推薦類別集合S ;然後執行S12.3 ；
[0025]S12.3，人工判斷推薦類別集合S中是否存在與特徵類別j屬於同一個人的推薦特徵類別；
[0026]如果存在，則人工選擇某個相應的推薦特徵類別Ctl,若Ctl屬於P4,則將特徵類別j併入Ctl ;若Ctl屬於P3,則向特徵類別j中增加以下標記信息:與推薦特徵類別Ctl屬於同一個人；如果Ctl對應的姓名為「陌生人」，則執行S12.4 ；
[0027]如果不存在，則不向特徵類別j中增加標記信息，然後執行S12.4 ；
[0028]S12.4，對特徵類別j進行姓名標註，若知道特徵類別j對應的人物姓名，則將特徵類別j對應的人物姓名標註到特徵類別j上，並將特徵類別j標記為已標註；然後，將特徵類別j存入特徵類別集合P4;
[0029]若不知道特徵類別j對應的人物姓名，則將特徵類別j的人物姓名標註為「陌生人」，並將特徵類別j標記為已標註；然後，將特徵類別j存入特徵類別集合P4 ；
[0030]S13，對於未分類特徵集合Q2中的任何一個元素，記為未分類人臉特徵k，均執行以下步驟:
[0031]S13.1，判斷人臉特徵庫中是否存在與未分類人臉特徵k相似度超過第四閾值的未分類人臉特徵，如果有，則將與未分類人臉特徵k相似度超過第四閾值的未分類人臉特徵稱為推薦未分類人臉特徵；然後，將人臉特徵庫中的所有推薦未分類人臉特徵組成一個推薦未分類人臉特徵集合f ;
[0032]S13.2，人工判斷推薦未分類人臉特徵集合f中是否存在與未分類人臉特徵k屬於同一個人的推薦未分類人臉特徵，如果存在，將該推薦未分類人臉特徵與未分類人臉特徵k組成一個新特徵類別，將該新特徵類別加入到S8獲得的特徵類別集合Ptl中，轉到S8重新執行S8-S12 ;同時，將該推薦未分類人臉特徵在人臉資料庫中的狀態更新為已分類狀態，將該未分類人臉特徵k在人臉資料庫中的狀態更新為已分類狀態；
[0033]如果不存在，則判斷特徵類別集合P3和P4中是否存在與未分類人臉特徵k相似度超過第五閾值的特徵類別，如果存在，則執行S13.3 ;如果不存在，則執行S13.4 ；
[0034]S13.3，將特徵類別集合P3或P4中與未分類人臉特徵k相似度超過第五閾值的特徵類別組成一個推薦類別集合T ;然後人工判斷推薦類別集合T中是否存在與未分類人臉特徵k屬於同一個人的推薦特徵類別，如果不存在，則執行S13.4 ;如果存在，則人工從推薦類別集合T中選擇某個相應的特徵類別C1，若C1屬於P4,則將未分類人臉特徵k加入到C1,並將未分類人臉特徵k標記為已分類；若C1屬於P3,則向未分類人臉特徵k中增加以下標記信息:與特徵類別C1屬於同一個人，並將未分類人臉特徵k標記為已分類；如果C1對應的姓名為「陌生人」，則執行S135 ；
[0035]S13.4，對未分類人臉特徵k進行姓名標註，若知道人臉特徵k對應的人物姓名，則對應的人物姓名標註到未分類人臉特徵k上；若不知道人臉特徵k對應的人物姓名，則將未分類人臉特徵k的人物姓名標註為「陌生人」；
[0036]S13.5，對特徵類別C1進行姓名標註，若知道特徵類別C1對應的人物姓名，則將特徵類別C1對應的人物姓名標註到特徵類別C1上，若不知道特徵類別C1對應的人物姓名，則將特徵類別C1的人物姓名標註為「陌生人」；
[0037]S14，對於增加有標記信息的特徵類別或人臉特徵，依標記信息中記載的內容，將相應的特徵類別或人臉特徵合併到特徵類別庫中對應的特徵類別中，並更新人臉特徵庫中的人臉特徵屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0038]對於未增加有標記信息的特徵類別，直接將其存儲到特徵類別庫中，並更新人臉特徵庫中相應的人臉特徵屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0039]由此形成新的特徵類別庫；
[0040]另外，利用S12得到的多個已標註姓名的特徵類別與S13得到的多個已標註姓名的未分類人臉特徵信息組成該視頻文件的視頻標註文件。
[0041]優選的，S2中，所述鏡頭切分包括針對鏡頭突變的鏡頭切分和針對鏡頭漸變的鏡頭切分。
[0042]優選的，S4中，對所述人臉圖片進行預處理，具體指:
[0043]對所述人臉圖片進行去重，所述去重指去除同一個鏡頭中同一個人重複的人臉圖片，並通過姿態判別技術判斷同一個人各張人臉圖片的姿態，保留最接近正臉的人臉圖片，並將該人臉圖片存入人臉圖片庫；其中，所述正臉指人臉正面面對鏡頭；
[0044]然後，對去重後的人臉圖片進行特徵點定位、相似變換、光照處理和姿態矯正操作。
[0045]優選的，S5中，所述人臉特徵提取具體為:從預處理後的人臉圖片查找到最具有鑑別性的描述信息並將其轉化為一個向量，該向量即為提取到的人臉特徵。
[0046]優選的，S8具體為:
[0047]S8.1，建立特徵類別集合，初始化特徵類別數Nclass為0，特徵類別集合為空；
[0048]S8.2，讀取一個未分類的人臉特徵T (η)，如果特徵類別數Nclass大於0，設特徵類別數Nclass值為b,則b個特徵類別記為Class (k), k e {I, 2，…，b};分別計算T (η)與每一個特徵類別Class (k)之間的相似度S (n, k),由此得到b個相似度S (n, k);選擇與T (η)相似度最大的特徵類別Class (k0)，對應的相似度記為S (n, k0)；
[0049]S8.3，如果S(Akci)大於或等於閾值Th，則認為人臉特徵T(n)屬於特徵類別Class (k0),將T (η)添加到Class (k0)中，並將T (η)標記為已分類，轉到S8.6 ；
[0050]反之，如果S(Akci)小於閾值Th，則認為人臉特徵T (η)不屬於已有的特徵類別，轉到 S8.4 ；
[0051]S8.4,遍歷其他未分類的人臉特徵T (m),計算T (η)與T (m)之間的相似度S (n, m)；選擇與T (η)相似度最大的特徵T (Hi0)，對應的相似度記為S (n, m0)；
[0052]S8.5,如果S(n，mQ)大於或等於閾值Thl,則認為人臉特徵T (η)與T (mQ)屬於同一個人，創建一個新的特徵類別Class (Nclass+1),將T (η)與T (m0)添加到Class (Nclass+1)中，並將Nclass增加I ;並將T(n)與T (Hici)標記為已分類；
[0053]反之，如果S (n, k0)小於閾值Th，轉到S8.6 ；
[0054]S8.6，判斷是否還有未處理的人臉特徵，如果有，則轉到S8.2，否則結束操作步驟；由此形成的多個特徵類別即組成特徵類別集合Ptl ;由此形成的多個未分類特徵即組成未分類特徵集合Q(|。
[0055]優選的，S8.2中，
[0056]所述計算T(n)與每一個特徵類別Class(k)之間的相似度S(n，k)具體包括以下步驟:
[0057]遍歷Class (k)中的N(k)個人臉特徵TC(k, m), m e {1，2，…，N(k)}，分別計算人臉特徵T(n)與人臉特徵TC(k，m)之間的相似度ST(k，m)，由此得到N(k)個相似度^!^)；
[0058]計算N(k)個相似度31^，111)的平均值Mt (k)，將平均值即為T (η)與Class(k)之間的相似度。
[0059]優選的，S9中，通過人工檢查方式對每一個特徵類別進行特徵篩選。
[0060]優選的，SlO中，推薦特徵集合FeatureSet通過以下方法獲得:
[0061]S10.1,新建推薦特徵集合FeatureSet,初始化特徵數NFeature為O,特徵集合為空；將特徵類別Pw記為特徵類別Class (k)；
[0062]S10.2,讀取一個人臉特徵庫中未分類的人臉特徵T (η),計算T (η)與特徵類別Class (k)的相似度 S (n, k)；
[0063]S10.3，gS(n，k)大於或等於閾值Th2，則認為人臉特徵T (η)與與特徵類別Pw相似，將T (η)添加到FeatureSet中，並將NFeature加一；
[0064]S10.4，判斷是否還有未分類人臉特徵，如果有，則轉到S10.2，否則轉到S10.5 ；
[0065]S10.5,對FeatureSet中的特徵按相似度由大到小進行排序,則得到最終的推薦特徵集合FeatureSet。
[0066]本發明還提供一種視頻檢索方法，包括以下步驟:
[0067]S15，在通過權利要求1中的視頻標註方法得到特徵類別庫之後，當接收到檢索某一人物姓名的檢索請求後,遍歷所述特徵類別庫,通過匹配人物姓名，得到已標註有該人物姓名的特定特徵類別；設所述特定特徵類別由w個人臉特徵組成；
[0068]S16，分別以w個人臉特徵作為檢索關鍵詞，查詢人臉特徵庫，得到與每個人臉特徵對應的人臉元數據；由此得到w個人臉元數據；
[0069]S17，分別分析w個人臉元數據，得到與被檢索的人物姓名相匹配的至少一個視頻ID以及在該視頻ID對應的視頻文件中出現被檢索人物的時間。
[0070]優選的，在S16之前，還包括:
[0071]在通過權利要求1中的視頻標註方法得到特徵類別庫之後，當接收到檢索某一人臉圖片的檢索請求後，對輸入的人臉圖片進行人臉檢測以及人臉規範化處理，得到規範化後的人臉圖片；
[0072]從規範化後的人臉圖片中提取人臉特徵F ；
[0073]遍歷人臉特徵庫，分別計算人臉特徵F與人臉特徵庫中代表特徵RF(k)的相似度sT (k)，選擇sT (k)的最大值sT CO對應的人臉特徵；Sst CO大於Th3，則獲取其所屬特徵類別ID，否則認為沒有檢索到對應的視頻；
[0074]基於獲取到的特徵類別ID查找特徵類別庫，查找到特定特徵類別；設所述特定特徵類別由w個人臉特徵組成；然後執行S16。
[0075]本發明的有益效果如下:
[0076]本發明提供的一種基於人臉的視頻標註方法和視頻檢索方法，具有以下優點:
[0077](I)不需要預製人臉樣本庫，可以對視頻中出現的各種人物進行視頻標註，擴大的視頻標註的範圍；
[0078](2)在視頻標註過程中，將程序自動推薦與人工確認結合起來，既保證了結果準確性，又提聞了效率；
[0079](3)可高效的實現將不同視頻文件中的同一個人物的人臉特徵聚為一個類別的效果，易於進行基於人物姓名或人物圖片等的視頻檢索。

【專利附圖】

【附圖說明】
[0080]圖1為本發明提供的基於人臉的視頻標註方法的流程示意圖。

【具體實施方式】
[0081]以下結合附圖對本發明進行詳細說明:
[0082]如圖1所示，本發明提供一種基於人臉的視頻標註方法，包括以下步驟:
[0083]SI，當需要對某一視頻文件進行視頻標註時，導入待標註視頻文件；
[0084]具體的，可獲取待標註視頻文件的存儲路徑和文件名，並將以上信息存入視頻信息庫，通過查找視頻信息庫，導入待標註視頻文件。其中，視頻信息庫指存儲各種不同視頻文件的資料庫。
[0085]S2，對所述待標註視頻文件進行鏡頭切分，得到視頻鏡頭序列；
[0086]具體的，鏡頭切分包括針對鏡頭突變的鏡頭切分和針對鏡頭漸變的鏡頭切分。
[0087]S3，對所述視頻鏡頭序列中的每個視頻鏡頭提取若干個關鍵幀，然後對所述關鍵幀進行人臉檢測，獲得每個鏡頭中出現的各個人物的人臉圖片；其中，所述關鍵幀指視頻序列中具有代表性的視頻幀；例如，如果一個鏡頭中出現3個不同的人物，則需要獲得每個人物在該鏡頭中的人臉圖片，並且，所獲得的每張人臉圖片只包含唯一的一個人物圖像。
[0088]本步驟中，人臉檢測採用人臉特徵訓練Adaboost分類器的方法，其中人臉特徵可以採用Haar特徵、LBP特徵或HOG特徵等其他人臉特徵。
[0089]S4，對所述人臉圖片進行預處理；
[0090]本步驟中，人臉圖片預處理方法根據實際需要靈活設定，包括但不限於以下方法:
[0091]對所述人臉圖片進行去重，所述去重指去除同一個鏡頭中同一個人重複的人臉圖片，並通過姿態判別技術判斷同一個人各張人臉圖片的姿態，保留最接近正臉的人臉圖片，並將該人臉圖片存入人臉圖片庫；其中，所述正臉指人臉正面面對鏡頭；
[0092]然後，對去重後的人臉圖片進行特徵點定位、相似變換、光照處理和姿態矯正等等操作。
[0093]S5，對預處理後的人臉圖片進行人臉特徵提取，得到與每張人臉圖片唯一對應的人臉特徵；
[0094]對人臉特徵提取是指:從預處理後的人臉圖片查找到最具有鑑別性的描述信息並將其轉化為一個向量，該向量即為提取到的人臉特徵。
[0095]所提取的人臉特徵可以採用PCA+LDA特徵、LBP特徵、Gabor特徵、LGBP特徵、HSLGBP特徵、LBP變種特徵、Gabor變種特徵或多特徵結合；
[0096]S6，獲得每一個人臉特徵的屬性信息，將人臉特徵及其屬性信息合併後即得到原始的人臉元數據；其中，所述人臉特徵的屬性信息包括:該人臉特徵所屬的視頻文件的視頻ID、該人臉特徵在所述視頻文件中所屬鏡頭的鏡頭序號、該人臉特徵在所屬鏡頭中的視頻幀序號、該人臉特徵在所屬視頻文件中出現時間、該人臉特徵對應的人臉圖片的保存路徑、該人臉特徵為未分類狀態、該人臉特徵所屬的特徵類別ID為O ;其中，該人臉特徵所屬的特徵類別ID指:該人臉特徵所屬的特徵類別在特徵類別庫中的標識，初始態時，該人臉特徵所屬的特徵類別ID為O ;該人臉特徵是否已分類具體包括兩種狀態:人臉特徵已分類狀態和人臉特徵未分類狀態，初始態時，每一個人臉特徵均為未分類狀態；
[0097]S7，將所述待標註視頻文件中獲得的所有原始的人臉元數據存入預建立的人臉特徵庫；
[0098]需要說明的是，本步驟中，當將本次需要標註的視頻文件所對應的人臉元數據存入人臉特徵庫中後，人臉特徵庫中既存儲有本次視頻文件所對應的人臉元數據；同時，人臉特徵庫中還存儲有多個其他視頻文件所對應的人臉元數據，其他視頻文件所對應的人臉元數據為歷史數據。
[0099]S8，將所述待標註視頻文件中獲得的所有人臉特徵進行自動特徵聚類，設共有N個人臉特徵，將相似度超過第一閾值的若干個人臉特徵聚為一個特徵類別，由此得到由多個特徵類別組成的特徵類別集合Po ;將與其他任何一個人臉特徵之間的相似度均低於第一閾值的人臉特徵聚合在一起，形成未分類特徵集合Qtl ；
[0100]本步驟具體實現上，包括以下步驟:
[0101]S8.1，建立特徵類別集合，初始化特徵類別數Nclass為0，特徵類別集合為空；
[0102]S8.2，讀取一個未分類的人臉特徵T (η)，如果特徵類別數Nclass大於0，設特徵類別數Nclass值為b,則b個特徵類別記為Class (k), k e {I, 2，…，b};分別計算T (η)與每一個特徵類別Class (k)之間的相似度S (n, k),由此得到b個相似度S (n, k);選擇與T (η)相似度最大的特徵類別Class (k0)，對應的相似度記為S (n, k0)；
[0103]本步驟中，採用以下方法計算T(n)與每一個特徵類別Class (k)之間的相似度
S(n, k):
[0104]遍歷Class (k)中的N(k)個人臉特徵TC(k, m), m e {1，2，…，N(k)}，分別計算人臉特徵T(n)與人臉特徵TC(k，m)之間的相似度ST(k，m)，由此得到N(k)個相似度^!^)；
[0105]計算N(k)個相似度31^1^，111)的平均值Mt (k)，將平均值即為T (η)與Class(k)之間的相似度。
[0106]S8.3，如果S(Akci)大於或等於閾值Th，則認為人臉特徵T(n)屬於特徵類別Class (k0),將T (η)添加到Class (k0)中，並將T (η)標記為已分類，轉到S8.6 ；
[0107]反之，如果S(Aktl)小於閾值Th，則認為人臉特徵T (η)不屬於已有的特徵類別，轉到 S8.4 ；
[0108]S8.4,遍歷其他未分類的人臉特徵T (m),計算T (η)與T (m)之間的相似度S (n, m)；選擇與T (η)相似度最大的特徵T (Hi0)，對應的相似度記為S (n, m0)；
[0109]S8.5,如果S(n，mQ)大於或等於閾值Thl,則認為人臉特徵T (η)與T (mQ)屬於同一個人，創建一個新的特徵類別Class (Nclass+1),將T (η)與T (m0)添加到Class (Nclass+1)中，並將Nclass增加I ;並將T(n)與T (Hici)標記為已分類；
[0110]反之，如果S(n，kQ)小於閾值Th，轉到S8.6 ;
[0111]S8.6，判斷是否還有未處理的人臉特徵，如果有，則轉到S8.2，否則結束操作步驟；由此形成的多個特徵類別即組成特徵類別集合Ptl ;由此形成的多個未分類特徵即組成未分類特徵集合Qm
[0112]通過本步驟的自動特徵聚類，以待標註視頻文件中所有人臉特徵作為聚類對象，可初步將待標註視頻文件中屬於同一個人的人臉特徵聚到一個相同的特徵類別中；不屬於同一個人的人臉特徵聚到不相同的特徵類別中；如果存在某一個人臉特徵與其他所有人臉特徵均不近似，則該人臉特徵即為未分類特徵。
[0113]但是，現有技術中，自動特徵聚類技術並不成熟，聚類結果可能存在誤差，為保證標註的正確性，需要進行後續步驟的特徵篩選和特徵類別召回等操作。
[0114]S9，對S8形成的特徵類別集合Ptl中的每一個特徵類別進行特徵篩選，判斷每一個特徵類別中是否存在分類錯誤的人臉特徵，若存在，則將該分類錯誤的人臉特徵從其所在的特徵類別刪除，並將該分類錯誤的人臉特徵添加到未分類特徵集合Qo，由此得到篩選後的特徵類別集合P1和未分類特徵集合Q1 ;同時，在人臉特徵庫中更新特徵類別集合P1中所有人臉特徵的屬性信息，將人臉特徵從未分類狀態更新為已分類狀態；
[0115]本步驟中，特徵篩選可通過人工檢查方式進行。例如，假設通過S8自動聚類後，將同一視頻文件A中的10張不同角度或表情的張三人臉特徵以及I張李四人臉特徵聚為一個特徵類別U，則通過特徵篩選，即將特徵類別u中的李四人臉特徵剔除。通過特徵篩選，進一步提高了同一特徵類別中只包含屬於同一人物的人臉特徵的機率。
[0116]S10,在得到特徵類別集合P1後，對於特徵類別集合P1中的每一個特徵類別P1+進行特徵類別召回操作，召回漏掉的人臉特徵，即:判斷人臉特徵庫中是否存在與特徵類別Pw相似度超過第二閾值的至少一個未分類的人臉特徵i，如果有，則將得到的各個人臉特徵i添加到推薦特徵集合FeatureSet中；然後，人工判斷推薦特徵集合FeatureSet中是否存在與特徵類別Pw屬於同一個人的人臉特徵，如果有，則將該人臉特徵i添加到特徵類別Pw中，同時將人臉特徵庫中該人臉特徵i的屬性由未分類狀態修改為已分類狀態，由此得到召回後的特徵類別集合P2和未分類特徵集合Q2 ;
[0117]本步驟中，推薦特徵集合FeatureSet通過以下方法獲得:
[0118]S10.1,新建推薦特徵集合FeatureSet,初始化特徵數NFeature為O,特徵集合為空；將特徵類別Pw記為特徵類別Class (k)；
[0119]S10.2,讀取一個人臉特徵庫中未分類的人臉特徵T(n),計算T(n)與特徵類別Class (k)的相似度 S (n, k)；
[0120]S10.3，若S(n，k)大於或等於閾值Th2，則認為人臉特徵T (η)與與特徵類別Pw相似，將T (η)添加到FeatureSet中，並將NFeature加一；
[0121]S10.4，判斷是否還有未分類人臉特徵，如果有，則轉到S10.2，否則轉到S10.5 ；
[0122]S10.5，對FeatureSet中的特徵按相似度由大到小進行排序，則得到最終的推薦特徵集合FeatureSet。
[0123]步驟S7中已介紹，人臉特徵庫中即存儲有本次視頻文件所對應的人臉元數據；同時，人臉特徵庫中還存儲有多個其他視頻文件所對應的人臉元數據。
[0124]由於人臉特徵庫中存儲數量巨大的人臉特徵，因此，首先通過程序自動進行未分類的人臉特徵推薦，對於本視頻中特徵類別集合P1中的每一個特徵類別，均進行下述未分類的人臉特徵推薦過程，即:對於特徵類別集合P1中的特徵類別Pw，從人臉特徵庫中本次視頻文件以及其他視頻文件所涉及到的所有未分類的人臉特徵中，推薦若干個與特徵類別Pw非常相似的未分類的人臉特徵，得到將所有未分類的人臉特徵組成推薦特徵集合；然後，再人工判斷推薦特徵集合中是否存在與特徵類別Pm屬於同一個人物的人臉特徵，如果有，則將該人臉特徵加入到特徵類別P1+將程序自動推薦與人工判斷結合起來，既保證了結果準確性，又提高了效率。
[0125]另外，本步驟中，以人臉特徵庫中所有未分類人臉特徵作為被推薦範圍，如果各種不同視頻文件中的未分類人臉特徵中存在與本次視頻中的某一特徵類別屬於同一人物的情況，則將該未分類人臉特徵聚到該特徵類別，擴大了特徵類別涉及到的人臉特徵範圍，更方便進行後續的視頻標註或視頻檢索。
[0126]S11，預建立有特徵類別庫，該特徵類別庫存儲其他多個視頻標註得到的特徵類別集合P3,也就是說，特徵類別集合P3中只存儲特徵類別，不存儲未分類人臉特徵；並且，特徵類別集合P3中所存儲的特徵類別為歷史數據，針對各種不同的視頻文件。
[0127]對於本次導入視頻形成的特徵類別集合P2，每當特徵類別集合P2中的一個特徵類別按S12中的方法進行標註後，即將標註後的特徵類別移入特徵類別集合P4 ;初始時，特徵類別集合P4為空；
[0128]對於特徵類別集合P2，執行S12 ;對於未分類特徵集合Q2，執行S13 ;
[0129]S12，對於特徵類別集合P2中的任何一個元素，記為特徵類別j，均執行以下步驟:
[0130]S12.1，判斷特徵類別集合P3和P4中是否存在與特徵類別j相似度超過第三閾值的特徵類別，如果存在，則執行S12.2 ;如果不存在，則執行S12.4 ；
[0131]將特徵類別集合P3和P4統稱為已標註過的特徵類別MClass (m)，將特徵類別j記為特徵類別Class (k)，可採用以下方法計算特徵類別Class (k)與標註過的特徵類別MClass (m)之間的相似度:
[0132]遍歷MClass (m)中的 MN(m)個人臉特徵 TC (m, u), u e {1，2，…，MN(m)},遍歷Class (k)中的N(k)個人臉特徵TC(k, v), v e {1，2，…，N(k)},分別計算人臉特徵TC(m, u)和人臉特徵TC(k，v)之間的相似度ST(m，k)；
[0133]計算所有相似度St (m, k)的平均值Mt (k)，將相似度Mt (k)作為MClass (m)與Class (k)之間的相似度。
[0134]S12.2，將與特徵類別j相似度超過第三閾值的特徵類別稱為推薦特徵類別；然後將特徵類別集合P3和P4中的所有推薦特徵類別組成一個推薦類別集合S ;然後執行S12.3 ；
[0135]S12.3，人工判斷推薦類別集合S中是否存在與特徵類別j屬於同一個人的推薦特徵類別；
[0136]如果存在，則人工選擇某個相應的推薦特徵類別Ctl，若Ctl屬於P4,則將特徵類別j併入Ctl ;若Ctl屬於P3,則向特徵類別j中增加以下標記信息:與推薦特徵類別Ctl屬於同一個人；如果Ctl對應的姓名為「陌生人」，則執行S12.4 ；
[0137]如果不存在，則不向特徵類別j中增加標記信息，然後執行S12.4 ；
[0138]S12.4，對特徵類別j進行姓名標註，若知道特徵類別j對應的人物姓名，則將特徵類別j對應的人物姓名標註到特徵類別j上，並將特徵類別j標記為已標註；然後，將特徵類別j存入特徵類別集合P4;
[0139]若不知道特徵類別j對應的人物姓名，則將特徵類別j的人物姓名標註為「陌生人」，並將特徵類別j標記為已標註；然後，將特徵類別j存入特徵類別集合P4 ；
[0140]本步驟中，仍然將程序自動推薦與人工確認結合起來，既保證了結果準確性，又提高了效率。
[0141]另外，本步驟中，以特徵類別庫中所有特徵類別以及本次視頻中已標註特徵類別為被推薦範圍，如果各種不同視頻文件中存在與本次視頻中的某一特徵類別j屬於同一人物的情況，將各種不同視頻文件中與特徵類別j屬於同一人物的特徵類別記為Ctl，則對特徵類別j進行一定的標記，後續入庫過程時，可依據標記，方便的將特徵類別j併入特徵類別Ctl，從而實現將不同視頻文件中屬於同一人物的特徵類別合併到一起的目的，方便後續視頻檢索。
[0142]S13，對於未分類特徵集合Q2中的任何一個元素，記為未分類人臉特徵k，均執行以下步驟:
[0143]S13.1，判斷人臉特徵庫中是否存在與未分類人臉特徵k相似度超過第四閾值的未分類人臉特徵，如果有，則將與未分類人臉特徵k相似度超過第四閾值的未分類人臉特徵稱為推薦未分類人臉特徵；然後，將人臉特徵庫中的所有推薦未分類人臉特徵組成一個推薦未分類人臉特徵集合f ;
[0144]S13.2，人工判斷推薦未分類人臉特徵集合f中是否存在與未分類人臉特徵k屬於同一個人的推薦未分類人臉特徵，如果存在，將該推薦未分類人臉特徵與未分類人臉特徵k組成一個新特徵類別，將該新特徵類別加入到S8獲得的特徵類別集合Ptl中，轉到S8重新執行S8-S12 ;同時，將該推薦未分類人臉特徵在人臉資料庫中的狀態更新為已分類狀態，將該未分類人臉特徵k在人臉資料庫中的狀態更新為已分類狀態；
[0145]如果不存在，則判斷特徵類別集合P3和P4中是否存在與未分類人臉特徵k相似度超過第五閾值的特徵類別，如果存在，則執行S13.3 ;如果不存在，則執行S13.4 ；
[0146]S13.3，將特徵類別集合P3或P4中與未分類人臉特徵k相似度超過第五閾值的特徵類別組成一個推薦類別集合T ;然後人工判斷推薦類別集合T中是否存在與未分類人臉特徵k屬於同一個人的推薦特徵類別，如果不存在，則執行S13.4 ;如果存在，則人工從推薦類別集合T中選擇某個相應的特徵類別C1，若C1屬於P4,則將未分類人臉特徵k加入到C1,並將未分類人臉特徵k標記為已分類；若C1屬於P3,則向未分類人臉特徵k中增加以下標記信息:與特徵類別C1屬於同一個人，並將未分類人臉特徵k標記為已分類；如果C1對應的姓名為「陌生人」，則執行S13.5 ；
[0147]S13.4，對未分類人臉特徵k進行姓名標註，若知道人臉特徵k對應的人物姓名，則對應的人物姓名標註到未分類人臉特徵k上；若不知道人臉特徵k對應的人物姓名，則將未分類人臉特徵k的人物姓名標註為「陌生人」；
[0148]S13.5，對特徵類別C1進行姓名標註，若知道特徵類別C1對應的人物姓名，則將特徵類別C1對應的人物姓名標註到特徵類別C1上，若不知道特徵類別C1對應的人物姓名，則將特徵類別C1的人物姓名標註為「陌生人」；
[0149]本步驟中，仍然將程序自動推薦與人工確認結合起來，既保證了結果準確性，又提高了效率。
[0150]S14，對於增加有標記信息的特徵類別或人臉特徵，依標記信息中記載的內容，將相應的特徵類別或人臉特徵合併到特徵類別庫中對應的特徵類別中，並更新人臉特徵庫中的人臉特徵屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0151]對於未增加有標記信息的特徵類別，直接將其存儲到特徵類別庫中，並更新人臉特徵庫中相應的人臉特徵屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0152]由此形成新的特徵類別庫；
[0153]另外，利用S12得到的多個已標註姓名的特徵類別與S13得到的多個已標註姓名的未分類人臉特徵信息組成該視頻文件的視頻標註文件。
[0154]本發明還提供一種視頻檢索方法，包括以下步驟:
[0155]S15，在通過上述視頻標註方法得到特徵類別庫之後，當接收到檢索某一人物姓名的檢索請求後，遍歷所述特徵類別庫，通過匹配人物姓名，得到已標註有該人物姓名的特定特徵類別；設所述特定特徵類別由w個人臉特徵組成；
[0156]S16，分別以w個人臉特徵作為檢索關鍵詞，查詢人臉特徵庫，得到與每個人臉特徵對應的人臉元數據；由此得到w個人臉元數據；
[0157]S17，分別分析w個人臉元數據，得到與被檢索的人物姓名相匹配的至少一個視頻ID以及在該視頻ID對應的視頻文件中出現被檢索人物的時間。
[0158]另外，在S16之前，還包括:
[0159]在通過視頻標註方法得到特徵類別庫之後，當接收到檢索某一人臉圖片的檢索請求後，對輸入的人臉圖片進行人臉檢測以及人臉規範化處理，得到規範化後的人臉圖片；
[0160]從規範化後的人臉圖片中提取人臉特徵F ；
[0161]遍歷人臉特徵庫，分別計算人臉特徵F與人臉特徵庫中代表特徵RF(k)的相似度sT (k)，選擇sT (k)的最大值sT CO對應的人臉特徵；Sst CO大於Th3，則獲取其所屬特徵類別ID，否則認為沒有檢索到對應的視頻；
[0162]基於獲取到的特徵類別ID查找特徵類別庫，查找到特定特徵類別；設所述特定特徵類別由w個人臉特徵組成；然後執行S16。
[0163]綜上所述，本發明提供的基於人臉的視頻標註方法和視頻檢索方法，可以用於對視頻進行人臉標註並在大量視頻中檢索感興趣的視頻片斷，具有以下優點:
[0164](I)不需要預製人臉樣本庫，可以對視頻中出現的各種人物進行視頻標註，擴大的視頻標註的範圍；
[0165](2)在視頻標註過程中，將程序自動推薦與人工確認結合起來，既保證了結果準確性，又提聞了效率；
[0166](3)可高效的實現將不同視頻文件中的同一個人物的人臉特徵聚為一個類別的效果，易於進行基於人物姓名或人物圖片等的視頻檢索。
[0167]以上所述僅是本發明的優選實施方式，應當指出，對於本【技術領域】的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視本發明的保護範圍。
【權利要求】
1.一種基於人臉的視頻標註方法，其特徵在於，包括以下步驟: SI，當需要對某一視頻文件進行視頻標註時，導入待標註視頻文件； S2，對所述待標註視頻文件進行鏡頭切分，得到視頻鏡頭序列； S3，對所述視頻鏡頭序列中的每個視頻鏡頭提取若干個關鍵幀，然後對所述關鍵幀進行人臉檢測，獲得每個鏡頭中出現的各個人物的人臉圖片；其中，所述關鍵幀指視頻序列中具有代表性的視頻幀； S4，對所述人臉圖片進行預處理； S5，對預處理後的人臉圖片進行人臉特徵提取，得到與每張人臉圖片唯一對應的人臉特徵； S6，獲得每一個人臉特徵的屬性信息，將人臉特徵及其屬性信息合併後即得到原始的人臉元數據；其中，所述人臉特徵的屬性信息包括:該人臉特徵所屬的視頻文件的視頻ID、該人臉特徵在所述視頻文件中所屬鏡頭的鏡頭序號、該人臉特徵在所屬鏡頭中的視頻幀序號、該人臉特徵在所屬視頻文件中出現時間、該人臉特徵對應的人臉圖片的保存路徑、該人臉特徵為未分類狀態、該人臉特徵所屬的特徵類別ID為O ;其中，該人臉特徵所屬的特徵類別ID指:該人臉特徵所屬的特徵類別在特徵類別庫中的標識，初始態時，該人臉特徵所屬的特徵類別ID為O ;該人臉特徵是否已分類具體包括兩種狀態:人臉特徵已分類狀態和人臉特徵未分類狀態，初始態時，每一個人臉特徵均為未分類狀態； S7，將所述待標註視頻文件中獲得的所有原始的人臉元數據存入預建立的人臉特徵庫； S8，將所述待標註視頻文件中獲得的所有人臉特徵進行自動特徵聚類，設共有N個人臉特徵，將相似度超過第一閾值的若干個人臉特徵聚為一個特徵類別，由此得到由多個特徵類別組成的特徵類別集合Ptl ;將與其他任何一個人臉特徵之間的相似度均低於第一閾值的人臉特徵聚合在一起，形成未分類特徵集合Qci ； S9，對S8形成的特徵類別集合Ptl中的每一個特徵類別進行特徵篩選，判斷每一個特徵類別中是否存在分類錯誤的人臉特徵，若存在，則將該分類錯誤的人臉特徵從其所在的特徵類別刪除，並將該分類錯誤的人臉特徵添加到未分類特徵集合Qo，由此得到篩選後的特徵類別集合P1和未分類特徵集合Q1 ;同時，在人臉特徵庫中更新特徵類別集合P1中所有人臉特徵的屬性信息，將人臉特徵從未分類狀態更新為已分類狀態； S10，在得到特徵類別集合P1後，對於特徵類別集合P1中的每一個特徵類別Pm，進行特徵類別召回操作，召回漏掉的人臉特徵，即:判斷人臉特徵庫中是否存在與特徵類別Pm相似度超過第二閾值的至少一個未分類的人臉特徵i，如果有，則將得到的各個人臉特徵i添加到推薦特徵集合FeatureSet中；然後，人工判斷推薦特徵集合FeatureSet中是否存在與特徵類別Pm屬於同一個人的人臉特徵，如果有，則將該人臉特徵i添加到特徵類別Pm中，同時將人臉特徵庫中該人臉特徵i的屬性由未分類狀態修改為已分類狀態，由此得到召回後的特徵類別集合P2和未分類特徵集合Q2 ; S11，預建立有特徵類別庫，該特徵類別庫存儲其他多個視頻標註得到的特徵類別集合P3， 對於本次導入視頻形成的特徵類別集合P2,每當特徵類別集合P2中的一個特徵類別按S12中的方法進行標註後，即將標註後的特徵類別移入特徵類別集合P4 ;初始時，特徵類別集合P4為空； 對於特徵類別集合P2，執行S12 ;對於未分類特徵集合Q2，執行S13 ； S12，對於特徵類別集合P2中的任何一個元素，記為特徵類別j，均執行以下步驟: S12.1，判斷特徵類別集合P3和P4中是否存在與特徵類別j相似度超過第三閾值的特徵類別，如果存在，則執行S12.2 ;如果不存在，則執行S12.4 ； S12.2，將與特徵類別j相似度超過第三閾值的特徵類別稱為推薦特徵類別；然後將特徵類別集合P3和P4中的所有推薦特徵類別組成一個推薦類別集合S ;然後執行S12.3 ；S12.3，人工判斷推薦類別集合S中是否存在與特徵類別j屬於同一個人的推薦特徵類別； 如果存在，則人工選擇某個相應的推薦特徵類別Ctl,若Ctl屬於P4,則將特徵類別j併入C0 ;若Ctl屬於P3，則向特徵類別j中增加以下標記信息:與推薦特徵類別Ctl屬於同一個人；如果Ctl對應的姓名為「陌生人」，則執行S12.4 ； 如果不存在，則不向特徵類別j中增加標記信息，然後執行S12.4 ； 512.4，對特徵類別j進行姓名標註，若知道特徵類別j對應的人物姓名，則將特徵類別j對應的人物姓名標註到特徵類別j上，並將特徵類別j標記為已標註；然後，將特徵類別j存入特徵類別集合P4; 若不知道特徵類別j對應的人物姓名，則將特徵類別j的人物姓名標註為「陌生人」，並將特徵類別j標記為已標註；然後，將特徵類別j存入特徵類別集合； S13，對於未分類特徵集合Q2中的任何一個元素，記為未分類人臉特徵k，均執行以下步驟: 513.1，判斷人臉特徵庫中是否存在與未分類人臉特徵k相似度超過第四閾值的未分類人臉特徵，如果有，則將與未分類人臉特徵k相似度超過第四閾值的未分類人臉特徵稱為推薦未分類人臉特徵；然後，將人臉特徵庫中的所有推薦未分類人臉特徵組成一個推薦未分類人臉特徵集合f ； S13.2，人工判斷推薦未分類人臉特徵集合f中是否存在與未分類人臉特徵k屬於同一個人的推薦未分類人臉特徵，如果存在，將該推薦未分類人臉特徵與未分類人臉特徵k組成一個新特徵類別，將該新特徵類別加入到S8獲得的特徵類別集合Ptl中，轉到S8重新執行S8-S12 ;同時，將該推薦未分類人臉特徵在人臉資料庫中的狀態更新為已分類狀態，將該未分類人臉特徵k在人臉資料庫中的狀態更新為已分類狀態； 如果不存在，則判斷特徵類別集合P3和P4中是否存在與未分類人臉特徵k相似度超過第五閾值的特徵類別，如果存在，則執行S13.3 ;如果不存在，則執行S13.4 ； S13.3，將特徵類別集合P3或P4中與未分類人臉特徵k相似度超過第五閾值的特徵類別組成一個推薦類別集合T ;然後人工判斷推薦類別集合T中是否存在與未分類人臉特徵k屬於同一個人的推薦特徵類別，如果不存在，則執行S13.4 ;如果存在，則人工從推薦類別集合T中選擇某個相應的特徵類別C1，若C1屬於P4,則將未分類人臉特徵k加入到C1,並將未分類人臉特徵k標記為已分類；若C1屬於P3,則向未分類人臉特徵k中增加以下標記信息:與特徵類別C1屬於同一個人，並將未分類人臉特徵k標記為已分類；如果C1對應的姓名為「陌生人」，則執行S13.5; S13.4，對未分類人臉特徵k進行姓名標註，若知道人臉特徵k對應的人物姓名，則對應的人物姓名標註到未分類人臉特徵k上；若不知道人臉特徵k對應的人物姓名，則將未分類人臉特徵k的人物姓名標註為「陌生人」; S13.5，對特徵類別C1進行姓名標註，若知道特徵類別C1對應的人物姓名，則將特徵類別C1對應的人物姓名標註到特徵類別C1上，若不知道特徵類別C1對應的人物姓名，則將特徵類別C1的人物姓名標註為「陌生人」； S14，對於增加有標記信息的特徵類別或人臉特徵，依標記信息中記載的內容，將相應的特徵類別或人臉特徵合併到特徵類別庫中對應的特徵類別中，並更新人臉特徵庫中的人臉特徵屬性，包括人物姓名、是否已分類、所屬類別ID ； 對於未增加有標記信息的特徵類別，直接將其存儲到特徵類別庫中，並更新人臉特徵庫中相應的人臉特徵屬性，包括人物姓名、是否已分類、所屬類別ID ； 由此形成新的特徵類別庫； 另外，利用S12得到的多個已標註姓名的特徵類別與S13得到的多個已標註姓名的未分類人臉特徵信息組成該視頻文件的視頻標註文件。
2.根據權利要求1所述的基於人臉的視頻標註方法，其特徵在於，S2中，所述鏡頭切分包括針對鏡頭突變的鏡頭切分和針對鏡頭漸變的鏡頭切分。
3.根據權利要求1所述的基於人臉的視頻標註方法，其特徵在於，S4中，對所述人臉圖片進行預處理，具體指: 對所述人臉圖片進行去重，所述去重指去除同一個鏡頭中同一個人重複的人臉圖片，並通過姿態判別技術判斷同一個人各張人臉圖片的姿態，保留最接近正臉的人臉圖片，並將該人臉圖片存入人臉圖片庫；其中，所述正臉指人臉正面面對鏡頭； 然後，對去重後的人臉圖片進行特徵點定位、相似變換、光照處理和姿態矯正操作。
4.根據權利要求1所述的基於人臉的視頻標註方法，其特徵在於，S5中，所述人臉特徵提取具體為:從預處理後的人臉圖片查找到最具有鑑別性的描述信息並將其轉化為一個向量，該向量即為提取到的人臉特徵。
5.根據權利要求1所述的基於人臉的視頻標註方法，其特徵在於，S8具體為: S8.1，建立特徵類別集合，初始化特徵類別數Nclass為O，特徵類別集合為空； S8.2，讀取一個未分類的人臉特徵T (η)，如果特徵類別數Nclass大於O，設特徵類別數Nclass值為b,則b個特徵類別記為Class (k), k e {I, 2,…，b};分別計算T (η)與每一個特徵類別Class (k)之間的相似度S(n，k)，由此得到b個相似度S(n，k);選擇與T(n)相似度最大的特徵類別Class CO，對應的相似度記為S(n，k0)； S8.3，如果S(Akci)大於或等於閾值Th，則認為人臉特徵T(n)屬於特徵類別Class (k0),將T (η)添加到Class (k0)中，並將T (η)標記為已分類，轉到S8.6 ； 反之，如果S(^ktl)小於閾值Th，則認為人臉特徵Τ(η)不屬於已有的特徵類別，轉到S8.4 ； S8.4,遍歷其他未分類的人臉特徵T (m),計算T (η)與T (m)之間的相似度S (n, m);選擇與T (η)相似度最大的特徵T (Hi0)，對應的相似度記為S (n, m0)； S8.5，如果大於或等於閾值Thl，則認為人臉特徵T (η)與T (Iiici)屬於同一個人，創建一個新的特徵類別Class(Nclass+l),將Τ(η)與T0?)添加到Class (Nclass+Ι)中，並將Nclass增加I ;並將T (η)與T (m0)標記為已分類； 反之，如果S (n, k0)小於閾值Th，轉到S8.6 ； S8.6，判斷是否還有未處理的人臉特徵，如果有，則轉到S8.2，否則結束操作步驟；由此形成的多個特徵類別即組成特徵類別集合Ptl;由此形成的多個未分類特徵即組成未分類特徵集合Qm
6.根據權利要求5所述的基於人臉的視頻標註方法，其特徵在於，S8.2中， 所述計算T(n)與每一個特徵類別Class (k)之間的相似度S(n，k)具體包括以下步驟:遍歷Class (k)中的N(k)個人臉特徵TC(k, m), m e {1，2，…，N(k)},分別計算人臉特徵T(n)與人臉特徵TC(k，m)之間的相似度ST(k，m)，由此得到N(k)個相似度^!^)；計算N(k)個相似度&0^!11)的平均值Mt (k)，將平均值即為T (η)與Class (k)之間的相似度。
7.根據權利要求1所述的基於人臉的視頻標註方法，其特徵在於，S9中，通過人工檢查方式對每一個特徵類別進行特徵篩選。
8.根據權利要求1所述的基於人臉的視頻標註方法，其特徵在於，SlO中，推薦特徵集合FeatureSet通過以下方法獲得: S10.1,新建推薦特徵集合FeatureSet,初始化特徵數NFeature為O,特徵集合為空；將特徵類別Pm記為特徵類別Class (k)； S10.2,讀取一個人臉特徵庫中未分類的人臉特徵T (η),計算T (η)與特徵類別Class (k)的相似度 S (n, k)； S10.3，若S (n，k)大於或等於閾值Th2，則認為人臉特徵T (η)與與特徵類別Pw相似，將 T (η)添加到 FeatureSet 中，並將 NFeature 加一； S10.4，判斷是否還有未分類人臉特徵，如果有，則轉到S10.2，否則轉到S10.5 ； S10.5,對FeatureSet中的特徵按相似度由大到小進行排序,則得到最終的推薦特徵集合 FeatureSet。
9.一種視頻檢索方法，其特徵在於，包括以下步驟: S15，在通過權利要求1中的視頻標註方法得到特徵類別庫之後，當接收到檢索某一人物姓名的檢索請求後,遍歷所述特徵類別庫,通過匹配人物姓名，得到已標註有該人物姓名的特定特徵類別；設所述特定特徵類別由w個人臉特徵組成； S16，分別以w個人臉特徵作為檢索關鍵詞，查詢人臉特徵庫，得到與每個人臉特徵對應的人臉元數據；由此得到w個人臉元數據； S17，分別分析w個人臉元數據，得到與被檢索的人物姓名相匹配的至少一個視頻ID以及在該視頻ID對應的視頻文件中出現被檢索人物的時間。
10.根據權利要求9所述的視頻檢索方法，其特徵在於，在S16之前，還包括: 在通過權利要求1中的視頻標註方法得到特徵類別庫之後，當接收到檢索某一人臉圖片的檢索請求後，對輸入的人臉圖片進行人臉檢測以及人臉規範化處理，得到規範化後的人臉圖片； 從規範化後的人臉圖片中提取人臉特徵F ； 遍歷人臉特徵庫，分別計算人臉特徵F與人臉特徵庫中代表特徵RF(k)的相似度St (k)，選擇St (k)的最大值St CO對應的人臉特徵；SSt CO大於Th3，則獲取其所屬特徵類別ID，否則認為沒有檢索到對應的視頻； 基於獲取到的特徵類別ID查找特徵類別庫，查找到特定特徵類別；設所述特定特徵類別由w個人臉特徵組成；然後執行S16。
【文檔編號】G06F17/30GK104133875SQ201410356120
【公開日】2014年11月5日 申請日期:2014年7月24日 優先權日:2014年7月24日
【發明者】段勝業, 唐小軍, 孫劍 申請人:北京中視廣信科技有限公司