深入融合視頻審查方法和系統的製作方法
2023-05-29 17:47:11 1
專利名稱：深入融合視頻審查方法和系統的製作方法
技術領域：
本發明涉及視頻審查領域，特別涉及一種深入融合視頻審查方法、一種深入融合視頻申查系統。
背景技術：
視頻內容的應用日益廣泛，對視頻內容的審查成為針對視頻內容的處理中的重要的一部分。目前針對視頻內容的審查，最普通、最簡單的方式是通過人眼觀看的方式，通過將視頻文件的內容從頭到尾觀看一遍，據此審查視頻內容是否是限制性發布或者不允許發布的視頻內容。作為對這種人工審查方式的改進，出現了進行視頻融合的審查方式，這種視頻融合的審查方式中，是按照固定的方式對聽覺、視覺等特徵進行融合，例如採用加權平均進行融合。採用加權平均進行融合的方式中，假設該視頻內容在文字上有60%的可能性為不雅裸露視頻，在聲音上有90%的可能性為不雅裸露視頻，在圖像上有30%的可能性為不雅裸露視頻，則通過加權綜合判定該視頻內容有(60%+90%+30%) /3的可能性為不雅裸露視頻。在目前的這種針對視頻內容的融合審查中，是按照固定的方式對聽覺、視覺等特徵進行融合，而實際上，對不同類型的視頻來說，視覺、聽覺特徵的明顯度、可判度，例如文字、圖像、聲音特徵的明顯度與可判度，對視頻審查中的可信度的共享是不同的。例如，聲音在槍擊類視頻中所起的作用、融合時所佔的比例應當遠大於在裸體類視頻中的作用與比例，而圖像在裸體類視頻中所起的作用、融合時所佔的比例應當遠大於在反動言論類視頻中所起的作用與比例，而文字在反動言論類視頻中所起的作用、融合時所佔的比例應遠大於鬥毆類視頻中所起的作用與比例。目前的針對視頻內容的審查，並未對不同特徵對不同類型視頻文件的作用加以區分，從而導致審查的準確度大大降低。
發明內容
基於此，針對上述現有技術中存在的問題，本發明的目的在於提供一種深入融合視頻審查方法、深入融合視頻審查系統，其可以提高視頻融合審查的準確度。為達到上述目的，本發明採用以下技術方案一種深入融合視頻審查方法，包括步驟採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類；提取所述待審查視頻幀中的各類特徵；分別根據所述待審查視頻幀中的各類特徵、所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性；根據所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，綜合確定所述待審查視頻幀所屬的視頻小類。—種深入融合視頻申查系統，包括
視頻大類融合確定模塊，用於採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類；特徵提取模塊，用於提取所述待審查視頻幀中的各類特徵；視頻小類融合確定模塊，用於分別根據所述待審查視頻幀中的各類特徵、所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，並根據所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，綜合確定所述待審查視頻幀所屬的視頻小類。根據發明方案，其在進行審查時，是先採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類，再基於該視頻大類的特徵審查融合參數、以及該待審查視頻幀中的各類特徵，確定出該待審查視頻幀屬於上述確定的視頻大類下的各視頻小類的可能性，並基於屬於各視頻小類的可能性，綜合確定出上述待審查視頻幀所屬的視頻小類。其基於該待審查視頻幀中的各類特徵、以及視頻大類的特徵審查融合參數，綜合考慮了視頻幀中的各類特徵在該視頻大類中的視頻幀中所起的作用，對不同類特徵對不同類型視頻幀的作用加以區分，提高了視頻審查的準確度。
圖1是本發明的深入融合視頻審查方法實施例的流程示意圖；圖2是一個具體示例中確定各視頻大類的特徵審查融合參數的流程示意圖；圖3是一個具體示例中的深入融合視頻審查的流程示意圖；圖4是本發明的深入融合視頻審查系統實施例的結構示意圖。
具體實施例方式以下結合其中的較佳實施例對本發明方案進行詳細說明。在下述說明中，先對本發明的深入融合視頻審查方法的實施例進行說明，再對本發明的深入融合視頻審查系統的實施例進行說明。圖1中示出了本發明的深入融合視頻審查方法實施例的流程示意圖。如圖1所示，本實施例中的方法包括步驟步驟SlOl :採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類；步驟S102 :提取待審查視頻幀中的各類特徵；步驟S103 :分別根據待審查視頻幀中的各類特徵、上述視頻大類的特徵審查融合參數，確定待審查視頻幀屬於上述視頻大類下的各視頻小類的可能性；步驟S104 :根據待審查視頻幀屬於上述視頻大類下的各視頻小類的可能性，綜合確定待審查視頻幀所屬的視頻小類。根據本實施例中的方案，其在進行審查時，是先採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類，再基於該視頻大類的特徵審查融合參數、以及該待審查視頻幀中的各類特徵，確定出該待審查視頻幀屬於上述確定的視頻大類下的各視頻小類的可能性，並基於屬於各視頻小類的可能性，綜合確定出上述待審查視頻幀所屬的視頻小類。其基於該待審查視頻幀中的各類特徵、以及視頻大類的特徵審查融合參數，綜合考慮了視頻幀中的各類特徵在該視頻大類中的視頻幀中所起的作用，對不同類特徵對不同類型視頻幀的作用加以區分，提高了視頻審查的準確度。其中，在其中一個具體實現方式中，上述視頻大類的特徵審查融合參數，可以是基於建立的視頻樣本資料庫來確定。圖2中示出了一個具體示例中確定各視頻大類的特徵審查融合參數的流程示意圖。如圖2所示,該具體示例中確定各視頻大類的特徵審查融合參數的方式包括步驟S201 :採用上述預設融合審查分類方式對視頻樣本資料庫中的各視頻幀進行分類，獲得融合審查的各視頻大類的視頻幀；步驟S202 :分別採用各類特徵審查方法對上述視頻樣本資料庫中的各視頻幀進行分類，分別獲得各類特徵審查後的各視頻大類的視頻幀；步驟S203 :根據上述融合審查的各視頻大類的視頻幀、各類特徵審查後的各視頻大類的視頻幀，確定各視頻大類的各類特徵審查的準確率；步驟S204 :根據各視頻大類的各類特徵審查的準確率，確定各視頻大類的特徵審查融合參數。以下結合圖2中的確定各視頻大類的特徵審查融合參數為例，就其中的一個具體示例進行詳細說明。在本發明方案中，各視頻大類、各類特徵、各類特徵審查方法基於實際需要的設定可以有所不同。在本發明的該具體示例中，以視頻大類包括有黃色視頻、暴力視頻、反動視頻為例，以各類特徵包括有文字、聲音、圖像，各類特徵審查包括文字特徵審查、聲音特徵審查、圖像特徵審查為例進行說明，這種說明僅僅只是一種示例性的說明，並不用以對本發明方案進行限定。圖3中示出了該具體示例的流程示意圖。在確定各視頻大類的特徵審查融合參數之前，在視頻樣本資料庫中可預先存儲有一定數量的視頻樣本，即在視頻樣本資料庫中存儲有一定數量的視頻幀，後續的確定各視頻大類的特徵審查融合參數是結合視頻樣本資料庫中的視頻幀進行說明。然後，首先，採用上述預設融合審查分類方式對視頻樣本資料庫中的各視頻幀進行分類，獲得融合審查的各視頻大類的視頻幀，即分別屬於黃色視頻的視頻幀、屬於暴力視頻的視頻幀、屬於反動視頻的視頻幀。在獲得融合審查的各視頻大類的視頻幀之後，可以將分類後的各視頻大類的視頻幀分別放入在融合審查的各視頻大類的庫中，即將分類後的黃色視頻的視頻幀放入融合審查的黃色視頻庫(記為RH)中，將分類後的暴力視頻的視頻幀放入融合審查的暴力視頻庫(記為RB)中，將分類後的反動視頻的視頻幀放入融合審查的反動視頻庫(記為RF)中。其中，上述預設融合審查分類方式，可以是採用目前已有以及以後出現的任何一種方式進行，只要能夠對視頻幀是屬於黃色視頻、暴力視頻、反動視頻等當中的哪種視頻大類即可，在此不予詳加贅述。然後分別採用各類特徵審查方法對上述視頻樣本資料庫中的視頻幀進行分類，分別獲得各類特徵審查後的各視頻大類的視頻幀。以上述各類特徵包括文字、聲音、圖像的情況下，具體可以是如下所述。採用文字特徵審查方式對視頻樣本視頻資料庫中的各視頻幀進行分類，獲得文字特徵審查的各視頻大類的視頻幀，即分別屬於黃色視頻的視頻幀、屬於暴力視頻的視頻幀、屬於反動視頻的視頻幀。在獲得文字特徵審查的各視頻大類的視頻幀之後，可以將分類後的各視頻大類的視頻幀分別放入在文字特徵審查的各視頻大類的庫中，即將分類後的黃色視頻的視頻幀放入文字特徵審查的黃色視頻庫(記為WH)中，將分類後的暴力視頻的視頻幀放入文字特徵審查的暴力視頻庫(記為WB)中，將分類後的反動視頻的視頻幀放入文字特徵審查的反動視頻庫(記為WF)中。其中，具體的文字特徵審查方式，可以是採用目前已有的以及以後可能出現的任何一種方式進行，在此不予詳加贅述。採用聲音特徵審查方式對視頻樣本視頻資料庫中的各視頻幀進行分類，獲得聲音特徵審查的各視頻大類的視頻幀，即分別屬於黃色視頻的視頻幀、屬於暴力視頻的視頻幀、屬於反動視頻的視頻幀。在獲得聲音特徵審查的各視頻大類的視頻幀之後，可以將分類後的各視頻大類的視頻幀分別放入在聲音特徵審查的各視頻大類的庫中，即將分類後的黃色視頻的視頻幀放入聲音特徵審查的黃色視頻庫(記為VH)中，將分類後的暴力視頻的視頻幀放入聲音特徵審查的暴力視頻庫(記為VB)中，將分類後的反動視頻的視頻幀放入聲音特徵審查的反動視頻庫(記為VF)中。其中，具體的文字特徵審查方式，可以是採用目前已有的以及以後可能出現的任何一種方式進行，在此不予詳加贅述。採用圖像特徵審查方式對視頻樣本視頻資料庫中的各視頻幀進行分類，獲得圖像特徵審查的各視頻大類的視頻幀，即分別屬於黃色視頻的視頻幀、屬於暴力視頻的視頻幀、屬於反動視頻的視頻幀。在獲得圖像特徵審查的各視頻大類的視頻幀之後，可以將分類後的各視頻大類的視頻幀分別放入在圖像特徵審查的各視頻大類的庫中，即將分類後的黃色視頻的視頻幀放入圖像特徵審查的黃色視頻庫(記為GH)中，將分類後的暴力視頻的視頻幀放入圖像特徵審查的暴力視頻庫(記為GB)中，將分類後的反動視頻的視頻幀放入圖像特徵審查的反動視頻庫(記為GF)中。其中，具體的圖像特徵審查方式，可以是採用目前已有的以及以後可能出現的任何一種方式進行，在此不予詳加贅述。然後，根據融合審查的各視頻大類的視頻幀、各類特徵審查後的各視頻大類的視頻幀，確定各視頻大類的各類特徵審查的準確率。在其中一個具體實現方式中，具體的確定各視頻大類的各類特徵審查的準確率的方式可以是分別獲取屬於當前類特徵審查的當前視頻大類、但不屬於融合審查的當前視頻大類的視頻幀的第一視頻幀數目；將第一視頻幀數目除以融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的誤判率；分別獲取屬於融合審查的當前視頻大類的視頻幀、但不屬於當前類特徵審查的當前視頻大類的第二視頻幀數目；將第二視頻幀數目與除以融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的漏判率；根據當前類特徵審查的誤判率、漏判率確定當前視頻大類的當前類特徵審查的準確率。結合上述本發明的具體示例中的說明，各視頻大類包括有黃色視頻、暴力視頻、反動視頻，所進行的各類特徵審查包括有文字特徵審查、聲音特徵審查、圖像特徵審查。因而最後可以得到黃色視頻(暴力視頻、反動視頻)的文字特徵審查的準確率、聲音特徵審查的準確率、圖像特徵審查的準確率，共計九種準確率。針對確定暴力視頻的各類特徵審查的準確率為例，具體過程可以是如下所述。
首先，對於暴力視頻的文本審查的準確率，可以是以融合審查的暴力視頻庫RB為標準，確定文字審查的暴力視頻庫WB的誤判率、漏判率，再基於該誤判率、漏判率綜合確定暴力視頻的文本審查的準確率。對於誤判率,確定屬於文字審查的暴力視頻庫WB、但是卻不屬於融合審查的暴力視頻庫RB的視頻幀的數目，再將該數目除以融合審查的暴力視頻庫RB的視頻幀的數目，將所得到的值作為暴力視頻文本審查的誤判率，即暴力視頻文本審查的誤判率=(屬於文字審查的暴力視頻庫WB、但是卻不屬於融合審查的暴力視頻庫RB的視頻幀的數目)/ (融合審查的暴力視頻庫RB的視頻幀的數目)。對於漏判率,確定屬於融合審查的暴力視頻庫RB、但是不屬於文字審查的暴力視頻庫WB的視頻幀的數目，再將該數目除以融合審查的暴力視頻庫RB的視頻幀的數目，將所得到的值作為暴力視頻文本審查的漏判率，即暴力視頻文本審查的漏判率=(屬於融合審查的暴力視頻庫RB、但是卻不屬於文本審查的暴力視頻庫WB的視頻幀的數目)/ (融合審查的暴力視頻庫RB的視頻幀的數目)。然後，根據暴力視頻文本審查的誤判率、漏判率綜合確定暴力視頻文本審查的準確率。具體綜合確定時，可以是將暴力視頻文本審查的誤判率、暴力視頻文本審查的漏判率中的較大值、較小值、平均值、加權平均值或者通過其他方式計算所得的值作為暴力視頻文本審查的準確率，具體的綜合確定方式根據實際應用需求的不同可以有所不同。暴力視頻聲音審查的準確率、暴力視頻圖像審查的準確率的確定方式與上述確定暴力視頻文本審查的準確率的方式類似。對於暴力視頻的聲音審查的準確率，可以是以融合審查的暴力視頻庫RB為標準，確定聲音審查的暴力視頻庫VB的誤判率、漏判率，再基於該誤判率、漏判率綜合確定暴力視頻的聲音審查的準確率。對於誤判率,確定屬於聲音審查的暴力視頻庫VB、但是卻不屬於融合審查的暴力視頻庫RB的視頻幀的數目，再將該數目除以融合審查的暴力視頻庫RB的視頻幀的數目，將所得到的值作為暴力視頻聲音審查的誤判率，即暴力視頻聲音審查的誤判率=(屬於聲音審查的暴力視頻庫VB、但是卻不屬於融合審查的暴力視頻庫RB的視頻幀的數目)/ (融合審查的暴力視頻庫RB的視頻幀的數目)。對於漏判率,確定屬於融合審查的暴力視頻庫RB、但是不屬於聲音審查的暴力視頻庫VB的視頻幀的數目，再將該數目除以融合審查的暴力視頻庫RB的視頻幀的數目，將所得到的值作為暴力視頻聲音審查的漏判率，即暴力視頻聲音審查的漏判率=(屬於融合審查的暴力視頻庫RB、但是卻不屬於聲音審查的暴力視頻庫VB的視頻幀的數目)/ (融合審查的暴力視頻庫RB的視頻幀的數目)。然後，根據暴力視頻聲音審查的誤判率、漏判率綜合確定暴力視頻聲音審查的準確率。具體綜合確定時，可以是將暴力視頻聲音審查的誤判率、暴力視頻聲音審查的漏判率中的較大值、較小值、平均值、加權平均值或者通過其他方式計算所得的值作為暴力視頻聲音審查的準確率，具體的綜合確定方式根據實際應用需求的不同可以有所不同。對於暴力視頻的圖像審查的準確率，可以是以融合審查的暴力視頻庫RB為標準，確定圖像審查的暴力視頻庫GB的誤判率、漏判率，再基於該誤判率、漏判率綜合確定暴力視頻的圖像審查的準確率。
對於誤判率,確定屬於圖像審查的暴力視頻庫GB、但是卻不屬於融合審查的暴力視頻庫RB的視頻幀的數目，再將該數目除以融合審查的暴力視頻庫RB的視頻幀的數目，將所得到的值作為暴力視頻圖像審查的誤判率，即暴力視頻圖像審查的誤判率=(屬於圖像審查的暴力視頻庫GB、但是卻不屬於融合審查的暴力視頻庫RB的視頻幀的數目)/ (融合審查的暴力視頻庫RB的視頻幀的數目)。對於漏判率，確定屬於融合審查的暴力視頻庫RB、但是不屬於圖像審查的暴力視頻庫GB的視頻幀的數目，再將該數目除以融合審查的暴力視頻庫RB的視頻幀的數目，將所得到的值作為暴力視頻圖像審查的漏判率，即暴力視頻圖像審查的漏判率=(屬於融合審查的暴力視頻庫RB、但是卻不屬於圖像審查的暴力視頻庫GB的視頻幀的數目)/ (融合審查的暴力視頻庫RB的視頻幀的數目)。然後，根據暴力視頻圖像審查的誤判率、漏判率綜合確定暴力視頻圖像審查的準確率。具體綜合確定時，可以是將暴力視頻圖像審查的誤判率、暴力視頻圖像審查的漏判率中的較大值、較小值、平均值、加權平均值或者通過其他方式計算所得的值作為暴力視頻圖像審查的準確率，具體的綜合確定方式根據實際應用需求的不同可以有所不同。上述說明中，是以確定暴力視頻文字審查的準確率、暴力視頻聲音審查的準確率、暴力視頻圖像審查的準確率進行說明。對於黃色視頻、反動視頻等其他視頻大類來說，具體的確定各類特徵審查的準確率的方式與上述類似，在此不予詳加贅述。然後，根據各視頻大類的各類特徵審查的準確率，可綜合確定各視頻大類的特徵審查融合參數。以上述暴力視頻的各類特徵審查的準確率(包括暴力視頻文字審查的準確率、暴力視頻聲音審查的準確率、暴力視頻圖像審查的準確率)為例，暴力視頻的特徵審查融合參數可以記為(rw,rv, rg),其中rw表示暴力視頻文字審查的融合參數,rv表示暴力視頻聲音審查的融合參數，rg表示暴力視頻圖像審查的融合參數。在其中一個具體示例中，參數rw、rv、rg可以分別採用下述方式確定rw=暴力視頻文字審查的準確率/ (暴力視頻文字審查的準確率+暴力視頻聲音審查的準確率、暴力視頻圖像審查的準確率);rv=暴力視頻聲音審查的準確率/ (暴力視頻文字審查的準確率+暴力視頻聲音審查的準確率、暴力視頻圖像審查的準確率);rg=暴力視頻圖像審查的準確率/ (暴力視頻文字審查的準確率+暴力視頻聲音審查的準確率、暴力視頻圖像審查的準確率)。需要說明的是，這種確定方式僅僅只是一種示例性的說明，本領域技術人員可以預見還可以通過其他的方式來對融合參數進行綜合性的確定，在此不予窮舉。對於黃色視頻、反動視頻等其他視頻大類的特徵融合參數，具體的綜合確定可以與上述暴力視頻的特徵融合參數的確定方式類似，在此不予詳加贅述。上述獲得的各視頻大類的特徵融合參數，可以予以儲存，以便於後續對待審查視頻幀的融合審查。在對待審查視頻幀進行融合審查時，可先採用上述預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類。出於說明的目的，在此假設該待審查所屬的視頻大類為暴力視頻。
然後，從該待審查視頻幀中提取出相應的各類特徵，具體可以包括有文字特徵、聲音特徵、圖像特徵。然後，基於該待審查視頻幀的文字特徵、聲音特徵、圖像特徵，結合暴力視頻的特徵融合參數，確定該待審查視頻幀屬於暴力視頻下的各視頻小類的可能性。以下結合其中一個具體示例進行詳細說明。假設該待審查視頻幀所屬的暴力視頻的大類為i大類，該暴力視頻又被劃分為N個小類，分別記為il、i2、i3、……、iN。然後，根據該待審查視頻幀的文字特徵，判斷該待審查視頻幀或者該文字特徵屬於第il個小類的可能性《H、屬於第i2個小類的可能性wi2、屬於第i3個小類的可能性wi3、......、屬於第iN個小類的可能性wiN。從而必然會有wil+wi2+wi3+......+WiN=I0根據該待審查視頻幀的聲音特徵，判斷該待審查視頻幀或者該聲音特徵屬於第il個小類的可能性vil、屬於第i2個小類的可能性vi2、屬於第i3個小類的可能性vi3、……、屬於第iN個小類的可能性viN。從而必然會有vil+vi2+vi3+……+viN=l。根據該待審查視頻幀的圖像特徵，判斷該待審查視頻幀或者該圖像特徵屬於第il個小類的可能性gil、屬於第i2個小類的可能性gi2、屬於第i3個小類的可能性gi3、……、屬於第iN個小類的可能性giN。從而必然會有gil+`gi2+gi3+......+giN=l。從而基於上述獲得的結果，可以得到上述待審查視頻幀屬於暴力視頻下各小類的可能性分別為該待審查視頻巾貞屬於第il個小類的可能性為pil=rw*wil+rv+vil+rg*gil ；該待審查視頻巾貞屬於第i2個小類的可能性為pi2=rw*wi2+rv+vi2+rg*gi2 ；該待審查視頻巾貞屬於第i3個小類的可能性為pi3=rw*wi3+rv+vi3+rg*gi3 ；......該待審查視頻巾貞屬於第iN個小類的可能性為piN=rw*wiN+rv+viN+rg*giN。從而，根據該待審查視頻幀屬於暴力視頻下的第il、i2、i3、……、iN個小類的可
能性pil、pi2、pi3、......、piN,可以綜合確定該待審查視頻巾貞所屬的視頻小類。一般情況
下，可以將pil、pi2、pi3、……、piN中的最大值對應的視頻小類確定為該待審查視頻幀所屬的視頻小類。根據上述本發明的深入融合視頻審查方法，本發明還提供一種深入融合視頻審查系統，以下對本發明的深入融合視頻審查系統的實施例進行詳細說明。圖4中示出了本發明的深入融合視頻審查系統實施例的結構示意圖。如圖4所示，本實施例中的深入融合視頻申查系統包括有視頻大類融合確定模塊401，用於採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類；特徵提取模塊402，用於提取所述待審查視頻幀中的各類特徵；視頻小類融合確定模塊403，用於分別根據所述待審查視頻幀中的各類特徵、所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，並根據所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，綜合確定所述待審查視頻幀所屬的視頻小類。根據本實施例中的方案，其在進行審查時，是先採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類，再基於該視頻大類的特徵審查融合參數、以及該待審查視頻幀中的各類特徵，確定出該待審查視頻幀屬於上述確定的視頻大類下的各視頻小類的可能性，並基於屬於各視頻小類的可能性，綜合確定出上述待審查視頻幀所屬的視頻小類。其基於該待審查視頻幀中的各類特徵、以及視頻大類的特徵審查融合參數，綜合考慮了視頻幀中的各類特徵在該視頻大類中的視頻幀中所起的作用，對不同類特徵對不同類型視頻幀的作用加以區分，提高了視頻審查的準確度。圖4所示中，本實施例中的深入融合視頻審查系統，還可以包括有用於確定所述各視頻大類的特徵審查融合參數的融合參數確定模塊404。如圖4所示,該融合參數確定模塊404包括有樣本融合審查模塊4041，用於採用所述預設融合審查分類方式對視頻樣本資料庫中的各視頻幀進行分類，獲得融合審查的各視頻大類的視頻幀；樣本分類審查模塊4042，用於分別採用各類特徵審查方法對所述視頻樣本資料庫中的各視頻幀進行分類，分別獲得各類特徵審查後的各視頻大類的視頻幀；樣本準確率確定模塊4043，用於根據所述融合審查的各視頻大類的視頻幀、各類特徵審查後的各視頻大類的視頻幀，確定各視頻大類的各類特徵審查的準確率；融合參數綜合確定模塊4044，根據各視頻大類的各類特徵審查的準確率，確定各視頻大類的特徵審查融合參數。在其中一個具體示例中，上述融合參數綜合確定模塊4044，可以是將當前視頻大類的當前類特徵審查的準確率相對於當前視頻大類的各類特徵審查的準確率之和的比例作為當前視頻大類的當前類特徵審查的融合參數，當前視頻大類的特徵融合審查參數包括當前視頻大類的各類特徵審查的融合參數。其中，如圖4所示，上述樣本準確率確定模塊4043具體可以包括有誤判率確定模塊40431，用於分別獲取屬於當前類特徵審查的當前視頻大類、但不屬於融合審查的當前視頻大類的視頻幀的第一視頻幀數目，並將所述第一視頻幀數目除以所述融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的誤判率；漏判率確定模塊40432，用於分別獲取屬於融合審查的當前視頻大類的視頻幀、但不屬於當前類特徵審查的當前視頻大類的第二視頻幀數目，並將所述第二視頻幀數目與除以所述融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的漏判率；準確率確定模塊40433，用於根據當前類特徵審查的誤判率、漏判率確定當前視頻大類的當前類特徵審查的準確率。在其中一個具體示例中，上述準確率確定模塊40433，可以將當前類特徵審查的誤判率、漏判率的平均值或者加權平均值作為當前視頻大類的當前類特徵審查的準確率。如圖4所示，在其中一個示例中，上述視頻小類融合確定模塊403具體可以包括特徵小類可能性確定模塊4031，用於分別判斷待審查視頻幀中的各類特徵屬於所述視頻大類下的各視頻小類的可能性；視頻小類可能性確定模塊4032，用於根據各類特徵屬於所述視頻大類下的各視頻小類的可能性，以及所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性；小類確定模塊，用於確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性的最大值，並將該可能性的最大值對應的視頻小類確定為所述待審查視頻幀所屬的視頻小類。本發明的深入融合視頻審查系統中各模塊的具體實現方式，可以與上述本發明的深入融合視頻審查方法中的相同，在此不予贅述。以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。
權利要求
1.一種深入融合視頻審查方法，其特徵在於，包括步驟 採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類； 提取所述待審查視頻幀中的各類特徵； 分別根據所述待審查視頻幀中的各類特徵、所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性； 根據所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，綜合確定所述待審查視頻幀所屬的視頻小類。
2.根據權利要求1所述的深入融合視頻審查方法，其特徵在於，視頻大類的特徵審查融合參數的確定方式包括 採用所述預設融合審查分類方式對視頻樣本資料庫中的各視頻幀進行分類，獲得融合審查的各視頻大類的視頻幀； 分別採用各類特徵審查方法對所述視頻樣本資料庫中的各視頻幀進行分類，分別獲得各類特徵審查後的各視頻大類的視頻幀； 根據所述融合審查的各視頻大類的視頻幀、各類特徵審查後的各視頻大類的視頻幀，確定各視頻大類的各類特徵審查的準確率； 根據各視頻大類的各類特徵審查的準確率，確定各視頻大類的特徵審查融合參數。
3.根據權利要求2所述的深入融合視頻審查方法，其特徵在於，確定各視頻大類的各類特徵審查的準確率的方式包括 分別獲取屬於當前類特徵審查的當前視頻大類、但不屬於融合審查的當前視頻大類的視頻幀的第一視頻幀數目； 將所述第一視頻幀數目除以所述融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的誤判率； 分別獲取屬於融合審查的當前視頻大類的視頻幀、但不屬於當前類特徵審查的當前視頻大類的第二視頻幀數目； 將所述第二視頻幀數目與除以所述融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的漏判率； 根據當前類特徵審查的誤判率、漏判率確定當前視頻大類的當前類特徵審查的準確率。
4.根據權利要求3所述的深入融合視頻審查方法，其特徵在於，將當前類特徵審查的誤判率、漏判率的平均值或者加權平均值作為當前視頻大類的當前類特徵審查的準確率。
5.根據權利要求2所述的深入融合視頻審查方法，其特徵在於，根據各視頻大類的各類特徵審查的準確率，確定各視頻大類的特徵審查融合參數的方式包括 將當前視頻大類的當前類特徵審查的準確率相對於當前視頻大類的各類特徵審查的準確率之和的比例作為當前視頻大類的當前類特徵審查的融合參數； 當前視頻大類的特徵融合審查參數包括當前視頻大類的各類特徵審查的融合參數。
6.根據權利要求1至5任意一項所述的深入融合視頻審查方法，其特徵在於，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性的方式包括 分別判斷待審查視頻幀中的各類特徵屬於所述視頻大類下的各視頻小類的可能性；根據各類特徵屬於所述視頻大類下的各視頻小類的可能性，以及所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性。
7.根據權利要求1至5任意一項所述的深入融合視頻審查方法，其特徵在於，綜合確定所述待審查視頻幀所屬的視頻小類的方式包括 確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性的最大值； 將該可能性的最大值對應的視頻小類確定為所述待審查視頻幀所屬的視頻小類。
8.—種深入融合視頻審查系統，其特徵在於，包括 視頻大類融合確定模塊，用於採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類； 特徵提取模塊，用於提取所述待審查視頻幀中的各類特徵； 視頻小類融合確定模塊，用於分別根據所述待審查視頻幀中的各類特徵、所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，並根據所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，綜合確定所述待審查視頻幀所屬的視頻小類。
9.根據權利要求8所述的深入融合視頻審查系統，其特徵在於，還包括 融合參數確定模塊，用於確定所述各視頻大類的特徵審查融合參數。
10.根據權利要求9所述的深入融合視頻審查系統，其特徵在於，所述融合參數確定模塊包括 樣本融合審查模塊，用於採用所述預設融合審查分類方式對視頻樣本資料庫中的各視頻幀進行分類，獲得融合審查的各視頻大類的視頻幀； 樣本分類審查模塊，用於分別採用各類特徵審查方法對所述視頻樣本資料庫中的各視頻幀進行分類，分別獲得各類特徵審查後的各視頻大類的視頻幀； 樣本準確率確定模塊，用於根據所述融合審查的各視頻大類的視頻幀、各類特徵審查後的各視頻大類的視頻幀，確定各視頻大類的各類特徵審查的準確率； 融合參數綜合確定模塊，根據各視頻大類的各類特徵審查的準確率，確定各視頻大類的特徵審查融合參數。
11.根據權利要求10所述的深入融合視頻審查方法，其特徵在於，所述樣本準確率確定模塊包括 誤判率確定模塊，用於分別獲取屬於當前類特徵審查的當前視頻大類、但不屬於融合審查的當前視頻大類的視頻幀的第一視頻幀數目，並將所述第一視頻幀數目除以所述融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的誤判率； 漏判率確定模塊，用於分別獲取屬於融合審查的當前視頻大類的視頻幀、但不屬於當前類特徵審查的當前視頻大類的第二視頻幀數目，並將所述第二視頻幀數目與除以所述融合審查的當前視頻大類的視頻幀的樣本數目的值作為該當前類特徵審查的漏判率； 準確率確定模塊，用於根據當前類特徵審查的誤判率、漏判率確定當前視頻大類的當前類特徵審查的準確率。
12.根據權利要求11所述的深入融合視頻審查系統，其特徵在於，所述準確率確定模塊，將當前類特徵審查的誤判率、漏判率的平均值或者加權平均值作為當前視頻大類的當前類特徵審查的準確率。
13.根據權利要求10所述的深入融合視頻審查系統，其特徵在於，所述融合參數綜合確定模塊，將當前視頻大類的當前類特徵審查的準確率相對於當前視頻大類的各類特徵審查的準確率之和的比例作為當前視頻大類的當前類特徵審查的融合參數，當前視頻大類的特徵融合審查參數包括當前視頻大類的各類特徵審查的融合參數。
14.根據權利要求8至13任意一項所述的深入融合視頻審查系統，其特徵在於，視頻小類融合確定模塊包括 特徵小類可能性確定模塊，用於分別判斷待審查視頻幀中的各類特徵屬於所述視頻大類下的各視頻小類的可能性； 視頻小類可能性確定模塊，用於根據各類特徵屬於所述視頻大類下的各視頻小類的可能性，以及所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性； 小類確定模塊，用於確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性的最大值，並將該可能性的最大值對應的視頻小類確定為所述待審查視頻幀所屬的視頻小類。
全文摘要
一種深入融合視頻審查方法及系統，該方法包括步驟採用預設融合審查分類方式對待審查視頻幀進行分類，獲得該待審查視頻幀所屬的視頻大類；提取所述待審查視頻幀中的各類特徵；分別根據所述待審查視頻幀中的各類特徵、所述視頻大類的特徵審查融合參數，確定所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性；根據所述待審查視頻幀屬於所述視頻大類下的各視頻小類的可能性，綜合確定所述待審查視頻幀所屬的視頻小類。本發明方案基於該待審查視頻幀中的各類特徵、以及視頻大類的特徵審查融合參數，綜合考慮了視頻幀中的各類特徵在該視頻大類中的視頻幀中所起的作用，對不同類特徵對不同類型視頻幀的作用加以區分，提高了視頻審查的準確度。
文檔編號G06F17/30GK103049530SQ20121056352
公開日2013年4月17日 申請日期2012年12月22日 優先權日2012年12月22日
發明者朱定局 申請人:深圳先進技術研究院