基於視頻圖像的網際網路多媒體內容的分類方法
2023-04-23 13:39:36 1
基於視頻圖像的網際網路多媒體內容的分類方法
【專利摘要】本發明公開了基於視頻圖像的網際網路多媒體內容的分類方法，涉及計算機【技術領域】。具體步驟是：一、對多媒體內容進行分類的人機互動方法；二、對多媒體內容進行分類識別的實現過程：三、識別視頻/圖像中中所含物體內容的方法。本發明提供基於視頻圖像的網際網路多媒體內容的分類方法，本發明基於視頻/圖像高層語義分析和高層情感內容進行分類為主，結合語音識別和文本解析技術進行對網際網路上相關的視頻/圖像內容進行分類的方法。該方法通過綜合分析能夠判斷視頻/圖像中是否含有色情，暴力，恐怖，敏感以及用戶可定製特定類別等相關的內容並進行相應的過濾或處理。
【專利說明】基於視頻圖像的網際網路多媒體內容的分類方法
【技術領域】
[0001]本發明涉及計算機【技術領域】，具體涉及基於視頻圖像的網際網路多媒體內容的分類方法。
【背景技術】
[0002]隨著以網際網路信息的爆炸式增長，及時準確的提取和掌握信息情報的能力呈現了強烈的市場需求。科技新寵「數據挖掘技術」應運而生，已經成為新聞輿論，媒體娛樂，商業情報，科學研究等領域佔領先機的有力工具。
[0003]目前網際網路上的內容挖掘分類方法層出不窮。但是它們的實現大多是基於文本信息，一些基於圖像的搜索/挖掘以及進行分類的方法只是根據圖像底層的紋理，色彩等信息進行，無法分析或根據圖像的高層語義，也就是通過圖像中具有什麼物體來進行，更不用說根據視頻/圖像中所包含的敏感內容進行挖掘和分類。另外，目前對網際網路內容進行挖掘分類的實現過程要麼只針對文本，要麼只針對圖像本身這種單一的模態來進行。
[0004]隨著網際網路上信息的爆炸式增長，視頻/圖像以其直觀性和信息量豐富等都有的特色越來越在社會生活中扮演著重要角色。然而，網際網路上的內容紛繁複雜，蔓延著各種色情、血腥、暴力及其它敏感內容，嚴重危害人們，特別是青少年的成長。因此建立一套高效，多媒體內容挖掘分類方法勢在必行。
【發明內容】
[0005]本發明提供基於視頻圖像的網際網路多媒體內容的分類方法，本發明基於視頻/圖像高層語義分析和高層情感內容進行分類為主，結合語音識別和文本解析技術進行對網際網路上相關的視頻/圖像內容進行分類的方法。該方法通過綜合分析能夠判斷視頻/圖像中是否含有色情，暴力，恐怖，敏感以及用戶可定製特定類別等相關的內容並進行相應的過濾或處理。
[0006]為解決上述問題，本發明採用如下技術方案:本發明的具體步驟是:
[0007]如圖1-2所示，一、對多媒體內容進行分類的人機互動方法:1.用戶可以通過電腦，手機，移動終端，及包含智能手錶在內的任何智能多媒體IO載體輸入他所需要訪問的多媒體內容或者是多媒體信息搜索條件；
[0008]2.根據多媒體搜索條件從網際網路上獲得符合條件的多媒體內容；
[0009]3.多媒體分類方法對這些內容進行分類和識別；
[0010]4.將分類識別的最後結果通過電腦，手機，移動終端，及包含智能手錶在內的任何智能多媒體IO載體反饋給用戶；
[0011]如圖3所示，二.對多媒體內容進行分類識別的實現過程:
[0012]1.對於獲得的多媒體信息中的圖像/視頻部分:
[0013]2.需要判斷其中所包含各個物體的區域以及他們的內容；
[0014]3.根據視覺感知理論，提取多媒體信息中視頻/圖像/音頻/文本中與感知有關的特徵；
[0015]4.建立單幅圖像中各個物體之間的特徵關係，建立視頻中不同幀之間同一物體的特徵關係，建立視頻中不同鏡頭之間的特徵關係，將以文本中相鄰關鍵字之間的特徵關係;
[0016]5.所有這些多媒體信息，上述信息包含步驟3中的局部關係和步驟4中的相互關係；通過支持大數據的雲端處理機制對其內容進行分類，確定它含有哪些敏感內容，比如色情，暴力，恐怖等。一組多媒體信息中可能屬於有I個或多個敏感內容類別；
[0017]6.將分類結果進行輸出；
[0018]如圖4所示，三.識別視頻/圖像中中所含物體內容的方法:
[0019]1.進行圖像分割，獲得多個局部區域；
[0020]2.對每個區域提取相應的色彩/紋理等信息；
[0021]3.分析得到每個區域的物體含義；
[0022]4.將具有相同物體含義的，相鄰的區域進行合併，等到不同的區域並獲知每個區域是什麼物體；
[0023]5.將時間和空間上相鄰的區域和物體進行聯合分析和判斷，推理出物體的高層語義解釋，以及事件/行為的計算機詮釋，敏感內容識別。
[0024]本發明的實施方式主要分為兩部分:1.視頻/圖像中所包含的眾多敏感內容,包括色情，暴力，恐怖等，是人的感知內容，所以我們的方法首先基於感知學的基本原理從視頻/圖像/音頻中抽取與敏感內容相關聯的特徵；同時，該方法能根據用戶自定義敏感信息來進行內容分類和檢索2.我們的分類模型不再是對單一的媒體(模態)進行分析，而是將圖像中物體之間的關係，視頻中前後幀圖像和音頻的變化，以及文本中關鍵詞上下文關係都考慮進去，建立一個多媒體數據綜合分類方法模型。
[0025]本發明將實現視頻/圖像的高層次語義分析和敏感內容的識別，融合文本，語音以及視覺信息完成語義分析和敏感內容識別。該技術不僅適用於對網際網路上視頻/圖像的挖掘/分析，也適用於對離線各個視頻內容的分析和判斷。目前系統分析識別準確率可達90%。
【專利附圖】
【附圖說明】
[0026]圖1是本發明基於視頻圖像高端語義情感分析的網際網路多媒體內容的分類方法的總體處理流程圖；
[0027]圖2是對多媒體內容進行分類的人機互動方法圖；
[0028]圖3是對多媒體內容進行分類識別的實現過程；
[0029]圖4視頻/圖像物體內容分析的實現流程圖。
【具體實施方式】
[0030]下面用最佳的實施例對本發明做詳細的說明。離線的多媒體信息分析:
[0031]1.用戶通過終端上傳需要處理的視頻/圖像/音頻/文本以及其他多媒體信息；
[0032]2.系統對上傳的多媒體信息進行分析，給出該多媒體信息中含有哪些敏感內容；
[0033]在線的多媒體信息分析:[0034]1.用戶通過終端將相應的圖片或者關鍵詞輸入；
[0035]2.系統抓取網絡上與給定圖片內容和文本內容相同或類似的視頻/圖像信息及其對應的音頻和文本信息；
[0036]3.系統對每組符合搜索條件的多媒體信息進行分析，將那些具有敏感信息的內容輸出。
[0037]最後應說明的是:顯然，上述實施例僅僅是為清楚地說明本發明所作的舉例，而並非對實施方式的限定。對於所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這裡無需也無法對所有的實施方式予以窮舉。而由此所引申出的顯而易見的變化或變動仍處於本發明的保護範圍之中。
【權利要求】
1. 基於視頻圖像的網際網路多媒體內容的分類方法，其特徵在於，具體步驟是:對多媒體內容進行分類的人機互動方法: (1)用戶可以通過電腦，手機，移動終端，及包含智能手錶在內的任何智能多媒體IO載體輸入他所需要訪問的多媒體內容或者是多媒體信息搜索條件； (2)根據多媒體搜索條件從網際網路上獲得符合條件的多媒體內容； (3)多媒體分類方法對這些內容進行分類和識別； (4)將分類識別的最後結果通過電腦，手機，移動終端，及包含智能手錶在內的任何智能多媒體IO載體反饋給用戶。
2.對多媒體內容進行分類識別的實現過程: (1)對於獲得的多媒體信息中的圖像/視頻部分； (2)需要判斷其中所包含各個物體的區域以及他們的內容； (3)根據視覺感知理論，提取多媒體信息中視頻/圖像/音頻/文本中與感知有關的特徵； (4)建立單幅圖像中各個物體之間的特徵關係，建立視頻中不同幀之間同一物體的特徵關係，建立視頻中不同鏡頭之間的特徵關係，將以文本中相鄰關鍵字之間的特徵關係； (5)所有這些多媒體信息，上述信息包含步驟(3)中的局部關係和步驟(4)中的相互關係；通過支持大數據的雲端處理機制對其內容進行分類，確定它含有哪些敏感內容，比如色情，暴力，恐怖等。一組多媒體信息中可能屬於有I個或多個敏感內容類別； (6)將分類結果進行輸出。
3.識別視頻/圖像中中所含物體內容的方法: (1)進行圖像分割，獲得多個局部區域； (2)對每個區域提取相應的色彩/紋理等信息； (3)分析得到每個區域的物體含義； (4)將具有相同物體含義的，相鄰的區域進行合併，等到不同的區域並獲知每個區域是什麼物體； (5)將時間和空間上相鄰的區域和物體進行聯合分析和判斷，推理出物體的高層語義解釋，以及事件/行為的計算機詮釋，敏感內容識別。
【文檔編號】G06F17/30GK103473340SQ201310432943
【公開日】2013年12月25日 申請日期:2013年9月23日 優先權日:2013年9月23日
【發明者】熊偉華 申請人:江蘇刻維科技信息有限公司