基於內容的網際網路視頻檢索方法

2023-05-28 10:49:51

專利名稱：基於內容的網際網路視頻檢索方法
技術領域：
本發明涉及的是一種圖像處理和模式識別技術領域的方法，特別是一種基於內容的網際網路視頻檢索方法。
背景技術：
網絡視音頻是目前國內外快速發展的新型媒體內容服務產業，以YouTube和 Tudou為代表的新型網絡視音頻服務提供商成為了網際網路經濟的新寵。我國的網絡視音頻也正在得到飛速的發展。上海網際網路視聽網站數量居全國前列，用戶覆蓋全國，用戶總量超過1. 3億。網際網路視聽節目傳播的影響力越來越大，需要進行全面、有效管理，淨化國內網際網路視聽節目傳播環境，為青少年健康成長提供良好的網絡氛圍。但是目前對於政策、制度和管理的支持缺乏有效的監管手段和先進的技術平臺，使得在管理技術與產業技術之間產生了一定的距離，導致了目前視音頻產業發展遇到嚴重的瓶頸。因此，當前迫切需要提升視音頻技術管理手段，彌合管理技術與行業技術的差距，通過行業管理部門與產業典型企業的密切合作，解決視音頻產業發展的瓶頸。經過對現有技術文獻的檢索發現，Weiming Hu, Niahua Xie等在《IEEE Transactions on Systems, Man, and Cybernetics-Part C !Applications and Reviews》 vol.99, PP 1-23, March. 2011,(《IEEE學報之系統，人類和控制論-C部分應用和回顧》 2011年3月，第99卷，1-23頁)上發表的「圖像與視頻檢索技術與系統」(「A Survey on Visual Content-Based Video Indexing and Retrieval」)，該文中列舉了近年來基於內容的視頻索引和檢索方法。對於視頻的檢索方法是1)特徵提取，對視頻進行鏡頭分割；2) 在每個鏡頭中提取關鍵幀；幻用每個關鍵幀的特徵向量到資料庫中進行匹配，最後得到檢索的結果。然而，針對網際網路上的視頻，上述方法有以下的不足第一，網絡中的視頻種類很多，一些在某些訓練視頻集中有效的特徵不一定對於網絡中的視頻有效；第二，一些傳統方法提取的關鍵幀往往有很多冗餘，網絡中視頻繁多，關鍵幀過多會造成檢索性能下降；第三，對網絡中的視頻進行分類時，視頻庫相當龐大，很多沒有鑑別力的鏡頭和關鍵幀的存在會對檢索結果造成很大影響。

發明內容
本發明的目的在於克服現有技術的不足，提出一種基於內容的網際網路視頻檢索技術，從視頻的角度，研究網際網路視頻的分析和檢索技術，為網際網路視音頻節目內容分析、分類和研判提供信息和判據。為了達到上述目的，本發明提出一種基於內容的網際網路視頻檢索方法，包括如下步驟步驟一，從網際網路上隨機採集若干視頻作為訓練樣本集，建立視頻庫，並提取所述訓練樣本集中所有視頻中每幀的分塊顏色直方圖特徵和亮度特徵作為鏡頭分割判斷依據；
步驟二，根據步驟一中提取的所述兩種特徵對所述訓練樣本集中的所有視頻進行自適應方式鏡頭分割，並得到鏡頭分割列表；步驟三，根據所述鏡頭分割列表以及所述兩種特徵對所述訓練樣本集中的所有視頻提取關鍵幀以及獲得關鍵幀的索引；步驟四，對於一個待檢索視頻，首先按照步驟一，步驟二和步驟三的處理之後得到關鍵幀列表，然後採用軟性判決方法進行快速定位和檢索。進一步的，所述提取顏色直方圖特徵和亮度特徵，具體為根據視頻中各圖像幀的在RGB信道下的4*4分塊顏色直方圖提取顏色特徵；根據視頻中各圖像幀的平均亮度和方法方差亮度提取亮度特徵。進一步的，一個η bin的顏色直方圖特徵通過以下公式計算得到
「0014
權利要求
1.一種基於內容的網際網路視頻檢索方法，其特徵在於，包括如下步驟步驟一，從網際網路上隨機採集若干視頻作為訓練樣本集，建立視頻庫，並提取所述訓練樣本集中所有視頻中每幀的分塊顏色直方圖特徵和亮度特徵作為鏡頭分割判斷依據；步驟二，根據步驟一中提取的所述兩種特徵對所述訓練樣本集中的所有視頻進行自適應方式鏡頭分割，並得到鏡頭分割列表；步驟三，根據所述鏡頭分割列表以及所述兩種特徵對所述訓練樣本集中的所有視頻提取關鍵幀以及獲得關鍵幀的索引；步驟四，對於一個待檢索視頻，首先按照步驟一，步驟二和步驟三的處理之後得到關鍵幀列表，然後採用軟性判決方法進行快速定位和檢索。
2.根據權利要求1所述的基於內容的網際網路視頻檢索方法，其特徵在於，所述提取顏色直方圖特徵和亮度特徵，具體為根據視頻中各圖像幀的在RGB信道下的4*4分塊顏色直方圖提取顏色特徵；根據視頻中各圖像幀的平均亮度和方法方差亮度提取亮度特徵。
3.根據權利要求2所述的基於內容的網際網路視頻檢索方法，其特徵在於，一個ηbin的顏色直方圖特徵通過以下公式計算得到
4.根據權利要求2所述的基於內容的網際網路視頻檢索方法，其特徵在於，所述圖像幀的平均亮度通過以下公式計算得到
5.根據權利要求4所述的基於內容的網際網路視頻檢索方法，其特徵在於，所述方差亮度通過以下公式計算得到
6.根據權利要求1所述的基於內容的網際網路視頻檢索方法，其特徵在於，所述自適應方式鏡頭分割，具體為①採用自適應閾值算法分別對步驟一中提取的兩種特徵集進行處理，得到兩個鏡頭分割列表；②取得所述兩個鏡頭分割列表的併集作為待定列表；③採用軟性判決方法，通過S型函數得到每個待定鏡頭分割位置的置信概率，對最終的結果做出判斷。
7.根據權利要求1所述的基於內容的網際網路視頻檢索方法，其特徵在於，所述提取關鍵幀以及獲得關鍵幀的索引方法，具體為①將時間信息和顏色特徵信息組合成綜合信息；②採用改進型K-Means算法聚類得到不同鏡頭的關鍵幀及其索引；③採用尺度不變特徵轉換相似度匹配過濾掉同一個鏡頭中冗餘的關鍵幀。
8.根據權利要求1所述的基於內容的網際網路視頻檢索方法，其特徵在於，所述軟性判決方法，具體為①在關鍵幀資料庫中，使用歐式距離計算公式計算每個關鍵幀與其他幀的最短距離；②將所有的最短距離輸入S型置信函數中得到每個關鍵幀索引的置信概率；③待檢索視頻的關鍵幀列表進行匹配，得到置信概率列表；④統計列表，總概率最大的視頻就是定位視頻。
9.根據權利要求8所述的基於內容的網際網路視頻檢索方法，其特徵在於，所述S型置信函數表達為y — i_q & χ e((Dis tan ce-0. 4)/10)其中，Distance代表最短距離。
全文摘要
本發明提出一種基於內容的網際網路視頻檢索方法，包括步驟一，從網際網路上隨機採集若干視頻作為訓練樣本集，建立視頻庫，並提取訓練樣本集中所有視頻中每幀的分塊顏色直方圖特徵和亮度特徵作為鏡頭分割判斷依據。步驟二，根據步驟一中提取的兩種特徵對訓練樣本集中的所有視頻進行自適應方式鏡頭分割，並得到鏡頭分割列表。步驟三，根據鏡頭分割列表以及特徵對訓練樣本集中的所有視頻提取關鍵幀以及獲得關鍵幀的索引。步驟四，對於一個待檢索視頻，首先按照步驟一，二和三處理之後得到關鍵幀列表，然後採用一種新的軟性判決方法進行快速定位和檢索。本發明可以實現視頻的快速定位和檢索，有較快的處理速度和較高的檢索效率和檢索正確率。
文檔編號G06F17/30GK102254006SQ20111019966
公開日2011年11月23日 申請日期2011年7月15日 優先權日2011年7月15日
發明者劉功申, 李建華, 李生紅, 殷傑, 王士林 申請人:上海交通大學