改進的視頻鏡頭檢測方法
2023-07-07 17:43:26
改進的視頻鏡頭檢測方法
【專利摘要】本發明公開了一種視頻鏡頭檢測方法，包括：直方圖法處理過程，所述直方圖法處理過程包括步驟：從視頻中提取相鄰兩幀；在HSV空間中，根據三顏色分量的加權比例來計算直方圖交集；以及判斷是否發生鏡頭變化；幀差法處理過程，如果判斷發生鏡頭變化，則該處理進入所述幀差法處理過程，所述幀差法處理過程進一步包括步驟：從所述鏡頭中提取相鄰兩幀，並進行非均勻分塊；計算所述分塊中的每一個分塊的像素差值；將所述像素差值與預設的分塊幀差閾值進行比較，以進行標記；對所述分塊中的標記變量進行加權求和；將所述和與設定的分塊加權閾值進行比較；以及如果所述和大於所述分塊加權閾值，則發生鏡頭變化。
【專利說明】改進的視頻鏡頭檢測方法
【技術領域】
[0001]本發明涉及視頻鏡頭分割技術，更具體地，本發明涉及一種改進的視頻鏡頭檢測方法。
【背景技術】
[0002]隨著現階段視頻數據的日益豐富，如何對網絡上存在的海量視頻信息進行有效的組織、管理、查詢和檢索，並查找到用戶感興趣的視頻片段，這一需求已變得愈加迫切。視頻鏡頭分割技術是基於內容的視頻檢索的核心問題之一，可有效地用於對網際網路上海量無序的視頻數據進行管理。通過該項技術和關鍵幀提取技術對視頻進行結構化並為視頻建立索引和摘要，在形成關於視頻內容的線性結構的情況下，才能有效實現視頻數據的快速瀏覽和檢索。
[0003]現階段視頻鏡頭檢測分割的常用方法是，計算視頻中連續幀之間低層視覺特徵或運動特徵的幀間差異值，並將其與預設或自適應的閾值進行比較，若差異值大於閾值，則該處為鏡頭邊界，反之，則認為這組連續幀屬於同一鏡頭。由常用方法可知，幀間差異值的度量方式、閾值的設定，以及兩者的最優組合將成為視頻鏡頭檢測分割的關鍵所在。而在同一鏡頭之內，視頻特徵發生變化主要有以下兩個原因:對象/攝像機的運動和光線的變化。對象/攝像機的運動導致鏡頭內不斷出現新對象，同時舊對象也在不斷消失，若處理不當，則很容易和鏡頭漸變混淆，導致鏡頭誤檢。鏡頭內也經常出現光線變化，若鏡頭內某幀突然變亮，則基於亮度特徵度量的幀差值就會發生跳變，若處理不當，就會將其檢測為鏡頭切變，也會導致鏡頭誤檢。
[0004]根據鏡頭轉換處的特點，基於不同的圖像幀視覺特徵和鏡頭運動特徵，鏡頭分割現有的技術方案主要採用以下幾類方法:基於像素的算法、基於直方圖的算法等。
[0005](I)基於像素的算法
[0006]基於像素的算法對相鄰兩幀相應像素的灰度或亮度差值的絕對值進行求和，得到總幀差，並與預設閾值進行比較以衡量幀間差異度。它是計算幀間差異值的最簡單和基本的算法，
[0007](2)基於直方圖的算法
[0008]直方圖直觀地反映了一幅圖像灰度(灰度直方圖)或顏色(顏色直方圖)的總體分布，由於其出色的全局特性，廣泛應用於圖像處理中，並有多種度量方式:基本方法是計算相鄰視頻幀間的直方圖差異值，但是直方圖幀差值的結果因採用的直方圖種類而異。還可通過引入加權係數計算兩幅圖像之間的直方圖加權距離來對基本方法進行擴展，此外還有計算兩幅圖像之間的直方圖交集或採用其他距離度量方法。
[0009]基於直方圖的算法是應用最為廣泛的視頻鏡頭檢測分割方法，處理簡單方便，計算複雜度較低，對於大多數視頻來說，只要閾值設置得當，一般均能達到比較好的效果。
[0010]現有的鏡頭分割算法分別運用了視頻不同的低層特徵(如顏色、邊緣、紋理等視覺特徵及運動特徵)，雖然都取得了一定的效果，但由於算法本身所限，或多或少都存在一些問題。單獨應用某種方法或視頻的某種低層視覺特徵對視頻鏡頭進行檢測，難以獲得較好的效果。
[0011]對於基於像素的方法，雖然算法簡單明了且容易實現，但對於鏡頭內對象/攝像機的運動十分敏感，鏡頭內對象/攝影機的運動將會導致圖像幀中多數像素的灰度或亮度發生變化，從而導致鏡頭邊界的誤檢測；對於基於直方圖的方法，由於直方圖無法體現圖像的位置信息和視覺內容，內容毫無關聯的兩幅圖像也可能擁有同樣的灰度/顏色總體分布，具有相同顏色總體分布的兩幅圖像也可能擁有相同的對象和背景，但是對象的位置不同，這些都可能導致鏡頭邊界的誤檢測；此外，劇烈光照變化的情況(如閃光等)，也會很大程度上幹擾以上兩種方法的鏡頭檢測效果。
[0012]基於現有技術存在的缺點，我們在現有鏡頭檢測算法的基礎上，對已有算法進行改進，並對理論上具有互補特性的方法進行結合，提出了一種改進的視頻鏡頭檢測方法。本發明在鏡頭檢出度和準確度有顯著改善的基礎上，未顯著增加時間和計算複雜度，達到了實際應用中實時性的相應要求。
【發明內容】
[0013]為了克服現有技術中的問題，本發明的技術方案基於內容的視頻檢索可對用戶輸入的圖像或視頻信息有效地分析提取特徵，以進行匹配檢索，從而提高鏡頭分割檢測的檢出度和準確度，給使用者帶來便利。
[0014]根據本發明的一個實施例，提供了一種視頻鏡頭檢測方法，包括:直方圖法處理過程，所述直方圖法處理過程包括步驟:從視頻中提取相鄰兩幀；在HSV空間中，根據三顏色分量的加權比例來計算直方圖交集；以及判斷是否發生鏡頭變化；幀差法處理過程，如果判斷發生鏡頭變化，則該處理進入所述幀差法處理過程，所述幀差法處理過程進一步包括步驟:從所述鏡頭中提取相鄰兩幀，並進行非均勻分塊；計算所述分塊中的每一個分塊的像素差值；將所述像素差值與預設的分塊幀差閾值進行比較，以進行標記；對所述分塊中的標記變量進行加權求和；將所述和與設定的分塊加權閾值進行比較；以及如果所述和大於所述分塊加權閾值，則發生鏡頭變化。
[0015]優選地，所述判斷是否發生鏡頭變化進一步包括:將所述直方圖交集與設定的鏡頭相似度閾值進行比較；以及如果所述直方圖交集大於所述鏡頭相似度閾值，則發生鏡頭變化。
[0016]優選地，在所述直方圖法處理過程中，如果未達到視頻末幀，則對下一幀重複進行所述直方圖法處理過程。
[0017]優選地，所述進行標記進一步包括:將所述像素差值大於所述分塊幀差閾值的分塊標記為1，並且將所述像素差值不大於所述分塊幀差閾值的分塊標記為O。
[0018]優選地，在所述幀差法處理過程中，如果未達到鏡頭末幀，則對下一幀重複進行所述幀差法處理過程。
[0019]優選地，幀數小於20的鏡頭被劃歸到上一個鏡頭中。
[0020]根據本公開和附圖的下面的詳細描述，對本領域的普通技術人員來說其它的目的、特徵、以及優點將是顯而易見的。
【專利附圖】
【附圖說明】
[0021]附圖圖示了本發明的實施例，並與說明書一起用於解釋本發明的原理。在附圖中:
[0022]圖1示出了根據本發明的實施例的改進直方圖法處理流程圖。
[0023]圖2示出了根據本發明的實施例的改進的幀差法處理流程圖。
【具體實施方式】
[0024]根據本發明的實施例公開了一種改進的視頻鏡頭檢測方法。在以下描述中，為了說明的目的，闡述了多個具體細節以提供對本發明的實施例的全面理解。然而，對於本領域人員顯而易見的是，本發明的實施例可以在沒有這些具體細節的情況下實現。
[0025]視頻的結構一般可以分為四個層次:視頻序列、場景、鏡頭和幀。具體地，一個視頻序列指的是單獨的一格視頻文件，或一格視頻片段。視頻序列由若干個場景組成。每個場景包含一個或多個鏡頭，這些鏡頭可以是連續的或者有間隔的。每個鏡頭包含有若干連續的圖像幀。場景是由若干個在語義上相關的鏡頭共同組成的能夠表達一定語義內容的視頻片段，這些語音相關的鏡頭可以是連續的，也可以是間隔的。
[0026]如在此所使用的，術語「視頻鏡頭」指的是由同一攝像機連續攝取的一系列相互關聯的幀，代表了一個連續的動作，也被視為視頻檢索的基本單元，通常具有背景不變或緩變的特點。只有將視頻序列分解為鏡頭，才能有效的進行關鍵幀提取、視頻縮略、視頻序列辨識等工作。如在此所使用的，術語「關鍵幀」是用來描述一個鏡頭內部主要內容的某個幀或某幾幀圖像。視頻鏡頭檢測和關鍵幀提取作為視頻結構化的重要組成部分，是基於內容的視頻檢索的關鍵技術。
[0027]幀是視頻的最小單位，是一副靜態的圖像。播放視頻文件時，定格在任意時刻的畫面，即為一幀圖像。在鏡頭內容的圖像變化，其原因一般是攝像頭的運動和對象的運動以及光源的亮度變化等。
[0028]鏡頭分割又稱鏡頭變換檢測，是視頻結構層次化的基礎，要求避免外界因素對於鏡頭檢測分割的影響，將視頻序列分割為多個由擁有相同內容的一組不間斷幀組成的鏡頭。對於基於內容的視頻檢索，「基於內容」表示該方法分析的是視頻數據的實際內容，如顏色、邊緣、紋理或其他可從視頻本身獲取得到的信息，而不是類似於關鍵字、標籤或視頻描述等元數據。
[0029]鏡頭之間的變換包括兩種:切變和漸變。切變是指一個鏡頭不採用任何編輯效果直接變換到另一個鏡頭；漸變是指一個鏡頭通過某種編輯手段，諸如淡出、淡入、疊化等，緩慢地變換到另一個鏡頭中。
[0030]鏡頭分割是視頻結構層次化的基礎，作為分析視頻序列以及對大規模視頻資料庫進行有效檢索和瀏覽的基礎步驟，能否儘量避免外界因素對於鏡頭檢測分割的影響，將視頻準確分割為鏡頭集合將直接影響到關鍵幀提取以及後續處理的效果。
[0031]根據本發明的技術方案，採用改進的直方圖處理方法對視頻數據進行初步處理，然後基於該處理結果利用改進的幀差法進行再次處理，從而有效提高了視頻鏡頭的檢出度和準確度。該方法的具體實現步驟如下:
[0032]a.在HSV顏色空間下，分別對H、S、V顏色分量進行非均勻量化，並為各顏色分量賦以不同的權值，計算出相鄰兩幀直方圖的交集，並與設定閾值進行比較以判斷是否發生鏡頭變化。
[0033]b.對於(a)中所得結果，利用幀間灰度/顏色差值進行鏡頭邊界的二次檢測，結合非均勻分塊加權的方法，分別對每塊計算像素差值並與預設的分塊幀差閾值進行比較以進行標記，而後對每塊的標記變量加權求和，並與設定的分塊加權閾值進行比較以判斷是否發生鏡頭變化。
[0034]c.考慮到強烈光照變化的情況，尤其是閃光，本文將幀數小於20的鏡頭重新劃歸到上一個鏡頭中。
[0035]圖1示出了根據本發明的實施例的改進直方圖法處理流程圖。如圖1所示，在步驟11中，從視頻中提取相鄰兩幀。然後，在步驟12中，在HSV空間中，根據三顏色分量的加權比例來計算直方圖交集，以便判斷是否發生鏡頭變化。所述三顏色分量的加權比例例如來自於本領域常用的非均勻量化HSV空間的方式，並且可以例如採用9:3:1。具體地，在步驟13中，判斷直方圖交集是否大於鏡頭相似度閾值。如果是，則在步驟16中，判定無鏡頭變化。如果不是，則在步驟14中，判定發生鏡頭變化。重複該處理，直到到達視頻末幀。
[0036]這樣，在圖1的處理完畢後，形成初步的鏡頭序列。然後，根據本發明的技術方案的視頻鏡頭檢測方法進入如圖2所示的改進幀差法處理流程。圖2中的處理步驟是針對該鏡頭序列中每個鏡頭的內部幀進行再處理。
[0037]圖2示出了根據本發明的實施例的改進的幀差法處理流程圖。如圖2所示，在步驟21中，從鏡頭中提取相鄰兩幀，並進行非均勻分塊。然後，在步驟22中，計算對應塊的像素差值。在步驟23中，判斷是否大於分塊幀差閾值。如果是，則在步驟24中，將該塊標記為I。如果不是，則在步驟25中，將該塊標記為O。如本領域技術人員理解的，該標記僅用於區分目的，也可以採用其他方式。在步驟26中，判斷是否是鏡頭幀末塊。如果不是，則該處理進入下一塊並返回步驟22。如果判斷是鏡頭幀末塊，則在步驟28中，對標記變量進行加權求和。然後，在步驟29中，判斷是否大於分塊加權閾值。如果是，則在步驟30中判斷發生鏡頭變化。如果在步驟29中判斷不是大於分塊加權閾值，則在步驟33中，判斷無鏡頭變化。進一步地，在步驟31中，判斷是否鏡頭末幀。如果不是，則該處理進入下一幀並返回步驟21。如果是，則該處理結束。
[0038]而且，對於鏡頭內出現閃光(強烈光照變化)的情況，將幀數小於20的鏡頭重新劃歸到上一個鏡頭中，這樣更適合於人類視覺特性。
[0039]對視頻進行初步處理的直方圖法，在HSV顏色空間下，分別對H、S、V顏色分量進行非均勻量化，並為各顏色分量賦以不同的權值，計算出兩幀間的直方圖差異度，這樣可更好地反映出人類視覺感知的差異程度，並具有一定的感知均勻性。
[0040]對視頻進行二次處理的像素幀差法，通過非均勻分塊匹配並進行加權，這樣可有效地抑制視頻頂部或底部的廣告或字幕對於鏡頭檢測的幹擾，並充分考慮到了圖像幀各像素的位置信息，對於改進的直方圖方法起到了很好的補充作用。
[0041]本發明有效提高了視頻鏡頭的檢出度和準確度，可有效用於基於內容的視頻檢索，並提供給使用者根據檢出鏡頭快速瀏覽視頻的便利功能。
[0042]上述實施例僅是本發明的優選實施例，並不用於限制本發明。對本領域技術人員顯而易見的是，在不脫離本發明精神和範圍的情況下，可以對本發明的實施例進行各種修改和改變。因此，本發明意在涵蓋落入如權利要求所限定的本發明的範圍之內的所有的修改或變型。
【權利要求】
1.一種視頻鏡頭檢測方法，包括: 直方圖法處理過程，所述直方圖法處理過程包括步驟: 從視頻中提取相鄰兩巾貞; 在HSV空間中，根據三顏色分量的加權比例來計算直方圖交集；以及 判斷是否發生鏡頭變化； 幀差法處理過程，如果判斷發生鏡頭變化，則該處理進入所述幀差法處理過程，所述幀差法處理過程進一步包括步驟: 從鏡頭中提取相鄰兩幀，並進行非均勻分塊； 計算所述分塊中的每一個分塊的像素差值； 將所述像素差值與預設的分塊幀差閾值進行比較，以進行標記； 對所述分塊中的標記變量進行加權求和； 將所述和與設定的分塊加權閾值進行比較；以及 如果所述和大於所述分塊加權閾值，則發生鏡頭變化。
2.根據權利要求1所述的方法，其中，所述判斷是否發生鏡頭變化進一步包括: 將所述直方圖交集與設定的鏡頭相似度閾值進行比較；以及 如果所述直方圖交集大於所述鏡頭相似度閾值，則發生鏡頭變化。
3.根據權利要求1所述的方法，進一步包括: 在所述直方圖法處理過程中，如果未達到視頻末幀，則對下一幀重複進行所述直方圖法處理過程。
4.根據權利要求1或2所述的方法，其中，所述進行標記進一步包括: 將所述像素差值大於所述分塊幀差閾值的分塊標記為1，並且將所述像素差值不大於所述分塊巾貞差閾值的分塊標記為0。
5.根據權利要求1所述的方法，進一步包括: 在所述幀差法處理過程中，如果未達到鏡頭末幀，則對下一幀重複進行所述幀差法處理過程。
6.根據權利要求1所述的方法，其中，幀數小於20的鏡頭被劃歸到上一個鏡頭中。
【文檔編號】G06F17/30GK104410867SQ201410652175
【公開日】2015年3月11日 申請日期:2014年11月17日 優先權日:2014年11月17日
【發明者】高騰飛 申請人:北京京東尚科信息技術有限公司, 北京京東世紀貿易有限公司