新聞視頻自動分條裝置及新聞視頻自動分條的方法
2023-11-03 21:34:12
專利名稱：新聞視頻自動分條裝置及新聞視頻自動分條的方法
技術領域：
本發明涉及視頻處理，尤其涉及一種新聞視頻自動分條裝置及新聞視頻自動分條的方法。
背景技術：
目前新聞拆分要麼是純手工拆分，要麼是根據新的主題新聞開始時，剛開始的幾中貞一般都靜音，來進行拆分。手工拆分一個長度為N分鐘的新聞視頻，往往需要數倍於N分鐘的時間，人工成本太高，拆分速度太慢。根據「新的主題新聞開始時，剛開始的幾幀一般都靜音」來拆分，往往把同一個主題新聞中鏡頭的切換切分為了不同的主題新聞，因為只要是鏡頭切換，都可能導致「剛開始的幾幀一般都靜音」，所以這種技術雖然比純手工拆分好，但在用這種技術進行初次切分後，還是需要人工進行大量的糾錯工作。
發明內容
有鑑於此，有必要提供一種對新聞視頻自動分條、節省人工成本的方法。本發明提供的新聞視頻自動分條裝置，包括提取模塊、特徵識別模塊、判斷模塊以及拆分模塊。其中，提取模塊，用於自動提取新聞視頻中所有的靜音幀；存儲模塊，用於預先存儲播報員的聲音以及頭像，並存儲靜音幀及其時間點；特徵識別模塊，用於根據所述播報員的聲音特徵提取新聞視頻中含有播報員聲音的幀以及根據所述播報員頭像提取新聞視頻中含有播報員頭像的幀；判斷模塊，用於判斷新聞視頻中的所述靜音幀是否為包含播報員頭像的幀，其中，所述判斷模塊還用在所述靜音幀為包含播報員頭像的幀時判斷所述靜音幀之後的幀是否包含播報員的頭像與聲音；拆分模塊，用於在所述靜音幀之後的幀包含播報員頭像與聲音時將所述靜音幀設為起始幀，並從所述起始幀對應的時間點對新聞視頻進行拆分。本發明還提供一種新聞視頻自動分條的方法，包括以下步驟:提取所述新聞視頻中的靜音幀；讀取新聞視頻的播報員的聲音特徵；根據所述播報員的聲音特徵提取新聞視頻中含有播報員聲音的幀；讀取新聞視頻中含有播報員頭像的幀；根據所述播報員頭像提取新聞視頻中含有播報員頭像的幀；判斷所述靜音幀中是否為包含所述播報員頭像的幀；若是，則判斷所述靜音幀之後的幀中是否包含播報員聲音與頭像；若是將所述靜音幀設為起始幀，並從所述起始幀對應的時間點對新聞視頻進行拆分。本發明提供的新聞視頻自動分條裝置及新聞視頻自動分條的方法通過對靜音幀、包含播報員頭像幀以及包含播報員聲音幀綜合判斷來得到起始幀及其對應的時間點，以便對新聞視頻進行拆分，有效的提高了新聞視頻的拆分效率，減低了人工的工作量。
圖1為本發明一實施方式中新聞視頻自動分條裝置的模塊圖；圖2為本發明一實施方式中新聞視頻自動分條方法的流程圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能理解為對本發明的限制。在本發明的描述中，術語「內」、「外」、「縱向」、「橫向」、「上」、「下」、「頂」、「底」等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了便於描述本發明而不是要求本發明必須以特定的方位構造和操作，因此不能理解為對本發明的限制。請參閱圖1，圖1所示為本發明一實施方式中新聞視頻自動分條裝置10的模塊圖。在本實施方式中，新聞視頻自動分條裝置10包括:獲取模塊102、特徵識別模塊104、判斷模塊106、拆分模塊108、處理器110以及存儲模塊112，獲取模塊102、特徵識別模塊104、判斷模塊106以及拆分模塊108存儲在存儲模塊112中，處理器110用於執行存儲模塊112中的各個模塊。在本實施方式中，提取模塊102用於自動提取新聞視頻中所有的靜音幀。存儲模塊112用於預先存儲播報員的聲音以及頭像，並存儲靜音幀及其時間點。特徵識別模塊104用於根據所述播報員的聲音特徵提取新聞視頻中含有播報員聲音的幀以及根據所述播報員頭像提取新聞視頻中含有播報員頭像的幀。在本實施方式中，所述存儲模塊112將含有靜音幀的時間點存儲為靜音集合B ={BI，B2，…，Bn}，將播報員的聲音的幀的時間點存儲為聲音集合C = {Cl，C2，…，Cm}以及含有播報員的頭像的幀的時間點為頭像集合D = {Dl，D2, , Dkj。在本實施方式中,所述播報員與所述播報員的聲音是對應。判斷模塊106用於判斷新聞視頻中的所述靜音幀是否為包含播報員頭像的幀。在本實施方式中，所述判斷模塊106還用在所述靜音幀為包含播報員頭像的幀時判斷所述靜音中貞之後的巾貞是否包含播報員的頭像與聲音。在本實施方式中，判斷模塊106還用於在所述靜音幀不是包含播報員頭像的幀時判斷所述靜音幀為是否為最後一個靜音幀，若不是，則讀取下一個靜音幀並繼續判斷所述靜音幀是否為包含播報員頭像的幀。
在本實施方式中，判斷模塊106還用於在所述靜音幀之後的幀不包含播報員頭像與聲音時，則表不所述靜音巾貞之後的巾貞仍為靜音巾貞，繼續判斷所述靜音巾貞是否為包含播報員頭像的幀。在本實施方式中，判斷模塊106將所述靜音集合B與所述聲音集合C進行交集運算得到第一交集E = {E1，E2，...，Ej}，還用於將所述聲音集合C與所述頭像集合D進行交集運算得到第二交集F = {Fl，F2，...，Fi}，其中，所述判斷模塊106還用於將所述第二交集F中所有元素減一得到延遲集合G = {F1,F2,...,F1-Ι},並將所述延遲集合G與所述第一交集E求交集得到第三交集H= {H1，H2，...，Hp}，其中第三交集H中時間點所對應的幀為「同時出現播報員的頭像和聲音的幀之前的且靜音幀出現播報員的頭像的那一幀」。在本實施方式中，判斷模塊106還將將第一交集E= {El，E2，...，Ejj中連續時間點放入同一個子集，則集合E』 = {S1，S2，...，Sq}，其中S1，S2，...，Sq為含有連續時間點的子集，各子集中的時間點按照時間從小到大的順序排列。在本實施方式中，判斷模塊106再針對E』中的每一個子集進行分析，例如，對子集Si進行分析，如果判斷模塊106發現子集Si中含有第三交集H中的任意一個元素，則判斷模塊106確定子集Si中的第一個時間點即為一個新的主題新聞開始幀的時間點。拆分模塊108用於在所述靜音巾貞之後的巾貞包含播報員頭像與聲音時將所述靜音幀設為起始幀，並從所述起始幀對應的時間點對新聞視頻進行拆分。請參閱圖2，圖2所示為本發明一實施方式中新聞視頻自動分條的流程圖。在本實施方式中，新聞視頻自動分條的方法包括以下步驟:在步驟S200中，提取模塊102提取所述新聞視頻中的靜音幀。在本實施方式中，存儲模塊112預先存儲播報員的聲音以及頭像，並存儲靜音幀及其時間點。在本實施方式中，所述存儲模塊112將含有靜音幀的時間點存儲為靜音集合B ={BI, B2,..., Bn}。在步驟S202中，特徵識別模塊104讀取新聞視頻的播報員的聲音特徵。在步驟S204中，特徵識別模塊104根據所述播報員的聲音特徵提取新聞視頻中含有播報員聲音的巾貞。在本實施方式中，所述存儲模塊112將播報員的聲音的巾貞的時間點存儲為聲音集合C= {Cl，C2， ，Cm}。在步驟S206中，特徵識別模塊104讀取新聞視頻中含有播報員頭像的幀。在步驟S208中，特徵識別模塊104根據所述播報員頭像提取新聞視頻中含有播報員頭像的幀。在本實施方式中，所`述存儲模塊112含有播報員的頭像的幀的時間點為頭像集合 D = {D1，D2，...,Dk}在步驟S210，判斷模塊106判斷所述靜音幀中是否為包含所述播報員頭像的幀。在本實施方式中，判斷模塊106將所述靜音集合B與所述聲音集合C進行交集運算得到第一交集E = {E1，E2，...，Ej}，第一交集E中的時間點對應的幀為「靜音且出現新聞播報員頭像的幀」。若靜音幀中為包含所述播報員頭像的幀，則在步驟S212，判斷模塊106判斷所述靜音巾貞之後的巾貞中是否包含播報員聲音與頭像。在本實施方式中，判斷模塊106將所述聲音集合C與所述頭像集合D進行交集運算得到第二交集F = {Fl，F2， ，Fi}，其中，所述判斷模塊106還用於將所述第二交集F中所有元素減一得到延遲集合G = {Fl，F2，...，F1-1}，並將所述延遲集合G與所述第一交集E求交集得到第三交集H= {H1，H2，...，Hp}，其中第三交集H中時間點所對應的幀為「同時出現播報員的頭像和聲音的幀之前的且靜音幀出現播報員的頭像的那一幀」。在本實施方式中，判斷模塊106還將將第一交集E= {El，E2，...，Ejj中連續時間點放入同一個子集，則集合E』 = {S1，S2，...，Sq}，其中S1，S2，...，Sq為含有連續時間點的子集，各子集中的時間點按照時間從小到大的順序排列。在本實施方式中，判斷模塊106再針對E』中的每一個子集進行分析，例如，對子集Si進行分析，如果判斷模塊106發現子集Si中含有第三交集H中的任意一個元素，則判斷模塊106確定子集Si中的第一個時間點即為一個新的主題新聞開始幀的時間點。若靜音幀之後的幀中包含播報員聲音與頭像，則在步驟S214，拆分模塊108將靜音幀設為起始幀。在步驟S216，拆分模塊108從所述起始幀對應的時間點對新聞視頻進行拆分。在本實施方式中，若靜音巾貞的之後的巾貞中不包含播報員聲音與頭像時,則表不所述靜音幀之後的幀仍為靜音幀，需回到步驟S210，判斷模塊106繼續判斷靜音幀中是否為包含所述播報員頭像的幀。若所述靜音幀不是包含所述播報員頭像的幀，則在步驟S218，判斷模塊106判斷
靜音巾貞是否為最後一個靜音中貞。若靜音幀不是最後一個靜音幀，則在步驟S220，判斷模塊206讀取下一個靜音幀。在步驟S210，判斷模塊206進行判斷所述靜音幀是否為包含所述播報員頭像的幀。本發明實施方式中的新聞視頻自動分條裝置10及新聞視頻自動分條的方法通過對靜音幀、包含播報員頭像幀以及包含播報員聲音幀綜合判斷來得到起始幀及其對應的時間點，以便對新聞視頻進行拆分，有效的提高了新聞視頻的拆分效率，減低了人工的工作量。雖然本發明參照當前的較佳實施方式進行了描述，但本領域的技術人員應能理解，上述較佳實施方式僅用來說明本發明，並非用來限定本發明的保護範圍，任何在本發明的精神和原則範圍之內，所做的任何修飾、等效替換、改進等，均應包含在本發明的權利保護範圍之內。
權利要求
1.一種新聞視頻自動分條裝置，包括: 提取模塊，用於自動提取新聞視頻中所有的靜音幀； 存儲模塊，用於預先存儲播報員的聲音以及頭像，並存儲靜音幀及其時間點； 特徵識別模塊，用於根據所述播報員的聲音特徵提取新聞視頻中含有播報員聲音的幀以及根據所述播報員頭像提取新聞視頻中含有播報員頭像的幀； 判斷模塊，用於判斷新聞視頻中的所述靜音幀是否為包含播報員頭像的幀，其中，所述判斷模塊還用在所述靜音幀為包含播報員頭像的幀時判斷所述靜音幀之後的幀是否包含播報員的頭像與聲音； 拆分模塊，用於在所述靜音幀之後的幀包含播報員頭像與聲音時將所述靜音幀設為起始幀，並從所述起始幀對應的時間點對新聞視頻進行拆分。
2.如權利要求1所述的新聞視頻自動分條裝置，其特徵在於，所述判斷模塊還用於在所述靜音幀不是包含播報員頭像的幀時判斷所述靜音幀為是否為最後一個靜音幀，若不是，則讀取下一個靜音幀並繼續判斷所述靜音幀是否為包含播報員頭像的幀。
3.如權利要求2所述的新聞視頻自動分條裝置，其特徵在於，所述判斷模塊還用於在所述靜音巾貞之後的巾貞不包含播報員頭像與聲音時，則表不所述靜音巾貞之後的巾貞仍為靜音幀，繼續判斷所述靜音幀是否為包含播報員頭像的幀。
4.如權利要求1所述的新聞視頻自動分條裝置，其特徵在於，所述播報員與所述聲音是--對應。
5.一種新聞視頻自動分條的方法，包括: 提取所述新聞視頻中的靜音幀； 讀取新聞視頻的播報員的聲音特徵； 根據所述播報員的聲音特徵提取新聞視頻中含有播報員聲音的幀； 讀取新聞視頻中含有播報員頭像的幀； 根據所述播報員頭像提取新聞視頻中含有播報員頭像的幀； 判斷所述靜音幀中是否為包含所述播報員頭像的幀； 若是，則判斷所述靜音幀之後的幀中是否包含播報員聲音與頭像； 若是，則將所述靜音幀設為起始幀，並從所述起始幀對應的時間點對新聞視頻進行拆分。
6.如權利要求5所述的新聞視頻自動分條的方法，其特徵在於，還包括: 若所述靜音巾貞的之後的巾貞中不包含播報員聲音與頭像時，則表不所述靜音巾貞之後的中貞仍為靜音幀，繼續判斷靜音幀中是否為包含所述播報員頭像的幀。
7.如權利要求5所述的新聞視頻自動分條的方法，其特徵在於，還包括: 若所述靜音幀不是包含所述播報員頭像的幀，則判斷是否為最後一個靜音幀； 若不是，則讀取下一個靜音幀，繼續判斷所述靜音幀是否為包含所述播報員頭像的幀。
全文摘要
一種新聞視頻自動分條裝置，包括提取模塊、存儲模塊、特徵識別模塊、判斷模塊以及拆分模塊。其中，提取模塊自動提取新聞視頻中所有的靜音幀；存儲模塊預先存儲播報員的聲音以及頭像，並存儲靜音幀及其時間點；特徵識別模塊提取新聞視頻中含有播報員聲音的幀以及含有播報員頭像的幀；判斷模塊判斷新聞視頻中的靜音幀是否為包含播報員頭像的幀，以及在靜音幀為包含播報員頭像的幀時判斷靜音幀之後的幀是否包含播報員的頭像與聲音；拆分模塊在靜音幀之後的幀包含播報員頭像與聲音時將靜音幀設為起始幀，並從起始幀對應的時間點對新聞視頻進行拆分。利用本發明對新聞視頻分條時，效率高，速度快，且節省人力成本。
文檔編號H04N5/262GK103079041SQ20131003202
公開日2013年5月1日 申請日期2013年1月25日 優先權日2013年1月25日
發明者朱定局 申請人:深圳先進技術研究院, 深圳市天華世紀傳媒有限公司, 深圳市天威視訊股份有限公司