從數位電視節目中自動抽取圖像的系統及其應用的製作方法
2023-10-08 21:32:04 1
專利名稱：從數位電視節目中自動抽取圖像的系統及其應用的製作方法
技術領域：
本發明涉及數位電視技術領域，特別是涉及ー種從數位電視節目中自動抽取圖像的系統及其應用。
背景技術：
視頻可以理解為在時間上連續的圖像序列，通過調查和試驗發現，在對數位電視的視頻內容進行理解時，並非所有的圖像都起著同樣重要的作用。真正對數位電視視頻的理解起到重要作用的圖像有以下幾類 有對應字幕的幀； 發生場景切換的幀； 有人臉出現的幀；·有人物對象出現的幀； 有一定運動幅度的幀； 有對應語音出現的幀。上述圖像可以作為判斷是否為對數位電視視頻的理解起到重要作用圖像的條件，可以根據用戶的需求加以組合，最終定義出「關鍵幀」，該「關鍵幀」至少符合其中ー個條件或全部條件。因此，如何從數位電視的視頻信號中自動抽取出對內容的理解有重要意義的「關鍵幀」，正是本發明和業內人士關注的問題。
發明內容
本發明要解決的技術問題是提供ー種從數位電視節目中自動抽取圖像的系統，能夠從數位電視的視頻信號中自動抽取出對內容的理解有代表意義的「關鍵幀」，結構簡單，容易實現。為解決上述技術問題，本發明的從數位電視節目中自動抽取圖像的系統，包括數位電視接收終端，該數位電視接收終端包括解復用模塊、視頻解碼模塊、字幕解析模塊、音頻解碼模塊、視頻顯示模塊和音頻顯示模塊；其中，還包括圖像判別模塊，與所述視頻解碼模塊相連接，用於接收視頻解碼模塊的輸出幀；通過場景切換檢測、人臉檢測、運動檢測和人物對象檢測算法分析視頻數據；字幕判別模塊，與所述字幕解析模塊相連接，接收字幕解析模塊的解析結果，確定在當前時刻字幕是否存在；語音判別模塊，與所述音頻解碼模塊相連接，接收音頻解碼模塊輸出的音頻數據，判斷當前收到的音頻數據是否是話音；關鍵視頻幀和話音提取模塊，與所述圖像判別模塊、字幕判別模塊、語音判別模塊、視頻解碼模塊和音頻解碼模塊相連接；接收視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果，以及音頻和視頻數據，判斷接收到的當前視頻是否有字幕，接收到的當前視頻是否有對應話音，根據用戶的設置和視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果提取出關鍵視頻幀和相關話音。採用本發明的從數位電視節目中自動抽取圖像的系統，可以從數位電視的視頻信號中自動抽取出對內容的理解有代表意義的「關鍵幀」，對這些關鍵幀可以降低解析度並進行特殊效果處理，如「油畫」、「卡通」等效果；再配以字幕和語音，在數位電視的基本內容可以理解的前提下極大地減少數據量並増加趣味性，最終的用途包括 配合字幕和語音製作成電子書籍； 配合字幕列印並製作成卡通畫； 配合字幕並和語音復用後製作成小解析度，定期顯示圖像的視頻文件在行動裝置上播放。
下面結合附圖與具體實施方式
對本發明作進ー步詳細的說明圖I是本發明的結構原理框圖；圖2-圖7是採用本發明進行圖像處理前後的效果對比圖。
具體實施例方式參見圖I所示，本發明的從數位電視節目中自動抽取圖像的系統包括，數位電視接收終端以及圖像判別模塊、字幕判別模塊、語音判別模塊和關鍵視頻幀和話音提取模塊。所述數位電視接收終端是現有的標準框架，其中不包括信道調諧、解調製部分。所述數位電視接收終端包括解復用模塊、視頻解碼模塊、字幕解析模塊、音頻解碼模塊、視頻顯示模塊和音頻顯示模塊。所述解復用模塊,用於解析系統層如TS流(MPEG2 System Layer),分離出音頻基本流、視頻基本流和字幕信息，分別輸入到音頻解碼器、視頻解碼器和字幕解析模塊。所述視頻解碼模塊，與解復用模塊相連接，用於將視頻壓縮流解碼後輸出用於後處理或播放的視頻數據。所述字幕解析模塊，與解復用模塊相連接，用於將字幕信息轉換成可以顯示的形式。所述音頻解碼模塊，與解復用模塊連接，用於將音頻壓縮流解碼後輸出用於後處理或播放的音頻數據。所述視頻顯示模塊，與視頻解碼模塊和字幕解析模塊相連接，用於將視頻信息和字幕信息顯示給用戶。所述音頻顯示模塊，與音頻解碼模塊相連接，用於音頻信息的播放。所述圖像判別模塊，與所述視頻解碼模塊連接，用於接收視頻解碼模塊的輸出幀。通過場景切換檢測、人臉檢測、運動檢測和人物對象檢測等算法分析視頻數據，並將分析檢測的結果送至「關鍵視頻幀和話音提取模塊」。所述圖像判別模塊能夠對場景切換檢測、人臉檢測、運動檢測和人物對象檢測算法進行任意組合(即實現其中的ー種或幾種算法)，並至少實現其中ー種算法、但並不要求實現全部算法，具體的組合應根據實際需要進行確定。所述字幕判別模塊，與所述字幕解析模塊連接，接收字幕解析模塊的解析結果，確定在當前時刻字幕是否存在，並將結果送至「關鍵視頻和話音提取模塊」。所述語音判別模塊，與所述音頻解碼模塊相連接，接收音頻解碼模塊輸出的音頻數據，判斷當前收到的音頻數據是否是話音，並將結果送至「關鍵視頻和話音提取模塊」。關鍵視頻幀和話音提取模塊，與所述圖像判別模塊、字幕判別模塊、語音判別模塊、視頻解碼模塊和音頻解碼模塊相連接；接收視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果，以及音頻和視頻數據，判斷接收到的當前視頻是否有字幕，接收到的當前視頻是否有對應話音，根據用戶的設置和視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果提取出關鍵視頻幀和相關話音。圖像卡通畫處理模塊，與所述關鍵視頻幀和話音提取模塊相連接，接收提取出的「關鍵幀」，將「關鍵幀」以圖像的形式呈現。採用如圖像的邊界提取，油畫效果處理等常用的圖像特效處理算法對「關鍵幀」進行特效處理。在保持「關鍵幀」基本內容的前提下増加 圖像的趣味性。從而為電子書籍製作和卡通畫列印模塊提供素材。電子書籍製作模塊，與所述圖像卡通畫處理模塊相連接，將圖像卡通畫處理模塊處理後的「關鍵幀」製作成電子書籍。卡通畫列印模塊，與所述圖像卡通畫處理模塊相連接，將圖像卡通畫處理模塊處理後的「關鍵幀」列印成卡通畫。圖像音頻編碼復用模塊，與所述圖像卡通畫處理模塊及關鍵視頻幀和話音提取模塊相連接，將圖像卡通畫處理模塊處理後的「關鍵幀」製作成小解析度，定期顯示圖像的視頻文件。採用本發明的系統，提取出「關鍵幀」並進行特殊效果處理後，能夠達到「油畫」、「卡通」等效果。圖2-圖7是採用本發明最終實現的效果對比實例。圖2(a)-圖7a)是原始的視頻圖像，圖2(b)-圖4(b)是進行特殊效果處理後對應的具有帶邊界的油畫效果圖像；圖5(b)是進行特殊效果處理後對應的彩色粗邊界提出的圖像；圖6(b)是進行特殊效果處理後對應的彩色細邊界提出的圖像；圖7(b)是進行特殊效果處理後對應的素描效果圖像。以上通過具體實施方式
和實施例對本發明進行了詳細的說明，但這些並非構成對本發明的限制。在不脫離本發明原理的情況下，本領域的技術人員還可做出許多變形和改迸，這些也應視為本發明的保護範圍。
權利要求
1.一種從數位電視節目中自動抽取圖像的系統，包括，數位電視接收終端，該數位電視接收終端包括解復用模塊、視頻解碼模塊、字幕解析模塊、音頻解碼模塊、視頻顯示模塊和音頻顯示模塊；其特徵在於，還包括 圖像判別模塊，與所述視頻解碼模塊相連接，用於接收視頻解碼模塊的輸出幀；通過場景切換檢測、人臉檢測、運動檢測和人物對象檢測算法分析視頻數據； 字幕判別模塊，與所述字幕解析模塊相連接，接收字幕解析模塊的解析結果，確定在當前時刻字幕是否存在； 語音判別模塊，與所述音頻解碼模塊相連接，接收音頻解碼模塊輸出的音頻數據，判斷當前收到的音頻數據是否是話音； 關鍵視頻幀和話音提取模塊，與所述圖像判別模塊、字幕判別模塊、語音判別模塊、視頻解碼模塊和音頻解碼模塊相連接；接收視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果，以及音頻和視頻數據，判斷接收到的當前視頻是否有字幕，接收到的當前視頻是否有對應話音，根據用戶的設置和視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果提取出關鍵視頻幀和相關話音。
2.如權利要求I所述的系統，其特徵在於所述圖像判別模塊能夠對場景切換檢測、人臉檢測、運動檢測和人物對象檢測算法進行任意組合，並至少實現其中一種算法。
3.權利要求I所述的系統在電子書籍中的應用。
4.權利要求I所述的系統在卡通畫中的應用。
5.權利要求I所述的系統，在配合字幕並和語音復用後製作成小解析度，定期顯示圖像的視頻文件在行動裝置上播放的應用。
全文摘要
本發明公開了一種從數位電視節目中自動抽取圖像的系統及其應用，包括圖像判別模塊，通過場景切換檢測、人臉檢測、運動檢測和人物對象檢測算法分析視頻數據；字幕判別模塊，確定在當前時刻字幕是否存在；語音判別模塊，判斷當前收到的音頻數據是否是話音；關鍵視頻幀和話音提取模塊，接收視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果，根據用戶的設置和視頻數據分析檢測的結果、字幕判別的結果和話音判別的結果提取出關鍵視頻幀和相關話音。本發明能夠從數位電視的視頻信號中自動抽取出對內容的理解有代表意義的「關鍵幀」。本發明能夠應用於電子書籍、卡通畫及製作成小解析度，定期顯示圖像的視頻文件。
文檔編號H04N21/434GK102685574SQ20111005553
公開日2012年9月19日 申請日期2011年3月9日 優先權日2011年3月9日
發明者須澤中 申請人:須澤中