嵌入式設備中查詢教學視頻內容的系統及其方法

2023-05-16 18:42:56

專利名稱：嵌入式設備中查詢教學視頻內容的系統及其方法
技術領域：
本發明涉及視頻查詢領域，尤其涉及在嵌入式設備中查詢教學視頻內容的系統及 其方法。
背景技術：
內容的視頻查詢(Content-Based Video Retrieval, CBVR)目前主要是運用一些 算法進行大量運算，從而進行視頻特徵提取(如幀的主色調、鏡頭的主色調、目標顏色或形 狀、紋理等特徵，也包括用戶說明的攝像機運動或視頻中目標的運動情況等)進而再根據 不同的算法獲取一定精度(閥值容忍條件下)的自動鏡頭場景等，從而建立索引等。從而 方便用戶就一些場景特徵或色彩基調等進行查詢。如用戶可提出"查找從左到右運動的汽 車的鏡頭〃或〃查找攝像機推近的鏡頭〃等。然後在教學類視頻中，有些座教式的視頻內容很長，而且鏡頭切換也基本很少，色 調可能也比較單調。對於學習內的視頻，我們查詢並不關注什麼場景，色調，推進或拉伸等 鏡頭特徵，而更注重學習內容的查詢。並且鑑於嵌入式裝置CPU運算能力一般有限，目前的 運算速度均無法支撐動態的實時的基於視頻內容的特徵提取和對比。而隨著數字時代的來臨，現在人們使用越來越多在嵌入式的隨身攜帶的電子產品 上使用的教學視頻。並且大量的教學視頻被被用作為學習教材。視頻檔格式也基本都是主 流的視頻媒體流的文件格式，諸如rmvb，avi，flS等各類格式。而這類視頻有些還可以支持 字幕。但對於教學視頻而言，都沒有辦法對於視頻內部的內容做方便的查詢。一些視頻的 發行者可能基於目錄查詢的考慮，或許會將長的視頻按章節分割成多個短的視頻。但對於 單個視頻而言，其中間的內容仍然是不能進行內容查詢。(這裡描述的內容查詢，不是簡單 的快進，快退，進度滑塊滑動進行的seek查詢)，而是指根據用戶輸入或者指定的關鍵詞， 在視頻中根據描述的內容。並可以根據視頻輔助的大綱內容獲取到查詢的結果，然後自動 列舉出來相關的視頻片段，從而可以供查閱者直接觀看或參考相關的視頻。從而讓教學視 頻的全文內容(不只是標題，主題)可以進行查詢。

發明內容
為了解決背景技術中所存在的技術問題，本發明提出了一種嵌入式設備中查詢教 學視頻內容的系統及其方法，建立一種對應視頻查詢內容的大綱檔，根據視頻內容，將一些 文本數據重新識別成文本，實現了一種允許用戶進行教學視頻內容相關大綱的內容的查 詢。本發明的技術解決方案是本發明為一種嵌入式設備中查詢教學視頻內容的系 統，其特殊之處在於所述系統包括用於選取視頻大綱的選取模塊、用於儲存視頻大綱數據 的存儲模塊、用於自存儲模塊抽取視頻大綱以及創建視頻大綱的處理模塊；用於顯示視頻 相關文件的顯示模塊；所述選取模塊和顯示模塊連接；所述處理模塊與顯示模塊連接；所 述存儲模塊與選取模塊連接。
本發明還提供一種基於嵌入式設備中查詢教學視頻內容的系統的方法，其特殊之 處在於所述方法包括以下步驟1)查看教學視頻，根據教學視頻的內容和教學用途，決定是否可以程序自動抽取 視頻大綱；若是，則程序自動抽取，若否，則人工添加視頻大綱；2)根據視頻大綱建立大綱關鍵詞以及該大綱關鍵詞與原視頻的時間片對照表；3)根據建立的大綱關鍵詞建立大綱關鍵詞查詢表；4)播放的過程中，接受用戶輸入查詢的關鍵詞，併到大綱關鍵詞查詢表中進行查 詢，若該關鍵詞在大綱關鍵詞查詢表中，則進行步驟5)；5)根據大綱關鍵詞與時間片對照表進行教學視頻的位置自動定位，實現教學視頻 的內容查詢。上述步驟1)中程序自動抽取大綱的具體步驟是1. 1)程序掃描並抽取出來適當的大綱；1. 2)獲得大綱相應的幀信息；1. 3)根據幀信息進行識別和翻譯成文本；識別和翻譯的同時進行審查，提取出來 大綱中的大綱關鍵詞。上述步驟1)中人工抽取大綱的具體方法是根據教學目的，根據視頻中不同的內 容，輸入大綱內容，並確定大綱關鍵詞。上述步驟5)中查詢的具體步驟是系統根據輸入的關鍵字匹配引擎進行大綱內 容查詢，若匹配到了大綱的視頻片段則顯示查找結果並根據查詢文件記錄的時間片信息直 接定位到教學視頻相關時間位置；若沒有找到匹配的視頻片段，則用戶選擇是否修改關鍵 字並繼續查詢。上述方法在步驟5)之後還包括有步驟6)使用者自己添加大綱關鍵詞的步驟，具 體步驟如下允許用戶自己進行補充，在播放器上放置時間片的選擇，彈出一個允許輸入文 本大綱的編輯框，進行新建或者補充該時間片對應的大綱關鍵詞。上述步驟2)關鍵詞與原視頻的時間片對照表中，不同的大綱關鍵詞對應的時間 片的對應關係有重疊、包含以及多對一。上述步驟1. 2)中獲得幀信息的方法是應用OCR技術；上述視頻大綱包括編程教程中的代碼片段，數學教程中的數學公式、英文教學中 的例句抽取。本發明的優點是1)建立一種對應視頻查詢內容的大綱檔，大綱檔可以採用人工輸入方式，根據視 頻內容，進行事件片相關內容進行大綱內容進行標記。對於一些使用程序可以透過視頻抓 取到的內容(如OCR識別技術，或許可以從視頻幀中，將一些文本數據重新識別成文本並再 交由人工進行校驗確認)可以程序自動抓取然後人工驗證和再選取的方式。2)建立一種大綱和時間片段的查詢表建立對照查詢表，並將所有的大綱內容採 用全文查詢的索引的方式進行組織和存儲，從而得到一份與該視頻對應的一份「教學視頻 (大綱)查詢表(大綱關鍵詞-視頻時間片範圍)」，播放器允許用戶輸入要查詢的關鍵詞， 然後查詢程序可以查詢「教學視頻(大綱)查詢表」進行視頻內容的查詢和定位，從而讓教 學視頻可以進行內容的精確查詢。
3)有些大綱可以由程序輔助抽取得到，人工進行審核和選取關鍵詞，從而可能只 需要更少的人工投入，教學視頻還可以由由教學視頻的發行發來抽取，因為他們更加熟悉 其視頻內容，從而能更加嫻熟和準確的獲取到大綱；通過建立大綱輔組查詢表，從而再嵌入 式設備上實現精確和方便的視頻內容查詢和定位，進而讓教學視頻的使用者能夠方便的進 行內容查詢。


圖1是本發明的系統的結構框圖；圖2是本發明的方法流程圖；圖3是本發明方法中視頻查詢的方法流程圖；圖4是本發明方法中用戶自定義擴充大綱的方法流程圖；圖5. 1是本發明視頻查詢的大綱內容具體實施例示意圖；圖5. 2是圖5. 1中視頻查詢大綱內容的關鍵詞與時間片對照的示意圖；圖5. 3是本發明視頻查詢的大綱內容另一具體實施例示意圖；圖5. 4是圖5. 3中視頻查詢大綱內容的關鍵詞與時間片對照的示意具體實施例方式參見圖1，本發明的嵌入式設備中查詢教學視頻內容的系統，包括選取模塊1，用 於根據內容和教學用途來選取視頻大綱；存儲模塊2，用於儲存視頻大綱數據；處理模塊3， 用於自存儲模塊2中抽取視頻大綱；顯示模塊4，用於將選取的視頻大綱以及教學視頻大綱 與視頻時間片對照表和教學視頻查詢文件進行顯示。處理模塊3除了抽取視屏大綱外，還 進行創建視頻大綱、按照建立的大綱，建立大綱關鍵詞與原視頻的時間片對照表以及建立 大綱全文或關鍵詞查詢表；參見圖2、圖3，本發明基於嵌入式設備中查詢教學視頻內容的系統的方法，包括 以下步驟1)查看教學視頻，根據其內容和教學用途，決定是否程序或者手工創建視頻大綱。 如果教學內容適合程序自動抽取，程序自動創建的具體步驟是1. 1)程序掃描並抽取出來適當的大綱；一般諸如編程教程中的代碼片段，數學教 程中的數學公式等，英文教學中的例句抽取等；1. 2)獲得相應的幀信息；1. 3)使用OCR技術根據幀信息進行識別和翻譯成文本；識別和翻譯的同時進行審 查，提取出來大綱中的關鍵詞，參見圖5. 1和圖5. 3 ；圖5. 1所示的是MFC(VC6.0)中關於 socket套接字編程教學視頻Lessonl4. rmvb時長02 06 03 (視頻時長2小時零6分鐘零3 秒)，圖5. 1的時間片01 33 24是一段socket套接字UDP報文發送資料的vc++代碼示例。 上述視頻中的代碼片段則也可以作為一種的大綱內容進行收錄，並抽取這些函數名作為大 綱的查詢內容。如圖5. 1中斜體標記的關鍵詞均可以作為視頻內容查詢的關鍵詞。圖5. 3所示的是MFC(VC6. 0)中關於socket套接字編程教學視頻Lessonl6. rmvb 時長01:59:10 (視頻時長1小時零59分鐘零10秒)，圖二的時間片01 41 17是一段socket 套接字UDP (用戶數據報文協議)發送數據的vc++代碼示例。圖5.3中的斜體字部分關鍵詞均可以作為視頻內容查詢的關鍵詞。圖5. 2和圖5. 4分別是上述圖5. 1和圖5. 3中的教學視頻中，大綱關鍵詞和時間 片的相對應的時間片對照表。如果程序不方便抓取到準確的大綱內容，則手工方式進行大綱的輸入和時間對 照，具體步驟是這個部分對於教學視頻，可以根據的教學目的為依據，從而根據視頻中不 同的時間片的內容，輸入相關的大綱內容，也可以由教學視頻的發行方或者製作方輔助抽 取出教學視頻相關的大綱；當然，考慮到程序抽取的內容的精準性，可以由人工進行審查一邊，並提取出來大 綱中的關鍵詞，否則查詢內容可能過多而過於混雜，不方便使用。2)按照上述程序自動創建或者手工建立的大綱，建立大綱關鍵詞以及關鍵詞與原 視頻的時間片對照表；3)根據建立的大綱關鍵詞建立大綱關鍵詞查詢表；4)播放的過程中，接受用戶輸入查詢的關鍵詞，併到大綱關鍵詞查詢表中進行查 詢，若該關鍵詞在大綱關鍵詞查詢表中，則進行步驟5)；5)根據大綱關鍵詞與時間片對照表進行教學視頻的位置自動定位，實現教學視頻 的內容查詢。在查詢視頻大綱的時候，用戶可以根據需要查詢的內容輸入或者選擇需要查詢的 關鍵字，系統匹配引擎進行大綱內容查詢，系統匹配到了大綱的視頻片段則顯示查找結果 並根據查詢文件記錄的時間片信息直接定位到教學視頻相關時間位置；如果沒有找到匹配 的視頻片段，則用戶可以選擇是否修改關鍵字並繼續查詢，參見圖3。6)使用者可以自己添加大綱，具體步驟如下允許用戶自己進行補充，在播放器 上放置時間片的選擇，彈出一個允許輸入文本大綱的編輯框，進行新建或者補充該時間片 對應的大綱關鍵詞，從而實現大綱內允許用戶自定義進行編輯和擴充，本步驟具體實施例 參見圖4 ；在沒有合適的大綱時間片的情況下，用戶可根據提示，選擇系統提供的兩種選 擇新增大綱內容或者編輯大綱內容，之後系統會根據用戶的輸入對視頻查詢文件進行更 新。步驟2)中不同的大綱關鍵詞對應的時間的時間片允許有重疊、包含、多對一等關係。本發明的方法中關於大綱的查詢，則有使用文本查詢技術建立索引表可以有多種 實現成熟的實現方式，如關鍵詞排序後二分查找，hash對照表等諸多手法都可以實現。通過本發明的方法，我們實現了對於教學視頻的一種精確查找的內容查詢，並且 因為教學視頻基本都有教學的授課主線，所以人工抓取出來大綱也並不困難。並且有些大 綱可以由程序輔助抽取得到，人工進進是進行審核和選取關鍵詞，從而可能只需要更少的 人工投入。如果教學視頻如果由教學視頻的發行發來抽取，因為他們更加熟悉其視頻內容， 從而能更加嫻熟和準確的獲取到大綱。通過建立大綱輔組查詢表，從而在嵌入式設備上實 現精確和方便的視頻內容查詢和定位，進而讓教學視頻的使用者能夠方便的進行內容查 詢。
權利要求
嵌入式設備中查詢教學視頻內容的系統，其特徵在於所述系統包括用於選取視頻大綱的選取模塊、用於儲存視頻大綱數據的存儲模塊、用於自存儲模塊抽取視頻大綱以及創建視頻大綱的處理模塊；用於顯示視頻相關文件的顯示模塊；所述選取模塊和顯示模塊連接；所述處理模塊與顯示模塊連接；所述存儲模塊與選取模塊連接。
2.基於嵌入式設備中查詢教學視頻內容的系統的方法，其特徵在於所述方法包括以 下步驟1)查看教學視頻，根據教學視頻的內容和教學用途，決定是否可以程序自動抽取視頻 大綱；若是，則程序自動抽取，若否，則人工添加視頻大綱；2)根據視頻大綱建立大綱關鍵詞以及該大綱關鍵詞與原視頻的時間片對照表；3)根據建立的大綱關鍵詞建立大綱關鍵詞查詢表；4)播放的過程中，接受用戶輸入查詢的關鍵詞，併到大綱關鍵詞查詢表中進行查詢，若 該關鍵詞在大綱關鍵詞查詢表中，則進行步驟5)；5)根據大綱關鍵詞與時間片對照表進行教學視頻的位置自動定位，實現教學視頻的內 容查詢。
3.根據權利要求2所述的基於嵌入式設備中查詢教學視頻內容的系統的方法，其特徵 在於所述步驟1)中程序自動抽取大綱的具體步驟是1. 1)程序掃描並抽取出來適當的大綱；1. 2)獲得大綱相應的幀信息；1. 3)根據幀信息進行識別和翻譯成文本；識別和翻譯的同時進行審查，提取出來大綱 中的大綱關鍵詞。
4.根據權利要求2所述的基於嵌入式設備中查詢教學視頻內容的系統的方法，其特徵 在於所述步驟1)中人工抽取大綱的具體方法是根據教學目的，根據視頻中不同的內容， 輸入大綱內容，並確定大綱關鍵詞。
5.根據權利要求4所述的基於嵌入式設備中查詢教學視頻內容的系統的方法，其特徵 在於所述步驟5)中查詢的具體步驟是系統根據輸入的關鍵字匹配引擎進行大綱內容查 詢，若匹配到了大綱的視頻片段則顯示查找結果並根據查詢文件記錄的時間片信息直接定 位到教學視頻相關時間位置；若沒有找到匹配的視頻片段，則用戶選擇是否修改關鍵字並 繼續查詢。
6.根據權利要求2或3或4或5所述的基於嵌入式設備中查詢教學視頻內容的系統的 方法，其特徵在於所述方法在步驟5)之後還包括有步驟6)使用者自己添加大綱關鍵詞的 步驟，具體步驟如下允許用戶自己進行補充，在播放器上放置時間片的選擇，彈出一個允 許輸入文本大綱的編輯框，進行新建或者補充該時間片對應的大綱關鍵詞。
7.根據權利要求3所述的基於嵌入式設備中查詢教學視頻內容的系統的方法，其特徵 在於所述步驟2)關鍵詞與原視頻的時間片對照表中，不同的大綱關鍵詞對應的時間片的 對應關係有重疊、包含以及多對一。
8.根據權利要求3所述的基於嵌入式設備中查詢教學視頻內容的系統的方法，其特徵 在於所述步驟1. 2)中獲得幀信息的方法是應用OCR技術；
9.根據權利要求6所述的基於嵌入式設備中查詢教學視頻內容的系統的方法，其特徵 在於所述視頻大綱包括編程教程中的代碼片段，數學教程中的數學公式、英文教學中的例句抽取。
全文摘要
本發明提出的嵌入式設備中查詢教學視頻內容的系統及其方法，該系統包括用於選取視頻大綱的選取模塊、用於儲存視頻大綱數據的存儲模塊、用於自存儲模塊抽取視頻大綱以及創建視頻大綱的處理模塊；用於顯示視頻相關文件的顯示模塊；選取模塊和顯示模塊連接；處理模塊與顯示模塊連接；存儲模塊與選取模塊連接。本發明提出了一種嵌入式設備中查詢教學視頻內容的系統及其方法，建立一種對應視頻查詢內容的大綱檔，根據視頻內容，將一些文本數據重新識別成文本，實現了一種允許用戶進行教學視頻內容相關大綱的內容的查詢。
文檔編號G06F17/30GK101833584SQ20101017878
公開日2010年9月15日 申請日期2010年5月20日 優先權日2010年5月20日
發明者鍾輝, 陳淮琰 申請人:無敵科技(西安)有限公司