音視頻文件注釋系統的製作方法
2023-07-13 05:28:56
音視頻文件注釋系統的製作方法
【專利摘要】本發明提供一種音視頻文件注釋系統，包括有一音視頻播放模塊，用於播放一音視頻文件；一注釋接收模塊，用於啟動注釋事件，並在注釋事件開始後接收輸入的注釋信息；其特徵在於，該音視頻文件關聯有一區段設置信息，該區段設置信息包括多個區段劃分信息，用於將該音視頻文件標示為多個音視頻區段，每一區段劃分信息包括區段起始時間及區段結束時間；一視頻區段確定模塊，用於確定本次注釋事件的開始時間，並根據所述注釋開始時間及該音視頻文件關聯的多個區段劃分信息確認注釋事件開始時的音視頻區段，一注釋關聯模塊，用於建立該注釋信息與該所確定的音視頻區段的關聯。通過該系統可提供給用戶隨時添加注釋，並很明確確定添加注釋信息的音視頻區段。
【專利說明】音視頻文件注釋系統
【技術領域】
[0001]本發明涉及音視頻處理技術，尤其為音視頻文件添加注釋的系統。
【背景技術】
[0002]多媒體文件如視頻、音頻廣泛存在當今的資訊時代。在很多時候，人們(用戶)喜歡為音視頻文件添加注釋，以便記錄觀看/接聽該音視頻文件時的關鍵信息或感受，並可對所添加的注釋信息進行分享。
[0003]最早的技術一般只能給整個音視頻文件添加注釋，或是對視頻文件的某一幀畫面添加注釋。然而，給整個音視頻文件添加注釋，由於整個音視頻文件的時間太長，很難讓重現該注釋的觀看者知道該注釋信息是更準確的針對哪一部分內容所添加。而針對某一幀畫面添加注釋也同樣存在很多不足，例如音視頻文件所展示的內容大多是連續的，單一幀畫面所展示的有意義的信息，那如何確定要添加的視頻幀會讓用戶難於選擇，而且在重現該注釋信息的方式也有很多的不足，只在播放到該視頻幀時顯示該注釋信息，那根本上沒有意義，如果是從該視頻幀開始的一段時間內一直顯示該注釋信息會讓觀看者產生誤解為該注釋信息是針對該段時間的視頻添加的注釋。
[0004]而在2011年I月26日公開的谷歌公司申請的200980108230.7 (申請號)號中國專利申請中有揭露對視頻區段添加注釋，然而該視頻區段需要用戶手工去確定。這明顯的增加了用戶操作難度及時間，例如觀看很長的一段視頻後，又要重新倒回去選擇哪一段視頻才是所需的視頻區段，而且也嚴重打斷了視頻播放的連續，因此也缺乏隨時性，即無法滿足用戶隨時添加注釋的需要。而且由於是人工選擇視頻區段也會造成一定的誤差。根據前面的描述，谷歌的200980108230.7 (申請號)專利申請在某些特定領域如網絡教學時不太適用的。
[0005]另，中國電信股份有限公司於2009年9月9日申請，於2010年2月10日公開的中國200910170735.8號專利「視頻文件的文本注釋方法和系統、播放方法和系統」中揭露了通過場記號、場記單等信息確定視頻區段，然後添加注釋的方法。然而該方法只能利用在視頻文件的剪裁過程，因為當一個視頻文件製作完成，其不會再包括有場記號、場記單等信息。因此，用戶在在觀看正式發布的視頻過程中，不可能場記號、場記單獲得視頻區段，另外其通過影像識別方式來場記幀(包括場記號、場記單的幀)是非常複雜的做法。
【發明內容】
[0006]根據上述的不足，本發明的主要目的在於提供一種音視頻文件注釋系統可提供給用戶隨時添加注釋，並很明確確定添加注釋信息的音視頻區段。本發明的其他目的在於提供一種音視頻文件注釋系統將所添加的注釋信息有序的生成筆記文件。
[0007]該音視頻文件注釋系統包括:一音視頻播放模塊，用於播放一音視頻文件；一注釋接收模塊，用於啟動注釋事件，並在注釋事件開始後接收輸入的注釋信息；該音視頻文件關聯有一區段設置信息，該區段設置信息包括多個區段劃分信息，用於將該音視頻文件標示為多個音視頻區段，每一區段劃分信息包括區段起始時間及區段結束時間；一視頻區段確定模塊，用於確定本次注釋事件的開始時間，並根據所述注釋開始時間及該音視頻文件關聯的多個區段劃分信息確認注釋事件開始時的音視頻區段，一注釋關聯模塊，用於建立該注釋信息與該所確定的音視頻區段的關聯。
[0008]進一步，音視頻文件注釋系統還包括一筆記生成模塊，用於開啟一筆記文件，將該注釋信息添加於該筆記文件中，形成一筆記信息，該區段設置信息的每一區段劃分信息還包括區段描述信息，該筆記信息還包括有該注釋事件開始時的音視頻區段的區段描述信
肩、O
[0009]進一步,該音視頻文件還包括有標識信息,該標識信息包括該音視頻文件所屬組別信息、文件順序標識、文件描述信息，該區段設置信息的每一區段劃分信息包括區段順序標識，該筆記生成模塊還用於依多個音視頻文件定義的組別信息創建相應多個筆記文件，該筆記生成模塊是為將筆記信息添加至所播放的音視頻文件的組別信息對應的筆記文件中，並在筆記文件中通過文件順序標識、區段順序標識編排多個筆記信息。
【專利附圖】
【附圖說明】
[0010]圖1為本發明音視頻文件注釋系統的運用環境示意圖。
[0011]圖2為本發明音視頻文件注釋系統中音視頻文件格式示意圖。
[0012]圖3為本發明音視頻文件注釋系統中的模塊示意圖。
[0013]圖4為本發明所產生的筆記文件的效果示意圖。
[0014]圖5A至圖5C為本發明中一音視頻區段添加注釋信息後不同播放時間的畫面示意圖。
[0015]圖6A至圖6C為本發明中一音視頻區段不同播放時間的畫面示意圖。
[0016]圖7A、圖7B為本發明中將音視頻區段添加於筆記文件的效果示意圖。
[0017]圖8為本發明音視頻文件注釋系統對應的音視頻文件注釋方法流程圖。
[0018]圖9為音視頻文件注釋方法中添加注釋信息的子流程圖。
【具體實施方式】
[0019] 申請人:首先需要說明的是在本發明的附圖及【具體實施方式】中都只示出及詳細描述與本發明技術創新點及創新點相關聯的結構、模塊、功能及作業流程，而為了構成一完整的音視頻文件注釋系統所需的習知結構、模塊、功能並不示出或描述，然而也必須需要說明的是在本發明的附圖及【具體實施方式】中所示出或詳細描述的結構、模塊、功能並非全部為本發明的必要技術特徵。
[0020]請參閱圖1，為本發明音視頻文件注釋系統的運用環境示意圖。本發明音視頻文件100較佳為可程序化計算機系統(即軟體系統)，其運行在伺服器200及多個網絡終端設備300上。在本發明中網絡終端設備300可以是桌上型計算機、筆記本電腦、智慧型手機及平板電腦中的一種。通過本音視頻文件注釋系統100，用戶可以在網絡終端設備300播放音視頻文件，並可對所播放的音視頻添加注釋。
[0021]請參閱圖2，為本發明音視頻文件注釋系統中音視頻文件格式示意圖。音視頻文件400關聯有一區段設置信息500，該區段設置信息包括多個區段劃分信息510，該多個區段劃分信息510用於將該音視頻文件400標示為多個音視頻區段，例如圖中標示的P1、P2、……、Pn。每一區段劃分信息包括區段起始時間及區段結束時間。以下的描述中，以一音視頻文件的音視頻區段Pl的區段起始時間及區段結束時間分別為O分00秒、4分20秒；音視頻區段Pl的區段起始時間及區段結束時間分別為4分20秒、15分30秒等為例進行說明。在本實施方式區段起始時間及區段結束時間為音視頻文件的時間線。
[0022]請參閱圖3，為本發明音視頻文件注釋系統中的模塊示意圖。在本實施方式中，音視頻文件注釋系統100包括:
[0023]一音視頻播放模塊110，用於播放一音視頻文件；在本實施方式中，用戶通過網絡終端設備300登錄音視頻文件注釋系統100，具體為音視頻文件注釋系統100的伺服器200，並通過音視頻播放模塊110在網絡終端設備300上播放音視頻文件。
[0024]一注釋接收模塊120，用於啟動注釋事件，並在注釋事件開始後接收輸入的注釋信息；具體為通過按下一虛擬按鍵或在本發明提供的一圖形用戶界面的注釋輸入框中輸入文字作為啟動注釋事件產生的條件。當音視頻文件為視頻文件時，亦可以在視頻文件播放時所顯示的畫面上進行手寫輸入來啟動注釋事件。
[0025]一視頻區段確定模塊130，用於確定本次注釋事件的開始時間，並根據所述注釋開始時間及該音視頻文件關聯的多個區段劃分信息確認注釋事件開始時的音視頻區段。以下的說明中，為了清楚的說明本發明，都將以圖2中所示的音視頻文件A為例進行說明。假設，本次注釋事件的開始時間為I分28秒，則音視頻文件A注釋事件開始時播放的音視頻區段為音視頻區段Pl。
[0026]一注釋關聯模塊140，用於建立該注釋信息與該所確定的音視頻區段的關聯。亦即，假設本次輸入的注釋信息為「這是定語從句」(以下簡稱為注釋信息A)，則建立該注釋信息A與音視頻區段Pl的關聯。
`[0027]一判斷模塊150，用於確定本次注釋事件是否結束。該音視頻播放模塊110在音視頻播放過程中還判斷當前播放時間達到該注釋事件開始時對應的音視頻區段的區段結束時間，噹噹前播放時間達到該注釋事件開始時對應的音視頻區段的區段結束時間時，控制該判斷模塊150判斷本次注釋事件是否結束，噹噹前播放時間達到該注釋事件開始時對應的音視頻區段的區段結束時間時且本次注釋事件未結束時，該音視頻播放模塊110暫停播放該音視頻文件，並在本次注釋事件結束後，接續播放該音視頻文件。例如，用戶添加注釋是在播放音視頻區段Pl時進行的，音視頻文件A在用戶添加注釋過程中會一直繼續播放，當播放時間來到4分20秒時,音視頻播放模塊110確定當前播放時間達到該注釋事件開始時對應的音視頻區段的區段結束時間，而判斷模塊150判斷到本次注釋事件還未結束，該音視頻播放模塊110暫停播放該音視頻文件，用戶繼續輸入注釋信息，假設3分鐘後本次注釋事件結束，音視頻播放模塊110接續播放該音視頻文件，亦即從4分20秒繼續播放，進入播放下一音視頻區段P2。較佳的，判斷模塊150是為當超過一預設時長(例如5秒)未接收到注釋信息，則確定本次注釋事件結束。需要指出的，在某一音視頻區段播放過程，有可能有多次注釋事件，即用戶可以多次輸入注釋信息。例如在I分I秒時，用戶開始持續輸入注釋信息(如注釋信息A)，I分30秒時判斷模塊150已持續5秒鐘未收到用戶輸入的注釋信息，則確定為本次注釋事件結束，在此次的注釋事件中，音視頻文件A—直在播放；而在3分40秒時又一次注釋事件開始，用戶開始又一次持續輸入注釋信息(如注釋信息B)，而到4分20秒時，該注釋事件未結束(判斷模塊150未收到用戶輸入注釋信息未持續超過5秒鐘)，音視頻播放模塊110暫停播放該音視頻文件。
[0028]—筆記生成模塊160,用於開啟一筆記文件,將該注釋信息添加於該筆記文件中，形成一筆記信息。在本發明中，音視頻文件還包括有標識信息，該標識信息包括該音視頻文件所屬組別信息、文件順序標識、文件描述信息，該區段設置信息的每一區段劃分信息包括區段順序標識及區段描述信息，該筆記生成模塊還用於依多個音視頻文件定義的組別信息創建相應多個筆記文件，該筆記生成模塊160是為開啟所播放的音視頻文件的組別信息對應的筆記文件中，將筆記信息添加該筆記文件中。每一筆記信息還包括有該注釋事件開始時的音視頻區段的區段描述信息，並且在一筆記文件中通過文件順序標識、區段順序標識編排多個筆記信息。
[0029]在本發明的網絡教育的應用中，音視頻文件的標識信息所定義的組別信息為高二數學、高二語文、高二英文等科目，文件順序標識定義為第幾課，文件描述信息定義為該課件的關鍵內容或該節課的名稱；每一區段劃分信息中的區段描述信息定義該音視頻所講述的內容介紹，區段順序標識定義為一音視頻區段在該音視頻文件中的順序。例如，前述的音視頻文件A為高二英語(組別信息)、第三課(文件順序標識)、定義從句(文件描述信息)，音視頻文件A中音視頻區段Pl區段順序標識為1、區段描述信息為「AAAAAA」，音視頻區段P2區段順序標識為2、區段描述信息為音視頻區段P3區段順序標識為
3、區段描述信息為「CCC」。
[0030]假設一用戶訂閱了高二數學、高二語文、高二英文等三個科目，筆記生成模塊160會按科目為該用戶創建三個筆記(高二數學筆記本、高二語文筆記本、高二英文筆記本)，當該用戶在播放高二英文的音視頻文件(課件)時，對音視頻文件(課件)進行注釋時，開啟高二英文筆記本，將注釋信息添加到該高二英文筆記本中。在高二英文筆記本中，又按照課程順序(文件順序標識)編排筆記，而每一課件的筆記(對應每一音視頻文件所做的注釋)又按音視頻區段順序編排筆記，在每一音視頻區段的筆記(對應每一音視頻區段所做的注釋)按每次注釋信息的順序(如播放時間順序)編排筆記信息。而每一課件的筆記信息前可以添加該課件的簡要信息(文件描述信息)，每一音視頻區段的筆記信息可以添加該音視頻區段的區段描述信息。本發明所產生的筆記文件的效果示意圖參照圖4所示，具體生成筆記文件的具體流程參閱後續對圖9的描述。
[0031]在本發明的較佳實施方式中，音視頻文件較佳為視頻文件，其可為各種格式的視頻文件。首視頻文件注釋系統100還進一步包括有:
[0032]一注釋位置確定模塊170，用於確定注釋信息添加於該視頻文件當前播放的視頻畫面中的注釋位置。該注釋位置可以為注釋事件剛開始通過滑鼠光標的位置確定，或者是用戶觸控螢幕的觸摸位置或手寫開始的位置。該音視頻播放模塊110還用於當前播放時間未達到該注釋事件開始時對應的音視頻區段的區段結束時間時，在所顯示的視頻畫面的該注釋位置處合成顯示該注釋信息。請參閱圖5A至圖5C所示為以視頻文件A為例，其視頻區段Pl在不同播放時間點時的畫面，假設圖5A為I分10秒的畫面時用戶已添加了注釋(注釋信息以圖中的標號520標示)，該注釋信息520繼續信息在2分30秒的畫面(圖5B)及4分20秒的畫面(圖5C)上。
[0033]確定注釋位置的方法可以有各種方式，例如，在每次注釋事件開始，截取當時的畫面，並與視頻播放的畫面位置及大小一致顯示該畫面(過程用戶不可見)，根據光標/觸摸點在該畫面中的位置確定在播放的視頻畫面中的位置。或者是，由於視頻畫面大小、在整個屏幕的位置可知，跟光標/觸摸點在整個屏幕的位置亦可知，經過幾何計算即可得到光標/觸摸點在視頻畫面中的位置。
[0034]一標誌畫面獲取模塊180，用於獲取該注釋事件開始時對應的視頻區段的標誌畫面，該標誌畫面為注釋事件開始時對應的視頻區段的區段起始時間及區段結束時間之間一預設時長處的視頻畫面。在本發明中網絡教育應用中，某一視頻區段的標誌畫面標示該視頻區段的完整內容。在一實施方式中，該預設時長靠近該區段結束時間，該標誌畫面獲取模塊180是為從該視頻文件的注釋事件開始時的視頻區段的該預設時長處獲取該標誌畫面，需要說明的靠近該區段結束時間亦可包括區段結束時間。在另一實施方式中，每一區段劃分信息還包括有所對應視頻區段的標誌畫面，該標誌畫面獲取模塊是為從注釋事件開始時的視頻區段對應的區段劃分信息中獲取該標誌畫面。較佳的，在本發明所採用的視頻文件是特殊製作的，視頻文件的每一視頻區段展示一個完整的頁面內容。參閱圖6A至圖6C為以視頻文件A為例，其視頻區段Pl在不同播放時間點時的畫面，假設圖6A為I分10秒的畫面，圖6B為2分30秒的畫面，圖6C為4分20秒的畫面(靠近該區段結束時間)；那麼圖6C所示意的畫面為該視頻區段Pl的標誌畫面。
[0035]在本發明的實施方式中，該筆記生成模塊160還將該標誌畫面添加於該注釋信息對應的筆記信息中。標誌畫面530添加於筆記信息中的方式可以為:添加在該標誌畫面對應的視頻區段的所有注釋信息之前(或之後)(如圖7A所示)；或，將該視頻區段的所有注釋信息合成顯示於該標誌畫面530的各自注釋位置處(如圖7B所示)。
[0036]需要說明的是，本發明音視頻文件注釋系統的上述模塊可以是全部運行在伺服器200，例如在採用雲計算技術或瀏覽器/伺服器(B/S)架構來實現該音視頻文件注釋系統的情況下。亦可以部分運行於網絡終端設備300上，部分運行於伺服器200上，例如該音視頻文件注釋系統是通過客戶端/伺服器(C/S)架構實現。
[0037]參閱圖8所示，為本發明音視頻文件注釋系統對應的音視頻文件添加注釋方法的簡要流程圖，該方法由該音視頻文件注釋系統來執行。該音視頻文件添加注釋方法包括有如下步驟:確定本次注釋事件的開始時間(步驟S810);根據所述注釋開始時間及該音視頻文件關聯的多個區段劃分信息確認注釋事件開始時的音視頻區段(步驟S820);建立該注釋信息與該所確定的音視頻區段的關聯(步驟S830);開啟一筆記文件，將該注釋信息添加於該筆記文件中，形成一筆記信息(步驟S840)。
[0038]參閱圖8所示，為本發明音視頻文件添加注釋方法中生成筆記信息的子流程圖。形成一筆記信息(步驟S840)包括以下子步驟:
[0039]獲取當前所播放的音視頻文件的標識信息，該標識信息包括該音視頻文件所屬組別信息、文件順序標識、文件描述信息(步驟S8410);判斷是否存在該組別信息所對應的筆記文件(步驟S8420);如果步驟S8420的判斷結果為否，創建一筆記文件，該筆記文件的命名與該組別信息相對應(步驟S8422)。在該筆記本添加該文件順序標識及文件描述信息，在所添加的文件描述信息之後換行添加當前播放音視頻區段的區段順序標識及區段描述信息，換行添加該注釋信息於區段描述信息之後以形成筆記信息(步驟S8424)。
[0040]如果步驟S8420的判斷結果為是，開啟該組別信息對應的筆記文件(步驟S8430)；通過文件順序標識或是文件描述信息來判斷該筆記文件中是否存在有該音視頻文件對應的筆記信息(步驟S8440);如果步驟S8440的判斷結果為否，根據該文件順序標識確定添加文件順序標識及文件描述信息的位置，在該位置添加該文件順序標識及文件描述信息，並在所添加的文件描述信息之後換行添加當前播放音視頻區段的區段順序標識及區段描述信息，換行添加該注釋信息於區段描述信息之後以形成筆記信息(步驟S8442)。如果步驟S8440的判斷結果為是，判斷在該文件順序標識(或是文件描述信息)對應的筆記信息中是否包括有當前播放音視頻區段(通過區段順序標識或區段描述信息判斷)對應的筆記信息(步驟S8450)。如果步驟S8450的判斷結果為否，根據該文件順序標識確定區段順序標識及區段描述信息的位置，添加當前播放音視頻區段的區段順序標識及區段描述信息，換行添加該注釋信息於區段描述信息之後以形成筆記信息(步驟S8452)。如果步驟S8450的判斷結果為是，根據當前播放時間或添加注釋的時間為順序，確定該注釋信息的添加位置，添加該注釋信息形成筆記信息(步驟S8460)。
【權利要求】
1.一種音視頻文件注釋系統，包括有一音視頻播放模塊，用於播放一音視頻文件；一注釋接收模塊，用於啟動注釋事件，並在注釋事件開始後接收輸入的注釋信息；其特徵在於，該音視頻文件關聯有一區段設置信息，該區段設置信息包括多個區段劃分信息，用於將該音視頻文件標示為多個音視頻區段，每一區段劃分信息包括區段起始時間及區段結束時間；該音視頻文件注釋系統還包括有:一視頻區段確定模塊，用於確定本次注釋事件的開始時間，並根據所述注釋開始時間及該音視頻文件關聯的多個區段劃分信息確認注釋事件開始時的音視頻區段，一注釋關聯模塊，用於建立該注釋信息與該所確定的音視頻區段的關聯。
2.如權利要求1所述的音視頻文件注釋系統，其特徵在於，還包括有一判斷模塊，用於確定本次注釋事件是否結束；該音視頻播放模塊還用於噹噹前播放時間達到該注釋事件開始時對應的音視頻區段的區段結束時間且本次注釋事件未結束時，控制暫停播放該音視頻文件，並在本次注釋事件結束後，接續播放該音視頻文件。
3.如權利要求2所述的音視頻文件注釋系統，特徵在於，該判斷模塊是為當超過一預設時長未接收到注釋信息，則確定本次注釋事件結束。
4.如權利要求1所述的音視頻文件注釋系統，特徵在於，該筆記系統還包括一筆記生成模塊，用於開啟一筆記文件，將該注釋信息添加於該筆記文件中，形成一筆記信息，該區段設置信息的每一區段劃分信息還包括區段描述信息，該筆記信息還包括有該注釋事件開始時的音視頻區段的區段描述信息。
5.如權利要求4所述的音視頻文件注釋系統，特徵在於，該音視頻文件還包括有標識信息，該標識信息包括該音視頻文件所屬組別信息、文件順序標識、文件描述信息，該區段設置信息的每一區段劃分信息包括區段順序標識，該筆記生成模塊還用於依多個音視頻文件定義的組別信息創建相應多個筆記文件，該筆記生成模塊是為將筆記信息添加至所播放的音視頻文件的組別信息對應的筆記文件中，並在筆記文件中通過文件順序標識、區段順序標識編排多個筆記信息。
6.如權利要求1所述的 音視頻文件注釋系統，特徵在於，該音視頻文件為視頻文件，該筆記系統還包括有一注釋位置確定模塊，用於確定注釋信息添加於該視頻文件當前播放的視頻畫面中的注釋位置；該音視頻播放模塊還用於當前播放時間未達到該注釋事件開始時對應的音視頻區段的區段結束時間時，在所顯示的視頻畫面的該注釋位置處合成顯示該注釋信息。
7.如權利要求5所述的音視頻文件注釋系統，特徵在於，該音視頻文件為視頻文件，該筆記系統還包括有一標誌畫面獲取模塊，用於獲取該注釋事件開始時對應的視頻區段的標誌畫面，該標誌畫面為注釋事件開始時對應的視頻區段的區段起始時間及區段結束時間之間一預設時長處的視頻畫面；該筆記生成模塊還用於將該標誌畫面添加於該注釋信息對應的筆記信息中。
8.如權利要求7所述的音視頻文件注釋系統，特徵在於，該筆記系統還包括有一注釋位置確定模塊，用於確定該注釋信息在該注釋事件開始的視頻畫面中的注釋位置；該筆記生成模塊是為將該注釋信息合成顯示於該標誌畫面的該注釋位置處。
9.如權利要求7所述的音視頻文件注釋系統，特徵在於，該預設時長靠近該區段結束時間，該標誌畫面獲取模塊是為從該視頻文件的注釋事件開始時的視頻區段的該預設時長處獲取該標誌畫面。
10. 如權利要求7所述的音視頻文件注釋系統，特徵在於，每一區段劃分信息還包括有所對應視頻區段的標誌畫面，該標誌畫面獲取模塊是為從注釋事件開始時的視頻區段對應的區段劃分信息中獲取該標誌畫面。
【文檔編號】G11B27/34GK103488661SQ201310108492
【公開日】2014年1月1日 申請日期:2013年3月29日 優先權日:2013年3月29日
【發明者】吳晗 申請人:吳晗