用於多媒體數據的時移重放的設備及其方法

2023-12-11 06:06:52 1

專利名稱：用於多媒體數據的時移重放的設備及其方法
技術領域：
本發明涉及用於音頻/視頻數據的時移重放的設備及其方法。
背景技術：
現在，數字解碼器越來越普及地裝配了大容量存儲裝置，使得音頻/視頻節目能夠被現場記錄。許多數字解碼器具有複雜的功能，諸如便於記錄並顯示實時傳輸的節目。其還具 有時移重放的功能，使用戶能夠在記錄節目的同時顯示該節目，在繼續記錄節目的同時執行重放的暫停，以及使用已記錄的數據來重新開始顯示數據。這種系統的缺點如下在發起暫停之後，用戶以相對於其傳輸的一定延遲來觀看音頻/視頻數據。這對實時發生的事件，更具體地在特別適於實況模式下顯示的體育事件的情況下，特別地不利。

發明內容
因此，本發明為用戶提供了以下便利，即在不丟失可能在暫停時間內發生的重要事件的同時，在或長或短的暫停時間之後重新開始顯示。為此，本發明提出了一種用於音頻/視頻數據的時移重放的設備，該設備包括-用於存儲接收到的音頻/視頻數據的裝置(13)，-用於將接收到的所述音頻/視頻數據記錄在所述存儲裝置中的裝置(12，17)，-用於在記錄時顯示接收到的所述音頻/視頻數據的裝置，-用於在繼續記錄所述音頻/視頻數據的同時在給定時間暫停所述音頻/視頻數據的顯示的裝置(20b)，-用於在檢測到用戶發起的暫停時，觸發創建在所述暫停期間接收到的所述音頻/視頻數據的視頻摘要的裝置(12，17)，所述設備的特徵在於-用於在所述音頻/視頻數據被記錄之前標記所述音頻/視頻數據，以便識別形成所述摘要的音頻/視頻數據，並通過分析所述音頻/視頻數據的內容來檢測將要在所述摘要中保留的所述音頻/視頻數據的開始和結束的裝置(12，17)，-在從暫停模式切換回重放模式時，所述顯示裝置在重新開始實時接收到的所述音頻/視頻數據的重放之前，顯示在暫停期間接收到的音頻/視頻數據的所述摘要。根據本發明-在切換回重放模式時，所述顯示裝置在重新開始重放實時接收到的所述音頻/視頻數據之前，顯示在暫停期間接收到的音頻/視頻數據的摘要。
因此，本發明使得可以在暫停時間後重新開始顯示接收到的音頻/視頻數據，只是首先顯示在暫停時間期間接收到的最重要數據。按照這種方式，用戶不會錯過重要時刻，並且可以逐漸恢復實時接收到的數據的顯示。與已知的時移重放設備相比，這呈現出了某些優點，在已知的時移重放設備中，用戶以由於請求暫停時的暫停所造成的延遲來顯示接收到的音頻/視頻數據，因此趕不上實況模式下的顯示。這樣的設備特別適用於可以將諸如元數據的附加信息與所傳輸的流相關聯的編碼格式。在優選方式下，用於創建摘要的裝置從在停止顯示時接收到的音頻/視頻數據中提取重要的代表性時刻。根據優選實施例，用於創建摘要的裝置創建了包括音頻/視頻數據的文件，該音頻/視頻數據與在停止顯示時記錄的音頻/視頻數據的代表性時刻相對應。本發明還涉及一種用於在包括存儲裝置的記錄和顯示設備中時移重放音頻/視 頻數據的方法，該方法包括以下步驟-存儲接收到的音頻/視頻數據，-將接收到的音頻/視頻數據記錄在所述存儲裝置中，-在記錄時顯示接收到的所述音頻/視頻數據，-在繼續記錄所述數據的同時，在給定時間暫停所述數據的顯示，-檢測用戶發起的暫停，並且響應於所述檢測，觸發創建在所述暫停期間接收到的所述音頻/視頻數據的視頻摘要，所述方法的特徵在於，所述方法還包括以下步驟-在所述音頻/視頻數據被記錄之前標記所述音頻/視頻數據，以便識別形成所述摘要的音頻/視頻數據，並通過分析所述音頻/視頻數據的內容來檢測將要在所述摘要中保留的所述音頻/視頻數據的開始和結束；-在切換回重放模式時，在重新開始實時接收到的數據的重放之前，顯示在暫停期間接收到的音頻/視頻數據的所述摘要。


參考附圖，利用示例性實施例及其有利實現，可以更好對本發明進行理解以及例證，這些示例性實施例是非限制性的，在以下附圖中圖I示出了根據本發明的設備的示例，示出了正常操作模式下的數據流，圖2示出了根據本發明的設備的示例，示出了在暫停顯示節目時的數據流，圖3示出了根據本發明的設備的示例，示出了切換到摘要顯示模式時的數據流，圖4示出了用於根據音頻分量來檢測節目的最顯著部分的狀態機。
具體實施例方式在各個附圖中示出的模塊為功能單元，該功能單元可對應於或不可對應於物理上可識別的單元。例如，這些模塊或這些模塊中的一些可以被組合為單一組件，或形成特定軟體塊的功能。另一方面，某些模塊可以(如果必要的話)由物理上分離的實體構成。圖I到圖3示出了根據本發明的設備的示例，示出了各種操作模式以及在這些操作模式下的數據路徑。圖I示出了操作模式，其中以現有技術中已知的實時方式來記錄並傳輸數據。所示出的設備優選地為數字解碼器，或「機頂盒」。機頂盒包括兩個調諧器Ia和lb，用於接收兩個衛星節目。這兩個調諧器Ia和Ib分別連接到解調器2a和2b。解調器2a和2b的輸出端連接到過濾和解復用模塊3。此模塊3用於從衛星所接收到的流中恢復出各種節目。根據其標識符(PID)對這些不同的節目進行過濾。模塊3連接到協處理2。協處理器12減輕了主處理器17的任務，該任務與管理通過專用總線連接的外圍鏈路相關。協處理器12連接到各種接口，以及，具體地連接到-USB 接口 16，
-串行接口15,-數據機14，-硬碟13，-晶片卡讀出器19,-付費專用晶片卡讀出器18，-與SDRAM類型的主存儲器相關聯的主處理器。協處理器12也連接到PCM混合模塊6.晶片卡讀出器18和19分別容納晶片卡21b和21a。主機處理器17運行由節目廣播器所提供的應用程式，並驅動協處理器12。在這種操作模式下，將在調諧器Ia和Ib上接收到的數據記錄在硬碟13中。也可以通過數字/模擬轉換器7以及PAL/SECAM編碼器10，將其分別傳輸到音頻和視頻輸出，以便顯示。記錄為了將數據記錄在硬碟13中，將數據從調諧電路Ia和Ib傳送到解調器2a或2b，然後將其傳輸到解復用器3。將未解復用的音頻/視頻數據傳輸到協處理器12。通過協處理器12將音頻/視頻數據流記錄在硬碟13上。顯示可以在記錄數據時將其顯示。為此，將音頻數據從解復用器3傳輸到音頻解碼器5。然後將該音頻數據傳輸到PCM混合模塊6。然後，在將該音頻數據傳送到音頻輸出以便收聽之前，將其傳輸到數字-模擬轉換器7。將視頻數據作為解復用器3的輸出傳輸到MPEG-2類型的解碼器8。然後取決於顯示設備，將已解碼的數據傳輸到圖形卡9和PAL/SECAM編碼器。圖2示出了在請求暫停顯示時如圖I中所描述的相同設備的操作。在按下暫停按鈕時，設備繼續將數據記錄在硬碟13上。然而，數據不再被傳輸到顯示器中所包括的多個模塊。因此，將音頻/視頻數據從解復用器3的輸出傳輸到協處理器12。協處理器12將接收到的音頻/視頻數據傳輸到硬碟13。處理器17創建接收到的音頻/視頻數據的摘要。
根據優選實施例，處理器17在接收數據時創建了接收到的數據的摘要。適時創建的摘要也被記錄在硬碟13中。只要不將設備切換回顯示模式，處理器17繼續產生摘要。存在多種創建摘要的方法。根據這個優選實施例，處理器17使用音頻數據和視頻數據來創建摘要。處理器17首先分析音頻分量。由此，檢測事件的重要時刻。如果可以將音頻用於檢測體育事件時的觀眾反應，觀眾反應經常出現在要保留在摘要中的最重要部分的結尾處。然後，通過分析視頻分量來對鏡頭變化進行後繼檢測，這補充了鏡頭變換的檢測方法的穩健性，並且可以被用於得到將要保留在摘要中的事件的開始場景。摘要包括在暫停顯示的同時接收到的節目的最佳時刻。在其它實施例中，摘要也可以只包括代表某些事件的某些特定片段。例如，對於足球比賽，摘要可以只包括射門。用 戶可以通過用戶界面20b輸入這些偏好。稍後將描述的圖4說明了如何考慮音頻分量以便構造摘要。在Tong Zhang於2001年12月14日提交的US2003/0112261的美國專利申請中也描述了考慮音頻和視頻分量的自動摘要構造方法。在接收到音頻/視頻數據時，將該數據傳輸到以實況模式構造摘要的處理器17，使得該摘要在設備切換回重放模式時可用。摘要數據是重複了所傳輸事件的重要時刻的輸入音頻流的一部分。以文件形式將接收到的流的這些不同的部分記錄在硬碟13上。對視頻的重要時刻的檢測是基於對鏡頭和場景的變化的檢測。例如，在ThomsonLicensing SA於2003年7月I號提交的並於2004年9月3號公布的序列號為FR2851873的法國專利申請中提出了這樣的一種方法。在所傳輸的節目為體育事件時，包括最佳時刻的摘要的自動構造尤其與以下有關在比賽中電視觀眾尤其注意的諸如足球比賽中的射門以及任意球的時刻，或網球比賽中的平分賽點的時刻。在其它實施例中，摘要的構造也可以不包括提取出重要的時刻，從而產生只包括摘要數據的數據流。摘要的構造也可以包括標記流以便界定重要場景。在重放流時，重放指示器只重放有標記的場景的圖像。通過分析音頻和視頻分量，使用與摘要的構造相同的方式來標記重要場景。按照這種方式，在接收到數據時將其記錄，只存儲指示器或標記的地址，以便在觀看摘要時只重放重要的場景。當設備處於暫停模式時，處理器17在接收到數據時，構造接收到的數據的摘要或
己 O圖3示出了在暫停後請求重新顯示時如圖I和圖2中所描述的相同設備的操作。在用戶想要重新開始之前已經開始觀看的節目的顯示時，回復到顯示模式。然後以摘要的形式在屏幕上顯示暫停期間記錄的數據。這樣，用戶迅速而有效地觀看暫停期間所傳輸的節目，使得用戶能夠很快跟上直播。為此，在檢測到重啟模式(暫停結束)時，處理器17將與已創建的和創建中的摘要相關的信息發送到協處理器12，使得協處理器12能夠讀取硬碟13上的摘要的音頻/視頻數據，並通過解復用器12將音頻/視頻數據傳輸到MPEG視頻解碼模塊8，以及通過復用器3將音頻數據傳輸到PCM解碼模塊6。然後，對於音頻而言，通過模塊7將該數據傳輸到顯示模塊，而對於視頻分量而言，通過模塊9和10將該數據傳輸到顯示模塊。從處理器17傳輸到協處理器12的與摘要有關的信息包括硬碟上的摘要的開始地址。在不單獨根據數據單獨創建摘要，而只由指示器來識別重要時刻時，將重放指示器從處理器17傳送到協處理器12，協處理器12從硬碟13中讀取相應的音頻/視頻數據。因此顯示該摘要，直至硬碟13上所記錄的數據全部被概括。在顯示摘要的同時，顯示附加信息，這向用戶表示了所觀看的數據為摘要數據。同樣地，在切換到實況顯示模式時，通過屏幕上的消息來通知用戶正在切換回實況模式。因此，由於摘要數據在數量上比節目的總量要少，因此可以趕上直播。在趕上直播時，設備切換回圖I中所描述的實況顯示模式。這對於體育事件特別有利，在體育事件中， 一方面，觀眾想要觀看比較的重要時刻，另一方面，觀眾想要觀看實況事件，因此不想在時移重放模式下逗留太久。如果用戶在觀看摘要數據的同時按了暫停，那麼摘要的構造如之前所描述地自動地繼續，直至顯示模式重新開始。在切換回實況模式之前，連續地顯示第一次暫停期間所創建的以及第二次暫停期間所創建的全部摘要數據。圖4示出了在摘要構造中識別音頻數據的狀態機，增強了檢測重要場景的穩健性。該方法基於如下假設在節目中發生事件時觀眾產生反應，該節目顯示體育事件或其他類型的諸如美國式「脫口秀」的事件，上述事件中需要觀眾非常集中注意力。通過檢測音頻信號的能量峰值來搜索觀眾反應。當這個反應足夠長時，則設想有關的時間段是令人感興趣的。能量水平取決於所發生的情節，但是也取決於觀眾或其他因素。因此，搜索在事件期間觀眾反應較多的時刻。在mE表示從比賽開始的信號能量的平均值的情況下，如果計算的能量大於所計算的平均值mE，則存在能量峰值。更精確地，可以保持那些能量大於mE+k* σ E的峰值，其中σ E表示從比賽開始的相同能量的標準偏差。可以將參數k用於減少檢測到的峰值數。可以確定的是，峰值實際上對應了事件中的令人感興趣的時間段，考慮峰值的持續時間是很重要的。在某些情況下，平均起來，可以以3秒來估計這個時間。這個時間通常取決於觀眾。參考示出了狀態機的圖4，對此方法進行描述。在重傳開始，狀態SI處，測量能量。如果該能量大於之前所描述的預定閾值，那麼可以估計可能存在反應，並且切換到狀態S2。只要能量大於閾值水平，則保持狀態S2。在此期間，估計狀態S2所保持的時間。當能量下降到閾值水平以下時，則切換到狀態S4。在此狀態S4中，估計狀態S2所保持的時間。如果狀態S2保持了比最小持續時間長的持續時間，則認為此情節(action)是重要的情節，並且將其歸入待保持的時刻，然後切換回等待狀態S3，在狀態S3中觀察能量的峰值。否則，如果這個情節沒有持續足夠長，那麼將這個時間段歸為不感興趣的，並且切換回等待狀態S3。只要能量低於之前所描述的閾值，則保持狀態S3。可以使用音頻和視頻的組合來增強檢測重要時刻的穩健性，在體育事件的情況下聲音特別重要。本發明並不局限於描述中所給出的示例性實施例，並且不具體局限於體育事件，而適用於任意電視節目。本發明還應用於根據MPEG-2標準之外的標準編碼的數據。本發明還應用於衛星機頂盒類型之外的解碼器，具體為ADSL解碼器，以及可以用於記錄並重放音頻/視頻數據的任意類型的設備。本發明還涉及另一個實施例，在其中由廣播器來創建摘要，並在音頻/視頻流中將該摘要以元數據的形式傳輸到解碼器。在解復用器3中對適時接收到的摘要進行解復用，並將其記錄到硬碟13中。因此，處理器17隻用於管理硬碟13以存儲摘要和音頻/視 頻數據。
權利要求
1.一種用於音頻/視頻數據的時移重放的設備，包括 -用於存儲接收到的音頻/視頻數據的裝置(13)， -用於將接收到的所述音頻/視頻數據記錄在所述存儲裝置中的裝置(12，17)， -用於在記錄時顯示接收到的所述音頻/視頻數據的裝置， -用於在繼續記錄所述音頻/視頻數據的同時在給定時間暫停所述音頻/視頻數據的顯示的裝置(20b)， -用於在檢測到用戶發起的暫停時，觸發創建在所述暫停期間接收到的所述音頻/視頻數據的視頻摘要的裝置(12，17)， 所述設備的特徵在於 -用於在所述音頻/視頻數據被記錄之前標記所述音頻/視頻數據，以便識別形成所述摘要的音頻/視頻數據，並通過分析所述音頻/視頻數據的內容來檢測將要在所述摘要中保留的所述音頻/視頻數據的開始和結束的裝置(12，17)， -在從暫停模式切換回重放模式時，所述顯示裝置在重新開始實時接收到的所述音頻/視頻數據的重放之前，顯示在暫停期間接收到的音頻/視頻數據的所述摘要。
2.如權利要求I所述的設備，其特徵在於，所述顯示裝置僅重放所標記的所述音頻/視頻數據的內容。
3.如權利要求I或2所述的設備，其特徵在於，用於進行標記的裝置(12，17)從停止顯示時接收到的音頻/視頻數據中確定並提取出重要的代表性時刻。
4.如權利要求1-3之一所述的設備，其特徵在於，用於進行標記的裝置(12，17)存儲界定將要在所述摘要中保留的所述音頻/視頻數據的標記的地址。
5.如權利要求1-4之一所述的設備，其特徵在於，處理器在接收所述音頻/視頻數據時構造對所述音頻/視頻數據的標記。
6.一種用於在包括存儲裝置的記錄和顯示設備中時移重放音頻/視頻數據的方法，包括以下步驟 -存儲接收到的音頻/視頻數據， -將接收到的音頻/視頻數據記錄在所述存儲裝置中， -在記錄時顯示接收到的所述音頻/視頻數據， -在繼續記錄所述數據的同時，在給定時間暫停所述數據的顯示， -檢測用戶發起的暫停，並且響應於所述檢測，觸發創建在所述暫停期間接收到的所述音頻/視頻數據的視頻摘要， 所述方法的特徵在於，所述方法還包括以下步驟 -在所述音頻/視頻數據被記錄之前標記所述音頻/視頻數據，以便識別形成所述摘要的音頻/視頻數據，並通過分析所述音頻/視頻數據的內容來檢測將要在所述摘要中保留的所述音頻/視頻數據的開始和結束； -在切換回重放模式時，在重新開始實時接收到的數據的重放之前，顯示在暫停期間接收到的音頻/視頻數據的所述摘要。
7.如權利要求6所述的方法，包括步驟僅重放所標記的所述音頻/視頻數據的內容。
8.如權利要求6或7所述的方法，包括步驟從停止顯示時接收到的音頻/視頻數據中確定並提取出重要的代表性時刻。
9.如權利要求6-8之一所述的方法，包括步驟存儲界定將要在所述摘要中保留的所述音頻/視頻數據的標記的地址。
全文摘要
本發明涉及一種用於音頻/視頻數據的時移重放的方法及其設備。所述設備包括用於存儲接收到的音頻/視頻數據的裝置(13)，用於將接收到的所述音頻/視頻數據記錄在所述存儲裝置中的裝置(12，17)，用於在記錄時顯示接收到的所述音頻/視頻數據的裝置，用於在繼續記錄所述音頻/視頻數據的同時在給定時間暫停所述音頻/視頻數據的顯示的裝置(20b)。根據本發明，在切換回重放模式時，所述顯示裝置在重新開始重放實時接收到的所述音頻/視頻數據之前，顯示在暫停期間接收到的音頻/視頻數據的摘要。
文檔編號H04N5/76GK102932618SQ20121042473
公開日2013年2月13日 申請日期2005年12月12日 優先權日2004年12月17日
發明者菲利普·施莫克, 羅伯特·福爾託弗, 讓-羅南·維古魯 申請人:湯姆森許可貿易公司