通過音頻視頻數據流的字幕進行導航的方法和設備的製作方法
2023-07-09 08:35:01 1
專利名稱：通過音頻視頻數據流的字幕進行導航的方法和設備的製作方法
技術領域：
本發明涉及一種通過音頻視頻數據流的字幕進行導航的方法和設備，其允許包括字幕在內的視頻場景的精確重放，例如，為了學習語音的目的。
背景技術：
最初，只通過電視臺來廣播電影，具有原始語言的音頻信號，或具有被完整翻譯的音頻信號版本。後來，添加了字幕，作為對外語電影的翻譯，同時平行於相同語音的音頻信號，以防難以獲得視聽一致性。可以聽到外語同時能夠閱讀其母語翻譯的可能性使得字幕也成為一種學習語言的工具。
可以將字幕設置為所謂的開放字幕，在傳輸電視信號之前，將其放入已經位於電視臺的電視畫面中。這使得觀看者能夠觀看字幕，而無需電視機中的特定解碼器。但是，結果，每次只能傳輸一種語言，而且不能關閉字幕。目前，更為流行的是使用所謂的閉合字幕，在電視畫面的隱藏部分中傳輸字幕。對於模擬電視信號，將閉合字幕插入在電視信號的幀之間的垂直消隱間隔(VBI)中，並進行傳輸，例如，在歐洲，作為圖文電視數據，在美國，作為線路21數據。在接收端，由數據分離器從VBI中提取字幕數據，利用圖文電視或閉合字幕解碼器對其進行解碼，並在觀看者調用時，與視頻內容一起顯示。這樣，每個觀看者可以決定他是否想看到字幕。
類似地，數位電視信號可以包括字幕。尤其是，數字衛星電視允許衛星廣播公司將節目與多於一種語言的音頻和字幕一起傳輸，賦予了觀看者選擇音頻語言以及他想要的語言的字幕的可能性。
觀看者可以利用盒式磁帶錄象機對包括字幕的電影和其他廣播進行記錄。這允許重放整個電影或其一部分，這對於學習語言的目的是尤為有幫助的。此外，不僅廣播電影可以伴隨字幕信息，預先錄製的電影同樣可以。尤其是，預先記錄在DVD(數字通用盤)上的電影通常提供至少兩種口語和多種字幕語言。這允許DVD被廣泛地分銷，而無需針對單獨的國家生產不同語言的版本，並使其成為學習外語非常有效的媒介。
發明內容
本發明基於對以下事實的認知。字幕經常被想要學習或提高其外語知識的人所使用。在學習外語時，存在難以理解的單詞甚或句子，通常需要加以重複。如DVD等記錄介質允許觀看者將電影倒回，並從其倒回的位置開始重放，以便再次傾聽特定的句子。但是，由於此處理的有限精度，經常會將電影倒回得過多，而可能需要稍微加速得快進，存在將其快進得過多得風險，從而需要再次倒回。這對於觀看者來說是非常不舒服的，由於與正常的電影觀看不同，對於語言學習，可能經常需要重放。類似地，通過最近字幕的此類導航對於將字幕作為對不能感知音頻信號的替代的耳聾的觀看者而言也是非常不便的。
因此，本發明所要解決的問題是允許通過音頻視頻數據流的字幕進行精確導航。
此問題通過權利要求1中所公開的方法以及權利要求8中對應的設備來解決。
原理上，本發明的通過AV數據流的字幕進行導航的方法包括-回放所述AV數據流的數據單元，所述數據單元包括視頻、音頻和字幕數據分組；-將一個或多個回放數據單元的訪問信息與所述回放數據單元的字幕信息數據一起進行存儲，其中所述字幕信息數據是所述回放數據單元的字幕數據分組的可顯示部分；-產生一個或多個所述已存儲字幕信息數據的顯示；-檢測對已經產生顯示的所述已存儲字幕信息數據之一的選擇；-獲取與所選字幕信息數據相對應的數據單元的已存儲訪問信息；
-利用所述已獲取訪問信息，訪問所述對應數據單元；以及-回放所述已訪問數據單元。
這實現了通過音頻視頻數據流的字幕的精確導航，得到了通過在遙控器上的較少點擊來觀看和收聽包括相同字幕的相同場景的非常舒適的方式。
在相應的從屬權利要求和以下描述中公開了本發明的有利附加實施例。
參照附圖，對本發明的典型實施例進行描述，其中圖1A到1C示出了如何將最近字幕的列表的顯示用於根據本發明的導航；圖2示出了針對DVD實現方式、VOBU地址和具有對應VOBU的字幕的對；圖3是實現了根據本發明的字幕導航的設備的方框圖。
具體實施例方式
圖1示出了如何將最近字幕的列表的顯示用於根據本發明的導航。
在圖1A中，典型地示出了電影的場景，其從存儲介質中進行回放，以顯示器右上角的「播放」表示。三個人坐在桌邊，右邊的人正在講話。稍後，幾個人加入該小組，並且另一個人在講話，如圖1B所示。如果觀看者現在意識到其並未正確理解在圖1A所示的第一場景中講了一些什麼，他可以調用疊置在視頻信號上的最近字幕的列表D。同時，暫停回放，由「暫停」表示。由於字幕列表D，用戶可以在利用遙控器的上下光標在最近的字幕ST_i、ST_i-1和ST_i-2之間進行導航。出現在列表中的字幕數量是實現相關的，因為其基本上依賴於多少存儲器專用於存儲字幕信息。一旦用戶已經選擇了列表中的字幕，在圖1B中為字幕i-2，並且可以通過如「＜＜」等指示符S、突出顯示或其他方式進行強調，就從相應的場景開始重放電影，如圖1C所示。這可以由屏幕上的「重放」表示。
此列表可以在用戶的對應命令之後，例如，當按下遙控器上的特定按鈕時，出現在屏幕上。類似地，用戶可以發出字幕列表顯示命令，作為語音命令。但是，也可以永久地顯示幾條最近字幕的列表，其中通過專用的字幕窗口滾動字幕。
可以用「跳至前一字幕」特徵來代替字幕列表顯示，或者可以添加這種特徵，允許用戶選擇這兩種顯示變化之一。例如，在字幕具有多種格式的情況下，「跳至前一字幕」特徵是有用的，在用戶只想回放最近的字幕的情況下，使得字幕選擇更容易和更快。而且，這種實現允許通過從一個字幕向回移動到另一個來導航到最近字幕之前的字幕。類似於列表顯示，可以在按下遙控器上的特定按鍵之後，執行此特徵，所述按鍵可以與用於字幕列表顯示的按鍵相同，也可以是額外的按鍵。
例如，可以在DVD播放器/記錄器或硬碟記錄器或PVR(個人錄像機)中實施這種字幕導航機制。作為本發明的一個典型實施例，在以下的描述中解釋在DVD播放器中的實施方式。
為了解碼，通常將數字音頻視頻流切割為可以包含音頻、視頻或如字幕等輔助數據的小分組，並且由於利用一些分組報頭中定期攜帶的時標而獲得的時間線(timeline)，這些分組彼此同步。在DVD的情況下，將所有這些分組組合成被稱為視頻對象單元(VOBU)的全局分組。VOBU是DVD播放器的最小可訪問數據單元，包含0.4秒到至多1.2秒之間的顯示時間段的數據。因此，對於快進和快退，DVD播放器通常從一個VOBU跳至下一個VOBU。
圖2針對DVD實施方式，示出了VOBU以及VOBU地址和字幕的對應連接。典型地示出了視頻流的三個VOBUVOBU i-2、VOBU i-1、VOBUi。每個VOBU的第一個元素總是導航分組NV_PCK。其包含所謂的顯示控制信息(PCI)和從一個VOBU導航到另一個(下一個、前一個、x秒之前或之後等)或在一個VOBU內導航(例如，在圖像間)所需的數據搜索信息(DSI)。然後，VOBU包含多個視頻分組V_PCK、音頻分組A_PCK和子畫面分組SP_PCK。子畫面分組攜帶最高達32個子畫面流的數據，其通常用於不同語言的多個字幕。可以在DVD標準中找到進一步的細節，DVD Specifications for Read-Only Disc，part 3，VideoSpecifications，version 1.0，1996年8月3日，Chapter 5。
對於最近字幕之間的導航，DVD播放器在其對盤進行回放時存儲以下信息·VOBU的地址，在圖2中，典型地為地址ADD_i-2、ADD_i-1和ADD_i；以及·SP-PCK淨荷，在圖2中，標記為ST_i-2、ST_i-1和ST_i。
在回放期間，由DVD播放器讀取當前的VOBU地址，即攜帶當前VOBU的DVD扇區的地址，並將SP_PCK淨荷送入子畫面緩衝器，以便進行進一步處理。因此，可以將VOBU地址和SP_PCK淨荷複製到專用的存儲器中，而無需額外的處理。
利用存儲在專用存儲器中的信息，用戶能夠在最近的字幕之間進行導航。當用戶按下特定按鈕時，DVD播放器暫停電影，在其存儲器中搜索最近播放的字幕，獲取已編碼字幕，並將其發送到字幕解碼器，獲取已解碼字幕，並將其再現於已暫停視頻的上方。如果用戶再次按下字幕導航按鈕，DVD播放器利用前一字幕進行相同的處理。當用戶最終選擇了正確的字幕時，他可以按下OK按鈕或播放按鈕。此時，DVD播放器在其存儲器中檢查於所選字幕相對應的VOBU地址是什麼，並開始解碼和回放此特定的VOBU。因此，可以只通過讀取出專用的存儲器來搜索要重複的視頻部分，而無需解碼任何中間VOBU，相應地，DVD播放器的拾取頭可以直接跳至所搜索到的視頻部分，而無需跳至任何中間VOBU。因此，檢查已存儲字幕不需要等待時間，並將用於此額外特徵的拾取頭的機械應力減小到最小。
圖3示出了實現了根據本發明的字幕導航的DVD回放設備的方框圖。為了簡明，只示出了該設備於本發明相關的部分，並且一些方框聚集了幾個功能單元。利用光拾取頭讀取攜帶有要觀看的電影的DVD1，光拾取頭和盤電動機一起是方框2的一部分。將RF信號饋入方框3，其尤其包括對RF信號的預放大、解調、糾錯、軌道緩衝以及最終解復用為分組化元素流。存在五類分組化元素流視頻、音頻、子畫面(尤其用於攜帶字幕)、顯示控制信息(PCI)和數據搜索信息(DSI)。
將音頻數據暫時存儲在音頻緩衝器4中，並饋入音頻解碼器5(可以是杜比數字或MPEG音頻解碼器)。可以直接輸出音頻解碼器輸出處的數字音頻信號，或者在數字到模擬轉換之後，作為模擬音頻信號輸出。相應地，將視頻數據暫時存儲在視頻緩衝器6中，並饋入視頻解碼器7(尤其是MPEG視頻解碼器)。將已解碼的視頻信號首先饋入未示出的畫面處理器，然後，由混合器8將其與子畫面或菜單顯示進行結合。
攜帶字幕的子畫面得自於子畫面數據，所述子畫面數據在被暫時存儲在子畫面緩衝器9中之後由子畫面解碼器10進行解碼。根據本發明，將子畫面數據(即SP_PCK淨荷)與當前的VOBU地址一起複製到專用存儲器11中。根據專用於此特定存儲的存儲器的尺寸，DVD播放器可以存儲與已經播放的幾個字幕相對應的對(VOBU地址，已編碼字幕)。根據DVD標準，已編碼子畫面可以具有52kB的最大尺寸，以及VOBU地址佔用4位元組，但通常已編碼字幕具有2kB到4dB之間的尺寸。因此，即使利用只具有64kB容量的專用存儲器，DVD播放器仍能存儲多於16個最近播放的字幕。
DVD回放裝置的遙控器12包括字幕導航按鈕13。當按下字幕導航按鍵13時，傳輸對應的信號，由DVD回放設備接收，並由遙控信號處理單元14進行處理。控制單元15除了包括DVD回放設備的系統控制之外還包括字幕導航控制，當控制單元15檢測到來自用戶的字幕導航命令時，其暫停電影，在專用存儲器11中查找最近播放的字幕，獲取已編碼字幕，並將其發送到字幕解碼器10。獲得已解碼字幕，並將其再現在已暫停視頻的上方。當選擇字幕時，還從專用存儲器11中獲取與所選字幕相對應的VOBU地址，控制單元15使其跳回到該VOBU，並再次從DVD 1中讀取、處理、解碼和回放。
在上述示例中，字幕被編碼為子畫面，更具體地，被編碼為運行長度編碼位圖。這具有以下一些優點前景和背景顏色可變、不同的透明級、還允許如顏色改變、衰弱或運動突出顯示等多種效果的任意字體。與之相比，字幕的基於字符的編碼只具有有限的可能性，但需要更小的數據速率。因此，在具有上述64kB容量的專用存儲器中，可以存儲更多使用基於字符的編碼的字幕。可以將這種基於字符的字幕存儲在如DVD等存儲介質中，代替位圖編碼的字幕，或額外添加。
類似地，對於使用歐洲DVB標準的數位電視傳輸，可以只作為位圖、只基於字符或按照兩種格式來傳輸字幕。更具體地，DVB字幕標準ETSI 300 743詳細描述了兩種傳輸字幕的方法一位圖字幕和基於代碼的字幕。此外，也可以在伴隨數位電視信號的圖文數據內傳輸字幕。根據實施方式，數位電視信號的記錄設備可以只記錄位圖編碼的字幕、只記錄基於字符的字幕、這兩種格式、甚或以一種格式接收並轉換為另一格式的解碼字幕。典型地，DVB復用信號攜帶幾個分立的視頻信道、關聯音頻信道、服務表和專用數據信道，都可以攜帶DVB標題數據。利用惟一的分組ID『PID』來識別這些數據流中的每一個。DVB解碼器從DVB服務表格中了解到哪些PID流攜帶有針對復用中的每個視頻服務的字幕。此外，字幕具有關聯顯示時標(PTS)，向DVB解碼器表明其應當在哪個時間點出現在屏幕上。
根據本發明，可以將字幕信息與對應視頻場景的PTS或與類似的時間信息(其可以得自於PTS)一起存儲。但是，由於DVB信號的記錄，也可以使用攜帶有各個字幕的數據單元在存儲介質上的邏輯或物理地址，類似於使用預先錄製的DVD的上述實施例。
本發明的優點在於允許用戶利用字幕特徵在視頻中進行精確地導航。這對於將字幕用作外語學習工具的人來說是非常方便的，因為其可以精確地返回到其並未理解的單詞或句子。
類似地，這類通過最近字幕的導航對於錯過了一個最近字幕的耳聾觀看者而言也是舒適的。
但是，本發明並不局限於這些應用，也可以用作用於在整個已記錄電影中進行導航的一般工具。為此，例如，可以將電影的所有字幕和對應的地址存儲在記錄在HDD或DVD上的分離標題導航文件中。可以在電影的第一次回放期間，或者在稍後用戶發出相應命令之後的任意時間，自動產生字幕導航文件。在記錄電影的情況下，可以在記錄時或稍後在回放期間就產生字幕導航文件。
權利要求
1.一種通過AV數據流的字幕進行導航的方法，包括-回放所述AV數據流的數據單元，所述數據單元包括視頻(V_PACK)、音頻(A_PACK)和字幕(SP_PACK)數據分組；-將一個或多個回放數據單元的訪問信息(ADD_i-2、ADD_i-1、ADD_i)與所述回放數據單元的字幕信息數據(ST_i-2、ST_i-1和ST_i)一起進行存儲，其中所述字幕信息數據是所述回放數據單元的字幕數據分組的可顯示部分；-產生一個或多個所述已存儲字幕信息數據的顯示(D)；-檢測對已經產生顯示的所述已存儲字幕信息數據之一的選擇(S)；-獲取與所選字幕信息數據相對應的數據單元的已存儲訪問信息；-利用所述已獲取訪問信息，訪問所述對應數據單元；以及-回放所述已訪問數據單元。
2.根據權利要求1所述的方法，其特徵在於每次只顯示一個在先字幕。
3.根據權利要求2所述的方法，其特徵在於在第一用戶命令之後，顯示第一在先字幕，在第二用戶命令之後，顯示第二在先字幕，並且可以重複相同的處理，只要字幕信息數據與相應數據單元的訪問信息一起存儲。
4.根據權利要求1所述的方法，其特徵在於每次顯示幾個在先字幕的列表。
5.根據前述權利要求之一所述的方法，其特徵在於訪問信息是攜帶各個字幕的數據單元在存儲介質上的邏輯或物理地址，根據所述邏輯或物理地址，回放所述AV數據流的數據單元。
6.根據權利要求5所述的方法，其特徵在於從DVD回放所述數據單元，數據單元是視頻對象單元，以及所述地址信息對應於所述視頻對象單元的地址。
7.根據前述權利要求之一所述的方法，其特徵在於利用AV回放設備的遙控器的特定按鈕來實現所述已顯示標題信息的所述選擇。
8.一種通過AV數據流的字幕進行導航的設備，包括-裝置(2、…、10)，用於回放所述AV數據流的數據單元，所述數據單元包括視頻、音頻和字幕數據分組；-裝置(11)，用於將一個或多個回放數據單元的訪問信息與所述回放數據單元的字幕信息數據一起進行存儲，其中所述字幕信息數據是所述回放數據單元的字幕數據分組的可顯示部分；-裝置(8、10)，用於產生一個或多個所述已存儲字幕信息數據的顯示；-裝置(14)，用於檢測對已經產生顯示的所述已存儲字幕信息數據之一的選擇；-裝置(15)，用於獲取與所選字幕信息數據相對應的數據單元的已存儲訪問信息；-裝置(2、15)，用於利用所述已獲取訪問信息，訪問所述對應數據單元；以及-裝置(2、…、10)，用於回放所述已訪問數據單元。
9.根據權利要求8所述的設備，其特徵在於還包括裝置，用於由用戶選擇所述已顯示字幕信息數據之一。
10.根據權利要求8或9所述的設備，其特徵在於所述設備是AV回放設備，尤其是DVD播放器。
11.根據權利要求10所述的設備，其特徵在於用於選擇所述已顯示字幕信息數據之一的所述裝置是所述AV回放設備的遙控器(12)的特定按鈕(13)。
12.根據權利要求10或11所述的設備，其特徵在於將所述訪問信息存儲在所述AV回放設備內的專用存儲器(11)中。
全文摘要
在通過AV數據流的字幕進行導航的方法和設備中，在所述數據單元的回放期間，將一個或多個回放數據單元的訪問信息(ADD_i－2、ADD_i－1.ADD_i)與所述回放數據單元的字幕信息數據(ST_i－2、ST_i－1和ST_i)一起進行存儲。可以顯示(D)一個或多個所述已存儲字幕信息。在選擇(S)所述已顯示字幕信息數據之一之後，獲取與所選字幕信息數據相對應的數據單元的已存儲訪問信息，並利用所述已獲取訪問信息，訪問對應的數據單元。回放所述已訪問數據單元方便地允許通過在遙控器(12)上的較少點擊來再次觀看和收聽包括字幕的場景。
文檔編號G11B20/10GK1722803SQ20051008249
公開日2006年1月18日 申請日期2005年7月5日 優先權日2004年7月5日
發明者馬裡－呂克·尚佩爾, 尼古拉·比爾丹, 皮埃爾·烏埃 申請人:湯姆森許可貿易公司