通過資源的有效利用在數字視頻錄像機中執行特技播放功能的製作方法

2023-05-07 19:34:56 2

專利名稱：通過資源的有效利用在數字視頻錄像機中執行特技播放功能的製作方法
技術領域：
本發明的實施例整體上涉及數字視頻錄像機(DVR )。本發明的實施 例尤其涉及用於執行快進、倒回和其他用於進行由數字視頻錄像機運行 的數字視頻記錄的特技播放功能。
背景技術：
本節中描述的方法是可以實施的，但不必是先前已經構想或實施的。 因此，除非在此指明，在該節描述的方法不是本申請中的權利要求的現 有技術，並且不認為是包括在該節中的現有技術。活動圖像專家組(MPEG)指定幾個編碼^L頻流的標準。所述MPEG標 準明確說明編碼的視頻流可以包含多個幀。編碼的視頻流可以是"隔行 的"或"逐行的(progressive)"。如果編碼的視頻流是隔行的，則該 視頻流中的每一幀包括兩個場。隔行的幀的"頂"場代表幀中像素的奇 數行，隔行的幀的"底"場代表幀中像素的偶數行。如在此的應用，"圖 像"代表幀(在逐行視頻流的情況下)或者場(在隔行視頻流的情況下) 並且編碼所述幀或場。編碼幀的圖像被稱為"幀圖像"。編碼單個場的 圖像被稱為"場圖像"。除了是幀圖像或場圖像外，給定的圖像還可以是幀內編碼圖像("I-圖像")、預測編碼圖像("P-圖像")或雙向預測編碼圖像("B-圖像")。I-圖像獨立地表示視頻流中的完整幀或場；不需要視頻流中 其他圖像的數據以解碼並呈現I-圖像表示的幀或場。相反，P-圖像和B-圖像不能獨立地表示視頻流中的幀或場。P-圖像和B-圖像依賴於視頻流 中的由 一個或多個其他圖像編碼的數據(除了由所述P-圖像和B-圖像本 身編碼的數據外)以充分地表示視頻流中的完整的幀或場。更特別地， P-圖像和B-圖像的子組成部分("塊，，)參考(refer to)視頻流中的 其他圖像。MPEG編碼的視頻流中的每個圖像被細分成"宏塊"。每個"宏塊" 是高16個像素和寬16個像素的2 5 6個像素的集合。每個宏塊還被細分成"塊，，。"塊，，是像素的集合。像素塊的尺寸可以依賴於被用於編碼視 頻流的特定MPEG標準而變化。在MPEG編碼視頻流中，圖像以"解碼順序"(那些圖像將被解碼的 順序)而不是"呈現順序"(那些圖像代表的內容將被呈現的順序)出 現。因為直到特定圖像塊所參考的所有其他圖像被解碼才能夠完全解碼 所述特定圖像，在編碼時間中，與所述其他圖像相比，所述特定圖像被 更後一些放置在解碼順序的MPEG編碼視頻流中。結果，在所述特定圖像 被解碼時，該特定圖像塊參考的其他圖像已經被解碼。因為其他圖像的塊參考I-圖像和P-圖像，所以所述I-圖像和P-圖像 被稱為"參考圖像"。根據某些編碼標準，因為在所述標準下其他圖像 的塊不參考B-圖像，所以B-圖像不是參考圖像。P-圖像中的塊可以向後 參考視頻流中在先的(涉及呈現順序)參考圖像。B-圖像中的塊可以參 考視頻流中的 一對其他圖像。所述一對其他圖像包括視頻流中的在先的(涉及呈現順序)參考圖像和視頻流中的在後的(涉及呈現順序)參考 圖像。I -圖像中的塊不參考視頻流中任意其他的圖像。MPEG-2標準遵從關於特定圖像的塊參考哪些其他圖像的某些特定 限制。MPEG-2標準要求一P-圖像的塊參考的圖像對於該P-圖像的參考另 一圖像的所有塊是相同圖像；根據MPEG-2標準，相同P-圖像的不同塊不允許參考視頻流中的不同圖像。類似地，MPEG-2標準要求一B-圖像的塊 參考的 一對圖像對於該B-圖像的參考 一對圖像的所有塊是相同的 一對圖 像；根據MPEG-2標準，相同B-圖像的不同塊不允許參考視頻流中的不同 圖像對。VC-l編碼標準也遵從前述限制。相反，MPEG-4標準不受類似的 限制；在MPEG-4編碼的視頻流中給定圖像的不同塊可以參考視頻流中的 不同圖像(在P-圖像的情況下)或不同圖像對(在B-圖像的情況下)。此外，MPEG-2標準明確說明僅參考圖像的兩個最近解碼的幀被保留 在幀緩存中，使得其他圖像的塊能夠參考所述解碼的幀。無論何時在 MPEG-2編碼視頻流中遇到參考圖像的新幀，如果在幀緩存中已經存在兩 個解碼的幀，則所述解碼的幀中的 一個被從幀緩存中移除以為所述新幀 讓出空間。這樣對MPEG-2編碼流中的塊能夠參考的其他幀的集合施加限 制。VC-1編碼標準也具有前述限制。相反，在MPEG-4標準下，參考圖像 的16個解碼的幀(或者參考圖像的32解碼場)可以被保留在幀緩存中， 使得其他圖像的塊能夠參考所述解碼的幀。因此，在MPEG-4標準下，塊 能夠參考的其他幀的集合較小地受到限制。此外，在MPEG-2標準下，如上所述，無論何時幀需要被從幀緩存中 移除，至少最近解碼的幀被選擇進行移除。相反，在MPEG-4標準下，無 論何時幀需要被從幀緩存中移除，幀緩存中的任意 一指定的幀可以被選 擇進行移除，而不管所述指定的幀多近被解碼。數字視頻錄像機(DVR)的功能包括回放、隨機存取以及內容的"特 技播放"。特技播放功能包括播放暫停、以各種幀速度或播放速度執行的 快進和倒回。儘管MPEG-2和其他更多的高級標準(例如，VC1 (SMPTE-421M) 和AVC(MPEG-4第IO部分或者H. 264))存在區別，然而商業上可用的DVR 通常運行特技播;故功能，似乎所述DVR必須在至少某些舊MPEG-2標準的 限制下運行。結果，商業上可用的DVR向其用戶提供相對簡單和自然的 特技播放體驗。執行DVR的特技播放功能的傳統方法典型地利用大量資 源-包括處理器資源、存儲器和/或硬碟空間-或提供乏味的觀看體驗，所 述傳統方法具有流內不精確重新配置(r印ositioning)、每秒低數量的 幀等特點。需要一種在具有高級編解碼器或傳統編解碼器的DVR中^是供特技播放功能的方法，所述方法佔用有限數量的超出常規回放所需要的 額外資源，同時提供高質量的觀看體驗。


在附圖中通過示例且非限定的方式說明本發明，在附圖中，相同的附圖標記指代相同的元件；其中圖l示出了表示活動視頻節目的數據流部分中的一系列圖像的代表 的例子；圖2示出了本發明一個實施例的DVR基於圖l示出的所述系列圖像而 構造的依賴圖的例子；圖3是本發明 一個實施例的DVR內部結構和運行的框圖；和 圖4是示出實施例的實施所基於的數字視頻錄像機的框圖。
具體實施方式
本發明描述了用於通過有效利用資源在數字視頻錄像機中執行特技 播放功能的方法和設備。在下面的描述中，為了說明的目的，陳述了許 多特定細節，以提供對本發明的全面理解。然而，顯然易見，在沒有所 述特定細節的情況下也可以實施本發明。在另外的情況下，以框圖的形 式示出了公知的結構和設備，以避免不必要地模糊本發明。在此根據下面的概要，描述具體實施例1. 0總體概述2. 0證概述3. 0通過資源的有效利用在數字視頻錄像機中執行特技播放功能4. 0 #1行機制_硬體概述5. 0擴展和可選方案1. 0總體概述本發明實現了在前述背景中確定的需要和通過下面的描述將變得更 清楚的其他需要和目的，本發明一方面包括用於根據選擇的DVR特技播放模式而選擇多幀視頻節目的幀以進行播放的方法。例如，DVR可以執行這 才羊的方法。DVR應該能夠以DVR用戶期望的速度回放視頻節目，包括比常規回放 速度快的速度。例如，DVR用戶可能期望DVR以三倍於常規回放速度的速 度播放視頻流。然而，即使假設DVR具有以三倍於常規回放速度的速度解 碼視頻流圖像所需要的處理能力，所述DVR驅動的播放器也不能以三倍於 常規回放速度的速度播放所述圖像。例如，NTSC-兼容播放器能夠每秒最 多播放35個圖像。在這種情況下，DVR解碼某些在回放中無論如何也不能 顯示的圖像會浪費D VR的處理資源。因為DVR以編碼形式存儲節目(以保留存儲空間)，並且因為這些 視頻節目的圖像需要時間和處理資源進行解碼，當期望的回放速度比常 規速度快時，解碼並播放節目的所有時間上相鄰圖像對於DVR (具有受限 的處理能力)來說通常是不可能的。有時，在回放過程中必須跳過某些 圖像以保持期望的回放速度。例如，當DVR用戶期望以兩倍於常規回放速度的速度觀看節目時， D VR的有限資源不允許D VR在以常規回放速度解碼 一 半圖像所需要的相同 時間內解碼兩倍的圖像。基於DVR的資源，DVR被迫跳過某些圖像。根據 一個方法，如果數據流是MPEG-2數據流，則DVR可以僅跳過數據流中某些 或所有B-圖像的解碼和播放，由於B-圖像不是參考圖像。然而，有時當 執行了該操作時，觀看體驗的質量會顯著降低。當在回放中跳過節目的 圖像時，所述節目會顯得抖動(jittery)。播放的圖像可能看起來會不 連貫並且彼此間沒有關係。播放的圖像間存在很少或沒有視覺上的過渡。理想地，為了在滿足回放速度需要的同時儘可能最大程度地保持"流 暢"的觀看質量，在回放中將要播放的下一個圖像應該在回放速度的限 制內儘可能地在時間上靠近(指呈現順序)當前播放的圖像。某些圖像 與其他圖像相比需要花費較長時間解碼。如上所述，在MPEG-4標準下， 參考圖像的16個解碼的幀(或者參考圖像的32個解碼的場)可以保留在 幀緩存中，使得其他圖像的塊能夠參考所述解碼的幀。包含向後參考大 量其他圖像的塊的特定圖像能夠被計算昂貴地解碼，由於在這種情況下，DVR需要確保所述其他圖像的每個先被解碼一如果不跳過所述特定圖像的解碼，則所述特定圖像的塊參考的其他圖像的解碼也不能跳過。計算 圖像解碼的成本能夠幫助確保在給定用戶指定回放速度要求的條件下選 擇"最好"的圖像進行解碼。在所需要的回放速度下解碼成本太高的圖 像可以在比常規回放快的解碼過程中被排除。當選4奪要解碼並播放節目的哪些圖像時，本發明的某些實施例考慮 圖像的解碼成本。根據本發明的一個實施例，對於表示所述節目的數據流中的多個圖像中的每個，確定與解碼所述圖像有關的成本。基於與多 個圖像中的圖像有關的成本，從所述多個圖像中選擇特定圖像。特定圖 像被解碼並播》文。在本發明的一個實施例中，DVR構造依賴圖，所述依賴圖指示對於 數據流中的每個特定圖像，DVR為了解碼所述特定圖像而需要解碼的其他 圖像的最小集合。DVR可以利用所述依賴圖中指示的信息，以計算解碼數 據流中的任意圖像所需要的成本。因此，在本發明的一個實施例中，DVR 為數據流構造依賴圖並且然後基於所述依賴圖中的信息和當前由DVR用 戶指定的回放速度兩者來選擇要解碼並播放的圖像。在另外的方面，本發明包括計算機設備和配置成運行前述步驟的計 算機可讀介質。2.0 DVR相剋述圖3是示出本發明 一個實施例的DVR內部結構和運行的例子的框圖。 專利號為6， 233， 389的美國專利也描述了DVR內部結構和運^f亍，所述美國 專利最初公開地一樣被在此作為參考合併。圖3中示出的DVR包括輸入模塊301、媒體轉換器3 02和輸出模塊303。 輸入模塊301接收各種形式的電視(TV)輸入流。例如，由輸入模塊301 接收到的電視輸入流可以是全國電視標準委員會(NTSC )制式兼容的信 號或逐行倒相制式(PAL)兼容的廣播信號。如另一個例子，由輸入^t塊 301接收的電視輸入流可以採用例如數字衛星系統(DSS)兼容信號、數 字廣播服務(DBS)兼容信號或先進電視標準委員會(ATSC)制式兼容信號的數字形式。DBS、 DSS和ATSC基於稱為活動圖像專家組2 (MPEG-2)和 MPEG-2傳輸的標準。MPEG-2傳輸是一種用于格式化來自電視源發射器的 數字數據流使得電視接收器能夠解析所述輸入流以在復用信號中找到節 目的標準。根據本發明的一個實施例，輸入模塊301產生MPEG流。根據本 發明的另一個實施例，輸入模塊301產生利用不同編解碼器編碼的流。
MPEG-2傳輸復用支持相同廣播信道中的多個節目，其復用視頻和音 頻輸入以及專用數據。輸入模塊301把信道調到特定節目，從所述信道提 取指定MPEG流，並把所述MPEG流輸入到所述系統的其餘部分。模擬電視 信號被利用單獨的視頻和音頻編碼器編碼成類似的MPEG格式，使得所述 系統的其餘部分不會意識到所述信號是如何獲得的。信息可以被以許多 標準方式調製成模擬電視信號的場消隱期(VBI);例如，北美電視圖文 廣播標準(NABTS)被用於把信息調製到NTSC信號的特定線上，美國聯邦 通信委員會(FCC)要求特定其他線用於隱藏字幕(CC)和擴展的數據服 務(EDS)。這些信號被輸入模塊301解碼並且被傳送到其他模塊，就像 信號被通過MPEG-2專用數據信道傳送一樣。
媒體轉換器302在微處理器CPU 306、硬碟或存儲設備305和存儲器304 之間。輸入流被轉換成MPEG流並且被發送到媒體轉換器302。媒體轉換器 302把MPEG流緩存到存儲器304中。如果DVR用戶正在觀看實時電視，媒體 轉換器302則執行兩個操作媒體轉換器302把MPEG流發送到輸出模塊303 並同時把MPEG流寫入到硬碟或存儲設備305。
輸出模塊303接收MPEG流作為輸入並且根據NTSC、 PAL或其他電視 標準產生模擬電視信號。輸出模塊303包括MPEG解碼器、屏幕顯示(OSD) 發生器、模擬電視編碼器和聲頻邏輯。OSD發生器允許節目邏輯提供可以 重疊在產生的電視模擬信號上部的圖像。此外，輸出模塊303能夠把由 節目邏輯提供的信息調製到包括NABTS、 CC和EDS的多種標準格式的輸 出信號的VBI上。
3. 0通過資源的有效利用在數字視頻錄像機中執行特技功能 3. 1依賴圖根據本發明的一個實施例，基於包含在數據流中的圖像頭內的信息，
DVR構建數據流中圖像的依賴圖。例如，DVR從數據流中的特定圖像頭可 以確定所述特定圖像塊參考的其他圖像的指定集合。DVR例如可以從 MPEG-4數據流中的圖像頭獲得信息。如果所述數據流為MPEG-4數據流， 則特定圖像塊可以參考所述數據流中多達l6個其他幀圖像(或者多達32 個其他場圖像)。
在本發明的一個實施例中，DVR接收以代表解碼順序中圖像的數據 流。當DVR接收到數據流時，DVR檢查數據流中的圖像頭(header )並基 於包含在所述圖像頭中的依賴信息建立並存儲依賴圖。對於每個數據流 中的特定圖像，所述特定圖像頭標識所述特定圖像的塊所參考(和因此 所述塊所依賴的)的其他圖像。在本發明的一個實施例中，DVR記錄來自 源(例如衛星、電纜等)的數據流並且當所述數據流被記錄時建立依賴 圖。因此，到DVR已經記錄整個數據流時，DVR將完整地構建數據流的依 賴圖。這並不意味著直到所述依賴圖被完成才能被使用；在本發明的一 個實施例中，在DVR記錄接收到的數據流時的任意時間，DVR能夠利用部 分構建的依賴圖以更有效地執行特定操作。
圖1示出了在部分數據流中 一 系列圖像的代表的例子。在圖1中由指 示所述圖像類型(1、 P或B)的字母代表的圖像以解碼順序而不是呈現順 序出現在數據流中。每個圖像的圓括號中的數字指示圖像在呈現順序中 的位置。在解碼順序中，所述圖像是1(2)、 B(O) 、B(1) 、P(5) 、B(3)、 B(4) 、 P(8) 、 B(6)和B(7)。在呈現順序中，所述圖像是B (0) 、 B(l)、 1(2)、 B(3)、 B(4)、 P(5)、 B(6)、 B(7)和P(8)。如圖l所示，B(0)參考I(2)， B(1)參考B(0)和I(2), P(5)參考B(l), B(3)參考I(2)和P(5), B (4)參考 B(3)，P(8)參考B(3)，B(6)參考P(8)和B(4)，以及B(7)參考B(6)。示出的 數據流部分被假定符合允許B-圖像作為參考圖像的編碼標準，儘管某些 編碼標準不允許B-圖像作為參考圖像。
圖2示出了 DVR基於圖l示出的一系列圖像所構建的依賴圖的例子。開 始DVR把I(2)添加到依賴圖中。DVR確定B(0)參考I(2),並且由此把B(O) 添加到依賴圖中以及把從B (0)到I (2)的連接添加到依賴圖中。DVR確定B (1)參考B (0)和I (2) 。 DVR把B (1)添加到依賴圖中並且把B (1)到B (0)的連 接添加到依賴圖中。由於B(l)已經連接到B(O)，以及B(O)已經連接到 1(2), DVR不需要添加B(1)和I(2)之間的直接連接。DVR確定P(5)參考B(1) 並且由此把P (5)添加到依賴圖中以及把從P (5)到B (1)的連接添加到依賴 圖中。DVR確定B(3)參考I(2)和P(5)。 DVR把B(3)添加到依賴圖中以及把 從B(3)到P(5)的連接添加到依賴圖中。由於B(3)已經連接到P(5),並且 由於通過從P(5)到B(1)到B(0)到I(2)的連接鏈，P(5)已經直接連接到 1(2), DVR不需要添加B(3)和I(2)之間的直接連接。DVR確定B(4)參考 B (3)，並且由此把B (4)添加到依賴圖中以及把從B (4)到B (3)的連接添加 到依賴圖中。DVR確定P(8)還參考B(3),並且由此把P(8)添加到依賴圖中 以及把從P (8)到B (3)的連接添加到依賴圖中。DVR確定B (6)參考P (8)和 B (4),並且由此對巴B (6)添加到依賴圖中以及^巴B (6)和P (8)之間的一個連 接和B (6)與B (4)之間的另 一個連接添加到依賴圖中。DVR確定B (7)參考 B (6)和P (8) 。 DVR把B (7)添加到依賴圖中並且把從B (7)到B (6)的連接添加 到依賴圖中。由於B(7)已經連接到B(6)，並且B(6)已經連接到P(8)， DVR 不需要添加B (7)和P (8)之間的直接連接。
能夠從上述例子中推出，在本發明的一個實施例中，無論何時DVR正 把圖像添加到依賴圖中時，在所述依賴圖中添加(基於圖像頭中的參考 信息)兩圖像之間的連接之前，DVR首先檢查是否兩個圖像已經通過所述 依賴圖中的其他存在的連接鏈被間接連接。如果DVR確定兩圖像已經通過 該方式連接，則DVR不需要把兩圖像之間的直接連接添加到依賴圖中。可 選地，如果DVR確定兩圖^象還沒有以上述方式連接，則DVR把兩圖i象之間 的直接連接(假設至少一個所述圖像頭信息指示這樣的連接應該存在) 添加到依賴圖中。
在DVR構建完圖2示出的依賴圖後，DVR能夠確定例如在DVR完整解碼 並且呈現B(4)之前，DVR需要解碼下列圖像:1(2)、 B(O)、 B(l)、 P(5)和 B(3)。通過確定B(4)的解碼還需要解碼其他三個圖像，DVR開始估計解碼 B(4)的成本。當在"特技播放"模式運行中選擇下一個要解碼和播放的 圖像，DVR能夠利用所述成本和與依賴圖中其他圖像有關的成本。在確定解碼特定圖像的成本中，DVR可以利用圖像緩存以確定哪些所
述特定圖像依賴的其他圖像已經被解碼。如果所述特定圖像依賴的 一個
或多個其他圖像在圖像緩存中已經為解碼形式，則DVR減少解碼所述特定 圖像的估計成本。例如，儘管在上述例子中B(4)的解碼需要解碼I(2)、 B(O)、 B(l)、 P(5)和B(3)，如果1(2)、 B(O)、 B(l)、 P (5)和B (3)已經祐: 解碼並且當前位於DVR圖像緩存中，則解碼B(4)的成本可以像解碼B(4)本 身的成本一樣少。
在本發明的可選實施例中，每個圖像被細分成兩個或更多個區域， 並且取代反應從一個完整圖像到另一個完整圖像的依賴關係，所述依賴 圖反應從一個圖像區域到另 一個圖像區域的依賴關係；所述依賴圖的每 個節點可以代表某個圖像的區域而不是整個圖像。例如，在本發明的一 個實施例中，依賴圖的每個節點可以代表半個圖像(例如，左側或右側)。 因此，在本發明的一個實施例中，所述依賴圖能以比整個圖像精細的間 隔尺寸指示依賴關係。在本發明的這樣的實施例中，DVR可以至少部分地 基於解碼所述特定圖像被細分成的區域的成本來確定解碼特定圖像的成 本。
一旦DVR構建了依賴圖，DVR能夠利用依賴圖改善用戶可能命令DVR 執行的各種操作的性能。 一個這樣的操作是"隨機存取"，其中用戶指定 用戶想要立即觀看的數據流中(例如，通過時間線)的位置；用戶可以 指示DVR "跳"到數據流中的指定位置並且開始呈現在所述指定位置由所 述數據流代表的節目。另一個這樣的操作(或操作類)是"特技播放"， 其中用戶指示乘法器(例如，前進或倒退快兩倍、快三倍等)。在執行這 樣的操作中，當用戶指定時，DVR在快進或倒回中以所述用戶指定的較快 速度呈現來自數據流的圖像。
3.2隨機存取操作
例如，用戶可以指示DVR在對應B(3)的時間位置開始呈現節目(數據 流中圖像頭可以指示時間標記(time stamp),所述時間標記指示圖像 被期望相對彼此被呈現的時間)。在這樣的條件下，B(3)是"目標"圖像。這是隨機存取操作。因此，DVR可以從依賴圖確定解碼B(3)的成本基於這 樣的事實為了解碼B(3), DVR需要首先解碼I(2)、 B(O)、 B(1)和P(5)(還 有B(3)本身) 一假定沒有這樣的圖像已經被解碼並且當前位於DVR圖像緩 存中(典型地，當執行隨機存取操作時，DVR用戶想要"跳"到的時間位 置離當前位置足夠遠以至於DVR圖像緩存中已經解碼的圖像在執行該操 作中沒有用)。在特定圖像(例如B(3))被解碼之前需要解碼的其他圖 像的數量越多，典型地，所述特定圖像將具有越高的解碼估計成本。
因此，在本發明的一個實施例中，最初估計的用於解碼特定圖像(或 區域)的成本等於為了解碼所述特定圖像(或區域)DVR需要解碼的其他 圖像(或區域)的總數量。如果B(3)依賴的任意所述其他圖像已經位於 DVR圖像緩存中，則DVR可以利用該事實減少解碼B(3)的估計成本。例如， 如果P(5)已經被解碼並且當前位於DVR圖像緩存中，則DVR可以確定僅解 碼B(3)本身的成本會影響解碼B(3)的總成本(如果P(5)已經位於圖像緩 存中，則由於I(2)、 B(O)或B(l)已經被用於解碼P(5)，所以即使B(3)也 依賴於這些圖像，也不需要解碼I(2)、 B(O)或B(l)中的任意一個)。
在DVR已經確定B(3)的解碼成本後，例如，B(3)是在隨機存取操作中 DVR用戶想要"跳"到的圖像，DVR還可以確定在呈現順序中在時間上靠 近B ( 3)的其他圖像的以類似方式解碼的解碼成本。例如，DVR還可以確 定解碼I (2)和B (4)的解碼成本，I (2)和B (4)在呈現順序中都靠近B (3)。 DVR可以確定解碼I (2)的成本明顯低於解碼B(3)的成本，因為I (2)的解碼 不需要解碼任何其他圖像U(2)不依賴於任意其他圖像)。
對於在時間上靠近(在呈現順序中)"目標"圖像(例如B(3))的 圖像的集合中的每個圖像，DVR可以確定圖像的加權成本。所述加權成本 基於(a)所述圖像的解碼成本和(b)離目標圖像的時間距離(在呈現 順序中)。時間上非常靠近目標圖像的圖像比時間上不靠近的圖像具有 更多權重一一因此，目標圖像比所有其他圖像權重要多。不管所述更多 的權重是多少，由於目標圖像具有潛在的較高的解碼成本，目標圖像的 加權的成本仍然超過其他時間上靠近的圖像加權成本。在本發明的一個 實施例中，為了確定給定圖像的加權成本，DVR把所述圖像的解碼成本與基於所述圖像離目標圖像的時間距離(例如，以時間為單位)的數值相
乘。例如，為了計算離目標圖像是2秒的圖像的加權成本，DVR把所述圖 像的解碼成本乘以2。在該實施例中，目標圖像的加權成本可以被設置成 等於目標圖像的解碼成本(以避免與0相乘)。
在本發明的各種不同實施例中，相對於圖像離所述目標圖像的時間 距離，所述圖像的解碼成本可以對所述圖像的加權成本產生不同程度的 影響；在本發明的一個實施例中，所述解碼成本比所述時間距離更大程 度地影響加權成本，在本發明的另一個實施例中，所述解碼成本比時間
距離更小程度地影響加權成本。
基於與所考慮的每個圖像有關的加權成本，(所述每個圖像是所有
圖像的被選擇的子集，例如在呈現順序中，較早和較後的在時間上最靠 近所述目標圖像10個(或某些其他的指定數值)圖像的集合)，DVR基於 所述圖像的加權成本選擇其中一個圖像。例如，DVR可以選擇與最低加權 成本有關的圖像。所述圖像可以是或可以不是目標圖像。這些圖像可以 是或可以不是具有最低解碼成本的圖像。在選擇所述圖像後，在一個實 施例中，DVR解碼選擇的圖像和為了解碼所述選擇的圖像DVR需要解碼的 任意其他圖像。然後，DVR呈現所述解碼的選擇的圖像並且從數據流中的 該點繼續進行呈現所述數據流的內容，因而完成隨機存取操作。
通過選才奪具有最低加4又成本的圖<象，DVR可以減少用戶必須等待DVR 跳到數據流中期望位置的時間量，同時還會跳到由於時間上非常靠近所
述用戶實際指定的點以致實際上不能與用戶實際指定的點區分的點的位 置。上面描述的技術可以與DVR通常跳到目標圖像的方法進行對比；在 DVR解碼大量圖像時該方法有時會產生無法忍受的較長延遲。上面描述的 技術還可以與DVR通常跳到在數據流中按解碼順序最靠近所述目標圖像 的I-圖像的方法對比；該方法有時會引起DVR跳到在呈現順序中離用戶 實際期望跳到的位置具有較長時間距離的位置。
3. 3特技播放操作如上所述，DVR還可以利用依賴圖選擇在"特技播放"模式操作中應
該被解碼和播放的圖像。存在4種常規類型的特技播放操作(1)以比常規回放速度更快的速度向前播放數據流；(2 )以常規速度或比常規回放速度更快的速度向後播放數據流；(3 )以比常規回放速度慢的速度向前播放數據流；和(4)以比常規回放速度慢的速度向後播放數據流。
當DVR以比常規回放速度慢的速度向前播放數據流時，不需要特別考慮。假設DVR能夠以常規回放速度解碼並播放數據流中的所有圖像，DVR還應該能夠以比常規回放速度慢的任意速度解碼並播放所有這樣的圖像。因此，當執行這樣的特技播放操作時，DVR實際可以解碼並播放數據流中的每個圖像。在這樣的情況下，DVR不需要跳過任何圖像的解碼或呈現。
然而，根據本發明的一個實施例，當DVR以比常規回放速度快的速度向前或向後播放數據流時，DVR不能(由於處理限制)以DVR用戶指定的速度解碼並呈現每個圖像。例如，DVR用戶可能期望DVR以三倍於常失見回放速度的速度呈現數據流代表的節目，但是DVR可能不能以三倍於常規回放速度的速度解碼圖像(例如，DVR可能能夠以該速度的一半速度解碼圖像)。因此，DVR需要從數據流中的圖像選擇DVR解碼並向用戶呈現的圖像子集。根據本發明的一個實施例，DVR利用依賴圖中的信息以更好地選擇將要解碼並向用戶呈現的圖像，以儘可能地保證時間上呈現的連貫性同時還滿足用戶回放速度的需要。
根據本發明的一個實施例，當用戶指定的回;^文速度大於DVR能夠解碼圖像的速度時，DVR以能夠解碼圖像的速度解碼圖像，同時跳過數據流中至少某些圖像的解碼和呈現以保持用戶指定的回放速度。為了向DVR用戶提供"流暢"的觀看體驗(通過在不同圖像的呈現之間不能等待過長的時間)，DVR至少部分基於所述圖像的解碼成本選擇、解碼並呈現圖像。解碼成本和其估計已經如上在隨機存取操作的上下文中被討論過。
在本發明的一個實施例中，在比常規快的快進回放模式中，以比DVR能夠解碼圖像的速度快的用戶指定速度，DVR通過DVR實際能夠解碼圖像的最快速度(例如，每秒7. 5個圖像)除用戶指定的回放速度(例如，每秒60個圖像)。商被作為"跳過數字"。DVR定位在時間上先於當前圖像許多秒的圖像(在呈現順序中)，如果所述結果不是整數，則近似成最近的整數；例如，如果當前圖像在呈現方向上3秒的位置，並且如果跳過數字是8 (也就是，60/7.5)，則DVR把所述圖像定位在呈現方向上的13秒的位置(也就是，3+8)。在本發明的一些實施例中，跳過數字可以被選才奪成比上面討^淪的商大的某指定量，以補償DVR用於定位(locate)和解碼適當圖像所花費的時間。
例如，在13秒位置的圖像為B(97)。這使得B(97)為"目標"圖像一如果DVR能夠充分快則DVR應該解碼並呈現的圖^f象。然而，如果B(97)具有非常高的解碼成本(例如，因為B(97)依賴於大量的其他圖像)，則如果DVR實際解碼並呈現B(97), DVR不能夠保持用戶指定的速度。DVR為B(97)計算解碼成本並且確定是否所述解碼成本低於指定閾值。所述指定閾值是基於例如關於DVR能夠多快解碼單個圖像的信息而選擇的值；該值依賴於DVR硬體和結構，並且隨著DVR的不同而變化。如果解碼成本低於指定閾值，則表示DVR能夠以充分快的保持用戶指定回放速度的速度解碼並呈現B(97)。在這樣的情況下，在再次執行上述過程之前，DVR解碼B(97)(和為了解碼B(97)而需要被解碼的任意圖像，如所述依賴圖所示)並向用戶呈現B(97),這時B(97)是當前圖1象。
可選地，如果解碼成本不低於所述指定閾值，則表示DVR不能以充分快地以保證用戶指定回放速度的速度解碼並呈現B(97)。在這樣的情況下，DVR查尋另一個圖像(a)所述圖像能夠以充分快地以保證用戶指定回放速度的速度被解碼和(b)所述圖像時間上儘可能地靠近(在呈現順序中)B(97),該例子中的"目標"圖像。
在本發明的一個實施例中，為了找到該圖像，DVR形成在呈現順序中(目標圖像之前和之後)在時間上靠近目標圖像(在本例中是B(97))的其他圖像的集合(例如，16個圖像或某些其他指定數量的圖像)。利用依賴圖，DVR計算所述其他圖像的每個圖像的解碼成本。如果至少一個其他圖像具有低於所述特定閾值的解碼成本，則DVR從其解碼成本低於所述特定閾值的圖像中選擇時間上最靠近(在呈現順序中)目標圖像的圖像。在這種情況下，在再次執行上述過程之前，DVR解碼選擇的圖像(和
為了解碼所述選擇的圖像而需要解碼的任意其他圖像)並向用戶呈現選
擇的圖像，這時目標圖像是B(97)(不是所述選擇的圖像，以防止在回放中增加時間上的"滑動")作為新的當前圖像。
可選地，如果沒有其他圖像具有低於所述指定閾值的解碼成本，則在本發明的一個實施例中，DVR在再次執行上述過程之前僅呈現當前圖像，這時目標圖像(例如，在這種情況下不被解碼和呈現的B(97))作為新的當前圖像。在這種情況下，DVR不能定位任意適當的圖像以解碼並呈現同時保持用戶指定的回放速度，並且因此在前進之前DVR簡單地再次呈現相同的圖像。理想地，這種情況通常被儘可能地避免，由於該情況減小了呈現的"流暢性"並且最終導致呈現的圖像之間的較大時間間隔。
在本發明的至少一些實施例中，無論何時DVR計算任意圖j象的解碼成本，如果所述圖像依賴的一個或多個圖像已經以解碼形式存在於DVR圖像緩存中，DVR減少相當數量的所述圖像的解碼成本。在這種情況下，DVR不需要很多時間解碼所述圖像，並且因此所述圖像的解碼成本被減少基於由於在DVR圖像緩存中其他圖像的存在而節省的時間的程度。
在本發明的一個實施例中，在比常規向後回放快的模式中，以比DVR能夠解碼圖像的速度快的用戶指定速度，DVR利用類似於上面描述的比常規向前回放快的模式的技術，除了取代定位在呈現順序中時間上在當前圖像前面的目標圖像，基於跳過的數字，DVR定位在呈現順序中時間上在當前圖像後面的目標圖像。
在本發明的一個實施例中，如果DVR能夠以用戶指定的回放速度解碼圖像，不管用戶指定的回放速度是否大於常規回放速度，則DVR解碼並播放數據流中的所有圖像。因此，在本發明的一個實施例中，在用戶指定回放速度大於DVR最大圖像解碼速度的情況下，DVR僅跳過某些圖像的解碼並呈現。
4.0實施機制一石更件概述
圖4示出了本發明的實施例可以在其上執行的計算機系統400的框圖。計算機系統400包括總線402或其他用於傳送信息的通信機制，和連接到總線402用於處理信息的處理器404。計算機系統400還包括例如隨機存取存儲器("RAM")或其他動態存儲裝置的主存儲器406，所述主存儲器連接到總線402用於存儲信息和指令以供處理器404執行。主存儲器406還可以用於在處理器404執行指令的過程中存儲臨時變量或其他中間信息。計算機系統400還包括連接到總線402用於為處理器404存儲靜態信息和指令的只讀存儲器("ROM") 408或其他的其他靜態存儲裝置。設有例如磁碟或光碟的存儲裝置410並且所述存儲裝置410連接到總線402用於存儲信息和指令。
計算機系統400可以通過總線402連接到例如陰極射線管("CRT")的顯示器412,用於向計算機用戶顯示信息。包括字母數字和其他鍵的輸入設備414連接到總線402用於把信息和命令選擇發送到處理器404。另外類型的用戶輸入設備為光標控制器416,例如，滑鼠、追蹤球、觸控筆或光標方向4建(cursor direction key),用於4巴方向信息和命令選擇發送到處理器404和用於控制顯示器412上的光標移動。該輸入i殳備典型地具有在兩個軸上的自由度，第一軸(例如，x)和第二軸(例如，y),這樣允許所述i殳備指定平面上的位置。
本發明涉及用於根據選擇的DVR特技播放模式選擇要播放的多幀視頻節目的幀的計算機系統400的使用。根據本發明的一個實施例，根據選擇的DVR特技播放模式而選擇要播放的多幀視頻節目的幀是通過計算機系統400響應處理器404執行包含在主存儲器406中的一個或多個指令的一個或多個序列來提供的。這些指令可以從例如存儲裝置410的另外的計算機可讀介質讀取到主存儲器406中。包含在主存儲器406中的指令序列的執行引起處理器404執行在此描述的處理步驟。在可選的實施例中，硬線電路可以用於代替或與軟體指令結合以實現本發明。因此，本發明的實施例不限於硬體電路和軟體的任意特定組合。
在此使用的術語"計算機可讀介質"指得是參與向處理器404提供指令進行執行的任意介質。這樣的介質可以採用多種形式，包括但不限於，非易失性介質、易失性介質和傳輸介質。非易失性介質包括，例如，光或^茲盤，例如存儲裝置410。易失性介質包括例如主存儲器406的動態存儲器。傳輸介質包括同軸電纜、銅線和光纖，包括包含總線402的電線。傳輸介質也可以利用例如那些在無線電波和紅外數據傳輸中產生的聲波或光波的形式。
計算機可讀介質的通常形式包括，例如，軟盤、軟磁碟、硬碟、磁帶或任意其他類型的磁性介質、CD-ROM、任意其他的光學介質、穿孔卡片(punchcard)、紙帶(papertape)、任意其他具有孔形式的物理介質、RAM、 PROM和EPROM、 FLASH-EPROM、 j壬意其他存4諸晶片或盒式存^[諸器(cartridge )、在後面將要描述的載波或任意其他計算機能夠從其讀取的介質。
各種形式的計算機可讀介質可以用於裝載一個或多個到處理器404的用於執行的指令的一個或多個序列。例如，所述指令可以開始被裝載在遠程計算機的磁碟上。所述遠程計算機能夠將所述指令下載到其動態存儲器中並且通過電話線利用數據機發送所述指令。計算機系統400本地的數據機能夠接收電話線上的數據並且利用紅外轉送器把數據轉換成紅外信號。紅外探測器能夠接收在紅外信號中運載的數據並且適當的電路能夠把所述數據放置到總線402上。總線402把所述數據運載到主存儲器4G6，從所述主存儲器406，處理器404能夠重新取得並執行所述指令。由主存儲器406接收的指令可以在處理器404執行之前或之後可選地被存儲在存儲裝置410上。
計算機系統400還包括連接總線402的通信接口 418。通信接口 418提^l禺合到網絡連結420的兩^lt據通信，所述網絡連結420連接到本地網絡422。例如，通信接口 418可以為綜合業務數字網("ISDN")卡或數據機以向對應類型的電話線提供數據通信連接。作為另一個例子，通信接口 418可以是本地區域網("LAN")卡以向兼容的L緒提供數據通信連接。還可以使用無線連結。在任一這樣的實施中，通信接口418發送和接收電的、電磁的或光信號，所述信號承載代表各種類型信息的數字數據流。
網絡連結42 0典型地通過一個或多個網絡向其他數據設備提供數據通信。例如，網絡鏈:接420可以通過本地網絡422向主才幾424或者向由網際網路服務提供方("ISP") 426運行的數字設備提供連接。ISP 426依次通過現在通常稱為"網際網路"428的全球包數據通信網絡(worldwidepacket data communication network )提供數據通信月艮務。本地網絡422和網際網路428都採用運載數字數據流的電、電磁或光信號。通過各種網絡的信號和在網絡連結420上和通過通信接口 418的信號為載波傳輸所述信息的示例形式，所述信號把數字數據運載向計算機系統400或者從計算機系統400運載。
計算機系統400能夠通過網路、網絡連結420和通信接口 418發送消息並接收包括程序代碼的數據。在網際網路的例子中，伺服器430可以通過網際網路428、 ISP 426、本地網絡422和通信接口 418傳輸為應用程式所請求的代碼。根據本發明， 一個這樣的下載的應用程式提供用於根據在此描述的選擇的DVR特技播放模式而選擇要播放的多幀視頻節目的幀。
當所述接收代碼被接收時，可以被處理器404執行，並且/或者存儲在存儲設備410中，或者其他非易失性存儲器中以供後續執行。在這種方式中，計算機系統4 0 0可以獲得載波形式的應用程式代碼。
4. 0擴展和可選方案
在前面的說明中，已經參考特定的實施例描述了本發明。然而，顯而易見，可以對本發明做各種修改和改動而不偏離本發明的較寬的主旨和範圍。因此，該說明書和附圖被視為示例性的而不起限制作用。
權利要求
1. 一種用於選擇多圖像視頻節目的圖像進行播放的方法，所述方法包括為數據流中的代表所述節目的多個圖像中的每個圖像確定與解碼所述圖像有關的成本；至少部分地基於與所述多個圖像中的圖像有關的成本從所述多個圖像中選擇特定圖像；和輸出所述特定圖像進行播放。
2. 根據權利要求1所述的方法，還包括 在數字視頻錄像機(DVR)接收所述數據流的至少一部分； 基於編解碼器編碼所述多個圖像中的每個圖像；和生成並在DVR上存儲依賴圖，所述依賴圖表示所述多個圖像中的哪 些圖像依賴於所述多個圖像中的哪些其他圖像。
3. 根據權利要求1所述的方法，其特徵在於，為所述多個圖像中的 每個圖像確定成本的步驟包括為多個圖像中的每個個體圖像確定在該個體圖像能夠被播放之前需 要解碼的其他圖像的最小數量。
4. 根據權利要求1所述的方法，其特徵在於，所述為多個圖像中的 每個圖像確定成本的步驟包括為所述多個圖像中的每個個體圖像執行以 下步驟確定所述個體圖像依賴的 一個或多個其他圖像的集合以表示完整的 幀；和確定圖像集合中多少圖像已經被解碼並且已經被呈現在DVR圖像緩 存中。
5. 根據權利要求1所述的方法，其特徵在於，多個圖像中的每個圖 像是I-圖像、P-圖像或B-圖像中的至少一個。
6. 根據權利要求1所述的方法，還包括在DVR上接收在所述節目中的指定點開始播放所述節目的請求；響應接收所述請求，執行以下步驟 確定對應所述指定點的目標圖像；確定所述目標圖像的解碼成本，其中所述解碼成本至少部分地基於 為了解碼所述目標圖像而需要解碼的其他圖像的數量；確定所述解碼成本是否低於指定閾值；如果所述解碼成本低於所述指定閾值，則解碼並呈現所述目標圖i象；和如果所述解碼成本不低於所述指定閾值，則解碼並呈現不同於所述 目標圖像的另一圖像。
7. 根據權利要求6所述的方法，其特徵在於，解碼並呈現所述目標 圖像的步驟還包括解碼所述目標圖像依賴的一個或多個其他圖像。
8. 根據權利要求6所述的方法，其特徵在於，解碼並呈現不同於所 述目標圖像的另 一 圖像的步驟還包括確定在表示時間上有多靠近所述目標圖像的指定程度之內的圖像的 特定集合；從所述特定集合中選擇與比所述指定閾值少的解碼成本相關的選擇 圖像；和解碼並呈現所述選擇的圖像。
9. 根據權利要求1所述的方法，其特徵在於，基於與多個存取單元 中的存取單元相關的成本選擇所述特定圖像的步驟包括當數字視頻錄像機在指定模式中運行時，至少部分地基於與多個圖 像中的圖像相關的成本是否超過指定值來從多個圖像中選擇特定圖像， 其中所述指定值對應於播放所述節目的不同圖像的時間間隔被允許的最 大時間量。
10. 根據權利要求1所述的方法，其特徵在於，至少部分地基於與多 個圖像中的圖像有關的成本，從多個圖像中選擇特定圖像的步驟包括至少部分地基於用戶指定的回放速度，確定目標圖像，所述目標圖 像在呈現順序中與當前圖像具有第 一指定時間距離； 為所述目標圖像確定解碼成本；確定所述目標圖像的解碼成本是否低於指定閾值； 如果所述目標圖像的解碼成本低於所述指定閾值，則解碼並播放所 述目標圖像；和如果所述目標圖像的解碼成本不低於所述指定閾值，則執行以下步驟確定其他圖像的特定集合，所述其他圖像在呈現順序中與所述目標 圖像具有第二指定時間距離；從其他圖像的特定集合中選擇一個或多個圖像，所述一個或多個圖 像與低於所述特定閾值的解碼成本相關；和解碼並呈現與低於所述指定閾值的解碼成本相關的所述一個或多個 圖像中的至少一個。
11. 一種數字視頻錄像機(DVR)被配置成為代表節目的數據流中的多個圖像中的每個圖像確定與解碼所述圖 像有關的成本；至少部分地基於與所述多個圖像中的圖像有關的成本從所述多個圖 像中選擇特定圖像；和輸出所述特定圖像進行播放。
12. 根據權利要求11所述的DVR，其特徵在於，所述DVR還被配置成 接收所述數據流的至少 一部分； 基於編解碼器編碼所述多個圖像中的每個圖像；和 生成並存儲依賴圖，所述依賴圖表示所述多個圖像中的哪些圖像依賴於所述多個圖像中哪些其他圖像。
13. 根據權利要求11所述的DVR，其特徵在於，所述DVR還淨皮配置成 為所述多個圖像中的每個個體圖像確定在對應於該個體圖像的圖像被播放之前需要解碼的其他圖像的最小量。
14. 根據權利要求11所述的DVR,其特徵在於，所述DVR還被配置成 對於所述多個圖像中的每個個體圖像執行以下步驟確定所述每個個體圖像依賴的一個或多個其他圖像的集合以表示完 整的幀；和確定在所述圖像集合中有多少圖像已經被解碼並且已經被呈現在DVR的圖像緩存中。
15. 根據權利要求11所述的DVR,其特徵在於，所述多個圖4象中的每 個圖像是I-圖像、P-圖像或B-圖像中的至少一個。
16. 根據權利要求11所述的DVR,其特徵在於，所述DVR還被配置成 接收在所述節目中的指定點開始播放所述節目的請求；和 響應接收所述請求，執行以下步驟 確定對應所述指定點的目標圖像；確定所述目標圖像的解碼成本，其中所述解碼成本至少部分地基於 為了解碼所述目標圖像而需要解碼的其他圖像的數量；確定所述解碼成本是否低於指定閾值；如果所述解碼成本低於所迷指定閾值，則解碼並呈現所述目標圖4象；和如果所述解碼成本不低於所述指定閾值，則解碼並呈現不同於所述 目標圖像的另一圖像。
17. 根據權利要求16所述的DVR,其特徵在於，解碼並呈現所述目標 圖像還包括解碼所述目標圖像依賴的一個或多個其他圖像。
18. 根據權利要求16所述的DVR,其特徵在於，解碼並呈現不同於所 述目標圖像的另 一 圖像的步驟還包括確定在表示時間上有多靠近所述目標圖像的指定程度之內的圖像的 特定集合；從所述特定集合選擇與比所述指定閾值少的解碼成本相關的選擇圖 像；和解碼並呈現所述選擇的圖像。
19. 根據權利要求11所述的DVR,其特徵在於，所述DVR還一皮配置成 當數字視頻錄像機在指定模式中運行時，至少部分地基於與多個圖像中的圖像相關的成本是否超過指定值來從多個圖像中選擇特定圖像， 其中所述指定值對應於播放所述節目的不同圖像的時間間隔被允許的最 大時間量。
20.根據權利要求11所述的DVR，其特徵在於，所述DVR還被配置成至少部分地基於用戶指定的回放速度，確定目標圖像，所述目標圖 像在呈現順序中與當前圖像具有第 一指定時間距離；為所述目標圖像確定解碼成本；確定是否所述目標圖像的解碼成本低於指定閾值；如果所述目標圖像的解碼成本低於所述指定閾值，則解碼並播放所 述目標圖像；和如果所述目標圖像的解碼成本不低於所述指定閾值，則執行至少以 下步驟確定其他圖像的特定集合，所述其他圖像在呈現順序中與所述目標 圖像具有第二指定時間距離；從其他圖像的特定集合中選3奪一個或多個圖像，所述一個或多個圖 像與低於所述特定閾值的解碼成本相關；和解碼並呈現與低於所述指定閾值的解碼成本相關的所述一個或多個 圖^象中的至少一個。
全文摘要
本發明在此描述了用於根據選擇的DVR特技播放模式選擇視頻節目圖像進行播放的技術。有時，當期望的回放速度比常規速度快時，DVR必須選擇性播放一些圖像並且跳過一些圖像。理想地，為了保持「流暢」的觀看質量，下一個要播放的圖像應該時間上靠近當前正在播放的圖像。由於解碼一些圖像需要花費比解碼其他圖像更長的時間，計算圖像的解碼成本幫助確保在給定回放速度要求下能夠選擇最適當的圖像進行解碼。根據本發明的一個實施例，對於視頻數據流中的多個圖像的每個圖像，DVR確定所述圖像的解碼成本。基於所述確定的成本，DVR選擇特定圖像。DVR輸出選擇的圖像進行播放。
文檔編號H04N7/173GK101536515SQ200780040918
公開日2009年9月16日 申請日期2007年10月31日 優先權日2006年10月31日
發明者埃裡克·文尼爾 申請人:Tivo有限公司