壓縮視頻中屬於互相關性層的圖片的通知和抽取的製作方法

2023-07-04 22:00:21

專利名稱：壓縮視頻中屬於互相關性層的圖片的通知和抽取的製作方法
壓縮視頻中屬於互相關性層的圖片的通知和抽取
本申請的申請日為2009年5月18日，對除美國外的所有國家指定的申請人 是一家美國公司「思科技術公司」，僅對美國指定的申請人是均為美國公民的Arturo A. Rodriguez和Benjamin Μ. Cook，本申請要求申請日為2008年5月21日的美國專利申請 第12/1 ，779號的優先權。技術領域
特定實施例一般涉及在網絡系統中處理視頻流。
技術背景
預期利用先進視頻壓縮方法實現數字視頻對於應用和網絡系統擴展的可用性和 功能水平與已確立的壓縮方法所擴展的相同。遍及網絡系統的視頻處理裝置應當繼續具備 現有的視頻流操縱能力水平或更佳。
當提供用於根據先進視頻編碼(AVC)標準壓縮和格式化的視頻流(本文中稱為 AVC流)的視頻流操縱功能時，難以確定視頻流是否適於特定的流操縱操作或適於擴展終 端用戶功能(例如不同的視頻回放模式)的操作。同樣，位於遍及網絡系統的若干位置中 任意位置的視頻處理設備難以實現對AVC流的操縱操作。這是因為AVC標準通常具有一組 大量的壓縮工具並可以較之先前的視頻編碼標準更精細和全面的方式利用圖片間的時間 冗餘。
AVC流的壓縮較之利用先前的視頻編碼標準編碼的視頻流更加高效。然而，AVC流 往往表現出圖片互相關性方面的更高複雜度，這使其難以實現流操縱操作。


圖1的高級框圖示出了一示例環境，其中實現了對壓縮視頻和標識各圖片互相關 性層中圖片的信息的處理的系統和方法的實施例。
圖2是圖1所示的數字家庭通信終端(DHCT)和相關設備的實施例，其中至少部分 地實現了對壓縮視頻和標識各圖片互相關性層中圖片的信息的處理的系統和方法的實施 例。
圖3的框圖示出了示例性傳輸流生成。
圖4A和4B的框圖示出了傳輸流生成器所提供的示例性壓縮圖片序列中的圖片互 相關性。
圖5的框圖示出了圖片互相關性層的層次結構。
圖6是提供關於圖片互相關性層的信息的各種方式的框圖。
圖7是示出包含多個欄位的數據結構的實施例的框圖，所述多個欄位用於分別斷 言關於一個或多個圖片互相關性層的信息的存在。
圖8的框圖示出了圖7的數據結構的示例性實施例。
圖9A-9E的框圖示出了基於圖4A所示的示例性圖片序列的各種位圖構造。
具體實施方式
纖
在一個實施例中，一種方法包括提供視頻流；以及提供標識所述視頻流中與各 圖片互相關性層相對應的壓縮圖片的信息。在另一實施例中，一種方法包括接收視頻流； 接收表示所述視頻流中與各圖片互相關性層相對應的壓縮圖片的信息；以及從所述視頻流 中抽取所標識的圖片中的一個或多個圖片。
示例實施例
在以下出版物中可以找到對MPEG-2視頻編碼標準的描述，該出版物在此被合 並參考(1)IS0/IEC 13818-2，(2000), 「 Information Technology-Generic coding of moving pictures and associated audio-Video，，。在以下出版物中可以找到對AVC視頻編 碼標準的描述，該出版物在此被合併參考(2) ITU-T Rec. H. 264(2005)，"Advanced video coding for generic audiovisual services，，。在以下出版物中可以找到對用於以MPEG-2 傳輸分組傳輸AVC視頻流的MPEG-2系統的描述，該出版物在此被合併參考(3) IS0/IEC 13818-1, (2000), 「Information Technology-Generic coding of moving pictures and associated audio-Part 1 =Systems",和(4)ITU-T Rec. H. 222. 0|IS0/IEC 13818-1 2000/AMD. 3, (2004) ,"Transport of AVC video data over ITU-T Rec. H222. 0|IS0/IEC 13818-lstreams」。
注意，遍及本說明書使用的「位圖相關信息」指與圖片互相關性層相關或有關的斷 言(assertion)和/或位圖或其他信息。遍及本說明書，「層」(tier)應理解為指圖片互相 關性層(picture interdependency tier)。
注意，遍及本說明書使用的「圖片」指來自以多種形式中的一種構成視頻或數字視 頻的圖片序列的圖像部分或完整圖像。遍及本說明書，「視頻節目」或對可視內容的其他提 及應理解為包括電視節目、電影，或其他任何傳達或定義諸如通過個人攝像機提供的可視 內容之類的可視內容的信號。這種視頻節目當被傳遞時可以包括壓縮數據流，該壓縮數據 流對應於復用和分組化成諸如MPEG-2傳輸(MPEG-2 Transport)之類的傳輸流的圖片和其 他元素的一個或多個序列構成的整體，所述其他元素包括視頻、音頻和/或其他數據。
視頻流還可指與任何視頻服務或數字視頻應用相對應的壓縮數字可視數據，所述 視頻服務或數字視頻應用包括但不限於視頻節目、視頻會議或視頻電話會話、通過網絡系 統中的通信信道發送或接收視頻流的任何數字視頻應用，或在存儲裝置或內存裝置中存儲 了視頻流或從存儲裝置或內存裝置檢索視頻流的任何數字視頻應用。所公開的實施例可以 許多不同形式實現，不應解釋為限於這裡闡述的實施例；而是提供了這些實施例以使得本 公開將更全面和完整，並將會充分地將公開的範圍傳達給本領域的普通技術人員。雖然遍 及本說明書將數字家庭通信終端(DHCT)用作示例裝置，但本文中描述的特定實施例擴展 到有能力接收和處理AVC流的其他類型的接收機。例如，特定實施例可應用於經由通信信 道耦合到網絡系統的手持接收機和/或移動接收機。本文中描述的某些實施例還擴展到具 有接收和/或發送功能以及其他功能的網絡裝置(例如編碼器、交換機等)。特定實施例還 可應用於任何視頻服務使能接收機(VSER)，還可應用於諸如有能力處理AVC流的媒體播放 器之類的電子裝置，而與這些電子裝置是否耦合到網絡系統無關。此外，本文中給出的所有4實施例、圖示和示例都希望是非限制性的，並且是作為示例列表提供的，還有想到了但未示 出的其他示例。
圖1是示出了示例環境的高級框圖，在該示例環境中，系統和方法的實施例實現 了對壓縮視頻和標識各圖片互相關性層中圖片的信息的處理。具體而言，圖1是示出了示 例性訂戶電視系統(STS) 100的框圖。在此示例中，STS 100包括頭端110和DHCT 200，它 們經由網絡130耦合起來。DHCT 200通常位於用戶的住所或辦公場所，並可以是一單獨單 元或集成到諸如顯示裝置140或個人計算機(未示出)以及其他裝置之類的另一裝置中。 DHCT 200通過網絡130從頭端110接收信號(視頻、音頻和/或其他數據)，該信號例如包 括數位化視頻信號的壓縮表示的數字視頻信號，例如調製在載波信號上的AVC流，和/或調 制在載波信號上的模擬信息，等等，並將相反信息通過網絡130提供給頭端110。
網絡130可以包括用於傳送視頻和電視服務數據的任何合適介質，例如包括有線 電視網絡或衛星電視網絡，等等。頭端110可包括一個或多個伺服器裝置(未示出)，用於 向諸如DHCT 200之類的客戶裝置提供視頻、音頻和其他類型的媒體或數據。
頭端110還包括一個或多個編碼器或壓縮引擎111，其在一個實施例中將圖片互 相關性相關信息(例如與圖片互相關性有關的位圖、標誌，和/或其他消息，和/或斷言關 於一個或多個圖片互相關性層的信息的存在的信息，如下文進一步描述的)提供或插入到 傳輸流中，以使能或幫助DHCT 200或其他網絡裝置從視頻流中解碼、分析和/或抽取頂層 的圖片和/或丟棄底層的圖片，如下文進一步說明的。雖然示為駐留在頭端110中，但編碼 器可位於網絡中其他位置。例如，對與圖片互相關性層相關的斷言和位圖或其他信息的插 入或提供可以在頭端110的上遊或外部實現。頭端110和DHCT 200進行合作以給用戶提 供電視服務，該電視服務例如包括廣播視頻節目、互動式節目指南(IPG)，和/或視頻點播 (VOD)呈現，等等。電視服務經由顯示裝置140呈現，該顯示裝置通常是電視機，其被根據其 類型而利用隔行掃描視頻號或逐行掃描視頻信號驅動。然而，顯示裝置140也可以是能夠 顯示視頻圖像的其他任何裝置，例如包括計算機監視器。雖然示為與顯示裝置140通信，但 DHCT 200可與接收、存儲和/或處理來自DHCT 200的視頻流或向DHCT 200提供或發送視 頻流或未壓縮視頻信號的其他裝置進行通信。
圖2是圖1所示的DHCT 200和相關設備的實施例的框圖，其中系統和方法的實施 例至少部分地實現了對壓縮視頻和標識各圖片互相關性層中圖片的信息的處理。將理解圖 2所示的DHCT 200僅僅是說明性的，不應解釋為暗示對公開範圍的任何限制。例如，在一 些實施例中，DHCT 200可以具有比圖2所示的組件更少、更多和/或不同的組件。所描述 的DHCT 200和/或編碼器111的子系統和方法中任一者都可包括用於實現邏輯功能的可 執行指令的有序列表，可以實現在任何計算機可讀介質中以供指令執行系統、設備或裝置 使用或與之協同，例如能從指令執行系統、設備或裝置取得指令並執行指令的基於計算機 的系統、包含處理器的系統或其他系統。在本文檔的上下文中，「計算機可讀介質」可以是 能包含、存儲、傳送、傳播或傳輸程序以供指令執行系統、設備或裝置使用或與之協同的任 何裝置。計算機可讀介質例如可以是但不限於電、磁、光、電磁、紅外或半導體系統、設備、裝 置或傳播介質。計算機可讀介質的更具體的示例(非窮舉列表)將會包括以下項具有一 條或多條導線的電連接(電子的)、可攜式計算機盤(磁的)、隨機存取存儲器(RAM)(電子 的)、只讀存儲器(ROM)(電子的)、可擦除可編程只讀存儲器(EPR0M或快閃記憶體)(電子的)、光纖(光的)，以及可攜式緊緻盤只讀存儲器(CDROM)(光的)。
DHCT 200通常位於用戶的住所或辦公場所，並可以是一單獨單元或集成到諸如電 視機或個人計算機之類的另一裝置中。DHCT 200優選地包括用於通過網絡130(圖1)從頭 端110 (圖1)接收信號(視頻、音頻和/或其他數據)的通信接口 M2，並將相反信息提供 給頭端110。
DHCT 200還可包括用於控制DHCT 200的操作的一個或多個處理器(示出了一個 處理器M4)、用於驅動電視顯示器140(圖1)的輸出系統M8，以及用於調諧到特定電視頻 道和/或頻率並用於向/從頭端110發送和接收各種類型的數據的調諧器系統M5。DHCT 200在一些實施例中可包括用於接收所下載(或所發送)數據的多個調諧器。調諧器系統 245可從訂戶電視系統100 (圖1)所提供的多個發送信號中進行選擇。調諧器系統245使 得DHCT 200能調諧到下遊媒體和數據發送，從而允許用戶經由訂戶電視系統100接收數字 媒體內容。在一個實施例中，模擬電視信號可以經過調諧器系統245接收。調諧器系統M5 在一種實現方式中包括用於雙向數據通信的帶外調諧器，和用於接收電視信號的一個或多 個調諧器(帶內)。另外，接收機246接收來自諸如遙控裝置(未示出)的輸入裝置的外部 生成的用戶輸入或命令。
DHCT 200可包括一個或多個也稱為通信埠或接口 274的有線或無線接口，用於 向其他裝置接收和/或發送數據或視頻流。例如，DHCT 200可具有USB (通用串行總線)、 乙太網、IEEE-1394、串行和/或並行埠，等等。DHCT 200可經由通信接口 274連接到家 庭網絡或局部網絡。DHCT 200還可包括用於接收模擬視頻信號的模擬視頻輸入埠。可以 經由諸如手持遙控裝置或鍵盤之類的輸入裝置提供用戶輸入。
DHCT 200包括至少一個存儲裝置273，用於存儲DHCT 200接收的視頻流。與操作 系統253和裝置驅動器211合作的PVR應用277實現向/從存儲裝置273的讀和/或寫操 作，以及其他功能。處理器244可為作業系統253、裝置驅動器211、應用(例如PVR 277)， 和數據輸入及輸出提供和/或幫助控制和程序執行。處理器244還可提供和/或幫助接收 和處理位圖相關信息，識別和抽取分別屬於一個或多個層的圖片，識別和丟棄分別屬於一 個或多個層的圖片，以及在抽取或丟棄所識別的圖片之後解碼和輸出視頻流。處理器M4 還可為所接收的壓縮視頻流或DHCT 200所產生的壓縮視頻流幫助或提供位圖相關信息。 這裡，對針對存儲裝置273的寫和/或讀操作的提及可理解為包括對存儲裝置273的一個 或多個介質的操作。裝置驅動器211 —般是與作業系統253相接口和/或駐留於作業系統 253中的軟體模塊。裝置驅動器211在作業系統253的管理下與存儲裝置控制器279通信 以提供用於存儲裝置273的操作指令。由於傳統的裝置驅動器和裝置控制器對於本領域普 通技術人員是公知的，因此這裡就不進一步描述各自的詳細工作的討論了。
存儲裝置273可以位於DHCT 200內部並通過通信接口 275耦合到公共總線205。 通信接口 275可包括集成驅動電子裝置(IDE)、小型計算機系統接口(SCSI)、IEEE-1394或 通用串行總線(USB)，等等。作為替換或補充，存儲裝置273可以經由通信埠 274，外部連 接到DHCT 200。通信埠 274例如可以是根據IEEE-1394、USB、SCSI或IDE規範的。在一 種實現方式中，視頻流是經由通信接口 242接收到DHCT 200中並存儲在臨時存儲器緩存 (未示出)中的。臨時存儲器緩存可以是DRAM 252的一指定部分，或者直接或作為DHCT 200中組件一部分而附接的獨立存儲器。臨時緩存被實現和管理來使能向存儲裝置273的媒體內容傳遞。在一些實現方式中，存儲裝置273的快速存取時間和高數據傳遞速率特性 使得能夠以足夠快的方式從臨時緩存讀取媒體內容和將媒體內容寫到存儲裝置273。可以 實現多個同時的數據傳遞操作，使得在將數據從臨時緩存傳遞到存儲裝置273的同時，可 以接收另外的數據並將其存儲在臨時緩存中。
DHCT 200包括信號處理系統214，該信號處理系統包括解調系統210和傳輸解復 用和分析系統215(本文中稱為解復用系統)，用於處理廣播和/或點播媒體內容和/或數 據。信號處理系統214的一個或多個組件可以利用軟體、軟硬體組合，或硬體實現。解調系 統210包括用於解調模擬或數字發送信號的功能。
如上所述，編碼器或壓縮引擎可以駐留在頭端110處(例如實現為編碼器111)， DHCT 200中(例如實現為壓縮引擎217)，或其他位置。壓縮引擎217可以接收數位化未壓 縮視頻信號，例如由模擬視頻解碼器216提供的數位化未壓縮視頻信號，或由解壓縮引擎 (例如解壓縮引擎22 作為將壓縮視頻信號解壓縮的結果而產生的解壓縮視頻信號。在一 個實施例中，模擬視頻解碼器216所輸出的數位化圖片和相應音頻在壓縮引擎217的輸入 端提供，該壓縮引擎根據視頻壓縮規範的句法和語義將未壓縮數位化圖片序列壓縮。從而， 壓縮引擎217實現了與諸如AVC標準之類相應的視頻壓縮規範相對應的視頻壓縮方法或算 法，以提供視頻流。壓縮引擎217還可提供用於所提供的視頻流的位圖相關信息。
本文中公開的系統和方法可應用於根據視頻壓縮規範執行的任何視頻壓縮方法， 所述視頻壓縮規範考慮了至少一種類型的壓縮圖片，該壓縮圖片可依賴於多個用於其解壓 縮和重建的參考圖片的相應解壓縮版本。例如，壓縮引擎217可根據AVC標準的規範來壓縮 輸入的視頻，並產生包含不同類型壓縮圖片的AVC流，一些壓縮圖片可具有第一壓縮部分 和第二壓縮部分，該第一壓縮部分依賴於用於壓縮圖片的解壓縮和重建的第一參考圖片， 同一圖片的該第二壓縮部分依賴於不同的第二參考圖片。
在一些實施例中，具有諸如能產生AVC流的壓縮能力的類似壓縮能力的壓縮引擎 例如作為家庭網絡的一部分經由通信埠 274連接到DHCT 200。在另一實施例中，具有諸 如能產生AVC流的壓縮能力的類似壓縮能力的壓縮引擎可位於頭端110或網絡130中的其 他位置。在各種實施例中的壓縮引擎可包括提供用於所產生的視頻流的位圖相關信息的能 力。
除非以其他方式規定，否則本文中使用的壓縮引擎可駐留在頭端110處(例如作 為編碼器111)，DHCT 200中(例如作為壓縮引擎217)，經由通信埠 274連接到DHCT 200， 或其他位置。同樣，本文中使用的視頻處理裝置可駐留在頭端110處、DHCT 200中、經由通 信埠 274連接到DHCT 200，或其他位置。在一個實施例中，壓縮引擎和視頻處理裝置駐留 在同一位置。在另一實施例中，他們駐留在不同位置。在又一實施例中，壓縮引擎和視頻處 理裝置是同一裝置。
根據諸如MPEG-2或AVC之類的指定的音頻和視頻編碼方法的句法和語義，產生壓 縮的視頻和音頻流，使得壓縮的視頻和音頻流可以在未來時間被解壓縮引擎222解釋以用 於解壓縮和重建。根據諸如MPEG-2系統中定義的MPEG-2傳輸之類的傳輸規範的句法和語 義，將每個AVC流分組化(packetize)成傳輸分組。每個傳輸分組包含頭部，該頭部具有與 相應的AVC流相關聯的獨特的分組標識碼或PID。
解復用系統215可包括MPEG-2傳輸解復用能力。當被調節到承載數字發送信號的載波頻率時，解復用系統215使得能夠分離與所需的AVC流相對應的數據分組，以用於進 一步處理。同時，解復用系統215排除了對復用傳輸流中無關或不需要的分組，例如對應於 其他視頻流的數據分組的進一步處理。解復用系統215的分析能力考慮了 DHCT 200對傳 輸分組中所承載的節目相關信息的吸收。解復用系統215的分析能力可以考慮DHCT 200 對位圖相關信息的吸收，所述位圖相關信息例如是與一個或多個圖片互相關性層中圖片的 識別相關或有關的斷言和位圖或其他信息。
在一個實施例中，可通過在諸如MPEG-2傳輸的傳輸流分組之類的傳輸流分組的 適配欄位或其他欄位的私有數據區段中規定顯式信息，來提供位圖相關信息。在一個實施 例中，這種信息的信號通知(signaling)和提供是位於視頻節目的復用級，或傳輸層處的 (而非在視頻層中)。位圖信息可以例如經由在MPEG-2傳輸分組的適配欄位中承載的私有 數據，作為未加密數據而承載。
例如，根據MPEG-2的傳輸分組結構包括188個字節，並包括一 4位元組的頭部，該頭 部具有標識傳輸分組的對應流的獨特分組標識符或PID。可選的適配欄位可跟在傳輸分組 的頭部之後。如果有適配欄位的話，則包含對應流一部分的有效載荷跟在適配欄位之後。如 果沒有適配欄位，則有效載荷跟在傳輸頭部之後。與AVC流中壓縮圖片相對應的位圖相關 信息在一個實施例中設在適配欄位中，從而不被認為是視頻層的一部分，這是因為適配字 段既不是傳輸分組有效載荷的一部分也不是AVC規範的一部分，而是根據MPEG-2系統標準 的MPEG-2傳輸的句法和語義的一部分。
傳輸流的頭部可以包括同步(sync)字節，該同步字節設置傳輸流分組的開始並 允許發送同步。傳輸流的頭部還可包括有效載荷單元起始指示符，當在承載視頻流的分組 中將該有效載荷單元起始指示符設置為某個值(例如在MPEG-2傳輸中為lb)時，該有效載 荷單元起始指示符指示出該傳輸分組的有效載荷開始於分組化基本流(PES)的分組的首 個字節。PES中所承載的視頻流可以被約束為每PES分組承載一個壓縮圖片，並且PES分組 必須始終作為傳輸流的分組有效載荷的首個字節而開始。從而，有效載荷單元起始指示符 提供了對傳輸流中所承載的視頻流的每個相繼圖片的起始的標識。注意，承載視頻流的傳 輸分組是由DHCT 200的分析能力(如上所述)從節目相關信息或節目專用信息(PSI)中 識別的。例如，在MPEG-2傳輸中，節目映射表識別節目映射表(PMT)中節目流的分組標識 符(PID)，該PMT又是經由節目關聯表(PAT)識別的。
應當注意，位圖相關信息是未經加密地設置在傳輸層中的，並使得位於網絡中的 視頻解碼器或其他視頻處理裝置能夠針對特定應用或操作而確定從視頻流中抽取那些圖 片和/或從視頻流中丟棄哪些圖片，而無須分析壓縮視頻層或視頻流。
位圖相關信息標識出視頻流中分別屬於一個或多個圖片互相關性層的圖片。這又 使得在視頻節目存儲在DHCT 200的硬碟驅動器中時，能夠注釋與各圖片互相關性層相對 應的相繼圖片位置。視頻節目可以作為傳輸流而存儲。在一個替代實施例中，其可作為節 目流而存儲。所注釋的視頻節目的圖片位置可由處理器244在執行PVR應用277的同時處 理，以從一起始點開始抽取屬於頂層的視頻節目圖片，或從同一起始點開始抽取屬於各相 繼頂部層的另外圖片(即，升序編號的層，如下所述)，以提供技巧模式(trick mode)操作。
位於傳輸分組頭部中或適配欄位中的一個或多個標誌可以標識可作為用於跟蹤 位圖相關信息的起始點的起始點或隨機訪問點。例如，MPEG-2傳輸分組中的適配欄位包括隨機訪問指示符和基本流優先級指示符。
信號處理系統214的組件通常能夠進行QAM解調、轉發糾錯、MPEG-2傳輸流的解 復用，以及對分組和流的分析。流分析可以包括對分組化基本流或基本流的分析。分組分 析可包括對遞送與AVC流相對應的位圖相關信息的欄位的分析和處理。在一些實施例中， 由信號處理系統214執行的分析抽取位圖相關信息，並且處理器244提供對位圖相關信息 的處理和解釋。在又一實施例中，處理器244執行對位圖相關信息的分析、處理和解釋。信 號處理系統214還經由DHCT 200的中斷和消息發送能力與處理器244通信。處理器M4 注釋視頻流或傳輸流內圖片的位置，以及與視頻流相對應的其他有關信息。作為替代或補 充，注釋可以是根據與視頻流對應的位圖相關信息，或者從位圖相關信息得到的。由處理器 244進行的注釋使得能夠進行對所存儲的視頻節目實例的正常回放以及其他回放模式。常 稱為「技巧模式」的其他回放模式可包括倒退或反向回放，快進回放，或暫停或靜止。回放 模式可包括除了正常回放速度之外的一種或多種回放速度。在一些實施例中，位圖相關信 息由處理器244提供給解壓縮引擎222。在另一實施例中，在技巧模式的回放期間，由處理 器244將存儲在存儲裝置中的注釋提供給解壓縮引擎222。在又一實施例中，僅在技巧模式 期間提供注釋，其中處理器244編程了解壓縮引擎222來執行技巧模式。
注釋可以僅僅是位圖相關信息。處理器244可以抽取來自頂層的圖片和/或丟棄 來自底層的圖片，如下文進一步描述的。
分組化壓縮流還可由信號處理系統214輸出，並作為對解壓縮引擎222的輸入而 提供，以用於音頻和/或視頻解壓縮。信號處理系統214可以包括其他組件(未示出)，包 括存儲器、解密器、採樣器、數位化器(例如模數轉換器)，和復用器，等等。解復用系統215 分析(例如讀取並解釋)傳輸分組，並將與對應於AVC流的一個或多個位圖相對應的信息 存放到DRAM 252中。
在實現對傳輸流的解復用和分析時，處理器244解釋信號處理系統214所輸出的 數據，並根據與視頻流相對應的位圖相關信息，生成包括壓縮視頻流中某些圖片的絕對開 始位置的表或數據結構(索引表20 形式的輔助數據。處理器244還處理與位圖相關信 息相對應的信息，以做出用於PVR操作的注釋。注釋由處理器244存儲在存儲裝置中。在 一個實施例中，位圖相關信息由注釋構成，並且其存儲在硬碟驅動器中。這種輔助數據被用 來便利在未來的PVR操作期間對所需視頻數據的檢索。
解復用系統215可以分析接收到的傳輸流(或由壓縮引擎217生成的流，該流在 一些實施例中可以是節目流)而不幹擾其視頻流內容，並將經分析的傳輸流(或所生成的 節目流)存放到DRAM 252中。即使視頻節目是加密了的，處理器244也可生成注釋，這是 因為AVC流的位圖相關信息是未加密地承載的。處理器244使得DRAM 252中的傳輸流被 傳遞到存儲裝置273。可以存儲另外的相關安全性、授權和/或加密信息。作為替代或補 充，與AVC流相對應的位圖相關信息可以具有包括圖片之間互相關性的表或數據結構的形 式，如下文進一步說明的。
注意，在一個實施例中，本文中對解碼系統的提及包括解碼功能和合作元件，例如 在解壓縮引擎222、處理器M4、信號處理系統214和存儲器的總的功能中找到的那些。在 一些實施例中，解碼系統可包括更少、更多或不同的元件。而且，某些系統和方法實施例包 括來自頭端的組件(例如編碼器111等)和/或來自DHCT 200的組件，但在一些實施例中可找到更少或更多的組件。
AVC流或其他壓縮視頻流包括可根據圖片互相關性層次結構或圖片相關性層來編 碼的圖片。圖片基於圖片互相關性而與層的層次結構相關聯。每個壓縮圖片屬於至多一層。 層是從作為頂層的層編號1開始，從上到下順序編號的。底層具有最高編號。一層中的圖 片不依賴於任何更高編號層上的圖片。從而，將向位圖相關信息提供一致的標識，以使得與 一層相對應的任何所標識的圖片不依賴於屬於任何更高編號層的圖片。層的層次結構的另 一方面在於，對一些圖片的解碼依賴於特定的其他圖片。因此，如果一個圖片用作其他圖片 的參考圖片，則它可被認為是比其他圖片更重要。事實上，特定的一組圖片可基於圖片互相 關性而在重要性的層次結構中觀看。
流生成器的一個實施例選擇I和IDR圖片以將其包括在頂層中。另一實施例還包 括在頂層中的前向預測圖片。
錨圖片可以是I圖片、IDR圖片、或僅依賴於過去的參考圖片的FPP(前向預測圖 片)。在一些實施例中，如果FPP僅依賴於最近解碼的錨圖片，則FPP是錨圖片。
圖片可被分類為術語特定的圖片互相關性層或「級」，並且流生成器的某些實施例 可包括用於層次結構的某一層以上的層(例如頂部兩層)的位圖相關信息。在另一實施例 中，位圖相關信息可以僅針對層次結構的特定層以下的層(例如底部兩層)而提供。在又 一實施例中，位圖相關信息可以僅針對層次結構的特定層以下的層、針對層次結構的某一 層以上的層，或針對頂部層和底部層的組合而提供。位圖相關信息將始終從頂層開始，和/ 或從底層(最高編號)開始。圖片的對應層可以理解為對其在解碼其他圖片時的重要性的 量度——一些參考圖片比其他參考圖片更重要，因為它們的解碼後和重建後的信息傳播通 過多級的參考。
本領域普通技術人員還應認識到，雖然在本公開中使用了 AVC圖片類型，但本文 中所公開的系統和方法可應用於任何參考一個或多個圖片來壓縮另一圖片的數字視頻流。
圖3是示出在包含諸如AVC流之類的視頻流的傳輸流部分和對應的位圖相關信息 的生成中選擇的組件的框圖。在一些實施例中，傳輸流的生成可以發生在頭端110處，或頭 端110的上遊(或下遊)。在一些實施例中，用於視頻流的位圖相關信息可以在DHCT 200 處生成，兩者都在傳輸流中提供。在一個替代實施例中，兩者都在節目流中提供。在另外一 些實施例中，可以在頭端110和DHCT 200處生成傳輸流。壓縮引擎310(其在一些實施例 中可以指圖1的編碼器111，或在一些實施例中可以指圖2的壓縮引擎217，等等)接收作 為輸入的視頻信號300，例如數位化未壓縮視頻信號或解壓縮的視頻信號。壓縮引擎310輸 出諸如AVC視頻流之類的壓縮視頻流312和/或其他數據(例如位圖相關信息)，其中這種 壓縮圖片是按發送順序設在視頻流中的。分組化器314將AVC視頻流312分組化以輸出分 組流。
遍及本說明書，用AVC流作為例子。但是，特定實施例也可應用於根據視頻壓縮規 範壓縮的任何壓縮視頻流，所述視頻壓縮規範考慮到了 (1)任何要通過參考多個其他圖 片而壓縮的圖片，和/或( 任何未確定性地從視頻流中其對應的圖片類型信息傳達或暗 示其實際圖片互相關性特性的壓縮圖片。這裡，提及了與AVC壓縮圖片相對應的「圖片類 型」，作為由AVC流中一個或可能多個各自的欄位利用傳達「圖片類型」或「片段」(slice) 的類型的語義傳達的信息。即，根據AVC標準，圖片類型可以通過不同的方法在AVC流中傳達。例如，圖片類型可以由「訪問單元定界符」(access unit delimiter)中的「primary— piC_type」欄位來表達。或者，圖片類型可以由分別與AVC壓縮圖片的一個或多個各自的 片段中的每一個片段相對應的一個或多個「slice_type」欄位共同表達。AVC壓縮圖片的 每個片段的「slicejieader」包括其「sliCe_type」欄位。AVC壓縮圖片可以僅具有一個片 段。雖然將圖片類型信息描述為在標準格式的具體欄位或部分中傳遞，但其他用於傳達這 種信息的布置或方法也是可能的。位圖相關信息可以包括在網絡適配層中(如AVC規範中 所描述的)或其他任何層、結構、流、單元、位置或地點中。
AVC中有兩種主要的壓縮圖片的方法幀內antra)和幀間Qnter)(或非幀內 (Non-Intra))壓縮。幀內壓縮是不參考其他圖片而完成的，但通常表現出比幀間壓縮更低 的壓縮效率。幀間壓縮通過參考一個或多個其他圖片而利用了時間上的冗餘和不相關性。 至少一個其他圖片依賴於參考圖片來進行其壓縮。在由壓縮引擎進行的AVC壓縮期間使 用參考圖片的解壓縮版本，來預測依賴於該參考圖片的圖片的至少一部分。在由諸如DHCT 200中的解壓縮引擎222之類的解壓縮引擎進行的AVC流解壓縮期間，也依賴於參考圖片來 解壓縮並重建至少一個其他圖片的至少一部分。不是參考圖片的圖片(例如不被至少一個 其他圖片依賴的圖片)是非參考圖片。
應當理解，遍及本說明書，在參考圖片上下文中的術語「依賴」或「相關性」指「直 接」相關性。這些術語不指間接相關性，例如通過參考第一圖片，第一圖片又參考第二圖片， 從而造成的第二圖片的數據的傳播。
圖片的輸出時間，或圖片輸出時間指其顯示時間，該顯示時間處於該圖片被完全 解壓縮並重建的時間，或在該圖片被完全解壓縮並重建之後。例如，圖片的輸出時間對應於 DHCT 200中的輸出系統248將AVC圖片的解壓縮版本提供到顯示裝置140的時間。輸出圖 片通常指其希望的解壓縮版本的輸出。注意，在其所依賴的參考圖片全部解壓縮之前就被 解壓縮並輸出的圖片很可能導致不完整的視覺信息，從而這種輸出圖片不代表希望的解壓 縮版本。根據修改後的MPEG-2系統標準中用於傳輸AVC流的規範，解碼時間戳(DTS)和呈 現時間戳(PTS)通常與AVC流中的圖片相關聯。圖片的PTS，不管是設在傳輸流中還是由 DHCT 200中的解壓縮引擎222得到的，都對應於其在AVC流正常回放模式的實行期間的假 定輸出時間。圖片的DTS對應於其解壓縮時間，並且也可設在傳輸流中或由DHCT 200中的 解壓縮引擎222得到。AVC流中的相繼壓縮圖片由DHCT 200中的解壓縮引擎222按其發送 順序(即，也是接收順序)解壓縮，因而具有相繼的解壓縮時間。雖然本文中提供的公開的 某些實施例主要考慮和實現了根據位圖相關信息來解碼所抽取的圖片和/或處理所丟棄 的圖片方面的優勢，但實施例也可關注呈現順序的分析和優化。一般而言，位圖相關信息可 由任何軟體進程、硬體裝置(或其組合)在任何時間用在創建、編碼、分發、處理/解碼和顯 示鏈中以實現好處。
圖片的發送順序是根據各自具有相應優先級的若干排序規則確立的。最高優先級 的排序規則要求每個參考圖片在AVC流中在所有參考它的圖片之前發送。具有高優先級的 第二排序規則要求在其他情況下將會具有相同排序優先級的圖片按其各自的輸出時間從 早到晚發送。
視頻編碼標準通常假設一假定瞬時解碼器，這意味著壓縮圖片可以在其DTS處被 瞬時解碼。圖片的PTS可以等於其DTS，從而假定瞬時解碼器在這種情況下假設該圖片被瞬11時解碼並輸出。
根據AVC流的圖片速率或幀速率定義了圖片輸出間隔。例如，如果AVC流對應於一 60圖片每秒的視頻信號，則圖片輸出間隔約等於16. 66毫秒。每個接連的圖片輸出間隔開 始於圖片輸出時間，並且圖片的輸出遍及圖片輸出間隔。在一個實施例中，解壓縮引擎222 所輸出的每個圖片的實際輸出時間被從其假定輸出時間或PTS延遲了一個圖片輸出間隔。 即，每個圖片的實際輸出時間等於該圖片的PTS加上一個圖片輸出間隔。過去參考圖片是 一先前解壓縮的參考圖片，它所具有的輸出時間在參考它的圖片之前。同樣，未來參考圖片 是一先前解壓縮的參考圖片，它所具有的輸出時間在參考它的圖片之後。
AVC幀內圖片或I圖片不參考其他圖片，但通常被其他圖片所參考。與MPEG-2視 頻不同，AVC中的幀內壓縮使得可將被壓縮的圖片的區域從同一圖片的其他部分的解壓縮 版本預測出來。AVC 「瞬時解碼刷新」圖片或IDR圖片是如下的圖片，其使得正被用作參考 圖片的所有先前解壓縮的圖片在該IDR圖片的解壓縮之後不再被用作參考圖片。AVC中的 P圖片和B圖片被允許包含幀內壓縮部分。與在MPEG-2視頻中一樣，AVC中的P圖片和B 圖片使得可將圖片的任何部分或可能所有部分從「先前解壓縮的」參考圖片幀間預測出來。 還與MPEG-2視頻類似的是，AVC中P圖片任何部分的幀間預測限於每次最多使用一個參考 圖片。然而，與MPEG-2不同的是，AVC P圖片的每個不同的幀間預測部分可從若干不同參 考圖片中的任何一個預測出來。與MPEG-2視頻類似的是，AVC中B圖片任何部分的幀間預 測限於最多使用兩個參考圖片。但儘管MPEG-2視頻對於B圖片的所有部分最多使用兩個 參考圖片，但允許對AVC B圖片的每個不同的幀間預測部分使用若干不同參考圖片中的任 何參考圖片。
不同AVC P圖片所依賴於的參考圖片的總數可能各自不同。類似地，不同AVC B 圖片所依賴於的參考圖片的總數可能各自不同。根據AVC標準，AVC流中所允許的參考圖 片的「最大數量」根據針對AVC流規定的「級別」(Level)和該AVC流中壓縮圖片的空間分 辨率而不同。此外，AVC參考圖片不具有相對於以它們為參考的圖片的預定位置。AVC標準 中的這些靈活性導致了更好的壓縮效率。然而，它們妨礙了視頻處理裝置的流操縱能力，這 是因為關於AVC流中所具有的圖片類型為P圖片或B圖片的壓縮圖片的圖片互相關特性， 沒有暗示任何推斷。
因此，AVC標準通過使得圖片的每個不同的幀間預測部分可從多個不同參考圖片 (例如16個參考圖片)中任何圖片的「至多一個」預測出來而規定了 P圖片。與將幀間預 測進一步限制為參考一個「預定的」過去參考圖片的MPEG-2視頻標準或其他視頻壓縮規範 不同的是，在AVC中沒有這種限制。例如，AVC P圖片的第一部分可以依賴於一個參考圖片， 另一部分可依賴於不同的參考圖片。事實上，AVC P圖片的第一部分所參考的圖片可以是 一過去參考圖片，第二部分可依賴於一未來參考圖片。作為AVC中所允許的精細且複雜的 圖片互相關性的另一示例，第一AVC P圖片可依賴於四個未來參考圖片，第二AVC P圖片可 依賴於三個過去參考圖片，第三AVC P圖片可既依賴於多個過去參考圖片又依賴於多個未 來參考圖片。
AVC標準對B圖片的規定也不同於MPEG-2視頻標準。MPEG-2視頻將B圖片規定 為雙向圖片，使得圖片的任何部分可利用不多於兩個參考圖片——一個是「預定的」未來參 考圖片，另一個是「預定的」過去參考圖片——的相關性被壓縮。相同的兩個參考圖片或它們中任意一個必須被用作用來預測該B圖片的任何部分的參考圖片。另一方面，AVC B圖 片可依賴於多個參考圖片，例如多達16個參考圖片，只要該B圖片的任何部分通過該多個 參考圖片的至多兩個區域來預測即可。當通過兩個區域來預測B圖片的區域時，將其稱為 被雙預測，而非雙向預測。還與MPEG-2視頻不同的是，AVC B圖片可以被用作其他P圖片 或B圖片的參考圖片。
作為AVC B圖片中所允許的精細且複雜的圖片互相關性的另一示例，AVC B圖片 的第一區域可以從兩個過去參考圖片雙預測出來，第二區域可以從兩個未來參考圖片雙預 測出來，第三區域可以從過去參考圖片和未來參考圖片雙預測出來，並且這三個區域依賴 於六個不同的參考圖片。AVC流中第一 B圖片所使用的這組參考圖片可以不同於第二 B圖 片所使用的這組參考圖片，即使這兩個B圖片都處於連續的發送順序或具有連續的輸出時 間也是如此。如前所述，AVC參考圖片相對於以它們為參考的圖片沒有預定位置。應當很 清楚的是，圖片(或圖片部分)相關性的許多類型和組合是可能的，並且可以創建不同類型 的輔助信息來描述圖片之間的互相關性或關係，其向以後對圖片信息的處理提供了好處。
增加的複雜性包括如下的事實不作為參考圖片的I圖片是非參考圖片。此外，一 些I圖片可能比其他I圖片更重要，這依賴於AVC流中I圖片的相對位置和/或依賴於多 少其他AVC壓縮圖片參考該I圖片。
應當意識到，儘管一些視頻壓縮規範具有各自暗示具體圖片互相關性特性的圖片 類型，但AVC流中壓縮圖片的圖片類型不能賴以暗示表現出某種特性的AVC壓縮圖片。此 外，即使圖片類型能傳達有用的信息，也存在其他方面使得難以容易地窺視和識別AVC流 中具有某一特性(包括互相關性在內的特性)的圖片，例如當承載AVC流的傳輸分組的有 效載荷被加密或加擾的時候。在傳輸分組的有效載荷中找到slice_type (片段類型)和其 他所需數據欄位以驗證圖片的某一特性可能是困難的且需要進入AVC流的大量遍歷，尤其 是在所需數據欄位相對於傳輸分組的有效載荷的起始或相對於其他某個可識別的定界符 的對準不同的情況下。
遍及本說明書，AVC流中連續圖片的序列或AVC流中的連續圖片指按其發送順序 的連續壓縮圖片，或等同地指AVC流中具有相繼解碼時間戳的壓縮圖片的序列。
可丟棄圖片是非參考圖片。具有延遲了的輸出時間的可丟棄圖片是所具有的PTS 晚於其DTS的可丟棄圖片。即，它是並非在其被壓縮之後立即被輸出的可丟棄圖片，並且雖 然它未被其他任何圖片所參考，但它進入了 AVC標準中規定的「解碼圖片緩衝器」(DPB)達 至少一個圖片輸出間隔。DPB駐留在DHCT 200的解壓縮存儲器四9中，雖然不限於駐留在 該特定位置。
現在將注意力轉向圖4A和圖4B，它們是示出了傳輸流生成器所提供的示例壓縮 圖片序列中圖片互相關性的框圖。圖4A的第一行402包括示例性GOP的輸出順序，例如在 解壓縮引擎222處按解碼順序404(即，發送順序)接收和解碼。GOP包括壓縮圖片(由圖 片類型指定，例如I、P或B)的序列。圖片互相關性部分地由每個圖片(在各個圖片頂部 編號為1-25的圖片)上方和下方的箭頭示出。在一圖片處示出的箭頭尾部描繪出該圖片 作為對示出了相應箭頭頭部的另一圖片的參考圖片。即，箭頭傳達了該另一圖片是從該參 考圖片預測出來的。例如，在圖4A中，圖3是從圖片1和圖片5預測出來的(因而依賴於 圖片1和圖片5)。雖然所示出和描述的具有邊界之間(例如，圖片1和9之間，以及圖片9和17之間)類似的相關性模式，但本領域普通技術人員應意識到，不同界定群組之間可以 找到不同的模式和/或相關性，如圖4B所示(例如，參見圖片1和9所界定的模式內圖片1 和4以及圖片5和2之間所揭示的圖片互相關性，以及它們的互相關性如何與圖片9和17 所界定的模式中所示的圖片互相關性不同)。
圖4A的下面一行402是解碼順序404，其與解壓縮引擎222處對圖片進行解碼以 用於重建的順序相對應。由於需要在對圖片進行解碼之間先具有參考圖片，圖片的發送順 序與輸出或顯示順序不同。注意，P圖片可以被前向預測或後向預測，並且通常，該事實直 到圖片被解碼才變得明顯。例如，圖片類型的知識(例如由頭部所確定的)不一定傳達了 如何採用的預測或圖片互相關性。
在MPEG-2中，可丟棄圖片可以立即輸出(不需要保留)，雖然通常，出於實現的原 因，這種圖片被臨時存儲達至少一圖片周期或間隔。在AVC流中，即使對於可丟棄圖片，也 存在將可丟棄的解碼圖片延遲並因而保留在解碼圖片緩衝器(DPB)中的情況。在一個實施 例中，如果一圖片還未被輸出或如果需要該圖片作為還未被解壓縮的另一圖片的參考，則 將該圖片保留在DPB中。
現在將注意力轉向圖5和圖6中示出的層的說明。圖5示出了圖片互相關性層的 層次結構的示例。圖片互相關性層的層次結構具有「T」個層，T是底層。視頻流中的圖片僅 可屬於T個層中的一個。然而，流生成器可以選擇不在其所提供的位圖相關信息中標識屬 於一些中間層的圖片。頂層或層1 502包括視頻流中可獨立於層2到T中的圖片而被解碼 的圖片。頂層是圖片抽取的第一級。每個相繼的層可獨立於視頻流中屬於更高編號層的圖 片而被解碼。例如，從層次結構頂部開始的第二層，層2 504可獨立於屬於層3到T的圖片 而被解碼。頂層或層1 502標識圖片可抽取性的第一級。圖片可抽取性，即可從視頻流中 抽取的圖片的數量，是從頂部到底部增加的，而圖片可丟棄性，即可從視頻流丟棄的圖片的 數量，是從底部到頂部增加的。相反，圖片可丟棄性從頂部到底部減少，且圖片可抽取性從 底部到頂部減少。層1 502包括圖片可抽取性的第一級，和圖片可丟棄性的最後一級。第T 層508(底層)包括圖片可丟棄性的第一級，和圖片可抽取性的最後一級。第(T-I)層506 包括圖片可丟棄性的第二級和圖片可抽取性的倒數第二級，等等。
總之，層1 502圖片包括獨立於層2 504到層T 508而可解碼的圖片。層2 504 圖片是獨立於層3到層T 508中的圖片而可解碼的圖片，依此類推。
底層，層T 508中的圖片可被丟棄而不影響與較低編號層相對應的視頻流中其餘 圖片的可解碼性。層T 508圖片是可丟棄而不影響層1 502到層(T-l)506中的圖片的可 解碼性的圖片。層(T-I)圖片是可丟棄而不影響層1 502到層(T-2)(未示出)中的圖片 的可解碼性的圖片。
第一層或層1 502包括視頻流中如下的編碼圖片(即壓縮圖片)，所述編碼圖片 當從視頻流中諸如隨機訪問點之類的起始點開始逐個地(progressively)被抽取時，可獨 立於視頻流中的其他編碼圖片而被解碼並輸出。第二層或層2 504包括視頻流中如下的 編碼圖片，所述編碼圖片當從視頻流中相同的起始點開始逐個地被抽取時，與利用屬於層1 502的圖片的逐個抽取相合作，增加了另一級的圖片抽取。從而，層1 502和層2 504可獨 立於視頻流中「被確定為不屬於」或「未被識別為」層1 502或層2 504編碼圖片的其他編 碼圖片而被解碼和輸出。更一般而言，對於從1到T的任意值K，被識別為或確定為屬於從層1到層K的層的編碼圖片可以通過從一起始點開始逐個地抽取視頻流中的所有編碼圖片 而被獨立地解碼和輸出，如果它們被分類為或確定為屬於層1到層K當中的一層的話。在 DHCT 200處，從所接收或所提供的位圖相關信息，將屬於層1到層K的圖片識別為或確定為 屬於層1到層K。從而，如果以逐個的方式，屬於層1到層K的「所有」圖片都(1)從一起 始點開始從視頻流中被抽取，並且(2)被解碼，則視頻流中被分類為或屬於層1到層K中一 層的下一圖片可被抽取和解碼，這是因為該下一圖片針對時間預測和/或針對運動補償而 依賴於的所有圖片或該下一圖片作為參考圖片而參考的所有圖片都將會已經(1)被從視 頻流中抽取，⑵被解碼和(3)可用於參考。
注意，遍及本說明書，對屬於一層的圖片或一層中的圖片的提及應被理解為與一 層相關聯的圖片或與一層相對應的圖片。一個圖片最多與一個層相關聯或對應。位圖相關 信息標識出視頻流中一個或多個分別的圖片所關聯或對應的單個層。位圖相關信息可不標 識流中一個或多個圖片所關聯或對應的層。
視頻流中一第K層編碼圖片可被抽取並保證解碼成其希望的完整的全部重建，條 件是在該特定的層K編碼圖片的抽取之前，對所有緊接在前的層K編碼圖片的抽取和解碼 已被逐個地執行達一有限時間量。這是因為視頻編碼可以執行跨GOP邊界的時間參考。在 一個實施例中，視頻流中一第K層編碼圖片可被抽取並解碼成其希望的完整的全部重建， 條件是自從或針對視頻流中緊接在該特定的層K編碼圖片之前的最後「η」個隨機訪問點 (RAP)，所有屬於層1到層K的編碼圖片都已被逐個地抽取和解碼。例如，如果諸如快進之 類的回放模式或技巧模式要從視頻流的一特定或希望位置開始，則可能必須在視頻流的該 特定位置之前的第二 RAP(即η = 2)處開始解碼。RAP可利用MPEG-2傳輸層級或層的頭 部和/或適配欄位頭部中的一個或多個具體標誌來通知和標識。例如，諸如MPEG-2系統 (MPEG-2 Systems)之類的規範提供了用於通知RAP的傳輸流中的指示符，例如隨機訪問點 指示符和/或基本流優先級指示符。在一個實施例中，RAP指AVC比特流中的一個訪問單 元(或圖片)，在該訪問單元(或圖片)處接收機可開始對視頻流的解碼。訪問單元還包括 用於將相關聯圖片解碼的序列參數集(SPS)和圖片參數集(PPS)，以及將視頻流的圖片解 碼和輸出所需的其他任何必需的參數或參數集。隨機訪問點可承載I圖片或IDR圖片。在 一個實施例中，GOP(其通常是一 MPEG-2術語)等同於在兩個或更多個RAP之間找到的圖 片序列和圖片互相關性。
在替代實施例中，一第K層編碼圖片可被抽取並解碼成其希望的完整的全部重 建，條件是自從或針對視頻流中緊接在該特定的層K編碼圖片之前的最後「η」個圖片群組 (GOP)的開始，所有屬於層1到層K的編碼圖片都已被逐個地抽取和解碼。
在又一實施例中，一第K層編碼圖片可被抽取並解碼成其希望的完整的全部重 建，條件是至少在視頻流中該特定的層K編碼圖片的位置之前該視頻流中最後「η」個I圖 片或IDR圖片的解碼之後，所有屬於層1到層K的編碼圖片都已被逐個地抽取和解碼。在 一個實施例中，「η」可對於連續的I圖片具有第一值，並對連續的IDR圖片具有第二值。
在又一實施例中，一第K層編碼圖片可被抽取並解碼成其希望的完整的全部重 建，條件是在該視頻流中該特定的層K編碼圖片的位置之前屬於層1到層K當中的層的至 少G個連續的編碼圖片都已被逐個地抽取和解碼。
將層應用於一 MPEG-2視頻流中諸如PVR之類的一示例實現方式，該視頻流編碼了一普通G0P，其中按輸出順序的圖片如下IBBPBBPBBPBB P依此類推，頂層，層 1 502可以是足夠的。例如，可在快進或倒帶操作中排他地利用I圖片。但是假設針對技巧 模式需要更精細的粒度級別，或者為了提高技巧模式操作中圖片的放置或移除的精度。可 以增加第二和/或第三層以在應對AVC的複雜性的同時允許該提高的功能。注意，根據所 需的技巧模式功能(例如速度、方向等)，一個實施例可以將頂層中的圖片解碼(例如1 技巧模式)。在一些實施例中，可以利用來自頂部兩層的圖片實現解碼。
位圖相關信息和/或層的識別可以根據多種方式實現，如圖6所示。在一些實施 例中，可以實現自底向上方式602(例如經由解壓縮引擎)，其中從最高編號層(即，第一可 丟棄性級圖片)開始識別圖片，然後進行到層的層次結構中相繼降序編號層中一個或多個 層的圖片。在一些實施例中，可以實現自頂向下方式604，其中從第一可抽取性級開始識別 圖片，然後進行到層的層次結構中相繼升序編號層中的圖片。在一些實施例中，可基於自底 向上方式602和自頂向下方式604的組合，實現混合方式606。
提供了關於層次結構層的背景和屬於各層的圖片的屬性，現在將注意力轉向通過 提供位圖相關信息顯式地標識給定層中圖片的系統和方法，所述位圖相關信息可包括一個 或多個位圖。位圖被斷言(assert)且被斷言的位圖被提供，其中每個位圖的比特(或字 段)被相繼排序以對應於視頻流的發送順序的相繼圖片的順序。可以從諸如上述的隨機訪 問點之類的給定起始點開始對可抽取的或所抽取的圖片進行解碼。位圖相關信息的其他目 的包括使能圖片的放棄(dropping)(例如，網絡流管理等)，可縮放性，等等。位圖不是在每 個圖片處提供的，但在一個實施例中，在每個隨機訪問點(RAP)處提供，有時在視頻流的其 他位置提供，這將在下文中進一步說明。如果針對屬於頂層的圖片提供了位圖，並且該位圖 的比特被排序以對應於發送順序的圖片，則可以順序地從RAP開始抽取圖片並將其解碼， 其中可保證所有圖片能被解碼並重建到其各自的希望的解壓縮版本。
在一個實施例中，在傳輸流中通知與層和位圖有關的位圖相關信息的存在，並且 提供了包含標誌的數據欄位以指示或斷言分別與一個或多個層相對應的一個或多個位圖 的存在。對位圖的處理可以使用「自頂向下」方式實現，從「頂層」(例如層1，圖5)開始抽 取圖片，或「自底向上」方式或「底層」圖片(例如層T，圖5)被丟棄。例如，數據欄位或標誌 可指示或斷言與一個或多個層相對應的各位圖的存在。各個位圖標識屬於相應層的圖片。 圖片可從與頂層或相繼的頂部層相對應的位圖識別出來，被抽取和解碼。或者，圖片可從與 底層或相繼的底部層相對應的位圖識別出來，被丟棄，並且視頻流中其餘的圖片被解碼。位 圖的經排序的比特中單個比特的第一值(例如「1」)將單個圖片斷言為屬於與該位圖相對 應的層。斷言標誌欄位中標誌的第一標誌值斷言相應位圖的存在。例如，可針對與底層相 對應的斷言標誌欄位的標誌或子欄位設置第一標誌值，以斷言與該底層相對應的單個位圖 的存在。關於底層的圖片是可丟棄的，並且當被丟棄時，導致視頻流中完全可重建到其希望 的解壓縮版本而不依靠所丟棄圖片的可解碼圖片。在一個實施例中，位圖相關信息、斷言標 志欄位和被相應的斷言標誌斷言為存在的位圖被設置在傳輸流中與RAP和跟該RAP相關聯 的圖片相對應的位置。注意，不是對每個圖片提供位圖相關信息的，但至少在每個RAP(例 如，用於容許頻道改變)和/或在視頻流中如本文中所描述的可允許的其他位置設置之。
在一個實施例中，還在視頻流中預先規定的圖片增量處設置位圖相關信息，例如 每16個圖片，每32個圖片等。
斷言標誌欄位和/或位圖的存在(即，位圖相關信息)是在傳輸流中通知的。換 言之，一具體消息承載位圖相關信息。也可以設置「通告」來警告在傳輸流中存在承載位圖 相關信息的具體消息。例如，可以通過PMT的ES信息循環，利用相應的具體通告來通告承 載位圖相關信息的具體消息。這種通告用於僅標識出該傳輸流包含承載位圖相關信息的具 體消息。在一個實施例中，該具體消息的格式可以經由被指派的消息標識(例如描述符標 籤)和相應的消息長度(例如標籤長度)。例如，一描述符標籤可向解碼器傳達特定類型 (例如對應於多個標籤值之一)的信息存在於傳輸流中。在一個示例中，假設了用於標誌斷 言的一個字節，並且在消息中存在三個被斷言存在的層，所斷言的層分別對應於三個各16 比特O字節)的位圖。因而，對應於位圖的6個字節(3個位圖X各2位元組)加上對應於 斷言標誌的一個字節構成了總共7個字節，作為所指示的消息有效載荷的長度。消息的有 效載荷跟在用於描述符標籤的第一欄位和用於長度的第二欄位之後。
圖7示出了斷言標誌欄位的示例，作為包含多個標誌或子欄位的數據結構700，揭 示了五個斷言標誌(例如各1比特)，其分別對應於五個層(從頂層Tl到底層TT或T5)。 數據結構可以是另一包含完整字節的欄位的一子欄位。應當理解在一些實現方式中可利用 更少或更多層，而且層優先級命名規則可以相反(例如Tl可以是底層，T5是頂層)。如上 所述，對圖片的標識可以是根據一種或多種方式的，包括自頂向下、自底向上，或混合方式。 在此示例中，頂層斷言標誌702和底層斷言標誌704各自被設置，因而當數據結構的相應斷 言比特中存在第一標誌值時，提供了相應的位圖706和708。
在一個實施例中，位圖706和708的長度是固定的(例如以字節或比特為單位， 例如16比特，或8的倍數，僅作為一個示例)，並且每個位圖與視頻流中發送順序的緊接在 前的圖片相關，包括位於視頻流中提供了位圖相關信息的位置或與這樣的位置相關聯的圖 片。在一些實施例中，位圖對應於視頻流的發送順序的緊接在後的圖片，包括位於視頻流中 提供了位圖相關信息的位置或與這樣的位置相關聯的圖片。在一個實施例中，位圖的長度 可以是預定的，例如每16個圖片或其他所定義的周期。即，不需要給出長度欄位，這是因為 位圖長度是預定的(並且各自具有相同的預定長度)。例如，如果針對一給定層斷言了一 比特，則相應位圖的長度是預定長度。雖然上面描述了每16個圖片的預定長度，但可使用 其他預定長度，例如每8個，M個，32個，以及其他數量的圖片。在一些實施例中，可經由長 度欄位(例如跟在數據結構700之後)顯式提供位圖的長度，或者作為數據700的用於位 圖長度的指定子欄位，並且在一個實施例中作為固定值提供，或者在其他實施例中長度可 以變化。例如，所提供的長度可應用於與所斷言的標誌相對應的每一個位圖。傳達長度的 單個值可應用於每個位圖。在一些實施例中，可傳達每個標誌每個位圖長度，作為數據結構 700的一部分。在一些實施例中，可利用一個或多個另外的數據結構，傳達針對各位圖的多 個長度。例如，如果可斷言總共8個標誌，並且這些標誌中的三個被斷言了，則在關於這三 個位圖的斷言標誌欄位之後提供三個長度。在一些實施例中，在斷言標誌欄位之後提供長 度。
位圖的長度(例如關於與所設置或斷言的標誌相對應的位圖的長度)影響編碼器 和解碼器的性能。例如，如果針對可丟棄圖片設置了位圖，則要解決的一個問題是該位圖是 否對應於流中先前的圖片(例如最近32個圖片)。如果編碼器提供了針對先前32個圖片 的位圖，則編碼器不需要造成延遲(雖然解碼器需要，但解碼器可以知道或被告知，針對這些圖片的位圖相關信息被提供在該流中將會跟隨所接收圖片之後很快到達的消息上)，這 是因為當圖片被從編碼器輸出時，圖片的類型被提示，並且可以在與從編碼器輸出32個圖 片的結尾相對應的時間提供位圖(例如四(4)字節位圖)。另一方面，如果由編碼器針對 接下來的32個圖片提供位圖，則位圖將與第一圖片的輸出一起提供(或在與第一圖片的輸 出相對應的時間提供)，因而在編碼器處造成了延遲(但是在解碼器處沒有或很少有延遲) 以處理32個圖片來使能位圖的提供。另外，給定MPEG-2傳輸分組中188個字節的約束，適 配欄位表示非有效載荷數據，導致隨著位圖長度增加而增加的開銷。因而，由於位圖長度是 在編碼器處造成的延遲與在解碼器處造成的延遲之間的折中，並且給定固定大小傳輸分組 的約束，因此確定位圖大小的方式是不在任一裝置處施加不必要的延遲或消費不必要的分 組長度。
一種示例性的數據結構可包括針對與層數(例如用作標誌的比特數，例如作為多 個示例中的一個示例，8的倍數)相對應的字節的無符號「char」的格式。在一些實施例中， 省略了層數，而代之以包含斷言標誌的一個或多個字節或數據欄位。一旦設置了斷言標誌， 在一個實施例中就存在用於在承載位圖相關信息的具體消息中提供相應位圖的預定順序。 例如，位圖可在斷言標誌欄位之後按從頂到底的層順序排序。在一些實施例中，它們可從底 層到頂層排序。
在自頂向下方式中，例如由DHCT 200來抽取頂層圖片以實現所抽取圖片的視頻 回放模式，解碼和輸出。在擁塞網絡中也可從視頻流抽取圖片，例如在路由器或交換機處或 由其他網絡處理元件來進行，從而以較低比特率提供視頻流的字序列。
作為另一示例，參照圖8，示出了數據結構800，其具有多個標誌欄位，其中設置了 (例如設為「1」或「開」)對應於頂層標誌802、第二層標誌804和最後層標誌806的比特。 因此，提供三個位圖(在此示例中，長度各為16比特，總共48比特)，即，對應於頂層標誌 802的頂層位圖808、對應於第二層標誌804的第二層位圖810，以及對應於底層標誌806的 底層位圖812。在一個實施例中，所建立的順序是從最重要(頂層)到最不重要的圖片(底 層)。從而，首先處理頂層位圖808，然後是第二層位圖810，然後是最後層位圖812。中間 標誌表示不關心狀況(例如設為0)，雖然在一些實施例中可被設置或斷言。
如圖8所示，對於先前16個圖片(或在一些實施例中對於後續16個圖片)存在 三個位圖(808、810和81 。如上所述，位圖是與單個圖片相關聯地提供的(而非針對傳輸 流中每個圖片提供)。然而，出現了一個恢復(resumption)的問題，例如對於接下來的16 個圖片要做什麼，這將在下文進一步描述。還要解決一個關聯方面的問題——如何將接下 來的16個圖片與位圖相關聯。如果用於接下來16個圖片的位圖在下一適配欄位中提供， 則延遲可能是不可接受的，並且所提供的信息可能不對應於與用於先前16個圖片相同的 標籤。此外，編碼器由於存在場景改變而改變了 I圖片的位置(例如MPEG-2中的GOP改變 了)，並且存在從第一視頻流到第二流的接合(splice)操作，正如當從視頻節目進入廣告 時一樣。另外，適配欄位是可選的，提供得太頻繁可能導致低效的壓縮。此外，如果在適配 欄位中放置了用於太多圖片的信息(以覆蓋先前的16個圖片及未來的圖片或用於太多的 圖片)則延遲太長了。
與解碼器需要找到位圖相關信息的能力的概念類似，解碼器需要有能力識別或關 聯與位圖相關信息相對應的圖片。在一個實施例中，該關聯是以預定方式(例如使用現有18的傳輸流機制)完成的。在一個實施例中，可使用起始碼來標識圖片開始的地方。例如，PES 分組中圖片的開始可與傳輸分組有效載荷的開始對準。因而，可標識圖片的開始以使能圖 片的抽取(以用於解碼或丟棄)。在一些實施例中，在傳輸級可獲得的信息使得能夠標識 圖片的開始。例如，對於承載視頻流的MPEG-2傳輸流分組，有效載荷單元起始指示符可利 用MPEG-2 PES分組的首個字節來標識傳輸流分組有效載荷何時開始。一旦在RAP處識別 了首個圖片的位置，則處理按發送順序依次基於位圖而繼續(例如位圖列表比特位置按發 送順序對應於圖片)。
參照圖8，位圖808對應於頂層圖片，並且在此示例中具有16比特的長度。位圖 810對應於層T2 (從頂部數的第二層)，並且也具有16比特的長度。位圖812對應於底層 (可丟棄)圖片，並且具有16比特的長度。各個位圖808、810和812的16比特對應於給 定圖片實例的16個圖片。注意，在位圖808中示出了 16個塊以表示16個圖片，其中虛線 代替了位圖810和812中這些塊當中的許多塊以表示同樣數量的塊或圖片。而且，注意僅 幾個塊被表示為設置了比特，理解為其他塊將會要麼被設置(例如1)或未設置(例如0)。 此外，注意如果在給定層中的比特被設置，則該比特將會對於相應位置在其他所有位圖中 為零。換言之，在位圖當中一個圖片僅能讓一個比特開啟最多一次，這是因為一個圖片僅能 對應於單個層。例如，位圖808的比特位置814(對應於第一圖片)被設置，而位圖810和 812的比特位置814是零。由於位圖808對應於頂層圖片(例如I、IDR、前向預測圖片)， 因此針對圖片之一(例如比特位置814所標識的第一圖片)設置的比特反映了如下事實 在其他層中未找到頂層圖片。類似地，與序列中第二圖片相對應的比特位置816針對位圖 810被設置，但對於位圖808和812中的相同位置是零。同樣，比特位置818針對位圖818 被設置，並且對於位圖808和810是零。
圖8還示出了在一些實施例中可以通過邏輯運算來完成對層圖片的抽取。例如， 採用自頂向下方式，頂部兩層808和810的比特位置可以經歷邏輯或運算，所產生的所抽取 的圖片具有如下的特性它們是可自解碼的(例如，滿足用於參考的所有圖片互相關性)。
另外，如果採用自底向上方式，則也可以確定哪些圖片是可自解碼的，即使提供了 單個位圖(例如位圖812)。例如，如果對底層位圖812的比特位置執行邏輯非，則結果是可 解碼的圖片(這是因為由底層位圖812的比特位置標識的圖片對應於可丟棄圖片)。
此外，如果斷言了對應於層次結構的倒數第二層的位圖，則可對底層和倒數第二 層執行邏輯或運算，並且可對邏輯或運算的結果執行邏輯非運算以揭示可自解碼圖片。
圖9A-9D是示出基於圖4A中的壓縮圖片的序列的示例位圖構造的框圖。在圖9A 中，頂層(Tl，使用圖5所示的慣例)位圖902被示為在與頂層圖片P9、P17和、相對應的 位置設置了比特(例如「1」)。注意，比特設定對應於圖片的發送順序。在一個實施例中， 編碼器(例如編碼器111)可排他地提供層1圖片。
圖9B是示出提供了與第二層(T2)圖片B5、B13和B21並設置了相應比特的另一位 圖904的框圖。注意，如上所述，在圖片排他地與一個給定層相關聯的情況下，比特不在不 同位圖當中針對相同的圖片被設置。
圖9C增加了與第三層CH)相對應的另一位圖906，在此示例中該T3也對應於倒 數第二重要的層(例如層(T-D)0如圖所示，設置了對應於T3圖片B3、B7、Bn、B15、B19和B23 的比特。
圖9D增加了另一位圖908，其中針對對應的可丟棄(層T)圖片Iv b4、b6、b8、b10、 b12、b14、b16、b18、l32(l和b22設置了比特。如上所述，圖片都沒有在多個位圖當中設置多於一個 的比特。
圖9E示出了一個實施例，其中位圖908是唯一所提供的位圖，輔助了對圖片的丟 棄(或如上所述，使用邏輯非運算輔助了對可解碼圖片的抽取)。
注意，雖然在AVC環境的上下文中說明了以上位圖，但想到了 MPEG-2視頻，具體而 言是MPEG-2視頻GOP處於本文中所公開的實施例的範圍之內。例如，與圖8和圖9中示出 的標誌欄位相似的標誌欄位可以斷言(設置)與頂層位圖和底層位圖相對應的比特。頂層 位圖可以針對I圖片和P圖片(按發送順序)設置比特位置，而底層位圖(可丟棄的B圖 片)具有相反的比特設定(例如頂位圖的異或)。
注意在一個實施例中，可以設置與頂層圖片的位圖相對應的一另外欄位，該欄位 表示在何點處(或在何點之後)圖片完全達到其希望的解壓縮版本。例如，如上所述，可在 適配欄位中使用一字節來傳達層數(數據結構或標誌欄位，例如圖8中的800)，並且可以使 用另一字節來傳達圖片中的何點處(例如，對應於一示例位圖的16個圖片)在解碼後人們 獲得了完全重建。這種欄位在如下情形中可能是有幫助的，例如在所述情形中，在達到完全 重建之前需要訪問第二 RAP。
上述的一個問題是關於位圖相關信息的恢復的。例如，由於位圖相關信息不是對 每個圖片提供的，而是關於一個圖片序列，因此出現了如下的問題對於隨後的圖片如何傳 播位圖處理。為了後續討論的目的，作出如下的假設位圖是16比特長(因而對應於16個 圖片)，但要理解可採用其他比特長度，固定或可變，預定或其他方式都可以。處理一般地 開始於RAP，因而在一個實施例中，在每個RAP處提供位圖。在一個實施例中，位圖總是在 RAP處提供。然而，這並不一定意味著SRAP將會每16個圖片地出現(例如，RAPS可以相 隔5秒或其他值)。在一些實施例中，每16個圖片地提供位圖(而不管第16個圖片是不 是RAP)，例如假設了 16比特的預定(或顯式地提供的)位圖長度對應於16個圖片。在一 些實施例中，位圖相關信息可以在先前的位圖相關信息仍活動時被提供，例如在預定圖片 長度期滿之前(例如在第16個圖片之前)設置了 RAP的時候。在一些實施例中，在先前的 位圖相關信息仍活動時(即，在預定圖片長度期滿之前)對位圖相關信息的提供導致「清 帳」(clean-slate)。換言之，假設新提供的位圖相關信息在與提供了上次位圖相關信息的 視頻流位置相關聯的圖片處生效。例如，如果位圖相關信息在第12個圖片處被提供，則與 比特位置12-16(或在一些實施例中，13-16)相對應的位圖的所有比特被忽略，並且對於接 下來的16個圖片(或在一些實施例中，對於其餘圖片)，採用最近到達的位圖相關信息。
在一些實施例中，可以施加如下的要求期滿前位圖僅在與頂層圖片相對應或關 聯的視頻流位置中提供，其中這種頂層圖片在活動位圖相關信息中用如下方式標識出來: 位圖中與頂層相對應的比特具有指示出圖片是頂層圖片的第一值。在一個替代實施例中， 位圖相關信息只有在與當前位圖相關信息中所標識的頂層圖片相對應的視頻流位置處才 能取代活動或當前的位圖相關信息。
在一個實施例中，對位圖相關信息的恢復總是跟與頂層相對應的活動位圖相關信 息中最後標識的圖片同時發生。此外，在此實施例中，在當前位圖相關信息期滿之後的圖片 處(在第16個圖片之後)，下一位圖相關信息可以變為活動的。在一些實施例中，一標誌可以利用第一和第二值來指示針對下一位圖相關信息的兩個激活點之一，要麼是在與當前位 圖相關信息相對應的圖片期滿處，要麼是在提供下一位圖相關信息的圖片(例如一頂層圖 片)處。
在一些實施例中，處理可以恢復，或者在一些實施例中，恢復可以發生在一不同的 位置。在一些實施例中，可以在期滿前引入(設置)一層。在這種情況下，一個實施例需要 聚合(aggregation)，而在一些實施例中，不採用聚合(例如，不隨機地聚合層)。一個實施 例可能需要有如下的要求對所有圖片的記帳(accounting)保持一致。在一些實施例中， 期滿前RAP導致位圖處理的期滿(例如，對間隙(gap)的容許)。因此，對位圖處理的恢復 或繼續可以根據這多種選項中的一種或多種而繼續。
在一些實施例中，包含斷言標誌欄位的數據結構還包含另外的比特或欄位，用於 傳達重複先前的(例如，剛剛期滿的)位圖，從而無須重傳位圖。例如，在一個實施例中，對 於層(例如5個層)使用了 5個比特，並且使用了第六比特用來表明重複功能。在一個實 施例中，採用了兩個其他比特，以用於四個位圖長度值(例如用於位圖中的字節數)，例如 如下
00 預設值(例如，用於16比特，雖然不限於此)
01 :8 比特
02 24 比特
03 32 比特
因此，存在預設值(上面用16比特來描述，但要理解在一些實施例中可使用其他 值)和三個替代值，在一個實施例中它們各為8比特的倍數。
在一些實施例中，斷言標誌欄位中N個連續比特被排序以表示針對可能的大於N 的層數，從頂層到底層的對應關係。當提供位圖相關信息時，任何一次最多斷言N-I個層。 這意味著N個比特中至少一個必須是不斷言針對層的位圖存在的第二值(例如等於「0」)。 根據層的層次結構屬性，具有第二值的比特的位置和針對位圖存在的斷言受限於以下條 件
1.頂層(即，其位圖的存在)僅在所有更低編號層也都被斷言的情況下才能被斷 言。因而，N比特當中對應於頂層的比特只有與所有更低編號層(如果有的話)相對應的 比特也具有第一值(例如，等於「1」)才能具有第一值。
2.底層僅在所有更高編號層也都被斷言的情況下才能被斷言。因而，N比特當中 對應於底層的比特只有與所有更高編號層(如果有的話)相對應的比特也具有第一值才能具有第一值。
3.由於層數大於N，因此必須總是有具有第二值的比特。如果斷言了頂部層和底 部層的任意組合，則在N比特值的N-2個中間(或中心)比特內必須有至少一個具有第二 值的比特。
在一些實現方式中，將哪個比特的分配設為零依賴於用來提供位圖相關信息的方 式。例如，在自頂向下方式中，除了底層比特之外，所有比特都可設置為1。類似地，如果實 現了自底向上方式，則除了頂層比特之外，所有比特都可設置為1。
在一些實施例中，用於通知重複在上一活動或所提供的位圖相關信息期間使用的 位圖相關信息的一種機制是使用未被允許的N比特的模式作為重複標誌。例如，如果N =5比特，則N比特的中間或中心比特可被設為第一值。因此，在一些實施例中，重複功能可以 通過非法模式來通知，該非法模式例如是關於最重要和最不重要比特的「邊緣」比特是零的 情況。
考慮如下的示例其中每個位圖長度是16比特，並且僅斷言(8個可能的層當中 的)5個層，其中N = 5。可以通過非法模式(例如00100，假設自底向上或自頂向下方式) 來通知重複功能。利用其他3比特，可以進行8種不同組合或排列。
在一些實施例中，位圖的長度可以從在承載位圖相關信息的具體消息中所傳達的 長度欄位的值暗示或得到。例如，可以通過如下方式得到位圖長度從該消息的長度欄位的 值減去一字節以計入斷言標誌，對斷言標誌欄位值的比特數(「B」)進行計數，然後除以B。
在一些實施例中，關於圖片互相關性的信息在無位圖的情況下提供。例如，所提供 的信息僅僅是一層斷言欄位(或當使用了多個字節時的一層斷言欄位)，其包括分別對應 於M個層的M個比特，其中M小於等於8。M個比特被排序以分別表示從頂層到底層的M個 層。M個比特中僅一個比特被允許具有第一值(等於「1」)以斷言針對對應圖片的層，該對 應圖片是視頻流中與傳輸分組的斷言標誌欄位的位置相關聯的圖片。例如，與上述類似，可 在MPEG-2傳輸分組的適配欄位中設置層斷言欄位，並且包含對應圖片的PES分組的頭部的 開始可以位於同一傳輸分組的有效載荷的開始。從而，可以針對單個圖片斷言層，但並非視 頻流中的所有圖片需要被斷言。例如，斷言屬於中間層的圖片可能是不希望或不必要的。在 一些實施例中，與RAP相關聯的圖片不需要利用層斷言字節被斷言，這是因為它可被假設 為屬於頂層，層1。在一些實施例中，當不需要層斷言字節來斷言RAP圖片的層時，層斷言字 節可表示與視頻流中下一層1圖片所位於的RAP圖片相距的圖片數。
在一些實施例中，指派層斷言字節的一比特來傳達頂層斷言或底層斷言。換言之， 第一值(例如「1」)斷言頂層斷言，第二值斷言底層斷言。M個已排序比特當中的單個比特 斷言針對該圖片的層。如果作出了頂層斷言，則M個已排序比特分別對應於M個底部層，從 底層開始。如果作出了頂層斷言，則M個已排序比特分別對應於M個頂部層，從頂層開始。
在另一實施例中，層斷言字節包含(1)用於傳達頂層或底層斷言的比特，分別對 應於M個層的M個比特(剛才描述過)，以及下一圖片欄位。該下一圖片欄位標識視頻流中 屬於層次結構中與針對當前圖片所斷言的層相同層的圖片的位置。如果下一圖片欄位等於 零，則其不標識圖片的位置。下一圖片欄位中的非零值對應於視頻流中按發送順序與當前 圖片相距的圖片數，並且從而標識出與當前圖片屬於同一層的下一圖片。
在一些實施例中，例如擴展到上面討論層斷言字節(或欄位)的實施例的實施例 中，當隔行視頻的圖片被編碼為兩個單獨的PES分組中的兩個場時，層斷言字節(或等同 地，層斷言欄位)的一比特可以分別利用兩個值標識出該場是底部場還是頂部場。在一些 實施例中，另一欄位可以標識出與正被斷言為屬於一層的當前圖片相對應的場的相對位置 (例如，通過與當前場相距的場數)。
注意，本文中描述的某些實施例包括駐留於一個或多個位置，包括DHCT、網絡裝置 等的功能，後者可能由於網絡擁塞而丟棄圖片，因而保留(一個或多個)頂部層圖片，如果 這種設備的邏輯「知道」如下事實保證非頂層圖片可以被丟棄且保證頂層(無論它是哪個 層「η」)在所有層η及以上圖片被保留的情況下是可自解碼的。另外，在一些實施例中，這 種網絡設備中的邏輯可以執行本文中描述的確定方法，因而不再需要DHCT中的編碼功能來執行這種功能。
雖然關於「圖片」描述了操作，但可以類似地使用其他任何數據集合，例如圖片群 組，塊，宏塊，片段或其他圖片部分，等等。
可使用任何合適的程式語言來實現特定實施例的例程，包括C、C++、Java、彙編語 言，等等。可採用不同編程技術，例如面向過程的或面向對象的。例程可以在單個處理裝置 或多個處理器上執行。雖然可以按具體順序提供步驟、操作或計算，但該順序可以在一些實 施例中改變。在一些實施例中，在本說明書中示為順序的多個步驟可以同時執行。本文中 描述的操作序列可被另一進程，例如作業系統，內核等中斷、掛起，或以其他方式控制。例程 可以在作業系統環境中運行或作為單獨例程運行，其佔據系統處理的所有或重要部分。可 以在硬體、軟體或二者組合中執行功能。
在本文中的描述中，提供了許多具體細節，例如組件和/或方法的示例，以提供對 特定實施例的透徹理解。但本領域普通技術人員將認識到，特定實施例沒有這些具體細節 中的一個或多個，或利用其他設備、系統、組件、方法、部件、材料、部分等等來實現。在其他 實例中，沒有具體詳細示出或描述公知的結構、材料或操作，以免模糊特定實施例的方面。
特定實施例可以使用被編程的通用數字計算機、通過使用專用集成電路、可編程 邏輯器件、現場可編程門陣列、光、化學、生物、量子或納米工程系統、組件和機構來實現。一 般而言，特定實施例的功能可通過本領域公知的任意手段來實現。可以使用分布式聯網的 系統、組件和/或電路。數據的通信或傳送可以是有線的、無線的，或通過其他任何手段。
所說明的特定實施例的前述描述，包括在摘要中所描述的內容不希望是窮舉的或 將公開內容限制為本文中所公開的精確形式。各種等同修改的具體特定實施例在本領域技 術人員將會認識和明白的精神和範圍內是可能的。如上所述，考慮到前述對所說明特定實 施例的描述可以對本發明的系統和方法進行這些修改，它們應包括在公開內容的範圍內。
從而，儘管本文中參考特定實施例描述了各種系統和方法，但前述公開內容希望 包含多種修改、各種改變和替換，並且應認識到，在一些實例中，特定實施例的某些特徵可 以被採用而沒有相應的其他特徵的採用，這不會脫離所闡述的公開內容的範圍。因此，可以 作出許多修改以使特定情形或材料適用於公開內容的實質範圍。希望各種實施例不限於所 附權利要求書中使用的特定術語和/或作為想到的實施系統和方法的最佳模式而公開的 特定實施例，而是某些實施例將包含落入所附權利要求範圍內的任意和所有的特定實施例 和等同物。
權利要求
1.一種方法，包括提供視頻流，其中該視頻流中的相繼圖片是按發送順序提供的；以及提供多個標誌的第一實例，所述多個標誌分別與多個圖片互相關性層相關聯，其中多 個所提供的所述標誌中的任何標誌的第一標誌值斷言對應於與該標誌相關聯的圖片互相 關性層的欄位的存在。
2.如權利要求1所述的方法，還包括提供第一組欄位，其中所述第一組欄位中所提供的欄位的數量對應於所述第一實例中 具有所述第一標誌值的多個所提供標誌的數量，其中所述第一組欄位與所述視頻流中第一 組多個相繼圖片(FP0SPITVQ相關聯，其中所述第一組欄位中每個欄位分別對應於一相應 的圖片互相關性層，其中所述第一組欄位的每個欄位包括已排序的子欄位，其中所述第一 組欄位的每個欄位中所述已排序的子欄位中的第一子欄位對應於所述FP0SPITVS按發送 順序的第一圖片，其中所述第一組欄位的每個欄位中所述第一子欄位之後的每個相繼的已 排序子欄位分別對應於所述FP0SPITVS的第一圖片之後按發送順序的每個相繼圖片，並且 其中所述FP0SPITVS中的每個相繼圖片由所述第一組欄位中至多一個相應的已排序子字 段標識。
3.如權利要求2所述的方法，還包括在所述FP0SPITVS之後，在所述視頻流中提供第二組多個相繼圖片(SP0SPITVS)，其中 所述SP0SPITVS的第一所提供圖片是在所述FP0SPITVS的最後所提供圖片之後提供的。
4.如權利要求3所述的方法，還包括提供所述多個標誌的第二實例。
5.如權利要求4所述的方法，還包括提供第二組欄位，其中所述第二組欄位中所提供 欄位的數量對應於具有所述第一標誌值的多個所提供標誌的數量；提供與所述SP0SPITVS 相關聯的第二組欄位，其中所述第二組多個欄位中的每個欄位分別對應於一圖片互相關性 層，其中所述第二組多個欄位的每個欄位包括已排序的子欄位，其中所述第二組多個欄位 的每個欄位中所述已排序的子欄位中的第一子欄位對應於所述SP0SPITVS按發送順序的 第一圖片，其中所述第二組多個欄位的每個欄位中所述第一子欄位之後的每個相繼的已排 序子欄位分別對應於所述SP0SPITVS的第一圖片之後按發送順序的每個相繼圖片，並且其 中所述SP0SPITVS中的每個相繼圖片由所述第二組多個欄位中相應的多個已排序子欄位 中至多一個子欄位標識。
6.一種方法，包括接收視頻流；以及處理壓縮視頻和標識與各互相關性層相對應的圖片的信息。
7.如權利要求6所述的方法，其中接收視頻流還包括接收標識所述視頻流中圖片的信 息，其中所述圖片包括壓縮圖片。
8.如權利要求7所述的方法，還包括從所述視頻流中抽取所標識的圖片中的一個或多 個圖片。
9.一種方法，包括提供視頻流；以及提供標識與各圖片互相關性層相對應的所述視頻流中壓縮圖片的信息。
全文摘要
在一個實施例中，一種方法包括提供視頻流；以及提供標識與各圖片互相關性層相對應的所述視頻流中壓縮圖片的信息。
文檔編號H04N7/50GK102037731SQ200980118689
公開日2011年4月27日 申請日期2009年5月18日 優先權日2008年5月21日
發明者班傑明·M·庫克, 阿圖羅·A·羅德裡谷茲 申請人:思科技術公司