在視頻解碼中的低延遲視頻緩衝的製作方法

2023-05-12 15:39:26 2

在視頻解碼中的低延遲視頻緩衝的製作方法
【專利摘要】作為一個實例，一種解碼視頻數據的方法包括將視頻數據的一或多個解碼單元存儲在圖片緩衝器中。所述方法進一步包括獲得用於所述一或多個解碼單元的相應緩衝器移除時間，其中獲得所述相應緩衝器移除時間包含接收指示用於所述解碼單元中的至少一者的所述相應緩衝器移除時間的相應發信值。所述方法進一步包括根據用於所述解碼單元中的每一者的所述所獲得緩衝器移除時間而從所述圖片緩衝器移除所述解碼單元。所述方法進一步包括解碼對應於所述經移除解碼單元的視頻數據，其中解碼所述視頻數據包含解碼所述解碼單元中的所述至少一者。
【專利說明】在視頻解碼中的低延遲視頻緩衝
[0001] 本申請案主張2012年4月4日申請的美國臨時申請案第61/620,266號及2012 年5月1日申請的美國臨時申請案第61/641,063號的權利，所述臨時申請案中的每一者的 全部內容是以引用方式併入本文中。

【技術領域】
[0002] 本發明是關於視頻解碼。

【背景技術】
[0003] 數字視頻能力可併入到廣泛範圍的裝置中，所述裝置包括數位電視、數字直播系 統、無線廣播系統、個人數字助理（PDA)、可攜式或臺式計算機、數字相機、數字記錄裝置、數 字媒體播放器、視頻遊戲裝置、視頻遊戲控制臺、蜂窩或衛星無線電話、視頻電話會議裝置， 及其類似者。視頻解碼標準包括ITU-T H. 261、IS0/IEC MPEG-lVisual、ITU-T H. 262或ISO/ IEC MPEG-2Visual、ITU-T H.263、IS0/IEC MPEG-4 Visual，及 ITU-T Η· 264(也被稱為 ISO/ IEC MPEG-4 AVC)，包括其可縮放視頻解碼（SVC)及多視圖視頻解碼（MVC)擴展。另外，高效 率視頻解碼（HEVC)為由ITU-T視頻解碼專家組（VCEG)及IS0/IEC運動圖片專家組（MPEG) 的研究視頻解碼的聯合協作小組（JCT-VC)開發的視頻解碼標準。被稱為"HEVC工作草稿6" 或"HEVC WD6"的即將到來的HEVC標準的新近草稿被描述在Bross等人的文檔JCTVC-H1003 的"High efficiency video coding (HEVC) text specification draft 6"（ITU-T SG16WP3 及 IS0/IEC JTC1/SC29/WG11的研究視頻解碼的聯合協作小組（JCT-VC)，第8次會議：美國加 利福尼亞聖荷西，2012年2月）中，到2012年5月1日為止，所述文檔可從http://phenix. int-evry. fr/jct/doc_end_user/documents/8_San% 20Jose/wgll/JCTVC-H1003-v22. zip 處下載。
[0004] 視頻壓縮技術執行空間預測及/或時間預測以縮減或移除為視頻序列所固有的 冗餘。對於基於塊的視頻解碼，可將視頻幀或切片分割成若干宏塊。可進一步分割每一宏 塊。使用關於相鄰宏塊的空間預測來編碼經幀內解碼（I)幀或切片中的宏塊。經幀間解碼 (P或B)幀或切片中的宏塊可使用關於所述同一幀或切片中的相鄰宏塊的空間預測，或關 於其它參考幀的時間預測。


【發明內容】

[0005] 大體上，本發明描述用以以可互操作方式實現縮減編碼解碼器延遲的各種技術。 在一個實例中，這些技術可經由一般的基於子圖片的經解碼圖片緩衝器（CPB)行為而實 現。
[0006] 在一個實例中，一種解碼視頻數據的方法包括將視頻數據的一或多個解碼單元存 儲在圖片緩衝器中。所述方法進一步包括獲得用於所述一或多個解碼單元的相應緩衝器移 除時間，其中獲得所述相應緩衝器移除時間包含接收指示用於所述解碼單元中的至少一者 的所述相應緩衝器移除時間的相應發信值。所述方法進一步包括根據用於所述解碼單元中 的每一者的所述所獲得緩衝器移除時間而從所述圖片緩衝器移除所述解碼單元。所述方法 進一步包括解碼對應於所述經移除解碼單元的視頻數據，其中解碼所述視頻數據包含解碼 所述解碼單元中的所述至少一者。
[0007] 在另一實例中，一種用於解碼視頻數據的裝置經配置以將視頻數據的一或多個解 碼單元存儲在圖片緩衝器中。所述裝置經進一步配置以獲得用於所述一或多個解碼單元的 相應緩衝器移除時間，其中獲得所述相應緩衝器移除時間包含接收指示用於所述解碼單元 中的至少一者的所述相應緩衝器移除時間的相應發信值。所述裝置經進一步配置以根據用 於所述解碼單元中的每一者的所述所獲得緩衝器移除時間而從所述圖片緩衝器移除所述 解碼單元。所述裝置經進一步配置以解碼對應於所述經移除解碼單元的視頻數據，其中譯 碼所述視頻數據包含解碼所述解碼單元中的所述至少一者。
[0008] 在另一實例中，一種用於解碼視頻數據的設備包括用於將視頻數據的一或多個解 碼單元存儲在圖片緩衝器中的裝置。所述設備進一步包括用於獲得用於所述一或多個解碼 單元的相應緩衝器移除時間的裝置，其中獲得所述相應緩衝器移除時間包含接收指示用於 所述解碼單元中的至少一者的所述相應緩衝器移除時間的相應發信值。所述設備進一步包 括用於根據用於所述解碼單元中的每一者的所述所獲得緩衝器移除時間而從所述圖片緩 衝器移除所述解碼單元的裝置。所述設備進一步包括用於解碼對應於所述經移除解碼單元 的視頻數據的裝置，其中解碼所述視頻數據包含解碼所述解碼單元中的所述至少一者。
[0009] 在另一實例中，一種計算機可讀存儲媒體包含存儲在其上的指令，所述指令在執 行時使處理器將視頻數據的一或多個解碼單元存儲在圖片緩衝器中。所述指令進一步使處 理器獲得用於所述一或多個解碼單元的相應緩衝器移除時間，其中獲得所述相應緩衝器移 除時間包含接收指示用於所述解碼單元中的至少一者的所述相應緩衝器移除時間的相應 發信值。所述指令進一步使處理器根據用於所述解碼單元中的每一者的所述所獲得緩衝器 移除時間而從所述圖片緩衝器移除所述解碼單元。所述指令進一步使處理器解碼對應於所 述經移除解碼單元的視頻數據，其中解碼所述視頻數據包含解碼所述解碼單元中的所述至 少一者。
[0010] 在另一實例中，一種方法包括根據多個視頻可用性信息（VUI)參數中的至少一者 來處理視頻數據。所述多個WI參數包括子圖片經解碼圖片緩衝器（CPB)參數存在旗標 (sub_pic_cpb_params_present_f lag)，所述子圖片CPB參數存在旗標指示子圖片CPB參數 的存在。所述多個WI參數進一步包括補充增強信息（SEI)消息，所述SEI消息包括以下各 者中的至少一者：指示在到達時間與移除時間之間針對第SchedSelldx個CPB的延遲的語 法元素（initial_du_cpb_removal_delay)，其中所述到達時間為與存取單元中的第一解碼 單元相關聯的經解碼數據的第一位進入經解碼圖片緩衝器（CPB)的到達時間，所述存取單 元是與緩衝周期SEI消息相關聯，且所述移除時間為針對在假設參考解碼器（HRD)初始化 之後的第一緩衝周期與所述第一解碼單元相關聯的所述經解碼數據離開所述CPB的移除 時間；及結合指示CPB移除延遲（ Cpb_rem〇Val_delay)的語法元素而指示偏移的語法元素 (initial_du_cpb_removal_delay_offset)，所述偏移是使所述第 SchedSelldx 個 CPB 指定 所述第一解碼單元到所述CPB的初始傳遞時間。所述多個WI參數進一步包括SEI消息， 所述SEI消息包括：指示網絡存取層（NAL)單元的數目的至少一個語法元素（num_nalu S_ in_du_minusl)，其中所述數目為在與圖片計時SEI消息相關聯的所述存取單元的對應第i 解碼單元中的網絡存取層（NAL)單元的數目；及指定時鐘計時周期的數目的語法元素（du_ cpb_removal_delay)，其中所述數目為在從所述CPB移除所述存取單元中的與所述圖片計 時SEI消息相關聯的所述對應第i解碼單元之前在所述存取單元中的與前一存取單元中的 最近緩衝周期SEI消息相關聯的所述第一解碼單元從所述CPB的移除之後將等待的時鐘計 時周期的數目。
[0011] 在隨附圖式及以下描述中闡述一或多個實例的細節。其它特徵、目標及優點將從 所述描述及所述圖式以及從權利要求書變得顯而易見。

【專利附圖】

【附圖說明】
[0012] 圖1為根據本發明的技術的說明可利用用於對視頻塊之間的邊緣進行去塊的技 術的實例視頻編碼及解碼系統的框圖。
[0013] 圖2為根據本發明的技術的說明可實施用於對視頻塊之間的邊緣進行去塊的技 術的視頻編碼器的實例的框圖。
[0014] 圖3為根據本發明的技術的說明解碼經編碼視頻序列的視頻解碼器的實例的框 圖。
[0015] 圖4為說明可實施本發明的技術中的任一者或全部的實例目的地裝置的框圖。 [0016] 圖5為根據本發明的技術的說明包括根據所獲得緩衝器移除時間而從圖片緩衝 器移除視頻數據的解碼單元的實例方法的流程圖。
[0017] 圖6為根據本發明的技術的說明包括根據所獲得緩衝器移除時間而從圖片緩衝 器移除視頻數據的解碼單元的另一實例方法的流程圖。
[0018] 圖7為根據本發明的技術的說明處理視頻數據的另一實例方法的流程圖，所述方 法包括在提高進程中輸出經剪裁圖片。

【具體實施方式】
[0019] 視頻應用程式可包括本地播放、流式處理、廣播/多播及交談應用程式。交談應用 程序可包括視頻電話及視頻會議，且也被稱為低延遲應用程式。交談應用程式需要全部系 統的相對低的端對端延遲，即，視頻幀被捕獲時的時間與視頻幀被顯示時的時間之間的延 遲。通常，針對交談應用程式的可接受的端對端延遲應小於400毫秒（ms)，且大約150ms的 端對端延遲可被視為極好。每一處理步驟可促成整體端對端延遲，例如，捕獲延遲、預處理 延遲、編碼延遲、傳輸延遲、接收緩衝延遲（針對去抖動）、解碼延遲、經解碼圖片輸出延遲、 後處理延遲，及顯示延遲。因此，通常，編碼解碼器延遲（編碼延遲、解碼延遲及經解碼圖片 輸出延遲）在交談應用程式中應最小化。特別地，解碼結構應確保圖片的解碼順序與輸出 順序完全相同，使得經解碼圖片輸出延遲等於零。
[0020] 視頻解碼標準可包括視頻緩衝模型的規範。在AVC及HEVC中，緩衝模型被稱為假 設參考解碼器（HRD)，其包括經解碼圖片緩衝器（CPB)及經解碼圖片緩衝器（DPB)兩者的緩 衝模型，且CPB行為及DPB行為是以數學方式指定。HRD對不同計時、緩衝器大小及位速率 直接強加約束，且對位流特性及統計間接強加約束。HRD參數的完整集合包括五個基本參 數：初始CPB移除延遲、CPB大小、位速率、初始DPB輸出延遲，及DPB大小。
[0021] 在AVC及HEVC中，作為HRD規範的部分，指定位流一致性及解碼器一致性。儘管 HRD被命名為一種類型的解碼器，但通常在編碼器側處需要HRD以保證位流一致性，而在解 碼器側處通常不需要HRD。指定兩種類型的位流或HRD -致性，S卩，Type I及Type II。同 樣地，指定兩種類型的解碼器一致性：輸出計時解碼器一致性及輸出順序解碼器一致性。
[0022] 在AVC及HEVC HRD模型中，解碼或CPB移除是基於存取單元，且假設圖片解碼瞬 時。在實際應用中，如果一致解碼器嚴格地遵循（例如）在圖片計時補充增強信息（SEI) 消息中發信的解碼時間以開始存取單元的解碼，那麼輸出特定經解碼圖片的最早可能時間 等於那個特定圖片的解碼時間加解碼那個特定圖片所需要的時間。不同於AVC及HEVC HRD 模型，在現實世界中解碼圖片所需要的時間不等於零。如貫穿本發明所使用的術語"瞬時" 及"瞬時地"可指可在一或多個解碼模型或任何一或多個解碼模型的理想化方面中被假設 為瞬時的任何持續時間，其中應理解，這種情形可不同於在物理或文本意義上"瞬時"。舉例 來說，出於本發明的目的，如果函數或進程發生在針對所述待執行函數或進程的假設或理 想化最早可能時間的實際邊限時或內，那麼所述函數或進程可被視為名義上"瞬時"。在一 些實例中，如本文所使用的語法及變量名稱可根據其在HEVC模型內的含義加以理解。
[0023] 基於子圖片的 CPB行為是在Kazui 等人的"Enhancement on operation of coded picture buffer"（ITU-T SG16WP3 及 IS0/IEC JTC1/SC29/WG11 的研究視頻解碼的聯合協 作小組（JCT-VC)，第 7 次會議：日內瓦，CH 21-30,2011 年 11 月，JCTVC-G188(可在 http:// phenix. int-evry. fr/jct/doc_end_user/documents/7_Geneva/wgll/JCTVC-G188-v2. zip 處得到））中被提出，以便以可互操作方式實現一個以下圖片周期的解碼延遲。可如下匯總 JCTVC-G188方法：可將圖片均勻地劃分成Μ個樹塊組，S卩，所述圖片的樹塊光柵掃描中的第 一 Μ個樹塊屬於第一樹塊組，所述圖片的樹塊光柵掃描中的第二Μ個樹塊屬於第二樹塊組， 等等。值Μ可在緩衝周期SEI消息中被發信。這個值可用以導出每一樹塊組的CPB移除時 間（即，解碼時間）。在這種意義上，JCTVC-G188CPB行為是基於子圖片，其中每一子圖片 為樹塊組。在一些實例中，子圖片可對應於一或多個切片、一或多個波（用於圖片的波前分 割），或一或多個圖像塊。在JCTVC-G188的這種方法中假設存取單元級別CPB移除時間照 常被發信（使用圖片計時SEI消息），且在每一存取單元內，用於樹塊組的CPB移除時間被 假設為線性地或均勻地劃分從上一存取單元的CPB移除時間到當前存取單元的CPB移除時 間的間隔。
[0024] JCTVC-G188的這種方法進一步暗示以下假設或位流要求：（1)在每一圖片內，每 一樹塊組是以需要相同量的解碼時間的方式被編碼（不僅在HRD模型中，而且針對現實世 界解碼器），其中第一樹塊組的經解碼數據被視為包括在同一存取單元中且在第一 VCL (視 頻解碼層）NAL(網絡抽象層）單元之前的所有非VCL NAL單元；（2)在每一圖片內，用於每 一樹塊組的位的數目完全相同，其中第一樹塊組的經解碼數據被視為包括在同一存取單元 中且在第一 VCL NAL單元之前的所有非VCL NAL單元。
[0025] 用於指定基於子圖片的CPB行為的現有方法是與至少以下問題相關聯：（1)用於 經解碼圖片中的每一樹塊組的經解碼數據的量完全相同的要求難以用平衡的解碼性能而 實現（其中圖片中具有更詳細紋理或運動活動的區域的樹塊組可使用更多位）。（2)當一 個以上樹塊組包括在切片中時，可不存在容易的方式來拆分屬於不同樹塊組的樹塊的經譯 碼位，及在編碼器側處單獨地發送所述位且從CPB單獨地移除所述位（S卩，單獨地解碼所述 位）。
[0026] 為了解決以上問題，本發明用各種替代例來描述用於支持基於子圖片的CPB行為 的一般設計。在一些實例中，本發明的基於子圖片的CPB技術的特徵可包括以下技術的方 面：（1)每一子圖片可包括在解碼順序方面連續的經解碼圖片的數個解碼塊。解碼塊可完 全相同於樹塊，或樹塊的子集；(2)可照常執行子圖片的解碼及位到圖片中的不同子圖片 的分配，而不假設或要求用相同量的位來解碼一個圖片中的每一子圖片（即，樹塊組）。因 此，用於每一子圖片的CPB移除時間可在位流中被發信，而非根據經發信圖片級別CPB移除 時間而導出；（3)當一個以上子圖片包括在切片中時，可在每一子圖片結束時應用字節對 準，這與（例如）用於HEVC WD6中的圖像塊的字節對準形成對比。此外，每一子圖片（惟 經解碼圖片中的第一子圖片除外）的入口點可被發信，這與（例如）用於HEVC WD6中的圖 像塊的字節對準形成對比。舉例來說，經接收發信值可指示在視頻數據的較大集合（諸如， 切片、圖像塊或幀）內的子圖片中的至少一者的字節對準。特徵（1)到（3)中的每一者可 被獨立地應用或結合其它特徵而應用。
[0027] 在一個實例中，可如下匯總包括基於子圖片的CPB行為的HRD操作：當發信指示基 於子圖片的CPB行為在使用中時（例如，經由等於1的語法元素 sub_piC_Cpb_flag的序列 級別發信），CPB移除或解碼是基於子圖片，或等效地，是基於解碼單元，解碼單元可為存取 單元或存取單元的子集。換言之，每當從CPB移除解碼單元（無論是存取單元還是存取單 元的子集）以供解碼時，就可從經發信初始CPB移除延遲及針對解碼單元而發信的CPB移 除延遲導出解碼單元離開CPB的移除時間。CPB下溢被指定為如下條件：對於m的任何值， 解碼單元m的名義CPB移除時間'^!!!)小於解碼單元m的最終CPB移除時間t af(m)。在一 個實例中，當語法元素 l〇w_delay_hrd_flag等於0時，要求CPB永不下溢。
[0028] 在一個實例中，DPB輸出及移除進程可仍在圖片級別或存取單元級別處操作，即， 每當從DPB輸出或移除整個經解碼圖片時。經解碼圖片從DPB的移除可在存取單元η (含 有當前圖片）的第一解碼單元的CPB移除時間瞬時地發生。
[0029] 圖1為說明可利用尤其用於以下操作的技術的實例視頻編碼及解碼系統10的框 圖：將視頻數據的一或多個解碼單元存儲在圖片緩衝器中；獲得用於一或多個解碼單元的 相應緩衝器移除時間；根據用於解碼單元中的每一者的所獲得緩衝器移除時間而從圖片緩 衝器移除解碼單元；及解碼對應於經移除解碼單元的視頻數據。
[0030] 如圖1所示，系統10包括源裝置12,源裝置12經由通信信道16而將經編碼視頻 傳輸到目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍的裝置中的任一者。在 一些狀況下，源裝置12及目的地裝置14可包含無線通信裝置，諸如，無線手機、所謂的蜂窩 或衛星無線電話，或可經由通信信道16而傳達視頻信息的任何無線裝置，在這種狀況下， 通信信道16是無線的。然而，本發明的技術未必限於無線應用或設置。舉例來說，這些技 術可應用於空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路視頻傳輸、編碼到存儲媒 體上的經編碼數字視頻，或其它情境。因此，通信信道16可包含適合於經編碼視頻數據的 傳輸或存儲的無線媒體、有線媒體或存儲媒體的任何組合。
[0031] 替代地，經編碼數據可從傳輸器24輸出到存儲裝置34。相似地，經編碼數據可由 接收器26從存儲裝置34存取。存儲裝置34可包括多種分布式或本地存取式數據存儲媒 體中的任一者，諸如，硬碟驅動器、藍光光碟、DVD、CD-ROM、閃速存儲器、易失性或非易失性 存儲器，或用於存儲經編碼視頻數據的任何其它合適數字存儲媒體。在另外實例中，存儲裝 置34可對應於文件伺服器、虛擬伺服器、數據中心、數據中心的冗餘網絡，或可保持由源裝 置12產生的經編碼視頻的另一中間存儲裝置。目的地裝置14可經由流式處理或下載而從 存儲裝置34存取經存儲視頻數據。存儲裝置34或其部分的文件伺服器實施可為能夠存儲 經編碼視頻數據且將那個經編碼視頻數據傳輸到目的地裝置14的任何伺服器類型。實例 文件伺服器包括web伺服器（例如，用於網站）、FTP伺服器、網絡連接存儲（NAS)裝置，或 本地磁碟驅動器。目的地裝置14可經由包括網際網路連接的任何標準數據連接而存取經編 碼視頻數據。這種連接可包括適合於存取存儲在遠程或非本地存儲裝置34上的經編碼視 頻數據的無線信道（例如，Wi-Fi連接）、有線連接（例如，DSL、電纜數據機，等等），或 這兩者的組合。經編碼視頻數據從存儲裝置34的傳輸可為流式處理傳輸、下載傳輸，或這 兩者的組合。
[0032] 在圖1的實例中，源裝置12包括視頻源18、視頻編碼器20、調製器/解調器（調 制解調器）22及傳輸器24。目的地裝置14包括接收器26、數據機28、視頻解碼器30 及顯示裝置32。根據本發明，源裝置12的視頻編碼器20可經配置以應用尤其用於以下操 作的技術：將視頻數據的一或多個解碼單元存儲在圖片緩衝器中；獲得用於一或多個解碼 單元的相應緩衝器移除時間；根據用於解碼單元中的每一者的所獲得緩衝器移除時間而從 圖片緩衝器移除解碼單元；及解碼對應於經移除解碼單元的視頻數據。在其它實例中，源裝 置及目的地裝置可包括其它組件或排列。舉例來說，源裝置12可從外部視頻源（諸如，夕卜 部相機）而非整合式視頻源18接收視頻數據。同樣地，目的地裝置14可與外部顯示裝置 界接，而非包括整合式顯示裝置32。
[0033] 圖1的所說明系統10僅僅為一個實例。用於以下操作的技術可由任何數字視頻 編碼及/或解碼裝置執行：將視頻數據的一或多個解碼單元存儲在圖片緩衝器中；獲得用 於一或多個解碼單元的相應緩衝器移除時間；根據用於解碼單元中的每一者的所獲得緩衝 器移除時間而從圖片緩衝器移除解碼單元；及解碼對應於經移除解碼單元的視頻數據。盡 管本發明的技術通常是由視頻編碼裝置執行，但所述技術也可由通常被稱為"CODEC"的視 頻編碼器/解碼器執行。此外，本發明的技術也可由視頻預處理器執行。源裝置12及目的 地裝置14僅僅為這些解碼裝置的實例，其中源裝置12產生經解碼視頻數據以供傳輸到目 的地裝置14。在一些實例中，裝置12、14可以大體上對稱方式而操作，使得裝置12、14中的 每一者包括視頻編碼及解碼組件。因此，系統10可支持視頻裝置12、14之間的單向或雙向 視頻傳輸，例如，用於視頻流式處理、視頻播放、視頻廣播或視頻電話。
[0034] 源裝置12的視頻源18可包括諸如攝像機的視頻捕獲裝置、含有經以前捕獲視頻 的視頻存檔，及/或來自視頻內容提供者的視頻饋送。作為另外替代例，視頻源18可產生 基於計算機圖形的數據作為源視頻，或實況視頻、經存檔視頻與經計算機產生視頻的組合。 在一些狀況下，如果視頻源18為攝像機，那麼源裝置12及目的地裝置14可形成所謂的相 機電話或視頻電話。然而，如上文所提及，本發明所描述的技術大體上可適用於視頻解碼， 且可應用於無線及/或有線應用。在每一狀況下，經捕獲、經預捕獲或經計算機產生視頻可 由視頻編碼器20編碼。經編碼視頻信息接著可由數據機22根據通信標準而調製，且 經由傳輸器24而傳輸到目的地裝置14。數據機22可包括各種混頻器、濾波器、放大 器，或經設計用於信號調製的其它組件。傳輸器24可包括經設計用於傳輸數據的電路，包 括放大器、濾波器及一或多個天線。
[0035] 目的地裝置14的接收器26經由信道16而接收信息，且數據機28解調所述 信息。同樣地，視頻編碼進程可實施本文所描述的技術中的一或多者，尤其以將視頻數據 的一或多個解碼單元存儲在圖片緩衝器中、獲得用於一或多個解碼單元的相應緩衝器移除 時間、根據用於解碼單元中的每一者的所獲得緩衝器移除時間而從圖片緩衝器移除解碼單 元，且解碼對應於經移除解碼單元的視頻數據。經由信道16而傳達的信息可包括由視頻編 碼器20定義的語法信息，所述語法信息也可由視頻解碼器30使用，其包括描述宏塊、解碼 樹單元、切片及其它經解碼單元（例如，圖片組（G0P))的特性及/或處理的語法元素。顯 示裝置32向用戶顯示經解碼視頻數據，且可包含多種顯示裝置中的任一者，諸如，陰極射 線管（CRT)、液晶顯示器（LCD)、等離子顯示器、有機發光二極體（0LED)顯示器，或另一類型 的顯示裝置。
[0036] 在圖1的實例中，通信信道16可包含任何無線或有線通信媒體，諸如，射頻（RF) 頻譜或一或多個物理傳輸線，或無線媒體與有線媒體的任何組合。通信信道16可形成基於 數據包的網絡的部分，諸如，區域網、廣域網，或諸如網際網路的全局網絡。通信信道16通常 表示用於將視頻數據從源裝置12傳輸到目的地裝置14的任何合適通信媒體或不同通信媒 體的集合，包括有線或無線媒體的任何合適組合。通信信道16可包括路由器、交換機、基 站，或可用以促進從源裝置12到目的地裝置14的通信的任何其它設備。在其它實例中，源 裝置12可將經編碼數據存儲到存儲媒體上，諸如，存儲在存儲裝置24中，而非傳輸所述數 據。同樣地，目的地裝置14可經配置以從存儲裝置24或另一存儲媒體或裝置檢索經編碼 數據。
[0037] 視頻編碼器20及視頻解碼器30可根據諸如本文所描述的標準的視頻壓縮標準 而操作。然而，本發明的技術不限於任何特定解碼標準。儘管圖1中未圖示，但在一些方 面中，視頻編碼器20及視頻解碼器30可各自與音頻編碼器及解碼器整合，且可包括適當 MUX-DEMUX單元或其它硬體及軟體，以處置公共數據流或單獨數據流中的音頻及視頻兩者 的編碼。適用時，MUX-DEMUX單元可符合ITU H. 223多路復用器協議，或諸如用戶數據報協 議（Μ)Ρ)的其它協議。
[0038] 視頻編碼器20及視頻解碼器30可各自被實施為多種合適編碼器電路中的任一 者，諸如，一或多個微處理器、數位訊號處理器（DSP)、專用集成電路（ASIC)、現場可編程門 陣列（FPGA)、包括諸如編碼器或解碼器的視頻解碼裝置的無線通信裝置、離散邏輯、軟體、 硬體、固件，或其任何組合。視頻編碼器20及視頻解碼器30中的每一者可包括在一或多 個編碼器或解碼器中，所述一或多個編碼器或解碼器中的任一者可在相應相機、計算機、移 動裝置、訂戶裝置、廣播裝置、機頂盒、伺服器或其它裝置中整合為組合式編碼器/解碼器 (CODEC)的部分。
[0039] 視頻序列通常包括一系列視頻幀。圖片組（G0P)通常包含一系列一或多個視頻 幀。G0P可包括在G0P的標頭中、在G0P的一或多個幀的標頭中或在別處的語法數據，所述 語法數據描述包括在G0P中的幀的數目。每一幀可包括描述用於相應幀的編碼模式的幀語 法數據。視頻編碼器20通常對個別視頻幀內的視頻塊（也被稱為解碼單元（CU))進行操 作，以便編碼視頻數據。視頻塊可對應於最大解碼單元（LCU)或LCU的分區。視頻塊可具有 固定或變化大小，且其大小可根據指定解碼標準而不同。每一視頻幀可包括多個切片。每 一切片可包括多個IXU，所述IXU可排列成若干分區，也被稱為子⑶。IXU也可被稱為解碼 樹單元。
[0040] 作為實例，ITU-T Η. 264標準支持以下各者：以各種塊大小的幀內預測，諸如，針對 亮度分量的16乘16、8乘8或4乘4,及針對色度分量的8X8 ;以及以各種塊大小的幀間 預測，諸如，針對亮度分量的16Χ16、16Χ8、8Χ16、8Χ8、8Χ4、4Χ8及4X4,及針對色度分 量的對應縮放大小。在本發明中，"NXΝ"與"Ν乘Ν"可互換式地用以在垂直維度及水平維 度方面指塊的像素尺寸，例如，16X16像素或16乘16像素。一般而言，16X16塊將具有在 垂直方向上的16個像素 （y = 16)，及在水平方向上的16個像素 （X = 16)。同樣地，NXN 塊通常具有在垂直方向上的N個像素及在水平方向上的N個像素，其中N表示非負整數值。 塊中的像素可以行及列而排列。此外，塊未必需要在水平方向上與在垂直方向上具有相同 數目個像素。舉例來說，塊可包含NX Μ像素，其中Μ未必等於N。
[0041] 視頻塊可包含在像素域中的像素數據塊，或在變換域中的變換係數塊，例如，在將 諸如離散餘弦變換（DCT)、整數變換、小波變換或概念上相似變換的變換應用於表示經解碼 視頻塊與預測性視頻塊之間的像素差的殘餘視頻塊數據之後。在一些狀況下，視頻塊可包 含在變換域中的經量化變換係數塊。
[0042] 較小視頻塊可提供較好解析度，且可用於視頻幀的包括高細節級別的位置。一般 而言，可將塊及各種分區（有時被稱為子塊）視為視頻塊。另外，可將切片視為多個視頻塊， 諸如，塊及/或子塊。每一切片可為視頻幀的可獨立解碼單元。替代地，幀自身可為可解碼 單元，或幀的其它部分可被定義為可解碼單元。術語"經解碼單元"可指視頻幀的任何可獨 立解碼單元，諸如，整個幀或幀的切片、也被稱為經解碼視頻序列的圖片組（G0P)，或根據適 用解碼技術而定義的另一可獨立解碼單元。
[0043] 在進行幀內預測性或幀間預測性解碼以產生預測性數據及殘餘數據之後，且在進 行任何變換（諸如，在H. 264/AVC中使用的4X4或8X8整數變換，或離散餘弦變換DCT) 以產生變換係數之後，可執行變換係數的量化。量化通常是指量化變換係數以可能地縮減 用以表示所述係數的數據的量的進程。量化進程可縮減與係數中的一些或全部相關聯的位 深度。舉例來說，η位值可在量化期間降值捨入到m位值，其中η大於m。
[0044] HEVC將視頻數據塊稱為解碼單元（⑶)，所述⑶可包括一或多個預測單元（PU)及 /或一或多個變換單元（TU)。本發明也可使用術語"塊"以指CU、PU或TU中的任一者。位 流內的語法數據可定義最大解碼單元（LCU)，所述LCU在像素的數目方面為最大解碼單元。 一般而言，CU具有與H. 264的宏塊的目的相似的目的，惟CU不具有大小區別除外。因此，CU 可拆分成若干子CU。一般而言，在本發明中對CU的參考可指圖片的最大解碼單元，或LCU 的子⑶。IXU可拆分成若干子⑶，且每一子⑶可進一步拆分成若干子⑶。用於位流的語 法數據可定義LCU可被拆分的最大次數，被稱為CU深度。因此，位流也可定義最小解碼單 元（SCU)。
[0045] IXU可與四叉樹數據結構相關聯。一般而言，四叉樹數據結構包括每⑶一個節點， 其中根節點對應於LCU。如果CU拆分成四個子CU，那麼對應於所述CU的節點包括四個葉 節點，所述葉節點中的每一者對應於所述子CU中的一者。四叉樹數據結構的每一節點可提 供用於對應CU的語法數據。舉例來說，四叉樹中的節點可包括拆分旗標，所述拆分旗標指 示對應於所述節點的CU是否拆分成若干子CU。用於CU的語法元素可被遞歸地定義，且可 取決於CU是否拆分成若干子CU。如果CU未被進一步拆分，那麼其被稱為葉CU。在本發明 中，葉CU的4個子CU也將被稱為葉CU，但不存在原始葉CU的顯式拆分。舉例來說，如果以 16X 16大小的⑶未被進一步拆分，那麼四個8X8子⑶也可被稱為葉⑶，但16X 16⑶尚 未被拆分。
[0046] 此外，葉⑶的TU也可與相應四叉樹數據結構相關聯。即，葉⑶可包括指示葉⑶ 如何拆分成若干TU的四叉樹。本發明將指示LCU如何被分割的四叉樹稱為CU四叉樹，且 將指示葉CU如何分割成若干TU的四叉樹稱為TU四叉樹。TU四叉樹的根節點通常對應於 葉CU，而⑶四叉樹的根節點通常對應於IXU。TU四叉樹的未被拆分的TU可被稱為葉TU。
[0047] 葉⑶可包括一或多個預測單元（PU)。一般而言，PU表示對應⑶的全部或部分， 且可包括用於檢索用於所述PU的參考樣本的數據。舉例來說，當ro被幀間模式編碼時，PU 可包括定義用於PU的運動矢量的數據。定義運動矢量的數據可描述（例如）運動矢量的 水平分量、運動矢量的垂直分量、用於運動矢量的解析度（例如，四分之一像素精度或八分 之一像素精度）、運動矢量所指向的參考幀，及/或用於運動矢量的參考列表（例如，列表〇 或列表1)。定義ro的用於葉CU的數據也可描述（例如）CU成為一或多個PU的分割。取 決於CU未被解碼、被幀內預測模式編碼還是被幀間預測模式編碼，分割模式可不同。對於 幀內解碼，PU可被視為與下文所描述的葉變換單元相同。
[0048] 葉⑶可包括一或多個變換單元（TU)。所述變換單元可使用TU四叉樹結構予以指 定，如上文所論述。即，拆分旗標可指示葉CU是否拆分成四個變換單元。接著，每一變換單 元可進一步拆分成4個子TU。當TU未被進一步拆分時，其可被稱為葉TU。一般而言，拆分 旗標可指示葉TU拆分成若干正方形TU。為了指示TU拆分成若干非正方形TU，可包括其它 語法數據，例如，指示TU將根據非正方形四叉樹變換（NSQT)而分割的語法數據。
[0049] 通常，對於幀內解碼，屬於葉⑶的所有葉TU共享相同幀內預測模式。S卩，通常應 用相同幀內預測模式以計算葉CU的所有TU的預測值。對於幀內解碼，視頻編碼器可使用 幀內預測模式來計算每一葉TU的殘餘值，作為預測性值的對應於TU的部分與原始塊之間 的差。殘餘值可被變換、量化及掃描。對於幀間解碼，視頻編碼器可在PU級別處執行預測， 且可計算用於每一 PU的殘餘。對應於葉CU的殘餘值可被變換、量化及掃描。對於幀間譯 碼，葉TU可大於或小於PU。對於幀內解碼，PU可與對應葉TU並置。在一些實例中，葉TU 的最大大小可為對應葉CU的大小。
[0050] -般而言，本發明使用術語⑶及TU以分別指葉⑶及葉TU，除非另有提到。一般 而言，本發明的技術是關於變換、量化、掃描及熵編碼CU的數據。作為實例，本發明的技術 包括選擇待使用的變換，以基於用以預測經幀內預測塊的幀內預測模式來變換所述塊的殘 餘值。本發明也使用術語"方向性變換"或"經設計變換"以指取決於幀內預測模式方向的 此類變換。即，視頻編碼器可選擇方向性變換以應用於變換單元（TU)。如上文所提到，幀內 預測包括從圖片的經以前解碼⑶及TU預測所述同一圖片的當前⑶的TU。更具體地說，視 頻編碼器可使用特定幀內預測模式來幀內預測圖片的當前TU。
[0051] 在量化之後，可（例如）根據內容自適應可變長度解碼（CAVLC)、上下文自適應二 進位算術解碼（CABAC)、概率區間分割熵解碼（PIPE)或另一熵解碼方法來執行經量化數據 的熵解碼。經配置用於熵解碼的處理單元或另一處理單元可執行其它處理功能，諸如，經量 化係數的零行程長度解碼，及/或語法信息的產生，諸如，經解碼塊樣式（CBP)值、宏塊類 型、解碼模式、用於經解碼單元（諸如，幀、切片、宏塊或序列）的最大宏塊大小，或其它語法 信息。
[0052] 視頻編碼器20可經配置以執行反量化及反變換，以將待作為參考而用於預測後 續塊的經解碼塊存儲在（例如）待在時間上預測的同一或相同幀中。視頻編碼器20可（例 如）在幀標頭、塊標頭、切片標頭或G0P標頭中進一步將諸如基於塊的語法數據、基於幀的 語法數據及基於G0P的語法數據的語法數據發送到視頻解碼器30。G0P語法數據可描述相 應G0P中的幀的數目，且幀語法數據可指示用以編碼對應幀的編碼/預測模式。
[0053] 適用時，視頻編碼器20及視頻解碼器30可各自被實施為多種合適編碼器或解 碼器電路中的任一者，諸如，一或多個微處理器、數位訊號處理器（DSP)、專用集成電路 (ASIC)、現場可編程門陣列（FPGA)、離散邏輯電路、軟體、硬體、固件，或其任何組合。視頻 編碼器20及視頻解碼器30中的每一者可包括在一或多個編碼器或解碼器中，所述一或多 個編碼器或解碼器中的任一者可整合為組合式視頻編碼器/解碼器（CODEC)的部分。包括 視頻編碼器20及/或視頻解碼器30的設備可包含集成電路、微處理器，及/或無線通信裝 置，諸如，蜂窩電話。
[0054] 根據本發明的技術，視頻編碼器20及/或視頻解碼器30可經配置尤其以將視頻 數據的一或多個解碼單元存儲在圖片緩衝器中、獲得用於一或多個解碼單元的相應緩衝器 移除時間、根據用於解碼單元中的每一者的所獲得緩衝器移除時間而從圖片緩衝器移除解 碼單元，且解碼對應於經移除解碼單元的視頻數據。
[0055] 以下定義是關於實例視頻編碼器20及/或視頻解碼器30而提供，視頻編碼器20 及/或視頻解碼器30經配置尤其以將視頻數據的一或多個解碼單元存儲在圖片緩衝器中、 獲得用於一或多個解碼單元的相應緩衝器移除時間、根據用於解碼單元中的每一者的所獲 得緩衝器移除時間而從圖片緩衝器移除解碼單元，且解碼對應於經移除解碼單元的視頻數 據。
[0056] 出於描述一個實例集合的目的，可如下定義術語"解碼單元"：
[0057] 解碼單元：存取單元或存取單元的子集。如果sub_pic_cpb_flag等於0,那麼解 碼單元為存取單元；否則，解碼單元為存取單元的子集。當sub_pic_cpb_flag等於1時，存 取單元中的第一解碼單元包括存取單元中的所有非VCL NAL單元，及同一存取單元中的第 一 VCL NAL單元，且存取單元中的每一其它解碼單元為並非存取單元中的第一經解碼切片 NAL單元的經解碼切片NAL單元。
[0058] 出於描述第二實例集合的目的，可如下定義術語"解碼單元"，其中術語"子圖片" 的額外定義是如"解碼單元"的對應實例定義中所使用：
[0059] 解碼單元：存取單元或存取單元的子集。如果sub_pic_cpb_flag等於0,那麼解 碼單元為存取單元；否則，解碼單元為存取單元的子集。當sub_pic_cpb_flag等於1時，存 取單元中的第一解碼單元包括存取單元中的所有非VCL NAL單元，及同一存取單元中的圖 片的第一子圖片，且存取單元中的每一其它解碼單元為並非存取單元中的第一子圖片的子 圖片。
[0060] 子圖片：在解碼順序方面連續的經解碼圖片的數個解碼塊。
[0061] 在根據上文所提供的第二實例集合的定義中，當一個以上子圖片包括在切片中 時，可在每一子圖片結束時應用字節對準，這與（例如）用於HEVC WD6中的圖像塊的字節 對準形成對比。此外，每一子圖片（惟經解碼圖片中的第一子圖片除外）的入口點可被發 ?目。
[0062] 在一些替代例中，當位流含有多個可縮放層或視圖時，解碼單元可被定義為層表 示或視圖組件。在層表示或視圖組件的第一 VCLNAL單元之前的所有非VCL單元也屬於含 有層表示或視圖組件的解碼單元。
[0063] 提供實例假設參考解碼器（HRD)操作、經解碼圖片緩衝器的實例操作、位流到達 的實例計時、解碼單元移除的實例計時、解碼單元的實例解碼、經解碼圖片緩衝器的實例操 作、圖片從經解碼圖片緩衝器的實例移除、實例圖片輸出以及實例當前經解碼圖片標記及 存儲的以下描述以說明視頻編碼器20及/或視頻解碼器30的實例，視頻編碼器20及/ 或視頻解碼器30可經配置尤其以將視頻數據的一或多個解碼單元存儲在圖片緩衝器中、 獲得用於一或多個解碼單元的相應緩衝器移除時間、根據用於解碼單元中的每一者的所獲 得緩衝器移除時間而從圖片緩衝器移除解碼單元，且解碼對應於經移除解碼單元的視頻數 據。在其它實例中，可不同地定義或執行所述操作。如此，視頻編碼器20及/或視頻解碼 器30可經配置以根據下文所描述的HRD操作的各種實例而操作。
[0064] 作為一個實例，可如下概括地描述HRD操作：CPB大小（位的數目）為 CpbSize [SchedSelldx]。用於時間層X的DPB大小（圖片存儲緩衝器的數目）針對 在 0 到 max_temporal_layers_minusl (包括在內）的範圍內的每 一 X 為 max_dec_pic_ buffering[X]+l。在這個實例中，HRD可操作如下：與根據指定到達調度而流動到CPB中的 存取單元相關聯的數據可由假設流調度器（HSS)(即，傳遞調度器）傳遞。與每一解碼單元 相關聯的數據可通過瞬時解碼進程在CPB移除時間瞬時地移除及解碼。每一經解碼圖片可 放置在DPB中。在DPB輸出時間的較遲時間或經解碼圖片變得不再為幀間預測參考所需要 的時間，可從DPB移除經解碼圖片。
[0065] 可用真實值來進行這些實例中的算術，使得不傳播捨入誤差。舉例來說，恰好在解 碼單元的移除之前或之後的CPB中的位的數目未必為整數。
[0066] 變量t。可被導出如下，且可被稱為時鐘計時周期：
[0067] t c = num_units_in_tick + time_scale (C_l)
[0068] 可指定以下內容以用於表達在對HEVC的實例附件修改中的約束：
[0069] 使存取單元η為按解碼順序的第η存取單元，其中第一存取單元為存取單元0 ;
[0070] 使圖片η為存取單元η的經解碼圖片或經解碼圖片；
[0071] 使解碼單元m為按解碼順序的第m解碼單元，其中第一解碼單元為解碼單元0。
[0072] 如下描述用於操作經解碼圖片緩衝器（CPB)的一些實例技術。根據一些視頻解碼 技術，可實施CPB操作的各種方法。HEVC WD6關於CPB操作的章節中的規範可由本發明修 改，且可獨立地應用於所存在的每一 CPB參數集合且應用於Type I -致性點及Type II - 致性點兩者。
[0073] 如下描述涉及位流到達的計時的一些實例。HRD可以緩衝周期補充增強信息 (SEI)消息中的任一者予以初始化。在初始化之前，CPB可空白。在初始化之後，HRD可不 再次通過後續緩衝周期SEI消息初始化。
[0074] 與初始化CPB的緩衝周期SEI消息相關聯的存取單元可被稱為存取單元0。每一 解碼單元可被稱為解碼單元m，其中編號m識別特定解碼單元。存取單元0中按解碼順序的 第一解碼單元可被稱為解碼單元0。m的值針對按解碼順序的每一後續解碼單元可遞增1。 [0075] 解碼單元m的第一位開始進入CPB的時間可被稱為初始到達時間tai (m)。可如下 導出解碼單元的初始到達時間：
[0076] 如果解碼單元為解碼單元0,那麼tai(0) = 0，
[0077] 否則（解碼單元為解碼單元m，其中m > 0)，以下內容可適用：
[0078] 如果cbr_flag[SchedSelIdx]等於1，那麼用於解碼單元m的初始到達時間等於解 碼單元m-Ι的最終到達時間（其在下文被導出），即，
[0079] tai(m) = taf(m-l) (C_2)
[0080] 否則（cbr_flag[SchedSelIdx]等於0)，用於解碼單元m的初始到達時間是由下式 導出：
[0081 ] tai (m) = Max (taf (m-1), taij earliest (m)) (C_3)
[0082] 其中 tai,earliest(m)被導出如下。
[0083] 如果解碼單元m並非後續緩衝周期的第一解碼單元，那麼tai,eartiest(m)可被導出 為：
[0084] tai, earliest (m) = tr, n (m)_ (in?t?al_cpb_removal_de 1 ay [SchedSelldx] +initial_ cpb_removal_delay_offset [SchedSelldx]) -i-90000 (C_4)
[0085] 其中tr,n(m)為如所指定的解碼單元m離開CPB的名義移除時間，且initial_cpb_ removal_delay[SchedSelldx]及 initial_cpb_removal_delay_offset[SchedSelldx]被 指定在上一緩衝周期SEI消息中；
[0086] 否則（解碼單元m為後續緩衝周期的第一解碼單元），tai,_liest(m)可被導出為：
[0087] tai, earliest (m) = tr, n (m) _ (in ? t ? al_cpb_r emo va l_de 1 ay [SchedSe 11 dx] -i-90000) (C-5)
[0088] 其中 initial_cpb_removal_delay [SchedSelldx]被指定在與含有解碼單兀 m 的 存取單元相關聯的緩衝周期SEI消息中。
[0089] 用於解碼單元m的最終到達時間可由下式導出：
[0090] taf(m) = tai (m)+b (m)-i-BitRate [SchedSelldx] (C_6)
[0091] 其中b (m)可為解碼單元m的以位為單位的大小，其針對Type I -致性點而計數 VCL NAL單元及填充物數據NAL單元的位或針對Type II -致性點而計數Type II位流的 所有位。
[0092] 在一些實例中，可如下約束 SchedSelldx、BitRate[SchedSelldx]及 CpbSize[SchedSelldx]的值：
[0093] 如果用於含有解碼單元m的存取單元的活動序列參數集合的內容與用於上一存 取單元的活動序列參數集合的內容不同，那麼HSS從提供在用於含有解碼單元m的存取單 元的活動序列參數集合中的SchedSelldx的值當中選擇SchedSelldx的值SchedSelldxl， 所述值SchedSelldxl針對含有解碼單元m的存取單元引起BitRate [SchedSelldxl] 或 CpbSize[SchedSelldxl]。 BitRate[SchedSelldxl]或 CpbSize[SchedSelldxl]的 值可不同於針對在使用中用於上一存取單元的SchedSelldx的值SchedSelldxO的 BitRate[SchedSelldxO]或 CpbSize[SchedSelldxO]的值。
[0094] 否則，HSS 繼續用 SchedSelIdx、BitRate [SchedSelldx]及 CpbSize [SchedSelldx] 的先前值而操作。
[0095] 當HSS選擇不同於上一存取單元的值的BitRate[SchedSelIdx]或 CpbSize[SchedSelldx]的值時，以下內容在一些實例中可適用：
[0096] 變量 BitRate [SchedSelldx]在時間 tai (m)開始生效
[0097] 變量 CpbSize [SchedSelldx]開始生效如下：
[0098] 如果CpbSize [SchedSelldx]的新值超過舊CPB大小，那麼其在時間tai(m)開始生 效，
[0099] 否則，CpbSize [SchedSelldx]的新值在含有解碼單元m的存取單元的最後解碼單 元的CPB移除時間開始生效。
[0100] 當sub_pic_cpb_flag等於1時，存取單元η的初始CPB到達時間tai (η)可設置 到存取單元η中的第一解碼單元的初始CPB到達時間，且存取單元η的最終CPB到達時間 taf (η)可設置到存取單元η中的最後解碼單元的最終CPB到達時間。
[0101] 如下描述涉及解碼單元移除的計時及解碼單元的解碼的一些實例。當解碼單元m 為m等於0的解碼單元（初始化HRD的存取單元的第一解碼單元）時，解碼單元離開CPB 的名義移除時間可由下式指定：
[0102] tr,n(0) = initial_cpb_removal_delay [SchedSel Idx] -i-90000 (C-7)
[0103] 當解碼單元m為並不初始化HRD的緩衝周期的第一存取單元的第一解碼單元時， 解碼單元離開CPB的名義移除時間可由下式指定：
[0104] tr，n(m) = tr，n(mb)+tc*cpb_removal_delay (m) (C_8)
[0105] 其中仁,n(mb)為上一緩衝周期的第一解碼單元的名義移除時間，且cpb_removal_ delay (m)為在與含有解碼單元m的存取單元相關聯的圖片計時SEI消息中所指定的用於解 碼單兀 m 的 cpb_removal_delay[i]的值。
[0106] 當解碼單元η為緩衝周期的第一解碼單元時，mb可設置為在解碼單元η的移除時 間仁, n(m)等於m。並非緩衝周期的第一解碼單元的解碼單元m的名義移除時間仁,n(m)可 由下式給出：
[0107] tr,n(m) = tr,n(mb)+tc*cpb_removal_delay (m) (C_9)
[0108] 其中仁,n(mb)為當前緩衝周期的第一解碼單元的名義移除時間，且cpb_removal_ delay (m)為在與含有解碼單元m的存取單元相關聯的圖片計時SEI消息中所指定的用於解 碼單兀 m 的 cpb_removal_delay[i]的值。
[0109] 可如下指定解碼單元m的移除時間：
[0110] 如果low_delay_hrd_flag等於0或tr,n(m) >= taf (m),那麼解碼單元η的移除時 間可由下式指定：
[0111] tr(m) = tr,n(m) (C-10)
[0112] 否則（low_delay_hrd_flag等於1且tr,n(m) < taf (m))，解碼單元m的移除時間是 由下式指定：
[0113] tr(m) = tr，n(m)+tc*Ceil ((taf (m)_tr，n(m))+tc) (C-ll)
[0114] 後一狀況指示解碼單元m的大小b(m)如此大以致於其防止在名義移除時間的移 除。
[0115] 當sub_pic_cpb_flag等於1時，存取單元η的名義CPB移除時間tr, n(n)可設置 到存取單元η中的最後解碼單元的正常CPB移除時間，存取單元η的CPB移除時間仁(η)可 設置到存取單元η中的最後解碼單元的CPB移除時間。
[0116] 在一些實例中，在解碼單元m的CPB移除時間，所述解碼單元可被瞬時地解碼。
[0117] 如下描述經解碼圖片緩衝器（DPB)的操作的一些實例。所述經解碼圖片緩衝器可 含有圖片存儲緩衝器。所述圖片存儲緩衝器中的每一者可含有經解碼圖片，所述經解碼圖 片被標記為"用於參考"或經保持以供未來輸出。在初始化之前，DPB可空白（DPB充滿度設 置到零）。本發明的技術的這些實例的以下步驟可以所列出序列而發生。
[0118] 如下描述圖片從經解碼圖片緩衝器（DPB)的移除的一些實例。在一些實例中，在 當前圖片的解碼之前（但在分析當前圖片的第一切片的切片標頭之後）圖片從DPB的移除 可在存取單元η (含有當前圖片）的第一解碼單元的CPB移除時間瞬時地發生，且可進行如 下。
[0119] 可調用如在HEVC WD6的子條款8. 3. 2中所指定的用於參考圖片集合的解碼進程。 如果當前圖片為瞬時解碼器刷新（IDR)圖片，那麼以下內容可適用：
[0120] 1.當IDR圖片並非經解碼的第一 IDR圖片（例如，當無先前圖片輸出旗標具有不 等於1的值時）且從活動序列參數集合導出的pic_width_in_luma_samples (例如，亮度 樣本中的圖片寬度）或 pic_height_in_luma_samples 或 max_dec_pic_buffering 的值分 別不同於從針對前一圖片為活動的序列參數集合導出的pic_width_in_luma_samples或 pic_height_in_luma_samples 或 max_dec_pic_buffering 的值時，no_output_of_prior_ pics_flag可推斷為等於1或由HRD設置為等於1，而不管no_output_of_prior_pics_flag 白勺實際值$口?可。才目 t匕於關於 pic_width_in_luma_samples 或 pic_height_in_luma_samples 的改變的HRD，解碼器實施可更從容地處置圖片或DPB大小改變。
[0121] 2.當no_output_of_prior_pics_flag等於1或設置為或推斷為等於1時，可使 DPB中的所有圖片存儲緩衝器空白而沒有其所含有的圖片的輸出，且DPB充滿度可設置到 0〇
[0122] 可從DPB移除DPB中的所有圖片k (對於所述圖片，所有以下條件成立）：圖片k被 標記為"未用於參考";圖片k具有等於0的PicOutputFlag，或其DPB輸出時間小於或等於 當前圖片η的第一解碼單元（被表示為解碼單元m)的CPB移除時間；即，
[0123] t0j dpb (k) < = tr (m)
[0124] 當從DPB移除圖片時，DPB充滿度可遞減1。
[0125] 如下描述圖片輸出的一些實例。以下情形可在存取單元η(含有當前圖片）的最 後解碼單元（被表示為解碼單元m)的CPB移除時間tjm)瞬時地發生。圖片η可在所述 圖片的最後解碼單元被解碼之後被視為經解碼。
[0126] 變量maxPicOrderCnt (對於最大圖片順序計數（P0C))可設置為等於當前圖片 及DPB中當前被標記為"用於短期參考"或具有大於t, (m)的DPB輸出時間的所有圖片的 PicOrderCntVal (對於圖片順序計數（P0C)值）值的最大值。變量minPicOrderCnt (對於 最小圖片順序計數（P0C))可設置為等於當前圖片及DPB中當前被標記為"用於短期參考" 或具有大於t,(m)的DPB輸出時間的所有圖片的PicOrderCntVal的最小值。以下內容可為 位流一致性的要求：maxPicOrderCnt-minPicOrderCnt 的值應小於 MaxPic0rderCntLsb/2。
[0127] 當圖片η具有等於1的PicOutputFlag時，其DPB輸出時間t。, dpb(n)可由下式導 出：
[0128] t。, dpb (n) = tr (m)+tc*dpb_output_delay (n) (C-12)
[0129] 其中dpb_output_delay(n)為在與存取單元n相關聯的圖片計時SEI消息中所指 定的dpb_output_delay的值。可如下指定當前圖片的輸出：
[0130] 如果PicOutputFlag等於1且tQ,dpb(n) = tr(m),那麼當前圖片被輸出；
[0131] 否則，如果PicOutputFlag等於0,那麼當前圖片未被輸出，但可存儲在DPB中，如 下文進一步所指定；
[0132] 否則（PicOutputFlag等於1且tQ,dpb (n) > tr(m)),當前圖片稍後被輸出且將存儲 在DPB中（如下文進一步所指定），且在時間t。, dpb (η)被輸出，除非被指示不會通過等於1 的no_output_of_prior_pics_flag的解碼或推斷在Ι^,^Οι)之前的時間被輸出。
[0133] 當被輸出時，當前或選定圖片可使用在活動序列參數集合中所指定的剪裁矩形予 以剪裁，從而基於選定圖片（即，當前圖片）來產生經剪裁圖片。當圖片η為被輸出且並非 被輸出的位流的最後圖片的圖片時，At。, dpb(η)的值被定義為：
[0134] Δ t0, dpb (n) = t0, dpb (nn) _t〇, dpb (n) (C-13)
[0135] 其中nn指示在輸出順序方面跟隨在圖片n之後且具有等於1的PicOutputFlag的 圖片。下文進一步提供提高進程及剪裁進程的另外細節。
[0136] 如下描述涉及當前經解碼圖片標記及存儲的一些實例。以下情形可在存取單元 η(含有當前圖片）的最後解碼單元的CPB移除時間tjm)瞬時地發生。當前經解碼圖片可 在DPB中存儲在空白圖片存儲緩衝器中，且DPB充滿度可遞增1。如果當前圖片為參考圖 片，那麼其可被標記為"用於參考"，否則，其可被標記為"未用於參考"。
[0137] 用於CPB行為模式的發信的以下實例語法及語義是關於實例視頻編碼器20及/ 或視頻解碼器30而提供，視頻編碼器20及/或視頻解碼器30經配置尤其以將視頻數據 的一或多個解碼單元存儲在圖片緩衝器中、獲得用於一或多個解碼單元的相應緩衝器移除 時間、根據用於解碼單元中的每一者的所獲得緩衝器移除時間而從圖片緩衝器移除解碼單 元，且解碼對應於經移除解碼單元的視頻數據。
[0138] 如下描述用於CPB行為模式的發信的語法及語義的一些實例。可通過添加子圖片 CPB旗標sub_pic_cpb_flag來改變視頻可用性信息（VUI)參數的語法，如下表1所示：
[0139] 表 1
[0140]

【權利要求】
1. 一種解碼視頻數據的方法，所述方法包含： 將視頻數據的一或多個解碼單元存儲在圖片緩衝器中； 獲得用於所述一或多個解碼單元的相應緩衝器移除時間，其中獲得所述相應緩衝器移 除時間包含接收指示用於所述解碼單元中的至少一者的所述相應緩衝器移除時間的相應 發信值； 根據用於所述解碼單元中的每一者的所述所獲得緩衝器移除時間而從所述圖片緩衝 器移除所述解碼單元；及 解碼對應於所述經移除解碼單元的視頻數據，其中解碼所述視頻數據包含解碼所述解 碼單元中的所述至少一者。
2. 根據權利要求1所述的方法，其中視頻數據的所述一或多個解碼單元中的每一者為 存取單元或存取單元的子集。
3. 根據權利要求1所述的方法，其進一步包含以連續解碼順序將視頻數據的所述一或 多個解碼單元存儲在所述圖片緩衝器中。
4. 根據權利要求3所述的方法，其進一步包含在存儲所述一或多個解碼單元之前以所 述連續解碼順序接收視頻數據的所述一或多個解碼單元。
5. 根據權利要求1所述的方法，其中所述圖片緩衝器為經解碼圖片緩衝器。
6. 根據權利要求5所述的方法，所述方法進一步包含在從所述經解碼圖片緩衝器移除 所述解碼單元中的第二解碼單元之前從所述經解碼圖片緩衝器移除所述解碼單元中的第 一解碼單元，其中所述第一解碼單元及所述第二解碼單元包含公共存取單元的相應子集。
7. 根據權利要求1所述的方法，其中指示用於所述解碼單元中的所述至少一者的所述 緩衝器移除時間的所述發信值包含指示由所述解碼單元中的所述至少一者包含的網絡抽 象層NAL單元的數目的發信值。
8. 根據權利要求1所述的方法，其中所述一或多個解碼單元包含公共圖片的多個子圖 片，且其中接收指示用於所述解碼單元中的所述至少一者的所述相應緩衝器移除時間的所 述相應發信值包含接收指示用於所述公共圖片的所述子圖片中的每一者的所述緩衝器移 除時間的相應發信值。
9. 根據權利要求8所述的方法，其中所述圖片緩衝器為經解碼圖片緩衝器CPB，且其中 接收指示用於所述公共圖片的所述子圖片中的每一者的所述緩衝器移除時間的所述相應 發信值包含接收指示存取單元級別處的初始CPB移除延遲、存取單元級別處的初始CPB移 除延遲偏移、子圖片級別處的初始CPB移除延遲及子圖片級別處的初始CPB移除延遲偏移 的相應發信值。
10. 根據權利要求8所述的方法，其中指示用於所述公共圖片的所述子圖片中的每一 者的所述緩衝器移除時間的所述相應發信值包含在適用於所述公共圖片的圖片計時補充 增強信息SEI消息中。
11. 根據權利要求8所述的方法，其中指示用於所述公共圖片的所述子圖片中的每一 者的所述緩衝器移除時間的所述相應發信值包含在適用於相應子圖片的補充增強信息SEI 消息中。
12. 根據權利要求1所述的方法，其中解碼所述視頻數據包含編碼視頻數據以形成所 述解碼單元中的至少一者，且其中獲得所述緩衝器移除時間包含確定指示所述緩衝器移除 時間的值。
13. 根據權利要求1所述的方法，其中根據所述所獲得緩衝器移除時間而從所述圖片 緩衝器移除視頻數據的所述解碼單元包含在自所述解碼單元中的至少一者在所述圖片緩 衝器中的所述存儲以來已經過所述所獲得緩衝器移除時間之後從所述圖片緩衝器移除所 述解碼單元中的至少一者。
14. 根據權利要求1所述的方法，其中所述一或多個解碼單元包含相應子圖片。
15. 根據權利要求14所述的方法，其進一步包含接收指示在所述視頻數據的較大集合 內的所述子圖片中的至少一者的字節對準的發信值。
16. 根據權利要求15所述的方法，其中所述視頻數據的所述較大集合包含存取單元、 存取單元的子集、圖片、幀、切片、波，或圖像塊。
17. 根據權利要求14所述的方法，其中所述子圖片對應於一或多個視頻數據塊序列、 一或多個切片、一或多個波、一或多個圖像塊或一或多個網絡抽象層NAL單元中的至少一 者。
18. 根據權利要求1所述的方法，其中獲得用於所述解碼單元中的相應解碼單元的所 述相應緩衝器移除時間包含： 如果所述相應解碼單元包含所述視頻數據的序號第一解碼單元，那麼確定所述緩衝器 移除時間包含在與包含所述相應解碼單元的存取單元相關聯的緩衝周期補充增強信息SEI 消息中指定的經解碼圖片緩衝器移除延遲值；及 如果所述相應解碼單元並非所述視頻數據的所述序號第一解碼單元，其中所述相應解 碼單元包含序號第i解碼單元，其中i > 0,那麼確定所述緩衝器移除時間包含如在與包含 所述相應解碼單元的所述存取單元相關聯的所述圖片計時SEI消息中指定的解碼單元經 解碼圖片緩衝器移除延遲[i]。
19. 根據權利要求1所述的方法，其中獲得用於所述解碼單元中的相應解碼單元的所 述相應緩衝器移除時間包含： 如果所述相應解碼單元包含所述視頻數據的存取單元的序號第一解碼單元，那麼確定 用於所述解碼單元的名義移除時間包含初始經解碼圖片緩衝器移除延遲值除以90000 ;及 如果所述相應解碼單元並非所述存取單元的所述序號第一解碼單元，其中所述解碼單 元包含所述存取單元的序號第m解碼單元，其中m > 0,那麼確定用於所述解碼單元的名義 移除時間包含上一緩衝周期的序號第一解碼單元的名義移除時間加時鐘計時周期乘與所 述序號第m解碼單元相關聯的經解碼圖片緩衝器移除延遲。
20. 根據權利要求1所述的方法，其中所述解碼單元中的至少兩者包括不同數目個譯 碼塊，且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩個解碼單元 中的所述不同數目個解碼塊。
21. 根據權利要求1所述的方法，其中所述解碼單元中的至少兩者包括不同數目個位， 且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩個解碼單元中的 所述不同數目個位。
22. -種用於解碼視頻數據的裝置，所述裝置包含視頻解碼器，所述視頻解碼器經配置 以： 將視頻數據的一或多個解碼單元存儲在圖片緩衝器中； 獲得用於所述一或多個解碼單元的相應緩衝器移除時間，其中獲得所述相應緩衝器移 除時間包含接收指示用於所述解碼單元中的至少一者的所述相應緩衝器移除時間的相應 發信值； 根據用於所述解碼單元中的每一者的所述所獲得緩衝器移除時間而從所述圖片緩衝 器移除所述解碼單元；及 解碼對應於所述經移除解碼單元的視頻數據，其中解碼所述視頻數據包含解碼所述解 碼單元中的所述至少一者。
23. 根據權利要求22所述的裝置，其中視頻數據的所述一或多個解碼單元中的每一者 為存取單元或存取單元的子集。
24. 根據權利要求22所述的裝置，其中所述視頻解碼器經進一步配置成以連續解碼順 序將視頻數據的所述一或多個解碼單元存儲在所述圖片緩衝器中。
25. 根據權利要求24所述的裝置，其中所述視頻解碼器經進一步配置以在存儲所述一 或多個解碼單元之前以所述連續解碼順序接收視頻數據的所述一或多個解碼單元。
26. 根據權利要求22所述的裝置，其中所述圖片緩衝器為經解碼圖片緩衝器。
27. 根據權利要求26所述的裝置，其中所述視頻解碼器經進一步配置以在從所述經譯 碼圖片緩衝器移除所述解碼單元中的第二解碼單元之前從所述經解碼圖片緩衝器移除所 述解碼單元中的第一解碼單元，其中所述第一解碼單元及所述第二解碼單元包含公共存取 單元的相應子集。
28. 根據權利要求22所述的裝置，其中指示用於所述解碼單元中的所述至少一者的所 述緩衝器移除時間的所述發信值包含指示由所述解碼單元中的所述至少一者包含的網絡 抽象層NAL單元的數目的發信值。
29. 根據權利要求22所述的裝置，其中所述一或多個解碼單元包含公共圖片的多個子 圖片，且其中接收指示用於所述解碼單元中的所述至少一者的所述相應緩衝器移除時間的 所述相應發信值包含接收指示用於所述公共圖片的所述子圖片中的每一者的所述緩衝器 移除時間的相應發信值。
30. 根據權利要求29所述的裝置，其中所述圖片緩衝器為經解碼圖片緩衝器CPB，且其 中接收指示用於所述公共圖片的所述子圖片中的每一者的所述緩衝器移除時間的所述相 應發信值包含接收指示存取單元級別處的初始CPB移除延遲、存取單元級別處的初始CPB 移除延遲偏移、子圖片級別處的初始CPB移除延遲及子圖片級別處的初始CPB移除延遲偏 移的相應發信值。
31. 根據權利要求29所述的裝置，其中指示用於所述公共圖片的所述子圖片中的每一 者的所述緩衝器移除時間的所述相應發信值包含在適用於所述公共圖片的圖片計時補充 增強信息SEI消息中。
32. 根據權利要求29所述的裝置，其中指示用於所述公共圖片的所述子圖片中的每一 者的所述緩衝器移除時間的所述相應發信值包含在適用於相應子圖片的補充增強信息SEI 消息中。
33. 根據權利要求22所述的裝置，其中為了解碼所述視頻數據，所述視頻解碼器經進 一步配置以編碼所述視頻數據以形成所述解碼單元中的至少一者，且其中為了獲得所述緩 衝器移除時間，所述視頻解碼器經進一步配置以確定指示所述緩衝器移除時間的值。
34. 根據權利要求22所述的裝置，其中為了根據所述所獲得緩衝器移除時間而從所述 圖片緩衝器移除視頻數據的所述解碼單元，所述視頻解碼器經進一步配置以在自所述解碼 單元中的至少一者在所述圖片緩衝器中的所述存儲以來已經過所述所獲得緩衝器移除時 間之後從所述圖片緩衝器移除所述解碼單元中的至少一者。
35. 根據權利要求22所述的裝置，其中所述一或多個解碼單元包含相應子圖片。
36. 根據權利要求35所述的裝置，其中所述視頻解碼器經進一步配置以接收指示在所 述視頻數據的較大集合內的所述子圖片中的至少一者的字節對準的發信值。
37. 根據權利要求36所述的裝置，其中所述視頻數據的所述較大集合包含存取單元、 存取單元的子集、圖片、幀、切片、波，或圖像塊。
38. 根據權利要求35所述的裝置，其中所述子圖片對應於一或多個視頻數據塊序列、 一或多個切片、一或多個波、一或多個圖像塊或一或多個網絡抽象層NAL單元中的至少一 者。
39. 根據權利要求22所述的裝置，其中為了獲得用於所述解碼單元中的相應解碼單元 的所述相應緩衝器移除時間，所述視頻解碼器經進一步配置以： 如果所述相應解碼單元包含所述視頻數據的序號第一解碼單元，那麼確定所述緩衝器 移除時間包含在與包含所述相應解碼單元的存取單元相關聯的緩衝周期補充增強信息SEI 消息中指定的經解碼圖片緩衝器移除延遲值；及 如果所述相應解碼單元並非所述視頻數據的所述序號第一解碼單元，其中所述相應解 碼單元包含序號第i解碼單元，其中i > 0,那麼確定所述緩衝器移除時間包含如在與包含 所述相應解碼單元的所述存取單元相關聯的所述圖片計時SEI消息中指定的解碼單元經 解碼圖片緩衝器移除延遲[i]。
40. 根據權利要求22所述的裝置，其中為了獲得用於所述解碼單元中的相應解碼單元 的所述相應緩衝器移除時間，所述視頻解碼器經進一步配置以： 如果所述相應解碼單元包含所述視頻數據的存取單元的序號第一解碼單元，那麼確定 用於所述解碼單元的名義移除時間包含初始經解碼圖片緩衝器移除延遲值除以90000 ;及 如果所述相應解碼單元並非所述存取單元的所述序號第一解碼單元，其中所述解碼單 元包含所述存取單元的序號第m解碼單元，其中m>0,那麼確定用於所述解碼單元的名義 移除時間包含上一緩衝周期的序號第一解碼單元的名義移除時間加時鐘計時周期乘與所 述序號第m解碼單元相關聯的經解碼圖片緩衝器移除延遲。
41. 根據權利要求22所述的裝置，其中所述解碼單元中的至少兩者包括不同數目個譯 碼塊，且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩個解碼單元 中的所述不同數目個解碼塊。
42. 根據權利要求22所述的裝置，其中所述解碼單元中的至少兩者包括不同數目個 位，且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩個解碼單元中 的所述不同數目個位。
43. 根據權利要求22所述的裝置，其中所述裝置包含以下各者中的至少一者： 一或多個集成電路； 一或多個微處理器；及 無線通信裝置，其包括所述視頻解碼器。
44. 根據權利要求22所述的裝置，其中為了解碼對應於所述經移除解碼單元的所述視 頻數據，所述視頻解碼器經進一步配置以解碼所述視頻數據。
45. 根據權利要求22所述的裝置，其中所述圖片緩衝器為經解碼圖片緩衝器，且所述 裝置進一步包含存儲器，所述存儲器經配置以將一或多個經解碼圖片存儲在經解碼圖片緩 衝器中。
46. 根據權利要求22所述的裝置，其中所述圖片緩衝器為經解碼圖片緩衝器，且所述 裝置進一步包含存儲器，所述存儲器經配置以將經解碼視頻數據存儲在所述經解碼圖片緩 衝器中。
47. 根據權利要求22所述的裝置，其中所述圖片緩衝器為經解碼圖片緩衝器，且所述 裝置進一步包含流調度單元，所述流調度單元經配置以將經解碼視頻數據存儲到所述經譯 碼圖片緩衝器。
48. -種用於解碼視頻數據的設備，所述設備包含： 用於將視頻數據的一或多個解碼單元存儲在圖片緩衝器中的裝置； 用於獲得用於所述一或多個解碼單元的相應緩衝器移除時間的裝置，其中獲得所述相 應緩衝器移除時間包含接收指示用於所述解碼單元中的至少一者的所述相應緩衝器移除 時間的相應發信值； 用於根據用於所述解碼單元中的每一者的所述所獲得緩衝器移除時間而從所述圖片 緩衝器移除所述解碼單元的裝置；及 用於解碼對應於所述經移除解碼單元的視頻數據的裝置，其中解碼所述視頻數據包含 解碼所述解碼單元中的所述至少一者。
49. 根據權利要求48所述的設備，其中視頻數據的所述一或多個解碼單元中的每一者 為存取單元或存取單元的子集。
50. 根據權利要求48所述的設備，其進一步包含用於以連續解碼順序將視頻數據的所 述一或多個解碼單元存儲在所述圖片緩衝器中的裝置。
51. 根據權利要求50所述的設備，其進一步包含在存儲所述一或多個解碼單元之前以 所述連續解碼順序接收視頻數據的所述一或多個解碼單元。
52. 根據權利要求48所述的設備，其中所述圖片緩衝器為經解碼圖片緩衝器。
53. 根據權利要求52所述的設備，其進一步包含用於在從所述經解碼圖片緩衝器移除 所述解碼單元中的第二解碼單元之前從所述經解碼圖片緩衝器移除所述解碼單元中的第 一解碼單元的裝置，其中所述第一解碼單元及所述第二解碼單元包含公共存取單元的相應 子集。
54. 根據權利要求48所述的設備，其中指示用於所述解碼單元中的所述至少一者的所 述緩衝器移除時間的所述發信值包含指示由所述解碼單元中的所述至少一者包含的網絡 抽象層NAL單元的數目的發信值。
55. 根據權利要求48所述的設備，其中所述一或多個解碼單元包含公共圖片的多個子 圖片，且其中接收指示用於所述解碼單元中的所述至少一者的所述相應緩衝器移除時間的 所述相應發信值包含接收指示用於所述公共圖片的所述子圖片中的每一者的所述緩衝器 移除時間的相應發信值。
56. 根據權利要求55所述的設備，其中所述圖片緩衝器為經解碼圖片緩衝器CPB，且其 中所述用於接收指示用於所述公共圖片的所述子圖片中的每一者的所述緩衝器移除時間 的所述相應發信值的裝置包含用於接收指示存取單元級別處的初始CPB移除延遲、存取單 元級別處的初始CPB移除延遲偏移、子圖片級別處的初始CPB移除延遲及子圖片級別處的 初始CPB移除延遲偏移的相應發信值的裝置。
57. 根據權利要求55所述的設備，其中指示用於所述公共圖片的所述子圖片中的每一 者的所述緩衝器移除時間的所述相應發信值包含在適用於所述公共圖片的圖片計時補充 增強信息SEI消息中。
58. 根據權利要求55所述的設備，其中指示用於所述公共圖片的所述子圖片中的每一 者的所述緩衝器移除時間的所述相應發信值包含在適用於相應子圖片的補充增強信息SEI 消息中。
59. 根據權利要求48所述的設備，其中所述用於解碼所述視頻數據的裝置包含編碼視 頻數據以形成所述解碼單元中的至少一者，且其中所述用於獲得所述緩衝器移除時間的裝 置包含用於確定指示所述緩衝器移除時間的值的裝置。
60. 根據權利要求48所述的設備，其中所述用於根據所述所獲得緩衝器移除時間而從 所述圖片緩衝器移除視頻數據的所述解碼單元的裝置包含用於在自所述解碼單元中的至 少一者在所述圖片緩衝器中的所述存儲以來已經過所述所獲得緩衝器移除時間之後從所 述圖片緩衝器移除所述解碼單元中的至少一者的裝置。
61. 根據權利要求48所述的設備，其中所述一或多個解碼單元包含相應子圖片。
62. 根據權利要求61所述的設備，其進一步包含用於接收指示在所述視頻數據的較大 集合內的所述子圖片中的至少一者的字節對準的發信值的裝置。
63. 根據權利要求62所述的設備，其中所述視頻數據的所述較大集合包含存取單元、 存取單元的子集、圖片、幀、切片、波，或圖像塊。
64. 根據權利要求61所述的設備，其中所述子圖片對應於一或多個視頻數據塊序列、 一或多個切片、一或多個波、一或多個圖像塊或一或多個網絡抽象層NAL單元中的至少一 者。
65. 根據權利要求48所述的設備，其中所述用於獲得用於所述解碼單元中的相應解碼 單元的所述相應緩衝器移除時間的裝置包含： 用於以下操作的裝置：如果所述相應解碼單元包含所述視頻數據的序號第一解碼單 元，那麼確定所述緩衝器移除時間包含在與包含所述相應解碼單元的存取單元相關聯的緩 衝周期補充增強信息SEI消息中指定的經解碼圖片緩衝器移除延遲值；及 用於以下操作的裝置：如果所述相應解碼單元並非所述視頻數據的所述序號第一解碼 單元，其中所述相應解碼單元包含序號第i解碼單元，其中i > 0,那麼確定所述緩衝器移除 時間包含如在與包含所述相應解碼單元的所述存取單元相關聯的所述圖片計時SEI消息 中指定的解碼單元經解碼圖片緩衝器移除延遲[i]。
66. 根據權利要求48所述的設備，其中所述用於獲得用於所述解碼單元中的相應解碼 單元的所述相應緩衝器移除時間的裝置包含： 用於以下操作的裝置：如果所述相應解碼單元包含所述視頻數據的存取單元的序號第 一解碼單元，那麼確定用於所述解碼單元的名義移除時間包含初始經解碼圖片緩衝器移除 延遲值除以90000 ;及 用於以下操作的裝置：如果所述相應解碼單元並非所述存取單元的所述序號第一解碼 單元，其中所述解碼單元包含所述存取單元的序號第m解碼單元，其中m > 0,那麼確定用於 所述解碼單元的名義移除時間包含上一緩衝周期的序號第一解碼單元的名義移除時間加 時鐘計時周期乘與所述序號第m解碼單元相關聯的經解碼圖片緩衝器移除延遲。
67. 根據權利要求48所述的設備，其中所述解碼單元中的至少兩者包括不同數目個譯 碼塊，且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩個解碼單元 中的所述不同數目個解碼塊。
68. 根據權利要求48所述的設備，其中所述解碼單元中的至少兩者包括不同數目個 位，且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩個解碼單元中 的所述不同數目個位。
69. 根據權利要求48所述的設備，其中所述設備包含以下各者中的至少一者： 一或多個集成電路； 一或多個微處理器；及 無線通信裝置，其包括視頻解碼裝置。
70. -種電腦程式產品，其包含計算機可讀存儲媒體，所述計算機可讀存儲媒體包含 存儲在其上的指令，所述指令在執行時使處理器： 將視頻數據的一或多個解碼單元存儲在圖片緩衝器中； 獲得用於所述一或多個解碼單元的相應緩衝器移除時間，其中獲得所述相應緩衝器移 除時間包含接收指示用於所述解碼單元中的至少一者的所述相應緩衝器移除時間的相應 發信值； 根據用於所述解碼單元中的每一者的所述所獲得緩衝器移除時間而從所述圖片緩衝 器移除所述解碼單元；及 解碼對應於所述經移除解碼單元的視頻數據，其中解碼所述視頻數據包含解碼所述解 碼單元中的所述至少一者。
71. 根據權利要求70所述的電腦程式產品，其中視頻數據的所述一或多個解碼單元 中的每一者為存取單元或存取單元的子集。
72. 根據權利要求70所述的電腦程式產品，其中所述指令進一步使所述處理器以連 續解碼順序將視頻數據的所述一或多個解碼單元存儲在所述圖片緩衝器中。
73. 根據權利要求72所述的電腦程式產品，其進一步包含在存儲所述一或多個解碼 單元之前以所述連續解碼順序接收視頻數據的所述一或多個解碼單元。
74. 根據權利要求70所述的電腦程式產品，其中所述圖片緩衝器為經解碼圖片緩衝 器。
75. 根據權利要求74所述的電腦程式產品，方法進一步包含在從所述經解碼圖片緩 衝器移除所述解碼單元中的第二解碼單元之前從所述經解碼圖片緩衝器移除所述解碼單 元中的第一解碼單元，其中所述第一解碼單元及所述第二解碼單元包含公共存取單元的相 應子集。
76. 根據權利要求70所述的電腦程式產品，其中指示用於所述解碼單元中的所述至 少一者的所述緩衝器移除時間的所述發信值包含指示由所述解碼單元中的所述至少一者 包含的網絡抽象層NAL單元的數目的發信值。
77. 根據權利要求70所述的電腦程式產品，其中所述一或多個解碼單元包含公共圖 片的多個子圖片，且其中接收指示用於所述解碼單元中的所述至少一者的所述相應緩衝器 移除時間的所述相應發信值包含接收指示用於所述公共圖片的所述子圖片中的每一者的 所述緩衝器移除時間的相應發信值。
78. 根據權利要求77所述的電腦程式產品，其中所述圖片緩衝器為經解碼圖片緩衝 器CPB，且其中接收指示用於所述公共圖片的所述子圖片中的每一者的所述緩衝器移除時 間的所述相應發信值包含接收指示存取單元級別處的初始CPB移除延遲、存取單元級別處 的初始CPB移除延遲偏移、子圖片級別處的初始CPB移除延遲及子圖片級別處的初始CPB 移除延遲偏移的相應發信值。
79. 根據權利要求77所述的電腦程式產品，其中指示用於所述公共圖片的所述子圖 片中的每一者的所述緩衝器移除時間的所述相應發信值包含在適用於所述公共圖片的圖 片計時補充增強信息SEI消息中。
80. 根據權利要求77所述的電腦程式產品，其中指示用於所述公共圖片的所述子圖 片中的每一者的所述緩衝器移除時間的所述相應發信值包含在適用於相應子圖片的補充 增強信息SEI消息中。
81. 根據權利要求70所述的電腦程式產品，其中解碼所述視頻數據包含編碼視頻數 據以形成所述解碼單元中的至少一者，且其中獲得所述緩衝器移除時間包含確定指示所述 緩衝器移除時間的值。
82. 根據權利要求70所述的電腦程式產品，其中根據所述所獲得緩衝器移除時間而 從所述圖片緩衝器移除視頻數據的所述解碼單元包含在自所述解碼單元中的至少一者在 所述圖片緩衝器中的所述存儲以來已經過所述所獲得緩衝器移除時間之後從所述圖片緩 衝器移除所述解碼單元中的至少一者。
83. 根據權利要求70所述的電腦程式產品，其中所述一或多個解碼單元包含相應子 圖片。
84. 根據權利要求83所述的電腦程式產品，其中所述指令進一步使所述處理器接收 指示在所述視頻數據的較大集合內的所述子圖片中的至少一者的字節對準的發信值。
85. 根據權利要求84所述的電腦程式產品，其中所述視頻數據的所述較大集合包含 存取單元、存取單元的子集、圖片、幀、切片、波，或圖像塊。
86. 根據權利要求83所述的電腦程式產品，其中所述子圖片對應於一或多個視頻數 據塊序列、一或多個切片、一或多個波、一或多個圖像塊或一或多個網絡抽象層NAL單元中 的至少一者。
87. 根據權利要求70所述的電腦程式產品，其中獲得用於所述解碼單元中的相應解 碼單元的所述相應緩衝器移除時間包含： 如果所述相應解碼單元包含所述視頻數據的序號第一解碼單元，那麼確定所述緩衝器 移除時間包含在與包含所述相應解碼單元的存取單元相關聯的緩衝周期補充增強信息SEI 消息中指定的經解碼圖片緩衝器移除延遲值；及 如果所述相應解碼單元並非所述視頻數據的所述序號第一解碼單元，其中所述相應解 碼單元包含序號第i解碼單元，其中i > 0,那麼確定所述緩衝器移除時間包含如在與包含 所述相應解碼單元的所述存取單元相關聯的所述圖片計時SEI消息中指定的解碼單元經 解碼圖片緩衝器移除延遲[i]。
88. 根據權利要求70所述的電腦程式產品，其中獲得用於所述解碼單元中的相應解 碼單元的所述相應緩衝器移除時間包含： 如果所述相應解碼單元包含所述視頻數據的存取單元的序號第一解碼單元，那麼確定 用於所述解碼單元的名義移除時間包含初始經解碼圖片緩衝器移除延遲值除以90000 ;及 如果所述相應解碼單元並非所述存取單元的所述序號第一解碼單元，其中所述解碼單 元包含所述存取單元的序號第m解碼單元，其中m > 0,那麼確定用於所述解碼單元的名義 移除時間包含上一緩衝周期的序號第一解碼單元的名義移除時間加時鐘計時周期乘與所 述序號第m解碼單元相關聯的經解碼圖片緩衝器移除延遲。
89. 根據權利要求70所述的電腦程式產品，其中所述解碼單元中的至少兩者包括不 同數目個解碼塊，且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩 個解碼單元中的所述不同數目個解碼塊。
90. 根據權利要求70所述的電腦程式產品，其中所述解碼單元中的至少兩者包括不 同數目個位，且解碼對應於所述經移除解碼單元的所述視頻數據包含解碼所述至少兩個解 碼單元中的所述不同數目個位。
91. 一種處理視頻數據的方法，所述方法包含： 根據多個視頻可用性信息WI參數中的至少一者來處理視頻數據，所述多個WI參數 包括： 子圖片經解碼圖片緩衝器CPB參數存在旗標（sub_pic_cpb_params_present_flag)， 其指示子圖片CPB參數的存在， 補充增強信息SEI消息，其包括以下各者中的至少一者：指示在到達時間與移除時間 之間針對第SchedSelldx個CPB的延遲的語法元素（initial_du_cpb_removal_delay)，其 中所述到達時間為與存取單元中的第一解碼單元相關聯的經解碼數據的第一位進入經譯 碼圖片緩衝器CPB的到達時間，所述存取單元是與緩衝周期SEI消息相關聯，且所述移除 時間為針對在假設參考解碼器HRD初始化之後的第一緩衝周期與所述第一解碼單元相關 聯的所述經解碼數據離開所述CPB的移除時間；及結合指示CPB移除延遲（cpb_ rem〇val_ delay)的語法元素而指示偏移的語法元素（initial_du_cpb_removal_delay_offset)，所 述偏移是使所述第SchedSelldx個CPB指定所述第一解碼單元到所述CPB的初始傳遞時 間，及 SEI消息，其包括：指示網絡存取層NAL單元的數目的至少一個語法元素（num_naluS_ in_du_minuSl)，其中所述數目為在與圖片計時SEI消息相關聯的所述存取單元的對應第 i解碼單元中的網絡存取層NAL單元的數目；及指定時鐘計時周期的數目的語法元素（du_ cpb_removal_delay)，其中所述數目為在從所述CPB移除所述存取單元中的與所述圖片計 時SEI消息相關聯的所述對應第i解碼單元之前在所述存取單元中的與前一存取單元中的 最近緩衝周期SEI消息相關聯的所述第一解碼單元從所述CPB的移除之後將等待的時鐘計 時周期的數目。
【文檔編號】H04N19/70GK104221387SQ201380018437
【公開日】2014年12月17日 申請日期:2013年2月26日 優先權日:2012年4月4日
【發明者】王益魁, 陳穎 申請人:高通股份有限公司