視頻解碼中的子切片的製造方法與工藝
2023-08-04 01:15:51 2
視頻解碼中的子切片相關申請案的交叉參考本申請案主張2011年1月26日申請的第61/436,560號美國臨時申請案以及2011年3月8日申請的第61/450,473號美國臨時申請案的權益，所述申請案的整個內容以引用的方式併入本文中。技術領域本發明涉及用於編碼和解碼視頻數據的技術。
背景技術：
數字視頻能力可併入到較寬範圍的裝置中，包含數位電視、數字直播系統、無線廣播系統、個人數字助理(PDA)、膝上型或桌上型計算機、數字相機、數字記錄裝置、數字媒體播放器、視頻遊戲裝置、視頻遊戲控制臺、蜂窩式或衛星無線電電話、視頻電話會議裝置等。數字視頻裝置實施視頻壓縮技術，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高級視頻解碼(AVC)界定的標準和所述標準的擴展部分中所描述的那些視頻壓縮技術，以更有效地發射和接收數字視頻信息。視頻壓縮技術執行空間預測和/或時間預測以減少或去除視頻序列中固有的冗餘。對於基於塊的視頻解碼，可將一視頻幀或切片分割成若干塊。可進一步分割每一塊。使用相對於相鄰塊的空間預測來編碼經幀內解碼(I)幀或切片中的塊。經幀間解碼(P或B)的幀或切片中的塊可相對於同一幀或切片中的相鄰塊使用空間預測，或相對於其它參考幀使用時間預測。
技術實現要素：
本發明的技術大體上涉及編碼和解碼視頻數據。更具體地說，一種視頻編碼器將圖片的切片分割為多個子切片。此外，所述視頻編碼器產生經解碼切片。經解碼切片包含對應於子切片的經解碼子切片。子切片中的每一者可獨立於子切片中的每一另一者來剖析且可獨立於子切片中的每一另一者來重構。相應地，一種視頻解碼器可並行剖析子切片中的兩者或兩者以上，且並行解碼所述子切片中的兩者或兩者以上。子切片的使用可實現圖片的較多分區，其可用比等效數目的切片少的位來獨立剖析且重構。在一個實例中，本發明描述一種用於編碼視頻數據的方法。所述方法包括編碼所述視頻數據中的圖片的切片以形成經解碼切片。將所述切片分割為多個子切片。所述經解碼切片包含對應於所述子切片的經解碼子切片。所述子切片中的每一者可獨立於所述子切片中的每一另一者而剖析，且所述子切片中的每一者可獨立於所述子切片中的每一另一者而重構。所述方法還包括產生信息以用信號通知所述經解碼子切片在所述經解碼切片內的位置。在另一實例中，本發明描述一種解碼視頻數據的方法。所述方法包括接收經解碼切片。所述經解碼切片為所述視頻數據中的圖片的切片的經編碼形式。所述切片包含第一子切片和第二子切片。所述經解碼切片包括分別對應於所述第一子切片和所述第二子切片的第一經解碼子切片和第二經解碼子切片。編碼所述第一和第二經解碼子切片，使得所述第一和第二子切片可獨立於彼此而剖析，且可獨立於彼此而重構。所述方法還包括並行剖析所述第一和第二子切片。此外，所述方法包括在剖析所述第一和第二子切片之後，並行重構所述第一和第二子切片。在另一實例中，本發明描述一種包括一個或一個以上處理器的視頻編碼設備，所述一個或一個以上處理器經配置以編碼所述視頻數據中的圖片的切片以形成經解碼切片。將所述切片分割為多個子切片。所述經解碼切片包含對應於所述子切片的經解碼子切片。所述子切片中的每一者可獨立於所述子切片中的每一另一者而剖析，且所述子切片中的每一者可獨立於所述子切片中的每一另一者而重構。所述一個或一個以上處理器還經配置以產生信息以用信號通知所述經解碼子切片在所述經解碼切片內的位置。在另一實例中，本發明描述一種包括一個或一個以上處理器的視頻解碼設備，所述一個或一個以上處理器經配置以接收經解碼切片。所述經解碼切片為所述視頻數據中的圖片的切片的經編碼形式。所述切片包含第一子切片和第二子切片。所述經解碼切片包括分別對應於所述第一子切片和所述第二子切片的第一經解碼子切片和第二經解碼子切片。編碼所述第一和第二經解碼子切片，使得所述第一和第二子切片可獨立於彼此而剖析，且可獨立於彼此而重構。所述一個或一個以上處理器還經配置以並行剖析所述第一和第二子切片。另外，所述一個或一個以上處理器經配置以在剖析所述第一和第二子切片之後，並行解碼所述第一和第二子切片。在另一實例中，本發明描述一種視頻編碼設備，其包括用於編碼所述視頻數據中的圖片的切片以形成經解碼切片的裝置。將所述切片分割為多個子切片。所述經解碼切片包含對應於所述子切片的經解碼子切片。所述子切片中的每一者可獨立於所述子切片中的每一另一者而剖析，且所述子切片中的每一者可獨立於所述子切片中的每一另一者而重構。所述視頻編碼設備還包括用於產生信息以用信號通知所述經解碼子切片在所述經解碼切片內的位置的裝置。在另一實例中，本發明描述一種視頻解碼設備，其包括用於接收經解碼切片的裝置。所述經解碼切片為所述視頻數據中的圖片的切片的經編碼形式。所述切片包含第一子切片和第二子切片。所述經解碼切片包括分別對應於所述第一子切片和所述第二子切片的第一經解碼子切片和第二經解碼子切片。編碼所述第一和第二經解碼子切片，使得所述第一和第二子切片可獨立於彼此而剖析，且可獨立於彼此而重構。所述視頻解碼設備還包括用於並行剖析所述第一和第二子切片的裝置。另外，所述視頻解碼設備包括用於在剖析所述第一和第二子切片之後並行重構所述第一和第二子切片的裝置。在另一實例中，本發明描述一種電腦程式產品，其包括一個或一個以上計算機存儲媒體，所述一個或一個以上計算機存儲媒體存儲計算機可執行指令，所述計算機可執行指令配置一個或一個以上處理器以編碼所述視頻數據中的圖片的切片以形成經解碼切片。將所述切片分割為多個子切片。所述經解碼切片包含對應於所述子切片的經解碼子切片。所述子切片中的每一者可獨立於所述子切片中的每一另一者而剖析，且所述子切片中的每一者可獨立於所述子切片中的每一另一者而重構。所述計算機可執行指令還配置所述一個或一個以上處理器以產生信息以用信號通知所述經解碼子切片在所述經解碼切片內的位置。在另一實例中，本發明描述一種電腦程式產品，其包括一個或一個以上計算機存儲媒體，所述一個或一個以上計算機存儲媒體存儲計算機可執行指令，所述計算機可執行指令配置一個或一個以上處理器以接收經解碼切片。所述經解碼切片為所述視頻數據中的圖片的切片的經編碼形式。所述切片包含第一子切片和第二子切片。所述經解碼切片包括分別對應於所述第一子切片和所述第二子切片的第一經解碼子切片和第二經解碼子切片。編碼所述第一和第二經解碼子切片，使得所述第一和第二子切片可獨立於彼此而剖析，且可獨立於彼此而重構。所述計算機可執行指令還配置一個或一個以上處理器以並行剖析所述第一和第二子切片。所述計算機可執行指令還配置一個或一個以上處理器以在剖析所述第一和第二子切片之後，並行重構所述第一和第二子切片。本發明的一個或一個以上方面的細節在附圖和以下描述中陳述。本發明中所描述的技術的其它特徵、目標和優點將從所述描述和圖式且從所附權利要求書中顯而易見。附圖說明圖1是說明實例視頻解碼系統的框圖。圖2是說明視頻編碼器的實例配置的框圖。圖3是說明視頻解碼器的實例配置的框圖。圖4是說明由視頻編碼器執行以產生經解碼圖片的實例操作的流程圖。圖5是說明由視頻解碼器執行的實例操作的流程圖。圖6是說明分割為切片和子切片的實例圖片的概念圖。具體實施方式附圖說明實例。由附圖中的參考編號指示的元件對應於由以下描述中的參考編號指示的元件。在本發明中，具有以序數詞(例如，「第一」、「第二」、「第三」等等)開始的名稱的元件不一定暗示所述元件具有特定次序。相反，此等序數詞僅用以指代相同或類似類型的不同元件。本發明的技術通常涉及編碼和解碼視頻數據。更具體地說，視頻編碼器將圖片分割為一個或一個以上切片，且將一個或一個以上切片分割為多個子切片。此外，視頻編碼器編碼所述切片以形成經解碼切片。作為產生經解碼切片的部分，視頻編碼器編碼子切片以產生經解碼子切片。可獨立於所述子切片中的每一另一者來剖析且可獨立於所述子切片中的每一另一者來重構所述子切片中的每一者。子切片的使用可實現圖片的較多分區，與等效數目的切片相比，可用較少的位來獨立地剖析和重構所述分區。視頻編碼器可輸出包含經解碼切片的位流。因為可獨立地剖析子切片，所以視頻解碼器可並行剖析子切片中的兩者或兩者以上。當視頻解碼器剖析子切片時，視頻編碼器可從位流提取與子切片相關聯的語法元素。在一些例子中，剖析子切片可涉及執行一個或一個以上熵解碼操作。如果視頻解碼器能夠在不使用通過提取與第二子切片相關聯的語法元素而獲得的數據的情況下提取與第一子切片相關聯的語法元素，那麼視頻解碼器可獨立於第二子切片來剖析第一子切片，且反之亦然。因為可獨立地重構子切片，所以視頻解碼器可並行重構子切片。當視頻解碼器重構子切片時，視頻解碼器可使用與所述子切片相關聯的語法元素來確定子切片的像素值。如果視頻解碼器能夠在不使用通過重構第二子切片而獲得的數據的情況下重構第一子切片，那麼可獨立於第二子切片來重構第一子切片，且反之亦然。作為一個實例，視頻解碼器經配置以獨立於其它子切片對每一子切片內的塊進行幀內解碼，即不將來自其它子切片中的塊的信息用於幀內預測解碼和重構。圖1是說明可利用本發明中所述的技術的實例視頻解碼系統10的框圖。在本發明中，術語「視頻解碼」可指代視頻編碼和視頻解碼。如圖1中所示，視頻解碼系統10包含源裝置12和目的地裝置14。源裝置12產生經編碼視頻數據。因此，源裝置12可為視頻編碼設備。目的地裝置14可在稍後時間解碼經編碼視頻數據。因此，目的地裝置14可為視頻解碼設備。源裝置12和目的地裝置14可包括較寬範圍的裝置或設備中的任一者，包含桌上型計算機、筆記本型(即，膝上型)計算機、伺服器計算機、機架安裝式計算機、平板計算機、機頂盒、行動電話、電話手持機、電視機、相機、顯示裝置、數字媒體播放器、視頻遊戲控制臺、視頻流式傳輸裝置、車載計算機，或能夠編碼和/或解碼視頻數據的計算裝置類型。目的地裝置14可經由通信信道16接收經編碼視頻數據。通信信道16可包括能夠將經編碼視頻數據從源裝置12移到目的地裝置14的媒體或裝置。在一個實例中，通信信道16可包括使源裝置12能夠實時地將經編碼視頻數據直接發射到目的地裝置14的通信媒體。源裝置12或另一裝置可根據通信標準(例如無線通信協議)來調製經編碼視頻數據。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一個或一個以上物理傳輸線。通信信道16可形成例如區域網、廣域網或例如網際網路等全球網絡的基於包的網絡的部分。通信信道16可包含可用於促進經編碼視頻數據從源裝置12到目的地裝置14的通信的路由器、交換器、基站或任何其它設備。在一些實例中，源裝置12和目的地裝置14可為無線通信而配備。然而，本發明的技術不一定限於無線應用或設定。相反，所述技術可應用於支持多種多媒體應用(例如空中電視廣播、有線電視發射、衛星電視發射、流式視頻發射(例如經由網際網路))中的任一者的視頻解碼，用於存儲在數據存儲媒體上的數字視頻的編碼，存儲在數據存儲媒體上的數字視頻的解碼，或其它應用。在一些實例中，源裝置12和目的地裝置14可經配置以支持單向或雙向視頻發射以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或視頻電話等應用。此外，在一些實例中，源裝置12可將經編碼視頻數據輸出到存儲系統32。類似地，目的地裝置14可存取存儲在存儲系統32上的經編碼視頻數據。在各種實例中，存儲系統32可包含各種分布式或本地存取數據存儲媒體。數據存儲媒體的實例類型包含但不限於硬碟驅動器、藍光光碟、DVD、CD-ROM、固態存儲器單元、易失性或非易失性存儲器，或適合存儲經編碼視頻數據的其它數字存儲媒體。在一些實例中，存儲系統32可包括可保持由源裝置12產生的經編碼視頻的文件伺服器或另一中間存儲裝置。目的地裝置14可經由流式傳輸或下載從存儲系統32存取所存儲的視頻數據。文件伺服器可為能夠存儲經編碼視頻數據且將所述經編碼視頻數據發射到目的地裝置14的任何類型的伺服器。實例文件伺服器包含網絡伺服器(例如，用於網站)、文件傳送協議(FTP)伺服器、網絡附接存儲(NAS)裝置，或本地磁碟驅動器。目的地裝置14可通過任何標準數據連接(包含網際網路連接)來存取經編碼視頻數據。這可包含無線信道(例如，Wi-Fi連接)、有線連接(例如，數字訂戶線(DSL)、光纖、同軸電纜等)，或兩者的組合，其適合存取存儲在文件伺服器上的經編碼視頻數據。經編碼視頻數據從存儲系統32的發射可為流式發射、下載發射或兩者的組合。在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口22。在一些實例中，輸出接口22還可包含調製器/解調器(數據機)和/或發射器。視頻源18將視頻數據提供給視頻編碼器20。在各種實例中，視頻源18可包括用於提供視頻數據的各種類型的裝置和/或系統。舉例來說，視頻源18可包括視頻捕獲裝置，例如攝像機。在另一實例中，視頻源18可包括含有先前捕獲的視頻的視頻檔案。在又一實例中，視頻源18可包括視頻饋送接口，其從視頻內容提供者接收視頻。在又一實例中，視頻源18可包括用於產生計算機圖形數據的計算機圖形系統。如下文詳細描述，視頻編碼器20可編碼由視頻源18提供的視頻數據。在一些實例中，源裝置12可經由輸出接口22將經編碼視頻數據直接發射到目的地裝置14。此外，在一些實例中，存儲系統32可存儲經編碼視頻數據，以供目的地裝置14或其它裝置稍後存取。本發明還可通常涉及視頻編碼器20將某些信息「用信號通知」給另一裝置，例如視頻解碼器30。然而，應理解，視頻編碼器20可通過使某些語法元素與視頻數據的各個經編碼部分相關聯來用信號通知信息。語法元素可為位流中的數據元素。就是說，視頻編碼器20可通過將某些語法元素存儲到視頻數據的各個經編碼部分來「用信號通知」數據。在一些情況下，此些語法元素在由視頻解碼器30接收和解碼之前可經編碼和存儲(例如，存儲到存儲系統32)。因此，術語「用信號通知」可大體上指代用以解碼經壓縮視頻數據的語法或其它數據的通信。此通信可實時或近實時地發生。或者，此通信可在一時間跨度上發生，例如可在編碼時將語法元素存儲到媒體時發生，視頻解碼器30接著可在存儲到此媒體之後的某一時間檢索所述語法元素。在圖1的實例中，目的地裝置14包含輸入接口28、視頻解碼器30和顯示裝置34。在一些實例中，輸入接口28可包含接收器和/或數據機。目的地裝置14的輸入接口28從通信信道16和/或存儲系統32接收經編碼視頻數據。視頻解碼器30解碼由輸入接口28接收的經編碼視頻數據。目的地裝置14可再現經解碼視頻數據，以供在顯示裝置34上顯示。顯示裝置34可與目的地裝置14集成或可在目的地裝置14外部。在一些實例中，目的地裝置14可包含集成顯示裝置，且還可經配置以與外部顯示裝置介接。在各種實例中，顯示裝置34可包括各種類型的顯示裝置。舉例來說，顯示裝置34可包括液晶顯示器(LCD)、等離子體顯示器、有機發光二極體(OLED)顯示器，或另一類型的顯示裝置。儘管圖1中未展示，但視頻編碼器20和視頻解碼器30可與音頻編碼器和解碼器集成，且可包括適當的多路復用器-多路分用器(MUX-DEMUX)單元或其它硬體及軟體，以處置對共同數據流或單獨數據流中的音頻與視頻兩者的編碼。在一些實例中，如果適用，MUX-DEMUX單元可符合ITUH.223多路復用器協議或例如用戶數據報協議(UDP)等其它協議。視頻編碼器20和視頻解碼器30各自可實施為多種合適電路中的任一者，例如一個或一個以上微處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA)、離散邏輯、軟體、硬體、固件或其任何組合。當所述技術部分以軟體來實施時，裝置可將用於所述軟體的指令存儲在合適的非暫時計算機可讀媒體中，且使用一個或一個以上處理器來在硬體中執行所述指令以執行本發明的技術。視頻編碼器20和視頻解碼器30中的每一者可包含在一個或一個以上編碼器或解碼器中，其中的任一者可集成為相應裝置中的組合式編碼器/解碼器(CODEC)的部分。視頻編碼器20和視頻解碼器30可根據視頻壓縮標準來操作，例如目前在開發的高效視頻解碼(HEVC)標準，且可符合HEVC測試模型(HM)。或者，視頻編碼器20和視頻解碼器30可根據其它專有或行業標準來操作，例如ITU-TH.264標準，或者稱為MPEG-4，部分10，高級視頻解碼(AVC)，或此些標準的擴展。對標準的實例擴展包含對H.264/AVC標準的可按比例縮放視頻解碼(SVC)和多視圖視頻解碼(MVC)擴展。視頻壓縮標準的其它實例包含MPEG-2和ITU-TH.263。本發明的技術不限於任何特定解碼標準。如上文簡要提到，視頻編碼器20編碼視頻數據。視頻數據可包括一個或一個以上圖片序列。圖片中的每一者為形成視頻的部分的靜止圖像。在一些例子中，圖片可稱為視頻「幀」。當視頻編碼器20編碼視頻數據時，視頻編碼器20可產生位流。位流包含形成經解碼圖片和相關聯數據的表示的位序列。經解碼圖片為圖片的經解碼表示。為了產生位流，視頻編碼器20可對視頻數據中的圖片序列執行編碼操作。當視頻編碼器20對圖片序列執行編碼操作時，視頻編碼器20可產生一系列經解碼圖片和相關聯數據。另外，視頻編碼器20可產生含有適用於所述圖片序列的參數的序列參數集合。此外，視頻編碼器20可產生含有適用於作為整體的圖片的參數的圖片參數集合(PPS)。為了產生經解碼圖片，視頻編碼器20可將圖片分割為一個或一個以上樹塊。樹塊為視頻數據的二維(2D)塊。在一些例子中，樹塊也可稱為最大解碼單元(LCU)。HEVC的樹塊可廣泛類似於先前標準(例如H.264/AVC)的宏塊。然而，樹塊不一定限於特定大小，且可包含一個或一個以上解碼單元(CU)。視頻編碼器20可使用四叉樹分割來將每一樹塊分割為一個或一個以上CU，因此名為「樹塊」。如下文所述，視頻編碼器20可使用幀內預測或幀間預測來編碼樹塊的未經分割CU。經解碼CU為呈CU的經編碼形式的CU。在一些實例中，視頻編碼器20可將圖片分割為多個切片。所述切片中的每一者可包含整數數目個CU。在一些例子中，切片包括整數數目個樹塊。在其它例子中，切片的邊界可在樹塊內。在一些實例中，視頻編碼器20可基於切片的以字節計的大小或根據切片中的樹塊的數目來確定切片邊界。作為對圖片執行編碼操作的一部分，視頻編碼器20可對圖片的每一切片執行編碼操作。對切片的編碼操作可產生與所述切片相關聯的經編碼數據。與切片相關聯的經編碼數據可稱為「經解碼切片」。經解碼切片可包含切片標頭和切片數據。切片標頭可含有關於所述切片的語法元素。根據本發明的實例，切片數據可包含一系列經解碼子切片。當經解碼切片包含一個或一個以上經解碼子切片時，經解碼切片的切片標頭可包含旗標，其指示經解碼切片的切片數據中存在一個或一個以上經解碼子切片。作為對切片執行編碼操作的一部分，視頻編碼器20可將切片分割為多個子切片。換句話說，視頻編碼器20可在切片的子切片之間劃分切片的CU。切片的沒有兩個子切片包含相同CU。因此，給定CU可整個包含在單個子切片內。並且，單個子切片可包含多個CU。在一些實例中，子切片可包含彼此鄰近布置在圖片內的多個連續CU。視頻編碼器20可對子切片執行編碼操作，以產生與子切片中的每一者相關聯的經編碼數據。與子切片相關聯的經編碼數據在本發明中可稱為「經解碼子切片」。經解碼子切片可包含子切片標頭和子切片數據。子切片標頭可含有關於所述子切片的語法元素。舉例來說，子切片標頭可識別對應子切片的第一CU，以便指定圖片的CU中的哪些與對應子切片相關聯。在一些實例中，子切片標頭可指定經解碼子切片的大小或下一經解碼子切片的開始地址。在另一實例中，子切片標頭可包含上下文自適應二進位算術解碼(CABAC)初始化狀態碼(cabac_init_idc)。CABAC初始化狀態碼可將子切片熵解碼初始化為前一子切片的狀態或唯一狀態，例如對於切片中的第一解碼單元。在此實例中，如果子切片標頭不包含CABAC初始化開始碼，那么子切片可從對應切片標頭繼承CABAC初始化開始碼。在另一實例中，子切片標頭可包含子切片的量化參數(QP)或差量QP值。在此實例中，如果子切片標頭不包含QP或差量QP值，那么子切片可繼承對應切片標頭所指定的QP或差量QP值。子切片標頭可指定CABAC初始化開始碼和QP或差量QP值中的任一者、兩者或兩者都不。在其它實例中，子切片標頭可包含處理和/或解碼子切片中有用的其它信息。子切片標頭可指定子切片中的第一CU，以便指定來自圖片的哪些CU與子切片相關聯。在一些實例中，子切片標頭可僅指定識別子切片在規則切片內的位置所必需的信息。子切片數據可包含一個或一個以上經解碼樹塊。視頻編碼器20可對經解碼子切片中的數據執行一個或一個以上熵編碼操作。如下文詳細描述，視頻編碼器20可對子切片執行編碼操作，使得可獨立剖析且獨立解碼每一子切片。舉例來說，可獨立於來自其它子切片的信息而重構每一子切片中的塊。因為可獨立地剖析子切片，所以視頻解碼器30可在不使用通過剖析其它子切片中的任一者而獲得的數據的情況下剖析子切片。因為可例如通過在具有來自同一子切片的信息而不具有來自其它子切片的信息的情況下進行幀內解碼來獨立地重構子切片，所以視頻解碼器30可在不使用通過重構其它子切片中的任一者而獲得的數據的情況下重構子切片。視頻編碼器20可產生信息以用信號通知經解碼子切片在經解碼切片內的位置。因此，視頻解碼器30可能夠並行剖析子切片，且並行重構子切片。並行剖析子切片和並行重構子切片可減少剖析子切片和重構子切片所需的時間量，且可準許使用並行計算資源。由視頻編碼器20產生的位流包含一系列網絡抽象層(NAL)單元。NAL單元中的每一者可為含有NAL單元中的數據類型的指示的語法結構以及含有所述數據的字節。舉例來說，NAL單元可含有表示序列參數集合、圖片參數集合、經解碼切片、補充增強信息(SEI)、存取單元定界符、填充物數據或另一類型的數據的數據。本發明可將含有經解碼切片的NAL單元稱為經解碼切片NAL單元。位流中的每一經解碼切片NAL單元含有一經解碼切片。經解碼切片包含經解碼切片標頭和切片數據。切片數據可包含經解碼子切片。經解碼子切片中的每一者可包含經解碼子切片標頭和子切片數據。子切片數據可包含經解碼樹塊。經解碼樹塊可包含一個或一個以上經解碼CU。因此，經解碼切片可如下布置：|sliceHeader|SS_header_0|SS_data_0|SS_header_l|S...