可分級視頻編解碼器的編碼設備及其方法
2023-09-21 04:51:00
專利名稱：可分級視頻編解碼器的編碼設備及其方法
技術領域：
本公開一般涉及視頻處理，尤其是涉及視頻編碼。
背景技術：
視頻編碼可以使經壓縮的視頻信號 以降低的帶寬發送和存儲在較小的存儲器部分內。壓縮和其他處理的程度可以影響編碼視頻信號解碼後所得到的視頻圖像的質量和解析度。因此，要編碼的視頻信號通常被編碼成具有足夠的信息以考慮到顯示解析度、幀率和可以由具有特定處理和顯示能力的顯示設備再現的其他涉及質量的參數。然而，在有些情況下，所希望的是將共用的視頻流提供給支持各種處理和顯示特徵的不同設備，以限制在顯示時需要完成的處理量。例如，在視頻會議中，有用的是為每個會議節點提供一份共用的視頻信號，以使得所有的會議參與者都可以觀看同一個視頻。然而，各種節點處的顯示設備可能具有不同的處理和顯示能力。一個途徑是將視頻信號編碼成具有與能力最強的顯示設備關聯的質量參數，而使每個能力較差的設備對視頻信號進行再處理以適應較差的視頻質量。然而，這會導致通信帶寬的利用效率低，以及使每個接收設備要承擔不希望的處理負荷。
本領域技術人員通過參照附圖可以更好地理解本公開，並且明白本公開的許多特徵和優點。在不同的附圖中同樣的標號所標的是類似或相同的項目，其中圖I為例示按照本公開的一個實施例的視頻編碼器的方框圖；圖2為例示按照本公開的一個實施例的圖I的硬體編碼器的方框圖；圖3為按照本公開的一個實施例的對可分級(scalable)視頻編碼的視頻流進行編碼的方法的流程圖；圖4為按照本公開的一個實施例的在圖I的視頻編碼器路由圖像幀的方法的流程圖；以及圖5為按照本公開的一個實施例的在圖I的視頻編碼器路由經編碼的視頻信息的方法的流程圖。
具體實施例方式圖1-5例示了按照H. 264壓縮標準的可分級視頻編碼(SVC)擴展，通過將兩個不同的編碼通路分別用於基礎層和增強層來對視頻信號進行編碼，從而這兩個編碼通路共享公用硬體編碼模塊的示例性技術。具體地，控制模塊可以將所接收的與基礎層關聯的視頻信息直接路由給硬體編碼器模塊予以編碼，而將與增強層關聯的視頻信息路由給升級器(upscaler)。然後，將升級後的視頻信息提供給硬體編碼器模塊，以與對基礎層信息進行處理的方式類似的方式予以處理。硬體編碼器將經編碼的視頻信息提供給另一個控制模塊，其基於經編碼的視頻信息與基礎層還是增強層關聯，確定將信息相應地路由給硬體還是軟體熵編碼器。通過對於基礎層和增強層二者都使用公用硬體編碼器模塊，因此提高了編碼效率。作為例示，SVC視頻流是包括一個基礎層和一個或多個增強層的視頻信息流。可以對基礎層單獨解碼以確定與SVC視頻流關聯的具有最低質量特性(諸如解析度和幀率)的基礎視頻流。可以結合基礎層對增強層解碼以確定與基礎視頻流相比具有提高的質量特性的視頻流。如在這裡還要進一步說明的那樣，基礎層和增強層可以用不同的各自編碼通路編碼。如在這裡所使用的那樣，編碼通路是指用以對視頻信息進行編碼的一組處理，並且可以包括硬體編碼模塊、軟體編碼模塊和它們的任意組合。如在這裡所使用的那樣，硬體編碼模塊是一組硬體，其專用於執行在對視頻流編碼中所使用的一個或多個處理，諸如內預測、運動搜索、運動精化、模式判定、運動矢量差分(differential)、變換(transform)和量化之類。如在這裡所使用的那樣，硬體編碼模塊並不是指被編程成執行視頻編碼處理的通用處理器，也不是指執行一般數據通信、數據管理、存儲器傳送或視頻編碼器的其他開銷功能的模塊。圖I例示了按照本公開的一個實施例的視頻編碼器100。視頻編碼器100是數據處理設備，其一般被配置成將原始視頻信息編碼成一個或多個經編碼的視頻流。作為例示， 視頻編碼器100可以是包括多個會議節點的視頻會議系統的一部分。會議節點中的一個或多個可以將表示諸如數字攝像機之類的視頻獲取設備所獲取的原始視頻信息的視頻信號提供給視頻編碼器100。視頻編碼器100可以用可分級視頻編碼對原始視頻數據編碼，並將所得到的經SVC編碼的視頻流提供給通信接口以傳送給其他會議節點。視頻編碼器100包括多路復用器102、升級器103、編碼器控制模塊104、基礎/增強控制模塊105、硬體編碼器106、軟體熵編碼器107、基礎/增強控制模塊108、硬體熵編碼器109和基礎/增強層合併器110。多路復用器102包括多個輸入端，每個輸入端接收標為"SI"、" S2"、" S3"和"S4"中的一個相應的視頻流。多路復用器102還包括連接到基礎/增強控制模塊105上的輸出端和連接到編碼器控制模塊104的控制輸入端。基礎/增強控制模塊105包括與升級器103和硬體編碼器106的連接。升級器103包括與多路復用器102的輸入端的連接以提供視頻流S4。硬體編碼器106包括與基礎/增強控制模塊108的連接，而基礎/增強控制模塊108包括與軟體熵編碼器107和硬體熵編碼器109的連接。基礎/增強層合併器110也包括與軟體熵編碼器107和硬體熵編碼器109的連接。視頻流S1-S3是視頻編碼器100從所接收的視頻信號(未示出)中提取的視頻信息流。在一個實施例中，視頻信號可以表示存儲在諸如光碟或磁碟、磁帶或其他介質之類的記錄介質內的視頻信息。在另一個實施例中，視頻信號可以通過諸如區域網或廣域網之類的通信網絡接收。流S1-S3每一個都由一系列圖像幀組成，而每個圖像幀由一組像素組成。多路復用器102被配置成在其輸出端提供基於在控制輸入端接收到的信息從視頻流S1-S4中選出的一個視頻流的幀。編碼器控制模塊104將控制信息提供給多路復用器102的控制輸入端，以選擇要編碼的下一個幀。具體地，通過由控制信息選擇所指定的流，編碼器控制模塊104使多路復用器104在其輸出端提供所指定的視頻流的幀。在一個實施例中，編碼器控制模塊104以循環(round robin)方式選擇視頻流。在另一個實施例中，編碼器控制模塊可以確定哪些流具有可供處理用的幀，並且以預定義或可重新編程的次序選擇那些流。
基礎/增強控制模塊105被配置成根據要將幀編碼在SVC視頻流的基礎層內還是在SVC視頻流的增強層內路由所接收的幀。基礎/增強控制模塊105可以基於從諸如處理器之類的控制模塊(未示出)接收到的信息、基於所接收的幀本身內的信息、基於接收到幀的時間、基於幀在所關聯的視頻流內的位置或者它們的組合進行確定。響應於確定要將所接收的幀編碼在基礎層內，基礎/增強控制模塊105就將該幀提供給硬體編碼器106。響應於確定要將所接收的幀編碼在增強層內，基礎/增強控制模塊105就根據從控制模塊接收到的信息、存儲在幀本身內的信息或者它們的組合確定該幀是否已被升級。如果確定幀還沒有被升級，基礎/增強控制模塊105就將該幀提供給升級器103。如果基礎/增強控制模塊105確定幀已被升級，就將該幀提供給硬體編碼器106。升級器103被配置成將所接收的幀升級，從而增加表示該幀的像素的數目。升級器103可以通過對像素值進行內插、通過重複像素值或通過使用其他升級技術來進行升 級。升級技術和升級的數量可以是預定的、可以由從控制模塊接收到的控制信息指示，或者可以由包含在幀內的信息指示。硬體編碼器106包括一個或多個硬體編碼模塊，用來將所接收的幀編碼成經編碼的視頻信息。在一個實施例中，硬體編碼器按照所指定的編碼技術，諸如H. 264編碼標準，對所接收的幀進行編碼。在另一個實施例中，硬體編碼器106所使用的編碼技術是可重新編程的，並基於控制模塊所提供的控制信息。基礎/增強控制模塊108被配置成根據所接收的信息是增強層信息還是基礎層信息來路由所接收的經編碼的視頻信息。響應於確定所接收的經編碼的視頻信息是增強層信息，基礎/增強控制模塊108就將該經編碼的視頻信息提供給軟體熵編碼器107。如果確定所接收的經編碼的視頻信息是基礎層信息，基礎/增強控制模塊108就將該經編碼的視頻信息提供給硬體熵編碼器109。軟體熵編碼器107是在處理器(未示出)上執行的軟體例程。軟體熵編碼器107按照相關聯的熵編碼技術對所接收的經編碼的視頻信息進行熵編碼。硬體熵編碼器109是專用於按照相關聯的熵編碼技術對所接收的經編碼的視頻信息進行熵編碼的硬體模塊。在一個實施例中，軟體熵編碼器107所執行的熵編碼不同於硬體熵編碼器109所執行的熵編碼。例如，軟體熵編碼器107和硬體熵編碼器109可以執行不同的熵編碼處理，或者可以執行相同的但具有不同的編碼參數的熵編碼處理。基礎/增強層合併器將所接收的增強層信息與基礎層信息合併以形成SVC視頻流。在視頻編碼器110的輸出端提供SVC視頻流以提供給通信接口或者供存儲用。在操作中，視頻編碼器100用兩個不同的編碼通路對基礎層信息和增強層信息進行編碼。具體地，用於基礎層信息的視頻編碼通路包括硬體編碼器106和硬體熵編碼器109。相對與此，用於增強層信息的視頻編碼通路包括硬體編碼器106和軟體熵編碼器107，而不包括硬體熵編碼器109。因此，這兩個視頻編碼通路都包括硬體編碼器106。通過使用硬體編碼器106對SVC視頻流的基礎層和增強層兩者編碼，因此提高了編碼處理的效率。例如，常規的SVC編碼器通常使用軟體而不是專用的軟體模塊對增強層信息進行編碼。這會使編碼處理比用專用硬體模塊的編碼要慢。圖2例示了按照本公開的一個實施例的圖I的硬體編碼器106。硬體編碼器106包括控制模塊220、運動搜索(MS)模塊221、內預測(IP)模塊222、運動精化(MR)模塊223、模式判定(MD)模塊224、運動矢量差分(MVD)模塊226、和變換量化曲折(Transform，Quantization, and Zig-zag,即TQZ)模塊227。硬體編碼器106還包括解碼器230。控制模塊220包括接收圖像幀的輸入端和與MS模塊221的連接和與IP模塊222的連接。MS模塊221還包括與MR模塊223的連接和與解碼器230的連接。MR模塊223和IP模塊222每一個都包括與MD模塊224的連接，而MD模塊224還包括與MVD模塊226的連接。MVD模塊226包括與TQZ模塊227的連接。TQZ模塊227包括與解碼器230的連接和提供經編碼的視頻信息的輸出端。在另一個實施例中，所例示的這些模塊中的每一個通過公用總線與其他模塊連接。控制模塊220接收圖像幀，並根據所述幀將視頻信息路由給MS模塊221和IP模塊222之一或兩者。MS模塊221被配置成根據從幀的列和行到像素值的宏塊(諸如16個像素X 16個像素的大小)的分割和/或其他控制信息，處理從控制模塊220接收到的圖像中貞。在一個實施例中，MS模塊221為巾貞的每個宏塊或每對宏塊確定表不該宏塊(或子塊)從視頻信號的基準幀或基準場到當前幀或場的位移的一個或多個運動矢量。在操作中，運動搜索模塊在搜索範圍內進行操作以便以整數像素級(integer pixel level)的精度(諸 如為I個像素的解析度)定位當前幀或場內的宏塊(或子塊)。根據用於確定具有最有利(諸如最低)成本的位置和相應運動矢量的成本公式，估計出候選位置。運動精化模塊223被配置成根據所接收的運動搜索運動矢量，為多個宏塊中的每個宏塊產生精化後運動矢量。在一個實施例中，MR模塊為一幀的每個宏塊或每對宏塊確定表示該宏塊從視頻信號的基準幀或基準場到當前幀或場的位移的精化後運動矢量。根據像素和內插像素，MR模塊223將宏塊在當前幀或場內的位置精化到更高的像素級精度，諸如1/4個像素的解析度或其他子像素的解析度。還根據用於確定具有最有利(諸如最低)成本的位置和精化後運動矢量的成本公式，估計出候選位置。IP模塊222為多個宏塊的每個宏塊產生內預測模式。在一個實施例中，IP模塊222如H. 264標準所規定的那樣進行操作，然而同樣可以使用其他內預測技術。具體地，內預測模塊222基於根據相鄰宏塊確定的運動矢量估計多個IP模式，諸如為Iuma預測模式的內4x4或內16x16、色度預測(8x8)或其他內編碼，以確定內預測模式和相關聯的成本。模式判定模塊212根據與精化後運動矢量、直接模式運動矢量和最佳內預測模式(尤其是產生最低成本或其他指定成本的方法)關聯的成本，確定多個宏塊中的每個宏塊的最終宏塊成本。MVD模塊226被配置成確定所接收的運動矢量之間的差別。這個差分信息可以供隨後對經編碼的視頻信息進行熵編碼使用。TQZ模塊227通過將剩餘像素值變換、編碼、量化和曲折編碼成經量化的變換後的係數，產生經編碼的視頻信號，其可用諸如熵編碼進一步編碼。解碼器230被配置成將TQZ模塊227所提供的經編碼的視頻信息解碼並將解碼後的視頻信號提供給MS模塊221。解碼器230是視頻解碼器模塊，其被配置成將TQZ模塊227所提供的視頻信息解碼，並將解碼後的視頻信息提供給MS模塊221。這使MS模塊221可以減少在視頻編碼中的誤差。在所例示的這個實施例中，解碼器230包括升級器231，解碼器230用它執行視頻解碼。在一個實施例中，升級器231使用與圖I的升級器103相同的硬體模塊。通過將同一個升級器用於視頻解碼和與增強層關聯的圖像幀的升級，可以減小視頻編碼器100的總面積。在一個實施例中，圖2中所例示的硬體編碼模塊被配置成同時操作以根據不同的所接收的幀來產生經編碼的視頻信息。因此，這些硬體編碼模塊中的每一個可以對與不同的視頻流關聯的圖像幀信息進行操作。例如，在特定的時間點，IP模塊222可以處理與流SI關聯的圖像幀，而在同一個時間點，MVD模塊 處理與流S4關聯的圖像幀或基於圖像幀的信息。此外，硬體編碼器106的硬體編碼模塊可以同時處理經SVC編碼的視頻信號的基礎層和增強層的視頻信息。因此，例如，在MS模塊221處理與增強層關聯的視頻信息的同時，MD模塊212可以處理與基礎層關聯的視頻信息。圖3例示了按照本公開的一個實施例的操作視頻編碼器100的方法的流程圖。在方框302，視頻編碼器100用包括硬體編碼器106和硬體熵編碼器109的編碼通路對SVC視頻流的基礎層編碼。在方框304，視頻編碼器100用包括硬體編碼器106和軟體熵編碼器107而不包括硬體熵編碼器109的編碼通路對SVC視頻流的一個或多個增強層編碼。圖4例示了按照本公開的一個實施例的在圖I的基礎/增強控制模塊105路由所接收的圖像幀的方法。在方框402，基礎/增強控制模塊105接收來自多路復用器102的圖像幀。在方框404，基礎/增強控制模塊105確定要將該圖像幀編碼在SVC視頻流的基礎層內還是在增強層之一內。響應於確定要將所接收的幀編碼在基礎層內，在方框408由基礎/增強控制模塊105將該幀提供給硬體編碼器106。響應於確定要將圖像幀編碼在增強層之一內，方法流程就進至方框406，並且基礎/增強控制模塊105確定該圖像幀先前是否已被升級。如果是，方法流程就進至方框408，基礎/增強控制模塊105將先前已升級的圖像幀提供給硬體編碼器106以供編碼。如果圖像幀先前沒有被升級，方法流程就進至方框410，並且基礎/增強控制模塊105將該幀提供給升級器103，其將該幀升級。在方框412，升級器103將經升級的幀置入視頻流S4，其供多路復用器102選用。圖5例示了按照本公開的一個實施例的在基礎/增強控制模塊108路由經編碼的視頻信息的方法。在方框502，基礎/增強控制模塊108接收經編碼的視頻信息。在方框504，基礎/增強控制模塊108確定要將所接收的信息編碼在SVC視頻流的基礎層內還是在增強層之一內。如果要將所接收的經編碼的視頻信息編碼在增強層之一內，方法流程就進至方框506，並且基礎/增強控制模塊108將所接收的經編碼的視頻信息提供給軟體熵編碼器107以供熵編碼。如果要將所接收的經編碼的視頻信息編碼在基礎層內，方法流程就進至方框508，並且基礎/增強控制模塊108將所接收的經編碼的視頻信息提供給硬體熵編碼器109以供熵編碼。此外，根據本公開的一個實施例，提供了一種方法，包括接收來自第一硬體編碼模塊的視頻信息；響應於確定視頻信息與可分級視頻流的基礎層關聯，按照第一熵編碼處理來視頻信息處理；以及響應於確定視頻信息與可分級視頻流的增強層關聯，按照與第一熵編碼處理不同的第二熵編碼處理來處理視頻信息。此外，按照第一熵編碼處理來處理視頻信息包括在第二硬體編碼模塊處理視頻信息，而按照第二熵編碼處理來處理視頻信息包括在軟體編碼模塊處理視頻信息。此外，所述方法還包括將基礎層與增強層合併以形成可分級視頻流。本公開的其他實施方式、用途和優點對於考慮到本說明書和在這裡所揭示的公開內容的實踐的本領域技術人員來說是清楚的。本說明書和附圖只是示例性的，因此意欲使本公開的範圍僅由以下權利要求及其等同來限 定。
權利要求
1.一種方法，包括 用第一編碼通路對可分級視頻編碼流的基礎層進行編碼(302)，所述第一編碼通路包括第一硬體編碼模塊；以及 用與第一編碼通路不同的第二編碼通路對可分級視頻編碼流的增強層進行編碼(304)，所述第二編碼通路包括所述第一硬體編碼模塊。
2.如權利要求I所述的方法，還包括 接收第一圖像幀； 響應於確定(404)要將第一圖像幀編碼(302)為基礎層的一部分，通過第一輸入端將第一圖像幀提供(408)給第一硬體編碼模塊，並將第一圖像幀編碼為基礎層幀；以及 響應於確定要將第一圖像幀編碼為增強層的一部分，將第一圖像幀升級(410)，並通過第一輸入端將升級後的第一圖像幀提供給第一硬體編碼模塊。
3.如權利要求2所述的方法，還包括 接收來自第一編碼通路和第二編碼通路兩者共用的輸出端的經編碼的信息； 響應於確定經編碼的信息是基礎層信息，按照第一熵編碼處理對經編碼的信息進一步編碼；以及 響應於確定經編碼的信息是增強層信息，通過按照第二熵編碼處理對經編碼的信息進行處理來對增強層進一步編碼。
4.如權利要求1、2或3所述的方法，還包括 接收來自第一編碼通路和第二編碼通路兩者共用的輸出端的經編碼的信息； 響應於確定經編碼的信息是基礎層信息，按照第一熵編碼處理對經編碼的信息進一步編碼；以及 響應於確定經編碼的信息是增強層信息，通過按照第二熵編碼處理對經編碼的信息進行處理來對增強層進一步編碼。
5.如權利要求4所述的方法，其中，按照第一熵編碼處理處理經編碼的信息包括 在硬體熵編碼模塊處理(508)經編碼的信息。
6.如權利要求4或5所述的方法，其中，按照第二熵編碼處理處理經編碼的信息包括 在軟體熵編碼模塊處理(506)經編碼的信息。
7.如任一在前權利要求所述的方法，其中，所述第一編碼通路和第二編碼通路都包括第二硬體編碼模塊。
8.如任一在前權利要求所述的方法，其中，所述第一硬體編碼模塊要執行以下中的一個或多個 預測內預測模式； 確定在輸入端所接收的視頻信息的多個運動矢量； 基於在輸入端所接收的第一運動矢量，確定第二運動矢量； 基於在輸入端所接收的像素值，確定經量化的係數；和/或 確定在一個或多個輸入端所接收的運動矢量之間的差別。
9.一種設備,包括 包括第一硬體編碼模塊(106)的第一編碼通路，所述第一編碼通路用來對可分級視頻流的基礎層編碼；以及包括第一硬體編碼模塊的第二編碼通路，所述第二編碼通路用來對可分級視頻流的增強層編碼。
10.如權利要求9所述的設備，還包括 包括接收圖像幀的輸入端的第一控制模塊(105)，所述第一控制模塊用來響應於確定要將圖像幀編碼到基礎層中，通過經第一輸入端將圖像幀提供給第一硬體編碼模塊來對基礎層編碼，並且響應於確定要將圖像幀編碼到增強層中，通過將圖像幀升級並經第一輸入端將升級後的圖像幀提供給第一硬體編碼模塊來對增強層編碼。
11.如權利要求10所述的設備，還包括 接收來自與第一編碼通路和第二編碼通路關聯的輸出端的經編碼的信息的第二控制模塊，所述第二控制模塊用來響應於確定經編碼的信息與基礎層關聯，將經編碼的信息提供給第一熵編碼處理，並且響應於確定經編碼的信息與增強層關聯，將經編碼的信息提供給第二熵編碼處理，所述第二熵編碼處理與第一熵編碼處理不同。
12.如權利要求9-11中任一項所述的設備,還包括 接收來自與第一編碼通路和第二編碼通路關聯的輸出端的經編碼的信息的控制模塊，所述控制模塊用來響應於確定經編碼的信息與基礎層關聯，將經編碼的信息提供給第一熵編碼處理，並且響應於確定經編碼的信息與增強層關聯，將經編碼的信息提供給第二熵編碼處理，所述第二熵編碼處理與第一熵編碼處理不同。
13.如權利要求12所述的設備，其中，所述第一熵編碼處理在第二硬體編碼模塊(109)執行，而所述第二熵編碼處理在軟體編碼模塊(107)執行。
全文摘要
本公開涉及可分級視頻編解碼器的編碼設備及其方法。按照可分級視頻編碼(SVC)技術對視頻信號編碼使用兩個分別用於基礎層和增強層的不同編碼通路，從而兩個編碼通路共享公用的硬體編碼模塊。舉例來說，控制模塊可以將所接收的與基礎層關聯的視頻信息直接路由給硬體編碼器模塊予以編碼，而將與增強層關聯的視頻信息路由給升級器。然後，將升級後的視頻信息提供給硬體編碼器模塊以供以與對基礎層信息進行處理的方式類似的方式予以處理。硬體編碼器將經編碼的視頻信息提供給另一個控制模塊，該控制模塊根據經編碼的視頻信息與基礎層關聯還是與增強層關聯，確定將信息相應地路由給硬體熵編碼器還是軟體熵編碼器。
文檔編號H04N7/26GK102740071SQ20121010525
公開日2012年10月17日 申請日期2012年4月11日 優先權日2011年4月11日
發明者張香君, 楊寅夏, 王利民, 趙勖罡, 郭欣 申請人:Vixs系統公司