用於快速信道改變和增加的容錯性的可縮放視頻編碼方法

2023-06-06 05:18:01

專利名稱：用於快速信道改變和增加的容錯性的可縮放視頻編碼方法
技術領域：
本發明一般性地涉及通信系統，所述通信系統例如為諸如地面廣播、蜂窩、無線保 真(Wi-Fi)、衛星等之類的有線和無線通信系統。
背景技術：
在通過諸如無線網絡之類的易出錯的通信信道遞送壓縮視頻比特流時，比特流的 某些部分可能損壞或丟失。在這樣的錯誤比特流抵達接收器並且被視頻解碼器解碼時，回 放質量可能受到嚴重影響。源容錯(error resiliency)編碼是用於處理該問題的技術。在視頻廣播/多播系統中，一個壓縮視頻比特流通常在指定的時間段(經常被稱 作會話(session))中被同時遞送至一組用戶。由於視頻編碼的預測性質，對比特流的隨機 存取只在比特流內部的某些隨機存取點處可用，使得從這些隨機存取點開始才可能進行正 確地解碼。因為隨機存取點一般具有較低的壓縮效率，所以比特流內只存在有限數目的這 樣的點。作為結果，在用戶將其接收器調諧至信道並加入會話時，他必須等待所接收的比特 流中的下一可用的隨機存取點以便開始正確的解碼，這導致視頻內容的回放中的延遲。這 樣的延遲被稱作調諧(time-in)延遲，並且它是影響系統的用戶體驗的重要因素。在視頻遞送系統中，若干壓縮視頻比特流經常被遞送至共享公用傳輸介質的終端 用戶，其中每個視頻比特流對應於節目信道。與前述情況相似，在用戶從一個信道切換至另 一信道時，他必須等待來自該信道的所接收的比特流中的下一可用的隨機存取點，以便正 確地開始解碼。這樣的延遲被稱作信道改變延遲，並且是影響這樣的系統中的用戶體驗的 另一重要因素。插入的隨機存取點的優勢為從視頻編碼的觀點來看，改善壓縮視頻比特流的容 錯性。例如，被周期性地插入至比特流中的隨機存取點重置解碼器並且完全停止錯誤傳播 (propagation)，這改善比特流對於錯誤的魯棒性。例如，考慮H. 264/AVC 視頻壓縮標準(例如，參見 ITU-T RecommendationH. 264 "Advanced video coding for generic audiovisual services，，，ISO/ IEC14496-10(2005) "Information Technology-Coding of audio-visual objects PartlO Advanced Video Coding」)，可以通過包括IDR(瞬時解碼器刷新)碼片、幀內編碼 宏塊(MB)和SI (切換I)碼片的編碼方法來實施隨機存取點(也被稱作切換使能點)。對於IDR碼片來說，IDR碼片僅包含幀內編碼的MB，對於正確解碼，所述幀內編碼 MB不依賴於任何之前的碼片。IDR碼片還在解碼器處重置解碼畫面緩衝器，以使得之後的 碼片的解碼不依賴於IDR碼片之前的任何碼片。因為在IDR碼片之後正確的解碼立即可用， 所以它也被稱作瞬時隨機存取點。相比之下，可以基於幀內編碼的MB實現漸進(gradual) 隨機存取操作。對於數個連續的預測畫面來說，系統地(methodically)編碼幀內編碼的MB,以使得在解碼這些畫面之後，之後的畫面中的每個MB具有畫面之一中的幀內編碼的同 位對等體(co-located counterpart)。因此，畫面的解碼不依賴於該組畫面之前的任何其 他碼片。相似地，SI碼片使得通過在比特流中嵌入該類型的特殊編碼碼片而能夠在不同的 比特流之間切換。不幸的是，在H.264/AVC中，IDR碼片或SI碼片的共同的劣勢是編碼效 率的損失。通常，必須付出顯著量的比特率開銷以嵌入切換點。 相似地，隨機存取點也被用於可縮放視頻編碼(SVC)。在SVC中，依賴表示 (representation)可以由數個層表示組成，並且存取單元由對應於一個幀號的全部依賴表 示組成(例如，參見 Y-K. ffang,M. Hannuksela, S. Pateux,A. Eleftheriadis, and S. Wenger, "System and transport interface of SVC", IEEETrans. Circuits and Systems for Video Technology, vol. 17，no. 9,2007 年 9 月，第 1149-1163 頁；和 H. Schwarz, D· Marpe and Τ. ffiegand,"Overview of thescalable video coding extension of the H. 264/AVC standard", IEEE Trans. Circuits and Systems for Video Technology, vol.17, no. 9, 2007 年 9 月，第 1103-1120 頁)。用於SVC的嵌入隨機存取點的普遍方法是完全使用IDR碼片來編碼存取單元。換 言之，存取單元的每個依賴表示(D)中的全部層表示以IDR碼片編碼。圖1中示出了示例。 圖1的SVC編碼信號具有兩個依賴表示，並且每個依賴表示具有一個層表示。具體地，基本 層與D = 0相關聯，而增強層與D = 1相關聯(「D」的值在本領域中也被稱作「cbpendency_ id」)。圖1圖示了在SVC信號的幀中出現的九個存取單元。如虛框10所示，存取單元1包 括用於第一層(D = 1)的IDR碼片和用於基本層(D = 0)的IDR碼片。之後的存取單元包 括兩個預測⑵碼片。可以從圖1中觀察到，存取單元1、5和9隻包括IDR碼片。這樣，可 以在這些存取單元出現隨機存取。但是，像H. 264/AVC的情況那樣，利用IDR碼片編碼的每 個存取單元降低SVC編碼效率。

發明內容
根據本發明的原理，一種發送視頻信號的方法包括對信號進行可縮放視頻編碼 以提供包括多個可縮放層的視頻編碼信號，其中可縮放層之一被選擇為具有比其他可縮放 層更多的隨機存取點；以及發送該可縮放視頻編碼信號。作為結果，視頻編碼器可以通過在 壓縮的視頻比特流內嵌入附加的切換使能點來減少接收器中的調諧延遲和信道改變延遲。在本發明的例示性實施例中，SVC信號包括基本層和增強層，並且基本層被選擇為 具有比增強層更多的隨機存取點。鑑於以上，如將從閱讀具體實施方式
而變得明顯的那樣，其他實施例和特徵也是 可能的，並且落入本發明的原理內。


圖1示出了具有瞬時解碼器刷新(IDR)碼片的現有技術的可縮放視頻編碼(SVC)
信號；圖2示出了根據本發明的原理的、用於SVC編碼的例示性流程圖；圖3示出了根據本發明的原理的裝置的例示性實施例；圖4示出了根據本發明的原理的例示性SVC信號；
圖5示出了根據本發明的原理的另一例示性流程圖；以及圖6示出了根據本發明的原理的另一例示性裝置；
具體實施例方式除了發明構思之外，圖中所示的元件是眾所周知的，並且不將被詳細描述。例如， 除了發明構思之外，假定對離散多音調(DMT)傳輸(也被稱作正交頻分復用(OFDM)或編碼 正交頻分復用(COFDM))的熟悉，並且不在這裡進行描述。並且，假定對電視廣播、接收器和 視頻編碼的熟悉，並且不在這裡詳細描述。例如，除發明構思之外，假定對諸如NTSC(國家 電視制式委員會)、PAL(逐行倒相制)、SECAM(順序傳送彩色與記憶制)和ATSC(高級電視 制式委員會)(ATSC)、中國數位電視系統(GB) 20600-2006和DVB-H之類的TV標準的當前的 和所提出的推薦的熟悉。類似地，除了發明構思之外，假定對諸如八級殘餘邊帶(8-VSB)、 正交幅度調製(QAM)之類的其他傳輸概念、以及諸如射頻(RF)前端(諸如低噪聲塊、調諧 器、下變換器等)、解調器、相關器、漏洩積分器和平方器之類的接收器組件的熟悉。進一步 地，除了發明構思之外，假定對諸如通過單向傳輸的文件遞送(FLUTE)協議、異步分層的編 碼(ALC)協議、網際網路協議(IP)、網際網路協議封裝器(IPE)之類的協議的熟悉，並且不在這 裡進行描述。相似地，除發明構思之外，用於生成傳輸比特流的格式化和編碼方法(諸如運 動畫面專家組(MPEG)-2系統標準(IS0/IEC 13818-1)和上述SVC)是眾所周知的，並且不 在這裡進行描述。還應當注意，可以使用傳統的編程技術(同樣，在這裡將不描述)來實施 發明構思。最後，圖上的相似標號表示相似的元件。如前所述，在接收器初始啟動時、或甚至在信道改變期間、或甚至在僅僅在相同信 道內改變服務的情況中，接收器在能夠處理任何所接收的數據之前可能必須另外等待所需 的初始化數據。作為結果，用戶在能夠存取服務或節目之前必須等待附加量的時間。在SVC中，SVC信號具有數個依賴(空間)層，其中每個依賴層由具有相同的 dependency_id值的SVC信號的一個或更多的可縮放層組成。基本層表示視頻信號的最小 解析度等級。其他層表示視頻信號的增加的解析度層。例如，如果SVC信號包括三個層，則 存在基本層、層1和層2。每個層與不同的d印endencyjd值相關聯。接收器可以正好處理 (a)基本層，(b)基本層和層1或者(c)基本層、層1和層2。例如，可以由只支持基本信號 的解析度的設備接收SVC信號，並且，同樣，該類型的設備可以簡單地忽略所接收的SVC信 號的其他兩層。相反地，對於支持最高解析度的設備來說，則該類型的設備可以處理所接收 的SVC信號的全部三層。在SVC中，對每層獨立地進行IDR畫面的編碼，這樣，根據本發明的原理，用於發送 視頻信號的方法包括對信號進行可縮放視頻編碼以提供包括多個可縮放層的視頻編碼信 號，其中可縮放層之一被選擇為具有比其他可縮放層更多的隨機存取點；以及發送該可縮 放視頻編碼信號。因而，當在目標依賴層中編碼更多的IDR碼片時，視頻編碼器可以減少接 收器中的調諧延遲和信道改變延遲。在本發明的例示性實施例中，SVC信號包括基本層和增強層，並且基本層被選擇為 具有比增強層更多的隨機存取點。雖然在將基本層選擇為具有更多隨機存取點的環境中例 示本發明構思，但本發明構思不限於此，並且可以替代地選擇另一可縮放層。圖2中示出了根據本發明的原理的例示性流程圖。還應當將注意力短暫地轉向圖3，圖3圖示根據本發明的原理的用於編碼視頻信號的例示性裝置200。只示出了與發明構 思相關的那些部分。裝置200是基於處理器的系統，並且包括如在圖3中以虛框的形式示 出的處理器240和存儲器245所表示的一個或更多的處理器以及相關聯的存儲器。在該環 境中，在存儲器245中存儲由處理器240執行的並且例如實施SVC編碼器205的計算機程 序或軟體。處理器240表示一個或更多的存儲程序控制處理器，並且這些處理器不一定是 專用於發送器功能的，例如處理器240還可以控制發送器的其他功能。存儲器245表示任 何存儲設備，例如隨機存取存儲器(RAM)、只讀存儲器(ROM)等；所述存儲器可以是發送器 內部的和/或外部的，並且根據需要可以是易失性的和/或非易失性的。 裝置200包括SVC編碼器205和調製器210。視頻信號204被施加於SVC編碼器 205。後者根據本發明的原理編碼視頻信號204，並且向調製器210提供SVC信號206。調製 器210提供調製的信號211以經由上變換器和天線(二者都未在圖3中示出)進行發送。現在返回至圖2，在步驟105中，圖3的處理器240將視頻信號204編碼為包括基 本層和至少一個其他層的SVC信號206。具體地，在步驟110中，處理器240控制圖3的SVC 編碼器205 (例如經由圖3中以虛線形式示出的信號207)，以使得在基本層中比在SVC信號 206的任何其他層更頻繁地插入IDR碼片。具體地，就像指定編碼樣式IBBP或IPPP那樣， 向SVC編碼器205應用在不同的空間層指定不同的IDR間隔的編碼參數。在步驟115中， 圖3的調製器210發送SVC信號。現在參考圖4，示出了根據圖2的流程圖的由圖3的SVC編碼器205形成的例示性 SVC信號206。在該例子中，SVC信號206包括兩個層基本層(D = 0)和增強層(D = 1)。 如可以從圖4中觀察到的那樣，基本層在存取單元1、4、7和9中具有IDR碼片，而增強層只 在存取單元1和9中具有IDR碼片。這樣，在如箭頭301所圖示的、接收設備在時刻T。處改 變為(或第一次調諧為)傳送SVC信號206的信道時，該接收設備在能夠開始解碼SVC信 號206的基本層並且向用戶提供減少的解析度的視頻畫面之前僅僅必須等待由箭頭302所 表示的時間Tw。因而，接收器可以通過立即解碼具有更多隨機存取點的基本層視頻編碼信 號來減少調諧延遲和信道改變延遲。如可以從圖4中進一步觀察到的那樣，接收器在能夠 解碼增強層並且向用戶提供更高解析度的視頻畫面之前必須等待由箭頭303所表示的時 間Td。在與圖1中所示的例子(其中兩層都具有相同的IDR頻率)比較時，本發明構思提 供了在僅僅有限的性能損失的情況下以較低的比特率實現相同的一組功能改善的能力。在 基本層只佔用比特流的總的比特率的一小部分時，尤其是這樣的。例如，對於作為基本層(D =0)的通用中間格式(CIF) (372X288)解析度和作為增強層(D = 1)的標準清晰度(SD) (720X480)解析度，基本層僅佔總的比特率的小的百分比(例如大約25%)。因此，與只在 增強層增加IDR頻率、或在兩層都增加IDR頻率相比，通過增加CIF解析度處的IDR頻率， 比特率開銷小得多。在SVC中，由於增強層具有的對基本層的層間預測依賴，可以減輕在初始目標依 賴表示時段期間的性能損失。例如，如上所述，在圖4中，在信道改變或調諧出現在編號3的 存取單元時，解碼器可以僅僅正確地解碼基本層比特流，直至編號9的存取單元。但是，解 碼器可以利用在對應的增強層存取單元中所包含的信息以幫助按增強層質量來重構視頻。應當注意，在SVC標準中指定了單迴路解碼以便減少解碼複雜度。為了使得能夠進行單迴路解碼，解碼器採用約束的層間預測以使得只允許對增強層宏塊(MB)使用層間 幀內預測，對於其同位參考層信號被幀內編碼。為了避免在構建參考層的幀內編碼MB時重 構任何幀間編碼MB，進一步要求使用約束的幀內預測來編碼用於較高層的層間預測的全部
層。 根據本發明的原理，IDR畫面的增加增加了基本層中的幀內編碼MB的數目。在有 益的情況中，可以強迫利用約束的幀內預測來編碼基本層IDR畫面中的幀內編碼MB。結果， 增強層可以具有更多的來自基本層的用於層間幀內預測的幀內編碼MB，這將潛在地改善其 編碼效率。並且，基本層處的這樣編碼的IDR畫面越多，可以在增強層處獲得越高的編碼效 率。所述獲得可以彌補(offset)在基本層處編碼的額外IDR畫面引起的比特率增加。現在參考圖5，示出了根據本發明的原理的用於接收SVC信號的例示性裝置。只示 出了與發明構思相關的那些部分。裝置350接收如接收信號311所表示的、傳送根據本發 明的原理的SVC信號的信號(例如接收的由圖3的裝置200所發送的信號的版本)。裝置 350例如表示蜂窩電話、移動TV、機頂盒、數字TV(DTV)等。裝置350包括接收器355、處理 器360和存儲器365。這樣，裝置350為基於處理器的系統。接收器355表示用於調諧到傳 送SVC信號的信道的前端和解調器。接收器355接收信號311並從其中恢復信號356，所 述信號356被處理器360處理，即處理器360執行SVC解碼。例如，根據圖6中所示的流程 圖，為了根據本發明的原理的信道切換和信道調諧，處理器360經由路徑366向存儲器365 提供解碼的視頻。解碼的視頻被存儲在存儲器365中以應用於顯示器(未示出)，所述顯示 器可以是裝置350的一部分或與裝置350分離。現在轉向圖6，示出了根據本發明的原理的、用於裝置350的例示性流程圖。在切 換信道或調諧到信道時，處理器360將解碼設置為初始目標依賴層。在該例子中，在步驟 405中這由所接收的SVC信號的基本層表示。但是，發明構思不限於此，並且可以將其他依 賴層指定為「初始目標層」，只要它們具有比其他依賴層更多的隨機存取點。在步驟410中， 處理器360從所接收的存取單元接收基本層幀(在本領域中也被稱作接收的SVC網絡抽象 層(NAL)單元)並且在415中檢查所接收的基本層幀是否是IDR碼片。如果它不是IDR碼 片，則處理器360返回至步驟410以接收下一基本層幀。但是，如果所接收的基本層幀是IDR 碼片，則處理器360開始SVC基本層的解碼，以提供雖然處於減少的解析度的視頻信號。然 後，在步驟425中，處理器360從所接收的存取單元接收增強層幀，並且在步驟430中檢查 所接收的增強層幀是否是IDR碼片。如果它不是IDR碼片，則處理器360返回至步驟425， 以接收下一增強層幀。但是，如果所接收的增強層幀是IDR碼片，則處理器360在步驟435 中開始SVC增強層的解碼，以提供處於高解析度的視頻信號。換言之，當在具有大於當前解 碼層的cbpendencyjd值的cbpendencyjd值的依賴層中檢測到IDR碼片時，接收器利用 檢測到的IDR碼片解碼該依賴層中的編碼視頻。否則，接收器繼續解碼當前依賴層。應當 注意，即使沒有來自基本層的IDR，來自增強層的IDR也足夠開始該增強層的解碼。應當注意，圖6的流程圖表示由裝置350處理的上層。例如，一旦已經在步驟420 中開始基本層的解碼，即使處理器350還在步驟425和430中檢查增強層中的IDR碼片，處 理器350仍繼續基本層的解碼。同樣地，即使在步驟415中檢查基本層中的IDR碼片並且 然後在步驟430中檢查增強層中的IDR碼片，如果例如信道改變或調諧出現在由圖4的箭 頭309表示的時間(在該情況中下一存取單元9具有兩層中的IDR碼片)，則它們可以來自相同的存取單元。最後，雖然在基本層和單個增強層的環境中例示了圖6的流程圖，但可以 容易地將圖6的流程圖擴展至多於一個增強層。 如上所述，並且根據本發明的原理，描述了一種用於可縮放視頻編碼的畫面類 型配置的方法。該發明構思改善了由MPEG-SVC(例如參見ITU-TRecommendation H. 264 Amendment 3 "Advanced video coding for genericaudiovisual services :Scalable Video Coding」)生成的壓縮比特流的容錯性。進一步地，在前述系統遞送根據本發明的原 理編碼的這樣的比特流時，可以減少調諧延遲和信道改變延遲。應當注意，雖然在兩層空間 可縮放SVC比特流的環境中描述了該發明構思，但該發明構思不限於此，並且可以被應用 至多個可縮放層以及在SVC標準中所指定的SNR(信噪比)可縮放性。鑑於以上，前面僅僅例示了本發明的原理，並且因而將理解，本領域技術人員將能 夠設計出雖然未在這裡進行明顯的描述、但體現了本發明的原理，並在其精神和範圍之中 的許多替代安排。例如，雖然在分離的功能元件的環境中進行例示，但可以在一個或更多的 集成電路(IC)中體現這些功能元件。相似地，雖然被作為分離的元件示出，但可以在執行 相關聯的軟體(例如對應於在例如圖2和6等中示出的一個或更多步驟)的存儲程序控制 的處理器(例如數位訊號處理器)中實施所述元件中的任何或全部。進一步地，本發明的 原理可應用於其他類型的通信系統，例如衛星、無線保真(Wi-Fi)、蜂窩等。實際上，本發明 構思還可應用於固定或移動接收機。因此應理解，可以對例示性實施例進行許多修改，並且 可以設計其他安排，而不脫離由權利要求限定的本發明的精神和範圍。
權利要求
一種發送視頻信號的方法，其包括對信號進行可縮放視頻編碼以提供包括多個可縮放層的視頻編碼信號，其中所述可縮放層之一被選擇為具有比其他可縮放層更多的隨機存取點；以及發送該可縮放視頻編碼信號。
2.根據權利要求1所述的方法，其中所選擇的可縮放層是視頻編碼信號的基本層。
3.一種在執行信道改變或調諧到信道的裝置中使用的方法，該方法包括 接收包括多個可縮放層的可縮放視頻編碼信號；將解碼設置為具有更多隨機存取點的那個依賴層，其中該依賴層為當前解碼層； 從來自具有更多隨機存取點的可縮放層的幀中檢查瞬時解碼器刷新碼片； 當在具有更多隨機存取點的可縮放層中檢測到瞬時解碼器刷新碼片時，解碼所述具有 更多隨機存取點的可縮放層中的編碼視頻；從來自其他可縮放層的幀中檢查瞬時解碼器刷新碼片；以及當在具有大於當前解碼層的cbpendencyjd值的cbpendencyjd值的依賴層中檢測到 瞬時解碼器刷新碼片時，解碼該依賴層中的編碼視頻。
4.根據權利要求3所述的方法，其中所述具有更多隨機存取點的可縮放層為可縮放視 頻編碼信號的基本層。
5.一種裝置，其包括可縮放視頻編碼器，用於提供包括多個可縮放層的視頻編碼信號，其中所述可縮放層 之一被選擇為具有比其他可縮放層更多的隨機存取點；以及 調製器，用於發送該視頻編碼信號。
6.根據權利要求5所述的裝置，其中所選擇的可縮放層為視頻編碼信號的基本層。
7.一種裝置，其包括接收器，用於提供來自信道的可縮放視頻編碼信號，所述可縮放視頻編碼信號包括多 個可縮放層，其中所述可縮放層之一被選擇為具有比其他可縮放層更多的隨機存取點；以 及處理器，用於在改變為該信道或調諧到該信道時解碼被選擇為具有更多隨機存取點的 可縮放層，直至來自其他可縮放層的隨機存取點可用。
8.根據權利要求7所述的裝置，其中所選擇的可縮放層為可縮放視頻編碼信號的基本層。
全文摘要
一種裝置對視頻信號進行編碼以提供可縮放視頻編碼(SVC)信號，所述可縮放視頻編碼信號包括基本層視頻編碼信號和增強層視頻編碼信號，其中基本層視頻編碼信號具有比增強層視頻編碼信號更多的隨機存取點。
文檔編號H04N7/26GK101849417SQ200880114758
公開日2010年9月29日 申請日期2008年10月30日 優先權日2007年11月5日
發明者吳鎮宇, 戴維·安德森, 艾倫·J·斯坦 申請人:湯姆森特許公司