視頻編碼的圖片級速率控制的製作方法

2023-10-24 16:27:12

專利名稱：視頻編碼的圖片級速率控制的製作方法
技術領域：
本發明的實施例涉及視頻編碼並且更特別地涉及用於各種視頻編碼環境的高質 量速率控制器。
背景技術：
數位訊號壓縮被廣泛用於許多多媒體應用和設備中。使用編碼器/解碼器(編 解碼器)的數位訊號壓縮允許流媒體，例如通過網際網路傳送或者被存儲在壓縮盤上的音頻 或視頻信號。已出現了許多數字視頻壓縮的不同標準，其包括H. 261，H. 263 ；DV ；MPEG-I, MPEG-2，MPEG-4，VCl ；和AVC(H. 264)。這些標準以及其他視頻壓縮技術試圖通過消除圖片 中的以及連續圖片之間的空間和時間冗餘來高效地表示視頻幀圖片。通過使用這樣的壓縮 標準，視頻內容可以以高度壓縮的視頻比特流載送並且因此被高效地存儲在盤中或者被通 過網絡傳送。也被稱為H. 264的MPEG-4AVC (高級視頻編碼)是一種視頻壓縮標準，其提供比其 前任顯著強的壓縮。H. 264標準預期提供高達之前的MPEG-2標準的壓縮的兩倍壓縮。H. 264 標準還預期提供感知質量的改進。結果，越來越多視頻內容以AVC(H. 264)編碼流的形式遞 送。兩種競爭的DVD格式(即HD-DVD格式和藍光光碟格式)支持作為強制性播放器特徵的 H. 264/AVC 高檔解碼(High Profile)。在 Gary SulIivan、Thomas Wiegand 和 Ajay Luthra 等人的 「Draft of Version 4 of H. 264/AVC (ITU-T Recommendation H. 264 and IS0/IEC 14496-10(MPEG-4 part 10)Advanced Video Coding)"Joint Video Team(JVT) of IS0/IEC MPEG & ITU-T VCEG(IS0/IEC JTC1/SC29/WG11 and ITU-TSG16 Q. 6)，14th Meeting =Hong Kong, CH 18-21 January，2005中詳細描述了 AVC (H. 264)編碼，為了所有目的通過參考將 其整體內容結合於此。視頻信號編碼通常包括其中以給定比特率、給定幀速率以及給定緩衝大小來編碼 視頻的情況。
4
期望以避免因源比特率和可用於遞送結果產生的壓縮比特流的可用信道帶寬之 間的失配而引起的客戶端緩衝器的下溢(underflow)或上溢的方式來編碼視頻信號。已研 發了速率控制方案來解決這些問題。這些速率控制方案可以被分成兩大種類用於常量信 道帶寬視頻傳輸的常量比特率(constant-bit-rate，CBR)控制以及用於變量信道帶寬視 頻傳輸的變量比特率(VBR)控制。可以根據速率控制操作的單元來進一步對這些速率控制 方案分類，速率控制操作的單元例如宏塊層、切片(slice)層或幀層速率控制。速率控制方 案根據緩衝器狀態來確定如何將合適的比特分配給每個編碼單元以及如何調整編碼器量 化參數(quantization parameter, QP)以用所分配的比特來適當地編碼每個單元。所形成的本發明的實施例在該上下文中。

發明內容
本發明涉及一種在對一個或多個視頻圖片進行計算機實施編碼中用於速率控制 的計算機實施方法，包括a)使用速率控制數據來確定將被用於對一個或多個視頻圖片中的一個當前圖片 進行編碼的量化參數(QP)，其中a)包括在確定所述QP時考慮圖片類型、圖片複雜度以及目 標比特計數；b)使用在a)中確定的所述QP來將所述當前圖片編碼成壓縮的格式以生成編碼的 當前圖片；以及c)基於根據編碼的當前圖片確定的統計數據來更新速率控制數據。本發明還涉及一種在對一個或多個視頻圖片進行計算機實施編碼中用於速率控 制的計算機實施系統，包括處理器；耦合到所述處理器的存儲器；以及由所述處理器執行的指令集，所述指令包括a)用於使用存儲在所述存儲器中的速率控制數據來確定將被用於對一個或多個 視頻圖片中的一個當前圖片進行編碼的量化參數(QP)的指令，其中a)包括在確定所述QP 時考慮圖片類型、圖片複雜度以及目標比特計數；b)用於使用在a)中確定的所述QP來將所述當前圖片編碼成壓縮的格式以生成編 碼的當前圖片的指令；以及c)用於基於根據編碼的當前圖片確定的統計數據來更新速率控制數據的指令。


通過結合附圖考慮下面的詳細描述，可以容易地理解本發明的教導，其中圖1是圖示在四個階段(stage)中執行的速率控制的框圖。圖2是圖示本發明的速率控制的框圖。圖3是在速率控制的階段2中的目標比特估計器(Estimator)的框圖。圖4是本發明的速率控制的階段2中的QP控制器的框圖。圖5是圖示用於使用根據本發明的實施例的圖片級(level)速率控制來實施視頻 編碼的裝置的框圖。
圖6是圖示用於使用根據本發明的實施例的圖片級速率控制來實施視頻編碼的 可替換裝置的實例的框圖。圖7是包含用於實施根據本發明的實施例的圖片級速率控制的計算機可讀指令 的計算機可讀介質的框圖。
具體實施例方式儘管為了說明目的以下詳細描述包含許多特定細節，本領域的任何一個普通技術 人員都將認識到下文細節的許多改變和替換都在本發明的範圍內。因此，下面描述的本發 明的示例性實施例被闡述，而不會損失要求保護的發明的任何一般性並且不會對要求保護 的發明施加限制。本發明的實施例涉及用於各種視頻編碼環境(包括多處理器架構)的高質量速率 控制器。本發明的實施例為更平滑的量化參數過渡(transition)提供了更準確且高效的 速率失真模型，以便提供更穩定的感知體驗。根據本發明的實施例，對於給定的預先指定的編碼條件，速率控制器能夠生成一 系列適當的量化參數，所述量化參數中的一個用於視頻序列的每個圖片幀從而滿足目標比 特率和目標視覺質量。所提議的速率控制算法目的在於可應用於各種編碼條件，其涵蓋了 不同的目標比特率、幀解析度、緩衝器約束、存儲器限制、常量/變量比特率、處理器架構等寸。本文所描述的速率控制算法已被提議並研發以控制由用戶的應用需求而施加的 視頻比特率和視頻質量。如上所提出的那樣，速率控制器是完全視頻編碼系統的基本部件。 對於給定的預先指定的編碼條件，速率控制器可以生成一系列適當的量化參數，所述量化 參數中的每一個用於視頻序列的對應圖片或幀以滿足目標比特率和目標視覺質量。所提議 的速率控制算法目的在於可應用於各種編碼條件，其涵蓋了不同的目標比特率、幀解析度、 緩衝器約束、存儲器限制、常量/變量比特率、處理器架構等等。可以按照四個階段(如在圖1中所示，被標識為階段1、階段2、階段3和階段4) 來描述所提議的速率控制算法100。階段1主要用於設置速率控制數據緩衝器102的初始 狀態。該速率控制數據緩衝器102被配置成存儲與速率控制算法有關的數據。這樣的數據 可以包括統計數據103 (比如用於一個或多個先前編碼的圖片的多個比特)、根據與一個或 多個先前編碼的圖片和/或當前圖片有關的序列信息105確定的複雜度(complexity)、例 如根據一個或多個先前編碼的圖片或其他相關數據估計的量化參數。該統計數據還可以包 括通過將編碼圖片的重構和對應的原始圖片相比較而計算的失真。以實例的方式，可以按 原始圖片和重構圖片之間的平方誤差的和來測量失真。還可以在圖片的對應子單元(例如 塊、宏塊、切片等等)之間測量失真。序列信息105可以包括例如用於特定圖片組(GOP)的幀速率和/或比特率。在階 段1(在本文中有時被稱為初始化階段)中，源圖片107被輸入以基於用戶指定的編碼模式 和視頻檢測結果而被重新排序。在該階段，參數可以被重置並且存儲器和緩衝器空間可以 被分配。在該階段期間，就其複雜度，可以檢查要編碼的源圖片107。在階段2中，基於在速率控制數據緩衝器102和源視頻幀中收集的數據來得到圖 片級量化參數(QP)。可以基於源圖片107的圖片類型、源圖片107的複雜度、所估計的目
6標比特數以及基本(underlying)速率失真模型來得到圖片級QP。還可以考慮諸如圖片失 真、緩衝器充滿度(fullness)以及對先前編碼幀的QP縮減(clipping)方案之類的其他因 素以確定源圖片107的最終QP。在階段3中，在階段2確定的最終QP被發送到一個或多個主要編碼模塊104以對 源圖片進行編碼。每個編碼模塊104可以實施典型的圖片編碼函數，例如內部搜索和模式 決定。可以例如通過將QP傳遞給實際上編碼視頻幀的調用函數來實施階段3。結果產生的 編碼圖片109可以被存儲在編碼圖片緩衝器CPB中。任何適合的編碼方法可以被用來實施 階段3。在階段4中，在速率控制緩衝器102中統計數據被收集並更新。就其大小檢查對 應於編碼源圖片109的編碼比特流，並且計算並記錄原始源圖片107的像素以及來自根據 編碼源圖片109的其重構的像素之間的失真。在圖2中示出存儲在速率控制數據緩衝器中的統計數據103以及其與速率控制器 200的功能塊的交互。在初始階段(階段1)中，序列級信息105可以被用來限定預先指定 的常量和變量。此外，可以在該階段建立具有其他主要線程(thread)的速率控制器200的 緩衝器管理和連接。在階段2中，目標比特估計器106估計當前圖片、幀或半幀(field)的 目標比特計數(bitcoimt)。該估計器使用源圖片信息113 (例如具有速率控制數據緩衝器 102的ME階段一中的可選信息、數據源像素和輸入圖片類型)來估計目標比特計數115。應 該注意，在CBR編碼條件下，可以使用特殊縮減機制來降低緩衝器上溢的潛在風險。如本文所使用的那樣，表述ME階段一指的是運動估計操作的第一階段。在某些實 施例中，運動可以以兩個階段來實施，其第一階段有時被稱為ME階段一。典型地，ME階段 一以相對較低的計算成本獲得稍微不準確但足夠的運動信息。該信息是最新的(例如當前 圖片信息)以用於幫助目標比特分配。速率控制器200的兩個關鍵部件是目標比特估計器106和QP控制器114。這兩 個部件可以被用來實施如圖2中所示的第二階段2。在圖3中圖示了目標比特估計器的操 作的細節。預先指定的參數117被用來計算初始比特預算(budget) 119。預先指定的參數 的實例包括例如圖片組(GOP)的單元中的滑動窗口的大小的確定。在一個實施方式中，一 個或多個GOP(例如4個G0P)中的比特可以被設置成初始比特預算。如果以每一秒來設 置GOP並且目標比特率是IMbps (每秒1百萬個比特)，則初始比特預算是滑動窗口中的 4，000, 000個比特。比特預算更新器108基於根據一個或多個先前圖片而校正的比特121 數目來更新初始比特預算119。結果產生的經過更新的比特預算123將輸入提供給比特計 數分發器(distributor) 110。比特預算更新器108可以採用基於滑動窗口的比特預算以消除初始抖動(例如歸 因於不充足的歷史數據)以及可能的內容抖動。例如，為了以每秒6兆比特以及每秒30幀 來編碼視頻序列(其中每秒一個G0P)，該滑動窗口的大小可以被設置成四個GOP長度。也 就是說，在滑動窗口中，存在可用於要被編碼的4X30 = 120個圖片幀的4X6兆比特=24 兆比特。所選擇的滑動窗口的大小可以由比特率準確性和平滑視頻質量之間的折衷來確 定。一般來說，較小的窗口大小將具有較緊密(tighter)的比特率控制器，其可以具有較好 的比特率收斂(convergence)，但結果是導致不穩定視頻質量的較大的QP波動。較大的窗 口大小傾向於具有更穩定的質量，因為速率控制器具有更靈活的比特預算以基於長期規劃來調整目標比特計數115。然而，較大窗口的缺點是其收斂速度，從而導致實現目標比特率 的較低準確性。兩個極端情況是具有一個幀大小(例如在上述實例中為1/30秒)的滑動 窗口和具有要被編碼的圖片幀總數的滑動窗口。目標比特估計器106的下一任務是確定如何將目標比特計數115分配給當前圖片 幀107。上述實例中的最容易方式是在這些120個幀之間等同地分發24兆比特。然而，該 方法可能因為忽略了不同編碼圖片類型(例如內部圖片(I圖片)、預測圖片(P圖片)和雙 向預測圖片(B圖片))的編碼特性和120個幀中的不同圖片之間的內容變化而經歷效率低 的分發。在本發明的一個實施例中，在遞送目標比特計數中考慮不同圖片編碼類型。特別 地，目標比特估計器106可以包括複雜度計算器112，其計算當前圖片107的複雜度值125。 複雜度計算器可以基於當前圖片類型、當前複雜度和先前已編碼的幀的一個或多個過去的 複雜度來為當前圖片107計算複雜度。附加地，複雜度計算器112還可以考慮內容複雜度、 實際比特使用(bit usage)以及實際失真。以實例的方式，而不是以限制的方式，下面討論 為圖片幀確定目標比特計數的三種不同情況。存在表示圖片複雜度的許多方式。除了圖片複雜度的表示之外，簡單的變化只是 一個實例。可替換地可以期望繁雜的表示。以實例的方式，而不是以限制的方式，可以使用 圖片中的宏塊(macroblock)的平均方差。在情況1中，當前圖片107是具有場景變化的圖片。在情況2中，當前圖片107是 規則的I圖片，並且在情況3中，當前圖片是規則的P圖片。根據一個特定實施方式，如果當前圖片107是B圖片，則速率控制器可以簡單地指 派QP (來自其相關聯的參考幀)加上某一常量K。該常量K可以僅僅或部分由最新的編碼 圖片緩衝器(CPB)充滿度來確定。這種處理B圖片的方式允許編碼器具有更強的並行執行 能力。也就是說，可以在任何兩個對應的參考幀中執行任何B圖片編碼。在下面的討論中，Ni是滑動窗口中I圖片的數目，Np是該窗口中P圖片的數目，並 且Nb是該窗口中B圖片的數目。RpRp和Rb分別是類型I、P和B圖片的實際比特使用。此 外，I^rp和rb分別是所估計的圖片類型I、P和B圖片的比特計數，DiAp和Db分別表示I、 P和B圖片的失真並且Mi、MP和Mb分別表示I、P和B圖片的複雜度。下面的預見實例是在 編碼從時間t到t+6的視頻序列時一系列實際比特使用的採樣方案。在當前圖片之前的圖 片類型序列如下1，P，B, B, P，B, B, k，其中k表示當前圖片107，其可以是例如(在情況1 中的)具有場景變化的圖片，或(在情況2中的)規則I圖片，或(在情況3中的)規則P 圖片。速率=Ri(t)，Rp (t+Ι)，Rb (t+2)，Rb (t+3)，Rp (t+4)，Rb (t+5)，Rb (t+6)，rk (t+7)。複雜度=Mi(t)，Mp (t+Ι)，Mb (t+2)，Mb (t+3)，Mp (t+4)，Mb (t+5)，Mb (t+6)，Mk (t+7)。
失真=Di (t)，Dp (t+Ι)，Db (t+2)，Db (t+3)，Dp (t+4)，Db (t+5)，Db (t+6)。在時刻t開始的滑動窗口中的比特預算被表示為WB。窗口包括從時刻t 一直到當 前圖片107之前的圖片的所有幀。就一般性來說，下面將所估計的當前圖片的比特使用和 複雜度分別表示為rK和Μκ。考慮其中比特計數分發器110試圖估計當前圖片107的目標比特計數&的情況。 應該注意，一般來說，窗口可以具有可以是任何類型的任何適合數目的圖片。
在情況1中，其中當前圖片107是具有場景變化的圖片，可以如下計算當前圖片 (即rk(t+7))的目標比特計數115:rk (t+7) = WB (t+6) ^ARi/ (Ni^ARiZAMi+Np*ARp/AMp+Nb*ARb/AMb)，其中ARk僅指回溯到(back to)最近場景變化I圖片的所有k個圖片上的平均實 際比特計數，並且AMk僅指回溯到最近場景變化I圖片的所有k個圖片上的平均複雜度，其 中k是當前圖片的圖片類型，例如I、P或B圖片類型。在情況2中，其中當前圖片107是規則I圖片，目的是根據最近的P圖片來提供平 滑過渡。在這種情況下，可以通過計算最近的I圖片和最近的P圖片之間的失真、實際比特 使用和圖片複雜度的比率(ratio)來得到目標比特計數。在上述實例的圖片類型序列中， 當前圖片之前的最近的P圖片是P圖片和t+4。如果當前圖片107是規則I圖片，則可以假 設就內容特性來說當前I圖片類似於最近的I圖片。因此，僅需要比特率的最小微調。否 則，記錄當前幀的場景變化I圖片。假設當前圖片107是規則I圖片，並且不是場景變化I 圖片，則可以如下計算當前圖片(即rk(t+7))的目標比特計數115:rk(t+7)=[Ri (t) /Rp (t+4) ] * [Di (t) /Dp (t+4) ] * [Mi (t) /Mp (t+4) ] *Rp (t+4)在情況3中，其中當前圖片107是規則P圖片，來自最近的I、P和B圖片的統計數 據可以被用來計算目標比特計數115。例如，對於給定的上述圖片序列，可以如下計算估計 的比特計數rK: rk (t+7) = WB (t+6) * [Rp (t+4) /Mp (t+4) ] /[Ni^Ri (t) /Mi (t) +Ni*Rp (t+4) /Mp (t+4) +Nb*Rb (t+6) /Mb (t+6))]上述目標比特計數計算僅依賴於圖片特性並且不會考慮其中編碼圖片緩衝器CPB 具有有限大小的情況，所述有限大小可以被表示為CPBsize。對於實際應用，比特計數分發器 108可以根據CPB狀態和比特率準確性調整最終目標比特計數115以降低CPB上溢和下溢 的風險。為了促進這樣的調整，目標比特估計器106可以包括緩衝器調節器116，其將相關 的CPB狀態信息提供給比特計數分發器108以調整目標比特計數115。在調整目標比特計數115時存在考慮CPB狀態信息的許多方式。例如，在常量比 特率(CBR)應用中，可以根據緩衝器接近於上溢還是下溢而有差別地調整目標比特計數 115。在確定是否存在潛在的上溢或下溢情況時，限定在本文中被稱為編碼圖片緩衝器充 滿度CPBfull的量是有用的，所述編碼圖片緩衝器充滿度CPBfull被稱為當前存儲在CPB中的 數據的數量(CPB·)相對於編碼圖片緩衝器CPB的有限大小CPBsize的比率，例如CPBfull = CPB。u /CPBsize。例如，當CPBfull增加並在預先限定的上限CPBmax以上時，可能存在潛在CPB 上溢。在這種情況下，可以如下調整目標比特計數115(即rk(t+7))以降低CPB上溢的風 險rk(t+7)) = rk(t+7)*(l. 0+C* (CPB^-CPB·》，其中 C 是常數乘數(例如 2)。可替換地，如果CPBfullness向下移動並且在預先限定的下限CPBmin以下，則編碼圖 片緩衝器CPB可能接近潛在CPB下溢情況。在這種情況下，可以如下調整目標比特計數 115 (即rK)以降低CPB下溢的風險rk(t+7) = rk(t+7)*(1.0+C*(CPBmin-CPBfull),其中 C是常數乘數(例如 2)，並且0.0 < CPBmin < CPBmax < 1. 0。
9
在變量比特率(VBR)應用中，CPB上溢更有可能歸因於長時間的初始延遲(即在 開始編碼之前CPB幾乎被完全饋送)。然後，可以如下調整目標比特計數115 如果(CPBcushim小於 sec_threshold)，則rk (t+7) = rk (t+7) * (1. 0+incr_% )其中，CPBcushion= (CPBsize-CPB_curr)/(編碼器的目標比特率)，並且 0. 0 < incr_%< 1. 0。術語sec_threshold指按時間單位(例如秒)的CPB緩衝(cushion)的閾值。以 實例的方式，而不是以限制的方式，如果CPB。ushi。n小於1秒，則rk(t+7)的值根據上述等式 增加。再次參考圖2，目標比特估計器106將目標比特計數發送到QP控制器114，其然後 使用目標比特計數115連同速率控制數據緩衝器102中的失真和源像素信息來得到QP。以 實例的方式，而不是以限制的方式，QP控制器114可以如圖4所示的那樣得到QP。具體來 說，QP控制器114可以實施基於目標複雜度、兩個或更多先前幀的窗口上的平均複雜度以 及複雜度穩定器因子(stabilizer factor)來計算複雜度因子的複雜度功能。此外，QP控 制器114可以實施基於先前幀的失真、在兩個或更多先前幀的窗口上所採用的平均失真以 及失真穩定器因子來計算失真因子的失真功能。此外，QP控制器可以實施基於當前幀107 的目標比特計數、在兩個或更多先前幀的窗口上採用的平均比特計數以及比特計數穩定器 因子來計算估計的比特計數的功能。在圖4中描繪的QP控制器114可以包括計算複雜度、失真和比特計數的功能塊 (f)。每個功能塊可以接收一個或多個穩定器因子作為輸入。穩定器可以用來降低複雜 度、比特計數和失真中的大波動。以實例的方式，而不是以限制的方式，被表示為Si、S2的 穩定器因子可以用來根據如下類型的公式而降低計算估計的比特計數A時平均比特計數B 和平均複雜度C中的波動的影響A = (B+S1) / (C+S2)，其中 Sl 和 S2 是穩定器。為了降低平均比特計數和平均複雜度中的大波動對計算A的影響，速率控制器 114可以將常量或自適應值指派給穩定器項Sl和S2，以使得速率控制器114可以獲得比可 能通過簡單比率(例如B/C)而獲得的更穩定的估計比特計數A的值。如果適當地選擇穩 定器的值，則他們傾向於穩定(B+S1)/(C+S2)的值。類似的穩定器項可以用來穩定類似的複雜度因子和失真因子的計算。QP控制器114可以包括QP調製器(Modulator)，其基於比特計數、失真和複雜度 因子來確定未經過處理的QP值。QP控制器還可以包括縮減機制118，其約束結果產生的QP 值的範圍。與完全基於假設的速率失真模型的傳統方法不同，所提議的速率控制器220可以 通過考慮下述主要因素的交互而得到QP:圖片類型、圖片複雜度、圖片失真和目標比特計 數115。利用這些因素和他們的交互關係，可以使用下面的方法。如圖4所示，QP控制器114基於根據比特計數分發器110計算的目標比特預算來 得到最終QP值127。如上所述，QP控制器114是速率控制器200中的關鍵部件之一。QP控 制器114對比特計數和視覺質量有直接影響。為了實現最佳質量，可以使用查找最佳QP的 迭代方法來最小化失真。然而，這可能是效率低的。在本發明的實施例中，通過對比，以更有效的方式來實現相當好的視覺質量的目標。為了保持穩定的視覺質量，QP控制器114基於當前圖片107的圖片類型得到最初 的QP。不同的圖片類型具有得到對應QP的不同方法。以實例的方式，而不是以限制的方 式，可以考慮五種不同的情況；(1)視頻序列的最先IDR圖片，(2)具有場景變化的IDR圖 片，(3)規則IDR和I圖片，(4)規則P圖片，以及(5)非參考B圖片。如本文所使用的那樣，IDR圖片(或IDR幀)是特殊類型的I圖片(或I幀)。主 要的差別是當編碼器將IDR指派給圖片/幀時，這意味著幀緩衝器中的所有參考幀的信息 都失去。因此，不能在後續編碼中使用那些參考幀。在視頻序列的第一 IDR圖片的情況下，可以基於複雜度、編碼條件以及以下普通 假設來得到QP。基本概念是找出I圖片和P圖片以及P圖片和B圖片之間就編碼比特複雜 度方面的關係。考慮其中在滑動窗口中存在N個圖片並且N = Ni+Np+Nb的情況，其中Ni, Np，和Nb 分別是窗口中I、p和B圖片的數目。如下計算第一 IDR的目標比特計數115 (即。rk = WB/Ni +Np/ratiop+Nb/ratiob)。其中可以如下計算 ratiop 和 ratiob 的值ratiop = CP/bits_per_macroblock,其中 Cp 是常量，bits_per_macroblock = target_bit—rate/(target—frame—rate氺frame—width/16氺frame—height/16).ratiob = ρ i c tur e_comp Iexi ty*rat i op在上述等式中，項piCtUre_COmpleXity指當前圖片的複雜度，因為在該實例中， 當前圖片是序列中第一圖片。在得到目標比特計數115(rK)之後，於是可以應用簡單的一階(first order)RD 模型以獲得量化值(在本文中被稱為實際QP)。應該注意，該量化值可以完全不同於最終 的QP(在本文中被稱為語法(syntax)QP，其是語法元素並且被嵌入在比特流中)，因為實 際上在量化器中使用前面的QP。為了將實際的QP轉換成語法QP，可以使用公式QPsyntax = 6. O^loglO (QPactual)/IoglO (2. 0)。然後，可以將QPsyntax的結果值縮減到最小值QPmin和最大 值QPmax之間的預先限定的範圍內以產生最終QP值127。在IDR圖片具有場景變化的情況下，基於包括從其先前的所有I圖片一直到先前 最靠近的具有場景變化的IDR的平均複雜度、平均比特使用和平均QP的統計數據103來得 到新的QPoQP控制器114首先確定被限定成過去的I幀的(平均比特使用/平均複雜度)的 舊的R/M比率。QP控制器114然後可以如下得到新的相對R/M比率新的R/M比率=(舊的R/M比率)/ (rk/Mk)，其中rk和Mk指當前幀107的目標比 特計數和複雜度。可以根據Rh/MH來確定舊的R/M比率，其中Rlri和MH是當前幀107之 前的幀的實際比特使用和複雜度。然後可以根據下式確定新的實際QP值QPactual =(平均 QPaetual) X (新的 R/M 比率)。如上面所討論的那樣，可以將新的實際QP值轉換成新的語法QP值。應該注意，如果當前幀107是場景變化幀，則新的QP值可以完全不同於緊接在先 的幀的QP值。為了降低大的QP波動。QP縮減機制118可以根據先前的幀來計算複雜度差 別。縮減機制118然後可以限定QP變化的範圍以有力地限制QP變化。以實例的方式，而 不是以限制的方式，可以使用下面的縮減方案。
首先根據下式來限定範圍QPrange QPrange = multiplier*(max(Mk, Mk^1)/min(Mk, Mk^1))，其中Mh是緊接在當前幀之前的幀的複雜度。乘數可以是由經驗確定的常量值。以實例的方式，而不是以限制的方式，可以使用 具有常量值2的乘數。因此，最終QP值127可以被約束到下述範圍[QPsyntax-QPrange, QP syntax+QPrange] °在當前圖片107是規則IDR和I圖片的情況下，QP控制器114可以對QPsyntax值有 直接作用。因此圖片幀是規則幀，意味著在視頻特性中不會出現明顯的變化。(否則應該 記錄場景變化)，為了保持相對穩定的QPsyntax值，可以對實際比特計數與複雜度的比率應用 LOG運算。可以使用下面的RD公式根據先前幀(其被表示為QPkJ的QPsyntax值來得到當 前幀107 (被表示為QPk)的QPsyntax值。LOG (比特率/複雜度)X QPsyntax =常量。基於上述公式，可以如下計算當前幀107的QPsyntax最終值QPk = LOG [ (Rh/Mh) * (QPlri) ] /LOG (rk/Mk)，其中QPlri是當前幀107之前的幀的QPsyntax值。如果當前幀107是規則P圖片，則QP控制器114可以通過對QPaetual值進行對數運 算來保持穩定的QPsyntax值。可以如下得到當前幀(被表示為QPa。tual—k)的新的實際QP值QPactual k = LOG (Rh) * (QPactual Η) /LOG Ο然後，如上所述將QPaetual k值轉換成QPsyntax值。如果當前圖片107是規則B圖片(即非參考B圖片)，則將不會傳播誤差。因此， 可以通過簡單地將+2添加到其先前參考幀的語法QP來獲得常量QP。這種情況還為並行編 碼提供機會，因為一般來說在任何兩個連續B圖片之間不存在相關性。圖片之間沒有數據 相關性用作對編碼過程並行化的入口點。可以並行執行兩個參考圖片內的B圖片編碼。在編碼階段(階段2)中，速率控制算法可以簡單地將QP返回到其調用函數。在 最終階段中，正好在視頻幀/半幀編碼之後，速率控制收集實際比特使用(可能被分開的紋 理比特和輔助比特(overhead bit))、實際圖片失真以及實際緩衝器充滿度，並且更新速率 控制數據緩衝器103中的這一信息。在一系列視頻幀的視頻編碼過程中，可以重複執行從階段2到階段4的過程。應 該注意，在本發明的實施例中，速率控制器僅需要考慮參考圖片(即在該參考圖片被用作 金字塔形編碼中的參考圖片的情況下為I圖片、P圖片或B圖片)的目標比特計數。圖5圖示計算機裝置500的框圖，所述計算機裝置500可以如上述那樣用來在三 個或更多處理器上實施流數據的並行解碼。該裝置500通常包括多個處理器模塊501A、 501B.501C和存儲器502。作為使用多個處理器模塊的處理系統的實例，該處理器模塊 501A、501B、501C可以是Cell處理器的部件。存儲器502可以是集成電路的形式，例如RAM、DRAM、ROM等等。存儲器502還可 以是所有處理器模塊501能訪問的主存儲器。在一些實施例中，處理器模塊501A、501B、 501C可以具有相關聯的本地存儲器505A、505B、505C。可以以能在處理器模塊501上執行 的處理器可讀指令的形式來將編碼器程序503存儲在主存儲器502中。編碼器程序503可以被配置成例如如關於圖1、圖2、圖3和圖4所述的那樣利用速率控制算法來編碼視頻幀 數據。具體來說，編碼器程序可以以在確定QP值時考慮圖片類型、圖片複雜度、圖片失真和 目標比特計數的方式來計算QP值。可以以任何適合的處理器可讀語言例如(例如C、C++、 JAVA、Assembly、MATLAB、FORTRAN以及多種其他語言)來寫程序503。如上所述，速率控制 數據507可以被存儲在存儲器502 (例如速率控制緩衝器)中。這樣的速率控制數據可以 包括評價先前幀的窗口的比特利用、複雜性、失真、QP等等的統計數據。在一些實施例中， 在執行編碼器程序503期間，部分程序代碼和/或數據507可以被載入到本地存儲器505A、 505B、505C中，以用於處理器模塊501A、501B、501C的並行處理。裝置500還可以包括公知的支持功能510，例如輸入/輸出(I/O)元件511、電 源(P/S)512、時鐘(CLK) 513和高速緩存514。設備500可選地可以包括大容量存儲設備 515 (例如硬碟驅動器、CD-ROM驅動器、磁帶驅動器等等)以存儲程序和/或數據。設備500 還可以可選地包括顯示單元516和用戶接口單元518以促進裝置500和用戶之間的交互。顯示單元516可以是顯示文本、數字、圖形符號或圖像的陰極射線管(CRT)或平 板屏幕的形式。用戶接口 518可以包括鍵盤、滑鼠、操縱杆、光筆或可以結合圖形用戶界面 (⑶I)使用的其他設備。裝置500還可以包括網絡接口 520，其使得設備能夠通過網絡(例 如網際網路)與其他設備進行通信。這些部件可以以硬體、軟體或固件或兩個或多個這些形 式的某一組合來實施。存在許多以裝置500中的多個處理器進行流水線並行處理的附加方式。例如，有 可能例如通過將代碼複製到處理器501A、501B、501C中的兩個或更多個處理器上來「解開 (unroll) 」處理循環，以及使每個處理器實施代碼以處理不同的數據塊。這樣的實施方式可 以避免與設置循環有關的等待時間。如上面所指出的那樣，可以在多處理器系統上實施上述速率控制的某些部分(例 如失真計算)。除了多處理器系統之外，能夠實施並行處理的一個實例被認為是cell處理 器。存在許多被分類為cell處理器的許多不同處理器架構。以實例的方式，而不是以限制 的方式，圖6圖示cell處理器600的可能配置。cell處理器600包括主存儲器602、單個 功率處理器元件(PPE)604和八個協同處理器元件(SPE)606。可替換地，cell處理器601 可以被配置成具有任何數目個SPE。以實例的方式，可以以被公知為Cell寬帶引擎架構(CBEA)-順應(compliant) 處理器的架構來表徵cell處理器600。在CBEA-順應架構中，可以將多個PPE結合到一個 PPE組中並且可以將多個SPE結合到一個SPE組中。為了實例的目的，cell處理器600被 描繪為僅具有單個SPE組和具有單個SPE和單個PPE的單個PPE組。可替換地，cell處 理器可以包括多個功率處理器元件組(PPE組)和多個協同處理器元件組(SPE組)。例如 以Cell寬帶引擎架構形式詳細描述了 CBEA-順應處理器，其可以在http//V驟-306. ibm. com/chips/techlib/techlib. nsf/techdocs/lAEEE1270EA2776387257060006E61BA/$fil e/CBEA 01 pub, pdf上在線得到，通過參考將其結合於此。以實例的方式，PPE 604可以是具有相關聯的高速緩存的64比特PowerPC處理器 單元(PPU)。PPE 604可以包括可選的矢量多媒體擴展單元。每個SPE 606包括協同處理 器單元(SPU)和本地存儲器(LS)。在一些實施方式中，本地存儲器可以具有例如大約256 千字節容量的代碼和數據的存儲器。SPU是比PPU簡單的計算單元，因為他們通常不執行任何系統管理功能。SPU可能具有單指令多數據(SIMD)能力並且通常處理數據和發起任何 所需的數據傳送(經受由PPE設置的訪問屬性)以便執行他們的分配任務。SPU允許系統 600實施需要較高計算單元密度的應用並且可以高效地使用所提供的指令集。由PPE 604 管理的系統600中的有效數目個SPE 606允許對各種各樣的應用進行成本高效的處理。存儲器602、PPE 604和SPE 606可以彼此通信並且通過環形元件互連總線610與 I/O設備608通信。存儲器602可以包含具有上述速率控制數據507 —樣特徵的速率控制 數據603。存儲器602還可以存儲具有與上述編碼器程序503 —樣特徵的編碼器程序609。 至少一個SPE606可以在其本地存儲器(LS)中包括編碼指令605和/或例如如下所述那樣 並行處理的輸入視頻幀數據和/或速率控制數據部分。PPE 604可以在其Ll高速緩存中包 括具有與上述編碼程序503 —樣特徵的代碼指令607。指令605和數據607還可以被存儲 在存儲器602中以在需要的時候被SPE和PPE訪問。可以通過一系列函數調用在關於圖5或圖6所描述的裝置類型上實施在圖1 中所描繪的以及關於圖2-4進一步描述的速率控制算法。例如，可以通過調用在本文中 被稱為PicRateCtrllnitO的函數來實施初始化階段(階段1)。在整個編碼過程中， PicRateCtrlInitO函數可能僅被編碼器程序507或603的編碼器SPU主控制線程調用一 次。因此PicRateCtrllnitO函數可以用作編碼器程序的速率控制部分的任何入口點。如 果速率控制實例存儲器不足，則PicRateCtrllnitO函數可以返回錯誤消息。速率控制實 例存儲器具有與速率控制緩衝器中的可用空間量相同的空間量。如果當前所使用的速率 控制實例存儲器被速率控制實例使用，則PicRateCtrllnitO函數還可用返回錯誤消息。 如果不存在錯誤情況，則PicRateCtrlInitO函數可以創建速率控制句柄(handle)並且 基於輸入參數相應分配存儲器。如在本文中所使用的那樣，術語速率控制句柄指的是通 常在電腦程式實施方式中使用的特定類型的指針。速率控制句柄是指向可能在此處訪 問特定速率控制器的數據的存儲器地址的指針。在Cell處理器實施方式的特定情況下， PicRateCtrlInitO的輸入可以包括(1) SPU線程配置緩衝器、(2)測試驅動器控制參數、 (3)流級配置、和(4)幀級配置。PicRateCtrlInitO函數的輸出是圖片速率控制緩衝器 102的句柄。可以通過調用本文被稱為PicRateCtrlPr印are 的函數來實施準備階段(圖1 的階段2)。該函數的主要任務是得到基於輸入數據的QP值。可以在對每個圖片的編碼的 開始時調用PicRateCtrlPi^pareO函數，並且該PicRateCtrlPr印are 函數是速率控制 算法的關鍵。PicRateCtrlPrepareO的輸入可以包括速率控制句柄、幀級配置、輸入幀緩衝器 和速率控制數據緩衝器。PicRateCtrlPr印are 函數可以實施下面的操作·檢查處於CBR情況的緩衝器充滿度。·調整滑動窗口中的總比特率預算。·使用目標比特估計器106來確定當前圖片的目標比特111，例如如上所述的那樣。·如果圖片類型是I/IDR，則使用QP控制器114來得到圖片IQP，例如如上所述的那樣。·如果圖片類型是P，則使用QP控制器114來得到圖片P QP，例如如上所述的那樣。 如果圖片類型是非參考B，則使用QP控制器114來得到非參考圖片 B (Non-ref-Picture-B) QP,例如如上所述的那樣。 如果圖片類型是參考B，則使用QP控制器114來得到參考圖片B QP，例如如上所 述的那樣。 縮減預先指定的範圍(可以在PicRateCtrllnitO中限定所述預先指定的範圍) 內的QP以確保平滑視覺質量過渡。可以如上所述的那樣關於QP縮減機制118來實施該操作。可以通過調用PicRateCtrlEncode 函數來實施編碼階段(階段3)。PicRateCtrlEncode 函數可以被調用以獲得給定圖片的最終QP。在一些實施例 中，PicRateCtrlEncode 函數可以被調用以獲得圖片的s子段(subsection)(例如切片 或宏塊)的最終QP值。因此，本發明的實施例可以被擴展到處於宏塊級的速率控制。PicRateCtrlEncode 函數還可以包括調用通常在編碼視頻圖片中使用的其他函 數，例如網絡抽象層(NAL)編碼、視頻編碼層(VCL)編碼和去塊效應(de-blocking)的函 數。關於上述實施例可能存在許多變化。例如，在一些實施方式中，編碼步驟(階段3) 可以包括在多個處理器上並行分發和處理的失真計算。在多處理器實施方式中，可以在逐 個分段的基礎上(on asection-by-section basis)來計算圖片的總失真，其中使用用於每 個分段的不同處理器並行執行圖片的不同分段的失真計算。可以通過將編碼之前的圖片的 原始像素與重構像素相比較來逐個宏塊地計算每個分段的失真。在一些實施方式中，可以在去塊效應之前完成失真計算以加速全部性能，因為不 存在將一個多個數據路徑從去塊效應線程分配到主線程的需要。已根據經驗確定基於速 率控制器的去塊效應幀(deblockedframe)和未去塊效應幀的失真計算的不一致可以忽略 的。此外，在一些實施方式中，可以將圖片分段的每個宏塊中的失真載送到現有的MB 信息容器中，可以經由DMA將其傳送到伺服器。所以NAL編碼線程可以收集並計算圖片的 全部失真。如果採用基於宏塊的速率控制，則該MB失真還幫助進一步改進圖片質量。可以通過調用PicRateCtrlUpdate 函數來實施更新階段(階段4)。可以在下述 兩種情況下調用PicRateCtrlUpdateO函數(1)正好在多核處理器(例如寬帶引擎(BE)) 處完成編碼MB行之後記錄數據；或者(2)正好在生成最終視頻編碼層(VCL)比特流之後它 被調用以收集與整個當前圖片相關聯的統計數據。PicRateCtrlUpdate 函數的輸入可以 包括但不限於速率控制句柄、未經過處理的圖像的顏色空間格式、先前重構的圖片、圖片 級編碼信息以及先前圖片的編碼比特。PicRateCtrlUpdate 函數可以內部地更新速率控 制數據緩衝器102。以實例的方式，而不是以限制的方式，顏色空間格式可以是420YUV。該格式可以包 括一個亮度(Iuma)分量(Y)和兩個色度分量(U和V)。典型地，基於MPEG編碼器的輸入是 420YUV，例如從解析度的觀點來看這意味著Y的尺寸(dimension)是W*H，並且U和V每個 具有W/2*H/2的尺寸。以實例的方式，而不是以限制的方式，PicRateCtrlUpdate 函數可以實施下述操作·收集統計數據。·更新速率控制數據緩衝器102中的統計數據。·檢查緩衝器充滿度以確定緩衝器上溢的可能性。·如果需要的話實施緩衝器上溢防止機制。根據另一個實施例，如上所述實行圖片級速率控制的指令可以被存儲在計算機可 讀存儲介質中。以實例的方式，而不是以限制的方式，圖7圖示計算機可讀存儲介質700的 實例。該存儲介質包含以計算機處理設備可以檢索解釋的格式存儲的計算機可讀指令。以 實例的方式，而不是以限制的方式，該計算機可讀存儲介質700可以是計算機可讀存儲器， 例如隨機存取存儲器(RAM)或只讀存儲器(ROM)、用於固定磁碟驅動器(例如硬碟驅動器) 的計算機可讀存儲磁碟或可移動磁碟驅動器。此外，計算機可讀存儲介質700可以是快閃記憶體 設備、計算機可讀磁帶、CD-ROM、DVD-ROM、藍光光碟、HD-DVD、UMD或其他光存儲介質。存儲介質700可選地包含速率控制初始化指令702，其可以包含如上所述實施算 法的階段1的一個或多個指令。以實例的方式，而不是以限制的方式，在執行時，該初始化 指令可以被配置成實施上述PicRateCtrlInitO函數。存儲介質700可以包括一個或多個速率控制準備指令704。該準備指令704可以 被配置成上述速率控制算法的階段2。以實例的方式，而不是以限制的方式，在執行時，該初 始化指令可以被配置成實施上述PicRateCtrlPr印are 函數。存儲介質700可以包括一個或多個編碼指令706。編碼指令706可以被配置成上 述速率控制算法的階段3。以實例的方式，而不是以限制的方式，在執行時，該初始化指令可 以被配置成實施上述PicRateCtrlEncode 函數。存儲介質700可以包括一個或多個速率控制更新指令708。準備指令708可以被 配置成上述速率控制算法的階段4。以實例的方式，而不是以限制的方式，在執行時，該速率 控制更新指令可以被配置成實施上述PicRateCtrlUpdate 函數。上述速率控制算法已在試驗AVC編碼器中廣泛實施。該速率控制算法的性能表明 該算法不僅準確地實現了目標比特率而且還控制CPB緩衝器適當地構造HRD順應AVC比特 流。最重要地是，在控制量化參數的新速率控制算法的有效性的情況下，編碼器表明高保真 度和穩定的視覺質量。儘管上述內容是本發明的優選實施例的完整描述，但是有可能使用各種替換、修 改和等同物。因此，本發明的範圍不應該參考上述描述來確定，而是應該作為代替參考所附 權利要求連同他們的等同物的全範圍來確定。本文所述的任何特徵(不管是否是優選的) 可以結合本文所述的任何其他特徵(不管是否是優選的)。在下面的權利要求中，不定冠詞 「一」或「一個」指的是該冠詞之後的一個或多個項的數量，除非另有明確說明。所附權利要 求不應該被解釋為包括裝置加功能的限制，除非在給定權利要求中使用短語「用於…的裝 置」明確陳述這樣的限制。
權利要求
1.一種在對一個或多個視頻圖片進行計算機實施編碼中用於速率控制的計算機實施 方法，包括a)使用速率控制數據來確定將被用於對一個或多個視頻圖片中的一個當前圖片進行 編碼的量化參數(QP)，其中a)包括在確定所述QP時考慮圖片類型、圖片複雜度以及目標比 特計數；b)使用在a)中確定的所述QP來將所述當前圖片編碼成壓縮的格式以生成編碼的當前 圖片；以及c)基於根據編碼的當前圖片確定的統計數據來更新速率控制數據。
2.根據權利要求1所述的方法，還包括對一個或多個視頻圖片中的一個或多個後續圖 片重複a)到c)。
3.根據權利要求1所述的方法，其中a)包括在確定所述QP時考慮圖片失真。
4.根據權利要求1所述的方法，其中a)包括基於一個或多個先前圖片的實際比特使用 和一個或多個先前圖片的複雜度來確定當前圖片的估計比特使用，以及基於估計比特使用 來計算所述QP。
5.根據權利要求4所述的方法，其中a)包括基於一個或多個先前圖片的實際比特使 用、一個或多個先前圖片的複雜度和一個或多個先前圖片的失真來確定當前圖片的估計比 特使用。
6.根據權利要求4所述的方法，其中當前圖片包含場景變化，並且其中a)僅包括基於 回溯到最近場景變化I圖片與當前圖片相同類型的所有圖片上的平均實際比特計數和基 於回溯到最近場景變化I圖片與當前圖片相同類型的所有圖片上的平均複雜度來確定所 述估計比特使用。
7.根據權利要求4所述的方法，其中當前圖片是I圖片並且其中(a)包括根據當前圖 片之前的最近P圖片的實際比特使用、複雜度和失真以及最近P圖片之前的最近I圖片的 實際比特使用、複雜度和失真來確定所述估計比特使用。
8.根據權利要求4所述的方法，其中當前圖片是P圖片並且其中(a)包括根據來自最 近I圖片、P圖片和B圖片的實際比特使用和複雜度來確定所述估計比特使用。
9.根據權利要求4所述的方法，其中當前圖片是B圖片並且其中a)包括根據來自最近 I圖片、P圖片和B圖片的實際比特使用和複雜度來確定所述估計比特使用。
10.根據權利要求4所述的方法，其中a)還包括以所計算的方式來調整所述估計比特 使用以避免被用於存儲編碼的當前圖片的緩衝器的下溢或上溢。
11.根據權利要求4所述的方法，其中確定當前圖片的估計比特使用包括使用一個或 多個穩定器項以降低平均比特使用或平均複雜度中的波動對所述估計比特使用的計算的 影響。
12.根據權利要求1所述的方法，其中a)包括縮減所述QP以使得所述QP的值處於預 定的範圍內。
13.根據權利要求1所述的方法，其中b)包括根據編碼的當前圖片來計算當前圖片的 失真，其中在多個處理器單元上並行執行失真的計算。
14.根據權利要求13所述的方法，其中計算失真包括在逐個分段的基礎上計算當前圖 片的總失真，其中使用每個不同分段的不同處理器來並行執行當前圖片的不同分段的失真計算。
15.根據權利要求14所述的方法，其中NAL解碼線程收集為當前圖像的每個分段計算 的逐個分段的失真並且根據所述逐個分段的失真來計算當前圖片的全部失真。
16.根據權利要求13所述的方法，其中在編碼的當前圖片的去塊效應之前執行失真的計算。
17.根據權利要求1所述的方法，其中c)包括下述各項中的一個或多個 收集與編碼當前圖片有關的統計數據，更新速率控制數據緩衝器中的統計數據，檢查所述速率控制數據緩衝器的充滿度以確定緩衝器上溢的可能性，或者 實施緩衝器上溢防止機制。
18.根據權利要求1所述的方法，還包括，在a)之前設置包含速率控制數據的速率控 制數據緩衝器的初始狀態。
19.根據權利要求18所述的方法，其中設置初始狀態包括計算當前圖片的複雜度。
20.一種在對一個或多個視頻圖片進行計算機實施編碼中用於速率控制的計算機實施 系統，包括處理器；耦合到所述處理器的存儲器；以及 由所述處理器執行的指令集，所述指令包括a)用於使用存儲在所述存儲器中的速率控制數據來確定將被用於對一個或多個視頻 圖片中的一個當前圖片進行編碼的量化參數(QP)的指令，其中a)包括在確定所述QP時考 慮圖片類型、圖片複雜度以及目標比特計數；b)用於使用在a)中確定的所述QP來將所述當前圖片編碼成壓縮的格式以生成編碼的 當前圖片的指令；以及c)用於基於根據編碼的當前圖片確定的統計數據來更新速率控制數據的指令。
21.一種具有包含在其中的電腦程式指令的計算機可讀存儲介質，其中所述計算機 程序指令被配置成在被執行時a)使用速率控制數據來確定將被用於對一個或多個視頻圖片中的一個當前圖片進行 編碼的量化參數(QP)，其中a)包括在確定所述QP時考慮圖片類型、圖片複雜度以及目標比 特計數；b)使用在a)中確定的所述QP來將所述當前圖片編碼成壓縮的格式以生成編碼的當前 圖片；以及c)基於根據編碼的當前圖片確定的統計數據來更新速率控制數據。
全文摘要
本發明涉及視頻編碼的圖片級速率控制。公開了對一個或多個視頻圖片進行編碼時的計算機實施的速率控制。使用速率控制數據來確定將被用於對一個或多個視頻圖片中的一個當前圖片進行編碼的量化參數(QP)，其中在確定所述QP時考慮圖片類型、圖片複雜度以及目標比特計數。使用QP來將當前圖片編碼成壓縮的格式以生成編碼的當前圖片。基於根據編碼的當前圖片確定的統計數據來更新速率控制數據。
文檔編號H04N7/26GK102006471SQ20101027173
公開日2011年4月6日 申請日期2010年9月2日 優先權日2009年9月2日
發明者H-J·李 申請人:索尼電腦娛樂公司