視頻編碼方法
2023-12-07 22:55:01
專利名稱：視頻編碼方法
技術領域：
本發明一般涉及應用於數位電視傳輸的改進的幀內數字圖像編碼系統和方法。
背景技術：
數位電視為觀看者提供了高質量的視頻娛樂，例如按次計費、電子節目導航、視頻點播、天氣和股票信息以及網際網路接入等。打包在信息流中的視頻圖像通過架構在衛星、電纜或者陸上傳輸媒質之上的寬帶通信網絡傳輸給用戶。由於帶寬和功率的限制，有效的電影和視頻傳輸需要廣泛地應用壓縮和格式化技術。例如MPEG1和MPEG2的協議針對電影和視頻信息傳輸，通過在空間壓縮算法中加入時間分量來最大化帶寬的利用率。
電影或者視頻的圖像序列中的每個單圖像稱為幀。每個幀都由大量的圖形元素(像素)組成來定義圖像。每幀中冗餘像素描述了場景的部分，例如藍色的天空。不同種類的壓縮算法都用來消除冗餘空間元素從而減少圖像傳輸的帶寬需求。電影或者視頻上的幀序列通常包括非常近似或相同的像素。為了最大化帶寬利用率，典型地應用例如MPEG的壓縮和運動補償協議來最小化這些相鄰幀間的冗餘像素。用於預測相鄰幀圖像運動的編碼器參考幀稱為錨幀(anchor frame)。這些錨幀的種類可以是內幀(I-幀)或者預測幀(P-幀)。不需要參考其它幀就可以形成映射的像素組(宏塊)組成I-幀，而P-幀需要幀序列中在前編碼的幀作為參考。第三種幀稱為雙向幀(B-幀)，包括參考之前遇到幀的宏塊和該幀之後當前正在分析幀的宏塊。這需要一種預測機制根據即將到來的圖像來描述當前分析圖像。在參考幀中B-幀和P-幀編碼通過計算與宏塊相關聯的運動矢量減少了像素的重複，減少了帶寬需要。MPEG-2編碼和MPEG-1編碼的不同在於它們所支持的幀片斷。片斷是為可以獨立參考的幀定義的一個單行之內的連續的宏塊組。典型地，片斷屬於相同類型，也就是說所有P-幀編碼類型或者所有I-幀編碼類型。圖像的複雜度決定了特定幀編碼類型的選擇。
MPEG-2數字視頻系統中，通過用於該幀編碼的量化級別和該幀編碼比特數的乘積對視頻幀的複雜度進行測量。也就是說，幀的複雜度只有在對它進行編碼之後才能知道。結果，複雜度信息總是滯後於在編碼之前需要緩衝大量幀的真實編碼過程，因此增加了消耗和複雜度。
更進一步地，，I-幀和P-幀編碼協議的選取特別要求多重編碼傳遞單幀，來決定編碼的複雜度。如果P-幀編碼比利用I-幀編碼實現導致更大的複雜度，那將選擇I-幀編碼。理想化地，在前級編碼器中對錨幀進行兩次編碼以產生I和P情況的複雜度測量，但是預先進行的計算通常限制了這種方法。從帶寬利用角度看，除了圖像複雜度要求I-幀編碼的情況之外，例如，在場景變換情況中，用P-幀進行編碼是最有效的。用多重編碼傳遞單幀的一個問題是引入了增加的計算複雜度，從而減少了編碼器的吞吐量。此方法的另一個問題是內在的對幀進行兩次編碼所帶來的低效率。
因此，需要一種改進了複雜度的編碼系統。本系統可以實現有效的場景變化檢測。進一步地，系統基本上可以用於任何種類的圖像數據，包括高清晰度(HD)和標準清晰度(SD)電視(TV)。本發明提供了處理這些問題的解決方法的同時提供了增強的、電影或視頻幀編碼的吞吐量。
發明內容
本發明提出了指定連續視頻信號的數字視頻幀類型和圖像組(GOP)長度的方法和附隨的設備。
本發明可替換地在單幀內對I-幀和P-幀的宏塊進行編碼。通過這樣做，不通過對相同幀的兩次編碼就可以計算出I和P編碼的複雜度。這種安排使後級編碼器取代前級編碼器作出I-幀決定，因此採用預測流水線的方法使具有場景變化的I-幀的對齊更為有效。本方法同時減少了編碼的計算複雜度。
本發明包括級聯(tow-pass)視頻編碼系統，其中前級編碼把每個連續錨幀指定為預測幀(P-幀)的編碼類型，與例如兩個連續的雙向編碼幀(B-幀)相交替。通常，幀編碼類型指定可以是內幀(I-幀)，預測幀(P-幀)或者雙向幀(B-幀)編碼。
為在單級上計算每個視頻幀的複雜度，每個P-幀分割成交織的內幀編碼宏塊(例如I-片斷)和預測幀編碼宏塊(例如P-片斷)。在兩個相鄰P-幀之間這些片斷交換位置進行編碼。對每個編碼幀，計算複雜度量度並且發送到後級編碼器來進行進一步的處理。每一幀的複雜度度量等於幀內片斷產生的總比特數目和量化級別與產生的比特之間的非線性映射關係相關的數值的乘積。為每個單獨錨幀計算P-幀編碼和I-幀編碼複雜度度量的步驟在同一級中進行，允許在後級而不是前級中指定I-幀。由於可能在後繼幀中引入的需要指派I-幀類型的場景變化幀使得本發明具有先進性。通過從它的預設長度擴展圖像組(GOP)和包括具有指定I-幀類型的場景變化幀，使本發明更加有效。場景變化幀通過前級編碼器利用場景變化檢測算法進行檢測，然而，幀類型在後級編碼器中進行指定。通過計算某幀的P-幀複雜度量度和I-幀複雜度量度之間的相關差異以及利用參考閾值的評價計算來識別場景變化幀。與每個場景變化幀相關聯的場景變化通知被傳送到後級編碼器中用於處理。
後級編碼器的流水線結構為有效地為連續視頻幀編碼提供預測緩衝能力。它用於P-幀和B-幀編碼算法並用於識別後繼幀中的場景變化幀，從而內在確定I-幀，直到後繼幀得到處理。每處理一幀計數器加一。後級編碼器中，與每個場景變化幀相關的場景變化通知被傳送到連續的延遲單元，它們在這裡得到緩衝並且同時用後級編碼器來分析相應幀。每檢測到一個場景變化，計數器加一，幀處理期間，計數器減一。通過分析前級編碼器提供的複雜度係數，在連續的幀中利用流水線處理結構為每幀指定幀編碼類型(P，B或者I)。場景變化幀只能指定為I-幀或P-幀。圖像組(GOP)開始的第一幀指定為I-幀，同時幀計數器按照每個GOP指定而重新初始化。如果沒有場景變化發生，GOP長度遵循事先設定的標稱刷新率。在場景變化發生時，幀長度按照需要進行調整。如果幀計數超出了最大值，即使場景變化不斷發生的情況下也進行I-幀編碼。同樣，在幀緩衝填滿時，進行I-幀編碼來防止丟失視頻信息。在場景變化發生的情況下，通常在場景變化幀上進行新GOP編碼。然而，除了場景變化突發的最後一次場景變化幀之外，只要場景變化計數擁有大於零的值就不進行內編碼(I)幀的編碼。
圖1說明根據本發明的處理結構框圖；圖2說明根據本發明的圖像組(GOP)中每幀的編碼類型；圖3說明根據本發明的場景變化處理流水線；圖4說明根據本發明的圖像編碼類型決定算法。
具體實施例方式
本發明涉及應用於增強數位電視信號傳輸的改進的視頻幀編碼子系統和方法。特別地，在視頻幀編碼過程中，滿足了減少計算複雜度的要求，從而提供更有效的I-幀和場景變化對齊和執行更有效的場景變化檢測算法。
圖1是根據本發明的視頻幀編碼子系統的處理結構框圖。該子系統是數字視頻編碼系統的一部分。
本子系統包括下列組件前級編碼器100降噪預處理器102後級編碼器104主壓縮控制器(MCC)106包處理器108視頻FIFO隊列和包生成器110系統概述前級編碼器100，降噪預處理器102和後級編碼器104配合使用來估計輸入視頻幀的複雜度，濾除輸入視頻的噪聲，同時擔負壓縮輸入視頻圖像的任務。後級編碼器準備需要的參數，同時提供這個信息給流量控制處理器(圖中未畫出)，該處理器反過來為後級編碼器提供對應的編碼比特率。事實上，前級和後級編碼器的級連對單輸入數據信道進行編碼，並且進行包括運動壓縮(對P-和B-幀)的數據壓縮、離散餘弦變換(DCT)和量化的操作。編碼器可以根據真實編碼比特率為流量控制處理器提供反饋信息。主壓縮控制器(MCC)106通過周邊元件擴展接口(PCI)總線對編碼器進行數據壓縮控制。編碼後的數據提供給與包處理器108協同工作的包生成器110，來提供多路復用的視頻數據比特流。與包生成器110相關的視頻先入先出(FIFO)緩衝存儲壓縮數據，同時包處理器108形成帶有適當頭信息的壓縮數據包，例如根據MPEG-2或其它視頻標準。之後，數據送到發射器通過通信信道用於輸出流傳輸。
在解碼端，為輸出解碼視頻信號，例如顯示在電視上，提供接收器、緩衝器和解復用器。
變量列表
複雜度估計前級編碼器在標稱的固定量化級別(例如用q＝20標識1到112級別)上通過對視頻幀編碼為每個視頻幀產生預測複雜度。通過前級編碼產生的比特數目用作幀複雜度的測量。為了利用這個預測複雜度，在後級編碼中幀的圖像編碼類型必須與前級編碼中相同幀的圖像編碼類型相匹配。然而，由於可能的場景變化，I-幀的位置無法在後級編碼之前確定。理想化地，錨幀(非B-幀)應該在前級編碼器中進行兩次編碼，為I和P的情況產生複雜度度量，可是實際上編碼器可能沒有足夠的處理能力來支持這種方法。
本發明的處理結構利用新的算法(在下邊進行討論)，不需要兩次編碼就可以通過前級編碼器產生I和P的複雜度度量。
對前級編碼器中的每個錨幀進行P-幀的編碼，也就是說，前級編碼幀序列擁有下述形式...PBBPBBPBBPBBP...
在P-幀內，宏塊可按照內幀或預測幀進行編碼。這些宏塊可以按所需放置在幀內。連續的、顯示相同編碼類型(I或P)的宏塊可以連接到編碼單元。如果它們發生在該幀的同一行，稱它們為片斷。I-片斷可以與P-片斷交織。例如，每個相間片段可以按照I-片斷進行編碼並且I-片斷和標準P-片斷的位置在每相鄰幀112中互換，如圖2所示。可替換地，可以在另外幀中不互換形式的情況下使用相同編碼。同樣，幀內片段的方向可以指定為垂直來代替水平，代表類編碼宏塊的列連續性。可以設想使用這個概念的大量的其它編碼機制。
圖2所示的例子中，同樣顯示出B-幀114的位置。I，P和B幀的複雜度值可以通過下列方法計算得出complexity[I]＝f(Q)*(2*P-幀中的I片斷產生的所有比特數)complexity[P]＝f(Q)*(2*P幀中的標稱P片斷產生的所有比特數)complexity[B]＝f(Q)*(B幀中的所有片斷產生的所有比特數)這裡Q是用在前級編碼的固定量化級的值，f(Q)是由查找表實現的非線性映射，用於補償量化級別和生成比特之間的非線性關係。對於所述實例，非線性映射定義為平方限函數，也就是f(Q)＝Q的平方根。
處理之後，前級編碼器計算複雜度係數並且把這個評價作為32比特的浮點數發送到後級編碼器。由於檢測場景變化在指定幀編碼類型中的重要性，本算法將在下面的部分進行描述。
處理流水線在編碼器硬體結構中，幀在處理流程的第一階段(亮度預處理)分為B-幀或者P-幀。一旦圖像劃分為B-幀，圖像編碼類型在處理流程的後繼階段就無法改變。然而，如果圖像劃分為P-幀，當該圖像在流程的最後階段進行真實編碼的時候它可能轉化成為I-幀來開始新的GOP。
圖3中展示了場景變化處理流水線。按照視頻處理結構，場景變化檢測在前級編碼器中進行，如框圖116所示，這裡進行視頻獲取，水平採樣，和電影模式效果(detelecine)等操作，隨後進行前級視頻編碼和場景變化檢測。場景變化標誌寫入到後級編碼器的隊列118中，在那裡將得到進一步的處理。直到最後的編碼階段之前，隊列延遲了場景變化標誌的應用，在這裡它用來決定I/P圖像的編碼類型，如框圖120所示。圖中，縮寫詞LUPP是亮度預處理的縮寫，CHPP是色彩預處理的縮寫，LUMDEC是亮度採樣的縮寫，而ME是運動估計的縮寫。後級編碼器進一步起作用來執行視頻捕捉以及幀重排序和編碼的功能。降噪預處理器進行濾波並且為視頻流提供了預測延遲。
場景變化檢測場景變化在進行複雜度度量計算之後進行檢測。場景變化標誌只對P-幀定義並且通過比較從P-幀的前級編碼估計的I複雜度和P複雜度來確定。I-複雜度和P-複雜度值通過在P-幀內按照I片斷和P片斷的交替片斷編碼進行計算。計算I-複雜度，作為所有I片斷比特的和；計算P-複雜度作為所有P片斷比特的和。算法如下如果(alpha*ComplexityP＞ComplexityI)sceneChange＝TRUEelsesceneChange＝FALSEalpha是常數，例如alpha＝0.9。
一旦設置了場景變化標誌，更容易決定圖像編碼類型。
I/P圖像編碼類型確定通常，當每個幀由後級編碼器進行編碼的時候幀計數器加一。當幀計數器值(FrameCount)達到預設標稱的刷新率(GopLen)的時候，P-幀轉化成為刷新的I-幀來開始新的圖像組(GOP)。幀計數器在I-幀處重新置0。在後繼的P-幀中檢測到場景變化時，算法直到處理完觸發場景變化標誌的P-幀才會發布I-幀。在這時，P-幀轉化成為I-幀並且處理擴展GOP來將新的I-幀與場景變化對齊。如果場景變化P-幀在預測窗口之外發生，算法將把表達場景變化P-幀轉化為I-幀，從而通過減小GOP長度使場景變化和I幀對齊。
I-幀與通常刷新的偏差由預測窗口中的幀數量決定(圖3中的延遲2)。延遲2設置為8個視頻幀(如果輸入為電影則變為6或者7個幀)。假設刷新率為十五幀和雙B-幀結構，這個預測數量保證了在場景變化幀和I-幀之間最少有9幀，也就是說，最壞情況GOP是...IBBPBBPBBI...，而場景變化幀(新I-幀)和正常刷新I-幀(舊I-幀)之間的最大距離是(15+6)＝21幀。
由前級編碼器決定的場景變化標誌存儲在後級編碼器的隊列當中。場景變化標誌延遲總數(L-1)幀，假定延遲為常數，這裡L是視頻幀在MAP上的總延遲。為允許速率控制算法在電影或視頻模式中來預測至少15幀，L設置為12幀並且因此延遲1中的延遲數量為(12-8)＝4視頻幀，如圖3所示。
當多個場景變化由於閃光或特殊效果編輯而接連發生的時候，為避免多I-幀，算法延緩發布I-幀直到在預測流水線中沒有新的場景變化。這通過當場景變化幀進入(延遲2)預測流水線時加一、當場景變化標誌離開流水線時減一的場景變化計數器(ScCount)來實現。只要場景變化計數器為非零值時就會避免出現I-幀。
算法同時檢查編碼器緩衝的填滿程度(Bufferlevel)以在它發布I-幀之前確認在緩衝中是否有足夠的空間分配給I-幀。BufferLevel與閾值(ThBuf)進行比較，閾值由下式決定ThBuf＝TargetBufferLevel+(0.5*GopLen*BitRate/FrameRate)
if(ThBuf＞0.5*MaxDecoderBufferLevel)ThBuf＝0.5*MaxDecoderBufferLevelMaxDecoderBufferLevel是解碼器能夠擁有的最大比特數，是系統延遲和比特率的乘積。TargetBufferLevel設置為1/5的MaxDecoderBufferLevel。
即使輸入擁有重複的場景變化，為保證I-幀的產生，當幀計數器的值達到上限的時候算法強制發布I-幀，該上限設置為兩倍於標稱的刷新率的值。
詳細的圖像編碼類型決定算法在如圖4所示的流程圖中進行了描述。該流程圖在允許設定I-幀之前通過一系列測試運算，從而指示GOP。最初，圖像編碼類型在編碼階段決定，如框圖122所示。如果檢測到延遲的場景變化標誌(DelayedSC)，框圖124，在進一步操作開始之前場景變化計數(ScCount)減一，框圖126。對發生在預測窗口之外的場景變化P-幀進行條件測試。FrameCount與最大允許GOP長度(MaxGopLen)作比較。如果發現條件為真那麼在算法繼續之前設置StartNewGop，框圖134。如果條件不滿足，那麼對滿緩衝進行測試，框圖132。如果緩衝填滿了，那麼就在算法繼續之前清空StartNewGOP，框圖134。可替換地，如果沒有達到緩衝滿條件，那麼對場景變化進行條件測試，框圖136。如果ScCount為非零值，那麼在算法繼續之前通過清空StartNewGOP延緩I-幀。但是，如果ScCount為零並且設置了DelayedSC，那麼處理觸發場景變化標誌的P-幀，框圖138，並且在算法繼續之前設置StartNewGOP標誌。如果場景變化計數(ScCount)為零但未設置DelayedSC，那麼算法處理到框圖140來檢測幀計數是否大於GOP長度。如果滿足條件，那麼在算法繼續運行之前通過設置StarNewGOP標誌發布I-幀。但是，如果幀計數小於GOP長度，那麼清除StartNewGOP標誌，並且算法繼續。
如上設置StartNewGOP標誌之後，算法運行到框圖142來決定PrePicType是否設置為雙向(B-幀)。如果設置了，那麼無論StartNewGop標誌為何狀態，當前幀的圖像類型(PictureType)設置為B-幀並且幀計數器(FrameCount)增加。可替換地，如果PrePicType沒有設置為B-幀，那麼對StartNewGOP標誌的狀態進行分析，框圖146，並且圖像類型(PictureType)根據設置或者清除標誌的狀態分別設置為I-幀或P-幀。I-幀圖像類型的情況下，清除FrameCount以標識新GOP的開始。
因此，可以看出本發明為減少數位電視視頻數據的編碼複雜度提供了改進的編碼器。儘管上面的詳細說明是參考優選實施例而描述的，應該可以理解，在不背離所附權利要求中所闡述的本發明的範圍的前提下，可以做出多種不同的修改和改編。
權利要求
1.一種用於指定連續視頻幀的數字視頻幀類型和圖像組(GOP)長度的方法，包括如下步驟在前級編碼中分割連續錨幀的預測幀(P-幀)為交織的內幀宏塊組和預測幀宏塊組，為每個連續視頻幀計算與幀編碼類型相關的複雜度度量，並且發送每個所述複雜度度量到後級編碼，在連續錨幀中檢測場景變化幀，和發送與每個所述場景變化幀相關的場景變化通知到所述後級編碼；和在所述後級編碼中連續地在多個延遲元素之一中存儲所述與每個所述場景變化幀相關的場景變化通知，為所述連續視頻幀中的每個所述視頻幀指定幀編碼類型，為GOP規定指定所述視頻幀的子集，並以I-幀編碼幀開始所述子集。
2.如權利要求1所述的方法，其中由所述後級編碼執行的幀編碼類型指定包括為每個視頻幀指定內幀(I-幀)、預測幀(P-幀)和雙向幀(B-幀)類型之一。
3.如權利要求1所述的方法，其中把所述P-幀分割為交織的內幀宏塊組和預測幀宏塊組的操作可以在所述P-幀內以任意順序和任意方向發生。
4.如權利要求1所述的方法，其中複雜度度量計算步驟包括為每個幀類型計算由特定幀類型的幀內宏塊生成的總比特數和關聯於量化級別與所述生成比特之間的非線性映射關係的值的乘積。
5.如權利要求4所述的方法，進一步包括在一次編碼的情況下為單錨幀計算P-幀編碼和I-幀編碼的複雜度量度的步驟，以及允許在後級編碼而非前級編碼中指定I-幀的步驟。
6.如權利要求1所述的方法，其中前級幀編碼類型指定進一步包括通過計算一幀的P-幀複雜度度量和I-幀複雜度度量的相對差別來識別場景變化幀的步驟，和利用相關閾值評價所述計算的步驟。
7.如權利要求1所述的方法，其中所述前級編碼步驟指定每個連續錨幀為預測幀(P-幀)編碼類型，其與至少一個雙向編碼幀(B-幀)交替出現。
8.一種用於對擁有連續視頻幀的數字視頻信號進行編碼的設備，包括前級編碼器，用於分割連續錨幀的預測幀(P-幀)為交織的內幀(I-幀)宏塊組和預測幀(P-幀)宏塊組，為每個連續視頻幀計算與幀編碼類型相關的複雜度度量，並且發送每個所述複雜度度量到後級編碼，在連續錨幀中檢測場景變化幀，和發送與每個所述場景變化幀相關的場景變化通知到所述後級編碼；和後級編碼器，用於連續地在多個延遲元素之一中存儲所述與每個所述場景變化幀相關的場景變化通知，為所述連續視頻幀中的每個所述視頻幀指定幀編碼類型，為GOP規定指定所述視頻幀的子集，並以I-幀編碼幀開始所述子集。
9.如權利要求8所述的設備，其中降噪預處理器起到對輸入視頻信號濾波以增加信噪比的作用。
10.如權利要求8所述的設備，其中主壓縮控制器起到控制整個系統壓縮和視頻信號流的作用。
11.如權利要求8所述的設備，其中視頻緩衝起到臨時存儲視頻幀和壓縮的數據的作用。
12.如權利要求8所述的設備，其中包處理器利用適當的視頻標準形成壓縮數據包用於在數字網絡上傳輸。
13.如權利要求8所述的設備，其中前級編碼器分派給每個連續錨幀為預測幀(P-幀)編碼類型，其與至少一個雙向編碼幀(B-幀)交替出現。
14.一種用於在數位電視傳輸的幀內進行數字圖像編碼的方法，包括對從前級編碼器接收的連續幀中的每個錨幀作為預測幀(P-幀)進行編碼；對P-幀中的宏塊組交替地作為內幀組(I-幀)和P-幀組進行編碼；和決定是否在後級編碼器中對特定幀作為I-幀進行編碼；其中，使用預測流水線機制有效地把I-幀和所述連續幀中檢測到的場景變化對齊。
15.如權利要求14所述的方法，其中所述宏塊組包括P-幀片斷。
16.如權利要求14所述的方法，其中所述後級編碼器指定所述連續幀中的每個所述幀為內幀(I-幀)、預測幀(P-幀)或者雙向幀(B-幀)類型之一。
全文摘要
本發明公開一種適用於數位電視傳輸的改進的幀內數字圖像編碼系統和方法。在前級編碼器中對每個錨幀按照P－幀進行編碼。例如P－幀中片斷的宏塊組交替地按照I－片斷和P片斷進行編碼。這允許經過單次操作就可計算出I和P的編碼複雜度，而不需要對同一幀進行兩次編碼。從而，後級編碼器可以代替前級編碼器得出I－幀決策，這樣利用預測流水線機制的優勢可以更有效地把I幀與場景變化對齊。
文檔編號H04N7/36GK1605209SQ02816025
公開日2005年4月6日 申請日期2002年8月9日 優先權日2001年8月15日
發明者胡少偉, 文森特·劉 申請人:通用儀表公司