具有選擇性運動補償的可縮放mpeg－2視頻解碼器的製作方法
2023-12-06 17:52:11 2
專利名稱：具有選擇性運動補償的可縮放mpeg－2視頻解碼器的製作方法
技術領域：
本發明涉及解碼壓縮的視頻信號，更具體地，涉及在MPEG-2視頻解碼器的運動補償系統中用於縮放B圖象的處理的系統和方法。
MPEG標準是由運動圖象專家組(MPEG)開發的、用於視頻和音頻壓縮的一系列演進的標準。MPEG-1被設計來用於編碼約每秒150萬比特的傳輸速率的逐行的視頻。它是專門被設計來用於視頻CD和CD-I媒介的。MPEG-2被設計來用於編碼約每秒400萬比特的傳輸速率的交織的視頻。MPEG-2標準被使用於各種應用，諸如數位電視(DTV)廣播，數字通用光碟(DVD)技術，和視頻貯存系統。
按照MPEG-2標準，視頻序列被劃分成一系列GOP(圖象組)。每個GOP從幀內編碼的圖象(I圖象)，後面接著安排前向預測編碼的圖象(P圖象)和雙向預測編碼的圖象(B圖象)。I圖象被場編碼或幀編碼為獨立的靜止圖象。P圖象相對於最靠近的I或P幀被場編碼或幀編碼，導致前向預測處理。通過使用運動補償，P圖象比起I圖象允許更多的壓縮，以及也用作為用於B圖象和將來的P圖象的參考。B圖象用使用最相鄰的過去的和將來的I和P圖象作為參考的場或幀被編碼，導致雙向預測。
由於數位電視開始在電視機市場上逐漸佔優勢以及其他視頻應用變為更想要的，對於具有處理MPEG-2圖象的先進的能力的系統的要求變得越來越強烈。用於處理MPEG-2圖象的當前出現的結構，諸如在DTV機頂盒和高端數位電視機中發現的結構，典型地利用數位訊號處理中央處理器(DSPCPU)，控制處理器，共處理器和軟體應用。不幸地，即使用所有這些資源，先進的視頻/視頻處理功能比起通常可提供的設備往往消耗更多的計算功率。
MPEG-2處理中的一個關鍵的單元是MPEG-2解碼器，它把壓縮的MPEG-2數據流11變換成象素圖象。
圖1上顯示標準MPEG-2解碼器10的主要的部件。有四個功能塊可變長度解碼器(VLD)12，逆量化(IQ)系統14，逆離散餘弦變換系統(IDCT)16和運動補償(MC)系統18。存儲器20被使用來存儲參考幀。加法器22組合從IDCT 16輸出的剩餘誤差與運動補償結果，形成最後的視頻輸出24。不幸地，每個這些功能部件消耗大量的計算功率，這導致花費上升和限制數字視頻系統使用MPEG-2技術的靈活性。因此，製作高效率、花費經濟的解碼器成為所有的電子製造商的主要目標之一。
對於解決MPEG-2解碼器的處理要求的一個解決方案是提供專門化的硬體系統，其中增加計算功率。不幸地，在總的硬體成本不斷下降的同時，在諸如這樣的設計和構建專門的硬體方面的成本卻增加解碼器的花費。所以，優選的解決方案是在軟體方面實施儘可能多的功能，它比起硬體解決方案能提供重大的成本和靈活性的優點。具體地，軟體解決方案減小對於昂貴的硬體，諸如共處理器，的需要，以及將允許多個視頻功能同時在DSPCPU上運行。然而，在需要計算強度大的應用時軟體應用在處理事務時往往運行得太慢。因此，有需要提供增強的軟體系統，它提供便宜的MPEG-2解碼器解決方案，而同時保持可接受的視頻質量水平。
本發明通過提供一個其中B圖象處理的複雜性由可縮放的運動補償系統縮放的解碼系統，而克服上述問題以及其他問題。第一方面，本發明提供用於處理運動補償系統中的B圖象的方法，包括以下步驟把B圖象中的每個宏塊的運動矢量幅度與預定的門限值進行比較；對於其中運動矢量幅度大於預定門限值的每個宏塊執行常規的解碼運行；以及對於其中運動矢量幅度小於或等於預定門限值的每個宏塊，從參考圖象複製相應的宏塊。
第二方面，本發明提供用運動補償系統處理鄰接的B圖象的方法，包括以下步驟計算對於第一B圖象的平均運動矢量幅度；以及如果第一B圖象的平均運動矢量幅度小於或等於預定門限值，則用第一B圖象代替下一個鄰接的B圖象。
第三方面，本發明提供被存儲在可讀的媒介上的、在執行時用於處理運動補償系統中的B圖象的程序產品，包括用於把B圖象中的每個宏塊的運動矢量幅度與預定的門限值進行比較的系統；用於對於其中運動矢量幅度大於預定門限值的每個宏塊執行常規的解碼運行的系統；以及用於對於其中運動矢量幅度小於或等於預定門限值的每個宏塊，從參考圖象複製相應的宏塊的系統。
第四方面，本發明提供被存儲在可讀的媒介上的、在執行時用於處理在運動補償系統中鄰接的B圖象的程序產品，包括用於計算對於第一B圖象的平均運動矢量幅度的系統；以及用於如果平均運動矢量幅度小於或等於預定門限值，則用第一B圖象代替下一個鄰接的B圖象的系統。
第五方面，本發明提供具有運動補償系統的解碼器系統，其中運動補償系統包括用於把B圖象中的每個宏塊的運動矢量幅度與預定的門限值進行比較的系統；用於對於其中運動矢量幅度大於預定門限值的每個宏塊執行常規的解碼運行的系統；以及用於對於其中運動矢量幅度小於或等於預定門限值的每個宏塊，從參考圖象複製相應的宏塊的系統。
第六方面，本發明提供具有運動補償系統的解碼器系統，其中運動補償系統包括用於計算對於第一B圖象的平均運動矢量幅度的系統；以及用於如果平均運動矢量幅度小於或等於預定門限值，則用第一B圖象代替下一個鄰接的B圖象的系統。
第七方面，本發明提供具有運動補償系統的解碼器系統，其中運動補償系統包括用於計算對於參考圖象的平均運動矢量幅度的系統；以及用於如果平均運動矢量幅度小於或等於預定門限值，則用參考圖象代替B圖象的系統。
因此，本發明的優點是提供在視頻處理系統中用於縮放B圖象的處理的系統。
另一個優點是提供用於有效地縮放解碼器內的運動補償系統而同時保持可接受的輸出質量水平的系統和方法。
此後結合附圖描述本發明的優選的示例性實施例，其中相同的符號表示相同的單元，以及圖1顯示視頻解碼器的功能圖。
圖2顯示具有可縮放的運動補償系統的視頻解碼器的功能圖。
圖3顯示按照本發明的優選實施例的、具有第一和第二縮放系統的運動補償系統的功能圖。
參照圖2，圖上顯示可縮放的MPEG-2解碼器50。可縮放的MPEG-2解碼器50包括具有縮放系統29的運動補償系統19(下面更詳細地描述)，它由系統複雜性要求27指揮。如上所述，在MPEG-2標準中，有三種類型的圖象I，P和B，以及在被稱為圖象組(GOP)的單元內被編碼。從MPEG-2解碼系統看來，I圖象只需要沿著第一處理路徑(PATH 1)進行解碼，它解碼編碼的象素數據。對於解碼P和B圖象，存在兩條處理路徑。具體地，第一處理路徑(PATH 1)解碼編碼的預測剩餘誤差以及第二處理路徑(PATH 2)解碼運動補償結果。這兩條路徑的組合給出最後的解碼的象素輸出。
本發明提供用於選擇地減小(即，縮放)由典型的解碼器所需要的計算資源的縮放系統29。為了達到這一點，考慮三個重要因素。首先，實驗表明，對於解碼典型的I，P或B圖象，大於30％的計算資源被運動補償系統使用。因此，重大的計算節省可通過縮放運動補償系統19而潛在地達到。
其次，在三種圖象中，B圖象提供最好的縮放機會，因為B圖象不貢獻誤差積累和傳播。也就是，B圖象不影響以後的圖象的質量。替換地，在對於I和P圖象(即，參考圖象)，如果預測不精確，則預測偏移積累，以及將傳播到以後的圖象。因此，不像B圖象，在I和P圖象中造成的任何誤差可以對於以後的圖象造成關鍵的結果。
第三，B圖象是計算上最複雜的類型的圖象。因此，B圖象的縮放提供最大的潛在計算節省。
給出以上的因素後，本發明提供用於縮放在運動補償系統19內的B圖象處理的縮放系統29，以便節省資源，而同時保持可接受的總的質量惡化的水平。
參照圖3，圖上更詳細地顯示可縮放的運動補償系統19。運動補償系統19包括具有第一和第二縮放系統30和31的縮放系統，用於縮放B圖象的處理。應當看到，兩個系統301和31可以一起地、分開地、或與其他縮放系統相組合地被實施。另外，雖然優選實施例是參照MPEG-2解碼器描述的，但應當看到，本發明可應用於任何類型的視頻編碼系統。
第一縮放系統30在宏塊(MB)級別上縮放B圖象的處理。正如技術上公知的，MPEG-2編碼方案中每個圖象由多個宏塊組成，它們在解碼運行期間被單獨地處理。另外，每個宏塊通常包括運動矢量，它通過指向參考圖象的宏塊使得易於實行數據壓縮。第一縮放系統30利用比較系統34來比較每個宏塊的運動矢量的幅度與預定的門限值32，以便確定應當任何處理該宏塊。如果當前的宏塊的運動矢量小於或等於預定門限值32，則當前的宏塊不被解碼。而是，來自參考圖象的相應的宏塊由MB複製系統36被檢索，由此消除處理當前的宏塊的需要。因此，系統30僅僅使用先前的宏塊的已經解碼的版本。替換地，如果運動矢量大於預定的門限值32，則用常規的解碼程序過程38處理該宏塊(例如，相應的參考MB從存儲器21中被獲取，以及MB被解碼)。
假設宏塊i具有運動矢量 令Tv代表預先選擇的門限。第一縮放系統30可實施用於B圖象的可縮放性的以下的法則如果 不解碼當前的B MB，以及不從參考存儲器中獲取相應的MB，複製先前的幀的MB。
如果 進行常規解碼。
在這樣的公式下，複雜性程度可被估計為如下。假設(M，N)的GOP尺寸，其中N是GOP中圖象的數目，M-1是在參考幀(I和P)之間的B圖象的數目。令Cj代表每個圖象對於圖1的通用解碼器所需要的平均計算功率(複雜性程度)，其中j表示VLD 12、IQ 14、IDCT 16、MC 18和加法器22。對於通用解碼器10，在一個GOP內每個圖象的平均複雜度，表示為Cg，被估計為Cg=CVLDN+CIQ+IDCTN+CMCNP+B+CadderNP+BN]]>令Cs代表具有建議的方案的MPEG-2解碼器50的複雜性程度，以及α是解碼的宏塊數對宏塊的總數的比值。則平均複雜性程度變為Cs=CVLDN+CIQ+IDCT(Cl+P+NB)+CMC(NP+NB)+Cadder(NP+NB)N]]>如果假設Cg＝1，則Cs=1-NBN(1-)(CIQ+IDCT+CMC+Cadder)]]>對於N＝15和M＝3，NB＝10。所以，如果α＝0.5，它表示50％的B圖象被解碼，則Cs=1-13(CIQ+IDCT+CMC+Cadder)]]>如果CIQ+IDCT+Cadder≈30％和CMC≈35％(在MPEG-2解碼器鏈中合理的假設)，則Cs≈78％，它是總的非縮放的複雜性度的78％。
顯然，使用第一縮放系統30對於存儲器帶寬是非常有利的。在圖象/視頻處理相關的集成電路中，處理帶寬是極重要的。大多數利用的存儲器結構是共享的存儲器結構，由於從存儲器接入的大量圖象/視頻數據，它的運行經常出現阻塞狀態。對於建議的系統30，從共享存儲器請求的數據少得多，由此節省帶寬。
第二縮放系統31可被實施來補充第一縮放系統30，或作為獨立的縮放系統單獨地被實施。通常，當運動補償系統19處理多個接連的P圖象時，即，當多個B圖象處在參考(I和P)圖象之間時，第二縮放系統31被利用。在處理當前的B圖象之前，第二縮放系統31利用計算系統42檢驗先前的B圖象的平均矢量幅度。然後，比較系統被利用來確定平均矢量幅度是否低於預定的門限值40(表示低的活動性)。如果先前的B圖象的平均矢量幅度小於門限值，則通過使用圖象代替系統46，用先前的B圖象代替當前的B圖象。應當看到，圖象代替系統46並不需要實際執行存儲器複製運行。而是由於先前的B圖象已處在存儲器緩存器中(從先前的B圖象處理運行)，系統46可以僅僅參考在存儲器緩存器中的先前的B圖象。
替換地，如果先前的B圖象的平均矢量幅度大於門限值(表示高的活動性)，則可以利用預定的處理運行48。預定的處理運行48可包括任何類型的解碼，以及可包括第一縮放系統30，常規的解碼運行38，或某些其他縮放運行。
下面描述其中第二縮放系統31被實施來補充第一縮放系統30的情形。如上所述，為了第二縮放系統要被實施，必須有鄰接的B圖象流，即，M＞2，表示在參考圖象之間有很大數目的B圖象。在兩個參考圖象之間的第一B圖象通過預定的處理運行48被解碼。以後的B圖象被如下地解碼假定在預先解碼的B圖象Bp中有L個宏塊。通過將各宏塊的各矢量幅度求和並除以L算出先前B圖象的平均矢量幅度。預定的閾值Tave被用作Bp的運動測量，這樣，當前的B圖象被判斷為(1)預定義解碼，或從Bp中複製。上述判斷依據以下公式
使用這個公式，總的複雜度可被如下地估計。在一個GOP內的B圖象的總數，ξB，被估計為 如果β代表使用第一縮放系統30的ξB個B圖象(即，不被複製的圖象)的分數，則總的複雜度被估計為Cs=1-NBN(1-)(CVLD+CIQ+IDCT+CMC+Cadder)]]>使用與以上給予第一縮放系統30所示的相同的例子，以及假設β＝0.5，則每個圖象的總的複雜度將為Cs=1-13(CVLD+CIQ+IDCT+CMC+Cadder)]]>如果CIQ+IDCT+Cadder≈30％，CMC≈35％和CVLD≈35％(在MPEG-2解碼器鏈中合理的假設)，則Cs≈66％，它是總的複雜度的66％。
正如將預期的，當第二縮放系統31與第一縮放系統30相組合時，甚至可以得到更多的複雜性節省。從兩個系統節省的複雜度可被使用於其他更需要的計算。特別有利地指出，從跳過整個B圖象計算(第二縮放系統31)節省的計算功率是很大的。這樣的節省可以容易地被重新引導到更緊迫的後處理運行。
在另一個實施例中，第二縮放系統31可被實施來檢驗參考圖象，確定如何處理B圖象。具體地，平均矢量幅度計算系統42可檢驗參考圖象的平均矢量幅度。如果平均矢量幅度小於或等於預定的門限值，則B圖象可以被參考圖象代替。通過使用這個方法，在參考圖象後的第一B圖象的處理也可被縮放，進一步節省資源。
應當看到，運動補償系統19以及第一和第二縮放系統30和31可以用硬體、軟體或硬體和軟體的組合實施。它們可以通過任何類型的計算機系統，或適合於實行這裡描述的方法的其他設備來實施。硬體和軟體的典型的組合可以是具有電腦程式的通用計算機系統，這些電腦程式被裝載和被執行時，控制計算機系統，以使得它實行這裡描述的方法。替換地，可以利用包含用於實行本發明的一個或多個功能性任務的專門化硬體的專用計算機。本發明也可被嵌入在電腦程式產品中，它包括使能實施這裡描述的功能的方法的所有的特性，以及在它被裝載到計算機系統時，能夠實行這些方法和功能。電腦程式、軟體程序、程序、程序產品或軟體，在本方面的裝置中，打算使得具有信息處理能力的系統直接地或在以下任一個運行以後或在二者以後執行特定的功能的一組指令以任何語言、代碼或符號的任何表示式(a)變換到另一種語言、代碼或符號；(b)以不同的材料顯示重新產生。
本發明的優選實施例的以上的說明是為了說明和描述而給出的。它們並不是窮舉的或用於將本發明限制為所揭示的精確的形式，顯然，從以上的教導看來，可能有許多修正和變化。這樣的修正和變化對於本領域技術人員是明顯的，以及打算被包括在由所附權利要求規定的本發明的範圍內。例如，雖然這裡提供的說明總的涉及到MPEG-2解碼器，應當看到，本發明可被應用於任何處理B圖象的、基於小波或基於運動的編碼方案(或它們的等價物)。這樣的方案的例子包括，但不限於，MPEG-1，MPEG-2，MPEG-4，H.26L，H.261和H.263。
權利要求
1.一種用於解碼運動補償系統中[19]的B圖象的方法，包括以下步驟把B圖象中的每個宏塊的運動矢量幅度與預定的門限值[32]進行比較；對於其中運動矢量幅度大於預定門限值[32]的每個宏塊執行常規的解碼操作；以及對於其中運動矢量幅度小於或等於預定門限值[32]的每個宏塊，從參考圖象複製相應的宏塊。
2.權利要求1的方法，其中執行常規的解碼運行的步驟包括從參考存儲器中獲取相應的宏塊。
3.權利要求1的方法，其中運動補償系統[19]是MPEG-2解碼器[50]的一部分。
4.權利要求1的方法，其中下一個鄰接的B圖象通過使用以下步驟被處理從先前的B圖象計算平均運動矢量幅度；以及如果平均運動矢量幅度小於或等於第二預定門限值[40]，則用先前的B圖象代替下一個鄰接的B圖象。
5.權利要求4的方法，還包括以下步驟如果平均運動矢量幅度大於第二預定門限值[40]，則使用權利要求1的比較、執行和複製步驟來處理下一個鄰接的B圖象。
6.權利要求4的方法，其中平均運動矢量幅度是通過把每個宏塊的運動矢量幅度相加和被除以宏塊的數目而被計算的。
7.一種用運動補償系統[19]解碼接連的B圖象的方法，包括以下步驟使用預定的處理操作解碼第一B圖象；計算第一B圖象的平均運動矢量幅度；以及如果平均運動矢量幅度小於或等於預定門限值[32]，則用第一B圖象代替下一個接連的B圖象。
8.權利要求7的方法，包括另一個步驟；如果平均運動矢量幅度大於預定門限值[32]，則使用預定的處理操作處理下一個鄰接的B圖象。
9.一種被存儲在可讀的媒介上的、在執行時用於處理運動補償系統中的B圖象的程序產品，包括用於把B圖象中的每個宏塊的運動矢量幅度與預定的門限值[32]進行比較的系統[34]；用於對於其中運動矢量幅度大於預定門限值[32]的每個宏塊執行常規的解碼運行的系統[38]；以及用於對於其中運動矢量幅度小於或等於預定門限值[32]的每個宏塊，從參考圖象複製相應的宏塊的系統[36]。
10.權利要求9的程序產品，其中執行常規的解碼運行從參考存儲器[21]中獲取相應的宏塊。
11.權利要求9的程序產品，其中運動補償系統[19]是MPEG-2解碼器[50]的一部分。
12.權利要求9的程序產品，還包括用於處理接連的B圖象的系統，包括用於從第一B圖象計算平均運動矢量幅度的系統[42]；以及用於如果平均運動矢量幅度小於或等於第二預定門限值[40]，則用第一B圖象代替第二鄰接的B圖象的系統[46]。
13.權利要求12的程序產品，還包括用於如果平均運動矢量幅度大於第二預定門限值[40]，則使用比較、執行和複製系統來處理第二B圖象的系統。
14.權利要求12的程序產品，其中平均運動矢量幅度是通過把每個宏塊的運動矢量幅度相加和被除以宏塊的數目而被計算的。
15.被存儲在可讀的媒介上的、在執行時用於處理在運動補償系統[19]中鄰接的B圖象的程序產品，包括用於計算第一B圖象的平均運動矢量幅度的系統[42]；以及用於如果平均運動矢量幅度小於或等於預定門限值[40]，則用第一B圖象代替下一個鄰接的B圖象的系統[46]。
16.權利要求15的程序產品，還包括用於如果平均運動矢量幅度大於預定門限值，則使用預定的處理運行處理下一個鄰接的B圖象的系統。
17.具有運動補償系統[19]的解碼器系統[50]，其中運動補償系統[19]包括用於把B圖象中的每個宏塊的運動矢量幅度與預定的門限值[32]進行比較的系統[34]；用於對於其中運動矢量幅度大於預定門限值[32]的每個宏塊執行常規的解碼操作的系統[38]；以及用於對於其中運動矢量幅度小於或等於預定門限值[32]的每個宏塊，從參考圖象複製相應的宏塊的系統[36]。
18.權利要求17的解碼器系統[50]，其中執行常規的解碼操作從參考存儲器中獲取相應的宏塊。
19.權利要求17的解碼器系統[50]，其中解碼器系統是MPEG-2解碼器。
20.權利要求17的解碼器系統[50]，其中運動補償系統[19]還包括用於處理接連的B圖象的系統[31]，用於處理接連的B圖象的系統包括用於從第一B圖象計算平均運動矢量幅度的系統[42]；以及用於如果平均運動矢量幅度小於或等於第二預定門限值，則用第一B圖象代替第二鄰接的B圖象的系統[46]。
21.權利要求20的解碼器系統[50]，其中運動補償系統[19]還包括用於如果平均運動矢量幅度大於第二預定門限值[40]，則使用比較、執行和複製系統來處理第二B圖象的系統[30]。
22.一種具有運動補償系統[19]的解碼器系統[50]，其中運動補償系統包括用於計算對於第一B圖象的平均運動矢量幅度的系統[42]；以及用於如果平均運動矢量幅度小於或等於預定門限值，則用第一B圖象代替下一個鄰接的B圖象的系統[46]。
23.權利要求22的解碼器系統，其中運動補償系統[19]還包括用於如果平均運動矢量幅度大於預定門限值[40]，則使用預定的處理運行處理下一個鄰接的B圖象的系統[48]。
24.具有運動補償系統[19]的解碼器系統[50]，其中運動補償系統包括用於計算對於參考圖象的平均運動矢量幅度的系統[42]；以及用於如果平均運動矢量幅度小於或等於預定門限值[40]，則用參考圖象代替B圖象的系統[46]。
25.權利要求24的解碼器系統[50]，其中運動補償系統[19]還包括用於如果平均運動矢量幅度大於預定門限值[40]，則使用預定的處理運行處理B圖象的系統[48]。
26.權利要求24的解碼器系統[50]，其中平均運動矢量幅度是通過把每個宏塊的運動矢量幅度相加和被除以宏塊的數目而被計算的。
全文摘要
一種解碼器系統具有運動補償系統，它縮放B圖象的處理，以便節省計算資源。運動補償系統具有第一縮放系統，包括用於把B圖象中的每個宏塊的運動矢量幅度與預定的門限值進行比較的系統；用於對於其中運動矢量幅度大於預定門限值的每個宏塊執行常規的解碼運行的系統；以及用於對於其中運動矢量幅度小於或等於預定門限值的每個宏塊，從參考圖象複製相應的宏塊的系統。運動補償系統具有第二縮放系統，包括用於計算對於第一B圖象的平均運動矢量幅度的系統；以及用於如果平均運動矢量幅度小於或等於預定門限值，則用第一B圖象代替下一個鄰接的B圖象的系統。第二縮放系統還可包括用於計算對於參考圖象的平均運動矢量幅度的系統；以及用於如果平均運動矢量幅度小於或等於預定門限值，則用參考圖象代替B圖象的系統。
文檔編號H04N7/46GK1460383SQ02800940
公開日2003年12月3日 申請日期2002年3月15日 優先權日2001年3月29日
發明者S·彭, M·范德沙爾 申請人:皇家菲利浦電子有限公司