具有固定計算複雜性的運動圖像編碼的方法和裝置的製作方法

2023-05-12 12:44:01

專利名稱：具有固定計算複雜性的運動圖像編碼的方法和裝置的製作方法
技術領域：
本發明涉及到視頻編碼系統，更具體地說，涉及一種運動圖像編碼的方法和裝置，這種編碼採用固定計算複雜性，且不考慮運動圖像的特性。
背景技術：
通常，用硬體對運動圖像編碼。然而，個人計算機(PC)的中央處理單元(CPU)性能的改進，以及高性能多媒體處理器的發展，使得用軟體對運動圖像編碼成為可能。從而，就需要能有效地減少計算量的編碼技術，以便實時地壓縮和恢復運動圖像。舉例來說，假如按照H.263標準並採取n步搜索由視頻編碼器來估算運動圖像的運動，離散餘弦變換(DCT)/反離散餘弦變換(IDCT)模塊就佔用了編碼器處理時間的30％。為了減小這種計算複雜性，傳統的視頻編碼器採用一種DCT跳越技術。
圖1是傳統視頻編碼系統的方框圖。首先，把輸入的視頻數據劃分成若干圖像組(GOP)單元。DCT單元120對視頻數據以8×8的方塊為基數執行DCT處理，從而獲得視頻數據的空間冗餘度(spatial redundancy)。經DCT單元120對其執行DCT處理的視頻數據，由量化器(Q)130進行量化。反量化器(IQ)150對由Q 130量化的視頻數據作反向量化。經IQ 150反量化的視頻數據，由反DCT(IDCT)160對其執行IDCT處理。經IDCT單元160 IDCT處理的視頻數據，以幀為單元，存儲在幀存儲器(FM)170中。運動估值(ME)單元180利用存儲在FM單元170中的當前幀視頻數據和前一幀視頻數據估算每宏塊(macro block)的運動圖像的運動矢量(MV)和每宏塊運動圖像的絕對偏差和(SAD)。變長編碼(variable length coding，VLD)單元140根據ME單元180估算的MV消除量化後的視頻數據中的統計冗餘度(statisticalredundancy)。
DCT跳越單元(DCT skipping unit)110接收ME單元180估算的每塊的SAD，或接收由Q130產生的量化參數(QP)，並將SAD或QP與閾值T相比較，再將比較結果發送給DCT單元120，作為按8×8方塊基數的跳越信息。也就是說，當SAD/QP的比值小於閾值T時，DCT跳越單元110就限制視頻數據不被編碼，這就意味著，塊結束近似於0，而當SAD/QP的比值大於閾值T時，DCT跳越單元110就允許DCT單元120對視頻數據執行DCT處理。可是，當閾值T是視頻序列範圍內的一個固定值時，DCT計算中的複雜性對每個宏塊或每幀而言就各不相同。尤其是，當用PC或多媒體處理器來實現軟體視頻編碼器時，實時編碼就不可能，這是由於，如果DCT的計算複雜性隨宏塊或幀而變化，PC或多媒體處理器的計算複雜性就受到限制。

發明內容
為了解決上述問題，本發明的目的是提供一種運動編碼方法，該方法能夠通過對離散餘弦變換(DCT)模塊施加一個運動估值器中的計算複雜性的變量而保持視頻編碼器的計算複雜性固定不變。
為了實現上述目的的一個方面，在這裡提供一種運動圖像編碼的方法，該方法包括(a)計算視頻數據的ME計算複雜性，並推算所計算的ME計算複雜性和目標計算複雜性之間的偏差；(b)基於在(a)中估算的ME計算複雜性偏差更新目標DCT複雜性；(c)基於在(b)中已更新的目標DCT計算複雜性設置閾值，以便確定是否跳越執行對視頻數據的DCT處理；以及(d)根據在(c)中設置的閾值，對視頻數據跳越執行DCT處理或執行DCT處理。
為了實現上述目的另一個方面，在這裡提出了一種運動圖像編碼的裝置，該裝置包括DCT單元，它用來對輸入視頻數據基於塊執行DCT處理；量化器，它用來量化由DCT單元對其執行DCT處理的視頻數據；ME單元，該單元利用輸入視頻數據和前一幀的視頻數據，計算每宏塊的運動矢量和SAD；DCT計算複雜性計算器，它用來計算ME單元的計算複雜性，估算ME計算複雜性與目標計算複雜性之間的偏差，並基於所估算的ME計算複雜性中的偏差更新目標DCT計算複雜性；以及DCT跳越單元，它用來根據由DCT計算複雜性計算器更新的目標DCT計算複雜性設置閾值，以便確定是否對視頻數據跳越執行DCT處理，並且將由ME單元產生的每塊SAD和由量化器產生的量化參數與閾值比較，並確定是否允許DCT單元對視頻數據執行DCT處理。


通過參照附圖對其優選實施例進行詳細描述，本發明的上述目的和優點將會變得更加清楚，其中圖1是一種對其施加了DCT跳越技術的傳統的視頻編碼系統的方框圖；圖2是根據本發明的視頻編碼器結構的方框圖；圖3是圖2的DCT計算複雜性計算器結構的方框圖；圖4是圖2的DCT跳越單元結構的方框圖；以及圖5是說明根據本發明的運動圖像編碼方法的流程圖。
具體實施例方式
圖2是根據本發明的視頻編碼器結構的方框圖。參考圖2，輸入視頻數據由以8×8方塊為單元的幀組成。
DCT單元220對輸入視頻數據按8×8方塊執行DCT處理，或者響應由DCT跳越單元290產生的DCT跳越控制信號，處理輸入視頻數據不進行編碼。量化器(Q)230量化由DCT單元220對其執行DCT處理的視頻數據。VLC單元240消除已量化的視頻數據中的統計冗餘度。反量化器(IQ)250反量化由Q 230量化的視頻數據。IDCT單元260對由IQ 250反量化的視頻數據執行IDCT處理。FM單元270以幀為單元存儲由IDCT單元260執行IDCT處理的視頻數據。ME 280採用儲存在FM270中的當前幀的視頻數據和前一幀的視頻數據估算每宏塊的MV和SAD。
DCT計算複雜性計算器284計算由ME單元280所採用的前一幀的總體的運動估值計算複雜性，以便估計總體的運動估值計算複雜性和目標計算複雜性之間的偏差，並基於這種偏差更新目標DCT計算複雜性。
DCT跳越單元290根據更新的目標DCT計算複雜性設置閾值Ton+1，以便對當前幀跳越執行DCT處理。下一步，DCT跳越單元290將由ME單元280估算的每一塊的SAD和由Q 230估算的QP與所設置的閾值Ton+1進行比較，並把比較結果發送給DCT單元220作為DCT跳越信息。
圖3是圖2的DCT計算複雜性計算器284的結構方框圖。參照圖3，ME計算複雜性計算器310將從ME280輸入的每個宏塊的各個搜索點的數求平均或相加，以便計算當前幀的總體的ME計算複雜性S(n)。
目標DCT計算複雜性計算器320把總體的ME計算複雜性S(n)與目標ME計算複雜性St進行比較，計算其間的偏差，並將這個偏差加到目標DCT計算複雜性Ct上。作為結果，就改變了目標DCT計算複雜性Ct，從而得到一個更新的DCT計算複雜性C’t。
圖4是圖2的DCT跳越單元290的結構方框圖。參照圖4，閾值計算器410基於其中反映了ME計算複雜性中的偏差的更新的目標DCT計算複雜性C’t計算當前幀的閾值Ton+1。
DCT跳越判定單元420把分別由ME單元280和Q230估算的每塊的SAD和QP與當前幀的閾值進行比較，並基於比較結果確定圖2的DCT單元220是否對當前幀跳越執行DCT處理。更準確地說，當SAD/QP小於閾值Ton+1時，DCT跳越判定單元420就強制把當前幀當作「不編碼」數據，這就意味著塊結束(EOB)可能近似於0；當SAD/QP大於閾值Ton+1時，DCT跳越判定單元420允許DCT單元220對當前幀執行DCT處理。
圖5是說明根據本發明的運動圖像編碼方法的流程圖。參照圖5，首先，基於總體編碼器計算複雜性設置目標ME計算複雜性St和目標DCT計算複雜性Ct。例如，在H.263視頻編碼器中，在假定總體編碼器的計算複雜性為1的情況下，一個搜索區的目標ME計算複雜性St和目標DCT計算複雜性Ct分別設置為0.3。
然後，在步驟510中對第n幀的每個宏塊的搜索點數求平均，以便計算總的ME計算複雜性S(n)。在這種情況下，普通的高速運動估值方法是不利的，因為搜索每個宏塊的計算複雜性沒有規律。普通高速運動估值方法被分類成幾種方法，其中一種方法是在搜索區內搜索點數是不相同的，其中另一種方法是，有效地減少每個塊匹配所需要的計算量，例如，一種快速完全搜索方法。每幀的ME計算複雜性可用上述方法之一來計算。
步驟510之後，在步驟520從目標計算複雜性St中減去前一幀的ME計算複雜性S(n)，就得到ME計算複雜性的偏差，即St-S(n)。換句話說，就是檢查前一幀的ME計算複雜性S(n)是大於或是小於目標ME計算複雜性St，這是基於這樣的事實，即連續幀(例如，前一幀和當前幀)的ME計算複雜性是相似的。
步驟520之後，在步驟530把偏差St-S(n)加到原來的目標DCT計算複雜性Ct上去，就得到一個更新的目標DCT計算複雜性C’t。在這裡，目標ME計算複雜性St和前一幀的ME計算複雜性S(n)表示每個宏塊的搜索點的平均數，而目標DCT計算複雜性Ct表示每宏塊DCT執行塊的總數。其後，假定處理一個搜索點耗費的計算複雜性和8×8DCT計算複雜性相同，把偏差St-S(n)與原來的目標DCT計算複雜性Ct相加。否則，也就是，如果處理一個搜索點耗費的計算複雜性與8×8 DCT計算複雜性不同，就要將偏差St-S(n)乘以適當的權重W，再與原來的目標DCT計算複雜性Ct相加，從而得到W{St-S(n)}+Ct。
步驟530之後，在步驟540中根據更新的目標DCT計算複雜性C’t，設置當前幀的閾值Ton+1，該閾值Ton+1是用來確定是否對當前幀執行DCT處理。
計算當前幀閾值Ton+1的等式由下面的幾個等式得到。
DCT複雜性是指DCT單元對視頻數據執行DCT處理的概率和DCT計算複雜性，並用DCT執行塊數目來確定。基於閾值Ton+1反比於閾值和量化係數(T、Q)的事實，DCT複雜性表達為如下等式CVT0Q(1)]]>其中，T0代表閾值，Q代表量化係數。在第n幀時，由等式1得到V＝CnQnTon的公式。
此外，第n+1幀的優選閾值由等式1得到，並表達如下Ton+1=VCtQn+1(2)]]>其中，Ct代表目標DCT複雜性。
等式2也可以表達如下Ton+1=TonQnCnCtQn+1(3)]]>等式3也可以表達如下Ton+1=TonQnQn+1(1+Cn-CtCt)(4)]]>等式4可以表達如下Ton+1=TonQnQn+1(1+Cn-CtkCt)(5)]]>其中，閾值Ton+1的收斂速度取決於常數k。參考等式5，注意，當前幀的閾值Ton+1用前一幀的閾值Ton、量化係數Qn和Qn+1以及前一幀的DCT複雜性Cn來計算。
最後，如果等式5中表示的目標DCT複雜性Ct被更新為目標DCT計算複雜性C’t，也就是C’t＝Ct+St-Sn，則應用到本發明中的當前幀的閾值Ton+1就由下式計算Ton+1=TonQnQn+1(1+Cn-CtkCt)(6)]]>其中，Ton代表前一幀的閾值，Qn代表前一幀的量化係數，Qn+1代表當前幀的量化係數，Cn代表前一幀的DCT計算複雜性，k是常數，C’t代表更新的目標DCT計算複雜性。
步驟540之後，在步驟550中，將分別在運動估值和量化過程產生的、每塊的SAD和量化參數Qn+1與當前幀的閾值Ton+1進行比較。
在步驟560中，如果SAD與量化參數Qn+1之比小於閾值Ton+1，對相關塊就不執行DCT處理，且該塊限於不被編碼。在步驟570中，如果SAD與量化參數Qn+1之比大於閾值Ton+1』就對該塊執行DCT處理。
步驟570之後，在步驟580中，檢查對輸入運動圖像的編碼是否結束，如果沒有結束，則重複上述各步，直到編碼結束為止。
如上所述，根據本發明，將ME單元280的計算複雜性中的偏差施加到DCT跳越模塊，由此，使總體計算的總量保持接近於目標計算複雜性Ct+St。
儘管本發明是參照其優選實施例來具體地描述的，但本領域的技術人員應當理解，在不脫離由所附權利要求限定的本發明的精神和範圍的情況下，可以對其進行形式和細節的各種修改。
本發明可以由計算機可讀媒體能夠執行的計算機可讀碼進行實施。這裡，計算機可讀媒體可以是能夠存儲能由計算機系統讀取的數據的任何一種記錄裝置，例如，只讀存儲器(ROM)、隨機存取存儲器(RAM)、光碟(CD-ROM)、磁帶、軟盤、快閃(flash)存儲器、光數據存儲裝置、等等。此外，舉個例子，計算機可讀媒體還可以是通過網際網路發送數據的載波。計算機可讀記錄媒體可能分散地安裝在連接到網絡的計算機系統中，並藉助分布式計算環境，存儲和執行計算機可讀碼。
如上所述，根據本發明，利用設計時考慮到ME計算複雜性的DCT跳越方法，即使採用高速運動估值方法，也可能持續不變地保持總體編碼計算複雜性。
這項申請基於2002年2月19日申請的其專利申請號為2002-8759的韓國專利申請，並且要求其優先權，這裡引入其內容以供參考。
權利要求
1.一種運動圖像編碼方法，包括以下步驟(a)計算視頻數據的運動估值(ME)計算複雜性，並估算所計算的運動估值(ME)計算複雜性和目標計算複雜性之間的偏差；(b)基於在(a)步驟中估算的運動估值(ME)計算複雜性中的偏差更新目標離散餘弦變換(DCT)計算複雜性；(c)基於在(b)步驟中已更新的目標離散餘弦變換(DCT)計算複雜性設置閾值，以便確定是否對視頻數據跳越執行離散餘弦變換(DCT)處理；(d)根據在(c)步驟中設置的閾值，對視頻數據跳越執行離散餘弦變換(DCT)處理或執行離散餘弦變換(DCT)處理。
2.如權利要求1所述的方法，其中，在(a)步驟中通過從目標運動估值(ME)計算複雜性中減去前一幀的運動估值(ME)計算複雜性，估算在所述運動估值(ME)計算複雜性中的偏差。
3.如權利要求2所述的方法，其中，通過計算每宏塊的搜索點數目得到所述運動估值(ME)計算複雜性。
4.如權利要求1所述的方法，其中，在(b)步驟中通過把所述運動估值(ME)計算複雜性中的偏差加到所述目標DCT複雜性上更新所述目標離散餘弦變換(DCT)複雜性。
5.如權利要求1所述的方法，其中，在(c)步驟中當前幀的閾值由如下等式來計算Ton+1=TonQnQn+1(1+Cn-CtkCt)]]>其中，Ton+1代表當前幀的閾值，Ton代表前一幀的閾值，Qn和Qn+1分別代表前一幀的量化係數和當前幀的量化係數，Cn代表離散餘弦變換(DCT)計算複雜性，k是一個常數，C’t代表更新的目標離散餘弦變換(DCT)計算複雜性。
6.如權利要求1所述的方法，其中，在(d)步驟中當所述閾值小於每宏塊運動圖像的絕對偏差和(SAD)/Qn+1時對視頻數據跳越執行DCT處理，當所述閾值大於SAD/Qn+1時，對視頻數據執行DCT處理。
7.一種運動圖像編碼裝置，包括離散餘弦變換(DCT)單元，用於對輸入視頻數據以方塊為基數執行DCT處理；量化器，用於量化由所述DCT單元對其執行DCT處理的所述視頻數據；運動估值(ME)單元，用於使用輸入的視頻數據和前一幀的視頻數據計算每個宏塊的運動矢量和SAD；DCT計算複雜性計算器，用於計算所述ME單元的計算複雜性，估算所述ME計算複雜性和目標計算複雜性之間的偏差，並基於所估算的ME計算複雜性中的偏差更新目標DCT計算複雜性；以及DCT跳越單元，用於基於由DCT計算複雜性計算器更新的所述目標DCT計算複雜性設置閾值、以便確定是否對視頻數據跳越執行DCT處理，將由所述ME單元產生的每塊的SAD和由所述量化器產生的量化參數與所述閾值進行比較，並且確定是否允許所述DCT單元對所述視頻數據執行DCT處理。
8.如權利要求8所述的裝置，其中，所述DCT計算複雜性計算器包括ME計算複雜性計算器，用於測量從ME單元輸入的每個宏塊的搜索點數，並計算前一幀的總的ME計算複雜性；目標DCT計算複雜性計算器，用於比較由所述ME計算複雜性計算器計算的、當前幀的總ME計算複雜性，估算在所述ME計算複雜性中的偏差，將該偏差加到所述目標DCT計算複雜性中，並得到更新的目標DCT計算複雜性。
9.如權利要求9所述的裝置，其中，所述DCT跳越單元包括閾值計算器，用於基於所述更新的目標DCT計算複雜性計算當前幀的閾值；和DCT跳越判定單元，用於將由所述ME單元產生的每塊的SAD和由所述量化器產生的量化參數與由所述閾值計算器計算的閾值作比較，並確定是否對視頻數據跳越執行DCT處理。
全文摘要
提供一種能夠有規律地保持計算複雜性的用於運動圖像編碼的方法和裝置。這種方法包括(a)計算視頻數據的運動估值(ME)計算複雜性，並估算所計算的ME計算複雜性和目標計算複雜性之間的偏差；(b)基於在(a)中估算的ME計算複雜性中的偏差更新目標離散餘弦變換(DCT)複雜性；(c)基於在(b)中已更新的目標DCT計算複雜性設置閾值，以便確定是否對視頻數據跳越執行DCT處理；及(d)根據在(c)中設置的閾值，對視頻數據跳越執行DCT處理或執行DCT處理。
文檔編號H04N7/50GK1440202SQ02150369
公開日2003年9月3日 申請日期2002年11月8日 優先權日2002年2月19日
發明者宋秉哲 申請人:三星電子株式會社