運動信息編碼和解碼方法
2023-09-22 16:18:25
專利名稱：運動信息編碼和解碼方法
技術領域：
本發明涉及對運動信息進行編碼的方法，所說的運動信息與分成連續幀的視頻序列有關，上述方法包括下列步驟--將當前幀細分成兩維塊；--就所述當前幀的每個當前塊而言，用塊匹配算法在前一個塊中將變換塊選擇為對所說的當前塊的預測，所述變換塊與當前塊之間的運動矢量是與上述當前塊相關的被預測的矢量，並且，對構成與上述當前幀有關的運動矢量域的整個當前幀來說，以類似的方式預測所有的運動矢量；--就各個當前幀而言，用不同的編碼技術進行編碼對要加以編碼的各個運動矢量來說均包括與之相關的預測值，所述運動信息由上述相關的運動矢量域構成。
本發明還涉及相應的編碼設備、對按上述編碼方法編碼的運動信息進行解碼以及相應的解碼設備。在以後給出的本發明的一個實現形式的詳細說明中，如在MPEG家族中所定義的那樣，兩維塊例如是宏塊。
為了最大限度地減少傳輸運動矢量所需的位速率，一般參照先前確定的運動矢量(或預測值)按不同的方式對這些矢量編碼。更準確地說，根據先前傳輸的空間鄰居用預測技術對描述從前一個塊Br至當前塊Bc的運動進行編碼。就預測值而言所述運動矢量是不同的並且是用可變長代碼來加以編碼的。
為此，本發明涉及諸如在本說明書的導言部分中限定的編碼方法，該方法的特徵在於，就各個當前塊而言，所述不同編碼技術的減法操作中使用的預測值是空間-時間預測值P，它是用由下列關係限定的線性組合所獲得的P＝α.S+β.T其中，S和T分別是空間和時間預測值，(α，β)分別是與上述空間和時間預測值相關的加權係數。
在本發明的最佳實現形式中，用於選擇加權係數的標準在最少平均平方意義上是最大限度地減小要加以編碼的運動矢量C與其預測值P之間的扭曲即最大限度地減小下列運算符F＝∑[C-(α.S+β.T)]2其中，對整個的運動矢量域即對當前幀的所有塊求和。
最佳的是，通過對一組按當前塊的鄰居關係選定的運動矢量候選值作中值過濾可獲得空間預測值，如果需要適合MPEG-4標準的空間預測，則所述一組運動矢量候選值包括三個運動矢量候選值。
時間預測值可通過下列方法來確定即重新使用已為當前塊的指向先前傳送的運動矢量域內的塊的運動矢量所確定的空間預測值，或者，將在計算空間預測值時使用的空間預測值候選值保存在存儲器內，從而，用來自當前圖像中相應塊的預測值候選值指向前一圖像的塊，所述前一圖像塊的運動矢量還可被看作是要加以確定的時間預測值的空間預測值，並且能實現對前一運動矢量域中的這些空間預測值的中值過濾，所獲得的結果就是要加以確定的上述時間預測值。
本發明的另一個目的是提供一種對用上述編碼方法編碼的運動信息進行解碼的方法。
為此，本發明涉及對與圖像序列相對應的並且在傳輸和/或存儲步驟之前業已用一種編碼方法加以編碼了的運動信息進行解碼的方法，所述編碼方法包括下列步驟--將當前圖像細分成兩維塊；--就所述當前圖像的每個當前塊而言，用塊匹配算法在前一個圖像中將變換塊選擇為對所說的當前塊時的預測，所述變換塊與當前塊之間的運動矢量是與上述當前塊相關的被預測的矢量，並且，對構成與上述當前圖像有關的運動矢量域的整個當前圖像來說，以類似的方式預測所有的運動矢量；--就各個當前圖像而言，對上述相關運動矢量域所構成的運動信息進行編碼，用利用空間-時間預測值P來逼近各當前塊的要加以編碼的運動矢量，所述空間-時間預測值P是由下列關係式來限定的線性組合所獲得的P＝α.S+β.T其中，S和T分別是空間和時間預測值，(α，β)分別是與上述空間和時間預測值相關的加權係數。所述解碼方法的特徵在於，該方法包括兩種類型的解碼步驟--就由上述序列構成的第一運動矢量域而言，第一類型的解碼步驟僅以空間預測值為基礎；--就其它運動矢量域而言，第二類型的解碼步驟包括根據已經解碼的前一運動矢量域的運動矢量、按要加以解碼的當前運動矢量的鄰居關係限定的空間預測值以及所傳輸的加權係數α和β來計算空間-時間預測值P。
圖6說明了能實現本發明編碼方法的編碼器的實現形式；圖7說明了能實現本發明解碼方法的解碼器的實現形式。
發明詳述如以上參照
圖1所述，所述運動估算是以搜索方案為基礎的，所述搜索方案試圖在前一幀中的有限的搜索區域SW內找到塊的最佳匹配位置，就各個塊(或者在MPEG標準的情況下用「宏塊」)而言，可用在減少了預測值和可變長編碼(VLC)之後從編碼器傳輸至解碼器的運動矢量來描述所述最佳匹配位置。
本發明的原理是在預測(假定在對與各當前運動矢量相對應的不同值作可變長編碼(VLC)之前)中引入額外的操作，以便考慮在兩個連續運動矢量域之間觀察到的時間關係。例如業已在G.de Haan和a1的「用3D遞歸塊匹配的實際運動估算」(載於IEEE Transaction onCircuits and System for Video Technology，1993年10月第3卷第5號，368-379頁)中說明了使用時間預測值的基於塊的運動估算。這種以3D遞歸搜索為基礎的技術在圖2所示的一種可能的實現形式中使用了在當前塊Bc的相鄰塊中選出的三個空間預測值P1、P2、P3、一個是P1和先前處理的塊的最佳候選值的線性組合的附加空間預測值以及時間預測值P4(「時間」是指相應的運動矢量居於前一運動矢量域)。
通常，先前的工作僅考慮空間預測值，以便以不同的方式對當前運動矢量進行編碼。就16×16像素(用於包括四十塊的宏塊的一個運動矢量)的運動矢量而言，空間預測包括按當前宏塊的鄰居關係選擇若干運動候選值(就MPEG-3而言為三個)，例如如圖3所示，圖3示出了這種候選值MV1、MV2和MV3的可能位置(然後，通過對這些運動矢量候選值進行中值過濾而獲得用於當前運動矢量的空間預測值)。為了改進運動矢量的編碼，現提出了利用沿運動軌道的運動矢量之間存在的相互關係，以便更好地預測要加以編碼的當前宏塊的運動矢量。
如圖4所述，用於就當前運動矢量域CMVF而言確定時間預測值P的第一方案可以是重用已為當前宏塊的運動矢量所確定的空間預測值，以指向先前傳輸的運動矢量域PMVF中的宏塊。而且，為了減少低質量預測的影響，可再次對選定宏塊周圍的八個宏塊的鄰居進行中值過濾操作。
如圖5所示，用於確定預測值P的第二方案是將在計算空間預測值期間使用的空間預測值候選值SPC保存在存儲器內。這些運動矢量候選值從當前幀中的宏塊指向前一幀的宏塊，所述前一幀的運動矢量還可看作是用於必須要確定的時間預測值的空間預測值。上述用於當前運動矢量的時間預測值是對前一運動矢量域中的這些空間預測值進行中值過濾的結果。
無論是什麼樣的選定方案，可稱為空間-時間的預測值P都是用以下類型的線性組合來獲得的P＝α.S+β.T其中，S和T分別是如上所述那樣確定的額外的空間預測值和時間預測值，(α，β)分別是與上述空間和時間預測值相關的加權係數。選擇α和β的可能標準在最少平均平方意義上是最大限度地減小要加以編碼的運動矢量C與其預測值P之間的扭曲即最大限度地減小運算符FF＝∑[C-(α.S+β.T)]2對整個的運動矢量域即通過包括當前幀的所有宏塊來求和∑(加權係數α和β需要傳給解碼一側，因為，解碼裝置不能執行對稱操作以計算上述係數，所以，就全局傳輸成本而言，必須在時間預測值所帶來的傳輸增益係數與用於各運動矢量域的兩個值(α、β)的額外傳輸成本之間達到良好的折衷)。
一般用DPCM(差分脈碼調製)技術對運動矢量進行編碼，在DPCM技術中，量化並傳輸輸入與以在本地解碼的前一個輸出為基礎的預測之間的差值，隨後是用VLC表的熵編碼步驟並生成與運動矢量相對應的編碼數據。在諸如上述編碼方法業已在視頻編碼方案中使用時，必須對與運動矢量相對應的並且在解碼側接收到的編碼數據進行專門的解碼。然後，根據以下處理步驟進行運動矢量的重構--就第一運動矢量域(即不具有任何前身的域)而言，實現僅以空間預測值為基礎的經典解碼步驟；--就其它運動矢量域(即有時間前身的域)而言，以類似的方式實現編碼器中提供的操作已知運動矢量時間預測值(這些預測值是業已解碼了的前一運動矢量域的運動矢量)、空間預測值(＝要加以解碼的當前運動矢量的鄰居關係中的運動矢量)以及加權係數α和β(它們業已被傳輸)，則計算業已在編碼器側使用了的最終預測值P＝α.S+β.T，這就能用在編碼器的VLC表中建立的對應關係來以不同的方式對當前運動矢量進行解碼。
可在多種編碼方案例如在MPEG-4視頻編碼器中實現上述編碼技術。圖6說明了這種編碼器用分解電路61將輸入的視頻信息VIF分解成視頻對象(VO)，編碼控制電路62(例如根據用戶要求或解碼器的能力)確定傳輸哪個VO，在編碼電路63a至63n中對選定的VO編碼(各VO彼此相獨立)，多路復用器64將這樣獲得(並表示不同VO)的n個位流合併進一單一的視頻流。每個VO都是由其形狀、紋理和運動分量限定的，各編碼電路的編碼裝置必須進行形狀、紋理和運動編碼操作。如例如在T.Ebrahimi等人的「MPEG-4自然視頻編碼—概述」(載Signal ProcessingImage Communcation，2000年1月第15卷第4-5期第365-385頁)所述那樣進行形狀和紋理操作。可依照本發明即通過實現上述運動信息編碼方法而進行運動操作。
與此同類似，可在諸如本文件中所述之類的解碼方案中實現上述並且與本發明編碼方法相對應的解碼方法。圖7說明了一解碼器，該解碼器能接收並對諸如在進行上述編碼方法時獲得的編碼位流進行解碼首先在多路分解電路71中對輸入的位流進行多路分解，分解這樣生成的與不同VO相對應的經過多路分解的基本流並將它們傳給適當的解碼器(形狀解碼電路72、紋理解碼電路73、運動解碼電路74)，用解碼數據連同場景描述信息重構包括VO在內的原始場景的重構電路75能最終獲得被顯示的視頻圖像。在電路74中執行本發明的運動信息解碼方法。
為說明和描述的目的提供了對本發明的最佳實施例的上述說明。這不是要窮舉或者將本發明精確地限於所說明的內容，很明顯，依照上述內容，本技術的專家可以看出的並且包括在本發明的範圍內的多種改進形式和變化形式是可能的。
例如，應該認識到，在不排除硬體或軟體的單個一種可實現若干種功能或者硬體和軟體的組合或者兩者一起實現單個功能的情況下，可用硬體、軟體或硬體和軟體的組合來實現本文所述的設備。可用任何類型的計算機系統或適用於實現本文所述方法的其它設備來實現上述方法和設備。硬體和軟體的一種典型組合可以是帶有電腦程式的通用計算機系統，所述程序在加載和執行時能控制前述計算機系統，因此，所述系統可實現本文所述的方法。另外，也可以使用包含專用硬體以實現本發明的一種或多種功能任務的專用計算機。
本發明還可嵌在電腦程式產品內，所述電腦程式產品包括能實現本文所述方法和功能的所有特徵，並且，所述電腦程式產品在被裝載進計算機系統內時能實現這些方法和功能。在本文中，電腦程式、軟體程序、程序、程序產品或軟體是指用任何語言的由一組指令構成的表達式、代碼或標記，它能使具有信息處理能力的系統直接或在以下活動之一或兩者之後執行特定的功能(a)轉換成其另一種語言、代碼或標記；以及/或者(b)以不同材料形式進行再現。
權利要求
1.一種用於對運動矢量進行編碼的方法，所說的運動信息與分成連續幀的視頻序列有關，上述方法包括下列步驟--將當前幀分成兩維塊；--就所述當前幀的每個當前塊，用塊匹配算法在前一個塊中將變換塊選擇為對所說的當前塊的預測，所述變換塊與當前塊之間的運動矢量是與上述當前塊相關的被預測的矢量，並且，對構成與上述當前幀有關的運動矢量域的整個當前幀，以類似的方式預測所有的運動矢量；--就各個當前幀，用不同的編碼技術進行編碼對要加以編碼的各個運動矢量來說均包括與之相關的預測值，所述運動信息由上述相關的運動矢量域構成的；所述方法的特徵在於，就各個當前塊，所述不同編碼技術的減法操作中使用的預測值是空間-時間預測值P，它是用由下列關係限定的線性組合所獲得的P＝α.S+β.T其中，S和T分別是空間和時間預測值，(α，β)分別是與上述空間和時間預測值相關的加權係數。
2.如權利要求1的編碼方法，其特徵在於，用於選擇加權係數的標準在最少平均平方意義上是最大限度地減小要加以編碼的運動矢量C與其預測值P之間的扭曲即最大限度地減小下列運算符F＝∑[C-(α.S+β.T)]2其中，對整個的運動矢量域即對當前幀的所有塊求和。
3.如權利要求2的編碼方法，其特徵在於，通過對一組按當前塊的鄰居關係選定的運動矢量候選值作中值過濾來獲得上述空間預測值。
4.如權利要求3的編碼方法，其特徵在於，所述一組運動矢量候選值包括三個運動矢量候選值，以便使上述空間預測適合MPEG-4標準。
5.如權利要求2的編碼方法，其特徵在於，所述時間預測值是通過下列方法來確定的即重新使用已為當前塊的指向先前傳送的運動矢量域內的塊的運動矢量所確定的空間預測值。
6.如權利要求2的編碼方法，其特徵在於，所述時間預測值是通過下列方法來確定的即將在計算空間預測值時使用的空間預測值候選值保存在存儲器內，從而，用來自當前圖像中相應塊的預測值候選值指向前一圖像的塊，所述前一圖像塊的運動矢量還被看作是要加以確定的時間預測值的空間預測值，並且能實現對前一運動矢量域中的這些空間預測值的中值過濾，所獲得的結果就是要加以確定的上述時間預測值。
7.一種對與圖像序列相對應的並且在傳輸和/或存儲步驟之前業已用一種編碼方法加以編碼了的運動信息進行解碼的方法，所述編碼方法包括下列步驟--將當前圖像分成兩維塊；--就所述當前圖像的每個當前塊，用塊匹配算法在前一個圖像中將變換塊選擇為對所說的當前塊時的預測，所述變換塊與當前塊之間的運動矢量是與上述當前塊相關的被預測的矢量，並且，對構成與上述當前圖像有關的運動矢量域的整個當前圖像，以類似的方式預測所有的運動矢量；--就各個當前圖像，對上述相關運動矢量域所構成的運動信息進行編碼，用利用空間-時間預測值P來逼近各當前塊的要加以編碼的運動矢量，所述空間-時間預測值P是由下列關係式來限定的線性組合所獲得的P＝α.S+β.T其中，S和T分別是空間和時間預測值，(α，β)分別是與上述空間和時間預測值相關的加權係數。所述解碼方法的特徵在於，該方法包括兩種類型的解碼步驟--就由上述序列構成的第一運動矢量域，第一類型的解碼步驟僅以空間預測值為基礎；--就其它運動矢量域，第二類型的解碼步驟包括根據已經解碼的前一運動矢量域的運動矢量、按要加以解碼的當前運動矢量的鄰居關係限定的空間預測值以及所傳輸的加權係數α和β來計算空間-時間預測值P。
全文摘要
本發明涉及對運動信息進行編碼的方法，所說的運動信息與視頻序列有關，上述方法包括下列步驟將當前圖像分成塊；以及，將塊匹配算法應用於各個塊，以便將變換塊限定為對當前塊的預測，所述變換塊與當前塊之間的運動矢量是與上述當前塊相關的被預測的矢量，並且，對構成與上述當前圖像有關的運動矢量域的整個當前圖像來說，以類似的方式預測所有的運動矢量。就各個當前圖像，最終對上述相關運動矢量域所構成的運動信息進行編碼。依照本發明，用通過關係式P＝α.S+β.T限定的空間－時間預測值P來逼近要加以編碼的運動矢量，其中，S和T分別是空間和時間預測值，(α，β)分別是與上述空間和時間預測值相關的加權係數。本發明還涉及相應的解碼方法。
文檔編號H04N7/36GK1457604SQ02800289
公開日2003年11月19日 申請日期2002年2月11日 優先權日2001年2月13日
發明者V·波特雷奧, B·佩斯奎特－波佩斯庫 申請人:皇家菲利浦電子有限公司