用於運動向量域編碼的方法和裝置的製作方法
2023-05-29 08:12:51 2
專利名稱：用於運動向量域編碼的方法和裝置的製作方法
技術領域：
本發明涉及用於編碼數位化圖象序列中的運動向量域的方法和裝置。
對數位化運動圖象使用運動補償的原理是眾所周知的。在包括MPEG-1、MPEG-2和H263在內的大多數已知方法中，用正方形或矩形的象素塊進行運動補償，為每個塊分配一個運動向量。例如，已知將一個例如16×16塊的象素塊與前面一個基準圖象中的塊作比較-該象素塊一般在基準圖象的一個有限區域內。用諸如均方差的算法找出基準圖象中與當前考慮的塊最相似的塊，將一個對應的運動向量與該當前塊相關聯。這樣，就將一個當前圖象中的16×16塊與一個相應的運動向量相關聯。隨後將各運動向量量化到或者全象素(full-pel)或者子象素(sub-pel)(一般是半象素或四分之一象素)，然後一般將結果有差別地編碼。
按以上總結的已知方式向圖象中的一個象素塊分配一個單一運動向量，對表示平移運動是有用的。然而，在以上討論的類型的基於塊的運動補償方法中有許多缺點，會嚴重地限制預測算法中的性能。例如，這樣一種方法對於包含諸如旋轉或比例變化的運動(比簡單的平移運動更複雜)的區域來說效果不好。基於塊的預測對非剛性運動(non-rigid motion)(例如由雲或人類所展示的)也不好。另外，基於塊的方法沿各塊施加運動邊界，可能不會精確地反映塊內的運動邊界。此外，重構的圖象可能展示「塊狀的」人為因素，在運動邊界跨越一個塊的情況中尤其如此。
為了緩解這種問題，有些方案採用了帶參數運動模型(除平移運動模型之外還包括準仿射(quasi-affine)和仿射運動模型)的可變塊大小運動補償。在這些方案中，用於運動補償的塊的大小和運動模型取決於某區域內出現多少個運動對象並取決於運動域的複雜性。這樣一種方法對使用固定大小的塊的方法提供一些改進，但是改進是有限的。
本發明提供一種通過導出圖象的稠密運動向量域和對運動向量域進行向量量化來表示數位化圖象序列中的運動的方法和裝置。
在本說明書的上下文中，與運動向量域相聯繫的術語稠密的意思是，一個大小8×8象素的象素塊，至少有兩個運動向量。例如，可以向每個4×4象素塊或每個2×2象素塊分配一個運動向量。最好是向每個象素分配一個運動向量。
本發明的結果是，能為編碼而獲得運動域的一個有效的表示。由於使用運動補償的更好的預測，並且因為能減少人為因素的數量，所以能獲得一個具有改進的可視質量的重構圖象。特別是能較少或完全消除成塊的(blocking)人為因素。該方法也有助於運動域的可伸縮的表示，增加抗傳輸錯誤的穩固性，下文將更詳細地討論。
本發明也提供一種通過生成和編碼一個運動向量域在不同解析度時的多個版本來表示數位化圖象序列中的運動的方法和裝置。
本發明的結果是，能創建運動域的一個可伸縮的表示和一個內置的位流。通過解譯該位流的一部分，就能容易地重構運動向量域的一個疏粗版本。這有幾個優點。例如，如果部分位流在傳輸中被破壞，仍然能恢復運動域的一個低解析度版本，用於運動補償。或者，有些應用可能只需要域的疏粗版本，因此，通過直接從被截取的位流重構疏粗圖象-而不是重構一個完全版本後，再對它二次抽樣，以獲得一個疏粗版本-能節省處理能力和存儲要求。這樣一種方法例如在視頻行動電話中可能是有用的。
本發明也提供一種預處理運動向量域、以在不顯著減少預測誤差的情況下減少熵的方法和裝置。這可通過對相鄰運動向量的平均值計算來完成，平均值計算可能有其它的約束條件，限制這種平均值計算對移動預測的質量和對運動間斷點的保留的影響。
本發明也提供一種處理與數位化圖象序列中的一個圖象有關的數據的方法和裝置，包含確定在該圖象中哪裡出現間斷點，並通過把在圖象中哪裡出現運動間斷點考慮在內組合相鄰的運動向量而平滑運動向量域。
結果，就能獲得運動向量域的更精確的反映。
本發明的這些和其它方面在附屬的權利要求中陳述。
將結合以下
具體實施例方式圖1是按照現有技術的運動向量域的表示；
圖2是按照本發明實施例的編碼器的框圖；圖3是顯示中斷標籤的圖象區域的表示；圖4是圖2中所示編碼器的部件的框圖；圖5是來自圖2中所示編碼器的位流輸出的表示；圖6是按照本發明實施例的解碼器的框圖；圖7是按照本發明實施例的混合DCT/MC編解碼器的框圖。
圖2是按照本發明實施例的多解析度運動向量域(MMVF)編碼器的框圖。如圖2中所示的MMVF編碼器包括一個運動估計器(ME)模塊210，用於為輸入到該模塊的圖象序列中的一個圖象生成一個運動向量域和一個運動中斷圖、運動估計器母愛的輸出連接到熵減少模塊220的輸入，後者用於用該運動中斷圖處理該運動向量域，以產生一個具有間斷點的熵約束的(entropy constrained)運動向量域。熵減少模塊220的輸出連接到多解析度向量量化運動域和間斷點編碼模塊230，後者用於生成該運動向量域的一個多解析度向量量化(MMVF)的表示。
MMVF的操作將在下文作更詳細說明。
運動估計器模塊10對一序列輸入圖象幀操作，以產生稠密運動向量域，每個都具有一個相關聯的運動中斷圖。
用根據圖象幀和基準幀的運動估計導出圖象幀的運動向量域。在這個實施例中，是用已從原始的基準幀的編碼版本和連續、原始的幀重構的基準幀進行估計的。作為替代，例如可以用一個原始基準幀和原始連續幀進行運動估計。
運動估計是用已知的塊匹配技術的變體執行的。將圖象幀中的16×16象素的塊與基準幀中的塊比較。當找到最接近的匹配時，將相應的運動向量分配給一個基準象素，在本實施例中，基準象素是四個中心象素中的左上邊的象素。在其它實施例中，基準象素可能是一個m×n塊內的任何象素，但它最好靠進或位於塊的中心。對圖象幀中的重疊的各16×16塊重複這些步驟，以便獲得圖象中每個象素的運動向量，然後因此獲得整個圖象的運動向量域。儘管以這種格式產生的運動向量域可能還是展示一個塊樣的結構，在熵減少模塊220中卻恢復了一個精確的稠密運動向量域。可以採用其它的用於獲得象素的運動向量的方法，諸如象素循環技術或基於梯度(gradient-based)的方法，如A.Netravali和B.G.Haskell所著的「Digital Pictures-Representation，compression and Standards」(Plenum Publishing出版，1995)中所述。
運動估計器模塊210也生成一個反映圖象幀中的運動間斷點的運動中斷圖。一般來說，運動間斷點位於象素之間，因此每個象素有4個與之相關聯的中斷標籤611、612、613、614，每個對應頂邊、底邊、右邊和左邊，如圖3中所示。每個中斷標籤位於兩個相鄰的象素之間。例如，象素600的右中斷標籤612就是象素600相鄰的象素602的左中斷標籤612。
圖象中的運動間斷點是用適當技術確定的，例如在M.Bober和J.Kittler的論文「Robost Motion Analysis」(CVPR出版，1994，947-952頁)中所描述的技術。簡而言之，用統計分析來估計某塊相對於前面的幀中最接近匹配的塊的殘留誤差的擴展(spread of residualerrors)。將殘留誤差在可接受範圍外的象素按屬於與塊的其餘部分中的區域不同的運動區域來對待。不同運動區域之間的邊界就是運動間斷點。
由運動估計器模塊210導出的運動向量域和運動中斷圖被輸入到熵減少模塊220。熵減少模塊220處理在運動估計器模塊210中估計的運動向量域，處理時為保留運動邊界而將運動中斷標籤考慮在內，以產生一個熵約束的運動向量域。該過程所根據的象素循環技術，在下文作更詳細討論。
現在將結合圖3為單一的象素描述對圖象中的單一象素的處理。考察中心象素600和它的四個相鄰象素頂、左、右和底601、602、603、604。此外，還考察中心象素600的四個運動中斷標籤611、612、613、614。每個象素都有一個與之相關聯的運動向量，即象素600有運動向量V600，等等。在處理之後，為中心象素計算出一個新的運動向量V600值。
本實施例中的處理的根據，是對中心象素600的運動向量和沒有被活動的中斷標籤從中心象素分開的那些相鄰象素610、602、603、604的運動向量計算一個加權平均。更具體來說，V600x(i+1)＝[(k*V600x(i))+V601x(i)+V602x(i)+V603x(i)+V600x(i)]/(k+4)，且V600y(i+1)＝[(k*V600y(i))+V601y(i)+V602y(i)+V603y(i)+V600y(i)]/(k+4)，其中V60nx和V60ny是在第i次循環中分配給象素60n的運動向量分量，k是一個大於或等於0的常數。
如果有一個或多個相鄰象素被活動的中斷標籤從中心象素分開，就在計算中將其忽略，同時相應地調整分母。例如，假設運動中斷標籤611是活動的，則計算V600x(i+1)的公式為V600x(i+1)＝[(k*V600x(i))+V602x(i)+V603x(i)+V600x(i)]/(k+3)在一個替代的實施例中，處理再次是根據一個平均，但是將預測誤差也考慮在內。更具體來說，V600x(i+1)＝[(V601x(i)+V602x(i)+V603x(i)+V604x(i))/4]-PE/(m+Δ2I)*ΔxI)V600y(i+1)＝[(V601y(i)+V602y(i)+V603y(i)+V604y(i))/4]-PE/((m+Δ2I)*ΔyI)這裡，PE是預測誤差，即象素600與在用在循環i中計算的運動向量(即V600(i)，其中V600(i)＝(V600x(i)，V600y(i)))位移後的基準幀中的該象素之間的光度值的差。ΔxI和ΔyI是象素600的亮度梯度(intensity gradient)的分量。在本實施例中的圖象梯度是根據中心象素和一個相鄰象素的亮度值計算的。特別地，ΔxI＝I602-I600，ΔyI＝I601-I600，其中I60n代表象素60n的亮度值。圖象梯度能以其它方法用相鄰的象素計算。例如，可以把ΔxI和ΔyI計算成ΔxI＝(I602-I604)/2，ΔyI＝(I601-I603)/2。Δ2I＝(ΔxI)2+(ΔyI)2，m是大於或等於0的常數。在本替代性實施例中，m＝100。同樣，如果相鄰象素之一被一個活動的運動邊界分開，就在計算中將其忽略。中央，假設運動中斷標籤611是活動的，則V600x(i+1)＝[(V602x(i)+V603x(i)+V604x(i))/3]-PE/((m+Δ2I)*ΔxI)在上述的每個替代性處理方法中，對圖象中的所有象素進行處理，進行許多次循環或回合。象素在一個回合中被處理的順序，對結果的影響不大。在這些實施例中，進行5-10個循環，儘管在其它實施例中最優的循環次數依賴於所使用的運動估計器的類型。
作為上述處理的結果，獲得了運動向量域的一個平滑的、熵約束的版本，同時保留了運動間斷點。由於將運動中斷標籤考慮在內，以及上述的第二個處理方法中的預測誤差，平滑只在不減少運動補償預測的效率的區域中進行。在圖2中顯示了一例如熵減少模塊200所輸出的具有運動間斷點的運動向量域的表示，如225所示的哪樣，其中的圓圈代表象素，箭頭代表運動向量，象素之間的線代表運動間斷點。
由熵減少模塊220產生的具有運動間斷點的熵約束的運動向量域被輸入到多解析度運動向量域量化(MMVFQ)和間斷點編碼模塊230。
圖4更詳細地表示MMVFQ和間斷點編碼模塊。
參看圖4，從熵減少模塊220獲得的運動向量域被輸入到運動域金字塔模塊310，後者產生一個n+1個運動域的集合，它們是原始運動向量域按立體解析度(spatial resolution)的下降順序的各版本。這n+1個運動域有圖象解析度s0至sn，其中，按原始圖象解析度的運動域具有解析度sn，最疏粗的解析度的運動域有解析度s0。解析度sm的運動域是通過對解析度s(m+1)的更高解析度運動的低通濾波和二次抽樣獲得的。這個過程從原始運動域開始被執行n次，以產生n+1個域，稱作運動向量域金字塔。
按照這個實施例，二次抽樣因數k是2，低通濾波過程計算一個2×2塊內的vx和vy值的平均值。然後用平均值vx_aver和vy_aver來代表該塊按更疏粗解析度的運動。然而，可以採用各種二次抽樣因數k(K＞1)和各種低通濾波器。
然後處理該運動域金字塔。在解析度s0下的運動域被向量量化(VQ)編碼器330a用碼簿c0編碼。VQ編碼器330a的輸出到達用於熵編碼的模塊380a，以形成在最疏粗解析度s0下的運動域的一個表示，併到達VQ解碼器360a。VQ解碼器360a用碼簿c0來重構該疏粗運動域，然後將其傳送到上採樣(up-sampling)模塊340a，在此，運動域的解析度被增加到k倍。差模塊350a計算在解析度s1下的運動域與從解析度s0的域獲得的上採樣的重構運動域之間的差。將如此獲得的在解析度s1下的殘留誤差運動域從差塊350a輸出，待由編碼器330b用碼簿c1作處理。按增加的解析度循環地重複上述步驟，直到在上至原始解析度的所有解析度下的運動域都已經被處理，獲得原始運動向量域的n+1個分量表示。
在編碼模塊330a-330n中對每個運動向量域進行上述的向量量化。該向量量化類似於由L.Cieplinski和M.Bober在「Scalable imagecoding using Gaussian pyramid vector quantization withresolution-independent block size」中描述的向量量化(IEEE聲學、語音和信號處理國際會議論文集第4卷2949-2952頁)，其中的向量量化是關於靜態圖象的亮度值作描述的。該論文的內容在此引用作為參考。
在每個解析度下對其應用向量量化的向量可以以下列方式之一形成1)通過獨立地按速度分量域Vx和Vy從非重疊區域中組合o(o＞1)個分量速度。這些區域應當具有相同的形狀並且應當合起來覆蓋整個速度域。對於每個區域，形成兩個0維向量VQx＝(vx1，…vxi，…vxo)、VQy＝(vy1，…vyi，…vyo)，其中vxi和vyi是該塊內的象素i的x和y速度分量。
2)通過在如上所述形成向量之前對向量域V進行變換。變換的目的是為了使分量域在統計意義上獨立，或者為了減少它們的關聯，以提高編碼性能。例如，可以將位於圖象內每個象素位置的每個向量v＝(vx，vy)變換成對數極(log-polar)表示vp＝(vpr，vpa)，其中分量vpa、vpr被定義為vpr＝square root(vx*vx+vy*vy)vpa＝arc tangent(vy/vx)，如果vx≠0。
∏/2，如果vx＝0且vy＞0-∏/2，如果vx＝0且vy＜0。
對於每個區域，將形成兩個0維向量VQr＝(vpr1，…vprj，…vpro)、VQa＝(vpa1，…vpaj，…vpao)，其中vprj和vpaj是從上述的變換中獲得的。
3)可以將如2)中所定義的分量向量VQx、Vqa組合在一起，形成向量VQ＝(VQx，VQy)或VQ＝(VQr，VQa)，VQ可以被量化。自然，以這種方式形成的VQ向量的維數是2o。
在這個實施例中，上述方法2)被用於2×2象素的矩形塊，這樣就對4維向量進行VQ。
通過使用有來自多於1個象素或塊中的運動向量的分量，VQ就能利用相鄰象素或塊之間的速度分量之間的關聯。
例如，在上述方法1)中，來自相鄰象素的VQx的分量可能是相似的，除非例如出現運動中斷。類似地，VQy的分量也可能是類似的。這個特點可被用來為向量量化確定碼簿，導致更高的效率。
將從熵編碼器380a-380n輸出的分量表示370…37n組合成一個內置表示260，例如如圖5中所示的那樣，該圖顯示了在由分離器(separator)分開的不同解析度下的分量表示。
圖6中顯示的解碼器500，用於解譯運動域的內置表示，以重構不同解析度下的運動域和原始運動向量域。重構從最粗疏解析度的表示開始。它被熵解碼器510a解譯後，傳送到VQ解碼器515a，在那裡被用碼簿c0解譯，以獲得在解析度s0下的重構的運動域。該在解析度s0下的重構的運動域然後被上採樣模塊525a以與在編碼器中相同的方式上採樣，以獲得該域在解析度s1下的一個近似值。然後以類似的方式重構該運動域在解析度s1下的殘留誤差。在加法模塊中將解析度s1的殘留誤差和從解析度s0下的域上採樣的域相加，生成在解析度s1下的一個重構的運動域。在每個更精細的解析度下重複該過程，直到獲得原始解析度的運動域。然而，需要的話可以在達到原始解析度之前的任何解析度下停止該過程。
圖7表示用於按照本發明的實施例編碼和解譯視頻圖象數據的混合DCT/MC編解碼器。
編碼器側包含一個用於對輸入圖象數據進行分立的餘弦變換的DCT模塊710。DCT模塊710連接到一個自適應量化器720，後者用於對從DCT模塊輸出的DCT係數進行自適應量化。量化器720由速率控制器730開支。量化器720的輸出連接到一個可變長編碼器740和一個逆量化器750。逆量化器的輸出連接到逆DCT模塊760，後者用於重構原始幀的一個版本。DCT模塊760的輸出連接到多個幀儲存器770。幀儲存器770的輸出連接到多解析度運動向量域(MMVF)編碼器780，用於導出和編碼一個運動向量域。MMVF編碼器780連接到一個高級運動補償模塊790，用於以已知方式進行運動補償。MMVF編碼器780也向可變長編碼器740輸出代表編碼的運動向量域的數據，而可變長編碼器740的輸出則連接到緩衝器800。緩衝器800被用來調整速率控制器730，所存儲的數據被輸出，供傳輸或在記錄媒體上記錄。
在解碼器中設置有對應的部件，包括緩衝器810、可變長解碼器820、逆量化器830、逆DCT模塊840、高級運動補償模塊850幀儲存器860和MMVF解碼器870。
編碼器和解碼器基本上以已知的方式操作，對視頻圖象數據編碼，不過，運動向量域的編碼和解譯使用MMVF編碼器780和解碼器870。MMVF編碼器780和解碼器870基本上是按如上所述的方式操作的。然而，這裡的可變長編碼器740和解碼器820代替如上所述的熵編碼器380a-380n和解碼器515a-515n進行熵編碼和解碼。對不同解析度下的圖象數據採用不同的查找表，就有可能用一個可變長編碼器940和代替n個熵編碼器380a-380n，對解碼器820來說也一樣。
如上所述的(基於每個象素的平均位數的)效率可能類似於或好於已知方法。儘管向每個象素分配一個運動向量增加了運動信息的量，這個量卻在隨後的處理中-即在熵減少處理和向量量化中-降低。每個象素的平均位數當然將取決於正在編碼的數據的性質。
在上述的本發明的實施例中，運動中斷圖被導出並用於隨後的處理，但是並不是非要把運動間斷點考慮在內。如果不像所述的實施例中的那樣為每個象素導出一個運動向量，本發明也適用於可以將一個運動向量分配給一組象素(例如2×2或4×4象素塊)的方法。不過，重要的特點是生成的運動向量域是稠密的。
本發明特別適用於在下列條件適用時處理圖象序列的應用i)信道帶寬有限，ii)數據損害的風險高，或iii)用戶會因獲得運動向量的低解析度版本收益。
可以將按照本發明導出和表示的運動信息存儲在資料庫中，用於檢索和瀏覽之用。例如，查找特定運動類型的序列的人可以首先從(存儲按本發明獲得的運動向量信息的)資料庫獲得粗疏的運動信息，然後檢索原始解析度下的一個選定序列。
權利要求
1.表示數位化圖象序列中的運動的方法，包含導出圖象的稠密運動向量域和對運動向量域進行向量量化。
2.權利要求1中所述的方法，其中，為小於8×8象素塊的象素塊導出行動向量。
3.權利要求1中所述的方法，其中，為每個象素導出運動向量。
4.權利要求1至3的任何一項中所述的方法，其中，向量量化是對運動向量的分量單獨地進行的。
5.權利要求1至4的任何一項中所述的方法，包含在向量量化後進行可變長編碼。
6.權利要求1至5的任何一項中所述的方法，包含確定在圖象中哪裡出現運動間斷點。
7.權利要求1至6的任何一項中所述的方法，包含處理運動向量域，以在向量量化之前減少向量域的熵。
8.從屬於權利要求6的權利要求7中所述的方法，其中，運動間斷點被用於熵減少處理中。
9.權利要求7或權利要求8中所述的方法，其中，熵減少是通過計算相鄰運動向量的平均值而進行的。
10.從屬於權利要求8的權利要求9中所述的方法，其中，被運動間斷點分離的運動向量不在計算平均值中使用。
11.權利要求1至10的任何一項中所述的方法，包含生成和編碼一個運動向量域在不同解析度時的多個版本。
12.權利要求11中所述的方法，包含二次抽樣運動向量域，以產生二次抽樣的疏粗的第一解析度的域的版本和精細的第二解析度的域的版本；編碼疏粗解析度運動向量域，比較疏粗解析度域與精細解析度域，以產生一個殘留誤差；編碼精細解析度時的殘留誤差。
13.前面任何一項權利要求中所述的方法，其中，向量量化是對有來自至少兩個運動向量的分量的向量進行的。
14.權利要求13中所述的方法，其中，向量量化是對有對應於n個相鄰象素或塊的運動向量的x個速度分量的分量和/或對應於m個相鄰象素或塊的運動向量的y個速度分量的分量的向量進行的，其中n和m大於或等於2。
15.前面任何一項權利要求中所述的方法，其中，向量量化是對有多於兩個分量的向量進行的。
16.處理與數位化圖象序列中的圖象有關的數據的方法，包含導出該圖象的運動向量並通過一個用根據相鄰運動向量的平均導出的新運動向量替換一個給定的運動向量而平滑運動向量域，該方法進一步包含確定在圖象中哪裡出現運動間斷點，並在計算平均值時忽略一個或幾個運動向量-如果它們被一個運動間斷點與該給定運動向量分開的話。
17.權利要求16中所述的方法，其中，新運動向量是用一個預測誤差導出的。
18.處理與數位化圖象序列中的圖象有關的數據的方法，包含導出圖象的運動向量並通過一個用根據相鄰運動向量的平均和一個預測誤差導出的新運動向量替換一個給定的運動向量而平滑運動向量域。
19.權利要求18中所述的方法，包含確定在圖象中哪裡出現運動間斷點，並在計算平均值時忽略一個或幾個運動向量-如果它們被一個運動間斷點與給定運動向量分開的話。
20.權利要求16至20的任何一項中所述的方法，其中，為每個象素導出一個運動向量。
21.權利要求16至20的任何一項中所述的方法，其中，計算平均值把給定的運動向量考慮在內。
22.權利要求21中所述的方法，採用加權平均。
23.處理與數位化圖象序列中的圖象有關的數據的方法，包含導出圖象的運動向量，確定在圖象中哪裡出現運動間斷點，並通過把在圖象中哪裡出現運動間斷點考慮在內組合相鄰的運動向量而平滑運動向量域。
24.處理圖象的方法，包含導出代表運動向量域中運動邊界的運動間斷點和根據每個邊界內其它運動向量調整該邊界內的運動向量。
25權利要求23或權利要求24中所述的方法，包含導出一個稠密運動向量域。
26.權利要求25中所述的方法，其中，為每個象素導出一個運動向量。
27.表示數位化圖象序列中的運動的方法，包含生成和編碼一個運動向量域在不同解析度時的多個版本。
28.權利要求27中所述的方法，包含二次抽樣運動向量域，以產生二次抽樣的疏粗的第一解析度的域的版本和精細的第二解析度的域的版本；編碼疏粗解析度運動向量域，比較疏粗解析度域與精細解析度域，以產生一個殘留誤差；編碼精細解析度時的殘留誤差。
29.權利要求28中的方法，包含產生和編碼解析度增加的殘留誤差序列。
30.權利要求27至29的任何一項中的方法，包含將不同解析度的編碼的運動向量域版本多路轉換到內置位流中。
31.權利要求27至30的任何一項中的方法，其中，所述編碼是用向量量化進行的。
32.前面任何一項權利要求中的方法，其中，向量量化是對有來自至少兩個運動向量的分量的向量進行的。
33.權利要求32中所述的方法，其中，向量量化是對有對應於n個相鄰象素或塊的運動向量的x個速度分量的分量和/或對應於m個相鄰象素或塊的運動向量的y個速度分量的分量的向量進行的，其中n和m大於或等於2。
34.前面任何一項權利要求中所述的方法，其中，向量量化是對有多於兩個分量的向量進行的。
35.權利要求27至34任何一項中所述的方法，其中，至少一個解析度對應於一個稠密運動向量域。
36.用於按照如權利要求1至35的任何一項中所述的方法編碼數位化圖象序列中的運動信息的編碼器。
37.用於解譯按照如權利要求1至35的任何一項中所述的方法編碼的數位化圖象序列中的運動信息的解碼器。
38.用於編碼數位化圖象序列中的運動信息的編碼器，包含用於導出圖象的稠密運動向量域的運動估計器和用於編碼運動向量域的向量量化器。
39.權利要求38中所述的編碼器，其中，其中，向量量化是對有來自至少兩個運動向量的分量的向量進行的。
40.權利要求39中所述的編碼器，其中，向量量化是對有對應於n個相鄰象素或塊的運動向量的x個速度分量的分量和/或對應於m個相鄰象素或塊的運動向量的y個速度分量的分量的向量進行的，其中n和m大於或等於2。
41.權利要求38至40的任何一項中所述的編碼器，其中，向量量化是對有多於兩個分量的向量進行的。
42.表示數位化圖象序列中的運動的裝置，包含用於生成和編碼一個運動向量域在不同解析度時的多個版本的裝置。
43.權利要求42中所述的裝置，包含用於二次抽樣運動向量域，以產生二次抽樣的疏粗的第一解析度的域的版本和精細的第二解析度的域的版本的裝置；用於編碼疏粗解析度運動向量域，比較疏粗解析度域與精細解析度域，以產生一個殘留誤差的裝置；用於編碼疏粗運動向量域和精細解析度下的殘留誤差的裝置。
44.權利要求43中的裝置，包含用於產生和編碼解析度增加的殘留誤差序列的裝置。
45.權利要求42至44任何一項中所述的裝置，其中，至少一個解析度對應於一個稠密運動向量域。
46.用於解譯用如權利要求42至45的任何一項中所述的裝置編碼的的信息的解碼器，該解碼器包含用於恢復具有預定解析度的運動向量域的版本的裝置。
47.混合的DCT-MC編解碼器，包含按照權利要求36、38至45的任何一項的編碼器和按照權利要求37或權利要求38的解碼器。
48.實質上如以上所述的以及如附圖中所示的編碼器。
49.編碼實質上如參考附圖所述的編碼運動信息的方法。
全文摘要
一種用於表示數位化圖象序列的方法和裝置導出一個稠密運動向量域並向量量化該運動向量域。
文檔編號H04N7/32GK1343424SQ00805008
公開日2002年4月3日 申請日期2000年3月16日 優先權日1999年3月16日
發明者M·波貝 申請人:三菱電機信息技術中心歐洲有限公司