動畫圖像系列中運動估算的方法和裝置的製作方法

2023-05-06 11:45:31 1

專利名稱：動畫圖像系列中運動估算的方法和裝置的製作方法
技術領域：
本發明涉及動畫圖像中運動估算的一種方法和裝置。
它特別適用於數位電視系統的實現和減少在此類系統中傳送的信息量。
為了估算使一個圖像系列活動起來的那些點的運動或位移，已知的方法是，或者建立起圖像特徵線條之間的對應關係，或者利用具有代表性的一些點的空間梯度和時間梯度，應用一種差分估算方法。可是在這後一情形中，所用梯度算法的初始化是難以把握的。例如，按照一種第一類方法，已經知道是通過保證某些特徵點(角點、輪廓……)的時間連續性，來估算它們的運動和初始化一個梯度算法的，然而在此情形中，必須在實現這種連續性之前解決角點的提取問題和建立角點間對應關係的問題。這是很費事的，並且所給出結果還十分不完善。
同樣已經知道，按照一種第二類方法，它使得圖像間的亮度局部變化，或者電視場(trame)間的亮度局部變化的方差為最小，並且通過對一個點(它位於當前點同一行上，並且在當前點的前面)的運動估算來進行梯度算法的初始化。在此情形中，算法的收斂性在很大程度上取決於所用初始化方法的情況，並且它通常是在僅僅考慮這樣一些參數的情況下進行的，這些參數是在當前的最接近原空間鄰域(voisinagespatialcausal)內定義的。這樣，對於每一個圖像對，運動場是獨立地計算的，而沒有考慮到從一幅圖像到另一幅圖像這些運動場(champ)必然是相關的這個事實。
本發明的目的是彌補上述不足之處。
為此，本發明的目的是提供在一個電視類型動畫圖像系列中的一種運動估算方法，在這種圖像系列中，每幅圖像都是由一定數量的，分布在一些行和列的交叉處的發光點所組成的。其中的模型是，運動的估算由執行梯度算法來獲得，該算法使得圖像的當前點相對於前一幅圖像中的對應點的亮度的局部變化有最小方差;算法的初始化從由當前點的接近原領域內的多個方向所估算出的位移矢量起始來進行;以及各個估算是沿圖像的行掃描方向來傳播的;其特點是，它同樣包括利用時間預測(preditiontemporelle)矢量來初始化算法的執行，對於一個圖像電視場中的每一個當前點，該時間預測矢量是由前一電視場中一個點(該點沿著其位移矢量方向在當前電視場上的投影點最接近於當前點)的位移矢量來定義的。
本發明的另一個目的是提供一種用來實施上述方法的裝置。
根據本發明的方法和裝置的主要優點是，由於利用了一個增添的時間初始化矢量，它們可以提高梯度算法的收斂速度。由於位移場中存在連續性這一事實，所得到的位移估算有可能進行較好的時間插值。錯誤估算(它會引起使眼睛很不舒適的圖像跳動)的危險性也被發現是有限的。本發明的其它特點和優點在下面的描述中體現出來，這種描述是通過對應的附圖來進行的。


圖1a和1b是兩個簡圖，用來說明利用本發明來實施運動估算的兩種類型。
圖2是一個流程圖，用來說明利用本發明實施位移估算的第一種類型。
圖3表示一個估算區和一個搜索區。
圖4a，4b，4c是三個示意圖，分別用來說明在一個電視場中位移估算的傳播方向以及奇數行和偶數行初始值的確定。
圖5是一個示意圖，用來說明本發明第一類位移估算中所使用的當前點梯度計算模式。
圖6是一個示意圖，表示在當前圖像的前面一個圖像中的位移。
圖7表示一個搜索區。
圖8是一個流程圖，用來說明在本發明第一類位移估算中實施的決策算法。
圖9是一個透視示意圖，用來說明根據本發明的方法對於第二類位移估算中的電視場之間的作用模式的一個應用。
圖10是一個流程圖，用來說明用本發明來實施第二類位移估算。
圖11是一個示意圖，用來說明本發明第二類位移估算中實施電視場之間位移差和亮度梯度的計算。
圖12表示電視場Ta中一個當前點(1X，1Y，Tj)的位移矢量端點的所在區域，這對應於第二類位移估算。
圖13a至13f是一些簡圖，用來說明相繼電視場Ta和Tb之間的不同位移類型;關於屬於兩種估算類型的，Tb和Tc之間的運動預測場的定義模式，以及在時間投影期間預測場中出現空洞和衝突的情況。
圖14是一個透視示意圖，表示插入在相繼電視場Ta，Tb，Tc之間的虛設電視場組，用來說明在本發明第二類位移估算中實施時間預測的方法。
圖15a和15b是兩個示意圖，用來說明根據本發明的方法能夠利用掃描來處理空洞的情況。
圖16是三個相繼電視場Ta，Tb和Tc的透視示意圖，用來說明本發明第一類位移估算中時間預測方法的實施。
圖17是一個流程圖，用來說明本發明時間預測執行過程的各個步驟。
圖18是對圖10所示流程圖提出的修改，以便實現時間預測中的運動估算。
圖19是一個透視示意圖，表示插入在兩個電視場內的一個對應於本發明第二類位移估算的虛設電視場的位移窗口的設定。
圖20是對圖2所示流程圖提出的修改，以便實現對應於第一類位移估算的時間預測中的運動估算。
圖21是對圖8所示流程圖提出的修改，以便實現時間預測中的運動估算。
圖22至27表示實施根據本發明的方法的各種裝置的實現模式。
圖28是一個以流程圖形式表示的，新位移計算方法的變體;
圖29是一個示意圖，用來說明計算當前電視場中位移矢量端點的梯度的一個變形。
圖30至34是一些示意圖，用來說明處理在時間投影中產生的空洞的兩個可能的變形，如前所述;
圖35是一個投影運動場的濾波裝置，位在當前圖像的運動估算之前。
下面將敘述的根據本發明的方法，是基於下述文章中所描述的那種位移估算方法的。該文章發表於「BELLSYSTEMTECHNOLOGIE」，58卷，631至670頁，1979年3月，第一部分。其標題為「Motioncompensatedtelevisioncoding」(「運動補償電視編碼」)，作者為A.N.NETRAVALI和JD.ROBBINS。已經開發的梯度算法已能夠對一個電視圖像的每一個當前點的亮度的局部變化(指當前點與前一圖像中與之對應的點之間的亮度局部變化)給出最小方差。
計算法的表達式由下述關係式來定義-Di(z，t)＝Di-1-ε·DFD(z，Di-1)·gradl(z-Di-1，t-T) (1)-其中z(x，y)表示當前點P(z，t)的空間坐標，它是該點在圖像平面(x，y)中位置的函數。
-1(z，t)是當前點P(z，t)在時刻t的亮度。
-Di(z，t)是在第i次迭代中對於點P(z，t)的估算位移，DFD(z，D)表示位移圖像之間的差值(位移圖像間差，La difference interimage deplacee)，它滿足下述關係式DFD(z，D)＝1(z，t)-1(z-D，t-T)(2)-T表示圖像周期，或者電視場的周期。
-grad 1(z，t)表示當前點P(z，t)的梯度矢量。以及ε表示算法增益。
為了改善算法的收斂速度和精度，ε由下述關係式定義
ε＝ 1/2 ·|grad1(z-Di-1，t-1)|2(3)其中，｜grad 1(z-Di-1，t-1)|2＝grad2x 1(z-Di-1，t-1)+grad2y 1(z-Di-1，t-1) (4)以及條件當ε＝0時，｜grad 1(z-Di-1，t-1)｜2＝0 (5)關係式(3)表明，梯度越大，則對於前一迭代的估算位移的修正項就越減少。為了估算運動，根據本發明的方法利用在一系列圖像中的兩個電視場的圖像Ta和Tb的場間差值;所考慮的時間單位是圖像周期，於是電視場Ta和Tb由它們的拍攝時刻來確定。
按照實現本發明的第一個變體，兩個電視場Ta和Tb之間的運動估算是從Ta和Tb上的一些點，對於Ta和Tb之一的各個像素開始的，如圖1a所示(圖中是從Tb的像素開始的)。因此所得到的運動場是屬於電視場Ta和Tb(圖1a中為Tb)的。根據運動是在電視場Ta中估算的還是在Tb中估算的，水平和垂直亮度分量為1X和1Y的各個像素的位移矢量De分別由如下關係式定義De＝(1X，1Y，Ta)＝DX，DY或De＝(1X，1Y，Tb)＝DX，DY例如，在考慮各個當前點P(z，Tb)均位在電視場Tb上的情形時，電視場Tb中的當前點的每個位移矢量De(z，Tb)都有一個旋轉端點落在電視場Tb的一個像素上，並且有一個自由的起始端點位在電視場Ta中。在本文中，如果必須插入那些位在電視場Tj上的點的運動(電視場Tj在時間上位於電視場Ta和Tb之間)，則位移矢量場De(z，Tb)是與電視場Tj上的像素相連繫的，並且插值計算能夠從定義D(z，Tj)來得知De(z，Tb)。
按照實現本發明的第二個變體，運動估算直接在電視場Ta和Tb之間對虛設的中間電視場Tj的亮度分量為(1X，1Y)的各個點來進行。在獲得了電視場Tj中坐標為(1X，1Y，Tj)的各個像素的位移矢量D之後，便可以用插值方法提供對電視場Tj中的每個點(1X，1Y，Tj)的重建值，而不需要與電視場Tj的運動有關的補充步驟。不過，如果在電視場Ta和Tb之間插入許多個電視場Tj，那麼這個過程將很快變得十分費時，因為對於每一個電視Tj，都需要在電視場Ta和Tb之間做一個運動估算，那時可能寧願選擇前述的第一類估算。按照實現本發明的第二個變體，電視場Tj中每個像素P(z，Tj)的位移矢量D(z，Tj)於是將繞其像素旋轉，並且它的兩個端點分別落在電視場Ta和Tb上。圖1b畫出了該變體的示意圖。
這種情況使得由一個含有適當的電視場運動插值器的運動估算器所獲得的運動場得到充分的利用。
需要注意，對於這兩種變體，電視場Ta，Tb和Tj(後者只存在於第二到變體中)的奇偶性可能都是偶的或都是奇的;偶數電視場與奇數電視場僅僅是在垂直方向上錯開半行(在時間上錯開半個圖像周期)偶數電視場的第L行與奇數電視場的第L行及第L+1行等距離。當用一個適當的尋址器來建立兩個電視場的對應關係時，這些是應該予以考慮的。
對應於實現第一個變體的方法步驟表示上圖2之中。按照圖2中標有1的第一個步驟，每個當前電視場1MS(t)(Tb)是通過掃描每一行來逐點進行分析的。圖像平面中坐標為z＝(x，y)的各個當前點的亮度梯度在步驟2中計算，在步驟3中上述亮度梯度值與由參考值確定的一個閾值Sg進行比較。如果在步驟3中發現梯度值小於閾值Sg，則本方法執行步驟4，它在當前點P(z，t)的原領域中選擇一個位移。反之，如果在步驟3中發現梯度值大於閾值Sg，則本方法執行步驟5所指出的處理，即從當前點的原領域中的4個位移初始值出發，估算4個新的位移。在步驟5執行終了時，本方法過渡到執行步驟6，即從由步驟5估算出來的4個位移中選出一個位移。本方法就是這樣地通過相繼的迭代而進行下去，每次執行完步驟4或步驟6之後，都在步驟7中引起對下一個點的初始化，這些位移都在步驟8中被記錄下來。
在圖像上，所估算的位移被限制在一個矩形框內的行和列上，該矩形相對於當前點的坐標值為±DXmax和±DYmax。當前圖像Tb中的運動估算以圖3所示的方式被沿圖像水平方向X和沿垂直方向Y的最大位移量DXMAX和DYMAX的值所限制。位移點的搜索在整個前一幅圖像(Ta)中進行。
如果位移矢量是對Tb(包括邊界)的所有像素來估算的，則可以增添一個檢驗來證實矢量的動端確實落在時刻Ta的電視場上。如果情況不是這樣，那麼很容易對這個矢量進行修正，使得當前像素有一個新的矢量，它最靠近原來的矢量並且其動端位在Ta上，以便能夠估算函數DFD和gradL。
除去位在前面定義的窗口之外的那些點，Tb上每一個點都具有一個位在Ta上的矢量端點的搜索局部窗口，其中心位在當前點處，其水平尺寸和垂直尺寸分別為2DXmax和2DYmax。
從當前點的最接近原領域中估算出來的位移用於運動估算算法的初始化。這個領域包含4個位移，它們被並行地用來初始化4個運動估算。
本方法中的傳播估算是通過電視圖像的普通掃描來進行的。然而，為了避免圖像中的某個傳播方向(例如自左至右方向)出現優勢，掃描方向交替地在每兩行中有一行是反方向的。圖4a表示交替在偶數行上和奇數行上掃描的情形，圖4b和4c分別表示奇數行和偶數行的初始值DoA，DoB，DoC和DoD。
根據圖5所示，當前圖像中的梯度計算是對當前點P(z，t)沿著當前行掃描來進行的。因為計算是服從因果關係的，它將隨掃描的方向不同而不同。對於奇數行，梯度滿足關係式gradx＝1(k，L)-1(k-1，L);
grady＝1(k，L)-1(k，L-1)(8)對於偶數行，梯度滿足關係式gradx＝1(k+1，L)-1(k，L);
grady＝1(k，L)-1(k，L-1)(9)並且有｜grad1(z，t)｜＝(grad2x+grad2y)1/2(10)因為所採用的基本算法是梯度計算，在弱梯度區域中不進行迭代(新的位移估算)。閾值Sg是對當前梯度模值所使用的閾值。
為了進行插值和計算前一幅圖像中的梯度，每個位移D＝(Dx，Dy)都按下述關係式分解成為它的兩個分量Dx和Dy;
Dx＝1Dx+FDx和Dy＝1Dy+FDy，其中1D和FD分別表示位移的整數部分和小數部分。
位移在X方向的單位由位在同一行上的兩個點的間隔組成，位移在Y方向的單位由同一個電視場中兩個行的間隔組成。至於梯度，它們按照下列文章所描述的已知方法來計算的。該文章發表於IEEETrans.onCom.，vol.com.32，No8，1984年8月，文章的標題是「MovementcompensatedintertramepredictionforNTSCcolerTVsignals」(「對於NTSC制彩色電視信號的運動補償場間預測」)，作者是S.SABRI。這種計算的圖形表示在圖6中畫出，它畫出了前一幅圖像IMS(t-1)中的位移。
在前一幅圖像中位移了的當前點的亮度1B由對一些鄰近點的亮度1n作雙線性插值獲得，使用圖6中的符號，它由下述關係式表達1B＝15·(1-FDx)·(1-FDy)+16·FDx(1-FDy)+12·(1-FDx)·FDy+11·FDx·FDy(11)水平梯度為1x＝(15-16+12-11)/2(12)垂直梯度為
1y＝(15-12+16-11)/2(13)如果FDx＝0，則1x＝(14-16+13-11)/4(14)1y＝(15-12)(15)如果FDy＝0，則1x＝(15-16)(16)1y＝(17-11+18-12)/4(17)如果FDx＝0，且FDy＝0，則1x＝(14-16+13-11)/4(18)1y＝(17-11+18-12)/4(19)為了限制修正項發散或消失的危險，它們要被增大和減小。我們有Dix＝Dxi-1-(修正項)x(20)Diy＝Dyi-1-(修正項)y(21)(修正項)x＝DFD(z，Di-1)·gradx 1(z-Di-1，t-1)(22)(修正項)y＝DFD(z，Di-1)·grady 1(z-Di-1，t-1)(23)通過以最大精度0.25計算出前一個圖像中的梯度，根據關係式(3)我們得到εmax＝8(24)一般地說，FDx和FDy不為零，梯度的最大精度為0.5。於是我們得到εmax＝2根據實現本發明的一種可能模式，用位移單位表示的修正項的限制檢驗或許可以按如下方式來確定1.如果｜(修正項)｜＜1/16，則(修正項)將取為±1/16。
2.如果｜(修正項)x｜＞3，則(修正項)將取為±3。
3.如果｜(修正項)y｜＞2，則(修正項)將取為±2。
在這個實現模式中，作為例子，我們同樣可以取Dxmax＝±15作為x方向的最大位移，取Dymax＝±5作為y方向的最大位移。
如果所估算的位移超出了這些值中的某一個值，便把它們重置為零。
在這種情況下，在電視場IMS(t-1)中，對一個當前點P(z，t)的搜索區被確定在一個尺寸為3.0×10的矩形之中，如圖7所示。
4個位移估算是從4個初始值DoA，DoB，DoC和DoD出發而同時進行的。如果在進行了i次迭代(0≤i≤imax，即i大於或等於零並且i小於或等於最大迭代次數imax，i＝0代表初始值)之後，4個位移值DiA，DiB，DiC和DiD之中至少有一個值能給出絕對值小於閾值S(預先確定的)的位移圖像間差DFD(z，Di)，則一個點被認為是收斂的。如果沒有任何位移值能給出小於或等於S的｜DFD｜值，則那個點被認為是發散的，然而即使如此，還是把DAimax，DBimax，DCimax和DDimax中能給出最小DFD絕對值的那一個作為這個點的位移。
如果當前圖像的梯度是小的，則位移的選擇在當前點P(z，t)的原領域中進行，而不做任何迭代(i＝0)。這時，決策的準則是在值DoA，DoB，DoC和DoD中選出能給出有最小絕對值的圖像間位移差DFD(z，Do)的那一個位移。對於出現有相同絕對值的情形，選擇按DoA，DoB，DoC和DoD這個次序來進行(圖8中的步驟9至15)。然而，如果所選擇的位移量給出的圖像間位移差不小於或等於閾值S(步驟16)(發散檢驗閾值)，則位移取零值(步驟17)。
如果在每次迭代(從零到imax)中當前圖像的梯度都被提高，我們將得到4個｜DFD(Di)｜值，用來與閾值S比較。
被保留的位移是第一個能給出小於或等於閾值S的｜DFD｜的那個位移。如果在同一次迭代中得到了多個位移，則選擇能給出最小位移圖像差｜DFD｜的那一個。萬一給出的｜DFD｜又是相等的，則按次序DiA，DiB，DiC，DiD來作出任意的選擇。
這樣，在每一次迭代i(0≤i≤imax)中，一個位移Di，一個位移圖像間差DFD和一個迭代次數i被聯繫起來了。
於是，決策的採取先是依據迭代次數為最少，然後依據位移圖像間差DFD為最小，再後或許是一個任意的選擇。
按照實現本發明的第二個變體，本方法能夠以屬於一個虛設電視場(它通常位在兩個母電視圖像場之間)的矢量場形式來確定一個圖像系列中兩個電視場(一般它們是相繼的)之間的運動場，該運動場由一個矢量群組成。每個矢量都通過虛設電視場上的一個像素，矢量的兩個端點落在位於虛設電視場兩側的兩個母電視場上。在圖9中，母電視場由它們的拍攝時間Ta和Tb來定義。虛設電視場位在時刻Ta和Tb之間的時刻Tj上，目的是對虛設電視場(它是在時刻Tj考慮的)上的每一個像素都提供一個位移矢量，以及從時刻為Ta和Tb的電視場的亮度場出發來提供每個像素的亮度(原先它們是未知的)。按照實現本發明的另一個模式，同樣還有可能考慮這樣的情形時刻Tj也能位在間隔(Ta，Tb)之外。
這個方法與前述對應於實現本發明的第一個變體的方法相似，與前述方法的不同之處在於，它能對虛設電視場Tj上的像素估算兩個時刻為Ta和Tb的電視場之間的運動。算法以及由它導出的估算裝置的複雜程度有相同的等級。
運動估算從時刻為Ta和Tb的電視場上的像素的亮度L出發來計算。對各個像素所估算的運動以矢量D的形式表示，其兩個分量為水平分量DX和垂直分量DY。
D代表虛設電視場Tj中坐標為(z，Tj)的像素P在Ta和Tb間的位移。z代表虛設電視場Tj中像素的一對坐標水平坐標1·X和垂直坐標TY。在目前情形中，位移矢量D通過點(z，Tj)，並且它的端點位在電視場Ta和Tb上;而在前述情形中，位移矢量D(z，Tb)對應於坐標為(z，Tb)的像素在電視場Ta和Tb之間的位移。這個差別所引起的後果是在基本方程(1)的定義上。該方程變為Di(z，Tj)＝Di-1(z，Tj)-TC(24)其中TC＝(DFD(z，Di-1)·gradL(z，Di-1))/2·(grad L(z，Di-1))2其中z是一個代表當前點P(z，Tj)的空間坐標的矢量，位移矢量D(z，Tj)就是對這個點來估算的，D(z，Tj)是在第i次迭代中對點P(z，Tj)估算的位移矢量，DFD(z，Di-1)代表沿位移Di-1方向的亮度隨時間的差值，它也被稱作「位移場間差」(「differenceinter-tramesdeplacees」)，在Ta和Tb之間按下式計算DFD(z，Di-1)＝L(B，Tb)-L(A，Ta)其中B＝z+((Tb-Tj)/(Tb-Ta)×Di-1A＝z-((Tj-Ta)/(Tb-Ta))×Di-1gradL(z，Di-1)是一個矢量，它代表在位移Di-1方向上亮度L的空間梯度。這個矢量等於Di-1的兩個端點(位在Ta和Tb上)處理是兩個空間梯度之和的一半，它的值由下式定義2gradL(z，Di-1)＝gradL(A，Ta)+gradL(B，Tb)與方程(1)相比，上面的方程(24)沒有多大差別，不過它在函數DFD和gradL的計算上有所差別，它是使運動矢量繞著像素(z，Tj)旋轉的，從而其在時刻為Ta和Tb的電視場上的端點是在變動的，然而在前述情形中，是讓矢量的一個端點繞著像素P(z，Tb)旋轉的，而其另一個端點在電視場Ta上是自由的。其結果是前述估算所具有優點被保留下來了。同樣，在關於基本方程的使用範圍上，在目前的估算中仍有意義的策略也被保留了。
特別重要的是-按照所考察的迭代方法對當前點的運動矢量的估算，它是從4個初始矢量出發進行並行計算的，這4個初始矢量是對位在原鄰域中的當前點的4個鄰近點所估算的位移矢量。
-在本發明範圍中，當前電視場即電視場Tj中的行掃描方向的交替改變，-目的在於從4個估算位移中選擇出一個位移的決策單元。
然而，包含以下兩點的步驟被刪去了，這兩點是將當前點的亮度梯度與一個閾值比較，以及將兩個步驟按此梯度是大於(嚴格地)還是小於這個閾值來加以區分。實際上，由於當前電視場Tj的亮度是未知的，這個區別不再有意義，從而在這種情形下虛設電視場Tj上的所有點都按照4個並行迭代計算，使用同樣的運動矢量估算步驟。
另一方面，估算是在兩個可能具有相同奇偶性或不同奇偶性的電視場Ta和Tb之間，對一個也可能是偶的或奇的電視場Tj來計算的。在計算函數DFD和gradL時，引入了一個用dza或dzb表示的修正矢量。dza與Ta和Tj的相對奇偶性有關，dzb與Tb和Tj的相對奇偶性有關。
函數DFD和gradL變為DFD＝L(B+dzb，Tb)-L(A+dza，Ta)(25)2×gradL(z，Di-1)＝gradL(B+dzb，Tb)-gradL(A+dza，Ta)(26)在所考慮的電視場Tj位在區間(Ta，Tb)之外的情形中，上面列出的差值方程保持不變。在此情形中，矢量D(z，Tj)的支點通過點P(z，Tj，並且它仍然能度量時刻Ta和Tb的電視場之間的相對位移。
為了估算運動，本方法利用存在於兩個時刻為Ta和Tb的電視場之間的場間差，不論這兩個電視場在圖像系列中是不是直接相隨的。在下面的描述中，將假定時刻為Tj的虛設電視場中的每個像素的位移在時刻為Ta和Tb的兩個電視場之間都是直線，並且對時刻為Tj的虛設電視場的目標元素(像素亮度)同樣出現在時刻為Ta和Tb的電視場中。
本方法按多個步驟來開展，這些步驟表示在圖10的流程圖中。根據以18表示的第一個步驟，通過對電視場中所有點的行掃描，對當前電視場中的每一個點都進行分析。本方法執行步驟19所示的處理的目的是，從位在當前點原鄰域中的4個位移初始值出發，估算4個位移值。在完成步驟19後，本方法過渡到步驟20的執行，即從已由步驟19估算出來的4個位移中選出一個位移。每次執行完步驟20之後，又開始對下一個點的初始化(步驟21)。位移是在步驟22中記錄的。本方法就是這樣地通過連續的迭代而進行下去。
在當前點的最接近原鄰域中估算出來的位移被用來初始化運動估算算法。這個原鄰域含有4個位移，它們被用來並行地初始化4個運動估算算法。
與前述情況相同，掃描方向也是交替地在每兩行中有一行是反向的。
為了進行插值和計算前一個電視場中的梯度，每一個位移D＝(DX，DY)都按下述關係式分解為它的兩個分量DX和DYDX＝1DX+FDX以及DY＝1DY+FDY，其中1D和FD分別代表位移的整數部分和小數部分。
位移在X方向的單位由位在同一行上的兩個點的間隔組成，位移在Y方向的單位由同一個電視場中兩個行的間隔組成。
梯度將以下面描述的方式來計算，並由圖11來說明。該圖表示時刻為Ta的電視場的一個部分，端點位在電視場Ta的一個位移矢量的坐標值為(z-DA，Ta)，亮度為LA。其位在時刻為Tb的電視場上的端點的亮度LB，以及關於該點的位移矢量DB均以同樣方式來計算。
在此情形中，位移矢量DA和DB遵從下述關係式DA＝((Tj-Ta)/(Tb-Ta))×DDB＝((Tb-Tj)/(Tb-Ta))×D此時DA和DB是共線的，使得D＝DA+DB。
在時刻為Ta的電視場中位移了的當前點的亮度LA通過對附近像素的亮度Ln作雙線性插值來得到，利用圖11的符號可以導出下述關係式LA＝19·(1-FDX)·(1-FDY)+18·FDX·
(1-FDY)+14(1-FDX)·FDY+15·FDX·FDY這個點上的亮度空間梯度G(其分量用GX和GY表示)以如下的方式來計算如果FDX小於0.2，並且FDY小於0.2，則GX＝(110-18)/2GY＝(111-14)/2或者，如果FDY大於0.8，則GX＝(13-15)/2GY＝(19-12)/2或者，如果FDY在0.2和0.8之間，則GX＝(110-18+13-15)/4GY＝(19-14)如果FDX大於0.8，並且FDY小於0.2，則GX＝(19-17)/2GY＝(112-15)/2或者，如果FDY大於0.8，則GX＝(14-16)/2GY＝(18-11)/2或者，如果FDY在0.2和0.8之間，則GX＝(19-17+14-16)/4GY＝(18-15)最後，如果FDX在0.2和0.8之間，並且FDY小於0.2，則GX＝(19-18)GY＝(111-14+112-15)/4或者，如果FDY大於0.8，則GX＝(14-15)
GY＝(19-12-18-11)/4或者，如果FDY在0.2和0.8之間，則GX＝(14-15+19-18)/2GY＝(19-14+18-15)/2一旦矢量D在時刻為Ta和Tb的電視場上的端點亮度LA和LB被確定時，位於多場間差就用下述關係式計算DFD(z，D)＝LB-LA同樣地，一旦矢量D在時刻為Ta和Tb的電視場上的端點的空間梯度GA和GB被確定時，迭代公式(24)中的梯度gradL(z，D)便由下述關係式計算2×gradL(z，D)＝GA+GB與前面情形一樣，修正項發散或消失的危險性能夠通過增大或減小它們來限制，因而Dix＝Dxi-1-(X方向的修正項)Diy＝Dyi-1-(Y方向的修正項)其中(X方向的修正項)＝DFD(z，Di-1)×gradx(z，Di-1)×ε以及(Y方向的修正項)＝DFD(z，Di-1)×grady(z，Di-1)×ε其中ε＝(1/2)×｜grad L(z，Di-1)｜2和｜grad L(z，Di-1)｜2＝grad2x L(z，Di-1)+grad2y L(z，Di-1) (5)附帶條件是當(grad L(z，Di-1))2＝0時ε的值為零。
與前面的情形一樣，用位移單位表示的修正項限制檢驗可以按如下方式來確定
1.如果(修正項)的絕對值小於1/16，則(修正項)將取為±1/16。
2.如果(X方向修正項)的絕對值大於3，則(X方向修正項)將取為±3。
3.如果(Y方向修正項)的絕對值大於2，則(Y方向修正項)將取為±2。
在相繼兩幅電視場的情形中，作為例子，我們同樣可以取DXMAX＝±8列作為X方向的最大位移，取DYMAX＝±4行作為Y方向的最大位移。
如果所估計的位移超出了這些值中的某一個值，便把它重置為零。
時刻為Ta和Tb的電視場間的最大位移DMAX能夠分解成共線矢量DAMAX和DBMAX，使得有DMAX＝DAMAX+DBMAX;其中DAMAX的兩個端點分別落在時刻為Ta和Tb的電視場上，DBMAX的分別落在時刻為Ta和Tj的電視場上。由於DMAX是固定的，從而DAMAX和DBMAX取決於電視場Tj至電視場Ta和Tb的距離。於是對於當前點P(z，Tj)，在電視場Ta和Tb中的搜索區由分別在電視場Ta和Tb上的一個矩形來確定(如圖12和圖19所畫出的那樣)，它們的大小分別為2DAMAX＝2×(DXMAX×((Tj-Ta)/(Tb-Ta))，DYMAX×((Tj-Ta)/(Tb-Ta))和2DBMAX＝2×(DXMAX×((Tb-Tj)/(Tb-Ta))，DYMAX×((Tb-Tj)/(Tb-Ta))如果一個位移矢量是對虛設電視場Tj(包括邊界)上的所有像素來估算的，那麼可以增添一個檢驗來證實矢量的端點確實位在為Ta和Tb的電視場上。如果情況不是這樣，那麼很容易對這個矢量進行修正，使得當前像素有一個新的矢量，它最靠近原來的矢量並且它的兩個端點在Ta和Tb的電視場上，以便能夠估算函數DFD和gradL。
和前面的情形一致，4個位移估算是從4個初始值DoA，DoB，DoC和DoD出發而同時進行的。如果在進行了i次迭代(i大於或等於零並且小於或等於最大迭代次數imax，i＝0代表初始值)之後，4個位移值DiA，DiB，DiC和DiD中至少有一個值能給出絕對值小於閾值S(預先確定的)的位移場間差DFD(z，Di)，則一個點被認為是收斂的。如果沒有任何位移值能給出一個小於或等於S的DFD值，則那個點被認為是發散的，然而即使如此，還是把DAimax，DBimax，DCimax，DDimax中能給出最小位移圖像間差DFD絕對值的那一個作為這個點的位移。
在每次迭代(從零到imax)中，本方法都給出4個DFD(Di)值，它們要和閾值S相比較。
被保留的位移是第一個能夠給出小於或等於閾值S的DFD值的那個位移。如果在同一次迭代中，有多個位移都具有小於或等於S的DFD值，則選擇能給出最小位移場間差DFD的那一個。萬一給出的DFD值又是相等的，則按次序DiA，DiB，DiC，DiD來作出任意選擇。
這樣，在從值i＝0直到值imax的每一次迭代i中，一個位移Di，一個位移場間差DFD以及一個迭代次數i被聯繫起來了。
決策的採取先是依據迭代次數為最少，然後依據位移場間差DFD為最小，再後或許是依據一個任意的選擇。
由於考慮到從一個圖像到另一個圖像運動場必然是相關的這一事實，上面所描述的方法應該在它們的初始化階段予以修正。即引入一個補充的時間位移量;其困難在於，為了估算在時間上的傳播，需要在前面所估算的運動場中找到一個位移，它最適合於正在進行位移估算算法的當前點。
按照第一種方法，有可能利用這樣的點的位移來作為初始值，這個點與前面估算的運動場中的點有相同的空間坐標，如圖13a和圖13b所示。然而，這個方法只有在一幅圖像相對於另一幅圖像的位移是小的時候才適用，並且舉例來說，不應該給當前點一個虛設的初始值，否則它會在運動估算中引入附加的不精確性。
按照第二種方法，在圖像有大位移的情形中，有必要從前面的運動場出發，沿著圖13c和圖13d所示的運動方向，進行當前運動場的時間預測。然後這個時間預測被用來初始化位移估算。
從第一種方法會引入不精確性的含義上來說，它的意義不大。反之，時間初始值是很容易獲得的只要在前一幅圖像的運動存貯器中讀出屬於具有相同空間坐標的點的運動即可。
第二種方法更適於執行把對於虛設電視場Tj-1上的點或者對於電視場Ta和Tb上的點在電視場Ta和Tb之間所估算的位移，沿著它們的方向向下一幅電視場投影，由此我們便可以分別對電視場Tj或對電視場Tb或Tc來估算運動，以組成預測的圖像。這樣，我們得到了時間預測的初始運動場，它可以用來對電視場Tj上的點或者對電視場Tb或Tc上的點進行Tc和Tb之間的位移估算。
於是，如果統一用Tx來代表電視場(Tj，Tb或Tc)，在其上應用運動估算算法，則根據假設，前一電視場Tx-1包括一個運動場，它由其上每一個點的，含有兩個分量(DX和DY)的運動矢量所定義。在此情形下，如果對於電視場Tx上的每一個點，都在電視場Tx-1中存在一個對應點，則運動場是對電視場Tx上的所有點來定義的。理想的情況是，當電視場Tx-1中的點向電視場Tx的點映射時，電視場Tx中的每一個點都在電視場Tx-1中有一個而且只有一個對應點。
然而這種情形在實際情形當中永遠不會碰到，如同圖13e和圖13f所示，實際上或者是缺少對應點，這時在預測場中將出現空洞;或者是存在多個對應點，這時預測場中將出現衝突。
在本發明中，這些困難是用下述方法來克服的。
對於位移是對電視場Ta和Tb之間的虛設電視場Tj-1中的點，在Ta和Tb之間進行估算的情形，根據本發明的方法包括，對應於電視場Tb和後一電視場Tc之間的下一幅虛設電視場Tj上的每一個點，都從虛設電視場Tj-1的運動場出發，定義一個運動矢量的預測值;這個運動場是由電視場Tj-1上的每一個點的運動矢量D＝(DX，DY)來定義的。為此，如圖14所示，假設電視場Tj-1和Tj之間的運動是線性的，並且電視場Tj-1的每一個運動矢量都被延長到電視場Tj上，造成一個交點。於是，交點的數目和電視場Tj-1中的像素數目一樣多，其中一些交點或許可能會混在一起。因此每一個交點都與產生它的運動矢量相聯繫，從而每一個交點都帶有關於電視場Tj中的點的運動的信息。
於是，問題變為，從也是位在電視場Tj上的交點的位移矢量出發，來確定哪一個應該是賦予電視場Tj像素的運動預測。
作為例子，考慮圖14中對於電視場Tj-1上點的，電視場Ta和Tb之間的運動場。若把Tj-1上B點的位移矢量稱作D＝(DX，DY)，並設電視場Ta和Tj之間的運動是線性的，則可以認為B點的運動是屬於C點(B點位移矢量在電視場Tj上的交點)的。
如果B點的空間坐標為(X，Y)，則交點C的空間坐標為(Xi，Yi)＝(X+ (Tj-Tj-1)/(Tb-Ta) ×DX;
Y+ (Tj+Tj-1)/(Tb-Ta) ×DY)不過，由於交點C一般不對應於電視場Tj中的一個像素(因為電視場中的位移一般不是整數)，而我們的目的是要給電視場Tj的每一個像素P(Xp，Yp)賦予一個預測矢量，所以把C點的位移矢量賦予坐標值最接近於交點C的哪個像素，如同可以從圖13c和圖13d所示的例子中看到的那樣。在此情形下，賦予點P的位移矢量Dop(P，Tj)等於電視場Tj-1中B點的位移矢量D(B，Tj-1)。
為了處理衝突，例如當電視場Tj-1中的多個四元點(X，Y，DX，DY)都對應到電視場Tj的同一個坐標為(Xp，Yp)的點上時，所採用的解決方法包括利用所得到的位移矢量沿著電視場Tc和Tb之間的運動方向來計算時間差值，只保留能給出最小DFD差值的那個位移來作為時間預測。或許還可以考慮其它的解決方法。例如，第二個解決方法是，只保留所出現的第一個運動，這就是說，電視場Tj的一個點已經得到一個運動之後，它不再能接收其它的運動。不過，從這個解決方法不能判斷所賦予的第一個運動是否適合於作為初始值的意義上來說，它呈現出相當大的危險性。
此外，這個解決方法還需要對每一個點做一個檢驗，以便了解這個點是否已經被賦予運動了。還有一個可以考慮的比較簡單的第三個解決方法，即只保留所出現的最後一個運動。然而類似於在第二個解決方法中已經提及的那個問題依舊存在。對於物體和背景以相反的方向如同第二個解那樣位移的運動情形，第三個解將給出好的結果，但是物體相對於背景的運動是相反的，仍然存在物體在背景後面通過的問題。
對於空洞的處理以下述方法進行如前所述，電視場Tj上的某些像素有可能得不到任何運動(圖13f)，預測運動場中的這些空洞用對最接近領域的運動矢量作空間插值來填充。為此，當本方法已經把相應的運動與交點的最接近像素聯繫起來之後，它在這樣得到的電視場Tj的預測場中，通過交替地在每兩行中改變一行水平掃描方向的方式來搜索空洞。
當出現一個空洞時，就考慮4個鄰域點，如圖15a和圖15b所示。在圖15a和圖15b所示的情形中，我們假定原鄰域點(一方面是A，另一方面是B或C，視水平掃描方向而定)是已經處理過的，並且它們已經具有了位移矢量。然而點C或點B(視掃描方向而定)和點D可能並不具有運動矢量，是和空洞一樣的。在此情形下，在插值時不在考慮它們。這時，本方法把由空間鄰域點的運動矢量的平均值所給出的運動賦予空洞。在最好情形下這個計算用4個運動矢量(點A，B，C和D)來進行，最壞情形下用2個運動矢量(點A以及B或C，視掃描而定，此時C或B和D是和空洞一樣的)。
在對於電視場Tc和Tb上的點進行電視場Tc和Tb之間的位移估算時，時間預測的過程是相似的。
例如，如圖16所示，對電視場Tb中的點考慮電視場Ta和Tb之間的運動場，若假設運動是線性的，則電視場Tb中空間坐標為(X，Y)的像素B的運動能夠被賦予電視場Tc中空間坐標為(X1，Y1)的點C，C點是屬於B點的運動矢量與該電視場的交點。在此情形中坐標(X1，Y1)服從關係式(X1，Y1)＝(X+DX，Y+DY+DEY)其中DX，DY代表電視場Tb中B點的位移矢量D的分量，DEY代表電視場Tb和Tc之間可能存在的垂直距離(如果兩電視場的奇偶性不同)。
因為C點一般並不對應於一個像素，D點的運動矢量不得不被賦於最接近C點的像素;若把最接近C點的像素寫作P(XP，YP)，便能得到下例關係式DoP(P，Tc)＝D(B，Tb)。
預測場中的衝突和空洞是用與前面相同的方式來處理的。
時間預測過程的各個步驟在圖17的流程圖中簡要地畫出。第一個步驟，步驟23存貯每一電視場Ti-1或Tb的點的位移矢量，使得在步驟24中能夠延長位移矢量，以確定它們在電視場Tj或Tc上的交點。在步驟25中，位移矢量被賦於最接近於交點的像素，並且當有多個矢量同時到達同一個交點時處理衝突。空洞的處理在步驟26中進行，而對電視場Tj或Tc存貯運動場則在步驟27中實現。
為了獲得一個非常好的預測，應該在由步驟27中獲得的運動場的時間預測中加上前面在當前點的原空間鄰域中所獲得的預測。
由上述的例子，這就導致要確定5個初始位移，4個從最接近原領域中選取(空間迭代)，一個由前述時間預測方法選取。
在此情況下，由圖2和圖10流程圖所描述的方法應該分別按圖20和圖18來修改，以便在每個初始劃階段中引入時間預測參數。
按照圖18中的第一個步驟(步驟18)，通過掃描該電視場的每一行來考慮當前電視場中的每一個點。本方法執行步驟19所表明的處理，以便從在當前點原領域中確定的4個位移初始矢量以及從一個在步驟28中確定的時間預測初始值出發，來估算5個新的位移。在執行完步驟19之後，本方法過渡到執行步驟20，從由步驟19估算出來的5個位移中選擇出一個位移。本方法就是這樣地通過相繼的迭代而展開，每執行完步驟20後又開始下一個點的初始劃，而位移在步驟22中記錄。
5個位移估算是從4個空間初始值DoA，DoB，DoC，DoD和初始值DoP出發而並行地進行的。如果在進行了i次迭代(i大於或等於零並且小於或等於最大迭代次數imax，即0≤i≤imax，i＝0代表初始值)之後，5個位移值DiA，DiB，DiC，DiD和DiP之中至少有一個值能給出絕對值小於閾值S(預先確定的)的位移場間差DFD(z，Di)，則一個點被認為是收斂的。如果沒有任何位移值能給出小於或等於S的｜DFD｜值，則那個點被認為是發散的，然而即使如此，還是把DAimax，DBimax，DCimax，DDimax，DPimax中能給出最小DFD絕對值的那一個作為這個點的位移。
這樣，在每次迭代(自零至imax)中，我們都得到5個｜DFD(Di)｜值，用來與閾值S比較。
被保留的位移是第一個能給出小於或等於閾值S的｜DFD｜的那個位移。如果在同一次迭代中得到了多個位移，則選擇能給出最小位移圖象間差｜DFD｜的那一個。萬一給出的｜DFD｜又是相等的，則按次序DiP，DiA，DiB，DiC，DiD來作出任意的選擇。這樣，在每一次迭代i(0≤i≤imax)中，一個位移Di，一個位移場間差DFD和一個迭代次數i被聯繫起來了。於是，決策的採取先是依據迭代次數為最少，然後依據位移圖象間差DFD為最小，再後或許是一個任意的選擇。
類似於用圖2流程圖所描述的方法，通過掃描當前電視場TC中的每一行，來考察該電視場上的每一個點，如圖20的流程圖所示。
當前點上的梯度模值｜gradP(z，t)｜在步驟2中計算。
對當前梯度模值的檢驗在步驟3中進行。
如果｜gradp(z，t)｜是小的，則藉助於決策單元4來選擇當前點的位移。其中考慮5個初始值4個位在原空間領域中，1個是時間預測初始值。不進行任何修正項的計算。然後過渡到步驟8。
如果｜gradp(z，t)｜是大的，則在步驟5中，從5個初始值(4個空間的加1個時間的)出發來並行地估算5個新的位移。步驟6是從由步驟5估算出來的5個位移中選擇出一個位移。每次執行完步驟4或步驟6之後，都導致下一個點的初始化(步驟7和步驟9)，位移在步驟8中記錄。
若圖象梯度是小的，則位移是從5個初始值中按照圖21所示的方式來選擇的，4個空間位移值是按照和圖8相同的步驟9至步驟17來選擇的，時間位移值是通過執行步驟30和步驟31來選擇的。和前面一樣，被保留的位移是5個位移DoP，DoA，DoB，DoC，DoD中能給出最小位移圖象間差的那一個，萬一給出的位移圖象間差相等，則按DoP，DoA，DoB，DoC和DoD這個次序來選擇。然而，如果位移圖象間差不小於或等於收斂閾值S，則所選擇的位移置為零。
若當前圖象的梯度是大的，則5個位移估算是從4個空間初始值DoA，DoB，DoC，DoD和1個時間初始值DoB出發，並行地進行的。如果在進行了i次迭代(i大於或等於零並且小於或等於最大迭代次數imax，即0≤i≤imax，i＝0代表初始值)之後，5個位移值DiA，DiB，DiC，DiD，DiP之中至少有一個值能給出絕對值小於閾值S(預先確定的)的位移場間差DFD(Z，Di)，則一個點被認為是收斂的。如果沒有任何位移值能給出小於或等於S的｜DFD｜值，則那個點被認為是發散的，然而即使如此，還是把DPimax，DAimax，DBimax，DCimax，DDimax中能給出最小DFD絕對值的那一個作為這個點的位移。
在每次迭代(自零至imax)中，我們都得到5個｜DFD(z，Di)｜值，用來與閾值S比較。
被保留的位移是第一個能給出小於或等於閾值S的｜DFD｜的那個位移。如果在同一次迭代中得到了多個位移，則選擇能給出最小位移圖象間差｜DFD｜的那一個。萬一給出的｜DFD｜又是相等的，則按次序DiP，DiA，DiB，DiC，DiD來作出任意的選擇。
這樣，在每一次迭代i(0≤i≤imax)中，一個位移Di，一個位移場間差DFD和一個迭代次數i被聯繫起來了。
決策的採取先是依據迭代次數為最少，然後依據位移圖象間差DFD為最小，再後或許是一個任意的選擇。
按照實現本發明方法的其他模式，還有可能對初始化矢量的數目以及對圖象中運動傳播的方向進行修改。
在上面所描述的運動估算方法中，為了避免圖象中運動的某一個水平傳播方向出現優勢，例如自左至右方向出現優勢，交替地使水平掃描方向在每兩行中有一行是反向的。當然，為了避免圖象中運動的某一個垂直傳播方向出現優勢，例如自上至下方向出現優勢，同樣可以交替地使垂直掃描方向在每兩幅圖象中有一幅是反向的。因為相繼圖象間的運動場計算是互相獨立的，垂直掃描的交替反向缺乏時間連續性，因而沒有什麼用處。
但是，與單純使用自上至下垂直方向掃描的空間迭代估算相比，時間連續性與迭代方向的交替改變的結合給出更為精確並且對迭代方向較不敏感的運動場;尤其是在圖象高度方向上，它還能使估算的收斂速度加快。
同樣，還可能在時間預測的初始運動以外，只採用了個原領域的位移空間初始值DoB，DoC，DoD或者只採用兩個初始值DoC和DoD(見圖4b和圖4c)。從實現的觀點來看，這樣做是恰當的如果用對點A估算的運動來當作對當前點P的運動預測值，將完全不能在當前行上進行並行的運動預測。不過，如果刪去了DoA，將失去水平迭代和交替行掃描的意義，這會增加運動估算中迭代的方向效應(主要是垂直方向的)。
按照實現本發明方法的另外一種變體，從一個電視場到下一個電視場的運動傳播方向的交替可以通過旋轉來達到。事實上，前面描述的關係式(1)和(24)在運動的水平分量和垂直分量Dx和Dy之間以及在水平亮度和垂直亮度GX和GY的空間梯度之間確定了一個關係式，在初始運動方向上的時間梯度DFD使得GX×DX+GY×DY＝-DFD以及方程式(1)中的修正函數D確定了下述方程的一個特解D = - (DFD×G)/(｜G｜2) 其中G＝(GX，GY)在這種情況下，若出現純粹的垂直輪廓(GX≠0，GY＝0)，分量DX將能肯定地確定。如果只出現水平輪廓，分量DY也同樣地肯定地確定。
然而，在一幅圖象中，空間梯度並不均勻地分布的。從而在運動主要分量的傳播中的迭代便具有重要性為了造成一個精確而均勻的運動場，它應該儘可能地各向同性。
這就是為什麼可以考慮對每一個圖象對(運動是在它們上面估算的)作四分之一圈的旋轉它可以對每幅圖象的迭代方向進行修正。這個旋轉與時間連續性的結合有利於加速估算值向真實運動的收斂。
這個修正對以下情況特別重要。例如當我們不把預測矢量DoA放在當前點的同一行上時，或者更一般地說，當為了減少所估算的矢量的空間相互依賴關係，而使預測矢量的數目減少為1或者利用迭代選擇出能減小運動傳播角度的預測矢量的情況。
這個修正可以用如下方式來實現1、保留前面確定的矢量DoC，DoD或許還有DoB，為初始化矢量。
2、對於每一個要估算的新運動場，新的源圖象對要做一個旋轉。為了同樣變成4個運動場，這個旋轉交替地為0°，90°，180°，270°。
3、同樣地，時間預測的運動場也要做相同的旋轉，並且一個或兩個運動分量的正負號需要根據旋轉的情況來修改，以保持正的位移方向。
4、這樣，在估算值中加入的僅有的修正是關於圖象的格式的第一列和最後一列的參數DC和FC以及第一行和最後一行的參數DL和FL在每一個新的圖象對中需要互換DC取DL的值，DL取DC的值，FC取FL的值，FL取FC的值。
5、在運動場估算完成之後，它要做一次旋轉和標記更改，以便回復到原來的方向上去，這樣可以應用於運動估算和時間預測以外的情形。
現在，藉助圖22至圖24來描述實現第一個位移估算裝置的例子，該裝置實施圖20和圖21所示方法的各個階段。在圖22中，它由以下各部分組成一個行存儲器組，一個圖象存儲器33，一個確定掃描方向和計算當前梯度模值的裝置34，一個分岔裝置35，決策單元36和37，位移估算單元38，一個初始化裝置39和一個與預測運動存儲器41及42相偶合的時間預測裝置40。確定掃描方向和計算當前梯度模值的裝置34從行存儲器組32接收信息，並向位移估算裝置38和分岔裝置35提供計算結果。位移估算裝置38有兩個輸入口，其中一個通過確定掃描方向和計算當前梯度的裝置34與行存儲器組32的輸出口相連，另一個與圖象存儲器33的輸出口相連。行存儲器32用作圖象存儲器33的緩衝存儲器，使得在考察點跑出搜索窗口外面之前，圖象存儲器33的刷新信息得以貯存起來。當搜索窗以圖7所示的方式佔有10個行的空間時，一個行存儲器具有對應於5個行的點的存貯容量看起來就足夠了。計算以時鐘脈衝HI和HK(由行時鐘提供，圖上未畫出)的節律按照點頻率來進行。裝置34確定當前行的序號1，並且按照當前行序號1的奇偶性來確定當前的列序號k。在設置當前點的坐標(k，1)時，裝置34計算當前梯度的模值。分岔裝置35把裝置34所提供的計算結果與參考閾值Sg相比較，並按照圖20所示的算法打開其輸入開口1或2。如果｜gradl(z，t)｜≤Sg，則選擇輸入口1，如果｜gradl(z，t)｜＞Sg，則選擇輸入口2。決策單元36和37具有圖21所示流程圖的功能，能夠用已知的方式來實現或者在微處理機上利用一個典型的微程序結構，或者利用一個已知的由比較電路組成的邏輯電路。
位移估算裝置的一個實現模式如圖23所示。它包括由單元43至單元67所組成的計算集合。後者向決策單元36提供位移信息DiA，DiB，DiC，DiD，DiP，而決策單元又把它們傳遞到分岔裝置35的輸入口2上，見圖22。同樣表示在圖23中的初始化模塊39能夠初始化位移計算的算法。模塊39包含一個第一存貯器68和一個第二存貯器69。這兩個存貯器由三個不同的部分組成，一個用來存貯代表x和y方向位移的字(那裡它們分別稱為MDX和MDY)的二進位字，另一個能夠用決策單元36計算的位移字MTDX和MTDY的緩衝存貯器，最後一個用來存貯時間位移預測字MPDX和MPDY。
利用上述符號，我們有MDX＝(FC-DC-2DXmax+3)位移MDY＝(FC-DC-2DXmax+3)位移MTDX＝1位移，以及MTDY＝1位移在圖象的每一個電視場開始的時候，字組MDX，MDY，MTDX和MTDY都置為零。MTDX和MTDY被用來作為在對應於位移D(K-1，L-1)的字MDX和MDY消失之前的中間量，以便過渡到對下一個點(K+1，1)的分析。它們同樣用作在對應於位移D(K+1，L-1)的字MDX和MDY消失之前的中間量，以便過渡到下一個點(K-1，L)的分析。
當k等於FC時，所估算的位移D(FD，L)便自動地被置放在字(MTDX，MTDY)中以及字(MDX，MDY)中，它們對應於位移D(DC，L)和D(DC-1，L)。
位移估算的計算裝置內單元43至67組成，若當前圖象的空間梯度大於預先定義的閾值Sg，它從裝在初始化模塊39內的5個初始值DoP，DoA，DoB，DoC，DoD出發，並行地進行5個位移的計算。信息DoP，DoA，DoB，DoC，DoD分別被送到分岔電路43，48，53，58和63的第一輸入口上，這些分岔電路的輸出又分別與收斂檢驗模塊和修正項計算模塊相連接，這兩類模塊的代號分別為(44，45)，(49，50)，(54，55)，(59，60)和(64，65)。收斂檢驗和修正項計算的結果分別送到分岔裝置46，51，56，61和66的輸入口上，它們又按下述情況把這些結果傳送下去如果進行了i次(i小於imax)迭代後前述算法的解是發散的，則把結果送到計算新位移的裝置(符號分別為47，52，57，62和67)中去，否則把結果送到決策單元36的各個輸入口上去。由計算裝置47，52，57，62和67提供的新的位移被分別施加到分岔裝置43，48，53，68和63的第二輸入口處。
收斂檢驗模塊44的實現細節是與修正項計算模塊45以及新位移計算模塊47相聯繫的，該細節在圖24的虛線框內表示。
收斂檢驗模塊44包含兩個部分，一部分是與計算圖象間位移差絕對值｜DFD｜的裝置71相連的一個插值電路70，裝置71又通過交換器72，73與決策單元36相藕合;另一部分是一個梯度計算裝置74，它與計算位移梯度平方和的裝置75相連接。可能是由一個可編程只讀存貯器組成的插值電路70也是與圖象存貯器33相藕合的。修正項計算模塊45含有一個計算前述ε值的裝置76，後者是與增量計算裝置77，修正值計算裝置78以及比較電路79和80相藕合的。
新位移計算模塊47包含兩個減法電路81和82，兩者都與比較電路83相藕合。收斂檢驗模塊44與修正項計算模塊45的藕合通過圖23中的交換器46來實現。交換器46的輸入口直接與計算裝置75的輸出口相連接，並且通過交換器72和73與計算裝置71的輸出口相藕合。另一方面，如圖23所示，初始化模塊39通過交換器43的中介而與收斂檢驗模塊44相藕合。這個交換器一方面把初始化模塊39與插值電路70的第一輸入口連接起來，另一方面又把初始化模塊39與計算裝置74的第一輸入口連接起來。交換器43的第二入口同樣與由比較電路83組成的新位移計算模塊47的輸出口相連接。
位移估算裝置的功能如下對於圖象中的每一個當前點，交換器43都把一個從存貯器39中找到的初始值Do傳送給插值電路70和梯度計算裝置74。插值電路70對值Do進行雙線性插值運算，以確定在前一幅圖象中位移了的當前點的亮度1(z-Do，t-1)。位移圖象間差DFD(z，Do)及其絕對值由計算裝置71從當前點的亮度信息出發來計算。如果由計算裝置71算出的值小於或等於預先定義的閾值S，則交換器72把這個值送到決策單元36中。位移Do和位移圖象間差的絕對值｜DFD(Do)｜都被送到決策單元36的輸入口上。在相反的情況下，計算裝置71所提供的計算結果被送到交換器73的輸入口，如果迭代次數i的值等於最大迭代次數值imax，則上述計算結果接著又被送到決策單元36的輸入口。反之，如果迭代次數值i小於最大值，則計算結果通過交換器46被送到修正計算模塊45的輸入口。
在從時刻t＝0開始的時間t內進行的計算過程中，位移梯度gradx，grady和項G2＝2×(grad2x+grad2y)由計算裝置75計算。
根據G2值的大小，交換器46把所得結果引導到不同地方如果得到的G2值小於或等於一個例如等於0.125的係數值，則所得結果被導向決策單元36，否則被導向新位移修正項計算模塊45和47。
計算裝置76計算值ε＝1/G2。迭代次數值i由增量計算裝置77增加1個單位，在分析下一個當前點時，它被置零。X和Y方向上的修正項(TC)x和(TC)y由電路78計算。在計算裝置78的輸出口得到的(TC)x和(TC)y值服從如下關係式
(TC)x＝DFD(z，Di)×gradx(Di)x(TC)y＝DFD(z，Di)×grady(Di)x所得到的(TC)x和(TC)y值被分別加到比較電路79和80的輸入口處，以便被限制在它們的極大值和極小值上(不過要差一個正負號)。根據一種實現本發明的較好的模式，(TC)x和(TC)y的最小值是相同的，並固定為1/16，相反地，(TC)x的最大值總是等於3而(TC)y的最大值總是等於2。所得到的(TC)x和(TC)y上由減法電路81和82被加到位移值Dox和Doy上，由此得到的結果D1和D1(它們對應於估算的位移)在送到交換器43的第二輸入口之前又受到比較電路83的一個新的限制。在下一個迭代i(i＝2)中，交換器43把估算位移Dix和Diy送到電路70，74，81和82中。
在決策單元36的輸出口處已對當前點選出了一個位移，並且它被寫入含有字MTDX和MTDY的緩衝存貯器39中。i被置零，交換器43復原到它的起始位置，前述計算又重新開始，對一個新的當前點作位移估算。
實施圖18所示方法的各個階段的第二位移估算裝置的實現例子在圖25和圖26中示出。圖25所示裝置與圖22所述例子的不同之處可能在於這樣的事實它只含有決策單元36而不含有分岔裝置35。因此與圖22相同的那些單元都用相同的參考號碼來代表。
新位移估算裝置的結構與藉助於圖23已經描述過的結構相類似，僅有的微小差別在於位移估算計算裝置的結構，它的一個相應的實現模式在圖26中表示。
差別或許就在於這裡用了兩個插值電路70和70′以及兩個計算裝置74和74′，而不像前面那樣每種只用一個。
因為所有其他單元的結構都與圖24中的單元有類似的結構，所有在圖26中它們都用相同的參考號碼代表。
位移估算裝置的功能如下對於圖象的每一個當前點，交換器43都把一個從存貯器39中找到的位移初始值Do傳送到插值電路70和70′以及梯度計算裝置74和74′中去。值Do使估算初始化。一個雙線性插值計算以如下形式進行一方面，由插值電路70來估算當前點(z，Tj)的亮度L(z-Do×(Tj-Ta)/(Tb-Ta)，Ta)，這個當前點在時刻為Ta的前一幅電視場中位移了Do×(Tj-Ta)/(Tb-Ta);另一方面，由插值電路70′來估算同一當前點的亮度L(z+Do×(Tb-Tj)/(Tb-Ta)，Tb)，不過這一次該當前點在下一幅電視場Tb中位移了Do×(Tb-Tj)/(Tb-Ta)。
位移場間差DFD(z，Do)及其絕對值由計算裝置71計算。
如果由計算裝置所得的值小於或等於一個預先定義的閾值S，則交換器71把該計算值傳送到決策單元36中。位移Do和位移場間差DFD(Do)的絕對值被加到決策單元的輸入口上，在相反的情況下，由計算裝置71提供的結果被送到交換器72的輸入口，如果迭代次數i值等於迭代次數最大值imax，則該結果接著被傳送到決策單元36的輸入口。反之，在其他情況下，即當迭代次數值i小於最大值時，由計算裝置71提供的結果則被通過交換器46而加到修正計算模塊45的輸入口上。
在從時刻t＝0開始的時間T內進行的計算過程中，在時刻為Ta和Tb的每個電視場中位移了的當前點的梯度(gradXa，gradYa)和(gradXb，gradYb)由裝置74和74′並行地計算。然後，按照下述關係式確定的梯度值gradX和gradY由裝置75計算2×gradX＝gradXa+gradXb2×gradY＝gradYa+gradYb其後，計算裝置75′計算這樣形式的項G2＝2×(grad2X+grad2Y)關於時刻為Ta和Tj的電視場的奇偶性在電路70和74中考慮，關於時刻為Tb和Tj的電視場的奇偶性在電路70′和74′中考慮。
按照G2值的大小，交換器把所得結果導向不同地點。如果所得的G2值小於或等於一個例如為0.125的係數值，則所得結果被導向決策單元36，否則導向新位移修正項計算模塊45和47。
和前面相同，計算裝置76計算由前面定義的值，迭代次數值i由增量計算1個單位，在分析下一個當前點時，它被置零。X和Y方向上的修正項(TC)x和(TC)y由電路78計算。在計算裝置78的輸出口得到的(TC)x和(TC)y值服從如下關係式(TC)x＝DFD(z，Di)×gradx(Di)X和(TC)y＝DFD(z，Di)×grady(Di)X所得到的(TC)x和(TC)y值被分別加到比較電路79和80的入口處，以便被限制在它們的極大值和極小值上(不過要差一個正負號)。根據一種實現本發明的較好的模式，(TC)x和(TC)y的最小值是相同的，並固定為1/16，相反地，(TC)x的最大值總是等於3而(TC)y的最大值總是等於2。藉助於電路81和82，所得到的(TC)x和(TC)y項被加到位移值Dox和Doy上，得到的結果Dx1和Dy1(它們對應於所估算的位移)在送到交換器43的第二輸入口之前又受到比較電路83的一個新的限制。在下一個迭代＝2)中，交換器48把估算值位移Dx1和Dy1送到電路70，70′，74，74′，81和82中。
在決策單元36的輸出口處，已對當前點選出了一個位移，並且它被寫入緩充存貯器39的區域MTDX和MTDY中。迭代次數i值被置零，交換器43復原到它的起始位置，前述計算又重新開始，對一個新的當前點作位移估算。
實現時間預測裝置的一個模式在圖27中示出。它包括一個通過交換器87與兩個存貯器85和86相藕合的計算裝置84。存貯器85和86的輸出口是通過交換器89與另一個計算裝置88相連接的。
計算裝置84由一個只讀存貯器或其他等價的裝置組成，並通過所估算的當前運動矢量來尋址。它計算一幅圖像或下一電視場的交點以及最接近於該交點的像素，當前運動矢量即與此像素相關聯。交換器87把這個矢量傳送到存貯器85或86中。這兩個存貯器由雙穩態觸發器(「Flip-Flop」)裝成。交換器89選擇正在讀出中的那個存貯器。計算裝置88探測並填補時間預測運動場中的空洞。計算裝置88的輸出口與初始化模塊39相連接。在這個裝置中，衝突的解決方法只是簡單地把與前面當前點相聯繫的新矢量和這個點聯繫起來。
從所描述的本發明的實現模式中可以清楚地看出，所考慮的點的數目和進行計算的迭代次數越大，則計算時間這個因素就應該變得越重要。這時，為了把計算時間限制在一個最大值內，上述計算方法可以做如下改進只對空間梯度的計算作一次迭代，把它限制於只考查與位於當前電視場中的位移矢量端點最為接近的4個點的亮度。
這樣，本方法可歸結為對於每一個估算的位移矢量Dpj，只用一次迭代來計算當前點亮度與位移了距離Dpj的前一電視場中其亮度值之間的位移圖像間差DFD(Dj)，對得到的DFD值作相互比較，以便選出一個能給出最小DFD(Dpj)值的估算位移矢量;以及通過執行從當前電視場中位移矢量端點的空間梯度和相應的DFD(Dpj)值出發的梯度算法，來計算當前位移矢量Dj。
與當前所描述的過程的不同之處在於，圖28所示的方法可以按照實現本發明的某一個變形，只通過一次迭代來實現運動估算。按照圖28中用「100」表示的第一個步驟，一個位移場間差值DFD(Dpj)是對每個估算位移矢量Dpj來計算的。然後在步驟101中，進行DFD絕對值之間的比較，以便選出能給出最小位移場間差的位移矢量Dpj。當前位移矢量Dj的估算則由執行步驟102至107來實現。在步驟102中，計算位移矢量Dj端點處的空間梯度。這個計算是在每一個電視場中考慮最接近於這個電視場內的位移矢量Dpj的端點的4個像素的情形下進行的，如圖29所示。在圖29中，L1，L2，L3和L4代表這些點各自的亮度。分量為(GX，GY)(它們分別沿圖像的水平掃描方向X和垂直掃描方向Y)的空間梯度值是值L1，L2，L3和L4的函數，其函數關係式為
GX＝((L2-L1)+(L4-L3))/2和GY＝((L3-L1)+(L4-L2))/2這個操作是對電視場Ta和Tb進行的。梯度Dpj是兩個梯度矢量的平均值。
當步驟103已經按前述方法計算出修正項之後，步驟104利用上述梯度公式來計算新位移矢量Dj。當然，如前面已經說明過的那樣，所算得的位移矢量Dj的分量應該受到限制，所以在步驟105和106中進行一次檢驗，以證實所得到的Dj值確實位於兩個預訂的位移值-Dmax和+Dmax之間。如果不是這樣，則所保留的Dj值將是在步驟101中選出的那個位移值Dpj。
這個操作是對各個分量分別進行的。可以按分量(水平的和垂直的)對這樣獲得的運動場進行空間濾波。這樣做的優點一方面是使運動場平滑化，另一方面是使運動場均勻化，並且使圖像的均勻亮度區中的運動場得以確定，否則運動信息是不能直接測量的。這個濾波可以在目的在於確定所預測場的時間投影之前進行。濾波器組成的一個例子是，一個具有平滑信號功能的中頻濾波器，後面接一個特別能夠確定均勻區的運動的平均濾波器。
在前面所描述的方法中，為了避免運動在水平或垂直圖像中的某些傳播方向上出現優勢，總是可能交替地使每兩行中的一行水平掃描方向反射，也還可能交替地使用兩幅圖像中的一幅的垂直掃描方向反射。然而也還有可能會在其上估算運動的每一對圖像旋轉四分之一圈，使得對每幅圖像的迭代方向得到修改，從而這種旋轉和時間連續性的結合便有利於加速運動估算值向真實運動的收斂。
同樣地，對於填補出現在時間投影之後的運動預測場之中的空洞，本方法仍是適用的。對於當前的空洞，本方法由兩部分組成考察周圍4個像素的矢量，如果它們存在的話;用存在的矢量分量的平均值來定義運動矢量。空洞以圖30，31和32所示的方式通過改變行掃描來考察。於是存在的矢量數目最多是4，最少是2，位於起源部分的像素是已經被處理過的。即使這樣也還是有兩種可能的實現變形。第一個變形是選擇能對當前空洞像素給出最小位移圖像間差DFD絕對值的矢量，以便把這個矢量取作與空洞相聯繫的矢量。第二個變形也可以是選擇最接近於矢量平均值的那個矢量。另一方面，在某些實現的情形中，如果前一像素的矢量對應於這個空洞，由於處理的並行性問題，還可以考慮不研究前一像素的矢量。於是，可以按照第一種變形來工作，或者也可以按照第二類變形以圖33和34所示的方式工作，取不是空洞的最後一個像素的矢量。
當然，時間預測方法也還是適用的，它在很大程度上利用了運動的時間相關性，並能使迭代算法快速地收斂。然而如同在空間矢量的源的周圍預先選擇出多個空間矢量來一樣，也有可能選擇出多個時間預測值來。例如，如圖35所示，有可能利用對運動場(它來自存貯在例如存貯器110中的時間投影)的各種濾波(例如由一組濾波器108和109來實現)來獲得多個運動預測場。根據對運動場濾波程度的不同，預測場將或者適合於運動劇變的區域，或者相反地適合於均勻運動的圖像區域。
剛才描述的方法的實施當然可以用前面所述的裝置來實現，因為如同利用適當編程後的微處理機結構來執行前述方法那樣的手段，同樣可以在這裡實施。
權利要求
1.一種在電視型動畫圖像系列中的運動估算方法，這種圖像系列中的每一幅圖像都是由一定數量的，分布在行和列的交點處的發光點組成，方法的原型是運動的估算是，由執行能給出在圖像當前點與前一圖像中的相應點之間的最小的亮度局部變化方差的一個梯度算法來獲得的，該算法的初始化(7，21)是從按照當前點原鄰域內的多個方向來估算的一些運動矢量起始進行的，並且每一個估算都是沿圖像的行掃描方向傳播的，其特徵是它還包括利用一個時間預測的初始矢量來初始化算法的執行，該時間預測的初始矢量是對一幅圖像電視場中的每一個點，用前面電視場中一個點的位移矢量來定義的(23，24，25，26，27)，該前面電視場中的點沿著它的位移矢量方向在當前電視場上的投影點是與當前點最為接近的。
2.根據權利要求1的方法，其特徵是，當有多個沿著一幅電視場上點的位移矢量的投影都在當前電視場中有同一個交點時，該方法包括把能給出最小位移圖像間差的位移矢量保留(25)為位移矢量。
3.根據權利要求1和2的方法，其特徵是，當因為沒有任何鄰近點能通過位於當前電視場前面的電視場中的點的位移矢量來給出一個投影結果，從而不能對當前點賦予任何時間位移矢量時，該方法包括，把由位於這樣形成的運動場空洞鄰域中的一些點的運動矢量經過平均得到的運動矢量賦予(26)這個空洞。
4.根據權利要求1至3中任一個的方法，其特徵是，掃描方向是交替地在每兩行中有一行是反向的。
5.根據權利要求1至4中任一個的方法，其特徵是，它包括選擇(1)一個算法的傳播方向，作為當前點所在行的圖像中的位置的函數;它又包括計算當前點的梯度模值(2)，以便與一個預先確定的閾值(3)相比較;它還包括，當所得到的梯度模值小於預先確定的閾值時，用保留能給出最小位移圖像間差的位移的方式，在當前點的原鄰域中為這個當前點選擇(4)一個位移;或者當所得到的梯度模值大於預先確定的閾值時，估算(5，6)一個新的位移。
6.根據權利要求5的方法，其特徵是，它包括，當所得到的梯度模值大於預先確定的閾值時，執行從一定數量N個初始位移值出發的，對N個位移並行估算(5)的計算，並保留能給出具有最小(6)位移圖像間差｜DFD(Di)｜的收斂性的那個位移值Di(0＜i＜imax)。
7.用來實施根據權利要求1至6中任一個的方法的裝置，其特徵是，它包括一個圖象存貯器(33)，用來存貯圖象中一定數量的點的亮度值，這些點是位於當前點電視場IMS(t)前面的電視場IMS(t-1)中的，並且是圍繞著當前點P(Z，t)的對應點P(Z，t-1)的;它還包括一個計算當前點亮度的梯度模值的裝置(34)，一個第一決策單元和第二決策單元(36和37)以及一個位移估算裝置(38)，兩個決策單元(36和37)的輸出口是與一個分岔裝置(35)的輸入口相藕合的，分岔裝置(35)是由當前梯度模值計算裝置(34)控制的，如果當前梯度模值小於或等於一個預先確定的閾值，則所保留的位移是從第二決策單元(37)輸出的位移，否則所保留的位移是從第一決策單元(36)輸出的位移。
8.根據權利要求7的裝置，其特徵是，位移估算裝置包括一個初始化模塊(39)，用來存貯沿著多個方向的，與一個計算組合(43……67)相耦合的一些初始位移，該計算組合用來從初始位移值出發，計算能使梯度算法收斂的位移值。
9.根據權利要求8的裝置，其特徵是，計算組合是與決策單元(36)相耦合的，以便選出能使算法收斂得最快的那個位移值。
10.根據權利要求8和9的裝置，其特徵是，對於每個估算的位移值Di(0＜i＜imax)，計算組合都包括一個收斂檢驗模塊(44，49，54，59，64)，後者是與修正項計算模塊(45，50，55，60，65)以及新位移計算裝置(47，52，57，62，67)相耦合的。
11.根據權利要求10的裝置，其特徵是，每個收斂檢驗模塊(44，49，54，59，64)都一方面包括一個與位移圖象間差絕對值計算裝置(71)相耦合的插值電路(70)，另一方面包括一與位移梯度平方和值計算裝置(75)相耦合的梯度計算裝置(74)，其中位移梯度是按圖象的水平和垂直兩個掃描方向來獲得的。
12.根據權利要求10和11的裝置，其特徵是，每個修正項計算模塊(45，50，55，60，65)都包括一個與增量計算裝置(77)以及修正值計算裝置(78)相耦合的梯度算法的增益計算裝置(76)。
13.根據權利要求11，12和13中任一個的裝置，其特徵是，每個新位移計算裝置都包括用來計算作為修正項的函數的位移值的減法電路(81，82)，其中修正項是由修正項計算模塊(45，50，55，60，65)來計算的。
14.根據權利要求12和13的裝置，其特徵是，每個由修正項計算模塊提供的修正項(TC)都等於位移圖像間差(DFD(z，D))和位移點P(z-D，t-1)的梯度和算法增益的乘積。
15.根據權利要求1至6中的任一個的運動估算方法，其特徵是，它包括以矢量場的形式來確定一個圖像系列中兩個相繼電視場(Ta，Tb)之間的運動場，該矢量場是賦予一個位在兩個電視場(Ta，Tb)附近的虛設電視場(Tj)的。
16.根據權利要求15方法，其特徵是，虛設電視場的行掃描方向是交替地在每兩行中改變一次的。
17.根據權利要求15和16的方法，其特徵是，它包括以運動矢量(D(z，Tj)的形式來估算虛設電視場(Tj)中每個像素的運動，該運動矢量對應於像素P(z，Tj)，在兩個時刻為Ta和Tb的電視場間的位移，該矢量通過當前點P(z，Tj)，並且它的兩個端點分別位於時刻為Ta和Tb的圖像電視場上，估算是通過按照梯度算法對位移矢量Di(z，Tj)進行迭代的計算來實現的，該梯度算法能使虛設電視場Tj中當前點亮度的局部變化方差為最小。
18.根據權利要求17的方法，其特徵是，每個第i次迭代的位移Di(z，Tj)是從前一次，即第i-1次迭代獲得的位移矢量Di-1(z，Tj)出發，依據下述關係式而求得的Di(z，Tj)＝Di-1(z，Tj)-(DFD(z，Di-1)×grad L(z，Di-1))×2(grad L(z，Di-1))2)-1其中z代表當前點P(z，tj)空間中的坐標，位移矢量D(z，Tj)正是對該當前點估算的。-DFD(z，Di-1)代表在時刻為Ta和Tb的電視場之間計算的位移場間差。-以及grad L(z，Di-1)代表空間梯度，即關於位在時間為Ta和Tb的電視場上的位移矢量Di-1的兩端點的空間梯度的和的一半。
19.根據權利要求18方法，其特徵為，對於像素當前點P(z，Tj)的運動矢量D(z，Tj)估算是從5個初始位移矢量出發計算的，這5個初始位移矢量對應於已經對位於當前點原鄰域中的4個鄰近點估算出來的4個運動矢量和一個對當前點估算的時間預測初始矢量，這5個初始位移矢量給出5個估算運動矢量，在這5個估算運動矢量中，只有能給出具有最小場間差的梯度算法的收斂性的那個運動矢量才被保留下來。
20.根據權利要求18和19中的任一個的方法，其特徵為，位移場間差DFD(z，Di-1)是通過計算當前點P(z，Ti)的亮度值沿著位移Di-1方向的時間差來獲得的，該當前點已經在時刻為Ta和Tb的電視場中發生了位移。
21.根據權利要求20的方法，其特徵是，分別在時刻為Ta和Tb的電視中位移了的當前點的亮度LA和LB是通過對圍繞一個點的4個像素的亮度值1n作雙線性插值來獲得的，那個點是所考慮矢量的端點，分別位在Ta和Tb中。
22.根據權利要求17至21中的任一個的方法，其特徵是，每個位移矢量Di都是從由前一次迭代算得的位移矢量Di-1中減去一個修正項來獲得的，該修正項等於位移場間差DFD(z，Di-1)和以下兩個量的乘積亮度的空間梯度grad L(z，Di-1)和位移矢量Di-1的，位於時刻為Ta和Tb的電視場中的端點上的空間梯度的和值之半的倒數。
23.用來實施根據權利要求15至22中的任一個的方法的裝置，其特徵是，它包括一個與圖像電視場存貯器(33)相耦合的行存貯器(32)，用來分別存貯圖像上一定數量的，圍繞當前點P(z，Ti)的對應點的點的亮度值和時刻為Ta和Tb的電視場上圍繞當前點對應點的點的亮度值;它還包括一個位移估算裝置(38)，該裝置與行存貯器(32)，圖像電視場存貯器(33)以及決策單元(36，37)相耦合，以便從包含在行存貯器和電視場存貯器中的點的亮度值以及它含在初始化模塊(39)中的至少一個初始位移矢量出發，對圖像的每個當前點P(Z，Ti)計算一個位移矢量。
24.根據權利要求23的裝置，其特徵在於，位移估算裝置至少包括一個收斂檢驗模塊(44，49，54，59，64)，一個修正項計算模塊(45，50，55，60，65)和一個新位移計算模塊(47，52，57，62，67)。
25.根據權利要求24的裝置，其特徵是，收斂檢驗模塊一方面包括一個用來確定在時刻為Ta的電視場中位移了的當前點的亮度的第一插值電路(70)和一個用來確定在電視場Ta中位移了的當前點的亮度的第二插值電路(70′)和一個與第一、第二插值電路(70，70′)相耦合的計算裝置(71)，它用來計算作為由第一插值電路(70)和第二插值電路(70′)算得的亮度值的函數的位移圖像間差的絕對值，計算裝置(71)的輸出口是通過第一交換器(72)和第二交換器(73)與決策單元相耦合的;收斂檢驗模塊另一方面還包括第一和第二梯度計算裝置(74，74′)，它們與第三個計算裝置(75)相耦合，這第三個計算裝置是用來計算由第一和第二計算裝置給出的梯度的平均值的，它又與第四個計算裝置(75′)相耦合，後者是計算位移平均梯度的平方和的。
26.根據權利要求24和25的裝置，其特徵是，修正項計算模塊包括用來計算ε值的第五個計算裝置(76)，ε值等於由第四計算裝置(75′)提供的位移平均梯度的平方和的倒數除以2，第五計算裝置通過增量計算裝置(77)與修正計算裝置(78)相耦合，後者一方面與第三計算裝置(75)相耦合，另一方面與第二計算裝置(73)相耦合，以便計算作為由計算裝置(71)提供的位移圖像間差絕對值以及作為ε值的函數的修正項;修正項計算模塊還包括至少一個比較電路(79，80)，以便限制由修正計算裝置(78)得到的修正項值。
27.根據權利要求26的裝置，其特徵是，新位移計算模塊包括減去電路(81，82)，以便在由增量計算裝置(77)所控制的每一次新迭代中從由前一次迭代中計算出並在初始化模塊(39)中處理的位移值中減去修正項，從而能在每次新迭代中得到新的位移值，並在初始化模塊(39)中對它們進行處理。
28.根據權利要求7至14和23至27中的任一個的裝置，其特徵是，初始化模塊(39)是與時間預測裝置(42)相耦合的，後者能計算在當前電視場後面的電視場中的交點以及最接近於交點的像素，並把當前點的運動矢量與這個點聯繫起來。
29.根據權利要求1至6和15至22中的任一個的動畫圖像系列中的運動估算方法，其特徵是，它包括，對於每個估算的位移矢量Dpj只通過一次迭代來計算當前點亮度與位移了距離Dpj的前一電視場中其亮度值之間的位移圖像間差值DFD(Dpj);它又包括，對所得到的DFD值的絕對值進行比較(101)，以便選出對應於最小DFD(Dpj)絕對值的估算位移矢量Dpj;它還包括，通過執行從所選位移矢量的空間梯度和相應的DFD(Dpj)值出發的梯度算法來計算(102……107)當前位移矢量Dj。
30.根據權利要求29的方法，其特徵是，當前點的空間梯度是通過考查最接近位移矢量的各個端點的4個點來計算的。
31.根據權利要求30的方法，其特徵是，每個位移矢量端點的梯度是通過在處於位移矢量端點的鄰近兩側的每個行上測度亮度值差(L1、L2、L3、L4)來計算的，該亮度值差是屬於處在位移矢量端點的每個鄰近行上的兩個點的，其測度是通過對在每個行上得到的亮度差取平均值來完成的。
32.根據權利要求31的方法，其特徵是，在圖像的垂直掃描方向上，每個位移矢量端點的梯度是通過在處於位移矢量端點的鄰近兩側的每個列上測度亮度值差(L1、L2、L3、L4)來計算的，該亮度值差是屬於處在位移矢量端點的每個鄰近列上的兩個點的，其測度是通過對在每個列上得到的亮度差取平均值來完成的。
33.根據權利要求29至32中的任一個的方法，其特徵是，它包括使正在其上作運動估算的每個圖像對旋轉四分之一圈。
34.根據權利要求29至33中的任一個的方法，其特徵是，為了填補存在於時間投影之後的運動預測場之中的空洞，它包括，對於每個當前空洞，考慮其周圍4個像素的矢量(如果它們存在);它還包括，把運動矢量定義為存在的矢量分量的平均值。
35.根據權利要求34的方法，其特徵是，為了定義一個與空洞相聯繫的矢量;它包括選出對當前空洞像素能給出最小位移圖像間差DFD絕對值的矢量。
36.根據權利要求34的方法，其特徵是，它包括選出最接近於存在矢量的平均值的矢量。
37.根據權利要求29至36中的任一個的方法，其特徵是，它包括利用濾波來對當前圖像中的每個點來定義多個時間預測量，濾波是利用由時間投影給出的運動場的濾波器組來實現的。
38.根據權利要求29至37中的任一個的方法，其特徵是，為了定義每個新的預測場，它包括執行時間投影之前的運動場的空間濾波。
39.為了實施根據權利要求29至38中的任一個的方法的裝置。
40.根據權利要求38的裝置，其特徵是，它包括對由時間投影得到的運動場進行濾波的手段。
全文摘要
本方法包括，通過執行，能使得圖像當前點對於前面圖像中的對應點的亮度局部變化，方差為最小的梯度算法(2，3)來估算運動；它還包括，通過按照在當前點原鄰域內的多個方向來估算的位移值，以及通過圖像的相繼電視場之間的位移的時間，預測初始矢量來初始化(7)算法的執行；它又包括，每個估算都沿著圖像的行掃描方向傳播。該方法可應用於高分辨數位電視。
文檔編號H04N7/26GK1041466SQ8910817
公開日1990年4月18日 申請日期1989年9月23日 優先權日1988年9月23日
發明者菲利普·羅伯特, 派屈克·皮諾, 帕斯卡爾·巴斯特 申請人:湯姆森日用電子產品公司