降低複雜度的運動補償的時間處理的製作方法

2023-04-25 08:03:46 2

降低複雜度的運動補償的時間處理的製作方法
【專利摘要】一種用於預分析目的的用於降低的複雜度的運動補償的時間處理的方法和系統。通過減少用於分析而處理的圖片的數目、減少用於分析的參考的數目、和/或在空間上二次採樣輸入圖片來降低處理複雜度。
【專利說明】降低複雜度的運動補償的時間處理
[0001]對相關申請的交叉引用
[0002]本申請要求2011年9月29日提交的美國臨時專利申請N0.61/541，028的優先權，其全部內容通過引用合併於此。

【技術領域】
[0003]本申請涉及視頻數據處理的領域。更具體地，本申請描述利用以前過去或將來的圖片作為參考來產生當前圖片的運動補償預測的處理。

【背景技術】
[0004]運動補償時域分析(MCTA)是對包括壓縮性能/效率的優化、濾波、和視頻內容分析和分類的各種應用有用的工具。MCTA後的前提是表徵視頻信號的時間相關性的採用。通常，視頻中的圖片將與先前圖片共享相似的內容。這對壓縮和濾波具有深遠的影響。壓縮是有益的，因為當前圖片中的塊可以被預測為一些先前圖片中的移位的、扭曲的、或加權的塊。位移參數被稱為運動矢量並被需要以創建當前塊的運動補償的預測。如果用於預測當前塊的運動模型是足夠高效的，則當前塊與它的運動補償的預測之間的差距將是低的，並且因此易於壓縮。但是，濾波也可以是有益的。如果預測足夠接近圖片中的當前塊，則可以推測預測塊正是具有不同噪聲特性的當前初始塊。但是，當前塊也被假定是原始源塊的變形版本，同樣具有不同的噪聲特性集合。如果每個塊中的噪聲被認為具有零平均值並且不相關，則簡單地平均當前塊與來自於一些其它的參考圖片中的它的預測塊將產生具有一半的誤差/噪聲能量的新的塊，其更接近於原始源塊。這可以被擴展到來源於多個參考圖片的任意數目的預測塊的加權組合。
[0005]運動補償時域分析也已經用在時間小波的背景之內以用於視頻壓縮。例如，參見 Y.Andreopoulos、A.Munteanu> J.Barbarien、M.van der Schaar> J.Cornells、和P.Schelkens, 「 In-band mot1n compensated temporal filtering，，，Signal Processing:Image Communicat1n, vol.19, pp.653-673, 和 D.S.Turaga、M.van der Schaar>Y.Andreopoulos、A.Munteanu、 和 P.Schelkens、「Unconstrained mot1n compensatedtemporal filtering (UMCTF) for efficient and fie X ible interframe wavelet videocoding」，Signal Processing:Image Communicat1n, Volume20, Issuel, pp.1-19。 運動補償的時間濾波已被應用在原始像素值(參見以上引用的「Unconstrained mot1ncompensated temporal filtering (UMCTF) for efficient and fieX ible interframewavelet video coding」)以及已被轉換到頻域的值(參見以上引用的「In-band mot1ncompensated temporal filtering」。)。視頻序列被分割成圖片組,每個組被獨立編碼。在那些組之內，運動補償的時域分析用於提供對圖片的子集的運動補償預測。然後運動補償預測誤差用於完善其餘圖片，其再次被利用運動補償來預測。最終的運動補償預測誤差被編碼。即使在視頻編碼器之內的MCTA不由本公開解決，但是呈現在本公開中的一些方法也可以在使用運動補償的時間濾波的視頻編碼器上適用。
[0006]濾波是受益於運動補償時域分析的使用的應用之一。基於運動補償時間濾波的去噪聲的早期算法在 Dubois 和 S.Sabri, 「Noise reduct1n in image sequences usingmot1n-compensated temporal filtering，，IEEE Transact1ns on Communicat1ns, Vol.C0M-C0M-32, n0.7，pp.826-831中得到。本領域中首次貢獻的綜述出現於J.C.Brailean、R.P.Kleihorst、S.Efstratiadis、A.K.Katsaggelos、 和 R.L.Lagendi jk 的 「Noisereduct1n filters for dynamic image sequences:A review，，,Proceedings of the IEEE,vol.83,pp.1272-1292,95年9月。用於基於MCTA的預濾波的更接近的方法出現於J.Llach和 J.M.Boyce 的 「H.264encoder with low complexity noise pre-filtering，，，Proc.SPIE, Applicat1ns of Digital Image ProcessingX XVI, vol.5203, p.478-489,8 月03 ；A.Mclnnis 和 S.Zhong 的「Method and system for noise reduct1n with a mot1ncompensated temporal filter，，，美國專利申請公開 N0.20070014368 ;以及 Η._Υ.Cheong、Α.Μ.Tourapis、J.Llach、和 J.Boyce 的「Advanced Spat1-Temporal Filtering for VideoDe-Noising」，Proc.1EEE Int.Conf.0n Image Processing, vol.2, pp.965-968。「H.264encoder with low complexity noise pre-filtering」(以上引用的)描述了在 H.264/AVC視頻編碼器之內的運動補償模塊的使用以執行時間濾波。由過去圖片的多個運動補償預測被生成並且被平均並與當前圖片混合以執行時間濾波。也利用基於閾值的3X3像素平均濾波器在空間上對圖片濾波。在「Advanced Spat1-Temporal Filtering for VideoDe-Noising」(以上引用的)中提出更先進和一般的方法，其考慮過去和將來的圖片。利用被適配到源信號的特性的加權平均值進行來源於不同圖片的多個運動補償預測的組合。此夕卜，空間濾波採用小波濾波和維納濾波的組合。下面更詳細地描述運動補償時域分析法模塊，其遵循呈現在「Advanced Spat1-Temporal Filtering for Video De-Noising」(以上引用的)中的架構。
[0007]圖1示出實施運動補償時域分析的運動補償時空濾波器的方框圖。輸入到圖1所示的MCTA模塊的是圖像像素，並且可選地，在分析模塊中初始化運動模型和空間濾波的運動和空間濾波參數。處理布置由下列主要組件構成:
[0008]1.空間濾波器(小波、維納濾波器，其它)。
[0009]2.利用任意運動模型的運動估計和補償。
[0010]3.時空去塊化濾波器(可選的)。
[0011]4.紋理分析(例如經由空間頻率分析)。
[0012]5.亮度和色度信息模塊。
[0013]圖1中的雙預測運動估計(BME)模塊110執行雙預測的運動估計，而運動估計(ME)模塊120執行單預測的運動估計。下標表示相對於當前圖片的參考圖片的時間距離。雙預測運動補償(BMC)模塊130利用在相應的BME模塊110導出的那些作為運動矢量來執行雙預測運動補償。類似地，運動補償(MC)模塊140利用來自於相應的ME模塊120的運動矢量執行單預測的運動補償。空間(SP)濾波器151、153、155、157執行包括高通和低通濾波一集去塊化等的各種功能。緩衝器Buffl 161和Buff2 163包含先前和將來的空間上和時間上濾波的圖片。權重w被調整以最小化預測誤差。輸入圖片可以由三個可用的空間濾波器151、153、155中的一個在空間上濾波，其參數可根據已經由MEMC組件處理的圖片的統計量來調諧。注意可以使用除了圖1中具體描述的之外的時空濾波拓撲。例如，BME模塊110可以對諸如-M、+N之類的不同時間距離的幀進行操作。
[0014]每個輸入圖片利用一些參考圖片經歷運動估計，以輸出該圖片的運動補償的預測。輸入圖像被分割成可以具有任意大小(例如8X8像素)的像素塊或區域。對於本公開，術語圖片的塊、區或區域可互換地使用。利用運動估計將當前圖片中的塊η與從參考圖片n-k的一些部分生成的預測塊進行匹配。ME組件確定指向預測塊的運動參數。為了生成此預測塊，MC模塊140需要由ME模塊120傳遞的運動參數。選擇的運動參數最小化原始當前塊與導出的預測塊之間的一些代價。在許多可能的代價當中，可以使用的一個是原始塊與預測塊之間的平均絕對差(MAD)。可替換代價可以包含MAD加上表示運動場相似性的值的總和。運動場平滑性或相似性要求屬於相鄰塊的運動參數相似或相關。運動場相似性降低編碼運動參數需要的比特數目，並且可以減少在應用於產生當前圖片的運動補償預測時的塊化假象。
[0015]—般，來自於圖片n-k中的圖片η的運動補償(MC)預測創建從圖片n_k中汲取的預測塊。然後MC組件採取來自於參考圖片n-k中的預測塊並且將它們組合以形成最佳逼近圖片η的運動補償的圖片。注意用在ME和MC模塊120、140中的運動模型可以利用任何已知的全局和本地運動模型，諸如仿射和平移運動模型。
[0016]運動估計和補償不被限制到僅僅如圖1所示的先前圖片。事實上，k可以採取正負值並且運動補償使用多個參考圖片，如圖2所示。圖2示出利用來源於過去和將來圖片的塊的加權線性組合對當前圖片的預測。一個假設使用圖片η-1作為參考，而另一個將使用圖片n-N。也使用圖片n+1至n+N。注意利用來自於將來的參考圖片導致延遲，因為在完成圖片η的運動估計之前高達N個將來圖片將必須被緩衝。為了低遲延的應用，可以限制運動補償以採用過去的圖片作為參考。
[0017]圖片η中的塊的運動補償預測也可以是來源於不同的參考圖片的多於一個預測塊的線性加權組合。在一個可能的布置中，圖片η中的當前塊可以被預測為從圖片η-2導出的預測塊和從圖片n+1導出的預測塊的線性加權組合。此特定預測結構也稱為雙向預測。在另一個可能的配置中，預測塊可以是從圖片η-1導出的預測塊和從η-2導出的另一個預測塊的線性加權組合。整體的預測(利用平移運動模型的加權預測)在下面等式I中表示為:
[0018]p?(i,i) = XP* XΛ-*(i + Vjrif 』 J + VyJ))+ο 等式 ι
[0019]不考慮部分像素運動補償預測，圖片η中的塊的像素pn(i，j)可以被預測為圖片n-m至圖片n+m中的移位塊的線性加權組合。注意m是正數。在其它可能的實現中，組合不需要是線性的。
[0020]注意如等式I所述的多個假設下的運動估計和補償的特例是所謂的重疊塊運動估計和補償。在圖18中描述重疊塊運動補償和估計的示例。在圖18中，塊的中心部分被利用單個運動矢量(MV)預測為單個預測塊，但是，塊邊界是通過利用當前塊MV產生的預測樣本以及通過利用相鄰塊的MV產生的樣本二者的完全加權線性平均。例如，頂部重疊區是當前MV和在當前塊的頂部的塊的MV 二者的加權平均。在左上方的重疊區類似地是利用當前、左、左上方、和頂部塊的四個MV預測的樣本的加權平均。此類技術可以減少在塊邊緣處的塊化假象，以及其它益處。
[0021]運動估計方案也可以採用分級策略。分級策略可以既通過避免局部極小值改善估計性能但是也可以甚至幫助估計速度。一般，這些方案執行某種空間二次採樣，導致圖像金字塔，其中在每個級別輸入圖像可以通過例如2的恆定比例被二次採樣。首先在最高(最低分辯率級別)分層結構級別處執行運動估計。然後在此級別導出的MV被歸一化到下一個較低級別(例如乘以2)並且被用作預測器或對下一個級別的約束。在下一個級別再次執行ME，利用等比例的MV作為預測器和約束。此處理重複直到在原始的最高解析度處導出W。利用先前級別作為預測器，可以限制用於下一個級別的搜索範圍。
[0022]MEMC框架可以生成如圖3和圖4所示的多個MAD預測誤差度量。圖3示出利用MEMC框架和來自於過去的一個參考的MAD計算。圖4示出利用MEMC框架和來自於將來的兩個參考的MAD計算。在運動估計期間生成一組預測誤差度量並且其對應於每個參考塊或參考塊的組合，其又可以來源於不同的圖片。可以在已經對於當前圖片中的所有塊完成運動補償之後計算第二個。運動補償可以創建不需要的塊化假象。可以通過對最終運動補償圖片應用去塊化濾波器減小這些假象。此外，構成最終預測圖片的塊不一定來源於相同的幀(塊可以是從若干參考幀中選擇出來的)。例如，一個塊可以是圖片η-1和η-2中的塊的加權組合，而另一個塊可以從圖片η+2中預測。因此，此最終預測圖片與原始圖片之間的MAD預測誤差可以不與ME預測誤差的總和相同。例如，對最終運動補償預測參數應用去塊化可以導致MAD預測誤差與ME預測誤差的總和之間的差異。
[0023]運動補償時域分析模塊可以用於改善壓縮性能和濾波質量。模塊可以改善圖片和場景複雜度分類(預分析)。預分析可以顯著地影響壓縮性能和視覺質量。它可以用於分類場景和拍攝、檢測場景改變和諸如衰落之類的逐漸場景轉變。它也可用於預測場景複雜度，其然後可以用於優化比特率分配和在視頻編碼器處使用的運動補償預測結構(例如是否、以及多少、以及何處放置雙預測編碼的圖片)。
[0024]時域分析系統的複雜度可以是相當大的。考慮使用利用兩個過去圖片和兩個將來圖片的運動補償預測每個輸入圖片的示例。最初，每個圖片塊可以從來自於四個可能的參考圖片中的一個中的單個塊預測。這將需要代價大地進行四次運動估計。但是，如等式I所示，預測塊可以通過線性地組合來源於不同的(乃至相同的)參考圖片的任意數目的預測塊形成。對於多個假設，例如預測塊作為與不同的MV並且甚至不同的參考圖片對應的多個預測塊的線性組合，必須聯合估計多個運動矢量。這裡注意，在用於單預測時最優的運動矢量可以不與在它是多個平均的參考中的一個時用於同一參考圖片的最優運動矢量相同。可以這樣做以簡化估計但是結果將次優的。僅僅所有MV的聯合估計將提供最優性能。但是，這在計算上通常是不可實行的。即使這被限制到雙預測運動估計，這也將需要用於兩個塊O和I的運動估計的聯合優化(其將基本上導致測試參考幀的所有成對組合)。為了實現這一點，已經建議應用迭代運動估計，其中預測塊O被固定並且應用運動估計以得到最佳的預測塊I。在下一步驟中，塊I被固定，並且應用運動估計以得到新的並且更佳的塊O。再一次，塊O被固定並且應用運動估計以完善塊1，等等。因此，即使時間濾波可以改善壓縮性能和視覺質量，它也很複雜並且通常保留給諸如其中計算複雜度不是大的問題的DVD和廣播編碼之類的高端應用。
[0025]運動補償的預分析的複雜度成本變得對功率和存儲器受限的應用是禁止的。由於對於輸入圖片和它的可能參考圖片的每個組合不得不執行大量運動估計計算，功率使用率受到損失。此外，存儲器複雜度是高的，由於在運動估計和補償處理期間不得不在存儲器中維護大量過去和將來參考圖片。存儲器複雜度受到損失，因為運動補償參考的大小可以是大於原始輸入大小的數量級。例如，如果四分之一像素運動補償用於預測塊，則存儲四分之一像素的準確圖片參考需要的存儲器將是4X4=16倍存儲原始輸入圖片需要的存儲器。
[0026]因此，期望降低運動補償時間預分析的計算和存儲器複雜度同時考慮實現高性能預分析、濾波、和運動參數生成的方法和系統。

【專利附圖】

【附圖說明】
[0027]圖1是運動補償時空濾波器的方框圖。
[0028]圖2示出了利用來源於過去和將來的圖片中的塊的加權線性組合對當前圖片的預測。
[0029]圖3示出利用MEMC框架和來自於過去的一個參考的MAD計算。
[0030]圖4示出利用MEMC框架和來自於將來的兩個參考的MAD計算。
[0031]圖5示出利用用作參考的兩個過去圖片和兩個將來圖片的運動補償處理。
[0032]圖6是運動補償的時間預分析的方框圖。
[0033]圖7示出了用於預分析的緩衝的圖片。
[0034]圖8示出利用對奇數幀的四個運動分析和對偶數幀和1:2 二次採樣的I個運動分析的低複雜度的時間運動補償預分析。
[0035]圖9示出通過因子3對運動分析的時間二次採樣(1:3 二次採樣)。
[0036]圖10示出了通過採樣所有圖片的時間預分析。
[0037]圖11示出利用對圖片的自適應採樣的時間預分析。
[0038]圖12示出受平行化作用的預分析的可替換結構。
[0039]圖13示出一般時間預分析二次採樣結構。
[0040]圖14示出分析的圖片和以一半幀速率分析視頻序列的參考圖片的時間二次採樣。
[0041]圖15示出了對場景改變的檢測的二元搜索。
[0042]圖16示出以一半幀速率分析視頻序列並且可以使用任何參考圖片時分析的圖片的時間二次採樣。
[0043]圖17是用於二次採樣的時間預分析完善的二元搜索的方框圖。
[0044]圖18描述重疊塊運動補償和估計的示例。
[0045]圖19示出用於分級預分析的方框圖。

【具體實施方式】
[0046]在下面描述中，為了說明目的，闡述許多細節以便提供對本發明的各個實施例的徹底的理解。但是，本領域技術人員將清晰，在沒有一些細節的情況下也可以實踐本發明的實施例。在其它實例中，公知的結構和設備以方框圖形式示出以便避免不必要地模糊本發明。
[0047]以下的公開描述用於利用運動預測/補償對視頻序列的降低複雜度的時間預分析的方法。可以在圖6中得到此類系統的一般圖。此類系統由下列主要組件構成:(a)空間向下採樣模塊610，(b)運動補償預分析組件620，(c)預濾波器630，和(d)視頻編碼器640。預分析組件620接收輸入幀601和由向下採樣模塊610生成的二次採樣幀603。運動補償時間分析器由於對運動估計的處理而具有高的計算和存儲複雜度，其與用於運動補償預測的可用參考圖片的可能組合成比例。利用以下馬上列出的各種方式可以降低複雜度:
[0048](a)可以經由二次採樣減少處理的圖片的數目。此方法採用時間二次採樣。
[0049](b)也可以減少用於運動估計和補償的參考的數目。
[0050](c)可以利用一些向下採樣空間濾波器或可選地某種比特深度二次採樣/減少技術對輸入圖片在空間上進行二次採樣。在以下的補充細節中描述用於複雜度降低的方法。
[0051]一般，本公開將參考兩種類型的樣本，從其它參考圖片預測的採樣的輸入圖片，和表示被用於採樣的輸入圖片的運動補償預測的參考圖片的參考圖片樣本。
[0052]給定目標應用實際布置不同並且影響整個預處理系統的效率。給定這裡討論的方法預期用於的應用，這裡討論的方法可以被特徵化。目標應用列舉如下:
[0053](a)圖片和場景複雜度分類。
[0054](b)比特率分配。這密切地取決於(a)。
[0055](C)視頻編碼器預測結構確定。這也密切地取決於(a)。
[0056](d)預濾波。
[0057]以下馬上概括本發明的六個實施例。將在本公開後面部分中的進一步細節描述這些實施例。本領域技術人員將理解這六個實施例是示例實施例並且附加的實施例在本公開的範圍之內。
[0058]在第一不範性實施例中，對於某些米樣的輸入圖片減少參考圖片樣本，而所有輸入圖片被採樣以處理。可以對所有或某些採樣的輸入圖片減少參考圖片樣本的數目。減少的模式可以是任意的，但是優選地它用這樣方法被組織以使得可以從產生的參數推斷缺失的統計和參數。模式也可以是周期性的並且它也可以適應於底層視頻序列的統計。例如，低運動視頻序列可以需要低的採樣率而高運動視頻序列可以需要高的採樣率。如以下的補充細節所述，根據此第一實施例的處理可以適應於內容。
[0059]上述採樣率指代參考圖片樣本。此複雜度減小技術與所有以上列出的四個應用兼容。
[0060]在第二示範性實施例中，利用相同數目的參考圖片處理所有圖片，並且與第一實施例相反，採樣的輸入圖片的數目小於輸入圖片的總數(時間向下採樣)。這是輸入圖片的時間向下採樣的情況。在預分析模塊中僅僅處理子集。向下採樣模式可以是任意的或可以是周期性的。最佳地，它適應於視頻信號的底層統計。例如，具有許多活動的場景可以不得不非常頻繁地被採樣，而具有低運動的場景可以利用較低頻率被採樣。關於如何適應採樣頻率的決定可以通過處理包括運動補償預測誤差(諸如SAD或MSE值)和運動模型參數(運動矢量和加權預測/照度補償參數)的過去的統計來導出。類似先前的實施例，根據此第二實施例的處理可以適應於內容。由一到二的因子對採樣的輸入圖片進行二次採樣可以將預分析系統的複雜度減小一半。此複雜度減小技術與應用(a)、(b)、和(C)兼容。時間濾波將是次優的。
[0061]在第三示範性實施例中，在第一示範性實施例和第二示範性實施例二者中描述的算法被合併以實現採樣的輸入圖片和參考圖片樣本的二次採樣。採樣模式或者是隨機的、或者是周期性的、或者任意的、或者適應於參考目標應用用於增加的性能的視頻序列的底層統計。類似上面描述的實施例，根據此實施例的處理也可以適應於內容。潛在地，上面列出的所有應用與此示範性實施例兼容。
[0062]在可以與上面描述的上述實施例中的任何一個組合的第四示範性實施例中，輸入圖片此外被在空間域中二次採樣(向下採樣)。此實施例不直接與預濾波應用(d)兼容。但是，它可以幫助大大地降低複雜度(例如對於在每個空間維度中2的向下採樣因子，以因子4降低複雜度)，並且對於應用(a)、(b)、和(C)仍然保持足夠良好的性能。類似上面描述的實施例，根據此實施例的處理也可以適應於內容。
[0063]在第五示範性實施例中，使用在採樣的輸入圖片和參考圖片樣本向下採樣的情況下(參見上面描述的第三示範性實施例)可以保證可靠的場景表徵的算法。此實施例維持預測誤差統計並且如果這些超過某些閾值則啟動二元搜索，其目標是檢測場景轉變，諸如場景改變和衰落，其出現在沒有被採樣為採樣的輸入圖片或者參考圖片樣本的圖片中。
[0064]第五示範性實施例的內容適應可能如下。驅動自適應二次採樣的信息可以來自於先前的預分析過程(下面在第六示範性實施例中描述的)或者通過處理過去的預分析統計而來。運動的模型可以被創建並且對於給定的過去行為試圖預測在場景中的運動。如果過去圖像具有高運動，則頻繁地採樣，如果不，則較不頻繁地採樣。也可以包括回退(如果執行較不頻繁的採樣，但是清楚運動是高的，則進一步的中間採樣可以被獲得以避免誤差)。
[0065]在第六示範性實施例中，先前的實施例可以被修改以創建分級預分析系統，其中執行在某一時空解析度處的第一分析，並且然後給出那個分析的結果，空間解析度或者時間解析度或者兩個解析度被增加並且進一步完善分析。此預分析可以提供在以上實施例中描述的處理然後適應於提供的信息的內容。執行在較低時間或者空間解析度處的分析的優點是整個運動分析是較低複雜的，因為例如搜索更少的樣本。但是，低分辯率搜索可能較不準確，因此本發明的實施例可以合併上面描述的分級分析系統，以改善運動估計的整體準確度同時允許估計的複雜度的降低。
[0066]根據本發明的實施例的系統包括:(a)時間預分析運動估計和補償模塊；(b)空間向下採樣模塊；(C)引入延遲並且使能利用將來參考圖片用於運動補償預測的緩衝存儲器模塊；以及(d)使它的編碼參數、比特分配、和預測結構適應從預分析模塊接收到的信息的可選的視頻編碼器。系統另外可以包括從預分析模塊中接收運動參數和其它控制信息的預濾波器。
[0067]本發明的實施例通過使用時空二次採樣降低運動補償時間預分析和預濾波系統的複雜度。在圖7中示出了用於一般預分析系統的圖片緩衝。緩衝所有或者一些輸入圖片並且對於所謂的當前圖片(具有最暗光影的一個)利用來自於過去和將來二者的參考圖片作為預測參考圖片執行運動補償的時域分析。在如圖10所示的傳統的運動補償時域分析中，利用MCTA採樣並且處理所有輸入圖片。考慮例如圖5的情況，其中來自於將來的兩個運動補償的參考和來自於過去的兩個運動補償的參考用於預測當前圖片。讓MVu，v表示利用運動估計導出的從圖片u預測圖片V的運動參數。在時刻T=n處，利用運動參數MVn_2，n從圖片η-2預測圖片η，並且也利用運動參數MV1^n從圖片η_1預測。也利用運動參數MVn+2，n從圖片η+2並且利用運動參數MVn+i，n從圖片n+1預測圖片η。然後，繼續前進到下一個圖片，利用運動參數從圖片η-1並且也利用運動參數MVn，n+1從圖片η預測圖片n+1。再次，預測從將來圖片發生:利用運動參數MVn+2，n+1從圖片η+2並且也利用運動參數MVn+3，n+1從圖片n+3預測預測圖片n+1。對於所有採樣的輸入圖片:n+2、n+3、等等，繼續相同的處理。為了簡化這裡討論的示例，假定每個預測(這裡的四個)從單個圖片導出。下面描述的實施例也可應用於其中每個預測由來源於不同參考圖片的塊組成的情況。
[0068]在第一示範性實施例中，參考圖片樣本數目隨每個採樣的輸入圖片而變。在處理輸入圖片方面不執行時間向下採樣:所有輸入圖片被採樣並且處理。在一個示例中，對於每個採樣的輸入圖片假設最大數目的參考圖片樣本，對於特定採樣的輸入圖片減少用於運動估計和補償的參考圖片的數目。在此方法的一個可能布置中，用於參考圖片樣本的採樣模式是周期性的，周期為二，並且在圖8中示出。運動估計和補償保持對偶數編號的輸入圖片保持不變。但是，對於奇數圖片，限制運動估計和補償操作。從最遠的將來圖片到當前圖片僅僅執行四個操作當中的一個操作。例如，對於時刻n+1，利用輸出運動模型參數MVn+3，n+1的參考圖片n+3預測圖片n+1。對於利用輸出運動模型參數MVn+5，n+3的參考圖片n+5預測的圖片n+3同樣如此。如果運動預測是不可用的，則將運動預測限制到最遠的圖片的動機必須處理不能重構這些運動參數。但是，對於圖片η+2的三個缺失的運動參數可以從先前採樣的輸入圖片的運動參數推斷。考慮例如圖片n+3。缺失的運動參數是MVn+1，n+3、MVn+2，n+3、和
MVn+4，n+3 °
[0069]在一個實施例中，可以如下估計缺失的參數:
[0070](a)MVn+1,n+3被估計為通過處理圖片n+1可用的_MVn+1，n+3或者為在處理圖片η+2之後可用的(MVn+1，n+2-MVn+3，n+2)。負號表示平移運動參數的符號是相反的。在加權的預測參數情況下，權重被相乘(對於加號)或者相除(對於負號)。對於較高階運動模型，一些類型的投影或者運動線程用於跟隨從一個圖片到其它的運動。
[0071 ] (b) MVn+2，n+3被估計為通過處理圖片η+2可用的_MVn+3，n+2。
[0072](c)最後，MVn+4；n+3被估計為可以從處理圖片η+2中獲得的0.5XMVn+4；n+2或者為在處理圖片之後可用的(MVn+4，n+2_MVn+3i，n+2)。
[0073]類似方法可以使用於估計採樣的輸入圖片n+1的運動參數。這些重構的參數然後可以用於圖片和場景分類、濾波和視頻編碼優化，如同將使用原始的參數。在視頻編碼器操作者不確信它們的可靠性的情況中，一些功能可以被限制，即，在產生預測塊的加權的線性組合期間，與用於更可靠的預測的那些相比較，用於平均不可靠的預測的權重可以被降低。
[0074]可以為所有或者某些採樣的輸入圖片降低用於運動補償預測的參考圖片的數目。向下採樣模式可以是任意的，但是優選地它用這樣方法被組織以使得可以從如上所述產生的參數中推斷缺失的統計和參數。在上面描述的示範性實施例中，向下採樣率大約是I比
2。一般，用可以從被完全地處理的圖片的運動參數容易地估計缺失運動參數的方法(周期性的或者看起來任意的)禁止運動預測。這可以從單個方向(過去)或者兩個方向(過去和將來)進行。二次採樣模式也可以是周期性的並且它也可以適應於底層視頻序列的統計。例如,低運動視頻序列將需要低的採樣率而高運動視頻序列將需要高的採樣率。上述採樣率是指參考圖片樣本。參考圖片的數目的減少可以被按上面描述的分級預分析系統的方式組織。
[0075]在第二示範性實施例中，參考圖片樣本的數目被保持相同，並且與第一示範性實施例相反，採樣的輸入圖片的數目可以小於輸入圖片的總數。此外，用於運動補償預測的參考圖片僅僅從採樣的輸入圖片中提取。此方法的特例將每第二視頻序列每原始30幀的每個第二版本分析15幀。圖14示出此情況。代替在圖10中採樣所有輸入圖片，採樣模式可以如圖13所示的一個一般。向下採樣模式可以是任意的或者可以是周期性的。通過一到二的因子對採樣的輸入圖片進行二次採樣可以將預分析系統的複雜度減少一半。示範性採樣模式包括圖11和圖12所示的模式。
[0076]圖11所示的採樣模式將輸入圖片的採樣頻率適應輸入視頻的統計。輸入圖片最初以一半輸入速率被米樣，然後以輸入速率的三分之一，繼之以一半輸入速率米樣，然後以輸入速率的相等速率，等等。圖11中的插入圖示出對於圖片n+28到圖片n+37的一些細節:從那些10個圖片當中，五個正在利用運動補償時域分析被採樣並處理。舉例來說，描述圖片n+31的分析。從已被採樣的時間上最接近的兩個過去圖片:圖片n+28和圖片n+29，預測圖片n+31。它也被從兩個將來圖片:n+33和n+37預測。
[0077]具有許多活動的場景可以不得不非常頻繁地被採樣，而具有低運動的場景可以利用較低頻率被採樣。關於如何適應採樣頻率的決定可以通過處理包括運動補償的預測誤差和運動模型參數(運動矢量)的過去的統計導出。適應採樣頻率的另一個方式是通過一些預先準備:每幾個幀一次，當前幀，即幀n，利用幀n+N (N是正的)預測，其中N足夠大。根據參考一些預先定義的或者固定的閾值的預測誤差的值，然後可以適應用於區間[n+1, n+N-1]中的巾貞的採樣頻率。壓縮採樣的原理(參見例如，E.J.Candes, 「CompressiveSampling，，Proceedings of the Internat1nal Congress of Mathematicians, Madrid,Spain，2006)可以用來最優地改變用於輸入視頻信號的採樣頻率，導致相當大的計算和存儲複雜度增益。另外，第一快速預分析過程可以基於輸入圖片的空間上二次採樣的版本執行並且此信息被處理以最優地適應用於完全解析度原始採樣的輸入圖片的採樣模式。
[0078]在圖9中示出了具有I比3的向下採樣率的低複雜度的運動補償時域分析模塊的示例。在圖8中的結構使用過去圖片運動參數估計缺失的那些，在圖9中的結構被設計為利用雙向缺失運動參數估計。這引入三個圖片的延遲，但是允許在運動參數準確度中對於較小損失的較大的複雜度減小。圖9示出利用來自於過去和將來二者中所有可用的預測參考充分地處理圖片η和n+3。對圖片n+1和η+2不進行運動估計和補償。但是，缺失的運動模型參數可以從用於預測圖片η和n+3的運動參數估計。
[0079]對於圖片n+1，缺失參數可以被估計如下:
[0080](a) MVn_1;n+1被估計為在處理圖片η之後可用的(MVn_1;n-MVn+1，n)。
[0081](b)MVn；n+1被估計為在處理圖片η之後可用的_MVn+1，n。
[0082](c) MVn+2，n+1被估計為0.5XMVn+2，n或者為在處理圖片η之後
[0083]可用的(MVn+2，n_MVn+1，n)。
[0084](d) MVn+3，n+1被估計為在處理圖片η之後可用的_MVn+1，n+3。
[0085]對於圖片n+3，缺失參數可以被估計如下:
[0086](a) MVn，n+2被估計為在處理圖片η之後可用的_MVn+2，n。
[0087](b)MVn+1；n+2被估計為在處理圖片n+3之後可用的0.5XMVn+1，n+3或者為在處理圖片η之後可用的-0.5XMVn+2，n。
[0088](c) MVn+3，n+2被估計為在處理圖片n+3之後可用的MVn+2，n+3。
[0089](d) MVn+4，n+2 被估計為在處理圖片 n+3 之後可用的(MVn+4，n+3_MVn+2，n+3)。
[0090]在第三示範性實施例中，如上對於第一示範性實施例和第二示範性實施例描述的算法被組合以實現採樣的輸入圖片和參考圖片樣本的二次採樣。採樣模式或者是隨機的、或者是周期性的、或者任意的、或者適應於視頻序列的底層統計以便針對目標應用提高性能。二次採樣可以用於輸入圖片，但是任何圖片可以被用作預測參考，包括沒有被採樣的輸入圖片。圖16示出了此類二次採樣，其中任何圖片可以被用作預測參考。此採樣模式與在圖14中示出的一個相比較的優點是改善的時間分析。雖然在圖14中的結構僅僅分析偶數的或者奇數的圖片，但是諸如在圖16中的在參考圖片方面不受約束的採樣結構可以收集關於序列中所有圖片的信息。例如，考慮以下情況，其中具有指數n+4Xk (其中k是整數)的圖片從最接近的偶數指數的圖片預測，並且具有指數n+4Xk+2 (其中k是整數)的圖片從最接近的奇數指數的圖片預測。即使一半圖片被採樣和處理，參考圖片也可以被設置為包括沒有被採樣的圖片並且因此計算諸如MAD預測誤差之類的關鍵統計。這些統計可以便於非常可靠的場景和以大約一半的計算複雜度的圖片複雜度分類。與圖14相比較唯一的缺點是存儲器複雜度保持大約相同。
[0091]在可以與上面描述的示範性實施例中的任何一個組合的第四示範性實施例中，輸入圖片另外被在空間域中、並且可選地在比特深度域中二次採樣(向下採樣)。此方法可以幫助大大地降低複雜度(例如對於每個空間維度中2的向下採樣因子，以因子4降低複雜度)，並且對於如下應用仍然維持足夠良好的性能，這些應用諸如(a)圖片和場景複雜度分類；(b)比特率分配；以及(c)視頻編碼器預測結構確定；如上指示的。這可以對於部分或者整個圖像序列進行。
[0092]參考圖片的空間二次採樣可以使用不引入混疊的技術，因為混疊可以反面地影響運動估計處理，考慮到它可以導致的「假象」和新的「頻率」信息。因此最好是首先應用抗混疊濾波器以試圖儘可能避免混疊的引入。當然仍然容許一些混疊。也可以期望不濾波太多，因此可以仍然保持諸如邊緣(強濾波可以影響此類信息)之類的信號的最重要的特性。
[0093]濾波也可以是將信號從一種形式轉換到另一種形式的類型。具體地，特別是對於硬體應用，可以採取N比特信號並且將它轉換成M比特，M〈N。M甚至可以等於I (即轉換成為二元圖像)。然後可以對此類邊緣圖像信息計算運動信息。可以被看作比特深度二次採樣的此方法可以被容易地與空間和時間二次採樣方法結合。通常推薦首先應用時間的、然後空間的(抗混疊濾波器的應用，繼之以向下採樣)、並且然後比特深度的減少。
[0094]運動估計顯然應用在此較低分辯率中(並且如果使用的話，在較低比特深度中)。因為搜索較少樣本，所以這降低了搜索的複雜度，但是當然也降低了準確度。這涉及分級搜索，其中在低於完全解析度的級別處停止搜索。甚至在空間二次採樣處的運動估計，並且可選地比特深度二次採樣級別處的運動估計可以仍然受益於分級運動估計技術。
[0095]圖12的採樣模式服從並行化，因為不同的CPU或者GPU可以被分配給每組圖片。一般，此採樣模式包括M個連續的採樣的圖片的周期，繼之以不被處理的N個連續圖片。再一次，用於運動預測的參考圖片僅僅從正被採樣的圖片中提取。在圖12的插入圖中示出了用於圖片n+24的運動預測。圖片n+24被從圖片n+23和n+22 (過去)、圖片n+30和n+31(將來)預測。雖然此採樣模式在並行化和複雜度降低方面是高效的，但是它可以在檢測場景改變或者諸如衰落、交叉衰落、閃爍、照相機遙攝和變焦之類的其它重要的場景轉變中具有問題。場景表徵對壓縮效率和隨機訪問目的是非常重要的並且是對時間預分析系統的最關鍵功能中的一個。不失一般性，下面描述場景改變檢測的處理。場景改變檢測可以利用或者空間或者時間處理進行:如果一個圖片具有與另一個非常不同的亮度統計，則場景改變可以發生。相當於，如果在從參考圖片預測當前圖片時運動預測誤差大於某一閾值，則場景改變可以發生。但是，在N是大的時，存在高的在場景改變已經發生很久以後才檢測到場景改變的概率。這也對其它類型場景轉變也是成立的。在圖12中，場景改變可能已經在圖片n+25處發生。但是，運動預測利用參考圖片n+30發生，其將導致大的預測誤差並且可以因此被誤分類為場景改變。
[0096]在圖15中描述的第五示範性實施例藉助於快速的搜索算法(在這種情況下是二元搜索)解決上述問題(即，包括二次採樣的任何採樣模式可以丟失場景轉變)。現在在補充細節中描述所述方法。假設N是沒有被採樣或者用作η和n+N+1的兩個採樣的圖片之間的參考圖片的圖片數目。如果圖片η和它的從圖片n+N+1運動補償的預測之間的預測誤差(例如，MAD)超過閾值，則不得不執行更多的分析以檢測諸如場景改變之類的潛在場景轉變。如果圖片n+N+1和它的從圖片η運動補償的預測之間的預測誤差超過閾值，則這同樣也是有效的。在那種情況下，處理的圖片η或者n+N+1從圖片η+Ν/2預測。如果預測誤差仍然超過閾值，則它從圖片η+Ν/4預測。否則，它從圖片η+3ΧΝ/4預測。此迭代被重複直到搜索空間已被減小到一個圖片並且不再能被二等分。迭代的數目大約1g2 (N)。假設麻0￥表示在圖片u用於預測圖片V時的預測誤差。在圖17中提供用於場景改變檢測和複雜度分類的二元搜索的信息圖。
[0097]如在圖15中描述的示例所示，此處理如下:
[0098](a)利用運動補償從圖片n+8預測圖片n，並且
[0099]得到預測誤差大於閾值I；。
[0100](b)圖片 η 然後從圖片 n+1+ ((n+7) - (n+1))/2=n+4 預測，並且
[0101]得到預測誤差小於閾值?\。
[0102](c)圖片 η 然後從圖片 n+4+ ((n+7) - (n+4))/2=n+6 預測，並且
[0103]得到預測誤差大於閾值T2。
[0104](d)圖片 η 然後從圖片 n+4+ ((n+6) - (n+4))/2=n+5 預測，並且
[0105]得到預測誤差大於閾值T3。
[0106]在二元搜索算法的三次迭代之後，圖片n+5已被檢測為場景改變。
[0107]如上述簡要地討論的，第六示範性實施例合併先前實施例的各方面以創建分級預分析系統，其中執行在某些時空解析度處的第一分析，並且然後給定那個分析的結果，可以增加空間解析度或者時間解析度或者兩個解析度以進一步完善分析。圖19不出用於分級預分析系統的方框圖。第一預分析過程920確定用於執行第二預分析過程922的參數。第一過程920被設計為具有比最終過程更低的複雜度並且估計用於第二過程922的設置(哪種二次採樣、多少參考，等等)以使得最大化此類預分析性能(運動矢量、分類、表徵的質量，等等)。在一個示例中，即使它在低分辯率(時間的和空間的)處操作，第一過程920也確定用於特定片段的高運動。然後它指示第二或者後續過程922使用較高的時間解析度。對於兩個分析過程，可以在分析之前使用向下採樣910、912或者可以對輸入視頻的二次採樣版本執行分析。
[0108]第六實施例也可以合併附加或者後續的預分析過程。如果例如，第一或者較早的預分析模塊確定它導出的統計不是足夠可靠，則可以需要這些過程。可靠性可以被估計為預分析結果的一些統計分析、一些理智校驗、或者與過去預分析統計的比較的函數。然後，可以執行具有增加的時間或者空間或者時空解析度的附加過程。這可以不包括整個輸入序列，而僅僅是其結果被認為是不可靠的子集。
[0109]如上所述的方法和系統可應用於使用任意類型運動模型、以及用於運動補償預測的任意數目的參考圖片的運動補償的時間分析。預測誤差可以或者是平均絕對差、或者均方誤差、或者表示由於誤預測引起的失真的一些其它度量。運動補償的參考圖片可以在圖片之間變化並且可以具有與當前圖片的任意位置和時間距離。它們不需要是連續的。也注意，如上所述的方法和系統適用部分像素運動補償以及用於較高階運動模型的情況，諸如仿射運動模型。
[0110]以上一般描述的實施例的描述對單個視圖視頻圖像操作，即典型的二維視頻圖像。但是，這些操作可以被應用於多視圖視頻圖像，諸如例如三維立體視頻圖像。在一些多視圖應用中，實施例可以獨立地對視圖操作，其中運動估計從與視圖中的一個相關聯的幀集合導出。在其它多視圖應用中，實施例可以對從多個視圖集合導出的數據操作，其中從一個視圖的運動估計可以被用於另一個視圖的運動估計。在其它多視圖應用中，實施例可以使用分析數據以確定運動估計是否應當僅僅基於單個視圖還是多個視圖。具體地，當輸入視頻包括三維立體幀兼容的信號時，如上所述的分析可以主要在一個視圖中進行，但是對於一些幀，也可以對兩個視圖執行。
[0111]呈現示範性和優選實施例的上面詳細描述以便根據法律的需要而例示和公開。它不意指是窮舉的也不將本發明限制到精確形式或者描述的形式，而是僅僅使得本領域的其他技術人員理解本發明如何可以適合於特定使用或者實施方式。許多修改和變化的可能性對本領域的實踐者是明顯的。
[0112]對可以已經包括公差、特徵維度、特定工作條件、工程條件等的示範性實施例的描述不預期是限制性的，並且其可以在實施方式之間變化或者隨目前技術水平而改變，並且不應當從其中暗示局限性。具體地，應當理解公開不局限於特定組成物或者生物系統，其當然可以變化。本公開已經參考當前技術水平做出，而且預期進步並且將來的適應可以考慮那些進步，即根據那時的當前技術水平。預期本發明的範圍由以下撰寫的權利要求書和適用的等效物定義。也要理解，這裡使用的術語僅僅用於描述特定實施例的目的，並且不是意指限制。除非明確說明，對單數的權利元素的參考不是預期意味著「唯一的一個」。用在本說明書和附加權利要求書中的單數形式「一個」、「一」、和「這」包括多個指示物，除非內容清楚地指示。術語「若干」包括兩個或更多個指示物，除非內容清楚地指示。這裡使用的所有技術和科學名詞具有公開所屬的領域的普通技術人員通常理解的同樣的意思，除非另有限定。
[0113]此外，在本公開中的元件、組件、方法或處理步驟不預期專用於公共的，不管元件、組件或者步驟是否在權利要求書中明確地敘述。這裡沒有權利要求元素是依據35U.S.C.See.112第六段條款解釋的，除非利用短語〃用於...的裝置〃明確地敘述元素，並且這裡沒有方法或者處理步驟被依據那些條款解釋，除非明確地利用短語「包括步驟以用於」敘述。
[0114]在本公開中描述的方法和系統可以在硬體、軟體、固件、或者其組合中執行。描述為塊、模塊、或組件的特徵可以被一起(例如，在諸如集成邏輯裝置之類的邏輯裝置中)或者分開(例如，如分開連接的邏輯裝置)執行。本公開的方法的軟體部分可以包括計算機可讀媒介，所述媒介包括在運行時至少部分地執行描述的方法的指令。計算機可讀媒介可以包括例如，隨機存取存儲器(RAM)和/或只讀存儲器(ROM)。指零可以由處理器(例如，數位訊號處理器(DSP)、特定用途集成電路(ASIC)、或者電算(FPGA))運行
[0115]已經描述了本公開的許多實施例。然而，應當理解，在不脫離本公開的精神和範圍的情況下可以做出各種修改。因此，其它的實施例也在以下權利要求書的範圍之內。
【權利要求】
1.一種用於視頻信號的運動分析的方法，包括步驟: 接收視頻信號，其中所述視頻信號包括在選擇的時間處的以下圖片中的至少一個:當前圖片、一個或多個過去圖片、以及一個或多個將來圖片； 生成一個或多個參考圖片，其中所述一個或多個參考圖片中的至少一個基於採樣視頻信號以產生所述一個或多個參考圖片中的至少一個，其中以選擇的時間和空間解析度執行採樣； 基於多個參考圖片計算運動參數； 確定計算的運動參數是否具有期望的準確度； 如果計算的運動參數不具有期望的準確度，則重複採樣視頻信號、生成一個或多個參考圖片、計算運動參數、並且確定計算的運動參數是否具有期望的準確度的步驟，其中重複的採樣視頻信號的步驟包括以增加的時間解析度或者增加的空間解析度或者增加的空間和時間解析度採樣視頻信號，並且其中重複所述步驟直到達到期望的準確度； 指定具有期望的準確度的計算的運動參數作為最終計算的運動參數；以及 基於最終計算的運動參數預測一個或多個選擇的採樣的輸入圖片， 其中運動分析包括所述一個或多個選擇的採樣的輸入圖片的預測。
2.根據權利要求1所述的方法，其中視頻信號包括以下圖像中的一個:單視圖視頻圖像、多視圖視頻圖像、或者單視圖和多視圖視頻圖像的組合。
3.根據權利要求1所述的方法，其中採樣視頻信號包括採樣視頻信號中的每個圖片，並且參考圖片的數目對於所述一個或多個選擇的採樣的輸入圖片中的每一個而變化。
4.根據權利要求1所述的方法，其中所述一個或多個參考圖片對應於少於視頻信號中的每個圖片，並且參考圖片的數目對於所述一個或多個選擇的採樣的輸入圖片中的每一個而變化。
5.根據權利要求3所述的方法，其中計算運動參數包括對於視頻信號中的選擇的圖片約束運動參數。
6.根據權利要求4所述的方法，其中計算運動參數包括對於視頻信號中的選擇的圖片約束運動參數。
7.根據權利要求1所述的方法，其中採樣視頻信號包括選擇性地採樣少於視頻信號中的每個圖片，由此所述一個或多個選擇的採樣的輸入圖片的每一個對應於視頻信號中的一個或多個圖片。
8.根據權利要求7所述的方法，其中選擇性地採樣包括選擇視頻信號中的圖片以用於以下列模式中的至少一個進行採樣:周期性模式；非周期性模式；或者周期性和非周期性模式的組合。
9.根據權利要求1所述的方法，其中採樣視頻信號包括採樣視頻信號中的每個圖片或者選擇性地採樣少於視頻信號中的每個圖片，並且其中至少一個預測的採樣的輸入圖片對應於多於一個當前圖片，並且其中預測選擇的採樣的輸入圖片包括基於對於先前選擇的採樣的輸入圖片計算的運動參數來預測至少一個選擇的採樣的輸入圖片。
10.根據權利要求9所述的方法，其中採樣視頻信號包括採樣視頻信號中的每個圖片，並且參考圖片的數目對於每個選擇的採樣的輸入圖片而變化。
11.根據權利要求9所述的方法，其中所述一個或多個參考圖片對應於少於視頻信號中的每個圖片，並且參考圖片的數目對於每個選擇的採樣的輸入圖片而變化。
12.根據權利要求9所述的方法，其中選擇性地採樣包括選擇視頻信號中的圖片以用於以下列模式中的至少一個進行採樣:周期性模式；非周期性模式；或者周期性和非周期性模式的組合。
13.根據權利要求1所述的方法，其中採樣包括在空間上二次採樣一個或多個過去圖片或者一個或多個將來圖片或者一個或多個過去圖片和一個或多個將來圖片以產生一個或多個在空間上二次採樣的參考圖片，並且計算運動參數包括對於所述一個或多個在空間上二次採樣的參考圖片中的每一個計算運動參數。
14.根據權利要求13所述的方法，其中在空間上二次採樣還包括於在空間上二次採樣之前進行濾波。
15.根據權利要求14所述的方法，其中濾波包括抗混疊濾波或者比特深度二次採樣或者它們的一些組合。
16.根據權利要求9所述的方法，還包括迭代地比較選擇的預測的採樣的輸入圖片與對應的當前圖片並且基於迭代的比較確定視頻信號中的場景轉變發生。
17.根據權利要求16所述的方法，其中選擇用於採樣的時間和/或空間解析度以增加確定場景轉變發生的能力。
18.一種用於視頻信號的運動分析的系統，其中所述視頻信號包括輸入視頻幀的流並且該系統包括: 空間向下採樣模塊，其中所述空間向下採樣模塊接收視頻信號；以及 預分析模塊，其中預分析模塊被配置為從空間向下採樣模塊中接收輸入視頻幀和向下採樣的視頻幀，並且其中預分析模塊生成與輸入視頻幀和處理的視頻幀相關聯的運動參數。
19.根據如權利要求18所述的系統，其中該系統包括預濾波器模塊，其中該預濾波器模塊被配置為接收運動參數和處理的視頻幀並且生成濾波的視頻幀。
20.根據權利要求19所述的系統，其中該系統包括視頻編碼器模塊，其中該視頻編碼器被配置為接收濾波的視頻幀和運動參數並且生成運動補償的視頻幀。
21.根據權利要求18所述的系統，其中該預分析模塊包括: 第一預分析模塊，其中該第一預分析模塊從以第一時空解析度採樣的視頻信號中接收採樣的視頻幀，並且該第一預分析模塊生成第一運動參數集合和第一過程處理的視頻幀集合；以及 至少一個後續預分析模塊，其中該後續預分析模塊從以高於第一時空解析度的空間解析度或者以高於第一時空解析度的時間解析度或者以高於第一時空的解析度的空間和時間解析度採樣的視頻信號中接收所述第一運動參數集合、所述第一過程處理的視頻幀集合和採樣的視頻幀，並且該後續預分析模塊產生後續運動參數集合和處理的視頻幀。
22.根據權利要求18所述的系統，其中所述視頻信號包括下列圖像中的一個:單視圖視頻圖像、多視圖視頻圖像、或者單視圖和多視圖視頻圖像的組合。
23.根據權利要求書18所述的系統，其中所述預分析模塊基於來自於以選擇的空間和時間解析度採樣的輸入視頻幀中的多個參考圖片計算運動參數，並且其中如果運動參數沒有達到期望的運動準確度，則以增加的時間解析度或者增加空間解析度或者增加的空間和時間解析度再採樣輸入視頻幀以產生更高解析度參考幀，並且從所述更高解析度參考幀計算運動參數。
24.根據權利要求書23所述的系統，其中每個輸入視頻幀被採樣並且參考圖片的數目對於每個採樣的視頻幀而變化。
25.根據權利要求書23所述的系統，其中視頻信號被選擇性地採樣，由此少於每個輸入視頻幀被採樣。
26.根據權利要求23所述的系統，其中視頻信號被選擇性地採樣，由此每個輸入視頻幀或者少於每個輸入視頻幀被採樣，並且每個運動補償的視頻幀對應於多於一個輸入視頻幀。
27.根據權利要求23所述的系統，其中所述預分析模塊還包括二次採樣模塊，其中至少一個輸入視頻幀被在空間上二次採樣以產生一個或多個在空間上二次採樣的參考圖片，並且運動參數包括基於所述一個或多個在空間上二次採樣的參考圖片的運動參數。
28.根據權利要求27所述的系統，其中所述二次採樣模塊於在空間上二次採樣至少一個視頻幀之前對至少一個輸入視頻幀濾波，並且其中濾波包括抗混疊濾波或者比特深度二次採樣或者它們的一些組合。
29.根據權利要求23所述的系統，其中運動補償的視頻幀被迭代地與對應的輸入視頻幀相比較以確定場景改變發生。
【文檔編號】H04N19/61GK104205844SQ201280047492
【公開日】2014年12月10日 申請日期:2012年9月27日 優先權日:2011年9月29日
【發明者】A·多拉佩斯, A·萊昂塔瑞斯 申請人:杜比實驗室特許公司