運動估計系統中的外部矢量的製作方法
2023-09-17 17:17:35 2
專利名稱：運動估計系統中的外部矢量的製作方法
技術領域：
本發明涉及一種用於在視頻序列中使用的運動估計的方法和設備，並且，更具體地，涉及一種與從外部源引入候選運動矢量相關聯的方法。
背景技術：
在各種視頻技術中使用運動估計·，並且許多用於運動估計的方法是公知的。在本文檔中，出於說明的目的，將使用一種被稱為基於區塊的運動估計的常用方法。基於區塊的運動估計通常從視頻序列中取兩個或更多個連續幀，並將它們細分成多個被稱為區塊或宏區塊的區域。在運動搜索過程中，將幀中的每個區塊中的像素數據與來自先前巾貞中的各個候選位置的像素數據進行比較。提供(give)最好的(best)匹配的候選者的相對位置提供了描述在所述區塊位置處的場景中的運動的矢量。共同地，幀中的每個區塊位置處的運動矢量的集合被稱為所述幀的運動矢量場。視頻序列通常包括視頻數據的一系列非交錯幀、或視頻數據的一系列交錯場。由攜帶顯示器的交替行(alternate Iine)上的數據的場來生成交錯序列,使得第一場將攜帶用於交替行的數據的，以及第二場將攜帶用於丟失行(missing line)的數據。從而場在時間和空間上間隔。序列中的每個交替場攜帶相同的空間位置處的數據。圖I示出了匹配運動估計量的區塊的典型示例。在所有的圖中(包括圖1)，運動矢量顯示為箭頭的頭部在所述矢量所對應的區塊的中心處。幀被分成區塊，以及先前幀中的對象101已經移到當前幀中的位置102。被疊加在當前幀上的對象的先前位置被顯示為103。對區塊而不是對象執行運動估計，其中當前幀中的像素區塊與不是必須和區塊對齊的先前幀中的區塊大小的像素區域相匹配。例如，區塊104由移動的對象102部分重疊，並且具有如在105處所示出的內容。對區塊104的運動估計如果執行地很好，則會在先前幀中找到像素數據區域106，S卩，發現了良好的匹配，其中所述像素數據區域106也被看成包括105中所示的像素。向當前幀上疊加回來，匹配的像素數據區域位於107處。從而，由箭頭108示出和區塊104相關聯的運動矢量。許多基於區塊的運動估計量通過使用諸如絕對差(SAD)的和或平方差(MSD)的均值測試用於區塊的運動矢量候選者的集合來選擇其輸出運動矢量，從而識別提供最低誤差區塊匹配的運動矢量。圖2示出了當前幀中用於區塊201的候選者評估過程，其中所述當前幀具有211中所示的像素內容。在該簡單的示例系統中，考慮了三個運動矢量候選者206、207和208，該三個運動矢量候選者206、207和208對應於先前幀中的位置202、203和204處的候選像素數據區域。這些像素數據區域的像素內容可以分別在212、213和214中看到。顯然，位置202處的像素數據提供對區塊201的最好的匹配，從而應該被選作最好的匹配/最小差候選者。向當前幀上疊加回來，匹配的像素數據區域在205處，以及相關聯的運動矢量為206。不同的系統具有不同的運動估計的需求。例如在視頻編碼器應用中，所述需求是要通過使用從來自序列的先前幀到參考像素數據的運動矢量來形成幀的最緊湊的表示。這些運動矢量通常專注於提供到像素數據的區塊的「最接近匹配」(或最小剩餘誤差)，以及同時產生的運動矢量通常表示場景中對象的實際運動，不需要這總是該情況。在其他應用中(諸如去隔行(de-interlace)或幀率轉換)，其中幀中的對象必須在其在源幀中的位置之間的中間位置處插入，更重要的是運動矢量表示場景中對象的「真實運動」，即使視頻中的其他失真意味著那些矢量不是總給出像素數據的區塊之間的最接近的匹配(或最小的剩餘誤差)。必要時通過在運動搜索期間對候選運動矢量施加合適的約束，結果可以被導向「最接近匹配」或「真實運動」。可以使用計算資源的完全不同的等級來生成運動估計和產生的矢量場。廣播設備(broadcaster )使用的編碼器或用於電影發行(distribution)的編碼器例如可以貢獻重要的計算資源或擴展的離線處理時間，以生成最高質量的矢量場。相反地，許多客戶等級的視頻管線，尤其是手持裝置中的視頻管線，必須實時操作並且在分配給運動估計的計算資源量(即，帶寬、功率和時間)上具有顯著的限制。因此，在這些系統中，應用窮舉搜索和集中(intensive)優化過程是不切實際的，並且這通常導致次優運動矢量場產生。 一個在計算資源有限的環境中實現最高質量的運動矢量場的常用方法是識別並測試每個區塊的運動矢量候選者的小集合。難點是在仍然保持在集合中包括一個或多個提供所需的接近的像素匹配或真實的運動匹配的矢量候選者的高可能性的同時識別矢量候選者的最小的可能的集合。改善候選運動矢量的集合允許測試較少的運動矢量(改善有效性)，或增加接近的像素匹配或真實的運動匹配被發現的可能性(改善質量)。已知運動矢量與相鄰區塊中的矢量在空間和時間上高度相關，所以這些臨近的矢量通常用作矢量候選者的運動估計量的集合的基礎。偽隨機元素也可以被合併到候選者中，以允許系統改善其匹配，或隨著視頻變化中的運動而適應。在區塊具有不是簡單地由其鄰居預測的運動的情況下，矢量候選者的偽隨機擾動通常可以預測運動中的變化。該方法對於緩慢改變矢量場很有用，但是不易於允許運動估計量在與存儲在相鄰區塊中的運動矢量候選者顯著不同的新的運動上快速地檢測或收斂。依賴於偽隨機性的系統可以隨著時間向新的運動漂移，但是很可能陷入局部極小值，或者收斂地太慢從而運動等到了那個位置時再次改變。圖3示出了傳統的視頻管線架構的簡化示例。在該簡化的架構中，解碼區塊310將壓縮的輸入比特流300解壓成運動矢量312和剩餘(residual) 311的集合。當被合併在圖片生成器313中時，生成輸出圖像序列。該輸出圖像序列根據源的性質可以包括逐行(progressive)幀或交錯場。交錯場由去隔行器320轉換成逐行幀。高質量的去隔行通常以本領域的技術人員公知的方式執行運動估計312，隨後是圖片生成322過程。可選擇地，諸如字幕和/或用戶界面之類的覆蓋(overlay)可以通過首先識別覆蓋像素的位置來被添加到視頻序列上，從而生成覆蓋掩碼331，然後，在由覆蓋掩碼定義的區域中，在覆蓋合成引擎332中合成覆蓋的像素數據和原始視頻像素數據。最終執行幀率轉換340以將視頻序列的輸入幀率轉換成顯示器301所需的輸出幀率。按照本領域的技術人員公知的方式，幀率轉換通常需要運動估計341和圖片生成342過程。根據圖3中所示的簡單的示例系統顯而易見的是，多個運動估計過程和不是運動估計量的其他矢量源可以存在於通常的視頻管線中。解碼區塊的運動矢量場312將找到通常使用視頻管線外部的顯著的計算資源來確定的最接近的匹配/最低誤差的矢量。去隔行區塊321中的運動估計必須使用場數據來確定真實運動矢量，而幀率轉換區塊341中的運動估計必須使用幀數據來確定真實運動矢量。對於覆蓋掩碼331還能夠用已知的運動矢量(例如，靜態或動畫覆蓋)來定義幀的區域。在這些位置的每個位置處執行運動估計似乎固然是很浪費的，建議可以通過使用管線中較早生成的運動矢量來改善在管線中較晚的運動估計量。傳統的視頻管線系統不傾向於再使用運動矢量，一部分是因為傾向於獨立設計通常來自不同的供應商的單個區塊(諸如解 碼、去隔行、覆蓋和幀率轉換)。在這些不同的區塊中，每個區塊對於視頻管線中其他區塊的內部操作的不可見性不能做什麼。更關鍵地，因為可用運動估計量的不同需求，視頻管線系統不傾向於再使用來自管線中的別處的運動矢量。例如，在312處可用的運動矢量場將不具有運動矢量表示場景中的對象的真實運動的需求，從而成為去隔行運動估計量320和幀率轉換運動估計量341兩者的矢量候選者的潛在的較差源，其中所述運動矢量場包括被生成以識別最接近的匹配像素(或最低的剩餘)的矢量。在去隔行運動估計量321和幀率轉換運動估計量341兩者都生成尋找場景中對象的真實運動的運動矢量場時，一者作用於場數據，一者作用於幀數據，從而引起雖相關但不同的運動矢量場。圖4示出了如果傳統的視頻管線想要試圖再使用來自管線中另一個運動估計量或來自外部源的運動矢量，該傳統的視頻管線所要面對的問題。分別從時間實例t=_l和t=0來顯示來自視頻序列的兩個連續幀410和420。在這些幀中，位於411處的飛機以對角方式向右下方飛行穿過場景到位置421。同時整個背景(太陽412和天空413)在飛機後面向左平移(其中太陽移動到位置422，而天空移動到位置423)。用於這些幀的真實的運動矢量場顯示為430，其中飛機411的真實運動由封閉頭箭頭運動矢量來顯示，以及背景太陽412和天空413的真實運動由開放頭箭頭運動矢量來顯示。相反具有表示的運動矢量場的所述真實運動矢量需要最接近的匹配像素440 (具有黑點所示的零運動矢量)，所述表示的運動矢量場由運動估計量生成。當一些運動矢量碰巧和幀中的對象的真實運動相同或類似時，在生成的運動矢量場中有明顯顯著的差異。更具體地，天空區域413和423中細節的缺少以及太陽對象412和422的中心中細節的缺少，導致選擇提供兩個幀之間的非常好的像素匹配但是不表示對象的真實運動的運動矢量。還注意的是，典型的編碼器認為一些矢量和其他矢量相比「太早」或「太便宜」編碼。這也可能造成選擇不必須是最好的像素匹配但是可以以更緊湊的形式來表示的運動矢量。例如，包括幀420中的飛機421的後部的區塊424被包括幀410中的飛機411的前部的像素區域414匹配地足夠好，從而選擇較短的矢量，即使發現所述矢量不表示飛機的真實運動。各個運動矢量場的需求中的差異表示在傳統的視頻管線中的較晚階段中其再次使用的重大危險。尋找對象的真實運動的運動估計量通常將像素匹配的質量包括為其矢量候選者評估過程的一部分。所以，包括具有非常好的像素匹配但不表示真實運動的運動矢量本身是很危險的，因為所述運動矢量可以使得矢量選擇過程混亂。類似地，包括識別運動估計量中對象的真實運動的運動矢量候選者可能是很浪費的，其中所述運動估計量試圖找到最接近的匹配(或最低的剩餘)，因為所述運動矢量候選者可以更好地用於找到局部最小值或測試可以以更緊湊的形式表示的矢量候選者。在使用運動矢量候選者的傳統的視頻管線中，包括來自外部源矢量場的運動矢量候選者的危險和低效性通常是很高的。一個一般的例外是本領域中的技術人員公知的代碼轉換器。在代碼轉換器中，通常知道解碼區塊中存在的運動矢量場將適於在隨後的編碼區塊中使用。由於解碼過程提供的運動矢量和編碼過程所需的運動矢量具有相同的需求，一般解碼器的運動矢量要由編碼器直接使用而不需要進一步的運動估計。代碼轉換器是整個運動估計過程可以被視頻管線中的區塊集成所保存的特例。當解碼器運動矢量適於在編碼器中使用時，不存在直接使用它們的危險，不需要進一步的運動估計。在系統中不存在第二運動估計量意味著代碼轉換器應用在本發明的範圍之外。
發明內容
當運動估計量的需求不同、以及在運動估計期間包括來自作為矢量候選者的任意運動矢量場的矢量的風險、妨礙其在傳統視頻管線中的作用時，可以看到在許多情況下，最接近的匹配(或最低的剩餘)矢量將會和場景中對象的真實運動非常相似，反之亦然。精確識別對象的運動的矢量通常也將造成非常接近的像素匹配是合乎邏輯的-假設對象不是 明顯失真或不是在幀之間封閉(occlude)。該主張的相反情況也可以是正確的，因為接近的像素匹配通常將會出現，因為所選的矢量接近場景中對象的真實運動。如果可以在沒有將不好的運動矢量候選者引入到當前運動估計量的相關風險和低效性的情況下可以再使用矢量場，然後可以改善所有運動估計過程的效率和質量。而且，使用重要的計算資源和離線處理生成的高質量運動矢量場將顯著增加計算資源有限的運動估計過程中的運動估計的質量。本發明的實施方式提供將候選運動矢量從視頻管線中的其他矢量場源引入到運動估計量的有效方法。因而，可以引入通過傳統的候選運動矢量生成技術不能獲得的好的候選者，允許測試較少的運動矢量候選者(改善效率)或選擇更好的運動矢量(改善質量)。根據本發明的一個方面，提供了一種用於視頻圖像序列中的運動估計的方法，該方法包括以下步驟a)將視頻圖像序列的每個場或幀細分成多個區塊；b)對每個視頻場或幀中的每個區塊分配候選運動矢量的集合；c)對於當前視頻場或幀中的每個區塊，從分配給所述區塊的候選運動矢量的集合中選擇生成對先前視頻場或幀中的區塊最好的匹配的矢量；d)使用為每個區塊所選擇的矢量來形成用於當前的視頻場或幀的運動矢量場；e)其中分配給區塊的候選運動矢量的集合包括一個或多個從外部源矢量場得到的候選矢量；f)以及其中來自外部源的每個候選運動矢量被分配權重值，所述權重值向著或遠離所述候選運動矢量的選擇而偏離(bias)。根據本發明，還提供了一種用於序列或視頻圖像中的運動估計的設備，該設備包括用於將視頻圖像序列的每個場或幀細分成多個區塊的裝置；用於對每個視頻場或幀中的每個區塊分配候選運動矢量的集合的裝置；用於對於當前視頻場或幀中的每個區塊，從分配給所述區塊的候選運動矢量的集合中選擇生成對先前視頻場或幀中的區塊的最好的匹配的矢量的裝置；
用於使用為每個區塊所選擇的矢量來形成用於當前的視頻場或幀的運動矢量場的裝置；其中分配給區塊的候選運動矢量的集合包括一個或多個從外部源矢量場得到的候選矢量，以及其中來自外部源的每個候選運動矢量被分配權重值，所述權重值向著或遠離所述候選運動矢量的選擇而偏離。
現在將參考附圖並通過舉例的方式詳細描述本發明的優選實施方式，其中圖I示出了典型的現有技術的區塊匹配運動估計量；圖2示出了區塊匹配運動估計量如何通過比較相應的像素區塊來從候選運動矢 量的集合中選擇最好的運動矢量；圖3示出了現有技術的傳統的視頻管線架構的簡化示例；圖4示出了假定相同的輸入幀，由尋找場景(430)中對象的真實運動的運動估計量生成的運動矢量場，以及最接近的匹配區塊(440)；圖5示出了被修改成包括來自外部源的矢量候選者的傳統的視頻管線示例架構；圖6示出了改變運動矢量場的解析度，包括生成向著或遠離所述場中的運動矢量的選擇而偏離的權重值以被之後的運動估計量使用；圖7示出了從像素掩碼生成運動矢量場，包括生成向著或遠離所述場中的運動矢量的選擇而偏離的權重值以被之後的運動估計量使用；圖8示出了來自外部源的不可能的運動矢量的引入；圖9是示出了具有權重項的運動矢量候選者評估的框圖；以及圖10是示出了在使用外部運動矢量候選源的示例系統中運動矢量候選者評估的框圖。
具體實施例方式按照作用於非交錯、或逐行視頻信號上的運動估計系統來給出對本發明的實施方式的描述，其中視頻包括一系列數據完整幀。一般還在交錯視頻上執行運動估計，其中視頻包括一系列場。本發明的原理同樣可應用於作用於非交錯視頻和交錯視頻兩者上的運動估計量。因而，術語「場或幀」或者「視頻場或幀」包括在交錯視頻信號和非交錯視頻信號兩者上的運動估計。如果使用術語「幀」，其應該被解釋為「場或幀」，也就是說，包括在非交錯視頻信號和交錯視頻信號上執行的兩種運動估計。術語「當前」、「先前」和「下一個」是相對術語，並且簡單地用來指示視頻信號中幀或場的序列順序。「先前」場或幀可以是早於「當前」場或幀的任意數目的幀；其不是必須緊接著在「當前」場或幀之前，雖然實際上通常是這種情況。「下一個」場或幀可以是晚於「當前」場或幀的任意數目的幀；其不是必須緊接著在「當前」場或幀之後，雖然實際上通常是這種情況。關於本發明的一個方面描述的特徵也可以應用於本發明的其他方面。對於視頻場或幀中的每個區塊，基於區塊的運動估計量的區塊處理單元接收候選者運動矢量的集合，其中，必須從所述候選者運動矢量的集合中選擇一個表示區塊的運動矢量。運動估計量將當前幀中的每個區塊的像素與先前幀中的像素數據區域進行比較，所述運動估計量的位置由等於每個候選者運動矢量的空間偏移(offset)量定義。這些像素數據區域不限制為和區塊對齊。圖2示出了矢量選擇過程，其中使用諸如基於絕對差(SAD)的和或者均值平方差(MSD)的度量的度量以及通常合併其他權重項來比較對應於每個運動矢量候選者的區塊區域。被選擇來表示區塊處的運動的矢量是候選運動矢量，所述候選運動矢量使用所選度量給出最好的分數(score)。找到好的匹配依賴於候選矢量的集合，所述候選矢量包括區塊中存在的對象的真實運動矢量或造成好的區塊匹配的候選者(取決於應用需求)。來自當前運動估計量的外部源的現有運動矢量場的生成和再使用被推薦為用於改善快速或改變的運動區域中的運動估計的質量並潛在地允許使用較少的運動矢量候選者的新穎途徑。圖5示出了先前在圖3中所示的示例視頻管線添加了數據路徑的修改版本，所述數據路徑允許通過視頻管線中較晚的運動估計過程來將較早在視頻管線中生成的外部運動矢量場用作運動矢量候選者。在該修改的視頻管線中，通過新的數據路徑550使得來自 解碼區塊512的運動矢量在解碼區塊外部可用，以再用作去隔行器的運動估計量521和幀率轉換的運動估計量541中的運動矢量候選者。另外，圖5示出了覆蓋區塊掩碼531與幀率轉換中的運動估計區塊541之間的新的數據路徑560的引入。該數據路徑示出了系統能夠使用來自圖像數據源的運動矢量候選者，用於所述圖像數據源的一些或全部運動矢量是已知的，但所述圖像數據源沒有被運動估計量生成。考慮靜態、不透明覆蓋的簡單情況(例如，電影上的字幕文本，或通過電視機添加的用戶界面窗口)。在這些情況中，可以將屏幕的清楚限定的區域識別為靜態的。這可以通過在靜態覆蓋所包括的所有位置處存儲矢量場中的零運動矢量來表示。在更複雜的示例中，覆蓋可以在屏幕內移動，以及等於覆蓋的運動的運動矢量而不是零運動矢量將被存儲。顯然，這些運動矢量表示好的運動矢量候選者，以在運動估計量中使用。通過在運動估計量中使用所述運動矢量候選者所提供的風險和益處在真實的世界情況中變得不太清楚。如果從覆蓋掩碼生成的矢量場的解析度與運動估計量的解析度不同，則覆蓋的運動矢量可以不提供區塊中大部分像素的真實運動或最接近(或最低的剩餘)匹配。類似地，在一般情況下，其中生成的覆蓋不完全不透明，覆蓋掩碼生成的矢量場的有效性可以取決於透明度等級或取決於覆蓋的內容。舉例來說，接近透明的覆蓋不太可能是區塊的主要可視的特徵，並因此覆蓋的運動矢量將不會充分描述區塊中像素的主要運動。相反，對於包括區塊的不透明覆蓋，保證覆蓋的運動矢量描述區塊中存在的主要特徵的運動矢量。本發明可以使用多個進一步的外部運動矢量場源。示例對於本領域的技術人員是公知的，並且該示例包括運動矢量源，諸如從英國專利申請No. GB2480422中所描述的計算機圖形引擎以及從移動傳感器(諸如適於視頻記錄裝置的陀螺儀和加速計)所得到的矢量。很值得向當前運動估計量中使用的運動矢量候選者的集合中添加包括來自外部矢量源的運動矢量候選者。在許多情況中，可以使用大的計算功率和/或信息來生成了所述運動矢量，所述大的計算功率和/或信息在當前的運動估計量中不能獲得，以及同樣可以引入以另外方式不能獲得的有用的運動矢量候選者。已經討論了使用來自外部源的運動矢量中所包含的風險，以及所述風險先前意味著將所述矢量當做運動估計量中的候選者已不安全了。所以，使用將權重值從外部源分配到每個運動矢量候選者的方法。用於每個運動矢量候選者的權重值可以被合併到矢量選擇過程所使用的度量中，從而向著或遠離所述候選者的選擇而偏移當前運動估計量。這樣，當前運動估計量能夠根據所述資源能夠被確定為可靠的程度來改變其使用來自外部源的運動矢量的方式。在一些情況中，生成外部源運動矢量場的設備可能能夠直接提供權重值。可替換地，可以由當前的運動估計量根據外部源來確定權重值。圖6示出了根據外部源確定權重值的示例，所述權重值向著或遠離來自外部源的候選運動矢量的選擇來偏移 。在該示例中，使用來自外部源的高解析度運動矢量場600，以將運動矢量候選者引入到以較低區塊解析度工作的運動估計量610。運動估計量的解析度是區塊區域中的差值所示的外部源矢量場的解析度的一半。對於運動估計量610中的每個區塊，可以從外部矢量場得到矢量，以用作所述區塊的運動估計中的候選運動矢量。運動估計量中的像素的區塊611可以看成對應於高解析度外部運動矢量場中的區域601。區域601包括四個相同的運動矢量，其表示運動矢量是用於當前區塊611的好的運動矢量候選者。由於601中的所有運動矢量具有相同的方向和幅度,611中的運動矢量候選者可以被分配強的權重值，所述強的權重值向著該運動矢量候選者的選擇而偏移。類似地，運動估計量中的區塊612可以被看成對應於高解析度外部運動矢量場中的區域602。可用運動矢量中的三個可用運動矢量具有相同的大小和幅度，所以可能該主要的矢量將被用作區塊612中的運動矢量候選者。該運動矢量候選者應該被分配權重值，所述權重值向著其選擇而偏移。在該情況中，權重值應該不像先前分配給區塊611中的運動矢量候選者的權重值那麼強，因為在外部矢量場的區域602中存在與區域的主要運動不一致的運動矢量。用於像素的區塊大小的區域613的可替換的方案被示出，其中所述像素的區塊大小的區域613對應於高解析度外部運動矢量場中的區域603。在該情況下，該外部運動矢量場的區域中的四個運動矢量全是不相同的，所以不能看到清楚的主要運動矢量用作區塊613中的運動矢量候選者。在該情況下，應該選擇遠離任意運動矢量候選者的選擇而偏移的權重值，所述運動矢量候選者可以從區域603得到。用來從外部矢量場得到運動矢量候選者和用來將權重值分配給所述候選者的方法是專用的。在一個實施方式中，其中運動矢量候選者必須從較高解析度外部矢量場得到，通過選擇最接近於對應於區塊的區域中的均值矢量的運動矢量來得到候選者，在所述區塊中將使用所述候選者。通過添加區域中每個矢量的X分量並除以矢量的數目來確定平均運動矢量的X分量。通過添加區域中每個矢量的y分量並除以矢量的數目來確定平均運動矢量的y分量。在可替換的實施方式中，直接將平均運動矢量用作區塊的運動矢量候選者。用來確定每個運動矢量候選者的權重值的方法是專用的。在一個實施方式中，根據所選候選者與候選者所選自的矢量場的區域中的均值運動矢量之間的差值，來得出向著來自較高解析度外部運動矢量場的候選者的選擇而偏移的權重值，同時當沒有可以被說成是區域中主要的一個矢量時，選取遠離候選者的選擇而偏移的權重值。在一個示例使用均值矢量的同時，本領域的技術人員可以理解，可以使用基於模態矢量的方法或各種其他類似的技術來獲得類似的結果。圖7示出了另一個示例，其中根據外部源來確定向著或遠離來自外部源的候選運動矢量的選擇而偏離的權重值。在該示例中，幀701包括靜態字幕文本覆蓋和相關聯的像素解析度覆蓋掩碼711，所述像素解析度覆蓋掩碼711指示覆蓋的範圍。已知運動矢量在掩碼內的所有位置處為零，因為已知字幕文本不會移動。在該情況下，外部源不指示用於掩碼外區域的任何運動矢量。在視頻處理管線中較後的階段對相同幀702進行運動估計期間，可以預料到覆蓋的運動矢量作為用於包括來自覆蓋的像素的任何區塊的運動矢量候選者將是有用的。示出了兩個說明性的區塊。區塊721可以看成是包括來自覆蓋的大量的像素，從而高解析度矢量場中的相關的零矢量提供用於區塊的好的運動矢量。從而可以以高度的可靠性來使用零矢量。在分配權重值中所使用的方法再一次是專用的，所述權重值向著或遠離覆蓋矢量的選擇而偏移，然而對於該所進行的示例，公開了其中權重依賴於被覆蓋掩碼包括的區塊中像素的比例的方法。因而，包括大量覆蓋像素的區塊721會包括具有向著覆蓋矢量的選擇而強烈偏移的權重的覆蓋運動矢量候選者，然而包括少量覆蓋像素的區塊722將包括具有對著運動矢量候選者的選擇而偏離的權重的覆蓋運動矢量候選者。分配的權重還可以根據覆蓋的不透明度修改，其中增大透明度的程度使得用於向著覆蓋矢量的選擇而偏離的權重值減小。
在本發明的進一步的實施方式中，權重值被分配給運動矢量的外部源，從而運動估計量向著或遠離來自所述源的任何運動矢量候選者的選擇而偏離。可以使用分配給整個外部矢量源的權重值，而不使用先前所述的權重值，或還使用先前所述的權重值，所述權重值為從外部源得到的每個運動矢量候選者單獨得到。分配給整個外部矢量源的權重值可以認為是表示所述源提供合適的候選者給當前的運動估計量的信任程度。例如，試圖確定真實運動的運動估計量將不會認為來自最接近的匹配運動估計量的候選矢量完全可靠，並且會對著其選擇而偏離一定程度。在另一方面，同一個真實的運動估計量可能認為來自廣播質量真實的運動估計量的候選矢量是特別可靠的，以及將向著其選擇而偏離。而且，分配給外部源的權重值可以隨著時間改變，其例如通過來自所述外部源的矢量證明作為運動估計量中的候選者有用的程度來確定。圖8示出了其中外部源運動矢量的權重值被用來允許選擇以其他方式被運動估計量丟棄的運動矢量候選者的示例。在時間實例t=-3和t=-2處，輸入幀800和810分別使在840處示出的外部源矢量場和它們相關。由當前運動估計量生成的運動矢量場在870處示出。在所述兩個源幀之間沒有任何東西移動。在每個位置處外部源矢量場包括零矢量(由黑點表示)，以及與由當前運動估計量生成的運動矢量場一致。該結果指示外部源矢量場提供好的運動矢量候選者，以由當前的運動矢量場使用，並因此分配有增加的權重，所述權重將來向著來自外部源的運動矢量候選者的選擇而偏離。當在時間實例t=-l處下一幀820到來時，由外部源提供的運動矢量再一次證實是用於由當前的運動估計量所選的最好的運動矢量的好的匹配。這還增加了權重，所述權重向著來自外部源的運動矢量候選者的選擇而偏離。當在時間實例t=0處下一幀830到來時，在先前幀中的位置801、811和821處保持著靜止的陰影圓圈突然向上運動到當前幀中的位置831。許多基於區塊的運動估計量將不能馬上識別該運動。當前幀中到位置831的運動(對應於當前運動估計量中的區塊891)不能由臨近區塊或先前的幀中的運動矢量預料到，並且運動的幅度太大了以至於不能由相鄰區塊矢量的簡單的偽隨機擾動發現。所以不可能得到正確的矢量作為現有技術的運動估計量中的候選者。在該示例中，外部源矢量場不包括區塊861中的正確的運動矢量，也許通過在創建其矢量場期間可獲得的另外的信息或通過計算上更複雜的搜索過程。通常，當來自外部源的運動矢量候選者與外部源矢量場860中和由當前運動估計量生成的運動矢量場870、880和890中的周圍矢量明顯不同時，所述候選者可能明顯不利地認為是太危險或太低效而選擇的。然而，在這種情況下，根據本發明中所公開的方法，在多個先前幀上改善了向著從外部源矢量場得到的運動矢量候選者的選擇而強烈偏離。如果該偏離足夠克服對著候選者的選擇的其他偏離，則將在當前運動估計量的輸出矢量場中的區塊891處存儲矢量。如果外部源矢量精確地預測了幀820與830之間的陰影圓圈的新的運動，則其允許選擇好的運動矢量結果，所述好的運動矢量結果以其他方式將是不可獲得的。在一些情況下，對於生成外部源運動矢量場的設備，提供用於其自己的矢量場的權重值是可能的，從而指示其中的運動矢量的合適性，以用作由當前運動估計量使用的運動矢量候選者。可替換地，可以由當前的運動估計量根據外部源確定用於運動矢量的外部源的權重值。·本發明公開了可以以多種方式中的一種方式通過當前的運動估計量為外部源確定用於運動矢量的外部源的權重值。所述方法中的一些基於由外部源提供的運動矢量與由當前的運動估計量生成的運動矢量之間的相似性程度來生成用於運動矢量的外部源的權重值。可以通過熵測量或通過本領域技術人員公知的其他方法，通過確定矢量是否具有相同的幅度和方向(通常具有根據應用確定的小量的允許偏差)來測量矢量之間的相似性。可以按照全局上通過幀的當前區塊的所在地中的矢量相似性來定義矢量場相似性，或者所述矢量場相似性可以基於穿過先前的矢量場或當前幀中處理的矢量的當前歷史的歷史相似性。通常，如果來自外部源的運動矢量與由當前的運動估計量選擇的運動矢量一致，則外部源是用於當前的運動估計量的運動矢量候選者的好的源。從而，可以認為外部源矢量是可信任的以及應該被評估，即使它們好像引入了一般因為違反了空間和時間一致性檢驗而被排除的運動矢量候選者。所述意外的運動矢量候選者可能是由於場景中的新的運動，所述新的運動被了解或已被外部源檢測到。由外部矢量源引入的意外的運動矢量可以用來修改與外部源相關的權重並減少其將來被使用的可能性，所述外部矢量源被確定為用於當前的運動估計量的差的候選者。由外部矢量源引入的意外的運動矢量可以用來修改與外部源相關的權重並增加意外的運動矢量候選者將來被考慮的可能性，所述外部矢量源被確定為用於當前的運動估計量的好的候選者或者可能以其他方式被丟失的。圖9是示出了用於運動矢量候選者評估的傳統系統的示例的框圖。候選者生成單元900使用本領域中公知的方法生成多個運動矢量候選者，諸如使用來自空間和時間上相鄰的區塊的矢量和使用偽隨機變化。候選者生成產生候選者列表905，所述候選者列表905可以包括候選者矢量910的列表和權重值915的集合。評估來自列表的候選矢量，從而例如使用SAD計算920確定區塊匹配的質量。成本計算區塊925將SAD值與從對應於候選矢量的權重值915獲得的項相結合，以生成度量，通過該度量確定矢量選擇。系統能夠例如通過對候選矢量列表910的內容的合適的控制和向每個候選矢量分配合適的權重915來向著「最接近的匹配」或向著「真實運動」引導運動估計過程。由於評估了運動矢量候選者，最好的矢量更新區塊930將成本度量與先前候選者的成本度量進行比較，並更新最好的矢量存儲935。在評估了候選者列表905中的每個矢量之後，最好的矢量和其相關的成本可以在輸出940處獲得。圖10是實施本發明的系統的框圖，其中從外部源能提供運動矢量候選者。在該示例中，示出了兩個外部候選者源1000和1005。候選者列表被分成兩個部分。內部部分1010包括候選運動矢量和由內部候選者生成單元1015生成的相應的權重。內部候選生成單元對應於圖9中所示的候選者生成單元900。從外部源1000和1005得到列表1011的第二部分中的運動矢量候選者和權重。SAD計算、成本計算和最好的矢量更新區塊和圖9中所示那些的類似。
每個外部候選者源具有作為整體的相應的權重計算區塊和與源相關的權重。例如，源1000具有權重1020和權重計算區塊1030。源1005具有權重1025和權重計算區塊1035。以外部候選者源1000為例，矢量被提供到權重計算區塊1030。權重計算區塊1030從源權重1020提取進一步的輸入，並得到用於矢量的一個權重或多個權重。然後將矢量和相關的權重存儲在候選者列表1011中。為每個矢量得到的權重可以受源權重1020影響，所述源權重反映源1000被信任的程度，以及所述權重還可以受單個矢量也許關於剩餘的外部矢量場或由運動估計量生成的矢量的分析的影響。在另一個示例中，從外部候選者源(例如，1005)提供到權重計算區塊1035的數據可以包括數據以及矢量候選者。當外部源能夠進入不能以其他方式由運動估計量得到的信息時，這是合適的。例如，外部候選者源可以提供用於單個矢量的權重值、或者指示矢量預計要應用於的像素的掩碼值。以和圖9中所示的方式類似的方式，使用SAD計算、從SAD值和權重得到的成本計算、以及與最好的矢量的比較，來評估來自內部候選者列表1010和外部候選者列表1011的運動矢量候選者，從而以最低的總成本生成矢量的結果。源權重更新單元1040檢查用於列表1011中每個矢量候選者的成本度量，以及所述候選者是否最終選作區塊的最好的矢量。依賴於候選者的原始源的源權重1020或1025之後可以被更新，以反映所述特定的源被信任的程度，從而提供好的候選者。始終提供所選擇的候選者、或者和所選擇的候選者非常相似的的候選者的外部源將使其權重調整為使得其候選者被認為在將來是更有利的。相反，其候選者很少被選擇的外部源將不被信任，以及所述候選者將來很少可能被使用。
權利要求
1.一種用於視頻圖像序列中的運動估計的方法，該方法包括以下步驟 a)將視頻圖像序列的每個場或幀細分成多個區塊； b)對每個視頻場或幀中的每個區塊分配以候選運動矢量的集合； c)對於當前的視頻場或幀中的每個區塊，從分配給該區塊的候選運動矢量的集合中選擇生成對先前視頻場或幀中的區塊最好的匹配的矢量； d)使用為每個區塊所選擇的矢量形成用於所述當前的視頻場或幀的運動矢量場； e)其中分配給區塊的所述候選運動矢量的集合包括一個或多個從外部源矢量場得到的候選矢量； f)以及其中來自外部源的每個候選運動矢量被分配以權重值，所述權重值向著或遠離該候選運動矢量的選擇而偏離。
2.根據權利要求I所述的方法，其中外部源矢量場被分配以向著或遠離來自所述外部源矢量場的所有候選運動矢量的選擇而偏離的權重值。
3.根據權利要求I或2所述的方法，其中根據分配給所述候選運動矢量的權重值和根據分配給來自所述外部源的矢量場的權重值得到向著或遠離來自外部源矢量場的候選運動矢量的選擇而偏離的權重值。
4.根據權利要求I或3所述的方法，其中由所述外部源提供向著或遠離所述候選運動矢量的選擇而偏離的權重值。
5.根據權利要求I或3所述的方法，其中從所述外部源確定向著或遠離所述候選運動矢量的選擇而偏離的權重值。
6.根據權利要求5所述的方法，其中根據當前的視頻場或幀中的區塊中的像素的數量得到向著或遠離所述候選運動矢量的選擇而偏離的權重值，所述像素與在生成由所述外部源提供的運動矢量候選者中使用的像素共置。
7.根據權利要求2或3所述的方法，其中由所述外部源提供向著或遠離來自所述外部源矢量場的候選運動矢量的選擇而偏離的權重值。
8.根據權利要求2或3所述的方法，其中從所述外部源確定向著或遠離來自所述外部源矢量場的候選運動矢量的選擇而偏離的權重值。
9.根據權利要求I所述的方法，其中根據從為每個區塊所選擇的矢量而形成的矢量場與所述外部源矢量場的相似性得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
10.根據權利要求I所述的方法，其中根據從為每個區塊所選擇的矢量而形成的矢量場中的矢量區域與在所述外部源矢量場中的矢量的共置區域的相似性得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
11.根據權利要求I所述的方法，其中根據最近所選擇的矢量的集合與在所述外部源矢量場中的共置矢量的相似性得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
12.根據權利要求9、10或11中任一項權利要求所述的方法，其中根據先前從為每個區塊所選擇的矢量而形成的矢量場與所述外部源矢量場的歷史相似性來得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
13.根據權利要求9、10、11或12中任一項權利要求所述的方法，其中通過對所述場內的所述矢量的相似性的測量進行累加來確定矢量場的相似性，以及根據所述矢量的幅度和方向上的差值來得到矢量的相似性。
14.根據權利要求9、10、11或12中任一項權利要求所述的方法，其中通過熵測量來確定矢量場的相似性。
15.根據權利要求I所述的方法，其中在步驟le)，從外部源得到的所述候選運動矢量是從所述系統中別處的運動估計量得到的。
16.根據權利要求I所述的方法，其中在步驟le)，從外部源得到的所述候選運動矢量是從所述系統中別處的不是運動估計量的源得到的。
17.根據權利要求I或16所述的方法，其中在步驟le)，從外部源得到的所述候選運動矢量是從由計算機圖形引擎提供的矢量得到的。
18.根據權利要求I或16所述的方法，其中在步驟le)，從外部源得到的所述候選運動矢量是從由覆蓋合成引擎提供的矢量得到的。
19.根據權利要求I所述的方法，其中最好的匹配被定義為表示場景中的對象的真實運動的矢量。
20.根據權利要求I所述的方法，其中最好的匹配被定義為生成所述當前的視頻場或幀與先前的視頻場或幀中的像素數據的區域之間的最接近的匹配的矢量。
21.一種用於視頻圖像序列中的運動估計的設備，該設備包括 用於將視頻圖像序列的每個場或幀細分成多個區塊的裝置； 用於對每個視頻場或幀中的每個區塊分配以候選運動矢量的集合的裝置； 用於對於當前的視頻場或幀中的每個區塊從分配給該區塊的候選運動矢量的集合中選擇生成對先前的視頻場或幀中的區塊最好的匹配的矢量的裝置； 用於使用為每個區塊所選擇的矢量形成用於所述當前的視頻場或幀的運動矢量場的裝置； 其中分配給區塊的所述候選運動矢量的集合包括一個或多個從外部源矢量場得到的候選矢量，以及其中來自所述外部源的每個候選運動矢量被分配以權重值，所述權重值向著或遠離該候選運動矢量的選擇而偏離。
22.根據權利要求21所述的設備，其中外部源矢量場被分配以向著或遠離來自所述外部源矢量場的所有候選運動矢量的選擇而偏離的權重值。
23.根據權利要求21或22所述的設備，其中根據分配給所述候選運動矢量的權重值和根據分配給來自所述外部源的矢量場的權重值得到向著或遠離來自外部源矢量場的候選運動矢量的選擇而偏離的權重值。
24.根據權利要求21或23所述的設備，其中由所述外部源提供向著或遠離所述候選運動矢量的選擇而偏離的權重值。
25.根據權利要求21或23所述的設備，其中從所述外部源確定向著或遠離所述候選運動矢量的選擇而偏離的權重值。
26.根據權利要求25所述的設備，其中根據當前的視頻場或幀中的區塊中的像素的數量得到向著或遠離所述候選運動矢量的選擇而偏離的權重值，所述像素與在生成由所述外部源提供的運動矢量候選者中使用的像素共置。
27.根據權利要求22或23所述的設備，其中由所述外部源提供向著或遠離來自所述外部源矢量場的候選運動矢量的選擇而偏離的權重值。
28.根據權利要求22或23所述的設備，其中從所述外部源確定向著或遠離來自所述外部源矢量場的候選運動矢量的選擇而偏離的權重值。
29.根據權利要求21所述的設備，其中根據從為每個區塊所選擇的矢量而形成的矢量場與所述外部源矢量場的相似性得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
30.根據權利要求21所述的設備，其中根據從為每個區塊所選擇的矢量而形成的矢量場中的矢量區域與在所述外部源矢量場中的矢量的共置區域的相似性得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
31.根據權利要求21所述的設備，其中根據最近所選擇的矢量的集合與在所述外部源矢量場中的共置矢量的相似性得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
32.根據權利要求29、30或31中任一項權利要求所述的設備，其中根據先前從為每個區塊所選擇的矢量形成的矢量場與所述外部源矢量場的歷史相似性來得到向著或遠離來自所述外部源的候選運動矢量的選擇而偏離的權重值。
33.根據權利要求29、30、31或32中任一項權利要求所述的設備，其中通過對所述場內的所述矢量的相似性的測量進行累加來確定矢量場的相似性，以及根據所述矢量的幅度和方向上的差值來得到矢量的相似性。
34.根據權利要求29、30、31或32中任一項權利要求所述的設備，其中通過熵測量來確定矢量場的相似性。
35.根據權利要求21所述的設備，其中在步驟le)，從外部源得到的所述候選運動矢量是從所述系統中別處的運動估計量得到的。
36.根據權利要求21所述的設備，其中在步驟le)，從外部源得到的所述候選運動矢量是從所述系統中別處的不是運動估計量的源得到的。
37.根據權利要求21或36所述的設備，其中在步驟le)，從外部源得到的所述候選運動矢量是從由計算機圖形引擎提供的矢量得到的。
38.根據權利要求21或36所述的設備，其中在步驟le)，從外部源得到的所述候選運動矢量是從由覆蓋合成引擎提供的矢量得到的。
39.根據權利要求21所述的設備，其中最好的匹配被定義為表示場景中的對象的真實運動的矢量。
40.根據權利要求21所述的設備，其中最好的匹配被定義為生成當前的視頻場或幀與先前的視頻場或幀中的像素數據的區域之間的最接近的匹配的矢量。
41.一種用於實質上如在此描述的視頻圖像序列中的運動估計的方法。
42.一種用於實質上如在此參考附圖描述的視頻圖像序列中的運動估計的設備。
全文摘要
提供了一種用於視頻圖像序列中的運動估計的方法和設備。將視頻圖像序列中的每個場或幀細分成多個區塊。對每個視頻場或幀中的每個區塊分配候選運動矢量的集合。從候選運動矢量的集合中生成對於先前的場或幀中的區塊最好的匹配的矢量被分配給所述區塊，從而使用所選擇的矢量來形成用於當前的視頻場或幀的運動矢量場。分配給區塊的候選運動矢量的集合包括一個或多個從外部源矢量場得到的候選矢量，以及來自外部源矢量場的每個所述矢量被分配權重值，所述權重值向著或遠離所述矢量的選擇而偏離。
文檔編號H04N7/26GK102917197SQ20121027804
公開日2013年2月6日 申請日期2012年8月6日 優先權日2011年8月4日
發明者S·菲什威克, S·莫費特 申請人:想像技術有限公司