運動估計器及其運動估計方法
2023-09-20 17:33:20
專利名稱：運動估計器及其運動估計方法
技術領域：
本發明涉及一種運動估計器及其運動估計方法。更具體地講，本發明涉及一種用於搜索正確的運動矢量的運動估計器及其運動估計方法。
背景技術：
一般來講，通過改進定時、灰度級表示等使用顯示裝置中的幀率轉換器來轉換幀率可使顯示面板具有極好的效果。為此，使用塊單元運動矢量的運動估計和補償技術被應用到幀率轉換器和解交織器，從而可顯示自然的運動圖像。然而，因為正確的運動矢量不能被搜索到，所以傳統的運動估計和補償技術在其實際應用中受到限制。
搜索正確的運動矢量不同於由運動圖像專家組(MPEG)發布的標準中使用的運動估計技術。因為在MPEG標準下搜索具有最小的絕對差值和(SAD)的塊有利於壓縮，所以在MPEG中搜索與正確的運動矢量不同的運動矢量。也就是說，如果在MPEG中使用簡單地最小化SAD的運動估計方法，儘管它在視覺上顯示了具有特定方向的運動矢量，但是由於攝相機聚焦的對象的亮度的微小變化、外部照明、旋轉、縮放/移動鏡頭等，運動矢量不同於正確的運動矢量，從而在普通的運動圖像以及文本中很多運動矢量在視覺上被不正確地顯示。
具體地講，移動背景上的文本滾動可作為對其難以搜索正確的運動矢量的對象的一個示例。由於文本具有很多相似的邊，因此，僅用SAD值難於識別正確的運動矢量。特別地，如果文本也在移動背景上移動，搜索正確的運動會更困難。
將參照圖1來描述傳統的運動估計器。圖1顯示在De Haan等人的名稱為「Motion Estimation and Motion-Compensated Interpolation」的第6,385,245號美國專利中公開的技術內容，因此其全部內容包含於此以資參考。
圖1顯示用於產生n(n≥2)個運動對象的n個PE塊和選擇塊UC2，指示運動變量(比如關於運動矢量的信息)和運動誤差的SAD值從每個PE塊輸入到所述選擇塊UC2，並且所述選擇塊UC2選擇它們中的任何一個作為運動矢量。
所述n個PE從當前幀和先前幀針對於現有塊來計算運動對象的運動矢量和SAD值。這裡，運動對象指可被選擇為最終的運動矢量的對象，在全搜索方法的情況下，搜索區域中的全部像素的數量是運動對象的數量。為減少硬體單元的數量和搜索正確的運動矢量，不使用全部運動對象而僅使用當前塊預計將移動到的幾個點處的運動矢量和SAD值來選擇運動對象。然後，上轉換器塊UC2在從PE輸入的SAD值之中選擇具有最小值的運動矢量作為最終的運動矢量。
這一相關技術是一種通過使用少量的運動對象來選擇最終運動矢量的方法，其中，假定運動對象矢量應該指示當前塊預計將移動的方向，其中正確的運動具有最小的SAD值。然而，傳統方法的缺點在於如果對象移動或者如果在運動的背景上產生文本滾動，則難於搜索正確的運動矢量。
發明內容
因此，本發明的一個目的是提供一種對於移動對象或者在移動背景上滾動的文本來搜索正確的運動矢量的運動估計方法和設備。
根據本發明的一方面，通過提供一種用於將當前幀劃分為多個塊並通過將當前塊與先前幀相比較來估計運動的運動估計器，可獲得上述和其他目的。所述運動估計器包括平均運動計算單元，基於與當前塊相鄰的周圍塊的運動矢量來計算平均運動矢量；行運動產生單元，基於當前塊的水平塊的運動矢量來在搜索區域中產生行運動矢量；和運動矢量選擇單元，基於根據平均運動矢量的平均運動預測誤差值和根據行運動矢量的行運動預測誤差值來選擇並輸出平均運動矢量和行運動矢量之一為當前塊的最終運動矢量。
根據本發明的另一方面，所述運動矢量選擇單元選擇並輸出與平均運預測誤差值和行運動預測誤差值中的較小值相應的運動矢量為當前塊的最終運動矢量。
根據本發明的另一方面，所述運動估計器還包括運動校正單元，校正當前塊的最終運動矢量。
根據本發明的另一方面，所述運動估計器還包括零運動產生單元，在當前塊的運動是零的位置計算零運動矢量；其中，運動矢量選擇單元基於平均運動預測誤差值、行運動預測誤差值和根據零運動矢量的零運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量和零運動矢量之一為當前塊的最終運動矢量。
根據本發明的另一方面，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值、行運動預測誤差值和零運動預測誤差值中的最小值相應的運動矢量為當前塊的最終運動矢量。
根據本發明的另一方面，所述運動估計器還包括任意運動估計單元，通過將當前塊與對先前幀設置的全搜索區域相比較來估計當前塊的任意運動矢量；其中，運動矢量選擇單元基於平均運動預測誤差值、行運動預測誤差值、零運動預測誤差值和根據任意運動矢量的任意運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量、零運動矢量和任意運動矢量之一為當前塊的最終運動矢量。
根據本發明的另一方面，所述運動估計器還包括運動校正單元，校正當前塊的最終運動矢量。
根據本發明的另一方面，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值、行運動預測誤差值、零運動預測誤差值和任意運動預測誤差值中的最小值相應的運動矢量為最終運動矢量。
根據本發明的另一方面，如果零運動預測誤差值小於或等於第一參考值並且行運動預測誤差值乘以第三權重所得的第三誤差值小於或等於第一最小值，則所述運動矢量選擇單元選擇並輸出零運動矢量為當前塊的最終運動矢量，其中所述第一最小值是零運動預測誤差值乘以第一權重所得的第一誤差值、平均運動預測誤差值乘以第二權重所得的第二誤差值和任意運動預測誤差值乘以第四權重所得的第四誤差值中的最小值的。
根據本發明的另一方面，如果零運動矢量不被選擇為最終運動矢量，那麼如果行運動預測誤差值小於或等於第二參考值並且行運動預測誤差值乘以第五權重所得的第五誤差值小於或等於第二最小值，則所述運動矢量選擇單元選擇並輸出行運動矢量為當前塊的最終運動矢量，其中，第二最小值是平均運動預測誤差值乘以第六權重所得的第六誤差值、零運動預測誤差值乘以第七權重所得的第七誤差值、和任意運動預測誤差值乘以第八權重所得的第八誤差值中的最小值。
根據本發明的另一方面，如果零運動矢量和行運動矢量不被選擇為並輸出為最終運動矢量，那麼如果平均運動預測誤差值小於或等於第三參考值，並且平均運動預測誤差值乘以第九權重所得的第九誤差值小於或等於第三最小值，則所述運動矢量選擇單元選擇並輸出平均運動矢量為當前塊的最終運動矢量，其中，所述第三最小值是行運動預測誤差值乘以第十權重所得的第十誤差值、零運動預測誤差值乘以第十一權重所得的第十一誤差值和任意運動預測誤差值乘以第十二權重所得的第十二誤差值中的最小值。
根據本發明的另一方面，如果零運動矢量、行運動矢量和平均運動矢量不被選擇為最終運動矢量，則運動矢量選擇單元選擇並輸出任意運動矢量為當前塊的最終運動矢量。
根據本發明的另一方面，所述運動估計器還包括運動校正單元，校正當前塊的最終運動矢量。
根據本發明的另一方面，通過絕對差值和(SAD)以及平均絕對差(MAD)之一來計算運動預測誤差值。
根據本發明的另一方面，基於平均運動預測誤差值乘以第一權重所得的第一誤差值、行運動預測誤差值乘以第二權重所得的第二誤差值、零運動預測誤差值乘以第三權重所得的第三誤差值和任意運動預測誤差值乘以第四權重所得的第四誤差值，所述運動矢量選擇單元選擇並輸出最終運動矢量。
根據本發明的另一方面，所述運動矢量選擇單元根據優先順序來選擇並輸出最終運動矢量。
根據本發明的另一方面，所述優先順序按零運動矢量、行運動矢量、平均運動矢量和任意運動矢量的順序來設置。
根據本發明的另一方面，所述任意運動估計單元包括用於計算任意運動矢量的運算器；其中，平均運動計算單元、行運動產生單元和零運動產生單元中的至少一個通過共享該運算器產生運動矢量。
根據本發明的另一方面，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值乘以第一權重所得的值、行運動預測誤差值乘以第二權重所得的值和零運動預測誤差值乘以第三權重所得的值中的最小值相應的運動矢量為最終運動矢量。
根據本發明的另一方面，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值乘以第一權重所得的值和行運動預測誤差值乘以第二權重所得的值的較小值相應的運動矢量為當前塊的最終運動矢量。
通過提供一種用於將當前幀劃分為多個塊並通過將當前塊與先前幀相比較來估計運動的運動估計方法，可獲得本發明的上述和其他方面。所述運動估計方法包括基於與當前塊相鄰的塊的運動矢量來計算平均運動矢量；基於當前塊的水平塊的運動矢量來在搜索區域中產生行運動矢量；和基於根據平均運動矢量的平均運動預測誤差值和根據行運動矢量的行運動預測誤差值來選擇並輸出平均運動矢量和行運動矢量中的任何一個為當前塊的最終運動矢量。
根據本發明的另一方面，最終運動矢量的輸出包括選擇並輸出與平均運預測誤差值和行運動預測誤差值中的較小值相應的運動矢量為當前塊的最終運動矢量。
根據本發明的另一方面，所述方法還包括在當前塊的運動是零的位置產生零運動矢量；其中，輸出所述最終運動矢量包括基於平均運動預測誤差值、行運動預測誤差值和根據零運動矢量的零運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量和零運動矢量中的任何一個為當前塊的最終運動矢量。
根據本發明的另一方面，所述方法還包括通過將當前塊與對先前幀設置的全搜索區域相比較來估計當前塊的任意運動矢量；其中，輸出最終運動矢量包括基於平均運動預測誤差值、行運動預測誤差值、零運動預測誤差值和根據任意運動矢量的任意運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量、零運動矢量和任意運動矢量中的任何一個為當前塊的最終運動矢量。
根據本發明的另一方面，平均運動矢量的產生、行運動矢量的產生和零運動矢量的產生中的至少一個基於當前幀之前的運動矢量來產生運動矢量。
根據本發明的另一方面，最終運動矢量的輸出包括根據優先順序來選擇並輸出最終運動矢量。
根據本發明的另一方面，所述優先順序按零運動矢量、行運動矢量、平均運動矢量和任意運動矢量的順序來設置。
根據本發明的另一方面，最終運動矢量的輸出包括如果零運動預測誤差值小於或等於第一參考值並且零運動預測誤差值乘以第三權重所得的第三誤差值小於或等於第一最小值，則選擇並輸出零運動矢量為當前塊的最終運動矢量，所述第一最小值是平均運動誤差值乘以第一權重所得的第一誤差值、行平均運動誤差值乘以第二權重所得的第二誤差值和任意運動誤差值乘以第四權重所得的第四誤差值中的最小值。
根據本發明的另一方面，最終運動矢量的輸出包括如果零運動矢量不被選擇為最終運動矢量，那麼如果行運動預測誤差值小於或等於第二參考值並且行運動預測誤差值乘以第五權重所得的第五誤差值小於或等於第二最小值，則選擇並輸出行運動矢量為當前塊的最終運動矢量，其中，第二最小值是平均運動預測誤差值乘以第六權重所得的第六誤差值、零運動預測誤差值乘以第七權重所得的第七誤差值、和任意運動預測誤差值乘以第八權重所得的第八誤差值中的最小值。
根據本發明的另一方面，最終運動矢量的輸出包括如果零運動矢量和行運動矢量不被選擇為並輸出為最終運動矢量，那麼如果平均運動預測誤差值小於或等於第三參考值，並且平均運動預測誤差值乘以第九權重所得的第九誤差值小於或等於第三最小值，則選擇並輸出平均運動矢量為當前塊的最終運動矢量，其中，所述第三最小值是行運動預測誤差值乘以第十權重所得的第十誤差值、零運動預測誤差值乘以第十一權重所得的第十一誤差值和任意運動預測誤差值乘以第十二權重所得的第十二誤差值中的最小值。
根據本發明的另一方面，最終運動矢量的輸出包括如果零運動矢量、行運動矢量和平均運動矢量不被選擇為最終運動矢量，則選擇並輸出任意運動矢量為當前塊的最終運動矢量。
結合附圖，從下面對特定示例性實施例的描述中，本發明的上述和其他示例性的方面和優點將會更清楚，其中圖1是傳統的運動估計器的控制框圖；圖2是根據本發明第一示例性實施例的運動估計器的控制框圖；圖3是示出根據本發明第一示例性實施例的行運動矢量的提取方法的示圖；圖4是根據本發明第二示例性實施例的運動估計器的控制框圖；
圖5是表示根據本發明第二示例性實施例的運動矢量的提取方法的示圖；圖6是根據本發明第三示例性實施例的運動估計器的控制框圖；圖7是根據本發明第三示例性實施例的選擇運動矢量的控制框圖；圖8是根據本發明第三示例性實施例的優先順序和選擇的表；和貫穿附圖，相同的標號指相同的部件、特性和結構。
具體實施例方式
提供本描述中作為示例的內容以有助於對參考附圖公開的本發明示例性實施例的全面理解。從而，本領域的普通技術人員應該認識到在不脫離要求權利的本發明的精神和範圍的情況下，可對在此描述的示例性實施例進行各種改變和修改。為清楚簡明起見，省略已知功能和構造的描述。
現在，將參照圖2和圖3來描述根據本發明第一示例性實施例的運動估計器和運動估計方法。
圖2是根據本發明第一示例性實施例的運動估計器的控制框圖。如圖2所示，所述運動估計器包括任意運動估計單元10、平均運動計算單元20、行運動產生單元30、運動矢量選擇單元40。此外，運動估計器可包括運動校正單元50。
任意運動估計單元10將當前幀劃分為大量的具有預定尺寸的塊，並通過將需要估計其運動的塊(以下，稱作「當前塊」)與先前幀的預定的搜索區域相比較來估計任意運動矢量。
任意估計單元10使用全搜索塊匹配算法來計算大量的運動預測誤差值。此外，任意運動估計單元10從具有最小運動預測誤差值的位置估計每個塊的運動矢量(MV)。運動預測誤差值可根據各種方法，比如絕對差值和(SAD)或者平均絕對差(MAD)來計算。
平均運動計算單元20基於從任意運動估計單元10估計的運動矢量來計算與當前塊臨近的周圍塊的運動矢量的平均矢量。即，形成包括當前塊的M×N尺寸的窗，然後估計出該窗內的運動矢量的平均值。
例如，窗尺寸可為3×3，隨著窗尺寸變大，運動的整個範圍可被更好地反映。
平均運動計算單元20通過累加當前幀之前的塊的運動矢量來獲得平均運動矢量(mean motion vector)，以減少硬體和計算時間的量。也就是說，因為應該知道與當前塊鄰接的運動矢量，所以為獲得全運動矢量(full motion vector)需要更多的延遲時間，因而，使用當前幀之前的塊的運動矢量來獲得平均運動矢量。
行運動產生單元30通過使用水平連續的塊的運動矢量來產生表示當前塊水平運動的程度的行運動矢量。
行平均運動矢量(MV_Avg(n))和所述行運動矢量(LineMV(n))通過下面的兩個表達式來獲得。
MV_Avg(n)=i=0NMotionVector(i,n)]]>[表達式2]LineMV(n)＝LocalMin(MV_Avg(n)，Search_Range)(其中，「n」是相應塊的垂直標號，「i」是水平標號。)如表達式1所示，行運動產生單元30基於當前塊所屬的行中的塊的運動矢量來計算行平均運動矢量MV_Avg(n)。
表達式1假定屬於相同對象的幾個塊一起移動的全運動中的運動誤差具有高斯分布。從而，如果屬於全運動的幾個塊的運動矢量被平均，則可獲得與實際的全運動幾乎相同的結果，並且隨著用於獲得平均值的塊的數量增加精確度也增加。
例如，由於新聞廣播等中的滾動文本佔據了大部分的下部屏幕，所以在具有480像素的標準清晰度(SD)等級的情況下，尺寸為8×8的塊的數量是480/8為60。從而，當在出現文本滾動時對這樣的塊的運動矢量求平均時，可獲得幾乎與正確的運動相應的運動矢量。
此外，行運動產生單元30以在表達式1中獲得的平均點為中心來在預定搜索區域內搜索局部最小值，然後計算局部最小值為行運動矢量。
這是假定正確的運動矢量存在於搜索區域內的SAD值之中的局部最小值周圍，而在實際的SDA值之中，所述局部最小值存在於在一定程度上匹配的塊的位置。
這裡，如果N×M尺寸的搜索區域被用於全搜索方法來計算任意運動矢量，則具有較小尺寸N/2×M/2等的搜索區域被用於獲得行運動矢量。
行運動產生單元的矢量提取方法現在將參考圖3來描述。圖5(A)、圖5(B)和圖5(C)分別表示每個塊的運動矢量、行平均運動矢量和根據其的行運動矢量。
如圖3中所示，行運動產生單元30基於每個塊的運動矢量按行來計算行平均運動矢量，並通過在M×M的搜索區域中搜索局部最小值來提取行運動矢量。
這裡，當計算水平塊的平均運動矢量時，行運動產生單元30可使用當前幀之前的運動矢量以便於解決幀延遲。在按行移動的滾動文本的情況下，相同的運動被連續保持，從而即使使用關於先前幀的運動信息也沒有誤差。另外，在平均運動矢量的情況下，當前幀之前的運動矢量可被用於最小化幀延遲。
以這種方式獲得的平均運動矢量和行運動矢量被輸入到運動矢量選擇單元40，由運動矢量選擇單元40來選擇最終的運動矢量。如圖2中所述，運動矢量選擇單元40包括用於比較SAD值的SAD比較單元41、和用於根據比較結果選擇並輸出平均運動矢量和行運動矢量中的任何一個的復用器(MUX)43。
MUX43選擇並輸出與根據平均運動矢量的平均SAD值和根據行運動矢量的行SAD值中的較小值相應的運動矢量為當前塊的最終的運動矢量。
從而，選擇了平均運動矢量和行運動矢量之間的正確的運動矢量，並確定了行運動矢量所應用的區域，也就是說，其中產生滾動文本的區域。
然而，根據本發明第一示例性實施例的運動估計器不使用單獨的算法來確定文本滾動區域，而只簡單地使用SAD值來選擇正確的運動矢量。
搜索區域內的特定位置(m，n)中的SAD(m，n)值由下面的表達式3來表示。
SAD(m,n)=i=0N-1i=0M-1|pixel_cur(m+i,n+j)-pixel_prev(m,n)|]]>假定平均運動矢量的SAD值和行運動矢量的SAD值中的較小值反映了較精確的運動。
可使用下面的表達式在簡單硬體中實現合適的運動矢量的選擇[表達式4] 其中，「w1」和「w2」表示可調整的加權參數。
例如，如果強調滾動文本的校正，w1應該被調整為小於w2，以便可選擇行運動矢量，其中，w1和w2是針對於行運動矢量的SAD值的加權參數。
此外，如圖2中所示，通過運動矢量選擇單元40輸出的最終的運動矢量可經過運動校正單元50的運動校正(平滑)處理。
所述運動校正處理通常被應用不止一次，這是由於隨著重複執行校正處理，最終運動矢量經過平滑處理而相似於周圍運動矢量，從而減小誤差。然而，如果最終運動矢量被過分平滑，則跟不上快速運動。在本發明第一示例性實施例中，所述運動校正處理執行兩次校正，比如，在平均運動計算單元中於針對周圍塊計算平均運動矢量的處理中執行的第一次校正，和用於最後校正從運動矢量選擇單元40輸出的最終的運動矢量的第二次校正。
下面，將參照圖4來描述根據本發明的第二示例性實施例的運動估計器。在前面的示例性實施例中表示的描述將不再重複。
如圖4中所示，運動估計器包括平均運動計算單元20、行運動產生單元30、運動矢量選擇單元40和零運動產生單元60。此外，所述運動估計器還可包括任意運動估計單元10和運動校正單元50。
根據本發明第二示例性實施例的運動估計器還包括零運動產生單元60。對平均運動計算單元20和行運動產生單元30的描述與針對上述第一示例性實施例表示的描述相似，這裡將不再重複。
零運動產生單元60在運動矢量是零的位置搜索存在於小搜索區域中的局部最小值，然後產生零運動矢量。這裡，以與行運動矢量相同的方式，零運動產生單元60以特定位置(因為零運動矢量，(0，0))為中心在M×M搜索區域內獲得局部最小值。
也就是說，在最小化噪聲等的影響方面，搜索周圍的局部最小值的SAD值比簡單地針對為「(0，0)」的運動矢量來獲得SAD值更有效。
設置零運動產生單元60以解決不連續的靜止圖像的問題。因為當靜止圖像，比如靜止logo內的塊中的行SAD值比平均SAD值小時，行運動矢量被選擇為最終運動矢量，所以在文本滾動時所述靜止圖像的相應塊向文本的方向移動，從而導致靜止圖像看起來是碎裂的或者是不連續的。這主要在下面的情形下產生存在於靜止圖像兩邊的塊包括一部分滾動文本區域。為解決這個問題，根據上述示例性實施例，調整加權參數從而運動矢量選擇單元40選擇平均運動矢量。因而可能會在滾動文本區域中降低矢量選擇性能。因此，添加零運動產生單元60以確定是否存在靜止圖像，以便可搜索正確的運動矢量。
根據本發明第二示例性實施例的運動矢量選擇單元40選擇並輸出輸入的平均運動矢量、輸入的行運動矢量和輸入的零運動矢量中的任何一個為最終運動矢量。
以與上面的第一示例性實施例相同的方式，SAD比較單元41將平均SAD、行SAD和零SAD值相互比較，基於SAD比較結果，MUX43選擇並輸出與最小的SAD值相應的運動矢量為最終運動矢量。可通過調整與各個SAD值相乘的加權參數來安排優先順序。
為了以這種方式來提取各個運動矢量，硬體量最好被最小化。為此，最好能共享運動估計，並且最好也能共享在運動估計器中通過全搜索從平均運動計算單元20、行運動產生單元30和零運動產生單元60搜索每個局部最小值的處理。
由於平均運動計算單元20、行運動產生單元30和零運動產生單元60在具有預定尺寸，比如3×3的區域中圍繞平均矢量、行平均矢量和零矢量搜索局部最小值，所以當在全搜索運動估計器中設置相應的搜索區域的每一個時通過全搜索來計算出相應的搜索區域內的SAD值時，存儲SAD值。
從而，平均運動矢量、零運動矢量和行運動矢量可在僅具有一個全搜索運動估計器的硬體中實現。在本發明示例性實施例中，由於任意運動估計單元10通過全搜索來執行運動估計，所以可通過共享任意運動估計單元10的硬體來提取各個運動矢量。
現在將參照圖5來描述提取行運動產生單元30、任意運動估計單元和零運動產生單元60的運動矢量的方法。
圖5(A)、圖5(B)和圖5(C)分別顯示產生行運動矢量、通過全搜索產生的任意運動矢量、和零運動矢量的方法。
如圖5(A)所示，行運動產生單元30對當前塊所屬的行中的運動矢量(D)求平均以計算行平均矢量(E)，在當前塊的預定的搜索區域M×M中搜索局部最小值以提取行運動矢量(F)。
此外，如圖5(B)所示，任意運動估計單元10經全搜索通過將當前塊和全搜索區域，即先前幀的N×N區域相比較來估計任意運動矢量。任意運動估計單元10的搜索區域被設置為包括行運動產生單元30、平均運動計算單元20和零運動產生單元60的搜索區域的大尺寸，從而可共享硬體。
圖5(C)中的零運動產生單元60以當前塊中當前運動矢量是零的位置為中心在預定的小搜索區域內搜索局部最小值。
下面將參照圖3和圖6來描述根據本發明第三示例性實施例的運動估計器。在前述示例性實施例中提供的描述將不再重複。
如圖3所示，在根據本發明第三示例性實施例的運動估計器中，添加了運動矢量選擇單元40的輸入以選擇通過全搜索獲得的任意運動矢量為最終運動矢量。
所述任意運動矢量包括通過全搜索獲得的沒有經過預先處理的原始運動矢量。如上所述，任意運動估計單元的硬體可被平均運動計算單元20、行運動產生單元30和零運動產生單元60共享以在當前幀的固定的搜索區域中搜索每個局部最小值。
運動矢量選擇單元40選擇並輸出平均運動矢量、行運動矢量、零運動矢量和任意運動矢量中的任何一個作為最終運動矢量。具體地講，在本發明第三示例性實施例中，為了增加向實際的正確的運動的收斂速度，任意運動矢量可選擇為最終運動矢量。
如在前述示例性實施例中所描述的，運動產生單元的每一個可使用先前幀的運動矢量以最小化幀延遲並減少硬體負荷。
如圖6所示，對於平均運動計算單元20在例如3×3的區域中通過使用當前塊的運動矢量產生平均運動矢量的情況，平均運動計算單元20應該等待其餘周圍塊的運動矢量被計算出，並且當前幀之前的運動矢量(過去的矢量)被使用。另外，在行運動產生單元30中這是相同的。然而，向實際的正確的運動的收斂速度可能被延遲。如果在由於使用先前幀的運動矢量而使平均運動矢量、行運動矢量和零運動矢量沒有適當地跟隨屏幕上的運動的情況下，選擇任意運動矢量，則收斂速率可被增加。
下面將參照圖7和圖8來描述在根據本發明第三示例性實施例的運動矢量選擇單元40中選擇最終運動矢量的方法。
如果運動矢量選擇單元40僅用SAD值選擇最終運動矢量則幾個運動矢量可能同時具有相似的值，因此應該對每個運動矢量來設置優先順序。在本發明的第三示例性實施例中，由於最好使靜止圖像不碎裂，所以第一優先順序分給零運動矢量。接下來，考慮到滾動文本的重要性，第二優先順序分給行運動矢量。接著，為了在其他運動矢量不精確的情況下應用通過全搜索而獲得的任意運動矢量，第三和第四優先順序分別分給平均運動矢量和任意矢量。
如圖7中所示，在操作S10，運動矢量選擇單元40內的SAD比較單元41確定零SAD值是否小於第一參考值，以及零SAD值乘以第一加權參數所得的值是否小於平均SAD值乘以第二加權參數所得的值、行SAD值乘以第三加權參數所得的值和全搜索SAD值乘以第四加權參數所得的值之中的最小值。
如果確定的結果滿足操作S10的條件，則SAD比較單元41將相應的數據輸出到MUX43，MUX43在操作S20選擇並輸出零運動矢量為最終運動矢量。
另外，如果確定的結果不滿足操作S10的條件，則SAD比較單元41在操作S30確定行SAD值是否小於第二參考值，以及行SAD值乘以第五加權參數所得的值是否小於平均SAD值乘以第六加權參數所得的值、零SAD值乘以第七加權參數所得的值和全搜索SAD值乘以第八加權參數所得的值之中的最小值。
如果確定的結果滿足操作S30的條件，則MUX43在操作S40選擇並輸出行運動矢量為最終運動矢量。
另外，如果確定的結果不滿足操作S30的條件，則SAD比較單元41在操作S50確定平均SAD值是否小於第三參考值，以及平均SAD值乘以第九加權參數所得的值是否小於行SAD值乘以第十加權參數所得的值、零SAD值乘以第十一加權參數所得的值和全搜索SAD值乘以第十二加權參數所得的值之中的最小值。
如果確定的結果滿足操作S50的條件，則MUX43在操作S60選擇並輸出平均運動矢量為最終運動矢量，否則MUX43在操作S70選擇並輸出任意運動矢量為最終運動矢量。
圖8是根據本發明第三示例性實施例的優先順序和選擇的表。在圖8中，「L」、「H」和「HH」分別表示低、高和很高。如圖7中所示，由於優先順序按零運動矢量、行運動矢量、平均運動矢量和任意運動矢量的順序排列，所以根據每一運動矢量是否大於每個參考值來選擇最終運動矢量。
如果所有的SAD值都小，則確定靜止圖像的可能性高，優先順序分給零運動矢量。此外，由於如果零SAD值相當大而平均SAD和行SAD值小，則確定權重被分給行運動矢量，所以行運動矢量被選擇。此外，由於如果全搜索SAD值小於其他SAD值，則確定正確的運動沒有被搜索，所以任意運動矢量被選擇。因此，可根據SAD值和優先順序來獲得正確的運動矢量。
如上所述，根據本發明實施例，提供了一種在運動對象或者運動背景上出現滾動文本等期間估計正確的運動矢量的運動估計器及其運動估計方法。
儘管參照特定示例性實施例已經具體顯示並描述了本發明，本領域的普通技術人員應該理解，在不脫離由權利要求及其等同物所限定的本發明的範圍和精神的情況下，可以在形式和細節上做各種改變。
權利要求
1.一種用於將當前幀劃分成多個塊並通過將當前塊與先前幀相比較來估計運動的運動估計器，所述運動估計器包括平均運動計算單元，基於與當前塊相鄰的塊的運動矢量來計算平均運動矢量；行運動產生單元，基於當前塊的水平塊的運動矢量來在搜索區域中產生行運動矢量；和運動矢量選擇單元，基於根據平均運動矢量的平均運動預測誤差值和根據行運動矢量的行運動預測誤差值來選擇並輸出平均運動矢量和行運動矢量之一為當前塊的最終運動矢量。
2.如權利要求1所述的運動估計器，其中，所述運動矢量選擇單元選擇並輸出與平均運預測誤差值和行運動預測誤差值中的較小值相應的運動矢量為當前塊的最終運動矢量。
3.如權利要求2所述的運動估計器，還包括運動校正單元，校正當前塊的最終運動矢量。
4.如權利要求1所述的運動估計器，還包括零運動產生單元，在當前塊的運動是零的位置計算零運動矢量；其中，運動矢量選擇單元基於平均運動預測誤差值、行運動預測誤差值和根據零運動矢量的零運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量和零運動矢量之一為當前塊的最終運動矢量。
5.如權利要求4所述的運動估計器，其中，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值、行運動預測誤差值和零運動預測誤差值中的最小值相應的運動矢量為當前塊的最終運動矢量。
6.如權利要求4所述的運動估計器，還包括任意運動估計單元，通過將當前塊與對先前幀設置的全搜索區域相比較來估計當前塊的任意運動矢量；其中，運動矢量選擇單元基於平均運動預測誤差值、行運動預測誤差值、零運動預測誤差值和根據任意運動矢量的任意運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量、零運動矢量和任意運動矢量之一為當前塊的最終運動矢量。
7.如權利要求6所述的運動估計器，還包括運動校正單元，校正當前塊的最終運動矢量。
8.如權利要求7所述的運動估計器，其中，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值、行運動預測誤差值、零運動預測誤差值和任意運動預測誤差值中的最小值相應的運動矢量為最終運動矢量。
9.如權利要求8所述的運動估計器，其中，如果零運動預測誤差值小於或等於第一參考值並且行運動預測誤差值乘以第三權重所得的第三誤差值小於或等於第一最小值，則所述運動矢量選擇單元選擇並輸出零運動矢量為當前塊的最終運動矢量，其中所述第一最小值是零運動預測誤差值乘以第一權重所得的第一誤差值、平均運動預測誤差值乘以第二權重所得的第二誤差值和任意運動預測誤差值乘以第四權重所得的第四誤差值中的最小值的。
10.如權利要求9所述的運動估計器，其中，如果零運動矢量不被選擇為最終運動矢量，那麼如果行運動預測誤差值小於或等於第二參考值並且行運動預測誤差值乘以第五權重所得的第五誤差值小於或等於第二最小值，則所述運動矢量選擇單元選擇並輸出行運動矢量為當前塊的最終運動矢量，其中，第二最小值是平均運動預測誤差值乘以第六權重所得的第六誤差值、零運動預測誤差值乘以第七權重所得的第七誤差值、和任意運動預測誤差值乘以第八權重所得的第八誤差值中的最小值。
11.如權利要求10所述的運動估計器，其中，如果零運動矢量和行運動矢量不被選擇並輸出為最終運動矢量，那麼如果平均運動預測誤差值小於或等於第三參考值，並且平均運動預測誤差值乘以第九權重所得的第九誤差值小於或等於第三最小值，則所述運動矢量選擇單元選擇並輸出平均運動矢量為當前塊的最終運動矢量，其中，所述第三最小值是行運動預測誤差值乘以第十權重所得的第十誤差值、零運動預測誤差值乘以第十一權重所得的第十一誤差值和任意運動預測誤差值乘以第十二權重所得的第十二誤差值中的最小值。
12.如權利要求11所述的運動估計器，其中，如果零運動矢量、行運動矢量和平均運動矢量不被選擇為最終運動矢量，則運動矢量選擇單元選擇並輸出任意運動矢量為當前塊的最終運動矢量。
13.如權利要求12所述的運動估計器，還包括運動校正單元，校正當前塊的最終運動矢量。
14.如權利要求11所述的運動估計器，其中，通過絕對差值和以及平均絕對差之一來計算運動預測誤差值。
15.如權利要求6所述的運動估計器，其中，基於平均運動預測誤差值乘以第一權重所得的第一誤差值、行運動預測誤差值乘以第二權重所得的第二誤差值、零運動預測誤差值乘以第三權重所得的第三誤差值和任意運動預測誤差值乘以第四權重所得的第四誤差值，所述運動矢量選擇單元選擇並輸出最終運動矢量。
16.如權利要求15所述的運動估計器，其中，所述運動矢量選擇單元根據優先順序來選擇並輸出最終運動矢量。
17.如權利要求16所述的運動估計器，其中，所述優先順序按零運動矢量、行運動矢量、平均運動矢量和任意運動矢量的順序來設置。
18.如權利要求6所述的運動估計器，其中，所述任意運動估計單元包括用於計算任意運動矢量的運算器；並且其中，平均運動計算單元、行運動產生單元和零運動產生單元中的至少一個通過共享該運算器產生運動矢量。
19.如權利要求4所述的運動估計器，其中，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值乘以第一權重所得的值、行運動預測誤差值乘以第二權重所得的值和零運動預測誤差值乘以第三權重所得的值中的最小值相應的運動矢量為最終運動矢量。
20.如權利要求1所述的運動估計器，其中，所述運動矢量選擇單元選擇並輸出與平均運動預測誤差值乘以第一權重所得的值和行運動預測誤差值乘以第二權重所得的值中的較小值相應的運動矢量為當前塊的最終運動矢量。
21.一種用於將當前幀劃分成多個塊並通過將當前塊與先前幀相比較來估計運動的運動估計方法，所述運動估計方法包括基於與當前塊相鄰的塊的運動矢量來計算平均運動矢量；基於當前塊的水平塊的運動矢量來在搜索區域中產生行運動矢量；和基於根據平均運動矢量的平均運動預測誤差值和根據行運動矢量的行運動預測誤差值來選擇並輸出平均運動矢量和行運動矢量中的任何一個為當前塊的最終運動矢量。
22.如權利要求21所述的運動估計方法，其中，最終運動矢量的輸出包括選擇並輸出與平均運動預測誤差值和行運動預測誤差值中的較小值相應的運動矢量為當前塊的最終運動矢量。
23.如權利要求21所述的運動估計方法，還包括在當前塊的運動是零的位置產生零運動矢量；其中，輸出所述最終運動矢量包括基於平均運動預測誤差值、行運動預測誤差值和根據零運動矢量的零運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量和零運動矢量中的任何一個為當前塊的最終運動矢量。
24.如權利要求23所述的運動估計方法，還包括通過將當前塊與對先前幀設置的全搜索區域相比較來估計當前塊的任意運動矢量；其中，輸出最終運動矢量包括基於平均運動預測誤差值、行運動預測誤差值、零運動預測誤差值和根據任意運動矢量的任意運動預測誤差值來選擇並輸出平均運動矢量、行運動矢量、零運動矢量和任意運動矢量中的任何一個為當前塊的最終運動矢量。
25.如權利要求24所述的運動估計方法，其中，平均運動矢量的產生、行運動矢量的產生和零運動矢量的產生中的至少一個基於當前幀之前的運動矢量來產生運動矢量。
26.如權利要求25所述的運動估計方法，其中，最終運動矢量的輸出包括根據優先順序來選擇並輸出最終運動矢量。
27.如權利要求26所述的運動估計方法，其中，所述優先順序按零運動矢量、行運動矢量、平均運動矢量和任意運動矢量的順序來設置。
28.如權利要求25所述的運動估計方法，其中，最終運動矢量的輸出包括如果零運動預測誤差值小於或等於第一參考值並且零運動預測誤差值乘以第三權重所得的第三誤差值小於或等於第一最小值，則選擇並輸出零運動矢量為當前塊的最終運動矢量，所述第一最小值是平均運動誤差值乘以第一權重所得的第一誤差值、行運動誤差值乘以第二權重所得的第二誤差值和任意運動誤差值乘以第四權重所得的第四誤差值中的最小值。
29.如權利要求28所述的運動估計方法，其中，最終運動矢量的輸出包括如果零運動矢量不被選擇為最終運動矢量，那麼如果行運動預測誤差值小於或等於第二參考值並且行運動預測誤差值乘以第五權重所得的第五誤差值小於或等於第二最小值，則選擇並輸出行運動矢量為當前塊的最終運動矢量，其中，第二最小值是平均運動預測誤差值乘以第六權重所得的第六誤差值、零運動預測誤差值乘以第七權重所得的第七誤差值、和任意運動預測誤差值乘以第八權重所得的第八誤差值中的最小值。
30.如權利要求29所述的運動估計方法，其中，最終運動矢量的輸出包括如果零運動矢量和行運動矢量不被選擇並輸出為最終運動矢量，那麼如果平均運動預測誤差值小於或等於第三參考值，並且平均運動預測誤差值乘以第九權重所得的第九誤差值小於或等於第三最小值，則選擇並輸出平均運動矢量為當前塊的最終運動矢量，其中，所述第三最小值是行運動預測誤差值乘以第十權重所得的第十誤差值、零運動預測誤差值乘以第十一權重所得的第十一誤差值和任意運動預測誤差值乘以第十二權重所得的第十二誤差值中的最小值。
31.如權利要求30所述的運動估計方法，其中，最終運動矢量的輸出包括如果零運動矢量、行運動矢量和平均運動矢量不被選擇為最終運動矢量，則選擇並輸出任意運動矢量為當前塊的最終運動矢量。
全文摘要
提供了一種用於將當前幀劃分為多個塊並通過將當前塊和先前幀相比較來估計運動的運動估計器和運動提取方法。所述運動估計器包括平均運動計算單元，基於與當前塊相鄰的周圍塊的運動矢量來計算平均運動矢量；行運動產生單元，基於當前塊的水平塊的運動矢量來在搜索區域中產生行運動矢量；和運動矢量選擇單元，基於根據平均運動矢量的平均運動預測誤差值和根據行運動矢量的行運動預測誤差值來選擇並輸出平均運動矢量和行運動矢量之一為當前塊的最終運動矢量。本發明的各方面提供了一種在移動對象或者出現在移動背景上的滾動文本的情況下用於搜索正確的運動矢量的運動估計器。
文檔編號H04N7/26GK1893658SQ20061010175
公開日2007年1月10日 申請日期2006年7月7日 優先權日2005年7月7日
發明者金命哉, 孫永旭, 成和錫, 閔鍾述, 姜政佑 申請人:三星電子株式會社