改善利用相位相關估計的運動的精確度和可靠度的方法
2023-06-07 15:08:01
專利名稱：改善利用相位相關估計的運動的精確度和可靠度的方法
技術領域：
本發明涉及圖像和視頻處理的領域。更具體而言，本發明涉及執行相位相關運動估計(phase correlation motion estimation)。
背景技術：
執行運動估計的過程能夠以若干種方式來實現。一種實現方式包括利用相位相關。相位相關使用頻率域方法來估計兩個相似圖像之間的平移性偏移。有若干種傳統的方法來從相位相關表面確定亞像素(sub-pel)精度。這些亞像素方法大體可分類為I-D方法或2-D方法。I-D方法在每個空間維度上獨立地操作。換言之， 運動的垂直和水平亞像素分量被分開確定。圖I示出了不同的亞像素方法使用的記號。條目au就是在相位相關表面中的峰的位置的鄰域中s [X, y](相位相關表面)的值。峰值是a22,並且au = s [xk+j_2, yk+i_2], 其中(xk，yk)是峰的位置。注意，由於FFT的屬性，相位相關表面s[x，y]的索引的求值是以N為模執行的。2D亞像素方法能夠使用圖中的相關值的一些或全部。一些2D方法使用更大的窗口，這些窗口能夠利用延伸到超過所演示的3 X 3鄰域的相關值。I-D亞像素方法獨立地考慮水平和垂直亞像素分量，並且使用圖2中所示的相關值。H. Foroosh 等人在 「Extension of Phase Correlation to Subpixel Registration」中指出，sine函數非常良好地近似了在存在平移性運動的情況下的相位相關表面。Foroosh等人的文章中的推導得出了在每個空間方向上獨立操作的相對簡單的 I-D亞像素方法。該方法被應用到靠近相位相關峰的鄰域。在G. A. Thomas 所著的 「Television Motion Measurement for DATV and Other Applications」中，1_D 二次函數被擬合到相位相關峰的鄰域中的三個點(圖2中所示的水平或垂直值)。在 I. E. Abdou 所著的 「Practical Approach to the Registration of Multiple Frames of Video Images」中，以類似的方式擬合 1_D 高斯函數。Thomas 和 Abdou 的方法的結果是不重要的，因為正如Foroosh等人的文章中所指出的，相位相關表面既不是二次的也不是高斯的，因此這些方法由於不適當的擬合函數而是有局限的。另外，在許多情況下，I-D亞像素方法在峰鄰域中不會提供像使用2-D亞像素方法時可能的那樣完整的擬合。在V. Argyriou 等人所著的 「A Study of Sub-Pixel Motion Estimation Using Phase Correlation」中，考慮了以下的經修改的sine函數
權利要求
1.一種被編程在設備中的存儲器中的執行相位相關以消除亞像素運動偏置的方法，包括a.執行第一遍的相位相關；b.根據在所述第一遍中確定的運動利用偏移來偏移參考圖片中的窗口；c.利用原始當前窗口和偏移參考窗口執行第二遍的所述相位相關以生成第二相位相關表面；d.基於所述第二相位相關表面來計算亞像素運動估計；以及e.通過對所述偏移和亞像素估計求和來計算最終運動估計。
2.如權利要求I所述的方法，其中執行第一遍的相位相關進一步包括a.向當前幀的窗口應用窗口函數以獲得當前幀結果；b.向所述當前幀結果應用快速傅立葉變換以得出第一組複數值；c.向參考幀的窗口應用所述窗口函數以獲得參考幀結果；d.向所述參考幀結果應用快速傅立葉變換以得出第二組複數值；e.對所述第二組複數值與所述第一組複數值的復共軛的積進行正規化；f.計算逆快速傅立葉變換以得出相位相關表面；以及g.從所述相位相關表面識別一個或多個峰，其中所述峰的索引對應於可能的運動。
3.如權利要求2所述的方法，其中執行第二遍的相位相關進一步包括a.向參考幀的窗口應用偏移窗口函數以獲得偏移幀結果；b.向所述偏移幀結果應用快速傅立葉變換以得出第三組複數值；c.對所述第三組複數值與所述第一組複數值的復共軛的積進行正規化；以及d.計算逆快速傅立葉變換以得出第二相位相關表面。
4.如權利要求I所述的方法，還包括實現可靠度度量。
5.如權利要求I所述的方法，其中所述設備是從由以下各項構成的組中選擇的個人計算機、膝上型計算機、計算機工作站、伺服器、大型機計算機、手持式計算機、個人數字助理、蜂窩/行動電話、智能器具、遊戲控制器、數字相機、數字可攜式攝像機、相機電話、 iPhone、iPod 、視頻播放器、DVD寫入器/播放器、Blu-ray 寫入器/播放器、電視機以及家庭娛樂系統。
6.如權利要求4所述的方法，其中所述可靠度度量是通過以下步驟來計算的a.執行運動估計以估計最佳峰的運動的整數分量以及最佳峰的亞像素分量；b.在所述最佳峰的鄰域中向相位相關表面應用濾波器；以及c.利用所得到的經濾波的表面計算所述可靠度度量。
7.如權利要求6所述的方法，其中所述濾波器實現了正規化常數。
8.如權利要求6所述的方法，其中計算可靠度使用了次佳峰的位置。
9.一種相機設備,包括a.視頻獲取組件，用於獲取視頻；b.編碼器，用於對視頻編碼，包括通過以下操作進行的相位相關運動估計i.執行第一遍的相位相關； .根據在所述第一遍中確定的運動利用偏移來偏移參考圖片中的窗口 ；iii.利用原始當前窗口和偏移參考窗口執行第二遍的所述相位相關以生成第二相位相關表面；iv.基於所述第二相位相關表面來計算亞像素運動估計；以及 V.通過對所述偏移和亞像素估計求和來計算最終運動估計；以及 C.存儲器，用於存儲經編碼的視頻。
10.如權利要求9所述的相機設備，其中執行第一遍的相位相關進一步包括a.向當前幀的窗口應用窗口函數以獲得當前幀結果；b.向所述當前幀結果應用快速傅立葉變換以得出第一組複數值；c.向參考幀的窗口應用所述窗口函數以獲得參考幀結果；d.向所述參考幀結果應用快速傅立葉變換以得出第二組複數值；e.對所述第二組複數值與所述第一組複數值的復共軛的積進行正規化；f.計算逆快速傅立葉變換以得出相位相關表面；以及g.從所述相位相關表面識別一個或多個峰，其中所述峰的索引對應於可能的運動。
11.如權利要求10所述的相機設備，其中執行第二遍的相位相關進一步包括a.向參考幀的窗口應用偏移窗口函數以獲得偏移幀結果；b.向所述偏移幀結果應用快速傅立葉變換以得出第三組複數值；c.對所述第三組複數值與所述第一組複數值的復共軛的積進行正規化；以及d.計算逆快速傅立葉變換以得出第二相位相關表面。
12.如權利要求9所述的相機設備，其中所述編碼器還包括實現可靠度度量。
13.如權利要求12所述的相機設備，其中所述可靠度度量是通過以下操作來計算的a.執行運動估計以估計最佳峰的運動的整數分量以及最佳峰的亞像素分量；b.在所述最佳峰的鄰域中向相位相關表面應用濾波器；以及c.利用所得到的經濾波的表面計算所述可靠度度量。
14.如權利要求13所述的相機設備，其中所述濾波器實現了正規化常數。
15.如權利要求13所述的相機設備，其中計算可靠度使用了次佳峰的位置。
全文摘要
本發明提供了改善利用相位相關估計的運動的精確度和可靠度的方法。這裡描述了改善運動估計的精確度和可靠度的方法。在一個方面中，利用兩個1D向量的外積來近似相位相關峰的2D鄰域以消除亞像素誤差。在另一方面中，改善對可靠度的估計。在另一方面中，實現兩遍相位相關來消除亞像素運動偏置。
文檔編號H04N5/14GK102611824SQ20111031736
公開日2012年7月25日 申請日期2011年10月13日 優先權日2010年10月26日
發明者倉田徹, 明-昌·劉, 村上義弘, 米田豐, 馬克·羅伯遜 申請人:索尼公司