數字圖像穩定化的製作方法

2023-10-04 21:24:54

專利名稱：數字圖像穩定化的製作方法
技術領域：
本發明構思涉及數字圖像穩定化(DIS)，更具體地，涉及識別在照相機場景(scene)中的對象的移動並在照相機的想要的和不想要的移動之間進行區分的方法。
背景技術：
在操作人員的手中操作數字相機、數字攝像機、以及具有這樣的相機或攝像機的 手持設備的同時，經常採用該相機或攝像機來捕獲圖像或視頻。因此，在捕獲圖像或視頻的同時，攝像機可能在操作員手中晃動或抖動。抖動可包括水平分量、垂直分量和旋轉分量。抖動可能使得用手拍攝的視頻對於觀看者來說是嘈雜的或混亂的，希望使用數字電路來數字地估計相機軌跡(即，當在每對連續幀之間檢測時的抖動)並且從相同場景的視頻幀序列中濾除抖動。由穩定的(固定的或移動的)攝像機產生的視頻主要包含所捕獲的視頻中的平滑運動(平移、旋轉)。另ー方面，不穩定的攝像機產生在視頻圖像中具有高頻抖動(平移和/或旋轉)的視頻。數字圖像穩定化(DIS)系統首先估計不希望(不想要)的運動，然後向圖像序列施加校正。穩定化視頻的視覺效果非常依賴於照相機軌跡估計的質量。傳統數字圖像穩定化(DIS)方法使用識別的特徵點作為估計兩個連續幀之間的抖動運動的基礎。因此，在傳統DIS技術中，通過計算按時間相鄰的幀之間的可識別的「特徵點」的運動的向量來檢測抖動照相機移動。為了將多個運動向量與場景中的實際對象相關聯，計算的特徵點的運動向量隨後被「編組」。該編組允許場景中小移動對象與照相機/場景的全局移動相區分。分析照相機/場景的全局運動，以在想要的(例如搖攝)和不想要的(抖動)全局運動之間區分。還希望檢測和測量照相機的軌跡並精確地特徵化抖動，從而抖動可以被正確地補償並從存儲/顯示的視頻中正確地移除。然而，在諸如高噪聲或平坦場景視頻的某些特殊的情況中，特徵點跟蹤可能不可靠。為了獲得特徵點運動向量，必須基於(絕對差之和)SAD計算找到最匹配點。但是諸如在高噪聲的低照明條件中或對於諸如藍天的平坦場景，最小SAD並不總是確保正確的匹配點。在數學上，仿射幾何是對於通過仿射變換(即，非奇異線性變換和平移)保持不變換的幾何屬性的研究。已經開發了由數字係數(被稱為仿射矩陣)定義的數學方程組，以便特徵化在每對連續幀或其部分(例如，幀中的運動對象)之間檢測到的橫向的(上/下)、旋轉的和縮放的(例如，放大或縮小)運動。因此，仿射變換Ti(Ii)可用作圖像中可視的所選特徵的識別組的運動的約定描述，其中每個特徵是視頻幀圖像中的獨特點。所述組的這一數學描述可以包含線性位移、旋轉角度、比例等。每ー組的線性位移運動Mi (η)是用於多個幀(η-1，η, η+1等)的仿射變換Ti (η)中的信息的子集。因此，照相機抖動可以通過與場景中的任何實際上固定的對象(例如，巖石、桌子、停泊的車、山、太陽)相關的第一仿射變換矩陣(稱為基本變換P (η))或全局變換來特徵化,而幀中的任何移動對象(例如鳥、人、球、移動的車、經過的火車)可以通過另外的仿射矩陣來特徵化。具有小運動Mi (η)的變換更可能是基本變換P (η)。但是，具有最小運動Mi (η)的變換並非必須總是基本變換P (η)。通過檢測一個或多個感興趣的點(「特徵點」)來計算和選擇指示照相機運動(例如由於用戶的手抖動所導致)的基本變換(基本幀間變換)Ρ(η)。連續幀之間的特徵點的運動向量可以使用在視頻壓縮領域中採用的各種搜索方法來計算。與特定對象相關的(被編為ー組的)多個特徵點運動向量隨後被用於計算對象的仿射變換，該仿射變換根據仿射等式定義其檢測的運動。為了穩定圖像，將由於不穩定照相機導致的基本運動與場景中的移動對象相區分。如果不存在抖動(沒有照相機軌跡)，則期望在兩個或多個連續幀的每一個中的相同位置找到實際固定對象的每個檢測的特徵點(例如，巖石的角，山頂)(並且所有那些檢測到的特徵點的運動向量將被測量為空)。如果存在抖動(照相機軌跡)，則期望在兩個或多個連續幀的每ー個中的不同位置找到實際固定對象的每個檢測的特徵點(例如，巖石的角，山頂)，並且將測量到所有那些檢測到的特徵點的運動向量。但是，在某些場景中，大移動對象，例如具有等於、小於或大於抖動運動的可測量運動向量的經過的火車或經過的卡車，可能進入幀中並逐漸覆蓋幀中越來越多的區域直到其覆蓋整個場景。覆蓋整個視頻場景的大移動對象對於傳統的DIS方法提出特別的挑戰。其發生可能會使傳統DIS電路混亂，該傳統DIS電路會將大移動對象的變換錯誤地識別為基本變換P (η)。

發明內容
本發明構思的ー個方面提供了ー種數字圖像穩定化(DIS)方法，其包括基於從瓦片(tile)運動向量組變換和特徵點運動向量組變換中選擇基本變換來識別幀的穩定背景，以將穩定背景與實際移動對象相區分。本發明構思的ー個方面提供了ー種數字圖像穩定化方法，包括基於對瓦片運動向量(瓦片MV)組和特徵點運動向量(FP MV)組的多個變換中的每ー個評分，選擇表示在視頻幀的場景中的固定/背景對象的基本變換P(n)，並基於固定(背景)組的歷史和多個運動向量組中的每ー個的歷史排除大移動對象。本發明構思的另ー個方面提供了ー種方法，其基於對特徵點運動向量(FPMV)組的多個變換中的每ー個評分，選擇表示在視頻幀的場景中的固定/背景對象的基本變換P (η)。本發明構思的另ー個方面提供了ー種方法，其基於對瓦片運動向量(瓦片MV)組和特徵點運動向量(FP MV)組的多個變換中的每ー個評分，選擇表示在視頻幀的場景中的固定/背景對象的基本變換P (η)。 本發明構思的另ー個方面提供了ー種數字圖像穩定化方法，包括基於固定(背景)組的歷史和多個運動向量組中的每ー個的歷史排除可能覆蓋整個視頻幀的大移動對象。本發明構思的ー個方面提供了ー種適配為執行此處公開的DIS方法的數字圖像穩定化電路。用來估計連續視頻幀之間的照相機軌跡、並從視頻幀序列中過濾掉由於照相機的軌跡導致的抖動的方法或電路可以包含在攝像機自身中，並被啟動以在存儲拍攝的視頻幀之前實時移除抖動(例如如果攝像機包括實時MPEG編碼器，則在MPEG編碼之前或在MPEG編碼期間)。可選地，用來估計連續視頻幀之間的照相機軌跡、並從存儲的視頻幀序列中過濾掉抖動的DIS電路可以是由包含數字圖像穩定化(DIS)方法的軟體控制的通用微計算機、或可以是例如包含在被優化以執行數字圖像穩定化(DIS)方法的ASIC(特定用途集成電路)中的MPEG視頻編碼器的專用硬體。本發明構思的示例實施例的特徵是ー種方法，其應用連續評分函數以評價Ti(Ii)中每個運動向量組的變換並選擇最佳變換P (η)來表示(固定)背景。所述方法同時考慮分量函數，包括但不限於變換歷史、變換運動、變換特徵和變換範圍(水平和垂直)的函數，以選擇基本變換P (η)。這些特性中的每ー個對於評分分量有貢獻。這些評分分量的全體對於每個變換候選Ti (η)給出總分數Qi (η)。具有最高總分數Qi (η)的幀間變換候選被選擇作 為基本幀間變換Ρ(η)並被用在DIS方法後續的補償步驟中。所公開的評分和選擇方法對於幀間變換的微小擾動不敏感。因此，所公開的方法優於對於這樣的微小擾動非常敏感的傳統的多級專用ニ進位決定例程。下面將參考附圖更詳細地描述本發明構思的示例實施例。然而，本發明構思可以以不同形式來體現，並且不應被理解為限制於這裡提出的實施例。相反，這些實施例被提供來使得本公開將是全面的和完整的，並且將本發明構思的範圍完全傳達給本領域技術人員。貫穿附圖，相似數字指代相似元素。


附圖被包括來提供本發明構思的進ー步理解，並且被併入和構成本說明書的一部分。附示了本發明構思的示例性實施例，並且與說明書一起用來解釋本發明構思的原通。在附圖中圖I是依據本發明構思的示例實施例的執行數字圖像穩定化(DIS)方法的DIS電路的框圖；圖2是圖I的DIS電路中被適配來計算瓦片(tile)向量組的仿射變換的檢測單元的框圖；圖3是圖I的DIS電路中被適配來基於為瓦片組變換和特徵組變換Ti (η)評分而選擇基本(穩定/背景)變換P (η)的軌跡單元(TU)的框圖；圖4Α是被配置為執行圖I的DIS電路的DIS方法中的步驟的組變換評分和選擇電路的示例實現的框圖；圖4Β是歷史分數單元的示例實現的框圖；圖5是集合的變換評分和選擇電路的示例實現的框圖；圖6是圖示移動對象排除電路的示例實現的框圖；以及圖7是圖示根據本發明構思的實施例的處理步驟的流程圖。
具體實施例方式根據本發明構思的實施例，為了在算法上選擇提供適合用於數字圖像穩定化的良好特徵點分布的特定點的目的，每個所捕獲的視頻幀被劃分為少量的非重疊瓦片(tile)(典型地，對於標準清晰度為4X4瓦片，而對於高清晰度為6X6瓦片)。圖像的不同區域可能具有不同密度的合適特徵點。在極端情況下，例如在沒有任何雲的藍天的情況下，幀的ー個區域可能沒有任何合適特徵點。在其它區域中，潛在的特徵點可能非常密集。所獲得的特徵點分布基於視頻幀的小區域(例如，非重疊的瓦片)，而每個瓦片中特徵點的數量隨著該瓦片的亮度圖像數據的方差σ 2而線性地増加。具有更感興趣的圖像數據並且因此需要更多特徵點的瓦片被期望具有更高的方差σ2。參見於2011年12月7日在美國提交的申請序列No. 13/313，684、檔案號為No. 8729-357、題目為「DIGITAL IMAGESTABILIZATION DEVICEAND METHOD」，描述了以下處理設置每個瓦片中的特徵點之間的最小距離(MIN DIST)，而同時僅要求很少的局部狀態信息，由此降低硬體實現成本。在這裡通過引用併入同時待審查的申請、檔案號為No. 8729-357的公開內容。
如果場景是在低光照條件下捕獲的，則將具有相對更多的噪聲，並且噪聲對特徵點的影響大於對瓦片的影響，這是因為特徵點的像素的數量遠小於瓦片中像素的數量。瓦片中像素的更大數量提供了噪聲消除效果，並且下採樣的基於瓦片的運動向量在該情況下更為準確。即使場景不是在低光照條件下捕獲的，如果場景過於平坦，則基於瓦片的運動向量也可能更為準確。如果瓦片場景像有雲的天或藍天那樣平坦，則可能有一些特徵點，並且平坦瓦片中的這些特徵點可能在下一幀的許多位置處找到相似級別的匹配點。但是，基於瓦片的匹配不僅僅依賴於小的特徵點捜索區域，而是瓦片中的所有圖案可以對瓦片匹配處理作出貢獻。作為結果，在場景平坦時，基於瓦片的運動向量是更可靠的。當特徵點運動向量組的最佳分數小於給定閾值時，我們決定使用基於瓦片的運動向量而不是基於特徵點的運動向量，並且該策略對於高噪聲場景或平坦場景工作良好。根據本發明構思的實施例，我們選擇表示背景和大對象的移動的估計運動向量，而更小對象不需要具有與其相關聯的精確運動向量。可以在DIS算法的較後級處對用於更小對象的任何不精確向量進行濾波。期望具有顯著性的大固定對象的特徵點將由於全局移動或相機移動而以一致的方式移動。我們認識到，獨立移動的顯著大對象覆蓋至少一個瓦片的大部分，使得它們的運動可以被估計為瓦片本身的支配運動(predominatemotion),而小對象的運動對瓦片本身的運動向量具有很少影響。我們使用最低解析度的塊匹配來推導每個瓦片的ー個運動向量。基於瓦片的運動向量可以在ー些特定情況下(諸如高噪聲或平坦場景視頻)被用於相機軌跡決定。用於給定瓦片的運動向量是使絕對差之和(SAD)最小化的運動向量。而且，通過使用分層級的運動估計算法並且通過相對於局部運動更趨向於瓦片運動，使用瓦片的運動向量作為起始向量，可以修改計算每個瓦片中的特徵點的運動向量的處理以減少計算。由於覆蓋至少ー個瓦片的大部分的足夠大對象可能延伸至相鄰瓦片中，因此有可能每個瓦片中的一些特徵點可能與相鄰瓦片的運動向量、而不是與在其中找到這些特徵點的瓦片的運動向量更強地相關聯。因此，在對於任何給定瓦片的特徵點的運動向量的塊匹配捜索中，使用所有相鄰瓦片的運動向量作為多個起始向量將是有效的。因此，被用來獲得所選特徵點的運動向量的起始向量是該特徵點所屬的瓦片的起始向量、以及屬於四個直接相鄰者(上瓦片、左瓦片、右瓦片、下瓦片)(假設其存在)的起始向量。對於所使用的每個起始向量，我們僅將非常小的範圍用於特徵點運動向量的局部捜索。這裡的目標不足以確定用於每個特徵點的精確向量(在DIS處理鏈中稍後將排除差的運動向量)。相反，感興趣的特徵點僅僅是屬於背景或大對象的特徵點。對於那些特徵點，瓦片運動向量之一應對於感興趣的特徵點的運動向量而言是良好的、或者應接近於感興趣的特徵點的運動向量，並且因此關於每個所選瓦片運動向量的小局部捜索是足夠的。對於瓦片中的每個所選特徵點，圍繞ー組起始向量中的每個起始向量，在更高解析度域(這可能是原始視頻解析度，或者可以由2或4的因子fs3 二次採樣的)中執行小局部 塊匹配捜索。圖I是依據本發明構思的示例實施例的執行數字圖像穩定化(DIS)方法的DIS電路的框圖。該DIS電路包括檢測單元(DU)，其分析所接收的急跳視頻並且輸出幀間變換Ti (η);軌跡單元(TU)，其輸出從幀間變換Ti (η)中選擇的所選基本/補償變換P (η)；以及補償單元(CU)，其通過使用所選基本/補償變換P (η)修改急跳視頻而輸出穩定化視頻。檢測單元(DU)估計所接收的視頻數據幀中的特徵點(FP)的幀間運動向量、以及非重疊瓦片的幀間運動向量(瓦片向量)。檢測單元進ー步輸出FP運動向量組變換和瓦片組變換Ti (η)。軌跡單元(TU)選擇幀間變換Ti (η)之一(或者在大移動對象覆蓋場景的情況下的單位變換)作為基本變換P (η)，因此排除小移動對象的幀間變換和可能移動到整個幀中並且覆蓋整個幀的大移動對象的幀間變換。圖2是圖I的DIS電路中被適配來作為圖I的DIS電路的DIS方法的步驟計算瓦片向量組的仿射變換的檢測單元2000的框圖。檢測單元2000包括特徵點電路3000、運動向量(MV)編組電路1300、以及運動向量(MV)組仿射變換計算器2010。特徵點電路3000接收每個視頻數據幀，並且優選地將每個視頻幀劃分為少量j Xk個非重疊瓦片。j Xk個瓦片的範圍可以從用於SD視頻的4X4個到用於HD視頻的6X6個；來自(4. . 8) X (4. . 8)範圍中的其它數量也是可能的，並且可能是有益的。選擇瓦片尺寸使得獨立移動的顯著大對象覆蓋至少一個瓦片的大部分，從而可以為了 DIS目的而捕獲它們的運動，同時可以忽略小對象的運動。特徵點電路3000標識並選擇所接收的視頻幀中的特徵點(SFP)，並且輸出特徵點的運動向量和瓦片的運動向量(SFP MV和瓦片MV)。特徵點電路3000包括特徵點選擇器和運動向量計算器、以及共享的RAM存儲器350。特徵點選擇器還可以包括哈裡斯(Harris)角點特徵點候選標識器、以及特徵點候選揀選器。為了節省計算能力並減少所需運算的數量，特徵點電路3000僅對亮度數據進行操作，並且包括一個或多個下採樣器和分層級塊匹配搜索單元。特徵點電路3000為每個瓦片估計運動向量。在覆蓋輸入圖像的中心的非重疊瓦片(例如，與可能用於特徵點揀選算法的瓦片相同的瓦片)的基礎上，進行瓦片運動向量(瓦片MV)估計。對於每個瓦片，對深度下採樣的圖像執行完全塊匹配捜索。對於每個瓦片進行完全搜索塊匹配，並且瓦片運動向量(瓦片MV)被存儲(356)以供稍後使用，例如用作分層級塊匹配搜索單元中的起始向量，用於推導特徵點的運動向量(在352處存儲的SFPMV)並且用於固定對象檢測。
特徵點電路3000優選地提供特徵點列表352，其具有基於被稱為瓦片的視頻幀小區域(瓦片)的分布，其中，每個瓦片的特徵點的最大數量隨著該瓦片的亮度圖像數據的方差σ 2而線性地増加。用於DIS方法的良好特徵點是在應用合適的運動估計算法時不產生模稜兩可的運動向量的特徵點。為了標識圖像中的特徵點，對視頻幀的像素應用Harris角點檢測算法，以便測量該像素有多麼適合作為特徵點。圖像的不同區域(瓦片)可能具有不同密度的所標識的特徵點候選。特徵點電路3000優選地包括運動向量計算器，其執行用於計算每個瓦片的運動向量的瓦片向量計算器的功能；以及分層級塊匹配搜索單元，其用於確定並輸出每個所選特徵點(SFP)的運動向量。瓦片向量計算器使用當前幀Ft的深度下採樣的亮度數據來計算每個瓦片的運動向量。分層級塊匹配搜索單元使用兩個連續幀的完全解析度或下採樣的亮度數據來確定每個所選特徵點的運動向量，並且可以使用瓦片運動向量作為起始向量。所有特徵點和與瓦片相關的數據被傳遞給下一 DIS塊，具體地是運動向量編組電路 1300。運動向量編組電路1300被配置為對FP運動向量和瓦片運動向量執行編組算法。運動向量編組電路1300包括運動向量比較器1310，其被配置為通過將成對(pairing)算法控制器1302所選擇的每對向量進行比較而執行編組決定。運動向量編組電路1300基於連續視頻幀之間的對象的所察覺的相對移動,將FP運動向量編組以便將所選特徵點(SFP)的運動向量與場景中的對象相關聯。運動向量編組電路1300還基於連續視頻幀之間的對象的所察覺的相對移動，將瓦片運動向量編組以便將瓦片向量與場景中的對象相關聯。運動向量編組電路1300與特徵點電路3000共享RAM存儲器350。存儲器350的SPF MV列表部分352-FP包含所選特徵點(SFP)的位置和運動向量的列表。存儲器350的瓦片MV列表部分352-TMV包含非重疊瓦片的位置和運動向量的列表。成對算法控制器1302保持跟蹤哪些特徵點和瓦片(運動向量)已經彼此配對而哪些保持未配對，以及哪些將完全從編組中被排除。成對算法重複地提供運動向量對(向量A和向量B)作為到MV比較器1310的輸入。運動向量編組電路1300中的成對算法控制器1302訪問SPF MV列表(352-MV)和瓦片MV列表(352-TMV)並選擇向量A和向量B以用於運動向量比較器1310中的比較。當一系列向量A-向量B比較導致ー個或多個向量組(例如，所選特徵點的組和瓦片的組)吋，成對算法控制器1302將編組後的運動向量或其描述性列表寫入到存儲器350的FP MV組目錄部分354和瓦片MV組目錄部分358中。 運動向量(MV)組仿射變換計算器2010計算每組特徵點運動向量的幀間變換，並計算每組瓦片運動向量的幀間變換，並將它們全部輸出作為Ti (η)。圖3是圖I的DIS電路的軌跡單元(TU)4000的框圖，該軌跡單元4000被適配為依據圖I的DIS電路的DIS方法的步驟、基於為瓦片組變換和特徵組變換Ti (η)評分的方法，來選擇基本(固定/背景)變換P (η)。軌跡單元(TU)4000 (圖3)包括瓦片組變換評分和選擇電路4100-1 (圖4A)、特徵組變換評分和選擇電路4100-2 (圖4A)、集合組選擇電路4200 (圖5)、移動對象排除電路4400 (圖6)和自適應補償濾波器8000。
軌跡單元(TU) 4000標識由不穩定相機引起的基本運動P (η)而同時忽略在場景中的移動對象，對所選基本變換P (η)進行濾波，並且輸出補償變換C (η)。軌跡單元(TU) 4000採用多個連續的評分函數來從所接收的幀間變換Ti(Ii)中選擇基本變換P (η)。圖4Α是圖I的DIS電路的軌跡單元(TU) 4000的組變換評分和選擇電路4100的框圖，該組變換評分和選擇電路4100包括變換分數計算器4150、變換質量計算器4160以及被配置為執行圖I的DIS電路的DIS方法中的步驟的組變換和質量選擇器4170。組變換評分和選擇電路4100被適配為從瓦片組幀間變換Tmea (n) (4100-1)中輸出瓦片組基本變換GPlile (η)，並且被適配為從FP幀間變換TFP, i (η) (4100-2)中輸出特徵組基本變換GPfp (η)。圖4Β是在圖4的實現4100-1中示出的圖4Α的組變換評分和選擇電路4100中的歷史分數計算單元4110-1的示例實現的框圖。參見圖4Α和圖4Β，組變換評分和選擇電路4100包括歷史分數計算單元4110 (例如4110-1)、運動分數計算單元4120、特徵分數計算單元4130和範圍分數計算單元4140,加上總變換分數Si (η)計算器4150、變換質量Qi (η)計算器4160、以及組變換和質量選擇器 4170(例如 4170-1)。圖4A的組變換評分和選擇電路4100中的組變換和質量選擇器4170基於從總變換分數計算器4150接收的(每個幀間變換Ti (η)的)總變換分數Si (η)(通過拒絕小移動對象的幀間變換)而選擇幀間變換Ti(Ii)之一作為組基本變換GP(n)，並輸出組基本變換GP (η)及其相關聯的質量Q (η)。設Ti(Ii)為從檢測單元(DU) 2000接收的所有所接收的變換候選中的第i變換，其中η指示幀和時序屬性。設GP(n)是在幀時間η所選擇的組基本變換，S卩，對於所選擇的i，GP (n) = Ti (η)。對於每個Ti (η)，總變換分數Si (η)計算器4150從歷史分數計算單元4110 (例如，4110-1)接收歷史分數Hi (η),從運動分數計算單元4120接收運動分數Mi (η),從特徵分數計算單元4130接收特徵分數Fi (η),從範圍分數計算單元4140接收範圍分數Ei (η),並且基於以下等式計算總變換分數Si (η)Si (n) = Hi (n) ^Mi (n) ^Fi (η) ^Ei (η)對於姆個Ti (η),變換質量Qi (η)計算器4160從特徵分數計算單元4130接收特徵分數Fi (η)，從範圍分數計算單元4140接收範圍分數Ei (η)，並基於以下等式計算變換質量Qi(η)Qi (n) = Fi (n) ^Ei (η).具有最大值Si (η)的Ti (η)應當被圖4Α的組變換評分和選擇電路4100的組變換選擇器4170選擇作為組基本變換GP (η)。因此，在該示例實施例中，具有最高分數Si (η)的幀間變換候選Ti (η)被選擇作為組基本變換GP (η)，然後被自適應地濾波以產生補償變換C (η)，從而在圖I的DIS電路的DIS補償單元(⑶)6000中補償抖動相機運動。歷史分數計算單元4110(例如4110-1)存儲組基本變換GP(n)的歷史，並且例如在從檢測単元(DU) 2000接收到每個Ti (η)吋，基於所存儲的預定長度HL的組基本變換GP (η)的歷史，為每個Ti(Ii)計算歷史分數Hi(Ii),其中HL是指示預定數量的之前幀的整數。進入的Ti(Ii)與所存儲的HL個先前選擇的組基本變換GP (η-I)…GP (n-k)中的每ー個數學地進行比較，其中k是整數的幀時間索引，其從I (指示緊接著的前ー幀n-l)變化到HK (在時間上相距更遠的幀n-HK)。Ti (η)中與所存儲的HL個先前選擇的組基本變換GP (η-I)到GP (n-HL)具有更高相關性的變換具有更高的歷史分數Hi (η)。Ti (η)和姆個GP(n-k)之間的相關性Hi, k(n)是單位I (unity)減去規格化範數(I-1 Ti (n)-GP (n-k) I)並且在範圍
中，其中Hi，k(n)值等於I指示最高相關性。每個相關性Hi，k(n) (I-1 Ti (n)-GP (n-k))的貢獻被對應的歷史-權重HW(k)加權。歷史分數Hi (η)是總相關性，並且是HW(n-k)加權的Hi, k(n)的和，I < k < HL,其中HL是歷史的長度(過去幀的數量)。因此，Hi (η) =Σ [I-1 Ti (n) -GP (n-k) | *HW(k) ], I < k < HL權重HW(n-HL)到HW(n_l)優選地被選擇為使得它們的和等於1，並且使得歷史分 數Hi (η)輸出是非線性規格化的並具有連續的範圍
。圖4Β中示出的歷史分數計算單元4110的示例硬體實現4110-1包括FIFO (先進先出)存儲器緩衝器，其用於存儲HL個先前選擇的組基本變換GP (η-I)到GP (n-HL)，並且其具有HL個抽頭(用於n-Ι到n-HL)以將它們存儲的內容輸出到比較器4114。比較器4114將當前Ti (η)與HL個所存儲的先前選擇的組基本變換GP (η-1)到GP(n_HL)中的每個進行比較，並將由歷史權重HW(η-I)到HW(n-HL)加權的每個比較輸出到總歷史分數計算器4116，總歷史分數計算器4116輸出總相關性作為在連續範圍
中的總歷史分數Hi (η)。運動分數計算單元4120接收姆個Ti (η),並僅基於Ti (η)計算其運動分數Mi (η)。在替換實施例中，為了計算運動分數Mi (η)，運動分數計算單元4120可以被配置為從檢測單元2000接收所存儲的信息。具有小運動的變換具有更高的運動分數Mi (η)，並且更可能成為組基本變換GP(n)。對於Ti (η)中的每個幀間變換，運動分數計算單元4120計算運動分數 Mi(η)。具有大值的Mi(Ii)對應於小運動，反之亦然。運動Mi(Ii)可以基於變換的水平的、垂直的或總的線性位移。運動分數Mi (η)與線性位移Mi (η)逆向相關，並且優選地被非線性規格化為具有連續範圍
。特徵分數計算單元4130接收姆個Ti (η),並僅基於Ti (η)計算其特徵分數Fi (η)。在替換實施例中，為了計算特徵分數Fi (η)，特徵分數計算單元4130可以被配置為從檢測單元2000接收所存儲的信息。對於Ti (η)中的每個幀間變換，特徵分數計算單元4130計算特徵分數Fjn)。特徵分數Fi(Ii)與被編組在一起的多個特徵點相關，以組成由Ti(Ii)中的每個幀間變換表示的特徵點組。Ti(Ii)中每組具有更多特徵點的變換具有更高的特徵分數Fi(Ii)0特徵分數Fi (η)優選地被非線性規格化為具有連續範圍
。範圍分數計算單元4140接收姆個Ti (η),並僅基於Ti (η)計算其範圍分數Ei (η)。在替換實施例中，為了計算範圍分數Ei(Ii)，範圍分數計算單元4140可以被配置為從檢測單元2000接收所存儲的信息。對於Ti (η)中的每個幀間變換，範圍分數計算單元4140計算範圍分數Ei (n)。Ti(Ii)中具有覆蓋(遍布)更大區域的特徵點的變換被更高地評分。具有更大值的範圍分數Ei (η)對應於更大的覆蓋區域，反之亦然。範圍分數Ei (η)與包含變換的組的所有特徵點的長方形區域的長度乘以寬度相關。範圍分數Ei (η)優選地被非線性規格化以具有連續範圍
。本發明構思的各個示例實施例使用場景歷史分析，以排除穿過整個場景移動的大對象，否則其將在視頻穩定化中造成不希望的結果。在沒有正確的場景歷史分析的情況下，基本變換選擇器更可能選擇對應於大移動對象的變換候選，特別是當其覆蓋整個場景吋。我們認識到當大對象穿過整個場景移動並充滿整個場景時，變換候選Ti (η)不包括對應於不穩定相機的基本變換P (η)。圖5是圖I的DIS電路的軌跡單元(TU) 4000的集合變換評分和選擇電路4200的示例實現的框圖，所述集合變換評分和選擇電路4200包括集合決定計算器4250和集合變換選擇器4260，所述集合決定計算器4250被配置為計算集合決定CD (η)，所述集合變換選擇器4260被配置為作為圖I的DIS電路的DIS方法中的步驟而輸出集合基本變換CP (η)。圖5中的集合決定計算器4250依據自檢測單元(DU) 2000接收的特徵組變換質量Qfp (η)、瓦片組變換質量Qme (η)和特徵組變換候選Krc (η)的數量,來計算集合決定CD (η)。
集合決定計算器4250的示例實現包括依據特徵組Krc (η)的數量來計算被非線性規格化的片段度量 F(η)，從而當Kfc (η)小吋，O F(η)為0，並且當Kfc(η)大時，Of (η)為
I。因此， F(n)值接近I指示視頻場景中的所有特徵點被分段為許多特徵組，反之亦然。集合決定計算器4250通過將Qf(η)與0F(n)*QT(n)進行比較來輸出集合決定⑶(η)，並且如果Qf(n) > 0F(n)*QT(n)，則集合決定⑶(η)被設置為選擇特徵組。而且，如果も(11) く= 0F(n)*QT(n)，則集合決定⑶(η)被設置為選擇瓦片組。在該公式中，如果特徵組未被分段，則 F(n)接近0，並且特徵組更可能被選擇。否則，如果特徵組被分段，則ΘΡ(η)接近I，並且瓦片組變換質量Qme (η)與特徵組變換質量Qfp(η)相比處於相同水平。集合變換選擇器4260在特徵組基本變換GPfp(η)和瓦片組基本變換GPme(η)之間執行選擇。集合變換選擇器4260被集合決定CD (η)控制，以使得在CD (η)被設置為特徵組時，輸出集合基本變換CP (η)被設置為特徵組基本變換GPfp(η)，否則被設置為瓦片組基本變換GP
Tile
(η)。在該實施例中，集合變換評分和選擇電路4200基於特徵組變換質量QFP(n)和瓦片組變換質量QTile(n)執行選擇。這些組變換質量是由圖4A的變換質量計算器4160計算的，所述變換質量計算器4160從特徵分數計算單元4130和範圍分數計算單元4140接收輸入。特徵分數計算單元4130計算基於特徵和基於瓦片的變換Ti (η)的特徵分數Fi (η)。在該實施例中，為了計算特徵分數Fi (η)，特徵分數計算單元4130被配置為從檢測單元2000接收所存儲的信息。對於Ti(Ii)中的每個幀間變換，特徵分數計算單元4130計算特徵分數Fi (η)。組中具有更多特徵點或組中具有更多瓦片的變換Ti(Ii)將具有更高的特徵分數Fi(Ii)，並分別導致更高的特徵組變換質量Qfp (η)或瓦片組變換質量Qme (η)。在ー些實施例中，每個瓦片中特徵點的數量可以支配基於特徵的變換Ti(Ii)的特徵分數Fjn)。在其他實施例中，瓦片的數量可以支配基於瓦片的變換Ti (η)的特徵分數Fi (η)。每個瓦片中特徵點的數量和/或每個瓦片向量組中瓦片的數量可以從檢測單元2000直接獲得。範圍分數計算單元4140計算基於特徵和基於瓦片的變換Ti (η)的範圍分數Ei (η)。在該實施例中，為了計算範圍分數Ei (η)，範圍分數計算單元4140被配置為從檢測單元2000接收所存儲的信息。具有覆蓋更大區域的特徵點或瓦片的變換被更高地評分。特徵點的數量和每個瓦片向量組中瓦片的尺寸可以從檢測單元2000直接獲得。類似地，每個基於特徵的運動向量組的水平和垂直範圍可以從檢測單元2000直接獲得。覆蓋更大範圍的特徵組或覆蓋更大範圍的瓦片組將具有更高的範圍分數Ei (η)，並分別導致更高的特徵組變換質量Qfp(η)或瓦片組變換質量Qme(η)。在該實施例中，為了計算範圍分數EiOi),範圍分數計算單元4140被配置為從檢測單元2000接收所存儲的範圍信息。在已經通過集合變換評分和選擇電路4200選擇了集合基本變換CP (η)之後，大對象排除硬體決定所選擇的集合基本變換CP(η)是或不是移動到並覆蓋整個場景的大移動對象。當實行這樣的排除吋，創建單位變換(UT)以代替並充當用於DIS系統的補償電路的所選基本變換P (η)，從而穩定化視頻不會不正確地或不必要地跟隨大移動對象的變換。根據本發明構思的一個實施例 ，移動對象排除方法基於兩個觀察被激活預先存在的固定背景(由Ρ(η)的歷史指示)；以及固定背景和大移動對象共存的時間段。移動對象排除方法可以高效地處理下面的情形場景具有幾乎固定的背景，並且有或沒有移動對象；大移動對象進入場景，並逐漸覆蓋更大區域；大移動對象覆蓋整個場景；大移動對象開始離開場景，並且背景開始重新出現；大移動對象最終移開。移動對象分析器檢測排除情形IF 連續的固定MV組存在指示具有幾乎固定的背景的現有場景；連續的相似速度的MV組的增加計數指示對象正移動到場景中；趨勢繼續，並且在時間η連續的相似速度的MV組覆蓋整個景象並且固定MV組停止且存在，然後檢測到排除情形。排除決定ED(n)被發送到排除變換選擇器。排除變換選擇器選擇集合基本變換CP (η)，除非ED (η)指示排除情形，在該情況下則基本變換P (η)被設置為単位變換。因此，即使大移動對象覆蓋整個場景，穩定化視頻也將不會不正確地跟隨大移動對象。圖6是圖I的DIS電路的軌跡單元(TU) 4000的移動對象排除電路4400的示例實現的框圖，所述移動對象排除電路4400包括被配置為執行圖I的DIS電路的DIS方法中的步驟的移動對象分析器4470和排除變換選擇器4480。移動對象排除電路4400包括用於存儲場景歷史的多個組歷史電路4410、4420、4430,4440,和移動對象分析器4470。在任何時候，僅存在ー個指定的固定組Gtl,但可以存在零個或多個現有的運動組Gk，其中k > O。還可以存在新的運動組Gn，其將在下一幀期間成為k個(例如，k(n+l) = k(n)+l)現有的運動組Gk之一。固定組Gtl具有相關聯的組歷史GHc^ k個現有的運動組Gk中的每ー個具有相關聯的組歷史GHk、以及相關聯的運動向量Mk。每個現有的運動組Gk具有運動向量Mk，其基本上是對於在時間上直至幀η的每個相似速度的Ti(Ii)的低通濾波| \(η) I。每個新的運動組Gn具有相關聯的組歷史GHN(n)，該組歷史GHN(n)在其創建的時候被初始化。移動對象分析器4470接收由多個組歷史GHtl (n)，GH1 (η)，…GHj(η)和GHk(η)以及GHn (η)組成的場景歷史，並依據它們計算排除決定ED (η)。排除變換選擇器4480在単位變換(UT)和集合基本變換CP (η)之間執行選擇。排除變換選擇器4480由排除決定ED (η)控制，使得在ED (η)被激活時，輸出基本變換P (η)被設置為単位變換(UT)，否則被設置為集合基本變換CP (η)。単位變換(UT)將造成補償單元在補償期間什麼都不做。因此，當運動對象分析器4470檢測到「大移動對象」情形並激活排除決定ED (η)時，排除大移動對象的變換作為所選擇的基本變換P (η)，否則其可能被選擇為基本變換P (η)。在實行中，在檢測到大移動對象時，該大移動對象的變換從由圖I的補償單元6000執行的補償中排除。圖7是圖示在圖6的移動對象排除電路4400中的運動組歷史電路的示例實現中執行的步驟的細節的混合框圖-流程圖，所述移動對象排除電路4400被配置為執行在圖I的DIS電路的DIS方法中的步驟。圖7圖示了分別對應於固定組Gtl、現有的運動組Gk和新創建的運動組Gn+1的代表性的組歷史電路4410、4430和4440的細節。由圖6的移動對象排除電路4400的移動對象分析器4470從組歷史電路(例如4410)接收的組歷史(例如H0(Ii))中的每個包括兩種歷史數據對應於每組的選擇歷史(例如SH0 (η))和存在歷史(例如EH0 (η))。移動對象分析器4470如下地檢測排除情形在固定變換Gtl(Ii)的組歷史GHtl中指示的連續存在和選擇指示了對於許多幀已經存在具有幾乎固定背景的場景；特定運動組Gk的組歷史GHk中連續存在的逐漸增加的數量指示了對象正移動進入場景中；如果存在和運動的該趨勢繼續，並且如果在時間(η)沒有固定變換加入Gtl，而是所選擇的變換P (η)加入Gk,則檢測到大移動對象情形，並且被激活的排除決定ED (η)被發送到基本變換選擇器4160-2。如果ED (η)指示大對象排除情形，則基本變換P (η)被設置為単位變換，否則根據Ti (η)的一些評分函數來選擇基本變換P (η)。組歷史電路4410、4420、4430、4440中的每ー個對於用於與所接收的幀間變換Ti(Ii)之一相關的每個組的三種歷史信息執行存儲和處理。三種組歷史是選擇歷史、存在歷史和運動歷史。在視頻穩定化啟動時，創建具有空歷史的固定組ら。固定組Gtl的運動歷史可以被省略，並且假定為空。在DIS視頻處理過程期間動態創建或刪除運動組(G1,…，Gk... ，Gn )。參考圖7，分別對應於固定組Gtl、第N現有的運動組Gk和新創建的運動組Gn+1的組歷史電路4410、4430和4440提供組歷史GHtl, GHk和GHN+1。運動組Gtl的組歷史電路4410包括用於存儲選擇歷史SHtl和存在歷史EHtl的歷史。存儲器。存在歷史EHtl對於每個過去幀是ー比特的值，其指示在先前的幀中幀間變換Ti (η)是否已經加入到運動組ら。選擇歷史SHtl對於每個過去幀是ー比特的值，其指示在先前的幀中加入到運動組Gtl的幀間變換Ti (η)是否被選擇為基本變換P (η)。固定組Gtl的組歷史電路4410省略運動歷史M0,因為對於包括所選擇的基本變換P (η)的任何Ti (η)是否加入固定組Gtl的決定(決定步驟dS4418)取決於將Ti (η)與閾值訪も而不是與可變的基於歷史的運動向量Mtl比較，因為組Gtl被認為是固定的。在視頻穩定化啟動時，創建具有空歷史的固定組Gtl。如果在幀η期間，Ti(Ii)滿足Ti (n) | < thdQ(決定步驟dS4418的「是」分支)，則該Ti (η)加入 G0;更新存在歷史EHtl以指示在幀η處存在固定變換；以及如果P (η)=該Ti (η),則更新選擇歷史SHtl以指示選擇該Ti (η)。否則(決定步驟dS4418的「否」分支)，在幀期間，在現有的運動組G1到Gn中的每ー個中，將不滿足Ti(Ii) I < thd0的那些Ti(Ii)與組歷史進行比較。運動組Gk的組歷史電路4430包括用於存儲選擇歷史SHk、存在歷史EHk和運動歷史Mk的歷史，存儲器。存在歷史EHk對於每個過去幀是ー比特的值，其指示在先前的幀中幀間變換Ti(Ii)是否已經加入到運動組Gk。選擇歷史SHk對於每個過去幀是ー比特的值，其指示在先前的幀中加入到運動組Gk的幀間變換Ti (η)是否被選擇為基本變換P (η)。運動歷史Mk存儲指示組Gk的整體運動的向量Mk的信息。每個Ti(Ii)還映射到運動向量Μ。姆個運動組Gk映射到運動向量Mk。設| \(η)|是1\(11)的運動向量的大小，
Ti (n) -Mk I是Ti (η)從現有的運動組Gk的運動向量Mk的偏離，I彡K彡N，其中N是當前現有的運動組的數量。N個現有的運動組中具有最小| \(η)-Μ」的運動組G1指示對於Ti (η)的最佳匹配組Gj。這ー加入決定可以通過將ITi(Ii)-MjI與預定的閾值IAd1進行比較來確定。因此，例如，在決定步驟dS4438中，如果對於特定的J以及在I和N之間的所有K，Ti (n) -Mj I 彡 I Ti (n) -Mk |，並且 | Ti (n) -Mj | < ^d1，(決定步驟 dS4438 的「是」分支)，則該Ti(Ii)加入現有的運動組も。如果對於所有K，Ti (n)-Mj ^ I Ti (η) _ΜΚ |，並且 Ti (n)-Mj Sthd1,(決定步驟dS4438的「是」分支)，則:Ti(Ii)加入 Gj ; 調整運動歷史Mj以反映新加入的Ti(Ii)；更新存在歷史E&以指示在幀η處存在運動組Gj ；如果P (η)=該Ti(Ii),則更新選擇歷史SHj,以指示選擇該Ti(Ii) =P (η)。另ー方面，如果在對於Ti (η)並且對於所有現有的運動組(G1到Gn)重複了決定步驟dS4438之後，沒有ー個Mk滿足I Ti (n) -Mk | < ^d1 (決定步驟dS4438的「否，，分支)，則該Ti (η)加入新創建的運動組Gn+1 (步驟S4449)。如果該Ti (η)加入新創建的運動組GN+1 (步驟 S4449)，則Ti(Ii)加入新創建的運動組GN+1 ;將運動歷史MN+1設置為該Ti (η)的運動向量；初始化存在歷史ΕΗν+1以指示在幀η處存在新的運動組Gn+1 ;和如果P (η)=該Ti (η)，則更新選擇歷史SHN+1,以指示選擇該Ti (η) = P (η)。在擴展的時間段(幀)內沒有任何Ti(Ii)加入其中的(Gtl到Gj中的)任何運動組將被刪除。上面公開的主題被考慮為是例示性的而不是局限性的，所附權利要求想要覆蓋所有這種修改、改進、以及落入本發明構思的真正精神和範圍內的其它實施例。因此，對於法律所允許的最大程度，本發明構思的範圍應由所附權利要求及其等同物的最廣可允許解釋來確定，而不應被上面具體描述局限和限制。
權利要求
1.ー種處理視頻數據的方法，包括 通過使用評分函數從具有第一尺寸的像素塊的第一組運動向量的變換中選擇來識別場景的第一基本變換，其中所述評分函數包括變換特徵數量分數和變換範圍分數中的至少ー個。
2.根據權利要求I的方法，還包括通過使用評分函數從具有第二尺寸的像素塊的第二組運動向量的變換中選擇來識別場景的第二基本變換，以及 其中具有第二尺寸的像素塊是瓦片，以及 其中第一組運動向量是Ti (η)中具有變換FP-Ti(Ii)的特徵點運動向量的組，並且第二組運動向量是Ti (η)中具有變換TV-Ti (η)的不重疊瓦片運動向量的組，其中Ti (η)是第i個變換，其中η指示其時序性質。
3.根據權利要求2的方法，其中評分函數包括變換歷史分數及變換運動分數、變換特徵數量分數和變換範圍分數中的至少ー個，並且其中變換歷史評分函數包括 基於差I Ti (n)-P(n-k) I來計算Ti (η)和P(n_k)之間的相關性Hijk(η)，其中Ti (η)的變換歷史分數Hi (η)是作為I和預定長度HL的變換歷史之間對於所有i的Hi k(n)的加權和的總相關性。
4.根據權利要求2的方法，其中評分函數包括變換運動分數及變換歷史分數、變換特徵數量分數和變換範圍分數中的至少ー個，並且其中變換運動評分函數包括計算 Ti (η)的變換運動分數Mi (η)，作為變換的水平線性位移，其中變換運動分數Mi (η)被非線性地規格化在範圍[O，I]中。
5.根據權利要求2的方法，其中評分函數包括變換特徵數量分數及變換歷史分數、變換運動分數和變換範圍分數中的至少ー個，並且其中變換特徵評分函數包括計算 Ti (η)的變換特徵分數Fi (η)，作為與變換相關聯的特徵點的數量， 其中變換特徵分數Fi (η)被非線性地規格化在範圍[O，I]中。
6.根據權利要求2的方法，其中評分函數包括變換範圍分數及變換歷史分數、變換運動分數和變換特徵數量分數中的至少ー個，並且其中變換範圍的函數包括計算 Ti (η)的變換範圍分數Ei (η)，其是由變換中的特徵覆蓋的區域，其中變換範圍分數EiOi)被非線性地規格化在範圍[O，I]中。
7.根據權利要求I的方法，其中評分函數包括變換歷史分數Hi(η)、變換運動分數Mi (η)、變換特徵數量分數Fi (η)和變換範圍數量分數Ei (η)，其中選擇具有評分函數Hi (η)、Mi (η)、Fi (η)和Ei (η)中的至少兩個的最高組合的變換Ti (η)作為基本變換P (η)。
8.根據權利要求7的方法，還包括處理基本變換P(η)以補償照相機移動。
9.根據權利要求I的方法，還包括識別場景中的大移動對象並排除對應於所述大移動對象的基本變換P (η)。
10.根據權利要求9的方法，其中識別大移動對象包括將現有的運動組的歷史與現有的固定組的場景歷史相互比較Ti (η)。
11.根據權利要求2的方法，還包括如果Ti(η)的計算的變換質量Qi (η)小於預設的閾值，則從TV-Ti (η)中選擇基本變換P (η)，其中變換質量Qi (η)基於在特徵點組中的特徵點的數量和特徵點組FP-Ti (η)的範圍。
12.—種圖像處理電路，包括第一存儲器，配置為存儲基於具有第一尺寸的像素塊的、場景的第一組運動向量和基於具有第二尺寸的像素塊的、場景的第二組運動向量；和 第二存儲器，其具有存儲的程序，所述程序被配置為由處理器執行以執行視頻數據處理方法，該方法包括步驟 通過使用評分函數從第一運動向量組的變換中選擇來識別第一基本變換，其中所述評分函數包括變換歷史分數、變換運動分數、變換特徵數量分數和變換範圍分數中的至少兩個；和 通過使用評分函數從具有第二尺寸的像素塊的第二組運動向量的變換中選擇來識別第二基本變換。
13.根據權利要求12的方法，其中具有第二尺寸的像素塊是瓦片，以及其中第一組運動向量是Ti (η)中具有變換FP-Ti (η)的特徵點運動向量的組，並且第二組運動向量是Ti (η)中具有變換TV-Ti (η)的不重疊瓦片運動向量的組，其中Ti(Ii)是第i個變換，其中η指示其時序性質。
14.根據權利要求13的方法，其中變換歷史的函數包括基於差ITi (n)-P (n-k) |來計算Ti (η)和P (n-k)之間的相關性Hi, k (η)，其中Ti (η)的變換歷史分數Hi (η)是作為I和預定長度HL的變換歷史之間對於所有i的Un)的加權和的總相關性。
15.根據權利要求13的方法，其中變換運動評分函數包括計算 Ti(Ii)的變換運動分數Mi(Ii)，作為變換的水平線性位移；並且運動分數Mi (η)被非線性地規格化在範圍[O，I]中。
16.根據權利要求13的方法，其中變換特徵運動評分函數包括計算 Ti (η)的變換特徵分數Fi (η)，作為與變換相關聯的特徵點的數量，並且其中變換特徵分數Fi (η)被非線性地規格化在範圍[O，I]中。
17.根據權利要求13的方法，其中變換範圍評分函數包括計算 Ti (η)的變換範圍分數Ei (η)，作為由變換中的特徵覆蓋的區域，並且其中變換範圍分數Ei (η)被非線性地規格化在範圍[O，I]中。
18.根據權利要求12的方法，其中選擇具有評分函數Hi(n) .MiOihFi (η)和Ei (η)中的至少兩個的最高組合的變換Ti (η)作為基本變換P (η)。
19.根據權利要求18的方法，還包括處理基本變換P(η)以補償照相機移動。
20.根據權利要求12的方法，還包括識別場景中的大移動對象並排除對應於所述大移動對象的基本變換P (η)。
21.根據權利要求20的方法，其中識別大移動對象包括將現有的運動組的歷史與現有的固定組的場景歷史相互比較Ti (η)。
22.根據權利要求13的方法，還包括如果基於在具有FP-Ti(η)的變換的特徵點組中的特徵點的數量和基於具有FP-Ti (η)的變換的特徵點組的範圍的置信分數小於預設的閾值，則從TV-Ti (η)中選擇基本變換P (η)。
23.根據權利要求20的方法，其中排除基本變換，如果 連續的固定運動向量組存在指示具有大部分固定背景的已有場景； 檢測到對象正移動進入場景； 在時間η，連續類似速度的運動向量組覆蓋整個場景；和固定運動向量組停止且存在。
24.—種照相機，包括 圖像傳感器電路，配置為在第一時間和第二時間拍攝場景的圖像，並將拍攝的圖像轉換為圖像數據的第一和第二幀； 圖像處理電路，包括 第一存儲器，配置為存儲基於具有第一尺寸的像素塊的、場景的第一組運動向量和基於具有第二尺寸的像素塊的場景的第二組運動向量；和 第二存儲器，其具有存儲的程序，所述程序被配置為由處理器執行以執行視頻數據處理步驟 通過使用評分函數從第一運動向量組的變換中選擇來識別第一基本變換，其中所述評分函數包括變換歷史分數、變換運動分數、變換特徵數量分數和變換範圍分數中的至少兩個；和 通過使用評分函數從第二運動向量組的變換中選擇來識別第二基本變換。
25.根據權利要求24的方法，其中所述評分函數是連續函數。
全文摘要
一種數字圖像穩定化方法，包括基於對多個瓦片運動向量(瓦片MV)組的變換和特徵點運動向量(FP MV)組的變換中的每一個評分，選擇表示視頻幀的場景中的固定/背景對象的基本變換；和基於固定(背景)組的歷史和多個運動向量組中的每一個的歷史排除大運動對象。
文檔編號H04N5/232GK102665041SQ20111043776
公開日2012年9月12日 申請日期2011年12月23日 優先權日2010年12月23日
發明者E.S.K.劉 申請人:三星電子株式會社