數字圖像穩定設備的製作方法

2023-12-03 14:47:11 1

專利名稱：數字圖像穩定設備的製作方法
技術領域：
本發明構思這裡涉及數字圖像穩定(DIS)，而且更具體地，涉及檢測、選擇、和分組用於數字圖像穩定的特徵點的方法。
背景技術：
數位照相機、數字攝像機和包括這樣的攝像頭的手持設備常常用來在攝像頭在人類操作員的手中操作時捕獲圖像或視頻。因此，在捕獲圖像或視頻時攝像頭可能在操作員手中搖晃或抖動。該抖動可以包括水平分量、垂直分量、和旋轉分量。旋轉可以沿與圖像捕獲電路的聚焦平面垂直的軸，或者沿與圖像捕獲電路的聚焦平面平行的軸，或者沿在垂直軸與平行軸之間歪斜的軸。抖動可以使得手捕獲的視頻讓觀看者分心或迷惑，因此期望使用數字電路來數字估計攝像頭軌跡(即，在每對連續幀之間檢測的抖動)並且從相同場景的視頻幀的序列中過濾該抖動。用於估計連續視頻幀之間的攝像頭軌跡並且用於從視頻幀的序列中過濾由攝像頭軌跡造成的抖動的電路可以包含在攝像機本身中，並且在存儲捕獲的視頻幀之前(例如，如果攝像機包括實時MPEG編碼器則在MPEG編碼之前或在其期間) 被激活以實時取消抖動。替換地，用於估計連續視頻幀之間的攝像頭軌跡並且用於從視頻幀的存儲序列中過濾抖動的電路可以是由實現數字圖像穩定(DIQ方法的軟體控制的通用微型計算機，或者可以是專用硬體，諸如嵌入在優化用於執行數字圖像穩定(DIQ方法的ASIC(專用集成電路)中的MPEG視頻編碼器。通過穩定的、固定或移動攝像機產生的視頻在捕獲的視頻中主要包含平滑的運動 (平移、旋轉)。另ー方面，不穩定的攝像機產生貫穿視頻圖像中具有高頻抖動(平移和/ 或旋轉)的視頻。從物理成像設備捕獲的數字圖像序列常常顯示不希望的高頻抖動運動。圖像序列中呈現的抖動運動的量取決於圖像捕獲設備相對於捕獲序列中的對象的物理性質。景深和成像器的底座的不穩定性(取決於底座的重量、慣量、平衡)組合以產生不希望的抖動全局運動。數字圖像穩定(DIQ系統首先估計不希望的(無意的)運動，然後對圖像序列施加校正。穩定視頻的視覺效果高度依賴於攝像頭軌跡估計的質量。數字圖像穩定(DIS)算法使用有效跟蹤的特徵點來估計兩個連續幀之間的抖動運動。數字視頻穩定採用硬體和/ 或軟體方法，用於從包含由不穩定攝像機造成的不期望抖動運動的不穩定的視頻中產生空間穩定的視頻。在傳統DIS技術中，通過分析場景中不同的點的運動矢量來檢測攝像頭運動。但是運動矢量可以由對象運動以及攝像頭運動引起。存在這樣的函數，其提供幀的每個像素的數字得分，指示該點作為在時間相鄰的幀中能夠檢測的特徵點有多合適。這樣的函數的一個示例是哈裡斯角點檢測器(Harris Corner Detector)。然而，特徵點的幅度對於圖像的不同部分通常很不同。DIS方法可以採用全局閾值與每個像素的數字得分進行比較，這並不必然導致特徵點的最優分布。因此，在低對比度的區域(例如，無雲的藍天導致稀散的或沒有特徵點)中可能特徵點太少，而在具有許多結構的區域中，特徵點可能彼此過於接近。特徵點的分布不當可能增加計算過於接近的特徵點的冗餘運動矢量的計算負擔，並且可能無法提供準確的運動矢量。在數字圖像穩定(DIS)方法的實施方式中，期望最小化計算開銷以便減少電路的功耗和減少執行DIS方法所需的時間。還期望檢測和測量攝像頭的軌跡並準確地刻畫抖動以使得可以從存儲/顯示的視頻中正確地補償和正確地取消抖動。在數學中，仿射幾何是通過仿射變換(即，非單線性變換和轉換)依然不改變的幾何性質的研究。已經發展了被稱為仿射矩陣的由數字係數定義的數學方程組來刻畫在每對連續幀之間或在其各部分(例如，幀中的運動對象)之間檢測的運動的橫向(上/下)、旋轉、和標量(例如，放大或縮小)。因此，抖動可以通過被稱為主變換或全局變換的相對於場景中的任何實際固定對象(例如，巖石、桌子、停駐的汽車、高山、太陽)的第一仿射變換矩陣來刻畫，同時幀中的任何運動對象(例如，鳥、人、球、移動的車)可以通過另外的仿射矩陣來刻畫。主變換(主幀間變換)指示可能由用戶的手抖動造成的攝像頭運動，其可以通過檢測與在時間t捕獲的每個幀的實際固定對象關聯的ー個或多個興趣點(稱為「特徵點」)、 然後在時間相鄰幀(t+ι)中捜索相同的特徵點、並且計算每個特徵點的運動矢量來計算。 與特定對象關聯(一起分組)的多個運動矢量然後被用於計算該對象的仿射變換，其根據仿射公式定義其檢測的運動χ, = SX 氺 x+ry 氺 y+txy' = rx 氺 x+sy 氺 y+ty可以使用在視頻壓縮領域中採用的各種搜索方法來計算連續幀之間特徵點的運動矢量。這樣的捜索方法可以在兩個時間相鄰幀中採用諸如絕對差值和(SAD)、平均絕對差值(MAD)、或平均平方差(MSE)的宏塊的數學比較(例如，通過將當前幀中包含特徵點的 8X8像素宏塊與以特徵點的位置為中心的參考幀(t+Ι)中的捜索區域中的多個8X8像素宏塊進行比較來搜索參考幀(t+Ι)中特徵點的位置)。在時間相鄰幀(t和t+Ι)之間以特徵點為中心的宏塊的位移的測量的量和方向被稱為特徵點的「運動矢量」。在各種選擇範圍內使用塊匹配算法(BMA)的現有技術的運動矢量估計方法在美國專利6，895，361(發明人 Yang)和7，680，186(發明人Lee)中描述，其通過引用合併於此。

發明內容
本發明構思的一方面提供識別特徵點、並導出由於全局移動或攝像頭移動而以ー 致方式移動的特徵點的運動矢量、同時準確用於DIS目的的高效率過程。用於DIS算法的良好特徵點是當應用合適的運動估計算法時給出單值的運動矢量的點。為了識別圖像中的特徵點，應用於視頻幀的像素的哈裡斯角點檢測器估計每個像素有多適合作為特徵點。圖像的不同區域具有識別的特徵點候選者的不同密度。公開的光柵掃描順序選擇和揀選的方法基於視頻幀的小區域(稱為瓦片(tile))提供最終的特徵點分布，其中特徵點的最大數量隨瓦片的亮度圖像數據的方差σ 2線性增長。每個視頻幀被劃分為較小數量j Xk個瓦片。數量j Xk個瓦片可以從用於SD視頻的4X4到用於HD視頻的6X6或更大；在(4. . 8) X (4. . 8)的範圍內的其他數量也是可能的並且可以是有益的。選擇瓦片尺寸以使得獨立移動的足夠大的對象覆蓋至少一個瓦片的大部分，從而可以捕獲它們的運動用於DIS目的，同時忽略小對象的運動。具有更多感興趣圖像數據並且因而需要更多特徵點的瓦片預期具有較高的方差 σ 2。特徵點揀選算法找到特徵點之間的可編程的最小距離但是需要最少的硬體存儲器。分級運動估計算法可以用來估計從幀到幀的特徵點移動，其中關於後一捜索級別的可編程運動範圍是有意的小，從而優選大對象或全局移動而非局部移動。因此，最小化所需的操作數量，同時結果足夠準確用於數字圖像穩定應用。對於例如通過揀選算法選擇的每個特徵點，在使用的開始矢量的小範圍中通過塊匹配確定其運動矢量。開始矢量是包含當前特徵點的瓦片和周圍瓦片(例如，上、下、左、 右)的瓦片運動矢量。瓦片運動估計是導出特徵點的運動矢量的過程的第一歩。基於覆蓋輸入圖像的中心部分的非重疊瓦片(例如，在特徵點揀選算法中使用的相同瓦片)完成瓦片運動估計。對於每個瓦片的瓦片運動估計，在下採樣圖像上執行全塊匹配捜索。當前幀通過用於標清(SD)視頻的四到八或用於高清(HD)視頻的八到十六的第二下採樣係數fs2進行下採樣。在該下採樣域中，對每個瓦片完成全搜索塊匹配並且存儲瓦片矢量以備後用(例如，作為用於導出特徵點的運動矢量的開始矢量)。將為每個瓦片估計一個運動矢量，以最低解析度進行全捜索，通過下採樣亮度數據的第二下採樣係數fs2進行下採樣，並且將產生最低SAD的運動矢量候選者分配到每個瓦片。根據實施例，對於邊界瓦片，可以將搜索限制在可用的捜索區域，因此不會產生導致參考塊(部分地)在捜索區域外部的運動矢量。相對於使用的解析度，瓦片運動捜索將產生半像素精度矢量捜索區域將通過簡單雙線性插值進行上採樣。這僅使用非常少的本地存儲器，因此節約VLSI實施方式中的存儲器和邏輯區域。本發明構思的ー個方面提供數字圖像穩定(DIQ方法，包括特徵點運動矢量分組過程，用於基於特徵點的運動矢量幅度比和它們的運動矢量之間的角度差來將特徵點對分組。提供ー種處理視頻數據的方法，包括接收代表第一幀的第一圖像數據；識別第一幀中的多個特徵點；接收代表第二幀的第二圖像數據；導出與每個特徵點對應的運動矢量；選擇運動矢量中的第一運動矢量作為當前矢量A，並且選擇運動矢量中的第二運動矢量作為當前矢量B ；以及基於矢量A和矢量B的矢量幅度比和它們的角度差來比較矢量A和矢量 B0該方法還可以包括設置幅度比閾值和角度差閾值；以及如果矢量A和矢量B的矢量幅度比落入幅度比閾值內且它們的角度差落入角度差閾值內則將矢量A和矢量B分組在一起。根據另ー個方面，包括如果它們的矢量幅度比落入幅度比閾值之外或如果它們的角度差落入角度差閾值之外則不將矢量A和矢量B分組在一起。根據本發明構思的實施例，提供ー種視頻處理電路，包括特徵點電路，配置為識別第一幀中的多個特徵點並為每個特徵點導出第一幀與第二幀之間的運動矢量；配對控制器，配置為選擇運動矢量中的一個作為當前矢量AUa，ya)，並且選擇運動矢量中的不同的一個作為當前矢量BUb，yb)；幅度比比較器，配置為基於矢量A和矢量B的幅度比來比較矢量A和矢量B ；以及矢量角度比較器，配置為基於矢量A和矢量B的角度差來比較矢量A 和矢量B。根據示範性實施例，提供ー種處理視頻數據的方法，包括估計視頻數據的第一幀中每個特徵點的運動矢量；基於矢量幅度比和角度差將運動矢量分組為運動矢量組；以及選擇包含代表第一幀的場景內固定對象的移動的運動矢量的組。該方法還可以包括使用下採樣亮度數據估計從第一幀的一部分劃分的多個瓦片的每個的運動矢量，並且選擇具有最低絕對差值和(SAD)的瓦片運動矢量候選者；以及基於矢量幅度比和角度差將瓦片運動矢量分組為瓦片運動矢量組。根據本發明構思的實施例，提供ー種攝像頭，包括圖像捕獲電路，配置為捕獲圖像並且將多個圖像轉換為圖像數據的第一幀和第二幀；以及視頻處理電路晶片，包括特徵點電路，配置為識別第一幀中的多個特徵點並為每個特徵點導出第一幀與第二幀之間的運動矢量；配對控制器，配置為選擇特徵點的運動矢量當中的每對運動矢量；幅度比比較器，配置為基於它們的矢量幅度比來比較每對運動矢量；以及矢量角度比較器，配置為基於它們的矢量角度差來比較每對運動矢量。下面將參考附圖來更詳細地描述本發明構思的示範性實施例。然而，本發明可以以不同的形式實現，而不應被解讀為限於這裡描述的實施例。相反，提供這些例子使得本公開更為全面和完整，並向本領域技術人員完整地傳達本發明的範圍。相同的數字通篇指代相同的元件。


包括附圖以提供本發明構思的進ー步的理解，並且合併和構成本說明書的一部分。

本發明構思的示範性實施例，並且與說明書一起用來解釋本發明的原理。附圖中圖IA到IF是用於說明根據本發明構思的示範性實施例的數字圖像穩定方法中的步驟的當前幀和參考幀、以及其選擇的特徵點和運動矢量的視圖；圖2A是依據圖IA到IF中說明的DIS方法中的步驟的包含圖IA的當前幀Ft、並且劃分為邊界區域和核心區域中的jXk多個瓦片的圖IE的捕獲幀的圖；圖2B是依據圖IA到IF中說明的DIS方法中的步驟的說明選擇的、拒絕的、和取消的特徵點的圖2A的圖像幀的核心區域中的ー個瓦片的圖；圖3是根據本發明構思的實施例的配置為執行DIS過程的電路塊的圖；圖4A和4B是用於執行圖IA到IF中說明的DIS方法中的步驟的識別和選擇圖IA 和2A的圖像幀的每個瓦片中的多個特徵點的方法的流程圖；圖5是用於說明圖IA到IF中說明的DIS方法中的運動矢量計算步驟的利用其上添加的瓦片運動矢量下採樣的圖IA的當前幀Ft的視圖；圖6是圖5的下採樣幀中的瓦片的一部分的視圖，其說明使用圖5的瓦片運動矢量作為用於塊匹配捜索的開始矢量以計算圖IA到IF中說明的DIS方法中使用的選擇的特徵點的運動矢量；圖7是用於執行圖IA到IF中說明的DIS方法中的步驟的計算圖IA和2A的圖像幀中選擇的特徵點的運動矢量的方法的流程圖；圖8A是當攝像頭僅具有平移運動而沒有旋轉分量時在距攝像頭相同距離的視頻場景中相同的實際固定對象的兩個特徵點的運動矢量的圖；圖8B是當攝像頭具有旋轉分量時距攝像頭相同距離的實際固定對象的兩個特徵點的運動矢量的圖8C是當攝像頭僅具有平移運動而沒有旋轉分量時距攝像頭不同距離的相同的實際固定對象的兩個特徵點的運動矢量的圖；圖9A和9B是視頻場景中實際固定對象的特徵點的兩對運動矢量的圖，用於說明即使四個運動矢量的方向和幅度全部不同時每個對也可以具有相同的矢量幅度差；圖10示出說明用於圖IA到IF中說明的DIS方法中的特徵點分組的角度差的間接測量的歸ー化矢量差的計算的三個矢量圖；圖11是用於執行圖IA到IF中說明的DIS方法中圖ID的矢量分組步驟的使用圖 10AU0BU0C的歸ー化矢量差來間接測量圖IA和2A的圖像幀中選擇的特徵點的運動矢量之間的角度差的分組算法的流程圖；圖12是歸ー化矢量差(a-b)的幅度| (a_b) |與歸ー化矢量差(a-b)的幅度比|b 作為角度差θ的函數的曲線圖，其說明用於在圖11的分組算法的步驟中使用近似的可用性；以及圖13是包括配置為執行圖11的特徵點分組算法的分組算法電路1310的特徵點分組電路的框圖。
具體實施例方式圖IA到IF是用於說明根據本發明構思的示範性實施例的數字圖像穩定方法中的步驟的當前幀和參考幀、以及其選擇的特徵點和運動矢量的視圖。圖IA示出場景的兩個連續視頻幀，當前幀Ft和參考幀Ft+1。場景包括例如山坡 (在前景中)、電線桿、高山、和太陽的固定對象、以及例如左上的鳥的運動對象。當前幀Ft 和參考幀Fw是具有較大面積的各個連續捕獲幀的部分(如圖IE所示)。較大的捕獲幀是在數字圖像穩定(DIQ之前通過圖像傳感器捕獲的原始圖像。由於由抖動運動造成的攝像頭軌跡引起參考幀Fw相對於當前幀Ft旋轉和平移。捕獲幀(見圖1 的尺寸一般通過攝像機的物理圖像傳感器(未示出)的硬體尺寸預定。當前幀Ft和參考幀Fw的尺寸可以動態地選擇以避免或最小化由於攝像頭的抖動運動引起在捕獲幀的邊界外發生當前幀Ft的 「過度偏離」。圖IB示出與場景中的實際固定對象和運動對象關聯的當前幀Ft中的多個選擇的特徵點(圓形)。將當前幀Ft劃分為多個矩形瓦片，每個瓦片包括至少ー個選擇的特徵點。 可以通過執行圖2A、2B和4A和4B中說明的方法的步驟、和/或通過圖3的電路來識別和選擇圖IB所示的選擇的特徵點。當前幀和參考幀被存儲在圖3的電路的存儲器350中，同時通過執行圖2A、2B和4A和4B說明的方法的步驟來識別和選擇圖IB所示的選擇的特徵點ο圖IC示出具有運動矢量(箭頭)的當前幀Ft的每個選擇的特徵點。可以通過執行圖6和7所示的方法的步驟來計算圖IC所示的選擇的特徵點的運動矢量。圖ID示出場景中的運動矢量已經被分組(例如，組A、組B、組C)。場景中的實際固定對象的運動矢量(組B和組C)是由攝像頭移動(例如抖動)造成的。可以通過圖 10AU0B和IOC以及圖11所示的方法的步驟來執行圖ID所示的選擇的特徵點的運動矢量的分組，其中基於使用幅度比和歸ー化矢量差的配對算法將運動矢量配対/分組(包括或排除)。
圖IE示出在由圖像傳感器(未示出)輸出的較大的捕獲幀的大背景中的參考幀 Ft+1。通過使用圖ID所示的實際固定對象的組B和組C的運動矢量定義參考幀Fw的仿射係數來確定參考幀Fw的位置。可以使得在參考幀的邊界外的捕獲幀的圖像數據對執行用於計算組B和組C的運動矢量的圖6和7所示的方法的步驟的電路可用。圖IF示出如果沒有由圖ID所示的實際固定對象的運動矢量指示的抖動攝像頭運動則參考幀Fw在它本該由圖像傳感器(未示出)接收的位置。已經通過補償電路(未示出)應用參考幀Fw的仿射係數以旋轉和平移參考幀Fw來校正攝像頭的抖動運動。特徵點識別、揀詵和分布圖2A是依據圖IA到IF中說明的DIS方法中的步驟的劃分為邊界區域和核心區域中的jXk多個瓦片的當前幀Ft (見圖1E)以便於特徵點的識別和揀選的捕獲幀的圖。邊界區域與核心區域之間的邊界線可以獨立於接收的圖像數據的內容由硬體或通過軟體預先確定，同時當前幀Ft的邊界可以基於由例如接收的圖像數據內容指示的抖動攝像頭運動的程度而動態地選擇，以便防止或減少當前幀的過度偏離。因此，核心區域可以或可以不對應於圖IA所示的當前圖像幀Ft的尺寸和位置。每個捕獲的視頻幀被劃分為小數目的非重疊瓦片(例如，用於標清的4X4瓦片和用於高清的6X6或更多瓦片)，目的是算法上選擇提供適合於數字圖像穩定的良好特徵點分布的特徵點。圖像的不同區域可以具有不同密度的合適的特徵點。在極端情況下，幀的區域可能不具有任何合適的特徵點，例如在無雲的藍天的情況下。在其他區域中，潛在的特徵點也許非常稠密。當使用基於全局的閾值來識別和選擇全部特徵點吋，特徵點傾向於集中在圖像的小區域中，導致差的DIS結果。依然期望在其中有更多結構的圖像的區域中具有更多特徵點，因為存在潛在上更感興趣的運動。在這些密集的區域中，另ー問題是如何保證並非所有特徵點堆積在一起。因此本發明的一方面提供用於確保將用於DIS的特徵點之間的最小距離(MIN_DIST)的高效率方法。為了 DIS算法的穩定性，儘可能廣泛地分布特徵點，同時限制特徵點的總數量。特徵點的「良好分布」可以表示如下其具有大的凸包；特徵點彼此不太接近(MIN_DIST)；在具有較少的合適特徵點的瓦片中，如果可能，則選擇至少最小數量(mirufeatures)的特徵點；以及，在具有更多的合適特徵點的瓦片中，選擇更多的特徵點(max_num_features = min—features+max一plus—features*(tile—variance σ /total_variance;j 。基於瓦片的亮度方差い確定每個瓦片中特徵點的最大數量(maX_nUm_ ieatures)。在一個實施例中，每個瓦片中特徵點的最大數量(maX_num_featureS)是每個瓦片的特徵點的可編程的最小數量(mirufeatures)加上另外的特徵點的可編程的最大數量 (max_plus_features)乘以特定瓦片的方差σ 2與瓦片方差的總和的比率的和。如果瓦片具有不同的尺寸則可以應用校正因子。因此，每個瓦片的最終選擇的特徵點的最大數量可以替換地為mirufeatures加上與瓦片的方差σ 2成比例、通過對應的瓦片權重歸ー化的var_ features的部分。可以給予邊界瓦片較高權重，因為它們包括邊界區域因此較大。在該替
換的情況下，給定瓦片的特徵點的最大數量計算如下max num features =ムラ1-て3 『『因此，選擇的特徵點的最大數量(maX_num_featureS)並不在全部瓦片中保持恆定，也不在幀Ft與幀Fw之間保持恆定。在一個實施例中，每個瓦片中特徵點的最大數量(maX_num_featureS)是每個瓦片中亮度數據的方差い除以總亮度方差的函數，需要預先計算每個瓦片的亮度方差い和幀的總方差。本領域普通技術人員不難理解其他函數也是可以的，例如涉及平均亮度值和瓦片方差O2的函數。為了識別特徵點，可以使用諸如哈裡斯角點檢測器之類的角點檢測器。哈裡斯角點檢測器評估圖像的每個像素作為可能的特徵點候選者。優選的特徵點候選者是其中特徵質量估計函數具有局部最大值的點。公開的特徵點選擇的方法通過將每個識別的特徵點的結果值(估計該像素多麼適合作為特徵點)與LOCAL (局部)而非GLOBAL (全局)(全幀) 閾值進行比較來優化由哈裡斯角點檢測器識別的特徵點的選擇。因此，公開的方法考慮每個局部區域處的特徵點密度乃至幀的不同部分中的對比度的差別。獲得的特徵點分布是基於視頻幀的小區域，(例如，非重疊瓦片)，其中每個瓦片中的特徵點的數量隨瓦片的亮度圖像數據的方差ο 2線性增加。具有更多感興趣圖像數據且因而需要更多特徵點的瓦片預期具有較高的方差σ2。圖4Α和4Β是說明確定每個瓦片中特徵點之間的最小距離(MIN_DIST)同時僅需要少量局部狀態信息從而減少硬體實施成本的方法的流程圖。圖2B是圖2A的圖像幀的核心區域中的一個瓦片的圖，其說明選擇的(灰色)、拒絕的(白色)、以及先前選擇但是取消的(灰色但是打叉)特徵點。圖2B中示出為小方塊的特徵點已經使用哈裡斯角點檢測器算法識別為特徵點候選者，然後依據圖4A和4B說明的方法的步驟按光柵掃描順序被依次選擇、拒絕或取消。對於每個瓦片選擇識別的特徵點候選者的最大數量(maX_num_featureS)。根據本發明的實施例，每個識別的特徵點候選者可以通過如下例如以光柵掃描順序選擇i.識別的特徵點候選者是其中哈裡斯角點估計函數超過可編程閾值且其中該估計具有局部最大值的像素。為了滿足局部最大值，探討的位置處的值必須大於按掃描順序在該像素之前的全部直接和對角鄰居的值，但是僅大於或等於按掃描順序在該位置之後的直接和對角鄰居的值。這被實現以容納相同值是相當類似的事實。ii. 一旦特徵點候選者已經被識別，其將進入數據存儲結構(例如，揀選列表， 但是其他實施方式也是可能的)，其可以為每個瓦片保留預定最大數量的特徵點候選者， 例如，最大32、48、64、或更多的最終選擇的特徵點，前提是沒有在可編程封鎖範圍(MIN_ DIST)內的具有更大的估計函數值的特徵點候選者。為了說明的目的，選擇最大值32來描述本實施例。iii.如果後來識別的特徵點候選者已經存儲在數據結構中，則將離該點比封鎖範圍(MIN_DIST)更近的具有更小估計函數值的全部其他特徵點從數據存儲結構中刪除。為了說明的目的，假定瓦片(5，4)的特徵點候選者的預定最大數量是四(S卩，max_ num_features = 4)。如圖2A所示，瓦片(5，4)包含按光柵掃描順序的四個最終選擇的特徵點(灰色)SFP3、SFP4、SFP5和SFP7、以及三個先前選擇但是取消的(灰色但是打叉)特徵點SFP1、SFP2、和SFP6、加上兩個拒絕的(從未選擇的)特徵點(白色)。取消的先前選擇的(灰色但是打叉)的特徵點SFP1、SFP2、和SFP6是這樣的特徵點候選者，它們在圖 4A和4B說明的方法的過程期間按光柵掃描順序選擇為特徵點，但是隨後取消作為特徵點候選者，原因是它們處於稍後識別和選擇為特徵點候選者的較大的特徵點候選者的排斥區域0ON_DIST)內，或因為選擇的特徵點的列表已經滿了(即，選擇的特徵點候選者的數量 SFP_count = max_num_features)並且較早選擇的特徵點在選擇的特徵點候的列表中是最小的並且小於稍後識別和選擇的特徵點候選者。取消的先前選擇的特徵點SFPl是依據圖4A和4B說明的方法的步驟按光柵掃描順序識別和選擇的第一特徵點。稍後，取消的先前選擇的特徵點SFP2被識別和選擇，但是在選擇SFP2之後，選擇的特徵點SFP3被識別並且大於SFP2。由於SFP2處於較大的、選擇的特徵點SFP3的排斥區(MIN_DIST)內，當選擇SFP3時立即取消SFP2。在選擇SFP3之後，在SFP3的排斥區(MIN_DIST)的右下角識別特徵點候選者，並且因為該特徵點候選者小於SFP3且處於它的排斥區內，其被立即拒絕(即，不選擇)。然後，在剛好超出SFP3的排斥區(MIN_DIST)的下方識別特徵點候選者，並且它被選擇為SFP4(且後來沒有被取消)。 然後，在SFP3的排斥區(MIN_DIST)的更下方的右邊識別特徵點候選者，並且它被選擇為 SFP5(且後來沒有被取消，因為它雖接近但是沒有處在SFP7的排斥區內)。然後，在SFP5 的排斥區(MIN_DIST)的下方的右邊識別特徵點候選者，並且它被選擇為SFP6(且後來被取消，因為它處在較大的稍後選擇的特徵點SFP7的排斥區內)。當SFP6被選擇時，選擇的特徵點的列表已經「滿了(full)」(例如，該瓦片的特徵點的最大數量是4)，因為在選擇的特徵點SFPU SFP3、SFP4和SFP5的列表中SFPl是最小的，且因為SFP6大於SFP1，故取消 SFPl0然後，在SFP6的排斥區(MIN_DIST)的下方的內部識別特徵點候選者，並且它被選擇為SFP7(因為SFP6由於選擇的特徵點SFP7大於SFP6和/或因為列表已滿等而被立即取消)。然後，在SFP7的排斥區(MIN_DIST)的下方的內部識別特徵點候選者，並且它被拒絕 (未選擇)，因為最後的特徵點小於SFP7。有可能SFP7實際小於取消的SFP2 (如果SFP3比 SFP7大得多)，但是已經獲得特徵點的良好分布。可編程封鎖範圍(MIN_DIST)確保最終選擇的特徵點不過於緊密地簇擁在一起。可以在每個瓦片被下採樣的下縮放(downscaling)過程期間確定每個瓦片的像素亮度方差ο2。每個瓦片中特徵點的最大數量被確定為每個瓦片的特徵點的可編程的恆定最小數量加上總可變特徵點的數量乘以特定瓦片的方差ο 2與瓦片方差的總和的比率的和。可以添加校正因子用於邊緣和角落瓦片區的區域，因為特徵點也可以處於邊界區域。對於每個瓦片，對於按光柵掃描順序識別的每個特徵點候選者，使用上述的揀選過程(即，選擇、拒絕、取消)收集和存儲多至最大數量的特徵點候選者。最後，最終選擇的每個瓦片的特徵點候選者正是具有最高估計函數響應的特徵點候選者，其最大數量被預定。可能有這樣的實例，其中在給定瓦片中沒有可用的足夠的特徵點候選者，諸如低對比度圖像數據的瓦片，該情況下，產生的最終使用的特徵點的數量將小於編程的最小數量(例如，小於min_ features 的數量)。因此，提供一種以光柵掃描順序處理特徵點候選者的方法，其中即使會在稍後識別和選擇更多新特徵點候選者也維持包括不過於緊密地簇擁在一起的至多計算的最大數量的選擇的特徵點的列表。該揀選特徵點的光柵掃描順序方法與從識別的特徵點候選者當中區分優先次序並選擇的各種其他方法相比具有減少存儲器和計算的量的優點。例如，在替換實施例中，可以將瓦片的全部特徵點候選者識別和存儲在存儲器中存儲的大列表中， 然後僅在瓦片的全部特徵點候選者已經被識別之後，可以應用數學揀選算法以找到不在集合的任何其他成員的排斥區(MIN_DIST)內的最大特徵點候選者的最優集合(具有預定最大尺寸)。然而，這樣的揀選算法比圖4A和4B的光柵順序揀選(選擇、拒絕、取消)方法 (其示範性結果在圖2B中示出)需要更多物理存儲器(用於存儲瓦片的識別的特徵點候選者的整個列表)且潛在地需要更多的總的計算。圖4A和4B的光柵掃描順序揀選算法沒有必要提供作為全局最優的選擇的特徵點的集合，因為特徵點候選者可以由稍後被選擇但是稍後將其取消的特徵點候選者從列表中取消，相反它提供可以在具有有限本地存儲的硬體中實現的算法。雖然圖4A和4B的方法被描述為按照「光柵掃描順序」(即，從左到右且從上到下)處理識別的特徵點候選者，其為哈裡斯角點檢測器通常進行的像素順序，該方法可以採用選擇特徵點候選者的任何序列，諸如非相鄰特徵點候選者的不連續序列，只要全部特徵點被依次識別並最終揀選。圖3是根據本發明構思的實施例的特徵點電路的框圖。特徵點電路3000包括特徵點選擇器300和已選擇特徵點(SFP)運動矢量計算器700以及共享的RAM存儲器350。特徵點選擇器300包括下採樣器310、特徵點候選者識別器330、和特徵點候選者揀選器340。特徵點候選者識別器330使用哈裡斯角點檢測器算法識別特徵點候選者並且向特徵點候選者揀選器340 —次一個瓦片地按光柵掃描順序輸出識別的特徵點，例如，以像素位置和哈裡斯角點響應(Harris Corner response)。特徵點候選者揀選器340配置為執行如圖IB和2B中進ー步說明的圖4A和4B的逐一揀選每個瓦片的識別的特徵點的方法。 下採樣器310包括瓦片-方差ο 2計算器320功能塊，其根據以下公式計算圖像幀的每個瓦片的瓦片-方差ο2:
權利要求
1.ー種處理視頻數據的方法，包括接收代表第一幀的第一圖像數據；識別第一幀中的多個特徵點；接收代表第二幀的第二圖像數據；導出與每個特徵點對應的運動矢量；選擇運動矢量中的第一運動矢量作為當前矢量A，並且選擇運動矢量中的第二運動矢量作為當前矢量B;以及基於矢量A和矢量B的矢量幅度比和它們的角度差來比較矢量A和矢量B。
2.如權利要求1所述的方法，進ー步包括設置幅度比閾值和角度差閾值；以及如果它們的矢量幅度比落入幅度比閾值內且它們的角度差落入角度差閾值內，則將矢量A和矢量B分組在一起。
3.如權利要求2所述的方法，進ー步包括如果它們的矢量幅度比落入幅度比閾值之外或如果它們的角度差落入角度差閾值之外，則不將矢量A和矢量B分組在一起。
4.如權利要求1所述的方法，進ー步包括通過如下識別第一特徵點組如果當前矢量A和當前矢量B的矢量幅度比落入幅度比閾值之外或如果它們的角度差落入角度差閾值之外，則決定不將當前矢量A和當前矢量B分組在一起，並且選擇運動矢量中的第三運動矢量作為新的矢量B，然後基於當前矢量A和新矢量B的矢量幅度比和它們的角度差來比較當前矢量A和新矢量B以決定是否將當前矢量A和新矢量B分組在一起。
5.如權利要求3所述的方法，進ー步包括通過如下識別第二特徵點組如果因為當前矢量A和當前矢量B的矢量幅度比落入幅度比閾值之外或因為它們的角度差落入角度差閾值之外而不將當前矢量A和當前矢量B分組在一起，則選擇運動矢量中的第二運動矢量作為新的矢量A並且選擇運動矢量中的第四運動矢量作為新的矢量B，然後基於新矢量A和新矢量B的矢量幅度比和它們的角度差來比較新矢量A和新矢量B以決定是否將新矢量A和新矢量B分組在一起。
6.如權利要求5所述的方法，其中比較矢量幅度比包括計算(|B|/|A|)~2= ((xb"2+yb"2) / (xa"2+ya"2))，其中 A = (xa，ya), B = (xb，yb)。
7.如權利要求1所述的方法，其中幅度比閾值是r以使得(l-r)"2<(|B|/|A|)"2 < (1+r) ~2，其中r是小於1且大於0的預定實數。
8.如權利要求1所述的方法，其中比較矢量A與矢量B之間的角度差包括將歸一化矢量差的幅度的平方|a_b|"2與角度差閾值Math"2進行比較，其中|a_b|"2 = {(xa-xb) "2+(ya_yb) "2}バxa"2+ya"2),其中 A = (xa, ya), B = (xb, yb)。
9.如權利要求8所述的方法，其中基於預定角度閾值eth來計算角度差閾值Math~2，其 Φ Math" 2= (l+|b|~2-2*|b|*COS0th)，其中 b = SQRT {(| B | / | A | )"2}，而且其中僅使用一個平方根運算執行矢量A與矢量B的比較。
10.如權利要求8所述的方法，其中角度差閾值Math"2= 0.5"2。
11.如權利要求1所述的方法，其中執行矢量A與矢量B的比較而不使用平方根運算。
12.ー種視頻處理電路，包括特徵點電路，配置為識別第一幀中的多個特徵點並為每個特徵點導出第一幀與第二幀之間的運動矢量；配對控制器，配置為選擇運動矢量中的一個作為當前矢量A Ua，ya)並選擇運動矢量中的不同的一個作為當前矢量BUb，yb)；幅度比比較器，配置為基於矢量A和矢量B的幅度比來比較矢量A和矢量B ；以及矢量角度比較器，配置為基於矢量A和矢量B的角度差來比較矢量A和矢量B。
13.如權利要求12所述的電路，其中幅度比比較器將幅度比的平方(|B|/|A|)~2與幅度比閾值進行比較，其中(|B|/|A|)"2 = ((xb"2+yb"2)/(xa"2+ya"2))0
14.如權利要求12所述的電路，其中矢量幅度比閾值等於(|A|/|B|)~2。
15.如權利要求12所述的電路，其中幅度比閾值是r以使得(l-r)~2<(|B|/|A|)"2 < (l+r)~2，其中r是小於1且大於0的預定實數。
16.如權利要求12所述的電路，其中，矢量角度比較器將歸ー化矢量差的幅度的平方 a_b|~2 與角度差閾值 Math~2 進行比較，其中 a-b|"2 = {(xa-xb) "2+(ya-yb) "2} / (xa"2+ya"2)。
17.如權利要求16所述的電路，其中，基於預定角度閾值eth來計算角度差閾值 Math~2，其中 Math~2 = (1+1 b ド2-2* | b | *cos θ th)，而且其中 b = SQRT {(| B | / | A | )~2}。
18.如權利要求16所述的電路，其中角度差閾值Math"2= 0. 5"2。
19.如權利要求12所述的電路，進一歩包括特徵點組存儲器，配置為存儲具有第一運動特性的第一組特徵點和具有第二運動特性的第二組特徵點。
20.如權利要求12所述的電路，進ー步包括連接到特徵點組存儲器的I/O管腳，其用於將從存儲器接收的數據傳送到晶片外面的電路。
21.—種處理視頻數據的方法，包括為視頻數據的第一幀中的每個特徵點估計運動矢量；基於矢量幅度比和角度差將運動矢量分組為運動矢量組；以及選擇包含代表第一幀的場景內固定對象的運動的運動矢量的組。
22.如權利要求21所述的方法，其中分組步驟包括基於矢量A和矢量B的矢量幅度比和它們的角度差來比較矢量A和矢量B。
23.如權利要求21所述的方法，進ー步包括使用下採樣亮度數據估計從第一幀的ー 部分劃分的多個瓦片的每個的運動矢量，並且選擇具有最低絕對差值和(SAD)的瓦片運動矢量候選者；以及基於矢量幅度比和角度差將瓦片運動矢量分組為瓦片運動矢量組。
24.如權利要求21所述的方法，其中選擇代表第一幀內的固定對象的運動矢量組包括拒絕代表第一幀中的運動對象的局部運動的至少ー個運動矢量組。
25.ー種攝像頭，包括圖像捕獲電路，配置為捕獲圖像並且將多個圖像轉換為圖像數據的第一幀和第二幀；以及視頻處理電路晶片，包括特徵點電路，配置為識別第一幀中的多個特徵點並為每個特徵點導出第一幀與第二幀之間的運動矢量；配對控制器，配置為選擇特徵點的運動矢量當中的每對運動矢量； 幅度比比較器，配置為基於它們的矢量幅度比來比較每對運動矢量；以及矢量角度比較器，配置為基於它們的矢量角度差來比較每對運動矢量。
26.如權利要求25所述的攝像頭，進一歩包括分組電路，配置為基於運動特性將運動矢量揀選到組中，並且選擇運動矢量組以代表幀的場景內的固定対象。
全文摘要
一種數字圖像穩定(DIS)方法，包括特徵點揀選算法，用於選擇最優特徵點；計算高效的基於瓦片矢量的分級塊匹配搜索算法，用於導出選擇的特徵點的運動矢量；以及特徵點運動矢量分組/比較過程，用於基於它們的矢量幅度比和它們的角度差來將選擇的特徵點對分組。
文檔編號H04N5/232GK102547118SQ20111043684
公開日2012年7月4日 申請日期2011年12月23日 優先權日2010年12月23日
發明者M.布朗, 樸聖秀 申請人:三星電子株式會社