基於穩健主運動估計的數字視頻穩定化的製作方法

2023-09-22 05:54:45 6

專利名稱：基於穩健主運動估計的數字視頻穩定化的製作方法
基於穩健主運動估計的數字視頻穩定化
背景技術：
諸如攝像機、電影模式的靜物照相機、以及蜂窩電話和個人數字
助理(PDA)中的照相機的許多類型的行動裝置都允許捕捉圖像序列， 這導致用戶獲取的數字媒體的量顯著增長。但是，在大多數情況下， 視頻是在非理想狀況下用非理想的獲取設備捕捉到的。例如，在諸如
從移動車輛或在體育活動過程中拍;J聶的情況下，大多數視頻具有高度
的不想要的運動或抖動。甚至在正常狀況下獲取的視頻也會具有一定 量的不想要的晃動。大多數隨處可見的廉價視頻設備不提供用於穩定 視頻序列以補償這種抖動的特徵。
儘管大多數昂貴設備中的一些設備提供機械圖像穩定化，但經常 採用的是通常包括基於圖像內假定主要包含背景信息的預先選擇的 圖像區域來計算圖像運動的數位技術。如果關心的對象碰巧在此區域
內，則它違反基本々B殳，並且背景運動估計將不正確。
其它數字穩定化技術包括通過以下方式來估計整個圖像上的運
動分別沿水平坐標和垂直坐標將圖像積分，然後通過在連續幀中使 兩個一維信號簡單地相互關聯來計算運動。這些技術雖然快速且可在 嵌入在成像設備內的硬體中實現，但是它們往往是不準確的，並且會 因為計算圖像中的所有對象的平均運動而導致有偏差的運動估計。
因此，需要改進的數字視頻穩定化技術，可在獲取圖像序列的同 時或在獲取之後通過對捕捉的圖像序列進行後處理來執行這些技術， 以便增強數字媒體的觀看體驗。


圖1示出根據一個或多個實施例的々某體處理系統。圖2示出根據一個或多個實施例的幀間主運動估計(dominant motion estimation)模塊。
圖3示出根據一個或多個實施例的典型圖像序列的估計軌跡 (estimated trajectory)禾口平滑軌跡(smoothed trajectory)。
圖4示出根據一個或多個實施例的兩個幀的穩定化結果。
圖5示出根據一個或多個實施例的邏輯流程。
圖6示出才艮據一個或多個實施例的製品。
具體實施例方式
各種實施例涉及執行數字視頻穩定化以便從圖像序列中去除不 想要的運動或抖動。數字視頻穩定化可在獲取圖像序列的同時執行。 例如，可在諸如攝像機或具有嵌入式成像的行動裝置的圖像獲取設備 內在圖像獲取過程中執行數字視頻穩定化，以便在仍然允許相機搖攝 的同時自動校正並去除由於相機晃動引起的不想要的抖動。
數字視頻穩定化也可在圖像獲取之後執行，以便處理並觀看視頻 流。例如，可以通過以下設備來執行數字視頻穩定化基於web的i某 體伺服器，移動計算平臺，桌面式平臺，娛樂個人計算機(PC),機 頂盒(STB),數位電視(TV),視頻流增強晶片組，i某體播J:器， 4某體編輯應用，或其它適於增強數字4某體的觀看體驗的可視化設備。
在各種實施例中，數字^見頻穩定化可以通過以下方式來執行接 收輸入圖像序列，估計輸入圖像序列中的相鄰圖像幀之間的主運動， 基於相鄰圖像幀之間的主運動確定估計軌跡，確定平滑軌跡，基於估 計軌跡和平滑軌跡之間的偏差來計算估計的抖動，然後補償估計的抖 動以生成穩定的圖像序列。數字視頻穩定化可以通過利用視頻序列中 的信息執行的純數位技術來實現，而無需任何外部傳感器信息。
數字視頻穩定化可以包括自動選擇要通過穩健統計進行補償的 正確運動的統計技術。該技術自動選擇圖像中包含主運動的像素集 合，而不必預先選擇關心的區域。通過基於穩健統計的使用來提供對主運動和估計過程的形式定義，所得數字圖像穩定化技術不需要專門 定義主運動或選擇用於估計運動的區域，而是改為基於丟棄具有與主 運動很不同(從統計意義上來說)的運動的區域來提供對主運動的估 計。因此，可以在具有多個運動對象的序列中獲得優良的結果，而與 場景中的對象的相對位置無關。
圖1示出根據一個或多個實施例的力某體處理系統100。 一般來說， 々某體處理系統100可以包括用於傳送信息的各種物理和/或邏輯組件， 根據一組給定的設計參數或性能約束的需要，這些組件可作為硬體、 軟體或其任意組合來實現。儘管圖l舉例示出有限數量的組件，但可 明白，對於給定實現，可以採用更多或更少數量的組件。
在各種實現中，々某體處理系統100可以設置成為PC、消費型電子 設備(CE)和/或移動平臺執行一個或多個聯網、多^某體和/或通信應 用。在一些實施例中，對於PC、 CE和/或移動平臺，媒體處理系統 100可作為設備內和/或連接到設備的系統來實現，設備可以是例如個 人PC、 STB、數字TV設備、網際網路協議TV (IPTV)設備、數碼相 機、媒體播放器和/或蜂窩電話。這些設備的其它實例可以包括但不限 於工作站、終端、伺服器、媒體設備、音頻/視頻(A/V)接收器、數 字音樂播放器、娛樂系統、數字TV(DTV)設備、高清晰TV(HDTV) 設備、直播衛星TV (DBS)設備、視頻點播(VOD)設備、WebTV 設備、數字視頻錄像機(DVR)設備、數字多功能盤(DVD)設備、 高清晰DVD (HD-DVD)設備、藍光碟(BD)設備、家用視頻系統
(VHS)設備、數字VHS設備、遊戲控制臺、顯示設備、筆記本型 PC、膝上型計算機、可攜式計算機、手持式計算機、個人數字助理
(PDA) 、 IP語音(VoIP)設備、組合式蜂窩電話/PDA、智慧型電話、 尋呼機、消息接發設備、無線接入點(AP)、無線客戶機設備、無線 站(STA)、基站(BS)、訂戶站(SS)、移動訂戶中心(MSC)、 移動單元等。
例如，在移動應用中，々某體處理系統100可在i殳備內實現和/或連接到設備，設備包括一個或多個用於進行無線通信的接口和/或組件， 這一個或多個接口和/或組件可以是例如一個或多個發射器、接收器、
收發器、晶片組、放大器、濾波器、控制邏輯、網絡接口卡(NIC)、 天線等。天線的實例可以包括但不限於內置天線、全向天線、單極天 線、偶極天線、底端饋電天線、圓極化天線、微帶天線、分集天線、 雙天線、天線陣列等。
在各種實施例中，々某體處理系統100可以形成有線通信系統、無 線通信系統或兩者的組合的一部分。例如，i某體處理系統100可以設 置成通過一種或多種類型的有線通信鏈路傳送信息。有線通信鏈路的 實例可以包括^旦不限於電線、電纜、總線、印刷電路板(PCB)、以 太網連接、對等(P2P)連接、底板、交換結構、半導體材料、雙絞 線、同軸電纜、光纖連接等。々某體處理系統100也可設置成通過一種 或多種類型的無線通信鏈路傳送信息。無線通信鏈路的實例可以包括 但不限於無線電信道、衛星信道、電視信道、廣播信道、紅外信道、 射頻(RF)信道、無線保真(WiFi)信道、RF語的一部分、和/或一 個或多個許可或免許可的頻帶。儘管可以利用特定通信介質舉例說明 某些實施例，4旦可明白，本文i侖述的原理和技術可以利用各種通信介 質和伴隨的^t術來實現。
在各種實施例中，少某體處理系統100可以設置成在網絡內操作， 網絡可以是例如廣域網(WAN)、區域網(LAN)、城域網(MAN)、 無線WAN(WWAN)、無線LAN(WLAN)、無線MAN(WMAN)、 無線個域網(WPAN)、全球微波接入互操作性(WMAX)網絡、 寬帶無線接入(BWA)網絡、網際網路、全球資訊網、電話網絡、無線電網 絡、電禾見網絡、電纜網絡、諸如直播衛星(DBS)網絡的衛星網絡、 碼分多址接入(CDMA)網絡、諸如寬帶CDMA (WCDMA)的第三 代(3G)網絡、第四代(4G)網絡、時分多址接入(TDMA)網絡、 擴展型TDMA (E-TDMA)蜂窩無線電話網絡、全球移動通信系統 (GSM )網絡、GSM和通用分組無線電業#< GPRS )系統(GSM/GPRS )網絡、同步分割多址接入(SDMA)網絡、時分同步CDMA (TD-SCDMA)網絡、正交頻分復用(OFDM)網絡、正交頻分多址 接入(OFDMA)網絡、北美數字蜂窩(NADC)蜂窩無線電話網絡、 窄帶高級行動電話業務(NAMPS)網絡、通用行動電話系統(UMTS) 網絡、和/或配置成根據所描述的實施例載送數據的任何其它有線或無 線通信網絡。
媒體處理系統100可以設置成傳送一種或多種類型的信息，如媒 體信息和控制信息。4某體信息一般是指表示用於用戶的內容的任何數 據，如圖像信息、視頻信息、音頻信息、A/V信息、圖形信息、語音 信息、文本信息、數值信息、字母數字符號、字符符號等。控制信息 一般是指表示用於自動化系統的命令、指令或控制字的任何數據。例 如，控制信息可用於通過系統路由々某體信息、或指示節點以某種方式 處理媒體信息。媒體和控制信息可以從多個不同的設備或網絡傳送， 並且可以傳送到多個不同的設備或網絡。
在各種實現中，可將々某體信息和控制信息分成一系列的分組。每 個分組可以包括例如具有以位或字節表示的固定或可變大小的離散 數據集。可明白，所描述的實施例可適用於任何類型的通信內容或格 式，例如分組、幀、段、小區、窗口、單位等。
卡某體處理系統100可以根據一個或多個協議傳送信息。協議可以 包括用於管理節點間的通信的一組預定規則或指令。例如，在各種實 施例中，媒體處理系統100可以採用諸如下列的一個或多個協議媒 體接入控制(MAC)協議，物理層會聚協議(PLCP),簡單網絡管 理協議(SNMP)，異步傳輸模式(ATM)協議，幀中繼協議，系統 網絡體系結構(SNA)協議，傳輸控制協議(TCP)，網際網路協議(IP), TCP/IP, X.25,超文本傳輸協議(HTTP),用戶數據寺艮協議(UDP), 等等。
々某體處理系統100可以根據由標準組織頒布的一個或多個標準來 傳送信息，標準組織可以是例如國際電信聯盟(ITU)、國際標準化組織(ISO)、國際電工委員會(IEC)、電氣和電子工程師協會(IEEE)、 網際網路工程任務組(正TF)等。例如，在各種實施例中，々某體處理系 統100可以根據諸如下列的媒體處理標準來傳送信息ITU/IECH.263 標準 (Video Coding for Low Bitrate Communication, ITU-T Recommendation H.263v3, 2000年11月發布)，ITU/正C H.264標準
(Video Coding for Very Low Bit Rate Communication, ITU-T Recommendation H.264， 2003年5月發布)，運動圖像專家組(MPEG) 標準(例如，MPEG-l、 MPEG-2、 MPEG-4 )，數字^L頻廣播(DVB) 地面(DVB-T)標準，DVB衛星(DVB-S或-S2)標準，DVB電纜
(DVB-C)標準，手持設備的DVB地面(DVB-H),國家電一見系統 委員會(NTSC )和逐行倒相(PAL )標準，高級電視系統委員會(ATSC ) 標準，電影和電視工程師學會(SMPTE)標準(例如，基於視窗i某體 視頻(WMV)第9版的SMPTE 421M或VC-1標準)，通過網際網路 協議的數字傳輸內容保護(DTCP-IP)標準，高性能無線電區域網
(HiperLAN)標準，等等。
在一些實現中，々某體處理系統100可以設置成從媒體源接收媒體 內容。媒體源一般可以包括能夠向媒體處理系統IOO遞送靜態或動態 媒體內容的各種設備和/或系統。例如，在一個實施例中，媒體源可以
包括諸如攝像機或具有成像能力的行動裝置的圖像獲取設備，或者可 以構成此圖^f象獲取設備的部分。媒體源還可包括i殳置成提供廣播或流 式媒體內容的多媒體伺服器。在其它實施例中，々某體源可以包4封某體 分配系統(DS)或廣播系統或構成其部分，i某體分配系統(DS)或 廣播系統可以是例如空中(OTA)廣播系統、DVB系統、無線電廣播 系統、衛星廣播系統等。々某體源可以在允許用戶通過網絡選擇、接收 和觀看視頻內容的VOD系統或交互式電3見系統內實現。々某體源還可 包括通過諸如寬帶連接的IP連接遞送數位電視內容的IPTV系統，或 形成IPTV系統的部分。實施例在這方面不受限制。
i某體處理系統100可以通過能夠載送信息信號的各種類型的通信信道耦合到媒體源，根據給定實現的需要，通信信道可以是例如有線
通信鏈路、無線通信鏈路或其組合。i某體處理系統ioo還可設置成通
過各種類型的組件或接口從媒體源接收媒體內容。例如，媒體處理系
統100可以設置成通過一個或多個調諧器和/或接口接收i某體內容，其 中調諧器和/或接口可以是例如開放電纜(OC)調諧器、NTSC/PAL 調諧器、調諧器/解調器、部署點(POD)/DVB公共接口 (DVB-CI)、 A/V解碼器接口、乙太網接口、 PCI接口等。
遞送紿—某體處理系統100的i某體內容可以包括各種類型的信息， 例如圖像信息、音頻信息、視頻信息、A/V信息和/或其它數據。在一 些實現中，々某體源可以設置成以各種格式遞送々某體內容以供諸如STB、 IPTV設備、VOD設備、媒體播放器等設備使用。
媒體內容可以作為壓縮媒體內容來遞送，以便允許々某體處理系統 100高效地存儲和/或傳送數據。在各種實現中，可以採用多種^t術來 壓縮媒體內容，這些技術可以是例如利用離散餘弦變換(DCT)的空 間壓縮、時間壓縮、運動4卜償和量4匕。々某體內容的^見頻壓縮可以例如 根據諸如H.264、 MPEG-2、 MPEG-4、 VC-1等標準來執行。在一些情 況下，fe某體內容可以作為加擾和/或加密i某體內容來遞送，以《更防止未 經授權的接收、複製和/或觀看。
在各種實施例中，i某體處理系統100可以設置成執行數字^見頻穩 定化以便從圖像序列中去除不想要的運動或抖動。數字視頻穩定化可 以在獲取圖像序列的同時執行。例如，i某體處理系統100可以在諸如 攝像機或具有嵌入式成像的行動裝置的圖像獲取設備內實現，並且可 以在圖像獲取期間執行數字視頻穩定化，以便在仍然允許相機搖攝的 同時去除由相機晃動引起的不想要的抖動。
數字視頻穩定化也可在圖像獲取之後執行，以便處理和觀看視頻 流。例如，媒體處理系統100可以通過基於web的媒體伺服器、移動 計算平臺、桌面型平臺、娛樂PC、數字TV、視頻流增強晶片組、媒 體播放器、媒體編輯應用或其它適於增強數字媒體的觀看體驗的可視化設備來實現。在一些實現中，用戶可以選擇性地接通和斷開數字視 頻穩定化功能部件，以便在不修改原始々某體內容的情況下實現穩定的 觀看體驗。用戶也可修改原始視頻序列，或者可以在不修改原始序列 的情況下保存視頻序列的穩定版本。 一旦穩定了序列，由於增強的運 動向量估計，所以數字視頻穩定化也可用於更有效的壓縮(例如，利
用MPEG壓縮)。
在各種實施例中，i某體處理系統100可以設置成執行自動選擇要 通過穩健統計進行補償的正確運動的統計技術。該技術自動選擇圖像 中包含主運動的像素集合，而不必預先選擇感興趣的區域。通過基於 穩健統計的使用來提供對主運動和估計過程的形式定義，所得數字圖 像穩定化技術不需要專門定義主運動或選擇要估計運動的區域，而是 改為基於丟棄(reject)具有與主運動很不同(從統計意義上來說)的運 動的區域來提供對主運動的估計。因此，可以在具有多個運動對象的 序列中獲得優良的結果，而與對象在場景中的相對位置無關。
士某體處理系統100可以設置成通過以下方式執行數字視頻穩定 化接收輸入圖像序列，估計輸入圖像序列中的相鄰圖像幀之間的主 運動，基於相鄰圖像幀之間的主運動確定估計軌跡，確定平滑軌跡， 基於估計軌跡和平滑軌跡之間的偏差計算估計的抖動，然後補償估計 的抖動以生成穩定的圖像序列。
如圖1所示，媒體處理系統100可以包括多個功能單元或模塊。 這些才莫塊可以由一個或多個晶片或集成電路(IC)來實現，並且可以 包括例如硬體和/或諸如將由邏輯設備執行的邏輯(例如，指令、數據 和/或代碼)的專1件。邏輯設備的實例包括但不限於中央處理單元 (CPU)、微控制器、微處理器、通用處理器、專用處理器、晶片多 處理器(CMP)、々某體處理器、數位訊號處理器(DSP)、網絡處理 器、協處理器、輸入/輸出(I/O)處理器、專用集成電路(ASIC)、 現場可編程門陣列(FPGA)、可編程邏輯設備(PLD)等。
可執行邏輯可以在邏輯設備的內部或外部存儲在一種或多種類
12型的計算機可讀存儲介質上，計算機可讀存儲介質可以是例如易失性 或非易失性存儲器、可移動或不可移動存儲器、可擦除或不可擦除存 儲器、可寫或可重寫存儲器等。根據給定實現的需要，這些模塊可以 通過包括有線通信介質、無線通信介質或兩者的組合的通信介質在物 理或邏輯上耦合和/或連接。實施例在這方面不受限制。
在各種實施例中，々某體處理系統IOO可以包括幀間主運動估計才莫 塊102、軌跡計算4莫塊104、軌跡平滑處理;^莫塊106和抖動補償4莫塊 亂
幀間主運動估計才莫塊102可以設置成接收包括一系列數字視頻圖 像的輸入圖像序列110。圖像序列110中的每個數字圖像或幀可以包 括表示區域、對象、片段、宏塊、塊、像素等的水平(x)和垂直(y) 圖像數據或信號。賦予像素的值可以包括實數和/或整數
幀間主運動估計才莫塊102可以設置成估計圖^f象序列110中的相鄰 圖像之間的主運動。主運動可以是全局位移，這對應於相機運動是包 含在成像平面內的平移的假設。主運動也可以是全局位移加上兩個圖 像之間的旋轉，這對應於相機運動是包含在成像平面內的平移加上繞 垂直於成像平面的軸的旋轉的假設。在這些情況下，兩個相鄰圖像可 以是彼此的近似偏移且潛在旋轉的版本。
幀間主運動估計模塊102可以估計運動模型參數，從估計的對準 將對應於使兩個圖像之一與第二圖像的空間變換版本之差最小的對 準的意義來說，這些運動模型參數基於這兩個圖像的灰度級將這兩個 圖像最佳對準。幀間主運動估計模塊102可以包括諸如穩健M-估計 器的穩健估計器，它利用諸如Tukey函數、Huber函數、Cauchy函數、 絕對值函數或其它合適的穩健函數的穩健函數。利用穩健估計器解決 了由於存在進行與相機運動不同或獨立的運動的對象而引起的問題。 這些對象的獨立運動違反主要全局運動々i設，並且會使對主運動的估 計產生偏差。
穩健估計器可以自動檢測對應於進行與主運動很不同或獨立的運動的像素的離群點(outlier)。穩健估計器可以在估計過程中通過對相 應等式向下加權(down-weighting)來忽略這些離群點。通過利用基 於穩健統計的估計技術，自動忽視(discount)被認為是離群點的數據點 (例如，獨立運動對象)。因此，產生對應於主趨勢或主運動的估計， 它們最佳說明兩個連續幀之間的變化。
軌跡計算才莫塊104可以設置成確定估計軌跡。 一旦對每兩個幀之 間的相對運動進行了估計，軌跡計算模塊104便可以計算相機關於第 一幀的估計軌跡以作為所有相對對準的組成。例如，在考慮純平移才莫 型的情況下，這對應於直到當前幀的所有位移的累積向量和。
軌跡平滑處理才莫塊106可以設置成確定平滑軌跡。軌跡平滑處理 ;漠塊106可以通過例如利用具有給定標準偏差的低通濾波器(如低通 高斯濾波器)來對水平和垂直維度的位移進行濾波而計算軌跡的平滑 版本。
抖動補償模塊108可以設置成執行運動補償以補償估計的抖動並 生成穩定的圖像序列112。在各種實施例中，估計的抖動可以通過從 估計軌跡中減去軌跡的平滑版本來計算獲得。圖像穩定化的目的是補 償不想要的相機抖動，而不是用於補償真正的相機運動，如搖:攝、真 正的相機位移等。軌跡的高頻變化可能與不想要的相機抖動相關聯或 對應於不想要的相機抖動，而軌跡的低頻或平滑變化可能與想要的相 機運動相關聯或對應於想要的相機運動。
對於純位移模型，位移可以近似為整數。因此，運動補償可以包 括選擇具有由對應於抖動的位移給定的原點的圖像的合適子區域。在
旋轉加平移才莫型的情況下，必需補償這種剛性變換，這種剛性變換需 要利用諸如雙線性或雙立方內插的合適的內插技術來內插旋轉像素 柵格上的像素值。
圖2示出根據一個或多個實施例的幀間主運動估計模塊200。盡 管在這方面不受限制，但是幀間主運動估計沖莫塊200可以通過圖1中 的i某體處理系統100來實現。在各種實現中，幀間主運動估計才莫塊200可以設置成通過估計將當前圖像與之前的相鄰圖像最佳對準的運動 模型參數來執行主運動估計以支持圖像穩定化。
如圖所示，幀間主運動估計模塊200可以包括金字塔式計算部分 202、梯度計算部分204和位移估計部分206,根據一組給定的設計參 數或性能約束的需要，這些部分可以作為硬體、軟體、或其任意組合 來實現。
金字塔式計算部分202可以設置成以期望的解析度級獲得圖像或 幀的多解析度金字塔。在各種實施例中，金字塔式計算部分202可以 在水平和垂直維度^f丸行包括連續濾波和向下採樣的級聯操作，直到達
到期望的解析度級。可以明白，金字塔級的數量可以基於原始圖像的 大小、期望的精度、可用的計算能力等進行調整。儘管實施例在這方 面不受限制，但濾波和向下採樣一般迭代地執行以減少計算費用。
如圖2所示，金字塔式計算塊202可以利用水平低通濾波器(cx) 210和垂直低通濾波器(cy ) 212來對新幀208進行濾波，然後通過抽 取因子(S) 214來執行向下釆樣，以產生縮小的圖像216。可以利用 水平低通濾波器(cx) 218、垂直低通濾波器(cy) 220和抽取因子(S ) 222來執行進一步的濾波和向下釆樣，以產生進一步縮小的圖像224。 可以再次利用水平低通濾波器(Cx) 226、垂直低通濾波器(Cy) 228 和抽取因子(S) 230來"t丸行濾波和向下採樣，以產生再一步縮小的圖 像232。在一個實施例中，低通濾波器可以作為諸如具有巻積掩碼 c=(0.0625 0.25 0.375 0.25 0.0625)的立方B樣條濾波器的高斯濾波器來 實現，並且可以在兩個維度都利用抽取因子S=2。但是，實施例在這 方面不受限制。
梯度計算部分204可以設置成通過利用光流梯度約束來估計全局 運動模型參數而將當前圖像與之前的相鄰圖像對準。在各種實施例 中，梯度計算部分204可以獲得當前圖像與之前的相鄰圖像之間的時 空梯度，包括水平(x)和垂直(y)維度中的空間梯度以及按時間(t) 的時間梯度。空間梯度可以通過利用合適的高斯導數核來對兩個圖像進行濾 波或巻積、然後取兩個結果的平均值而獲得。時間梯度可以通過利用 合適的高斯核來對兩個圖像進行濾波或巻積、然後取兩個結果之差而 獲得。
如圖2所示，可以在梯度計算部分204內接收縮小的圖像232， 並通過水平高斯導數濾波器(dx) 234和垂直低通濾波器(gy) 236對 其進行濾波，以產生圖像(/j 238。也可以通過水平低通濾波器(gx) 240來對圖像232進行濾波。經過水平低通濾波器(gx) 240濾波的圖 像可以通過垂直高斯導數濾波器(dy) 242進行濾波，以產生圖像(/" 244。經過水平低通濾波器(gx) 240濾波的圖像也可以通過垂直低通 濾波器(gy) 246進行濾波，以產生圖像(厶)248。在一個實施例中， 可以用巻積掩碼g=(0.03505 0.24878 0.43234 0.24878 0.03504)和巻積 掩碼d=(0.10689 0.28461 0.0 -0.28461 -0.10689)來實現低通濾波器。但 是，實施例在這方面不受限制。
為了減少計算和存儲，可以通過抽取因子(S ) 250來對圖像(/J 238進行向下採樣，以產生圖像(//) 252;可以通過抽取因子(S) 254來對圖像(/y) 244進行向下採樣，以產生圖像(//) 256;並且 可以通過抽取因子(S) 258來對圖像(/6) 248進行向下採樣，以產 生圖像(//) 260。在一個實施例中，可以在兩個維度都利用抽取因 子3=2。但是，實施例在這方面不受限制。
在梯度計算部分204內，可以存儲當前幀的圖像(//) 252、圖像 (//) 256和圖像(//) 260,然後將它們正確組合到從之前幀存儲的 圖像(//) 262、圖像(//) 264和圖像(//) 266,以便獲得當前圖 像和之前的相鄰圖像之間的時空梯度。在各種實施例中，時空梯度可 以包括水平空間梯度(乂)268、垂直空間梯度(^)270和時間梯度(△ /) 272。
可以獲得兩個幀之間的時空梯度，其中(力，《，力')是像素Z處的兩 個幀的時空梯度。4艮設為純位移才莫型，則通過像素/處的等式來約束
16位移/Xc+ +//=Q，其中W，《，/'"是像素Z處的兩個幀的時空梯
度，且^(義，^):"是水平和垂直維度中對應於主運動的未知位移。
位移估計部分206可以設置成確定對應於主運動的水平和垂直維 度中的未知位移(《，274。通過將對應於當前圖像中的像素的約 束集合在一起，可以形成超定線性系統，該系統使時空梯度與未知位 移相關聯，其關係式為Fsd二Ft，其中矩陣Fs包含空間梯度，且列向量 Ft包含時間梯度。可明白，可以使用當前圖像中的所有像素，或者可 以使用這些像素的子集來減少計算。
在各種實施例中，位移估計部分206可以包括用於對超定線性系 統求解的諸如穩健M-估計器的穩健估計器。在這些實施例中，M-估 計器可以利用諸如Tukey函數、Huber函數、Cauchy函數、絕對值函 數或其它合適的穩健函數的穩健函數，而不是利用在最小平方中使用 的平方函數。利用穩健估計器解決了由於存在進行與相機運動不同或 獨立的運動的對象而引起的問題。這些對象的獨立運動違反主要全局 運動假設，並且會使對主運動的估計產生偏差。
穩健估計器可以自動檢測對應於進行與主運動很不同或獨立的 運動的像素的離群點。穩健估計器可以在估計過程中通過對相應等式 向下加權來忽略這些離群點。通過利用基於穩健統計的估計技術，自 動忽禍j史認為是離群點的數據點(例如，獨立運動對象)。因此，產 生對應於主趨勢或主運動的估計，它們最佳說明兩個連續幀之間的變 化。
在各種實施例中，可以通過根據當前估計扭曲其中 一個圖像並重 復估計過程來迭代地細化主運動估計。 一旦達到最大次數迭代或者估 計的變化低於給定閾值，估計過程便在當前的金字塔級停止，並使用 估計作為前一個金字塔級的初始估計。
對應於主運動的水平和垂直維度中的位移(4,《)274可以M 於相機運動是包含在成像平面中的平移的假設的全局位移。但是，在 一些情況下，主運動可以是全局位移加上兩個圖像之間的旋轉，這對應於相機運動是包含在成像平面中的平移加上繞垂直於圖像平面的
軸的旋轉的々i設。在逸些情況下，兩個相鄰圖像可以是彼此的近似偏 移且潛在旋轉的版本。
在考慮旋轉加平移衝莫型的情況下，將要估計的參數可以包括位移 加上旋轉角，並且估計它們的過程類似。在各種實現中，過程可以包 括對應於旋轉加平移的兩個矩陣的相乘，例如將從幀1到幀2的矩陣 乘以從幀2到幀3的矩陣。在一個實施例中，每個旋轉加平移矩陣可 以包括3x3矩陣，其中矩陣的第一個2x2塊是》走轉矩陣，最後一列 的前兩個元素是位移《和《，底行是
。但是，實施例在這方面 不受限制。
圖3示出根據一個或多個實施例的典型圖像序列的估計軌跡和平 滑軌跡。如圖所示，圖形300包括表示典型圖像序列的估計軌跡的藍 線302和表示平滑軌跡的紅線304。這些值用像素表示。可明白，提 供這個實例只是出於說明的目的，實施例在這方面不受限制。
圖4示出測試序列中的兩個相鄰幀的典型穩定化結果的一個實施 例。在所有圖像上疊加了紅色柵格以便於視覺比較穩定化。在上面一 行中，在序列的原始連續幀401-a和402-a之間示出由於不想要的相 機運動引起的較大抖動。在中間一行中，在利用純平移對準才莫型穩定 化之後在連續幀401-b和402-b之間補償了不想要的^F動。在下面一 行中，在利用旋轉加平移對準;漠型穩定化之後在連續幀401-c和402-c 之間補償了不想要的抖動。可明白，提供這個實例只是出於說明的目 的，實施例在這方面不受限制。
圖5示出根據一個或多個實施例的邏輯流程500。根據一組給定 的設計參數或性能約束的需要，邏輯流程500可以通過各種系統和/ 或設備來執行，並且可以作為硬體、軟體和/或其任意組合來實現。例 如，邏輯流程500可以通過邏輯設備(如處理器)和/或包含將由邏輯 設備執行的指令、數據和/或代碼的邏輯(如線程邏輯)來實現。
邏輯流程500可以包括估計輸入圖像序列中的相鄰圖像幀之間的主運動(方框502 )。對應於主運動的位移(例如，《和《)可以是 全局位移和/或全局位移加上兩個圖像之間的旋轉。主運動估計可以通 過諸如利用穩健函數(例如，Turkey函數、Huber函數、Cauchy函數、 絕對值函數等)的穩健M-估計器的穩健估計器來執行。穩健估計器
素的離群點。
邏輯流程500可以包括基於相鄰圖像幀之間的主運動確定估計軌 跡(方框504)。可以關於第一幀確定相機的估計軌跡以作為所有相 對對準的組成(composition)。例如，在純平移才莫型的情況下，估計軌 跡可以對應於直到當前幀的所有位移的累積和。
邏輯流程500可以包括確定平滑軌跡(方框506 )。軌跡的平滑 版本可以通過利用具有給定標準偏差的低通濾波器(例如，低通高斯 濾波器)來對水平和垂直位移進行濾波而計算獲得。
邏輯流程500可以包括基於估計軌跡和平滑軌跡之間的偏差來計 算估計的抖動(方框508)。估計的抖動可以通過從估計軌跡中減去 軌跡的平滑版本來計算獲得。軌跡的高頻變化可能與不想要的相機抖 動相關聯或對應於不想要的相機抖動，而軌跡的低頻或平滑變化可能 與想要的相機運動相關聯或對應於想要的相機運動。
邏輯流程500可以包括補償估計的抖動以生成穩定的圖像序列
(方框510)。對於純位移模型，位移可近似為整數。因此，運動補
償可以包括選擇具有由位移給定的原點的圖像的合適子區域。在旋轉 加平移才莫型的情況下，補償可以包括利用諸如雙線性或雙立方內插的
合適的內插技術來內插旋轉像素柵格上的像素值。
圖6示出製品600的一個實施例。如圖所示，製品600可以包括 存儲用於執行根據所描述的實施例的各種操作的視頻穩定化邏輯504 的存儲介質602。在各種實施例中，製品600可以由各種系統、組件 和/或模塊來實現。
製品600和/或計算才凡可讀存儲介質602可以包括一種或多種類型
19的能夠存儲數據的存儲介質，包括易失性存儲器或非易失性存儲器、 可移動或不可移動存儲器、可擦除或不可擦除存儲器、可寫或可重寫
存儲器等。計算機可讀存儲介質的實例可以包括但不限於RAM、 DRAM、雙倍數據速率DRAM (DDRAM)、同步DRAM ( SDRAM)、 靜態RAM (SRAM) 、 ROM、可編程ROM (PROM)、可擦除可編 程ROM (EPROM) 、 EEPROM、緻密盤ROM (CD-ROM)、可刻 錄緻密盤(CD-R)、可重寫緻密盤(CD-RW)、快閃記憶體(例如，NOR 或NAND快閃記憶體)、內容可尋址存儲器(CAM)、聚合物存儲器(例 如，鐵電聚合物存儲器)、相變存儲器(例如，奧氏存儲器)、鐵電 存儲器、矽氧化物氮氧化物矽(SONOS)存儲器、盤(例如，軟盤、 硬碟驅動器、光碟、磁碟、磁光碟)、或卡(例如，磁卡、光卡)、 磁帶、卡帶、或任何其它類型的適於存儲信息的計算機可讀存儲介質。 製品600和/或計算機可讀介質602可以存儲包含指令、數據和/ 或代碼的視頻穩定化邏輯604，這些指令、數據和/或代碼在通過系統 執行時可使系統執行根據所描述的實施例的方法和/或操作。這樣的系 統可以包括例如任何適合的處理平臺、計算平臺、計算設備、處理設 備、計算系統、處理系統、計算機、處理器等，並且可以利用硬體和 /或軟體的任何合適的組合來實現。
軟體、軟體模塊、應用、程序、子例行程序、指令、指令集、計算代 碼、字、值、符號或其組合。指令可以包括任何合適類型的代碼，例 如原始碼、編譯代碼、解釋代碼、可執行代碼、靜態代碼、動態代碼 等。指令可以根椐預定的計算積4吾言、方式或語法來實現，以指示處 理器執行某個功能。指令可以利用諸如C、 C++、 Java、 BASIC、 Perl、 Matlab、 Pascal、 VisualBACIS、彙編語言、機器代碼等任何合適的高 級、低級、面向對象、可視、編譯和/或解釋程式語言來實現。實施例 在這方面不受限制。
本文闡述了眾多具體細節以便充分理解實施例。但是，本領域技術人員將了解，沒有這些具體細節也可實現這些實施例。在其它情況 下，沒有詳細描述熟知的操作、組件和電路，以免使這些實施例晦澀 難懂。可明白，本文公開的這些具體結構和功能細節只是代表性的， 它們不一定限制實施例的範圍。
各種實施例可以包括一個或多個元件。元件可以包括設置成執行 某些操作的任何結構。根據一組給定的設計和/或性能約束的需要，每 個元件可以作為硬體、軟體或其任意組合來實現。儘管舉例描述在某 種拓樸中具有有限數量的元件的實施例，但根據給定實現的需要，實 施例可在備選拓4卜中包含更多或更少的元件。
值得注意的是，任何時候提到"一個實施例"或"實施例"時表 示，結合該實施例描述的特定特徵、結構或特性包含在至少一個實施 例中。說明書中出現短語"在一個實施例中"時不一定都指相同的實 施例。
儘管可以將一些實施例說明並描述為包括執行各種操作的示範 性功能組件或才莫塊，但可明白，這些組件或才莫塊可以通過一個或多個 硬體組件、軟體組件和/或其組合來實現。這些功能組件和/或 ^莫塊可 以通過例如將由邏輯設備(如處理器)執行的邏輯(例如，指令、數 據和/或代碼)來實現。此邏輯可以在邏輯設備的內部或外部存儲在一 種或多種類型的計算機可讀存儲介質上。
還將明白，所描述的實施例說明示範性實現，並且功能組件和/ 或^f莫塊可以採用符合所描述的實施例的各種其它方式來實現。此外， 對於給定實現，通過這些組件或衝莫塊執行的操作可以組合和/或分離， 並且可以通過更大數量或更少數量的組件或才莫塊來執行。
除非另外特別指出，否則可明白，諸如"處理"、"計算"、"演
算"、"確定"等術語是指計算機或計算系統或類似電子計算裝置的 動作和/或處理，此動作和處理用於操縱表示為寄存器和/或存儲器內 的物理量(如電子)的數據和/或將此數據變換為類似地表示為存儲器、 寄存器或其它這樣的信息存儲、傳輸或顯示設備內的物理量的其它數據。
值得注意的是，可以利用表述"耦合"和"連接"及其派生詞來 描述一些實施例。這些術語不是彼此同義的。例如，可以通過使用術 語"連接"和/或"耦合"來指示兩個或兩個以上元件彼此直接物理或 電接觸而描述一些實施例。但是，術語"耦合"還可表示，兩個或兩 個以上元件彼此不直4妄接觸，^旦仍然彼此協作或交互。例如，關於軟 件元件，術語"耦合"可指接口、消息接口、 API、交換消息等。
附圖中的一些圖可以包含流程圖。儘管這些圖可以包含特定的邏 輯流程，但可明白，此邏輯流程只是提供通用功能性的示範性實現。 此外，除非另外指出，否則邏輯流程不一定要按照所給出的順序執行。 另外，邏輯流程可以通過石更件元件、由處理器執行的軟體元件或其任 意組合來實現。，
儘管如上所述說明了實施例的某些特徵，但本領域的技術人員現 在將可聯想到許多修改、替換、改變和等效物。因此，將明白，希望 隨附權利要求涵蓋所有這些落在實施例的真實精神內的修改和改變。
權利要求
1、一種裝置，包括用於接收輸入圖像序列並估計所述圖像序列中的相鄰圖像之間的主運動的幀間主運動估計模塊，所述幀間主運動估計模塊包括用於自動檢測並忽視對應於獨立運動對象的離群點的穩健估計器。
2、 如權利要求1所述的裝置，其中所述主運動包括全局位移和 全局位移加上所述相鄰圖像之間的旋轉的至少其中之一。
3、 如權利要求1所述的裝置，其中所述穩健估計器利用穩健函數。
4、 如權利要求3所述的裝置，所述穩健函數包括Tukey函數、 Huber函數、Cauchy函數和絕對值函數的至少其中之一。
5、 如權利要求1所述的裝置，還包括用於基於所述主運動確定 估計軌跡的軌跡計算沖莫塊。
6、 如權利要求5所述的裝置，還包括用於確定平滑軌跡的軌跡 平滑處理;f莫塊。
7、 如權利要求6所述的裝置，還包括用於補償估計的抖動的抖 動補償才莫塊，所述估計的抖動基於所述估計軌跡和所述平滑軌跡之間 的偏差。
8、 如權利要求l所述的裝置，其中所述裝置包括圖像獲取設備。
9、 一種系統，包括耦合到天線的裝置，所述裝置包括用於接收輸入圖像序列並估計 所述圖像序列中的相鄰圖像之間的主運動的幀間主運動估計才莫塊，所 述巾貞間主運動估計才莫塊包括用於自動4全測並忽:f見對應於獨立運動對 象的離群點的穩健估計器。
10、 如權利要求9所述的系統，其中所迷主運動包括全局位移和 全局位移加上所述相鄰圖像之間的旋轉的至少其中之一。
11、 如權利要求9所述的系統，其中所述穩健估計器利用穩健函數。
12、 如權利要求11所述的系統，所述穩健函數包括Tukey函數、 Huber函數、Cauchy函數和絕對值函數的至少其中之一。
13、 如權利要求9所述的系統，還包括用於基於所述主運動確定 估計軌跡的軌跡計算^^莫塊。
14、 如權利要求13所述的系統，還包括用於確定平滑軌跡的軌 跡平滑處理一莫塊。
15、 如權利要求14所述的系統，還包括用於補償估計的抖動的 抖動補償模塊，所述估計的抖動基於所述估計軌跡和所述平滑軌跡之 間的偏差。
16、 一種方法，包4舌 利用穩健估計器自動檢測並忽視對應於獨立運動對象的離群點 來估計圖像序列中的相鄰圖像之間的主運動。
17、 如權利要求16所述的方法，其中所述主運動包括全局位移 和全局位移加上所述相鄰圖像之間的旋轉的至少其中之一。
18、 如權利要求16所述的方法，其中所述穩健估計器利用穩健 函數。
19、 如權利要求18所述的方法，所述穩健函數包括Tukey函數、 Huber函數、Cauchy函數和絕對值函數的至少其中之一。
20、 如權利要求16所述的方法，還包括基於所迷主運動確定估 計軌跡。
21、 如權利要求20所述的方法，還包括確定平滑軌跡。
22、 如權利要求21所述的方法，還包括補償估計的抖動，所述 估計的抖動基於所述估計軌跡和所述平滑軌跡之間的偏差。
23、 一種包括具有指令的計算機可讀存儲介質的物品，所述指令 在執行時使得系統能夠利用穩健估計器自動檢測並忽視對應於獨立運動對象的離群點 來估計圖像序列中的相鄰圖像之間的主運動。
24、 如權利要求23所述的物品，其中所述主運動包括全局位移 和全局位移加上所述相鄰圖像之間的旋轉的至少其中之一 。
25、 如權利要求23所述的物品，其中所述穩健估計器利用穩健 函數。
26、 如權利要求25所述的物品，所述穩健函數包括Tukey函數、 Huber函數、Cauchy函數和絕對值函數的至少其中之一 。
27、 如權利要求23所述的物品，還包括在執行時使得所述系統 能夠基於所述主運動確定估計軌跡的指令。
28、 如權利要求27所述的物品，還包括在執行時使得所述系統 能夠確定平滑軌跡的指令。
29、 如權利要求28所述的物品，還包括在執行時使得所述系統 能夠補償估計的抖動的指令，所述估計的抖動基於所述估計軌跡和所 述平滑軌跡之間的偏差。
全文摘要
描述基於穩健主運動估計來執行數字視頻穩定化的各種實施例。在一個實施例中，一種裝置可以接收輸入圖像序列，並估計圖像序列中的相鄰圖像之間的主運動。該裝置可利用穩健估計器來自動檢測並忽視對應於獨立運動對象的離群點。還描述其它實施例並要求它們的權利。
文檔編號G06T7/20GK101601073SQ200780049626
公開日2009年12月9日 申請日期2007年10月29日 優先權日2006年11月9日
發明者H·W·豪澤克, O·內斯塔雷斯 申請人:英特爾公司