電子視頻圖像穩定的製作方法

2023-09-23 01:49:20

專利名稱：電子視頻圖像穩定的製作方法
技術領域：
本發明涉及視頻處理，且更具體地說，涉及用於電子視頻應用中的電子圖像穩定的 技術。
背景技術：
隨著成像裝置變得較輕且較小，由此類裝置俘獲的圖像由於無意的抖動而較容易受 到質量降級的影響。在靜止圖像俘獲中，抖動可能產生模糊圖像。在視頻俘獲屮，抖動 可能導致視頻圖像中的抖動或跳動。抖動和跳動可能使人類視覺系統難以聚焦和集中於 視頻內的相關區域和目標上。當此抖動呈現出與視頻中的真實運動結合時，可混合不利 效應。在任何情況下，視頻或圖像的觀看體驗的質量降低。
圖像穩定系統嘗試補償圖像抖動以產生較好的圖像質量。圖像穩定系統通常可分為 三種主要類別光學圖像穩定器(OIS)、機械圖像穩定器(MIS)和電子圖像穩定器(EIS)。 OIS系統利用可調整的透鏡，其在圖像到達傳感器之前使圖像變形，其中所述透鏡由外 部運動傳感器控制。MIS系統使整個相機穩定而非相機所俘獲的圖像。具體地說，MIS 系統通常使用相機的重心、平衡系統以及相機操作者的身體來維持平滑運動。
EIS系統利用信號處理算法來更改所俘獲的圖像。 一些EIS系統在許多情形中工作 良好，但可能遭受不能夠區分真實運動與非所要的抖動。變焦EIS涉及通過變焦來增加 所俘獲圖像的大小，且接著在圖像內變焦以選擇補償抖動所導致的移動的略小圖像。超 大EIS涉及俘獲略大於所需解析度的圖像，且在超大圖像內搖攝以補償由抖動引起的移 動。

發明內容
本發明描述有用於具有視頻成像能力的裝置的電子圖像穩定技術。本發明中所描述 的技術有效地區分裝置的非所要抖動和在所俘獲場景中發生的真實運動。在操作中，視 頻序列中的視頻幀分為多個非重疊宏塊。 一旦計算出空間和運動統計，就確定每一宏塊 的運動向量。運動向量指示宏塊相對於視頻序列中的另一幀中的相應宏塊的移動。空間 統計指示所述幀內的宏塊的平均數和方差。宏塊的空間和運動統計經整合以獲得所述幀的全局運動向量。穩定涉及基於全局運 動向量將一偏移應用到幀以補償抖動。舉例來說，全局運動向量可用以在超大圖像內搖 攝以選擇補償抖動的略小的圖像。已經可用於編碼幀的目的的空間和運動統計也可用以 支持電子圖像穩定。以此方式，空間和運動統計支持在區分抖動和真實運動方面同樣有 效的有效穩定技術。
在一個實施例中，本發明提供一種裝置，其包含空間估計模塊，其產生視頻幀內 的宏塊的空間統計；運動估計模塊，其產生所述視頻幀內的所述宏塊的運動統計；運動 整合模塊，其整合所述空間統計和所述運動統計以確定所述幀的全局運動向量；以及穩 定模塊，其基於所述全局運動向量而將一偏移應用到由所述宏塊界定的圖像。
在另一實施例中，本發明提供一種執行電子圖像穩定的方法，其包含產生視頻幀 內的宏塊的空間統計；產生所述視頻幀內的所述宏塊的運動統計整合所述空間統計和 所述運動統計以確定所述幀的全局運動向量；以及基於所述全局運動向量將一偏移應用 到由所述宏塊界定的圖像。
在另一實施例中，本發明提供一種用於執行電子圖像穩定的裝置，其包含用於產 生視頻幀內的宏塊的空間統計的裝置；用於產生所述視頻幀內的所述宏塊的運動統計的 裝置；用於整合所述空間統計和所述運動統計以確定所述幀的全局運動向量的裝置；以 及用於基於所述全局運動向量而將一偏移應用到由所述宏塊界定的圖像的裝置。
可以硬體、軟體、固件或其任何組合來實施本文所描述的這些和其它技術。如果以 軟體來實施，那麼可在數位訊號處理器(DSP)或其它類型的處理器中執行軟體。執行 所述技術的軟體可最初存儲在計算機可讀媒體中，且加載及在DSP中執行以用於所俘獲 圖像的有效圖像穩定。
因此，本發明也涵蓋一種計算機可讀媒體，其包含通過在裝置中執行而使所述裝置 執行以下操作的指令對一圖像的一幀內的多個宏塊中的每一者執行空間估計，以獲得 宏塊中的每一者的空間統計；以及對多個宏塊中的每一者執行運動估計，以獲得所述宏
塊中的每一者的運動統計。計算機可讀媒體進一步包含通過在裝置中執行而使所述裝置 進行以下操作的指令整合所述宏塊中的每一者的所述空間統計和所述運動統計以確定 所述幀的全局運動向量；以及根據所述全局運動向量而相對於參考窗使圖像偏移。
在附圖和以下描述中陳述了本發明的一個或一個以上實施例的細節。根據描述和附 圖以及根據權利要求書將明白本發明的其它特徵、目的和優勢。


圖1是根據本發明經裝備以執行可縮放電子圖像穩定的示範性視頻處理裝置的框圖。
圖2是說明在圖1的裝置中有用的示範性前端處理單元的框圖。
圖3是說明圖2中的處理單元的各種組件用以執行可縮放電子圖像穩定的操作的框圖。
圖4是說明圖1的裝置在實施可縮放圖像穩定技術過程中的示範性操作的流程圖。 圖5是說明基於全局運動向量將圖像偏移應用到視頻幀內的圖像以支持圖像穩定的圖。
圖6是說明使用包含宏塊的子集的區域來建立用於圖像穩定的全局運動向量的圖。 圖7是說明適於併入如本發明所述的視頻處理裝置的移動數據機的實例性視頻 核心的框圖。
圖8A-8D是說明根據本發明用於實施可縮放圖像穩定技術的實例性實施方案的框圖。
圖9是說明其中可實施本發明的圖像穩定技術的示範性無線通信裝置的框圖。
具體實施例方式
圖1是可根據本發明實施可縮放電子圖像穩定技術的示範性裝置2的框圖。裝置2 可形成能夠編碼視頻數據的數字視頻處理裝置的部分。數字視頻處理裝置可處理由視頻 俘獲裝置(例如攝像機或存儲先前俘獲的視頻的視頻檔案)獲得的視頻。舉例來說，裝 置2可形成數碼攝像機、膝上型計算機、臺式計算機、無線通信裝置(例如蜂窩式或衛 星無線電電話)、個人數字助理(PDA)或具有數字視頻能力的任何裝置的部分。視頻俘 獲裝置可能容易受到破壞視頻質量的非所要抖動的影響。運動估計可用於圖像穩定。然 而，可能由於視頻俘獲裝置的無意抖動或由搖攝、變焦、傾斜或其它操作產生的有意移 動，以及在所俘獲場景屮發生的實際運動而發生運動。因此，應用運動估計以提供有效 的視頻穩定可具有挑戰性。本文所揭示的圖像穩定技術可在維持有意移動的存在的同時 補償無意移動。
視頻處理設備4操作以通過確定視頻幀序列中的每一視頻幀的全局運動向量來提供 電子視頻圖像穩定。視頻處理設備4使用將進一步詳細描述的全局運動向量來補償由抖 動引起的圖像移動。全局運動向量表示當前視頻幀內的圖像相對於另 一 視頻幀(例如， 先前視頻幀)內的圖像的整體移動。
視頻處理設備4通過將幀分為非重疊塊且對每一塊執行空間估計和運動估計以確定每一塊的空間和運動統計而獲得全局運動向量。在一些實施例中，視頻處理設備4可使 用經產生用於視頻編碼的空間和運動統計。視頻處理設備4可基於空間和運動統計而產 生視頻幀中的毎一塊的運動向量。
視頻處理設備4整合針對每一個別塊所獲得的所有信息以獲得全局運動向量。以此 方式，視頻處理設備4補償俘獲視頻幀以大體上移除由裝置2的無意平移運動(例如由 於抖動)引起的運動外觀。
視頻處理設備4可存儲原始視頻數據且對此數據執行各種視頻處理技術。視頻處理 設備4可包含"晶片集"，其包括數位訊號處理器(DSP)和晶片上存儲器。在其它情況 下，設備4可包含處理器、硬體、軟體或固件的任何組合。而且，設備4可包含單個集 成晶片、
在圖l的實例中，視頻處理設備4包括本地存儲器8、存儲器控制器IO和視頻處理 單元6。視頻處理單元6包括前端處理單元18，且也可包括編碼單元19。前端處理單元 18可執行前端操作，例如濾波、去馬賽克、透鏡消散校正、縮放、色彩校正、色彩轉換、 噪聲減少濾波、空間濾波和除了本發明所述的視頻圖像穩定以外的其它操作。在一些實 施例中，前端處理單元18可執行本發明的技術且可包括多個圖像處理模塊(如下文進一 步詳細論述)。在其它實施例中，前端處理單元18和編碼單元19中的每一者可包括執行 本發明的技術的視頻處理模塊中的一者或一者以上。在一些情況下，前端處理單元18可 與編碼單元19合作。舉例來說，前端處理單元18可獲得空間和運動統計且將其提供給 編碼單元19以用於編碼，進而避免此些統計的計算的重複。作為替代，空間和運動統計 或其部分可用於編碼單元19內的視頻編碼和前端處理單元18內的圖像穩定兩者。
當設備4經裝備以編碼在視頻流中獲得的視頻(例如)來用於壓縮存儲或在有線或 無線通信媒體上傳輸到遠程裝置時可提供編碼單元19。在此情況下，編碼單元19可執 行視頻編碼，其可應用一個或一個以上視頻壓縮技術，例如幀間壓縮或幀內壓縮。舉例 來說，編碼單元19可實施運動估計和運動壓縮技術以採用時間或幀間數據相關性來提供 幀間壓縮。或者，或另外，編碼單元19可執行空間估計和幀內預測技術以採用空間或幀 內數據相關性來提供幀內壓縮。在一些實施例中，編碼單元19可使用由前端處理單元 18獲得的空間和運動統計(例如)以減少計算的重複。或者，編碼單元19可將其自身 的運動估計、運動壓縮和空間估計技術應用到由前端處理單元產生的視頻。
一般來說，編碼單元19可根據多種視頻編碼標準中的任一者來應用視頻編碼，例如 MPEG-1、 MPEG-2、 MPEG-4、 ITU H.261、 ITU H.263、 ITU H.264和/或其它標準。編碼單元19也可用以壓縮靜止圖像。編碼單元19可形成組合編碼器/解碼器(CODEC)的部 分。CODEC可實施在硬體、軟體、固件、DSP、微處理器、專用集成電路(ASIC)、現 場可編程門陣列(FPGA)、離散硬體組件或其各種組合內。可提供各種數字濾波器和硬 件組件以支持編碼和解碼應用兩者。
本地存儲器8通常存儲原始視頻數據，且也可在由視頻處理單元6執行的任何處理 之後存儲經處理的視頻數據。舉例來說，存儲器8也可存儲由編碼單元19產生的經編碼 視頻數據。存儲器控制器10控制本地存儲器8內的存儲器組織。存儲器控制器10也控 制從本地存儲器8到視頻處理單元6的存儲器負載，且從視頻處理單元6寫回到本地存 儲器8。
裝置2可包括視頻俘獲設備12以俘獲視頻。舉例來說，視頻俘獲設備12可為集成 在另一裝置(例如行動電話)內的攝像機，從而形成所謂的相機電話或視頻電話。或者， 視頻俘獲設備12可為相機，其經耦合以直接通過有線或無線媒體(例如，通用串行總線 (USB)或IEEE 1394連接)或間接通過交換可移除存儲媒體(例如，快快閃記憶體儲卡、磁性 硬碟驅動器或其它媒體)來提供視頻到視頻處理設備。視頻俘獲設備12可包含一組圖像 傳感器，其包括(例如)以拜爾(Bayer)模式布置在各自傳感器的表面上的彩色濾光器 陣列(CFA)。
當視頻俘獲設備12與視頻處理設備4集成在一起時，圖像傳感器可直接耦合到視頻 處理單元6以避免取景器圖像(即，經由相對小格式、低解析度顯示器大體上實時呈現 給用戶的圖像)的圖像處理中的等待時間。然而，其它類型的圖像傳感器也可用以俘獲 視頻數據。可用於實現圖像俘獲設備12的其它示範性傳感器包括固態傳感器元件陣列， 例如互補金氧半導體(CMOS)傳感器元件、電荷耦合裝置(CCD)傳感器元件等等。
根據本發明來處理視頻俘獲設備12所獲得的視頻以提供圖像穩定來補充非所要的 抖動。視頻俘獲設備12可俘獲具有比視頻編碼所必需的大小大的大小的視頻幀。以此方 式，所俘獲的視頻幀提供過多面積來準許電子圖像穩定。具體地說，較大的所俘獲視頻 幀內的所要圖像可基於全局運動向量來垂直地、水平地或垂直水平地移動，從而補償抖 動。
作為視頻俘獲設備12的替代方案，視頻處理設備4可處理從存儲先前所俘獲的視頻 的視頻檔案獲得的視頻。因此，圖像穩定可立即(大體上實時)應用到其正俘獲的視頻 或作為後處理步驟應用到先前俘獲的視頻。在任何情況下，圖像穩定在編碼之前補償視 頻中的抖動，以增強用戶最終所觀看到的視頻的質量。可能需要在俘獲視頻時的圖像穩定的即時應用以增強取景器圖像質量以及最終的原始或編碼視頻質量。
裝置2可包括顯示器21，其顯示由圖像俘獲設備12取樣的取景器圖像的實時序列 以模擬實時視頻。這些圖像在寬度上可相對較小。因此，由於此些小圖像經俘獲，其可 直接逐行載入到前端處理單元18中。在處理之後，可將取景器圖像寫入到本地存儲器8 或外部存儲器14。接著將經處理圖像發送到顯示器21以用於呈現給用戶。顯示器21也 可用於在由前端處理單元18處理此些靜止圖像之後顯示靜止圖像。然而，在一些情況下， 可在未由裝置2顯示的情況下處理和存儲靜止圖像。在俘獲靜止圖像之後，本地存儲器 8可存儲原始數據。
在一些情況下，裝置2可包括多個存儲器。舉例來說，裝置2可包括外部存儲器14， 其通常包含相對大的存儲器空間。外部存儲器14 (例如)可包含動態隨機存取存儲器 (DRAM)或快閃記憶體。在其它實例中，外部存儲器14可包含非易失性存儲器或任何 其它類型的數據存儲單元。與外部存儲器14相反，本地存儲器8可包含較小且較快速的 存儲器空間，但本發明不必限於此方面。舉例來說，本地存儲器8可包含同步動態隨機 存取存儲器(SDRAM)。
在任何情況下，存儲器14和8僅僅為示範性的，且可經組合到同一存儲器中，或可 用許多其它配置來實施。在一個實施例中，本地存儲器8形成外部存儲器14的部分，通 常在SDRAM中。在此情況下，存儲器8和14兩者從存儲器與視頻處理單元6不位於"芯 片上"的意義上來講處於"外部"。因此，僅圖像處理單元6的行緩衝器可為"晶片級" 存儲器。
在一些實施例中，裝置2也可包括用以(例如)經由有線或無線通信媒體將經處理 視頻或經編碼視頻(或其它信息)傳輸到另一裝置的傳輸器(未圖示)。而且，在一些實 施例中，裝置2包括用以接收來自另一裝置的經處理視頻或經編碼視頻(或其它信息) 的接收器。本地存儲器8、顯示器21和外部存儲器14 (以及其它組件，如果需要的話) 可經由通信總線15耦合。裝置2中也可包括許多其它元件，但為了簡單且易於說明起見 並未在圖1中具體說明。圖1中所說明的結構僅僅是示範性的，因為可使用多種其它結 構來實施本文所描述的技術。
圖2是根據本發明的原理進一步詳細說明圖1的實例性前端處理單元18的框圖。如 圖2中所示，前端處理單元18可包括空間估計模塊22和運動估計模塊24。另外，前端 處理單元18可包括運動整合模塊26、運動補償模塊28、統計存儲器27和原始幀存儲器 29。前端處理單元18將視頻幀分為非重疊宏塊。空間估計模塊22和運動估計模塊24兩者均相對於另一幀中的相應(即，最緊密匹配)宏塊而分析幀的宏塊中的每一者，從而 分別獲得空間和運動統計。統計存儲器27存儲空間和運動統計。原始幀存儲器29存儲由視頻俘獲裝置獲得的 視頻幀。存儲在原始視頻幀存儲器29中的視頻幀可包括非所耍的抖動。運動整合模塊 26基於空間估計模塊22和運動估計模塊24所產生的空間和運動統計而產生全局運動向 量。運動補償模塊28使用全局運動向量將一偏移應用到所接收的視頻幀內的圖像，且進 而補償抖動。圖3是說明圖2中的處理單元的各種組件用以執行可縮放電子圖像穩定的操作的框 圖。如圖3所示，空間估計模塊22、運動估計模塊24、統計存儲器27、原始幀存儲器 29形成電子圖像穩定(EIS)宏塊(MB)環路的部分。EIS MB環路處理抖動圖像以產 生空間和運動統計。運動整合模塊26接收來自統計存儲器27的統計，且產生全局運動 向量以用於由運動補償模塊28應用而產生穩定的圖像。空間估計模塊22對來自當前視頻幀的個別非重疊宏塊執行空間估計。空間估計提供 幀的特性的指示，例如在紋理方面。在一個實施例中，執行空間估計包含測量與宏塊內 的像素相關聯的亮度值的平均數和方差。空間估計模塊22將平均數和方差作為空間統計 存儲在統計存儲器27中，統計存儲器27可形成本地存儲器8的部分。運動估計模塊24對個別非重疊宏塊執行運動估計。運動估計模塊24確定當前幀中 的每一宏塊的運動向量以表示所述宏塊從其先前幀中的位置的位移。換句話說，運動向 量指示當前幀中的宏塊相對於經發現最緊密匹配當前宏塊的先前幀中的宏塊的位移。運 動估計模塊24通過將當前幀中的每一宏塊與先前幀中其周圍區中的宏塊進行比較以發 現最佳匹配來執行此功能。運動估計模塊24也可確定當前幀中給定宏塊與來自先前幀內 的搜索區的候選宏塊之間的絕對差和(SAD)。運動估計模塊24將運動向量和SAD作為 運動統計存儲在本地存儲器8中。由模塊22、 24提供的空間估計和運動估計操作通常可符合視頻編碼中執行的類似操 作，例如根據MPEG-1、 MPEG-2、 MPEG-4、 ITU H.261、 ITU H.263或ITU H.264標準 的編碼。 一旦當前幀的個別非重疊宏塊中的每一者的空間和運動統計已存儲在統計存儲 器27中，運動整合模塊26就將個別運動向量整合為單個全局運動向量，其將用以補償 由抖動產生的移動。運動整合模塊26可如下所述利用非線性整合功能。舉例來說，在一 個實施例中，運動整合模塊26建立二維(2D)育.方圖(其具有對應T可能運動向量中的 每一者的區間)，且選擇與具有最大值的直方圖R間相關聯的運動向量作為全局運動向量。 一旦運動整合模塊26已計算出全局運動向量，運動補償模塊28就將當前圖像整體 偏移此向量。此外，當前圖像可對應於較大圖像內的區域，較大圖像已為了準許圖像穩 定而經擴大，即通過在較大圖像內垂直地、水平地或垂直水平地移位較小圖像。經移位 圖像接著可經取樣以用於進一步處理，例如視頻編碼。在一些實施例中，圖2和圖3的示範性前端處理單元18中所示的圖像處理模塊中的 一者或一者以上可駐存在裝置2的不同於前端處理單元18的位置中。舉例來說，空間估 計模塊22和運動估計模塊24可位於編碼單元19內，使得圖像穩定和視頻編碼依賴於用 於空間估計和運動估計的共同硬體、固件和/或軟體單元。另外，前端處理單元18可包 括未圖示的其它圖像處理模塊。舉例來說，前端處理單元18的額外模塊可包括2維濾波 模塊、去馬賽克模塊、透鏡消散校正模塊、縮放模塊、色彩校正模塊、色彩轉換模塊、 噪聲減少濾波模塊、空間濾波模塊或其它類型的模塊。圖4是說明圖1的裝置2在實施本發明的技術時的示範性操作的流程圖。圖像俘獲 設備12俘獲視頻圖像以形成具有一連串幀形式的視頻幀(30)。圖象處理單元6接收所 俘獲的圖像。前端處理單元18將圖像的當前幀分為宏塊(32)。舉例來說，前端處理單 元18可將幀分為包含十六乘十六像素陣列的宏塊。或者，宏塊可具有更小或更大的大小， 例如八乘八、四乘四、八乘十六、四乘八等等。因此，術語"宏塊"可指代視頻幀內的 像素陣列。此陣列的大小可以是固定的或可變的，且可具有一定範圍內的大小。可分析 宏塊內的像素以提供整體應用到宏塊的統計集合。空間估計模塊22對來自當前幀(C)的個別非重疊宏塊集合fC)執行空間估 計(34)。空間估計模塊22可通過測量宏塊的平均數和方差來執行宏塊的空間估計。在 一個實施例中，空間估計模塊22根據以下等式來測量平均數和方差平均數,=^1| ，")方差〃 =丄1| ，")-平均數,"z〕o m=0 n=0 o(2)在此實施例中，空問估計模塊22未使用熟悉的平方近似來測量方差，因為所示的簡單近似(取代平方的絕對值)可足以用於圖像穩定目的。然而，可在其它實施例中使用 平方和。空間估計模塊22將平均數和方差作為空間統計(例如)存儲在本地存儲器8中 (36)。運動估計模塊24對當前幀的個別非重疊宏塊執行運動估計(38)。舉例來說，運動 估計模塊24確定當前幀中每一宏塊的運動向量，其表示所述宏塊從其在先前宏塊中的位 置(即，從先前幀中最緊密匹配宏塊的位置)的位移。運動估計模塊24通過將當前幀中 的每一宏塊與先前幀中其周圍區中的宏塊進行比較以發現最佳匹配來執行此功能。舉例 來說，在先前幀的搜索區S中搜索每一宏塊。搜索區(SAT, SJO的大小可依據實施技術 所處的平臺以及依據源視頻而變化。運動估計模塊24自適應地在運動向量預測值(wv^'mv^)或(o,o)向量周圍選擇搜索區中心(，，-巾心';，，-巾心^。運動估計模塊24基於潛在搜索區中心的鄰域中的運 動的可靠性而決定選擇哪個向量作為搜索區中心。此由好^"_&7"靠絲—潛iy表示，在下 一段中展示其計算。如下所示，基於相鄰宏塊的運動向量來計算運動向量預測值formula see original document page 14其中(mv'^'m《'o是左邊宏塊的運動向量，(mv"'W《-')是頂部宏塊的運動向量，以及(mv"'m《"-O是左邊宏塊的運動向量。 運動估計模塊24如下自適應地選擇搜索區中心: 如果(時空—可靠性—指數^<搜索—中心—閎值)搜索_中心；=0 搜索—中心；=0否則搜索_中心;)=mv" 搜索—中心,;=附1^上述步驟的結果是運動向量(m^'""^，其導致執行搜索的當前幀屮的給定宏塊的最 佳匹配。也可通過數量測量來描述匹配的程度。在一個實施例中，運動估計模塊24確定給定宏塊("ec)與來自搜索區(力es)的候選宏塊之間的絕對差和(sad) (^;^差///,P作為數量測量。SAD由以下等式給定15 15糹色只寸差禾n〃 =ZZ (m，")一 、(/n，"^(5)運動估計模塊24將用於宏塊的運動向量和用於宏塊的SAD存儲為用於宏塊(c,j e C)的運動統計(40)。一旦前端處理單元18已獲得當前幀的個別非重疊宏塊中的每一者EC)的空間 和運動統計，運動整合模塊26就將個別運動向量整合為單個全局運動向量，其將用於補 償由抖動產生的移動(42)。運動整合模塊26可利用如下所述的非線性整合功能。在一 個實施例中，運動整合模塊26建立二維(2D)直方圖(直方腐07,《刀，其具有對應於 可能運動向量中的每一者的區間。然而，運動整合模塊26可使用將個別運動向量整合為 全局運動向量的其它方法。2D直方圖的二維對應於幀的水平和垂直方向。用值/貢獻(,腐P來更新對應於每一塊(c,7)的運動向量^^'m《)的區間，如下所界定。貢獻反映其所關聯運動向量(""^m《)的可靠性。運動整合模塊26為此目的計算三種 類型的可靠性指數S腐—f靠性—指教g、#靠絲—獵教,y和好S—W慕性一接l,p其取決於"的空間、時間和時空特性。運動整合模塊26使用方差,j來計算可靠性指數^ /坊—^慕絲_/#|^，其如下規範化為固定標度(0到最大—W慕絲— 德—V雜—微。■ = ^方差".方差—偏移J 緒'
窮K雜—微廣M/iV f虔K雜—微濕X似執7—V慕絲一微"；。 運動整合模塊26使用遂/i/差/Z7,;;來計算可靠性指數好賄—W慕絲—恭箭,y，其如下規 範化為固定標度(0到最大—"/慕俘_潛教)
7—W絲—諧見7 = -邀對差乾濕移J /浙差乾#度，
微,7 =層f虔乂—^雜—微MAX W,好/K著乾微"入 運動整合模塊26將相鄰塊的運動向量的同質性考慮在內來計算可靠性指數約^^L^ #絲—蓓箭,"運動整合模塊26也如下將此指數正規化為固定標度(0到最大_#靠絲— 箭)
好t稀絲—就7=虜義—樣絲—微，
如果'
_ mv卜i j
,/7_閾值
好乏W,—r著文—稀絲—微/5J
如果1
mvpj _腳J—， 〉 mv/ 一!
」萄值)
好t^r雜—/H-= f著義—微/" ,
如果(mvpj _ mv"一, I > mvp—閾值) 好^_"/慕絲一襟箭,"f虔X"—^薯絲—潛教/5J ; 如果1 m v/ J — m v二)I > m v/ —閾值)
好t^雜—恭見"r^7t一/^雜—微/";
如果(mv/ J - mv" I > mv/ 」竭值)
微,;r: ^#尤樣絲一諧教/5; ， 如果(mvpj — mv,+1H I > mv^—閾值)
好5K慕絲—諧教0'-= ^#丈一^"慕絲—獵教/"; 好K雜—微廣編x 好t樣絲—微,p.
運動整合模塊26將貢獻(，:腐y)計算為
*菜r^W—V慕絲—諧蕭0 > ^7眾—/萄澄cfecfe
好^K慕俘—恭教,7〉好—空—錄澄J顏
貢淑0 = O，'
運動整合模塊26對於每一塊"如下更新直方圖(^"方激^, 刀
直方圖(mv,; ， mv; )f =貢獻"
(6)
運動整合模塊26選擇具有最大值的直方圖位置作為全局運動向量
(//,;^)"M〗脂x直方圖(M)
(7)
一旦運動整合模塊26已計算出全局運動向量(F1， W)，運動補償模塊28就將當前 圖像整體偏移此向量(44)。經移位圖像接著經取樣用於進一步處理。可存儲當前幀以用 作參考幀，以用於確定下一幀的全局運動向量。
圖5是說明根據較大參考窗48內的全局運動向量(P1, Py)的示範性當前圖像46偏 移的框圖。當前圖像46具有垂直尺寸IV和水平尺寸IH，且參考窗48具有垂直尺寸RV 和水平尺寸RH。前端處理單元18計算每一連續幀的全局運動向量(F1， P)，使得每一 連續幀根據參考窗48內的全局運動向量而位移。
圖6是說明其中區域52包含幀的宏塊子集的實例性幀50的圖。圖6展示界定本文 所揭示技術的可縮放複雜性的區域52的實例性參數。上述技術可提供複雜可縮放性以在 執行電子圖像穩定時使用最少資源。具體地說，前端處理單元18無需使用幀的每個宏塊 來確定所述幀的全局運動向量。作為替代，對宏塊子集的分析可產生幀的適當全局運動 向量。舉例來說，在上述實例性實施例中，執行運動整合的步驟需要發現2D直方圖的峰 值以便發現幀50的全局運動向量。塊的子集(c,7 e / )可產生2D直方圖中的峰值。/ 被界定為是C的子集的區域。區域； 應足夠大以使峰值為可靠的，且還應包含可靠運動的區。可利用以下參數將
/ 界定為C的函數。g^^^^療是區域的開始行，以整數塊的形式。^T磁^^^^是區域 的開始列，以整數塊的形式。,^^教^療是區域中行的數目，以整數塊的形式。^"磁l /^,y是區域中列的數目，以整數塊的形式。g^"療密^^是區域中行的密度(以百分數計)， 且^r凝/^齊^^區域中列的密度(以百分數計)。在一些實施方案中，使用100%的/50^ /y齊^t於硬體的有效使用是優選的。
為了維持性能與靈活性之間的合理平衡度，可結合可編程硬體來使用數位訊號處理 器(DSP)或其它處理實體以實施本發明的電子圖像穩定技術。在此配置中，DSP控制 各種硬體組件的編程和執行。現將結合圖像穩定來描述此結構的實例。
圖7是說明用於無線通信裝置(例如移動無線電電話)中的移動臺數據機(MSM) 平臺的實例性視頻核心54的框圖。在圖1的實例中，僅可從DSP且不可從處理器核心 訪問視頻核心54。視頻核心54提供功率高效解決方案以用於在視頻編碼和解碼期問移 動像素；因此，可利用視頻核心54進行本文所揭示的電子圖像穩定技術的所有像素密集 操作(例如空間估計和運動估計)。因為電子圖像穩定僅需要視頻編碼所需的操作子集， 所以僅需要利用視頻核心的低版本(thin version)。處理器核心或DSP可容納圖像穩定算 法的運動整合方面。
如圖7所示，可在視頻前端(VFE) 56與視頻後端(VBE) 58之間分割視頻核心54。 通常，VFE56囊封功能性和預處理操作以支持多種相機或攝像機應用，且包括用於控制 這些操作的靈活的處理器間接口。 VFE 56的主要任務是實時處理引入的視頻輸入數據 60。 VFE 56接收視頻輸入數據60，且基於從控制器(未圖示)接收的命令和配置參數 25將待產生視頻輸出數據的數據處理為VBE 16可接受的格式。
舉例來說，VFE 56可使用上述電子圖像穩定技術來處理視頻輸入數據60。另外， VFE 56可格式化視頻輸入數據60來產生具有適於由顯示模塊(未圖示)顯示的形式的 視頻顯示數據。VFE56將視頻輸出數據和視頻顯示數據存儲在視頻存儲器(未圖示)內 以用於分別由VBE58和控制器存取。VFE56經由處理器間接口提供狀態信息以指示待 決命令的狀態。
VBE58可包含任何軟體應用、硬體單元等等，其編碼或解碼視頻數據。更具體地說， V B E 5 8可利用視頻輸出數據來產生視頻序列的經編碼位流。
當作為編碼器來操作時，VBE 16編碼視頻輸出數據，且可緩衝視頻存儲器內的編碼 位流，(例如)用於經由傳輸器/接收器(未圖示)進行無線傳輸。舉例來說，VBE16可包含用於數位相機的JPEG靜止圖像編碼器、用於數碼攝像機的MPEG視頻編碼器等等。 因此，VBE可為專有編碼器或解碼器，或可根據多種數據壓縮標準中的一者或一者以上 (例如MPEG-1、 MPEG-2、 MPEG-4、 ITUH.261、 ITU H.263、 ITU H.264和/或其它標準) 處理視頻輸出數據。或者，或另外，VBE 58可作為解碼器來操作。更具體地說，VBE58可接收來自接 收器/傳輸器的經編碼視頻序列的位流，且處理位流以產生經解碼視頻序列以用於由VFE 56處理和顯示。VFE56和VBE58可交換控制信號以觸發視頻處理操作。舉例來說，控 制器或VFE 56可觸發由VBE 58進行的編碼操作。當作為解碼器來操作時，控制器或 VBE 58可觸發由VFE 56進行的操作。VFE 56和VBE 58可經提供為獨立的硬體或軟體 模塊，例如由DSP62執行的軟體模塊或其組合。圖8A-8D是說明用於在圖7的平臺上實施本發明的圖像穩定技術的實例性實施方案 的框圖。圖8A是說明用於在MSM7K平臺上實施圖像穩定的一個選項的框圖。如圖8A 所示，處理器核心74發布"編碼"命令兩次； 一次用於圖像穩定且再一次用於實際編碼 幀。在圖像穩定階段，DSP 76和視頻核心78以如同幀被編碼的相同方式而運行。在此 階段，以每個宏塊為基礎將運動和空間統計發送回處理器核心74以支持圖像穩定。處理 器核心74接著將實施如上所述的運動整合技術。由處理器核心74計算的全局運動向量 接著在下一階段期間被返回編程，在下一階段中執行實際編碼。圖8B是說明用於在MSM7K平臺上實施圖像穩定的另一選項的框圖。在此選項中， 處理器核心74僅需實施"圖像穩定"命令，其將自適應地控制上述電子圖像穩定技術。 處理器核心74在發布用於編碼幀的"編碼命令"之前發布"圖像穩定"命令。"圖像穩 定"命令指令DSP76僅編碼幀的子集，即區域/ 。此可允許可縮放界面實施本發明的電 子圖像穩定技術。其餘步驟與圖8A的步驟大體上相同。圖8C是說明用於在MSM7K平臺上實施圖像穩定的另一選項的框圖。此選項需要在 DSP 76上實施已知為穩定模式("穩定(stab)"模式)的新的功能性。穩定模式僅允許 運行視頻核心78的子集。具體地說，並非運行編碼所需的所有操作，而是可運行足以支 持用於圖像穩定的空間和運動估計的操作的子集。此可幫助減少在圖像穩定階段期間所 耗費的時間。其餘步驟^圖8B的步驟大體上相同。圖8D是用於在圖7的平臺上實施圖像穩定的另一選項的框圖。此選項需要在DSP76 內實施算法的運動整合步驟。此可最小化處理器核心74與DSP76之間必需的通信量(即， 基於每個宏塊的運動與空間統計的通信)。因此，處理器核心74每個幀發布單個命令(編碼和穩定組合)。DSP 76執行包括運動整合和確定全局運動向量的圖像穩定，且接著在 因數化全局運動向量的同時對幀進行編碼。
圖9是說明可實施本發明的技術的示範性數字視頻裝置80的框圖。數字視頻裝置 80可作為源裝置進行操作，其將視頻數據的經編碼序列無線傳輸到接收裝置(未圖示)。 類似地，數字視頻裝置80可作為能夠無線地接收和解碼視頻數據的接收裝置進行操作。 數字視頻裝置可支持視頻廣播、視頻會議、視頻電話或任何需要傳輸視頻的其它應用。 舉例來說，數字視頻裝置80可為無線通信裝置，例如蜂窩式或衛星無線電電話、或個人 數字助理(PDA)。
前端處理單元82可用以根據上述圖像穩定技術來處理視頻俘獲裝置84所俘獲的視 頻幀。存儲器86可存儲視頻序列。舉例來說，存儲器86可存儲當前幀以用作用於穩定 和編碼後續幀的參考。編碼器88可使用壓縮算法來編碼所存儲的視頻序列。編碼器88 可包括(例如)各種硬體、軟體或固件或一個或一個以上DSP，其執行可編程軟體模塊 以控制視頻編碼技術，如本文所述。數字視頻裝置80也包括傳輸器20，其用以經由無 線天線92將經編碼序列傳輸到接收裝置(未圖示)。
本發明所描述的技術可以硬體、軟體、固件或其任何組合來實施。舉例來說，所述 技術的各方面可實施在一個或一個以上微處理器、DSP、專用集成電路(ASIC)、現場可 編程邏輯陣列(FPGA)、或任何其它等效集成或離散邏輯電路、以及此些組件的任何組 合內。術語"處理器"或"處理電路" 一般可指代上述邏輯電路中的任一者，無論是獨 立的或與其它邏輯電路組合。
當以軟體實施時，歸於本發明中所描述的系統和裝置的功能性可實施為計算機可讀 媒體上的指令，所述計算機可讀媒體例如為隨機存取存儲器(RAM)、只讀存儲器(ROM)、 非易失性隨機存取存儲器(NVRAM)、電可擦可編程只讀存儲器(EEPROM)、快快閃記憶體儲 器、磁性媒體、光學媒體等等。執行所述指令以支持本發明所描述功能性的一個或一個 以上方面。
已描述了各種實施例。所描述的實施例僅用於示範性目的。這些和其它實施例在所 附權力要求書的範圍之內。
權利要求
1.一種裝置，包含空間估計模塊，其產生視頻幀內的宏塊的空間統計；運動估計模塊，其產生所述視頻幀內的所述宏塊的運動統計；運動整合模塊，其整合所述空間統計和所述運動統計以確定所述幀的全局運動向量；以及穩定模塊，其基於所述全局運動向量而將一偏移應用到由所述宏塊界定的圖像。
2. 根據權利要求1所述的裝置，其中所述空間統計包含與所述宏塊中的每一者相關聯 的視頻信息的平均數和方差。
3. 根據權利要求1所述的裝置，其中所述運動統計包含指示所述宏塊與先前視頻幀中 的相應宏塊之間的移動的運動向量。
4. 根據權利要求3所述的裝置，其中所述運動統計包括絕對差和(SAD)值，其指示 所述宏塊與所述先前幀中的所述相應宏塊之間的差。
5. 根據權利要求3所述的裝置，其中所述運動統計模塊自適應地選擇所述先前幀的搜 索區中心，且將所述宏塊和與所述搜索區中心相關聯的搜索區中的所述先前幀的宏 塊進行比較以發現所述先前幀的最佳匹配宏塊。
6. 根據權利要求1所述的裝置，其中所述運動整合模塊建立包含對應於多個可能運動 向量中的每一者的區間的二維(2D)直方圖，且將與具有最大值的所述區間相關聯 的所述運動向量指定為所述全局運動向量。
7. 根據權利要求1所述的裝置，其進一步包含數位訊號處理器；以及處理器核心，其向所述數位訊號處理器發布兩個編碼命令，其中在接收到所述第 一編碼命令時，所述數位訊號處理器促使所述空間估計模塊獲得空間統計且促使所 述運動估計模塊獲得運動估計，且其中所述處理器核心促使所述運動整合模塊整合 所述宏塊中的每一者的所述空間統計和所述運動統計以確定所述幀的所述全局運 動向量。
8. 根據權利要求7所述的裝置，其中所述處理器核心使用所述全局運動向量編程所述 數位訊號處理器，且其中在接收到所述第二編碼命令時，所述數位訊號處理器將所 述圖像的編碼執行為由所述運動補償模塊進行的偏移。
9. 根據權利要求1所述的裝置，其進一步包含數位訊號處理器；以及處理器核心，其向所述數位訊號處理器發布圖像穩定命令，所述命令指令所述數 字信號處理器對由所述幀的所述宏塊的子集組成的區域/ 執行圖像穩定，其中所述 運動整合模塊基於所述區域K內的所述宏塊中的每一者的所述運動統計和空間統計 而確定所述幀的所述全局運動向量。
10. 根據權利要求9所述的裝置，其進一步包含視頻核心，其中所述數位訊號處理器實 施穩定模式，且其中所述穩定模式允許所述裝置僅運行所述視頻核心的子集。
11. 根據權利要求l所述的裝置，其進一步包含數位訊號處理器，其促使所述運動整合模塊整合所述宏塊中的每一者的所述空間 統計和所述運動統計，以確定所述幀的全局運動向量；以及處理器核心，其向所述數位訊號處理器發布命令，所述命令指令所述數位訊號處 理器執行圖像穩定以及所述幀的編碼。
12. 根據權利要求l所述的裝置，其進一步包含俘獲所述圖像的圖像俘獲設備。
13. 根據權利要求1所述的裝置，其中所述裝置對十六像素乘十六像素宏塊執行所述空 間估計和所述運動估計。
14. 根據權利要求1所述的裝置，其中所述裝置包括無線通信裝置、個人數字助理、膝 上型計算機、臺式計算機、數位相機、數字記錄裝置、具有視頻能力的蜂窩式無線 電電話以及具有視頻能力的衛星無線電電話中的至少一者。
15. 根據權利要求l所述的裝置，其進一步包含傳輸器，其用以傳輸由所述空間估計模 塊、所述運動估計模塊、所述運動整合模塊和所述運動補償模塊處理的視頻幀。
16. —種執行電子圖像穩定的方法，其包含產生視頻幀內的宏塊的空間統計； 產生所述視頻幀內的所述宏塊的運動統計；整合所述空間統計和所述運動統計以確定所述幀的全局運動向量；以及 基於所述全局運動向量將一偏移應用到由所述宏塊界定的圖像。
17. 根據權利要求16所述的方法，其中產生空間統計包含獲得所述宏塊中的每一者的 平均數和方差。
18. 根據權利要求16所述的方法，其中所述運動統計包含指示所述宏塊與先前視頻幀 中的相應宏塊之間的移動的運動向量。
19. 根據權利要求16所述的方法，其中產生運動統計包含確定所述宏塊的運動向量以 及所述宏塊與來自先前幀的宏塊之間的絕對差和(SAD)。
20. 根據權利要求19所述的方法，其中確定所述運動向量包含自適應地選擇搜索區中心；以及將所述宏塊和與所述先前幀的所述搜索區中心相關聯的搜索區中的宏塊進行比 較以發現所述先前幀的最佳匹配宏塊。
21. 根據權利要求16所述的方法，其中整合所述空間統計和所述運動統計包含建立包 含對應於多個可能運動向量中的每一者的區間的二維(2D)直方圖，且將與具有最 大值的所述區間相關聯的所述運動向量指定為所述全局運動向量。
22. 根據權利要求16所述的方法，其進一步包含將所述幀內的所述宏塊的子集界定為區域/ ;以及基於所述區域i 內的所述宏塊中的每一者的所述運動統計和空間統計來確定所述 幀的所述全局運動向量。
23. —種計算機可讀媒體，其包含在裝置中執行時促使所述裝置進行以下操作的指令產生視頻幀內的宏塊的空間統計； 產生所述視頻幀內的所述宏塊的運動統計；整合所述空間統計和所述運動統計以確定所述幀的全局運動向量；以及 基於所述全局運動向量而將一偏移應用到由所述宏塊界定的圖像。
24. 根據權利要求23所述的計算機可讀媒體，其中所述指令促使所述處理器通過獲得 所述宏塊中的每一者的平均數和方差而產生空間統計。
25. 根據權利要求23所述的計算機可讀媒體，其中所述運動統計包含指示所述宏塊與 先前視頻幀中的相應宏塊之問的移動的運動向量。
26. 根據權利要求23所述的計算機可讀媒體，其中所述指令促使所述處理器通過確定 所述宏塊的運動向量以及所述宏塊與來自先前幀的宏塊之間的絕對差和(SAD)而 產生運動統計。
27. 根據權利要求23所述的計算機可讀媒體，其進一步包含在裝置中執行時促使所述 裝置進行以下操作的指令建立包含對應於多個可能運動向量中的每一者的區間的二維(2D)直方圖；以及 將與具有最大值的所述區間相關聯的所述運動向量指定為所述全局運動向量。
28. 根據權利要求23所述的計算機可讀媒體，其進一步包含在裝置中執行時促使所述裝置進行以下操作的指令將所述幀內的所述宏塊的子集界定為區域/ ;以及基於所述區域尺內的所述宏塊中的每 一 者的所述運動統計和空間統計而確定所述 幀的所述全局運動向量。
29. —種用於執行電子圖像穩定的裝置，其包含用於產生視頻幀內的宏塊的空間統計的裝置 用於產生所述視頻幀內的所述宏塊的運動統計的裝置；用於整合所述空間統計和所述運動統計以確定所述幀的全局運動向量的裝置；以及用於基於所述全局運動向量而將一偏移應用到由所述宏塊界定的圖像的裝置。
30. 根據權利要求29所述的裝置，其中所述用於產生空間統計的裝置包含用於獲得所 述宏塊中的每一者的平均數和方差的裝置。
31. 根據權利要求29所述的裝置，其中所述運動統計包含指示所述宏塊與先前視頻幀 中的相應宏塊之間的移動的運動向量。
32. 根據權利要求29所述的裝置，其中所述用於產生運動統計的裝置包含用於確定所 述宏塊的運動向量以及所述宏塊與來自先前幀的宏塊之間的絕對差和(SAD)的裝 置。
33. 根據權利要求32所述的裝置，其中所述用於確定所述運動向量的裝置包含用於自適應地選擇搜索區中心的裝置；以及用於將所述宏塊和與所述先前幀的所述搜索區中心相關聯的搜索區中的宏塊進 行比較以發現所述先前幀的最佳匹配宏塊的裝置。
34. 根據權利要求29所述的裝置，其中所述用於整合所述空間統計和所述運動統計的 裝置包含用於建立包含對應於多個可能運動向量中的每一者的區間的二維(2D)直 方圖的裝置，以及用於將與具有最大值的所述區間相關聯的所述運動向量指定為所 述全局運動向量的裝置。
35. 根據權利要求29所述的裝置，其進一步包含用於將所述幀內的所述宏塊的子集界定為區域的裝置；以及 用於基於所述區域/ 內的所述宏塊中的每一者的所述運動統計和空間統計而確定 所述幀的所述全局運動向量的裝置。
全文摘要
本發明描述用於成像和視頻裝置的電子視頻圖像穩定技術。所述技術涉及確定幀的個別宏塊的運動和空間統計，以及基於所述宏塊中的每一者的所述統計而確定所述幀的全局運動向量。在一個實施例中，一種執行電子圖像穩定的方法包括對一圖像的一幀內的多個宏塊中的每一者執行空間估計以獲得所述宏塊中的每一者的空間統計；對所述多個宏塊中的每一者執行運動估計以獲得所述宏塊中的每一者的運動統計；整合所述宏塊中的每一者的所述空間統計和所述運動統計以確定所述幀的全局運動向量；以及根據所述全局運動向量使所述圖像相對於參考窗偏移。
文檔編號H04N5/232GK101411181SQ200780010842
公開日2009年4月15日 申請日期2007年4月6日 優先權日2006年4月6日
發明者拉戈哈文德拉·C·納加拉傑, 納倫德拉納特·馬拉亞特 申請人:高通股份有限公司