數字圖像穩定方法和設備的製作方法

2023-12-03 14:43:16 1

專利名稱：數字圖像穩定方法和設備的製作方法
技術領域：
本發明涉及一種數字圖像穩定方法和設備，用於從攝像機產生的 原始圖像序列中消除不希望的攝像機運動(稱為抖動)並獲得穩定的 圖像序列，其中對所述原始序列採用穩定運算以消除所述抖動。這種方法和設備可以用於如低/中端數字電影攝像機或者行動電話。
背景技術：
眾所周知，數字圖像穩定方法的目標是消除不希望的攝像機運動 或抖動，從而提供更舒適的視覺體驗，產生的序列只顯示必要的攝像 機運動。抖動定義為附加在攝像機的有意運動(特別是平移或者旋轉) 上的圖像的所有不希望的位置波動。穩定算法的處理有時是比較嚴格的。這些算法很難完全適合待穩 定的各種輸入序列例如，單視點序列，全景鏡頭，使用者向前或向 後移動是的序列等等。因此，需要更加靈活並對於多種輸入序列最優的方法以及相應的 設備。發明內容因此本發明的目的是提出這樣一種設備。為了這個目的，本發明涉及說明書引言部分描述的設備，此外， 該設備的特徵在於包括_初始級，在其中構造具有第一預定特徵集的第一運動濾波器、所述 預設濾波器以及具有第二預定特徵集的至少一個備選運動濾波器， 所述濾波器在所述穩定算法中實現；-第一級，在其中估計所述攝像機的全局運動並且用所述預設濾波器 對所述全局運動進行濾波；-第二級，在其中提取來自所述原始序列和穩定序列的預定參數，並 產生被稱為標誌的測量值，以評估穩定質量；以及-第三級，在其中將所述標誌與預定闡值進行比較，如果所述標誌超 過所述閾值，則產生第一控制信號，否則產生第二控制信號，所述 第一控制信號強制所述穩定算法使用備選濾波器，以提高穩定質 量，所述第二控制信號強制穩定算法繼續使用所述預設濾波器。 本發明的另一目的是提供可由這種設備實施的方法。 為此，本發明涉及說明書引言部分描述的方法，此外，該方法的特徵在於包括-初始步驟，包括構造具有第一預定特徵集的第一運動濾波器、所述 預設濾波器以及具有第二預定特徵集的至少一個備選運動濾波器， 所述濾波器在所述穩定算法中實現；_第一步驟，包括估計所述攝像機的全局運動並且用所述預設濾波器 對所述全局運動進行濾波；-第二步驟，包括提取來自所述原始序列和穩定序列的預定參數，並 產生被稱為標誌的測量值，以評估穩定質量；以及-第三步驟，包括將所述標誌與預定閾值進行比較，如果所述標誌超 過所述閾值，則產生第一控制信號，否則產生第二控制信號，所述 第一控制信號強制所述穩定算法使用備選濾波器，以提高穩定質 量，所述第二控制信號強制穩定算法繼續使用所述預設濾波器。 根據該方法最重要的特徵，使用和評估序列的固有特性，以提高穩定效率。實際上，為了實施該方法，使用"環內(iriloop)策略"。根據 該方法的重要特徵，環路中的關鍵工具是評估序列固有的、對用戶感 知穩定性產生影響的一些相關參數。為了達到這個目的，首先通過預設的穩定算法穩定原始抖動序列 (或其一部分)。然後考慮穩定序列的全局運動和頻率特性，使調整算 法中的閾值/參數值，從而獲得更好的穩定性。根據本發明的方法可以應用於高/低/中端的數字攝像機中作為動態視頻穩定工具，還可以在行動電話、Key-ring、 PC程序等中實現。 本發明的其他特徵參見從屬權利要求。


下文將參考附圖對本發明作詳細說明，本發明的其他目的、特徵 和優點將顯而易見，在附圖中_圖l示意性地示出了用於實現根據本發明優選實施例的數字圖像穩定方法的系統的結構； -圖2示意性地詳細示出了圖1中的一個模塊，稱為"評估模塊"；以及-圖3是示出了本發明中環路的最優使用的時間圖。
具體實施方式
在以下的描述中，本領域技術人員熟知的結構和功能並沒有作詳 細說明，因為不必要的細節會使本發明不清楚。為了固定構思，而非限制本發明的範圍，此後認為抖動圖像是由 電影攝像機(未示出)產生的。原始圖像序列和穩定圖像序列都可以存儲在存儲裝置中，即模塊10和12。圖1示意性地示出了用於實現根據本發明的數字圖像穩定(DIS) 方法的系統l的結構(為了達到簡化的目的，數字圖像穩定方法此後 將稱為"DIS")。模塊11實現穩定算法，並處理穩定算法濾波器(模塊110)的實 現，之後將詳細說明。穩定算法模塊11從原始(即由攝像機產生的抖動)序列10中創 建穩定序列12，例如攝像機產生的抖動序列10。圖像可以劃分成大的 像素區域，稱為"宏塊"。來自穩定算法模塊11的一些相關序列參數， 如全局運動矢量，此後稱為"GMV"，或者每個宏塊的運動矢量，此 後稱為"BMV",被發送給並存儲於序列參數模塊13。然後，將它 們發送給評估模塊15 (輸出0;3)並進行評估(圖2詳細示出了評估模塊15的不同電路)。根據該評估的結果，調整穩定算法的新閾值， 從而更好地穩定原始序列。評估模塊15中執行的分析通過(對原始圖像序列IO和穩定圖像序列12)使用如下不同特性的測量，得到視頻穩定質量的客觀測量公知的稱為連續信號的"峰值信噪比"或"PSNR"的參數、對沿序列 的運動矢量的頻率分析和對當前圖像運動參數的分析。該操作是針對 每一幀執行的，之後將詳細說明。基於這個評估，對算法的穩定參數 進行動態調整(針對每一幀或者由N個幀形成的組)。穩定算法的運 動/抖動濾波部分的可能調整、以及所評估的參數與對穩定算法的交互 作用之間的關係將在後面詳細說明。這裡將根據詳細的圖2說明評估模塊15。如上所述，評估模塊15 中執行的分析通過(對原始圖像序列IO和穩定圖像序列12)使用如 下不同特性的測量，得到視頻穩定質量的客觀測量連續圖像的 "PSNR"和對沿序列的"GMV"的頻率分析。模塊14 (見圖1 )包括用於存儲N個幀的存儲裝置。更具體的說， 模塊14包括原始緩衝器140，用於存儲來自原始圖像序列IO的幀； 以及穩定緩衝器141，用於存儲來自穩定圖像序列12的N個幀。將所 述N個幀的序列發送到評估模塊15 (分別是輸出O，和Ow),具體 是發送到所述模塊15中提供的分析塊16。通過使用基於原始圖像序列10和穩定圖像序列12的運動-頻率內 容、感官考慮以及常規均值"幀間變換保真度測量"的參數組合，將 多種測量組合起來形成"穩定質量度量"，此後稱為"SQM"。更具體的說，根據本發明方法的優選實施例，"客觀視頻穩定質 量測量系統"，按照以下方法測量"SQM"。基於連續的"GMV"值，運動頻譜被劃分為兩個能量帶， 一個為 高頻，典型地高於lHz，另一個為低頻，低於lHz(在該例中)。因此穩定質量的估計稱作五W/附加'o" — o/ — 5"to站&如'o" — ， 由下面的等式給出j&y/ /mWo/7—o/ — 5Va緣'加/o" 一 gwa"/y = (a0 + al * JSe,0W + a2 * ) * /7F+ (〃0 + 〃1 *+ 〃2 * &。ve) * (1)+ (,0 + yl* + ,2 * ^Aove) * re必F其中al和《2分別表示在考慮到幀間變換保真度(ITF)的情況 下Abe^和Aab。ve的相應重要性，"0表示在整體測量中ITF的整體重 要性；戶l和々2分別表示在考慮到高頻衰減(redHF)的情況下Abel。w 和Aab。ve的相應重要性，-0表示在整體測量中redHF的整體重要性； / 1和y2分別表示在考慮到低頻衰減(redLF)的情況下A^。w和Aab。ve 的相應重要性，/0表示在整體測量中redLF的整體重要性。這些參數 是用實驗的方法確定的。接下來會詳細說明其他參數-J。6。m和Aew表示兩個頻帶(例如，分別高於/低於lHz)的能量 在總運動能量中所佔的比例；/^一五"erg);和Z^_^wgy是高頻和低頻 能量的絕對水平(level)。所述參數由下面兩個等式給出 爿 =朋—五野gy (2),i^^/F和/^^:F表示在所考慮的兩個頻帶上原始序列io和穩定 序列12之間運動能量的衰減。這應該是抖動衰減的主要指示符，特別 是在高頻上。/rF表示索引，其是對兩個連續幀之間的亮度數據計算的標準"PSNR"。最終的索引是在整個滑動測試窗口上(或者，在逐序列測量的情況下，在整個序列上)平均得到的。等式(4)給出了連續幀之間的"PNSR":2552層i :lO.bg,o~^- (4)其中 和^是當前和連續幀的對應像素。"幀間變換保真度"或"ITF"測量是根據連續圖像序列間的 formula see original document page 10， k為任意等級(rank))而計算的。 /7F索引由等式(5)給出 formula see original document page 10其中"6J^we表示序列中被測試部分的幀的數量。 考慮到從模塊13接收的序列參數(圖1:輸出Ou)以及從原始 緩衝器140 (輸出和穩定緩衝器(輸出Ow)接收到的原始幀， 在分析塊16 (圖2)中計算上述參數。所述參數存儲在存儲裝置formula see original document page 10 中。上述存儲裝置的內容被發送到測量計算模塊17。接下來將詳細說明圖1模塊11中實現的穩定算法。穩定算法通常 首先估計攝像機從一幀到下一幀的全局運動，得到"全局運動矢量" 或"GMV"。然後需要對這個運動進行濾波，以消除不希望的分量或 抖動。必須將這種分量與有意運動相分離。基本上，通過獲取序列上 的絕對位移矢量值並使用低通濾波器，可以消除高頻抖動，保留總體 趨勢。根據本發明的特徵，使用了兩個第一濾波器，此後分別稱為濾波 器F/ZT五i^和F/丄7E&。在低通"GMV"濾波級中，對"GMV"曲 線進行濾波並且在n幀上對其迸行時間上的累積。要應用的校正是原 始累積曲線JMK(")和修正後的累積曲線」MFwo《")之間的差值，原 始累積曲線formula see original document page 10(6)修正後的積累曲線formula see original document page 10 (7)也可能存在兩種運動平均濾波模式。使用濾波器P7丄7^A在時刻t執行運動平均濾波。用M個在前 "GMV"的平均值取代"GMV"，因此對"GMV"的高頻分量進行如 下濾波formula see original document page 10 (8)使用濾波器F/ZTE/ s在時刻？執行雙通帶運動平均濾波在相同的釆樣窗上對運動平均濾波後的"GMV" ，GMFJ "，再次進行平均 C MF一do"WeJ / , = Average(GMFJ /々…GMK(9) 這個雙濾波後的"GMV"提供了比簡單的運動平均濾波更平滑的結果。然後"運動矢量積分"提供了另外兩個運動濾波器的基礎，此後 稱為屍/Z7^ec和F/Z7^^。在這種情況下，使用阻尼因子對"GMV" 進行積分，由此產生的積分運動矢量("IMV")指定了要應用到當前輸入圖像以建立穩定序列的最終運動矢量校正 7MF, = a * W卜,+ G嫁， (10)其中《是阻尼因子"，那麼使用濾波器F/iT￡/ s，否則使用濾波器如果A&w〈r"A。^e，那麼使用濾波器F/ZT^ c或F/丄ra^:如果A^。ve>n，那麼使用濾波器F/i:r￡7 c,否則使用濾波器 ，D其中77、 77和"是實驗確定的閾值。上述計算結果被發送到濾波器控制模塊110:輸出0'^上具有預 定格式的的信號，稱為"w《—F!7fer—Jc"o" we^age"。然後，穩定算法模塊11考慮到從輸出0;5接收的信號值、或者從 評估模塊15的輸出0'u接收的信號值，對攝像機全局運動進行濾波， 並且消除不希望的抖動。因此，根據本發明方法的最重要特徵，通過使用圖像序列的固有 特性及對它們進行評估來完成所述消除，從而改善穩定性。本發明的最佳應用是使用閉合環路來實現環路交互。圖3是說明 了所述最佳應用的時間圖。環路交互是使用閉合環路而動態地完成的， 即，使用基於預定數量的連續幀(在圖3所示情況下是6個幀)的測 量，預定數量的連續幀被稱為"穩定效率測量滑動窗"W (z'是任意 等級)。上面的線表示原始圖像序列的幀，下面的線表示穩定序圖像列 的幀。初始化幀標記為/F(上面的線)，第一穩定幀標記為SF,(下面的 線)。第一窗標記為^。對該窗的任何幀，存在還未足夠處理以實現 正確的環內(in-loop)穩定控制的幀。從標記為『2 (圖3中的虛線) 的第二窗的最末幀F開始，分析窗被填滿，因此環內穩定開始有效。每個窗包含相同數量的時隙(每個時隙對應於兩個連續幀之間的 時間間隔)，也即相同數量的幀，但是隨著時間從產生的一個幀產生到 下一幀而移動。例如，窗M包括原始幀1 (/F)到6，穩定幀1到6， 窗『2包括原始幀和穩定幀2-7 (F)等。上述機制允許實時地改變在在模塊11 (圖l)中實現的穩定算法 的運動濾波部分。從前面的描述中可以看出，本發明很好地實現了其 設定的目標。本發明DIS方法特別適合應用於低/中端數字視頻攝像機 中作為動態視頻穩定工具，但它也可以內置在行動電話、Key-ring、 PC程序等等中。但是，需要注意到是，本發明並不限於以上詳細描述的實施例和 各種變化，在不背離本發明精神和範圍的前提下可以作改動。如果單 個硬體或者軟體可以實現多種功能，那麼採用硬體或軟體或者兩者， 存在很多實現根據本發明方法的功能的方式。本發明並不排除使用多 個硬體或軟體或者兩者的組合來實現功能，因此可以在不改變根據本 發明的DIS方法的同時形成一種單個功能。所述硬體或軟體可以通過 多種方式實現，例如分別利用有線電子電路或者利用適當編程的集成
權利要求
1.一種數字圖像穩定設備，用於從攝像機產生的原始圖像序列中消除不希望的、被稱為抖動的攝像機運動並獲得穩定的圖像序列，對所述原始序列採用穩定算法(11)以消除所述抖動，所述設備的特徵在於包括-初始級，在其中構造具有第一預定特徵集的第一運動濾波器、所述預設濾波器以及具有第二預定特徵集的至少一個備選運動濾波器，所述濾波器在所述穩定算法(11)中實現；-第一級，在其中估計所述攝像機的全局運動並且用所述預設濾波器對所述全局運動進行濾波；-第二級，在其中提取來自所述原始序列(10)和穩定序列(12)的預定參數(13，14)，並產生被稱為標誌(17)的測量值，以評估穩定質量；以及-第三級(19)，在其中將所述標誌與預定閾值進行比較，如果所述標誌超過所述閾值，則產生第一控制信號(O15)，否則產生第二控制信號(O′15)，所述第一控制信號(O15)強制所述穩定算法(11)使用備選濾波器，以提高穩定質量，所述第二控制信號(O′15)強制穩定算法(11)繼續使用所述預設濾波器。
2. —種數字圖像穩定方法，用於從攝像機產生的原始圖像序列中 消除不希望的、被稱為抖動的攝像機運動並獲得穩定的圖像序列，對 所述原始序列採用穩定算法(11)以消除所述抖動，所述方法的特徵在於包括-初始步驟，包括構造具有第一預定特徵集的第一運動濾波器、所述 預設濾波器以及具有第二預定特徵集的至少一個備選運動濾波器，所述濾波器在所述穩定算法(11)中實現； -第一步驟，包括估計所述攝像機的全局運動並且用所述預設濾波器對所述全局運動進行濾波； -第二步驟，包括提取來自所述原始序列(10)和穩定序列(12)的預定參數(13， 14)，並產生被稱為標誌(17)的測量值，以評估 穩定質量；以及-第三步驟，包括將所述標誌與預定閾值進行比較(19)，如果所述 標誌超過所述閾值，則產生第一控制信號((9/5)，否則產生第二控 制信號(O'")，所述第一控制信號(O")強制所述穩定算法(11) 使用備選濾波器，以提高穩定質量，所述第二控制信號(0'/5)強 制穩定算法(11)繼續使用所述預設濾波器。
3. 根據權利要求2所述的方法，其特徵在於，所述圖像被劃分成 預定的較大像素區域，g卩"宏塊"，所述參數包括全局運動矢量和"宏 塊"矢量(13)。
4. 根據權利要求3所述的方法，其特徵在於，所述標誌(17)包 括基於對所述原始序列和穩定序列執行的測量的組合的穩定質量度 量，所述測量至少包括連續圖像的峰值信噪比和對沿預定數量圖像的 序列的所述全局運動矢量的頻率分析，對所述圖像原始序列和穩定序 列均執行所述測量。
5. 根據權利要求4所述的方法，其特徵在於，所述方法包括另一 步驟將所述預定數量圖像的序列的運動頻譜劃分成預定的兩個能量 帶，即第一低頻能量帶和第二高頻能量帶；根據連續的全局運動矢量 計算所述運動頻譜；所述穩定質量度量基於第一和第二參數的計算和 組合、第三和第四參數的計算和組合以及第五參數，第一和第二參數 分別稱為Ae/。w和A^e，分別表示所述第一和第二能量帶中的能量比 例，第三和第四參數表示在所述第一和第二頻帶上所述圖像原始序列 和穩定圖像序列之間的運動能量衰減，第五參數稱作幀間變換保真度， 表示所述預定數量圖像的序列中連續圖像之間的所述峰值信噪比。
6. 根據權利要求5所述的方法，其特徵在於，所述高頻是高於lHz 的頻率，所述低頻是低於lHz的頻率。
7. 根據權利要求5或6所述的方法，其特徵在於，設計被稱作 F仏7^i c的所述預設運動濾波器的所述第一預定特徵集，以獲得所述 攝像機運動的高穩定性，並且所述第一預定特徵集包括填充有高阻尼 因子值的對應關係表。
8. 根據權利要求7所述的方法，其特徵在於，設計被稱作F/丄7^/^ 的至少一個備選濾波器的所述第二預定特徵集，以允許更快地跟蹤所 述攝像機的較大有意運動，並且所述第二預定特徵集包括填充有阻尼因子的對應關係表，該阻尼因子的值低於所述F/丄7^^;的阻尼因子的值。
9. 根據權利要求5和6所述的方法，其特徵在於，所述初始步驟包 括構造分別具有第三和第四特徵集的另外兩個備選運動濾波器，所述 另外兩個備選運動濾波器分別稱為/^T五^和F/丄rE/^;設計所述第三 特徵集，以對所述原始圖像序列執行運動平均濾波，由預定數量的在 前全局運動矢量的平均值取代所述全局運動矢量，所述預定數量的在 前全局運動矢量表示採樣窗，對所述矢量的高頻分量進行濾波；設計 所述第四特徵集，以對所述原始圖像序列執行雙通帶運動平均濾波， 由預定數量的在前全局運動矢量的平均值取代所述全局運動矢量，在 第一通帶中對所述矢量的高頻分量進行濾波，在第二通帶中在相同的 採樣窗上對上述濾波後的運動矢量再次進行濾波。
10. 根據權利要求9所述的方法，其特徵在於，所述初始步驟包括 實驗確定分別稱為T7、 r2和H的另外三個閾值；如果所述第一閾值被超過，則所述初始步驟包括使用分別稱為AeW和乏6。m的所述第一和第二參數來進行依次比較的步驟-如果Ae/。w〉n^^。ve，則使用所述濾波器F/ZTEi^或F/17Ei^，並且如果A^。m〉77，則使用所述濾波器F/丄rE^，否則使用所述濾波器F/ZTE/^;以及 -如果AeW〈n^^。ve，則使用所述濾波器F/JL7^i c或F幾7Ei^，並且如果A^e〉n，則使用所述濾波器屍/丄7^/ec，否則使用所述濾波器屍/丄潔D。
11. 根據權利要求io所述的方法，其特徵在於，所述採樣窗是包括恆定數量的時隙的滑動窗(w， w， w)，每個時隙對應於將所述原始序列(10)和穩定序列(12)的兩個連續幀隔開的時間間隔，所述滑動窗隨時間從一幀移動到下一幀，以實時地執行所述運動濾波。
全文摘要
本發明涉及一種從攝像機產生的原始圖像序列(10)中消除抖動的數字圖像穩定方法。對原始序列(10)採用了穩定算法(11)。估計攝像機的全局運動並且用預設的運動濾波器對其濾波(110)。從原始圖像序列(10)和穩定圖像序列(12)中提取預定參數(13，140，141)。計算測量值，以評估(15)穩定質量，並將計算值與閾值相比較。根據評估的結果(O15，O′15)，穩定算法(11)使用備選濾波器以改善穩定質量，或者繼續使用預設濾波器。
文檔編號H04N5/232GK101238712SQ200680029254
公開日2008年8月6日 申請日期2006年8月9日 優先權日2005年8月10日
發明者卡羅琳娜·米羅, 揚·皮卡爾, 斯特凡娜·奧貝熱 申請人:Nxp股份有限公司