基於五邊形搜索及五幀背景對齊的動背景視頻對象提取的製作方法
2023-05-08 21:58:21
專利名稱：基於五邊形搜索及五幀背景對齊的動背景視頻對象提取的製作方法
技術領域：
本發明涉及一種視頻分割中的處理方法，特別涉及一種基於中心偏置的五邊形搜索及五幀背景對齊的動背景視頻對象提取。
背景技術：
對於動態視頻序列中運動對象的提取，由於攝像機產生的全局運動使得在靜背景下的分割方法，如幀差或者背景差分等方法不適用於動背景下的分割，即不能夠準確地將運動對象提取出來，因此針對動背景下的分割問題必須首先消除攝像機運動所造成的全局運動的影響，通過全局運動估計和補償技術，將問題轉化成靜背景下的分割問題，進而應用靜背景下廣泛的分割方法實現動背景下的準確、有效分割。全局運動估計是指估計由攝像機運動引起的序列背景區域的運動規律，求解出相應數學運動模型中的多個參數。全局運動補償是在根據運動估計所得到的全局運動參數，在當前幀和前一幀之間作一個相應的背景對齊的映射變換。這樣在準確的補償之後就可以採用幀差或背景差等方法消除背景區域，突出感興趣的具有局部運動的前景區域(參見楊文明.時空融合的視頻對象分割[D].浙江浙江大學，2006)。對於動背景下的運動對象分割問題，目前國際上已有相當多的學者做了大量的研究工作。如利用改進的分水嶺算法將運動補償後的視頻幀分割成不同的灰度區域，通過光流計算得到序列的運動信息，最後，將運動信息和分割的區域按一定的準則綜合得到對象模板，達到對視頻對象的準確定位(參見張慶利.一種基於運動背景的視頻對象分割算法.上海大學學報(自然科學版)，2005，11(2):111-115.)。如建立四參數運動放射模型來描述全局運動，採用塊匹配方法進行參數估計，結合Horn-Schunck算法檢測出運動目標並應用卡爾曼濾波對運動目標的質心位置等信息進行跟蹤，實現了動態場景中運動對象的檢測與跟蹤。(參見施`家棟.動態場景中運動目標檢測與跟蹤.北京理工大學學報，2009，29(10) :858-876.)。另一種採用非參數核密度估計的方法，首先採用匹配加權的全局運動估計補償算法消除動態場景下背景運動的影響，然後估計各像素屬於前景與背景的概率密度並結合形態學等算法進行處理，實現了動背景下運動對象的準確、有效分割。(參見馬志強.一種動態場景下運動對象分割新算法.計算機工程與科學，2012，34(4) :43-46.)。為了解決動背景下的分割問題，本發明方法實現了一種採用宏塊預判斷、塊匹配、攝像機六參數仿射模型、最小二乘法等全局運動估計及補償方法，並通過五幀背景對齊結合邊緣信息等實現動背景分割。實驗證明，該方法實現了動背景視頻序列中視頻對象的提取，並且提取精度得到明顯提高。
發明內容
本發明要解決的技術問題是如何減少塊匹配的運算時間，如何實現動背景下視頻對象的準確提取。
本發明解決其技術問題所採用的技術方案是基於中心偏置的五邊形搜索及五幀背景對齊的動背景視頻對象提取，包括以下步驟(I)將第K-2幀、第K-1幀、參考幀K幀、第K+1幀與第K+2幀分別分成8X8宏塊，根據紋理信息對該五幀中所有宏塊進行預判斷、篩選；(2)對上述篩選後的宏塊採用SAD準則、基於中心偏置的五邊形搜索策略進行塊匹配，分別以第K-2幀、第K-1幀、第K+1幀與第K+2幀作為當前幀，以第K幀作為參考幀，得到該四幀相對於參考幀K幀的運動矢量場，並通過最小二乘法計算全局運動參數，獲得攝像機六參數模型；(3)對第K-2幀進行運動補償，使第K-2幀與第K幀背景對齊，得到重建幀K-2』，按照同樣的方法對第K-1幀、第K+1幀與第K+2幀進行運動補償，使第K-1幀、第K+1幀及第K+2幀分別與第K幀背景對齊，並得到重建幀Κ-Γ、重建幀Κ+Γ及重建幀K+2』 ；
·
(4)對重建幀K-2』、Κ_Γ、Κ+1』、Κ+2』及參考幀K幀分別採用Prewitt算子提取邊緣信息，並分別計算其相對於參考幀K邊緣的幀差屯、d2、d3、d4，採用最大方差閾值方法進行二值化；(5)分別對連續五幀前兩幀和後兩幀得到的幀差二值化結果進行與運算；對得到的與運算結果採用或運算及形態學、中值濾波等進行後處理，實現動背景下視頻對象的快速有效分割。所述步驟(I)中對於當前第K-2幀、第K-1幀、第K+1幀、第K+2幀與參考幀K幀中分成的8X8宏塊進行預判斷及篩選，具體步驟如下由於在下述步驟中應用最小二乘法計算全局運動參數的時候，很多誤差大的宏塊被直接刪除，如果能夠在最小二乘法運算之前將誤差大的宏塊剔除，將顯著的提高運算速度，並降低運算量。而決定宏塊誤差大小、影響計算準確性的重要因素便是宏塊的紋理信息，也就是梯度信息。本部分提出的宏塊預判斷及篩選的方法正是從宏塊的梯度信息出發，根據設定的閾值對於宏塊進行篩選抑或保留，當宏塊的信息量小於該閾值時，對該宏塊進行篩選，不作為下述步驟中參與塊匹配的宏塊；當信息量大於該閾值時，則對宏塊進行保留，作為有效特徵塊參與進行下述的運動估計等運算。其主要步驟如下第一步將每一幀分成8X8子塊，經實驗證明，若採用分成16X16子塊的形式則計算量過大，若分成4X4子塊則塊匹配等方法不夠精確，故採用8X8子塊的形式；第二步採用Sobel算子得到每一幀的梯度圖，將梯度信息作為宏塊剔除的判斷依據；
權利要求
1.應用於一種基於中心偏置的五邊形搜索及五幀背景對齊的動背景視頻對象提取，其特徵在於包括以下步驟 (1)將第K-2幀、第K-1幀、參考幀K幀、第K+1幀與第K+2幀分別分成8X8宏塊，根據紋理信息對該五幀中所有宏塊進行預判斷、篩選； (2)對上述篩選後的宏塊採用SAD準則、基於中心偏置的五邊形搜索策略進行塊匹配，分別以第K-2幀、第K-1幀、第K+1幀與第K+2幀作為當前幀，以第K幀作為參考幀，得到該四幀相對於參考幀K幀的運動矢量場，並通過最小二乘法計算全局運動參數，獲得攝像機六參數模型； (3)對第K-2幀進行運動補償，使第K-2幀與第K幀背景對齊，得到重建幀K-2』，按照同樣的方法對第K-1幀、第K+1幀與第K+2幀進行運動補償，使第K-1幀、第K+1幀及第K+2幀分別與第K幀背景對齊，並得到重建幀Κ-Γ、重建幀Κ+Γ及重建幀K+2』 ； (4)對重建幀Κ-2』、Κ-Γ、Κ+1』、Κ+2』及參考幀K幀分別採用Prewitt算子提取邊緣信息，並分別計算其相對於參考幀K邊緣的幀差屯、d2、d3、d4，採用最大方差閾值方法進行二值化； (5)分別對連續五幀前兩幀和後兩幀得到的幀差二值化結果進行與運算；對得到的與運算結果採用或運算及形態學、中值濾波等進行後處理，實現動背景下視頻對象的快速有效分割。
2.根據權利要求1所述的方法，其特徵在於所述步驟(I)的對於當前第K-2幀、第K-1幀、第K+1幀、第K+2幀與參考幀K幀中分成的8X8宏塊進行預判斷及篩選，具體步驟如下 由於在下述步驟中應用最小二乘法計算全局運動參數的時候，很多誤差大的宏塊被直接刪除，如果能夠在最小二乘法運算之前將誤差大的宏塊剔除，將顯著的提高運算速度，並降低運算量。而決定宏塊誤差大小、影響計算準確性的重要因素便是宏塊的紋理信息，也就是梯度信息。本部分提出的宏塊預判斷及篩選的方法正是從宏塊的梯度信息出發，根據設定的閾值對於宏塊進行篩選抑或保留，當宏塊的信息量小於該閾值時，對該宏塊進行篩選，不作為下述步驟中參與塊匹配的宏塊；當信息量大於該閾值時，則對宏塊進行保留，作為有效特徵塊參與進行下述的運動估計等運算。
其主要步驟如下 第一步將每一幀分成8X8子塊，經實驗證明，若採用分成16X16子塊的形式則計算量過大，若分成4X4子塊則塊匹配等方法不夠精確，故採用8X8子塊的形式； 第二步採用Sobel算子得到每一幀的梯度圖，將梯度信息作為宏塊剔除的判斷依據；
3.根據權利要求1所述的方法，其特徵在於所述步驟(2)的分別以Κ-2幀、K-1幀、Κ+1幀、Κ+2幀作為當前幀，以K幀作為參考幀，對篩選後的宏塊採用SAD準則、基於中心偏置的五邊形搜索策略進行塊匹配，並將塊匹配求得的運動矢量場利用最小二乘法獲得攝像機六參數模型，其具體步驟如下 (i)塊匹配準則SAD 本部分採用SAD塊匹配準則，該準則不僅能夠找到最佳匹配點，並且計算量小、耗時短。
4.根據權利要求1所述的方法，其特徵在於所述步驟(3)的通過運動補償分別獲得當前幀K-2幀、K-1幀、K+1幀及K+2幀的重建幀Κ-2』、Κ-Γ、K+1』、K+2』，其具體內容如下對於當前幀K-2幀、K-1幀、K+1幀及K+2幀中的每一個點根據上述獲取的攝像機模型，計算其分別在參考幀K中的對應位置並對其進行賦值，從而實現對於K-2幀、K-1幀、K+1幀及K+2幀的全局運動補償，使補償後的重建幀Κ-2』、Κ-Γ、Κ+1』、Κ+2』與參考幀K的背景對齊，從而實現下述結合邊緣信息、自適應最大方差閾值的基於基於中心偏置的五邊形運動估計及五幀背景對齊的動背景下視頻分割方法。
5.根據權利要求1所述的方法，其特徵在於所述步驟(4)的採用Prewitt算子提取邊緣信息，並分別與參考幀K邊緣進行差分，採用最大方差閾值進行二值化，其具體步驟如下 (i)Prewitt算子提取邊緣信息,並與參考巾貞K邊緣進行差分 邊緣檢測算子種類很多，這裡選擇Prewitt邊緣檢測算子對於重建幀Κ-2』、Κ-Γ、Κ+1』、Κ+2』及參考幀K幀進行邊緣特徵提取。
Prewitt算子可以用模板卷積來實現 fs (X，y) = I f (X，y) X Gx I +1 f (x, y) X Gy—-1 O 1~| 「I I I _ 其中
6.根據權利要求1所述的方法，其特徵在於所述步驟(5)的對連續五幀前兩幀和後兩幀得到的幀差二值化結果分別進行與運算，並經過或運算及濾波等後處理 對上述二值化結果OtusBuf1、OtusBuf2、OtusBuf3、OtusBuf4進行與運算，與運算的結果如下
全文摘要
本發明公開了基於中心偏置的五邊形搜索及五幀背景對齊的動背景視頻對象提取，包括如下步驟首先將K-2幀、K-1幀、參考幀K、K+1幀與K+2幀分成8×8宏塊，並對宏塊進行篩選；對篩選後的宏塊採用基於中心偏置的五邊形運動估計方法進行塊匹配，分別得到上述四幀相對於參考幀的運動矢量場，並通過最小二乘法計算全局運動參數；對第K-2幀、K-1幀、K+1幀與K+2幀分別進行運動補償，使該四幀與參考幀背景對齊，並得到四幀的重建幀；對重建幀K-2'、K-1'、K+1'、K+2'及參考幀分別採用Prewitt算子提取邊緣信息，計算相對於參考幀邊緣的幀差，最大方差閾值二值化；分別對連續五幀前兩幀和後兩幀得到的幀差進行與運算；最後進行或運算並做後處理，實現動背景下快速有效分割。
文檔編號G06T7/20GK103051893SQ20121039814
公開日2013年4月17日 申請日期2012年10月18日 優先權日2012年10月18日
發明者祝世平, 郭智超, 高潔 申請人:北京航空航天大學