基於運動特徵的h.264壓縮域實時視頻對象分割方法
2023-10-06 15:23:34 2
專利名稱：基於運動特徵的h.264壓縮域實時視頻對象分割方法
技術領域：
本發明涉及到一種基於H.264壓縮域的視頻對象實時分割方法，壓縮域分割可免除 對壓縮視頻的完全解碼，僅通過熵解碼提取出的運動矢量用作分割所需的運動特徵。此 外，與現有方法截然不同的是，本方法採用基於運動矢量場的幅度、散度和旋度三個運 動特徵，再結合改進的統計區域生長方法將視頻序列中的不同對象進行分割，可比現有 的基於R264壓縮域的視頻對象分割方法計算量進一步降低。由於該方法只使用了運動 矢量場信息，因此它同樣可適用於基於光流場的運動對象分割。
技術背景以前的視頻對象分割的研究大多集中在象素域，近年來基於壓縮域的運動對象分割 開始受人關注。這不僅是因為當前的大多數視頻序列已經壓縮為某種格式，直接在此壓 縮域內進行運動對象分割，可免除對壓縮視頻進行完全解碼；而且，在壓縮域內處理的 數據量要比象素域少很多，可使計算量顯著減少；加之，從壓縮視頻中僅通過熵解碼提 取出的運動矢量和DCT係數，可直接用作分割所需的運動特徵和紋理特徵。因此，從壓 縮域分割運動對象具有快速的特點，可解決傳統的象素域分割方法難於滿足實時性分割 的要求，從而可解決以往象素域分割因分割速度過慢而不能解決很多有實時性要求的應 用場合。隨著越來越多的應用都以新的編碼標準H.264取代MPEG-2，因此壓縮域的分割也開 始從MPEG壓縮域轉向H.264壓縮域。由於H.264壓縮域中I幀的DCT係數是在塊的空間預 測殘差上進行變換的，不能直接用作分割的紋理特徵。因此，運動矢量是在R264壓縮 域進行視頻對象分割唯一可直接使用的特徵。目前在H.264壓縮域，Zeng等首先提出一 種基於塊的MRF模型從稀疏運動矢量場中分割運動對象的方法，根據各個塊運動矢量的 幅值賦予各個塊不同類型的標記，通過最大化MRF的後驗概率標記出屬於運動對象的 塊。但是，這種方法分割的準確度不高，計算量也較大。Liu等提出了基於匹配矩陣的 運動對象實時分割方法，首先通過運動矢量後向投影得到累積的運動矢量場，然後對累 積運動矢量場進行全局運動補償，同時採用快速的統計區域生長方法按照運動相似性將 其分割成多個區域。利用上述兩方面結果，採用基於匹配矩陣的運動對象分割方法分割 出運動對象。但是在這個方法中，有兩個方面的問題仍然未能很好的解決。 一是未能採 用有效的濾波方法將奇異的運動矢量濾除，同時保留運動矢量場的主要細節信息；二是 未能充分利用運動矢量場的特徵來分割視頻運動對象。發明內容本發明的目的在於針對已有技術存在的缺陷，提供一種基於運動特徵的H. 264壓縮 域實時視頻對象分割方法，分割所用的唯一信息是從H.264壓縮視頻中提取出的基於 4x4塊均勻採樣的運動矢量場。本方法比此前的H.264壓縮域視頻對象分割方法在計算 量上更為減少，以充分達到實時運動對象分割的目的。為達到上述的目的，本發明的構思是如圖1所示，從輸入的H.264壓縮視頻流提取運動矢量並歸一化，然後進行加權中 值濾波去除奇異的運動矢量。基於運動矢量場的三個運動特徵幅度、散度和旋度，採用 改進的統計區域生長方法將運動對象分割出來。基於上述構思，本發明的技術方案是-一種基於運動特徵的H.264壓縮域實時視頻對象分割方法，其特徵在於對運動矢量 場進行空域歸一化，獲得歸一化運動矢量場；再對歸一化的運動矢量場進行加權中值濾 波，去除奇異的運動矢量。然後基於運動矢量場的幅度、散度和旋度三個運動特徵，採 用改進的統計區域生長方法按照運動特徵的相似性將其分割成多個對象。其步驟是a. 運動矢量場歸一化從H.264視頻中提取出運動矢量場並進行空域上的歸一化；b. 加權中值濾波將濾波窗口內的所有運動矢量乘以加權係數，再對這些運動矢量 進行中值濾波；C.基於運動矢量場幅度、散度和旋度的對象分割基於幅度、散度和旋度三個運動 特徵，採用改進的統計區域生長方法將濾波後的運動矢量場分割成多個具有相似運動特 徵的對象。上述中的運動矢量場歸一化的步驟是-將凡尺寸大於4x4的各個宏塊運動矢量直接賦給該宏塊所覆蓋的所有4x4塊，實 現空域歸一化。上述中的加權中值濾波的步驟是(1) 計算iVxJV窗口內所有運動矢量的平均運動矢量；(2) 計算iVx7V窗口內每個運動矢量與平均運動矢量的相關係數，並以此作為加權係數；(3) 將7VxiV窗口內的所有運動矢量乘以加權係數，再進行中值濾波。 上述中的基於運動矢量場幅度、散度和旋度的對象分割的步驟是基於幅度、散度和旋度三個運動特徵，採用改進的統計區域生長方法將濾波後的運 動矢量場分割成多個具有相似運動特徵的對象，詳細步驟如下(1) 計算運動矢量場的三個運動特徵幅度M、散度D和旋度C，即(M,A。；(2) 將(M,D,Q映射到紅R、綠G、藍B顏色空間，艮P(i ,G,5)顏色空間；(3) 計算以四鄰域連接的相鄰塊組的運動特徵差異性度量；(4) 按照運動特徵差異性度量從小到大的次序進行排序；(5) 將運動特徵差異性度量最小的相鄰塊組合併，以此處開始區域生長過程。在每次區域生長時，當前兩個塊組分別屬於相鄰的兩個區域，是否將這兩個區 域進行合併的判斷準則是這兩個區域的平均運動特徵之差是否小於兩個區域的邊界函數之和。若是，則合併；若否，則不合併；(6) 將面積小於整個運動矢量場0.5%的區域合併到其相鄰的區域；(7) 以分割結果直方圖中運動矢量最小的區域對應的灰度值作為閾值將分割結 果二值化，得到運動對象的掩模。本發明與現有技術相比較，具有如下的突出特點和優點本發明不僅適用於H.264 壓縮域，同樣適用於光流場的分割。本發明提出的基於運動特徵的實時視頻對象分割方 法，將運動矢量場的主要特徵作為分割要素，這有別於其它分割方法將運動矢量場分解 為兩個標量場處理，從而提高了分割的準確度，分割效果較好。本方法的處理速度達到 每幀15ms，比現有的所有方法都快速，足以滿足大多數實時處理的要求，因此具有很 強的實用性。
圖1是本發明的基於運動特徵的11.264壓縮域實時視頻對象分割方法的程序框圖。 圖2是圖1中加權中值濾波的結構框圖。圖3是圖1中基於運動矢量場幅度、散度和旋度的對象分割的結構框圖。 圖4是對序列Erik中各個典型幀(第18、 31、 45幀)運動對象分割結果的圖示。 圖5是對序列Children中各個典型幀(第32、 42、 62幀)運動對象分割結果的圖示。
具體實施方式
本發明的一個實施例子結合附圖詳述如下本發明基於運動特徵的H.264壓縮域實時視頻對象分割方法是按圖1所示程序框 圖，在CPU為雙核2.0GHz、內存900M的PC測試平臺上編程實現，圖4和圖5給出 了仿真測試結果。參見圖l,本發明基於運動特徵的H.264壓縮域實時視頻對象分割方法，首先對運 動矢量場進行空域歸一化，再對歸一化的運動矢量場進行加權中值濾波，然後基於運動 矢量場的幅度、散度和旋度三個運動特徵，採用改進的統計區域生長方法按照運動特徵 相似性將其分割成多個對象。本發明提出的方法具有算法簡單，對象分割速度快，分割 效果好的特點。其步驟是(1) 運動矢量場歸一化從H.264視頻中提取出運動矢量場並進行空域上歸一化；(2) 加權中值濾波將濾波窗口內的所有運動矢量乘以加權係數，再對這些運動 矢量進行中值濾波；(3) 基於運動矢量場幅度、散度和旋度的對象分割基於幅度、散度和旋度三個 運動特徵，採用改進的統計區域生長方法將濾波後的運動矢量場分割成多個 具有相似運動特徵的對象。上述步驟(1)的運動矢量場歸一化的過程如下將凡尺寸大於4X4的各個宏塊運動矢量直接賦給該宏塊所覆蓋的所有4X4塊，實 現空域歸一化。上述步驟(2)的加權中值濾波的過程如下-① 計算3x3窗口內所有運動矢量的平均運動矢量；② 計算3x3窗口內每個運動矢量與平均運動矢量的相關係數，並以此作為加權系 數；③ 將3x3窗口內的所有運動矢量乘以加權係數，再進行中值濾波。上述步驟(3)的基於運動矢量場幅度、散度和旋度的對象分割的過程如下① 計算運動矢量場的三個運動特徵幅度、散度和旋度，gP{M,AC};② 將{M,D,C}映射到(R,G,B}顏色空間；③ 計算以四鄰域連接的相鄰塊組的運動特徵差異性度量； 按照運動特徵差異性度量從小到大的次序排序；⑤將運動特徵差異性度量最小的相鄰塊組合併，以此處開始區域生長過程。在每 次區域生長時，當前兩個塊組分別屬於相鄰的兩個區域，是否將這兩個區域進 行合併的判斷準則是這兩個區域的平均運動特徵之差是否小於兩個區域的邊界函數之和:< ^(i 。) + ，6), V; e {M, D, C}，其中為區域邊界函數。若小於則合併，否則不合併； 將面積小於整個運動矢量場0.5%的區域合併到其相鄰的區域； ⑦以分割結果直方圖中運動矢量最小的區域對應的灰度值作為閾值將分割結果二值化，得到運動對象的掩模。下面對本實施例子結合總框圖(圖l)的三個步驟給予進一步詳細說明(1) 運動矢量場歸一化將凡尺寸大於4X4的各個宏塊運動矢量直接賦給該宏塊所覆蓋的所有4X4塊，實 現空域歸一化。(2) 加權中值濾波如圖2所示，對運動矢量場進行加權中值濾波首先要計算出加權係數，然後各個運 動矢量乘以加權係數，再進行中值濾波。① 計算3x3窗口內的所有運動矢量的平均運動矢量1 3x3M 3x3臺② 計算3x3窗口內每個運動矢量與平均運動矢量的相關係數，並以此作為加權系 數③將3x3窗口內的所有運動矢量乘以加權係數，再進行中值濾波3x3(3)基於運動矢量場幅度、散度和旋度的對象分割 如圖3所示，基於幅度、散度和旋度三個運動特徵，採用改進的統計區域生長方法 實現對濾波後的運動矢量場的對象分割。步驟詳述如下①計算運動矢量場的三個運動特徵幅度，散度和旋度，即(M，AC〉5x其中，化W ^由Sobel算子計算；& 5_y Ss② 將(M,AQ映射到(i ,G,^顏色空間，就是將(M,Z),C)的取值範圍映射到以0 255為亮度階的(i ，G,用顏色空間；③ 計算以四鄰域連接的相鄰塊組的運動特徵差異性度量； 按照運動特徵差異性度量從小到大的次序進行排序；⑤將運動特徵差異性度量最小的相鄰塊組合併，以此處開始區域生長過程。在每 次區域生長時，當前兩個塊組分別屬於相鄰的兩個區域，是否將這兩個區域進行 合併的判斷準則是這兩個區域的平均運動特徵之差是否小於兩個區域的邊界函數之和W《< ，。)+ ^ ), V; e {M, A Q ，其中邊界函數外)定義為:3(i ) = i: ;^^(min(丄,間)log(l + li l) + 21og61/1)，其中g表示量化參數，用來控制運動矢量場的分割程度，丄表示亮度階，li l表示區域包含的運動矢量數目，|/|表示圖像幀運動矢量場的大小。若小於則合併，否則不合併； 將面積小於整個運動矢量場0.5%的區域合併到其相鄰的區域；⑦以分割結果直方圖中運動矢量最小的區域對應的灰度值作為閾值將分割結果二 值化，得到運動對象的掩模。以下給出輸入視頻格式為352x288的CIF時的實例，採用JM8.6版本的H.264編 碼器對MPEG-4標準測試序列進行編碼，作為測試用的H.264壓縮視頻。H.264編碼器 的配置如下Baseline Profile, IPPP，每30幀插入1個I幀，1個參考幀，運動估計的 搜索範圍為[-16,16]，量化參數為30。採用典型的標準測試序列Erik和Children作為輸入視頻進行測試，實驗結果分別如圖4和圖5所示。兩圖中第l列為當前幀的原始圖象，第2列為當前幀由基於運動特徵分割所 得的對象分割結果，第3列為將對象分割結果作為掩模疊加到原始圖像而得到的結果。 從圖4和圖5的第三列可以直觀的看出分割的效果，採用本發明提出的分割方法能夠將運 動物體從場景中分割出來，而且很好的描述了物體的基本形狀特徵。在分割實驗中，平 均每幀的處理時間為15ms，足以滿足大多數實時應用30fps的要求。實驗l:序列Erik為典型的頭肩序列，序列中人物的頭部和身體均有明顯的運動。圖 4第1行(序列第18幀)為人物自右向左移動，圖4第2行(序列第31幀)為人物自左向右 移動，圖4第3行(序列第45幀)為人物的頭部自右向左快速移動。由圖4第3列圖象可以 看出，對運動矢量場的分割結果能夠比較準確地分割出運動對象所在的區域，而且分割 的物體邊緣能夠比較好的描述原始圖像中人物的邊緣，從而反映出原始圖像中人物的主 要形狀特徵。因此本發明採取的對運動矢量場的加權中值濾波以及基於運動特徵的分割 方法是有效的，能夠利用運動矢量信息獲得一個適度分割的結果。實驗2:序列Children具有更複雜的運動，除了兩個兒童的各種平移運動和其它不 規則運動外，還有皮球的拋物線運動。而且在該序列中，皮球時而停止，時而獨自運動， 時而被兒童抱住一起運動，因此運動對象分割的難度很大。圖5第1行(序列第32幀) 場景中兩個兒童無顯著的運動，但是皮球在作拋物線的運動，在分割結果中較好的將運 動中的皮球分割出來。圖5第2行(序列第42幀)場景中兒童蹲下來要撿皮球，但是 還沒有接觸到皮球，在分割結果中很好的將兒童分割出來，未將皮球包括在分割結果中。 由圖5第3行(序列第62幀)還可以看出此時兒童已經抱住皮球準備拿起來，在分割 結果中較好的將皮球與兒童都分割出來。圖5的分割結果說明本發明的運動對象分割方 法能夠很好的處理運動對象的分離和結合，再次證明本發明提出的方法適用於具有複雜 運動特徵的視頻序列的對象分割。
權利要求
1.一種基於運動特徵的H.264壓縮域實時視頻對象分割方法，其特徵在於先對運動矢量場歸一化，再對歸一化的運動矢量場進行加權中值濾波，基於運動矢量場的幅度、散度和旋度三個運動特徵，採用改進的統計區域生長方法按照運動特徵相似性將其分割成多個對象；其步驟如下a.運動矢量場歸一化從H.264視頻中提取出運動矢量場並進行空域上的歸一化；b.加權中值濾波將濾波窗口內的所有運動矢量乘以加權係數，再對這些運動矢量進行中值濾波；c.基於運動矢量場幅度、散度和旋度的對象分割基於幅度、散度和旋度三個運動特徵，採用改進的統計區域生長方法將濾波後的運動矢量場分割成多個具有相似運動特徵的對象。
2. 根據權利要求1所述的基於運動特徵的H.264壓縮域實時視頻對象分割方法，其特 徵在於所述的運動矢量場歸一化的步驟是:將凡是尺寸大於4X4的各個宏塊運動矢 量直接賦給該宏塊所覆蓋的所有4X4塊，實現空域歸一化。
3. 根據權利要求1所述的基於運動特徵的H.264壓縮域實時視頻對象分割方法，其特 徵在於所述的加權中值濾波的步驟是(1)計算iVxiV窗口內所有運動矢量的平均 運動矢量；(2)計算7VxJV窗口內每個運動矢量與平均運動矢量的相關係數，並以 此作為加權係數；(3)將iVxiV窗口內的所有運動矢量乘以加權係數，再進行中值 濾波。
4. 根據權利要求l所述的基於運動特徵的H.264壓縮域實時視頻對象分割方法，其特 徵在於所述的基於運動矢量場幅度、散度和旋度的對象分割，是基於幅度、散度和 旋度三個運動特徵，採用改進的統計區域生長方法將濾波後的運動矢量場分割成多 個具有相似運動特徵的對象；步驟如下(1) 計算運動矢量場的三個運動特徵幅度、散度和旋度，即(M，AC》；(2) 將(M，AQ映射到(i ,G,^顏色空間；(3) 計算以四鄰域連接的相鄰塊組的運動特徵差異性度量；(4) 按照運動特徵差異性度量從小到大的次序進行排序；(5) 將運動特徵差異性度量最小的相鄰塊組合併，以此處開始區域生長過程；在 每次區域生長時，當前兩個塊組分別屬於相鄰的兩個區域，是否將這兩個區域進行合併 的判斷準則是這兩個區域的平均運動特徵之差是否小於兩個區域的邊界函數之和。若 是，則合併；若否，則不合併；(6) 將面積小於整個運動矢量場0.5%的區域合併到其相鄰的區域；(7) 以分割結果直方圖中運動矢量最小的區域對應的灰度值作為閾值將分割結果 二值化，得到運動對象的掩模。
全文摘要
本發明涉及一種基於運動特徵的H.264壓縮域實時視頻對象分割方法。本方法是在對運動矢量場進行空域歸一化後，再對歸一化的運動矢量場進行加權中值濾波，然後基於運動矢量場的幅度、散度和旋度三個運動特徵，採用改進的統計區域生長方法按照運動特徵相似性將其分割成多個對象。經MPEG-4測試序列的實驗結果表明，在一臺CPU為雙核2.0GHz，內存為900M的計算機上處理CIF格式的視頻序列，平均每幀的處理時間為15ms，足以滿足大多數實時應用30fps的要求，而且具有良好的分割質量。鑑於本發明提出的方法僅使用了運動矢量場信息，因此它也可適用於光流場的運動對象分割。
文檔編號G06T7/20GK101237581SQ200810034100
公開日2008年8月6日 申請日期2008年2月29日 優先權日2008年2月29日
發明者志 劉, 張兆楊, 宇 陸 申請人:上海大學