基於光流法和超像素分割的運動目標提取方法
2023-04-22 17:15:46 1
基於光流法和超像素分割的運動目標提取方法
【專利摘要】本發明公開一種基於超像素分割和光流法的運動目標提取方法，主要解決現有運動目標提取方法的噪聲多、高頻信息丟失、邊界不準確等問題。其實現步驟為：(1)輸入一幅圖像，將其預分割成超像素集合S，得到標記圖I2；(2)取視頻序列中的相鄰兩幀圖像應用Horn—Schunck光流法來確定出運動目標的粗略位置；(3)由光流法得到水平方向速度u和垂直方向速度v，,其中V為光流法的速度幅度；(4)對光流結果V進行中值濾波，高斯濾波，二值化操作及形態學開閉運算來得到V4；(5)運用超像素分割的結果對光流結果進一步校正，提取得到精確的運動目標。將屬於運動區域的超像素精確的提取出來。經仿真實驗表明，與現有技術比較，本發明具有操作簡單，噪聲小，邊緣清晰等優點，可用於視頻序列中運動目標的提取。
【專利說明】基於光流法和超像素分割的運動目標提取方法
【技術領域】
[0001]本發明屬於圖像處理領域,特別是涉及一種基於超像素分割和Horn—Schunck光流法的運動目標提取，可用於目標跟蹤和目標檢測。
【背景技術】
[0002]運動目標提取是指單幅圖像或序列圖像中將運動的目標與背景分割開來，從圖像中識別和解譯有意義的物體實體而提取不同的圖像特徵的操作。根據攝像頭是否靜止，運動檢測分為靜態背景和動態背景兩種，大多數視頻監控系統是攝像頭固定的，因此靜態背景下運動目標檢測受到廣泛關注。常用的運動目標提取方法有背景減去法、幀間差分法和光流法三種。背景減去法:將含有運動目標的前景圖像和事先通過背景模型得到的背景圖像相減得到運動目標。這種方法雖然簡單易行，但是受外界因素影響太大，另外閾值的選擇也很關鍵，因此需要和其他方法配合使用才能得到較滿意的結果。幀間差分法:該方法通過連續兩幀或者三幀圖像的像素差確定運動區域。該方法能夠快速有效的從背景中檢測出目標，對動態目標具有較強的適應性，但一般不能完全提取出所有相關的特徵像素點，在運動實體內易產生空洞現象。
[0003]光流法:基於光流法的運動目標提取採用運動目標隨時間變化的光流特性，用來描述相鄰幀之間某像素點的運動，通過計算運動物體在幀間的運動向量來得到運動區域的大小。該方法能在背景劇烈變化，甚至攝像機移動的情況下分離出運動物體，但是，大多數的光流方法計算複雜，且抗噪性能差。在諸多的運動分析方法中，光流計算具有明顯的優點:(I)光流計算可以基本正確地檢測到亞像素的移動距離，精度較高；(2)光流計算適合檢測相對複雜的運動，如旋轉、縮放等。光流方法可分為基於差分的方法、基於頻域的方法和基於相關性的方法等。其中，HS方法和LK(Lucas-Kanade)方法是兩種經典的基於差分的光流計算方法。HS方法由於採用了一階不變灰度梯度，最小均方差迭代的最終收斂點會產生偏移，從而導致光流計算結果不準確。
[0004]光流法檢測運動物體的基本原理是:給圖像中的每一個像素點賦予一個速度矢量，這就形成了一個圖像運動場，在運動的一個特定時刻，圖像上的點與三維物體上的點一一對應，這種對應關係可由投影關係得到，根據各個像素點的速度矢量特徵，可以對圖像進行動態分析。如果圖像中沒有運動物體，則光流矢量在整個圖像區域是連續變化的。當圖像中有運動物體時，目標和圖像背景存在相對運動，運動物體所形成的速度矢量必然和鄰域背景速度矢量不同，從而檢測出運動物體及位置。採用光流法進行運動物體檢測的問題主要在於大多數光流法計算耗時，實時性和實用性都較差。但是光流法的優點在於光流不僅攜帶了運動物體的運動信息，而且還攜帶了有關景物三維結構的豐富信息，它能夠在不知道場景的任何信息的情況下，檢測出運動對象。
[0005]對於視頻監控系統來說，所用的圖像基本都是攝像機靜止狀態下攝取得，所以對有實時性和準確性要求的系統來說，純粹使用光流法來檢測目標不太實際。更多的是利用光流計算方法與其它方法相結合來實現對目標檢測和運動估計。[0006]圖像分割是計算機視覺與數字圖像處理中最基本的問題之一，它是對圖像進一步分析、識別、跟蹤和理解的基礎。圖像分割將圖像中的像素按照不同的視覺特徵或者語義分割成不同的子集。具體的講，圖像分割是為圖像中的每個像素指定一個標號的過程，其目的是使具有相似視覺特徵或相同語義的像素具有相同的標號。同時，研究圖像分割具有十分重要的意義，它可廣泛應用於半自動圖像檢索，視頻會議，2D轉3D技術，目標提取與跟蹤及醫學圖像分析等眾多領域。
[0007]簡單線性迭代聚類(SLIC)是一種由k均值聚類方法改變而來的超像素產生方法。SLIC的超像素分割方法和其他的超像素方法相比，具有以下優點:能夠保持好的邊緣信息，節省時間，節約內存，明顯的提高分割效果，容易使用，參數易調節，易於擴展到超體元的產生。
[0008]僅僅使用光流法只能知道運動目標的大概位置，並不能精確的提取出運動目標，本發明結合超像素的圖像分割方法更加精確地提取出運動目標。
【發明內容】
[0009]本發明的目的在於針對上述現有技術的不足，提出一種運動目標提取方法，以保持圖像數據一致性，獲得清晰的目標邊緣，提高提取目標結果的精度。
[0010]實現本發明的技術方案包 括如下步驟:
[0011]步驟I，取視頻序列中的一幀視頻圖像0，將其預分割成超像素集合S ；
[0012]步驟2，取視頻序列中與圖像O相鄰且在圖像O之後的一幀圖像01，根據這兩幀視頻圖像得到O中每個位置像素的水平運動速度矩陣u和垂直運動速度矩陣V ；
[0013]步驟3，根據水平運動速度矩陣u和垂直運動速度矩陣V得到每一個像素點的速度
幅度矩陣V = -/u2 + V2 ；
[0014]步驟4，使用中值濾波器對矩陣V進行中值濾波，得到矩陣Vl ；
[0015]步驟5，使用高斯濾波器對Vl進行高斯濾波，得到矩陣V2 ；
[0016]步驟6，對矩陣V2進行二值化，得到矩陣元素的值為O或I的二值化矩陣V3 ；
[0017]步驟7，對V3進行形態學開運算去除雜點，閉運算進行填充空洞，得到一個含雜點較少的二值化矩陣V4 ；
[0018]步驟8，使矩陣V4中矩陣元素的值為I的矩陣元素等於矩陣12中對應位置的標記值，矩陣V4中其他矩陣元素仍為0，得到新的矩陣A，統計矩陣A中的不同標記值，並對所述不同標記值進行由小到大的排序，放入一個含有和A中的不同元素個數相同的一維矩陣B ;如果A中含有B (k)的數量LA (k)和12中含有B(k)的數量LI (k)之比小於等於設定值P，則將矩陣A中等於B (k)的矩陣元素的值標記為O ;
[0019]步驟9，將視頻圖像O中對應於矩陣A中矩陣元素等於O的位置標記為0，其他位置像素值不變，此時像素值為O的區域即為背景區域，像素值不等於O的區域即為運動目標所在的區域，從而提取出運動目標。
[0020]本發明將圖像預分割成多個超像素，將該圖像和其相鄰的幀進行光流法，對光流結果做一些後處理，然後結合超像素結果來提取出運動目標。本發明與現有技術相比具有以下特點:
[0021]1.本發明由於選擇簡單線性迭代聚類算法進行圖像預分割，獲得超像素集合，使每個超像素都具有相同的顏色和空間特徵；本發明在超像素的基礎上分割圖像，不僅能有效保持前景目標的邊緣，而且降低了要處理的圖像數據，提高了計算效率。
[0022]2.本發明利用Horn—Schunck光流法算法實現簡單,運算量較小。
[0023]3.本發明利用簡單線性迭代聚類方法實現了邊緣保持很好的圖像分割，我們可以調節超像素的數量和顏色信息與空間信息所佔的比重，達到我們想要的分割效果。
[0024]仿真實驗結果表明，本發明結合簡單線性迭代聚類算法和Horn—Schunck光流方法有效進行運動目標提取，能獲得具有清晰目標邊緣的運動目標，是一種魯棒性良好的運動目標提取方法。
【專利附圖】
【附圖說明】
[0025]圖1是本發明的流程圖；
[0026]圖2是本發明仿真試驗中使用的四幅原始測試圖像；
[0027]圖3是用現有方法和本發明在第一幅測試圖像上的分割結果；
[0028]圖4是用現有方法和本發明在第二幅測試圖像上的分割結果；
[0029]圖5是用現有方法和本發明在第三幅測試圖像上的分割結果；
[0030]圖6是用現有方法和本發明在第四幅測試圖像上的分割結果。
【具體實施方式】
[0031]以下參照附圖對本發明的具體實現及效果作進一步詳細表述:
[0032]參照圖1，本發明的實施步驟如下:
[0033]步驟1，取視頻序列中的一幀視頻圖像0，將其預分割成超像素集合S。
[0034]首先，取視頻序列一幀視頻圖像0，將該視頻圖像進行圖像預分割，得到每一個像素點的標記；並將分割結果記為矩陣12 ；
[0035]然後，將具有相同標記的像素集合稱為一個超像素，得到η個超像素，分別標識為Si，i = 1，2，...，η，其中，Si為預分割視頻圖像O所得的第i個超像素的標記，獲得預分割
圖像的超像素集^ = ，η表示S所含超像素的個數。
[0036]進行超像素分割的意義就是將圖像分割成不同的區域，每個區域含有一個標記，對應一個標記值。
[0037]將視頻圖像進行圖像預分割具有多種方法，例如可以採用簡單線性迭代聚類方法(SLIC)，也可以採用分水嶺方法獲得輸入圖像的超像素集。
[0038]所述簡單線性迭代聚類算法參見文獻:Radhakrishna Achanta, AppuShaji, Kevin Smith, 「SLIC Superpixels Compared to State-of-the-Art SuperpixelMethods,，，IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.34,n0.11, NOVEMBER 2012。
[0039]步驟2，取視頻序列中與圖像0相鄰且在圖像0之後的一幀圖像01，根據這兩幀圖像得到O中每個位置像素的水平運動速度矩陣u和垂直運動速度矩陣V。
[0040]根據這兩幀圖像得到水平運動速度矩陣U和垂直運動速度矩陣V可以採用對這兩中貞視頻圖像應用Horn—Schunck光流法來確定出運動目標的粗略位置，進而得到水平運動速度矩陣u和垂直運動速度矩陣V。[0041]所述Horn—Schunck 光流法參見文獻:Horn B K P, Schunck B G.Determiningoptical flow[J].Artificial Intelligence, 1981，17 (1-3):185 ?204.[0042]步驟3，根據水平運動速度矩陣u和垂直運動速度矩陣V得到每一個像素點的速度
幅度矩陣V = Vu2 +V2。
[0043]步驟4，使用中值濾波器對矩陣V進行中值濾波，得到矩陣Vl。
[0044]中值濾波器的窗口大小為N*N。優選地，採用窗口大小為3*3的中值濾波器進行濾波。
[0045]所謂窗口大小為3*3的中值濾波器的中值濾波，就是將3X3覆蓋區域的9個像素值值排序之後的中間值作為該區域內中心的像素值。
[0046]步驟5，使用高斯濾波器對Vl進行高斯濾波，得到矩陣V2。
[0047]高斯濾波器寬度(決定著平滑程度)是由參數sigma表徵的，sigma越大，高斯濾波器的頻帶就越寬，平滑程度就越好.窗口的大小也可以調整。
[0048]經多次試驗證實，採用sigma為0.8，窗口大小為3*3的高斯濾波適合處理本發明處理的圖像
[0049]步驟6，對矩陣V2進行二值化，得到一個二值化矩陣V3。
[0050]所謂二值化操作，是將原來矩陣中的元素全部變為O或I兩個值，相當於將與矩陣元素對應的圖像上的像素點的灰度值設置為O或1，使得整個圖像呈現出只有黑和白的視覺效果，視覺效果明顯。
[0051]二值化的閾值level可以通過大津(OSTU)閾值分割方法得到的閾值，也可以是人工設定閾值。將低於閾值的像素值設定為0，大於等於閾值的像素值設定為I。
[0052]步驟7，對V3進行形態學開運算去除雜點，閉運算進行填充空洞，得到一個含雜點較少的二值化矩陣V4。
[0053]雜點是指圖像中的一些噪聲斑點。
[0054]空洞是指在一個物體內部含有的空洞區域，也就是空心的意思。
[0055]腐蝕操作會去掉物體的邊緣點，細小物體所有的點都會被認為是邊緣點，因此會整個被刪去。再做膨脹時，留下來的大物體會變回原來的大小，而被刪除的小物體則永遠消失了。膨脹操作會使物體的邊界向外擴張，如果物體內部存在小空洞的話，經過膨脹操作這些洞將被補上，因而不再是邊界了。再進行腐蝕操作時，外部邊界將變回原來的樣子，而這些內部空洞則永遠消失了。先腐蝕後膨脹的過程稱為開運算。用來消除小物體、在纖細點處分離物體、平滑較大物體的邊界的同時並不明顯改變其面積。閉運算是先膨脹後腐蝕的過程，其功能是用來填充物體內細小空洞、連接鄰近物體、平滑其邊界，同時不明顯改變其面積。
[0056]形態學開和閉的結構元素(sterl)大小和形狀我們可以根據需要自行設定大小。
[0057]所謂結構元素，就是開運算和閉運算要消除或者填充的細小空洞的大小。
[0058]在對V3進行形態學開運算去除雜點，閉運算進行填充空洞時，如果還有一些空洞，則將這些空洞填充，用MATLAB實現時，可以使用MATLAB中的填充函數imfill操作，得到一個含雜點較少的二值化矩陣V4。
[0059]步驟8，使矩陣V4中矩陣元素的值為I的矩陣元素等於矩陣12中對應位置的標記值，矩陣V4中其他矩陣元素仍為0，得到新的矩陣A，統計矩陣A中的不同標記值，並對所述不同標記值進行由小到大的排序，放入一個含有和A中的不同元素個數相同的一維矩陣B ;如果A中含有B (k)的數量LA (k)和12中含有B(k)的數量LI (k)之比小於等於設定值P，則將矩陣A中等於B (k)的矩陣元素的值標記為O。
[0060]通過實驗證實，P的範圍為[0.7，I]是一個優選的範圍。
[0061]具體實現時，可以設定一個和表示原圖像的矩陣大小相同的空矩陣A，如果V4(i, j)=1,則A(i, j)=I2(i, j) ;A中除標記值為O的元素外還有其他標記值,統計出A中所含有的不同標記值，並進行由大到小的排序，將這些不同標記值作為矩陣的元素形成一維矩陣B ;計算出A中對應於各個標記B (k) (B中第k個元素)的個數LA(k)，同時統計出12中含有各個標記B (k)的個數LI (k)，若LA (k)/LI(k)小於等於設定值時，則A中等於B (k)的元素的值設為O。
[0062]步驟9，將視頻圖像O中對應於矩陣A中矩陣元素等於O的位置標記為0，其他位置像素值不變，此時含有黑色的區域即為背景區域，像素值不等於O的區域即為運動目標所在的區域，從而提取出運動目標。
[0063]依據超像素標記向量A【見步驟8中，如果V4 (i, j) =1,則A(i, j)=I2(i, j);可以實現A由空矩陣變為超像素標記矩陣】，將標記為O的超像素顏色設置為黑色，標記為非O的超像素的顏色保持不變，輸出並顯示結果圖像。
[0064]本發明的效果可以通過以下實驗進一步說明:
[0065]1.仿真條件:
[0066]在CPU 為 penti`um(R) 4 處理器:主頻 1.86GHZ,內存 2G，作業系統:WIND0WSXP SP3,仿真平臺:Matlab7.10平臺上進行。
[0067]仿真圖像選擇圖2所示的四幅原始測試圖像，其中，圖2 (a)為手機圖像，圖2 (b)為people圖像，圖2 (C)為玩具圖像，圖2 Cd)為人圖像。
[0068]2.仿真內容:
[0069]仿真1，利用本發明方法與現有的光流法，幀間差分法和VIBE運動目標提取方法分別對圖2 (a)所示的手機圖像進行分割，結果如圖3，其中圖3 (a)是利用本發明方法分割的結果，圖3 (b)是利用幀間差分法分割的結果，圖3 (C)是利用光流法分割的結果，圖3 (d)是利用VIBE運動目標提取方法分割的結果。
[0070]從圖3可見，本發明能有效保持手機的邊緣以及手機本身的數據一致性，有效的將手機這一前景目標從背景中提取出來，分割結果穩定；幀間差分方法將手機周圍的背景信息也提取出來了 ；光流法提取了更多的周圍背景信息，其同質區域一致性差，分割結果不夠穩定，VIBE方法極大的依賴於關鍵幀的選取。
[0071]仿真2，利用本發明方法與現有的光流法，幀間差分法和VIBE運動目標提取方法分別對圖2 (b)所示的people圖像進行分割，結果如圖4，其中圖4 (a)是利用本發明方法分割的結果，圖4 (b)是利用幀間差分法分割的結果，圖4 (c)是利用光流法分割的結果，圖4 (d)是利用VIBE運動目標提取方法分割的結果。
[0072]從圖4可見，本發明能能完整的將人從複雜的背景中提取出來，邊緣光滑且清晰，能良好的保持同質區域一致性，沒有噪聲點，而且分割結果穩定；；幀間差分方法將人所處的背景信息也提取出來了 ；光流法提取了更多的周圍背景信息，將其誤認為是前景，其同質區域一致性差，分割結果不夠穩定，VIBE方法極大的依賴於關鍵幀的選取，提取出的結果含有很多空洞和噪點。
[0073]仿真3，利用本發明方法與現有的光流法，幀間差分法和VIBE運動目標提取方法分別對圖2 (C)所示的玩具圖像進行分割，結果如圖5，其中圖5 (a)是利用本發明方法分割的結果，圖5 (b)是利用幀間差分法分割的結果，圖5 (C)是利用光流法分割的結果，圖5 (d)是利用VIBE運動目標提取方法分割的結果。
[0074]從圖5可見，本發明能能完整的將玩具從複雜的背景中提取出來，邊緣光滑且清晰，能良好的保持同質區域一致性，沒有噪聲點，而且分割結果穩定；；幀間差分方法將玩具所處的背景信息也提取出來了 ；光流法提取了更多的周圍背景信息，將其誤認為是前景，其同質區域一致性差，分割結果不夠穩定，VIBE方法極大的依賴於關鍵幀的選取，提取出的結果含有很多空洞和噪點。
[0075]仿真4，利用本發明方法與現有的光流法，幀間差分法和VIBE運動目標提取方法分別對圖2 (d)所示的Akko&Kayo圖像進行分割，結果如圖6，其中圖6 (a)是利用本發明方法分割的結果，圖6 (b)是利用幀間差分法分割的結果，圖6 (C)是利用光流法分割的結果，圖6 (d)是利用VIBE運動目標提取方法分割的結果。
[0076]從圖6可見，本發明能能完整的將人從複雜的背景中提取出來，邊緣光滑且清晰，能良好的保持同質區域一致性，沒有噪聲點，而且分割結果穩定；；幀間差分方法將人所處的背景信息也提取出來了 ；光流法提取了更多的周圍背景信息，將其誤認為是前景，其同質區域一致性差，分割結果不夠穩定，VIBE方法極大的依賴於關鍵幀的選取，提取出的結果含有很多空洞和噪點。
【權利要求】
1.一種運動目標提取方法，包括如下步驟: 步驟I，取視頻序列中的一幀視頻圖像O，將其預分割成超像素集合S ； 步驟2，取視頻序列中與圖像O相鄰且在圖像O之後的一幀圖像01，根據這兩幀視頻圖像得到O中每個位置像素的水平運動速度矩陣u和垂直運動速度矩陣V ； 步驟3，根據水平運動速度矩陣u和垂直運動速度矩陣V得到每一個像素點的速度幅度矩陣V = Vu2+V2 ； 步驟4，使用中值濾波器對矩陣V進行中值濾波，得到矩陣Vl ； 步驟5，使用高斯濾波器對Vl進行高斯濾波，得到矩陣V2 ； 步驟6，對矩陣V2進行二值化，得到矩陣元素的值為O或I的二值化矩陣V3 ； 步驟7，對V3進行形態學開運算去除雜點，閉運算進行填充空洞，得到一個含雜點較少的二值化矩陣V4 ； 步驟8，使矩陣V4中矩陣元素的值為I的矩陣元素等於矩陣12中對應位置的標記值，矩陣V4中其他矩陣元素仍為0，得到新的矩陣A，統計矩陣A中的不同標記值，並對所述不同標記值進行由小到大的排序，放入一個含有和A中的不同元素個數相同的一維矩陣B;如果A中含有B (k)的數量LA (k)和12中含有B(k)的數量LI (k)之比小於等於設定值p，則將矩陣A中等於B (k)的矩陣元素的值標記為O。 步驟9，將視頻圖像O中對應於矩陣A中矩陣元素等於O的位置標記為0，其他位置像素值不變，此時像素值為O的區域即為背景區域，像素值不等於O的區域即為運動目標所在的區域，從而提取出運動目標。
2.如權利要求1所述的運動目標提取方法，其中，步驟I具體包括: (1)取視頻序列一幀視頻圖像0，將該視頻圖像進行圖像預分割，得到每一個像素點的標記；並將分割結果記為矩陣12 ； (2)將具有相同標記的像素集合稱為一個超像素，得到η個超像素，分別標識為Si，i=1，2，...，n，其中，Si為預分割視頻圖像O所得的第i個超像素的標記，獲得預分割圖像的超像素集S = ，η表示S所含超像素的個數。
3.如權利要求2所述的運動目標提取方法，其中，將視頻圖像進行圖像預分割採用簡單線性迭代聚類方法(SLIC)或者分水嶺方法。
4.如權利要求1、2或3所述的運動目標提取方法，其中，根據這兩幀視頻圖像得到O中每個像素的水平運動速度矩陣u和垂直運動速度矩陣V採用對這兩幀視頻圖像應用Horn—Schunck光流法。
5.如權利要求1所述的運動目標提取方法，其中，中值濾波器的窗口大小為N*N。
6.如權利要求5所述的運動目標提取方法，其中，中值濾波器的窗口大小為3*3。
7.如權利要求1所述的運動目標提取方法，其中，高斯濾波器的sigma為0.8，窗口大小為3*3。
8.如權利要求1所述的運動目標提取方法，其中，步驟7中在對V3進行形態學開運算去除雜點，閉運算進行填充空洞時，如果還有一些空洞，則將這些空洞填充，得到一個含雜點較少的二值化矩陣V4。
9.如權利要求1所述的運動目標提取方法，其中，設定值P的範圍為[0.7，1]。
【文檔編號】G06T7/20GK103871076SQ201410069241
【公開日】2014年6月18日 申請日期:2014年2月27日 優先權日:2014年2月27日
【發明者】侯彪, 焦李成, 賀麗麗, 鄭喆坤, 王爽, 張向榮, 馬文萍, 馬晶晶 申請人:西安電子科技大學