一種基於超體素圖割的視頻顯著物體分割方法
2023-06-03 11:22:06
一種基於超體素圖割的視頻顯著物體分割方法
【專利摘要】本發明公開了一種視頻中顯著物體的分割方法，包括：步驟1，利用超像素計算視頻序列中每一幀的靜態顯著性得到靜態顯著圖；步驟2，利用超像素計算視頻序列中每前後兩幀的光流計算每一幀的動態顯著性得到動態顯著圖；步驟3，對靜態顯著圖和動態顯著性進行融合處理得到動靜態顯著圖；步驟4，計算視頻序列中每一幀的「類物體性」圖；步驟5，計算視頻序列的時空「過分割」，並將靜態顯著值、動態顯著值和「類物體性」值分別映射到視頻的時空「過分割」上；步驟6，建立關於顯著性、「類物體性」以及持續性的分割能量函數，在時空「過分割」即超體素級別對每一視頻幀採用迭代的「圖割」來優化該能量函數對每一幀進行二元分割，得到顯著的前景物體。
【專利說明】
一種基於超體素圖割的視頻顯著物體分割方法
【技術領域】
[0001]本發明涉及計算機視覺【技術領域】，具體涉及一種基於超體素圖割的視頻顯著物體分割方法，該方法是基於動靜態顯著、類物體性以及持續性的視頻顯著物體分割方法。
【背景技術】
[0002]視頻序列中顯著物體的分割作為視頻處理的基礎，在計算機視覺的多個領域有著廣泛的應用，如視頻摘要，人體行為識別，視頻檢索，視頻中物體識別，視頻活動分析等。對視頻序列中物體的分割的普遍性難題包括攝像機的運動，背景的運動和變化，以及前景顯著物體自身的運動和形變。視頻序列中顯著物體的分割主要可分為非自動分割和自動分割兩大類。
[0003]非自動分割:該方法需要用戶的參與，用戶被要求手動標註出視頻首幀或是一些關鍵幀中的顯著物體作為初始化數據，後用使用區域跟蹤或是傳播的方式得到視頻序列每一幀的顯著物體分割。該方法的缺點是手動標註繁瑣而耗時，故不適於數據量較大的實際應用。
[0004]自動分割:該方法有多種實現方式:1)基於背景減除的方法:主要是對背景建模及更新，將幀與背景圖像舉行差分得到中差異較大的像素區域。這種方法比較不適合背景運動劇烈變化強的情況。2)基於背景減除的方法:主要是對背景建模及更新，將幀與背景圖像舉行差分得到中差異較大的像素區域。這種方法比較不適合背景運動劇烈變化強的情況。3)基於聚類的方法:如採用運動聚類，軌跡聚類，時空信息聚類等，但此方法不太適合物體自身運動複雜的情況，如有物體自身內部會發生運動的情況。4)基於物體提案的方法，該方法一般先把視頻幀分為很多可能包含有物體的聚類，再在這些可能包含物體的聚類上處理分割，此方法的複雜度會比較高。
[0005]雖然分割已經是一個研究多年的課題，但由於視頻數據的急劇增加，對視頻物體自動分割的需求也隨之增大。而且視頻物體分割不可避免會面對背景運動和變化以及前景物體自身複雜運動和形變的不確定性及困難。因此有必要提供一種適用於普通用戶使用的成本低而且便捷並具有準確性和實用性的分割視頻顯著物體的方法。
【發明內容】
[0006]為了解決現有技術的問題，本發明的目的是提供一種基於「圖割(Graph cut) 」的視頻顯著物體分割方法。
[0007]為了達成所述目的，本發明利用了物體的外觀，運動，類物體性以及持續性信息的信息構造能量方程，減少了運動背景的幹擾，並利用圖像過分割——超像素和視頻時空過分割一超體素來降低算法的複雜度。
[0008]根據本發明提出的超體素圖割的視頻顯著物體分割方法，包括步驟:
[0009]步驟1，對視頻序列中第一幀中的顯著物體進行分割，該步驟進一步包括:步驟101，對該幀進行過分割得到超像素；步驟102，通過顏色特徵的對比和分布來計算靜態顯著性圖；步驟1033，通過光流的量級的對比和連續來計算動態顯著性圖；步驟104:融合靜態顯著圖和動態顯著圖，得到動靜態顯著圖；步驟105:計算第一幀的類物體性，計算出潛在的各個物體的ROI候選區域；步驟106，將動靜態顯著圖和物體ROI進行融合，濾過不必要的ROI區域；步驟107，以ROI區域以及動靜態顯著性為弱約束，構造能量方程，用迭代的「圖割」進行分割得到顯著物體的估計；步驟2，對視頻序列除第一幀之外的每一幀的顯著物體進行分割，該步驟進一步包括:步驟201:將前一幀的估計區域作為先驗傳播到下一幀；步驟202:對該幀使用步驟101，102，103，105計算得到各種所需的中層特徵值；步驟203:計算視頻的時空過分割，構造關於外觀，運動，類物體性以及持續性的能量方程，用「圖割」最小化該能量方程得到顯著物體分割。
[0010]本發明的有益效果:本發明用基於圖像過分割——超像素利用顏色和光流的對比以及連貫性分別得到靜態和動態顯著圖，超像素的使用降低了算法的複雜度，而不僅考慮特徵對比也考慮分布的方法也降低了背景中一些與前景顏色相近的物體的幹擾。類物體性的計算又進一步增加了分割的依據，提升了準確性。並且基於視頻時空過分割一超體素為單位來使用「圖割」方法也進一步降低了時空複雜度，加之「圖割」本身是線性的複雜度，這樣的運用使得算法的計算成本降低，比較實用無需專業的昂貴的設備。與傳統的非自動的視頻物體分割方法的不同點在於，本發明無需專業人員的手動標註，同時能實現較高質量的視頻序列中顯著物體分割。
【專利附圖】
【附圖說明】
[0011]圖1為本發明基於超體素圖割的視頻顯著物體分割方法的流程圖；
[0012]圖2A為視頻幀單幀的原始圖像；
[0013]圖2B為視頻幀單幀的過分割，即超像素的示意圖；
[0014]圖3為視頻幀的靜態顯著性的示意圖；
[0015]圖4為視頻幀的動態顯著性的示意圖；
[0016]圖5為視頻幀的類物體性的示意圖；
[0017]圖6為視頻幀的像素級類物體性的示意圖；
[0018]圖7為視頻幀的融合的動靜態顯著性的示意圖；
[0019]圖8為視頻顯著超體素結果示意圖；
[0020]圖9為視頻顯著物體分割的結果示意圖；
[0021]圖10為動、靜態顯著圖融合的結果示意圖，從左到右依次為視頻幀原圖、動態顯著性圖、靜態顯著性圖、融合得到的動靜態顯著圖:
[0022]圖11為分割結果圖，最左邊線條圈出的是分割區域，然後從左向右分別是動靜態顯著性融合圖，動態顯著圖，靜態顯著圖，類物體性圖。
【具體實施方式】
[0023]下面將對本發明加以詳細說明，應指出的是，所描述的實施例僅旨在便於對本發明的理解，而對其不起任何限定作用。
[0024]本發明是基於動靜態顯著性、類物體性以及持續性利用「圖割」對視頻序列中顯著物體進行分割的方法。該方法分為兩個階段，對首幀的處理階段和對每一幀的分割處理。第一階段是對視頻首幀的預處理得到首幀的顯著物體區域估計，因為由於首幀時序上的局限性以及其在傳播上的重要性，故對首幀進行了預處理以期望達到更為準確的結果；第二階段是對視頻幀逐一處理得到每一幀的顯著物體分割，這一步驟是核心步驟，其中能量方程的設計圍繞物體的外觀，運動，類物體性和持續性旨在降低背景變化和物體自身形變及運動等幹擾的影響。
[0025]根據本發明的方法，首先通過預處理得到首幀的顯著物體區域估計，然後利用超像素計算視頻序列中每一幀的靜態顯著性，得到靜態顯著圖；利用超像素計算視頻序列中每前後兩幀的光流，計算每一幀的動態顯著性，得到動態顯著圖；對靜態顯著圖和動態顯著性進行融合處理得到動靜態顯著圖；計算視頻序列中每一幀的類物體性圖；計算視頻序列的時空過分割——超體素，並將像素級別的靜態顯著值、動態顯著值和類物體性值分別映射到視頻的時空過分割上；建立關於顯著性，類物體性以及持續性的分割能量函數，在時空過分割級別對每一視頻幀採用「圖割」來優化該能量函數對每一幀進行二元分割，得到顯著的前景物體。
[0026]圖1為本發明的基於超體素圖割的視頻顯著物體分割方法。
[0027]根據本發明的視頻顯著物體分割方法，包含以下步驟:
[0028]步驟1，首先，對視頻序列中的每一幀圖像使用K-MEANS算法進行過分割得到超像素。超像素示意圖如圖2所示。
[0029]在該步驟，基於每一幀圖像的Iab顏色和位置坐標X，y的5維信息，對具有相似顏色的且較為鄰近的像素進行聚類，得到單幀圖像的過分割，其中Iab值指Iab顏色空間的3個維度，x，y為像素的橫縱坐標；得到的顏色相似和空間近似的過分割。圖2是過分割的示意圖。由於過分割區域大多保留了進一步進行圖像分割的有效信息，且一般不會破壞圖像中物體的邊界信息，可以直接在超像素上來對圖像進行處理降低了計算成本。
[0030]步驟2，計算視頻幀的靜態顯著圖和動態顯著圖。
[0031]在該步驟，所述靜態顯著圖和動態顯著圖都需要先計算中心周圍對比的顯著性圖以及分布緊湊的顯著性圖。靜態顯著圖首先計算的是顏色對比的顯著性圖和顏色一致性分布的顯著性圖，而最終靜態顯著圖是兩者的融合；動態顯著性圖也同理是由計算光流量值的對比顯著性圖和光流量值的運動連貫性的顯著圖融合得到的。
[0032]靜態的顏色對比是按以下公式計算得到的:
[0033]Csj = YjtI= \ w(Pj>Pk) χ \\Cj - ck||2(I)
[0034]其中，N為視頻幀過分割的總數目；CSj為第j個超像素的靜態顏色對比，j的取值範圍為I到N ；Cj為第j個超像素的Lab顏色平均值，Ck為第k個超像素的Lab顏色平均值，k從I取到N ；pj為第j個超像素中的所有像素的位置平均值，j的取值範圍為I到N,Pk為第k個超像素的的所有像素的位置平均值，k從I取到N ；w(pj, pk)為關於位置關係的係數，既可以設置為常數I也可以設置為隨超像素之間位置關係(距離)而變化的權重，此處設置該係數為高斯權重W(PpPfc) -Pfcll )丨Z1.1 Cj-Ck I為Cj與Ck的差值，其差值越大Cs」靜態顏色對比就越大,對比越大就意味該超像素在顏色方面越獨特。
[0035]動態的運動量級的對比公式如下:
[0036]Cny = Σ/)=.ι w(pj,pk) χ (I _ e_D(H//力?))(2)
[0037]其中，Cmj為第j個超像素的動態運動對比；Pj同樣為第j個超像素中的所有像素的位置平均值，j的取值範圍為I到N，N為視頻幀過分割的總數目，pk為第k個超像素的的所有像素的位置平均值，k從I取到N ；w(Pj, pk)為係數既可以設置為常數I也可以設置為隨分割位置關係(距離)而變化的權重，此處該係數同樣被設置為高斯權重為第j個超像素的光流量級直方圖，j的取值範圍為I到N, Hfk為第k個超像素的光流量級直方圖，k從I取到N，本文算法所涉及的光流量級直方圖深度均為2，即第一層是橫坐標方向的光流量級直方圖，第二層是縱坐標方向的光流量級直方圖，這樣的直方圖設置不僅考慮了光流量級即運動大小的分布，同時也在一定程度上考慮了運動方向；D(Hfj，Hfk)為光流量級直方圖HA與Hfk的卡方距離，由於卡方距離的取值範圍為O到正無窮，在此故利用了負指數函數將O到正無窮的卡方距離映射O到1，以便於計算，這樣就，光流量級直方圖HA與Hfk的卡方距離越大，Cmj動態運動對比也越大,對比越大就意味著該超像素在運動強度方面越獨特。
[0038]靜態的分布緊湊變化度的計算公式如下:
[0039]Dsj = Efc=I w(cr ck) x \\Pk -"4丨|2(3)
[0040]其中，Dsj為第j個超像素的靜態分布緊湊變化度，第j個超像素在空間上的變化越低，Dsj值則越低即該超像素在空間上更緊湊；w(Cj，ck)為關於超像素間顏色相似性的係數，既可以設置其為常數1，也可以設置其為隨超像素顏色相似性變化的權重，此處設置該係數為高斯權重= e("^fllC^CfeH2)/z..Pk為第k個超像素的所有像素位置的平均值；N為視頻幀過分割的總數目；而/iC; = Σ?=? w(cj> ck) XPk，從Cj表示與第j
個超像素具有相似顏色的超像素的位置平均值。
[0041]動態的運動連續變化度的計算公式如下:
[0042]Dmj = ELi W(Hfj, Hfk) X Ilpfe - "m/||2(4)
[0043]其中，Dmj為第j個超像素的動態運動連續變化度；w(Hfj, Hfk)為關於超像素間運動量級直方圖相似性的係數，…(////,片幾)=IHfj為第j個超像素的光流量級直方圖，Hfk為第k個超像素的光流量級直方圖，D(HfrHfk)為光流量級直方圖Hfj與Hfk之間的卡方距離，光流量級直方圖HA與Hfk越不相似，w(HfJ; Hfk)的值就越大；而
μη\] = Σ?=ι w(Hfj, Hfk) X ，μ m」表示具有與Hf」相似光流量級直方圖的過分割的位置的平均值，其中Pk為第k個超像素的所有像素位置的平均值。
[0044]靜態顯著圖Ss由靜態的顏色對比Cs和靜態的分布緊湊度Ds融合，融合公式為:
[0045]Ssj = Csj X e~DsJ(5)
[0046]其中，Ssj為第j個超像素的靜態顯著性，Csj為第j個超像素的靜態顏色對比，Dsj為第j個超像素的靜態分布緊湊變化度；Cs]越大且Ds^越小,則Ssj值越大。
[0047]動態顯著圖Sm由動態的運動對比Cm和動態的運動連續度Dm融合，融合公式為:
[0048]Smj- = Crrij X Q~Dmi(6)
[0049]其中，Smj為第j個超像素的動態顯著性，Cmj為第j個超像素的動態運動對比，Dmj為第j個超像素的動態運動連續變化度越大且Dn^_越小,則Sn^_值越大。
[0050]視頻幀的靜態顯著性的示意圖如圖3所示，而是視頻幀的動態顯著性的示意圖如圖4所示。
[0051]步驟3，執行靜態顯著圖與動態顯著圖的融合。
[0052]在該步驟採取的策略是，靜態顯著性圖Ss與動態顯著性圖Sm互為補充，由於人類注意力更容易被運動所吸引，故具有很高的運動顯著性的區域保留，而沒有很高的運動顯著性的區域很可能是光流算法或是背景運動帶來的噪音，它們需要與靜態顯著圖結合來考量，融合公式如下:
【權利要求】
1.一種超體素圖割的視頻顯著物體分割方法，該方法包括以下步驟: 步驟1，對視頻序列中第一幀中的顯著物體進行分割，該步驟進一步包括: 步驟101，對該幀進行過分割得到超像素；步驟102，通過顏色特徵的對比和分布來計算靜態顯著性圖；步驟103，通過光流的量級的對比和連續來計算動態顯著性圖；步驟104，融合靜態顯著圖和動態顯著圖，得到動靜態顯著圖；步驟105，計算第一幀的類物體性，計算出潛在的各個物體的ROI候選區域；步驟106，將動靜態顯著圖和物體ROI進行融合，濾過不必要的ROI區域；步驟107，以ROI區域以及動靜態顯著性為弱約束，構造能量方程，用迭代的「圖割」進行分割得到顯著物體的估計； 步驟2，對視頻序列除第一幀之外的每一幀的顯著物體進行分割，該步驟進一步包括: 步驟201，將前一幀的估計區域作為先驗傳播到下一幀；步驟202:對該幀使用步驟101，102，103，104，105計算得到各種所需的中層特徵值；步驟203，計算視頻的時空過分害I]，構造關於外觀、運動、類物體性以及持續性的能量方程，用「圖割」最小化該能量方程得到顯著物體分割。
2.如權利要求1所述的方法，其特徵在於，所述步驟101進一步包括:基於每一幀圖像的Iab顏色和位置X，y的信息對具有相似顏色的且較為鄰近的像素進行聚類，得到單幀圖像的過分割，即超像素，其中Iab值指Iab顏色空間的3個維度，x, y為像素的橫縱坐標。
3.如權利要求1所述的方法，其特徵在於，步驟102，103進一步包括:所述靜態顯著圖和動態顯著圖都需先計算中心周圍對比的顯著性圖以及分布緊湊的顯著性圖，靜態顯著圖首先計算的是顏色對比的顯著性圖和顏色一致性分布的顯著性圖，而最終靜態顯著圖是兩者的融合；動態顯著性圖也是由計算光流量值的對比顯著性圖和光流量值的運動連貫性的顯著圖融合得到的。
4.如權利要求1所述的方法，其特徵在於，步驟104進一步包括:分析動態顯著圖和靜態顯著圖各自的優點和不足，採用閾值控制以分段函數來融合靜態顯著圖和動態顯著圖，得到動靜態顯著圖。
5.如權利要求1所述的方法，其特徵在於，步驟105進一步包括:使用類物體性檢測器檢測該幀是否是物體的ROI區域。
6.如權利要求1所述的方法，其特徵在於，步驟106進一步包括:利用ROI區域對動靜態顯著區域的覆蓋程度來過濾掉一些類物體ROI候選，篩選可能包含顯著物體的ROI區域。
7.如權利要求1所述的方法，其特徵在於，步驟107中，建立關於ROI區域以及動靜態顯著圖的能量方程，使用迭代的「圖割」優化使該能量方程最小，最小化分割代價。
8.如權利要求1所述的方法，其特徵在於，步驟201中，前一幀得到的顯著物體分割區域將以光流的運動方向和量級為基礎估計位移，傳播到下一幀。
9.如權利要求1所述的方法，其特徵在於，步驟202中，基於顯著性，顏色對比，邊緣檢測信息，計算像素級別的類物體性圖。
10.如權利要求1所述的方法，其特徵在於，步驟203中，構造能量方程進一步包括基於步驟202傳播的前一幀的先驗估計構造持續性二元項，基於動靜態顯著性圖構造物體外觀一元項，基於外觀顏色構造關於顏色連續性的二元項，基於類物體性構造關於物體的二元項；最後依然使用迭代的「圖割」優化使該能量方程最小，最小化分割懲罰，從而得到二元分割。
【文檔編號】G06T7/00GK104134217SQ201410366737
【公開日】2014年11月5日 申請日期:2014年7月29日 優先權日:2014年7月29日
【發明者】吳懷宇, 潘春洪, 鄭薈 申請人:中國科學院自動化研究所