一種融入稀疏匹配信息的立體圖像同步分割方法
2023-05-08 03:01:31
一種融入稀疏匹配信息的立體圖像同步分割方法
【專利摘要】本發明涉及一種融入稀疏匹配信息的立體圖像同步分割方法。首先輸入一組立體圖像，通過提取特徵點並匹配的方法得到立體圖像之間的稀疏匹配對應點。然後，在其中一圖中通過筆刷勾畫的方式，指定部分前、背景。根據指定部分分別建立前、背景的顏色分布的先驗統計模型。以此為基礎，在圖割理論框架下形式化對應關係約束以及顏色、梯度等約束，構造能量函數。最後，採用圖的最大流/最小割算法求解最優化結果。若用戶沒有得到理想的效果，還可以繼續對圖中錯誤區域進行勾畫，直到得到理想結果。與現有方法相比，在同樣的交互量的前提下，本發明的分割效果更好。
【專利說明】—種融入稀疏匹配信息的立體圖像同步分割方法
【技術領域】
[0001]本發明屬於計算機視覺、計算機圖形學和圖像處理等交叉領域，涉及一種融入稀疏匹配信息的立體圖像同步分割方法。
【背景技術】
[0002]近年來，3D攝影、電視、電影以及監控技術得到快速發展，大量立體圖像數據隨之湧現出來。針對立體圖像的相關處理的研究也因此變得火熱。交互式立體圖像分割是立體圖像處理中一個非常重要的子課題。立體圖像交互式分割即通過簡單的用戶交互，實現立體圖像中感興趣目標物的智能選擇。現有專門針對立體圖像進行分割的方法，多通過計算視差圖或匹配關鍵點的方法得到立體圖像間的對應關係。然後，將對應關係約束，連同圖像內的顏色、梯度等線索，共同實現立體圖像的同步分割。基於視差圖的方法，例如Price等人在 2011 年的 ICCV 上發表的 「StereoCut:Consistent Interactive Obiect Select1nin Stereo Image Pairs」中，利用視差圖決定的立體圖像間的稠密對應信息,計算複雜度高。另外，現有計算視差圖的算法得到的視差圖存在誤差，StereoCut方法並沒有對視差圖誤差做出判斷和糾正，降低了分割過程的智能化程度。基於關鍵點匹配的方法採用關鍵點確定的立體圖像間的稀疏對應，計算效率高於前者。然而，現有基於關鍵點匹配的立體圖像分割同步分割方法對匹配信息的利用率較低，導致智能化程度較低。
【發明內容】
[0003]鑑於現有技術中存在的匹配信息利用率低的問題，本發明力圖將稀疏匹配對應關係和傳統約束項定義在一個統一的理論框架中，充分利用對應關係，提高分割過程的智能化。
[0004]為實現這個目標，本發明採取如下技術方案:首先輸入一組立體圖像之，通過提取特徵點並匹配的方法得到立體圖像之間的稀疏匹配對應點。然後，在其中一圖中通過例如筆刷勾畫的方式，交互式指定部分前、背景。根據指定部分分別建立前、背景的顏色分布的先驗統計模型。以此為基礎，在圖割理論框架下形式化對應關係約束以及顏色、梯度等約束，構造能量函數。最後，採用圖的最大流/最小割算法求解最優化結果。若用戶沒有得到理想的效果，還可以繼續在圖中添加前、背景線索，直到得到理想結果。本發明同時提供一種簡單的交互方式，保障在關鍵點對應錯誤或缺失時，能夠輕鬆修改分割結果。
[0005]與現有技術相比，本發明具有以下優點:將立體圖像之間的關鍵點對應信息形式化為能量函數項，連同傳統的顏色、梯度約束，在圖割理論框架下實現立體圖像同步分割。相比現有方法，在同樣的交互量的前提下，分割效果更好。
【專利附圖】
【附圖說明】
[0006]圖1為本發明所涉及方法的流程圖；
[0007]圖2為應用本發明與現有方法進行圖像分割的效果比較:(a)、(b)為輸入的左、右圖像；(c)、(d)是採用Price等人在2011年的ICCV上發表的「StereoCut ConsistentInteractive Object Select1n in Stereo Image Pairs」中的方法計算的結果；圖 2 (e)、(f)為本發明的分割結果，圍繞目標物的閉合線為分割目標物的輪廓；兩種方法所用的用戶輸入在(c)、(e)圖中顯示，目標物內部的實線(在分割後的輪廓內部)指示前景，目標物外部的虛線(在分割後的輪廓外部)指示背景；
[0008]圖3為應用本發明的添加對應點的交互方法改善分割結果:(a)為添加對應點前的左右圖的分割結果，(b)是添加對應點效果和添加對應點後的左右圖的分割結果，暗色半透明區域標記背景，虛線用於初始標記背景、目標物內部的實線用於初始標記前景，(b)中的白色小方塊和白色圓點是添加的對應點。
【具體實施方式】
[0009]下面結合附圖和【具體實施方式】對本發明做進一步說明。
[0010]本發明的流程如圖1所示，具體包括如下步驟:
[0011 ] 步驟一，提取並匹配立體圖像關鍵點。
[0012]讀入圖像後，對左右視圖中的關鍵特徵點進行提取和匹配。可以選用的關鍵特徵點的描述算子包括SIFT (Scale Invariant Feature Transform)、SURF (Speeded Up RobustFeatures)、ORB (ORiented Brief)等。本發明建議採用SIFT特徵描述子。
[0013]步驟二,添加前、背景線索。
[0014]通過所設計的界面指定部分前、背景像素。本發明的圖例中(見圖2(e))，採用Price 等人在 2011 年的 ICCV 上發表的 「StereoCut:Consistent Interactive ObiectSelect1n in Stereo Image Pairs」中提到的方式,通過滑鼠、觸控螢幕或者手寫筆等輸入設備，通過在圖像上勾畫不同顏色的線條指定部分前、背景像素。如圖2(e)所示，目標物內部的實線覆蓋的像素屬於前景，目標物外部的虛線覆蓋的像素屬於背景。但本發明的後續步驟對於該步驟中所用的前、背景像素的指定方式並無限制，其它方式亦可使用。
[0015]步驟三，定義前、背景顏色先驗模型。
[0016]用F表示用戶指示的前景像素集合，用B表示用戶指示的背景像素集合。前、背景的顏色模型可採用GMM (高斯混合模型)、直方圖、顏色類簇等模型，通過F與B中的像素顏色值的集合擬合或統計得到。本發明建議採用K-means聚類方法，在後續的說明過程中，均以此方法計算得到的顏色模型為基礎。採用K-means聚類方法對F與B中的像素的顏色值分別進行聚類，得到N。個前景顏色類簇{CDndNc，Mc個背景顏色類簇&，分別表示前、背景的顏色分布統計模型。本發明建議N。= M。= 64。
[0017]步驟四，定義能量函數。
[0018]立體圖像I = {I1, IrI可以表示成一個無向圖G =〈V，ε >。其中，ν為圖G中的節點集合，ε為邊的集合。圖G中的每個頂點，對應立體圖像I中的一個像素。圖像中除集合F和集合B中的像素外，其餘像素設定屬於集合U。交互式立體圖像同步分割是在輸入的線索的約束下，為U中的每個像素Pi賦予一個標籤Xi。Xie {1，0}，分別表示前、背景。圖G中的邊包含圖像內相鄰像素的連接邊，以及稀疏關鍵點匹配決定的立體圖像對應點之間的連接邊。
[0019]求解上述二元標記問題，可視為求解使得以下能量函數最小化的標記集合:
E(Ar) = Ad Z Zo(Pi^i) + h Z fB(PhPj) \x-1 —
[0020]mel(P1-Pj)ewB
+々.^(pl,pr)eNCfM-Pj) \χ-- - XI\(!)
[0021]其中，fD(Pi，Xi)為數據項，又稱一元項，表示當前像素Pi到前景和背景已知顏色模型的相似性，相似性越高，數值越大。fB(Pi，Pj)與/c(pLp]0分別是圖像內二元項和圖像間二元項。fB(Pi，Pj)反映出像素與其相鄰像素(Neighbor Pixel)之間的顏色差異，也稱為梯度項。其中，Nb表示的集合包含左右圖中所有像素點的鄰接關係，相鄰元素差異越大，則該二元項的值越小，在計算最大流時，連接這兩個相鄰像素的邊越傾向於被割開。
為立體圖像間的對應關係，也稱為對應項。N。表示所有特徵匹配對。λΒ，λΒ，λ。是調節各能量項之間的權值。
[0022](I)定義顏色約束項
[0023]數據項主要採用像素顏色與前、背景之間的顏色模型的距離來描述該像素與前、背景的相似性:
[0024]fD(pi； Xi) = 1-Pc (Xi I Ci) (2)
[0025]其中，Pe(XiIci)表示給Spi的顏色Ci，該像素被標記為前、背景的概率。(^與七對應模型的距離越小，即相似度越高，則概率值越高，Pi取Xi標籤的可能性越大。那麼，對應的能量函數項fD (Pi，Xi)應當越小，因此有fD(Pi，Xi) = 1-Pc (Xi I Ci) O本發明給出用類簇表達前、背景顏色模型的前提下，P。(Xi I Ci)的表達:
(tfin Λ
I _?__γ I
[0026]Pc(XiIci) =[ mii；(3(
/ _S__r — ?
I,八
V5E 十4
[0027]其中，
[0028]sjnin = min(||C( — ||2) ,n = I,...,ISIc
[0029]Ifnin = mindly — Cf1II2),m = I,...,Mc
[0030](2)定義圖像內梯度約束項
[0031]梯度約束項的作用是:兩相鄰元素顏色越靠近，其梯度約束項的值越大，越不傾向於被分割。本發明對梯度約束項的定義建議如下:
[0032]fisiP1.Pj) =ENb(4)
[0033]該項也可以採用其他形式，如Price等人在2011年的ICCV上發表的「StereoCut:Consistent Interactive Object Select1n in Stereo Image Pairs」 中用到的指數形式。
[0034](3)定義圖像間對應約束項
[0035]對應項的使用，是為了保持立體圖像匹配對應像素標籤(Label)的一致性。本發明設定對於任意O丨,Pf) e 乂，，有:
[0036]fc{p[.prj) = 00(5)
[0037]即對於一對匹配對應像素，設定二者之間的邊的權值為無窮大(在實際編程中，設定為一個很大的值)。避免在通過最優化求解最大流時，割斷這兩個像素之間的邊，造成對應像素標籤的不一致。
[0038]步驟五，求解能量函數最小值。
[0039]本發明採用圖割算法，例如Yuri Boykov等人於2004年在《IEEE Transact1n onΡΑΜΙ》上發表的論文 「An Experimental Comparison of Min-Cut/Max-Flow Algorithmsfor Energy Minimizat1n in Vis1n」中所提出的最大流/最小割算法,通過最優化本發明所定義的能量函數(式(I))，得到最優的標記結果，即分割結果。用戶如對分割結果不滿意，可返回步驟二，繼續添加前、背景線索。每添加一次，將觸發一次分割過程。
[0040]步驟六，添加對應點優化分割結果。
[0041]基於關鍵點匹配得到的某些左右圖對應關係並不正確。為了克服上述問題，本發明提供了一個新的交互方法解決這個問題:基於當前分割結果，用戶交互式對一張圖像中分割正確，但在另外一張圖像中分割錯誤的地方添加一對對應點，圖3(b)給出了交互方法的演示說明。該交互與指定前、背景線索的交互，在本發明的軟體中可同時供選擇使用。
[0042]進行手動匹配並不需要嚴格遵循極線幾何的對應關係，只需要滿足對應點同屬於前景或者同屬於背景區域即可。每添加一個對應點，會觸發一次能量函數更新(即圖結構的更新)和圖割算法求解。給定一組新的匹配對應點，用ΟΓ,ρΓΟ表示用，令:
[0043]?(:{ρ?.ΡΥ) = 00(6)
[0044]該約束保證新的對應點標籤一致。將該約束融合進能量函數(式(I))並採用圖割算法重新求解，得到更新過的分割結果。
[0045]下面給出本發明的一個應用實例。
[0046]為了驗證本發明所述方法的有效性，與Price等人在2011年的ICCV上發表的「StereoCut-Consistent Interactive Obiect Select1n in Stereo Image Pairs，，中的方法進行對比。圖2給出了效果對比。(a)、(b)為輸入的左、右圖像。(c)、(d)是採用StereoCut方法計算的結果；(e)、(f)為本發明的分割結果；兩種方法所用的用戶輸入在(c)、(e)圖中顯示，目標物內部的實線(在分割後的輪廓內部)指示前景，目標物外部的虛線(在分割後的輪廓外部)指示背景。從圖中可看出，在相同交互量的前提下，本發明的方法能夠得到更好的分割結果。而對比方法得到的結果較差。對比方法為了得到更好的結果，需要交互式添加更多的前、背景線索。因此，可以說本發明方法較對比方法智能化程度更高。另外，本發明還可以通過簡單的添加對應點的方式實現分割結果糾正。如圖3(b)圖中連接左右圖中的線的兩端是新加入的特徵點對。圖3(a)顯示了沒有添加這對對應點時的分割效果。(b)圖顯示了添加了對應點後的效果。暗色半透明區域標記分割後的背景，虛線用於初始標記背景、目標物內部的實線用於初始標記前景。可以看出，在添加對應點後分割效果得到了提升。值得一提的是，相比StereoCut，本發明方法所構建的圖結構複雜度大幅降低，導致圖結構的構建和分割求解過程，所耗時間遠少於StereoCut方法。
【權利要求】
1.一種融入稀疏匹配信息的立體圖像同步分割方法，其特徵在於包括以下步驟: 步驟一，讀入圖像，對左右視圖中的關鍵特徵點進行提取和匹配； 步驟二，添加前、背景線索； 通過所設計的界面指定部分前、背景像素；利用滑鼠、觸控螢幕或者手寫筆等輸入設備，通過在圖像上勾畫不同顏色的線條指定部分前、背景像素； 步驟三，定義前、背景顏色先驗模型； 用F表示用戶指示的前景像素集合，用B表示用戶指示的背景像素集合；前、背景的顏色模型可採用高斯混合模型、直方圖、顏色類簇模型，通過F與B中的像素顏色值的集合擬合或統計得到；採用K-means聚類方法對F與B中的像素的顏色值分別進行聚類，得到N。個前景顏色類簇{Ci}n=:Lnc』 Mc個背景顏色類簇%，分別表示前、背景的顏色分布統計模型； 步驟四，定義能量函數； 立體圖像I = U1，〗"}可以表示成一個無向圖G =〈V，ε>;其中，V為圖G中的節點集合，ε為邊的集合；圖G中的每個頂點，對應立體圖像I中的一個像素；圖像中除集合F和集合B中的像素外，其餘像素設定屬於集合U ;交互式立體圖像同步分割是在輸入的線索的約束下，為U中的每個像素Pi賦予一個標籤Xi ；Xi e {1,0},分別表示前、背景；圖G中的邊包含圖像內相鄰像素的連接邊，以及稀疏關鍵點匹配決定的立體圖像對應點之間的連接邊；求解上述二元標記問題，可視為求解使得以下能量函數最小化的標記集合:
E(X) = A0 (p,:, X1) + Ab Z fB(μ；, Pj) \xL - Xj|
Piel{VbVj)eNB+1C Σ 樹 ￡NcfM』P]) M - xJ \(!) 其中，fD(Pi，Xi)為數據項，又稱一元項，表示當前像素Pi到前景和背景已知顏色模型的相似性，相似性越高，數值越大；fB(Pi，Pj)與/KpLK)分別是圖像內二元項和圖像間二元項；?.Β(Ρ?，Ρ」)反映出像素與其相鄰像素(Neighbor Pixel)之間的顏色差異，也稱為梯度項；其中，Nb表示的集合包含左右圖中所有像素點的鄰接關係，相鄰元素差異越大，則該二元項的值越小，在計算最大流時，連接這兩個相鄰像素的邊越傾向於被割去'/Μ#)為立體圖像間的對應關係，也稱為對應項；N。表示所有特徵匹配對；λ D，λΒ，λ。是調節各能量項之間的權值； (I)定義顏色約束項 數據項主要採用像素顏色與前、背景之間的顏色模型的距離來描述該像素與前、背景的相似性:
fD(Pi，Xi) = 1-PcUi I Ci) (2) 其中，P。(Xi I Ci)表示給定Pi的顏色Ci，該像素被標記為前、背景的概率；Ci與Xi對應模型的距離越小，即相似度越高，則概率值越高，Pi取Xi標籤的可能性越大；那麼，對應的能量函數項L(PpXi)應當越小，因此有fD (Pi，Xi) = 1-Pc(XiIci);用類簇表達前、背景顏色模型的前提下，P。(Xi I Ci)的表達式為:
(t產1
I' "V* — I啡如)=Γ ,2(3)
/ _η_ γ = ? 其中，
Sjnin = Itiindlci — Cjf Il2) ,η = I,...,Nc
tf1171 = min(j|C( — C? j|2) , m = I,...,Mc (2)定義圖像內梯度約束項 梯度約束項的作用是:兩相鄰元素顏色越靠近，其梯度約束項的值越大，越不傾向於被分割；對梯度約束項的定義如下: /s(W) =^(4) (3)定義圖像間對應約束項 使用對應項是為了保持立體圖像匹配對應像素標籤(Label)的一致性；對於任意(Pi,Py) ^ Nc，設定: fcip\>Prj) = 00⑶ 即對於一對匹配對應像素，設定二者之間的邊的權值為無窮大，在實際編程中，設定為一個很大的值，避免在通過最優化求解最大流時，割斷這兩個像素之間的邊，造成對應像素標籤的不一致； 步驟五，求解能量函數最小值； 採用圖割算法，通過最優化本發明所定義的能量函數，即式(I)，得到最優的標記結果，即分割結果；如果對分割結果不滿意，返回步驟二，繼續添加前、背景線索；每添加一次，將觸發一次分割過程； 步驟六，添加對應點優化分割結果； 基於當前分割結果，用戶交互式對一張圖像中分割正確，但在另外一張圖像中分割錯誤的地方添加一對對應點；該交互與指定前、背景線索的交互可同時使用； 進行手動匹配並不需要嚴格遵循極線幾何的對應關係，只需要滿足對應點同屬於前景或者同屬於背景區域即可；每添加一個對應點，會觸發一次能量函數更新和圖割算法求解；給定一組新的匹配對應點，用ΟΓ,ρΓΟ表示用，令: ?(:{ν?.ν]χ) = 00((V 該約束保證新的對應點標籤一致；將該約束融合進能量函數，即式(I)，並採用圖割算法重新求解，得到更新過的分割結果。
2.根據權利要求1所述的一種融入稀疏匹配信息的立體圖像同步分割方法，其特徵在於，步驟一所述關鍵特徵點的描述算子包括SIFT、SURF和ORB。
3.根據權利要求1所述的一種融入稀疏匹配信息的立體圖像同步分割方法，其特徵在於，步驟一所述的N。和Mc均取64。
4.根據權利要求1所述的一種融入稀疏匹配信息的立體圖像同步分割方法，其特徵在 於，所述公式(4)也可以採用Price提出的指數形式的模型。
【文檔編號】G06T7/00GK104166988SQ201410327865
【公開日】2014年11月26日 申請日期:2014年7月10日 優先權日:2014年7月10日
【發明者】馬偉, 楊璐維, 段立娟 申請人:北京工業大學