一種多前景目標交互式圖像分割方法
2023-06-15 13:21:16 2
專利名稱：一種多前景目標交互式圖像分割方法
技術領域：
本發明涉及圖像處理和模式識別等技術領域，特別涉及基於圖像像素類別標籤向量多次線性重構和像素類別標籤向量回歸的多前景目標交互式圖像分割方法。
背景技術：
圖像分割是指將用戶感興趣的視覺目標從圖像背景中分離開來，從而將圖像劃分為多個互不相交的子區域。圖像分割可為視覺目標跟蹤、目標分類、目標編輯等後續圖像處理任務提供基礎，在數字娛樂、醫學圖像處理、視頻監控、工業檢測、軍事和體育等各行各業中有著十分重要的應用。經過過去幾十年的研究，圖像分割技術得到了較大的發展。但是，目前並不存在一個通用的分割方法能夠完全自動地分割所有的複雜圖像。其根本原因在於視覺模式分組的不確定性。這種不確定性集中地體現在，一個實體目標，比如行人，通常由多個具有不同視覺外觀的區域所構成，但在構建完全自動的圖像分割方法時卻缺少如何將這些視覺區域組合成所需目標的相關線索。在交互式圖像分割中，基於用戶標註的前景目標和圖像背景，可有效地避免模式分組的不確定性。交互式圖像分割技術一經出現便得到了廣泛的應用。交互式圖像分割方法可以分為基於邊界的方法和基於區域的方法。早期的交互式圖像分割方法，如智能剪刀法、目標抽取法等，均屬於基於邊界的方法。這類方法要求用戶沿著目標邊界勾畫，通常需要花費較長的用戶交互時間。近年來，隨著模式識別技術的發展，研究人員提出了基於區域的交互式圖像分割方法。在人機互動方式上，用戶只需在感興趣的前景目標和圖像背景中通過拖動滑鼠勾畫出一些劃痕，即可完成交互。可見，在這類方法中，用戶提供交互信息的方式更加輕鬆，所需交互時間會更短。相對於基於邊界的分割方法，基於區域的方法充分地利用了圖像的局部空間結構，通常可獲得更精確的分割結果。圖論是構建基於區域的交互式圖像分割方法的一個有力工具。其中，基於圖切割的交互式圖像分割方法是目前使用最廣泛的一種方法。在此方法中，首先對圖上的每一條邊賦權重，然後將用戶標註像素的類別標籤信息在該圖上進行傳播，並採用最大流量/最小切割方法來給出分割結果。像素的類別標籤信息在該圖上的傳播也被研究人員解釋為一個隨機遊走問題。即是說，讓未標註像素在圖上沿帶權重的邊進行隨機遊走。在遊走的過程中，如果首先遇到用戶標註的前景像素，則該像素將被標註為前景目標；否則將被標註為背景目標。但是，分割結果在很大程度上取決於邊權重。同時，為了獲得精確的分割結果， 基於邊權重的方法需要大量的用戶標註，這就增加了用戶的標註工作量。隨後，研究人員提出了多種基於局部判別分析的圖論方法。這類方法並不需要對圖上的每一條邊賦權重，而是在每一個像素的局部窗口鄰域內引入一個判別分析方法，將像素通過其特徵向量直接映射為類別標籤，比如局部線性表示、局部線性變換等方法。隨後，研究人員提出對圖像局部窗口內的每一個像素，分別用其餘像素的類別標籤來估計該像素的類別標籤。比如，對3X3大小的圖像局部窗口，需要執行9次類別標籤估計。相應地，由於需要對圖像局部窗口內的每一個像素的類別標籤進行誤差估計，計算量變得十分龐大。另外，如果圖像局部窗口內像素的顏色相同，這種估計將執行完全相同的計算，從而並不能提高該方法的分割精度。總結起來，這些方法存在圖像分割的精度有限或者計算複雜度較高的缺點，不便於快速準確地呈現交互式分割結果。另外，現有的交互式圖像分割方法主要是針對兩類分類問題而設計的。需要強調的是，多年以來研究人員已經注意到，圖切割方法可以自然地進行擴展並用於處理多類分類問題。但是，圖切割方法需要大量的用戶交互以及對邊權重較敏感等缺點，在多類分類問題中並沒有引起人們的廣泛興趣。在實際應用中，用戶為了將一幅圖像中多個前景目標從背景中分割出來，通常仍依賴於一個較好的兩類分類方法。但是，在實施分割的過程中，用戶需要多次調用兩類分類方法來完成其分割任務。
圖1給出了一個例子。為了分割出圖中的兩個遊客，需要將其中一人當作背景，每次分割出一個遊客，然後將兩次分割結果進行合成。但可能存在另一個問題，即兩次分割的前景區域有可能在邊界附近出現重疊。因此，這種重疊需要額外的方法來進行處理。這種每次只分割出一個前景目標的方法，必然需要較多的用戶參與和較長的用戶等待時間。
發明內容
現有的交互式圖像分割技術主要是針對兩類分類問題而設計的，即一次運行從圖像背景中分割出一個前景目標。當需要從圖像背景中分割出多個前景目標時，需要多次調用兩類分類方法，然後再將分割結果進行合成。這不僅增加了用戶的等待時間，操作起來也不方便，本發明的目的在於克服現有技術難以一次性分割出多於一個前景目標的不足，提供一種一次運行即可從圖像背景中分割出多個前景目標的交互式圖像分割方法。為達成所述目的，本發明提供的多前景目標交互式圖像分割方法的步驟包含步驟Sl 輸入圖像及用戶標註的前景目標和圖像背景，對圖像的每一個像素，在其圖像局部窗口內對其顏色進行線性重構，利用最小二乘估計獲得初始的顏色重構係數， 通過線性投影方法對初始的顏色重構係數進行修正，得到多組修正後的顏色重構係數；步驟S2 對圖像的每一個像素，分別用每一組修正後的顏色重構係數對其類別標籤向量在其圖像局部窗口內進行線性重構，將多次重構誤差進行累加，得到對應於該像素的類別標籤向量的局部重構誤差；步驟S3 累加所有像素的類別標籤向量的局部重構誤差，得到類別標籤向量的全局重構誤差；步驟S4 基於類別標籤向量的全局重構誤差和用戶標註像素的類別標籤信息，構建多前景目標交互式圖像分割模型；步驟S5 以像素顏色及空間坐標組成像素特徵，分別對用戶標註的屬於同一類的像素進行聚類分析，獲得聚類中心；步驟S6 以各聚類中心為訓練樣本通過回歸估計得到一組多項式函數；步驟S7 利用回歸估計得到的多項式函數，對未標註像素進行映射，獲得該像素的類別標籤向量的初始解；步驟S8 以未標註像素的類別標籤向量的初始解為基礎，採用基於二部圖的共軛梯度迭代法求解多前景目標交互式圖像分割模型，獲得未標註像素的類別標籤向量；步驟S9 根據求解獲得的未標註像素的類別標籤向量，判定其類別歸屬，輸出分割結果。優選實施例，對初始的顏色重構係數進行修正的次數由位於圖像局部窗口內的像素顏色自動確定，實現步驟如下給定像素P及其3 X 3大小的圖像局部窗口，記位於該圖像局部窗口內的其它8個鄰居像素為Pl，p2...，P8 ；記Σ ρ為一個3行8列的顏色平移矩陣， 即 \ Vft-Vj，其中 Vp，vfl,···,％ 分別表示像素 p，P1, p2，···，P8 的顏色向量；記％，σ2,…，08為8父8大小的矩陣:ζ ^+τ/Ι按升序排列的特徵值，其中 η為一個正則化參數，I為一個8X8的單位矩陣，上標T表示轉置；將排列好的特徵值ο 」 ο2,…，％序列，從第一個特徵值開始向後逐次分成前後兩段數據，計算前一段特徵值數據之和與後一段特徵值數據之和的比值；如果該比值小於0. 5，則繼續對該特徵值序列進行前後分組；如果該比值大於0. 5，則停止分組，記錄當前已執行的分組次數即為需要對初始的顏色重構係數進行修正的次數。優選實施例，採用線性投影法對初始的顏色重構係數進行修正，得到多組修正後的顏色重構係數，其實現步驟如下記向量Wp記錄像素P的初始的顏色重構係數；記tp為對初始的顏色重構係數進行修正的次數，按如下方法對向量Wp進行tp次修正，得到如下tp 個向量，每個向量記錄一組修正後的顏色重構係數w^1)=(wi)+s1)/2, w^2)=(w^+s2)/2, ···, w(y=(wp+st)/2，式中眾？，W ,…，眾」分別記錄％次顏色重構係數修正後的結果；Sl表示矩陣S的第一列^2表示矩陣S的第二列；\表示矩陣S的第％列；S為由線性投影方向向量導出的顏色重構係數修正矩陣。優選實施例，聚類中心數目默認取值40。優選實施例，所述的一組多項式函數由聚類中心導出，並具有如下形式
權利要求
1.一種多前景目標交互式圖像分割方法，其特徵在於，包括步驟如下步驟Sl 輸入圖像及用戶標註的前景目標和圖像背景，對圖像的每一個像素，在其圖像局部窗口內對其顏色進行線性重構，利用最小二乘估計獲得初始的顏色重構係數，通過線性投影方法對初始的顏色重構係數進行修正，得到多組修正後的顏色重構係數；步驟S2 對圖像的每一個像素，分別用每一組修正後的顏色重構係數對其類別標籤向量在其圖像局部窗口內進行線性重構，將多次重構誤差進行累加，得到對應於該像素的類別標籤向量的局部重構誤差；步驟S3 累加所有像素的類別標籤向量的局部重構誤差，得到類別標籤向量的全局重構誤差；步驟S4 基於類別標籤向量的全局重構誤差和用戶標註像素的類別標籤信息，構建多前景目標交互式圖像分割模型；步驟S5 以像素顏色及空間坐標組成像素特徵，分別對用戶標註的屬於同一類的像素進行聚類分析，獲得聚類中心；步驟S6 以各聚類中心為訓練樣本通過回歸估計得到一組多項式函數； 步驟S7 利用回歸估計得到的多項式函數，對未標註像素進行映射，獲得該像素的類別標籤向量的初始解；步驟S8 以未標註像素的類別標籤向量的初始解為基礎，採用基於二部圖的共軛梯度迭代法求解多前景目標交互式圖像分割模型，獲得未標註像素的類別標籤向量；步驟S9:根據求解獲得的未標註像素的類別標籤向量，判定其類別歸屬，輸出分割結果
2.根據權利要求1所述的方法，其特徵在於，對初始的顏色重構係數進行修正的次數由位於圖像局部窗口內的像素顏色自動確定，實現步驟如下給定像素P及其3X3大小的圖像局部窗口，記位於該圖像局部窗口內的其它8個鄰居像素為Pl，p2. ..，P8 ；記Σ p為一個3行8列的顏色平移矩陣，即
3.根據權利要求1所述的方法，其特徵在於，採用線性投影法對初始的顏色重構係數進行修正，得到多組修正後的顏色重構係數，其實現步驟如下記向量Wp記錄像素P的初始的顏色重構係數；記tp為對初始的顏色重構係數進行修正的次數，按如下方法對向量Wp進行tp次修正，得到如下tp個向量，每個向量記錄一組修正後的顏色重構係數
4.根據權利要求1所述的方法，其特徵在於，聚類中心數目默認取值40。
5.根據權利要求1所述的方法，其特徵在於，所述的一組多項式函數由聚類中心導出， 並具有如下形式
6.根據權利要求1所述的方法，其特徵在於，採用基於二部圖的共軛梯度迭代法求解多前景目標交互式圖像分割模型是將圖像視為一個四連通的格子圖，按空間間隔一行和一列的方式將像素劃分為兩個集合以構成一個二部圖，在用共軛梯度迭代法進行求解時，交替更新對應於兩個像素集合的類別標籤向量。
全文摘要
本發明提供一種多前景目標交互式圖像分割方法，包括步驟對像素顏色在圖像局部窗口內進行線性重構，利用線性投影對顏色重構係數進行多次修正；利用修正後的顏色重構係數對像素類別標籤向量在圖像局部窗口內進行多次線性重構，估計得到局部重構誤差；累加局部重構誤差獲得全局重構誤差；構建多前景目標交互式圖像分割模型；對用戶標註的同一類像素進行聚類分析，獲得聚類中心；以聚類中心為訓練樣本，採用回歸估計得到一組多項式函數；利用多項式函數對未標註像素進行映射，獲得初始解；求解分割模型；判定未標註像素的類別歸屬，輸出分割結果。本發明解決現有技術難以同時分割多個前景目標的問題，具有廣闊的應用前景。
文檔編號G06T5/00GK102360494SQ201110317169
公開日2012年2月22日 申請日期2011年10月18日 優先權日2011年10月18日
發明者向世明, 孟高峰, 潘春洪 申請人:中國科學院自動化研究所