基於混合標記的對象分割方法和系統的製作方法
2023-10-10 10:07:49
專利名稱：基於混合標記的對象分割方法和系統的製作方法
技術領域：
本發明涉及圖像處理技術，具體涉及一種基於混合標記的對象分割方法和系統。
背景技術：
圖像分割的目的是將圖像中感興趣的區域標記出來。根據標記的結果，人們就可以針對特定的感興趣區域進行圖像處理。這種針對特定區域進行圖像處理的需求是圖像處理應用中一個常見需求。但是，能夠高效地將感興趣區域標記出來的方法還不成熟。如果區域本身是規則的，則利用交互式工具(如滑鼠)很容易完成工作。但是，如果感興趣區域是不規則的，則劃分感興趣區域則比較困難。要獲得感興趣區域，需要將所有感興趣區域的邊界像素逐一標記出來。這樣的工作是非常瑣碎和耗費人力的。於是，人們希望用自動或者半自動的方式來抽取感興趣區域。這種感興趣的目標區域被稱作目標對象，簡稱對象或者前景。半自動的對象標記方法就是交互式對象分割。用戶需要告訴計算程序一些對象的信息，電腦程式就可以利用這些信息自動將對象分割出來。如果結果達不到最終目標，用戶可以再增加一些信息。電腦程式再次計算。通過這種交互-分割的迭代方式，就可能一步一步逼近好的分割結果。通常來說，用戶有兩種提供對象信息的方法。第一種是標記對象的邊界，一旦完整的對象邊界被標記出來，對象分割任務就算完成；第二種則是標記對象的部分種子像素，利用種子像素提供的信息，電腦程式實現自動的對象分割。例如，在第二種方式中，用戶可以用滑鼠來標記一些確定的對象像素和背景像素，然後讓計算程序進行目標對象分割。交互式對象分割技術的目標就是儘可能用少的交互獲得精確的分割結果。理想情況，用戶對目標像素進行一個一個標記。然而，這是不現實的。因為對象的像素非常多，完全標記是非常瑣碎和耗費人力的。另一方面，當對象邊界比較簡單的時候，交互式對象分割技術能夠取得較好的分割精度。如果對於複雜情況，分割結果則往往不夠精確。比如，像頭髮這樣的對象，邊界異常複雜，用戶很難標記目標對象的邊界。所以，當這些邊界像素出現分割錯誤或者標記信息不充分時，用戶的標註往往因為不充分標記而獲得較差的結果。因此，目前的分割算法很難處理這種複雜的邊界。專利文獻I (US20080136820A1)提出了一種基於標記的對象分割方法，但是其核心技術仍舊是利用前景和背景兩種標記來獲得分割結果。對於諸如頭髮之類複雜的邊界，該專利文獻I提出的方法仍舊存在困難，分割精度不高。
發明內容
本發明的目的是提出一種基於混合標記的對象分割方法和系統。
根據本發明的一個方面，提出了一種基於混合標記的對象分割方法，包括步驟接收對包含目標對象的圖像中的像素的標記筆劃，所述標記筆劃包括針對目標對象的前景筆劃、針對背景的背景筆劃和不確定是前景還是背景的不確定筆劃；基於所述前景筆劃和背景筆劃建立前景模型和背景模型，以便對圖像中未被不確定筆劃標記的像素分類為前景像素或背景像素；根據分類的前景像素和背景像素，計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值，並且把概率值小於下限的像素確定為背景像素，而把概率值大於上限的像素確定為前景像素。根據本發明的實施例，所述方法還包括步驟將概率值大於所述下限而小於所述上限的像素確定為不確定像素。根據本發明的實施例，所述的方法還包括步驟用預定的閾值將概率值大於所述下限而小於所述上限的像素劃分為前景像素或背景像素。根據本發明的實施例，所述計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值的步驟是基於扣圖算法而進行的。 根據本發明的實施例，所述的前景模型和背景模型是基於混合高斯模型而建立的。根據本發明的另一方面，提出了一種基於混合標記的對象分割系統，包括接收部分，接收對包含目標對象的圖像中的像素的標記筆劃，所述標記筆劃包括針對目標對象的前景筆劃、針對背景的背景筆劃和不確定是前景還是背景的不確定筆劃；分割部分，基於所述前景筆劃和背景筆劃建立前景模型和背景模型，以便對圖像中未被不確定筆劃標記的像素分類為前景像素或背景像素，根據分類的前景像素和背景像素，計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值，並且把概率值小於下限的像素確定為背景像素，而把概率值大於上限的像素確定為前景像素。根據本發明的實施例，所述的系統還包括存儲部分，存儲接收部分所接收的標記筆劃；分析部分，分析所接收的標記筆劃是前景筆劃、背景筆劃還是不確定筆劃，並提供給所述分割部分。根據本發明的實施例，所述分割部分將概率值大於所述下限而小於所述上限的像素確定為不確定像素。根據本發明的實施例，所述分割部分用預定的閾值將概率值大於所述下限而小於所述上限的像素劃分為前景像素或背景像素。根據本發明的實施例，所述分割部分基於扣圖算法計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值。根據本發明的實施例，所述的前景模型和背景模型是基於混合高斯模型而建立的。利用本發明實施例的方法和系統，基於多種標記來對圖像中的對象進行交互式分害I]，能夠處理複雜的邊界情況，獲得高精度的分割結果。
從下面結合附圖的詳細描述中，本發明的上述特徵和優點將更明顯，其中圖I描述了根據本發明實施例的基於混合標記的對象分割系統的整體方框圖；以及圖2示出了根據本發明實施例的基於混合標記的對象分割方法的流程圖。
具體實施例方式下面，參考附圖詳細說明本發明的優選實施方式。在附圖中，雖然示於不同的附圖中，但相同的附圖標記用於表示相同的或相似的組件。為了清楚和簡明，包含在這裡的已知的功能和結構的詳細描述將被省略，否則它們將使本發明的主題不清楚。
圖I描述了根據本發明實施例的基於混合標記的對象分割系統的整體方框圖。如圖I所示，根據本發明實施例的系統包括分割單元110，它根據用戶對輸入圖像的標記結果，從不同類型的標記的筆劃(例如前景、背景和不確定三種類型的標記的筆劃)中建立相應的前景和背景模型，並利用這些標記的筆划進行自動圖像分割；顯示單元120，它將進行了圖像分割的結果顯示出來。然後，用戶觀測分割結果，並根據分割目標判斷當前分割結果是否達到要求，如果沒有到要求，用戶利用諸如滑鼠或手寫筆之類的輸入裝置在分割結果的基礎上進行下一步交互。根據本發明的實施例，分割單元110基於前景筆劃和背景筆劃建立前景模型和背景模型，以便對圖像中未被不確定筆劃標記的像素分類為前景像素或背景像素，根據分類的前景像素和背景像素，計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值，並且把概率值小於下限的像素確定為背景像素，而把概率值大於上限的像素確定為前景像素。根據本發明的實施例，在上一步分割結果之上，用戶對分割結果進行標記，每一次標記的像素集合成為一個標記筆劃。該系統包括接收單元150，它接收用戶通過輸入裝置輸入的標記筆劃。然後，存儲單元140存儲用戶一次交互的所有筆劃。這些筆劃分別對應不同的標記類型，如前景、背景、不確定的邊界。存儲單元140針對筆劃所存儲的內容是該筆劃所覆蓋的像素的位置集合，每一個筆劃對應前景、背景和不確定邊界三種類型中的一個標記類型。根據本發明的實施例，該系統還包括分析單元130，它根據用戶一次交互的若干筆劃，確定不同類型的筆劃分別用於不同的處理過程，以供分割單元110使用。下面結合附圖2以具體例子的方式描述上述系統的操作過程。圖2示出了根據本發明實施例的基於混合標記的對象分割方法的流程圖。如圖2所示，圖像輸入到該系統中，其中含有目標對象的數字圖像是本發明實施例的輸入。目標對象可以是任何用戶定義的圖像區域。這種目標對象是分割前就已經事先定義，不具有二義性，比如一個有明確意義的目標人、動物、草地等。也可以是這些明確意義的目標組合。如圖2所示，輸入的圖像是一幅含有一個小孩背部的圖像。這幅圖像含有多個對象，如小孩、足球、草地、樹木、若干足球隊員等。這裡定義的目標對象為小孩的頭髮，其它對象均視作背景。相對背景而言，目標對象為前景。在步驟S11，分割單元110對輸入的圖像進行分割，以便提取出目標對象，即小孩的頭髮。在步驟S12，顯示單元120顯示分割結果。一般來說，對象分割的結果可以用二值圖像表示。一個值表示背景像素，一個值表示前景對象。由於分割結果要呈現在用戶面前，給用戶對分割結果進行評估。因此，往往將分割結果圖像疊加到原始圖像上。一般可以將前景對象邊界在原始圖像上用特殊的顏色突出顯示；或者在原始圖像上將分割後的對象用特殊顏色顯示。然後，在步驟S13，評估分割結果。用戶評估是一種主觀行為，就是用戶根據呈現的分割結果判斷當前獲得的分割結果是否達到要求，並將判斷結果告訴計算程序。如果達到，就告訴計算程序結束分割；否則，進行進一步處理。用戶交互的目的是為分割算法提供新的前景、背景和不確定性標記。根據本發明的實施例，這種標記的提供也可以由其它方式來提供。例如自動計算出確定的前景、背景和不確定性標記。針對存在一個統計意義上的前景對象模型的情況，利用該模型對上次分割結果中的前景和背景像素進行分類，將高信度的像素分為前景，低信度的確定為背景，中間部分且空間位置在前景背景交界處得像素確定為不確定性像素。在步驟S14判斷是否結束。分割的性能可以根據目標的定義來用主觀和/或客觀的方式來判別。如果結束，則顯示分割結果，否則在步驟S16，用戶通過輸入裝置輸入對上次分割結果的中的像素的標記筆劃。根據本發明的實施例，標記筆劃包括前景筆劃、背景筆劃和不確定邊界筆劃。用戶交互是用戶利用交互工具對分割結果進行修改的過程。這裡，本發明實施例 指的交互工具為計算機滑鼠。用戶利用滑鼠在計算機屏幕上標記。每一次滑鼠的標記軌跡稱作一個筆劃。每一個筆劃帶有一個標記類型，如前景、背景、不確定性標記。每個筆劃是一個像素位置的集合，表明這些位置的像素含有是前景、背景、不確定類型標記。用戶根據對目標對象的定義來標記前景和背景。對不容易方便標記的像素，則標記為不確定的類型。一般不確定像素產生主要在對象的邊界。當對象邊界複雜時，前景像素往往需要很多的交互才能完成。舉例來說，如圖2中頭髮邊界，有很多細小的頭髮，導致一些前景邊界有時只有幾個甚至一個像素寬度。因此，用戶很難高質量地完成交互工作。而不確定性像素標註則是解決這個問題的工具，用戶只需要將這些不易區分的像素直接標記為不確定類型，則可以由計算程序自動進行處理。根據本發明的實施例，用戶進行一次交互，可以由若干筆劃構成。每一種筆劃都有唯一的一種類別標記前景、背景、不確定性標記三種。不同的標記類型的像素被分別存放於三個集合來表示。這三個集合分別存儲用戶標記過的像素的位置集合。然後，流程回到步驟SI I。在步驟SI I，利用接收的標記筆劃來再次進行對象分割。對象分割是指將與對象相對應的圖像像素進行二元分類的過程。分類得到結果就是判斷哪些像素屬於目標對象(前景)，哪些像素屬於背景對象。根據本發明實施例，這裡使用的分割算法是根據特定的前景和背景信息，建立相應的前景、背景模型。然後，在此基礎之上，利用前景模型和背景模型，通過對圖像中像素的分類過程，獲得對象分割結果。在步驟Sll中，前景模型是利用先驗信息建立的用於前景像素判別數學模型。該模型描述的前景像素的數值特徵。這裡，本方法使用的前景模型例如是參考文獻I (Wang，D. , Shan, S. G. , Zeng, ff. , Zhang, H. M. , Chen, X. L. A novel two-tier Bayesian basedmethod for hairsegmentation. International Conference on Image Processing,(2009)2401-2404)中的混合高斯模型。在步驟Sll中，背景模型是利用先驗信息建立的用於背景像素判別數學模型。該模型描述的背景像素的數值特徵。這裡，本方法使用的背景模型例如為參考文獻I中的混合高斯模型。在步驟Sll中使用的圖切割方法是根據前景和背景模型，將像素進行分類的方法。該方法利用圖切割理論，綜合像素的前景和背景模型以及像素的空間關係，利用最大最小流算法實現對前景背景像素的分類，參見參考文獻I。在步驟Sll 中，使用參考文獻 2 (Eduardo S. L. Gastal and ManuelM. Oliveira,Shared Sampling for Real-Time Alpha Matting, ComputerGraphics Forum, Volume29(2010), Number 2, Proceedings ofEurographics 2010, pp. 575-584)中描述的Matting(扣圖)算法，它是計算像素的Alpha值的方法。該方法利用當前已經確定的前景和背景像素，計算其它沒有確定前景背景分類的像素的Alpha值。本發明實施例中沒有確定前景背景分類的像素來自於圖2中步驟S17示出的不確定性標記的像素。通過Matting算法,確定不確定像素的Alpha值。Alpha值是一個0到I之間的實數，該值表示了這個像素屬於前景的概率。I表示100%的前景，0表示100%的背景。因此，根據Alpha值，Alpha值小於一個較小閾值(下限)的像素的被判定為背景；Alpha值大於一個較大閾值(上限)的像素的被判定為前景。例如，一個分割算法的例子如下(I)初始階段，由於沒有任何用戶交互，分割算法可以採用兩種處理策略之中的任何一種I. I)採用其它自動對象分割方法獲得初步分割結果，如參考文獻I ;I. 2)直接將所有的圖像像素分類為背景像素。(2)將分割結果顯示給用戶，由用戶對該結果進行評判。(3)如果用戶對分割結果滿意，則算法結束。(4)如果用戶對分割結果不滿意，則要求進行交互。利用交互工具(如滑鼠)，在圖像上進行標記。如果用戶認為某些像素是前景像素，則用交互工具在屏幕上標記出來。同理，標註背景像素。如果在上一次分割結果中出現錯誤的分割，如前景誤分割成為背景的像素，背景誤分割為前景像素，用戶還可以重新標記這些錯誤的像素為正確的標記。另一方面，對於一些用戶認為不能夠精細標記的像素，用戶可以同不確定性標記(本發明實施例特定的標記)進行標記。每一次標記稱為一個筆劃，每一個筆劃擁有一個標記類型前景、背景、不確定類型。一個筆劃是用戶交互工具在屏幕上移動的軌跡的像素位置集合。(5)根據用戶標記的筆劃，這些用戶指定的前景像素、背景像素同上一次分割結果一起用來構建更新後的前景和背景模型。其中，用戶標記的前景和背景像素在新前景和背景模型構建時分配較大的權重。根據構建的前景背景模型，分割程序利用圖切割方式分類圖像中的沒有被標記為非確定類型的所有像素為前景或背景像素。對於用戶指定的不確定像素，貝1J利用Matting算法確定其Alpha值。Alpha值是一個0到I之間的實數,該值表示了這個像素屬於前景的概率。I表示100%的前景，0表示100%的背景。因此，根據Alpha值,Alpha值小於一個較小閾值的像素的被判定為背景；Alpha值大於一個較大閾值的像素 的被判定為前景。其它值對應的像素被指定為不確定像素，這些不確定像素不參與到以後的前後背景更新計算。(6)第(5)步得到的結果被顯示給用戶，如果用戶不滿意當前分割結果則重新回到步驟(4)，否則執行下一步。(7)根據一個接近0. 5的閾值，將所有的不確定像素重新分類為前景和背景。根據本發明的實施例，算法的結束的判斷也可以採用如下方式來進行(a)交互次數，達到一定的交互次數算法結束；(b)分割結果評價度量，如Graph-cut算法中的能量函數，當這個量能函數小於一個閾值，則表示分割達到要求；(c)主觀評價，由用戶對分割結果進行主觀評判，輸入指令，結束整個過程。根據本發明的實施例，在存在一個統計意義上的前景對象模型的情況下，則可以該模型就可以對上次分割結果中的前景和背景像素進行分類，將高信度的像素分為前景，低信度的確定為背景，中間部分且空間位置在前景背景交界處得像素確定為不確定性像素。根據本發明的實施例的方案，利用三種標記進行對象分割，特別是引入不確定性標記來增加分割的性能，避免了因為前景背景邊界像素對分割過程的影響，使得對於複雜的邊界的處理變得容易，並且提高了分割精度。上面的描述僅用於實現本發明的實施方式，本領域的技術人員應該理解，在不脫 離本發明的範圍的任何修改或局部替換，均應該屬於本發明的權利要求限定的範圍，因此，本發明的保護範圍應該以權利要求書的保護範圍為準。
權利要求
1.一種基於混合標記的對象分割方法，包括步驟 接收對包含目標對象的圖像中的像素的標記筆劃，所述標記筆劃包括針對目標對象的前景筆劃、針對背景的背景筆劃和不確定是前景還是背景的不確定筆劃； 基於所述前景筆劃和背景筆劃建立前景模型和背景模型，以便對圖像中未被不確定筆劃標記的像素分類為前景像素或背景像素； 根據分類的前景像素和背景像素，計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值，並且把概率值小於下限的像素確定為背景像素，而把概率值大於上限的像素確定為前景像素。
2.如權利要求I所述的方法，還包括步驟 將概率值大於所述下限而小於所述上限的像素確定為不確定像素。
3.如權利要求2所述的方法，還包括步驟 用預定的閾值將概率值大於所述下限而小於所述上限的像素劃分為前景像素或背景像素。
4.如權利要求I所述的方法，其中所述計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值的步驟是基於扣圖算法而進行的。
5.如權利要求I所述的方法，其中所述的前景模型和背景模型是基於混合高斯模型而建立的。
6.一種基於混合標記的對象分割系統，包括 接收部分，接收對包含目標對象的圖像中的像素的標記筆劃，所述標記筆劃包括針對目標對象的前景筆劃、針對背景的背景筆劃和不確定是前景還是背景的不確定筆劃； 分割部分，基於所述前景筆劃和背景筆劃建立前景模型和背景模型，以便對圖像中未被不確定筆劃標記的像素分類為前景像素或背景像素，根據分類的前景像素和背景像素，計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值，並且把概率值小於下限的像素確定為背景像素，而把概率值大於上限的像素確定為前景像素。
7.如權利要求6所述的系統，還包括 存儲部分，存儲接收部分所接收的標記筆劃； 分析部分，分析所接收的標記筆劃是前景筆劃、背景筆劃還是不確定筆劃，並提供給所述分割部分。
8.如權利要求6所述的系統，其中所述分割部分將概率值大於所述下限而小於所述上限的像素確定為不確定像素。
9.如權利要求8所述的系統，其中所述分割部分用預定的閾值將概率值大於所述下限而小於所述上限的像素劃分為前景像素或背景像素。
10.如權利要求6所述的系統，其中所述分割部分基於扣圖算法計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值。
11.如權利要求6所述的系統，其中所述的前景模型和背景模型是基於混合高斯模型而建立的。
全文摘要
公開了一種基於混合標記的對象分割方法和系統。該方法包括接收對包含目標對象的圖像中的像素的標記筆劃，所述標記筆劃包括針對目標對象的前景筆劃、針對背景的背景筆劃和不確定是前景還是背景的不確定筆劃；基於所述前景筆劃和背景筆劃建立前景模型和背景模型，以便對圖像中未被不確定筆劃標記的像素分類為前景像素或背景像素；根據分類的前景像素和背景像素，計算與不確定筆劃相對應的一個或多個像素屬於前景像素的概率值，並且把概率值小於下限的像素確定為背景像素，而把概率值大於上限的像素確定為前景像素。由於基於多種標記來對圖像中的對象進行交互式分割，能夠處理複雜的邊界情況，獲得高精度的分割結果。
文檔編號G06T7/00GK102707864SQ20111008529
公開日2012年10月3日 申請日期2011年3月28日 優先權日2011年3月28日
發明者吳欣然, 曾煒 申請人:日電(中國)有限公司