一種實現交互式圖像分割的方法、裝置及終端與流程
2023-12-04 13:23:21 2
本發明涉及圖像處理技術領域，尤其涉及一種實現交互式圖像分割的方法、裝置及終端。
背景技術：
圖像分割，是指將平面圖像依照顏色、紋理、形狀等特徵將其劃分為互不相連的若干區域，這是圖像處理領域的一項實用的基礎技術。現有的圖像分割技術有基於閾值的分割方法、基於邊緣的分割方法、基於區域的分割方法、基於能量泛函的分割方法、基於圖論的分割方法等。其中在圖論方法裡比較知名的有GraphCut算法及其改進版本GrabCut算法。
GraphCut算法及其改進版本GrabCut算法，是基於區域標註的交互式圖像分割方法。GraphCut算法是基於馬爾可夫隨機場(Markov Random Field,MRF)能量最小化框架的一種算法，優點在於可以結合多種理論知識進行全局最優求解。GrabCut算法是對GraphCut算法的改進，GrabCut算法通過在原始圖像上標註出前景點(要提取的目標對象上的點)和背景點生成掩模圖，利用原圖和掩模圖對前景、背景顏色空間建立高斯混合模型(Gaussian Mixture Model，GMM)，利用GMM參數學習、估計過程中可進化的迭代算法完成能量最小化，判決出圖像中的前景點和背景點，從原圖中提取出由前景點像素組成的目標圖像。
在手機上使用GrabCut算法進行圖像分割時，為了降低交互的複雜性，通常對用戶如何標記不做嚴格要求，因此，在用戶標記的前景點較少的情況下迭代次數可能很多，算法運行時間較長，影響了用戶的體驗。另一方面，相關技術中的GrabCut算法是基於彩色圖像進行圖像分割的，當要提取的目標對象的顏色特徵並不明顯時，利用彩色圖進行分割的分割效果並不理想。
技術實現要素：
本發明所要解決的技術問題是提供一種實現交互式圖像分割的方法、裝置及終端，能夠縮短算法的運行時間，結合圖像的深度信息改善圖像分割的效果。
本發明實施例提供了一種實現交互式圖像分割的方法，包括：
檢測到原始圖像上的塗抹軌跡後，將所述塗抹軌跡作為骨架生長成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；
獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用於表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；
構建無向圖，將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖；
從所述彩色圖中分割出所述精細分割後的掩模圖中前景點對應的圖像。
可選地，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數，所述第一區域項分割參數是所述像素基於所述彩色圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的顏色值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。
可選地，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數，所述第二區域項分割參數是所述像素基於所述深度圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。
可選地，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，還包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數：
根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數；
其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第一邊界項分割參數。
可選地，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數：
根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數；
其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第二邊界項分割參數。
可選地，將所述第一分割參數與所述第二分割參數進行融合，包括：將所述第一區域項分割參數與所述第二區域項分割參數進行融合：
對任意一個像素，將所述第一區域項分割參數乘以權重(1-a)得到調整後的第一區域項分割參數，將所述第二區域項分割參數乘以權重a得到調整後的第二區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數相加的和作為融合後的區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類不相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數中數值較大者指示的像素分類作為所述像素的最終分類，將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數的差值的絕對值作為融合後的區域項分割參數。
可選地，將所述第一分割參數與所述第二分割參數進行融合，還包括：將所述第一邊界項分割參數與所述第二邊界項分割參數進行融合：
將所述第一邊界項分割參數乘以權重(1-a)得到調整後的第一邊界項分割參數，將所述第二邊界項分割參數乘以權重a得到調整後的第二邊界項分割參數，然後將所述調整後的第一邊界項分割參數與所述調整後的第二邊界項分割參數相加得到所述像素的融合後的邊界項分割參數；a大於或等於0且小於或等於1。
可選地，所述權重a根據自評價參數k1和一致性參數k2進行確定：將自評價參數k1和一致性參數k2的積作為權重a；
其中，自評價參數k1採用以下方式進行確定：根據像素的深度值確定像素對應的拍攝距離的遠近程度，根據所述拍攝距離的遠近程度設置自評價參數k1，所述拍攝距離越近，自評價參數k1設置得越大；k1大於或等於0且小於或等於1；
其中，所述一致性參數k2採用以下方式進行確定：
如果所述第一邊界項分割參數與所述第二邊界項分割參數相等，則設置一致性參數k2為第一常數；
如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等，在所述第一邊界項分割參數與所述第二邊界項分割參數同時大於閾值或同時小於閾值時，設置一致性參數k2為第一常數；在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大於閾值或不同時小於閾值時，設置一致性參數k2為第二常數；所述第一常數大於所述第二常數；所述第一常數大於0且小於或等於1，所述第二常數大於0且小於1。
可選地，構建無向圖並將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，包括：
構建一個無向圖，在所述無向圖的平面外設置兩個懸空點Q0和Q1，所述懸空點Q0為虛擬前景點，所述懸空點Q1為虛擬背景點；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點，在前景點的映射點與所述懸空點Q0之間建立連線，在背景點的映射點與所述懸空點Q1之間建立連線；
對掩模圖中的任意一個像素Pi，將所述像素Pi的融合後的區域項分割參數作為所述無向圖中映射點Pi'的權值，將所述像素Pi的融合後的邊界項分割參數作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權值。
可選地，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖，包括：
迭代執行以下C步驟和D步驟，在迭代運行達到收斂條件後停止迭代過程，將所述前景點集合Q中的各個像素作為精細分割後的掩模圖中的前景點；
其中，C步驟和D步驟分別包括以下處理：
C步驟：將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點，由劃分為前景點的像素構成前景點集合Q；
D步驟：計算所述前景點集合Q的權值總和，所述權值總和是所述前景點集合Q中所有前景點的權值和，再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和；
其中，所述收斂條件是前景點集合Q的權值總和小於閾值且變化趨於穩定。
可選地，所述將所述塗抹軌跡作為骨架生長成標記區包括：
獲取原始圖像的邊緣梯度信息，從所述塗抹軌跡的像素中選取部分像素作為種子，每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域，所有的種子向外生長形成的子區域合併後形成一個擴展區域，將所述擴展區域作為標記區。
可選地，所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域，包括對每一個種子執行下述步驟A-F：
步驟A：將所述種子作為起始點，為所述起始點設置能量值，將所述起始點標記為活動點；
步驟B:判斷當前是否存在標記為活動點的像素，是則執行步驟C，否則執行步驟F；
步驟C：對任意一個標記為活動點的像素A，判斷所述像素A的上、下、左、右四個相鄰點中是否存在未檢查過的像素B，是則執行步驟D，否則執行步驟E；
步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標記為新的活動點，將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小於或等於所述像素A的能量值；
步驟E：判定所述像素A已經完成生長，去除所述像素A的活動點標記，將所述像素A歸入前景點集合，返回步驟B；
步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊緣梯度信息向外生長形成的子區域。
可選地，所述圖像分割算法是GrabCut算法。
本發明實施例提供了一種實現交互式圖像分割的裝置，包括：
預處理模塊，用於檢測到原始圖像上的塗抹軌跡後，將所述塗抹軌跡作為骨架生長成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；
分割參數計算及融合模塊，用於獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用於表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；
掩模圖調整模塊，用於構建無向圖，將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖；
輸出模塊，用於從所述彩色圖中分割出所述精細分割後的掩模圖中前景點對應的圖像。
可選地，分割參數計算及融合模塊，用於採用以下方式根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數，所述第一區域項分割參數是所述像素基於所述彩色圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的顏色值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。
可選地，分割參數計算及融合模塊，還用於採用以下方式根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數，所述第二區域項分割參數是所述像素基於所述深度圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。
可選地，分割參數計算及融合模塊，還用於採用以下方式根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數：
根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數；
其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第一邊界項分割參數。
可選地，分割參數計算及融合模塊，還用於採用以下方式根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數：
根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數；
其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第二邊界項分割參數。
可選地，分割參數計算及融合模塊，用於採用以下方式將所述第一分割參數與所述第二分割參數進行融合：將所述第一區域項分割參數與所述第二區域項分割參數進行融合：
對任意一個像素，將所述第一區域項分割參數乘以權重(1-a)得到調整後的第一區域項分割參數，將所述第二區域項分割參數乘以權重a得到調整後的第二區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數相加的和作為融合後的區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類不相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數中數值較大者指示的像素分類作為所述像素的最終分類，將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數的差值的絕對值作為融合後的區域項分割參數。
可選地，分割參數計算及融合模塊，還用於採用以下方式將所述第一分割參數與所述第二分割參數進行融合：將所述第一邊界項分割參數與所述第二邊界項分割參數進行融合：
將所述第一邊界項分割參數乘以權重(1-a)得到調整後的第一邊界項分割參數，將所述第二邊界項分割參數乘以權重a得到調整後的第二邊界項分割參數，然後將所述調整後的第一邊界項分割參數與所述調整後的第二邊界項分割參數相加得到所述像素的融合後的邊界項分割參數；a大於或等於0且小於或等於1。
可選地，所述權重a根據自評價參數k1和一致性參數k2進行確定：將自評價參數k1和一致性參數k2的積作為權重a；
其中，自評價參數k1採用以下方式進行確定：根據像素的深度值確定像素對應的拍攝距離的遠近程度，根據所述拍攝距離的遠近程度設置自評價參數k1，所述拍攝距離越近，自評價參數k1設置得越大；k1大於或等於0且小於或等於1；
其中，所述一致性參數k2採用以下方式進行確定：
如果所述第一邊界項分割參數與所述第二邊界項分割參數相等，則設置一致性參數k2為第一常數；
如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等，在所述第一邊界項分割參數與所述第二邊界項分割參數同時大於閾值或同時小於閾值時，設置一致性參數k2為第一常數；在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大於閾值或不同時小於閾值時，設置一致性參數k2為第二常數；所述第一常數大於所述第二常數；所述第一常數大於0且小於或等於1，所述第二常數大於0且小於1。
可選地，掩模圖調整模塊，用於採用以下方式構建無向圖並將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中：
構建一個無向圖，在所述無向圖的平面外設置兩個懸空點Q0和Q1，所述懸空點Q0為虛擬前景點，所述懸空點Q1為虛擬背景點；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點，在前景點的映射點與所述懸空點Q0之間建立連線，在背景點的映射點與所述懸空點Q1之間建立連線；
對掩模圖中的任意一個像素Pi，將所述像素Pi的融合後的區域項分割參數作為所述無向圖中映射點Pi'的權值，將所述像素Pi的融合後的邊界項分割參數作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權值。
可選地，掩模圖調整模塊，用於採用以下方式根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖：
迭代執行以下C步驟和D步驟，在迭代運行達到收斂條件後停止迭代過程，將所述前景點集合Q中的各個像素作為精細分割後的掩模圖中的前景點；
其中，C步驟和D步驟分別包括以下處理：
C步驟：將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點，由劃分為前景點的像素構成前景點集合Q；
D步驟：計算所述前景點集合Q的權值總和，所述權值總和是所述前景點集合Q中所有前景點的權值和，再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和；
其中，所述收斂條件是前景點集合Q的權值總和小於閾值且變化趨於穩定。
可選地，預處理模塊，用於採用以下方式將所述塗抹軌跡作為骨架生長成標記區：
獲取原始圖像的邊緣梯度信息，從所述塗抹軌跡的像素中選取部分像素作為種子，每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域，所有的種子向外生長形成的子區域合併後形成一個擴展區域，將所述擴展區域作為標記區。
可選地，所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域，包括對每一個種子執行下述步驟A-F：
步驟A：將所述種子作為起始點，為所述起始點設置能量值，將所述起始點標記為活動點；
步驟B:判斷當前是否存在標記為活動點的像素，是則執行步驟C，否則執行步驟F；
步驟C：對任意一個標記為活動點的像素A，判斷所述像素A的上、下、左、右四個相鄰點中是否存在未檢查過的像素B，是則執行步驟D，否則執行步驟E；
步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標記為新的活動點，將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小於或等於所述像素A的能量值；
步驟E：判定所述像素A已經完成生長，去除所述像素A的活動點標記，將所述像素A歸入前景點集合，返回步驟B；
步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊緣梯度信息向外生長形成的子區域。
可選地，所述圖像分割算法是GrabCut算法。
本發明實施例還提供了一種終端，包括上述實現交互式圖像分割的裝置。
本文提出的一種實現交互式圖像分割的方法、裝置及終端，將原始圖像上的塗抹軌跡作為骨架生長成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用於表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；構建無向圖，將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖；從所述彩色圖中分割出所述精細分割後的掩模圖中前景點對應的圖像。本文的技術方案能夠通過圖像預處理擴充圖像分割算法標記的前景點數目，從而縮短圖像分割算法的運行時間，基於深度圖和彩色圖分別計算各像素的分割參數並進行參數融合，利用融合後的分割參數進行圖像分割，相較於相關技術中僅僅使用彩色圖進行圖像分割，能夠改善圖像分割的效果。
附圖說明
圖1為實現本發明各個實施例一可選的移動終端的硬體結構示意圖；
圖2為如圖1所示的移動終端的無線通信系統示意圖；
圖3為本發明實施例1的一種實現交互式圖像分割的方法流程圖；
圖4為本發明實施例2的一種實現交互式圖像分割的裝置示意圖；
圖5-a為本發明應用示例1中原始圖像以及用戶塗抹軌跡的示意圖；
圖5-b為本發明應用示例1中由塗抹軌跡生成的標記區的示意圖；
圖5-c-1為本發明應用示例1中種子生長過程中的起始活動點及周邊鄰域的示意圖；
圖5-c-2為本發明應用示例1中種子生長過程中的起始活動點生長成的子區域的示意圖；
圖5-c-3為本發明應用示例1中種子生長過程中的起始活動點以及新的活動點共同生長成的區域的示意圖；
圖5-d為本發明應用示例1中由標記區和原始圖像生成的掩模圖的示意圖；
圖5-e為本發明應用示例1的深度圖的示意圖；
圖5-f為本發明應用示例1的無向圖的示意圖；
圖5-g為本發明應用示例1中精細分割後的掩模圖的示意圖；
圖5-h為本發明應用示例1中分割出的目標對象的示意圖。
本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施方式
下面將結合附圖及實施例對本發明的技術方案進行更詳細的說明。
現在將參考附圖描述實現本申請各個實施例的移動終端。在後續的描述中，使用用於表示元件的諸如「模塊」、「部件」或「單元」的後綴僅為了有利於本發明的說明，其本身並沒有特定的意義。因此，"模塊"與"部件"可以混合地使用。
移動終端可以以各種形式來實施。例如，本發明中描述的終端可以包括諸如行動電話、智慧型電話、筆記本電腦、數字廣播接收器、PDA(個人數字助理)、PAD(平板電腦)、PMP(可攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數字TV、臺式計算機等等的固定終端。下面，假設終端是移動終端。然而，本領域技術人員將理解的是，除了特別用於移動目的的元件之外，根據本發明的實施方式的構造也能夠應用於固定類型的終端。
圖1為實現本申請各個實施例一個可選的移動終端的硬體結構示意圖。
移動終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入單元130、感測單元140、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。
圖1示出了具有各種組件的移動終端100，但是應理解的是，並不要求實施所有示出的組件。可以替代地實施更多或更少的組件。將在下面詳細描述移動終端100的元件。
無線通信單元110通常可以包括一個或多個組件，其允許移動終端100與無線通信系統或網絡之間的無線電通信。例如，無線通信單元110可以包括廣播接收模塊111、移動通信模塊112、無線網際網路模塊113、短程通信模塊114和位置信息模塊115中的至少一個。
廣播接收模塊111經由廣播信道從外部廣播管理伺服器接收廣播信號和/或廣播相關信息。廣播信道可以包括衛星信道和/或地面信道。廣播管理伺服器可以是生成並發送廣播信號和/或廣播相關信息的伺服器或者接收之前生成的廣播信號和/或廣播相關信息並且將其發送給終端的伺服器。廣播信號可以包括TV廣播信號、無線電廣播信號、數據廣播信號等等。而且，廣播信號可以進一步包括與TV或無線電廣播信號組合的廣播信號。廣播相關信息也可以經由移動通信網絡提供，並且在所述情況下，廣播相關信息可以由移動通信模塊112來接收。廣播信號可以以各種形式存在，例如，其可以以數字多媒體廣播(DMB)的電子節目指南(EPG)、數字視頻廣播手持(DVB-H)的電子服務指南(ESG)等等的形式而存在。廣播接收模塊111可以通過使用各種類型的廣播系統接收信號廣播。特別地，廣播接收模塊111可以通過使用諸如多媒體廣播-地面(DMB-T)、數字多媒體廣播-衛星(DMB-S)、數字視頻廣播-手持(DVB-H)，前向鏈路媒體(MediaFLO@)的數據廣播系統、地面數字廣播綜合服務(ISDB-T)等等的數字廣播系統接收數字廣播。廣播接收模塊111可以被構造為適合提供廣播信號的各種廣播系統以及上述數字廣播系統。經由廣播接收模塊111接收的廣播信號和/或廣播相關信息可以存儲在存儲器160(或者其它類型的存儲介質)中。
移動通信模塊112將無線電信號發送到基站(例如，接入點、節點B等等)、外部終端以及伺服器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通話信號、視頻通話信號、或者根據文本和/或多媒體消息發送和/或接收的各種類型的數據。
無線網際網路模塊113支持移動終端的無線網際網路接入。所述模塊可以內部或外部地耦接到終端。所述模塊所涉及的無線網際網路接入技術可以包括WLAN(無線LAN)(Wi-Fi)、Wibro(無線寬帶)、Wimax(全球微波互聯接入)、HSDPA(高速下行鏈路分組接入)等等。
短程通信模塊114是用於支持短程通信的模塊。短程通信技術的一些示例包括藍牙TM、射頻識別(RFID)、紅外數據協會(IrDA)、超寬帶(UWB)、紫蜂TM等等。
位置信息模塊115是用於檢查或獲取移動終端的位置信息的模塊。位置信息模塊115的典型示例是GPS(全球定位系統)。根據當前的技術，GPS計算來自三個或更多衛星的距離信息和準確的時間信息並且對於計算的信息應用三角測量法，從而根據經度、緯度和高度準確地計算三維當前位置信息。當前，用於計算位置和時間信息的方法使用三顆衛星並且通過使用另外的一顆衛星校正計算出的位置和時間信息的誤差。此外，GPS能夠通過實時地連續計算當前位置信息來計算速度信息。
A/V輸入單元120用於接收音頻或視頻信號。A/V輸入單元120可以包括相機121和麥克風122，相機121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態圖片或視頻的圖像數據進行處理。處理後的圖像幀可以顯示在顯示單元151上。經相機121處理後的圖像幀可以存儲在存儲器160(或其它存儲介質)中或者經由無線通信單元110進行發送，可以根據移動終端100的構造提供兩個或更多相機121。麥克風122可以在電話通話模式、記錄模式、語音識別模式等等運行模式中經由麥克風122接收聲音(音頻數據)，並且能夠將這樣的聲音處理為音頻數據。處理後的音頻(語音)數據可以在電話通話模式的情況下轉換為可經由移動通信模塊112發送到移動通信基站的格式輸出。麥克風122可以實施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發送音頻信號的過程中產生的噪聲或者幹擾。
用戶輸入單元130可以根據用戶輸入的命令生成鍵輸入數據以控制移動終端100的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息，並且可以包括鍵盤、鍋仔片、觸摸板(例如，檢測由於被接觸而導致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖杆等等。特別地，當觸摸板以層的形式疊加在顯示單元151上時，可以形成觸控螢幕。
感測單元140檢測移動終端100的當前狀態，(例如，移動終端100的打開或關閉狀態)、移動終端100的位置、用戶對於移動終端100的接觸(即，觸摸輸入)的有無、移動終端100的取向、移動終端100的加速或減速移動和方向等等，並且生成用於控制移動終端100的操作的命令或信號。例如，當移動終端100實施為滑動型行動電話時，感測單元140可以感測所述滑動型電話是打開還是關閉。另外，感測單元140能夠檢測電源單元190是否提供電力或者接口單元170是否與外部裝置耦接。感測單元140可以包括接近傳感器141。
接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如，外部裝置可以包括有線或無線頭戴式耳機埠、外部電源(或電池充電器)埠、有線或無線數據埠、存儲卡埠、用於連接具有識別模塊的裝置的埠、音頻輸入/輸出(I/O)埠、視頻I/O埠、耳機埠等等。識別模塊可以是存儲用於驗證用戶使用移動終端100的各種信息並且可以包括用戶識別模塊(UIM)、客戶識別模塊(SIM)、通用客戶識別模塊(USIM)等等。另外，具有識別模塊的裝置(下面稱為"識別裝置")可以採取智慧卡的形式，因此，識別裝置可以經由埠或其它連接裝置與移動終端100連接。接口單元170可以用於接收來自外部裝置的輸入(例如，數據信息、電力等等)並且將接收到的輸入傳輸到移動終端100內的一個或多個元件或者可以用於在移動終端100和外部裝置之間傳輸數據。
另外，當移動終端100與外部底座連接時，接口單元170可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸到移動終端100的路徑。從底座輸入的各種命令信號或電力可以用作識別移動終端100是否準確地安裝在底座上的信號。輸出單元150被構造為以視覺、音頻和/或觸覺方式提供輸出信號(例如，音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報單元153等等。
顯示單元151可以顯示在移動終端100中處理的信息。例如，當移動終端100處於電話通話模式時，顯示單元151可以顯示與通話或其它通信(例如，文本消息收發、多媒體文件下載等等)相關的用戶界面(UI)或圖形用戶界面(GUI)。當移動終端100處於視頻通話模式或者圖像捕獲模式時，顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關功能的UI或GUI等等。
同時，當顯示單元151和觸摸板以層的形式彼此疊加以形成觸控螢幕時，顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜電晶體LCD(TFT-LCD)、有機發光二極體(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為TOLED(透明有機發光二極體)顯示器等等。根據特定想要的實施方式，移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置)，例如，移動終端100可以包括外部顯示單元(未示出)和內部顯示單元(未示出)。觸控螢幕可用於檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。
音頻輸出模塊152可以在移動終端100處於呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時，將無線通信單元110接收的或者在存儲器160中存儲的音頻數據轉換音頻信號並且輸出為聲音。而且，音頻輸出模塊152可以提供與移動終端100執行的特定功能相關的音頻輸出(例如，呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚聲器、蜂鳴器等等。
警報單元153可以提供輸出以將事件的發生通知給移動終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號輸入、觸摸輸入等等。除了音頻或視頻輸出之外，警報單元153可以以不同的方式提供輸出以通知事件的發生。例如，警報單元153可以以振動的形式提供輸出，當接收到呼叫、消息或一些其它進入通信(incoming communication)時，警報單元153可以提供觸覺輸出(即，振動)以將其通知給用戶。通過提供這樣的觸覺輸出，即使在用戶的行動電話處於用戶的口袋中時，用戶也能夠識別出各種事件的發生。警報單元153也可以經由顯示單元151或音頻輸出模塊152提供通知事件的發生的輸出。
存儲器160可以存儲由控制器180執行的處理和控制操作的軟體程序等等，或者可以暫時地存儲己經輸出或將要輸出的數據(例如，電話簿、消息、靜態圖像、視頻等等)。而且，存儲器160可以存儲關於當觸摸施加到觸控螢幕時輸出的各種方式的振動和音頻信號的數據。
存儲器160可以包括至少一種類型的存儲介質，所述存儲介質包括快閃記憶體、硬碟、多媒體卡、卡型存儲器(例如，SD或DX存儲器等等)、隨機訪問存儲器(RAM)、靜態隨機訪問存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁碟、光碟等等。而且，移動終端100可以與通過網絡連接執行存儲器160的存儲功能的網絡存儲裝置協作。
控制器180通常控制移動終端的總體操作。例如，控制器180執行與語音通話、數據通信、視頻通話等等相關的控制和處理。另外，控制器180可以包括用於再現(或回放)多媒體數據的多媒體模塊181，多媒體模塊181可以構造在控制器180內，或者可以構造為與控制器180分離。控制器180可以執行模式識別處理，以將在觸控螢幕上執行的手寫輸入或者圖片繪製輸入識別為字符或圖像。
電源單元190在控制器180的控制下接收外部電力或內部電力並且提供操作各元件和組件所需的適當的電力。
這裡描述的各種實施方式可以以使用例如計算機軟體、硬體或其任何組合的計算機可讀介質來實施。對於硬體實施，這裡描述的實施方式可以通過使用特定用途集成電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設計為執行這裡描述的功能的電子單元中的至少一種來實施，在一些情況下，這樣的實施方式可以在控制器180中實施。對於軟體實施，諸如過程或功能的實施方式可以與允許執行至少一種功能或操作的單獨的軟體模塊來實施。軟體代碼可以由以任何適當的程式語言編寫的軟體應用程式(或程序)來實施，軟體代碼可以存儲在存儲器160中並且由控制器180執行。
至此，己經按照其功能描述了移動終端100。另外，本發明實施例中的移動終端100可以是諸如摺疊型、直板型、擺動型、滑動型以及其他各種類型的移動終端，具體此處不做限定。
如圖1中所示的移動終端100可以被構造為利用經由幀或分組發送數據的諸如有線和無線通信系統以及基於衛星的通信系統來操作。
現在將參考圖2描述其中根據本發明的移動終端能夠操作的通信系統。
這樣的通信系統可以使用不同的空中接口和/或物理層。例如，由通信系統使用的空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系統(UMTS)(特別地，長期演進(LTE))、全球移動通信系統(GSM)等等。作為非限制性示例，下面的描述涉及CDMA通信系統，但是這樣的教導同樣適用於其它類型的系統。
參考圖2，CDMA無線通信系統可以包括多個移動終端100、多個基站(BS)270、基站控制器(BSC)275和移動交換中心(MSC)280。MSC 280被構造為與公共電話交換網絡(PSTN)290形成接口。MSC 280還被構造為與可以經由回程線路耦接到基站270的BSC 275形成接口。回程線路可以根據若干己知的接口中的任一種來構造，所述接口可以包括例如歐洲標準高容量數字線路/美國標準高容量數字線路(E1/T1)、異步傳輸模式(ATM)，網絡協議(IP)、點對點協議(PPP)、幀中繼、高速率數字用戶線路(HDSL)、非對稱數字用戶線路(ADSL)或各種類型數字用戶線路(xDSL)。將理解的是，如圖2中所示的系統可以包括多個BSC 275。
每個BS 270可以服務一個或多個分區(或區域)，由多向天線或指向特定方向的天線覆蓋的每個分區放射狀地遠離BS 270。或者，每個分區可以由用於分集接收的兩個或更多天線覆蓋。每個BS 270可以被構造為支持多個頻率分配，並且每個頻率分配具有特定頻譜(例如，1.25MHz，5MHz等等)。
分區與頻率分配的交叉可以被稱為CDMA信道。BS 270也可以被稱為基站收發器子系統(BTS)或者其它等效術語。在這樣的情況下，術語"基站"可以用於籠統地表示單個BSC 275和至少一個BS 270。基站也可以被稱為"蜂窩站"。或者，特定BS 270的各分區可以被稱為多個蜂窩站。
如圖2中所示，廣播發射器(BT)295將廣播信號發送給在系統內操作的移動終端100。如圖1中所示的廣播接收模塊111被設置在移動終端100處以接收由BT 295發送的廣播信號。在圖2中，示出了幾個全球定位系統(GPS)衛星300。衛星300幫助定位多個移動終端100中的至少一個。
在圖2中，描繪了多個衛星300，但是理解的是，可以利用任何數目的衛星獲得有用的定位信息。如圖1中所示的位置信息模塊115(如：GPS)通常被構造為與衛星300配合以獲得想要的定位信息。替代GPS跟蹤技術或者在GPS跟蹤技術之外，可以使用可以跟蹤移動終端的位置的其它技術。另外，至少一個GPS衛星300可以選擇性地或者額外地處理衛星DMB傳輸。
作為無線通信系統的一個典型操作，BS 270接收來自各種移動終端100的反向鏈路信號。移動終端100通常參與通話、消息收發和其它類型的通信。特定基站接收的每個反向鏈路信號被在特定BS 270內進行處理。獲得的數據被轉發給相關的BSC 275。BSC提供通話資源分配和包括BS 270之間的軟切換過程的協調的移動管理功能。BSC 275還將接收到的數據路由到MSC 280，其提供用於與PSTN 290形成接口的額外的路由服務。類似地，PSTN 290與MSC280形成接口，MSC與BSC 275形成接口，並且BSC 275相應地控制BS 270以將正向鏈路信號發送到移動終端100。
基於上述移動終端硬體結構以及通信系統，提出本申請方法各個實施例。
如圖3所示，本發明實施例提出一種實現交互式圖像分割的方法，包括：
S310，檢測到原始圖像上的塗抹軌跡後，將所述塗抹軌跡作為骨架生長成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；
S320，獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用於表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；
S330，構建無向圖，將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖；
S340，從所述彩色圖中分割出所述精細分割後的掩模圖中前景點對應的圖像；
所述方法還可以包括下述特點：
其中，塗抹是一種標記目標對象的方式，塗抹是在目標對象的內部區域進行標記；
其中，掩模圖是指對一副圖像的部分或全部像素進行了前景與背景區分後生成的標記圖，所述掩模圖上的每一個像素被標記為前景點或背景點。
在本實施例中，所述圖像分割算法是GrabCut算法。
在一種實施方式中，所述將所述塗抹軌跡作為骨架生長成標記區包括：
獲取原始圖像的邊緣梯度信息，從所述塗抹軌跡的像素中選取部分像素作為種子，每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域，所有的種子向外生長形成的子區域合併後形成一個擴展區域，將所述擴展區域作為標記區。
其中，所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域，包括對每一個種子執行下述步驟A-F：
步驟A：將所述種子作為起始點，為所述起始點設置能量值，將所述起始點標記為活動點；
步驟B:判斷當前是否存在標記為活動點的像素，是則執行步驟C，否則執行步驟F；
步驟C：對任意一個標記為活動點的像素A，判斷所述像素A的上、下、左、右四個相鄰點中是否存在未檢查過的像素B，是則執行步驟D，否則執行步驟E；
步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標記為新的活動點，將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小於或等於所述像素A的能量值；
步驟E：判定所述像素A已經完成生長，去除所述像素A的活動點標記，將所述像素A歸入前景點集合，返回步驟B；
步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊緣梯度信息向外生長形成的子區域。
在本實施例中，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數，所述第一區域項分割參數是所述像素基於所述彩色圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的顏色值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類；
在本實施例中，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數，所述第二區域項分割參數是所述像素基於所述深度圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類；
可選地，所述EM方法的收斂條件可以是：當迭代運行的次數達到閾值時停止迭代過程；
在本實施例中，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，還包括：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數：
根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數；
其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第一邊界項分割參數；
其中，RGB三個顏色通道上的數值的取值範圍是：0～255；
在本實施例中，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，還包括：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數：
根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數；
其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第二邊界項分割參數；
其中，深度值的數值範圍可以是：0～255；
可選地，與像素鄰近的各個像素可以是所述像素周邊的8個像素。
在本實施例中，將所述第一分割參數與所述第二分割參數進行融合，包括：將所述第一區域項分割參數與所述第二區域項分割參數進行融合：
對任意一個像素，將所述第一區域項分割參數乘以權重(1-a)得到調整後的第一區域項分割參數，將所述第二區域項分割參數乘以權重a得到調整後的第二區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數相加的和作為融合後的區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類不相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數中數值較大者指示的像素分類作為所述像素的最終分類，將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數的差值的絕對值作為融合後的區域項分割參數；
在本實施例中，將所述第一分割參數與所述第二分割參數進行融合，還包括：將所述第一邊界項分割參數與所述第二邊界項分割參數進行融合：
將所述第一邊界項分割參數乘以權重(1-a)得到調整後的第一邊界項分割參數，將所述第二邊界項分割參數乘以權重a得到調整後的第二邊界項分割參數，然後將所述調整後的第一邊界項分割參數與所述調整後的第二邊界項分割參數相加得到所述像素的融合後的邊界項分割參數；a大於或等於0且小於或等於1；
在本實施例中，所述權重a根據自評價參數k1和一致性參數k2進行確定：將自評價參數k1和一致性參數k2的積作為權重a；
其中，自評價參數k1採用以下方式進行確定：根據像素的深度值確定像素對應的拍攝距離的遠近程度，根據所述拍攝距離的遠近程度設置自評價參數k1，所述拍攝距離越近，自評價參數k1設置得越大；k1大於或等於0且小於或等於1；
其中，所述一致性參數k2採用以下方式進行確定：
如果所述第一邊界項分割參數與所述第二邊界項分割參數相等，則設置一致性參數k2為第一常數；
如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等，在所述第一邊界項分割參數與所述第二邊界項分割參數同時大於閾值或同時小於閾值時，設置一致性參數k2為第一常數；在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大於閾值或不同時小於閾值時，設置一致性參數k2為第二常數；所述第一常數大於所述第二常數；所述第一常數大於0且小於或等於1，所述第二常數大於0且小於1；
在本實施例中，構建無向圖並將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，包括：
構建一個無向圖，在所述無向圖的平面外設置兩個懸空點Q0和Q1，所述懸空點Q0為虛擬前景點，所述懸空點Q1為虛擬背景點；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點，在前景點的映射點與所述懸空點Q0之間建立連線，在背景點的映射點與所述懸空點Q1之間建立連線；
對掩模圖中的任意一個像素Pi，將所述像素Pi的融合後的區域項分割參數作為所述無向圖中映射點Pi'的權值，將所述像素Pi的融合後的邊界項分割參數作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權值。
在本實施例中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖，包括：
迭代執行以下C步驟和D步驟，在迭代運行達到收斂條件後停止迭代過程，將所述前景點集合Q中的各個像素作為精細分割後的掩模圖中的前景點；
其中，C步驟和D步驟分別包括以下處理：
C步驟：將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點，由劃分為前景點的像素構成前景點集合Q；
D步驟：計算所述前景點集合Q的權值總和，所述權值總和是所述前景點集合Q中所有前景點的權值和，再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和；
其中，所述收斂條件是前景點集合Q的權值總和小於閾值且變化趨於穩定。
相關技術中，圖像分割算法的輸入掩模圖中的前景點是用戶手動標記的，存在前景點標記較少導致圖像分割算法為區分出前景點和背景點的迭代次數增加，算法運行時間長的問題。採用本發明實施例的方法後，通過塗抹軌跡作為骨架生長成標記區，標記區中的所有像素標記為前景點，從而自動擴充圖像分割算法的輸入掩模圖中標記的前景點數目，可減少圖像分割算法為區分出前景點和背景點的迭代次數，顯著地減少圖像分割算法的運行時間。另一方面，本發明實施例的技術方案能夠基於深度圖和彩色圖分別計算各像素的分割參數並進行參數融合，利用融合後的分割參數進行圖像分割，相較於相關技術中僅僅使用彩色圖進行圖像分割，能夠改善圖像分割的效果。
如圖4所示，本發明實施例提出一種實現交互式圖像分割的裝置，包括：
預處理模塊401，用於檢測到原始圖像上的塗抹軌跡後，將所述塗抹軌跡作為骨架生長成標記區，生成圖像分割算法的輸入掩模圖：將所述標記區中所有的像素作為所述掩模圖中的前景點，將所述原始圖像上標記區外的像素作為所述掩模圖中的背景點；
分割參數計算及融合模塊402，用於獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用於表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；
掩模圖調整模塊403，用於構建無向圖，將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖；
輸出模塊404，用於從所述彩色圖中分割出所述精細分割後的掩模圖中前景點對應的圖像；
所述裝置還可以包括下述特點：
其中，塗抹是一種標記目標對象的方式，塗抹是在目標對象的內部區域進行標記；
其中，掩模圖是指對一副圖像的部分或全部像素進行了前景與背景區分後生成的標記圖，所述掩模圖上的每一個像素被標記為前景點或背景點。
在本實施例中，所述圖像分割算法是GrabCut算法。
在一種實施方式中，預處理模塊，用於採用以下方式將所述塗抹軌跡作為骨架生長成標記區：獲取原始圖像的邊緣梯度信息，從所述塗抹軌跡的像素中選取部分像素作為種子，每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域，所有的種子向外生長形成的子區域合併後形成一個擴展區域，將所述擴展區域作為標記區。
其中，所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域，包括對每一個種子執行下述步驟A-F：
步驟A：將所述種子作為起始點，為所述起始點設置能量值，將所述起始點標記為活動點；
步驟B:判斷當前是否存在標記為活動點的像素，是則執行步驟C，否則執行步驟F；
步驟C：對任意一個標記為活動點的像素A，判斷所述像素A的上、下、左、右四個相鄰點中是否存在未檢查過的像素B，是則執行步驟D，否則執行步驟E；
步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標記為新的活動點，將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小於或等於所述像素A的能量值；
步驟E：判定所述像素A已經完成生長，去除所述像素A的活動點標記，將所述像素A歸入前景點集合，返回步驟B；
步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊緣梯度信息向外生長形成的子區域。
在本實施例中，分割參數計算及融合模塊，用於採用以下方式根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數，所述第一區域項分割參數是所述像素基於所述彩色圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的顏色值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。
可選地，所述EM方法的收斂條件可以是：當迭代運行的次數達到閾值時停止迭代過程；
在本實施例中，分割參數計算及融合模塊，還用於採用以下方式根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行達到收斂條件後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數，所述第二區域項分割參數是所述像素基於所述深度圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。
在本實施例中，分割參數計算及融合模塊，還用於採用以下方式根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數：根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數：
根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數；
其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第一邊界項分割參數。
其中，RGB三個顏色通道上的數值的取值範圍是：0～255；
在本實施例中，分割參數計算及融合模塊，還用於採用以下方式根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數：根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數：
根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數；
其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第二邊界項分割參數。
其中，深度值的數值範圍可以是：0～255；
可選地，與像素鄰近的各個像素可以是所述像素周邊的8個像素。
在本實施例中，分割參數計算及融合模塊，用於採用以下方式將所述第一分割參數與所述第二分割參數進行融合：將所述第一區域項分割參數與所述第二區域項分割參數進行融合：
對任意一個像素，將所述第一區域項分割參數乘以權重(1-a)得到調整後的第一區域項分割參數，將所述第二區域項分割參數乘以權重a得到調整後的第二區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數相加的和作為融合後的區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類不相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數中數值較大者指示的像素分類作為所述像素的最終分類，將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數的差值的絕對值作為融合後的區域項分割參數。
在本實施例中，分割參數計算及融合模塊，還用於採用以下方式將所述第一分割參數與所述第二分割參數進行融合：將所述第一邊界項分割參數與所述第二邊界項分割參數進行融合：
將所述第一邊界項分割參數乘以權重(1-a)得到調整後的第一邊界項分割參數，將所述第二邊界項分割參數乘以權重a得到調整後的第二邊界項分割參數，然後將所述調整後的第一邊界項分割參數與所述調整後的第二邊界項分割參數相加得到所述像素的融合後的邊界項分割參數；a大於或等於0且小於或等於1。
可選地，所述權重a根據自評價參數k1和一致性參數k2進行確定：將自評價參數k1和一致性參數k2的積作為權重a；
其中，自評價參數k1採用以下方式進行確定：根據像素的深度值確定像素對應的拍攝距離的遠近程度，根據所述拍攝距離的遠近程度設置自評價參數k1，所述拍攝距離越近，自評價參數k1設置得越大；k1大於或等於0且小於或等於1；
其中，所述一致性參數k2採用以下方式進行確定：
如果所述第一邊界項分割參數與所述第二邊界項分割參數相等，則設置一致性參數k2為第一常數；
如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等，在所述第一邊界項分割參數與所述第二邊界項分割參數同時大於閾值或同時小於閾值時，設置一致性參數k2為第一常數；在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大於閾值或不同時小於閾值時，設置一致性參數k2為第二常數；所述第一常數大於所述第二常數；所述第一常數大於0且小於或等於1，所述第二常數大於0且小於1。
在本實施例中，掩模圖調整模塊，用於採用以下方式構建無向圖並將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中：
構建一個無向圖，在所述無向圖的平面外設置兩個懸空點Q0和Q1，所述懸空點Q0為虛擬前景點，所述懸空點Q1為虛擬背景點；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點，在前景點的映射點與所述懸空點Q0之間建立連線，在背景點的映射點與所述懸空點Q1之間建立連線；
對掩模圖中的任意一個像素Pi，將所述像素Pi的融合後的區域項分割參數作為所述無向圖中映射點Pi'的權值，將所述像素Pi的融合後的邊界項分割參數作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權值。
其中，掩模圖調整模塊，用於採用以下方式根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖：
迭代執行以下C步驟和D步驟，在迭代運行達到收斂條件後停止迭代過程，將所述前景點集合Q中的各個像素作為精細分割後的掩模圖中的前景點；
其中，C步驟和D步驟分別包括以下處理：
C步驟：將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點，由劃分為前景點的像素構成前景點集合Q；
D步驟：計算所述前景點集合Q的權值總和，所述權值總和是所述前景點集合Q中所有前景點的權值和，再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和；
其中，所述收斂條件是前景點集合Q的權值總和小於閾值且變化趨於穩定。
本發明實施例的方法，通過塗抹軌跡作為骨架生長成標記區，標記區中的所有像素標記為前景點，從而自動擴充圖像分割算法的輸入掩模圖中標記的前景點數目，可減少圖像分割算法為區分出前景點和背景點的迭代次數，顯著地減少圖像分割算法的運行時間。另一方面，本發明實施例的技術方案能夠基於深度圖和彩色圖分別計算各像素的分割參數並進行參數融合，利用融合後的分割參數進行圖像分割，相較於相關技術中僅僅使用彩色圖進行圖像分割，能夠改善圖像分割的效果。
實施例3
本發明實施例還提供一種終端，所述終端包括上述實現交互式圖像分割的裝置。
應用示例1
用戶在原始圖像上對自己感興趣的目標對象進行了塗抹，採用本文的圖像分割方法對所述目標對象進行提取，可以包括以下步驟：
步驟S501，檢測到用戶選擇採用塗抹的方式對目標對象進行標記；
比如，界面上提供兩個用於標記的按鍵，一個是「塗抹」，一個是「勾勒」，如果用戶點選了「塗抹」按鍵，則對塗抹軌跡進行預處理。
其中，塗抹和勾勒是標記目標對象的兩種不同方式；
一般地，塗抹是在目標對象的內部區域進行標記，勾勒是沿著目標對象的外部輪廓進行標記；
步驟S502，檢測到用戶在原始圖像上進行塗抹；
比如，如圖5-a所示，用戶在原始圖像上進行了塗抹，目標對象是「訂書機」；
步驟S503，獲取原始圖像的邊緣梯度信息，從所述塗抹軌跡的像素中選取部分像素作為種子，每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域，所有的種子向外生長形成的子區域合併後形成一個擴展區域，將所述擴展區域作為標記區；
其中，如圖5-b所示，可以採用種子生長方法由所述塗抹軌跡生長出標記區。
其中，所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域，包括對每一個種子執行下述步驟A-F：
步驟A：將所述種子作為起始點，為所述起始點設置能量值，將所述起始點標記為活動點；
步驟B:判斷當前是否存在標記為活動點的像素，是則執行步驟C，否則執行步驟F；
步驟C：對任意一個標記為活動點的像素A，判斷所述像素A的上、下、左、右四個相鄰點中是否存在未檢查過的像素B，是則執行步驟D，否則執行步驟E；
步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標記為新的活動點，將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小於或等於所述像素A的能量值；
步驟E：判定所述像素A已經完成生長，去除所述像素A的活動點標記，將所述像素A歸入前景點集合，返回步驟B；
步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊緣梯度信息向外生長形成的子區域；
對一個種子的生長情況做如下的說明：
如附圖5-c-1所示，在邊緣梯度圖上，「陡峭2」代表像素的邊緣梯度值為2，梯度值較大，屬於陡峭類，「平緩1」代表像素的邊緣梯度值為1，梯度值較小，屬於平緩類。
種子作為起始點O，將其標記為活動點，用「*」表示活動點；起始點O的能量值可以設定為4；起始點O的能量值設置的不同可以影響到生長區域的大小，能量值越大，生長的區域越大。
如附圖5-c-2所示，當起始點O準備向右生長時，右邊相鄰像素的邊緣梯度值為1，符合生長條件，所以，將起始點O右邊的第一個像素標記為新的活動點，所述新的活動點的能量值是起始點O的能量值(4)減去所述相鄰像素的邊緣梯度值(1)得到的差(3)。用同樣的方法，將起始點O上、下、左、右四個方向的相鄰像素逐一進行檢查，符合生長條件的相鄰像素成為新的活動點，起始點O相鄰的四個像素均滿足生長條件，被標記為新的活動點。在起始點O完成檢查後，將所述起始點O的活動點標誌移除。
對每一個新標記的活動點，採用與起始點O同樣的生長方法，能夠向外擴展新的活動點。所有活動點停止生長後的子區域的示意圖如附圖5-c-3所示。
步驟S504，生成圖像分割算法(GrabCut算法)的輸入掩模圖：將所述標記區中所有的像素作為掩模圖中的前景點，將所述原始圖像上標記區外的像素作為掩模圖中的背景點。
比如，如圖5-d所示，包含塗抹軌跡的不規則深色區域是標記區，所述標記區是掩模圖(輸入掩模圖)中的前景點區塊；原始圖像的邊緣用虛線框進行表示，所述虛線框內除去標記區(前景點區塊)的部分是掩模圖中的背景點區塊。
步驟S505，獲取彩色圖，以及包含目標對象深度信息的深度圖；
如圖5-a所示，用戶進行塗抹的原始圖像是彩色圖；
如圖5-e所示，深度圖是包含深度信息的一張圖，與彩色圖的尺寸大小一致；深度圖中，顏色較深的部分拍攝距離較遠，顏色較淺的部分拍攝距離較近。
步驟S506，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數，所述第一分割參數和第二分割參數用於表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異；將所述第一分割參數與所述第二分割參數進行融合；
其中，對所述掩模圖上任意一個像素，所述像素的分割參數包括區域項分割參數和邊界項分割參數；所述像素的區域項分割參數是指所述像素判決為前景點或背景點的概率；所述像素的邊界項分割參數是指所述像素與相鄰像素的數值差異；
其中，根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行此處達到指定次數後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數，所述第一區域項分割參數是所述像素基於所述彩色圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的顏色值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類；
其中，各個像素的顏色值可以是RGB值；
其中，根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數：
按EM方法進行高斯混合模型GMM計算，所述EM方法包括E步驟和M步驟；迭代運行E步驟和M步驟，在所述迭代運行次數達到指定次數後停止所述迭代過程；將最後一次執行M步驟獲得的所述像素的分類確定為所述像素的分類，將最後一次執行M步驟獲得的所述像素歸屬於某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數，所述第二區域項分割參數是所述像素基於所述深度圖判決為前景點或背景點的概率；
其中，所述E步驟和M步驟分別包括以下處理：
E步驟：根據所述掩模圖上各個像素的深度值以及像素之間的位置關係通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點或背景點；簇的分類包括前景點簇或背景點簇；
M步驟：根據各個簇的GMM模型確定每一個像素歸屬於各個簇的概率，對任意一個像素，根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類；
其中，根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數，包括：對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第一邊界項分割參數；
其中，RGB三個顏色通道上的數值的取值範圍是：0～255；
其中，根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數，包括：對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累加，再對累加和進行歸一化處理，得到歸一化後的累加和作為所述像素的第二邊界項分割參數；
其中，深度值的數值範圍可以是：0～255；
可選地，與像素鄰近的各個像素可以是所述像素周邊的8個像素。
其中，將基於所述彩色圖確定出的第一區域項分割參數與基於所述深度圖確定出的第二區域項分割參數進行融合，包括：
對任意一個像素，將所述第一區域項分割參數乘以權重(1-a)得到調整後的第一區域項分割參數，將所述第二區域項分割參數乘以權重a得到調整後的第二區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數相加的和作為融合後的區域項分割參數；
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像素分類不相同，則將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數中數值較大者指示的像素分類作為所述像素的最終分類，將所述調整後的第一區域項分割參數與所述調整後的第二區域項分割參數的差值的絕對值作為融合後的區域項分割參數；
其中，將基於所述彩色圖確定出的第一邊界項分割參數與基於所述深度圖確定出的第二邊界項分割參數進行融合，包括：
將所述第一邊界項分割參數乘以權重(1-a)得到調整後的第一邊界項分割參數，將所述第二邊界項分割參數乘以權重a得到調整後的第二邊界項分割參數，然後將所述調整後的第一邊界項分割參數與所述調整後的第二邊界項分割參數相加得到所述像素的融合後的邊界項分割參數；a大於或等於0且小於或等於1；
其中，所述權重a根據自評價參數k1和一致性參數k2進行確定：將自評價參數k1和一致性參數k2的積作為權重a；
其中，自評價參數k1採用以下方式進行確定：根據像素的深度值確定像素對應的拍攝距離的遠近程度，根據所述拍攝距離的遠近程度設置自評價參數k1，所述拍攝距離越近，自評價參數k1設置得越大；k1大於或等於0且小於或等於1；
其中，所述一致性參數k2採用以下方式進行確定：
如果所述第一邊界項分割參數與所述第二邊界項分割參數相等，則設置一致性參數k2為第一常數；
如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等，在所述第一邊界項分割參數與所述第二邊界項分割參數同時大於閾值或同時小於閾值時，設置一致性參數k2為第一常數；在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大於閾值或不同時小於閾值時，設置一致性參數k2為第二常數；所述第一常數大於所述第二常數；所述第一常數大於0且小於或等於1，所述第二常數大於0且小於1；
步驟S507，構建無向圖，將所述掩模圖中的每一個像素的融合後的分割參數映射到所述無向圖中，根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖；
其中，無向圖如圖5-f所示，在所述無向圖的平面外設置兩個懸空點Q0和Q1，所述懸空點Q0為虛擬前景點，所述懸空點Q1為虛擬背景點；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點，在前景點的映射點與所述懸空點Q0之間建立連線，在背景點的映射點與所述懸空點Q1之間建立連線；
對掩模圖中的任意一個像素Pi，將所述像素Pi的融合後的區域項分割參數作為所述無向圖中映射點Pi'的權值，將所述像素Pi的融合後的邊界項分割參數作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權值。
根據最小割-最大流算法對所述無向圖進行處理，獲得精細分割後的掩模圖，包括：
迭代執行以下C步驟和D步驟，在迭代運行達到收斂條件後停止迭代過程，將所述前景點集合Q中的各個像素作為精細分割後的掩模圖中的前景點；
其中，C步驟和D步驟分別包括以下處理：
C步驟：將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點，由劃分為前景點的像素構成前景點集合Q；
D步驟：計算所述前景點集合Q的權值總和，所述權值總和是所述前景點集合Q中所有前景點的權值和，再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和；
其中，所述收斂條件是前景點集合Q的權值總和小於閾值且變化趨於穩定。
其中，精細分割後的掩模圖如圖5-g所示，包含塗抹軌跡且具有目標圖像(訂書機)輪廓的不規則深色區域是標記區，所述標記區是精細分割後的掩模圖中的前景點區塊；原始圖像上除去標記區(前景點區塊)的部分是掩模圖中的背景點區塊。精細分割後的掩模圖與初始的掩模圖相比，前景點區塊與背景點區塊之間的邊界更加細緻。
步驟S508，從所述彩色圖中分割出所述精細分割後的掩模圖中前景點對應的圖像。
其中，根據精細分割後的掩模圖從所述原始的彩色圖中分割出目標對象，分割出的「訂書機」圖像如圖5-h所示。
本應用示例通過將塗抹軌跡作為種子生長成標記區，將標記區中的所有像素標記為前景點，能夠自動擴充圖像分割算法的輸入掩模圖中標記的前景點數目，可減少圖像分割算法為區分出前景點和背景點的迭代次數，顯著地減少圖像分割算法的運行時間。另一方面，本應用示例的技術方案能夠基於深度圖和彩色圖分別計算各像素的分割參數並進行參數融合，利用融合後的分割參數進行圖像分割，相較於相關技術中僅僅使用彩色圖進行圖像分割，能夠改善圖像分割的效果。
需要說明的是，在本文中，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，所述計算機軟體產品存儲在一個存儲介質(如ROM/RAM、磁碟、光碟)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，伺服器，空調器，或者網絡設備等)執行本發明各個實施例所述的方法。
以上僅為本發明的優選實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍內。