基於約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法

2023-09-12 18:57:55 1

專利名稱：基於約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法
技術領域：
本發明涉及計算機視覺、圖像處理及模式識別等技術領域，具體涉及一種基於約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法。
背景技術：
視頻分割是指 將視頻序列按其特徵劃分成一些互不重疊的時空區域的一種技術。視頻分割是計算機視覺的一種關鍵技術，是視頻監控、人機互動以及視頻編輯等多種應用的基礎。視頻分割的基礎是靜止圖像分割。大部分靜止圖像分割技術都以自底向上的方式進行，它們通過檢測邊界或者依據色彩、紋理等特徵對像素聚類，從而達到分割的目的。但是由於圖像底層特徵和物體模型之間的巨大語義鴻溝，對靜止圖像進行分割很難得到用戶希望的結果。相比於靜止圖像，視頻由於包含了運動信息，其能在很大程度上消除底層特徵和物體模型之間的語義鴻溝，因此視頻分割往往能得到更為準確的結果。進行視頻分割的關鍵是如何利用運動信息。早期的研究大多假設背景是靜止的，從而可以利用像素顏色隨時間的變化來檢測運動前景目標；稍後的研究嘗試將幀間光流(即圖像像素的運動矢量場)作為特徵對圖像像素進行聚類，其不需要靜止背景的假設，但缺點是只能利用相連兩幀間的運動信息；從上個世紀90年代末期開始，研究者們考慮從視頻中提取長時特徵點軌跡，並通過運動分析對其進行聚類，相比光流法，其能利用更為豐富的運動信息，但其缺點是特徵點往往過於稀疏，從而無法得到完整的分割結果，此外，其對顏色紋理等靜態信息沒有加以利用。在已有的基於幀間光流或長時特徵點軌跡的視頻分割方法中，譜聚類方法由於能在任意形狀樣本空間上聚類並能得到近似的全局最優解，是目前應用最廣的一類像素(或特徵點)聚類算法。譜聚類建立在譜圖理論基礎上，其原理是將圖像中每個像素當作圖的頂點，再計算像素點間的相似度，並將其作為圖的頂點間邊的權重，從而將圖像分割問題轉化為圖的劃分問題。傳統的基於譜聚類進行視頻分割的相關方法往往只利用運動信息或對運動信息和靜態信息進行簡單加權用於分割，不能對視頻圖像的靜態特徵(如顏色和紋理等)和運動特徵兩種不同可靠度的信息加以很好的利用，得不到準確的稠密的分割結果。

發明內容
(一)要解決的技術問題本發明的目的在於提供一種基於約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法，對於視頻圖像的靜態特徵(如顏色和紋理等)和運動特徵採用不同處理方法，以得到準確稠密的分割結果；進一步的，本發明對圖像的空間平滑信息加以利用，以得到更為精準的分割效果。
(二)技術方案本發明技術方案如下一種基於約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法，包括步驟SI.利用光流法從視頻圖像中提取部分像素點的點的長時運動軌跡，根據所述點軌跡信息構建運動約束；S2.構建像素相似度矩陣；S3.結合所述運動約束以及像素相似度矩陣，構建譜聚類分割模型並求解得到初步分割結果；S4.構建空間平滑約束；S5.結合所述初步分割結果以及空間平滑約束，構建馬爾科夫隨機場模型並求解得到最終分割結果。優選的，所述步驟S I包括步驟S101.從視頻圖像中採樣部分像素點並提取這些點的軌跡記這些像素點組成的集合為cp，記第i個點在第t幀圖像中坐標為
權利要求
1.一種基於約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法，其特徵在於，包括步驟 51.利用光流法從視頻圖像中提取部分像素點的長時運動軌跡，根據所述軌跡信息構建運動約束； 52.構建像素相似度矩陣； 53.結合所述運動約束以及像素相似度矩陣，構建譜聚類分割模型並求解得到初步分割結果； 54.構建空間平滑約束； 55.結合所述初步分割結果以及空間平滑約束，構建馬爾科夫隨機場模型並求解得到最終分割結果。
2.根據權利要求I所述的視頻圖像分割方法，其特徵在於，所述步驟SI包括步驟 5101.從視頻圖像中採樣部分像素點，並利用光流法提取這些點的軌跡記這些像素點組成的集合為CP，記第i個點在第t幀圖像中坐標為
3.根據權利要求2所述的視頻圖像分割方法，其特徵在於，所述η=5;所述步驟S102中使用的聚類方法為K均值聚類法。
4.根據權利要求2或3所述的視頻圖像分割方法，其特徵在於，所述步驟S2包括步驟 5201.分別計算視頻圖像中任意兩個像素點第i個像素和第j個像素的相似度Wij，其構成的圖像像素相似度矩陣記為W。
5.根據權利要求4所述的視頻圖像分割方法，其特徵在於，所述步驟S2在步驟S201之後還包括步驟 5202.求取所述圖像像素相似度矩陣W的拉普拉斯矩陣，記為Lsym；5203.求取所述Lsym的各個特徵值Xi和其對應的特徵向量Ui，其中O=X1彡\2(···^入N。
6.根據權利要求5所述的視頻圖像分割方法，其特徵在於，所述步驟S202具體為圖像像素相似度矩陣W的拉普拉斯矩陣λ =D H
7.根據權利要求5或6所述的視頻圖像分割方法，其特徵在於，所述步驟S3包括步驟 5302.對所得的X作如下處理
8.根據權利要求7所述的視頻圖像分割方法，其特徵在於，所述步驟S4包括步驟
9.根據權利要求8所述的視頻圖像分割方法，其特徵在於，所述步驟S5包括步驟s501.構建最終的分割目標函數
10.根據權利要求9所述的視頻圖像分割方法，其特徵在於，所述步驟S502中通過快速原-對偶方法求解^的值。
全文摘要
本發明涉及計算機視覺、圖像處理及模式識別等技術領域，具體涉及一種基於約束譜聚類和馬爾科夫隨機場的視頻圖像分割方法。本發明利用圖像靜態特徵計算像素間的相似度矩陣，將運動特徵作為約束加入譜聚類框架中，相比傳統的簡單加權的方法，本發明的處理方法更好的利用了這兩種不同可靠度的信息；此外，由於將運動信息編碼作為約束，只需要稀疏的點運動軌跡，因此可以利用可靠的長時運動信息，得到準確稠密的分割結果；進一步的，本發明通過構建一個馬爾科夫隨機場模型，將像素的空間平滑信息編碼成相應的約束，使視頻圖像分割效果更加精準。
文檔編號G06T7/20GK102938153SQ20121047620
公開日2013年2月20日 申請日期2012年11月21日 優先權日2012年11月21日
發明者周杰, 胡瀚, 馮建江, 喻川, 張昊颺 申請人:清華大學