一種基於目標形狀的自動圖像分割方法

2023-05-25 22:05:16 1

專利名稱：一種基於目標形狀的自動圖像分割方法
技術領域：
本發明涉及圖像處理技術領域，具體的說是一種基於目標形狀的自動圖像分割方法。
背景技術：
圖像分割是計算機視覺領域中的一個基本性的問題，也是圖像處理與圖像理解的 重要研究方向，它的目的是將圖像分成若干個有意義的區域。圖像分割問題也可以看作是 像素標號問題。在過去的幾十年中，研究人員針對自動圖像分割技術進行了大量的研究，業 已提出了許多算法。一些早期的分割算法由於沒有具體的分割能量表達式，沒有形成一個 清楚的代價函數，所以不易與其他算法結合，也不容易對分割結果做出評價。將能量極小化 方法引入到圖像分割當中可以很好的解決上述問題。能量極小化方法包括兩個主要的步 驟設計目標函數和最小化目標函數。1989年，Greig等人首先從組合優化的角度提出圖割算法可以用來最小化視覺 中特定的能量函數，這個能量可以表示為一個在MAP-MRF框架下的後驗能量。基於圖割的 能量最小化方法首先要對針對能量函數建立一個圖，使得MRF的組合與圖的割之間一一對 應，因此割的總代價就等價於組合的總能量。構造了這樣一個圖，就能通過最小割來找到一 個最小能量的MRF組合，這個最小割就是能量的最小值。根據Ford和Fulkerson的理論， 最小割可以通過最大流算法計算。由於過去的最大流/最小割方法效率很低，加上二值圖像復原看似有很大的應用 局限性，導致很長一段時間以來Greig等人的研究沒有得到足夠的重視。這種情況一直持 續到2000年左右。Boykov等人在計算機視覺高水平會議和期刊上連續發表了關於新的圖 割方法的論文，並提出一種交互式圖像分割算法。他們用這個新的圖割算法最優化定義在 離散變量集合的MAP-MRF能量。這個能量函數一般由兩項組成一項用來懲罰解與觀察數 據的不一致性，另一項則加強空間上的一致性。與傳統的方法相比，新的最大流/最小割方 法可以極大提高算法效率，並且能夠推廣到N維。在視覺實際應用中的研究表明，該算法可 以在普通的PC機上接近實時的解決二維或者三維圖像分割問題。Boykov等人的工作將圖 割在視覺領域中的應用推向了一個新的發展階段。自那之後，對圖割方法的研究呈現出不 斷上升的勢頭，越來越多的知名學府和研究機構的專家學者加入到此項研究的行列中來。 圖割方法引起的關注極大的推動了視覺領域各個相關技術的發展，用圖割進行能量最優化 在計算機和圖形領域已經變成一個熱點。Marr曾提出各層相互獨立、嚴格由低到高的分層視覺框架。由於各層之間不存在 反饋，數據自底向上單向流動，高層信息無法指導底層特徵的提取，導致底層誤差不斷積累 傳播到高層，並且沒有提供任何可以修正的機會，許多底層的視覺任務由於欠缺約束條件 而成為病態問題，沒有唯一解。背景噪聲的存在，目標被其它物體遮擋，目標的對比度很低 甚至某些部分缺失時，會導致虛假的邊緣，輪廓的斷裂，以及目標之間邊界的交迭，此時傳 統的分割方法往往會失效。目標的位姿、光照，以及相機視點的改變等，也會導致不一致的分割結果。這就需要建立一種更接近人類視覺機理的分割框架，能將基於圖像本身的低層 次視覺特徵與高層信息有機地結合起來，共同指導圖像分割。結合關於目標形狀的先驗知識會使得分割更加魯棒。形狀先驗能夠通過排除所有 不符合先驗知識的分割區域來減少分割的不明確性。加入分割目標的先驗知識指導分割正 是通過高層的信息來指導低層的分割。進入20世紀以來，有許多學者從事關於在主動輪廓 分割模型中使用基於水平集的形狀先驗的研究工作。但從他們的論文中可以看出，水平集 分割是數值不穩定的，而且傾向於陷入局部極小值解。近年來，人們又嘗試將目標的形狀先 驗知識加入基於圖割的分割模型來改進分割效果。將形狀先驗與圖割框架相結合進行圖像 分割方面研究是一個嶄新的課題，形狀知識在分割模型中有效的表述仍是需要研究的一個 問題。而且，在分割模型中加入先驗信息會增加算法的複雜度，影響它們在實時條件下的應 用。目前基於圖割的圖像分割方法大多是採用人機互動的半自動分割方式，而在實際應用 中需要算法能夠自動進行分割。

發明內容
針對現有技術中存在的分割精度低、需要人工交互操作等不足，本發明要解決的 技術問題是提供一種分割精度高的基於圖割算法的自動圖像分割方法。為解決上述技術問題，本發明採用的技術方案是本發明基於目標形狀的自動圖像分割方法包括以下步驟形狀模板製備在包含目標的已知圖像中，根據目標形狀，建立多尺度形狀模板， 提取形狀信息；自動圖像分割根據待分割圖像顏色以及上述形狀信息建立s-t圖，使用最大流 /最小割方法優化圖割能量，遍歷圖像中所有合法位置，能量最小值對應的即為最終分割結^ ο所述形狀模板製備包括以下步驟在已知圖像上沿著目標邊緣繪製出形狀輪廓；從需要的最大尺度開始，根據設定的尺度步長，使用圖像縮放依次生成各個尺度 的形狀；在所得到的各個尺度的形狀圖像中做四連通距離變換；根據預先設定的變形率，得到形狀模板的內、外輪廓；將外輪廓、內輪廓，以及內、外輪廓之間的點的坐標和距離值分別按照源點、匯點 和普通節點分類記錄；對源點、匯點和普通節點中的每個節點依次判斷其4鄰域內有無合法數據點，並 保存判斷結果和鄰居點序號。所述自動圖像分割包括以下步驟讀入製備好的形狀模板信息，並將當前最小能量設為無窮大；根據多尺度模板的節點類型信息構建s-t圖的節點集合和4鄰域邊集合，利用圖 像灰度或者紋理信息為s-t圖中的每條邊賦邊權值，根據每個節點的距離信息進行邊權值 加權；使用最大流/最小割算法找到該s-t圖的最小割，得到分割能量與最小割對應的
4飽和邊，將分割能量與飽和邊的邊數相除得到歸一化能量；上述歸一化能量與當前最小能量做比較，若歸一化能量< 當前最小能量，則將歸 一化能量的值賦給當前最小能量，並保存當前分割結果；判斷多尺度模板中的所有尺度是否計算完畢；如果所有尺度計算完畢，則判斷待分割圖像中的所有位置是否計算完畢；如果所有位置計算完畢，則輸出能量最小值對應的分割結果；如果所有位置沒有計算完畢，則計算待分割圖像中的下一個位置，返回讀入製備 好的形狀模板信息，並將當前最小能量設為無窮大步驟；如果所有尺度沒有計算完畢，讀入下一尺度形狀信息；返回根據多尺度模板的節 點類型信息構建s_t圖的節點集合和4鄰域邊集合步驟；如果歸一化能量不小於當前最小能量，則接續判斷多尺度模板中的所有尺度是否 計算完畢步驟。本發明具有以下有益效果及優點1.本發明在能量極小化的圖像分割框架下，採用圖割優化技術，結合已知目標的 形狀信息，進行自動圖像分割，模板製備完成後，無需任何人工幹預，能夠全自動的完成分 割任務。2.本發明可以用於灰度和彩色圖像分割，尤其適用於在連續視頻圖像中自動提取 已知形狀的目標。


圖1為本發明基於目標形狀的自動分割算法流程圖；圖2為本發明方法實施例採用的已知形狀圖像；圖3為本發明方法中實施例多尺度形狀模板圖像；圖4為本發明方法中實施例應用的待分割圖像；圖5為採用本發明方法實施例分割結果圖像。
具體實施例方式以下結合附圖和具體實施例對本發明進行說明，但本發明不限於本實施例。本發明基於目標形狀的自動圖像分割方法利用已知圖像製備形狀模板，將目標的 形狀信息引入圖割框架指導圖像分割，包括以下步驟形狀模板製備在包含目標的已知圖像中，根據已知目標形狀，建立多尺度形狀模 板，提取形狀信息；自動圖像分割根據待分割圖像顏色以及上述形狀信息建立s_t圖，使用最大流 /最小割方法優化圖割能量，遍歷圖像中所有合法位置，能量最小值對應的即為最終分割結果。1.形狀模板製備如圖1所示，在本步驟中，需要從已知圖像中獲取目標的形狀信息，並保存為便於 在分割算法中使用的形式。具體方法為1)在已知圖像上(如圖2所示)沿著目標邊緣繪製出形狀輪廓。
用滑鼠在已知圖像中，繪製出已知目標的閉合輪廓，得到原始目標形狀二值圖像， 圖像的尺寸等於所繪製輪廓的外接矩形。2)從需要的最大尺度開始，根據設定的尺度步長，使用圖像縮放依次生成各個尺 度的形狀。設定最大尺度Smax和尺度步長Δ s，利用原始目標形狀二值圖像進行圖像縮放，依 次生成各個尺度下的形狀輪廓二值圖像。3)在所得到的各個尺度的形狀圖像中做四連通(Li)距離變換。4)在所得到的距離圖像中根據預先設定的變形率，得到形狀模板的內、外輪廓 (如圖3所示白色部分)。設定變形率a，表示允許形狀輪廓在士a個像素的範圍內自由變化，根據實際情 況，各個尺度下a的數值可以相同也可分別設計。距離值等於a且在形狀外部的點為外輪 廓點，距離值等於a且在形狀內部的點為內輪廓點。5)將外輪廓、內輪廓，以及內、外輪廓之間的點的坐標和距離值分別按照源點 (source)、匯點(sink)和普通節點分類記錄。將外輪廓點記錄為源點，內輪廓點記錄為匯點，距離值在0到a之間的點記錄為普 通節點(如圖3所示白色部分之間所夾灰色部分)，並記錄每個節點對應的距離值，將記錄 點按照尺度級分別保存。6)對源點(source)、匯點(sink)和普通節點中的每個節點依次判斷其4鄰域內 有無合法數據點，並保存判斷結果和鄰居點序號。本步驟對所記錄的形狀信息加以處理是為了加快s_t圖的建立速度。在形狀模板製備步驟完成後，生成的每一尺度級的形狀模板包括以下信息所在 尺度，模板寬高，節點個數，變形率，模板數據。每個模板數據信息包括節點類型，相鄰節 點，坐標，鄰居序號，距離值。2.自動圖像分割步驟如下本步驟需要利用製備好的形狀模板信息，從待分割圖像中自動分割出已知目標。 具體方法為1)讀入製備好的形狀模板信息，並將當前最小能量設為無窮大打開待分割圖像(如圖4所示)，本實施例從圖像的左上角第一個合法位置開始計 算，令當前能量最小值Emin=⑴。2)根據多尺度模板的節點類型信息構建s_t圖的節點集合和4鄰域邊集合，利用 圖像灰度或者紋理信息為s-t圖中的每條邊賦邊權值，根據每個節點的距離信息進行邊權 值加權根據多尺度模板的節點類型信息自動建立s-t圖；按形狀信息節點順序依次判斷 模板中各個節點的節點類型信息，確定源點、匯點和普通節點，根據相鄰節點信息和鄰居標 號信息確定各條邊。根據圖像的顏色和灰度，邊權值通過下式計算/g) = exp -1^y \\fp-fc\( 1 )
\ Ζσ )有時目標內部顏色或者灰度分布不均勻，但具有統一紋理特徵，此時邊權值可通過結構張量計算
權利要求
1.一種基於目標形狀的自動圖像分割方法，其特徵在於包括以下步驟形狀模板製備在包含目標的已知圖像中，根據目標形狀，建立多尺度形狀模板，提取 形狀信息；自動圖像分割根據待分割圖像顏色以及上述形狀信息建立s-t圖，使用最大流/最小 割方法優化圖割能量，遍歷圖像中所有合法位置，能量最小值對應的即為最終分割結果。
2.按權利要求1所述的基於目標形狀的自動圖像分割方法，其特徵在於所述形狀模板 製備包括以下步驟在已知圖像上沿著目標邊緣繪製出形狀輪廓；從需要的最大尺度開始，根據設定的尺度步長，使用圖像縮放依次生成各個尺度的形狀；在所得到的各個尺度的形狀圖像中做四連通距離變換；根據預先設定的變形率，得到形狀模板的內、外輪廓；將外輪廓、內輪廓，以及內、外輪廓之間的點的坐標和距離值分別按照源點、匯點和普 通節點分類記錄；對源點、匯點和普通節點中的每個節點依次判斷其4鄰域內有無合法數據點，並保存 判斷結果和鄰居點序號。
3.按權利要求1所述的基於目標形狀的自動圖像分割方法，其特徵在於所述自動圖像 分割包括以下步驟讀入製備好的形狀模板信息，並將當前最小能量設為無窮大；根據多尺度模板的節點類型信息構建s-t圖的節點集合和4鄰域邊集合，利用圖像 灰度或者紋理信息為s-t圖中的每條邊賦邊權值，根據每個節點的距離信息進行邊權值加 權；使用最大流/最小割算法找到該s-t圖的最小割，得到分割能量與最小割對應的飽和 邊，將分割能量與飽和邊的邊數相除得到歸一化能量；上述歸一化能量與當前最小能量做比較，若歸一化能量< 當前最小能量，則將歸一化 能量的值賦給當前最小能量，並保存當前分割結果；判斷多尺度模板中的所有尺度是否計算完畢；如果所有尺度計算完畢，則判斷待分割圖像中的所有位置是否計算完畢；如果所有位置計算完畢，則輸出能量最小值對應的分割結果。
4.按權利要求3所述的基於目標形狀的自動圖像分割方法，其特徵在於如果所有位 置沒有計算完畢，則計算待分割圖像中的下一個位置，返回讀入製備好的形狀模板信息，並 將當前最小能量設為無窮大步驟。
5.按權利要求3所述的基於目標形狀的自動圖像分割方法，其特徵在於如果所有尺 度沒有計算完畢，讀入下一尺度形狀信息；返回根據多尺度模板的節點類型信息構建s-t 圖的節點集合和4鄰域邊集合步驟。
6.按權利要求3所述的基於目標形狀的自動圖像分割方法，其特徵在於如果歸一化 能量不小於當前最小能量，則接續判斷多尺度模板中的所有尺度是否計算完畢步驟。
全文摘要
本發明涉及一種基於目標形狀的自動圖像分割方法，其包括以下步驟形狀模板製備在包含目標的已知圖像中，根據目標形狀，建立多尺度形狀模板，提取形狀信息；自動圖像分割根據待分割圖像顏色以及上述形狀信息建立s-t圖，使用最大流/最小割方法優化圖割能量，遍歷圖像中所有合法位置，能量最小值對應的即為最終分割結果。本發明在能量極小化的圖像分割框架下，採用圖割優化技術，結合已知目標的形狀信息，進行自動圖像分割，模板製備完成後，無需任何人工幹預，能夠全自動的完成分割任務，可以用於灰度和彩色圖像分割，尤其適用於在連續視頻圖像中自動提取已知形狀的目標。
文檔編號G06T7/00GK102117485SQ20091024893
公開日2011年7月6日 申請日期2009年12月30日 優先權日2009年12月30日
發明者付雙飛, 吳清瀟, 周靜, 朱楓, 歐錦軍, 郎鹹朋, 郝穎明 申請人:中國科學院瀋陽自動化研究所