圖象分割和對象跟蹤的方法和與其相對應的系統的製作方法
2023-09-11 03:23:55 2
專利名稱：圖象分割和對象跟蹤的方法和與其相對應的系統的製作方法
技術領域：
本發明涉及適用於圖象序列分割與對象跟蹤的方法，所述的方法依次包括下列步驟(A)分割步驟，它確定了圖象I(t-1)第一次粗分區P(t-1)的區域以及在所述粗分區P(t-1)基礎上根據空間均勻性原則的細分區FP(t-1)；(B)投影步驟，它確定了所述細分區FP(t-1)在當前圖象I(t)中的投影PFP(t)；(C)所述投影細分區PFP(t)的重新標號步驟，它確定終極分區P(t)。
本發還涉及與實現所述方法相對應的系統。
餘弦變換編碼是圖象數據傳輸中最著名的壓縮技術之一，但它的壓縮比不能超過16∶1。在低比特率和極低比特率編碼中，把圖象內容的知識和編碼方案相結合可以提高壓縮比，所採用的技術是從圖象背景中將對象分割出來，對分割出來的對象進行檢測，在把對象作為由輪廓所包圍的紋理區域的方式進行編碼之後，傳送與它們相關的數據。但是這些輪廓和紋理在三維空間中不能有效地進行編碼(時間尺度的離散性導致了很大的不連續性)，為了實現極低的比特率，還必須採用運動補償。
在離散的順序時間上與所考慮的對象相關的區域之間的這種缺乏連通性，確實可以在分割過程中通過把運動信息包括進來而解決，當視頻序列的運動比較大時時這是非常必要的。其實現方法可以是比如計算兩幀之間的後向運動估計並且實施前一幀F(t-1)及其分割的運動補償，根據已經得到的前一幀或圖象F(t-1)的分割來對某一幀或圖象F(t)(t是時間)進行分割。這種技術使得在時間域內能更有效地跟蹤所選的感興趣區域所對應的對象。
但是，在視頻編碼領域中，那些具有基於內容的嵌入式功能並能對屏幕上的多個對象(不論對象確定可能基於什麼樣的非常不同的判據)進行單獨控制與確定的新編碼方案將越來越成為活躍的研究領域，特別是那些與MPEG4標準有關的編碼方案，MPEG4以交互式多媒體應用為對象並將在1997年末或1998年推出。一旦確定了對象或一組對象，那麼就要按序列對其進行跟蹤。正是這種對對象的跟蹤功能真正打開了基於內容的功能的大門，使得在以前各幀中的對象信息與當前幀和將來幀中的對象信息能相互聯繫，也就是說確定了對象的時間上的演變過程(此外，跟蹤功能也使得用戶能對所選擇的對象只做一次標記)。
傳統的對象跟蹤技術將運動作為主要信息，當構成對象的幾個局部部分呈現不同的運動(比如說一個在行走的人他的手臂和身體在做不同的運動)時可能會導致跟蹤失敗。此外，當整個對象在做給定的運動時基於運動的跟蹤技術不能跟蹤對象的局部(比如該技術不能脫離人的頭髮而只跟蹤人的臉)。最後，如果整個場景是靜態的(對象沒有移動)或者是攝象機有一個整體的運動(比如平搖)，基於運動的跟蹤技術就不能跟蹤或是在跟蹤所選的對象時會有困難。靜態場景(或場景變為靜態)不能提供任何運動信息，因而依據對象的運動來檢測目標實際上就很困難了。與此相類似，攝象機的整體運動使得場景中的所有對象都有一個很顯然的運動，這樣就不容易通過區分靜態和運動區域來檢測目標。
為了跟蹤這一類的對象，有些技術提出了不同的對象確定準則。比如1996年5月7-10在美國喬治亞州亞特蘭大舉行的IEEE的聲音、語聲和信號處理的國際會議上F．Margues等人．在其論文「在基於分割的視頻編碼中為基於內容的功能跟蹤感興趣區域」中就介紹了一種基於分區投影概念(前面的圖象I(t-1)和它的分區P(t-1)將做運動補償，由I(t-1)得到(t)，而由P(t-1)得到
(t)，並且在補償後的圖象(t)中補償後的區域將用來做為標記，這些標記還將用眾所周知的3D分水嶺算法推廣到當前圖象)的對象跟蹤方法並將該技術推廣到了具有任何均勻類型的區域。
所述的跟蹤技術依賴於一種雙重分區的方法，即它採用了兩級分區粗分區，它與編碼方案有關；以及細分區，它包含了當前圖象詳細豐富的描述並能跟蹤感興趣的區域。對於每一幅圖象，兩種分割都並行進行並且粗分區要對細分區進行限制所有在粗分區中的輪廓都將在細分區中出現，最終的對象是得到終極分區，終極分區包含了足以編碼圖象的必要區域以及能正確跟蹤所述感興趣的部分的必要區域。
在這一情況下，前一圖象的分區P(t-1)(這些在第一級上的分區由所選擇的對象構成)要被重新分割，產生保證每個細分區在空間域的均勻性的細分區FP(t-1)。接下來這些細分區FP(t-1)將被投影到當前圖象中去得到在時刻t的細分區(PFP(t))，而終極分區P(t)要通過對所述的經過投影的細分區PFP(t)進行重新標號而得到。
圖1給出了與此相對應的完整過程，它顯示了所選對象的演化過程(t-1時刻的分區P(t-1),t-1時刻的細分區FP(t-1),t時刻經過投影的細分區PFP(t),t時刻的分區P(t))。在這個例子中，如果重新標號過程產生了標號相同但不相連接的部分(投影細分區PFP(t-1)中的灰色區域)，那麼將被看作是投影錯誤因而將被刪除。
本發明的目的之一是提出一種改進方法，它同以前的方法一樣能跟蹤感興趣對象，但是在這種方法中將同時運用空間和運動信息以便改進所述方法的某些步驟。
為了達到這個目的，本發明涉及了一種在引言中所述的方法，其中所述的投影步驟還依次包括下列子步驟(1)標記投影子步驟，它利用運動和空間信息通過前面的圖象中每個區域的運動補償來得到當前圖象的標記集合；(2)分區生成子步驟，為了得到所述的終極分區，它為所述的補償標記集合的生長過程而利用包含在當前圖象和前面的原始圖象中的空間信息。
在優選的實施方式中，所述方法可以更準確地表示為(1)所述的投影子步驟本身還依次包括下列操作(a)在圖象I(t-1)和I(t)之間的運動估計操作；(b)基於所述估計，對細分區FP(t-1)的反向運動補償操作，它產生一個由被稱為補償標記所構成的經過補償的細分區CFP(t-1)；(c)在所述圖象中的部分選擇操作，用來在對應於粗分區P(t-1)中具有單個相同標號的所有可能不相連接的部分中僅僅選擇那些對於每一個這類指定的標號中能滿足第一個事先定義的準則的部分，而那些未被選中的部分確定了所謂的不確定區域，它們包圍在補償過的標記的周圍；(2)所述的分區生成子步驟本身依次包括下列操作(e)標記重新標號操作，它用於在從細分區FP(t-1)的一個區域建立了幾個標號時，對除一個以外的所有這些標記進行重新標號；(f)當前圖象I(t)中所有被選標記的生長操作，它採用三維擴展的分水嶺算法來進行，得到經過投影的細分區PFP(t)；(g)所述的投影細分區PFP(t)的區域合併操作，在區域生長之後，前面圖象中具有相同標號的區域將連接起來以便確定終極分區P(t)。
標記投影子步驟最好也依次包括(d)根據補償後標記的梯度的清理操作；(e)邊界刪除操作；進行這兩個操作的目的是確保投影標記灰度級的均勻性同時保持它們的同倫(homotopy)。
此外，在部分選擇操作中，如果補償的細分區CFP(t-1)中一個標號為k的不相連接部分的所有象素中至少有給定比例數的象素有相同的標號k，那麼它將被選中。
本發明的另一個目的是提出一種能實現上述方法的分割系統。
為了達到這個目的，本發明涉及在圖象序列的圖象中用於分割和對象跟蹤的系統，所述系統依次包括標記投影裝置和分區生成裝置，所述的標記投影裝置依次包括運動估計電路、運動補償電路和部分選擇電路，而所述的分區生成裝置依次包括標記重新標號電路、標記生長電路與合併電路。
以前的技術只使用了運動，而本方法與相應的系統現在就能結合空間和運動信息來跟蹤那些並不表現出一致的紋理或運動的對象。將對相鄰幀的運動進行估計並用於前一分區中區域的運動補償。補償後的區域將直接在當前幀中使用以便提高跟蹤系統的時間穩定性。當前圖象中要檢驗投影標記的空間均勻性以便確保終極標記生長過程的正確性。由於算法的核心基於地貌學工具，整個技術不會含有很大的計算量。已經證明這種對象跟蹤方法在不同的場景和各種應用中能得到很好的結果。這種方法已經在基於對象的編碼方案中用於為基於內容的功能產生視頻對象(稱為VOs)的問題中。此外，該方案已經在生成分層視頻對象中使用，它使得實時可升級的基於內容的編碼技術的實現變得更容易。
現在將參考下面要說明的實施方式並結合附圖來解釋本發明的各個方面，其中圖1顯示與傳統雙重分區方法相對應的過程；圖2顯示在相似的過程中根據本發明修改後的投影步驟；圖3顯示了標記投影裝置的方框圖，它用於實現所述投影步驟的第一個子步驟；圖4到圖7顯示了採用新的準則來保持或刪除不相連接的部分後所得到的改進，並對這種新方法和以前的方法進行了比較；圖8到12顯示在一個已知圖象序列的兩幅圖象之間的標記投影和選擇；圖13給出了分區生成裝置的方框圖，它用於實現投影步驟中第二個子步驟；圖14到圖16給出的例子顯示了在圖象序列的兩幀之間的標記重新標號，該圖象序列在圖4到圖7中已經使用過；圖17到圖19介紹了投影細分區中的新區域，它所採用的圖象是圖8到圖12的圖象序列中的(n+5)幀；圖20到圖23給出了依據本發明可能的不同應用。
正如圖2所示，就前面提到的雙分區方法的主要步驟而言，更準確地講本發明涉及的特殊技術將用於從細分區FP(t-1)到當前圖象的投影步驟，在圖中以參考號21表示(所說的的細分區是前一圖象分區P(t-1)重新分割20的結果)，其目的是首先得到投影后的細分區PFP(t)，接下來在重新標號的步驟22之後得到分區P(t)。為了提高時間上的穩定性，需要改進用於將前一圖象I(t-1)的分區P(t-1)容納於當前圖象I(t)信息內的投影步驟。正如圖2所示，這種改進後的投影步驟的實現可以分為兩個子步驟211和212標記投影子步驟和分區生成子步驟。
標記投影利用運動信息來完成從前一圖象I(t-1)所得的每個區域的運動補償。對這些與前一幀均勻區域相關的區域要進行運動補償，它們將產生表示這些區域在當前圖象I(t)中大致位置的標記。在分區生成過程中這些補償後的標記將生長以便得到終極分區P(t)。該生長過程要使用包含在當前圖象I(t)和經過運動補償的前一圖象I(t-1)的空間信息。根據本發明在本方法中所提出的投影步驟21中，空間和運動信息在標記投影和分區生成中都將結合起來。
下面將結合圖3更詳細地描述投影步驟中的第一個子步驟標記投影，圖3顯示了用標記投影裝置100來實現所說的子步驟。這個裝置依次包括將要順序介紹的幾個電路。
運動估計電路31首先得到在圖象I(t-1)和I(t)之間運動的大概估計，舉例來說採用後向塊匹配技術。比如在IEEE的消費電子學報1995年5月第41卷第2期第248-257頁的論文「分層運動估計的VLSI結構」中就介紹了這類技術圖象I(t)被分為圖象元素的小塊(比如8×8象素)，接下來在圖象I(t-1)的一個給定的窗口內對每個塊進行搜索以便在該圖象中找到一個最佳匹配的塊。即便是對那些涉及多於一個對象的塊的運動並不嚴格均勻，這種技術所獲得的運動信息也是足夠逼近的，這種運動信息以運動矢量形式給出，並且要對所考慮圖象中的所有塊分別作出估計。
接下來運動補償電路32要利用所獲得的運動矢量對圖象I(t)中的每個區域做運動補償，其目的是得到作為最後結果的一幅圖象，它為來自前一圖象I(t-1)的每個區域包含了一個相連接的部分，該部分的標號與在所說的前一圖象中的標號相同。這些部分的的每一個本身是用下面的方式得到的當前圖象中的每個象素被一個並且只被一個來自前一圖象的象素所覆蓋(在後向運動估計之後)。
但是利用以前的分區通過補償得到的圖象本身並不是一個真正的分區。在補償之後可能會出現具有相同的標號但卻並不相連接的部分。為了解決這個問題，提供了部分選擇電路33對於在補償之後能得到不止一個部分的每一個前一分區P(t-1)標號，該電路能根據事先定義的準則，通常是幾何準則，只保留相應的部分。在實際工作中，在補償後的細分區CFP(t-1)中一個標號為k的部分如果在它所有的象素中標號為k的象素的比例小於給定的比例(比如說40％左右)，那麼這個標號為k的部分就將被刪除。通過這種方式一個給定的標號就可能得到不止一個相連接的部分，只要它們中的每一個足夠大。那些被刪除的部分形成一個被稱為不確定的區域，它們包圍在所獲得的補償後的標記周圍。那些在不確定區域中的象素將在分區生成的子步驟212中再進行標號。
圖4到圖7的例子中顯示了在這些部分足夠大時保持多個相連接部分的必要性。第一幅圖象(圖4)是要進行分割的原始圖象，比如說在可視電話中的一個典型序列(眾所周知的「母親與女兒」測試序列)中一幅圖象n(n=50)，而第二幅圖象(圖5)表示在同一序列中從圖象n到圖象(n+5)投影標記集合的邊界。在標記之間的區域屬於不確定的區域。正如所看到的一樣，母親頭部的運動使得位於她頭部後面的背景分裂為兩個部分(圖象中亮和黑的區域)。如果將最小的標記刪除，那麼相鄰區域的標記就會生長而覆蓋這部分區域。在第三幅圖中(圖6)背景部分就被屬於沙發(黑色區域)的區域覆蓋。相反如果使用新的方法，大的不相連接的標記將被保留，即便是它們與另外的標記具有同樣的標號。就圖7而言，這導致了背景的兩個部分都能得到特定的區域。(所說的背景已經被它兩個相關的標記所覆蓋，並且黑色的標記只覆蓋了它相關的區域)。
最後，為了確保補償標記的空間均勻性，提供了清理電路34，它的輸出就是實現標記投影的子步驟211的裝置100的輸出。需要注意的是在投影子步驟211中由於使用了運動信息這就有可能使得來自分區P(t-1)的標號不出現在P(t)中。這樣，一個從屏幕上消失了的對象的標號將不會在以後的圖象中出現。但是，由於所使用的運動補償比較粗，在當前圖象中標記的位置對它所表示的區域而言可能並不完全正確。從一個給定區域的標記所覆蓋的灰度值可能就沒有空間均勻性。因此，該標記可能會重疊在應該分配給兩個不同區域的地方。假定標記直接作用於當前圖象，那麼每個標記都會覆蓋一部分本該屬於它相關區域的地方。
電路34實現的清理操作依賴於相關標記所覆蓋的灰度信息的梯度。通常情況下，標記位置是正確的，但是它覆蓋了一部分其它不同灰度級的區域。因此，對於每個補償過的標記來說，要計算它所覆蓋的象素的梯度均值。所有那些均值超過了給定門限的象素都將劃歸到不確定區域。不過這種清理操作可能會將劃分正確的標記的一小部分刪除掉這種效果將在圖8到圖12中顯示，圖8到圖12使用另一種典型的測試序列(「工頭」序列，圖8給出了所說序列的原始圖象)給出了兩種不同的情形。如果一個區域內部的灰度變化很小，那麼它就可能被清理操作刪除。在建築物上的某些區域就是這種情況。此外，如果一個區域很均勻但灰度值不是常數(比如說灰度值是拋物函數)，某些部分也可能被刪除。人的右臉頰就是這種情形。為了解決這些問題，標記要進行延伸以便覆蓋它內部的孔。應用最後操作的目的是在區域之間增加不確定區域使最終的邊界位置不會完全受區域運動補償的控制。不確定區域的增加是通過在標記的邊緣刪除象素來實現的。進行這種刪除將能防止標記在同倫方面的任何改變在處理過程中標記不會分裂。
在圖9的例子中給出了序列中第一幅圖象的細分區，其中這個男人已被選中(第二幅圖象圖10表示要被分割的「工頭」序列在n=5時對應的原始圖象)，圖11顯示了在基於灰度的清理操作之後的投影標記集合。(在如建築物或臉頰等均勻區域出現了一些灰色的不確定區域)。最後在圖12中給出了在經過了生長和邊界刪除處理之後所選擇的標記集合。(在所有圖象中區域的邊界用黑色表示)。在整個操作中投影分區的同倫沒有改變，也就是說沒有分區被刪除或分離。此外，需要注意的是在經過清理操作之後，所有投影標記(見圖12)都對應於圖象中(圖10)的均勻區域。有了這些改進之後，投影步驟21的下一子步驟由於有了更可靠的信息基礎而得到了改進。
投影步驟的第二個子步驟是分區生成，它的描述參見圖13，圖13顯示了如何利用分區生成裝置200來實現所說的子步驟212。為了得到終極分區P(t)，當前圖象中所選擇的標記要使用基本分水嶺的擴充算法(這方面的例子參見視覺通信與圖象重建雜誌1990年9月1(1)第21-24頁上F.Meyer和S.Beucher在論文「地貌分割」中的介紹)進行生長。在以前的方法中，分區生成操作要利用運動補償後的圖象(t)來驅動分水嶺算法，而這裡提出的擴展算法不需要使用所說的圖象(t)而只使用原始圖象I(t-1)和I(t)的信息。這樣就減少了由於運動估計和補償可能帶來的誤差。這種經過擴展的分水嶺算法將區域的紋理和輪廓信息做為費用函數。為了將一個不確定區域內的象素劃歸到一個區域中去，要對區域的平均灰度值與該象素的灰度值進行比較。一個給定區域k的平均灰度值的估計將需要使用前一圖象中相同區域k的象素值以及當前圖象中被與之相關聯的標記所覆蓋的象素的值。
如果從單個區域(見圖4到圖7)生成了兩個標記，那麼在計算平均值時將不會合併使用被這兩個標記覆蓋象素的灰度值。這就意味著在標記重新標號電路41中將對兩個標記中的一個進行重新標號。這樣，對每個標記而言，要利用該區域在前面圖象中的象素值和該標記所覆蓋的象素的值來計算不同的平均值。所以，儘管標記的標號可能會改變，但該過程仍然能記住產生該標記的過去區域。這樣如果標記在生長過程中遇到具有與過去標號相同的標記時它能夠恢復它原始的標號。圖14到16中給出了一個重新標號的例子。在這個例子中，婦女頭部後面的背景在過去圖象中被分割為一個單獨的區域。但是由於婦女頭部的運動，以前的標記產生了兩個不相連接的部分，這兩個部分由於足夠大所以在標記投影子步驟211中被保留下來。因此，正如圖14所示，兩個標記都被保留並且被標號為不同的區域。當在標記生長電路42中進行的生長過程(擴展的分水嶺算法)結束時，來自背景的兩個標記相遇了(見圖15)。由於它們以前屬於同一個區域，在合併電路43(見圖16)它們將被合併在一起，並且將給它們兩個分配同一個標號，這樣就能夠對背景進行正確的跟蹤(如果需要的話)。
為了在分區生成子步驟212進一步提高時間上的穩定性，生長過程將受運動信息的控制，對標記形狀改變的控制是由一個變化檢測算法所提供的信息來驅動的。這種技術能防止與圖象靜態(運動)區域有關的標記過度生長從而覆蓋運動(靜態)區域。
根據投影細分區PFP(t)，通過對它的區域進行重新標號就可以得到終極分區P(t)。這是所述兩次分區方案中的最後一個操作。
為了迭代這個過程，新的細分區可以從終極分區P(t)開始而獲得。雖然這樣，投影細分區PFP(t)所包含的信息可以用於啟動生成細分區的過程。因此，新的細分區可以通過對投影細分區進行重新分割來得到。對重新分割的需要是雙重的。首先，投影步驟可能會產生空間上並不完全均勻的區域。這樣的區域必須要重新分割來保證下面投影步驟的成功。其次，在場景中可能會出現新的對象。由於投影步驟只是將前面分區中區域安排到當前圖象中去，在投影分區中不能表示新對象。重新分割就可能在所選的對象之內創建新的區域。在這種情況下，將假定新的區域屬於選中的對象，這樣它將同對象的其它部分一起被跟蹤。
圖17到圖19給出了上面段落所述情況的一個例子。第一幅圖象(圖17)顯示了「工頭」序列一幀圖象的細分區，其中男人被選中。第二幅圖象(圖18)表示經過重新分割後(n+5)幀的細投影分區。在重新分割過程中出現了一個新的區域(在圖象中用黑色標記)。由於該新區域包括在所選擇的對象之內，它被添加到屬於該對象的分區集合中去。最後的結果在第三幅圖象(圖19)中給出。
上面所述用於對象跟蹤的方法可以有各種不同的應用，只要它有能力解決不同對象的定義準則。在下面的介紹中，這種技術將應用到具有不同場景的序列中去。每個例子都試圖說明一種可能的獨特應用(對完全運動對象的跟蹤，對對象的某個局部進行跟蹤，分層對象的產生)。
在第一個應用中將跟蹤勻速運動的單個對象。這也是傳統方法所處理的應用。但是在這些傳統方法中某些方法要依賴於運動檢測。換句話說，它們假設在場景中只有一個運動對象。所以在有多個運動對象或攝象機整體運動時這些方法可能會失敗。為了顯示本方法的堅實性，我們用「工頭」序列中不連續的幀來進行人的跟蹤圖20a到20f分別表示對序列中標號為5,20,85,130,155以及185的幀中的人進行跟蹤。由於結合了空間和運動準則，即便是在攝象機整體運動的情況下也能跟蹤對象。當屏幕中出現新對象(比如人的手)並且部分擋住了所選對象時，對人身體的跟蹤不太完美。此外，由於手的空間信息與臉的紋理非常相似，所選對象的區域將在手的位置進行運動補償。這樣就將手包括到到了所選的對象之中。雖然這樣，這種情況仍然並不妨礙對人身體的跟蹤，即便是攝象機正在平搖。
在第二個應用中儘管整個對象具有同速的運動，仍然可對對象的局部單獨進行跟蹤。因此，所選對象的正確邊界要根據空間的均勻性來確定。傳統的技術由於主要依賴運動信息當遇到這個問題時通常會失敗。從圖21a到圖21c給出了在「工頭」序列中比如分別在第5，20和85幀中只跟蹤人的頭的結果(在前一種情況和這種情況下，在跟蹤過程中五幀中只使用了一幀)。儘管對象沒有呈現空間的均勻性並且是較大均速運動對象的局部，對象仍然能被正確跟蹤。
在第三種應用中，假設序列已經被分成了視頻對象(VOs)。所提出的技術能跟蹤包含在多個VOs中的一個對象。這樣就產生了目標的層次，就能夠區劃VOs。這種對象層次可以應用到基於內容的可升級編碼中去。在不同的級上，特定對象的質量能得到提高。由於所提出的對象跟蹤技術利用分水嶺算法來獲得終極分區，因此在生長過程中可以把VOs的形狀作為一個約束。這樣就能確保在VOs中不同的對象不會過度生長而超過它所關聯的V0。圖22a到圖22c給出了在另一個序列(「天氣「)的第125,225和250各幀的V0中對婦女頭部的跟蹤。儘管整個身體呈現相似的運動，頭部還是可以單獨跟蹤。必須注意的是頭部的形狀總是包含在原始VO之中的，這樣就產生了上面提到的層次。
在第四個應用中前面的思想被推廣到一種普遍的情形，即在跟蹤選定對象的同時在對象內部產生對象的層次。在這種情況下，在投影步驟中的細分區將不是二值的，因為它需要跟蹤層次的不同對象。圖23作為例子給出了在序列「母親與女兒」的第0,49和218幀中對婦女頭部的跟蹤。在婦女的頭中，可以選擇並跟蹤四個不同的對象(圖23a到23c)即嘴，雙眼和頭髮。然後在圖中顯示在與這些對象相關聯的區域中的象素的灰度值(圖23d到23f)，而頭部其它部分將用灰色顯示。
權利要求
1一種應用於圖象序列分割和對象跟蹤方法，所述的方法依次包括下列步驟(A)分割步驟，它確定了圖象I(t-1)的第一次粗分區P(t-1)的區域以及在所述的粗分區P(t-1)基礎上根據空間均勻性原則的細分區FP(t-1)；(B)投影步驟，它確定了所述細分區FP(t-1)在當前圖象P(t)的投影PFP(t)；(C)投影細分區PFP(t)的重新標號步驟，它確定終極分區P(t)；其中所述的投影步驟依次包括下列步驟(1)標記投影子步驟，它利用運動和空間信息通過前面的圖象中每個區域的運動補償來得到當前圖象的標記集合；(2)分區生成子步驟，為了獲得所述終極分區，它為所述的補償標誌集合的生長過程而利用包含在當前圖象和前面的原始圖象中的空間信息。
2根據權利要求1的方法，其中(1)所述的標記投影子步驟本身還依次包括下列操作(a)在圖象I(t)和I(t-1)之間的運動估計操作；(b)基於所述估計，對細分區FP(t-1)的反向運動補償操作，它產生一個由被稱為補償標記所構成的經過補償的細分區CFP(t-1)；(c)在所述圖象中的部分選擇操作，用來在對應於粗分區P(t-1)中具有單個相同標號的所有可能不相連接的部分中僅僅選擇那些對於每一個這類指定的標號中能滿足第一個事先定義的準則的部分，而那些未被選中的部分確定了所謂的不確定區域，它們包圍在補償過的標記的周圍。(2)所述分區生成子步驟本身依次包括下列操作(e)標記的重新標號操作，它用於在從細分區FP(t-1)的一個區域建立了幾個標號時，對除一個以外的有這些標記進行重新標號；(f)當前圖象I(t)中所有被選標記的生長操作，它採用三維擴展的分水嶺算法來進行，得到經過投影的細分區PFP(t)；(g)所述投影細分區PFP(t)的區域合併操作，在區域生長之後，前面圖象中具有相同標號的區域將連接起來以便確定終極分區P(t)。
3．根據權利要求2的方法，其特徵在於所述標記投影子步驟也依次包括(d)根據補償後標記的梯度的清理操作；(e)邊界刪除操作；進行這兩個操作的目的是確保投影標記灰度級的均勻性同時保持它們的同倫。
4．根據權利要求2和3中任何一條的方法，其特徵在於所述的運動估計操作是一個後向塊匹配過程，它保證在補償操作之後，在當前圖象I(t)中的每個象素都被賦值為來自粗分區P(t-1)的一個象素、且只是一個象素。
5．根據權利要求2到4中任何一條的方法，其特徵在於在所述的部分選擇操作中，如果在補償的細分區CFP(t-1)中一個標號為k的不相連接的部分的所有象素中至少有給定比例數的象素有相同的標號k，那麼該具有給定標號k的不相連接的部分將被選中。
6．根據權利要求5的方法，其特徵在於所述的比例約為40％。
7．根據權利要求2到6中任何一條的方法，其特徵在於對每個所述的補償標記而言要計算被每個所述標記覆所蓋的象素的梯度平均值，所有超過給定所述平均值門限的象素也將被劃歸到不確定的區域。
8．根據權利要求7的方法，其特徵在於，對每個標記作重新標號的操作而言，將利用前一圖象I(t-1)中的區域象素值和被所述標記所覆蓋的象素的值來計算第二個平均值。
9．用於在圖象序列的圖象中用於分割和對象跟蹤的系統，所述的系統依次包括標記投影裝置和分區生成裝置，所述的標記投影裝置依次包括運動估計電路、運動補償電路和部分選擇電路，所述的分區生成裝置依次包括標記重新標號電路、標記生長電路和合併電路。
10．根據權利要求9的系統，其特徵在於所述的標記投影裝置在部分選擇電路的輸出還依次包括清理電路，它用於確保投影標記的灰度均勻性同時保持它們的同倫。
全文摘要
本發明涉及圖象分割和視頻對象跟蹤的改進方法。傳統的方法依賴於要跟蹤對象的運動均勻性,而本方法的基礎則是分區投影的概念,在這種方法中同時使用了空間和運動信息,並且能利用經過修正的雙分區方法來實現,這種雙分區的方法包括第一次分區的重新分割以及將細分區投影到當前圖象的投影步驟。這樣就能跟蹤非均勻性運動的對象、靜態對象以及均勻性運動對象的某些局部。
文檔編號H04N7/32GK1223056SQ98800419
公開日1999年7月14日 申請日期1998年1月22日 優先權日1997年2月6日
發明者F·馬奎斯, C·莫利納 申請人:皇家菲利浦電子有限公司