用於使用標度空間來處理圖像的設備和方法

2023-05-02 22:52:11

專利名稱：用於使用標度空間來處理圖像的設備和方法
技術領域：
本公開內容總體上涉及圖像處理，並且更具體地，涉及使用圖像的標度空間表示來處理圖像。
背景技術：
處理動態影像等的圖像可以包括標識一幀或者多幀中的對象。可以通過確定對象邊界來標識對象。可以使用描摹(rotoscoping)來標識對象邊界。描摹包括通過數字手段逐幀追蹤動態影像中的對象邊界。描摹可以提取數字蒙板(matte)以允許向圖像施加特效和其他圖像處理。特效的示例包括將場景中的對象替換為經由計算機生成的其他對象、將來自一個場景的表演者合成到另一場景以及將二維OD)動態影像改變成三維(3D)動態影像。其他圖像過程的示例包括跟蹤圖像序列中的對象以及跟蹤左眼和右眼圖像序列中的對象。當諸如藍屏方法的其他技術無法在可接受的精度容限內產生蒙板時，可以使用描摹。例如，圖像可能包括複雜背景(例如使用檔案膠片的圖像)，藍屏方法對此可能無法產生可接受的結果。描摹可能是人力密集的。為求效率，可以使用半自動描摹技術。這樣的技術包括基於輪廓的方法和阿爾法通道算法。基於輪廓的方法可能涉及到用戶，該用戶儘可能準確地在一幀或者多幀中指定輪廓。輪廓是對象邊界的粗略估計。通過估算能量函數，活動輪廓(active contour)可基於粗略估計的輪廓而與邊界相關聯。能量函數可用迭代方法使其最小化，由此產生圍繞對象的優化輪廓。在某些基於輪廓的方法中，執行筆劃匹配，包括分析成本函數以確定哪些筆劃在關鍵幀之間與對象的特定輪廓相匹配。上述算法可以輸出相對平滑的輪廓，並且在相鄰幀中的輪廓之間建立對應關係，但是這常常需要技術嫻熟的用戶來勾畫感興趣的對象。阿爾法通道算法可以通過分析三個色區域來提取對象的軟邊界相對於對象而言的前景，相對於對象而言的背景，以及在沿著對象邊界的中間區域中混合的前景和背景。阿爾法通道算法雖然也有可能應用於序列，但是它常常應用於個體幀。阿爾法通道算法可以提取軟邊界以及阿爾法值或者該值的透明度。在一些阿爾法通道算法中應用貝葉斯方式，其利用空間可變高斯集對前景色和背景色分布二者進行建模，並且假設前景色和背景色的部分混合，從而產生最終輸出。其他阿爾法通道算法假設 純前景色是一組聚類的線性組合，並且通過檢查前景和背景中的成對聚類來計算顏色和阿爾法值。又一些其他阿爾法通道算法執行以下一個或者多個(i)通過假設聚類在紅、綠、藍(RGB)色空間中為扁長或者雪茄形來估計高解析度圖像和圖像序列中的阿爾法蒙板； ( )根據關於前景和背景色的局部平滑假設導出成本函數，並且通過解析消除前景和背景色獲得關於阿爾法的二次成本函數；(iii)導出將圖像的梯度與阿爾法值相關的偏微分方程，並且描述高效算法從而提供阿爾法值作為方程的解；(iv)將自然圖像摳圖(matting) 的問題形式化為使用蒙板梯度場求解泊松方程的問題以及使用成對閃光/非閃光圖像來提取蒙板(稱為「閃光摳圖」)之一；(ν)允許「運行中」構造環境蒙板而無需專門校準；(vi) 通過捕獲前景對象和阿爾法蒙板以及捕獲對象如何折射和反射光的描述，以及通過使用環境合成將前景對象放置於新環境中來執行環境摳圖。然而，這些阿爾法通道算法尋求產生軟分割，而不產生可獲得更準確分割的硬分割。另一描摹技術是隨機遊走。隨機遊走是一種圖形化的圖像分割算法，嘗試標識出從某個「種子」像素出發向某個「匯點」像素行進的隨機遊走者將穿越特定像素的概率。可以對像素之間的邊緣進行加權，使得按照某個標準被視為相似的像素具有低邊權值，使遊走者更有可能穿越該邊緣。概率可被確定為組合Dirichlet解。隨機遊走也可以使用局部保持投影對顏色空間進行變換，使得相似的顏色(例如梯度緩慢變化的顏色)可被放在一起，而不相似的顏色可被分開。然而，隨機遊走可能無法在存在噪聲的情況下乾淨地分割圖像，從而造成不準確的對象邊界標識。因而，需要可以高效和準確地標識對象邊界的方法、設備和系統。還需要可以產生硬分割並且在存在噪聲的情況下準確標識對象邊界的方法、設備和系統。

發明內容
某些方面和實施方式涉及通過根據圖像創建標度空間圖像以及使用標度空間圖像標識圖像中的對象邊界來處理圖像。標度空間圖像是圖像的多解析度信號表示。標度空間圖像表示圖像的不同細節層次。可以在展示之前進一步處理對象邊界已被標識的圖像。 例如，圖像可以是動態影像的二維圖像。通過標識對象邊界，可以使用標識的對象邊界來處理二維QD)圖像，從而將2D圖像轉換成三維(3D)圖像。在一個實施方式中，接收具有至少一個對象的圖像。計算設備可以根據該圖像生成兩個或者更多標度空間圖像。標度空間圖像可以用來確定位勢圖(potential map)。位勢圖可以表示像素在對象的邊界內或在對象的邊界以外的可能性。位勢圖可以用來標識對象的邊界。在一些實施方式中，將圖像轉換成顏色模型。顏色模型可以是CIE LW顏色空間。在一些實施方式中，通過使用兩個或者更多低通濾波器將圖像轉換成標度空間， 從而根據圖像生成標度空間圖像。低通濾波器可以包括高斯內核。不同細節層次可以包括不同的模糊程度。在一些實施方式中，通過使用(i)兩個或者更多小波濾波器或者(ii) 一種保邊 (edge preserving)分解過程將圖像轉換成標度空間，從而根據圖像生成標度空間圖像。在一些實施方式中，標度空間圖像可以用來為圖像的每個像素確定權值。每個權值可以與一連結邊關聯。可以通過確定與像素關聯的連結邊來確定權值。可以確定針對與像素關聯的每連結邊的權值。可以收集針對每個連結邊的權值，以形成針對像素的權值。
在一些實施方式中，接收用於圖像的標籤(label)。可以根據權值並且使用標籤來確定位勢值。每個位勢值可以表示相關聯的像素在對象的邊界內或者在對象的邊界外的可能性。可以通過確定位勢值的幾何平均而根據位勢值確定位勢圖。位勢圖可以包括針對位勢值的幾何平均。在一些實施方式中，可以生成和使用標籤以確定位勢圖。接收用於圖像的對象模板(mask)。根據用於圖像的對象模板計算反轉對象模板。根據反轉對象模板確定第一距離變換。根據對象模板確定第二距離變換。使用第一距離變換來標識圖像中的前景像素。使用第二距離變換來標識圖像中的背景像素。基於標識的前景像素和標識的背景像素生成標籤。在一些實施方式中，可以根據初始位勢圖生成標籤。接收用於圖像的對象模板。根據用於圖像的對象模板計算反轉對象模板。使用形態瘦化(thinning)過程來收縮反轉對象模板。使用形態瘦化過程來收縮用於圖像的對象模板。基於收縮的反轉對象模板和收縮的用於圖像的對象模板生成初始標籤。使用初始標籤來確定用於圖像的初始位勢圖。使用初始位勢圖、收縮的反轉對象模板和收縮的對象模板來生成標籤。在一些實施方式中，位勢圖被用來生成圖像模板。接收標識對象的估計邊界的兩個或者更多關鍵點。基於關鍵點計算標籤。基於標籤來剪切圖像段。根據圖像段來確定位勢圖。根據位勢圖創建邊界點。如果接收到將邊界點標識為不可接受的命令，則使用新關鍵點來計算第二位勢圖。如果接收到將邊界點標識為可接受的命令，則輸出邊界點。可以使用邊界點來生成圖像模板。在一些實施方式中，新關鍵點的數目大於所述關鍵點。另外，在一些實施方式中， 關鍵點標識兩個或者更多圖像幀中的對象的估計邊界。邊界點標識一個或多個圖像幀中的對象的估計邊界位於兩個或者更多圖像幀之間的部分。在一些實施方式中，關鍵點標識兩個或者更多圖像幀中的對象的估計邊界。新點的第一集合標識至少一個圖像幀中的對象的估計邊界位於該兩個或者更多圖像幀之間的部分。在一些實施方式中，位勢圖可以由存儲於計算機可讀介質上的程序代碼確定。在一些實施方式中，位勢圖可以由存儲於計算機可讀介質上並且由計算設備的處理器執行的標度空間引擎確定。提及這些示例實施方式並非為了限制或者限定公開內容而是提供示例以有助於其理解。在具體實施方式
中討論附加實施方式並且在具體實施方式
中提供進一步的描述。 可以通過審視本說明書或者通過實現呈現的一個或者多個實施方式來進一步理解各種實施方式中的一個或者多個實施方式所賦予的優點。


圖1是根據本發明一個實施方式的用於生成可用來處理圖像的位勢圖的系統的框圖。圖2是根據本發明一個實施方式的用於生成用於處理圖像的位勢圖的方法的流程圖。圖3是根據本發明第二實施方式的用於生成用於處理圖像的位勢圖的方法的流
9程圖。圖4是根據本發明一個實施方式的用於基於標度空間圖像的針對圖像一像素的圖形的圖示。圖5是根據本發明一個實施方式的用於基於對象模板根據圖像確定標籤的方法的流程圖。圖6是根據本發明第二實施方式的用於基於對象模板根據圖像確定標籤的方法的流程圖。圖7A-圖7D是根據本發明一個實施方式的確定圖像中的對象邊界的圖示。圖8是根據本發明一個實施方式的用於使用位勢圖基於關鍵點來確定對象邊界點的方法的流程圖。
具體實施例方式某些方面和實施方式涉及通過根據圖像創建標度空間圖像，並且使用標度空間圖像標識圖像中的對象邊界來處理圖像。標度空間圖像可以具有不同的細節層次。可以在展示之前進一步處理對象邊界已被標識的圖像。例如，圖像可以是動態影像的二維圖像。可以標識對象邊界，並且可以使用所標識的對象邊界來處理二維OD)圖像從而將2D圖像轉換成三維(3D)圖像。標度空間圖像是圖像的多解析度信號表示。可以通過使用不同特性的濾波器(例如，不同的濾波器內核尺寸)對圖像進行濾波，以形成標度空間圖像。使用不同特性的濾波器形成的標度空間圖像可以具有不同的細節層次。在一些實施方式中，通過將圖像與具有不同尺寸的高斯內核進行卷積來形成標度空間圖像。標度空間圖像可以對應於層次。例如， 標度空間圖像可以對應於表示圖像中的細節層次的層次。在一些實施方式中，標度空間圖像是這樣形成的通過使用尺寸不同的濾波組件對圖像進行多次濾波，以濾除與圖像中的「精細」細節有關的信息。該濾波組件可以是尺寸逐漸增大的低通濾波器內核。使用大尺寸的內核濾波器生成的標度空間圖像可以是包含較少細節層次的較高層次標度空間圖像。使用尺寸較小的內核濾波器生成的標度空間圖像是包括較多細節層次的較低層次標度空間圖像。在一個實施方式中，濾波器內核是等量 (isometric)高斯低通濾波器內核，並且得到的標度空間圖像具有包括不同的特性(包括模糊)。在一些實施方式中，標度空間圖像可以用來計算針對每個像素的三維圖形。一個像素可以與多個標度空間圖像的相鄰像素相連結。連結該像素同某個相鄰像素兩者之間的連結邊可以用權值相關聯。權值的值可以由兩像素之間的相似度來確定。標度空間圖像可以用來確定針對圖像的位勢圖。例如，三維圖形可以用來計算位勢圖。對於圖像或者圖像的一部分中的每個像素，位勢圖還可以包括位勢值，該位勢值表示該像素在圖像中的對象邊界內或者在對象邊界外的可能性。位勢圖可以用來處理圖像。例如，位勢圖可以用來標識圖像對象的邊界，以允許該對象出於3D展示以及其他目的而被修改。在一些實施方式中，可以接收用於圖像的標籤，以支持計算位勢圖。標籤可以標識可作為對象的邊界像素候選者的圖像像素。標籤可以與邊界容限關聯，以確保真正的對象邊界像素被包含在標籤內。標籤可以通過不精確的邊界像素信息來計算。在一些實施方式中，使用交互手段從人類操作者接收標籤。標籤的示例是在對象邊界的周圍繪製並且包括該邊界的三分圖(trimap)。三分圖將圖像像素劃分成三組屬於對象的像素(前景)、對象外部的像素(背景)以及在前景和背景之間、可能是對象邊界像素但尚不確定的像素。可以使用標籤來計算位勢圖。在一些實施方式中，可以通過將隨機遊走算法應用於標度空間圖像來計算位勢圖。得到的位勢圖被用來標識對象邊界。位勢圖可以與隨機遊走算法一起使用，從而在存在噪聲的情況下改進對象邊界標識。給出這些說明性示例是為了向讀者介紹這裡討論的一般性主題，而並非為了限制公開的概念的範圍。以下章節參照其中相似標號表明相似單元的附圖描述各種附加實施方式和示例。示例系統實施圖1描繪了一種根據某些實施方式的系統，該系統能夠使用根據圖像生成的標度空間圖像來確定位勢圖，並且能夠允許使用位勢圖來處理圖像。可以使用其他實施方式。該系統包括具有處理器104的計算設備102，處理器104可以執行計算機可讀介質(如存儲器 106)上存儲的代碼，以使計算設備102使用根據圖像生成的標度空間圖像來確定位勢圖。 計算設備102可以是能夠處理數據並且執行作為指令集的代碼以進行動作的任何設備。計算設備102的示例包括桌面型個人計算機、膝上型個人計算機、伺服器設備、手持計算設備和行動裝置。處理器104的示例包括微處理器、專用集成電路(ASIC)、狀態機或者其他適當處理器。處理器104可以包括一個處理器或者任意數目的處理器。在一些實施方式中，處理器104包括與具有IGB或者更少VRAM的高端圖形卡關聯的圖形處理單元(GPU)。在其他實施方式中，處理器104是包括兩個、四個或者更多處理單元的多核處理器。多核處理器可以包括單指令多數據(SIMD)兼容能力，例如流式SIMD擴展(SSE)和3DNow ！。諸如LAPACK 的線性代數包可以用來有益地使用SIMD擴展和處理器的能力。處理器104可以經由總線108訪問存儲器106中存儲的代碼。存儲器106可以是能夠存儲代碼的任何有形計算機可讀介質。存儲器106可以包括能夠向處理器104提供可執行代碼的電設備、磁設備或者光設備。存儲器106的示例包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、軟盤、光碟、數字視頻設備、磁碟、ASIC、配置的處理器或者能夠有形地包含代碼的其他存儲設備。總線108可以是能夠在計算設備102的部件之間傳送數據的任何設備。總線108可以包括一個設備或者多個設備。計算設備102可以通過輸入/輸出(I/O)接口 110與附加部件共享數據。I/O接口 110可以包括USB埠、乙太網埠、串行總線接口、並行總線接口、無線連接接口或者能夠允許在計算設備與另一部件之間傳送數據的任何適當接口。附加部件可以包括用戶接口 (UI)設備112、顯示器114和網絡116。UI設備112可以包括鍵盤、滑鼠設備、觸屏接口或者能夠從用戶接收命令並且向計算設備102提供命令的其他設備。顯示器114可以包括液晶顯示器(LCD)、等離子體屏、陰極射線管(CRT)或者能夠顯示計算設備102生成的圖像的任何設備。網絡116可以包括網際網路、內部網、廣域網(WAN)、區域網(LAN)、虛擬專用網(VPN) 或者允許計算設備102與其他部件通信的任何適當通信網絡。在其他實施方式中，計算設備102是能夠以脫機方式實現根據本發明各種實施方式的各種方法的脫機設備。指令可以在存儲器106中存儲為可執行代碼。指令可以包括由編譯器和/或解譯器根據代碼而生成的特定於處理器的指令，其中代碼以諸如C、C++、C#、Visual Basic, Java、Python、Perl、JavaScript和ActioMcript等任何適當的計算機程式語言編寫。指令可以包括圖像處理應用118，它在由處理器104執行時可以使計算設備102使用根據圖像生成的標度空間圖像來確定位勢圖，並且使用位勢圖來處理圖像。圖像處理應用118包括標度空間引擎120，當其由處理器104與圖像處理應用118 —起執行時，可以使計算設備 102根據圖像生成標度空間圖像以根據標度空間圖像確定位勢圖，並且使用位勢圖來處理圖像。提供這一示例系統配置僅為了舉例說明可以用來實施某些實施方式的位勢配置。 當然可以使用其他配置。生成位勢圖的示例方法可以使用根據本發明各種實施方式的各種方法來生成用來處理圖像的位勢圖。圖 2圖示了用於根據標度空間圖像生成位勢圖的方法的一個實施方式。圖2中所示方法是參照圖1的系統配置來描述的。然而其他系統實施也是可行的。在塊202中，圖像處理應用118接收圖像。圖像例如可以是作為圖像序列的動態影像的圖像。在一些實施方式中，圖像包括一個或者多個對象。對象可以是在圖像中可視表示的有形項目。圖像可以是RGB(紅、綠、藍)圖像或者在不同顏色空間(例如YUV、XYX 或者CIE LW顏色空間)中。在塊204中，標度空間引擎120根據圖像生成細節層次不同的標度空間圖像。每個標度空間圖像可以具有不同於所生成的其他標度空間圖像的細節層次。標度空間引擎120 可以使用各種方法來生成標度空間圖像。一種方法包括使用具有不同內核尺寸的濾波器對圖像進行濾波。每個濾波器可以產生具有特定細節層次的標度空間圖像，其不同於由不同尺寸的濾波器產生的其他標度空間圖像。濾波器可以實現為軟體，例如實現為標度空間引擎120的一部分。在其他實施方式中，濾波器實現為由標度空間引擎120訪問或者控制的硬體。在一些實施方式中，可以在標度空間引擎120將圖像轉換成標度空間之後生成標度空間圖像。可以使用例如小波濾波器或者保邊分解過程將圖像轉換成標度空間。在塊206中，標度空間引擎120使用標度空間圖像來確定針對圖像的位勢圖。位勢圖可以包括與圖像的像素或者部分像素關聯的位勢值。例如，位勢值可以與圖像的像素關聯。位勢值可以表示關聯像素處於圖像中的對象邊界內或者在對象邊界外的可能性。在一些實施方式中，基於與像素和鄰近像素之間的連結邊相關聯的權值來為像素確定位勢值。 連結邊以及相關聯的權值可以使用標度空間圖像來標識和確定。在塊208中，圖像處理應用118使用位勢圖來處理圖像。例如，圖像處理應用可以使用位勢圖來生成用於圖像的圖像模板。圖像模板可以用來標識圖像中的對象。在一些實施方式中，在使用位勢圖標識對象邊界之後，可以修改圖像中的對象位置。圖3描繪了用於生成在處理圖像時使用的位勢圖的方法的另一實施方式。圖3的方法是參照圖1的系統和圖4的圖示來描述的。然而其他實施也是可行的。在塊302中，圖像處理應用118接收包括至少一個對象的圖像。圖像處理應用118如圖2的塊202中那樣接收圖像。在塊304中，標度空間引擎120將圖像轉換成顏色模型。轉換成顏色模型可以允許標度空間引擎120更容易地區分圖像的顏色。在一些實施方式中，圖像是RGB圖像，其被轉換為顏色模型，即CIE LW顏色空間中的圖像。在塊306中，標度空間引擎120根據顏色模型生成至少兩個標度空間圖像。標度空間圖像可以具有不同的細節層次。每個標度空間圖像具有與其他標度空間圖像不同的細節層次。可以使用各種方法來執行標度空間圖像。在一個實施方式中，使用尺寸逐漸增大的高斯低通濾波器(LPF)內核對圖像進行濾波，以生成標度空間圖像。使用高斯內核有助於防止不希望的結構被引入圖像中，對於相對較大尺寸的濾波器而言尤其如此。由高斯內核生成的標度空間圖像可以具有包括不同量的圖像模糊的不同細節層次。具有N個層次的標度空間ζ可以表示為ζ = {I [χ, y]*f(x，y| σ n) ση = 0,1,2,4, · · · 2^1}其中I[x,y]是初始圖像；並且
「i 、 1 i-O2+/)1f(x> yWn)= ι 2 expjI這是尺寸為η的高斯內核。
Vη,根據標度空間ζ中的N個標度空間圖像，標度空間引擎120可以生成針對圖像或者圖像一部分的每個像素的三維圖形。該圖形可以示出標度空間圖像的不同層次的像素之間的關係，並且可以示出特定層次的像素與鄰近像素之間的關係。圖4圖示了根據本發明一個實施方式的根據標度空間ζ生成的圖形402。該圖形包括不同的層4(Ma-404c。雖然示出了三個層4(Ma-404c，但是可以實現任何數目的層。層 404a-404c中的每個層可以對應於根據圖像生成的標度空間圖像。層中的每個節點可以對應於相應標度空間圖像中的像素。例如，層40 可以對應於第一標度空間圖像，層404b可以對應於第二標度空間圖像，層4(Mc可以對應於第三標度空間圖像。另外，可以從較多的細節層次向最少的細節層次布置層4(Ma-404c。例如，層40 可以對應於在第一標度空間圖像、第二標度空間圖像和第三標度空間圖像中具有最多細節的層次(例如，精細的細節層次)的第一標度空間圖像。層404b可以對應於在第一標度空間圖像、第二標度空間圖像和第三標度空間圖像中具有中等細節層次的第二標度空間圖像。層4(Mc可以對應於在第一標度空間圖像、第二標度空間圖像和第三標度空間圖像中具有最少細節的層次(可以稱為粗略層次)的第三標度空間圖像。圖4中的圖402是包括像素406的六連接結構。也可以實現其他類型的連接結構、 例如八連接結構等。像素406中的每個像素對應於標度空間圖像，並且可以連接到六個對應的像素，諸如同一層中的四個鄰近像素以及來自較高層和較低層的對應像素。每對連接的像素之間具有連接像素的連結邊。例如連結邊410位於層40 上的像素408與層404b 上的像素406之間。這一布置可以允許每個層影響其他層，從而可以在較高層保持細節，並且可以在較低層控制來自噪聲的影響。在塊308中，標度空間引擎120使用標度空間圖像針對圖像的每個像素而確定連結邊以及每連結邊的權值。例如，圖4中的每連結邊表示像素與鄰近像素或者與位勢圖的另一層中的對應像素之間的連接，並且連結邊可以與權值相關聯。可以使用以下關係來確定連結邊的權值
權利要求
1.一種方法，包括接收具有至少一個對象的圖像；由計算設備根據所述圖像生成至少兩個標度空間圖像，所述計算設備包括處理器，其配置用於使所述計算設備創建所述至少兩個標度空間圖像，所述至少兩個標度空間圖像具有不同的細節層次；使用所述至少兩個標度空間圖像為所述圖像的每個像素確定多個權值； 根據所述多個權值確定位勢值，每個位勢值表示相關聯的像素在所述對象的邊界之內或者在所述對象的所述邊界之外的可能性； 根據所述位勢值確定位勢圖；以及使用所述位勢圖來處理所述圖像。
2.根據權利要求1所述的方法，還包括將所述圖像轉換為顏色模型，其中所述顏色模型包括CIE LW顏色空間中的所述圖像。
3.根據權利要求1所述的方法，其中根據所述圖像生成所述至少兩個標度空間圖像包括使用至少兩個低通濾波器將所述圖像轉換到標度空間。
4.根據權利要求3所述的方法，其中所述至少兩個低通濾波器包括高斯內核，其中所述不同的細節層次包括不同的模糊程度。
5.根據權利要求1所述的方法，其中根據所述圖像生成所述至少兩個標度空間圖像包括使用至少兩個小波濾波器將所述圖像轉換到標度空間。
6.根據權利要求1所述的方法，其中根據所述圖像生成所述至少兩個標度空間圖像包括使用保邊分解過程將所述圖像轉換到標度空間。
7.根據權利要求1所述的方法，其中使用所述至少兩個標度空間圖像為所述圖像的每個像素確定所述多個權值包括確定與像素相關聯的多個連結邊；確定與所述像素相關聯的所述多個連結中每個連結邊的權值；以及收集所述多個連結中每個連結邊的所述權值以形成所述多個權值。
8.根據權利要求1所述的方法，其中根據所述位勢值確定所述位勢圖包括確定所述位勢值的幾何平均，所述位勢圖包括所述位勢值的所述幾何平均。
9.根據權利要求1所述的方法，還包括接收用於所述圖像的像素的標籤，其中根據所述多個權值確定位勢值包括使用所述標籤來確定所述位勢值。
10.根據權利要求9所述的方法，其中接收所述標籤包括生成所述標籤，包括 接收用於所述圖像的對象模板；根據用於所述圖像的所述對象模板計算反轉對象模板； 根據所述反轉對象模板確定第一距離變換； 根據所述對象模板確定第二距離變換； 使用所述第一距離變換來標識所述圖像中的前景像素； 使用所述第二距離變換來標識所述圖像中的背景像素；以及基於標識的所述前景像素和標識的所述背景像素生成所述標籤。
11.根據權利要求9所述的方法，其中接收所述標籤包括生成所述標籤，包括 接收用於所述圖像的對象模板；根據用於所述圖像的所述對象模板計算反轉對象模板；收縮所述反轉對象模板；收縮用於所述圖像的所述對象模板；基於收縮的反轉對象模板並且基於用於所述圖像的收縮的對象模板來生成初始標籤；使用所述初始標籤確定用於所述圖像的初始位勢圖；以及使用所述初始位勢圖、所述收縮的反轉對象模板和所述收縮的對象模板來生成所述標籤。
12.根據權利要求11所述的方法，其中收縮反轉對象模板包括對所述反轉對象模板使用形態瘦化過程，其中收縮用於所述圖像的所述對象模板包括對用於所述圖像的所述對象模板使用所述形態瘦化過程。
13.根據權利要求1所述的方法，其中使用所述位勢圖來處理所述圖像包括使用所述位勢圖生成圖像模板。
14.根據權利要求13所述的方法，其中使用所述位勢圖生成所述圖像模板包括 接收標識所述對象的估計邊界的至少兩個關鍵點；基於所述至少兩個關鍵點計算標籤； 基於所述標籤剪切圖像段； 根據所述圖像段確定位勢圖； 根據所述位勢圖創建邊界點；響應於接收到將所述邊界點標識為不可接受的命令，使用新關鍵點來計算第二位勢圖；響應於接收到將所述邊界點標識為可接受的命令，輸出所述邊界點；以及使用所述邊界點生成所述圖像模板。
15.根據權利要求14所述的方法，其中所述新關鍵點包括大於所述至少兩個關鍵點的數目。
16.根據權利要求14所述的方法，其中所述至少兩個關鍵點標識至少兩個圖像幀中的所述對象的所述估計邊界，其中所述邊界點標識至少一個圖像幀中的所述對象的所述估計邊界位於所述至少兩個圖像幀之間的部分。
17.一種計算設備，包括 處理器；以及計算機可讀介質，用於存儲標度空間引擎，所述標度空間引擎可由所述處理器執行以使所述計算設備接收具有至少一個對象的圖像；根據所述圖像生成至少兩個標度空間圖像，所述至少兩個標度空間圖像具有不同的細節層次；使用所述至少兩個標度空間圖像為所述圖像的每個像素確定多個權值，所述多個權值中的每個權值與連結邊相關聯；接收用於所述圖像的標籤；根據所述多個權值並且使用所述標籤來確定位勢值，每個位勢值表示相關聯的像素在所述對象的邊界之內或者在所述對象的所述邊界之外的可能性； 根據所述位勢值確定位勢圖；以及使用所述位勢圖來創建用於處理所述圖像的圖像模板。
18.根據權利要求17所述的計算設備，其中所述標度空間引擎被配置用於使所述計算設備將所述圖像轉換為顏色模型，其中所述顏色模型包括CIE LW顏色空間中的所述圖像。
19.根據權利要求17所述的計算設備，其中所述標度空間引擎被配置用於使所述計算設備通過使用(i)至少兩個小波濾波器、(ii)保邊分解過程或者(iii)至少兩個低通濾波器之一將所述圖像轉換為標度空間，從而根據所述圖像生成所述至少兩個標度空間圖像。
20.根據權利要求17所述的計算設備，其中所述標度空間引擎被配置用於使所述計算設備通過確定所述位勢值的幾何平均來根據所述位勢值確定所述位勢圖，所述位勢圖包括所述位勢值的所述幾何平均。
21.根據權利要求17所述的計算設備，其中所述標度空間引擎被配置用於使所述計算設備通過生成用於所述圖像的所述標籤來接收所述標籤，其中所述圖標空間引擎被配置用於使所述計算設備通過以下操作來生成所述標籤接收用於所述圖像的對象模板；根據用於所述圖像的所述對象模板計算反轉對象模板；根據所述反轉對象模板確定第一距離變換；根據所述對象模板確定第二距離變換；使用所述第一距離變換來標識所述圖像中的前景像素；使用所述第二距離變換來標識所述圖像中的背景像素；以及基於標識的所述前景像素和標識的所述背景像素生成所述標籤。
22.根據權利要求17所述的計算設備，其中所述標度空間引擎被配置用於使所述計算設備通過生成用於所述圖像的所述標籤來接收所述標籤，其中所述標度空間引擎被配置用於使所述計算設備通過以下操作來生成所述標籤接收用於所述圖像的對象模板；根據用於所述圖像的所述對象模板計算反轉對象模板；收縮所述反轉對象模板；收縮用於所述圖像的所述對象模板；基於收縮的反轉對象模板並且基於用於所述圖像的收縮的對象模板生成初始標籤； 使用所述初始標籤來確定用於所述圖像的初始位勢圖；以及使用所述初始位勢圖、所述收縮的反轉對象模板和所述收縮的對象模板來生成所述標籤。
23.一種計算機可讀介質，具有存儲於所述計算機可讀介質上的程序代碼，所述程序代碼包括用於接收具有至少一個對象的圖像的代碼；用於根據所述圖像生成至少兩個標度空間圖像的代碼，所述至少兩個標度空間圖像具有不同的細節層次；用於使用所述至少兩個標度空間圖像來確定位勢圖的代碼，所述位勢圖表示像素在所述對象的邊界之內或者在所述對象的所述邊界之外的可能性；以及用於使用所述位勢圖來標識所述對象的所述邊界的代碼。
24.根據權利要求23所述的計算機可讀介質，還包括用於將所述圖像轉換為顏色模型的代碼，其中所述顏色模型包括CIE LW顏色空間中的所述圖像。
25.根據權利要求23所述的計算機可讀介質，其中用於根據所述圖像生成所述至少兩個標度空間圖像的代碼包括用於使用包括高斯內核的至少兩個低通濾波器將所述圖像轉換到標度空間的代碼，其中所述不同的細節層次包括不同的模糊程度。
26.根據權利要求23所述的計算機可讀介質，其中用於根據所述圖像生成所述至少兩個標度空間圖像的代碼包括用於使用(i)至少兩個小波濾波器或者(ii)保邊分解過程之一將所述圖像轉換到標度空間的代碼。
27.根據權利要求23所述的計算機可讀介質，其中用於使用所述至少兩個標度空間圖像來確定所述位勢圖的代碼包括用於使用所述至少兩個標度空間圖像來為所述圖像的每個像素確定多個權值的代碼， 所述多個權值中的每個權值與連結邊相關聯，包括 用於確定與像素相關聯的多個連結邊的代碼；用於確定與所述像素相關聯的所述多個連結中每個連結邊的權值的代碼；以及用於收集所述多個連結中每個連結邊的所述權值以形成所述多個權值的代碼； 用於接收用於所述圖像的標籤的代碼；用於根據所述多個權值並且使用所述標籤來確定位勢值的代碼，每個位勢值表示相關聯的像素在所述對象的邊界之內或者在所述對象的所述邊界之外的可能性；以及用於根據所述位勢值確定所述位勢圖的代碼，包括用於確定所述位勢值的幾何平均的代碼，所述位勢圖包括所述位勢值的所述幾何平均。
28.根據權利要求23所述的計算機可讀介質，還包括用於生成將被用於確定所述位勢圖的標籤的代碼，其中用於生成所述標籤的所述代碼包括用於接收用於所述圖像的對象模板的代碼；用於根據用於所述圖像的所述對象模板計算反轉對象模板的代碼；用於根據所述反轉對象模板確定第一距離變換的代碼；用於根據所述對象模板確定第二距離變換的代碼；用於使用所述第一距離變換來標識所述圖像中的前景像素的代碼；用於使用所述第二距離變換來標識所述圖像中的背景像素的代碼；以及用於基於標識的所述前景像素和標識的所述背景像素生成所述標籤的代碼。
29.根據權利要求23所述的計算機可讀介質，還包括用於生成將被用於確定所述位勢圖的標籤的代碼，其中用於生成所述標籤的所述代碼包括用於接收用於所述圖像的對象模板的代碼；用於根據用於所述圖像的所述對象模板計算反轉對象模板的代碼；用於使用形態瘦化過程來收縮所述反轉對象模板的代碼；用於使用所述形態瘦化過程來收縮用於所述圖像的所述對象模板的代碼；用於基於收縮的反轉對象模板並且基於用於所述圖像的收縮的對象模板生成初始標籤的代碼；用於使用所述初始標籤來確定用於所述圖像的初始位勢圖的代碼；以及用於使用所述初始位勢圖、所述收縮的反轉對象模板和所述收縮的對象模板來生成所述標籤的代碼。
30.根據權利要求23所述的計算機可讀介質，其中用於使用所述位勢圖來標識所述對象的所述邊界的代碼包括用於使用所述位勢圖來生成圖像模板的代碼，包括用於接收標識所述對象的估計邊界的至少兩個關鍵點的程序代碼； 用於基於所述至少兩個關鍵點計算標籤的程序代碼； 用於基於所述標籤剪切圖像段的程序代碼； 用於根據所述圖像段確定位勢圖的程序代碼； 用於根據所述位勢圖創建邊界點的程序代碼；用於響應於接收到將所述邊界點標識為不可接受的命令而使用新關鍵點來計算第二位勢圖的程序代碼，其中所述新關鍵點包括大於所述至少兩個關鍵點的數目；用於響應於接收到將所述邊界點標識為可接受的命令而輸出所述邊界點的程序代碼；以及用於根據所述邊界點生成所述圖像模板的程序代碼。
31.根據權利要求30所述的計算機可讀介質，其中所述至少兩個關鍵點標識至少兩個圖像幀中的所述對象的所述估計邊界，其中所述邊界點標識至少一個圖像幀中的所述對象的所述估計邊界位於所述至少兩個圖像幀之間的部分。
32.一種方法，包括接收具有至少一個對象的圖像；由計算設備根據所述圖像生成至少兩個標度空間圖像，所述計算設備包括處理器，其配置用於使所述計算設備創建所述至少兩個標度空間圖像，所述至少兩個標度空間圖像具有不同的細節層次；使用所述至少兩個標度空間圖像來確定位勢圖，所述位勢圖表示所述圖像的像素在所述對象的邊界之內或者在所述對象的所述邊界之外的可能性；以及使用所述位勢圖來標識所述對象的所述邊界。
全文摘要
某些實施方式涉及通過根據圖像創建標度空間圖像並且使用標度空間圖像標識圖像中的對象邊界來處理圖像。標度空間圖像可以具有不同的細節層次。它們被用來確定位勢圖，該位勢圖表示像素在對象的邊界之內或者之外的可能性。可以生成和使用估計對象邊界的標籤，以標識潛在地可能在邊界之內的像素。在展示之前可以進一步處理對象邊界已被標識的圖像。例如，圖像可以是動態影像的二維圖像。可以標識對象邊界，並且二維(2D)圖像可以使用標識的對象邊界來處理並被轉換為三維(3D)圖像以供展示。
文檔編號G06T5/50GK102246204SQ200980149967
公開日2011年11月16日 申請日期2009年12月11日 優先權日2008年12月11日
發明者D·安得勞索斯, R·J·裡澤祖克, R·法恩, S·周, T·F·埃爾-馬拉格希 申請人:圖象公司