三維場景的分析的製作方法

2023-07-22 02:11:56 3

專利名稱：三維場景的分析的製作方法
技術領域：
本發明總體涉及用於三維(3D)繪圖(mapping)的方法和系統，並特別涉及3D圖 (map)數據的處理。
背景技術：
在本領域中已知許多用於產生深度圖(depth map)的不同方法和系統。在本專利申請和權利要求中，術語「深度圖」是指場景的二維像素矩陣表示，其中每個像素分別對應於場景中的一個位置並分別具有指示從某一參考位置到各自的場景位置的距離的像素值。 (換句話說，深度圖是圖像的形式，其中像素值指示場景中目標的形貌信息，而不是亮度和 /或顏色)。通過例如向目標投射雷射斑紋圖案並檢測和處理該目標的圖像，可以生成深度圖，如在PCT國際申請W02007/043036A1中所述，該申請的公開內容以參引方式被納入本文。深度圖可以被處理，以分割和識別場景中的目標。深度圖中人形形狀(指的是結構類似於人的3D形狀)的識別以及從一個場景到另一個場景這些形狀的改變可以被用作控制計算機應用(application)的手段。例如，PCT國際申請W02007/132451描述了一種計算機實現方法，其中深度圖被分割，以便發現人形身體的輪廓，該申請的公開內容以參引方式被納入本文。輪廓被處理，以識別身體的軀幹以及一個或多個肢體。通過分析深度圖中的至少一個被識別出的肢體的布置，產生一個輸入以控制運行在計算機上的應用程式。

發明內容
本發明的實施方案提供用於從深度圖中提取信息的方法、裝置和軟體。因此，根據本發明的一個實施方案提供一種用於處理數據的方法，該方法包括接收場景的暫時的深度圖序列，所述場景包括靜態背景和隱藏所述背景一部分的一個或多個移動的前景目標，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值並對應於所述場景中的各自位置。數字處理器處理所述序列中的第一深度圖，以識別沒有被所述第一圖中所述移動的前景目標所隱藏的所述靜態背景的第一部分。所述序列中至少一個第二深度圖被處理，以識別所述靜態背景的至少一個第二部分，由於所述前景目標中的至少一個在所述序列上的運動，所述第二部分不同於所述第一部分。所述處理器通過組合所述靜態背景中的至少所述第一部分和所述第二部分，構造所述場景的背景模型。在一些實施方案中，所述方法包括基於所述背景模型，通過發現比所述背景模型更接近的像素來產生前景圖。可以發現人形體形，其包括屬於所述前景圖的像素和被發現屬於前一幀中人形體形的像素。在一個公開的實施方案中，所述方法包括識別所述深度圖中的平面地板(planar floor)。所述目標中的一個的陰影可以在所述深度圖中被識別，並且投射陰影的目標的深度可以被用於評估所述背景模型。通常，構造所述背景模型包括響應於在所述深度圖序列上所述背景中出現的變化，來更新所述背景模型。在一個公開的實施方案中，所述深度圖被成像組件所捕獲，並且所述方法包括評估所述序列中深度圖之間所述背景模型變化的程度，並且當所述變化的程度超過預定閾值時，檢測所述成像組件已經移動。根據本發明的一個實施方案，還提供一種用於處理數據的方法，包括接收場景的深度圖，所述場景包含一個或多個關於表面定位的目標。數字處理器處理所述深度圖，以識別並產生所述表面的參數模型；以及通過將由所述參數模型表示的所述表面從所述深度圖中移除，分割所述場景中所述一個或多個目標。在一個公開的實施方案中，所述表面是對應於地板的平面表面，在所述地板上定位有所述目標中的至少一個。處理所述深度圖包括計算所述深度圖中所述像素的局部法線 (local normal)，並且根據由所述局部法線所預測的平面來聚集所述像素，以識別所述平面表面。通常，所述深度圖被成像組件所捕獲，並且所述聚集操作包括處理所述像素的至少一些的各自深度值，以預測所述成像組件相對於每個像素的高度，以及聚集具有相同的所述成像組件預測高度的像素。附加地，根據本發明的一個實施方案提供一種用於處理數據的方法，包括接收包含人形形狀的場景的深度圖。數字處理器處理所述深度圖，以識別所述場景中的三維連接分量(3D connected component)。每個連接分量包括一組相互鄰近並具有相互鄰近深度值的像素。所述處理器將分離的連接分量識別為屬於所述人形形狀，並產生包括一些連接分量的所述人形形狀的表示。在一個公開實施方案中，處理所述深度圖包括定位所述深度圖的邊緣和所述邊緣之間的像素塊，並且聚集相鄰的三維像素塊以識別所述3D集群(cluster)。在一些實施方案中，接收所述深度圖包括接收暫時的深度圖序列，並且識別所述連接分量包括在所述序列中的多個連續深度圖上跟蹤所述連接分量。跟蹤所述連接分量可以包括為屬於所述序列中第一深度圖中的相同人形形狀的連接分量分配公共標識符 (common identifier)，並使用所述公共標識符來確定所述連接分量屬於隨後的第二深度圖中的所述人形形狀。通常，分配所述公共標識符包括用所述公共標識符標註所述深度圖中所述連接分量的像素。當所述第二深度圖中的所述人形形狀與另一個目標接觸時，由此導致所述第二連接分量包含其他目標，可以使用所述公共標識符將屬於所述人形形狀的所述第二連接分量的被標註像素從屬於其他目標的像素中分離，以產生出現在所述第二深度圖中的所述人形形狀的表示。額外地或可替代地，跟蹤所述連接分量包括估計所述連接分量的運動速度，以及產生所述表示包括使用被估計的速度保持所述人形形狀的被遮擋部分的識別。在一個實施方案中，所述深度圖中的所述人形形狀被另一個目標部分地遮擋，並且所述連接分量對應於被該遮擋目標分離的所述人形形狀的各部分，並且產生所述表示包括識別這種情況並將所述連接分量保留在所述人形形狀的表示中。再者，根據本發明的一個實施方案提供一種用於處理數據的裝置，包括成像組件， 該成像組件被配置為產生場景的深度圖，所述場景包含一個或多個關於表面定位的目標。 處理器被配置為處理所述深度圖，以識別並產生所述表面的參數模型，並通過將由所述參數模型表示的所述表面從所述深度圖中移除來分割所述場景中所述一個或多個目標。根據本發明的一個實施方案，還提供一種用於處理數據的裝置，包括成像組件，該成像組件被配置為產生包含人形形狀的場景的深度圖。處理器被配置為處理深度圖，以識別所述場景中的三維(3D)連接分量，每個連接分量包括一組相互鄰近並具有相互鄰近深度值的像素，將分離的連接分量都識別為屬於所述人形形狀，並且產生包括一些連接分量的所述人形形狀的表示。根據本發明的一個實施方案，還提供一種計算機軟體產品，包括有形的計算機可讀介質，其中程序指令被儲存在所述計算機可讀介質中，當指令被計算機讀取時，計算機接收場景的暫時的深度圖序列，所述場景包含靜態背景和隱藏所述背景一部分的一個或多個移動的前景目標，並且執行上述方法中的一個或多個。參照附圖，從下文實施方案的詳細描述中能夠更完整地理解本發明。


圖1是根據本發明的一個實施方案的用於3D繪圖和場景分析的系統的示意性圖示；圖2是示意性示出根據本發明的一個實施方案的3D成像組件和相關計算機的元件的框圖；圖3是示意性示出根據本發明的一個實施方案的用於3D場景分析的方法的流程圖；圖4是示意性示出根據本發明的一個實施方案的用於識別3D場景中地板的流程圖；圖5是根據本發明的一個實施方案的深度圖的示意性正面表示，所述深度圖示出了對應於已經在深度圖中被識別的目標的塊；圖6是根據本發明的一個實施方案的深度圖的示意性俯視圖，所述深度圖示出了已經在深度圖中被識別的塊的集群；以及圖7是根據本發明的一個實施方案的深度圖的示意性正面表示，所述深度圖示出了目標在深度圖中的分割。
具體實施方案概述深度圖提供有價值的信息，尤其是當深度圖被連續呈現時。然而，基於深度圖的遊戲和其他應用僅因為從這些深度圖中捕獲、處理和提取高級信息的固有困難而發展緩慢。下文中描述的本發明的實施方案通過提供用於處理深度圖，尤其是用於定位和跟蹤深度圖序列中人形形狀的強健、有效的方法來解決這些困難。這些深度圖通常表示包含靜止背景和一個或多個移動的前景目標(隱藏了背景的一部分)的場景。在公開的實施方案中，數字處理器識別和建模背景，該背景包括通常在室內場景的背景中出現的地板和牆壁。處理器使用模型，以便於檢測遮擋了背景模型的前景中的人形形狀的各部分(並因此會被認為從此屬於前景)，並可以將它與不在前景中的形狀的其他部分關聯。為了識別和跟蹤感興趣的形狀，尤其是人形形狀，處理器分析移動的前景目標。在一些公開的實施方案中，處理器通過識別每個深度圖中不被前景目標隱藏的靜態背景的各部分來構造背景模型。由於前景目標從一個圖移動到另一個圖，所以背景中的不同部分通常在不同圖中顯現。處理器通過組合序列中的不同圖的靜態背景的不同部分來創建背景模型。附加地，處理器可以特別地識別具有可以被參數建模的特定幾何形狀的表面，尤其是平坦表面，例如地板和牆壁，這些表面構成背景的一部分。為此，在一個實施方案中，通過考慮相鄰像素處的深度值，處理器計算深度圖中像素的局部法線。為了識別地板和其他可能的平面表面，處理器使其局部法線大致指向相同方向的像素聚集。通過識別深度圖中3D連接分量，處理器從場景中提取人形形狀(以及其他可能感興趣的目標)。每個連接分量包括一組相互鄰近並具有相互鄰近深度值的像素，這意味著相鄰像素的深度值不能偏離多於(小)預定的閾值量。為了計算人形形狀的幾何模型，處理器識別和跟蹤這些連接分量，所述幾何模型然後可以被進一步處理，以識別高級特徵，例如身體姿勢、移動和手勢。儘管理想地，每個人形形狀應該作為單個連接分量出現，但由於場景本身的各方面原因，常常會發生的是給定的人形形狀會作為一組兩個或更多個分離的連接分量出現。 這個分離使得完全識別人形形狀變得困難，更不要說對高級特徵建模。例如，在一些深度圖中，人形形狀可以被另一個目標部分地遮擋，從而該形狀被分成兩個或更多個分離的連接分量。在其他情況中，人形形狀的一個部分可以部分地遮擋深度圖中另一個部分。然而， 在下文描述的實施方案中，處理器為構成給定人形形狀的所有連接分量分配一個公共標識符，並且在跟蹤這些連接分量時使用該標識符，即使當這些連接分量變得分離或者彼此遮擋時也是如此。這些實施方案的方法使得處理器能夠解決異常情況並產生人形形狀的連續表示(即使面對遮擋時)。系統描述圖1是根據本發明的一個實施方案的3D用戶界面系統20的示意性圖示。用戶界面基於3D成像組件22，該成像組件22捕獲包括用戶觀和用戶30的身體的至少一部分的 3D場景信息。組件22也可以捕獲場景的彩色視頻圖像。組件22輸出包含3D圖數據(以及可能的彩色圖像數據)的幀序列到計算機對，計算機M從圖數據中提取高級信息。該高級信息經由API被提供給在計算機M上運行的應用，計算機M相應地驅動顯示器26。在畫出的實施例中，例如，用戶觀和用戶30通過移動他們的肢體和改變身體姿勢與在計算機 24上運行的遊戲軟體互動。為了重新構造包含用戶觀和用戶30的場景的深度圖(也被稱為「3D圖」)，計算機M處理由組件22產生的數據。在一個實施方案中，組件22在場景上投射斑點圖案並且捕獲被投射圖案的圖像。接著，基於圖案中斑點的橫向位移，組件22或計算機M通過三角測量(triangulation)計算場景中各點(包括用戶身體表面上的點)的3D坐標。該方法的優勢是不需要用戶持有或佩戴任何類型的信標、傳感器或其他標記。該方法給出相對於離組件22特定距離處的預定參考平面的場景中各點的深度坐標。用於此類使用投射圖案的、 基於三角測量的3D繪圖的方法和設備例如在PCT國際申請W02007/043036、W02007/105205 和TO2008/120217中描述，這些申請的公開內容以參引方式被納入本文。或者，基於單個或多個本領域公知的攝像機或其他類型的傳感器，系統20可以使用其他3D繪圖方法。在本實施方案中，在用戶移動他們身體的同時，系統20捕獲和處理包含用戶觀和用戶30的三維(3D)圖序列。在組件22和/或計算機M上運行的軟體處理3D圖數據，以提取對應於場景中用戶的人形形狀。為此(如將在下文詳細描述的)，軟體識別和建模靜態場景背景，包括平面表面——例如地板32和牆壁34，以及其他背景目標，例如在該實施例中的窗戶36。為了檢測和跟蹤用戶觀和用戶30的人形形狀以及其他前景目標(例如椅子 38)，該軟體將圖像中的前景部分與所檢測的人形形狀的部分結合。為了提取每個身體的骨架，組件22或計算機M通常分析人形形狀的幾何特徵，包括用戶的手和關節的3D位置以及方向。為了識別手描繪的手勢，也可以分析手在多個幀上的軌跡。然而，系統20的這些操作方面超出了本專利申請的範圍。骨架和手勢信息經API 提供給運行在計算機M上的應用程式。作為對骨架和/或手勢信息的響應，該程序例如可以移動和修改呈現在顯示器26上的圖像。計算機M通常包括通用計算機處理器，該處理器被用軟體編程以執行下文描述的功能。所述軟體例如可以經網絡以電子形式被下載到處理器，或者可以作為替代地在有形的、非短暫介質——例如光、磁或電子存儲介質——上提供。替代地或額外的，所描述的計算機的部分或全部功能可以在專用硬體——例如定製集成電路或者半定製集成電路或者可編程數位訊號處理器(DSP)——中實施。儘管在圖1中以實施例方式將計算機M顯示為成像組件22的分離單元，但是計算機的部分或全部處理功能可以由合適的微處理器和軟體執行，或者由成像組件殼內或者與成像組件相關聯的專用電路執行。作為另一個替代，至少部分的處理功能可以由合適的處理器執行，所述處理器與顯示屏沈(例如在電視機中)或者任何其他合適類型的計算機化設備——例如遊戲控制器或媒體播放器——集成。組件22的感應功能同樣可以集成到計算機或其他被傳感器輸出控制的計算機化裝置。圖2是示意性示出根據本發明的一個實施方案的系統20中成像組件22和計算機 24的元件的框圖。成像組件22包括照射子組件42，照射子組件42在感興趣的場景上投射圖案。深度成像子組件44——例如合適配置的攝像機，捕獲場景上圖案的圖像。通常，照射子組件42和成像子組件44在紅外範圍內運行，儘管也可以使用其他頻譜範圍。可選地，彩色攝像機46捕獲場景的2D彩色圖像，並且麥克風48也可捕獲聲音。處理器50從子組件44接收圖像，並且將每個圖像中的圖案與存儲器52中存儲的參考圖案對比。參考圖案通常通過預先投射圖案到距離組件22 —已知距離的參考平面來捕獲。一般來說，該平面垂直於子組件44的光軸。處理器50計算子組件44捕獲的圖像中圖案的各部分相對於參考圖案的局部位移，並將這些位移轉化為深度坐標。該過程的細節例如在PCT國際申請WO 2010/004542中描述，該申請的公開內容以參引方式被納入本文。 作為替代地，如前文注意到的，組件22可以被配置為通過本領域公知的其他手段——例如立體成像或飛行時間(time-of-flight)測量——產生深度圖。處理器50經由通信鏈路54——例如通用串行總線(USB)連接，將深度圖輸出到計算機M合適的接口 56。計算機包括帶有存儲器60和用戶接口 62的中央處理單元(CPU) 58， 該計算機驅動顯示器26並且也可以包括其他部件。如上文注意到的，成像組件22可以替代地僅輸出來自子組件44的原始圖像，並且上文描述的深度圖計算可以由CPU 58用軟體執行，或者下文中提到的CPU 58所具有的功能的至少一部分可以由處理器50執行。用於從深度圖中提取高級信息的軟體可以運行在處理器50、CPU 58或者二者上；並且在本專利申請和權利要求中的所提到的CPU或處理器應該被理解為指的是這些元件中的一個或二者。如下文將詳細描述的，CPU 58通常運行一個或多個應用程式，所述應用程式基於經API由中間件提供的信息驅動用戶接口 62。場景分析方法圖3是示意性示出根據本發明的一個實施方案的用於3D場景分析的方法的流程圖。為了清楚，參考上文描述的系統20的部件以及圖1和圖2示出的元件來描述該方法。 然而，該方法的原理基本可以在任何合適的用於深度繪圖和分析的系統中實施。同樣為了描述的方便和清楚，假設該方法的步驟由CPU 58在軟體中執行，但是替代地，這些步驟的一部分或全部可以由處理器50或另外的合適的數字處理器執行。在深度圖輸入步驟70，計算機M從成像組件22接收暫時的深度圖序列。深度圖通常由成像組件在固定的幀速率下以視頻圖像的通用格式輸出，帶有光柵順序的像素值。 (因此在本文中的序列中的圖也被稱作圖幀(map frame)，或者簡化為幀)。深度圖中的像素值可以是實際的深度坐標值或圖案視差(disparity)值(以像素為單位)，所述像素值與實際的深度值有已知的單調關係。該方法在序列中每個圖幀上迭代執行。在地板建模步驟72，CPU 58分析每個深度圖以定位和建模地板32。該步驟將在下文參考圖4詳細描述。地板位置(或者靜態背景的其他部分)的明顯變化可以給CPU提供攝像機已經移動的指示，例如由於被一個用戶偶然或故意的接觸。CPU將已經被識別屬於地板平面的像素從深度圖中除去，通常通過將這些像素的深度值賦值為零來實現。在背景構造步驟74，遍經圖幀序列，CPU 58逐漸建立場景背景的模型。對於每一個像素，CPU存儲整個序列上的最大深度值(或者等價地，與參考圖像比較的最大視差)。 背景中的像素的深度值是該像素隨時間的最大視差值。如果對於多於特定數量的連續幀， 像素都沒有可提供的深度值(不是因為陰影)，則背景模型會在此像素處丟失其值。如果像素是由於陰影不具有深度值，並且投射該陰影的目標比當前背景深度值還要遠，則像素會失去其當前背景值。如果背景模型中的像素不具有深度值且在當前幀中具有一個值，並且包含該像素的前景連接分量與背景相鄰，則該像素的背景值會變成當前值。對於屬於給定圖中移動目標的像素，CPU 58可以在這些像素被前景目標阻擋之前或者在前景目標已經移走之後為這些像素存儲背景值。例如，在圖1示出的場景中，窗36 的區域被用戶30的頭部遮掩，但是當用戶在隨後的圖幀中改變其姿勢時，同一區域可以顯現給成像組件22。因此，遍經多個幀，作為在每個幀中顯現的背景的不同部分的組合，CPU 58累積地建立背景模型。如上文示出的，前景目標——例如用戶觀和用戶30的身體——可以在其後面的目標上投射陰影，結果是成像組件22將不能提取陰影中的深度值。為了避免由於陰影而造成的深度圖中的假象，CPU 58將鄰近一個目標的沒有深度值的區域識別為屬於該目標。陰影被允許包括只到特定最大陰影寬度的像素，而特定最大陰影寬度是由深度圖中前景部分和背景部分之間的圖案位移差所決定。幾何上示出最大陰影寬度(以像素為單位)是前景目標和背景目標之間圖案位移差的最大值的1/8。CPU 58可以計算陰影圖像，指示圖的陰影區，以在控制背景模型的更新時作為屏蔽(mask)使用。為了消除隨後處理中可能增加噪聲的假象，CPU 58可以「轉儲(dump)」背景模型。例如，如果CPU檢測給定區域中的連接分量處於的深度接近在該區域中背景模型的深度，則它可以根據所述連接分量的值來修正背景模型的深度值。另一方面，如果CPU已經跟蹤前面幀的連接分量，並且識別它為人形形狀的一部分(或者至少是人形形狀一部分的候選)，則保持分離，即使當連接分量接觸背景時也是如此。遍經特定數量的幀，帶有前景深度值的且沒有被識別作為移動目標一部分的像素同樣可以被附到背景中。在分量檢測步驟76，CPU 58移走地板，並隨後試圖在前景像素和仍留在圖中的之前被檢測的像素之中發現可以對應於人形形狀各部分的3D連接分量。CPU可以將之前沒有被識別作為人形形狀各部分並且不是前景的像素「移除」到前景深度值的範圍外(通過分配所述像素人為深度值)，以使得這些像素不被認為是前景像素的分割，但是仍被認為是用於其它用途(將在下文描述)的場景分量。CPU分配標識符來標註它已經發現的每個3D連接分量，並計算連接分量的屬性， 包括1.像素數量；2.包含所述連接分量的邊界框；3.質量中心；4.面積；5.前景像素的數量(假設連接分量的一部分具有背景深度值)；6.其他附近連接分量的標識符。作為替代或額外的，可以計算和存儲其他屬性。 CPU在跟蹤人形形狀從一幀到另一幀的移動中使用標識符和連接分量屬性。因此，給定幀中的連接分量通常由前景像素和被發現屬於前一幀中人形形狀的像素組成。在集群檢測步驟78，CPU 58處理深度圖以識別新的3D集群。這些集群可以對應於沒有在前面的幀中識別的人形身體，並且當系統開始運行時，其本身被用於在人形形狀的初始識別中。步驟78在下文中會參考圖5和圖6做更詳細地描述。在步驟78，識別的集群由具有近似相同深度值的相鄰的像素塊構成，所述塊被聚集成具有相互鄰近深度值的3D集群。跟蹤在連續幀中出現的且具有不大於預定閾值(例如，IOcm)的相對移動的集群。CPU在每個候選集群周圍建立邊界框並跟蹤它在多個連續圖幀上的移動。CPU將累積移動大於一些最小閾值(例如，20cm)的候選識別為移動目標。為此，移動被定義為集群的兩個邊緣的移動，即左側和右側都應大體在相同方向上移動。在分割步驟80，CPU 58處理在步驟76和步驟78發現的連接分量和集群，為的是分割和識別可以對應於人形身體各部分的分量。在分量集合步驟82，它將相鄰的分量集合在一起，以重構人形身體形狀。該步驟可以包括若干子操作。在簡單的情況中，人形形狀會作為單個3D連接分量出現，並且以此被標註。這種形狀可以很容易被識別，例如通過執行校準過程，其中用戶以規定的姿勢面對成像組件22站立。所述過程幫助CPU 58在計算機 24上運行遊戲或其他應用的同時，隨著用戶隨後的移動而跟蹤用戶身體各部分，在其他情況中，在粘合(gluing)子步驟84，CPU 58可能需要集合不同深度的兩個或更多個連接分量，以構成單個人形身體形狀。如上文注意到的，如果整個形狀在前一個圖幀中被識別，則公共標識符和元數據可以被用於保持各分量之間的聯繫。額外地或作為替代地，互相鄰近的未標註的移動的連接分量可以被集合，並且被分配一個公共標識符(即使之前沒有被標註)。另一方面，當用戶接觸前景目標(包括另一個用戶)時，所述用戶和目標可以暫時地作為單個3D連接分量出現在所述圖幀的一個或多個中。在這種情況中，CPU 58可以錯誤地分配給它們一個公共標識符。隨後，當用戶從目標處移開時，在深度圖中可以有兩個帶有相同標識符的獨立的連接分量。在這種情況中，CPU可以重設標識符並重建實際對應於用戶身體的3D連接分量(或多個分量)。作為替代地，在這類情況中，CPU 58可以使用在前一個幀中分配的標識符，以將屬於用戶身體的合併連接分量的被標註像素從屬於與所述身體接觸的其他目標的像素中分離。因此，儘管有接觸，但CPU能夠正確地分割身體。特別是當所述其他目標是另一個用戶時，CPU會為屬於場景中兩個(或更多個)不同人形形狀中的每一個的像素分配不同的特定標識符。然後，已經被分配到一個幀的不同標識符可以被用在隨後的幀中，以將合併連接分量的像素中的每一個分配到正確的身體。當在一個或多個深度圖中一部分人形形狀被另一個目標遮擋時，會出現一些具體的困難。在遮擋檢測步驟86，CPU 58檢測並解決這些異常。該步驟會在下文參考圖7做更詳細地描述。在總結步驟82，在大部分情況中，所有的人形形狀已經被識別。對於這些人形形狀的每一個，CPU 58分配一個公共標識符，以標註組成所述形狀的所有3D連接分量。CPU用合適的標識符標註屬於這些連接分量的所有像素。(不屬於任何人形形狀的像素接受空的標識符。)結果是得到了分割的深度圖，該深度圖隨後可以被進一步處理，以提取人形形狀的骨架。同時，在圖3方法的下一次迭代中，在處理CPU在步驟70接收的下一個深度圖時， 被標註的像素的矩陣被用作偏差(cbparture)點。地板檢測圖4是示意性示出根據本發明的一個實施方案的在步驟72中使用的用於檢測3D 場景中地板的方法的詳情的流程圖。該地板在場景中被限定為平面表面，其被期望位於深度圖的下部。場景中的任何平面都滿足形式為AX+BY+CZ+D = 0的方程，其中(X，Y，Z)是空間中坐標，並且Α，B，C和D是常量。對於基於投射圖案的視差值s的深度圖(在每個像素 (x，y)處計算)，平面方程可以關於像素坐標和位移值(x，y，s)進行重鑄，其中常量被適當調整。因此，圖4的方法以及圖2中示出的方法的其他方面可以在原始圖數據上執行，甚至在計算實際深度值之前。在(x，y，s)域中的計算細節在上文提及的臨時專利申請中描述。在地板發現步驟90，對於每個連續的深度圖，通過檢查是否已經在之前的圖幀中發現地板模型，CPU 58開始發現地板的過程。如果是這樣，在新模型計算步驟92，CPU為存在的地板計算新模型。為此，CPU創建包含深度圖中所有像素的地板圖像，所述像素在存在的地板的平面(在預定公差內)上，或低於所述平面。(在步驟74，地板圖像隨後可以從深度圖中移除。)在模型標記步驟94，CPU計算新模型的置信度分數(confidence score)，並且在模型評估步驟96使用所述分數，以決定接受或拒絕當前圖幀的地板平面。所述置信度分數例如可以基於地板平面中像素的數量與低於該地板平面的像素數量的比較(並因此看得出是錯誤的)。在地板替換步驟98，如果存在的地板平面是可接受的，則CPU可以基於地板圖像調整平面參數。例如，CPU可以對地板圖像中的像素執行平面的最小二乘方擬合， 以調整平面參數。在步驟96，如果在地板圖像中有太多的像素(例如，多於像素的1/6)低於存在的地板平面，則CPU拒絕新的地板模型。地板模型失效的原因可以是，例如由於用戶觀和用戶30中一個有意或無意的接觸，使得成像組件22已經移動。在攝像機運動檢查步驟100，
13CPU估計被移動的可能性。CPU例如可以計算背景模型中深度值的變化速率。如果在變化速率中發現大的、突然的增加，則CPU得出攝像機已經被移動的結論。否則，地板模型被保留到下一幀。如果在步驟100，CPU發現攝像機已經移動，並且新的地板模型是無效的，則在地板無效步驟102，CPU將當前地板模型設置為錯誤，並隨後繼續發現新的地板。CPU類似地在任何新圖幀序列開始處開始新的地板搜索。緊隨步驟102，在窮盡搜索步驟104，CPU首先可以嘗試窮盡性地板搜索。在該步驟，CPU識別深度圖中(或者為了計算效率，可能在深度圖的抽取版本(decimated version)中)所有水平像素，即，局部法線指向上的像素。局部法線是通過比較相鄰像素的深度值來計算。基於透視規則，每個水平像素的空間坐標預測特定攝像機離地板的高度，假設該點在地板上。根據各自的攝像機高度預測值，CPU聚集水平像素。隨後，CPU在那些包含多於一個預定最小區域的集群中選擇位於空間中最低平面的集群作為地板基準。在搜索檢查步驟106，CPU檢查是否發現合適的集群。如果發現，如下文描述的，通過遍經集群中像素的線性回歸，CPU計算地板平面並且進入標記步驟112。如果沒有發現合適的集群，則在模型猜測步驟108，CPU採用粗略估計的替代過程。在該步驟中，CPU隨機地從深度圖的下三分之一中選擇三個像素，並計算空間中包含這三個對應點的平面。在模型檢查步驟110，CPU檢查該平面是否水平(法線指向上)。如果水平，則CPU接受該平面作為地板。否則，直到下一個幀才終止地板搜索。在模型標記步驟112，CPU 58評估在步驟104或步驟108發現的地板模型。該步驟以和上文描述的步驟94基本相同的方式進行。在新模型計算步驟114，為了比較，CPU計算新模型。該步驟以和上文描述的步驟92基本相同的方式執行。在新模型標記步驟116， CPU評估該新模型，在模型比較步驟118，CPU將評估結果與從步驟112得到的之前的模型分數比較，並且如果新模型分數更好則用新模型代替之前模型。CPU可以重複步驟114-118， 直到其不能獲得對模型的進一步改進，此時過程直到下一個幀才終止。儘管上文描述的方法特別涉及識別深度圖中的地板(並在後續的分析中將地板移走)，對該方法進行稍加改進，則可以使用它來發現(以及移除，如果期望)其他平面表面，例如牆壁、天花板、甚至桌面。再者，上文描述的方法可適合識別其他類型的能夠參數表示的非平面表面，例如可以出現在深度圖中的球面表面和拋物線表面。這些表面的參數可以從深度圖中得出，例如，通過對深度圖中點的合適的3D函數的線性最小二乘方擬合。可以用於此目的的擬合技術例如在Flannery等人的Numerical Recipesin C =The Art of Scientific Computing,第二版(Cambridge University Press, 1992), 671-681 頁中描述， 該內容以參引方式被納入本文。提取人形形狀圖5和圖6分別示意性示出根據本發明的一個實施方案的深度圖120的主視圖和俯視圖。圖5示出深度圖中對應於目標的塊122、124和126。圖6示出了基於所述塊在)(Z 平面上的投影的塊的集群。這些圖示出了連接分量檢測步驟74的實施方式(圖3)。為了發現圖5中示出的塊，CPU 58沿著X(水平)方向區分深度圖。為此，可被發現的沒有深度值的像素被分配一個隨機的、非常大的深度值。導數值大於特定閾值的像素被歸類為邊緣。為了避免邊緣假象，在區分深度圖之前，前景目標(如上所述)的陰影被分配與投射該陰影的目標相同的深度值。隨後，CPU搜索被區分的深度圖的行，以發現被之間沒有邊緣的左邊正邊緣和右邊負邊緣定界的像素行程(rim)。CPU創建包含這類行程的塊122、124、126，所述行程在多個相鄰行發生，並且符合下列標準 行程在至少最小數量(例如，五個)的連續行中發生。 行之間的深度值差不大於預定閾值。 行程在X方向至少重疊最小的重疊比例(例如，塊中至少80%的最短行程)。CPU計算每個塊的幾何特徵，例如邊界坐標、中間深度值、質量中心和面積。如圖6中示出的，CPU 58隨後將塊集合成3D集群。該圖示出了深度圖在X_Z平面的視圖，其中深度(Z)從圖的頂部增加到底部。三角形區域1 表示成像組件22的觀察範圍。這裡塊122、124和1 可以被看作處於各自不同的深度範圍的集群。塊122對應於中間深度處的人形形狀的各部分，如在圖5右側看到的。塊IM對應於前景中的椅子，而塊 126是背景的一部分。如果塊符合特定幾何標準，則CPU將這些塊集合在一個集群中。例如，CPU可以要求塊的各自邊界框在X-Z平面至少被一些最小量重疊，並且每個塊的質量中心被包含在集群中其他塊的邊界框內。如果塊的面積和至少是矮小的人的面積，則集群被標記為屬於人形形狀的候選。如之前注意的，除了符合上述幾何標準以外，如果經過多個圖幀集群通常保持一些移動，則集群被認為是人形形狀的候選。因此，如果給定的集群出現在和前一幀中被識別的人形形狀相同的大體位置，則CPU保持該識別並且使用與前一幀相同的標識符標註該集群。否則，為了確定集群是否是人形形狀(已經持續若干連續幀)，計算機將集群中的塊投射在地板平面上(在步驟72發現)，並且計算投影的幾何屬性，例如面積、質量中心和邊界框。深度圖中所有落入邊界框的連接分量被假設為屬於相同的候選形狀。如果所有這些連接分量的累積面積大於給定閾值，則CPU集合集群和其相關的連接分量，並為它們分配公共的標識符作為人形形狀。CPU計算和存儲該形狀的屬性，並且在後續的圖幀中跟蹤該形狀，如上文描述的。因此，再次參考圖5和圖6，CPU將發現塊122的集群符合幾何標準，並且將識別該集群屬於計算機用戶的人形形狀。塊124的集群太小，將被丟棄。儘管塊126的集群大小足夠，但是由於其是靜態的因此最終也會被丟棄。圖7是根據本發明的一個實施方案的深度圖130的示意性正面表示，所述深度圖 130示出了深度圖中目標的分割。該圖基於一個人的實際深度圖，例如可能在實際計算機遊戲中發生的，該人迅速提起他的右腿，以進行空手道中的跳踢。人的身體作為3D連接分量 132出現，3D連接分量132在之前的圖幀中出現而因此具有標識符，並被用計算的幾何特性標註。新的連接分量134——對應於腿——突然出現在該圖中的大體比身體其他部位更短的距離處。連接分量134部分地遮擋身體分量132並且將該分量從另一個對應於人的手臂的連接分量136中切去。為了處理這類情況，當連接分量——例如分量134——突然出現在圖幀中(並因此沒有預先分配的標識符)時，CPU 58搜索附近其他的已經預先被識別並被標註為人形形狀的連接分量。如果新的連接分量在X和Y(圖7中的水平和豎直方向)中相鄰，並且深度接近預先識別的連接分量(在該實施例中為分量132)，且在其之間沒有深度不同的區域 (除了無深度區域和遮擋目標)，則CPU將連接分量聯繫在一起並且為二者分配公共的標識符。因此，在圖7示出的實施例中，CPU會將分量134和分量136附接到分量132。CPU會分配分量132的標識符給分量134和分量136，並且會因此辨認並跟蹤屬於單個人形形狀的這些分量。在這類情況中，可以使用在結合連接分量到單個身體單元的其他考慮，包括各自邊界框的交叉和他們質量中心之間的距離。在步驟86 (圖3)，系統20異常處理的另一類型是一個人形形狀被另一人形形狀或其他前景目標遮擋。這類情況在圖1中示出，其中用戶觀的左腿遮住了用戶30的身體。 這類情況的結果是當CPU 58分析畫出的場景中的深度圖中的3D連接分量時，用戶30的右腿的下部分會與身體的其他部分分離。CPU 58使用上文描述的數據結構處理這類情況。假設在之前的圖幀中用戶30的身體被完全識別而沒有遮擋，則CPU會將一個與用戶30身體的其他部位相同的公共標識符與該用戶30的右腿區域中的連接分量相關聯。再者，CPU會認出對應於用戶30右腿的連接分量和對應於用戶30身體的連接分量位於相同的深度範圍，而對應於用戶觀身體的連接分量——包括分離用戶30身體各部分的左腿——則處在較小的深度。在這些情況下， CPU會得出結論對應於用戶30的腿和身體的分離的連接分量實際上是同一人形形狀的不同部分，並且會將各連接分量用一個公共標識符「粘合」在一起。一旦已經檢測並解決了這類遮擋，對於每個人形形狀，CPU 58存儲遮擋所述人形形狀的其他人形形狀(以及其他前景目標)的記錄和所述人形形狀遮擋的其他人形形狀的記錄。這些記錄對於解決發生在隨後幀中的遮擋是有用的。類似的技術可以用在檢測和解決一個人觸碰另一個人的情況。可選地，CPU 58可以跟蹤人形形狀各部分從一幀到另一幀的運動，並由此估計這些身體部分運動的速度。CPU可以使用該速度推斷用戶身體各部分的位置(即使當他們被其他目標遮擋時)，並且因此可以保持對人形形狀被遮擋的各部分在深度圖中的恰當識別。如之前注意到的，儘管為了解釋的清楚和方便，上文的實施方案是參考特定類型的深度繪圖系統和特定類型的計算機應用來描述，但是本發明的原理可以類似地被應用到基本任何合適系統的任何類型的深度圖中，而不管其要求如何。具體地，上文描述的3D連接分量分析和分割的方法可以用於從深度圖中提取其他類型目標，並且不只是人形形狀。 作為結果的被分割的深度圖可以直接顯示給用戶以用於用戶觀察，並且可以被用作基本任何類型的應用程式的輸入，所述應用程式接受分割的深度圖或其他圖像作為其輸入。因此，應理解，上述實施方案是通過實施例的方式來敘述，但本發明不限於上文所具體示出和描述的內容。相反，本發明的範圍包括上述各種特徵的組合和子組合及其變化和變型，這些對於閱讀了前文描述的本領域技術人員是可以想到的，並且沒有在現有技術中公開。
權利要求
1.一種用於處理數據的方法，包括接收場景的暫時的深度圖序列，所述場景包括靜態背景和隱藏所述背景一部分的一個或多個移動的前景目標，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值並對應於所述場景中的各自位置；使用數字處理器，處理所述序列中的第一深度圖，以識別沒有被所述第一圖中所述移動的前景目標所隱藏的所述靜態背景的第一部分；處理所述序列中至少一個第二深度圖，以識別所述靜態背景的至少一個第二部分，由於所述前景目標中的至少一個在所述序列上的運動，所述第二部分不同於所述第一部分； 以及通過至少組合所述靜態背景的所述第一部分和所述第二部分，構造所述場景的背景模型。
2.根據權利要求1所述的方法，還包括基於所述背景模型，通過將一個或多個背景目標從所述深度圖中移除來產生一個或多個前景圖。
3.根據權利要求2所述的方法，其中所述移動的前景目標中的至少一個是人形體形， 並且其中所述方法包括從前景圖中提取所述人形體形，所述前景圖從所述第二深度圖連同與所述第一深度圖中所述人形體形相關的信息中得出。
4.根據權利要求3所述的方法，其中提取所述人形體形包括檢測屬於正在觸摸所述背景目標的其中之一的人形體形的區域，並將該區域識別為所述人形體形的一部分。
5.根據權利要求1所述的方法，還包括識別所述深度圖中的平面表面。
6.根據權利要求1所述的方法，還包括識別所述深度圖中的目標的陰影。
7.根據權利要求1所述的方法，其中構造所述背景模型包括響應於在所述深度圖序列上所述背景中出現的變化，來更新所述背景模型。
8.根據權利要求7所述的方法，其中所述深度圖被成像組件捕獲，並且其中所述方法包括評估所述序列中深度圖之間所述背景模型變化的程度，並且當所述變化的程度超過預定閾值時，檢測所述成像組件已經移動。
9.一種用於處理數據的方法，包括接收場景的深度圖，所述場景包含一個或多個關於表面定位的目標，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值並對應於在所述場景中的各自位置；使用數字處理器，處理所述深度圖，以識別並產生所述表面的參數模型；以及通過將由所述參數模型表示的所述表面從所述深度圖中移除，分割所述場景中所述一個或多個目標。
10.根據權利要求9所述的方法，其中所述目標中的至少一個是人形體形，並且其中所述分割所述一個或多個目標包括從所述深度圖中提取所述人形體形。
11.根據權利要求9所述的方法，其中所述表面是對應於地板的平面表面，在所述地板上定位有所述目標中的至少一個。
12.根據權利要求11所述的方法，其中處理所述深度圖包括計算所述深度圖中所述像素的局部法線，並且根據所述局部法線聚集所述像素以識別所述平面表面。
13.根據權利要求12所述的方法，其中所述深度圖被成像組件捕獲，並且其中聚集所述局部法線包括處理所述像素的至少一些的各自深度值以便於預測所述成像組件相對於每個像素的高度，以及聚集具有相同的所述成像組件預測高度的像素。
14.一種用於處理數據的方法，包括接收包含人形形狀的場景的深度圖，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值並對應於在所述場景中的各自位置；使用數字處理器，處理所述深度圖，以識別所述場景中的三維(3D)連接分量，每個連接分量包括一組相互鄰近並具有相互鄰近深度值的像素；將分離的第一連接分量和第二連接分量都識別為屬於所述人形形狀；以及產生包括所述第一連接分量和所述第二連接分量的所述人形形狀的表示。
15.根據權利要求14所述的方法，其中處理所述深度圖包括基於所述深度圖構造所述場景的背景模型，將所述背景模型從所述深度圖中移除以產生前景圖，以及識別所述前景圖中的所述3D連接分量。
16.根據權利要求14所述的方法，其中處理所述深度圖包括定位所述深度圖的邊緣和所述邊緣之間的像素塊，並且聚集相鄰的三維像素塊以識別所述3D連接分量。
17.根據權利要求14所述的方法，其中接收所述深度圖包括接收暫時的深度圖序列， 並且其中識別所述第一連接分量和所述第二連接分量包括在所述序列中的多個連續深度圖上跟蹤所述連接分量。
18.根據權利要求17所述的方法，其中跟蹤所述連接分量包括為所述序列中第一深度圖中的所述第一連接分量和所述第二連接分量分配公共標識符，並使用所述公共標識符來確定所述第一連接分量和所述第二連接分量屬於隨後的第二深度圖中的所述人形形狀， 在所述隨後的第二深度圖中，所述第一連接分量和所述第二連接分量已經被分離。
19.根據權利要求18所述的方法，其中分配所述公共標識符包括用所述公共標識符標註所述深度圖中所述第一連接分量和所述第二連接分量的像素。
20.根據權利要求19所述的方法，其中所述第二深度圖中的所述人形形狀與另一個目標接觸，由此導致所述第二連接分量包含其他目標，並且其中使用所述公共標識符包括將屬於所述人形形狀的所述第二連接分量的被標註像素從屬於其他目標的像素中分離，以產生出現在所述第二深度圖中的所述人形形狀的表示。
21.根據權利要求17所述的方法，其中跟蹤所述連接分量包括估計所述連接分量的運動速度，並且其中產生所述表示包括使用被估計的速度保持所述人形形狀的被遮擋部分的識別。
22.根據權利要求14所述的方法，其中所述深度圖中的所述人形形狀被另一個目標部分地遮擋，並且其中所述第一連接分量和所述第二連接分量對應於被該遮擋目標所分離的所述人形形狀的各部分，並且其中產生所述表示包括將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
23.根據權利要求14所述的方法，其中所述第一連接分量和所述第二連接分量對應於所述人形形狀的第一部分和第二部分，其中在所述深度圖中所述第二部分部分地遮擋所述第一部分，並且其中產生所述表示包括將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
24.一種用於處理數據的裝置，包括成像組件，其被配置為產生場景的暫時的深度圖序列，所述場景包括靜態背景和隱藏所述背景一部分的一個或多個移動的前景目標，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值並對應於所述場景中的各自位置；以及處理器，其被配置為處理所述序列中的第一深度圖，以識別沒有被所述第一圖中所述移動的前景目標所隱藏的所述靜態背景的第一部分，並且處理所述序列中至少一個第二深度圖，以識別所述靜態背景的至少一個第二部分，由於所述前景目標中的至少一個在所述序列上的運動，所述第二部分不同於所述第一部分，以及通過至少組合所述靜態背景的所述第一部分和所述第二部分，構造所述場景的背景模型。
25.根據權利要求M所述的裝置，其中所述處理器被配置為基於所述背景模型，通過將一個或多個背景目標從所述深度圖中移除來產生一個或多個前景圖。
26.根據權利要求25所述的裝置，其中所述移動的前景目標中的至少一個是人形體形，並且其中所述處理器被配置為從前景圖中提取所述人形體形，所述前景圖從所述第二深度圖連同與所述第一深度圖中所述人形體形相關的信息中得出。
27.根據權利要求沈所述的裝置，其中所述處理器被配置為檢測屬於正在觸摸所述背景目標的其中之一的人形體形的區域，並將該區域識別為所述人形體形的一部分。
28.根據權利要求M所述的裝置，其中所述處理器被配置為識別所述深度圖中的平面地板。
29.根據權利要求M所述的裝置，其中所述處理器被配置為識別所述深度圖中的目標的陰影。
30.根據權利要求M所述的裝置，其中所述處理器被配置為響應於在所述深度圖序列上所述背景中出現的變化，來更新所述背景模型。
31.根據權利要求30所述的裝置，其中所述處理器被配置為評估所述序列中深度圖之間所述背景模型變化的程度，並且當所述變化的程度超過預定閾值時，檢測所述成像組件已經移動。
32.一種用於處理數據的裝置，包括成像組件，其被配置為生成場景的深度圖，所述場景包含一個或多個關於表面定位的目標，所述深度圖包括像素矩陣，所述像素的至少一些具有各自的像素深度值並對應於在所述場景中的各自位置；以及處理器，其被配置為處理所述深度圖，以識別並產生所述表面的參數模型，並通過將由所述參數模型表示的所述表面從所述深度圖中移除，分割所述場景中所述一個或多個目標。
33.根據權利要求32所述的裝置，其中所述目標中的至少一個是人形體形，並且其中所述處理器被配置為從所述深度圖中提取所述人形體形。
34.根據權利要求32所述的裝置，其中所述表面是對應於地板的平面表面，在所述地板上定位有所述目標中的至少一個。
35.根據權利要求34所述的裝置，其中所述處理器被配置為計算所述深度圖中所述像素的局部法線，並且根據所述局部法線聚集所述像素以識別所述平面表面。
36.根據權利要求35所述的裝置，其中所述處理器被配置為處理所述像素的至少一些的各自深度值以便於預測所述成像組件相對於每個像素的高度，以及聚集具有相同的所述成像組件預測高度的像素。
37.一種用於處理數據的裝置，包括成像組件，其被配置為生成包含人形形狀的場景的深度圖，所述深度圖包括像素矩陣， 所述像素的至少一些具有各自的像素深度值並對應於在所述場景中的各自位置；以及處理器，其被配置為處理所述深度圖，以識別所述場景中的三維(3D)連接分量，每個連接分量包括一組相互鄰近並具有相互鄰近深度值的像素，將分離的第一連接分量和第二連接分量都識別為屬於所述人形形狀，並且產生包括所述第一連接分量和所述第二連接分量的所述人形形狀的表示。
38.根據權利要求37所述的裝置，其中所述處理器被配置為基於所述深度圖構造所述場景的背景模型，將所述背景模型從所述深度圖中移除以產生前景圖，以及識別所述前景圖中的所述3D連接分量。
39.根據權利要求37所述的裝置，其中所述處理器被配置為定位所述深度圖的邊緣和所述邊緣之間的像素塊，並且聚集相鄰的三維像素塊以識別所述3D連接分量。
40.根據權利要求37所述的裝置，其中所述成像組件被配置為生成暫時的深度圖序列，並且其中所述處理器被配置為在所述序列中的多個連續深度圖上跟蹤所述連接分量。
41.根據權利要求40所述的裝置，其中所述處理器被配置為向所述序列中第一深度圖中的所述第一連接分量和所述第二連接分量分配公共標識符，並使用所述公共標識符來確定所述第一連接分量和所述第二連接分量屬於隨後的第二深度圖中的所述人形形狀，在所述隨後的第二深度圖中，所述第一連接分量和所述第二連接分量已經被分離。
42.根據權利要求41所述的裝置，其中所述處理器被配置為用所述公共標識符來標註所述深度圖中所述第一連接分量和所述第二連接分量的像素。
43.根據權利要求42所述的裝置，其中所述第二深度圖中的所述人形形狀與另一個目標接觸，由此導致所述第二連接分量包含其他目標，並且所述處理器被配置為將屬於所述人形形狀的所述第二連接分量的被標註像素從屬於其他目標的像素中分離，以產生出現在所述第二深度圖中的所述人形形狀的表示。
44.根據權利要求40所述的裝置，其中所述處理器被配置為估計所述連接分量的運動速度，並且使用被估計的速度保持所述人形形狀的被遮擋部分的識別。
45.根據權利要求37所述的裝置，其中所述深度圖中的所述人形形狀被另一個目標部分地遮擋，並且其中所述第一連接分量和所述第二連接分量對應於被該遮擋目標所分離的所述人形形狀的各部分，並且其中所述處理器被配置為將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
46.根據權利要求37所述的裝置，其中所述第一連接分量和所述第二連接分量對應於所述人形形狀的第一部分和第二部分，其中在所述深度圖中所述第二部分部分地遮擋所述第一部分，並且其中所述處理器被配置為將所述第一連接分量和所述第二連接分量都包含在所述人形形狀的表示中。
全文摘要
一種用於處理數據的方法和裝置，包括接收包含人形形狀的場景的深度圖。所述深度圖被處理，以識別所述場景中的三維(3D)連接分量，每個連接分量都包括一組相互鄰近並具有相互鄰近深度值的像素。將分離的第一連接分量和第二連接分量都識別為屬於所述人形形狀，並且產生包括所述第一連接分量和所述第二連接分量的所述人形形狀的表示。
文檔編號G06T7/20GK102262725SQ201110132428
公開日2011年11月30日 申請日期2011年5月20日 優先權日2010年5月31日
發明者A·格曼, E·顧恩德曼, M·布蘭德, T·亞尼爾 申請人:普萊姆森斯有限公司