用於人體跟蹤的代表訓練數據的製作方法

2024-04-05 01:20:05

專利名稱：用於人體跟蹤的代表訓練數據的製作方法
技術領域：
本發明涉及運動捕捉系統，尤其涉及運動捕捉系統中的人體跟蹤。
背景技術：
跟蹤系統獲得關於人或其他對象在物理空間中的位置和移動的數據，並且可使用該數據作為計算系統中的某一應用的輸入。某些系統確定身體的骨架模型，包括該骨架的關節，並且因此可被認為是身體關節跟蹤系統。可能有許多應用，如出於軍事、娛樂、體育和醫療目的。例如，人的運動可用於創建動畫人物或化身。包括使用可見和不可見(例如，紅外)光的系統在內的光學系統使用相機來檢測視野中的人的存在。然而，需要通過提供合成圖像形式的訓練數據來方便身體關節跟蹤系統的開發。

發明內容
提供了用於生成用於身體關節跟蹤系統中的人體跟蹤的代表訓練數據的處理器實現的方法、系統和有形計算機可讀存儲。在身體關節跟蹤系統的開發中，使用深度相機來獲得在該相機的視野中移動的人的深度圖像。使用各種處理技術來檢測該人的身體，並識別該人執行的移動或姿態。該過程可被認為是監督機器學習算法。該過程是監督的是因為人的位置和姿態都是已知的。目標是使得身體關節跟蹤系統了解如何識別該人的位置和姿態。可對該學習算法作出各種調整，例如，過濾掉噪聲、識別不同的身體類型、以及將該人的身體與可能存在於視野中的其他物體(如家具、牆等)進行區分。然而，使用真實世界環境中的活人來訓練該學習算法是低效的，且無法準確地表示身體關節跟蹤系統在其被部署為數千或甚至數百萬用戶家庭中的商用產品時將經歷的各種場景。為了優化對學習算法的訓練，可生成合成圖像來作為用於真實的人的圖像的代替或代表。該合成圖像可用於擴充或替換真實的人的圖像。此外，該合成圖像可以用在計算上高效的方式來提供，同時是真實的且提供高度可變性來模擬身體關節跟蹤系統在被部署時將經歷的真實世界狀況。在一個實施例中，提供了一種用於生成用於人體跟蹤的代表訓練數據的處理器實現的方法。該方法包括多個處理器實現的步驟。該方法包括訪問至少一個運動捕捉序列， 該至少一個運動捕捉序列標識了其中行動者執行移動的時間段期間該行動者的身體的姿態。例如，該序列可在運動捕捉工作室中通過在穿著帶有標記的運動捕捉套裝的行動者執行一系列規定移動時對該行動者進行成像來獲得。該方法還包括基於至少一個運動捕捉序列執行對多個不同身體類型的重新定標以及不相似姿態選擇，以便提供多個重新定標的不相似姿態。該方法還包括根據用於相應身體類型的3-D身體模型來渲染每一不相似姿態， 以提供該不相似姿態的相應深度圖像，並且提供標識該不相似姿態的身體部位的相應分類圖像。使用多個不同的3-D身體模型，對每一身體類型使用一個。此外，相應深度圖像和相應分類圖像構成了可由機器學習算法用於人體跟蹤的像素數據。
4
在一種方法中，重新定標是在不相似姿態選擇之前執行的，並且在另一方法中，重新定標是在不相似姿態選擇之後執行的。任選地，向深度圖像添加噪聲來提供更真實的深度圖像，該更真實的深度圖像與真實世界環境中的深度相機將看見的深度圖像相似。噪聲可包括可因人有頭髮而引起的噪聲、深度量化噪聲、隨機噪聲、人的身體邊緣所引起的噪聲、因檢測極薄結構而引起的噪聲、以及因照相機幾何結構引起的噪聲。提供本概要以用簡化形式介紹在下面的說明書中進一步描述的精選概念。本概述並不旨在標識出所要求保護的主題的關鍵特徵或必要特徵，也不旨在用於限定所要求保護的主題的範圍。


在附圖中，標號相同的元素彼此對應。圖1描繪了身體關節跟蹤系統的示例實施例。圖2描繪了圖1的身體關節跟蹤系統的示例框圖。圖3描繪了可以在圖1的身體關節跟蹤系統中使用的計算環境的示例框圖。圖4描繪了可以在圖1的身體關節跟蹤系統中，或在用於重新定標、不相似姿態選擇和渲染的計算機圖形系統中使用的計算環境的另一示例框圖。圖5描繪了用於提供用於人體跟蹤的代表訓練數據的方法。圖6提供了獲得運動捕捉數據(圖5的步驟500)的進一步細節。圖7a提供了執行重新定標和不相似姿態檢測(圖5的步驟50 的進一步細節， 其中首先執行重新定標。圖7b描繪了用於不相似姿態選擇的算法。圖7c提供了執行重新定標和不相似姿態檢測(圖5的步驟50 的進一步細節， 其中首先執行不相似姿態檢測。圖8提供了執行渲染來提供深度圖像和分類圖像(圖5的步驟504)的進一步細節。圖9是向深度圖像添加噪聲(圖5的步驟506)的進一步細節。圖IOa描繪了圖5的過程的替換視圖，其中重新定標在不相似姿態檢測之前執行。圖IOb描繪了圖5的過程的替換視圖，其中重新定標在不相似姿態檢測之後執行。圖Ila描繪了運動捕捉工作室中具有標記的行動者的第一姿態(圖5的步驟500) 的示例視圖。圖lib描繪了運動捕捉工作室中具有標記的行動者的第二姿態(圖5的步驟500) 的示例視圖。圖12描繪了從圖Ila的行動者的姿態中得到的骨架中的關節位置的示例。圖13a描繪了第一身體類型的3-D身體的深度圖像的渲染，該3-D身體具有圖12 的對應骨架的覆蓋物以及3-D場景元素。圖13b描繪了第二身體類型的3-D身體1360的深度圖像的渲染，該3-D身體具有對應骨架的覆蓋物。圖14描繪了對應於圖13a的3-D身體的分類圖像。圖15a描繪了一示例深度圖像。
圖15b描繪了對應於圖15a的深度圖像的示例分類圖像。
具體實施例方式提供了用於生成供身體關節跟蹤系統的機器學習算法使用的合成圖像的技術。從運動捕捉工作室獲得有限數量的運動捕捉序列。該運動捕捉序列包括行動者執行的姿態或移動。這些序列被充分利用來通過將各序列重新定標到多個不同身體類型來提供程度提高的可變性。通過選擇不相似姿態，使得冗餘姿態或接近冗餘的姿態不被提供給機器學習算法，來達到效率。此外，通過添加預期在身體關節跟蹤系統的真實世界部署中看見的各種類型的噪聲來達到較大的真實性。也可引入其他隨機變化。例如，可向重新定標添加一定程度的隨機性。提供給該學習算法的數據包括深度和分類圖像的已配準對形式的已標記訓練數據，以及姿態數據。此處提供的技術避免向訓練算法提供壓倒性量的數據，同時仍覆蓋了大範圍的姿態和身體類型，包括例如較高和較低身體的獨立移動。可提供能處理大範圍姿態和身體類型的單個系統。各特徵包括基於姿態之間的距離的樣本選擇、通過組合部分骨架來生成新樣本、 通過插入3-D模型來生成合成背景、以及通過擾動深度圖來生成合成的含噪聲圖像。圖1描繪了其中個人8與應用交互的身體關節跟蹤系統10的示例實施例。這示出了身體關節跟蹤系統諸如在用戶家中的真實世界部署。身體關節跟蹤系統10包括顯示器196、深度相機系統20、以及計算環境或裝置12。深度相機系統20可包括圖像相機組件 22，其具有紅外(IR)光發射器M、紅外相機沈和紅-綠-藍(RGB)相機28。也稱為個人或玩家的用戶8站在深度相機的視野6中。線2和4表示視野6的邊界。在該示例中，深度相機系統20和計算環境12提供了其中顯示器196上的化身197跟蹤用戶8的移動的應用。例如，當用戶舉起手臂時，化身可舉起手臂。化身197在3-D虛擬世界中站在路198上。 可定義笛卡爾世界坐標系，其包括沿著深度相機系統20的焦距(例如水平)延伸的ζ軸、 垂直延伸的y軸、以及橫向且水平延伸的χ軸。注意，附圖的透視被修改成簡化表示，顯示器196在y軸方向上垂直延伸，ζ軸垂直於y軸和χ軸且與用戶8所站立的地平面平行地從深度相機系統延伸出來。一般而言，身體關節跟蹤系統10用於識別、分析和/或跟蹤人類目標。計算環境 12可包括計算機、遊戲系統或控制臺等，以及執行應用的硬體組件和/或軟體組件。深度相機系統20可以包括相機，相機用於在視覺上監視諸如用戶8等的一個或多個人，從而可以捕捉、分析並跟蹤用戶所執行的姿勢和/或移動，來執行應用中的一個或多個控制或動作，如使化身或屏幕上人物活動起來或選擇用戶界面(UI)中的一菜單項。身體關節跟蹤系統10可以連接到諸如顯示器196等可向用戶提供視覺和音頻輸出的視聽設備，如電視機、監視器、高畫質電視機(HDTV)等，或甚至是牆或其他表面上的投影。音頻輸出也可經由單獨的設備來提供。為驅動顯示器，計算環境12可包括提供與應用相關聯的視聽信號的諸如圖形卡等視頻適配器，和/或諸如音效卡等音頻適配器。顯示器196 可經由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等連接到計算環境12。用戶8可使用深度相機系統20來跟蹤，使得用戶的姿勢和/或移動被捕捉並用於使化身或屏幕上人物活動起來，和/或被解釋為對計算機環境12所執行的應用的輸入控制。用戶8的某些移動可被解釋為可對應於除控制化身之外的動作的控制。例如，在一實施例中，玩家可使用移動來結束、暫停或保存遊戲、選擇級別、查看高分、與朋友交流等。玩家可使用移動來從主用戶界面選擇遊戲或其他應用，或以其他方式導航選項菜單。由此，用戶8的全範圍運動可以用任何合適的方式來獲得、使用並分析以與應用進行交互。個人可在與應用交互時抓握諸如道具等物體。在此類實施例中，個人和物體的移動可用於控制應用。例如，可以跟蹤並利用玩家手持球拍的運動來控制模擬網球遊戲的應用中的屏幕上球拍。在另一示例實施例中，可以跟蹤並利用玩家手持諸如塑料劍等玩具武器的運動來控制提供海盜船的應用的虛擬世界中對應的武器。身體關節跟蹤系統10還可用於將目標移動解釋為遊戲以及出於娛樂和休閒目的的其他應用範圍之外的作業系統和/或應用控制。例如，作業系統和/或應用的基本上任何可控方面可由用戶8的移動來控制。圖2描繪了圖Ia的身體關節跟蹤系統10的示例框圖。深度相機系統20可被配置成經由任何合適的技術，包括例如飛行時間、結構化光、立體圖像等，捕捉帶有包括深度圖像的深度信息的視頻，該深度圖像可包括深度值。深度相機系統20可將深度信息組織為 "Z層」，即可與從深度相機沿其視線延伸的Z軸垂直的層。深度相機系統20可包括圖像相機組件22，如捕捉物理空間中的場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維O-D)像素區域，其中該2-D像素區域中的每一像素具有代表距離圖像相機組件22的線性距離的相關聯的深度值。圖像相機組件22可包括可用於捕捉場景的深度圖像的紅外(IR)光發射器對、紅外相機26、以及紅-綠-藍(RGB)相機28。3-D相機由紅外發射器M和紅外相機沈的組合來形成。例如，在飛行時間分析中，頂光發射器M將紅外光發射到物理表面上，並且紅外相機沈檢測來自物理空間中的一個或多個目標和物體的表面的反向散射光。在某些實施例中，可以使用脈衝式紅外光，從而可以測量出射光脈衝與相應的入射光脈衝之間的時間並將其用於確定從深度相機系統20到物理空間中的目標或對象上的特定位置的物理距離。可將傳出光波的相位與傳入光波的相位進行比較來確定相移。然後可以使用相移來確定從深度相機系統到對象或目標上的特定位置的物理距離。飛行時間分析也可用於通過經由包括例如快門式光脈衝成像等各種技術來分析反射光束隨時間的強度，來間接地確定從深度相機系統20到目標或對象上的特定位置的物理距離。在另一示例實施例中，深度相機系統20可使用結構化光來捕捉深度信息。在這一分析中，圖案化光(即，被顯示為諸如網格圖案或條紋圖案等已知圖案的光)可經由例如頂光發射器M被投影到場景上。在撞擊到場景中的一個或多個目標或對象的表面時，作為響應，圖案可變形。圖案的這種變形可由例如紅外相機沈和/或RGB相機觀來捕捉，然後可被分析以確定從深度相機系統到目標或對象上的特定位置的物理距離。深度相機系統20可包括兩個或更多物理上分開的相機，這些相機可從不同角度查看場景以獲得視覺立體數據，該視覺立體數據可被解析以生成深度信息。深度相機系統20還可包括話筒30，話筒30包括例如接收聲波並將其轉換成電信號的換能器或傳感器。另外，話筒30可用於接收由個人提供的諸如聲音等音頻信號，來控
7制由計算環境12運行的應用。音頻信號可包括諸如說出的單詞、口哨、叫聲和其他話語等個人的口聲，以及諸如拍手或跺腳等非口聲。深度相機系統20可包括與圖像相機組件22進行通信的處理器32。處理器32可包括可執行指令的標準化處理器、專用處理器、微處理器等，這些指令包括例如用於接收深度圖像的指令；用於基於深度圖像來生成三維像素網格的指令；用於移除包括在三維像素網格中的背景以便隔離與人類目標相關聯的一個或多個三維像素的指令；用於確定隔離的人類目標的一個或多個骨端的位置或定位的指令；用於基於一個或多個骨端的位置或定位來調整模型的指令；或任何其他合適的指令，這些將在下文中更詳細描述。深度相機系統20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執行的指令、以及存儲3-D相機或RGB相機所捕捉的圖像或圖像幀、或任何其他合適的信息、 圖像等等。根據一示例實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器 (ROM)、高速緩存、快閃記憶體、硬碟、或任何其他合適的有形計算機可讀存儲組件。存儲器組件34 可以是經由總線21與圖像捕捉組件22和處理器32進行通信的單獨組件。根據另一實施方式，存儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。深度相機系統20可以經由通信鏈路36與計算環境12進行通信。通信鏈路36可以是有線和/或無線連接。根據一實施例，計算環境12可經由通信鏈路36向深度相機系統20提供時鐘信號，該信號指示何時從位於深度相機系統20的視野中的物理空間捕捉圖像數據。另外，深度相機系統20可經由通信鏈路36向計算環境12提供深度信息和由例如 3-D相機沈和/或RGB相機觀捕捉的圖像，和/或可由深度相機系統20生成的骨架模型。 計算環境12然後可使用該模型、深度信息和捕捉的圖像來控制應用。例如，如圖2所示，計算環境12可包括諸如姿勢過濾器集合等姿勢庫190，每一姿勢過濾器具有關於可由骨架模型(在用戶移動時)執行的姿勢的信息。例如，可為各種手姿勢提供姿勢過濾器，如手的揮擊或投擲。通過將檢測到的運動與每一過濾器進行比較，可標識個人執行的指定姿勢或移動。也可確定執行移動的範圍。可將由深度相機系統20捕捉的骨架模型形式的數據以及與其相關聯的移動與姿勢庫190中的姿勢過濾器進行比較來標識用戶(如骨架模型所表示的)何時執行了一個或多個特定移動。那些移動可與應用的各種控制命令相關聯。計算環境還可包括用於執行存儲在存儲器194中的指令以向顯示設備196提供音頻-視頻輸出信號並實現如此處所描述的其他功能的處理器192。圖3描繪了可以在圖1的身體關節跟蹤系統中使用的計算環境的示例框圖。計算環境可用於解釋一個或多個姿勢或其他移動並作為響應來更新顯示器上的視覺空間。上面描述的諸如計算環境12等計算環境可以是諸如遊戲控制臺等多媒體控制臺100。多媒體控制臺100包括具有一級高速緩存102、二級高速緩存104和快閃記憶體ROM(只讀存儲器)106的中央處理單元(CPU) 101。一級高速緩存102和二級高速緩存104臨時存儲數據並因此減少存儲器訪問周期數，由此改進處理速度和吞吐量。CPU 101可以設置成具有一個以上的核，以及由此的附加的一級和二級高速緩存102和104。諸如快閃記憶體ROM等存儲器106可存儲在多媒體控制臺100通電時在引導過程的初始階段期間加載的可執行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用於高速、高解析度圖形處理的視頻處理流水線。數據經由總線從圖形處理單元108輸送到視頻編碼器/視頻編解碼器114。視頻處理流水線將數據輸出到A/V (音頻/視頻)埠 140以傳輸到電視機或其他顯示器。存儲器控制器110連接到GPU 108以便於處理器訪問各種類型的存儲器112，諸如RAM(隨機存取存儲器)。多媒體控制臺100包括較佳地在模塊118上實現的I/O控制器120、系統管理控制器122、音頻處理單元123、網絡接口 124、第一 USB主控制器126、第二 USB控制器1 和前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (1)-142 (2)、無線適配器 148、和外置存儲器設備146 (例如快閃記憶體、外置⑶/DVD ROM驅動器、可移動介質等)的主機。 網絡接口(NW IF) IM和/或無線適配器148提供對網絡(例如，網際網路、家庭網絡等)的訪問並且可以是包括乙太網卡、數據機、藍牙模塊、電纜數據機等的各種不同的有線或無線適配器組件中任何一種。提供系統存儲器143來存儲在引導進程期間加載的應用數據。提供媒體驅動器 144且其可包括DVD/CD驅動器、硬碟驅動器、或其它可移動媒體驅動器。媒體驅動器144對於多媒體控制臺100可以內置或外置的。應用數據可經由媒體驅動器144訪問，以由多媒體控制臺100執行、回放等。媒體驅動器144經由諸如串行ATA總線或其它高速連接等總線連接到I/O控制器120。系統管理控制器122提供涉及確保多媒體控制臺100的可用性的各種服務功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應的音頻處理流水線。音頻數據經由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數據輸出到A/V埠 140以供外置音頻播放器或具有音頻能力的設備再現。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152以及任何LED(發光二極體)或其它指示器的功能。系統供電模塊136向多媒體控制臺100的組件供電。風扇138冷卻多媒體控制臺100內的電路。CPU 101、GPU 108、存儲器控制器110、和多媒體控制臺100內的各個其它組件經由一條或多條總線互連，包括串行和並行總線、存儲器總線、外圍總線、和使用各種總線架構中任一種的處理器或局部總線。當多媒體控制臺100通電時，應用數據可從系統存儲器143加載到存儲器112和/ 或高速緩存102、104中並在CPU 101上執行。應用可呈現在導航到多媒體控制臺100上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅動器144中包含的應用和/或其它媒體可從媒體驅動器144啟動或播放，以向多媒體控制臺100提供附加功能。多媒體控制臺100可通過將該系統簡單地連接到電視機或其它顯示器而作為獨立系統來操作。在該獨立模式中，多媒體控制臺100允許一個或多個用戶與該系統交互、看電影、或聽音樂。然而，隨著通過網絡接口 1 或無線適配器148可用的寬帶連接的集成， 多媒體控制臺100還可作為較大網絡社區中的參與者來操作。當多媒體控制臺100通電時，保留指定量的硬體資源以供多媒體控制臺作業系統作系統使用。這些資源可以包括存儲器保留(例如，16MB)、CPU和GPU周期(例如，5%)、 網絡帶寬(例如，SlAs)等。因為這些資源是在系統引導時保留的，所以所保留的資源對應用而言是不存在的。
具體地，存儲器保留較佳地足夠大，以包含啟動內核、並發系統應用和驅動程序。 CPU保留較佳地為恆定，使得若所保留的CPU用量不被系統應用使用，則空閒線程將消耗任何未使用的周期。對於GPU保留，通過使用GPU中斷來顯示由系統應用生成的輕量消息(例如，彈出窗口)，以調度代碼來將彈出窗口呈現為覆蓋圖。覆蓋圖所需的存儲器量取決於覆蓋區域大小，並且覆蓋圖較佳地與屏幕解析度成比例縮放。在並發系統應用使用完整用戶界面的情況下，優選使用獨立於應用解析度的解析度。定標器可用於設置該解析度，從而無需改變頻率，也就不會引起TV重新同步。在多媒體控制臺100引導且系統資源被保留之後，就執行並發系統應用來提供系統功能。系統功能被封裝在一組在上述所保留的系統資源中執行的系統應用中。作業系統內核標識是系統應用線程而非遊戲應用線程的線程。系統應用優選地被調度為在預定時間並以預定時間間隔在CPU 101上運行，以便為應用提供一致的系統資源視圖。進行調度是為了把由在控制臺上運行的遊戲應用所引起的高速緩存分裂最小化。當並發系統應用需要音頻時，則由於時間敏感性而異步調度音頻處理給遊戲應用。多媒體控制臺應用管理器(如下所述)在系統應用活動時控制遊戲應用的音頻水平 (例如，靜音、衰減)。輸入設備(例如，控制器142(1)和142( )由遊戲應用和系統應用共享。輸入設備不是所保留的資源，但卻在系統應用和遊戲應用之間切換以使其各自具有設備的焦點。 應用管理器較佳地控制輸入流的切換，而無需知曉遊戲應用的知識，並且驅動程序維持有關焦點切換的狀態信息。控制臺100可從包括相機沈和觀的圖2的深度相機系統20接收附加輸入。圖4描繪了可以在圖1的身體關節跟蹤系統中，或在用於重新定標、不相似姿態選擇和渲染的計算機圖形系統中使用的計算環境的另一示例框圖。在身體關節跟蹤系統中，該計算環境可用於解釋一個或多個姿勢或其他移動並作為響應更新顯示器上的視覺空間。計算環境220包括計算機M1，計算機241通常包括各種有形計算機可讀存儲介質。這可以是能由計算機241訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移動介質。系統存儲器222包括易失性和/或非易失性存儲器形式的計算機存儲介質，如只讀存儲器(ROM) 223和隨機存取存儲器(RAM06O。基本輸入/輸出系統224 (BIOS)包括如在啟動時幫助在計算機Ml內的元件之間傳輸信息的基本例程，它通常儲存在ROM 223中。RAM 260通常包含處理單元259可以立即訪問和/或目前正在操作的數據和/或程序模塊。圖形接口 231與GPU 2 進行通信。作為示例而非局限，圖4描繪了作業系統225、應用程式226、其它程序模塊227和程序數據228。計算機241還可包括其他可移動/不可移動、易失性/非易失性計算機存儲介質， 如從不可移動、非易失性磁介質讀取或對其寫入的硬碟驅動器238，從可移動、非易失性磁碟2M讀取或對其寫入的磁碟驅動器239，以及從諸如CDROM或其他光介質等可移動、非易失性光碟253讀取或對其寫入的光碟驅動器M0。可以在示例性操作環境中使用的其他可移動/不可移動、易失性/非易失性有形計算機可讀存儲介質包括但不限於，磁帶盒、快閃記憶體卡、數字多功能盤、數字錄像帶、固態RAM、固態ROM等等。硬碟驅動器238通常由諸如接口 234等不可移動存儲器接口連接至系統總線221，磁碟驅動器239和光碟驅動器240通常由諸如接口 235等可移動存儲器接口連接至系統總線221。以上討論並在圖4中描繪的驅動器及其相關聯的計算機存儲介質為計算機241提供了對計算機可讀指令、數據結構、程序模塊和其他數據的存儲。例如，硬碟驅動器238被描繪為存儲作業系統258、應用程式257、其它程序模塊256和程序數據255。注意，這些組件可以與作業系統225、應用程式226、其他程序模塊227和程序數據2 相同，也可以與它們不同。作業系統258、應用程式257、其他程序模塊256和程序數據255在這裡被標註了不同的標號是為了說明至少它們是不同的副本。用戶可以通過輸入設備，諸如鍵盤251和定點設備252 (通常被稱為滑鼠、跟蹤球或觸摸墊)，向計算機241輸入命令和信息。其他輸入設備(未示出)可以包括話筒、操縱杆、遊戲手柄、圓盤式衛星天線、掃描儀等等。這些和其他輸入設備通常由耦合至系統總線的用戶輸入接口 236連接至處理單元259，但也可以由其他接口和總線結構，諸如並行埠、遊戲埠或通用串行總線(USB)，來連接。包括相機沈和觀的圖2的深度相機系統20可為控制臺100定義附加輸入設備。監視器242或其他類型的顯示器也經由接口，諸如視頻接口 232連接至系統總線221。除監視器以外，計算機也可以包括其它外圍輸出設備，諸如揚聲器244和印表機對3，它們可以通過輸出外圍接口 233連接。計算機241可使用至一個或多個遠程計算機，諸如遠程計算機M6的邏輯連接在網絡化環境中操作。遠程計算機246可以是個人計算機、伺服器、路由器、網絡PC、對等設備或其他常見的網絡節點，且通常包括許多或所有以上相對於計算機241描述的元件， 但是在圖4中僅示出了存儲器存儲設備M7。邏輯連接包括區域網(LAN) 245和廣域網 (WAN) M9，但也可以包括其它網絡。這樣的聯網環境在辦公室、企業範圍計算機網絡、內聯網和網際網路中是常見的。當在LAN聯網環境中使用時，計算機241通過網絡接口或適配器237連接至LAN 2450當在WAN聯網環境中使用時，計算機241通常包括數據機250或用於通過諸如網際網路等WAN 249建立通信的其他裝置。數據機250可以是內置或外置的，它可以經由用戶輸入接口 236或其他適當的機制連接至系統總線221。在網絡化環境中，相對於計算機 241所描述的程序模塊或其部分可被存儲在遠程存儲器存儲設備中。作為示例而非限制， 圖4示出了遠程應用程式248駐留在存儲器設備247上。可以理解，所示的網絡連接是示例性的，且可以使用在計算機之間建立通信鏈路的其他手段。該計算環境可包括其上包含有計算機可讀軟體的有形計算機可讀存儲，該計算機可讀軟體用於對至少一個處理器進行編程來執行此處描述的用於生成用於人體跟蹤的代表訓練數據的方法。該有形計算機可讀存儲可包括例如，組件222、234、235、230、253、254 中的一個或多個。此外，該計算環境的一個或多個處理器可以提供用於生成用於人體跟蹤的代表訓練數據的處理器實現的方法，包括此處所描述的處理器實現的步驟。處理器可包括例如組件2 和259中的一個或多個。圖5描繪了用於提供用於人體跟蹤的代表訓練數據的方法。步驟500包括獲得運動捕捉數據。例如，這可從運動捕捉工作室中的行動者獲得。在運動捕捉工作室中，對一個或多個行動者的移動進行每秒多次，例如每秒30次的採樣。每一樣本對應於一數據幀。通常，行動者穿著具有將光反射到相機的標記的特殊套裝。使用多個高解析度相機來從工作室中的不同位置對行動者成像，可通過三角測量來檢測每一標記的確切位置。參見圖Ila
11和lib來獲得更多細節。步驟500的輸出是一組運動捕捉序列。每一這樣的序列描述了執行移動的行動者的身體上的一組3-D點的運動。所表示的各具體點對應於該行動者身體上的標記的定位，並且可以在序列之間有所不同。運動捕捉序列包括一組運動捕捉幀，其中每一幀對應於某一時刻的點的配置。步驟500在以下結合圖6來進一步討論。步驟502包括執行重新定標和不相似姿態檢測。在一種方法中，重新定標是在不相似姿態選擇之前執行的，而在另一種方法中，重新定標是在不相似姿態選擇之後執行的。 重新定標將從運動捕捉工作室中的行動者獲得的標記位置轉換成不同身體類型的骨架模型。給定身體類型的骨架模型可以通過基於標記的位置確定骨架模型中的關節的位置來獲得。例如，當一個或多個標記被定位在行動者上相對於肩的已知位置時，可從該標記位置確定表示肩的關節的位置。骨架模型或骨架是通過肢或骨連接的身體的3-D關節或其它點的虛擬構造，使得骨架的構造可以通過列出3-D點的位置，或者另選地通過枚舉將各條骨相關到骨架中的另一條骨的關節角度來表示。該相對定位可將每一條骨相關到骨架的樹結構分解中的其父骨。另外，可以用關節角度來指定形狀參數，例如指定骨長度。在對身體關節跟蹤系統的真實世界使用中，所成像的用戶將具有許多不同的身體類型，包括基於高度、寬度、體重、姿態、年齡、性別、髮型和發量、服飾等的變化。由此，僅使用行動者的身體類型或某一其它標準身體類型來提供用於運動捕捉的學習算法的訓練數據將不能提供足夠的可變性。重新定標到不同的身體類型提供了增加的可變性而不需要從運動捕捉工作室中的許多不同身體類型的不同行動者獲得運動捕捉數據，從而節省了成本和時間。運動捕捉數據的重新定標可涉及將來自運動捕捉序列的3-D數據表示為身體類型的預定義骨架的參數，特別是在轉換運動捕捉序列的每一幀的3-D標記位置的意義上， 將該3-D數據表示為一系列關節角度(每一幀有一組關節角度)和形狀參數(每一序列有一組形狀參數)。從同一行動者捕捉的序列一般將共享形狀參數。運動捕捉序列的每一幀的3-D標記位置可作為諸如(x，y，z)坐標等一系列坐標來提供。類似地，骨架的關節位置可作為另一系列(x，y，z)坐標來提供。可執行到不同骨架和身體類型的重新定標。作為一示例，可使用10-15個不同的身體類型。重新定標還可引入身體類型的進一步變化，如略微變化的骨或肢長度，以便增加可變性程度。一般而言，目標是在基於一定範圍的真實人類可變性的邊界內提供身體姿態之間的最高量的可變性。不相似姿態選擇分析從每一重新定標的運動捕捉序列獲得的所有姿態的集合。採用每秒30幀的幀速率、長度為例如1-2分鐘的運動捕捉序列、以及對每一幀到15個不同身體類型的重新定標，可以看到幀/姿態的數量可變得巨大。為了提高效率並避免向學習算法提供具有高度冗餘的過量數據，可使用每一幀來運行不相似姿態選擇過程，以獲得指定的、減少數量的不相似姿態。該不相似姿態選擇過程標識根據一距離度量相隔指定距離的幀。步驟502在以下結合圖7a-7c來進一步討論。不相似姿態選擇提供了具有最大程度不同的骨架的運動捕捉樣本子集。這些樣本中的每一個用於渲染3-D身體模型，從而創建深度圖以及分類圖或Harlequin(哈利昆)圖。多個任選階段可被插入到該過程中。步驟504包括執行渲染來提供深度圖和分類圖像。渲染指的是在像素空間中生成合成圖像。深度圖像可以從相對於深度圖像所表示的身體位於指定位置的虛擬相機的角度來渲染。在渲染深度圖像時也可指定諸如虛擬相機的視野等其它因素。本質上，深度圖像通過模擬視野中的3-D身體並且任選地模擬諸如地板、牆、天花板、家具和其它家用物品等場景元素，來模擬真實的深度相機將在真實環境中看見的東西。深度圖像可具有與真實深度相機相似的像素解析度。此外，在深度圖像中，每一像素可以標識從虛擬相機到3-D身體的距離、從虛擬相機到3-D場景物體的距離、或背景空間，背景空間是既不表示3-D身體也不表示3-D場景物體的像素。分類圖像或分類圖標識並標記3-D身體的不同身體部位或不同3-D場景元素。例如，每一像素可以標識最接近虛擬相機的身體部位的編號，或3-D場景物體的唯一索引。在用於身體關節跟蹤系統的學習算法中，深度圖像是使用諸如過濾器設置等設置來處理的， 並且生成對應的分類圖，在該分類圖中學習算法試圖標識身體部位和場景元素。由學習算法生成的分類圖可與隨深度圖像一起提供的分類圖進行比較來確定該學習算法有多準確。 隨深度圖像一起提供的分類圖本質上是提供了正確答案的基準圖，並且該學習算法可以在處理深度圖像時重複地調整其設置，例如訓練其自身，直到它能夠儘可能準確地複製正確的結果。此外，深度圖像的處理以及與相關聯的分類圖的比較可對該學習算法作為輸入數據集接收的眾多不相似幀重複。一旦優化了學習算法，就記錄對應的設置並可隨身體關節跟蹤系統一起發送該學習算法以供最終用戶使用。渲染也可隨每一深度圖像和分類圖一起提供描述姿態的文本文件，如按照用於提供3-D身體姿態的骨架模型的關節坐標來描述。也可提供諸如在運動捕捉工作室中使用的設置等其它數據。步驟504在以下結合圖8來進一步討論。步驟506包括向部分或全部深度圖像添加噪聲。在一種方法中，噪聲的量和類型以及要添加噪聲的深度幀的選擇可被隨機化。步驟506在以下結合圖9來進一步討論。步驟508包括將深度圖像和分類圖像提供給機器學習算法。圖6提供了獲得運動捕捉數據(圖5的步驟500)的進一步細節。步驟600包括在運動捕捉工作室中，當行動者隨之間執行移動時捕捉幀序列。在一種方法中，執行大量種類的移動，這些移動預期適用於描述預期在用戶參與身體關節跟蹤系統的不同應用時會遇到的用戶移動。在另一種方法中，移動是特定於諸如遊戲等具體應用的。例如，交互式網球遊戲可具有諸如揮動球拍等規定移動。任選地，行動者可在移動期間在他或她的手中持有道具。每一序列由連續的幀組成，且每一幀標識了行動者的身體上的標記的位置。每一序列可以基於一腳本來執行。例如，一個腳本可指定特定的手臂和腿移動。可獲得一個或多個序列。在步驟602，對於序列中的每一幀，提供標記的3-D坐標的數據集。如上所述，每一標記的確切位置可以使用運動捕捉工作室中的不同相機通過三角測量來確定。步驟604輸出運動捕捉序列的一個或多個數據集。在一個示例實現中，捕捉N個運動捕捉序列，表示為{S」i = 1....N}。每一序列包括幀Si= {Fit|t= 1...NJ。由此，Si表示一系列或一組幀，且其所包含的對象是Fit。每一 Fit是3-D點位置的向量或關節角度的向量，並表示在時間t序列Si的幀(F)。每一幀由一組M個標記位置來表示，因此Fit由MX 3的矩陣來表示，每一行編碼了一個標記的3-D位置。注意，N和每一個Ni表示不同的變量。Ni是序列Si中的幀數。圖7a提供了執行重新定標和不相似姿態檢測(圖5的步驟50 的進一步細節， 其中首先執行重新定標。在一種方法中，將每一運動捕捉幀重新定標到多個不同的身體類型。該重新定標在步驟700處開始。步驟702從來自圖6的步驟606的運動捕捉序列的數據集中選擇一序列。步驟704從當前序列中選擇一個幀。步驟706選擇一身體類型。步驟708基於所選身體類型將3-D標記位置轉換成關節位置。作為指定類型的身體的骨架模型的一部分的關節位置可基於標記的位置來獲得。例如，當一個或多個標記被定位在行動者上相對於肩的已知位置時，可從該標記位置確定表示肩的關節的位置。此外， 指定類型的身體中的關節的位置可以基於該身體的模型以及適合該身體模型的對應的骨架來確定。也可在步驟708期間添加諸如基於骨或肢長度等隨機變化。在一示例實現中，輸入骨架序列被重新定標到一個或多個標號為1. . . B的身體形狀，從而產生經重新定標的幀{F' itk|k= 1...B}。F' itk是對於身體類型k在時間t運動捕捉序列Si中的一個幀。可以選擇身體形狀的範圍來覆蓋該系統的較大比例的潛在用戶， 並且可包括以下各項的變化性別(男性、女性)、年齡(成人、孩子)、身體類型(諸如100 磅、150磅和200磅等指定體重；或胖、瘦或普通體形)、身高(例如，5英尺、5. 5英尺、6英尺)、頭部毛髮類型(小鬍子、鬍鬚、長發/短髮)、服飾(寬鬆、繃緊、短裙)、等等。例如， 身體類型1可以是男性、成人、體重150磅、5. 5英尺高、具有短髮和寬鬆的服飾，身體類型2 可以是男性、成人、體重200磅、6英尺高、具有長發和繃緊的服飾，等等。該階段可任選地包括對諸如手指角度等未跟蹤關節的調整。用於渲染的身體模型具有比輸入骨架多得多的參數(關節角度)，因此對於大多數未跟蹤的關節，不具有關於它們在哪裡的信息。為了填入該信息，可以設置一默認值(例如，將手指角度設為對應於張開的手)。或者，每一渲染的圖像可以隨機地設置這些值，從而生成渲染中的更多變化。人們知道這些手指在哪裡是因為人們知道手在哪裡(因為手是跟蹤的關節)，且給定手指定向， 人們可以使用人類骨架的運動學模型以及手指如何與手相關。在一個具體實例中，使用了 15個基礎骨架，其體重和/或骨或肢長度隨機變化。由此，B實際上非常大，但可考慮所有可能的F' itk的隨機子集。參見圖12可獲得身體模型的骨架的進一步細節。步驟710將重新定標的幀添加到重新定標的幀的數據集。在第一關節位置標識方案中，骨架模型中的關節位置可以由(X，y，ζ)坐標來標識。一示例骨架可具有大約40個關節。該數據集可包括對應於每一幀的矩陣，其中每一行表示骨架模型中的一個具體關節，並且有表示坐標系中的關節的(X，1，ζ)位置的三列對應於χ的第一列、對應於y的第二列、以及對應於ζ的第三列。例如，可標識關節，使得左肩是關節#1，右肩是關節#2，等等。在第二關節位置標識方案中，骨架模型可以通過指定起始點以及一系列關節角度和諸如骨或肢長度等形狀參數來定義。例如，關節可以與一給定點相距沿著一向量的指定距離。在這一情況下，該數據集可包括對應於每一幀的矩陣，其中第一行表示起始關節，且每一另外的行表示骨架模型中的相鄰關節。在這一情況下，可以有四列。前三個列表示例如分別在每一 χ-y、y_z、χ-ζ平面中從先前關節到當前關節的向量的角度。第四個矩陣列可提供形狀參數，如從先前關節到當前關節的距離，例如骨長度。也可使用其它關節標識方案。
14
可做出關節位置標識方案之間的轉換。例如，從第一到第二關節位置標識方案的轉換可以涉及將3-D空間中的兩個連續關節位置相減來獲得它們之間的向量，該向量按照每一 X-y、y-Z、X-Z平面中的角度以及作為形狀參數的該向量的大小。從第二到第一關節位置標識方案的轉換可涉及添加由兩個連續關節位置之間的角度和大小定義的向量。在判定步驟712，如果存在下一身體類型，則對當前幀重複步驟706-710的過程。 如果當前幀已被重新定標到所有身體類型，則判定步驟712為假，並且判定步驟714確定當前序列中是否還有另一幀要處理。如果判定步驟714為真，則在步驟704選擇一新的幀，並且對該新的幀重複步驟706-710的過程。如果當前序列中的所有幀都已被重新定標，則判定步驟714為假，並且判定步驟716確定是否有另一序列要處理。如果有另一序列要處理， 則在步驟702選擇新序列並且執行步驟704-710的過程。當已經處理了最後一個序列時， 判定步驟716為假，並且重新定標在步驟718結束。步驟720輸出重新定標的幀的數據集。不相似姿態選擇在步驟722開始。在所有可能姿態的空間中，不相似姿態選擇提供了稀疏採樣。結果，向學習算法提供了較少的幀，從而減少了計算花費，但不損失大量質量。例如，幀數可以按照大小的數量級來減少。在所描繪的方法中，不相似姿態檢測使用用於重新定標的骨架模型中的關節位置，而非來自運動捕捉序列的標記位置來執行。步驟7M從步驟720提供的重新定標的幀的數據集中選擇並移除姿態。步驟7 將該姿態添加到所選不相似姿態的新數據集。步驟 7 確定每一所選不相似姿態和重新定標的幀的數據集中的所有剩餘姿態之間的距離，這些剩餘姿態是候選姿態。步驟730任選地排除距離任何所選不相似姿態不足至少閾值距離 T的候選姿態。這些候選姿態被認為與一個或多個所選不相似姿態太相似。步驟732確定哪一候選姿態具有與任何所選不相似姿態的最大的最小距離。由此，對於每一候選姿態，可以確定其距離每一所選不相似姿態的距離。然後可對每一候選姿態取這些距離的最小值。 然後，確定在所有候選姿態中哪一個最小值是最大的。在步驟734，將所選候選姿態添加到所選不相似姿態的數據集，並從重新定標的幀的數據集中移除。如果在判定步驟736在重新定標的幀的數據集中有下一幀要處理，則處理在步驟7觀-734繼續。在一種方法中，當在重新定標的、不相似的幀的數據集中已經提供了指定數量D的幀時，判定步驟736為假。不相似姿態檢測在步驟738結束。步驟740輸出所選不相似幀的數據集。不相似姿態是重新定標的運動步驟序列中的姿態的子集。圖7b描繪了用於不相似姿態選擇的算法。將每一元組(i，t，k)與一整數r相關聯，所有重新定標的運動捕捉幀被表示為集合S' = {F'」1^=1...! }，其中1 = 8\111 Ni = BXN1X...……Nn。不相似姿態選擇的目標是選擇這些幀的(大小為D的)子集，由整數集P1 = Ir1, . . . , rD}來表示，使得該子集不包括由相似度函數Φ定義的相似幀對，該相似度函數也可被認為是距離度量。該函數(其示例在下文中給出)將來自S'的一對幀映射到一正實數，該正實數對於相似幀較小，在其它情況下則較大。為清楚起見，如果幀由 MX3的矩陣G和H來表示，則Φ (G,H)返回G和H的相似度，其中對於相同的姿態Φ = 0， 且越大的Φ表示越不相似的姿態。用於該算法的偽代碼在圖7b中示出。輸出索引&定義了作為對後續階段的輸入的一組運動捕捉幀P。如果未執行不相似姿態檢測，則P'= S'。或者，不相似姿態檢測可以在重新定標之前在運動捕捉幀上運行(見圖7c)。不相似姿態檢測算法使用姿態相似度函數Φ (G，H)。給定矩陣G，其M行由{gj}」= 1:Μ表示，且類似地H的行由0ι1 = 1:Μ表示。第一個可能的相似性定義是最大關節距離
權利要求
1.一種用於生成用於人體跟蹤的代表訓練數據的處理器實現的方法，包括以下處理器實現的步驟訪問至少一個運動捕捉序列(500)，所述至少一個運動捕捉序列標識其中行動者執行移動的時間段期間所述行動者的身體的姿態(1100)；基於所述至少一個運動捕捉序列執行到多個身體類型的重新定標和不相似姿態選擇， 來提供多個不相似姿態(502)；以及根據用於所述多個身體類型中的一相應身體類型的3-D身體模型(1302、1360)來渲染每一所述不相似姿態，以提供所述不相似姿態的相應的深度圖像，並提供標識所述不相似姿態的身體部位的相應的分類圖像(1400)，其中所述3-D身體模型是基於對應骨架的關節位置和關節角度中的至少一個來渲染的，使用多個3-D身體模型，對每一身體類型有一個 3-D身體模型，並且相應的深度圖像和相應的分類圖像包括可由機器學習算法用於人體跟蹤的像素數據。
2.如權利要求1所述的處理器實現的方法，其特徵在於所述重新定標將所述至少一個運動捕捉序列重新定標到所述多個身體類型，以提供多個重新定標的運動捕捉序列，每一重新定標的運動捕捉序列標識所述多個身體類型的一相應身體類型的姿態；以及所述不相似姿態選擇從所述多個重新定標的運動捕捉序列中選擇不相似姿態，使得所述不相似姿態是所述多個重新定標的運動捕捉序列中的姿態的子集。
3.如權利要求1所述的處理器實現的方法，其特徵在於所述不相似姿態選擇從所述至少一個運動捕捉序列中選擇不相似姿態，使得所述不相似姿態是所述至少一個運動捕捉序列中的姿態的子集；以及所述重新定標將所述不相似姿態重新定標到所述多個身體類型，以提供多個重新定標的運動捕捉序列，每一重新定標的運動捕捉序列標識所述多個身體類型的一相應身體類型的姿態。
4.如權利要求1所述的計算機實現的方法，其特徵在於，還包括以下處理器實現的步驟向至少一個所述不相似姿態引入變化，所述變化包括變化的骨長度和變化的關節角度中的至少一個。
5.如權利要求1所述的處理器實現的方法，其特徵在於所述渲染向至少一個所述不相似姿態添加3-D場景元素(1304、1306、1308、1310)；以及所述3-D場景元素中的至少一個被修改成適合所述不相似姿態的對應的身體姿態。
6.如權利要求5所述的計算機實現的方法，其特徵在於，還包括以下處理器實現的步驟通過組合來自所述至少一個運動捕捉序列的兩個或更多運動捕捉幀的關節角度，將所述行動者的身體的姿態擴展到至少一個附加姿態。
7.如權利要求1所述的處理器實現的方法，其特徵在於所述渲染通過改變虛擬相機高度、虛擬相機角度和虛擬相機視野中的至少一個來改變至少一個所述不相似姿態。
8.如權利要求1所述的處理器實現的方法，其特徵在於所述渲染通過改變至少一個所述不相似姿態的身體位置來改變至少一個所述不相似姿態。
9.如權利要求1所述的處理器實現的方法，其特徵在於所述渲染向至少一個所述不相似姿態添加3-D場景元素；以及所述渲染組合不同姿態中的、但具有共同的虛擬相機位置和共同的3-D場景元素的兩個或更多3-D身體模型。
10.一種用於生成用於人體跟蹤的代表訓練數據的處理器實現的方法，包括以下處理器實現的步驟訪問至少一個運動捕捉序列(500)，所述至少一個運動捕捉序列標識其中行動者執行移動的時間段期問所述行動者的身體的姿態(1100)；基於所述至少一個運動捕捉序列執行不相似姿態選擇和到多個身體類型的重新定標， 來提供多個不相似姿態(502)；以及根據用於所述多個身體類型中的一相應身體類型的3-D身體模型(1302、1360)來渲染每一所述不相似姿態，以提供所述不相似姿態的相應的深度圖像，並提供標識所述不相似姿態的身體部位的相應的分類圖像(1400)，其中使用多個3-D身體模型，對每一身體類型有一個3-D身體模型，並且相應的深度圖像和相應的分類圖像包括可由機器學習算法用於人體跟蹤的像素數據，並且所述渲染向至少一個所述不相似姿態添加噪聲(506)。
11.如權利要求10所述的處理器實現的方法，其特徵在於所述噪聲是通過向至少一個所述不相似姿態添加頭部毛髮(90 來添加的。
12.如權利要求10所述的處理器實現的方法，其特徵在於所述噪聲是通過量化至少一個所述不相似姿態的深度解析度(904)來添加的，其中精度取決於深度。
13.如權利要求10所述的處理器實現的方法，其特徵在於所述噪聲是通過標識至少一個所述不相似姿態中的至少一個邊緣(908)，並用遠離所述至少一個邊緣的相鄰像素的深度替換所述至少一個便邊緣處的至少一個像素的深度來添加的。
14.如權利要求10所述的處理器實現的方法，其特徵在於所述噪聲是通過標識比至少一個所述不相似姿態中的指定數量的像素薄的至少一個薄結構(910)，並用背景像素替換所述至少一個薄結構的像素來添加的。
15.如權利要求10所述的處理器實現的方法，其特徵在於所述噪聲是通過標識至少一個所述不相似姿態中具有大於閾值的深度不連續性的第一和第二邊緣(91 ，並用背景像素替換所述第一和第二邊緣之間的像素來添加的。
全文摘要
本發明公開了一種生成用於人體跟蹤的代表訓練數據的方法。為身體關節跟蹤系統的機器學習算法生成合成身體圖像。來自運動捕捉序列的幀被重新定標到若干不同的身體類型，來充分利用該運動捕捉序列。為了避免向機器學習算法提供冗餘或相似的幀，並且為了提供緊湊但仍高度變化的圖像集，可使用相似度度量來標識不相似的幀。該相似度度量用於定位根據閾值距離足夠不同的幀。出於真實性起見，基於真實世界深度相機通常經歷的噪聲源來向深度圖像添加噪聲。也可引入其他隨機變化。例如，可向重新定標添加一定程度的隨機性。對於每一幀，提供深度圖像和具有標記的身體部位的對應的分類圖像。也可提供3-D場景元素。
文檔編號G06K9/00GK102194105SQ201110071738
公開日2011年9月21日 申請日期2011年3月18日 優先權日2010年3月19日
發明者A·費茨吉本, J·肖頓, M·科克, M·芬諾基奧, R·摩爾 申請人:微軟公司