檢測運動物體的方法和系統的製作方法
2023-05-19 03:10:21 3
檢測運動物體的方法和系統的製作方法
【專利摘要】公開了一種檢測運動物體的方法和系統。該方法包括：獲得通過連續拍攝運動物體而得到的具有深度信息的至少兩個深度圖像幀，包括當前深度圖像幀和至少一個歷史深度圖像幀，其中，所述至少兩個深度圖像幀的每個被劃分為多個塊；計算當前深度圖像幀的每個塊中的落入不同深度區間的像素的個數與各個歷史深度圖像幀的對應塊中的落入不同深度區間的像素的個數的差異情況；根據所述差異情況，檢測當前深度圖像幀中的運動塊，以構成所檢測的運動物體。
【專利說明】檢測運動物體的方法和系統
【技術領域】
[0001] 本公開涉及一種檢測運動物體的方法和系統，且更具體地，涉及一種基於立體視 覺的深度信息來檢測人手的技術。
【背景技術】
[0002] 運動物體的檢測是平面圖像處理和立體視覺處理的一個研究方向。通過檢測到不 同的運動物體，可以基於這種不同的運動物體的檢測來進行一系列的後續控制和操作。具 體地，例如，目前，基於立體視覺的手勢控制廣泛應用於各種智能設備、例如電視、遊戲機等 等，而手勢控制的基礎是人手檢測。在人機互動過程中，人手通常處於不斷運動的狀態，有 時也會發生手停留在某處一段時間的情況，比如交互系統利用手的停留時間來觸發一個事 件。因此，需要準確地進行諸如人手的運動物體的檢測，從而實現後續的準確的操作和交 互。
[0003] 在發明人為李春林和王進的2009年5月20日公開的題為"面向電視控制的動態 手勢識別信號處理方法"的中國專利申請CN101437124A中，介紹了一種面向電視控制的動 態手勢識別信號處理方法。該方法利用電視機內置的攝像頭採集電視前的用戶動作圖像， 通過對採集到的圖像進行分析得到運動物體，從運動物體中提取手目標的信息並生成軌 跡，繼而判斷軌跡所對應的指令產生電視控制命令。更具體地，該方法利用連續多幀的灰度 圖像的平均值構建背景圖像，通過計算當前幀與背景圖像之間的差別獲得多個物體並分析 它們的軌跡以確定它們所屬的身體部分。如果某區域的軌跡符合預定義的特徵，則該區域 被判定為手所在的區域。上述預定義的特徵的構建是基於手的運動強於頭部運動並且手與 頭之間的距離在一定範圍內的假設。
[0004] 在Lee等人的2013年2月12日授權公告的題為"Motion Detection UsingDepth Images "的美國專利US8374423B2中，介紹了 一種基於深度圖像檢測運動的方法，該方法將 連續多幀的深度圖像的平均值作為一幅參考圖像，並將當前的深度深度圖像幀與該參考圖 像逐像素做差得到運動圖像，然後判斷運動圖像中的像素所屬的物體。該方法用運動物體 的位置信息控制應用程式。
[0005] 在 Perski 等人在 2011 年 4 月 21 日公開的題為"Computer Vision GestureBased Control of a Device"的PCT申請W02011045789中，介紹了一種手勢控制方法。該方法將 兩幀2D或3D圖像做差後獲得一幅差值圖像，並在該圖像上進行邊緣檢測得到輪廓，將檢測 到的輪廓與手部輪廓模型進行比較。該方法要求用戶的手正對攝像機並處於手掌打開、手 指伸展的狀態。
[0006] 常規的運動估計方法並不能得到準確的諸如人手的運動物體的結果。此外，人體 其他部分(如胳膊）發生運動時也可能使得諸如人手的運動物體的計算不夠準確。因此，需 要進一步地準確地檢測諸如人手的運動物體的技術。
【發明內容】
[0007] 根據本發明的一個方面，提供一種檢測運動物體的方法，包括：獲得通過連續拍攝 運動物體而得到的具有深度信息的至少兩個深度圖像幀，包括當前深度圖像幀和至少一個 歷史深度圖像幀，其中，所述至少兩個深度圖像幀的每個被劃分為多個塊；計算當前深度圖 像幀的每個塊中的落入不同深度區間的像素的個數與各個歷史深度圖像幀的對應塊中的 落入不同深度區間的像素的個數的差異情況；根據所述差異情況，檢測當前深度圖像幀中 的運動塊，以構成所檢測的運動物體。
[0008] 根據本發明的另一個方面，提供一種檢測運動物體的系統，包括：獲得裝置，被配 置為獲得通過連續拍攝運動物體而得到的具有深度信息的至少兩個深度圖像幀，包括當前 深度圖像幀和至少一個歷史深度圖像幀，其中，所述至少兩個深度圖像幀的每個被劃分為 多個塊；計算裝置，被配置為計算當前深度圖像幀的每個塊中的落入不同深度區間的像素 的個數與各個歷史深度圖像幀的對應塊中的落入不同深度區間的像素的個數的差異情況； 檢測裝置，被配置為根據所述差異情況，檢測當前深度圖像幀中的運動塊，以構成所檢測的 運動物體。
【專利附圖】
【附圖說明】
[0009] 圖1是示出應用本發明的各個實施例的應用場景的示例圖。
[0010] 圖2是示出根據本發明的一個實施例的檢測運動物體的方法的一個示例的流程 圖。
[0011] 圖3A是示出根據本發明的另一個實施例的檢測運動物體的方法的另一個示例的 流程圖。圖3B是示出在圖3A的檢測運動物體的方法中的計算當前運動圖的步驟S302的 一個具體的示例流程圖。圖3C示意性地示出例如某個塊的空間直方圖的示例，而圖3D示 意性地示出對應的某個塊的時間直方圖的示例。
[0012] 圖4A是示出人手的運動規律的示意圖。圖4B是示出根據本發明的另一個實施例 的利用圖4A所示意示出的人手的運動規律來檢測諸如人手的運動物體的方法的另一個示 例的流程圖。
[0013] 圖5A是示出在圖4的檢測諸如人手的運動物體的方法中的投影先前運動圖以與 當前運動圖重合的步驟S403的示例具體流程圖。圖5B是示意性地示出先前運動圖中的運 動塊構成的第一運動區域和當前運動圖的運動塊構成的第二運動區域的示意圖。圖5C是 示出在檢測諸如人手的運動物體的方法中的第一運動區域和第二運動區域以及如何移動 先前運動圖以與當前運動圖重合的示例示意圖。圖是示出檢測諸如人手的運動物體的 方法中的選取最像人手的運動區域的示例方法的示意圖。圖5E是示出在利用主成分分析 (PCA)算法分析的區域的示意圖。圖5F是示出在利用主成分分析（PCA)算法來計算得到的 區域的主方向的示意圖。
[0014] 圖6是示出根據本發明的另一實施例的檢測運動物體的系統的方框圖。
【具體實施方式】
[0015] 現在將詳細參照本發明的具體實施例，在附圖中例示了本發明的例子。儘管將結 合具體實施例描述本發明，但將理解，不是想要將本發明限於所述的實施例。相反，想要覆 蓋由所附權利要求限定的在本發明的精神和範圍內包括的變更、修改和等價物。應注意，這 裡描述的方法步驟都可以由任何功能塊或功能布置來實現，且任何功能塊或功能布置可被 實現為物理實體或邏輯實體、或者兩者的組合。
[0016] 為了使本領域技術人員更好地理解本發明，下面結合附圖和【具體實施方式】對本發 明作進一步詳細說明。
[0017] 圖1是示出應用本發明的各個實施例的應用場景的示例圖。場景100包括深度攝 像機101，用於拍攝例如包含人的場景來獲得具有深度信息的深度圖；計算機102,用於處 理所拍攝的深度圖來進行諸如檢測運動物體、識別人機互動指令、進行人機互動反饋等等 的後續處理。上述深度攝像機101可以是任意一種能夠提供場景深度信息的攝像機，比如 PrimeSensor、Kinect等。在圖1所示的應用場景中，用戶可以使用運動的人手的手勢來控 制計算機102中的人機互動程序或應用。本發明的各個實施例可以檢測到該應用場景中的 諸如人手的運動物體的位置和運動，而檢測到的諸如人手的運動物體的運動又可以作為人 機交互程序或應用的輸入命令，以得到人機互動程序或應用的輸出結果(例如，控制是否確 認、控制玩遊戲的操作等等，就像Kinect和Wii -樣)。集成了本發明的各個實施例的應用 程序可以用於初始化基於軌跡控制的系統。更具體地說，安裝了集成了本發明的各個實施 例的應用程式的計算機102可以分析深度攝像機101拍攝到的例如每幀深度圖像和彩色圖 像，然後輸出諸如用戶的人手的運動物體的位置信息和運動狀態。當然，圖1所示的應用場 景僅為本發明的各個實施例的一個應用示例，而非限制本發明，在實際應用中可能會出現 不同於圖1所示的應用場景的其他應用場景。
[0018] 圖2是示出根據本發明的一個實施例的檢測運動物體的方法200的一個示例的流 程圖。
[0019] 圖2所示的檢測運動物體的方法200包括：S201，獲得通過連續拍攝運動物體而得 到的具有深度信息的至少兩個深度圖像幀，包括當前深度圖像幀和至少一個歷史深度圖像 幀，其中，所述至少兩個深度圖像幀的每個被劃分為多個塊；S202,計算當前深度圖像幀的 每個塊中的落入不同深度區間的像素的個數與各個歷史深度圖像幀的對應塊中的落入不 同深度區間的像素的個數的差異情況；S203,根據所述差異情況，檢測當前深度圖像幀中的 運動塊，以構成所檢測的運動物體。
[0020] 在一個實施例中，所述至少兩個深度圖像幀的每個被劃分為多個塊的大小可以是 IOX 10個像素。當然，該IOX 10個像素僅是示例，在其他實施例中，可以設置塊為其他大小 的塊，也可以不一定是正方形的塊，可以是長方形、圓形、橢圓形等其他各種形狀的塊。
[0021] 此處，"深度區間"是指將該塊中所涉及的各個深度從小到大排列、並劃分為多個 (等分或不等分)區間而形成的多個深度區間。"落入不同深度區間的像素的個數"指的是根 據深度圖像，具有在該深度區間內的深度的像素有幾個。例如，在深度圖像中的一個塊中， 其各個深度區間可能包括0-0. l、〇. 1-0. 2、0. 2-0. 3……、0. 8-0. 9(單位是米或其他，或者將 深度區間歸一化，因此深度區間的標度與具體單位無關，僅表示比例）一共9個深度區間。 例如，落入深度區間〇-〇. 1的像素有2個，假設其中一個像素的深度是0. 02, 一個像素的深 度是0. 08,而落入深度區間0. 1-0. 2的像素也有2個，假設其中一個像素的深度是0. 15, 一 個像素的深度是〇. 16,等等，落入深度區間0. 8-0. 9的像素有4個，假設其中一個像素的深 度是0. 85, 一個像素的深度是0. 83, 一個像素的深度是0. 84, 一個像素的深度是0. 89(如稍 後的圖3C和3D所示)。諸如此類，當然這些具體的深度區間和像素的個數僅是為了示例，而 非限制。該區間的劃分可以是如該例子中一樣等分的，也可以是不等分的，對此不做限制。 如此，可以得到當前深度圖像幀的每個塊中的落入不同深度區間的像素的個數。而對於各 個歷史深度圖像幀的對應塊中的落入不同深度區間的像素的個數，在此，假設歷史深度圖 像幀為N個（N是正整數)，即，在當前深度圖像幀之前的N個深度圖像幀。同樣，可以得到N 個歷史深度圖像幀的每個中的對應的每個塊的落入不同深度區間的像素的個數。當然，在 檢測當前深度圖像幀中的運動塊時，需要至少一個歷史深度圖像幀，因此，一般在第二幀時 開始進行這種運動物體的檢測。
[0022] 通常，如果物體在運動的話，則在每個塊中的落入不同深度區間的像素的個數在 相鄰的兩幀或更多幀(在當前深度圖像幀和N個歷史深度圖像幀）之間通常也會發生變化， 因為物體在運動的話，其微小的部位的深度一般會發生變化，因此，落入相同深度區間內的 像素的個數一般會發生變化。因此，可以通過觀察當前深度圖像幀的每個塊中的落入不同 深度區間的像素的個數與各個歷史深度圖像幀的對應塊中的落入不同深度區間的像素的 個數的差異情況，來檢測當前深度圖像幀中的各個運動塊，以構成所檢測的運動物體。
[0023] 如此，通過觀察當前深度圖像幀的每個塊中的落入不同深度區間的像素的個數與 各個歷史深度圖像幀的對應塊中的落入不同深度區間的像素的個數的差異情況，可以檢測 到各個小的運動塊，將這些運動塊合成幾個運動區域，可以推測出運動物體所在的位置。
[0024] -般來說，只要當前深度圖像幀的每個塊中的落入不同深度區間的像素的個數與 各個歷史深度圖像幀的對應塊中的落入不同深度區間的像素的個數存在差異、或者看上去 該差異比較大，都可以認為該塊是運動的，但是也可以採用量化這種差異並閾值化的方式 來規避測量或計算誤差並統一檢測和判斷標準。因此，在一個實施例中，根據所述差異情 況，檢測當前深度圖像幀中的運動塊，以構成所檢測的運動物體的S203步驟可以包括：步 驟S2031 (圖中未示出），量化所述每個塊的所述差異情況的大小來計算當前深度圖像幀中 的該塊的運動程度；步驟S2032(圖中未示出），如果一個塊的運動程度大於或等於第一預定 閾值，則檢測該塊作為運動塊。
[0025] 進一步地，在例如遊戲機的人機互動過程中，發現人手的運動相對於身體其他部 分(例如相對於手臂）的運動更為顯著，因此，可以考慮這種人手的運動的特殊性，來從所檢 測到的運動區域中估計出諸如人手的運動物體可能所在的區域。
[0026] 如此，在一個實施例中，在檢測時，如果當前深度圖像幀中一個塊的運動程度大於 或等於第二預定閾值，可以確認該塊屬於人手的一部分。在此，該用來確認人手的第二預定 閾值可以大於上述用來檢測運動塊的第一預定閾值。
[0027] 上述第二預定閾值可以是通過經驗來確定為固定值，也可以根據各個運動塊的運 動程度的大小來確定為動態值，例如按各個運動塊的運動程度從大到小排列的前40%的運 動程度作為第二預定閾值（因為人手的運動程度相對於身體的其他部分來說是比較大的)， 在該情況下，具有運動程度從大到小排列的前40%的運動程度的各個運動塊所構成的區域 可以被確認作為人手，在這種情況下，該第二預定閾值也是隨著各個運動塊的運動程度的 分布而變化的。
[0028] 在一個實施例中，可以通過下述公式來量化當前深度圖像幀的每個塊中的落入不 同深度區間的像素的個數與各個歷史深度圖像幀的對應塊中的落入不同深度區間的像素 的個數的差異情況，來得到每個塊的運動程度：
【權利要求】
1. 一種檢測運動物體的方法，包括： 獲得通過連續拍攝運動物體而得到的具有深度信息的至少兩個深度圖像峽，包括當前 深度圖像峽和至少一個歷史深度圖像峽，其中，所述至少兩個深度圖像峽的每個被劃分為 多個塊； 計算當前深度圖像峽的每個塊中的落入不同深度區間的像素的個數與各個歷史深度 圖像峽的對應塊中的落入不同深度區間的像素的個數的差異情況； 根據所述差異情況，檢測當前深度圖像峽中的運動塊，W構成所檢測的運動物體。
2. 根據權利要求1的方法，其中，根據所述差異情況，檢測當前深度圖像峽中的運動 塊，W構成所檢測的運動物體的步驟包括： 量化所述每個塊的所述差異情況的大小來計算當前深度圖像峽中的該塊的運動程 度； 如果一個塊的運動程度大於或等於第一預定闊值，則檢測該塊作為運動塊。
3. 根據權利要求2的方法，其中，如果當前深度圖像峽中一個塊的運動程度大於或等 於第二預定闊值，則確認該塊屬於人手的一部分。
4. 根據權利要求2的方法，還包括： 根據所檢測的當前深度圖像峽中的各個運動塊的位置和運動程度、W及先前檢測的先 前深度圖像峽中的各個運動塊的位置和運動程度中的至少一個，來確定當前深度圖像峽中 哪些部分屬於人手。
5. 根據權利要求4的方法，其中，所述根據所檢測的當前深度圖像峽中的各個運動塊 的位置和運動程度、W及先前檢測的先前深度圖像峽中的各個運動塊的位置和運動程度中 的至少一個，來確定當前深度圖像峽中哪些部分屬於人手的步驟包括： 根據先前檢測的先前深度圖像峽中的各個運動塊構成的第一運動區域的位置，將所述 第一運動區域映射到當前深度圖像峽中，W與當前深度圖像峽中的各個運動塊構成的第二 運動區域全部或部分重合； 將投影后的第一運動區域的各個像素點的運動程度與所述第二運動區域中的各個像 素點的運動程度疊加，W得到基於先前運動的累加運動程度圖； 根據基於先前運動的累加運動程度圖，將滿足預定條件的區域確定為人手。
6. 根據權利要求5的方法，其中，根據先前檢測的先前深度圖像峽中的各個運動塊構 成的第一運動區域的位置，將所述第一運動區域映射到當前深度圖像峽中，W與當前深度 圖像峽中的各個運動塊構成的第二運動區域全部或部分重合的步驟包括： 根據先前檢測的先前深度圖像峽中的各個運動塊的位置，計算所述第一運動區域的第 一主方向、第一中軸線、第一重也； 根據當前深度圖像峽中的各個運動塊的位置，計算所述第二運動區域的第二主方向、 第二中軸線、第二重也； 移動所述第一運動區域，使得所述第一重也與所述第二重也全部或部分重合，所述第 一中軸線與所述第二中軸線全部或部分重合，所述第一主方向與所述第二主方向全部或部 分重合。
7. 根據權利要求6的方法，其中，所述第一運動區域和所述第二運動區域是滿足如下 條件之一的區域： 各個運動塊構成的運動區域的形狀最狹長； 各個運動塊構成的運動區域與手臂的形狀的相似程度最大； 各個運動塊構成的運動區域經過外接楠圓或矩形之後，長軸與短軸之比或長寬比與手 臂的相似程度最大。
8. 根據權利要求5的方法，其中，根據基於先前運動的累加運動程度圖，將滿足預定條 件的區域確定為人手包括如下中的一種或多種： 將運動程度大於第H預定闊值的區域確定為人手的區域，其中，根據所述基於先前運 動的累加運動程度圖中的疊加後的運動程度從大到小排列，取第預定數量個的運動程度值 作為第H預定闊值； 利用先前檢測的人手的區域相對於第一運動區域的位置來估算當前檢測的人手的區 域相對於第二運動區域的位置，並根據該當前檢測的人手的區域相對於第二運動區域的位 置來確定人手的區域； 根據人手的顏色、灰度和深度中的至少一種的信息來找到與所述信息的相似程度大於 預定值的區域。
9. 根據權利要求2-8中任一的方法，其中，通過如下公式，來計算所述塊的運動程度：
其中，Cj.表示第j個塊的運動程度，j=l，2……，M，M表示劃分的塊的個數，N表示歷史 深度圖像峽的個數，K表示深度區間的個數，i=l，2……，K，Sj,表示當前深度圖像峽中的第 j個塊中的落入第i個深度區間的像素的個數，Tw表示通過將每個歷史深度圖像峽中的第 j個塊中的落入第i個深度區間的像素的個數求總和而得到的值。
10. -種檢測運動物體的系統，包括： 獲得裝置，被配置為獲得通過連續拍攝運動物體而得到的具有深度信息的至少兩個深 度圖像峽，包括當前深度圖像峽和至少一個歷史深度圖像峽，其中，所述至少兩個深度圖像 峽的每個被劃分為多個塊； 計算裝置，被配置為計算當前深度圖像峽的每個塊中的落入不同深度區間的像素的個 數與各個歷史深度圖像峽的對應塊中的落入不同深度區間的像素的個數的差異情況； 檢測裝置，被配置為根據所述差異情況，檢測當前深度圖像峽中的運動塊，W構成所檢 測的運動物體。
【文檔編號】G06K9/00GK104424649SQ201310365452
【公開日】2015年3月18日 申請日期:2013年8月21日 優先權日:2013年8月21日
【發明者】趙穎, 劉麗豔, 梁玲燕 申請人:株式會社理光