位置檢測設備和位置檢測方法

2023-05-19 11:30:16 2

專利名稱：位置檢測設備和位置檢測方法
技術領域：
本發明涉及位置檢測設備和位置檢測方法，更具體地，涉及用於檢測空間中的檢 測對象的位置的位置檢測設備和位置檢測方法。
背景技術：
已經開發了使用姿勢來操作裝置的技術。例如，用於使用攝像機識別姿勢的技術 的歷史較長，並且自從在MIT開發的Put-That-There系統以來，已開展了許多研究。為了更 精確地識別姿勢，需要實時地以高精確度檢測諸如指尖或關節位置之類的多個特徵點。例 如，在JP-A-11-24839和JP-A-2009-43139中，公開了用於識別進行姿勢的用戶的多個特徵 點的技術，從而使得能夠通過多種操作方法進行交互式的輸入和輸出。而且，還存在用戶在 其手上有手套、書籤等以便利於識別特徵點的許多情況，從而嘗試識別更複雜的操作。

發明內容
然而，對於用於通過攝像機識別姿勢的技術，仍存在諸如在變化的照明環境裡難 以精確地識別利用指尖進行的複雜操作和難以穩定地識別特徵點的移動之類的問題。而 且，在通過將手套、書籤等放在用戶手上來試圖識別更複雜的操作的情況下，需要用於放上 標籤等的準備時間。因此，存在這種識別方法不適合於在日常生活中使用或被不確定數目 的用戶使用的問題。鑑於上述，期望提供一種新穎且改進的位置檢測設備和位置檢測方法，其能夠穩 定地以高精確度獲得空間中的檢測對象的三維位置。根據本發明的實施例，提供了一種位置檢測設備，包括照射單元，用於對空間中 的檢測對象發射照射模式(irradiation pattern)，該照射模式是包括一種或多種照射光 的光組；成像單元，用於通過對該檢測對象進行成像而獲得一個或多個圖像；成像控制單 元，用於基於照射定時而控制成像單元的成像定時，其中在每個照射定時照射單元發射該 照射模式；分析單元，用於基於通過成像單元獲得的一個或多個圖像而提取以該照射模式 照射該檢測對象的照射地點並分析該檢測對象和該照射模式之間的位置關係；以及移動處 理單元，用於基於分析單元分析的該檢測對象和該照射模式之間的位置關係而移動該照射 模式的照射位置，以使得以該照射模式照射該檢測對象。根據本發明，在如下定時成像單元對該照射模式所被發射至的空間進行成像在 每個定時發射照射模式，並且成像單元獲得圖像。分析單元根據獲得的圖像而提取以照射 模式照射的檢測對象的照射地點並分析檢測對象和照射模式之間的位置關係。移動處理單 元根據檢測對象和照射模式之間的位置關係而移動照射模式的照射位置，以使得以照射模 式照射檢測對象。以這種方式，可以總是以照射模式照射檢測對象，並且可以穩定地以高精 確度識別空間中的檢測對象的位置。這裡，照射模式可至少包括在不同定時發射的第一照射模式和第二照射模式。此 時，成像控制單元可使得成像單元獲得在發射第一照射模式的照射定時的圖像和在發射第二照射模式的照射定時的圖像，分析單元可對在發射第一照射模式時獲得的第一圖像和在 發射第二照射模式時獲得的第二圖像進行比較，分析單元可識別第一照射模式和第二照射 模式在檢測對象上的各個照射位置，並且移動處理單元可基於第一照射模式和第二照射模 式在檢測對象上的照射位置而移動照射模式的照射位置。此外，可將照射模式配置成包括第一照射模式和第二照射模式，該第一照射模式 包括在照射模式的移動方向上彼此相鄰的第一光層和第三光層，該第二照射模式包括位於 第一光層和第三光層之間的第二光層。此時，分析單元可確定在以第一光層和第二光層照 射檢測對象時照射模式被投射在檢測對象上。此外，當僅以第一光層照射檢測對象時，移動處理單元可移動照射模式，以使得進 一步以第二光層照射該檢測對象，以及在以第一光層、第二光層和第三光層照射檢測對象 時，移動處理單元可移動照射模式，以使得僅以該第一光層和該第二光層照射該檢測對象。此外，該照射模式可包括在該照射模式的移動方向上以彼此之間的預定距離而彼 此相鄰的、且在相同的照射定時被發射的第一光層和第二光層。此時，成像控制單元可使得 成像單元在該照射模式的照射定時獲得一個或多個圖像，分析單元可根據成像單元獲得的 一個圖像而識別該第一光層和該第二光層在該檢測對象上的各個照射位置，並且移動處理 單元可基於該第一光層和該第二光層在該檢測對象上的照射位置而移動該照射模式的照 射位置。而且，當僅以該第一光層照射該檢測對象時，分析單元可以確定該照射模式被投 射到該檢測對象上。此時，當未以該照射模式照射該檢測對象時，該移動處理單元可移動該 照射模式，以使得以該第一光層照射該檢測對象，並且當以該第一光層和該第二光層照射 該檢測對象時，該移動處理單元可移動該照射模式，以使得僅以該第一光層照射該檢測對象。此外，分析單元能夠分析多個該檢測對象和該照射模式之間的位置關係，並且移 動處理單元可基於各個該檢測對象和該照射模式之間的各個位置關係而移動該照射模式 的照射位置。可以以平面膜狀形成該照射模式，並且移動處理單元可移動該照射模式以覆蓋該 空間中包括的多個檢測對象。可替代地，可對通過劃分該空間而形成的每個預定區域提供 該照射模式，並且移動處理單元可移動該照射模式的照射位置，以使得以該照射模式照射 該區域中包括的檢測對象。而且，位置檢測設備還可包括用於計算該檢測對象的位置的位置計算單元。此時， 該位置計算單元可基於該成像單元所獲得的圖像以及從該照射單元的視角形成的照射圖 像而計算空間中的該檢測對象的三維位置。位置檢測單元可利用例如對極幾何(epipolar geometry)來計算空間中的該檢測對象的三維位置。根據本發明的另一實施例，提供了一種位置檢測方法，包括以下步驟向空間中的 檢測對象發射照射模式，該照射模式是包括一種或多種照射光的光組；基於照射定時而控 制用於對該檢測對象進行成像的成像單元的成像定時，其中在每個照射定時該照射單元發 射該照射模式；基於該成像定時而通過該成像單元獲得一個或多個圖像；基於通過該成像 單元獲得的一個或多個圖像而提取以該照射模式照射該檢測對象的照射地點並分析該檢 測對象和該照射模式之間的位置關係；以及基於該檢測對象和該照射模式之間的位置關係而移動該照射模式的照射位置，以使得以該照射模式照射該檢測對象。根據上述本發明的實施例，可以提供位置檢測設備和位置檢測方法，其能夠穩定 地以高精確度獲得空間中的檢測對象的三維位置。


圖1是示出根據本發明實施例的位置檢測設備的配置示例的說明圖；圖2是示出根據實施例的位置檢測設備的配置的框圖；圖3是示出根據實施例的位置檢測設備的位置檢測方法的流程圖；圖4A是示出照射單元的照射定時的示例的圖；圖4B是示出照射單元的照射定時的示例的圖；圖5是用於說明成像控制單元的成像定時的確定方法的圖；圖6是示出通過對成像單元所捕獲的照射模式的兩種類型的圖像進行差分計算 而生成的圖像的說明圖；圖7是示出照射模式和檢測對象之間的位置關係以及照射模式的基於該位置關 系的移動方向的說明圖；圖8是示出以下兩個圖像之間的關係的說明圖，其中一個圖像示出根據成像單元 捕獲的圖像而獲得的檢測對象的位置，另一圖像從照射單元的視角形成；圖9是示出成像單元獲得的通常的圖像與其中僅提取檢測對象的圖像之間的關 系的說明圖；圖10是示出檢測對象的位置的計算方法的說明圖；以及圖11是示出在使用包括一種光的照射模式的情況下照射模式和檢測對象之間的 位置關係以及照射模式的基於該位置關係的移動方向的說明圖。
具體實施例方式以下參考附圖詳細說明本發明的優選實施例。注意，在本說明書和附圖中，以相同 的附圖標記表示具有基本上相同的功能和結構的結構元件，並省略對這些結構元件的重複 說明。另外，按以下順序進行說明。1.位置檢測設備的概述2.位置檢測設備的具體配置示例1.位置檢測設備的概述位置檢測設備的配置示例首先，基於圖1說明根據本發明實施例的位置檢測設備的配置示例。另外，圖1是 示出根據本實施例的位置檢測設備的配置示例的說明圖。根據本實施例的位置檢測設備是用於通過使用與照射單元相同步地成像的 成像單元來識別照射單元所發射的照射光的反射、並用於獲得空間中的檢測對象的三 維位置的設備。如圖1所示，這種位置檢測設備例如可包括作為照射單元的投射器 (projector) 101，作為用於檢測照射光的檢測單元的PD (光檢測器)102，微處理器103，以 及作為用於獲得圖像的成像單元的攝像機104。
投射器101以預定的照射模式200對空間輸出照射光。照射模式200是包括一種 或多種照射光的光組，且用於指定空氣中的檢測對象的位置。例如通過包括一個或多個膜 狀光層的形狀來形成照射模式200。可通過一次或多次發射光來形成一個或多個膜狀光層。 投射器101基於諸如用戶指尖之類的檢測對象與照射模式200之間的位置關係而移動照射 模式200的照射位置，使得總是以照射模式200照射檢測對象。PD 102檢測從投射器101輸出的照射光，並將檢測結果輸出到微處理器103。PD 102被設置用於檢測從投射器101發射的照射模式200的照射定時。微處理器103基於PD 102的檢測結果而識別照射模式200的照射定時，並通過攝像機104生成圖像的成像定時。 所生成的成像定時被輸出到攝像機104。攝像機104基於成像定時而捕獲照射模式200所 被輸出至的空間的圖像。由攝像機104基於成像定時而捕獲的圖像經過信息處理單元(對應於圖2中的附 圖標記150)的圖像處理，從而被以照射模式200照射的檢測對象的照射地點可被識別。這 使得有可能識別檢測對象與照射模式200之間的位置關係。在根據所識別的檢測對象和照 射模式200之間的位置關係而確定了檢測對象未被適當地照射的情況下，投射器101移動 照射模式200的照射位置，使得總是以預定的位置關係中的照射模式200照射檢測對象。以 這種方式，使得總是以預定位置關係中的照射模式200照射檢測對象。此外，當識別出被以照射模式200照射的檢測對象的照射地點時，所捕獲的圖像 中的檢測對象的位置可被檢測。而且，可根據空間中的照射模式200的照射位置而確定檢 測對象和攝像機104之間的距離。這使得可以發現空間中的檢測對象的三維位置。在此， 如上所述，移動照射模式200，使得總是以預定位置關係中的照射模式200照射檢測對象。 根據本實施例的位置檢測設備通過使用照射模式200的這種照射位置計算檢測對象的三 維位置，從而可以穩定地以高精確度檢測空間中的檢測對象的位置。以下基於圖2和圖3更具體地說明根據本實施例的位置檢測設備100的配置和使 用該位置檢測設備100的檢測對象的位置檢測方法。另外，圖2是示出根據本實施例的位 置檢測設備100的配置的框圖。圖3是示出根據本實施例的位置檢測設備100的位置檢測 方法的流程圖。位置檢測設備的配置如圖2所示，根據本實施例的位置檢測設備100包括照射單元110、檢測單元120、 成像控制單元130、成像單元140以及信息處理單元150。照射單元110輸出包括照射光的照射模式200，以指定空間中的檢測對象的位置。 形成照射模式200的照射光可以是可見光或不可見光。照射模式200被配置成通過其可指 定檢測對象的照射位置的模式，並且取決於發射照射光的照射定時或照射光的照射位置， 可以以各種方式配置照射模式200。這種用於發射照射模式200的照射單元110可以是例 如圖1所示的投射器101、紅外發光裝置等。照射單元110根據如下所述的信息處理單元 150的指令而移動照射模式200，使得將以預定的照射光照射檢測對象。檢測單元120檢測照射單元110的照射模式200的照射定時。檢測單元120例如 可以是諸如圖1所示的用於直接檢測照射單元110的照射光輸出的PD 102之類的光接收 元件。在這種情況下，檢測單元120輸出與接收的照射光的強度相對應的電信號作為檢測 結果。可替代地，檢測單元120可以是用於控制照射定時以發射照射模式200的照射單元110中的控制電路。在這種情況下，表示控制電路輸出的照射定時的電路信號被用作檢測單 元120的檢測結果。檢測單元120將檢測結果輸出到成像控制單元130。成像控制單元130基於檢測單元120的檢測結果而生成成像單元140的成像定 時。成像控制單元130可根據檢測單元120的檢測結果而識別從照射單元110輸出的照射 光的照射定時。在本實施例中，為了識別檢測對象的位置，使用發射照射模式200時的圖 像。因此，成像控制單元130根據檢測單元120的檢測結果而識別當輸出照射模式時的照 射定時，並且成像控制單元130基於該照射定時而生成成像單元140在其時獲得圖像的成 像定時。成像控制單元130將生成的成像定時輸出到成像單元140。成像單元140基於該成像定時而捕獲照射模式200所被發射至的空間的圖像。通 過在成像控制單元130生成的成像定時取得圖像，成像單元140可獲得當發射預定的照射 模式時的圖像。成像單元140將所捕獲的圖像輸出到信息處理單元150。信息處理單元150是用於計算檢測對象的位置的功能單元。信息處理單元150基 於成像單元140獲得的圖像並通過使用以下所述的檢測方法來檢測被以照射模式200照射 的檢測對象的照射地點。這使得信息處理單元150能夠分析照射模式200和檢測對象之間 的位置關係。信息處理單元150根據所分析的照射模式200和檢測對象之間的位置關係而 生成用於移動照射模式200的移動信息，並將該移動信息輸出到照射單元110，使得以預定 位置關係中的照射模式200照射檢測對象。照射單元110基於從信息處理單元150輸入的 移動信息而改變照射模式200的照射位置。以這種方式，信息處理單元150計算的檢測對 象的位置被用於確定下次的照射模式200的照射位置。此外，信息處理單元150基於從照射單元110輸入的照射模式200的照射位置和 被以照射模式200照射的檢測對象的照射地點的位置信息而計算空間中的檢測對象的三 維位置。另外，以下將說明檢測對象的三維位置的計算方法。信息處理單元150可將所計 算的檢測對象的三維位置作為位置信息輸出到外部裝置。空間中的檢測對象的位置信息可 被用於例如識別由用戶進行的姿勢。位置檢測方法的概述接著，基於圖3說明根據本實施例的位置檢測設備100的位置檢測方法的概述。在根據本實施例的位置檢測方法中，照射單元110首先將預定的照射模式200發 射到存在檢測對象的空間(步驟S100)。接著，成像單元140獲得空間中的檢測對象的圖像 (步驟S110)。此時，成像單元140基於成像控制單元130生成的成像定時而與預定的照射 模式200的照射定時相同步地獲得圖像。而且，信息處理單元150分析成像單元140捕獲的圖像並檢測檢測對象的位置 (步驟S120)。信息處理單元150根據所捕獲的圖像而識別被以照射模式200照射的檢測 對象的照射地點。這使得信息處理單元150能夠檢測檢測對象和照射模式200之間的位置 關係，即，檢測對象被以照射模式200照射到什麼程度。此後，信息處理單元150根據檢測對象和照射模式200之間的位置關係而生成用 於移動照射模式200的照射位置以使得照射模式200按照預定位置關係照射檢測對象的移 動信息(S130)。信息處理單元150將所生成的移動信息輸出到照射單元110。照射單元 110基於輸入的移動信息而移動照射模式200的照射位置，並以照射模式200按照預定位置 關係照射檢測對象。
以上已說明了根據本實施例的位置檢測設備100的檢測對象的位置檢測方法。以 這種方式，移動照射模式200，使得總是以從照射單元110輸出的照射模式200且以預定的 位置關係照射檢測對象，從而可以以高精確度檢測空間中的檢測對象的位置。2.位置檢測設備的具體配置示例隨後，以下將示出使用根據本實施例的位置檢測設備100的檢測對象的位置檢測 方法的具體示例。另外，在以下具體示例中，假定用戶處於照射模式200所被輸出至的空間 中且位置檢測設備100的檢測對象是用戶的手指F的尖端。位置檢測設備100移動照射模 式200以使照射模式200集中在用戶的指尖上。第一具體示例使用包括兩種彩色光的照射模式的位置檢測方法首先，作為第一具體示例，基於圖4A至圖10說明使用包括兩種彩色光的照射模式 200的位置檢測方法。在本示例中，包括兩種彩色光的照射模式200指的是包括具有不同 波長的兩種可見光的光模式。以下，作為照射模式200的示例，使用膜狀綠色(G)光和紅色 (R)光被以綠、紅和綠的順序而堆疊成三層的照射模式。通過從可見光形成照射模式200，用戶可從視覺上確認正被檢測的指尖的位置。這 使得用戶能夠從視覺上確認指尖是否被精確地檢測，同時可進行將指尖帶到照射模式附近 或移動指尖離開照射模式的動作。以這種方式，可通過使用可見光來配置具有高交互性的 用戶接口。另外，圖4A和圖4B是示出照射單元110的照射定時的示例的圖。圖5是用於說 明成像控制單元130的成像定時的確定方法的圖。圖6是示出通過對成像單元140捕獲的 照射模式的兩種類型的圖像進行差分計算而生成的圖像的說明圖。圖7是示出照射模式和 檢測對象之間的位置關係以及照射模式的基於該位置關係的移動方向的說明圖。圖8是示 出以下兩個圖像之間的關係的說明圖，其中一個圖像示出根據成像單元140所捕獲的圖像 而獲得的檢測對象的位置，另一圖像從照射單元110的視角形成。圖9是示出成像單元140 獲得的通常的圖像與從中僅提取檢測對象的圖像之間的關係的說明圖。圖10是示出檢測 對象的位置的計算方法的說明圖。檢測對象的差分圖像的生成首先，將基於圖4A至圖6說明生成用於根據成像單元140獲得的圖像而提取被以 照射模式200照射的指尖的照射地點的差分圖像的處理，該處理用於檢測作為檢測對象的 指尖與照射模式200之間的位置關係。在本示例中，如上所述，照射單元110向空間發射包括分層的綠色(G)光和紅色 (R)光的照射模式200。此時，照射單元110例如可以是用於在不同的定時照射三原色RGB 的DLP投射器。DLP投射器是通過以高速搖晃微鏡陣列而生成投射器圖像的裝置。通過使 用這樣的DLP投射器，可以例如以圖5所示的照射定時而順序地輸出綠色(G)光、藍色(B) 光和紅色(R)光，從而以高速閃光。預先通過裝置設置照射單元110在其時輸出照射光的照射定時。例如，照射單元 110在圖4A和圖4B中所示的各個定時發射每種光。以各個規律的間隔發射每種光，並且例 如以時間段T(例如約8. 3ms)發射綠色(G)光。在此，例如，如果表示發射綠色(G)光的定 時的綠色信號被用作基準，則在綠色(G)光後約 72時發射藍色(B)光。而且，在綠色(G) 光後約3/4T時發射紅色(R)光。照射單元110基於照射單元110中設置的控制電路所輸出的這些信號而輸出RGB的每種光。照射單元110通過改變微鏡陣列的傾斜而形成膜狀光，並將該光發射到空間。在 本示例中，如上所述，利用通過堆疊兩個綠色(G)光層和一個紅色(R)光層形成的照射模式 200來識別作為檢測對象的指尖與照射模式200之間的位置關係。因此，成像單元140在照 射模式200中獲得在發射綠色(G)光時的圖像和在發射紅色(R)光時的圖像。通過成像控 制單元130生成成像單元140在其時獲得圖像的成像定時作為成像觸發信號。成像控制單元130基於照射單元110的照射定時而生成成像觸發信號以獲得在以 下定時的圖像在每個定時發射綠色(G)光和紅色(R)光。例如，可使用諸如圖1所示的 PD 102之類的光接收元件通過直接檢測照射光來識別照射定時。在這種情況下，在空間中 至少提供用於檢測照射光的光接收元件(在本示例中是用於檢測綠色(G)光的光接收元件 和用於檢測紅色(R)光的光接收元件)，在該照射光的照射時間獲得圖像。然後，成像控制 單元130生成在這些光接收元件的任一個檢測到光時啟動的成像觸發信號。可替代地，在 空間中可提供用於檢測基準光的光接收元件，並且可基於該光接收元件輸出的電信號而生 成成像觸發信號。例如，使用綠色(G)光作為基準，在空間中提供用於檢測綠色(G)光的光接收元 件。此時，光接收元件輸出的電信號(PD信號)如圖5所示是在發射綠色(G)光的定時上 升的波形。另一方面，成像控制單元130獲得照射定時，在各個照射定時從照射單元110發 射每種光，並且成像控制單元130獲得從綠色(G)光的照射至紅色(R)光的照射的延遲時 間。當已檢測到光接收元件輸出的PD信號的上升時，成像控制單元130假定當從該上升經 過了該延遲時間時將發射紅色(R)光。基於此，成像控制單元130生成成像觸發信號，用於 獲得在輸出綠色(G)光時的PD信號的上升時間時的圖像和已從該上升經過了延遲時間時 的圖像。可替代地，成像控制單元130還可使用表示照射單元110中設置的控制電路所輸 出的照射定時的電路信號作為檢測單元120的檢測結果。此時，由於可根據該電路信號而 識別每種光的照射定時，因此成像控制單元130生成成像觸發信號，用於使成像單元140獲 得在照射光的各個照射定時的圖像。另外，在兩次發射RGB光時，將綠色(G)光的第一照射定時作為觸發I(G)且將紅 色(R)光的第二照射定時作為觸發2 (R)而生成圖5所示的成像觸發信號，然而本發明不限 於這種示例。成像控制單元130可生成成像觸發信號，該成像觸發信號在發射一次GB光時 將綠色(G)光的照射定時作為觸發I(G)且將紅色(R)光的照射定時作為觸發2 (R)。當成像單元140基於成像控制單元130生成的成像觸發信號而進行成像時，可獲 得當照射單元發射綠色(G)光時的圖像以及當照射單元發射紅色(R)光時的圖像。然後， 信息處理單元150執行移除既不被形成照射模式200的綠色(G)光照射也不被形成照射模 式200的紅色(R)光照射的背景部分並獲得被以照射模式200照射的照射地點的處理。例如，如圖6(a)所示，假定以其中綠色(G)光和紅色(R)光被以柵格模式布置的 照射模式從照射單元110照射用戶的手。此時，信息處理單元150對成像單元140所捕獲 的兩個連續圖像進行差分計算。在此，「連續圖像」指的是在成像觸發信號的連續定時捕獲 的圖像對，例如圖5中的在觸發I(G)的定時捕獲的第一圖像和在觸發2 (R)的定時捕獲的 第二圖像。用帶有時間差以高速閃光的綠色(G)光和紅色(R)光來發射包括圖6中的綠色(G)光和紅色(R)光的柵格狀照射模式。信息處理單元150對在照射綠色(G)光時捕獲的第一圖像和在照射紅色(R)光時 捕獲的第二圖像進行差分計算，從而能夠生成差分圖像(G-R)和提取以綠色(G)光照射的 照射地點。也就是說，信息處理單元150通過從第一圖像的亮度減去第二圖像的亮度來計 算差值，並生成差分圖像(G-R)，該差分圖像(G-R)在該差值為正的情況下為以該差值表示 的亮度的差分圖像(G-R)，或者在該差值為零或更低的情況下為暗的差分圖像(G-R)。圖 6(a)的差分圖像(G-R)例如是圖6(b)所示的。另外，在圖6(b)和圖6(c)中，為了方便起 見，以白色表示差值為正的部分，且以黑色表示差值為零或更低的部分。類似地，信息處理單元150對在照射紅色(R)光時捕獲的第二圖像和在照射綠色 (G)光時捕獲的第一圖像進行差分計算，從而能夠生成差分圖像(R-G)和提取以紅色(R)光 照射的照射地點。也就是說，信息處理單元150通過從第二圖像的亮度減去第一圖像的亮 度來計算差值，並生成差分圖像(R-G)，該差分圖像(R-G)在該差值為正的情況下為以差值 表示的亮度的差分圖像(R-G)，或者在該差值為零或更低的情況下為暗的差分圖像(R-G)。 通過進行這種處理，可生成圖6(c)所示的圖6(a)的差分圖像(R-G)，且可從該差分圖像 (R-G)發現差值為正的部分是以紅色(R)光照射的照射地點。以這種方式，信息處理單元150可根據以綠色(G)光模式照射的圖像和以紅色(R) 光模式照射的圖像而生成差分圖像。從每個差分圖像提取以綠色(G)光模式照射或以紅色 (R)光模式照射的照射地點。在該差分圖像中，當出現照射模式的照射地點時，諸如背景之 類的未被以照射模式照射的部分被以黑色表示且由此不被顯示。這使得信息處理單元150 能夠基於差分圖像而僅提取以照射模式照射的部分。識別檢測對象在本示例中，通過利用根據成像單元140所獲得的圖像而生成差分圖像並提取以 預定光照射的部分的上述圖像處理方法，將例如圖7所示的包括雙色光的照射模式200發 射到檢測對象，從而識別檢測對象的位置。本示例中的照射模式200包括例如兩個綠色(G) 光202和206以及被布置在光202和206之間的紅色(T)光204。照射模式202是如圖1 所示地被發射到空間的三種膜狀光。形成照射模式200的光層202、204和206被在作為檢 測對象的指尖的移動方向(圖7中的y方向)上堆疊和布置。成像單元400基於成像觸發信號而獲得圖像，該成像觸發信號用於獲得在發射綠 色(G)光或紅色(R)光的各個時間時的圖像。信息處理單元150根據成像單元140所獲得 的圖像中的兩個連續圖像而生成差分圖像(G-R)和差分圖像(R-G)，並檢測綠色(G)光的照 射地點和紅色(R)光的照射地點。然後，信息處理單元150根據這兩種光的被檢測的照射 地點而計算照射模式200與作為檢測對象的指尖之間的位置關係，並生成用於根據該位置 關係而移動照射模式200的照射位置的移動信息。可根據以照射模式200照射手指F到什麼程度(手指F與照射模式200接觸多 少)來確定照射模式200和指尖之間的位置關係。在本示例中，根據通過手指F在y方向 上的移動而變化的與手指F相接觸的光層的數目來確定照射模式200和指尖之間的位置關係。作為三個光層202、204和206與手指F相接觸的情況的示例，可構思以下三種情 況。第一種情況是如圖7(a)的右側所示的以下情況手指F僅與照射模式200的作為綠色(G)光的第一光層202相接觸，並且作為檢測對象的指尖不與作為紅色(R)光的第二光層 204相接觸。此時，與第一光層202相接觸的手指F的形狀出現在所生成的差分圖像(G-R) 中，然而在差分圖像(R-G)中，由於手指F不與紅色(R)光相接觸，因此不出現照射地點。 結果，如圖7(a)的左側所示，僅獲得與第一光層202相接觸的手指F的形狀作為照射地點 222。第二種情況是如圖7 (b)的右側所示的以下情況手指F與照射模式200的第一光 層202和第二光層204相接觸。此時，與第一光層202相接觸的手指F的形狀出現在所生 成的差分圖像(G-R)中，並且與第二光層204相接觸的手指F的形狀出現在差分圖像(R-G) 中。結果，如圖7(b)的左側所示，獲得與第一光層202和第二光層204相接觸的手指F的 形狀作為照射地點222和照射地點224。然後，第三種情況是如圖7 (c)的右側所示的情況，手指F與照射模式200的第一 光層202、第二光層204和第三光層206相接觸。此時，與第一光層202和第三光層206相 接觸的手指F的形狀出現在生成的差分圖像(G-R)中，並且與第二光層204相接觸的手指 F的形狀出現在差分圖像(R-G)中。結果，如圖7(c)的左側所示，獲得與第一光層202、第 二光層204以及第三光層206相接觸的手指F的形狀作為照射地點222和224以及照射地 點 226。在此，位置檢測設備100將手指F和照射模式200之間的預定位置關係設置為用 於獲得指尖的三維位置的目標位置關係。然後，位置檢測設備100移動照射模式200，使得 手指F和照射模式200之間的位置關係總是處於目標位置關係。在本示例中，目標位置關 系被設置為圖7(b)所示的情況。此時，信息處理單元150考慮到作為檢測對象的指尖在第 二光層204上，並將手指F與第二光層204相交叉的部分作為檢測對象的位置而計算指尖 的三維位置。因此，位置檢測設備100必須使照射模式200的第二光層204被精確地投射 在指尖上。信息處理單元150生成用於移動照射模式200的照射位置以使得照射模式200和 指尖之間的位置關係成為圖7(b)所示的目標位置關係的移動信息。首先，在照射模式200 和指尖之間的位置關係處於作為目標位置關係的圖7(b)中的狀況的情況下，確定照射模 式200的第二光層204被精確地投射在指尖上。在這種情況下，信息處理單元150不移動 照射模式200，並使得在當前位置處連續地發射照射模式200。接著，在手指F和照射模式200之間的位置關係處於圖7(a)中的狀況的情況下， 指尖不與第二光層204相接觸，使得照射模式200必須朝向指尖而向前移動(沿著y軸的 負方向)，以使該位置關係成為圖7(b)所示的目標位置關係。因此，信息處理單元150生 成用於使照射模式200朝向指尖而向前移動的移動信息，並將該移動信息輸出到照射單元 110。另一方面，在手指F和照射模式200之間的位置關係處於圖7(c)的狀況的情況 下，指尖越過第二光層204(在y軸的正方向側上)而與第三光層206相接觸。因此，必須使 照射模式200從指尖向後移動，以使該位置關係成為圖7(b)所示的目標位置關係。因此， 信息處理單元150生成用於使照射模式200從指尖向後移動的移動信息，並將該移動信息 輸出到照射單元110。以這種方式，信息處理單元150識別照射模式200和指尖之間的位置關係，並控制照射模式200的照射位置以使得照射模式200的第二光層204被投射在指尖上。這使得照 射模式200總是能夠被投射在指尖上。另外，為了精確地且快速地指定作為檢測對象的指尖的位置，可使與照射模式200 的第二光層204在y軸的負方向上相鄰的第一光層202的在y方向上的厚度大於第二光層 204的厚度。這便利於手指F接觸第一光層202且可快速地檢測到指尖接近照射模式200。 當指尖接觸第一光層202時，信息處理單元150檢測到該接觸並生成用於移動照射模式200 以使得以第二光層204照射指尖的移動信息。照射單元110基於所生成的移動信息而移動 照射模式200，並使指尖和照射模式處於目標位置關係中。而且，在照射模式200繼續在相同的方向上移動的情況下，信息處理單元150可生 成用於使得可逐漸地增加照射模式200的移動速度的移動信息。情況通常是這樣的在照 射模式200繼續在相同方向上移動時，指尖和照射模式200是遠離的。因此，通過增加照射 模式200的移動速度來更早地以照射模式200的第二光層204照射指尖。在此，在通過位置檢測設備100檢測諸如進行姿勢的右手和左手之類的多個檢測 對象的位置的情況下，可執行將照射模式200移動到每個檢測對象的處理。例如，如圖8 (b) 所示，假定右手RH和左手LH位於照射模式200所被發射至的空間中，並且使手與照射模式 200相接觸。另外，在本示例中，檢測在距用戶最遠的位置處(在y軸的正方向上的最遠的 位置處)的手指F與照射模式200的位置關係。可以根據從圖像識別的手的形狀來假定和 確定在距用戶最遠的位置處的手指F，或者可以根據可被從信息處理單元150生成的差分 圖像中提取的檢測對象的照射地點的形狀來確定在距用戶最遠的位置處的手指F。另外，圖8(a)是根據成像單元140所捕獲的圖像而生成的差分圖像，並且圖8 (b) 是從照射單元110的視角形成的照射圖像。圖8(a)中的線Ll和L2對應於圖8(b)中的線 Ll 禾口 L2。首先，對於圖8(b)所示的右手RH，在圖8 (a)中所示的差分圖像的左側，可以識別 以照射模式200照射的兩個照射區域。由此發現右手RH的兩個手指F與照射模式200相 接觸。此時，根據該形狀發現出現在圖8(a)的差分圖像中的照射區域僅僅是以形成第一光 層202的綠色(G)光照射的地點222。由此，信息處理單元150確定在距用戶最遠的位置處 的手指F僅與第一光層202相接觸，並且信息處理單元150生成用於控制照射單元110以 使照射模式200朝向手指F而向前移動的移動信息。另一方面，對於左手LH，在圖8(a)所示的差分圖像的右側，主要可識別以照射模 式200照射的四個照射區域。由此，發現左手LH的四個手指F與照射模式200相接觸。此 時，根據出現在圖8 (a)的差分圖像中的照射地點222、224和226而發現以第一光層202、第 二光層204和第三光層206的全部光照射四個手指F中的三個。另外，在生成照射模式200 的移動信息的階段中，僅需要知道在距用戶最遠的位置處的手指F和照射模式200之間的 位置關係，而不需要具體指定在距用戶最遠的位置處的一個手指F。信息處理單元150確定 在距用戶最遠的位置處的手指F與第一至第三光層202、204和206相接觸，並且信息處理 單元150生成用於控制照射單元110以使照射模式200從手指F向後移動的移動信息。根據上述內容，信息處理單元150生成用於使得照射模式對右手RH而言朝向手指 F而向前移動且對於左手LH而言從手指F向後移動的移動信息。照射單元110基於所生成 的移動信息而改變照射模式200的傾斜，並使照射模式200的第二光層204被投射在距每個手的用戶最遠的位置處的指尖上。以這種方式，可通過位置檢測設備100檢測多個檢測 對象的位置。另外，在本示例中，照射模式200被形成為包括平面表面的光膜，然而本發明不限 於這種示例。例如，可對每個預定區域提供照射模式，從而通過各個照射模式檢測在各個區 域中包括的檢測對象的位置，或者可在彎曲表面中形成照射模式。在將照射模式200形成 為包括如本示例的平面表面的光膜的情況下，隨著檢測對象的數目增加，精確地檢測所有 檢測對象的位置變得困難，然而可以容易地進行諸如改變照射模式200的形式或移動照射 模式200之類的控制。綜上所述，通過如圖9 (a)所示的成像單元140獲得照射模式200被照射至的空間 的圖像，根據該圖像生成圖9(b)所示的差分圖像，並提取檢測對象的照射地點。也就是說， 以圖9(a)中的照射模式200的第一光層202照射的部分出現作為圖9 (b)所示的差分圖像 中的照射地點222。以圖9(a)中的照射模式200的第二光層204照射的部分出現作為圖 9(b)所示的差分圖像中的照射地點224。以圖9(a)中的照射模式200的第三光層206照 射的部分出現作為圖9(b)所示的差分圖像中的照射地點226。利用諸如二進位化處理或連接成分提取處理之類的公知的圖像處理技術，可從圖 9(b)的差分圖像中單獨地檢測作為檢測對象的指尖的位置。而且，根據照射模式200的照 射位置，可確定指尖和成像單元140之間的距離(S卩，深度方向上的距離)。因此，可計算空 間中的指尖的三維位置。隨後說明計算空間中的檢測對象的三維位置的方法。檢測對象的三維位置的計算方法圖10(a)示出根據成像單元140捕獲的圖像而生成的差分圖像，並且圖10(b)示 出了從照射單元110的視角形成的照射圖像。在此，成像單元140所捕獲的圖像是從垂直 於空間的高度方向(Z方向)的方向所看到的空間的圖像，並且從照射單元110的視角形 成的照射圖像是從上方看到的空間的圖像。在本示例中，通過被稱為對極幾何(bipolar geometry)的方法來校準照射單元110和成像單元之間的位置關係。利用對極幾何，可獲得 從兩個不同位置看到的三維空間中的相同點的視圖之間的對應關係。首先，通過成像單元140對從照射單元110發射到空間的照射模式200進行成像， 並且根據通過信息處理單元150捕獲的圖像而生成差分圖像。利用上述位置檢測方法，從 差分圖像提取以照射模式200照射的檢測對象的照射地點，並且可指定檢測對象的位置。 隨後，信息處理單元150使得從照射單元110的視角形成的第一坐標系中的多個點與從成 像單元140的角度形成的第二坐標系中的多個點相關聯。由此計算對極幾何中的基礎矩陣 F。此時，在第二坐標系的點Pc (Xe，Yc)與第一坐標系中的對應點Pp (Xp，Yp)之間建立由以 下的等式1表示的關係。等式1(Xc，Yc)*F*(Xp，Yp) 『 =0 (等式 1)另外，『表示轉置矩陣。等式1表示在照射圖像上的對應線上的特定點處存在根 據成像單元140所捕獲的圖像而生成的差分圖像上的點，另一方面，在該差分圖像上的對 應線上的特定點處存在照射圖像上的點。這種線被稱為對極線(bipolar line)LE。利用 該關係來計算圖10(b)所示的照射圖像上的對極線LE與所發射的照射模式(本示例中的 第二光層204)的交點，從而可計算作為檢測對象的指尖的三維位置。
第二具體示例使用包括一種光的照射模式的位置檢測方法接著，基於圖11說明使用包括一種光的照射模式的位置檢測方法。另外，圖11是 示出在使用包括一種光的照射模式210的情況下照射模式210和檢測對象之間的位置關係 以及照射模式210的基於該位置關係的移動方向的說明圖。在本示例中，根據包括一種光的照射模式210來掌握照射模式210和檢測對象之 間的位置關係。此時，如圖11所示，照射模式210包括兩個光層第一光層212和第二光層 214。以在y方向上的預定距離來提供第一光層212和第二光層214。由於光層212和214 均包括相同種類的光，因此同時發射光層212和214。如在本示例中那樣，利用包括一種光 的照射模式210，僅需要捕獲在發射光的照射定時的圖像，並且可使位置檢測設備100的配 置簡單。可以根據以照射模式210照射手指F到什麼程度而以與第一具體示例相同的方式 來確定照射模式210和指尖之間的位置關係。在本示例中，在三種狀況下確定照射模式210 和指尖之間的位置關係。首先，第一種狀況是如圖11(a)所示的以下情況指尖不與照射模 式210相接觸。也就是說，這是照射模式210位於指尖前面(在y軸的正方向側)的情況。 第二種狀況是如圖11(b)所示的以下情況指尖僅與第一光層212相接觸。然後，第三種狀 況是如圖11(c)所示的以下情況指尖與第一光層212和第二光層214相接觸。在本示例中，照射模式210和指尖之間的目標位置關係(目標位置關係)是圖 1Kb)中所示的位置。因此，信息處理單元150生成用於移動照射模式210的照射位置以使 得照射模式210和指尖之間的位置關係成為圖11(b)中所示的目標位置關係的移動信息。 首先，在手指F和照射模式210之間的位置關係是處於作為目標位置關係的圖7(b)中的狀 況的情況下，確定照射模式210的第一光層212被精確地投射在指尖上。在這種情況下，信 息處理單元150不移動照射模式210，並使得在當前位置連續地發射照射模式210。接著，在手指F和照射模式210之間的位置關係處於圖11(a)中的狀況的情況下， 指尖不與第一光層212相接觸，使得必須使照射模式210朝向指尖而向前移動(沿y軸的負 方向)，以使位置關係成為圖11(b)所示的目標位置關係。因此，信息處理單元150生成用 於使照射模式210朝向指尖而向前移動的移動信息，並將該移動信息輸出到照射單元110。 另一方面，在手指F和照射模式210之間的位置關係處於圖11(c)中的狀況的情況下，指尖 越過第一光層212而與第二光層214相接觸。因此，必須使照射模式210從指尖向後移動 以使該位置關係成為圖11(b)中所示的目標位置關係。因此，信息處理單元150生成用於 使照射模式210從指尖向後移動的移動信息，並將該移動信息輸出到照射單元110。以這種方式，信息處理單元150識別照射模式210和指尖之間的位置關係並控制 照射模式210的照射位置，使得照射模式210的第一光層212被投射在指尖上。這使得照射 模式210能夠總是被投射在指尖上。另外，如果第一光層212和第二光層214彼此過於靠 近，則指尖易於接觸第一光層212和第二光層214這二者，並且指尖難以僅與第一光層212 相接觸。這使得照射模式210的照射位置不穩定，並使得檢測位置被無意地改變。因此，例 如，最好在第一光層212和第二光層214之間設置約數毫米的空間。可以以與第一具體示例相同的方式將通過本示例的方法而獲得的檢測對象的位 置用作用於檢測三維空間中的檢測對象的位置的信息。也就是說，通過將對極幾何應用於 成像單元140所捕獲的圖像和從照射單元110的視角形成的照射圖像，可以獲得三維空間中的檢測對象的位置。以上說明了根據本發明實施例的位置檢測設備100和使用該位置檢測設備100的 位置檢測方法。根據本實施例，在如下定時成像單元140對照射模式200或210所被發射 至的空間進行成像在每個定時時發射照射模式200或210。位置檢測設備100的信息處 理單元150分析所捕獲的圖像，指定檢測對象被以該照射模式照射的部分，並獲得檢測對 象與照射模式之間的位置關係。然後，信息處理單元150生成用於移動照射模式200或210 的照射位置以使得該位置關係成為目標位置關係的移動信息。照射單元110基於生成的移 動信息而移動照射模式200或210的照射位置。這使得位置檢測設備100能夠穩定地以高 精確度獲得空間中的檢測對象的三維位置。檢測對象的三維位置信息的使用示例以該方式獲得的檢測對象的三維位置信息可被用於各種姿勢接口。例如，指尖可 被用作二維或三維滑鼠指向器。可替代地，多個指尖的姿勢可被識別並被用作輸入信息。例 如，可以通過調整拇指和食指之間的空間來控制圖像的尺寸，並且可以通過擺動手來滾動 圖像。而且，通過諸如以雙手推或拉照射模式之類的雙手的操作，可以前後移動三維空間中 的滑鼠指向器。此外，可通過使用照射模式的方向來進行三維導航。儘管以上已參考

了本發明的優選實施例，但是本發明不限於此。本領域 的技術人員應當理解，基於設計需求和其它因素，可以進行各種變型、組合、子組合和改變， 只要所述變型、組合、子組合和改變在權利要求或其等同內容的範圍之內即可。例如，在上述實施例中，DLP投射器被用作用於發射照射模式的照射單元110，但 是本發明不限於這種示例。例如，可使用用於輸出包括多個光束的線性可移動雷射束的光 束雷射器(beam laser)模塊。如果通過由電動機等驅動控制該光束雷射器模塊來使得可 以進行兩個自由度的角度移位，則通過控制光束雷射器的角度移位使得可以進行等同於上 述實施例的處理。本申請包含與2009年8月7日在日本專利局提交的日本優先權專利申請JP 2009-184721中公開的主題相關的主題，其全部內容通過引用合併於此。
權利要求
1.一種位置檢測設備，包括照射單元，用於對空間中的檢測對象發射照射模式，所述照射模式是包括一種或多種 照射光的光組；成像單元，用於通過對所述檢測對象進行成像而獲得一個或多個圖像； 成像控制單元，用於基於照射定時而控制所述成像單元的成像定時，其中在每個所述 照射定時所述照射單元發射所述照射模式；分析單元，用於基於所述成像單元所獲得的一個或多個圖像而提取以所述照射模式照 射所述檢測對象的照射地點並分析所述檢測對象和所述照射模式之間的位置關係；以及移動處理單元，用於基於所述分析單元所分析的所述檢測對象和所述照射模式之間的 位置關係而移動所述照射模式的照射位置，使得以所述照射模式照射所述檢測對象。
2.根據權利要求1所述的位置檢測設備，其中所述照射模式至少包括在不同的定時發射的第一照射模式和第二照射模式， 其中所述成像控制單元使得所述成像單元獲得在發射所述第一照射模式的照射定時 時的圖像和在發射所述第二照射模式的照射定時時的圖像，其中，所述分析單元對在發射所述第一照射模式時獲得的第一圖像和在發射所述第二 照射模式時獲得的第二圖像進行比較，並且所述分析單元識別所述第一照射模式和所述第 二照射模式在所述檢測對象上的各個照射位置，以及其中所述移動處理單元基於所述第一照射模式和所述第二照射模式在所述檢測對象 上的照射位置而移動所述照射模式的照射位置。
3.根據權利要求2所述的位置檢測設備，其中所述照射模式包括所述第一照射模式和所述第二照射模式，所述第一照射模式包 括在所述照射模式的移動方向上彼此相鄰的第一光層和第三光層，所述第二照射模式包括 位於所述第一光層和所述第三光層之間的第二光層，以及其中，所述分析單元確定在以所述第一光層和所述第二光層照射所述檢測對象時，所 述照射模式被投射在所述檢測對象上。
4.根據權利要求3所述的位置檢測設備，其中，在僅以所述第一光層照射所述檢測對象時，所述移動處理單元移動所述照射模 式以使得進一步以所述第二光層照射所述檢測對象，以及其中，在以所述第一光層、所述第二光層以及所述第三光層照射所述檢測對象時，所述 移動處理單元移動所述照射模式以使得僅以所述第一光層和所述第二光層照射所述檢測 對象。
5.根據權利要求1所述的位置檢測設備，其中，所述照射模式包括在所述照射模式的移動方向上以彼此之間的預定距離而彼此 相鄰的、且在相同的照射定時被發射的第一光層和第二光層，其中，所述成像控制單元使所述成像單元在所述照射模式的照射定時獲得一個或多個 圖像，其中，所述分析單元根據所述成像單元獲得的一個圖像而識別所述第一光層和所述第 二光層在所述檢測對象上的各個照射位置，以及其中，所述移動處理單元基於所述第一光層和所述第二光層在所述檢測對象上的照射位置而移動所述照射模式的照射位置。
6.根據權利要求5所述的位置檢測設備，其中，當僅以所述第一光層照射所述檢測對象時，所述分析單元確定所述照射模式被 投射到所述檢測對象上。
7.根據權利要求6所述的位置檢測設備，其中，當未以所述照射模式照射所述檢測對象時，所述移動處理單元移動所述照射模 式以使得以所述第一光層照射所述檢測對象，以及其中，當以所述第一光層和所述第二光層照射所述檢測對象時，所述移動處理單元移 動所述照射模式以使得僅以所述第一光層照射所述檢測對象。
8.根據權利要求1所述的位置檢測設備，其中，所述分析單元能夠分析多個所述檢測對象與所述照射模式之間的位置關係，以及其中，所述移動處理單元基於各個所述檢測對象與所述照射模式之間的各個所述位置 關係而移動所述照射模式的照射位置。
9.根據權利要求8所述的位置檢測設備， 其中，以平面膜狀形成所述照射模式，以及其中，所述移動處理單元移動所述照射模式以覆蓋所述空間中包括的多個檢測對象。
10.根據權利要求8所述的位置檢測設備，其中對通過劃分所述空間而形成的每個預定區域提供所述照射模式，以及 其中，所述移動處理單元移動所述照射模式的照射位置以使得以所述照射模式照射所 述區域中包括的檢測對象。
11.根據權利要求1所述的位置檢測設備，還包括 位置計算單元，用於計算所述檢測對象的位置，其中，所述位置計算單元基於所述成像單元獲得的圖像和從所述照射單元的視角形成 的照射圖像來計算所述空間中的所述檢測對象的三維位置。
12.根據權利要求11所述的位置檢測設備，其中，所述位置檢測單元利用對極幾何來計算所述空間中的所述檢測對象的三維位置。
13.一種位置檢測方法，包括以下步驟向空間中的檢測對象發射照射模式，所述照射模式是包括一種或多種照射光的光組； 基於照射定時而控制用於對所述檢測對象進行成像的所述成像單元的成像定時，其中 在每個所述照射定時所述照射單元發射所述照射模式；基於所述成像定時而通過所述成像單元獲得一個或多個圖像； 基於通過所述成像單元獲得的一個或多個圖像而提取以所述照射模式照射所述檢測 對象的照射地點並分析所述檢測對象和所述照射模式之間的位置關係；以及基於所述檢測對象和所述照射模式之間的所述位置關係而移動所述照射模式的照射 位置，以使得以所述照射模式照射所述檢測對象。
全文摘要
提供了位置檢測設備和位置檢測方法。該位置檢測設備包括照射單元，用於對空間中的檢測對象發射照射模式，該照射模式是包括一種或多種照射光的光組；成像單元，用於通過對該檢測對象進行成像而獲得一個或多個圖像；成像控制單元，用於基於照射定時而控制成像定時，其中在每個照射定時發射照射模式；分析單元，用於基於一個或多個圖像而提取以照射模式照射檢測對象的照射地點並分析該檢測對象和該照射模式之間的位置關係；以及移動處理單元，用於基於該檢測對象和照射模式之間的位置關係而移動該照射模式的照射位置，以使得以該照射模式照射該檢測對象。
文檔編號G06F3/01GK101995948SQ20101024287
公開日2011年3月30日 申請日期2010年7月30日 優先權日2009年8月7日
發明者曆本純一 申請人:索尼公司