用於基於手勢控制裝置的方法和系統與流程

2023-05-31 21:04:36 3

本公開涉及電子裝置的基於手勢的控制，並且特別涉及用於獲得對電子裝置的控制的方法和系統。

技術背景

手勢控制系統在當今社會越來越普遍。例如，有幾家公司開發促進智慧型手機和其他可穿戴電子產品(如，平板計算機)的手勢控制的軟體。這樣的軟體通常使用由攝像頭拍攝的圖像來控制電子裝置。這些實現對例如坐在汽車中時控制智慧型手機有益於，例如，增加通過智慧型手機播放的音樂音量。攝像頭對擷取圖像的範圍是有限的，並且這些系統通常設計用於那些針對單一個人並且想要控制電子裝置的應用。

美國申請案us2014/032573(oblongindustriesinc.)描述了一種這樣的系統。所述文件涉及一種僅使用由傳感器接收的手勢數據來識別用戶的手勢的系統。計算機應用程式將手勢轉換為手勢信號，並且因應於手勢信號控制連接的顯示設備。

然而，為了擴大可以使用這種基於手勢的系統的應用範圍，需要進一步開發用於通過手勢來控制裝置的系統。

技術實現要素：

鑑於上述，本發明的目的是解決或至少減少上述一個或多個缺點。一般來說，上述目標是通過附帶的獨立專利權利要求來實現的。

根據第一方面，本發明通過一種用於控制連接到控制單元的電子裝置的方法來實現。控制單元連接至少一個傳感器。電子裝置被配置為通過控制單元而被距至少一個傳感器特定距離所感測的物件的手勢所控制。所述方法包括以下步驟：

通過至少一個傳感器感測來自第一物件的第一手勢輸入，

通過控制單元檢查第一手勢輸入是否對應用於獲得電子裝置的控制的第一預定手勢，

如果第一手勢輸入對應於第一預定手勢，所述的方法還包括通過控制單元批准第一物件獲得對電子裝置的控制。

換句話說，如果控制單元確定第一手勢輸入對應於第一預定手勢，則控制單元將批准第一物件獲得對電子裝置的控制。

至少一個傳感器中的每個傳感器可以是主動傳感器和/或被動傳感器。主動傳感器傳輸某種類型的信號，然後信號被傳感器反射、折射或散射，然後在再次被傳感器接收時被測量。被動傳感器僅接收信號。如果使用多個傳感器，則多個傳感器可以包括不同類型的傳感器。

在本說明書的上下文中，術語「物件」應理解為用於執行手勢的任何類型的合適物件，例如，一隻手、兩隻手、一隻手臂、兩隻手臂、一個遙控器等。

在本說明書的上下文中，術語「電子裝置」應理解為任何類型的電子裝置，例如，立體聲系統、電視機、計算機的輸入設備(虛擬鍵盤)、機器人等。

本發明基於以下實現：通過為了獲得對電子裝置的控制而必須由用戶執行預定手勢，當至少一個傳感器同時感測到分離物件(例如，屬於不同人的手)的手勢時，基於手勢的控制系統可以更好地處理。例如，如果至少一個傳感器連接到用於控制立體聲系統的基於手勢的控制系統，並且幾個不同的人正在嘗試改變所播放音樂的音量，則控制單元可以忽略從未執行用於獲得對立體聲系統的控制的預定手勢的人的手勢。

根據實施例，所述方法還包括以下步驟：通過至少一個傳感器感測來自與第一物件不同的第二物件的第二手勢輸入，並且只要第一物件控制著電子裝置，通過控制單元忽略來自第二物件的第二手勢輸入。

因此，如果第一物件(例如，第一人的手)已經獲得對電子裝置的控制，並且第二物件(例如，第二人的手)試圖獲得控制或以其他方式控制電子裝置，則第二物件將被控制單元忽略。這樣的方式有許多有益的原因，例如，如果基於手勢的控制系統連接到大型製造機器人，則不同人員同時控制這樣的機器將會導致災難。

根據實施例，其中第一物件控制著電子裝置，則所述方法還包括以下步驟：通過至少一個傳感器感測來自第一物件的第三手勢輸入，通過控制單元檢查第三手勢輸入是否對應用於釋出對電子裝置的控制的第二預定手勢，並且如果第三手勢輸入對應於第二預定手勢，通過控制單元從對電子裝置的控制中釋出第一物件。

因為可以以受控的方式從控制中釋出物件，具有用於釋出對電子裝置的控制的預定義手勢導致更靈活的基於手勢的控制系統。

根據實施例，其中第一物件並不控制著電子裝置，所述方法還包括以下步驟：通過至少一個傳感器感測來自第二物件的第四手勢輸入，通過控制單元檢查第四手勢輸入是否對應用於獲得電子裝置的控制的第一預定手勢，並且如果第四手勢輸入對應於第一預定手勢，則通過控制單元批准第二物件獲得對電子裝置的控制。

因此，當第一物件已經從對電子裝置的控制中釋出時，新物件(例如，第二物件)可以獲得對電子裝置的控制。而這將有益的實現從一個用戶到另一個用戶對電子裝置的控制的更可控的轉移。

根據一些實施例，在控制單元批准第一物件獲得對電子裝置的控制的步驟之後，所述方法還包括以下步驟：通過控制單元確定第一手勢輸入在3d空間中的位置，通過控制單元將3d空間中的位置設置為3d坐標系統中的原點，以及通過控制單元使用3d坐標系統和來自第一物件的另外的手勢輸入來控制電子裝置。

在基於手勢的控制系統中，定義手勢的坐標系統可能是有益的。例如，通過定義這樣的坐標系統，可以將來自不同傳感器且與相同物件相關的手勢輸入編譯成一個手勢輸入，因為坐標系統可以便於追蹤不同傳感器之間的物件。這在解釋手勢輸入時是有益的，因為有更多的數據將可用於手勢輸入。

通過與用於獲得對電子裝置的控制的手勢相結合地定義坐標系統，可以簡化設置坐標系統的過程。因此，不需要為了設定坐標系統而執行特定的手勢。

根據一些實施例，如果第一物件從對電子裝置上的控制中被釋出，並且第二物件正通過執行用於獲得控制的預定義手勢來獲得控制，則所述手勢將設置新的坐標系統。

根據一些實施例，第一物件包括兩個物件。在這種情況下，如果適用，第一預定手勢和第二預定手勢可對應於兩個物件的手勢輸入。

通過要求來自兩個物件的手勢，例如，從用戶的雙手，可降低對電子裝置的控制的獲取和釋出的風險。

根據一些實施例，第一預定手勢包括對應於來自單個物件的手勢輸入的預定手勢和對應於來自兩個物件的手勢輸入的預定手勢，並且其中第二預定手勢，如果適用的話，包括由單個物件執行的預定手勢和由兩個物件執行的預定手勢。

因為單個物件的手勢以及兩個物件的手勢皆可用於獲得對電子裝置的控制，並且，如果適用的話，可以從控制中釋出，因此可增加靈活性。例如，在一些應用領域中，用戶可能只有一隻手可以控制電子裝置，例如，如果一名醫生正在進行手術，並且他/她的其中一隻手正握著工具。

在第二方面，本發明提供一種包括計算機可讀存儲介質的電腦程式產品。計算機可讀存儲介質具有適於在由具有處理能力的裝置執行時實現根據第一方面的方法的指令。

在第三方面，本發明提供了一種用於控制電子裝置的系統，所述系統包括：控制單元，至少一個傳感器，被配置為感測來自距至少一個傳感器一定距離的物件的手勢輸入，存儲器，被配置為存儲用於獲得電子裝置的控制的第一預定手勢。電子裝置被配置為通過控制單元而被至少一個傳感器所感測的手勢輸入所控制。其中，因應至少一個傳感器感測到來自第一物件的第一手勢輸入，控制單元被配置為檢查第一手勢輸入是否對應於存儲在存儲器中的第一預定手勢，並且如果第一手勢輸入對應於第一預定手勢，則批准第一物件獲得對電子裝置的控制。

根據一些實施例，其中因應至少一個傳感器感測到來自與第一物件不同的第二物件的第二手勢輸入，只要第一物件控制著電子裝置，控制單元被配置為忽略來自第二物件的第二手勢。

根據一些實施例，其中第一物件控制著電子裝置，其中存儲器還被配置為存儲用於釋出對電子裝置的控制的第二預定手勢，其中因應傳感器感測到來自第一物件的第二手勢輸入，控制單元被配置為檢查第三手勢輸入是否對應於第二預定手勢，並且如果第三手勢輸入對應於第二預定手勢，則從對電子裝置的控制中釋出第一物件。

根據一些實施例，其中第一物件並不控制著電子裝置，其中因應傳感器感測到來自第二物件的第四手勢輸入，控制單元被配置為檢查第四手勢輸入是否對應用於獲得電子裝置的控制的第一預定手勢，以及如果第四手勢輸入對應於第一預定手勢，則批准第二物件獲得對電子裝置的控制。

根據一些實施例，其中當控制單元已經批准第一物件獲得對電子裝置的控制時，控制單元被配置為：確定第一手勢輸入在3d空間中的位置，設置3d空間中的位置為3d坐標系統中的原點，以及使用3d坐標系統和來自第一物件的另外的手勢輸入來控制電子裝置。

根據一些實施例，其中第一物件包括兩個物件，並且其中第一預定手勢和第二預定手勢，如果適用的話，對應於兩個物件的手勢輸入。

根據一些實施例，其中第一預定手勢包括對應於來自單個物件的手勢輸入的預定手勢和對應於來自兩個物件的手勢輸入的預定手勢，並且其中第二預定手勢，如果適用的話，包括由單個物件執行的預定手勢和由兩個物件執行的預定手勢。

第二和第三方面通常可以具有與第一方面相同的特徵和優點。

圖式的簡要說明

通過下面參照附圖對本發明的實施例的說明性和非限制性的詳細描述，將更好地理解本發明的上述以及其它目的、特徵和優點，其中相同的附圖標記將用於類似的組件，其中：

圖1以示例的方式描述了通過手勢來控制電子裝置的系統，

圖2a‐b以示例的方式描述了用於獲得對電子裝置的控制的雙手手勢，

圖3以示例的方式描述了用於釋出對電子裝置的控制的雙手手勢，

圖4a‐b以示例的方式描述了用於獲得對電子裝置的控制的單手手勢，

圖5以示例的方式描述了用於釋出對電子裝置的控制的單手手勢，

圖6以示例的方式描述了一種用於控制電子裝置的方法。

詳細說明

圖1描述了一種用於控制電子裝置114的系統100。圖1中的系統包括三個傳感器102、104、106，但是亦可以採用任何數量的傳感器。傳感器102、104、106可以是主動傳感器(activesensor)，例如，紅外線(ir)傳感器、超聲傳感器或雷射傳感器，或被動傳感器(passivesensor)，例如，攝像頭。根據一些實施例，當採用多個傳感器時，所述多個傳感器包括不同種類的傳感器，例如，一個攝像頭和兩個紅外線傳感器。傳感器102、104、106被配置為感測距離傳感器102、104、106一定距離的物件116、120的手勢輸入。如上所述，每個物件116、120可以包括一個或幾個子物件，例如用至少一個手部來控制電子裝置的用戶的一個或兩個手部。系統100還包括驅動器108，用於將來自傳感器102、104、106的信號轉換成具有適於讓連接於驅動器108的控制單元112識別的格式的手勢輸入信號。此種設置有益於可以使用不同類型的傳感器，例如來自不同製造商的傳感器，只要驅動器108包括能夠處理特定類型傳感器的軟體即可。控制單元112還連接到存儲器110，存儲器110可存儲控制電子裝置114所使用到的預定手勢。控制單元112因此被配置為將從驅動器108接收的手勢輸入與存儲在存儲器110的預定手勢作比較以便控制電子裝置114。換句話說，電子裝置114被配置為通過由至少一個傳感器102、104、106感測到的手勢輸入而經由控制單元112被控制。

例如，如果電子裝置114是具有要被控制的虛擬鍵盤的平板計算機，則預定手勢可以涉及鍵盤的字母和數字的輸入。具體地，存儲器110被配置為存儲用於獲得對電子裝置的控制的第一預定手勢。這樣的手勢可降低某人或某事錯誤地控制電子裝置的風險，例如，某個人在傳感器102、104、106的感測範圍內經過並且執行了存儲在存儲器110中的一個手勢。通過定義用於獲得對電子裝置的控制的特定預定手勢(即，第一預定手勢)，可減少這種對電子裝置無意控制的風險。

因此，因應於來自被至少一個傳感器對第一物件116感測的第一手勢輸入，控制單元112被配置為檢查第一手勢輸入是否對應於存儲在存儲器110中的第一預定手勢。如果手勢輸入與第一預定手勢對應(即，匹配)，則控制單元112被配置為批准第一物件116獲得對電子裝置的控制。

此處應當注意的是，驅動器108、控制單元112和存儲器110可以被要被控制的電子裝置114所實現並位於其內。所述一個或多個傳感器102、104、106也可以位於電子裝置中，例如，筆記本計算機的攝像頭。然而，至少將傳感器102、104、106遠離於要被控制的電子裝置114亦可能是有益的，這是因為手勢不需要在鄰近於電子裝置而被感測，而這增加了控制電子裝置的靈活性。此外，驅動器108、控制單元112和存儲器110可以是分離的裝置或者在連接於傳感器和要被控制的電子裝置114的單個裝置107(例如，計算機107)中實現。傳感器102、104、106和這種計算機107或單獨的驅動器裝置108之間的連接可以是無線(例如wi‐fi)或有線連接。對於控制單元112和要被控制的電子裝置114之間的連接也是如此。驅動器108和控制單元112可以以軟體實現並由一個或多個處理器執行。所述一個或多個處理器可以包括中央處理單元(centralprocessingunit，cpu)和/或圖形處理單元(graphicalprocessingunit，gpu)。存儲器110可以包括但不限於ram、rom、eeprom、快閃記憶體或其他存儲器技術、cd‐rom、數字通用磁碟(digitalversatiledisk，dvd)或其它光碟存儲器、磁帶盒、磁帶、磁碟存儲器或其它磁存儲裝置、或可用於存儲所需信息並且可由計算機訪問的任何其它介質。

根據一些實施例，當傳感器102、104、106感測到手勢時，控制單元112被配置為首先檢查所述控制是否已被指定至另一個物件(例如，第一物件116)。如果為真，則控制單元112被配置為忽略來自另一物件(例如，第二物件120)的手勢輸入，只要第一物件116具有對電子裝置114的控制即可。根據一些實施例，傳感器102、104、106可以追蹤物件及其各自的手勢。根據其他實施例，所述功能在控制單元112中實現。如上所述，控制單元112可以使用坐標系統以及來自一個或多個傳感器的手勢輸入來追蹤被一個或多個傳感器所感測的不同物件。

在存儲在存儲器110中的預定手勢中，可能存在用於釋出電子裝置114控制的第二預定手勢。在這種情況下，控制單元112被配置為檢查從控制著電子裝置114的物件(例如，第一物件116)輸入的手勢是否對應用於釋出電子裝置控制的第二預定手勢。手勢輸入對應於第二預定手勢，控制單元112被配置為從對電子裝置114的控制中釋出第一物件116。

根據一些實施例，傳感器102、104、106或驅動器108或控制單元112適於識別具有對電子裝置114的控制的物件何時不再位於控制區域內。所述控制區域可以是，例如，傳感器102、104、106的感測區域或比感測區域稍小的區域。所述控制區域可被配置並保存到存儲器110中。因此，控制單元可以從存儲器讀取控制區域且，例如，忽略從控制區域外所接收到的手勢輸入。如果具有控制的物件正在離開控制區域，則控制單元112可以適於將所述物件從所述控制中釋出。根據一些實施例，即當用於釋出控制的預定手勢不存在時，這是將物件從控制中釋出的唯一方法。

如果控制單元112已經從控制中釋出了第一物件116，則控制單元112被配置為檢查從第二物件120輸入的手勢是否對應用於獲得電子裝置114的控制的第一預定手勢。如果手勢輸入與用於獲得電子裝置的控制的預定手勢相匹配，則控制單元112被配置為批准第二物件120獲得對電子裝置的控制。

當物件116、120被批准具有對電子裝置114的控制時，來自控制中的物件的另外的手勢輸入則被用於控制電子裝置114。控制單元112可以適於使用坐標系統來解釋手勢輸入並將它們轉換成控制信號，而這些控制信號被發送到電子裝置114以控制電子裝置114。所述坐標系統可有益地基於用於獲得對電子裝置的控制的手勢輸入所確定。所述坐標系統將結合下面的圖2b和4b進一步解釋。

圖2a‐b通過示例的方式示出了用於獲得對電子裝置的控制的手勢，即結合與之前圖1所討論的存儲器中的第一預定手勢相對應的手勢。在圖2a中，示出了示例性手勢的開始位置。所述手勢由第一物件116執行，而在此示例中第一物件116對應於兩個手部204、206。所述起始位置對應於彼此抵接的兩個手部，其中第一手部204的手掌被壓靠在第二手部206的手掌。因為所述起始位置具有非常不尋常的姿勢，從而有益的降低了錯誤地執行圖2a‐b所示手勢的風險。在圖2b中，所示手勢通過在相反方向上移動兩個手部204、206而完成，使得在第一手部204和第二手部206之間形成空間。由於所述手勢對應於第一預定手勢，所以控制單元將對電子裝置的控制給予了物件116(即，兩個手部204、206)。

在兩個子物件204、206之間的空間中，示出了虛擬物件208。所述虛擬物件208可以被看作是由用於控制電子裝置的第一物件116形成的任何後續手勢的參考物件。代表坐標系統202則示出於虛擬物件208內。控制單元使用坐標系統202以解釋手勢輸入，使得控制單元將手勢輸入轉換成控制信號且發送到電子裝置114，以便如上所述地控制電子裝置114。坐標系統202可以是2d系統或3d系統。

圖3描述了用於釋出對電子裝置的控制的手勢。在本示例中，所述手勢對應於移動手部204、206，使得手部204、206的手掌對著地板。通過執行所述手勢，第一物件116被控制單元從對電子裝置的控制中釋出。

換句話說，圖2a‐b和圖3描述了一個實施例，其中第一物件116包括兩個物件204、206，並且其中第一預定手勢和第二預定手勢對應於所述兩個物件204、206的手勢輸入。

此外，如在圖2a‐b和3中可以看到的，第一預定手勢包括對應於來自兩個物件204、206的手勢輸入的預定手勢，並且第二預定手勢包括對應於來自兩個物件204、206的手勢輸入的預定手勢。

圖4a‐b通過示例的方式示出了用於獲得對電子裝置的控制的手勢，即結合與之前圖1所討論的存儲器中的第一預定手勢相對應的手勢。在圖4a中，示出了示例性手勢的開始位置。所述手勢由第一物件116執行，而在此示例中第一物件116對應於單一手部402。所述起始位置對應於手掌對著地板的手部402的姿勢。在圖4b中，所示手勢通過通過轉動手部402使得手部402的手掌向上轉動而完成。由於所述手勢對應於第一預定手勢，所以控制單元將對電子裝置的控制給予了物件116(即，手部402)。

在手部402的手掌上方的空間中，示出了虛擬物件208。所述虛擬物件可以被看作是由用於控制電子裝置的第一物件116形成的任何後續手勢的參考物件。代表坐標系統202則示出於虛擬物件208內。控制單元使用坐標系統202以解釋手勢輸入，使得控制單元將手勢輸入轉換成控制信號且發送到電子裝置，以便如上所述地控制電子裝置。

圖5描述了用於釋出對電子裝置的控制的手勢。在本示例中，所述手勢對應於轉動手部402，使得手部402的手掌對著地板。通過執行所述手勢，第一物件116被控制單元從對電子裝置的控制中釋出。

圖6通過示例的方式示出了用於利用手勢輸入來控制電子裝置的方法。此處將結合圖1所示的系統對所述方法進行說明。

所述方法開始於控制單元112接收(s402)來自物件116、120的手勢輸入。首先，判定(s404)是否有對應所收到手勢輸入的物件以外的物件在控制電子裝置。如果是，則控制單元112忽略(s405)此手勢輸入。因此，只要有其它的物件在控制電子裝置，則來自此物件的手勢輸入將被忽略。

另一方面，如果沒有其他物件在控制電子裝置，則下一步是通過控制單元判斷(s406)輸出此接收到的手勢輸入的物件116、120是否控制著電子裝置114。如果物件116、120實際上控制著電子裝置114，則控制單元112繼續將手勢輸入與預定手勢(例如，存儲在存儲器110中)作比較。如果所接收的手勢輸入對應用於釋出電子裝置114的控制的預定手勢，則控制單元112從對電子裝置114的控制中釋出(s416)物件116、120。如果所述手勢不對應用於釋出對電子裝置114的控制的預定手勢，則通過將手勢輸入與存儲在存儲器110中另外的預定手勢進行比較來解釋(可能通過使用結合圖2b和4b所描述的坐標系統)手勢輸入，然後將此手勢輸入的解釋轉換為發送到電子裝置114的控制信號，以便控制(s418)電子裝置。

然而，如果判定(s406)輸出此手勢輸入的物件116、120並未控制著電子裝置114，則下一步是由控制單元112檢查(s408)所接收到的手勢輸入是否對應於存儲在存儲器110中用於獲得電子裝置114的控制的預定手勢。如果判定接收到的手勢輸入不對應用於獲得電子裝置114的控制的預定手勢，則控制單元112忽略(s409)此手勢輸入。

然而，如果接收到的手勢輸入被判定(s408)對應用於獲得電子裝置的控制的預定手勢，則控制單元112被配置為批准(s410)物件116、120獲得對電子裝置114的控制。

最後，控制單元被配置為確定手勢輸入在3d空間中的位置，並且將在3d空間中的位置設置(s412)為步驟s418所描述的3d坐標系統中的原點。

本領域技術人員可理解的是本發明並不限於上述方法的示例性實施例中的步驟的順序。相反的，在所附權利要求的範圍內可以進行變化。例如，用以檢查另一物件是否已經取得控制的步驟s404以及用以檢查(s406)輸出手勢輸入的物件是否已經取得控制的步驟可以以不同的順序執行，以便在步驟s404之前執行步驟s406。