利用用戶控制系統檢測並減輕預測的對象碰撞的製作方法

2024-04-16 02:22:05

利用用戶控制系統檢測並減輕預測的對象碰撞
1.相關申請
2.本技術要求於2020年10月15日提交的美國臨時申請號63/092,436的權益，其通過引用併入本文。
技術領域
3.本公開總體涉及具有安裝到計算機輔助裝置的可重新定位臂的器械的裝置的操作，並且更具體地涉及確定不同計算機輔助裝置上的器械之間的配準。


背景技術：

4.用戶控制系統允許用戶控制各種類型的機構和器械的功能。例如，遠程操作控制系統可以允許用戶使用控制輸入裝置(例如，在行業中也稱為「主裝置」的領導者裝置)來控制單獨裝置(例如，在行業中也稱為「從裝置」的跟隨者裝置，諸如操縱器系統)的功能或移動。在一些示例中，遠程操作醫療系統(例如，外科手術系統)可以為用戶控制系統提供控制輸入裝置，其中控制輸入裝置的操縱允許用戶控制單獨的操縱器系統的各種類型的醫療器械以對患者執行醫療程序(例如，微創外科手術程序)。
5.在一些情況下，一個或多個控制輸入裝置可以位於用戶控制系統處，例如控制臺、操作員終端、工作站等。例如，用戶控制系統處的控制輸入裝置可以由用戶在控制輸入裝置的工作空間中物理地操縱，例如，移動一個或多個自由度以使操縱裝置的相應末端執行器與控制輸入裝置協調地移動。在一些示例中，可以控制末端執行器以相應的自由度移動，和/或執行由在控制輸入裝置處輸入的命令指示的特定功能。用戶控制系統可以為用戶提供穩定的平臺以無幹擾地操作控制輸入裝置，例如，在控制任務期間提供穩定的支撐件、顯示裝置、座椅和擱置表面。
6.用戶控制系統還可以提供物理屏障，以保護控制輸入裝置的工作空間免受同一物理環境內的人或對象在其操作中的意外或其他幹擾。然而，這樣的屏障可能無法完全防止可能與用戶控制系統碰撞的一些類型的對象。例如，人、手、移動附近的裝置、保持的對象、放置在工作空間內的對象等可能能夠繞過物理屏障和/或與用戶控制系統的部件碰撞，從而導致系統和控制輸入裝置中的意外振動或移動。在控制裝置的移動控制操縱器裝置的移動的控制任務期間，控制輸入裝置的這種意外移動通常是不期望的。
7.另外，在一些情況下，對於一些系統，諸如更小的用戶控制系統、特定長度、寬度、高度、佔地面積或與尺寸或形狀相關的其他特性的用戶控制系統的設計偏好可能是期望的。例如，在實例中，設計偏好可以是減少用戶控制系統在物理環境中的佔地面積和佔用空間，或使用戶控制系統具有對於用戶而言更符合人體工程學的特定形狀。這樣的設計偏好可以允許諸如用於其他裝置的更多空間、將用戶控制系統放置在環境內的位置的更大靈活性、改進的人體工程學等的優點。然而，這樣的設計偏好可能受到用戶控制系統的功能要求的限制，可能減少對其控制輸入裝置的保護免受人或對象的意外幹擾等。作為一個示例，可以使用或保留對控制輸入裝置的工作空間的物理屏障，但是可能導致用戶控制系統更大且
更重。


技術實現要素：

8.本技術的實施方式涉及檢測並減輕對象與用戶控制系統的潛在碰撞。在一些實施方式中，一種方法包括檢測用戶控制系統的傳感器的感測場中的對象，並且用戶控制系統包括控制輸入裝置。控制輸入裝置處於控制模式，其中控制輸入裝置的操縱激活與用戶控制系統通信的操縱器裝置的功能。該方法包括確定對象是未被識別對象，以及確定對象的第一特性，所述第一特性包括從由關於(相對於)用戶控制系統的位置、對象到用戶控制系統(例如，到用戶輸入裝置或用戶控制系統的另一部件)的距離、對象的速度、對象的速度和對象的軌跡組成的組中選擇的特性。該方法包括確定對象的第一特性是否滿足與第一特性對應的條件，並且響應於確定對象是未被識別對象並且響應於確定第一特性滿足與第一特性對應的條件而退出控制模式。例如，退出控制模式可以導致控制輸入裝置的操縱不激活操縱器裝置的一個或多個功能。
9.描述了控制輸入裝置的各種實施方式和示例。例如，在一些實施方式中，第一特性是對象相對於用戶控制系統的位置，對象的位置指示對象到用戶控制系統的距離，並且條件包括滿足到用戶控制系統的閾值距離。在一些實施方式中，到用戶控制系統的閾值距離是到控制輸入裝置的閾值距離。在一些實施方式中，到用戶控制系統的閾值距離是第一閾值距離，並且該方法還包括確定對象在用戶控制系統的大於第一閾值距離的第二閾值距離內，並且響應於對象在用戶控制系統的第二閾值距離內而導致由用戶控制系統的輸出裝置輸出警告。在一些實施方式中，閾值距離是零距離；並且確定對象的位置滿足到用戶控制系統的閾值距離包括確定對象已經與用戶控制系統碰撞。
10.在一些實施方式中，感測場覆蓋用戶控制系統的物理邊界外部的空間區域。在一些實施方式中，感測場覆蓋控制輸入裝置的工作空間。在一些實施方式中，感測場覆蓋控制輸入裝置外部的空間區域。在一些實施方式中，傳感器耦接到支撐控制輸入裝置的框架。在各種實施方式中，第一特性是對象的速度，或在一些實施方式中，第一特性是對象的軌跡。在一些實施方式中，檢測所述對象包括使用傳感器來檢測所述對象，並且所述傳感器是圖像捕獲裝置、lidar跟蹤單元、光學傳感器或超聲波傳感器中的一個。
11.在一些實施方式中，確定對象是未被識別對象包括基於指示可移動部件的空間位置的傳感器數據來確定對象不是用戶控制系統的可移動部件。例如，可移動部件可以包括第二控制輸入裝置或可移動顯示單元中的至少一個。可以從傳感器的感測場確定傳感器數據，和/或傳感器數據可以是來自耦接到機械構件的裝置傳感器的運動學信息，該機械構件耦接到控制輸入裝置。
12.在一些實施方式中，第一特性是對象的速度，與第一特性相對應的條件包括滿足閾值速度，並且退出控制模式是響應於對象是未被識別對象並且對象的速度大於閾值速度。在一些實施方式中，第一特性是對象的軌跡，確定軌跡包括檢測對象在一段時間內的多個先前空間位置，並且基於多個先前空間位置確定對象的預測軌跡，並且退出控制模式是響應於對象是未被識別對象並且控制輸入裝置與對象的預測軌跡相交。
13.在一些實施方式中，控制輸入裝置可以以一個或多個自由度移動，並且該方法還包括響應於確定對象是未被識別對象並且確定第一特性不滿足與第一特性相對應的條件，
確定相對於對象的空間邊界，並且用戶控制系統導致對控制輸入裝置朝向對象移動到空間邊界中的阻力。在一些示例中，該方法還可以包括響應於確定控制輸入裝置已經與空間邊界相交而退出控制模式。在另外的示例中，用戶控制系統通過導致由一個或多個致動器施加到控制輸入裝置的力的產生來導致對控制輸入裝置的移動的阻力。在一些示例中，空間邊界具有基於對象的速度的位置。在另一示例中，用戶控制系統輸出阻止控制輸入裝置跨空間邊界的移動的力的幅值，該幅值基於對象的速度。在另一示例中，空間邊界具有基於對象的速度的厚度，並且用戶控制系統輸出不同幅值的力以阻止控制輸入裝置跨空間邊界的厚度的移動。
14.在一些實施方式中，對象的第一特性是對象的速度，與第一特性相對應的條件包括滿足閾值速度，並且在對象的速度低於閾值速度的情況下，該方法參考對象確定空間邊界，並且阻止控制輸入裝置朝向對象移動到空間邊界中。在一些實施方式中，對象的第一特性是對象的軌跡，條件包括在滿足軌跡的閾值範圍的情況下，並且在對象的軌跡在軌跡的閾值範圍之外的情況下，該方法參考對象確定空間邊界，並且阻止控制輸入裝置朝向對象移動到空間邊界中。
15.在一些實施方式中，控制輸入裝置是機械接地的。在一些實施方式中，控制輸入裝置是非機械接地的，並且通過在控制輸入裝置和控制單元之間傳輸通信信號的繩繫到用戶控制系統的控制單元，或是不系留的，並且被配置為經由無線信號與控制單元通信。在各種示例中，控制輸入裝置包括可在一個或多個自由度上移動的手柄，和/或包括可經由與用戶的腳的接觸來操縱的腳控制項。
16.在一些實施方式中，一種方法包括檢測用戶控制系統的傳感器的感測場中的對象，用戶控制系統包括可以在一個或多個自由度上移動的控制輸入裝置。該方法包括確定對象的第一特性，第一特性包括相對於用戶控制系統的位置、速度和/或軌跡，以及確定對象的第一特性是否滿足與第一特性相對應的條件。該方法包括響應於確定第一特性滿足條件，基於對象的第一特性確定控制輸入裝置的一個或多個自由度上的觸覺空間邊界。該方法在控制輸入裝置上輸出阻止控制輸入裝置移動到觸覺空間邊界中的力。
17.描述了該方法的各種實施方式和示例。例如，在一些實施方式中，第一特性包括對象相對於控制輸入裝置的位置，對象的位置指示對象與控制輸入裝置的距離，並且與第一特性相對應的條件包括滿足到控制輸入裝置的閾值距離。在一些實施方式中，控制輸入裝置處於控制模式，在所述控制模式中，控制輸入裝置在空間中的移動激活與用戶控制系統通信的操縱器裝置的功能，並且該方法還包括確定控制輸入裝置已經移動到觸覺空間邊界中，並且作為響應，退出控制模式，例如，使得控制輸入裝置在空間中的移動不激活操縱器裝置的功能。
18.在一些實施方式中，控制輸入裝置處於控制模式，第一特性包括對象相對於控制輸入裝置的位置，對象的位置指示對象與控制輸入裝置的距離，並且該方法還包括，響應於對象在控制輸入裝置的閾值距離內，退出控制模式。響應於退出控制模式，控制輸入裝置在空間中的移動不激活操縱器裝置的功能。
19.在一些實施方式中，該方法將觸覺空間邊界放置在基於對象速度的位置。在一些實施方式中，觸覺空間邊界的厚度基於對象的速度來限定，並且輸出力以阻止控制輸入裝置跨厚度的移動，力的幅值基於控制輸入裝置跨空間邊界的厚度的位置而變化。在一些實
施方式中，對象的第一特性是對象的速度，與第一特性相對應的條件包括滿足閾值速度，並且指定觸覺空間邊界是響應於對象的速度低於閾值速度。在一些實施方式中，對象的第一特性是對象的軌跡，與第一特性相對應的條件包括滿足軌跡的閾值範圍，並且指定觸覺空間邊界是響應於對象的軌跡在軌跡的閾值範圍之外。在一些實施方式中，指定觸覺空間邊界是至少部分地響應於確定對象是未被識別對象並且第一特性滿足與第一特性相對應的條件。
20.在一些實施方式中，一種用戶控制系統包括框架、耦接到框架的控制輸入裝置、耦接到框架的傳感器系統和耦接到傳感器系統的控制單元。控制輸入裝置處於控制模式，在所述控制模式中，控制輸入裝置的操縱激活與控制輸入裝置通信的操縱器裝置的一個或多個功能。傳感器系統被配置為感測包括控制輸入裝置的工作空間的感測場。控制單元被配置為執行操作，所述操作包括當控制輸入裝置處於控制模式時檢測感測場中的對象，確定對象是未被識別對象，確定對象在控制輸入裝置的閾值距離內，以及響應於確定對象在閾值距離內，退出控制模式，使得對控制輸入裝置的操縱不激活操縱器裝置的一個或多個功能。
21.在一些實施方式中，一種用戶控制系統包括框架、耦接到框架的控制輸入裝置、耦接到框架的傳感器系統和耦接到傳感器系統的控制單元。控制輸入裝置可在一個或多個自由度上移動。傳感器系統被配置為感測包括控制輸入裝置的工作空間的感測區域。控制單元被配置為執行操作，所述操作包括檢測傳感器系統的感測場中的對象，確定對象的第一特性，第一特性包括相對於用戶控制系統的位置、速度和/或軌跡，確定對象的第一特性是否滿足與第一特性相對應的條件，以及在第一特性滿足條件的情況下指定在控制輸入裝置的一個或多個自由度上的觸覺空間邊界，該觸覺空間邊界基於第一特性。所述操作包括輸出阻止控制輸入裝置移動到觸覺空間邊界中的力。
22.在一些實施方式中，一種用戶控制系統包括用於當用戶控制系統在操縱器裝置和用於激活功能的裝置之間的控制模式下操作時基於用於激活操縱器裝置的功能的裝置的操縱而激活操縱器裝置的功能的裝置。該用戶控制系統包括用於檢測與用於激活功能的裝置相關聯的感測場中的對象的裝置、用於確定對象的第一特性的裝置，第一特性包括相對於用戶控制系統的位置、速度和/或軌跡。該用戶控制系統包括用於確定第一特性是否滿足與第一特性相對應的條件的裝置以及用於確定對象是未被識別對象的裝置。該用戶控制系統包括用於在對象是未被識別對象並且第一特性滿足與第一特性相對應的條件的情況下通過退出控制模式來防止基於用於激活操縱器裝置的功能的裝置的操縱而激活操縱器裝置的功能的裝置。
附圖說明
23.圖1是根據一些實施方式的可以與本文公開的一個或多個特徵一起使用的遠程作業系統的示例實施方式的示意圖；
24.圖2是根據一些實施方式的可以包括本文描述的一個或多個特徵的用戶控制系統的另一示例的透視圖；
25.圖3是根據一些實施方式的可以包括本文描述的一個或多個特徵的用戶控制系統的另一示例的透視圖；
26.圖4是根據一些實施方式的用戶控制系統的另一示例的透視圖；
27.圖5是根據一些實施方式的具有示例閾值區域的示例輸入機構的透視圖；
28.圖6是根據一些實施方式的示例輸入機構和示例空間邊界的透視圖；
29.圖7是根據一些實施方式的包括對象傳感器和外部閾值區域的示例用戶控制系統的正視圖；
30.圖8是根據一些實施方式的可以在本文描述的用戶控制系統中使用的控制輸入裝置的示例部分的透視圖；
31.圖9是示出根據一些實施方式的檢測並減輕對象與用戶控制系統的潛在碰撞的示例方法的流程圖；以及
32.圖10是可以在本文描述的一個或多個實施方式中使用的示例主-從系統的框圖。
具體實施方式
33.參考計算機輔助系統和裝置描述了本公開的各方面，所述計算機輔助系統和裝置可以包括遠程操作、遠程控制、自主、半自主、機器人等的系統和裝置。此外，根據使用外科手術系統(諸如由加利福尼亞州桑尼維爾的直觀外科手術操作公司商業化的da 外科手術系統)的實施方式來描述本公開的各方面。然而，本領域技術人員將理解，本文公開的發明方面可以以各種方式體現和實施，包括機器人和(如果適用的話)非機器人實施例和實施方式。da 外科手術系統的實施方式僅僅是示例性的，並且不應被認為是限制本文公開的發明方面的範圍。例如，參考手術器械和手術方法描述的技術可以在其他背景下使用。因此，本文描述的器械、系統和方法可以用於人、動物、人或動物解剖結構的部分、工業系統、通用機器人或遠程作業系統。作為進一步的示例，本文描述的器械、系統和方法可以用於非醫療目的，包括工業用途、一般機器人用途、感測或操縱非組織工件、美容改善、人類或動物解剖結構的成像、從人類或動物解剖結構收集數據、設置或拆卸系統、訓練醫療或非醫療人員等。另外的示例應用包括用於從人或動物解剖結構移除的組織上的程序(不返回到人或動物解剖結構)以及用於人或動物屍體上的程序。此外，這些技術還可以用於包括或不包括外科方面的醫學治療或診斷程序。
34.本文描述的一個或多個實施方式涉及檢測並減輕對象與用戶控制系統的潛在碰撞。在一些實施方式中，用戶控制系統包括處於控制模式的控制輸入裝置，該控制模式可操作為基於控制輸入裝置的操縱來激活操縱器裝置的功能(諸如移動)，並且這種操縱可以是控制輸入裝置在空間中的移動或控制輸入裝置的其他操作。用戶控制系統的對象感測系統使用一個或多個傳感器來檢測感測場中的對象。系統確定對象的特性，諸如相對於用戶控制系統的位置、速度和/或軌跡，並且確定特性是否滿足與特性相對應的條件，諸如對象位於距用戶控制系統的閾值距離內或在閾值速度以上移動。如果對象特性滿足條件，則退出控制模式，使得控制輸入裝置的操縱(例如，移動或其他操作)不激活操縱器裝置的功能。
35.在各種實施方式中，如果確定對象是未被識別的，例如不是用戶控制系統的部件，則可以退出控制模式。在一些實施方式中，基於對象到控制輸入裝置的距離，或基於對象到用戶控制系統的不同部件的距離，退出控制模式。在一些實施方式中，當對象軌跡被確定為在指向控制輸入裝置的軌跡的閾值範圍內或替代地指向作為單元的用戶控制系統(例如，用戶控制系統的任何部件)時，對象特性滿足包括軌跡閾值的條件。
36.在各種實施方式中，對象傳感器的感測場可以覆蓋控制輸入裝置的工作空間，和/或可以覆蓋該工作空間外部和/或用戶控制系統的物理邊界外部的空間區。一些實施方式可以基於對象的特性來確定和實施可移動控制輸入裝置的自由度上的觸覺空間邊界。例如，可以響應於確定對象特性滿足與特性相對應的條件(諸如對象的速度低於閾值速度或對象的軌跡在指向控制輸入裝置的軌跡範圍之外)來創建觸覺邊界。在一些實施方式中，用戶控制系統響應於在距用戶控制系統的不同距離(例如，更長距離)處檢測到對象而輸出警告。
37.本文描述的特徵為用戶控制系統提供了幾個優點。所描述的特徵可以檢測用戶控制系統附近的未被識別對象的存在，並且可以確定對象與用戶控制系統的潛在碰撞。例如，系統可以檢測對象是否在控制輸入裝置附近移動或位於控制輸入裝置附近。在一些示例中，系統可以確定手或其他對象何時可能與控制輸入裝置碰撞，例如在其工作空間中。在另一示例中，系統可以檢測人(例如，不同於用戶)何時可能潛在地與用戶控制系統碰撞。這樣的碰撞可能無意地操縱(例如，移動或激活)控制輸入裝置，例如，通過使用戶以無意的方式操作或激活控制輸入裝置，和/或通過由於碰撞的力經由用戶控制系統的振動或其他移動直接導致控制輸入裝置的操縱。如果控制輸入裝置處於控制模式，則這種無意操縱可能導致受控操縱器裝置的無意激活(例如，移動)或以其他方式幹擾用戶控制系統，並且因此期望避免這種碰撞。
38.此外，所描述的特徵包括響應於檢測到潛在碰撞而執行的系統動作，其可以主動地防止或減輕這種碰撞的影響並允許系統轉換到安全狀態。例如，可以退出控制輸入裝置的控制模式，以防止控制輸入裝置處的非預期運動移動相應的操縱器裝置。可以由系統輸出諸如警告的反饋，以在其發生之前潛在地避免與用戶控制系統的幹擾或碰撞。此外，一些實施方式可以使用基於3-d視覺或跟蹤的傳感器系統來準確地檢測用戶控制系統與對象碰撞的可能性。使用各種所描述的特徵，系統可以基於檢測到的用戶控制系統與未被識別對象之間的潛在碰撞來可靠且穩健地確定退出控制模式和/或執行其他功能。因此，特徵允許用戶控制系統提供控制輸入裝置的安全且穩定的操作。
39.此外，所描述的特徵在用戶控制系統的機械設計中提供了靈活性。例如，一些先前的控制輸入裝置可能已經受到物理屏障(例如，護欄和/或人體工程學支撐件的「籠」)的保護，該物理屏障降低了對象無意中接觸裝置的可能性。然而，控制輸入裝置的運動範圍可以大於屏障，使得屏障限制運動範圍。因此，通過消除控制輸入裝置周圍的屏障以擴大工作空間，能夠實現更大的運動範圍。另外，可以存在用戶控制系統的可移動部件，諸如可移動顯示單元，其可以利用更大的工作空間。通過移除物理屏障，可以在不增加用戶控制系統的尺寸的情況下實現這種擴大的工作空間。另外，物理屏障的消除可以允許控制輸入裝置的工作空間大於用戶控制系統的機械尺寸。另外，缺少物理屏障可以允許用戶控制系統被製造得更小和更輕，和/或被放置在物理環境內的對於包括這樣的屏障的更大系統可能是不切實際的位置，例如，在手術臺或其他工作部位的一側。
40.本文描述的檢測和緩解特徵可以使得能夠從用戶控制系統中去除物理屏障，並且仍然為控制輸入裝置提供保護，防止與對象的無意碰撞。此外，所描述的特徵可以包括動態工作空間，該動態工作空間例如可以使用可配置的觸覺空間邊界來重新定尺寸，以允許工作空間在特定條件下佔據儘可能多的空間。因此，所描述的特徵可以允許用戶控制系統在
不減小控制輸入裝置的工作空間的尺寸的情況下被製造得更小和更輕，並且在減少對來自與用戶控制系統移動或碰撞的對象的外部幹擾的關注的情況下被操作。
41.本文使用的術語「中心」、「平行」、「垂直」、「對準」或以度、赫茲或其他單位表示的特定測量不需要是精確的，並且可以包括典型的工程公差。本文中的一些實施方式可以涉及就其在三維空間中的狀態而言的對象。如本文所使用的，術語「位置」是指對象或對象的一部分在三維空間中的位置(例如，沿著笛卡爾x、y、z坐標的三個平移自由度)。如本文所使用的，術語「取向」是指對象或對象的一部分的旋轉放置(三個旋轉自由度-例如，圍繞笛卡爾x、y和z軸線的滾動、俯仰和偏航)。如本文所使用的，術語「姿態」是指對象或對象的一部分在至少一個平移自由度上的位置和該對象或該對象的一部分在至少一個旋轉自由度上的取向(多達總共六個自由度)。
42.如本文所提及的，機械接地的單元或裝置在大的工作環境(例如，操作區域或房間)中相對於可能的位置和取向運動是受約束的。而且，這樣的單元運動學地耦接到地面(例如，由附接到地面的控制臺、支撐件或其他對象機械地支撐)。如本文所使用的，術語「近側」是指靠近(或更靠近)機械接地的元件，並且術語「遠側」是指遠離(或更遠離)機械接地的元件。
43.本文使用的術語「工作空間」是指控制輸入裝置可以被移動或激活並且控制輸入裝置能夠控制諸如操縱器裝置的受控裝置(例如，向其提供命令)的空間體積。例如，在一些實施方式中，工作空間由控制輸入裝置的物理移動限制來限定，而在其他實施方式中，工作空間被限定在控制輸入裝置的物理限制內的更小區域中，使得控制輸入裝置在被移動到更小區域之外時不向受控裝置發送命令。在一些實施方式中，工作空間可以是控制輸入裝置可以由用戶操縱的空間區域，例如，腳踏板裝置或其他輸入裝置上方或附近的區域，在該區域中可以放置和/或移動用戶的腳或手以移動或激活裝置來命令用戶控制系統和/或與輸入裝置相關聯的遠程作業系統的功能。
44.術語「在用戶控制系統外部」或「在用戶控制系統的部件外部」在本文中是指在用戶控制系統的部件的物理邊界外部的空間區域，例如在用戶控制系統的殼體、控制輸入裝置、顯示單元、腳踏板等外部。術語「外部對象」是指源自用戶控制系統的部件外部並且不包括用戶控制系統的部件的對象。
45.術語「操縱」是指由用戶、由裝置(例如，諸如馬達的致動器)、由連接到控制輸入裝置的用戶控制系統的移動(諸如振動)或由接觸控制輸入裝置的對象對控制輸入裝置的移動、致動或其他激活。控制輸入裝置的激活可以包括感測用戶的存在(例如，用戶的手或腳)以使控制輸入裝置輸出控制命令，例如，與諸如電容或電阻感測墊的非移動控制輸入裝置一樣。可移動控制輸入裝置可以包括可以以多個自由度移動的控制輸入裝置(例如，萬向節機構上的手柄裝置、操縱杆、滑鼠、軌跡球等)，或可以以一個自由度移動的控制輸入裝置(例如，受約束的手柄裝置、踏板、按鈕、旋鈕、滑塊等)。
46.圖1是可以與本文公開的一個或多個特徵一起使用的示例遠程操作外科手術系統100的示意圖。其他類型的控制系統或主-從系統可以用於涉及所描述的特徵的其他實施方式中。遠程操作外科手術系統100包括用戶控制系統102和操縱器系統104。在本技術中，操縱器系統也稱為操縱器裝置，使得「操縱器系統104」也可以稱為「操縱器裝置104」。在各種示例中，用戶控制系統102可以包括控制臺或工作站。控制單元(圖1中未示出)可以通信地
耦接到這些部件，其示例參關於10進行描述。
47.在該示例中，用戶控制系統102包括顯示裝置106，在使用系統100的操作程序期間，在該顯示裝置106中顯示工作部位的圖像。例如，圖像可以由顯示裝置106(例如，一個或多個顯示屏、投影儀等)顯示以描繪外科手術程序期間的外科手術部位。
48.用戶控制系統102為用戶提供控制功能以控制操縱器系統104的一個或多個功能。如本文所提及的「用戶控制系統」可以包括多個部件，包括一個或多個控制輸入裝置、耦接到一個或多個控制輸入裝置的機械臂、一個或多個顯示裝置或顯示單元、用於用戶控制系統的其他部件的支撐件和/或封閉用戶控制系統的一個或多個部件的殼體。例如，用戶控制系統102的用戶112可以抓握一個或多個手控輸入裝置。關於圖2-8描述了控制輸入裝置的一些示例。例如，可以在用戶的每隻手中抓握相應控制輸入裝置的手柄。當使用用戶控制系統102時，用戶112可以坐在用戶控制系統102前面的椅子上，將用戶的頭部/眼睛定位在顯示裝置前面，並且抓握控制輸入裝置，每隻手一個，同時將前臂擱置在人體工程學支撐件110上。在一些用戶控制系統中，用戶可以在操作控制系統時站立。
49.這些控制輸入裝置定位在工作空間114中，該工作空間114向內設置在支撐件110之外。控制輸入裝置可以在工作空間114內以一個或多個自由度移動。在該示例中，工作空間114在頂部由顯示裝置106的殼體118限定，在後面由豎直支撐件(未示出)限定，並且在左側和右側由壁116限定。這種物理屏障防止來自外部對象(源自用戶控制系統外部的對象)或從頂部或側面進入工作空間的其他人的物理幹擾。工作空間114的前部可以參考人體工程學支撐件110進一步限定，人體工程學支撐件110可以提供對來自工作空間114前部的幹擾的另一屏障，其中用戶伸入工作空間。
50.用戶控制系統102可以包括對象感測系統，該對象感測系統包括本公開的一個或多個對象傳感器，其可以感測傳感器的感測區域內的對象。感測區域可以包括工作空間114的至少一部分，和/或工作空間114外部和用戶控制系統102的物理邊界(例如，殼體108和其他部件)外部的區域。對象感測系統可以確定感測到的對象是否可能與用戶對象系統碰撞，例如，與用戶控制系統102的控制輸入裝置和/或其他部件碰撞。對象傳感器的一個示例包括傳感器105，其定位在用戶控制系統102的豎直支撐件117上靠近腳控制項119並且具有向上指向以覆蓋工作空間114的感測場。在其他示例中，對象傳感器可以定位在殼體108上的各種位置中的任何一個，例如，在其他位置處，以將感測場引導到工作空間114中，諸如在壁116的內側上、在支撐件110上等。殼體108可以包括外壁116、豎直支撐件117、顯示裝置106的殼體118等中的一個或多個。下面參考圖2-4和7描述對象傳感器的一些其他示例位置，其可以在用戶控制系統102中使用。
51.用戶控制系統102的一些實施方式可以包括一個或多個其他類型的控制輸入裝置。在該示例中，腳控制項119可以是位於工作空間114中的手控輸入裝置下方的控制輸入裝置。在一些示例中，腳控制項119可以由用戶的腳接觸、壓下、滑動和/或以其他方式操縱，以在用戶坐在用戶控制系統102處時向遠程作業系統輸入各種命令。在一些示例中，可以通過與腳接觸來操縱(例如，通過例如感測用戶的腳來移動或激活)的腳控制項(諸如腳控制項119)可以具有作為腳控制項上方的空間區域的工作空間，腳和/或腿被放置在該空間區域中以激活腳控制項。在一些實施方式中，一個或多個腳控制項119可以以一個或多個自由度移動，例如，腳踏板可以向前、向後、向左和/或向右、向上和/或向下等平移，並且這種腳控制項可以具有由
其自由度限定的工作空間，類似於本文描述的手控輸入裝置。腳控輸入裝置可能受到對象與用戶控制系統的碰撞的影響，類似於本文描述的其他控制輸入裝置。例如，用戶112、用戶控制系統102的振動或對象本身對腳控制項119的無意操縱可能由於這樣的碰撞而發生。
52.其他類型的控制輸入裝置也可以或替代地包括在用戶控制系統102(以及本文中的任何用戶控制系統)中。例如，按鈕、撥盤、操縱杆、電容式或電阻式感測墊、滑塊、滑鼠、軌跡球和其他類型的控制項可以位於用戶控制系統102的框架、顯示器或其他部件上，在用戶的手的觸及範圍內並且由用戶的手操縱。這樣的控制輸入裝置可以包括與上述類似的工作空間，並且可以受到對象與用戶控制系統102的碰撞的影響，如本文描述的其他控制輸入裝置。例如，由用戶112、由用戶控制系統的振動或由對象本身對按鈕或刻度盤的無意操縱可能由於這樣的碰撞而發生。
53.操縱器系統104也包括在遠程作業系統100中。例如，操縱器系統104可以是操縱器從裝置，或可以替代地是不同類型的從裝置或其他受控裝置。在如圖所示的一些實施方式中，在外科手術程序期間，操縱器系統104能夠被定位成靠近參考布置在手術臺130上的患者或模型定位的外科手術部位(或其他類型的工作部位)，並且操縱器系統104可以保持靜止，直到特定的程序或程序階段完成。其他操縱器系統可以相對於工作部位移動。
54.操縱器系統104可以包括一個或多個操縱器裝置，所述操縱器裝置可以包括臂組件120。在一些示例中，臂組件120可以包括彼此可旋轉地耦接的多個連杆。臂組件的部分可以用馬達致動並且圍繞旋轉軸線被感測。在一些示例中，臂組件120中的一個或多個可以被配置為保持操縱器裝置，諸如圖像捕獲裝置，例如內窺鏡122，其可以提供手術部位的一部分的捕獲圖像。在一些實施方式中，所捕獲的圖像能夠被發送到用戶控制系統102的顯示裝置106和/或被發送到一個或多個其他顯示器，例如，耦接到操縱器系統104的顯示器124。
55.在一些示例中，其他臂組件120中的每一個可以包括操縱器裝置，諸如外科手術工具126。每個外科手術工具126可以包括例如用於治療患者的組織的外科手術末端執行器。可以為末端執行器提供由例如相關聯的臂組件的連杆構件的旋轉、末端執行器機構的線性運動等提供的自由度。臂組件中的部件可以用作力傳遞機構，以接收遠程操作的伺服致動力並重定向所接收的力以操作末端執行器的部件。末端執行器可以包括一個或多個馬達或其他致動器，其操作末端執行器的相關特徵，諸如末端執行器的俯仰、偏航和/或滾動運動，打開鉗口或移動末端執行器的葉片，通過連接管輸送的材料(例如，液體或其他流體)的輸出，抽吸力和/或多個其他末端執行器輸出功能中的任何一個。末端執行器機構可以包括柔性元件、鉸接「蛇形」臂、可轉向引導管、導管、解剖刀或切割刀片、電外科元件(例如，單極或雙極電氣器械)、諧波切割器、剪刀、鑷子、牽開器、擴張器、夾具、燒灼工具、針、針驅動器、縫合器、鑽頭、探針、觀測器、光源、引導件、測量裝置、血管密封器、腹腔鏡工具或其他尖端、機構或裝置。外科手術操縱器臂的一個示例是加利福尼亞州桑尼維爾的直觀外科手術操作公司商業化的外科手術系統中的da外科手術系統器械操縱器臂。
56.在該示例中，響應於用戶112對用戶控制系統102處的相應控制輸入裝置的操縱，可以導致臂組件120移動並鉸接外科手術工具126。這種布置允許用戶112例如通過微創外科手術孔在內部外科手術部位處引導外科手術程序。例如，耦接到臂組合件120的一個或多個致動器可輸出力以致使臂組合件的連杆或其他部分響應於從用戶控制系統102接收的控制信號而以特定自由度移動。例如，臂和末端執行器在一個或多個自由度上的移動可以對
應於用戶在相關聯的控制輸入裝置手柄的一個或多個自由度上的移動。用戶控制系統102可以在具有操縱器系統104(和其他裝備，例如，顯示推車)的物理環境(例如，手術室)內使用，或可以被定位成更遠離操縱器系統104，例如，在與操縱器系統不同的位置處。
57.在一些實施方式中，每個控制輸入裝置可以控制操縱器裝置的功能，諸如操縱器系統104的相關臂組件120。例如，控制輸入裝置在空間中的移動激活與用戶控制系統通信的操縱器裝置的一個或多個功能。操縱器裝置的受控功能可以包括操縱器裝置的移動。在一些示例中，控制輸入裝置具有與操縱器系統104的器械相同的自由度，以向用戶提供遠程呈現，例如，控制輸入裝置與器械成一體的感知，使得操作者具有直接移動器械的強烈感覺，就好像存在於工作位置處一樣。
58.遠程作業系統100的一些實施方式可以提供不同的操作模式。在一些示例中，在遠程作業系統100的非控制模式(例如，安全模式)中，操縱器系統104的受控運動和/或其他功能在斷開配置中與用戶控制系統102的控制輸入裝置斷開，使得控制輸入裝置的移動和/或其他操縱不會導致操縱器系統104的運動。在遠程作業系統的控制模式(例如，跟隨模式，其中一個或多個操縱器裝置跟隨對應的控制輸入裝置)中，操縱器系統104的其他功能的運動或激活可以由用戶控制系統102的控制輸入裝置控制，使得例如，在外科手術程序期間，控制輸入裝置的移動和/或其他操縱導致操縱器系統104的其他功能的運動或激活。在一些示例中，在控制模式中，可以移動和/或激活一個或多個手控輸入裝置以導致對應操縱器裝置的對應運動。在另外的示例中，一個或多個腳控制項119可以使用與針對手控輸入裝置所描述的類似的控制模式和非控制模式。例如，腳控制項可以由用戶112激活，以在控制模式下向操縱器系統104的一個或多個操縱器裝置提供命令。在一些示例中，腳控制器在一定自由度上的移動可以導致操縱器裝置的相應移動。在另外的示例中，腳控制項可以被操縱(例如，經由腳的存在而移動或激活)以提供命令，諸如從操縱器裝置輸出流體的衝洗、從操縱器裝置輸出能量、通過操縱器裝置處的圖像捕獲裝置捕獲圖像等。用戶控制系統102的其他類型的控制輸入裝置可以類似地與控制模式和/或非控制模式一起使用。
59.一些實施方式可以是或包括遠程操作醫療系統，諸如加利福尼亞州桑尼維爾的直觀外科手術操作公司商業化的da外科手術系統(例如，作為da vinci或da vinci外科手術系統銷售的is3000或is4000型)。然而，本文公開的特徵可以以各種方式實施，包括在實施方式中至少部分由計算機控制、經由電子控制信號控制、通過直接物理操縱而手動控制等。da 外科手術系統上的實施方式僅僅是示例性的，並不應被認為是限制本文公開的特徵的範圍。例如，不同類型的遠程作業系統在工作部位處具有從裝置可以利用本文描述的致動受控特徵。其他非遠程作業系統也可以使用一個或多個所描述的特徵，例如各種類型的控制系統和裝置、外圍設備等。
60.例如，在各種實施方式中，除了外科手術系統之外，其他類型的計算機輔助遠程作業系統可以與本文描述的一個或多個特徵一起使用。這種遠程作業系統可以包括各種形式的受控操縱器或從裝置。例如，潛水器、危險材料或裝置處理單元、工業應用、惡劣環境和工作部位中的應用(例如，由於天氣、溫度、壓力、輻射或其他條件)、一般機器人應用和/或遠程控制應用(例如，具有第一人稱視角的遠程控制車輛或裝置)可以利用遠程作業系統，該遠程作業系統包括用於感覺傳輸(傳達的視覺、聽覺等體驗)、操縱工件或其他物理任務等的從裝置，並且可以使用機械接地和/或不接地的控制輸入裝置來遠程控制從裝置。任何這
樣的遠程作業系統可以與本文描述的各種特徵一起使用。
61.在一些實施方式中，受控操縱器裝置可以是裝置的虛擬表示，例如，在由耦接到遠程作業系統100的計算裝置提供的圖形模擬中呈現。例如，用戶可以操縱用戶控制系統102的控制輸入裝置以控制模擬的虛擬空間中的末端執行器的顯示表示，類似地，好像末端執行器是耦接到物理操縱器裝置的物理對象。
62.圖2是根據一些實施方式的另一示例用戶控制系統200的透視圖。用戶控制系統200可以類似於上面針對圖1描述的用戶控制系統102。
63.用戶控制系統200包括顯示單元203中的顯示裝置202，通過該顯示裝置202，在使用用戶控制系統200和遠程作業系統的其他部件(例如，操縱器系統104)的程序期間，可以顯示描繪工作位置的數字圖像。在一些實施方式中，顯示裝置202可以包括兩個視口205，使得顯示裝置被提供在視口後面或被包括在視口中，或可以提供一個或多個顯示屏或其他顯示裝置來代替視口205。顯示單元203還可以顯示代替工作部位的視圖或除了工作部位的視圖之外的其他信息，諸如允許選擇命令和功能、狀態信息、警報和警告、通知等的圖形用戶界面。這樣的信息可以與工作部位的視圖組合(例如，疊加在其上)顯示，或在沒有工作部位視圖的情況下顯示。
64.顯示單元203可以包括顯示裝置202位於其中的觀察凹部204。當使用用戶控制系統200時，用戶216可以將用戶的頭部定位在凹部204內，使得用戶的眼睛位於顯示裝置202的前方，以觀察由顯示裝置202顯示的圖像。
65.在一些實施方式中，一個或多個用戶存在傳感器206可以定位在用戶控制系統200的一個或多個位置處，以檢測位於用戶控制系統200旁邊或附近的用戶的存在。在該示例中，用戶存在傳感器206可以感測用戶的頭部在凹部204內的存在。例如，電磁傳感器(例如，光學傳感器)可以用於存在傳感器。例如，光學傳感器可以包括發射器和檢測器。發射器從與用戶存在傳感器206相關聯的凹部的一側發射紅外或其他波長的光束，並且檢測器在凹部的另一側上檢測光束。如果光束被檢測器檢測中斷，例如，由於用戶的頭部阻擋光束，則系統確定用戶的頭部在凹部內並且用戶處於使用用戶控制系統200的控制輸入裝置的適當位置。在各種實施方式中，可以使用附加或替代類型的存在傳感器，例如，如本文描述的其他對象傳感器可以用於用戶存在檢測。
66.提供用於用戶操縱的一個或多個手控輸入裝置210。在一些實施方式中，每個控制輸入裝置210可以被配置為控制操縱器系統104的相關聯的操縱器裝置的功能。例如，控制輸入裝置210可以以多個自由度移動，以使操縱器系統104的相應末端執行器以相應的自由度移動。在一些實施方式中，控制輸入裝置是可以在所有六個笛卡爾自由度上移動的手動輸入裝置。在一些實施方式中，控制輸入裝置210可以可旋轉地耦接到相應機械臂211的相應端部，該相應機械臂211包括機械聯動裝置方式的兩個或更多個連杆，如關於圖3和4更詳細地描述的。
67.控制輸入裝置210可以在控制輸入裝置210的工作空間212中移動，該工作空間212向內限定在支撐件214之外。在一些示例中，支撐件214是水平梁，其平行於用戶控制系統200的前側延伸並且位於控制輸入裝置210的前面，例如，比控制輸入裝置210更靠近用戶216。用戶216可以在抓握控制輸入裝置210的同時將前臂擱置在支撐件214上。例如，如果提供兩個控制輸入裝置，則每隻手中可以握持一個控制輸入裝置。用戶還將他或她的頭部定
位在觀察凹部204內，以在操縱控制輸入裝置210的同時觀察顯示裝置202。下面描述可以用作控制輸入裝置210的裝置的部分的各種示例。
68.在一些實施方式中，工作空間212可以被護欄218部分地包圍。在一些示例中，相應的護欄218可以定位在用戶控制系統200的左側和右側上，並且每個護欄218從用戶控制系統200的前部大致水平地延伸到後部。在所示的示例中，每個護欄218在用戶控制系統200的前部處連接到支撐件214並且連接到豎直支撐件219。
69.在一些實施方式中，工作空間212可以被限定為支撐件214、護欄218和用戶控制系統200的後豎直平面之間的空間。後豎直平面例如可以是用戶控制系統200的後側或由工作空間212後面的顯示裝置202的豎直支撐件219限定的平面。在一些實施方式中，由支撐件214和護欄218限定的工作空間212可以是比控制輸入裝置210可以到達的整個物理工作空間更小的空間。
70.顯示單元203和控制輸入裝置210可以由包括下支撐基部224和豎直支撐件219的框架支撐。護欄218和支撐件214也可以耦接到框架並由框架支撐。
71.在用戶控制系統200的一些實施方式中，一個或多個腳控輸入裝置230可以位於手控輸入裝置210下方，並且可以由用戶216操縱。例如，這種腳控制項可以類似於圖1的腳控制項119，例如，可以包括踏板、按鈕、滑板或其他元件。在一些實施方式中，類似於手控輸入裝置210的護欄218，腳屏障232可以圍繞腳控輸入裝置230的一側或多側放置，以保護腳控輸入裝置230免受外部對象的幹擾。例如，另一個人、推車或其他對象可能移動到指示它可能與正在操縱腳控輸入裝置230的用戶216的腿碰撞的位置。在一些實施方式中，腳控輸入裝置230的工作空間可以是由腳屏障232的內側表面限定的區域。在其他實施方式中，可以從用戶控制系統200中省略腳屏障232，從而允許具有更小佔地面積的更緊湊的用戶控制系統200，並且本文描述的物體檢測特徵可以用於確定腳控制輸入裝置230是否應當被禁用(例如，從控制模式中移除)，例如，如果如本文中的各種實施方式中所描述的那樣檢測到與未識別物體的碰撞。其他類型的控制輸入裝置也可以或替代地包括在用戶控制系統200中，類似於上面描述的。
72.用戶控制系統200可以包括對象感測系統，該對象感測系統包括本公開的一個或多個對象傳感器。每個對象傳感器可以感測空間中的感測場內的對象的存在。在一些實施方式中，感測場可以包括多個個體感測場。在一些示例中，每個個體感測場可以由多個對象傳感器中的對應對象傳感器提供。在一些示例中，感測場可以覆蓋工作空間212的至少一部分和/或工作空間212外部(例如，在用戶控制系統200的部件外部)的空間的一個或多個區域。
73.對象傳感器可以感測各種不同類型的對象。可以感測移動對象和靜態對象兩者。例如，手在進入感測場時可能正在移動，並且如果擱置在表面上則可能是靜止的。諸如蜂窩電話、杯子、可攜式醫療裝置或各種裝置的其他對象可以由人移動到感測場中和/或如果放置在感測場內則可以是靜態的。對象可以包括通過用戶控制系統行走的人，和/或推車、裝置或在用戶控制系統附近滾動或移動的其他大對象。
74.對象傳感器的一個示例包括工作區傳感器222。在一些示例中，工作空間傳感器222可以位於控制輸入裝置210的工作空間212下方的用戶控制系統200的下支撐基部224上。在另外的示例中，工作空間傳感器222也可以或替代地位於工作空間212上方，例如，在
顯示單元203的殼體226的底表面上。工作空間傳感器222可以感測被識別對象和未被識別對象(諸如控制輸入裝置210和/或用戶控制系統的其他可移動部件(例如，可移動顯示單元))在覆蓋工作空間212的感測場中的移動和/或位置。響應於檢測到對象，對象傳感器生成一個或多個信號，該一個或多個信號被發送到用戶控制系統200的控制單元(例如，如針對圖10所描述的)。例如，在一些實施方式中，信號可以包括一個或多個參數，例如，指示對象的檢測的一個或多個值、對象相對於用戶控制系統200的部件的位置、對象與對象傳感器(或其他參考位置)之間的可變距離、對象的速度、對象的軌跡和/或對象的其他特性。
75.對象感測系統還可以或替代地包括位於用戶控制系統200的其他位置處的對象傳感器。例如，對象傳感器234可以位於腳屏障232和/或下支撐基部224上，並且可以感測被識別對象和未被識別對象在覆蓋腳控制輸入裝置230的工作空間(例如，水平地在腳屏障232之間並且豎直地在地板和護欄218之間的空間區域)的感測場中的移動和/或位置。對象傳感器可以類似地定位成提供覆蓋用戶控制系統200的其他控制輸入裝置(例如，按鈕、撥盤等)的工作空間的感測場。
76.一些對象傳感器可以是可以感測位於工作空間212外部和用戶控制系統200的部件外部的對象的外部傳感器223。例如，外部傳感器223的感測場可以覆蓋至少部分地在工作空間212、護欄218、顯示單元203的殼體226和下支撐基部224外部的區域，並且該區域不包括用戶216。這樣的外部傳感器可以位於用戶控制系統200的各種位置中的任何位置處，諸如在如圖所示的顯示單元203的殼體226的一側或多側、如圖所示的護欄218和/或支撐件214的側、如圖所示的下支撐基部224的一側或多側、腳控制項、豎直支撐件219的後側等。下面參考圖3、4和7描述可以在用戶控制系統200中使用的外部傳感器的一些其他示例位置。在一些實施方式中，一個或多個工作空間傳感器還可以作為外部傳感器操作，例如，具有覆蓋工作空間區域和用戶控制系統200外部的區域兩者的感測場。
77.在一些實施方式中，外部傳感器可以安裝在與用戶控制系統200分離的支撐件上，例如安裝在用戶控制系統200的物理環境中的牆壁、天花板、推車或其他結構上。
78.對象傳感器222和223可以是各種類型的傳感器中的任何一種。下面關於圖3的用戶控制系統300描述可以用於用戶控制系統200的一些示例。圖2的任何對象傳感器可以在本文描述的用戶控制系統的其他實施方式中使用。
79.用戶控制系統200(和本文描述的其他用戶控制系統)的一些實施方式可以包括一個或多個非機械接地的控制輸入裝置，其在空間中自由移動並且與地面斷開。如本文所使用的，非機械接地的控制輸入裝置是指相對於工作空間中的位置和取向運動不受約束的控制輸入裝置，並且其與地面運動學地分開，例如，不由用戶控制系統機械地支撐(例如，支撐件或接觸地面的其他對象)。可以使用包括在控制輸入裝置中的傳感器在其工作空間中感測未接地的控制輸入裝置的位置和運動和/或位於控制輸入裝置外部的傳感器。非機械接地的控制裝置可以與一個或多個相關聯的部件(諸如控制處理器、數據源、傳感器、電源等)系留或不系留連接。
80.在非機械接地的控制輸入裝置的一些示例中，用戶控制系統可以包括與顯示單元203或本文描述的其他顯示單元類似的顯示單元，用戶通過該顯示單元觀察圖像，同時抓握未接地的控制輸入裝置並在用戶周圍的工作空間中自由移動它們。此類實施方式可以包括與本文中針對具有機械接地的控制輸入系統的系統所描述的對象感測系統類似的對象感
測系統。例如，對象傳感器可以定位在顯示單元和保持顯示單元的框架上，例如，在顯示單元的殼體的側面和底表面上，在豎直支撐件和基部支撐件的前面和/或側面上等。
81.圖3是根據一些實施方式的用戶控制系統300的另一示例的透視圖。除非另有說明，否則用戶控制系統300的部件可以類似於圖1的用戶控制系統102和圖2的用戶控制系統200的部件。用戶控制系統300可以包括定位在觀察凹部304內的顯示裝置302，類似於圖2中所示。
82.提供用於用戶操縱的一個或多個控制輸入裝置310，包括用於用戶左手的控制輸入裝置310a和用於用戶右手的控制輸入裝置310b。在一些實施方式中，控制輸入裝置是可以在所有六個笛卡爾自由度上移動的手動輸入裝置。控制輸入裝置310可以包括機械連杆，以向由用戶抓握的控制輸入裝置的手柄提供自由度。例如，萬向節機構312a或312b可以連接到控制輸入裝置310a或310b的手柄314a或314b，以向手柄提供多個自由度。
83.在一些實施方式中，如圖所示，控制輸入裝置310a和310b可以可旋轉地耦接到相應機械臂316a和316b的相應端部，所述機械臂316a和316b包括機械聯動裝置方式的兩個或更多個連杆。機械臂316a可以耦接到用戶控制系統300的框架，並且該框架包括豎直支撐件320和基部支撐件336並支撐容納顯示裝置302的顯示單元318。機械臂316a可以包括連杆之間的旋轉耦接件，以允許額外的自由度來控制輸入裝置310a。裝置傳感器可以耦接到機械臂316以感測連杆的旋轉，諸如光學編碼器或其他類型的傳感器。在一些實施方式中，一個或多個致動器322a耦接到機械臂316a以在機械臂316a的連杆上輸出力。例如，這種致動器322a可以包括在機械臂上產生力的主動致動器(例如，馬達)、在機械臂上提供摩擦力的被動致動器(例如，制動器)。機械臂316a和/或控制輸入裝置310a還可以包括機械力傳遞系統以傳遞致動器力，例如，諸如齒輪、絞盤機構等的齒輪機構。機械臂316b可以包括致動器322b和機械臂316a的其他類似特徵。在一些實施方式中，可以使用平衡機構(例如，包括彈簧)來在控制輸入裝置上提供抵抗重力的力，而不必使用來自致動器的主動力用於進行平衡。在一些實施方式中，機械臂316a和/或316b可以在不施加致動器或主動力的情況下使用，例如，可以僅在具有來自平衡機構的平衡力的情況下使用。下面描述可以用作控制輸入裝置310的裝置的一些示例。
84.在一些實施方式中，每個控制輸入裝置310可以被配置為控制操縱器裝置的功能，例如操縱器系統104的功能。例如，控制輸入裝置310可以以多個自由度移動，以使操縱器系統104的對應末端執行器以對應的自由度移動。例如，用戶可以在每隻手中抓握控制輸入裝置310a或310b。
85.控制輸入裝置310定位在工作空間326中並且可以在工作空間326中移動。在一些實施方式中，工作空間326可以指示手柄314的運動範圍。用戶控制系統300的該示例被示出為具有工作空間326，該工作空間326不具有物理屏障，諸如壁(例如，圖1的壁116)、護欄(例如，圖2的護欄218)和物理地保護工作空間326的人體工程學支撐件(例如，圖2的支撐件214)。可以替代地從本公開的特徵(包括在用戶控制裝置或工作空間周圍創建的對象傳感器和力邊界)提供對碰撞的保護，如下所述。物理屏障的移除可以允許控制輸入裝置310具有更大的運動範圍而不受這樣的屏障的約束。屏障的移除可以允許在不減小工作空間326的尺寸的情況下減小用戶控制系統300的尺寸，從而允許更緊湊的用戶控制系統300。在一些實施方式中，人體工程學支撐件(諸如圖2的支撐件214)的移除可以允許用戶坐得更靠近
工作空間326並控制輸入裝置310。在一些實施方式中，為了用戶方便，扶手可以被提供在不同的位置中，例如，在用戶操作用戶控制系統300時坐在的椅子上。
86.包括一個或多個對象傳感器的對象感測系統包括在用戶控制系統300中，類似於上面描述的。對象傳感器可以檢測其感測場中的對象。一些對象傳感器可以對檢測信號執行處理，並將處理後的信號提供給耦接到用戶控制系統的控制單元(例如，可以包括處理器的控制電路，如圖10中)。在一些實施方式中，對象感測系統可以檢測對象隨時間的位置並確定對象相對於參考位置的方向，和/或確定對象的速度，並將描述檢測、方向和/或速度的參數或值發送到控制單元。
87.類似於上面針對圖2所描述的，對象傳感器可以包括一個或多個工作區傳感器330、332和/或334。工作空間傳感器330、332和/或334具有覆蓋工作空間326的至少一部分的感測範圍。在一些示例中，工作空間傳感器330、332和334可以感測被識別對象(諸如控制輸入裝置310和/或用戶控制系統的其他可移動部件(例如，可移動顯示單元))的位置和/或移動，並且可以感測工作空間326中的未被識別對象的入侵。在該示例中，工作空間傳感器330位於基部支撐件336上，並且可以向上指向工作空間326。工作空間傳感器332位於豎直支撐件320上，並且可以側向指向工作空間326。工作空間傳感器334位於顯示單元318的底表面上，並且可以向下指向工作空間326。可以在各種實施方式中使用這些工作空間傳感器330、332、334中的任何一個或多個，和/或可以使用用戶控制系統的其他位置中的工作空間傳感器。
88.在一個示例中，在圖3中示出了三個工作空間傳感器330的感測場，並且傳感器330a具有感測場338a，傳感器330b具有感測場338b，並且傳感器330c具有感測場338c(統稱為感測場338)。每個感測場338感測包括控制輸入裝置310的工作空間326的一部分的不同區域。感測場338a、338b和338c可以組合以覆蓋覆蓋整個工作空間326的區域。例如，來自提供感測場338a、338b和338c的傳感器的輸入可以被輸入到控制單元，該控制單元可以組合信號以獲得單個感測區域。感測場338a、338b和338c可與其他傳感器的一個或多個其他感測場338重疊。在一些實施方式中，這種重疊允許兩個或更多個工作空間傳感器330檢測工作空間中的特定區域中的對象，從而為更魯棒的對象檢測提供冗餘。在其他實施方式中，可以使用例如具有覆蓋整個工作空間326的感測場的單個工作空間傳感器330。在一些實施方式中，還可以使用一個或多個其他工作空間傳感器(例如，傳感器332、334等)，並且其感測場與工作空間傳感器330的感測場組合以用於更魯棒/穩健(robust)的對象檢測。
89.在一些實施方式中，用戶控制系統300包括可以由用戶操縱的腳輸入裝置340，類似於上面描述的腳控制項119和腳控制輸入裝置230。例如，對象傳感器342可以位於腳屏障344和/或基部支撐件336上，將其感測場引導到例如由腳屏障344、地板、控制輸入裝置310下方的高度限定(例如，在一些實施方式中與工作空間326重疊)的腳輸入控制項340的工作空間。對象傳感器342可以檢測其感測場中的對象，類似於工作空間傳感器330。其他類型的控制輸入裝置也可以或替代地包括在用戶控制系統300中，並且(一個或多個)對象傳感器可以用於提供覆蓋類似於如上所述的此類裝置的工作空間的感測場。
90.用戶控制系統300還可以或替代地包括對象傳感器，對於用戶控制系統300類似地，該對象傳感器是外部傳感器350。例如，外部傳感器350可以位於用戶控制系統300的任一側上，例如，在基部支撐件336上、在顯示單元318的殼體上、在用戶控制系統300的背部上
(對於本文描述的任何實施方式)、在腳控制項附近等。下面參考圖4和7描述外部傳感器和外部傳感器的感測場的一些附加示例。在一些實施方式中，一個或多個工作空間傳感器還可以作為外部傳感器操作，例如，具有覆蓋工作空間區域以及工作空間外部和用戶控制系統300外部的區域兩者的感測場。
91.對象傳感器(例如，工作空間傳感器330、332和334和/或外部傳感器350)可以是各種類型的傳感器中的任何一種，以在覆蓋空間區域的感測場中提供對象檢測，所述空間區域可以包括工作空間326的至少一部分和/或用戶控制系統外部的一個或多個區域的至少一部分。
92.在一些實施方式中，對象傳感器可以提供基於視覺的跟蹤系統，該基於視覺的跟蹤系統提供三維(3-d)數據和對空間區域中的對象的跟蹤。各種類型的圖像捕獲裝置可以用作對象傳感器以捕獲裝置的感測場中的場景的數字圖像。例如，對象傳感器可以包括立體圖像捕獲裝置和/或結構光圖像捕獲裝置。
93.在一些示例中，立體圖像捕獲系統和/或結構光圖像捕獲系統可以使用多個圖像捕獲裝置(例如，相機)來捕獲感測區域的場景並創建該區域的3-d表示。可以在3-d表示中檢測對象並確定其位置。可以在隨時間捕獲和存儲的區域的多個圖像上確定對象的速度和軌跡。在一些實施方式中，不創建3-d表示，並且在區域的二維(2-d)捕獲圖像中檢測對象。例如，可以相對於圖像邊界或圖像中描繪的其他已知對象(例如，用戶控制系統的部件)來確定對象在感測場內的位置。
94.在一些實施方式中，對象識別技術可以用於從由圖像捕獲裝置捕獲的圖像的像素確定所識別的對象類型。例如，機器學習技術(例如，用特定類型的對象的圖像訓練的機器學習算法)可以用於識別圖像中的那些對象類型。在一些示例中，諸如手或其他身體部分的對象、諸如蜂窩電話、鋼筆和鉛筆的可攜式裝置、飲水杯、醫療裝置、推車或其他類型的對象可以被識別為圖像中的檢測到的對象。在一些實施方式中，系統可以利用類似的技術被訓練為將人識別為對象，例如，將人的面部識別為一般類型的對象，和/或基於面部特徵(例如，眼睛、鼻子、嘴等)將人的面部識別為特定人的面部。在一些示例中，用戶控制系統的一個或多個指定用戶的面部可以被存儲為識別的模式，或用於訓練系統以識別這些面部。如果在感測場中檢測到指定用戶的面部，則面部可以被認為是被識別對象，和/或提供更低的警報水平。不屬於指定用戶的檢測到的面部可以被認為是未被識別對象。在一些實施方式中，如果人被識別為指定用戶，則該用戶的其他身體部分(例如，手臂、手和腳)也被認為是被識別對象。例如，當指定用戶操作用戶控制系統時，可以識別並跟蹤所識別的指定用戶的兩個手臂、手、腿和腳。用戶控制系統附近的其他人(包括其身體部分)仍然被認為是未被識別對象。
95.在一些實施方式中，可以使用lidar(3-d雷射掃描)傳感器，其包括用雷射照射感測場的發射器和測量來自場中對象的反射的傳感器。雷射返回時間和波長的差異可以用於製作感測場的數字3-d表示。lidar可以使用從對象反射的光脈衝回波的飛行時間來測量到對象的距離，並且可以使用脈衝之間的時間差來測量對象的速度。
96.在一些實施方式中，可以使用電磁傳感器(例如，包括紅外傳感器的光學傳感器等)，其能夠檢測電磁輻射的各種波長範圍中的任何波長，包括可見光、紅外光等。在一些示例中，電磁傳感器包括在感測場中發射電磁信號的發射器，以及檢測從感測場中的對象反
射的電磁信號(或其一部分)的檢測器。例如，電磁傳感器可以檢測電磁輻射的反射束的幅值以確定反射束的表面到傳感器的距離(例如，幅值越大，到對象的距離越小)，並基於距離確定對象在感測場中的位置。在另一示例中，光學飛行時間傳感器可以通過基於電磁信號的發射與電磁信號在被對象反射之後返回到傳感器之間的測量時間差來測量對象的位置來檢測對象，該位置是傳感器和傳感器的感測場中的對象之間的距離。系統可以通過隨時間確定感測到的對象到多個對象傳感器的距離來確定對象的移動方向。在一些實施方式中，發射器可以位於工作空間326的一側上，並且檢測器位於工作空間326的相對側上，該檢測器感測由於對象阻擋射束或允許射束經過而由發射器發射的電磁能量射束的存在或不存在。
97.在一些實施方式中，超聲波傳感器可以用作對象傳感器。超聲波傳感器在感測場中發射從場中的對象反射的超聲波。傳感器接收反射波，並且可以基於從傳感器到對象的距離來檢測對象，該距離可以基于波的行進時間來確定。在一些實施方式中，超聲波傳感器可檢測反射聲波脈衝的幅值以指示傳感器元件距傳感器的距離。在一些實施方式中，超聲傳感器可以具有比其他類型的傳感器更大、不太明確界定的感測場。
98.在一些實施方式中，一個或多個熱電堆傳感器可以用作對象傳感器。熱電堆傳感器包括檢測由位於傳感器的感測場中的對象發射的紅外輻射的檢測器。傳感器檢測來自其感測場中不同溫度的對象的存在的熱變化，例如溫差變化。可以用這樣的傳感器檢測諸如人或身體部分(例如，人的手)的一些對象，因為由身體部分發射的紅外輻射可能比可能位於感測場中的其他部件更強(更暖)。
99.在一些實施方式中，熱成像相機(例如，熱像相機)可以用作對象傳感器。例如，熱成像相機可以感測來自位於相機的感測場中的更暖溫度的紅外輻射，並且基於感測到的輻射提供可以被處理成2-d圖像的數據。熱成像相機可以檢測位於熱成像相機的感測場中的諸如手的身體部分的存在。熱成像相機可以感測並存儲感測場的連續幀或捕獲圖像，從而允許確定感測對象的方向、速度和/或軌跡。
100.在一些實施方式中，接觸傳感器可以用作對象傳感器，其可以在物理地接觸傳感器或物理地連接到傳感器的表面時檢測例如手(或其他身體部分)的對象的接觸。例如，可以使用電容式或電阻式傳感器，當手接觸傳感器時(或當手非常靠近傳感器時，例如，對於電容式傳感器)，電容式或電阻式傳感器分別測量電容或電阻的變化。在一些示例中，接觸傳感器可以設置在用戶可以放置手的位置處，例如護欄或人體工程學支撐件(如圖2所示)。這樣的檢測可以進一步向控制單元通知也可以由用戶控制系統的其他對象傳感器檢測到的諸如手的對象。
101.在各種實施方式中，傳感器可以感測由感測場中的對象反射的能量(例如，光學飛行時間、反射雷射或超聲波傳感器)，感測由傳感器場中的對象輻射的能量(例如，紅外光譜中的熱能)，或感測其他物理量(例如，物理壓力、電容變化等)。能量或其他物理量可以直接檢測(例如，成像相機)或通過它導致的效果間接檢測(例如，熱電堆傳感器)。
102.在一些實施方式中，由對象傳感器產生的信號包括參數。參數可以包括對應於感測場中的對象與傳感器之間的可變距離的值。在另一示例中，參數包括對應於感測場中的對象相對於傳感器的方向或感測場中的對象的速度的值。在另一示例中，該值被提供給控制單元(例如，處理器)以用於確定對象的特性(例如，它被識別對象還是未被識別對象、位
置、速度、軌跡等)。
103.本文描述的一個或多個對象傳感器可以使用集成電路傳感器來實施，該集成電路傳感器包括例如發射器、感測元件、信號調節器、模數轉換器(adc)、計算感測特性(例如，對於熱電堆傳感器，感測對象溫度)的數學引擎等中的一個或多個。
104.在一些實施方式中，對象傳感器在用戶控制系統上的位置(例如，它們在何處安裝在用戶控制系統上)由用戶控制系統參考用戶控制系統的部件的已知安裝位置來精確地知道。這樣的部件包括控制輸入裝置和/或可移動顯示單元(例如，參見圖4)。對象傳感器的已知安裝位置允許使用描述這些部件的物理尺寸、位置和運動的運動學信息(例如，來自由機械連杆中的傳感器提供的傳感器數據等)精確地參考對象傳感器的感測場，並允許對象傳感器使用運動學信息來確定這些部件在其感測場內的位置。圖3的任何對象傳感器可以在本文描述的用戶控制系統的其他實施方式中使用。
105.圖4是根據一些實施方式的用戶控制系統400的另一示例的透視圖。用戶控制系統400可以包括顯示系統401，該顯示系統401包括可移動觀察單元，該可移動觀察單元可以調整其位置和/或取向以適應用戶觀察角度和/或頭部位置，和/或向操縱器系統(例如，操縱器系統104)提供輸入命令。
106.顯示系統401包括基部支撐件402、臂支撐件404和顯示單元406。顯示單元406具有由框架提供的多個移動自由度，該框架包括基部支撐件402、耦接到基部支撐件402的臂支撐件404以及耦接到臂支撐件404的傾斜構件424，並且顯示單元406耦接到傾斜構件。
107.在該示例中，基部支撐件402是機械接地(例如，經由擱置在地面上的支撐結構410耦接到地面)的豎直構件。基部支撐件402可以包括第一基部部分412和第二基部部分414，第二基部部分414可例如經由伸縮式耦接件在線性自由度416上相對於第一基部部分412平移。第二基部部分414的線性平移可以由一個或多個裝置傳感器感測，並且由耦接到第一基部部分412的一個或多個致動器(例如馬達)驅動。
108.臂支撐件404是機械地耦接到基部支撐件402的水平構件。臂支撐件404可以包括第一臂部分418和第二臂部分420，第二臂部分420可例如經由伸縮式耦接件在線性自由度422上相對於第一臂部分418線性平移。第二臂部分420相對於第一臂部分418的線性平移可以由一個或多個裝置傳感器感測，並且由耦接到第一臂部分418的一個或多個致動器(例如馬達)驅動。在如圖所示的一些示例中，臂支撐件404沿著與基部支撐件402沿著其延伸的豎直軸線正交的水平軸線延伸。
109.顯示單元406機械地耦接到臂支撐404。顯示單元406可以在由第二基部部分414和第二臂部分420的線性平移提供的兩個線性自由度上移動。顯示單元406包括顯示裝置，例如一個或多個顯示屏、投影儀或其他顯示裝置，其可以在視口423或與本文其他實施方式中描述的顯示單元類似的其他部件中顯示數字圖像。
110.顯示單元406通過傾斜部件424可旋轉地連接到臂支撐件404，傾斜部件424通過旋轉連接可旋轉地連接到第二臂部分420，從而提供傾斜部件424和顯示單元406相對於第二臂部分420圍繞傾斜軸線426在旋轉傾斜自由度上的旋轉運動。在一些實施方式中，當用戶操作顯示單元406時，傾斜軸線426被定位在用戶頭部的位置上方，或傾斜軸線可以被定位成更靠近用戶。傾斜構件424和顯示單元406圍繞傾斜軸線426的旋轉運動可以由一個或多個裝置傳感器感測，並且由耦接到傾斜構件的一個或多個致動器(例如，可以由來自控制電
路(例如，控制系統)的控制信號控制的馬達)驅動。
111.在一些實施方式中，顯示單元406可旋轉地耦接到傾斜構件424並且可以圍繞偏航軸線430旋轉(例如，偏航軸線可以是橫向旋轉軸線)，例如從操作用戶的角度來看橫向或左右旋轉。例如，顯示單元406通過旋轉機構耦接到傾斜構件424，該旋轉機構能夠以偏航自由度431圍繞偏航軸線430旋轉，例如，包括可滑動地接合耦接到傾斜構件424的凹槽構件的彎曲軌道428的軌道機構。顯示單元406圍繞偏航軸線430的偏航運動可以由一個或多個裝置傳感器感測，並且由耦接到顯示單元的一個或多個致動器(例如，電機/傳感器425)驅動。例如，馬達/傳感器425可以經由驅動機構輸出力，該驅動機構包括耦接到由馬達/傳感器425驅動的絞盤滑輪的絞盤滾筒429。
112.顯示系統401因此為顯示單元406提供豎直線性自由度416、水平線性自由度422、旋轉(傾斜)自由度427和旋轉偏航自由度431。顯示系統401的部件在這些自由度上的協調移動的組合(例如，線性和旋轉)允許顯示單元406被定位在其工作空間中的各種位置和取向處，例如，圍繞用戶平移和/或旋轉，以便於用戶的定製觀察體驗。
113.在一些實施方式中，顯示單元406可以包括輸入裝置，其允許用戶提供輸入以操縱顯示單元406在空間中的取向和/或位置，和/或操縱顯示系統401和/或更大系統(例如，遠程作業系統)的其他功能或部件。例如，手輸入裝置440a和440b(例如，按鈕、觸摸板、力傳感器、操縱杆、旋鈕等)可以被提供在顯示單元406的表面上並由用戶的手操縱以向顯示系統401提供控制信號，從而導致顯示單元406在空間中的取向和/或位置的變化。頭部輸入裝置442可以包括感測例如來自用戶前額的用戶頭部輸入的一個或多個傳感器。頭部輸入可以被接收為控制致動器的命令，以導致顯示單元406以特定的自由度移動。
114.在一些實施方式中，顯示單元406可以另外地或替代地響應於從顯示系統401或其他連接系統的其他輸入裝置接收到用戶輸入而在以一個或多個自由度移動。例如，控制輸入裝置450、耦接到基部支撐件402或臂支撐件的輸入裝置、類似於圖1的腳控制項119的腳控制項(其可以類似地用於用戶控制系統400中)和/或其他類型的輸入裝置可以用於以特定的自由度移動顯示單元406。
115.在一些實施方式中，可以在用戶控制系統400中提供類似於顯示單元406的多個顯示單元，每個顯示單元可以在其自己的工作空間內移動。例如，用戶可以使用附加顯示單元作為輔助顯示器，其顯示與使用用戶控制系統的操作任務相關的信息。
116.用戶控制系統400還可以包括用於用戶操縱的一個或多個控制輸入裝置450，包括用於用戶左手的控制輸入裝置450a和用於用戶右手的控制輸入裝置450b。在一些實施方式中，控制輸入裝置是可以以六個笛卡爾自由度移動的手動輸入裝置，類似於圖3的控制輸入裝置310，並且其示例參考圖8進行描述。在一些實施方式中，控制輸入裝置450a和450b可以可旋轉地耦接到相應機械臂456a或456b的相應端部，所述機械臂456a或456b包括機械聯動裝置方式的兩個或更多個連杆。機械臂456a和456b可以類似於圖3的機械臂316a和316b，包括使用耦接到機械臂456a和456b的一個或多個傳感器和致動器來感測機械臂的連杆上的移動和輸出力。在一些實施方式中，每個控制輸入裝置450可以被配置為控制操縱器裝置(諸如對應的臂組件120和/或操縱器系統104的末端執行器)的運動和功能，類似於針對圖1-3所描述的。腳控輸入裝置和其他類型的控制輸入裝置(未示出)也可以或替代地包括在用戶控制系統400中，類似於針對圖1-3的用戶控制系統所描述的。
117.控制輸入裝置450定位在工作空間458中並且可以在工作空間458中移動，其示例在圖4中由虛線指示。在一些實施方式中，工作空間458可以由左側和右側的護欄462、前部的臂支撐件464和第一基部部分412界定，第一基部部分412可以提供保護以免控制輸入裝置450與從用戶控制系統400的側面、後部和前部指向的各種對象碰撞，類似於用戶控制系統200。在該示例中，用戶控制系統400不具有物理地包圍和保護工作空間458的壁(例如，圖1的壁116)。在包括護欄462和/或臂支撐件464的一些實施方式中，可以基於護欄462和/或臂支撐件464的位置來限定工作空間458，使得不允許控制輸入裝置450定位在限定的工作空間之外。
118.在用戶控制系統400(或本文中的任何用戶控制系統)的一些實施方式中，指定的工作空間指示控制輸入裝置450(例如，控制輸入裝置460或其他部件)的最大運動範圍或物理範圍。在一些實施方式中，所限定的工作空間指示控制輸入裝置的最大允許運動範圍，並且控制輸入裝置在工作空間外部的移動在物理上是可能的但不被允許。一些實施方式可以例如使用物理屏障或止動件(例如，護欄、支撐件等)和/或使用由控制輸入裝置460和/或機械臂456上的致動器輸出的力(和/或力可以抑制、阻止或抵抗在限定的工作空間之外的移動)來約束控制輸入裝置到限定的工作空間的移動。
119.在一些實施方式中，類似於圖3的用戶控制系統300，從用戶控制系統400中省略了護欄462和/或臂支撐件464，其示例關於圖7進行示出。根據本文描述的特徵，可以使用對象傳感器和/或在用戶控制裝置或工作空間周圍實施的觸覺空間邊界來提供防止各種對象與控制輸入裝置450和/或顯示單元406碰撞的保護，如下所述。在這些實施方式中的一些中，如果控制輸入裝置450具有比由護欄和/或臂支撐件所允許的更大的最大運動範圍，則可以使工作空間458大於由護欄和/或臂支撐件限定的工作空間。
120.對象傳感器包括在用戶控制系統400中，類似於上面針對圖2和3所描述的。類似於針對圖2和3所描述的，對象傳感器可以是用於在感測場中提供對象檢測的各種類型的傳感器中的任何一種。在一些實施方式中，對象傳感器可以包括工作空間傳感器470、472、474和/或476。工作空間傳感器470-476均具有覆蓋工作空間458的至少一部分的感測場。在一些示例中，工作空間傳感器470-476可以感測諸如控制輸入裝置450和/或可移動顯示單元406的被識別對象的移動和/或位置，並且可以感測工作空間458中未被識別對象的入侵。在該示例中，工作空間傳感器470位於支撐結構410上，並且可以具有通常向上取向到工作空間458中的感測場。在一些實施方式中，工作空間傳感器470還可以或替代地參考腳控輸入裝置(未示出)檢測對象，類似於參考圖1-3描述的腳控輸入裝置。工作空間傳感器472位於第一基部部分412上，並且可以具有大致朝向工作空間458的側面取向的感測場。工作空間傳感器474位於第一臂部分418的底表面上，並且可以具有大致向下取向到工作空間458中的感測場(例如，傳感器474的感測場可以基於臂支撐件404的高度而改變)。工作空間傳感器476位於護欄462和臂支撐件464的各個部分上。例如，傳感器476可以位於護欄462和/或臂支撐件464的內表面上，並且可以具有通常朝向側面和/或向上/向下進入工作空間458的感測場，這取決於護欄、支撐件和工作空間的相對位置。對象傳感器可以位於其他位置處或位於本文描述的用戶控制系統102、200、300和700的任何類似或對應的位置處。
121.工作空間傳感器470-476的感測區域可以覆蓋覆蓋部分或整個工作空間458的區域。感測場的示例關於圖3進行示出，並且可以被類似地實施用於用戶控制系統400。工作空
間傳感器470-476可以檢測被識別對象，諸如控制輸入裝置450。此外，顯示單元406(和/或附接到顯示單元的機構或支撐件)是可以檢測到的被識別對象。這些對象由於其位置和取向對於用戶控制系統是已知的而被識別，例如，經由來自對象傳感器的傳感器數據和/或經由描述從來自用於跟蹤那些部件的裝置傳感器的傳感器數據導出的其位置、尺寸和形狀的運動學信息。
122.用戶控制系統400的對象傳感器還可以包括與本文描述的其他外部傳感器類似的外部傳感器，諸如外部傳感器480和482。在一些情況下，這樣的傳感器可以位於用戶控制系統400的各種部件上，以導致其感測場被定向遠離用戶控制系統400朝向用戶控制系統400外部和周圍的相鄰區域。例如，外部傳感器480指向與用戶控制系統400的右側相鄰的區域。外部傳感器482指向與用戶控制系統400的後側相鄰的區域。外部傳感器可以指向與用戶控制系統相鄰的其他區域，例如左側、前側(例如，覆蓋操作用戶控制系統的用戶的後部的區域)等。參考圖7描述外部傳感器及其感測場的一些示例。
123.在一些實施方式中，如圖4中所示的傳感器470-476或480-482中的任一者(或本文描述的其他對象傳感器)可以表示多個傳感器的集合或陣列。例如，傳感器陣列中的每個傳感器可以在不同的方向上取向，使得創建圍繞傳感器陣列的更大的感測區域。圖4的任何對象傳感器可以用於本文描述的用戶控制系統的其他實施方式中。
124.圖5是根據一些實施方式的具有示例閾值區域的示例輸入機構500的透視圖。輸入機構500包括控制輸入裝置502和機械臂504，其可以類似於本文描述的這些部件的各種示例中的任何一個。輸入機構500可以用於用戶控制系統中，例如，具有如本文描述的控制輸入裝置和機械臂的用戶控制系統102、200、300、400或700。在一些示例中，控制輸入裝置502可以類似於本文描述的其他控制輸入裝置，例如圖8的控制器部分800(下面描述)，並且可以控制操縱器系統104的一個或多個操縱器裝置的運動。
125.閾值區域510表示用戶控制系統的一個或多個對象傳感器可以檢測到對象的區域。在各種實施方式中，閾值區域510可由一個或多個對象傳感器的感測場覆蓋。閾值區域510可以例如由工作空間傳感器、外部傳感器、或結合使用的外部傳感器和工作空間傳感器兩者來感測。在一些實施方式中，可以使用可以檢測工作空間和外部區域兩者的對象傳感器的感測場來感測閾值區域510。
126.閾值區域510可以以特定配置(例如，尺寸和形狀)圍繞控制輸入裝置502和/或機械臂504。如果在閾值區域510中檢測到對象，則可以觸發和激活用戶控制系統(例如，遠程作業系統100)的一個或多個功能。在一些示例中，如本文所述，用戶控制系統可以處於控制模式，其中控制輸入裝置502在空間中的移動激活操縱器裝置的一個或多個功能，諸如導致操縱器系統104的對應末端執行器的對應移動。如果在閾值區域510中檢測到未被識別對象，則用戶控制系統從控制模式退出並激活非跟隨模式，其中控制輸入裝置502的移動不會導致對應末端執行器的移動。這是預期對象與控制輸入裝置502的潛在碰撞的安全功能，該碰撞可能導致控制輸入裝置502的不期望運動，並且因此導致操縱器末端執行器(其在外科手術程序中可能在諸如患者的工作部位處等)的不期望運動。
127.在一些實施方式中，用戶控制系統的其他功能可以通過檢測閾值區域510中的對象來觸發。例如，警告或警報可以由用戶控制系統輸出，例如，顯示器上的視覺消息、來自揚聲器的音頻警報、控制輸入裝置502上的觸覺效果輸出等。在一些實施方式中，觸發功能可
以是由用戶控制系統控制的致動器在機械臂504和/或控制輸入裝置502上輸出的力，例如，以提供安全特徵。下面關於圖6描述這種力的一些示例。
128.在圖5的示例中，閾值區域510具有球形形狀，並且其半徑基於距控制輸入裝置502上的參考位置的閾值距離。在該示例中，閾值區域510以控制輸入裝置502的手柄512上的位置(例如，手柄的中心構件的中心位置)為中心。在其他示例中，閾值區域510可以以控制輸入裝置502或機械臂504的其他位置為中心。在一些實施方式中，閾值區域510可以以在距控制輸入裝置502或機械臂504預限定距離處的空間中的位置為中心。可以使用其他形狀的閾值區域，例如矩形、橢圓形、錐形、不規則形狀等。可以為控制輸入裝置502和/或機械臂504上的相應多個位置限定與區域510類似的多個閾值區域。
129.在一些實施方式中，閾值區域510可以是由距控制輸入裝置的近閾值距離確定的近閾值區域，並且可以在其他閾值距離處限定其他閾值區域並用於觸發用戶控制系統的其他功能。例如，可以在距控制輸入裝置比近閾值區域更大的閾值距離處指定警告閾值區域。如果在警告閾值區域中檢測到未被識別對象，則用戶控制系統可以與上述類似地輸出警告。
130.在各種實施方式中，用戶控制系統可以檢查檢測到的對象的其他特性，以通知是否激活功能(例如，退出控制模式)的確定。例如，可以如本文所述的那樣確定對象的軌跡，並且如果對象在軌跡的閾值範圍內朝向控制輸入裝置移動，則可以退出控制模式。在另一示例中，可以如本文所述的那樣確定對象的速度，並且如果速度高於特定速度閾值，則可以退出控制模式。這些特性的任何組合可以被檢測，並且可以用於影響是否激活與閾值區域510中的對象的檢測相關聯的(一個或多個)功能。
131.在一些實施方式中，用於限定區域510和/或激活用戶控制系統的(一個或多個)相關功能的一個或多個閾值可以是動態的，例如，可以基於除了檢測到的對象之外的控制輸入裝置和/或用戶控制系統周圍的物理環境的當前感測條件來調整。例如，可以基於環境條件(諸如需要控制輸入裝置的更複雜運動的用戶控制系統的控制任務、在用戶控制裝置的物理環境中檢測到的人的數量、人在物理環境中移動的頻率(例如，一個或多個人在每時間單位的閾值範圍內走過用戶控制系統的次數)、一天中的時間(例如，工作日晚些時候可能使用戶和人更容易出錯))等來調整用於距離、速度和/或軌跡的閾值。例如，這些條件中的一些可以由對象傳感器檢測。可以認為這些條件增加了與對象碰撞的可能性，使得可以改變閾值以使退出控制模式或輸出更容易發生的警告。例如，觸發從控制模式退出的閾值距離可以比在未檢測到這種條件的情況下更大。
132.圖6是根據一些實施方式的示例輸入機構600和示例空間邊界的透視圖。輸入機構600包括控制輸入裝置602和機械臂604，其可以類似於本文描述的部件的各種示例中的任何一個。輸入機構600可以用於用戶控制系統中，例如，具有如上所述的控制輸入裝置和機械臂的用戶控制系統102、200、300、400或700。在一些示例中，控制輸入裝置602可以類似於本文描述的其他控制輸入裝置，例如圖8的控制器部分800(下面描述)，並且可以控制操縱器系統104的一個或多個操縱器裝置的運動。
133.在圖6的示例中，控制輸入裝置602由用戶(圖6中未示出)操作，該用戶抓握控制輸入裝置602的手柄606。控制模式是激活的，以允許控制輸入裝置602移動操縱器裝置。對象608由用戶控制系統的對象傳感器檢測。例如，可能已經在到控制輸入裝置602(或到用戶控
制系統的另一部件)的閾值距離內檢測到對象608。在該示例中，對象608是為除了用戶之外的人的手的未被識別對象。
134.在一些實施方式中，當對象608從用戶控制系統的部件的物理邊界外部的位置接近用戶控制系統時，可以首先使用一個或多個外部傳感器的感測場在控制輸入裝置602的工作空間外部檢測對象608。如果對象608進入控制輸入裝置602的工作空間，則工作空間傳感器可以檢測到對象。因此，在一些實施方式中，可以使用外部傳感器的感測場結合工作空間傳感器的感測場來感測對象608，以跟隨從工作空間外部移動到工作空間內部的對象和/或從工作空間內部移動到工作空間外部的對象。在其他實施方式中，一個對象傳感器可以檢測工作空間內部和工作空間外部兩者的對象608。
135.在圖6的示例中，檢測到對象608具有遠離控制輸入裝置602的軌跡，如通過箭頭610所指示的。在一些實施方式中，可以基於隨時間檢測對象608的多個位置以確定對象的方向並估計方向將保持相同以進行對象608的進一步運動來確定該軌跡。在一些示例中，可以檢查來自對象傳感器的對象608的捕獲圖像或其他形式的捕獲檢測，以跟蹤對象608的方向。在一些實施方式中，還可以根據對象位置的歷史來確定對象608的速度。在一些實施方式中，如果估計對象具有在指向控制輸入裝置602的軌跡的閾值範圍之外的預測軌跡(例如，控制輸入裝置的當前位置或預測未來位置)，則認為軌跡遠離控制輸入裝置602。在一些示例中，閾值範圍的軌跡在控制輸入裝置周圍的特定空間範圍內與控制輸入裝置相交。
136.控制輸入裝置的空間邊界612被確定和創建，該邊界具有基於對象608距控制輸入裝置602的參考位置的距離和/或基於對象608的其他特性(諸如對象608的所確定的軌跡和/或速度)而在空間中確定的位置。如果控制輸入裝置與該邊界相交，則通過用戶控制系統的致動器(例如，耦接到機械臂604的致動器)在控制輸入裝置上輸出力。在該示例中，空間邊界612被成形為類似於插入在控制輸入裝置602和檢測到的對象608之間的線性壁。空間邊界612充當觸覺壁，其阻止(例如，防止或減少)控制輸入裝置602進入和/或跨越(例如，穿過和/或經過)空間邊界612的移動。例如，當控制輸入裝置602與邊界相交時，可以在控制輸入裝置602上輸出抵抗或阻止其在進入和/或跨越空間邊界612的方向上的運動的力。這防止或減少了控制輸入裝置602移動到更靠近對象608的空間中，其中控制輸入裝置602和對象608之間的碰撞的可能性更高。
137.空間邊界612可以被限定在距對象的特定距離處和/或距控制輸入裝置的特定距離處。例如，可以在空間邊界的面向對象邊緣與檢測到的對象之間測量特定距離，使得當對象在特定方向上移動時，空間邊界在相同方向上移動以保持特定距離。空間邊界612可以保持位於檢測到的對象和控制輸入裝置之間。在一些實施方式中，特定距離可以變化，例如，可以基於對象的當前速度，如下所述。
138.可以參考控制輸入裝置602和/或機械臂604為相應的多個位置限定多個分開的或連接的空間邊界，類似於空間邊界612。在一些實施方式中，空間邊界612的力減慢控制輸入裝置602的運動，但不停止運動。這允許用戶容易地減少控制輸入裝置的移動，而不會引入可能破壞使用控制輸入裝置602的正在進行的程序的突然停止。
139.在一些實施方式中，當創建空間邊界612時並且在空間邊界存在期間，對於控制輸入裝置602有效的控制模式保持有效。這允許用戶在程序期間不間斷地繼續操作控制輸入裝置，同時提供防止與控制輸入裝置碰撞的安全措施。在一些示例中，如果對象608繼續移
動得更靠近(例如，在更靠近的第二閾值距離內)控制輸入裝置602，則可以輸出阻止或停止控制輸入裝置進入和/或跨越空間邊界612的運動的更強的力。
140.在一些實施方式中，可以基於控制輸入裝置602相對於空間邊界和/或在特定條件下的移動來退出控制模式。例如，如果控制輸入裝置移動經過邊界612的初始(首先遇到的)邊緣達閾值距離，則可以退出控制模式。
141.在一些實施方式中，如果需要，空間邊界的阻止力可以具有允許用戶推動控制輸入裝置以壓制力的幅值。阻力可以具有足夠的幅值以通知用戶屏障，使得用戶將不再嘗試將控制輸入裝置移動到空間邊界中和/或跨越空間邊界。在一些實施方式中，空間邊界612具有特定厚度，例如，如圖6的示例中所示的厚度t。在一些示例中，不同幅值的阻力可以是控制輸入裝置在超過邊界612的初始邊界的不同距離或位置(例如，跨邊界厚度的不同位置)處的輸出。例如，阻力幅值可以在控制輸入裝置602與空間邊界612的近側邊界的接觸處更小，並且阻力幅值可以隨著控制輸入裝置繼續移動通過屏障而逐漸、逐步或以其他方式增加，從而在空間邊界的遠側邊界(例如，最靠近對象608)處達到最大阻力。在一些實施方式中，可以減小力幅值以便移動經過邊界的遠側邊界。在一些實施方式中，可以在超過邊界612的初始邊界的不同距離或位置處在控制輸入裝置602上輸出不同方向的力。例如，當對象移動時，力可以在特定方向上推動控制輸入裝置遠離對象。
142.在圖6的示例中，空間邊界612是線性邊界或具有矩形形狀。在其他實施方式中，空間邊界612可以採取其他形式，例如，彎曲邊界或邊緣、圓形或橢圓形形狀、不規則形狀、不連續形狀(例如，邊界的不與阻力相關聯的間隙或區段)等。
143.在各種實施方式中，用戶控制系統可以檢查檢測到的對象的各種特性，以影響空間邊界612的生成和/或特性。例如，可以基於這些特性來確定是否創建空間邊界。對象特性可以包括對象的位置和/或對象的移動特性，諸如對象的軌跡或速度。例如，如果對象沿著在對象的閾值範圍內的軌跡移動，則對象可以移動。朝向控制輸入裝置的軌跡，生成空間邊界612。在另一示例中，可以確定對象的速度，並且如果速度低於特定速度閾值(例如，零速度或非常慢的速度)，則生成空間邊界612。在另一示例中，如果對象高於閾值尺寸，則生成空間邊界612。這些特性的任何組合可以被檢測，並且可以用於影響是否創建空間邊界612。
144.在另外的示例中，可以基於對象的特性來確定空間邊界612的特性。例如，如果對象速度高於閾值，則空間邊界的位置可以被指定為更靠近對象和/或更遠離控制輸入裝置，並且當對象速度低於閾值時，空間邊界的位置可以更靠近控制輸入裝置。在另一示例中，非常高(例如，高於更高的第二閾值)的對象速度可以使控制輸入裝置退出控制模式，使得不創建空間邊界。在另一示例中，如果對象速度高於閾值，則空間邊界的尺寸或面積可以基於對象速度，例如，更長的空間邊界(例如，豎直長度和/或水平長度)。在另一示例中，空間邊界的形狀可以基於對象速度，例如，如果對象速度低於閾值，則為更直的形狀或凸形形狀，並且如果對象速度高於閾值，則為凹形形狀，使得凹形形狀可以在比直的或凸形邊界更大的程度上限制控制輸入裝置602的移動。在另一示例中，空間邊界的厚度(如上所述)可以基於對象速度，例如，與低於閾值的速度相比，對於高於閾值的速度，厚度更大。在另一示例中，與空間邊界相關聯的阻力的幅值可以基於對象速度，例如，與低於閾值的更低對象速度相比，對於高於閾值的更大對象速度，力幅值更高。
145.類似地，空間邊界612的位置、(一個或多個)尺寸、形狀、力幅值和/或厚度可以基
於對象的預測軌跡。例如，如果基於對象的過去軌跡或移動預測對象軌跡直接朝向控制輸入裝置(例如，在朝向控制輸入裝置的軌跡的閾值範圍內)，與閾值範圍之外的對象軌跡(例如，相對於控制輸入裝置更切向地定向的軌跡)相比，空間邊界位置可以位於更遠離控制輸入裝置的位置，一個或多個空間邊界尺寸可以更大，邊界厚度可以更大，和/或力幅值可以更高。
146.在一些實施方式中，空間邊界612的特性可以附加地或替代地基於控制輸入裝置的一個或多個特性。這些特性可以包括控制輸入裝置的速度和預測軌跡。例如，對於高於閾值的控制輸入裝置的速度和/或對於在朝向對象的當前或預測位置的軌跡的閾值範圍之外的控制輸入裝置的預測軌跡，可以更遠離控制輸入裝置限定空間邊界位置，一個或多個空間邊界尺寸可以更大，邊界厚度可以更大，和/或力幅值可以更高。
147.在一些實施方式中，用於創建和/或表徵空間邊界612的一個或多個閾值可以是動態的，例如，可以基於除了檢測到的對象之外的控制輸入裝置和/或用戶控制系統周圍的物理環境的當前感測條件來調整。例如，可以基於環境條件(諸如需要控制輸入裝置的更複雜運動的控制任務、在用戶控制裝置的物理環境中檢測到的人的數量、人在物理環境中移動的頻率(例如，檢測到一個或多個人在每時間單位的閾值範圍內走過用戶控制系統的次數)、一天中的時間(例如，工作日晚些時候可能使用戶和人更容易出錯)等)來調整用於距離、速度和/或軌跡的閾值。例如，這些條件中的一些可以由對象傳感器檢測。可以認為這些條件增加了與對象碰撞的可能性，使得可以改變閾值以使空間邊界的激活更容易發生。例如，與在未檢測到這種條件的情況下相比，控制輸入裝置和對象之間的觸發空間邊界的閾值距離可以更大，或觸發空間邊界的閾值速度可以更高。
148.在本文描述的任何實施方式中，可以在控制輸入裝置602的一側或多側上確定類似於空間邊界612的觸覺空間邊界，以限制控制輸入裝置602的有效工作空間的尺寸。在一些實施方式中，對工作空間的這種限制可以基於與上面描述的類似的物理環境中的當前感測到的條件，例如，以為了安全而減小工作空間的尺寸。
149.圖7是根據一些實施方式的包括對象傳感器和示例外部閾值區域的示例用戶控制系統700的正視圖。針對用戶控制系統700描述的特徵可以用於本文描述的任何用戶控制系統上。
150.用戶控制系統700包括顯示單元702和控制輸入裝置704，其例如可以類似於本文描述的其他實施方式中的對應部件。控制輸入裝置704可以在例如指示其運動範圍的工作空間706內移動。在圖7所示的實施方式中，不存在圍繞或限定工作空間706的人體工程學支撐件或護欄，從而允許用戶控制系統700裝配到物理環境中的更小空間中。在其他實施方式中，可以在用戶控制系統700中提供(一個或多個)人體工程學支撐件和/或護欄。
151.用戶控制系統700包括與本文描述的用戶控制系統的其他實施方式類似的對象傳感器。例如，一個或多個工作空間傳感器可以定位在特定位置處，並且具有覆蓋工作空間706(或其部分)的感測場並檢測其中的對象，如參考圖2-6所描述的。
152.在用戶控制系統700的該示例中，在特定位置處還提供了作為外部傳感器的對象傳感器。在一些實施方式中，外部傳感器的感測場可以在(一個或多個)用戶控制系統700的控制輸入裝置的工作空間706的外部。在其他實施方式中，一個或多個外部傳感器的感測場可以重疊並感測工作空間706或其部分。在一些實施方式中，一個或多個外部傳感器的感測
場可與一個或多個工作空間傳感器的感測場重疊。一些工作空間傳感器和外部傳感器可以具有相鄰的感測場，和/或可以具有部分重疊的感測場。
153.在該示例中，外部傳感器710和712中的一個或多個可以位於豎直支撐件708(例如，圖4的基部支撐402)的左側，例如，分別位於上部分和下部分處。外部傳感器710具有感測場714，並且外部傳感器712具有感測場716。感測場714和716感測在用戶控制系統700的左側上的部件的表面外部並與其相鄰的區域。例如，感測場714部分地覆蓋和/或鄰近顯示單元702的部分和機械臂709的部分以及支撐控制輸入裝置704的平臺711。在另一示例中，感測場716部分地覆蓋和/或鄰近平臺711的部分和下支撐基部713的部分。
154.在感測場714和/或716內定位或移動的對象由相關聯的外部傳感器710和/或712檢測。外部傳感器可以感測感測場中的對象從用戶控制系統700外部的位置朝向用戶控制系統700的部件的接近。例如，部件可以是與接近用戶控制系統700的對象碰撞，這可能干擾控制輸入裝置704的操作。
155.如果進行對象的檢測，則(一個或多個)檢測外部傳感器將指示檢測的信號和/或傳感器數據傳送到控制單元(諸如圖10所示的控制單元)。其他傳感器數據也可以被發送到控制單元，例如，描述感測到的對象或其特性(例如，對象的速度或軌跡)的傳感器數據。
156.感測場714和716的配置允許檢測用戶控制系統左側附近對象的存在。在該示例中，傳感器710和712提供感測場714和716，感測場714和716被引導到不同且部分重疊的空間區域。舉例來說，在一些實施方式中，多個對象傳感器可以具有覆蓋相同空間區的全部或部分的重疊傳感器場。在一些示例中，該多個傳感器覆蓋可以用於更可靠地檢測對象，例如，如果在所有重疊感測場中檢測到對象，則認為該對象被檢測到。一些實施方式可以提供鄰近和/或不重疊的感測場。在一些實施方式中，單個傳感器可以提供多個個體感測場，例如，感測場714和716和/或另外的感測場。在一些實施方式中，感測場可以是多個對象傳感器的多個個體感測場的組合。
157.類似於外部傳感器710和712，外部傳感器720和722中的一個或多個可以位於豎直支撐件708的右側上，例如，分別位於上部分和下部分處。外部傳感器720具有感測場724，並且外部傳感器722具有感測場726。感測場724和726感測在用戶控制系統700的右側上的部件的表面外部並與其相鄰的區域。外部傳感器720和722可以分別感測感測場724和726中的對象從用戶控制系統700外部和控制輸入裝置704的工作空間外部的位置朝向用戶控制系統700右側的部件的接近。例如，感測場724和726可以覆蓋用戶控制系統700的右側上的空間區域，其對應於由感測場714和716覆蓋的左側上的區域，例如，與用戶控制系統700的相同或對應部件相鄰。
158.在一些實施方式中，外部傳感器可類似地定位且在用戶控制系統700的其他方向上和/或其他側上(例如，前、後、頂、側面之間等)提供感測場。例如，一個或多個外部傳感器可以放置在顯示單元702上，或在顯示單元702上方的豎直支撐件708的延伸部分上，其可以感測操作用戶控制系統的用戶周圍和後面的相鄰外部區域。在具有人體工程學支撐件或護欄的一些實施方式中(例如，如圖2和4所示)，外部傳感器可以位於這些部件上，其中感測場指向用戶控制系統700的外部。多個外部傳感器可以具有部分或完全重疊的感測場，以提供對對象的冗餘且更魯棒的感測。
159.在一些實施方式中，每個感測場714、716、724和/或726可以成形為錐形。例如，感
測場714可以在傳感器710處具有特定寬度，並且在遠離傳感器710的方向上寬度增加，並且可以由其他外部傳感器提供類似的感測場。在本文中，術語「錐形」或「錐形的」是指近似錐形形狀，其不需要精確的錐形幾何形狀，例如，製造公差、幹涉圖案、由於障礙物導致的翹曲或其他容差可以包括在錐形感測場中。此外，該術語可以指具有圓形橫截面的錐體以及或替代地具有其他形狀的橫截面，例如橢圓形、卵形、矩形、正方形、三角形等。在一些實施方式中，一個或多個感測場可以被成形為圓柱形、矩形或其他形狀。每個錐形具有由相關聯的傳感器的感測範圍限制的深度和體積。在一些實施方式中，可以使感測場形狀更寬或更窄，例如，在適當的情況下以覆蓋靠近用戶控制系統700、與用戶控制系統700和/或工作空間706的一個或多個部件重疊的區域或其他區域。在一些實施方式中，感測場可以被限制為可以小於對象傳感器的傳感器能力的特定尺寸，例如深度和/或體積。例如，深度可以被限制為距傳感器的特定距離，在該特定距離處，傳感器將檢測其感測場中的對象。在一些示例中，感測場可以例如在深度和/或體積上受到限制，使得用戶控制系統的部件(或其部分)不會被潛在地錯誤地檢測為對象。
160.在一些實施方式中，用戶控制系統或其一部分可延伸到對象感測系統的感測場中的一個或多個中，例如延伸到感測場714、716、724或726(或本文中的各種實施方式中所描述的工作空間傳感器的感測場)中，使得用戶控制系統700的一個或多個部件與感測場中的一個或多個相交。利用一些類型的傳感器，由用戶控制系統700的部件導致的反射信號可以被歸一化，使得部件被忽略並且位於感測場內的新對象被傳感器檢測到。在一些實施方式中，用戶控制系統700不存在於外部傳感器的感測場中並且不延伸到外部傳感器的感測場中。利用例如檢測從感測場中的對象反射的電磁輻射信號的一些類型的傳感器，在感測場外部的用戶控制系統僅允許存在於感測場中的新對象反射信號。
161.在一些實施方式中，可以(例如)通過選擇發射感測場的傳感器的特定設置來阻擋或調整本文描述的任何對象傳感器的感測場的部分的大小或尺寸。在一些實施方式中，傳感器中的一個或多個可以被物理地掩蔽以阻擋傳感器的標準感測場的部分被感測。在一些示例中，這可以防止傳感器檢測用戶控制系統700的要被忽略的部件。
162.在圖7中還示出了延伸到用戶控制系統700外部並且可以被實施為確定用戶控制系統的一個或多個功能的觸發和激活的示例外部閾值區域。在一個示例中，閾值區域730由用戶控制系統700的控制單元指定為在距用戶控制系統700大約特定閾值距離處圍繞用戶控制系統700的所有側面。
163.例如，閾值區域730的外邊界可以被限定在距用戶控制系統700的一個或多個參考位置的閾值距離處。在一些示例中，參考位置可以在用戶控制系統的部件處，例如，在最遠離用戶控制系統的中心(或豎直中心軸線)延伸的部件的一部分(例如，表面)上。例如，下支撐基部713或顯示單元702的左邊緣或右邊緣可以是參考位置，從該參考位置測量用戶控制系統700的每個相應側上的區域730的閾值距離。在一些示例中，閾值區域730可以以用戶控制系統700的位置為中心，例如，閾值距離可以從豎直支撐件708上的中心位置或從控制輸入裝置704的手柄之間的空間中的位置測量。
164.外部閾值區域730的形狀可以是各種不同形狀中的任何一種。例如，區域730可以具有圍繞用戶控制系統700的部分橢圓體形狀，如圖所示。替代地，形狀可以是矩形、錐形或不規則形狀。在一些實施方式中，在區域730的不同部分處，可以從用戶控制系統700的不同
位置(例如，最近的位置)測量閾值距離，從而導致外部閾值區域730的不規則邊界。
165.在一些示例中，外部閾值區域730表示可以在用戶控制系統的一個或多個對象傳感器的感測場中檢測對象的區域。對象傳感器可以是例如外部傳感器、工作空間傳感器或兩者結合的外部傳感器和工作空間傳感器使用。在一些實施方式中，可以在可檢測工作空間和外部區兩者的對象傳感器的感測場中感測外部閾值區730。
166.如果在外部閾值區域730中檢測到對象，則可以觸發和激活用戶控制系統的功能。在一些示例中，功能可以是由用戶控制系統向用戶控制系統的用戶和/或周圍附近(例如，向附近的用戶之外的人)輸出警告。該警告指示對象(例如，人或其他對象)靠近用戶控制系統，並且存在對象與用戶控制系統700碰撞的可能性。例如，警告可以由用戶控制系統輸出，例如，顯示器上的視覺消息、來自揚聲器的音頻警報、控制輸入裝置704上的力輸出等。
167.在一些實施方式中，可以通過檢測閾值區域730中的對象來觸發和激活其他功能。例如，在一些實施方式中，如果在外部閾值區域730中檢測到未被識別對象，則用戶控制系統退出控制模式並激活如本文描述的非跟隨模式。這是預期對象與用戶控制系統的部件的可能碰撞的安全功能，該碰撞可能導致控制輸入裝置704的不期望的運動，並且因此導致受控操縱器裝置的不期望運動。
168.與區域730類似的多個外部閾值區域可以被同時或替代地創建，以與用戶控制系統700一起使用。在另一示例中，外部閾值區域732可以被指定為圍繞用戶控制系統700。外部閾值區域732可以被放置成比區域730更靠近用戶控制系統，例如，在比區域730距用戶控制系統700的參考位置更短的閾值距離處具有外邊界。如果在區域732中檢測到未被識別對象，則可以激活一個或多個功能。在一些實施方式中，區域732中的對象的檢測可以用於激活與經由區域730激活的功能不同的功能。例如，檢測到區域730中的對象可以使得輸出如上所述的警告，並且檢測到區域732中的對象可以使得退出控制輸入裝置704的控制模式。由於檢測到對象在區域732中比在區域732外部的區域730中更靠近用戶控制系統700，因此碰撞的威脅可能更高，並且因此退出控制模式。
169.在一些實施方式中，控制模式的退出是由檢測到對象與用戶控制系統700的實際碰撞(例如，與用戶控制系統700的任何組件的碰撞)導致的。在一些實施方式中，可以在用戶控制系統700上提供附加傳感器以檢測這種碰撞，例如，可以測量由碰撞導致的振動的加速度計或其他運動傳感器。在一些實施方式中，在實際碰撞之前檢測到區域732或730中的對象不會導致退出控制模式。
170.在各種實施方式中，用戶控制系統可以檢查在區域730和/或區域732中檢測到的對象的其他特性，以通知確定是否激活相關聯的功能(例如，輸出警告、退出控制模式等)。例如，可以確定對象的軌跡，並且如果對象在軌跡的閾值範圍內沿著朝向控制輸入裝置的軌跡移動，則可以激活該功能。在另一示例中，可以確定對象的速度，並且如果速度高於特定速度閾值，則可以激活該功能。這些特性的任何組合可以被檢測，並且可以用於影響是否激活功能。
171.在一些實施方式中，用於激活用戶控制系統的相關功能的區域730和/或732的一個或多個閾值可以是動態的，例如，可以基於除了檢測到的對象之外的用戶控制系統周圍的物理環境的當前感測條件來調整。例如，用於外部閾值區域730和/或732的(一個或多個)閾值距離可以是動態的，從而為這些區域提供動態尺寸和/或形狀。在一些示例中，例如，可
以基於環境條件(諸如需要控制輸入裝置的更複雜運動的控制任務、在物理環境中檢測到的人的數量、從用戶控制系統到物理環境中的其他裝備(例如，顯示推車、操縱器系統、手術臺等)的距離、人在物理環境中移動的頻率(例如，檢測到一個或多個人在每時間單位的閾值範圍內走過用戶控制系統的次數)、一天中的時間(例如，工作日晚些時候可能使用戶和人更容易出錯)等)來調整限定外部閾值區域730的閾值距離。例如，這些條件中的一些可以由對象傳感器檢測。
172.例如，外部傳感器可以感測周圍環境的一部分，並且系統可以從傳感器數據確定大量的人(例如，超過閾值數量的人)在用戶控制系統的閾值距離內。因此，與在更少的人在附近的情況下相比，一個或多個人與用戶控制系統碰撞的可能性更高。響應於該確定，系統可以增加限定外部閾值區域730的閾值距離，從而使區域730大於先前區域730，以便使得能夠檢測到與使用先前閾值距離時相比距輸入機構500更大距離處的人。
173.圖8是可以用於本文描述的一個或多個實施方式中的示例控制輸入裝置的控制器部分800的透視圖。控制器部分800可以與本文描述的任何用戶控制系統實施方式一起使用。例如，控制器部分800可以是如本文描述的控制輸入裝置(例如，控制輸入裝置210、310、450、502、602等)的一部分。在本文描述的用戶控制系統的其他實施方式中，可以使用其他類型或變型的控制輸入裝置，例如，其包括諸如操縱杆、旋鈕、滑鼠、軌跡球、觸摸板、滑塊等的其他輸入裝置。
174.控制器部分800包括手柄802，用戶接觸手柄802以操縱控制輸入裝置。手柄802包括第一端、與第一端相對的第二端以及在近端和遠端之間延伸的中心部分803。中心軸線812限定在第一端部和第二端部之間。在該示例中，手柄802包括兩個抓握部，每個抓握部包括指環804和抓握構件806(抓握構件806a和806b)。兩個抓握構件806定位在手柄802的中心部分803的相對側上，並且抓握構件806可以被用戶的手指抓握、保持或以其他方式接觸。在該示例中，手指接觸件805可以連接或形成在抓握構件806a和806b的未連接端部處，以提供接觸用戶手指的表面。每個手指環804附接到相應的抓握構件806，並且可以用於將用戶的手指固定到相關聯的抓握構件806。用戶還可以在抓握抓握構件806的同時接觸手柄802的其他部分。
175.每個抓握構件806和指環804可以以相關的自由度808(例如，808a和808b)移動。在一些示例中，抓握構件806a和806b各自在相應的旋轉耦接處耦接到手柄802的中心部分803，從而允許抓握構件相對於中心部分803分別圍繞抓握軸線807a和807b旋轉移動。每個抓握構件806a和806b可以例如通過用戶接觸抓握構件而分別以相關聯的自由度808a圍繞軸線807a和以自由度808b圍繞軸線807b移動。例如，在一些實施方式中，抓握構件806a和806b可以以夾鉗型移動(例如，朝向或遠離彼此)同時移動。在各種實施方式中，可以提供單個抓握構件806和指環804，或抓握構件806中的僅一個可以以自由度808移動，而另一個抓握構件804可以相對於手柄802固定。
176.一個或多個抓握傳感器(未示出)可以連接到手柄802和/或控制器部分800的其他部件，並且可以檢測抓握構件806a和806b在其自由度808中的取向。傳感器可以將描述感測到的取向和/或運動的信號發送到如本文描述的控制單元。在一些模式或實施方式中，控制單元可以向操縱器裝置(例如，操縱器系統104)提供控制信號。例如，抓握構件806a和806b在自由度808a和808b中的取向可以用於控制操縱器系統104的末端執行器的對應取向或各
種自由度中的任何一個。控制器部分800的各種實施方式可以提供一個或多個主動致動器(例如，馬達、音圈等)、被動致動器(例如，制動器)或彈簧，以在自由度808中在抓握構件806上輸出力。
177.手柄802還具有圍繞滾動軸線的旋轉自由度810，在該示例中，滾動軸線與中心軸線812重合，被限定在手柄802的第一端和第二端之間。在該示例中，中心軸線812是大致沿著手柄802的中心部分803的中心延伸的縱向軸線。手柄802可以相對於控制器部分800的基部構件(諸如殼體809)圍繞中心軸線812旋轉。例如，用戶可以使抓握構件806和中心部分803作為單個單元相對於殼體809圍繞中心軸線812旋轉，以控制操縱器裝置的對應運動或其他功能。
178.一個或多個傳感器(未示出)可以耦接到手柄802，以檢測手柄802在旋轉自由度810中的旋轉和/或取向。例如，傳感器可以將描述取向的信號發送到控制單元，該控制單元可以與上面描述的類似地向操縱器系統104提供控制信號。例如，手柄802在自由度810中的旋轉可以控制操縱器系統104的末端執行器的特定自由度，該特定自由度不同於由抓握構件806的自由度808控制的操縱器系統104的自由度。控制器部分800的一些實施方式可以提供一個或多個致動器以在旋轉自由度810中輸出手柄802上的力。例如，傳感器和/或致動器可以容納在殼體809中並且通過延伸通過手柄802的中心部分803的軸耦接到手柄802。
179.在各種實施方式中，手柄802可以具有附加自由度。在一些實施方式中，控制器部分800包括允許多個旋轉自由度的一個或多個萬向節機構。例如，可以在肘形連杆824和連杆826之間的旋轉耦接處向手柄802提供圍繞偏航軸線822的旋轉自由度820，並且肘形連杆824耦接到手柄802(例如，在殼體809處)。在該示例中，偏航軸線822與中心軸線812相交並正交。可以類似地提供另外的自由度。例如，連杆826可以是肘形的，並且旋轉耦接件可以被提供在連杆826的另一端和另一連杆之間(圖8中未示出)。可以在旋轉耦接件處向手柄802提供圍繞軸線830的旋轉自由度828。在一些示例中，控制器部分800可以允許手柄802在用戶控制系統102的工作空間內以多個自由度移動，例如，包括三個旋轉自由度和三個平移自由度的六個自由度。控制輸入裝置的一個或多個附加自由度可以類似於上面針對自由度808和810所描述的那樣被感測和/或致動。在一些實施方式中，手柄802的每個附加自由度能夠控制操縱器系統104的末端執行器的不同自由度(或其他運動)。各種自由度可以控制例如操縱器系統104的其他功能。
180.在所描述的示例中，手柄802包括一個或多個控制開關850或其他類型的輸入控制項(例如，按鈕、操縱杆、滑塊、軌跡球、傳感器墊等)。在一些實施方式中，控制開關850可以移動到各種位置以提供特定命令信號，例如，以選擇用戶控制系統和/或控制輸入裝置的功能、選項或模式(例如，選擇控制模式或非控制模式)，從而命令操縱器系統或其他系統等。
181.在一些實施方式中，手柄802可以包括存在感測系統，該存在感測系統包括可以檢測操作手柄的用戶的手的存在、檢測用戶的手接近或離開手柄、檢測用戶的手接近或離開手柄以及操作手柄的用戶的手的存在等的一個或多個存在傳感器。在一些示例中，存在傳感器系統可以包括感測與一個或兩個抓握件806的接觸和/或具有感測接觸或接近控制器部分800的用戶的手的存在的感測場的傳感器。在一些實施方式中，存在感測系統對手的檢測可以被中繼到本文描述的對象感測系統，以幫助檢測和識別對象傳感器的感測場中的感測對象。在一些實施方式中，被提供在手柄802(或控制器部分800的部件)上的存在傳感器
可以用作如本文描述的對象傳感器。
182.在一個示例實施方式中，手柄802機械接地，即，由一端固定在機械地面(例如地板、牆壁或天花板)處的運動鏈支撐在空間中。例如，殼體809可以耦接到機械聯動裝置，諸如圖2的機械臂211或圖3的機械臂316，其耦接到地面或連接到地面的框架或其他支撐件，從而為控制器部分800的使用提供穩定的平臺。
183.在一些示例中，基部構件可以耦接到串聯運動鏈，其近端機械接地。運動鏈可以包括多個構件或連杆，其例如通過旋轉或線性耦接件可旋轉地耦接到鏈的一個或多個其他構件或連杆。鏈的旋轉軸線可以由傳感器和/或致動器感測和/或驅動。一些實施方式可以提供運動鏈例如圍繞縱向延伸通過一個或多個構件的軸線的附加致動和/或感測運動。在一些實施方式中，運動鏈的多個構件形成萬向節機構，該萬向節機構允許手柄802圍繞鏈的旋轉軸線旋轉。在一些實施方式中，手柄802也可以在運動鏈允許的至少三個線性自由度上平移。在專利號us6,714,839b2中描述了可以與控制器部分800一起使用的連杆和/或萬向節機構的一些其他示例，該專利通過引用併入本文。
184.在一些實施方式中，控制器部分800或其一部分可以是非機械接地的控制輸入裝置，其在空間中自由移動並且與地面斷開。如本文所使用的，非機械接地的控制輸入裝置是指相對於工作環境中的位置和取向運動不受約束並且與地面運動學地分開的控制輸入裝置，例如，不由用戶控制系統機械地支撐(例如，不由接觸地面的框架或其他支撐件支撐)。未接地的控制器部分800可以在限定的空間區域內使用，該限定的空間區域由裝置傳感器感測以確定控制器部分的位置和/或取向，並且可以由如本文描述的對象傳感器感測以確定對象與控制器部分800的可能碰撞。在一些實施方式中，用於檢測潛在碰撞對象的一個或多個對象傳感器可以是與感測控制輸入裝置的裝置傳感器相同的傳感器。傳感器可以具有覆蓋籠、房間或其他結構內的部分的感測場。一些實施方式可以使用耦接到其他結構的傳感器來感測空間內的控制器部分800，例如，使用圖像捕獲裝置或可以檢測3d空間中的對象和運動的其他傳感器，類似於如上所述。在一些實施方式中，非機械接地的控制裝置可以與控制單元和/或一個或多個其他部件(諸如傳感器、電源等)或不系留連接。例如，控制裝置可以經由電纜或電線系留(例如，物理地連接)到這些部件，或可以是不系留(例如，不物理地連接到)這些部件並且經由由控制器部分800中提供的無線通信元件發送和接收的無線通信信號與部件通信。在一些實施方式中，可以使用未接地的控制輸入裝置，同時用戶還觀察由本文描述的任何顯示單元顯示的圖像。在這樣的實施方式中，對象感測系統對於檢測對象和潛在的碰撞是有用的，因為用戶在觀察圖像時可能不知道他或她的手在空間中的位置。
185.在未接地的控制輸入裝置的一些示例中，與手柄802和/或抓握構件806類似的一個或多個手柄可以耦接到穿戴在用戶手上並且未接地的機構，從而允許用戶在空間中自由地移動抓握件。例如，抓握件相對於彼此和/或手柄的其他部分的位置可以通過將抓握件耦接在一起並約束其相對於彼此的運動的機構來感測。一些實施方式可以使用由用戶的手穿戴的手套結構。在專利號us8,543,240b2(2010年9月21日提交)和us8,521,331b2(2008年11月13日提交)中描述了未接地的控制輸入裝置的一些示例，這兩個專利通過引用整體併入本文。
186.圖9是圖示根據一些實施方式的檢測並減輕對象與用戶控制系統的潛在碰撞的示
例方法的流程圖。方法900可以例如由用戶控制系統(例如，本文描述的用戶控制系統102、200、300、400、700等中的任一個)執行。在一些實施方式中，該方法可以由包括在用戶控制系統中或耦接到用戶控制系統的控制單元部件執行。在一些示例中，控制單元可以包括一個或多個處理器，例如微處理器或其他電路，並且其一些示例參考圖10進行描述。
187.為了解釋目的，在方法900中涉及單個控制輸入裝置。可以如方法900中所描述的那樣類似地處理多個控制輸入裝置。在該示例方法中描述了包括手柄的手控輸入裝置，並且可以在適當的情況下類似地處理其他類型的控制輸入裝置(例如，如果控制輸入裝置不可移動或僅以有限的方式(諸如踏板、按鈕或撥盤)可移動，則可以在適當的情況下省略與這種移動相關的方法900的操作)。其他實施方式可以將本文描述的一個或多個特徵與其他類型的系統(例如，非遠程作業系統)、沒有物理操縱器系統或從裝置和/或沒有與操縱器系統交互的物理對象的虛擬環境(例如，醫療模擬)等一起使用。
188.方法900可以用於檢測對象與用戶控制系統的潛在碰撞。這可以包括與用戶控制系統的控制輸入裝置(包括耦接到控制輸入裝置的機械臂或連杆)的碰撞。方法900還可以或替代地用於檢測對象與作為一個單元的用戶控制系統的碰撞，例如，與用戶控制系統的任何部件的碰撞，該用戶控制系統的任何部件可以與從空間的外部區域朝向用戶控制系統移動的對象碰撞。例如，這些部件可以包括顯示單元、支撐件、護欄、框架、基部或者其殼體或部分以及控制輸入裝置和機械臂。在一些實施方式中，這些部件可以包括正在操作用戶控制系統的用戶。例如，對象與顯示單元的殼體之間的碰撞可能使整個用戶控制系統振動，從而幹擾處於控制模式的控制輸入裝置的操縱(包括用戶操作和/或空間中的位置)。在一些實施方式中，包括方法900的對象傳感器、感測場、感測區域、閾值、值和/或參數的第一組元素可以用於檢測與控制輸入裝置的潛在碰撞，並且包括與第一組不同的一個或多個元素的第二組元素可以作為一個單元用於檢測與用戶控制系統的潛在碰撞。在一些實施方式中，方法900的一些框(諸如框924)對於與控制輸入裝置的潛在碰撞一起的使用可能比與用戶控制系統的其他部件的潛在碰撞一起的使用更相關。
189.在框902中，用戶控制系統的非控制模式是激活的。非控制模式也可以被認為是「安全模式」，其中如果控制輸入裝置由用戶移動，則控制輸入裝置不能夠向受控裝置(諸如操縱器系統104的操縱器裝置)提供控制信號。例如，操縱器系統在非控制模式下與控制輸入裝置斷開，用於控制操縱器系統的移動的命令(並且在一些實施方式中用於其他操縱器系統功能的命令，例如，末端執行器處的能量輸出或衝洗等)。例如，控制輸入裝置可以由用戶以非控制模式操縱，該非控制模式不會導致操縱器系統104的對應末端執行器的任何運動。該方法繼續到框904。
190.在框904中，激活用戶控制系統的控制模式。控制模式允許控制輸入裝置的操縱以控制操縱器系統(例如操縱器系統104)的受控裝置的功能。例如，在遠程作業系統中，控制輸入裝置的操縱可以在控制模式下控制操縱器裝置的對應運動、輸出功能(熱、電等)和/或其他功能，諸如在空間中移動末端執行器、打開末端執行器的鉗口、從末端執行器輸出熱或其他能量等。在一些實施方式中，可以為由控制輸入裝置控制的操縱器系統的對應部件激活控制模式。在一些實施方式中，來自用戶控制系統的一個或多個部件的反饋輸出可以向用戶指示控制模式是激活的，例如，來自顯示裝置的視覺輸出、來自音頻裝置的音頻輸出、來自電機的控制輸入裝置上的力輸出等。在一些實施方式中，可以基於與相應的控制輸入
裝置相關的條件為每個控制輸入裝置獨立地激活控制模式。
191.在一些實施方式中，在框904中，已經檢測到使得能夠激活控制模式的特定條件。例如，用戶通常使用用戶控制系統的一個或多個輸入裝置來命令激活控制模式，例如，在控制輸入裝置的把手或按鈕處的特定輸入序列。在一些實施方式中，可能需要在一個或多個存在傳感器處檢測用戶控制系統處的用戶存在，以指示用戶準備好以控制模式操作控制裝置。例如，存在傳感器可以位於顯示裝置附近，以在用戶控制系統的操作期間檢測用戶何時正在觀察顯示裝置。存在傳感器可以位於每個控制輸入裝置上或附近，以檢測用戶正在以適當的操作方式抓握控制輸入裝置的手柄。該方法繼續到框906。
192.在框906中，確定本文描述的對象感測系統的對象傳感器是否檢測到對象。可以在用戶控制系統的限定的感興趣區域內或外部檢測對象(如下面針對框908所描述的)。例如，可以在控制輸入裝置的工作空間內或外部和/或在位於工作空間外部和用戶控制系統的部件外部的空間區域中檢測對象。對象傳感器可以包括具有覆蓋工作空間和/或空間區域的相應感測場的一個或多個傳感器。
193.如果對象傳感器沒有檢測到對象，則該方法返回到框904以繼續使控制輸入裝置的控制模式激活。如果對象傳感器檢測到對象，則該方法繼續到框908。
194.在框908中，確定檢測到的對象的一個或多個特徵，包括位置，並且在一些實施方式中，包括移動特徵。在一些實施方式中，移動特性包括檢測到的對象的速度和/或軌跡。例如，例如基於來自對象傳感器的傳感器數據來確定檢測到的對象的位置，該傳感器數據指示檢測到的對象相對於限定的感興趣區域和/或相對於用戶控制系統的已知位置或部件的位置。在一些實施方式中，(一個或多個)對象傳感器可以確定從(一個或多個)相應傳感器到對象的距離，並且可以基於該距離確定對象的位置。
195.在一些實施方式中，可以在框908中確定檢測到的對象的速度。在各種實施方式中，檢測到的對象的所確定的速度可以是速度(速率)的幅值，或還可以包括對象的移動方向(其可以類似於一些實施方式中的對象的軌跡)。可以基於隨時間捕獲對象的多個感測到的空間位置來確定速度。例如，包括圖像捕獲裝置的對象傳感器可以在對象移動時以時間間隔捕獲對象的多個圖像，並且可以從捕獲的圖像確定速度。在另一示例中，可以基於對象隨時間的檢測位置的差異(諸如到參考位置(諸如執行檢測的傳感器或感測場中的用戶控制系統的部件)的距離，指示對象隨時間移動的距離)來確定速度。在一些示例中，檢測到的對象的方向由確定的速度指示，例如，正速度指示對象正在遠離傳感器移動，並且負速度指示朝向傳感器的移動。其他類型的傳感器可以類似地存儲以特定時間間隔捕獲和存儲的描述對象的位置的多組位置數據，可以從所述多組位置數據確定對象的速度。
196.在一些實施方式中，還可以例如在框908中確定控制輸入裝置的速度。例如，可以與檢測到的對象的速度類似地確定控制輸入裝置的速度，例如，基於控制輸入裝置在當前時間之前的特定時間段內的空間位置的歷史。
197.還可以在框908中確定對象的軌跡。在一些實施方式中，可以基於如由對象在一時間段內的多個存儲的感測到的空間位置(例如，這些存儲的位置可能已經如上所述的那樣用於確定對象的速度)所指示的對象的過去移動來確定對象的過去軌跡。可以基於過去軌跡(例如，通過外推過去軌跡)來估計檢測到的對象的預測的(未來)軌跡。在一些實施方式中，可以基於對象的多個過去位置、速度和/或軌跡來確定對象的平均軌跡。
198.在一些實施方式中，還可以例如在框908中確定控制輸入裝置的軌跡。例如，可以基於在當前時間之前的特定時間段內控制輸入裝置的空間位置的歷史來確定控制輸入裝置的過去軌跡，並且可以通過從過去軌跡外推來估計預測軌跡。在一些實施方式中，可以如上所述的那樣與對象類似地確定控制輸入裝置的平均軌跡。
199.在一些實施方式中，針對框908描述的檢測到的對象(和/或控制輸入裝置)的一個或多個移動特性的確定可以被省略，或可以比方法900中的框908更晚地執行，例如，在需要時執行。在一些示例中，當框924、928、930或其他框需要時，可以確定對象和/或控制輸入裝置的軌跡(如果使用的話)。類似地，當框920、926或其他框需要時，可以確定對象和/或控制輸入裝置的速度(如果使用的話)。該方法繼續到框910。
200.在框910中，參考控制輸入裝置、用戶控制系統的另一部件或(一個或多個)其他參考位置，確定檢測到的對象是否位於限定的空間區域內。該確定可以基於在框908中確定的對象的位置。在一些實施方式中，所限定的區域可以是包括控制輸入裝置並且被用戶控制系統的對象傳感器(例如，工作空間傳感器和/或外部傳感器)的感測場覆蓋的特定感興趣區域。在一些實施方式中，所限定的區域小於對象傳感器的最大感測區域(例如，一個或多個傳感器可以在遠離用戶控制系統的方向上感測越過所限定的區域的邊界)。在一些示例中，所限定的區域可以是控制輸入裝置的工作空間和/或用戶控制系統的多個控制輸入裝置的工作空間。在另外的示例中，所限定的區域可以包括用戶控制系統(或其部分)，並且具有在用戶控制系統的物理邊界外部或在用戶控制控制系統的一個或多個特定部件(例如，用戶控制系統部件的外殼體)外部的特定距離的邊界。在一些實施方式中，所限定的區域的形狀可以是不對稱的或不規則的。
201.在一些實施方式中，所限定的空間區域可以被認為是空間的「警告區域」。如果在警告區域內檢測到對象，則由用戶控制系統輸出指示對象的存在的警告。例如，警告區域可以由到參考位置的警告距離閾值限定，並且參考位置是用戶控制系統的控制輸入裝置或其他部件，類似於如上所述。在一些實施方式中，警告區域可以被確定為與所限定的區域分開的區域。例如，警告區域可以小於所限定的區域並且大於下面關於框916描述的近區域。
202.如果在框910中確定對象不位於所限定的空間區域內，則該方法繼續到框912，其中在方法900中不對檢測到的對象採取任何動作。在一些實施方式中，通過耦接到用戶控制系統的控制單元繼續跟蹤和監視對象。該方法返回到框904，其中控制模式繼續激活。
203.如果在框910中確定對象位於所限定的空間區域內，則該方法繼續到框914，其中確定檢測到的對象是否是被識別對象。如本文所提及的，被識別對象是具有已知位置和特性的用戶控制系統的已識別部件。例如，被識別對象可以包括可以在方法900中檢查的控制輸入裝置的工作空間內移動的用戶控制系統的不同控制輸入裝置。被識別對象的另一示例是可以能夠在所限定的區域附近移動或移動到所限定的區域中的可移動顯示單元，例如，圖4的顯示單元406或支撐這種顯示單元的機構。
204.用戶控制系統可以通過一種或多種技術確定檢測到的對象是否是被識別對象。例如，對象感測系統可以用於檢測、識別和跟蹤用戶控制系統的部件。可以檢測對象的形狀、溫度、尺寸和/或其他特性，並且存儲描述檢測到的對象的傳感器數據。基於對象傳感器數據，系統可以確定檢測到的對象是否是用戶控制系統的這種部件，如果是，這將該對象限定為被識別對象。在各種實施方式中，基於來自對象傳感器的捕獲圖像的圖像分析和特徵識
別、基於對象溫度的幅值在特定溫度範圍內(例如，以指示手)和/或其他特性，可以認為對象是被識別對象。
205.在一些實施方式中，基於描述這些部件的物理形狀、物理尺寸、位置和/或運動的運動學信息，已知用戶控制系統的特定部件的空間位置。例如，用戶控制系統的控制輸入裝置、機械臂和/或顯示單元可以包括檢測各種機械連杆和這些部件的其他部件的旋轉取向和/或平移位置的裝置傳感器。描述尺寸、形狀、取向、位置和相關運動的運動學信息由控制單元使用，該控制單元可以跟蹤這些部件的空間位置。用戶控制系統可以將檢測到的對象的空間位置和/或尺寸與這些部件的跟蹤的空間位置和尺寸進行比較，以確定檢測到的對象是否是這些部件中的一個並因此是被識別對象。一些實施方式可以利用來自多個來源的數據(諸如來自對象傳感器的傳感器數據以及可移動部件的被跟蹤運動學數據)來確定對象是否是被識別對象。
206.在一些實施方式中，用戶控制系統的已知部件(壁、護欄、臂支撐件、支撐柱或構件、或這些部件中的任一個的部分)可被檢測為對象。這些部件具有參考感測區域的靜態位置，並且這些靜態位置可以與檢測到的對象的位置進行比較，以幫助確定對象是否是被識別對象。
207.在一些實施方式中，其他對象可以被認為是被識別對象。例如，在一些實施方式中，用戶的手可以是被識別對象，例如，如果手先前已經被檢測或掃描並且具有可以與檢測到的對象進行比較的存儲的物理配置(例如，形狀、尺寸、顏色等)。在一些實施方式中，面部(例如，已經被識別的特定面部或指定用戶的面部)可以被認為是被識別對象，如上所述。在一些實施方式中，如果面部已經被識別並且被認為是被識別對象，則兩隻手和其他身體部分可以被認為是被識別對象和/或被跟蹤的，如上所述。
208.未被識別對象是不是對象傳感系統的被識別對象的那些對象。例如，在一些實施方式中，用戶的手可以是未被識別對象。可以將不是用戶的人的手確定為是未被識別對象。通常不存在於工作空間中或控制輸入裝置附近的任何其他對象(諸如蜂窩電話或其他可攜式裝置、杯子或馬克杯、鋼筆或鉛筆等)可以是未被識別對象。在一些實施方式中，來自用戶控制系統的一個或多個存在感測系統的檢測可以與對象感測系統結合使用。例如，控制輸入裝置的存在感測系統可以能夠檢測用戶的手距控制輸入裝置的手柄的距離，並且該距離可以由方法900用於確定由對象傳感器檢測到的對象是否是由存在傳感器檢測到的手。存在傳感器系統還可以用於確定手是否應當被認為是被識別對象。例如，在一些實施方式中，如果存在感測系統認為手足夠靠近控制輸入裝置以允許控制模式激活，則對象可以被認為是被識別對象。
209.如果在框914中確定對象是被識別對象，則該方法繼續到框912，其中不對檢測到的對象採取任何動作。在一些實施方式中，控制單元繼續跟蹤和監測對象。該方法返回到框904，其中控制模式繼續激活。
210.如果在框914中確定對象是未被識別對象，則該方法可以檢查對象的一個或多個特性是否滿足對應於那些特性的條件。參考框916、920、926、928和930以及響應於滿足那些條件而執行的操作來描述條件的一些示例。
211.例如，該方法繼續到框916，其中確定檢測到的對象是否位於相對於用戶控制系統的參考位置的近閾值距離內。在一些實施方式中，近閾值距離限定了包含在框910的所限定
的空間區域內並且小於框910的所限定的空間區域的近空間區域。因此，近區域具有比所限定的區域的邊界更靠近參考位置的邊界。例如，近閾值距離可以是到參考位置的特定距離，並且參考位置可以在控制輸入裝置上、在用戶控制系統的另一部件上、或在空間中的位置處，例如，在多個控制輸入裝置之間居中。在一些示例中，近閾值距離可以是到控制輸入裝置的手柄的距離以限定閾值區域，例如，其示例在圖5中進行示出。在另一示例中，近閾值距離可以是到用戶控制系統或其特定部件(諸如顯示單元的表面、支撐基部等)的特定距離，以限定外部閾值區域，例如，其示例在圖7中進行示出。在一些實施方式中，可以使用多個不同的近閾值距離，例如，近閾值距離可以在距控制輸入裝置或其他參考位置的不同方向上變化，並且覆蓋不對稱或不規則的近空間區域。
212.在一些實施方式中，近閾值距離可以是零。在這種情況下，如果在近區域內檢測到對象，則認為它已經與用戶控制系統碰撞。在一些示例實施方式中，當檢測對象與用戶控制系統的不是控制輸入裝置的部件的碰撞時，可以使用零的近閾值距離。在一些實施方式中，附加傳感器可以提供對這種碰撞的更魯棒的感測，以確認由對象傳感器感測到的碰撞已經發生。例如，耦接到用戶控制系統的一個或多個加速度計可以感測用戶控制系統的振動以確認已經發生碰撞。
213.如果在框916中確定未被識別對象位於近閾值距離內，則該方法繼續到框918，其中退出控制模式並且使非控制模式激活，如針對框902所描述的。例如，操縱器裝置的控制與控制輸入裝置斷開。因此，近閾值距離內的對象被認為足夠靠近用戶控制系統，從而處於與用戶控制系統碰撞並且潛在地幹擾控制輸入裝置的操作的危險中，使得退出控制模式。在一些實施方式中，對於用戶控制系統的所有控制輸入裝置，可以在框918中使非控制模式激活。在一些實施方式中，響應於在框918中退出控制模式，可以由用戶控制系統向用戶和其他人輸出指示檢測到的對象的存在的警告，類似於框922(下面描述)的警告，並且在一些實施方式中，警告可以指示已經退出控制模式。
214.如果在框916中確定未被識別對象不位於近閾值距離內，則該方法繼續到框920，其中確定是否檢測到未被識別對象正在以小於第一閾值速度的速度移動。第一閾值速度可以被設置為相對更低，使得具有低於第一閾值速度的速度的對象不移動或非常緩慢地移動。
215.如果未被識別對象正在以低於第一閾值速度的速度移動，則該方法繼續到框922，其中用戶控制系統輸出警告。在一些實施方式中，警告(例如，警報)可以是對用戶和/或物理環境中的其他人的聽覺、視覺和/或觸覺形式的輸出。警告可以指示未被識別對象在用戶控制系統附近(例如，在控制輸入裝置的工作空間中和/或在用戶控制系統的部件附近)並且可能與控制輸入裝置的操作碰撞或幹擾控制輸入裝置的操作。在所描述的示例中，還可以在方法900的其他時間輸出警告。該方法繼續到框924。
216.在框924中，在觸覺上限定和啟用控制輸入裝置的一個或多個空間邊界。在一些實施方式中或在一些情況下，空間邊界可以參考檢測到的對象來限定，例如，可以位於距對象的特定距離處和/或對象的軌跡中。在一些實施方式中或在一些情況下，空間邊界可以參考控制輸入裝置來限定，例如，可以位於距控制輸入裝置的特定距離處和/或在控制輸入裝置的軌跡中。空間邊界是觸覺屏障，當控制輸入裝置移動到限定的屏障中時，該觸覺屏障導致阻力在與朝向檢測到的對象的方向相反的方向上輸出在控制輸入裝置上，使得控制輸入裝
置朝向檢測到的對象的運動停止或減慢。阻力由耦接到控制輸入裝置和/或耦接到如本文描述的連接的機械臂的一個或多個致動器產生。在一些實施方式中，空間邊界可以減小控制輸入裝置的有效工作空間。
217.在一些實施方式中，空間邊界可以具有基於控制輸入裝置穿透空間邊界的距離產生不同幅值和/或方向的力的寬度或厚度，如參考圖6所描述的。在一些實施方式中，可以在檢測到的對象的軌跡中的空間位置處限定空間邊界，如針對框908所描述的。例如，空間邊界可以被定位成使得力停止或阻止控制輸入裝置移動到與對象的預測軌跡相交的空間位置中。
218.空間邊界可以被限定在距對象的特定距離處和/或距控制輸入裝置的特定距離處，並且可以被保持為位於檢測到的對象和控制輸入裝置之間。在一些實施方式中，特定距離可以變化，例如，可以基於針對框908確定的對象的當前速度和/或控制輸入裝置的當前速度。在一些實施方式中，可以基於如針對框908確定的檢測到的對象的估計軌跡和/或控制輸入裝置的估計軌跡在空間中定位空間邊界。例如，可以放置空間邊界以攔截檢測到的對象的軌跡。此外，空間邊界可以具有基於檢測到的對象和/或控制輸入裝置的速度的特性，如參考圖6所描述的。
219.在一些實施方式中，可以在控制輸入裝置和空間邊界之間保持更小的第二特定距離。例如，如果檢測到的對象已經移動，使得控制輸入裝置和空間邊界之間的距離小於第二特定距離，則可以如在框918中那樣退出控制模式。
220.在啟用空間邊界之後，該方法然後可以返回到框904以繼續激活控制模式。因此，在框924期間和之後，可以維持控制模式，例如允許其保持激活。例如，空間邊界可以用於減少或防止檢測到的對象和控制輸入裝置之間的碰撞，使得控制模式可以保持操作，從而避免涉及用戶控制系統的主動控制程序或任務的中斷。
221.如果在框920中確定未被識別對象正在以大於第一閾值速度的速度移動，則方法繼續到框926，其中確定是否檢測到對象以大於第二閾值速度的速度移動。第二閾值速度具有比第一閾值速度更大的幅值，並且可以具有相對高的幅值，使得以大於第二閾值速度的速度移動的對象快正在速移動。
222.如果未被識別對象正在以大於第二閾值速度的速度移動，則該方法繼續到框918，在框918中退出控制模式並且使非控制模式激活，如上所述。例如，以這種高速度移動的對象可以被認為呈現與用戶控制系統碰撞的危險，而不管其軌跡(其可以快速改變)如何，並且因此退出控制模式。在一些實施方式中，對於用戶控制系統的所有控制裝置，可以在框918中使非控制模式激活。在一些實施方式中，第二閾值速度可以與第一閾值速度相同，並且可以省略框928和930。
223.如果在框926中確定未被識別對象未正在以大於第二閾值速度的速度移動，則該方法繼續到框928，其中確定是否檢測到對象沿著將可能導致它與用戶控制系統碰撞(例如，與控制輸入裝置碰撞，或在一些實施方式中，與用戶控制系統的任何部件碰撞)的軌跡移動。在一些實施方式中，為了確定這種未來碰撞是否可能，可以估計對象的可能軌跡的範圍，例如，在平均軌跡或其他預測軌跡的閾值空間範圍或角度內的軌跡範圍，並且如果控制輸入裝置被定位成與該範圍內的軌跡相交，則確定估計的碰撞。
224.在一些實施方式中，如果還確定了控制輸入裝置的軌跡，則該軌跡可以用於確定
對象和控制輸入裝置之間是否可能發生碰撞。例如，可以估計控制輸入裝置的軌跡範圍，例如，在控制輸入裝置的平均軌跡或其他預測軌跡的閾值空間距離或角度內，並且如果該範圍內的控制輸入裝置的一個或多個軌跡與對象軌跡範圍內的一個或多個軌跡相交，則可以預測碰撞。在一些情況下，基於對象的一個或多個特性(例如，對象的軌跡和/或對象的估計尺寸(如從傳感器數據確定))來確定不使用控制輸入裝置的軌跡。例如，如果檢測到的對象在外部並且接近用戶控制系統的阻擋控制輸入裝置遠離對象的部件，則不使用控制輸入裝置的軌跡(例如，朝向用戶控制系統的後側或殼體部分的對象軌跡)。
225.在一些實施方式中，檢測到的對象的速度和/或控制輸入裝置的速度可以用於確定潛在碰撞。例如，如果控制輸入裝置正在快速移動，則它可能不會與檢測到的對象碰撞，如基於對象和控制輸入裝置的速度和軌跡所確定的。在一些情況下，例如，如果對象的軌跡指示對象將與用戶控制系統的不同部件碰撞而不直接與控制輸入裝置碰撞，則基於對象的一個或多個特性確定不使用控制輸入裝置的速度。其他技術也可以或替代地用於基於對象軌跡和/或控制輸入裝置的軌跡來確定在檢測到的對象和用戶控制系統之間是否可能發生碰撞。
226.如果在框928中確定未被識別對象正在沿著將可能導致它與控制輸入裝置或用戶控制系統碰撞的軌跡移動，則該方法繼續到框918，在框918中退出控制模式並且使非控制模式激活，如上所述。例如，沿著碰撞軌跡以中等範圍速度(例如，在第一閾值速度和第二閾值速度之間)移動的對象可以被認為是足以退出控制模式的危險。在一些實施方式中，可以在方法900中的不同點處(例如，在框920和926之前)執行框928。在一些實施方式中，該更早的框928可以檢查對象速度高於特定閾值速度，以便確定從框928到框918的肯定結果。
227.如果在框928中確定未被識別對象正在沿著可能不會使其與控制輸入裝置或用戶控制系統碰撞的軌跡移動，則該方法繼續到框930，在框930中確定是否檢測到對象正在沿著不可預測的軌跡移動。在一些實施方式中，如果檢測到的對象從最後檢測到的位置改變方向超過閾值程度(例如，角度改變)，則可以確定不可預測的軌跡。在其他示例中，如果檢測到的對象以閾值程度改變方向超過閾值時間量，並且方向的改變發生在特定時間段內，則軌跡可以被認為是不可預測的。
228.如果在框930中確定未被識別對象正在沿著不可預測的軌跡移動，則該方法繼續到框918，在框918中退出控制模式並且使非控制模式激活，如上所述。在該示例中，沿著不可預測的軌跡以該中等範圍速度(例如，在第一閾值速度和第二閾值速度之間)移動的對象可以被認為是足以退出控制模式的危險。在一些實施方式中，可以在方法900中的不同點處(例如，在框920和926之前)執行框930。在一些實施方式中，該更早的框930可以檢查對象速度高於特定閾值速度，以便確定從框930到框918的肯定結果。
229.如果在框930中確定未被識別對象未正在不可預測的軌跡中移動，則該方法繼續到框922，在框922中如上所述的那樣輸出警告，並且繼續到框924，在框924中如上所述的那樣觸覺地確定和啟用一個或多個空間邊界。例如，一個或多個空間邊界可以沿著檢測到的對象的估計軌跡放置在對象前方的特定距離處。此外，空間邊界可以基於檢測到的對象的速度和/或控制輸入裝置的速度來定位和/或可以具有基於檢測到的對象的速度和/或控制輸入裝置的速度的特性，如上所述。然後，該方法返回到框904以繼續激活控制模式，如上所述。
230.框924的執行指示，當前，基於方法900的框，對象和控制輸入裝置之間的碰撞似乎不可能發生，使得空間邊界提供安全措施以在對象附近停止或減慢控制輸入裝置和/或防止控制輸入裝置靠近對象。如果對象沒有施加直接和/或可能的碰撞機會，則可以提供空間邊界，並且阻止控制輸入裝置朝向可能導致與對象碰撞的更大機會的空間位置的運動。
231.在一些實施方式中，系統可以在確定檢測到的對象呈現與用戶控制系統碰撞的危險(例如，框916、926、928或930的肯定結果)時進入另外或替代狀態。例如，在框918中，可執行控制模式的保持或暫停而不是退出控制模式，使得如果檢測到碰撞的可能性在特定時間段內減小，則可重新進入控制模式。在一些實施方式中，如果沒有碰撞的直接危險，則可以在進行合格檢測之後提供時間延遲以退出控制模式並激活非控制模式。例如，時間延遲將控制模式的退出和非控制模式的激活延遲特定的時間量，以確定對象特性或其他條件是否改變。
232.在一些實施方式中，用戶控制系統可以輸出多種類型的警告，並且在方法900的各個框處輸出多種類型的適當類型的警告，以指示對象與用戶控制系統碰撞的危險程度。例如，可以在方法900的一些框處輸出特定類型的警告，該特定類型的警告指示對象的存在，並且該特定類型的警告對象造成比在其他條件下更低的碰撞或幹擾危險。例如，這樣的警告可以用於用戶和/或用戶控制系統附近的其他人的一般意識。在一些示例中，可以在框912中輸出警告。在另外的示例中，檢測到的對象可以是用戶控制系統外部的人，並且聽覺警告可以導致該人在控制模式激活時意識到他們接近和接近用戶控制系統，從而允許該人改變其移動以減少或防止與用戶控制系統的幹擾或碰撞。
233.在各種實施方式中，本文公開的方法中所描述的框可以在適當的情況下以與所示出的不同的順序和/或與其他框(部分或完全)同時執行。一些框可以針對數據的一部分執行，並且稍後例如針對數據的另一部分再次執行。並非所有所描述的框都需要在各種實施方式中執行。在一些實施方式中，在這些方法中，可以多次、以不同的順序和/或在不同的時間執行框。
234.在一些示例中，框910、914、916-920和926-930可以以不同的順序和/或至少部分同時執行。例如，框914可以在方法900中更早或更晚地(例如，在框906、908或916至928中的一個之後)執行。例如，在框920、926、928或930中確定肯定結果之後，該方法可以確定是否識別出對象，如框914中所述。如果確定對象是未被識別對象，則執行這些框之後的下一個框(922或918)，並且如果確定對象是被識別對象，則不採取類似於框912的動作。替代地，框914可以與一個或多個框(例如，框920、926、928和930中的任何一個)至少部分地同時執行。在一些實施方式中，可以省略框910、914和/或916。在一些實施方式中，可以省略框920、926、928和930中的一個或多個。
235.在一些實施方式中或在一些情況下，可以省略框920和924-930中的一個或多個。例如，檢測對象(諸如人)與用戶控制系統的任何部件的碰撞並且不檢測與控制輸入裝置的直接碰撞的一些實施方式可以省略這些框中的一個或多個。在一些示例中，在對象碰撞可能不與控制輸入裝置發生並且可能與用戶控制系統的一個或多個其他部件發生的情況下，可以省略框924。
236.如上所述，在一些實施方式中，方法900檢測用戶控制系統的傳感器的感測場中的對象，確定該對象是未被識別對象，並且確定該對象的一個或多個特性(例如，位置、速度、
軌跡、尺寸等)。該方法確定對象的特性是否滿足與該特性相對應的條件。例如，滿足對應條件可以包括滿足對應於特性的閾值。在一些示例中，滿足閾值可以包括對象位於參考位置的閾值距離內，對象具有大於閾值速度，對象在碰撞軌跡的閾值範圍內的軌跡上，和/或在一些實施方式中，對象具有大於閾值尺寸。如果滿足這樣的條件，則退出控制輸入裝置的控制模式(或，在一些實施方式中，可以執行其他操作，如本文中的各種示例中所描述的，例如，在框922和/或924處)。
237.方法900的一些示例實施方式如下。
238.在第一示例實施方式中，感測對象直接與控制輸入裝置的碰撞。框910的所限定的區域可以是控制輸入裝置的工作空間。為了在框914中確定感測到的對象是被識別的還是未被識別的，對象傳感器用於跟蹤其感測場中的控制輸入裝置以及跟蹤對象。將警告區域確定為所限定的區域內的單獨區域，並且當在警告區域中檢測到對象時，由用戶控制系統向用戶輸出警告。框916的近區域小於警告區域，並且在距控制輸入裝置的手柄的近閾值距離處被確定，該近閾值距離是距控制輸入裝置的更短距離。框918-928可以與上面參考控制輸入裝置所描述的類似地被實施。
239.在第二示例實施方式中，感測對象直接與控制輸入裝置的碰撞，類似於針對第一示例實施方式所描述的。代替跟蹤可移動控制輸入裝置和其他可移動系統部件的位置的對象傳感器，這些部件的運動學數據用於確定和跟蹤它們在工作空間中的位置。可移動系統部件的位置用於確定對象是否被識別為可移動對象中的一個，並且如果不是，則確定這些部件中的一個是否可能與對象碰撞。
240.在第三示例實施方式中，感測對象與用戶控制系統(例如，系統的任何部件，包括顯示單元、框架、殼體或(一個或多個)控制輸入裝置)的碰撞。例如，針對對象感測在用戶控制系統外部並且與用戶控制系統相鄰的外部區域。框910的所限定的區域是與用戶控制系統相鄰的警告區域，例如，距用戶控制系統的最外側部件幾英尺的區域。當在警告區域中檢測到對象(例如，人)時，用戶控制系統向用戶和人輸出警告。在框914中，檢測到的對象被確定為未被識別的，因為系統的可移動部件(例如，控制輸入裝置或可移動顯示單元)不存在於這些外部區域中。框916的近區域處於零或小距離的近閾值距離處。在近閾值距離為零的一些實施方式中，在近區域中檢測到的對象指示對象與用戶控制系統的碰撞(在一些實施方式中，這可以利用用戶控制系統上的加速度計來確認)。
241.在第四示例實施方式中，感測對象與控制輸入裝置在其工作空間中的直接碰撞，並且還感測對象與作為一個單元的用戶控制系統的碰撞(例如，與用戶控制系統的任何部件的碰撞)。例如，一組元素用於檢測與控制輸入裝置的潛在碰撞，包括所限定的區域(工作空間)、警告區域(由警告閾值距離限定)、近區域(由近閾值距離限定)、第一閾值速度和第二閾值速度。不同的一組元件用於檢測與用戶控制系統的潛在碰撞，包括不同的所限定的區域(系統周圍的區域)、不同的警告區域(由不同的警告閾值距離限定)、不同的近區域(由不同的近閾值距離限定)、以及不同的第一閾值速度和第二閾值速度。在一些示例中，當檢測與作為一個單元的用戶控制系統的碰撞時，可以省略框920、924、928和930(使得響應於在警告區域內和近區域外檢測到對象而輸出框922的警告)。
242.在第五示例實施方式中，在用戶控制系統的對象傳感器的感測場中檢測對象。手控制輸入裝置處於控制模式，其中手柄在空間中的移動激活與用戶控制系統通信的操縱器
裝置的一個或多個功能。確定所述對象是未被識別對象並且所述對象在距所述用戶控制系統的閾值距離內。退出控制模式，使得控制輸入裝置在空間中的移動不激活操縱器裝置的一個或多個功能。響應於對象是未被識別對象並且在用戶控制系統的閾值距離內，退出控制模式。在一些示例中，到用戶控制系統的閾值距離是到控制輸入裝置的閾值距離。
243.圖10是可以與本文描述的一個或多個特徵一起使用的示例主-從系統1000的框圖。系統1000包括主裝置1002，用戶可以操縱主裝置1002以便控制與主裝置1002通信的從裝置1004。在一些實施方式中，主裝置1002可以是本文描述的任何用戶控制系統，或可以包括在本文描述的任何用戶控制系統中。在一些實施方式中，從裝置1004可以是圖1的操縱器系統104，或可以包括在圖1的操縱器系統104中。更一般地，主裝置1002可以是包括可以由用戶物理操縱的控制輸入裝置的任何類型的裝置。主裝置1002生成指示一個或多個控制輸入裝置例如在其自由度中的位置、狀態和/或改變的控制信號c1至cx。主裝置1002還可以生成對向控制單元1010的指示用戶對物理按鈕的選擇和其他操縱的控制信號(未示出)。
244.控制單元1010可以包括在主裝置1002中、在從裝置1004中或在單獨裝置(例如，主裝置1002與從裝置1004之間的中間裝置)中。在一些實施方式中，控制單元1010可以分布在這些裝置中的多個裝置之間。控制單元1010接收控制信號c1至cx並生成致動信號al至ay，致動信號al至ay被發送到從裝置1004。控制單元1010還可以從從裝置1004接收指示各種從部件(例如，操縱器臂元件)的位置、取向、狀態和/或變化的傳感器信號bl至by。控制單元1010可以包括諸如處理器1012、存儲器1014以及分別用於與主裝置1002和從裝置1004通信的接口硬體1016和1018的部件。處理器1012可以執行程序代碼並控制系統1000的基本操作，包括與處理來自對象傳感器和其他傳感器的傳感器數據以及命令如本文描述的模式和部件相關的功能。處理器1012可以包括各種類型的一個或多個處理器，包括微處理器、專用集成電路(asic)和其他電子電路。存儲器1014可以存儲由處理器執行的指令，並且可以包括任何合適的處理器可讀存儲介質，例如隨機存取存儲器(ram)、只讀存儲器(rom)、電可擦除只讀存儲器(eeprom)、快閃記憶體等。各種其他輸入和輸出裝置也可以耦接到控制單元1010，例如(一個或多個)顯示器1020，諸如本文描述的用戶控制系統的顯示裝置。一個或多個傳感器1022可以包括如本文描述的對象傳感器和裝置傳感器、以及檢測操作控制輸入裝置的用戶的存在的其他存在傳感器。傳感器1022可以向控制單元1010提供指示檢測到對象、檢測到裝置移動和/或用戶存在和/或與這種檢測相關的值和參數的信號。
245.在該示例中，控制單元1010包括模式控制模塊1040、控制模式模塊1050和非控制模式模塊1060。其他實施方式可以使用其他模塊，例如力輸出控制模塊、傳感器輸入信號模塊等。在一些實施方式中，模塊1040、1050和1060可以使用處理器1012和存儲器1014(例如，存儲在存儲器1014和/或連接到控制單元1010的其他存儲器或存儲設備中的程序指令)來實施。如本文所使用的，術語「模塊」可以是指硬體(例如，諸如集成電路或其他電路的處理器)和軟體(例如，機器或處理器可執行指令、命令、或諸如固件、編程或目標代碼的代碼)的組合。硬體和軟體的組合可以包括僅硬體(例如，沒有軟體元件的硬體元件)、由硬體託管的軟體(例如，存儲在存儲器處並由處理器或在處理器處執行或解釋的軟體)、或硬體和託管在硬體處的軟體的組合。
246.模式控制模塊1040可以檢測用戶何時啟動系統的控制模式和非控制模式，例如，通過控制的用戶選擇、感測用戶在用戶控制系統或控制輸入裝置處的存在、感測控制輸入
裝置的所需操縱等。模式控制模塊可以基於一個或多個控制信號c1至cx設置控制單元1010的控制模式或非控制模式。
247.在一些實施方式中，控制模式模塊1050可以用於控制控制單元1010的控制模式。控制模式模塊1050可以接收控制信號c1至cx，並且可以生成致動信號al至ay，該致動信號al至ay控制從裝置1004的致動器並導致對應的部件跟隨主裝置1002的移動，例如，使得從裝置1004的移動對應於主裝置1002的移動的映射。控制模式模塊1050還可以用於控制主裝置1002的控制輸入裝置上的力，例如，使用輸出到(一個或多個)致動器的一個或多個控制信號d1至dx在控制輸入裝置的一個或多個部件上輸出的力，所述(一個或多個)致動器用於將力施加到部件，例如，在制輸入裝置的旋轉自由度上施加到控制輸入裝置的抓握構件，施加在耦接到控制輸入裝置的臂連杆上等。在一些示例中，控制信號d1至dx可以用於提供力反饋、重力補償等。
248.在一些實施方式中，非控制模式模塊1060可以用於控制系統1000的非控制模式。在非控制模式中，主裝置1002的在一個或多個自由度上的移動或主裝置1002的其他操縱對從裝置1004的一個或多個部件的移動沒有影響。在一些實施方式中，非控制模式可以包括控制單元1010的一個或多個其他操作模式。例如，選擇模式允許控制輸入裝置在其一個或多個自由度中的移動和/或控制輸入裝置的控制開關的選擇，以控制例如在由顯示器1020和/或其他顯示裝置顯示的圖形用戶界面中顯示的選項的選擇。觀察模式可以允許控制輸入裝置的移動以控制從可以不包括在從裝置1004中的相機提供的顯示，或可以允許可以不包括在從裝置1004中的相機的移動。控制信號c1至cx可以被非控制模式模塊1060用於控制這樣的元件(例如，光標、視圖等)，並且控制信號d1至dx可以被非控制模式模塊確定為在這種非控制模式期間導致控制輸入裝置上的力的輸出，例如，以向用戶指示在這種的模式期間發生的交互或事件。
249.本文描述的實施方式(例如，方法900)可以至少部分地由可以在計算機上執行的電腦程式指令或代碼來實施。例如，代碼可以由一個或多個數字處理器(例如，微處理器或其他處理電路)來實施。指令可以被存儲在包括非臨時性計算機可讀介質(例如，存儲介質)的電腦程式產品上，並且計算機可讀介質可以包括磁、光學、電磁或半導體存儲介質，包括半導體或固態存儲器、磁帶、可移動計算機磁碟、隨機存取存儲器(ram)、只讀存儲器(rom)、快閃記憶體、剛性磁碟、光碟、存儲卡、固態存儲器驅動器等。介質可以是或被包括在連接到提供數據和可執行指令的下載的網絡(諸如網際網路)的伺服器或其他裝置中。替代地，實施方式可以在硬體(邏輯門等)中、或在硬體和軟體的組合中。示例硬體可以是可編程處理器(例如，現場可編程門陣列(fpga)、複雜可編程邏輯器件)、通用處理器、圖形處理器、專用集成電路(asic)等。
250.本公開中描述的功能框、操作、特徵、方法、裝置和系統可以集成或分成系統、裝置和功能框的不同組合。
251.儘管已經根據所示的示例描述了本實施方式，但是可以存在對實施方式的改變，並且那些改變在本公開的精神和範圍內。因此，可以在不脫離所附權利要求的精神和範圍的情況下進行許多修改。