用於確定虛擬環境中的虛擬機器人的配置的方法和系統與流程
2023-06-08 18:44:26
其它申請的交叉引用
本申請具有與共同受讓的美國專利申請第14/866,329號的名稱為「methodandsystemforpositioningavirtualobjectinavirtualsimulationenvironment」共同的某一個主題，而在其它方面卻未必相關，該美國專利申請與本專利文件在同一天被提交，其通過引用併入本文。
本公開總體涉及計算機輔助設計可視化製造(「cad」)系統、產品生命周期管理(「plm」)系統、產品數據管理(「pdm」)系統以及管理產品和其它項目的數據的類似系統(統稱為「產品數據管理」系統或pdm系統)。
背景技術：
通常，由於機撲加工單元(roboticcell)包括在動態工業環境中與一個或多個機器人交互的其它設備件，所以為了在工業設施中設計和規劃機撲加工單元，需要各種信息。
機撲加工(robotic)程序的規劃是重要的，以防止在機撲加工過程期間，機器人與任何周圍的設備件之間的不期望的碰撞，儘管同時也需要確保完成製造任務，並且滿足期望的製造要求。
為了應對這樣的挑戰，為了優化和安全的目的，在虛擬環境中創建了機撲加工過程的三維(3d)仿真。機撲加工仿真可以有利地使得能夠提前通知可能的棘手問題，以使工業環境提供更安全的工作場所。
在虛擬環境中，通常具有以下共同要求：在虛擬場景中的虛擬機器人的姿態準確地反映真實工業場景中的真實機器人的姿態。
通常，在本領域中，術語對象的「姿態」被理解為指代該對象的位置和取向。通常，機器人示意性地被限定為具有基部連杆(或者簡單地說具有基部)以及一組連杆和接頭。如本文所使用的那樣，術語機器人的「姿態」被限定為包括機器人的所有連杆和接頭的所有位置和取向的描述。如本文所使用的那樣，機器人的配置是機器人的姿勢，即機器人除了基部連杆之外的所有連杆和接頭的所有位置和取向的描述。因此，如本文所使用的那樣，機器人姿態既包括機器人配置，也包括機器人基部的位置和取向。
在虛擬環境中，示教機器人行為的任務是困難的任務。具體地，在規劃工業過程中，確定一個或多個虛擬機器人的姿態應該在虛擬環境中呈什麼樣子是困難的任務。在工業場景(其中一個或多個機器人在包括幾個設備件的動態工業環境中操作)中，這樣的任務甚至變得更加棘手。
通常，通過兩種主要技術來執行工業機器人的編程。第一技術是經由示教器來直接控制機器人運動。其中，示教器使用的缺點(包括使用的複雜性和緩慢)通常涉及一些繁瑣的交互。例如，碎片化的工作需要具有真實場景的設備件如輸送機，其可能需要針對每個單個的機器人姿勢而短期被調用。遺憾的是，這樣的複雜的交互限制了經由仿真來獲得便利的機器人路徑優化的機會。
第二技術是直接在虛擬環境中限定相關的機器人姿態。通常，這種技術利用由離線機器人編程(olp)所提供的工具。例如，在虛擬環境中，限定相關的機器人偏轉點和抓取位置，以執行所需的機撲加工路徑的軟體評估，從而達到這樣的相關姿態。通常，通過使用滑鼠、鍵盤以及其它常規人機界面(hmi)而使用常規cad工具和類cad工具來執行這樣的任務，以便將機器人設定在給定的期望的姿態中。其中，第二技術的缺點是，常規hmi裝置不是為了這個目的而設計的，使得常規hmi裝置的使用是麻煩的。另一缺點在於：真實場景與其在虛擬環境的虛擬場景中的映像之間所存在的差距。
此外，這樣的技術對於用戶而言是繁瑣的、容易出錯的，並且可能需要使用各種工具或人機互動來進行多次反覆，這使得這樣的技術不適於任務。
因此，需要改進的技術。
技術實現要素：
各個公開實施例包括用於確定虛擬環境中的虛擬機器人的配置的方法和相應的系統以及計算機可讀介質。方法包括：接收3d攝像機在真實場景中的定位；以及在虛擬環境中註冊3d攝像機。接收真實場景中的採用特定配置的至少一個真實機器人的定位。3d攝像機捕捉被定位在真實場景中的至少一個真實機器人的至少一個3d圖像。方法還包括從至少一個捕捉到的3d圖像中識別至少一個真實機器人。方法進一步包括：將至少一個識別出的真實機器人連結到其相應的虛擬機器人；以及提取至少一個識別出的真實機器人在真實場景中的特定配置的配置數據。此外，方法包括：根據提取到的配置數據來確定虛擬環境中的虛擬機器人的特定虛擬配置，該特定虛擬配置反映真實場景中的相應真實機器人的配置。
上述內容已經相當廣地概述了本公開的特徵和技術優點，以便本領域的技術人員可以更好地理解以下詳細描述。以下將描述本公開的形成權利要求的主題的另外的特徵和優點。本領域的技術人員將意識到的是，他們可以很容易地使用所公開的概念和具體實施例作為基礎，以修改或設計用於實現本公開的相同目的的其它結構。同樣，本領域的技術人員將意識到的是，這樣的等同結構沒有背離本公開以其最廣泛形式的精神和範圍。
在進行以下的具體實施方式之前，對以下貫穿本專利文件使用的某些詞或短語的定義進行說明是有利的：術語「包括」和「包含」及其衍生詞提供了包括但不限於；術語「或」是包括性的(例如和/或)；短語「相關聯」和「與其相關聯」及其衍生詞可以是包括、被包含在之內、互相連接、包含、被包含在之內、連接到或連接有、耦接到或耦接有、可通信、協作、交錯、並置、接近於、被綁定到/有、具有、具有屬性等；以及術語「控制器」是控制至少一個操作的任何裝置、系統及其部件，無論這樣的裝置是以硬體、固件、軟體還是其中至少兩個的組合的方式來實現。應該注意的是，無論是本地還是遠程，與任何特定控制器相關聯的功能可以是集中式或分布式的。貫穿本專利文件提供了某些詞和短語的定義，並且本領域的技術人員將理解的是，在許多(如果不是大多數)情況下，這樣的定義應用於這樣定義的詞和短語的在先使用以及未來使用。雖然一些術語可以包括各種各樣的實施例，但是所附權利要求可以將這些術語清楚地限制到具體實施例。
附圖說明
為了更加完全地理解本公開及其優點，現在結合附圖來對以下描述進行參考，其中相同的附圖標記表示相同的對象，並且在附圖中：
圖1圖示了可以實現實施例的數據處理系統的框圖；
圖2圖示了根據公開實施例的虛擬環境中的虛擬機器人的反映真實機器人的配置的示意圖；以及
圖3圖示了根據公開實施例的用於確定虛擬環境中的虛擬機器人的配置的過程的流程圖。
具體實施方式
在本專利文件中，下面所討論的圖1至圖3以及用來描述本公開的原理的各個實施例是僅通過說明的方式，而不應該被解釋為以任何方式限制本公開的範圍。本領域的技術人員將理解的是，可以採用任何適當布置的裝置來實現本公開的原理。將參考示例性的非限制性實施例來描述本申請的眾多創新性教導。
用於在工業場景中確定虛擬機器人的虛擬配置的現有技術是繁瑣的、乏味的、容易出錯的且另外不適於任務的。
實施例提供了許多益處，包括但不限於：提供用戶友好的方式，以用於對仿真環境的虛擬場景進行建模或者用於執行仿真環境的虛擬場景的修改；以直觀的方式使得能夠用戶友好地控制機器人的配置，以便如在真實世界中那樣完成工業仿真和規劃；使得在包括虛擬環境和真實機器人的混合的真實-虛擬環境中用戶友好的使用成為可能，真實機器人可以在虛擬生產場景下被手動地示教；以及對於非專業用戶而言，促進了工業機器人仿真優化軟體包(如由西門子產品生命周期管理軟體公司(德克薩斯州普萊諾市)提供的processsimulateandrobotexpert(過程仿真和機器人專家))在車間的使用，以便對正在進行的生產仿真執行虛擬仿真。非專家用戶將特別受益於用戶友好的軟體機器人仿真優化軟體包的情況的示例是操縱以及拾取與放置的工業空間。
實施例可以特別有益地用於結合3d機撲加工單元設計的軟體包，其包括但不限於：processsimulateandrobotexpert以及由西門子產品生命周期管理軟體公司(德克薩斯州普萊諾市)提供的其它軟體包或者由其它軟體供應商提供的軟體包。
即使在真實測試場景(其中其它真實設備件和真實的周圍生產環境沒有存在於真實世界中，而是反而存在於虛擬世界中)中，實施例也使得對在虛擬生產場景(其具有其它周圍的虛擬設備件)中示教虛擬機器人成為可能。
在其它實施例中，例如在周圍設備件不起作用的場景下，可以有利地安全完成機器人示教，因為在真實場景下，僅真實機器人被移動，而真實設備件未被移動。
圖1圖示了數據處理系統100的框圖，在數據處理系統100中，實施例可以例如被實現為由軟體或以其它方式所具體配置的pdm系統以如本文所描述的那樣執行過程，並且具體地，被實現為多個互連通信系統中的每一個以如本文所描述的那樣執行過程。圖示的數據處理系統100可以包括：處理器102，其連接到二級高速緩衝存儲器/橋接器104，二級高速緩衝存儲器/橋接器104繼而連接到本地系統總線106。例如，本地系統總線106可以是外圍部件互連(pci)架構總線。同樣，在圖示示例中，主存儲器108和圖形適配器110連接到本地系統總線。圖形適配器110可以連接到顯示器111。
同樣，其它外圍設備(如區域網(lan)/廣域網/無線(如wifi)適配器112)可以連接到本地系統總線106。擴展總線接口114將本地系統總線106連接到輸入/輸出(i/o)總線116。i/o總線116連接到鍵盤/滑鼠適配器118、磁碟控制器120以及i/o適配器122。磁碟控制器120可以連接到儲存器126，存儲器126可以是任何適當的機器可用存儲介質或機器可讀存儲介質，包括但不限於非易失性硬編碼型介質(如只讀存儲器(rom))或可擦除可電編程只讀存儲器(eeprom)、磁帶儲存器以及用戶可記錄型介質(如軟盤、硬碟驅動器和緊緻盤只讀存儲器(cd-rom)或數字通用盤(dvd))以及其它已知的光存儲裝置、電存儲裝置或磁存儲裝置。
同樣，在示出的示例中，音頻適配器124連接到i/o總線116，揚聲器(未示出)可以連接到音頻適配器124以播放聲音。鍵盤/滑鼠適配器118對於指點裝置(如滑鼠、軌跡球、道指示器、觸控螢幕等)(未示出)提供連接。
本領域的技術人員將意識到的是，圖1中所圖示的硬體可以因具體實現而變化。例如，也可以另外使用其它外圍裝置(如光碟驅動器等)或者用其來代替圖示的硬體。圖示的示例僅為了說明的目的而被提供，而並不意味著對於本公開的架構限制。
根據本公開的實施例的數據處理系統可以包括採用圖形用戶界面的作業系統。作業系統允許在圖形用戶界面中同時提供多個顯示窗口，其中每個顯示窗口對不同應用程式或者同一應用程式的不同實例提供到界面。用戶可以通過指點裝置來操作圖形用戶界面中的光標。可以改變光標的位置和/或生成的事件如點擊滑鼠按鈕，以觸發期望的響應。
可以在適當地被修改的情況下採用各種商業作業系統如版本為microsoftwindowstm(位於華盛頓州雷蒙德市的微軟公司的產品)中的一種。根據本公開所描述的那樣來修改或創建作業系統。
lan/wan/無線適配器112可以連接到網絡130(不是數據處理系統100的一部分)，網絡130可以是任何公共的或私人的數據處理系統網絡或者是包括網際網路的本領域的技術人員已知的網絡的組合。數據處理系統100可以通過網絡130與伺服器系統140進行通信，伺服器系統140也不是數據處理系統100的一部分，而是可以例如被實現為單獨的數據處理系統100。
圖2圖示了根據公開實施例的虛擬環境中的虛擬機器人的反映真實機器人的配置的示意圖。
通過軟體包來提供和控制機撲加工單元的通常包括一組機器人和一組其它工業設備件的虛擬環境。這樣的軟體包的示例包括但不限於olp編程軟體包和/或機器人仿真軟體包。
在虛擬環境204中，虛擬機器人202是可用的。虛擬環境204的虛擬場景已經布置有反映真實環境205的一個或多個真實機器人203的一個或多個虛擬機器人202。這樣的機器人中的至少一個被3d攝像機201所捕捉。
真實機器人203具有基部連杆208、連杆206和接頭207。可以通過使真實機器人的連杆206和/或接頭207運動來改變真實機器人的配置。有利地，可以通過用戶的手210來手動改變機器人配置，以便可以經由物理機器人引導來便利地實現機器人編程。
如圖2所示，虛擬環境204中的虛擬機器人202的配置反映了相應的真實機器人203的配置。本領域的技術人員認識到的是，在一些實施例中，與虛擬機器人202的相應的真實機器人203相比，虛擬機器人202可以具有基部連杆在虛擬環境中的不同位置和取向，同時仍然共有相同的配置。可以便利地確定機器人基部的位置和取向，以配合虛擬環境場景的特定布置。
在一些實施例中，可以對虛擬機器人的確定的虛擬姿態進行至少一次調整，以便獲得虛擬機器人的調整後的虛擬姿態。可以為了各種原因來完成對虛擬機器人的調整後的虛擬姿態的調整。例如，環境的虛擬場景可以布置有多個其它設備件209(包括其它機器人(未示出))；對機器人虛擬姿態的調整可以防止與周圍設備件的碰撞和不期望的接近。調整的其它原因可以包括3d攝像機的低解析度、經由少量的碰撞檢查所確定的連杆位置差異、要被附接到機器人的工具的目標定位的優化、節能以及其它相關工業微調。
當確定至少兩個機器人姿態時，在考慮到一組限定的約束條件的情況下，機器人軟體可以有利地計算姿態之間的機撲加工路徑。
要注意的是，在圖2的示例性實施例中，圖示了在真實場景中具有獨立的真實機器人203而周圍沒有任何設備件的情況，同時要注意的是，相應的虛擬機器人203被其它設備件209圍繞。虛擬場景可以包括各種設備件，以反映期望的工業設施；同時可以為了示教和編程的目的而將真實機器人207作為獨立的機器人放置在真實場景中的3d攝像機201的範圍中。
在其它實施例中，可以將真實機器人207與周圍的其它設備件一起放置在真實場景中的3d攝像機範圍中。
以上兩個替代方案之間的選擇取決於：完整的真實場景(具有被圍繞有所有真實設備件的真實機器人)是否已經被設定和是否可用，或者替代地，只有作為獨立式的真實機器人是可用的。在後者的情況下，為了工業場景(其位於不同位置中或還未被設定)的機器人編程和仿真目的，可以將圍繞虛擬機器人的虛擬設備件便利地添加到虛擬機撲加工單元。
在其它實施例中，多個不同的真實機器人207可以同時被3d攝像機201捕捉，並且因此被識別。針對可用於虛擬環境的一組虛擬機器人202，相應的一組3d虛擬模型被設置在系統內。3d虛擬模型的示例包括但不限於cad模型、類cad模型、點雲模型、3d計算機模型及其它。可以從各種不同的源來提供所述組3d虛擬模型，所述各種不同的源包括但不限於：虛擬仿真環境；通過點雲掃描、通過2d圖像掃描、機械掃描、手動建模而連接到虛擬仿真環境的cad軟體、cad庫；以及其它源。cad模型是特定類型的3d虛擬模型；並且在圖2所圖示的示例性實施例中，可以由cad模型來對虛擬機器人202進行建模。
3d攝像機201位於真實場景中，並且在虛擬世界中被註冊，以便例如通過在虛擬場景中限定3d攝像機的位置和取向來提供一致的偏移。在3d攝像機201已經捕捉到真實機器人203的至少一個3d圖像之後，識別真實機器人203。識別出的真實機器人203被連結到相應的虛擬機器人202。如本文所使用的那樣，為了簡單起見，術語「3d圖像」用來表示來自3d攝像機的一組幀或幀流。
在一些實施例中，真實機器人203與相應的虛擬機器人202之間的連結可以適於由用戶手動完成。在其它實施例中，可以經由挑選(picking)而通過自動識別來完成連結。在這樣的後者情況下，軟體能夠將3d攝像機圖像連結到具有給定3d掃描的特定虛擬機器人202。
在一些實施例中，可以從現有的cad庫中獲得有關cad模型。通過提取真實場景中的真實機器人203的配置數據，根據相應的真實機器人203來校準虛擬機器人202，以便虛擬機器人202具有反映真實場景205中的相應真實機器人203的真實配置的虛擬配置。
圖3圖示了根據公開實施例的用於確定虛擬環境中的虛擬機器人的配置的過程的流程圖300。例如，可以通過上述圖1的系統100來執行這樣的過程。此外，以下過程中的「系統」可以是被配置成執行所描述的過程的任何設備。
虛擬環境包括反映真實環境的真實場景的虛擬場景。設置了表示至少一個真實機器人的至少一個虛擬機器人，並且這樣的虛擬機器人由3d虛擬模型來限定。
在動作305處，接收3d攝像機在真實場景中的定位。
在動作310處，為了校準的目的，在虛擬環境中註冊3d攝像機。
在動作315處，接收至少一個真實機器人在真實場景中的採用特定配置的定位。
在動作320處，3d攝像機捕捉在真實場景中被定位的至少一個真實對象的至少一個3d圖像。
在動作325處，從至少一個捕捉到的3d圖像中來識別至少一個真實機器人。
在動作330處，將至少一個識別出的真實機器人連結到其相應的虛擬機器人。
在動作335處，提取至少一個識別出的真實機器人在真實場景中的特定配置的配置數據。
在動作340處，通過使用提取到的配置數據，確定虛擬環境中的虛擬機器人(反映真實場景中的相應真實對象的特定配置特定虛擬配置的)的特定虛擬配置。
在一些實施例中，可以基於確定的虛擬配置而將虛擬機器人以確定的虛擬姿態定位在虛擬環境中。
在一些實施例中，對虛擬機器人的確定的虛擬姿態進行一次或多次調整，以便確定虛擬機器人的調整後的虛擬姿態。
在一些實施例中，真實機器人可以接收以(反映虛擬機器人的確定的調整後的虛擬姿態的)調整後的真實配置的定位，以便可以有利地設置從虛擬世界到真實世界的反饋。例如，可以通過物理地指示機器人操作手來執行對虛擬世界修改的響應，以響應於機器人配置變化和/或響應於設備配置變化。
因此，可以基於虛擬調整向真實機器人示教調整後的配置，虛擬調整可以根據請求通過軟體而被自動地完成。
在一些實施例中，接收識別出的真實機器人的配置的定位的變化，並且重新確定相應的連結的虛擬機器人的特定第二虛擬配置，以便通過相應地重複動作320、335和340來反映真實機器人的不同配置。通過這樣的實施例，可以有利地提供動態更新。
處理器102、存儲器108以及運行在處理器102上的仿真程序中的一個或多個經由以下項中的一個或多個來接收輸入：本地系統總線106、適配器112、網絡130、伺服器140、接口114、i/o總線116、磁碟控制器120、儲存器126等。如本文所使用的那樣，接收可以包括從儲存器126中檢索、從另一裝置或過程中接收、經由與用戶的交互來接收或者另外的方式。
當然，本領域的技術人員將認識到的是，除非操作的順序明確指示或要求，否則上述過程中的某些動作可以被省略、並行地或順序地被執行或者以不同的次序被執行。
本領域的技術人員將認識到的是，為了簡單和清楚，本文不會說明或描述適於與本公開一起使用的所有數據處理系統的完整的結構和操作。反而，僅說明和描述了對於本公開而言是唯一的或者對於本公開的理解而言是必要的如此多的數據處理系統。數據處理系統100的結構和操作的其餘部分可以符合本領域中任何已知的各種現有的實現和實踐。
重要的是要注意：雖然本公開包括功能完備的系統的上下文中的描述，但是本領域的技術人員將意識到的是，本公開的機構的至少多個部分能夠以(被包含在以任何各種形式的機器可用介質、計算機可用介質或者計算機可讀介質之內的)指令的形式被分布，並且本公開同樣地適用於實際地執行分布，而無論是特定類型的指令還是所使用的信號承載介質或存儲介質。機器可用/可讀介質或計算機可用/可讀介質的示例包括非易失性硬編碼型介質(如只讀存儲器(rom)或可擦除可電編程只讀存儲器(eeprom))以及用戶可記錄型介質(如軟盤、硬碟以及緊緻盤只讀存儲器(cd-rom)或數字通用盤(dvd))。
雖然已經詳細描述了本公開的示例性實施例，但是本領域的技術人員將理解的是，在不背離本公開以其最廣泛的形式的精神和範圍的情況下，可以進行本文所公開的各種改變、替換、變化和改進。
本申請中的描述決不應該被理解為意味著任何具體元素、動作或功能是必需包括在權利要求範圍內的基本元素，授權主題的範圍僅由所允許的權利要求來限定。