動作教導系統以及動作教導方法

2024-04-09 08:30:05

專利名稱：動作教導系統以及動作教導方法
技術領域：
本發明涉及用於對進行工件握持的機器人進行動作教導的動作教導系統以及動 作教導方法。
背景技術：
研究開發有以下的方法(例如，參考專利文獻4)預先給機器人提供工件形狀模 型，並使機器人自主地識別存在於作業空間中的工件、並使機器人自動地執行工件握持。然 而，對於這樣的基於模型的方法，雖然在工件種類有限的作業空間中可以實現，但是實際上 難以適用於在例如日常生活環境這樣的條件複雜的實際環境中。另一方面，還公知有操作員對機器人進行動作的教導的技術(例如、參照專利文 獻1 3)。專利文獻1 3公開了操作員使用具有圖形顯示功能的動作教導裝置對機器人 進行動作教導的技術。專利文獻1所公開的發明是由本發明的發明人作出的。該發明涉及使用具有二維 顯示器的動作教導裝置來教導機器人在三維空間中動作的動作教導裝置。該動作教導裝置 可以適用於當使機器人對形狀以及作業空間中的三維位置未知的工件進行握持的情況。使 用該動作教導裝置對機器人的教導如下進行。首先，將拍攝了包含有工件的機器人的作業空間的拍攝圖像顯示在二維顯示器 上。操作員看著顯示有拍攝圖像的二維顯示器通過滑鼠或觸摸面板等輸入裝置、利用在 CAD (Computer Aided Design，計算機輔助設計)中所使用的參數化建模方法等來在顯示器 的表示面上製作幾何要素的圖。具體來說，為了對工件的形狀進行建模，操作員在畫面上對 模型的位置、姿勢以及形狀的參數進行調整，使其與工件的圖像一致，並且以工件的模型的 重心位置的坐標係為基準，設定為了使得容易握持工件而根據需要進行了平移以及旋轉的 坐標系。通過使這樣設定的坐標系與設置在機器臂末端的工件握持用的末端執行器的坐標 系(以下、稱作工具坐標系)相匹配，可以使機器人執行工件的握持。通過雷射測距儀、立 體照相機等測距裝置來測量由操作員描繪的點或幾何要素的三維位置。專利文獻2公開了一種動作教導裝置，所述動作教導裝置具有存儲設置在機器臂 末端的末端執行器形狀的形狀模型的存儲裝置、以及顯示末端執行器形狀的顯示器。該動 作教導裝置進行如下操作(1)在顯示有末端執行器形狀的顯示器畫面上接受由操作員對 末端執行器上的點的指定，⑵計算被指定的點的三維位置，⑶接受由操作員進行的以被 指定的點為中心的姿勢變更的輸入，(4)基於被指定的點的三維位置、以及接受的姿勢變更 來調節末端執行器的姿勢。即，專利文獻2的動作教導裝置通過圖形顯示對操作員輸入位 置以及形狀已知的末端執行器的姿勢變更的操作進行輔助。然而，專利文獻2的動作教導 裝置並不是用於教導機器人對形狀以及三維位置未知的工件進行操作的裝置。專利文獻3公開了一種動作教導裝置，其用於使用圖形顯示器來對機器人教導形 狀以及三維位置已知的工件的操作點。例如，在將汽車的車身作為工件的情況下，該動作教 導裝置用於教導車身上的焊接操作點。專利文獻3的動作教導裝置除了具有圖形顯示器之外還具有存儲裝置。存儲裝置基於作為機器人和工件的共同坐標系的全局坐標系來存儲有 近似為多面體的工件的形狀數據。該動作教導裝置對存儲裝置進行訪問，並使圖形顯示器 對工件形狀進行二維顯示，在表示畫面上接受關於工件的操作面以及操作點的操作員的指 定。並且，該動作教導裝置在圖形顯示器上重疊顯示機器人姿勢，並在接受了由操作員進行 的機器人姿勢的修正之後，確定機器人姿勢，並將確定了的姿勢變換成機器人坐標系而對 機器人進行教導。專利文獻1 日文專利文件特開2003-256025號公報；專利文獻2 日文專利文件特開2005-111618號公報；專利文獻3 日文專利文件特開平1-283603號公報；
專利文獻4 日文專利文件特開2004-333422號公報。

發明內容
如上所述，在用於教導機器人對形狀以及三維位置未知的工件的操作的專利文獻 1所公開的動作教導裝置中，通過操作員看著二維顯示器進行使用於CAD的三維製圖操作， 可以對機器人進行教導。然而，為了進行使用於CAD的三維製圖操作，需要操作員對操作熟 練，而對於不具有CAD製圖技術的一般用戶難以說是容易的。本發明是基於上述的見解而進行的，並且其目的在於提供一種通過操作員的直觀 且簡單的輸入操作就可以對機器人教導對於形狀以及三維位置未知的工件的握持動作的 動作教導系統以及動作教導方法。本發明的第一實施方式是一種動作教導系統，所述動作教導系統用於對機器人進 行握持動作的教導，所述機器人具有機器臂，所述機器臂包含用於握持工件的機器手。該動 作教導系統包括成像裝置、測量直到對象物體為止的距離的測距裝置、顯示裝置、接受由 操作員進行的輸入操作的輸入裝置、對於多個基礎形狀模型中的每一個記錄了所述機器手 能夠適用的至少一個握持模式的資料庫。並且，該動作教導系統還包括拍攝圖像顯示單 元、識別區域指定單元、基礎形狀模型指定單元、擬合單元、以及握持模式選擇單元。所述拍攝圖像顯示單元使所述顯示裝置顯示通過所述成像裝置獲取的包含所述 工件在內的作業空間的拍攝圖像。所述識別區域指定單元將用於指定使所述機器手握持的所述工件中的部位的操 作作為在所述顯示裝置所顯示的所述工件的像上利用所述輸入裝置二維地指定包含所述 部位在內的識別區域的操作來接受。所述基礎形狀模型指定單元經由所述輸入裝置接受從所述多個基礎形狀模型中 指定與所述部位相符合的基礎形狀模型的操作。所述擬合單元將由所述操作員指定的基礎形狀模型擬合到與利用所述測距裝置 獲取的所述識別區域相當的空間的三維位置數據。所述握持模式選擇單元基於由所述操作員指定的基礎形狀模型以及由所述擬合 單元進行的擬合結果，檢索所述資料庫，由此選擇能夠適用於所述工件的握持的至少一個 握持模式。另外，本發明的第二實施方式是一種動作教導方法，所述動作教導方法用於對機 器人進行握持動作的教導，所述機器人具有機器臂，所述機器臂包含用於握持工件的機器手，所述動作教導方法包括以下步驟(a) (e)。使顯示裝置顯示包含所述工件在內的作業空間的拍攝圖像的步驟(a)； 將用於指定使所述機器手握持的所述工件中的部位的操作作為在所述顯示裝置 所顯示的所述工件的像上二維地指定包含所述部位在內的識別區域的操作來接受的步驟 (b)；接受從所述多個基礎形狀模型中指定與所述部位相符合的基礎形狀模型的操作 的步驟(C)；將在所述步驟(C)中被指定的基礎形狀模型擬合到與利用測距裝置獲取的所述 識別區域相當的空間的三維位置數據的步驟(d)；以及基於由在所述步驟(C)中指定的基礎形狀模型以及在所述步驟(d)中的擬合結 果來檢索資料庫，由此選擇能夠適用於所述工件的握持的至少一個握持模式的步驟(e)，其 中，在所述資料庫中，對於多個基礎形狀模型中的每一個記錄了所述機器手能夠適用的至 少一個握持模式。根據上述的本發明的第一和第二實施方式，操作員通過在被顯示在顯示裝置上的 拍攝圖像中二維指定識別區域的操作和選擇與識別區域相符合的基礎形狀模型的操作，能 夠直觀地確定工件的握持部位。另外，本發明的第一和第二實施方式由於使用將基礎形狀 模型和能夠適用於它的握持模式相關聯起來的資料庫，因此能夠將合適的握持模式的候選 提示給操作員。因此，操作員不需要逐一詳細指定機器手的位置和姿勢、以及機器臂所具有 的手指的配置等，就能夠將握持方法教導給機器人。另外，上述的本發明的第一實施方式中的動作教導系統，還可以包括握持模式顯 示單元和握持模式決定單元。所述握持模式顯示單元使顯示裝置顯示通過所述握持模式選 擇單元選擇了的所述至少一個握持模式。另外，所述握持模式決定單元基於所述握持模式 顯示單元所生成的顯示內容，接受由所述操作員進行的、用於選擇使所述機器人執行的最 終握持模式的操作，並接受由所述操作員進行的、用於調整對於所述最終握持模式所餘下 的自由度的操作。並且，所述握持模式顯示單元也可以將表示所述至少一個握持模式的所述機器手 的模型圖像與所述拍攝圖像重疊顯示。另外，所述握持模式決定單元也可以通過在所述顯 示裝置的顯示畫面內對於所述模型圖像的拖曳操作來接受由所述操作員進行的所述自由 度的調整操作，並基於在進行所述拖曳操作之後的所述模型圖像在所述顯示畫面內的位置 以及姿勢來決定所述自由度的調整値。通過這樣的結構，操作員能夠通過簡單的拖曳操作 來決定合適的握持模式，並對機器人進行教導。另外，在上述的本發明的第一實施方式中，所述握持模式選擇單元還可以利用使 用所述測距裝置來獲取的所述識別區域周辺的三維位置數據來判斷根據所述至少一個握 持模式的所述機器臂的軌跡和所述工件周圍的障礙物之間的幹擾，並基於該判斷結果進行 握持模式的刪減。由此，能夠獲得避免了與工件周圍的障礙物的幹擾的更加合適的握持方 法。根據本發明，能夠提供通過由操作員進行的直觀且簡單的輸入操作，能夠對機器 人進行對於形狀和三維位置未知的工件的握持動作的教導的動作教導系統以及動作教導 方法。


圖1是示出本發明的實施方式1中的動作教導系統的整體結構的框圖；圖2是表示通過本發明的實施方式1中的動作教導系統進行的對機器人1的握持 動作的教導順序的流程圖；圖3的(a)是表示顯示在顯示裝置的包含工件在內的拍攝圖像的一個示例的圖， 圖3的(b) (d)表示在顯示畫面上指定識別區域的示例的圖；圖4是表示用於選擇基礎形狀模型的圖標列表的示例的圖；圖5是用於說明與識別區域相關的三維位置數據的獲取的概念圖；圖6是用於說明對於三維位置數據的基礎形狀模型的擬合結果的概念圖； 圖7是表示作為基礎形狀模型的一個例子的圓筒模型及其形狀參數的圖；圖8本發明的實施方式1中的動作教導系統所具有的資料庫的構成示例的圖；圖9本發明的實施方式1中的動作教導系統所具有的資料庫的構成示例的圖；圖IOA是表示將基礎形狀模型和握持模式與包含工件在內的拍攝圖像重疊顯示 了的顯示裝置的畫面的例子的圖；圖IOB是表示將基礎形狀模型和握持模式與包含工件在內的拍攝圖像重疊顯示 了的顯示裝置的畫面的例子的圖；圖IlA是表示用於調整握持模式的自由度的顯示裝置的畫面的例子的圖；圖IlB是表示用於調整握持模式的自由度的顯示裝置的畫面的例子的圖；圖IlC是表示用於調整握持模式的自由度的顯示裝置的畫面的例子的圖。標號說明1機器人10機器臂11 機器手(hand)12成像裝置13測距裝置14通信部15資料庫2教導終端20通信部21顯示裝置22輸入裝置23控制部30工件像3I 33識別區域40圖標列表41 44 圖標50三維位置數據90 工件
60基礎形狀模型70圓筒模型83機器手模型84定點器RF旋轉自由度TF平移自由度
具體實施例方式以下，參照附圖詳細說明應用了本發明的具體的實施方式。在各附圖中，對於相同 要素標註了相同符號，並且為了使說明明確，而根據需要省略了重複說明。實施方式1:圖1是示出本實施方式中的動作教導系統的整體結構的框圖。本實施方式的動作 教導系統包括執行工件90的握持動作的機器人1、以及用於對機器人1進行握持動作的 教導的教導終端2。以下、說明機器人1以及教導終端2的結構。圖1所示的機器人1具有由通過關節相互連接的多個連杆(link)構成的多關節 的機器臂10。在機器臂10的末端部分設置有用於握持工件90的機器手11。成像裝置12拍攝放置有機器人1以及工件90的作業空間並獲取拍攝圖像。如 後所述，由成像裝置12獲取的拍攝圖像被輸出到教導終端2的顯示畫面上，並被提示給 操作員。因此，例如，成像裝置12可以是具備了在可視光區域具有感光度的(XD(Charge Coupled Device，電荷耦合元件)圖像傳感器或者 CMOS (Complementary Metal Oxide Semiconductor,互補金屬氧化物半導體)圖像傳感器等的成像元件的相機。測距裝置13計算直到作業空間中的對象物體為止的距離。測距裝置13的測量原 理並沒有特別的限定，可以使用公知的各種技術。例如，作為測距裝置13使用雷射測距儀、 光投影立體測距裝置、或者立體照相機等即可。如在測距裝置13為立體照相機的情況那 樣，在能夠由測距裝置13進行成像的情況下，也可以採用將1臺裝置兼作成像裝置12以及 測距裝置13的結構。通信部14與教導終端2側的通信部20之間傳送關於由成像裝置12獲取的拍攝 圖像以及其他的動作教導的信息。通信部14的通信方式使用公知的無線通信方式或者 有線通信方式即可。另外，通信部14和通信部20之間也沒有必要直接連接，也可以經由 LAN (Local Area Network，區域網)、網際網路、可攜式電話通信網等來進行連接。資料庫15是將多個基礎形狀模型和多個握持模式相關聯起來進行了存儲的資料庫。其中，所謂的握持模式是指記錄了包含機器手11所具有的手指的位置以及姿勢在內的 動作模式的數據。另外，基礎形狀模型是指例如，圓柱、四稜柱、圓筒等三維幾何要素模型。 如後所述，基礎形狀模型作為工件90的握持部位的形狀候選而被提示給使用教導終端2的 操作員。例如，通過指定某1個基礎形狀模型來檢索資料庫15，能夠知道可以適用的至少1 個握持模式。相反地，通過指定某1個基礎形狀模型來檢索資料庫15，能夠知道可以適用該 握持模式的至少1個基礎形狀模型。對於資料庫15的數據結構示例、動作模式以及基礎形 狀模型的具體例子，將在後面敘述。控制部16除了機器臂10以及機器手11的動作控制之外，還與教導終端2協作而執行與對機器人ι的握持動作的教導相關的控制以及數據處理。具體來說，控制部16執行 成像裝置12的拍攝控制、測距裝置13的測量控制、使用了通信部14的數據收發、對資料庫 15的訪問、由測距裝置13所測量的三維點群數據和基礎形狀模型的擬合處理等。控制部16可包括1個或多個CPU (Central Processing Unit,中央處理單元)、 在CPU中執行的控制程序、用作計算數據等的暫時存儲區域的RAM (Random Access Memory, 隨機存取存儲器)、存儲控制程序以及控制數據等的EEPROM(Electrically Erasable and Programmable Read OnlyMemory，電可擦可編程只讀存儲器)等非易失性存儲器等。控制 程序不言而喻也可以是多個程序模塊的集合。在使用了後述的教導終端2對機器人1進行的動作教導中，需要多個坐標系的相 對關係是已知的，多個坐標系具體是指與成像裝置12的拍攝空間相關的相機坐標系、成 像裝置12的拍攝圖像的圖像坐標系、與測距裝置13的測量空間相關的測量空間坐標系、設 定在機器手11上的工具坐標系、以及被固定在作業 空間中的全局坐標系。為了確定這些坐 標系之間的相對關係，可以預先進行校準(calibration)。接下來，說明圖1所示的教導終端2的各構成要素。通信部20如已經說明的那樣 與機器人1側的通信部14之間進行數據傳送。顯示裝置21是可以顯示圖形的裝置，基於由後述的控制部23所進行的控制，進 行對成像裝置12的拍攝圖像的顯示、基礎形狀模型的顯示、表示握持模式的機器手模型 的顯示等。顯示裝置21例如可以使用IXD (Liquid Crystal Display，液晶顯示器)或者 CRT (Cathode Ray Tube，陰極射線管)顯示器等。輸入裝置22是接受由操作員對教導終端2進行的操作輸入的裝置。輸入裝置22 可以是根據操作員的手以及腳等身體的一部分操作或者操作員的音聲等，可以在顯示裝 置21的畫面上指定的輸入位置或坐標的定點裝置。具體來說，輸入裝置22可以使用滑鼠、 觸摸面板、語音輸入裝置、雷射定點器等。控制部23與機器人1側的控制部16協作而執行與對機器人1的握持動作的教導 相關的控制以及數據處理。具體來說，控制部23執行顯示裝置21的顯示控制、輸入裝置22 的操作內容的獲取以及分析、使用了通信部20的數據收發等。與控制部16同樣，控制部23 也可以包括1或多個CPU (Central Processing Unit，中央處理單元)、在CPU中被執行的 控制程序、RAM、非易失性存儲器等。教導終端2可以搭載有給上述的各構成要素提供動作電力的電池，並被構成為操 作員容易攜帶的一體型的小型終端。然而，教導終端2的形態不限於這樣的一體型。例如、 教導終端2也可以由分別獨立的設備、如通信終端、LCD、滑鼠以及PC (Personal Computer, 個人計算機)等來構成。接下來，下面詳細說明通過本實施方式的動作教導系統進行的對機器人1的握持 動作的教導順序。圖2是表示通過本實施方式的動作教導系統進行的對機器人1的握持動 作的教導順序的流程圖。在圖2中，步驟SlOl S105表示在機器人1側進行的處理，並且 步驟S201 S206表示在教導終端2側進行的處理。在步驟SlOl中，機器人1利用成像裝置12來獲取包含工件90在內的作業空間的 拍攝圖像。所獲取的拍攝圖像被傳送給教導終端2。也可以使當獲取拍攝圖像時的成像裝 置12的位置、姿勢以及視角等可以被教導終端2遠程操作。能夠獲得包含工件90在內的作業空間的適當的拍攝圖像，從而容易教導機器人1採取適當的握持模式。在步驟S201中，教導終端2使顯示裝置21顯示在步驟S 101中獲取的拍攝圖像。 圖3的(a)是表示包含有工件90的圖像30的拍攝圖像的顯示畫面的示例。以下，將工件 90為圖3的(a)所示的附帶把手的杯子的情況作為例子進行說明。 在步驟S202中，教導終端2經由輸入裝置22從操作員接受在被顯示在顯示裝置 21的拍攝圖像中對應當作為「識別區域」範圍的指定。其中，所謂的「識別區域」是指為了 指定使機器手11握持的工件90中的部位，而由操作員在拍攝圖像中設定的區域。在後述 的步驟S102中，識別區域被用作由測距裝置13進行識別的區域、即進行距離測量的對象區 域。圖3的(b) (d)示出包含在顯示畫面上被指定的識別區域在內的顯示裝置21的 顯示畫面示例。圖3的(b)所表示的識別區域31指定了杯子的主體部分。圖3的(c)所 表示的識別區域32指定了杯子開口的邊緣部分。圖3的(d)所表示的識別區域33指定了 把手部分。為了使操作員能夠進行直觀的操作，教導終端2可以通過對與被顯示在顯示裝置 21上的拍攝圖像重疊顯示的定點器的操作，接受由操作員進行的識別區域的指定。例如，為 了接受圖3的(b)所示的識別區域31的指定，可以接受利用定點器描繪表示識別區域31 的外周的封閉曲線的操作。這樣的操作在例如輸入裝置22為觸摸面板的情況下是極其直 觀的操作。即，通過將觸摸面板配置在顯示裝置21的顯示畫面的正上方，操作員能夠通過 手指或觸摸筆來直接碰觸所顯示的工件圖像30來描繪識別區域。在步驟S203中，教導終端2經由輸入裝置22接受應當與識別區域相符合(當 )的基礎形狀模型的指定。即，操作員利用輸入裝置22來指定自己所指定的識別區
域具有什麼樣的三維幾何形狀。教導終端2為了促使用戶選擇基礎形狀模型，可以例如圖 4所示的那樣將圖標列表40輸出到顯示裝置21。如圖4所示的圖標41 44分別示出基 礎形狀模型的一個示例。圖標41為四稜柱模型、圖標42為平板模型、圖標43為圓柱模型、 圖標44為圓錐臺模型。各基礎形狀模型具有用於規定形狀以及大小的形狀參數、用於規定 位置以及姿勢的配置參數。基礎形狀模型的種類當然不限於圖4所示，也可以根據工件90 的種類等來預先準備超二次橢圓體、L字形稜柱、C字形圓柱等的各種形狀。在步驟S102中，機器人1從教導終端2接收表示由操作員指定的識別區域的數 據。並且，機器人1利用測距裝置13獲取表示與識別區域對應的作業空間的三維位置的點 群數據(以下，稱作三維位置數據)。圖5是表示與圖3的(b)的識別區域31對應的作業 空間的三維位置數據50的獲取的概念圖。在步驟S102中所獲得的三維位置數據表示從機 器人1側看到的包含工件90在內的作業空間的進深。機器人1也可以通過控制測距裝置13的位置以及姿勢來從多個視點進行距離測 量。通過合併由多個視點進行測量所獲得的三維位置數據，能夠獲得表示工件90的進深的 多個點群。例如，設定將與識別區域的中心點對應的作業空間中的三維位置作為原點的極 坐標，使測距裝置13的視點向水平方向以及上下方向這兩個偏角方向移動。通過視點的改 變，雖然也可以獲得由操作員所設定的識別區域外的三維位置數據，但是只留下連結測距 裝置13在初始位置中的視點和識別區域的邊緣的錐形空間內的三維位置數據，刪除此外 的數據。
在步驟103中，機器人1從教導終端2接收表示由操作員所指定的基礎形狀模型 的數據。並且，機器人1將由操作員所指定的基礎形狀模型擬合到在步驟S102中所獲得的 三維位置數據。更加具體的來說，機器人1擬合被指定的基礎形狀模型的形狀參數以及配 置參數以使其與通過測量所獲得的識別區域內的三維位置數據具有最好的一致性。這裡的 擬合處理使用三維圖像處理領域中公知的技術即可。圖6是將工件90的圖像30和基礎形 狀模型(具體來說是圓柱模型)60重疊顯示的圖，並示出了用戶選擇圓柱模型時的擬合結^ ο在步驟S104中，機器人1參照資料庫15選擇能夠適用於通過擬合決定了形狀參 數的基礎形狀模型的握持模式。在這裡，說明基礎形狀模型的形狀參數、握持模式、以及數 據庫15的數據結構的各具體示例。
圖7示出了作為基礎形狀模型中的一個的圓筒模型70。圓筒模型70的形狀參數 為直徑D、圓筒的長度L、以及壁的厚度T這3個。上述的圓柱模型60是圓筒模型70的子 集(寸卜)。具體來說，圓柱模型對應於在圓筒模型中沒有定義壁的厚度T、或者T =D/2的情況。圖8以及9是資料庫15的數據結構的具體示例，並表示與能夠適用於圓筒模型70 的握持模式相關的數據內容。如果機器手11的種類不同，則能夠執行的握持模式不同，能 夠適用於相同的基礎形狀模型的握持模式也不同。資料庫15可以預先將表示各握持模式 在各基礎形狀模型的什麼樣的形狀參數範圍內能夠適用的信息與機器手11的種類相對應 地存儲。在圖8以及9的例子中，4個握持模式作為當機器手11的手型為「平面且3個關 節2個手指」並且基礎形狀模型為圓筒模型時能夠適用的握持模式，與適用條件一起被存 儲。具體來說，4個握持模式為「握持模式A 側面夾持」、「握持模式B 端面夾持」、「握持模 式C 包圍握持」、以及「握持模式D 邊面夾持」。這些各握持模式的適用條件通過圖8所示 的圓筒模型70的形狀參數D、L以及T來描述。為了參考，在圖8以及9中，通過圓筒模型70和與機器手11對應的機器手模型83 來示出了表示握持模式A D的立體圖。另外，表示握持模式A D的圖中的雙向箭頭表 示可以調整各握持模式的餘下的自由度。例如，在「握持模式C:包圍握持」的情況下，能夠 調整以圓筒模型70的中心軸旋轉的旋轉自由度RF和沿著中心軸的平移自由度TF這2個 自由度。在本實施方式中，握持模式所餘下的這些自由度在後述的步驟S206中最終由操作 員決定。返回圖2繼續說明。在步驟S204中，教導終端2將表示擬合結果的基礎形狀模型 60和表示在步驟S104中選擇的握持模式的機器手模型83與包含有工件90的圖像30在內 的拍攝圖像重疊顯示。如上所述，通過進行重疊顯示，操作員能夠容易地把握工件90和基 礎形狀模型以及握持模式之間的合適程度。圖IOA以及圖IOB表示在步驟S204中的顯示裝置21的顯示畫面示例。圖IOA是 上述的「握持模式C 包圍握持」的顯示示例。並且，圖IOB是上述的「握持模式A 側面夾 持」的顯示示例。如圖IOA以及圖IOB那樣，在存在多個握持模式候選的情況下，顯示裝置 21也可以排列顯示這些多個候選，也可以根據操作員的操作而將候選一個個地交替顯示。在步驟S205中，教導終端2接受由操作員對握持模式的最終決定。在這裡，將被決定的握持模式稱作最終握持模式。在步驟S206中，教導終端2促使操作員調整最終握持模式所餘下的自由度。教導 終端2在顯示裝置21的畫面上顯示定點器，接受由操作員進行的定點器操作。操作員操作 定點器來調整自由度。更加具體來說，教導終端2可以接受對顯示在畫面上的機器手模型 83的拖曳操作。並且，教導終端2可以根據進行了拖曳操作之後的機器手模型83和基礎形 狀模型60或工件像30之間的相對位置以及相對姿勢，決定對最終握持模式所餘下的自由 度的調整值。由此，操作員可以通過簡單的拖曳操作來決定合適的握持模式。圖IlA IlC是表示步驟S206中由操作員進行的自由度調整的具體示例的圖。圖 IlA示出了顯示畫面上的定點器84的移動。圖lib示出了對機器手模型83的拖曳所導致 的定點器84的顯示變化。並且，圖IlC示出了通過拖曳操作而進行了平移自由度TF的調 整的狀態。
最後，在圖2的步驟S105中，機器人1基於最終被決定的握持模式來進行工件90 的握持動作。上述的本發明的實施方式1中的動作教導系統可起到下述的効果。即，通過本實 施方式的動作教導系統，操作員在顯示有由成像裝置12拍攝了的拍攝圖像的顯示畫面上 描繪識別區域，通過選擇與此相符合的基礎形狀模型的操作，能夠確定工件90的握持部位 的形狀並決定握持方法。即，操作員不必進行像在CAD中使用的參數化建模方法這樣的需 要熟練技能的詳細的輸入操作，能夠通過簡單且直觀的操作來進行對工件90的握持動作 的教導。另外，本實施方式的動作教導系統通過預先將基礎形狀模型和握持模式相關聯起 來存儲到資料庫15中，能夠容易地將合適的握持模式的候選提示給操作員。即，操作員沒 有必要逐一詳細指定機器手11的位置以及姿勢、各手指的配置等。另外，在本實施方式的動作教導系統中，由操作員指定想要使機器人1握持的部 位，並只對該部位適用基礎形狀模型來建模。因此，對象物體的建模變得容易，即使沒有復 雜的識別技術也能夠實現多種多樣的握持操作。另外，通常為了執行基於模型的握持計劃而需要根據工件90的種類使用詳細的 模型。然而，在本實施方式的動作教導系統中，由於通過有限個數的基礎形狀模型和握持模 式的組合來進行握持計劃，因此數據量少也可行。另外，由於操作員應當對教導終端2進行的操作有限，因此顯示裝置21以及輸入 裝置22不需要複雜的接口。即，教導終端2適於在小型顯示畫面上的操作。因此，使用小 型的可攜式終端作為教導終端2也變得容易，所述小型的可攜式終端例如為智慧型手機、具 有通信功能的小型遊戲機等。機器人1也可以基於擬合(圖2的步驟S104)的結果來判斷當執行被選擇的握持 模式時機器臂10的軌跡和工件90周圍的障礙物之間的幹擾(與障礙物之間的衝突)。該 判定可以通過比較由測距裝置13獲取的識別區域周辺的三維位置數據和機器臂10的軌跡 的計算結果來進行。並且，也可以基於與障礙物之間的幹擾的判定結果來進行握持模式的 刪減。具體來說，確定可能與障礙物發生幹擾的握持模式，並將其從用於提示給操作員而發 送給教導終端2的握持模式的候選中去除。另外，也可以為了將可能與障礙物發生幹擾的 情況通知給操作員，而將幹擾的判斷結果發送給教導終端2。
其他的實施方式在發明的實施方式1中，如圖2所示的那樣，在根據擬合進行了握持模式的選擇之 後，將被選擇的握持模式提示給操作員，並且操作員決定最終握持模式並調整最終握持模 式的自由度。這樣的順序有助於使機器人1的動作接近最合適的握持動作。然而，也可以 不進行圖2的步驟S204 S206，而按照選擇了的握持模式的中的一個使機器人1自主地執 行握持動作另外，發明的實施方式1中機器人1和教導終端2的功能分擔只是一個示例。例 如，基礎形狀模型和三維位置數據的擬合也可以在教導終端2側執行。另外，例如，資料庫 15也可以設置在教導終端2側。另外，也可以除了機器人1以及教導終端2之外，還存在第 3裝置。例如，成像裝置12以及測距裝置13沒有必要直接搭載在具備機器臂10以及機器 手11的機器人主體上，也可以作為與機器人主體不同的獨立的裝置來配置在作業空間中。並且，本發明不限於上述的實施方式，在不超過已敘述的本發明的主旨的範圍內 可以進行各種變更。產業上的實用性本發明可以應用於對進行工件握持的機器人進行動作教導的動作教導系統以及 動作教導方法中。
權利要求
一種動作教導系統，所述動作教導系統用於對機器人進行握持動作的教導，所述機器人具有機器臂，所述機器臂包含用於握持工件的機器手，所述動作教導系統包括成像裝置；測量直到對象物體為止的距離的測距裝置；顯示裝置；接受由操作員進行的輸入操作的輸入裝置；資料庫，針對多個基礎形狀模型中的每一個記錄了所述機器手能夠適用的至少一個握持模式；拍攝圖像顯示單元，使所述顯示裝置顯示由所述成像裝置獲取的包含所述工件在內的作業空間的拍攝圖像；識別區域指定單元，將用於指定使所述機器手握持的所述工件中的部位的操作，作為在所述顯示裝置所顯示的所述工件的圖像上利用所述輸入裝置二維地指定包含所述部位在內的識別區域的操作來接受；基礎形狀模型指定單元，經由所述輸入裝置接受從所述多個基礎形狀模型中指定與所述部位相符合的基礎形狀模型的操作；擬合單元，將由所述操作員指定的基礎形狀模型與利用所述測距裝置獲取的所述識別區域相當的空間的三維位置數據進行擬合；以及握持模式選擇單元，基於由所述操作員指定的基礎形狀模型以及由所述擬合單元進行的擬合結果，檢索所述資料庫，由此選擇能夠適用於所述工件的握持的至少一個握持模式。
2.如權利要求1所述的動作教導系統，其中， 還包括握持模式顯示單元，使所述顯示裝置顯示通過所述握持模式選擇單元選擇的所述至少 一個握持模式；以及握持模式決定單元，接受由所述操作員進行的用於基於通過所述握持模式顯示單元所 生成的顯示內容來選擇使所述機器人執行的最終握持模式的操作，並接受由所述操作員進 行的對所述最終握持模式所餘下的自由度進行調整的操作。
3.如權利要求2所述的動作教導系統，其中，所述握持模式顯示單元將表示所述至少一個握持模式的所述機器手的模型圖像與所 述拍攝圖像重疊顯示，所述握持模式決定單元通過在所述顯示裝置的顯示畫面內對所述模型圖像的拖曳操 作來接受所述操作員對所述自由度的調整操作，並基於所述拖曳操作之後所述模型圖像在 所述顯示畫面內的位置以及姿勢來決定所述自由度的調整値。
4.如權利要求1 3中的任一項所述的動作教導系統，其中，所述握持模式選擇單元利用使用所述測距裝置來獲取的所述識別區域周辺的三維位 置數據來判斷基於所述至少一個握持模式的所述機器臂的軌跡和所述工件周圍的障礙物 之間的幹擾，並基於該判斷結果進行握持模式的刪減。
5.一種動作教導方法，所述動作教導方法用於對機器人進行握持動作的教導，所述機 器人具有機器臂，所述機器臂包含用於握持工件的機器手，所述動作教導方法包括以下步 驟步驟(a)，使顯示裝置顯示包含所述工件在內的作業空間的拍攝圖像； 步驟(b)，將用於指定使所述機器手握持的所述工件中的部位的操作，作為在所述顯 示裝置所顯示的所述工件的圖像上二維地指定包含所述部位在內的識別區域的操作來接 受；步驟(c)，接受從多個基礎形狀模型中指定與所述部位相符合的基礎形狀模型的操作；步驟(d)，將在所述步驟(c)中被指定的基礎形狀模型與利用測距裝置獲取的所述識 別區域相當的空間的三維位置數據進行擬合；以及步驟(e)，基於由在所述步驟(c)中指定的基礎形狀模型以及在所述步驟(d)中的擬合 結果來檢索資料庫，由此選擇能夠適用於所述工件的握持的至少一個握持模式，其中，在所 述資料庫中，針對多個基礎形狀模型中的每一個記錄了所述機器手能夠適用的至少一個握 持模式。
6.如權利要求5所述的動作教導方法，其中， 還包括步驟(f)，使所述顯示裝置顯示在所述步驟(e)中被選擇的所述至少一個握持模式； 步驟(g)，接受由所述操作員進行的用於基於在所述步驟(f)中生成的顯示內容來選 擇使所述機器人執行的最終握持模式的操作；以及步驟(h)，接受由所述操作員進行的對所述最終握持模式所餘下的自由度進行調整的 操作。
7.如權利要求6所述的動作教導方法，其中，在所述步驟(f)中，將表示所述至少一個握持模式的所述機器手的模型圖像與所述拍攝圖像重疊顯示，在所述步驟(h)中，通過在所述顯示裝置的顯示畫面內對所述模型圖像的拖曳操作來 接受所述操作員對所述自由度的調整操作，並基於所述拖曳操作之後所述模型圖像在所述 顯示畫面內的位置以及姿勢來決定所述自由度的調整値。
8.如權利要求5 7中的任一項所述的動作教導方法，其中，在所述步驟(e)中，還利用使用所述測距裝置獲取的所述識別區域周辺的三維位置數 據來判斷基於所述至少一個握持模式的所述機器臂的軌跡和所述工件周圍的障礙物之間 的幹擾，並基於該判斷結果進行握持模式的刪減。
全文摘要
本發明的動作教導系統以及動作教導方法通過由操作員進行的直觀且簡單的輸入操作，能夠對機器人進行對於形狀和三維位置未知的工件的握持動作的教導。(a)使顯示裝置顯示作業空間的拍攝圖像，(b)接受在顯示裝置所顯示的工件的像上維地指定包含使機器手握持的部位的識別區域的操作。(c)接受從多個基礎形狀模型中指定與握持部位相符合的基礎形狀模型的操作，(d)通過將被指定的基礎形狀模型擬合到與識別區域相當的空間的三維位置數據，決定指定基礎形狀模型的形狀、位置以及姿勢的參數群。(e)檢索對於各基礎形狀模型記錄了機器手能夠適用的握持模式的資料庫，選擇能夠適用於工件的握持的握持模式。
文檔編號G05B19/409GK101970184SQ20098010842
公開日2011年2月9日 申請日期2009年2月3日 優先權日2008年3月10日
發明者齋藤史倫 申請人:豐田自動車株式會社