用於定位和從載體拾取物體的方法和設備的製作方法

2023-10-08 17:18:14

專利名稱：用於定位和從載體拾取物體的方法和設備的製作方法
技術領域：
本發明涉及一種定位和從載體(如料箱)拾取物體的方法和設備，其中 使用具有可移動的機器手臂的機器人拾取物體。
背景技術：
在許多工業應用中，需要從載體如料箱或託盤拾:取物體，以便將物體供 給到用於進一步處理的機器。這種操作經常是由工業機器人執行的。已經提 出將用於從載體拾取物體的機器人裝配機器視覺，以便在拾取物體時協助機
器人。例如，美國專利No.4412293公開了一種包含視覺和平口虎鉗夾具的 機器人系統，以便荻得堆在料箱中的、具有圓柱形外表面的任意定向的工件。 視覺上，機器人系統使用與計算機連接的攝像機。美國專利No.6721444中 也公開了 一種料箱拾取系統。
本發明的目的是提供一種用於從載體定位和拾取物體的改進的方法以 及改進的設備。

發明內容
本發明涉及一種用於定位和拾取放置在載體上的物體的方法。該方法包
括通過使用線雷射掃描器(line laser scanner)在該載體的至少一部分上^丸行
掃描操作，以及使用掃描的結果產生表示已經掃描的區域的虛擬三維表面的
步驟。將虛擬三維表面與對應於從載體拾取的物體的預先限定的虛擬物體比
較。由此，識別三維表面最匹配該預先限定的虛擬物體的一部分。然後，使
機器手臂移動到對應於該虛擬三維表面的識別部分的位置，並且在該位置從 載體拾取物體。
在一個實施方式中，在掃描操作期間，在載體上方的路徑上移動掃描器。 優選地，該掃描器跟隨載體上方的線性路徑。然而，本發明的實施方式還設 想在掃描操作期間，將掃描器保持在一個位置，但是使其繞軸旋轉/轉動，以 便雷射器在區域上執行掃描。在優選的實施方式中，該掃描器是與機器手臂分開的單元。
然而，還可以設想，將掃描器定位在機器手臂本身上。在這種實施方式 中，在由機器手臂執行的運動中，掃描器可以在載體上方移動。
將虛擬三維表面與預先限定的虛擬物體比較的步驟包括移動和/或旋轉 虛擬物體，直到其適應於虛擬三維表面的一部分。使用虛擬物體運動和/或旋 轉的信息確定如何拾取載體上的物體。
可以通過機器手臂上的夾具拾取從載體拾取的物體，並且該夾具包括夾 具爪，至少一個夾具爪是可以相對於另一個夾具爪移動的，以便抓緊載體上 的物體。
在虛擬三維表面的兩個或多個部分相同程度地匹配虛擬物體的情況下， 可以使用隨機選擇在虛擬三維表面的不同部分之間選擇。
將虛擬三維表面與預先限定的虛擬物體比較的步驟包括旋轉虛擬物體， 直到其適應於虛擬三維表面的一部分，在虛擬三維表面的兩個或多個部分相 同程度地匹配虛擬物體的情況下，可以使用虛擬物體的定向信息在虛擬三維 表面的不同部分之間選才奪。
在一個實施方式中，載體是料箱。另一種載體也是可能的。例如，該載 體可以是輸送機如帶式輸送機。該載體還可以是託盤。
本發明還涉及一種用於定位和拾取放置在載體上的物體的設備。該設備 包括設置成掃描放置物體的載體的至少一部分的線雷射掃描器。該設備進一 步包括具有適於抓住物體的機器手臂的機器人，以及連接到線雷射掃描器的 計算機。該計算機進一步具有設計成基於在掃描操作期間從掃描器接收的數 據產生虛擬三維表面的計算機軟體。該計算機還具有表示虛擬物體的軟體， 以及用於將虛擬物體與虛擬三維表面的不同部分比較和用於確定虛擬表面 最匹配虛擬物體的部分的軟體。計算機連接到機器人，其具有用於將機器手 臂引導到載體上對應於虛擬三維表面最匹配虛擬物體的一部分的位置的軟 件，在該位置拾取物體。優選地，從載體拾取的物體不僅由其位置限定，而 且由其定向限定。
線雷射器可以與機器人分開，並且設置成在由掃描器要在其上移動的引 導結構限定的預先確定的路徑上移動。該引導結構可以是限定線雷射掃描器 的線性路徑的光束。
可選地，將線雷射掃描器設置在機器手臂上。機器手臂適於通過具有夾具爪的夾具抓住物體，至少一個夾具爪是可移 動的。


附圖l表示本發明的設備。
附圖2是附圖1中表示的相同設備的側視圖。
附圖3是對應於附圖2的視圖，其表示本發明設備的某些不同的環境。 附圖4a-4c說明夾緊操作。
附圖5a-5c說明附圖4a-4c中表示的操作的變型。 附圖6a-6c說明又一種夾緊操作。
附圖7示意性地表示如何產生表示實際表面的虛擬表面。
附圖8示意性地表示如何將虛擬物體與虛擬表面匹配。
附圖9示意性地說明構成附圖1的實施方式的可選方案的實施方式。
具體實施例方式
首先，參照附圖1-附圖3描述本發明的設備。作為本發明的目的，該設 備用於定位和拾取放置在載體1上的物體2。在附圖1中，載體1是料箱或 箱l，物體2從該料箱或箱拾取。該設備包括執行掃描操作的線雷射掃描器 8，以便可以用於掃描物體2放置在其上的載體1的至少一部分。在線雷射 器中，來自點雷射源的光被拉成一直線。這可以通過使用適當的由例如玻璃、 有機玻璃或石英製成的透鏡實現。最好如附圖l所示，雷射掃描器8包括發 射線雷射束10的雷射發射器16，以及可以檢測從發射器16發射並且^v表面 反射的雷射束的雷射檢測器17。雷射發射器16例如可以是由StockerYale Canada, 275 Kesmark， Montreal, Quebec, Canada以LasirisTM商標在市場上出 售的線雷射器。當然，其它的雷射發射器也是可以的。該設備進一步包括具 有適於抓住物體2的機器手臂5的機器人4。計算機11經由連接12連接到 線雷射掃描器8,該連接可以是電線，也可以是無線連接。如參照方法更詳 細地解釋的，計算機11具有設計成基於在掃描操作期間從掃描器8接收的 數據產生虛擬的三維表面的計算機軟體。計算機11還具有表示虛擬物體15 的軟體，以及用於將虛擬物體15與虛擬三維表面的不同部分比較並且確定 虛擬表面的哪部分最匹配虛擬物體15的軟體。應當理解，虛擬物體15對應於從載體1拾取的物理物體2。虛擬物體15例如可以基於對物理物體2的測 量或掃描。可替換地，虛擬物體15可以基於用於製造對應的物理物體2的 CAD模型。計算機11進一步連接到機器人4，其具有用於將機器手臂5引 導到載體上對應於虛擬三維表面與虛擬物體最匹配的一部分的位置的軟體， 並且在該位置和適合於要拾取的物體2的定向的方向來拾取物體2。為了說 明的目的，將所示的計算機11與機器人4分開。然而，應當理解，計算機 11也可以是機器人4的組成部分。
在附圖l-3說明的實施方式中，線雷射掃描器8是與機器人4分開的， 並且在由引導結構9預先確定的掃描器8要移動的路徑上移動。在優選的實 施方式中，引導結構9是限定線雷射掃描器的線性路徑的光束9。然而，應 當理解，也可以將線雷射掃描器8設置在機器手臂5上。這種實施方式示意 性地在附圖8中表示。
原則上，機器手臂5具有許多不同的用於拾取物體2的裝置。例如，其 提供有吸盤或用於拾取金屬物體2的磁鐵。然而，在本發明優選的實施方式 中，機器手臂5適於通過使用具有夾具爪7的夾具6抓住物體。夾具爪7的 至少一部分是可移動的。在附圖1中，表示兩個夾具爪7，但是應當理解， 夾具7可以具有多於兩個的夾具爪7。例如，其可以具有三個、四個、五個 或者更多個夾具爪7。優選地，至少兩個夾具爪7是可移動的，並且相對於 彼此是可移動的。優選將夾具6鉸接在機器手臂5上，以便夾具可以繞不同 的軸轉動，由此相對於要由夾具6拾取的物體2定向。使用具有可移動的爪 7的夾具6帶來了下面的優點可以實現更高的精度，並且夾具的可靠性更 高。優選設置夾具6，以便其寸以繞彼此垂直的軸轉動。優選地，其可以繞 至少三個彼此垂直的軸轉動。在本發明優選的實施方式中，夾具6可以繞三 個以上的軸轉動。例如，可以將其設置成繞六個軸轉動。
現在參照附圖4a-4c、 5a-5c和6a-6c簡要地解釋夾具爪的操作。在附圖 4a中，將夾具6放置在要拾取的物體2上面。如附圖4b中所示，然後將夾 具爪7分開，即彼此遠離地移動，以便可以將物體2放置在爪7之間。具有 夾具6的臂5接觸物體2，夾具7彼此相向地移動，並且如圖4c所示，將物 體2夾在爪7之間。然後，可以通過機器手臂5將物體2提起。
在附圖5a中，使用夾具6通過通孔3和內壁20拾取物體2。爪7首先 是集攏的，並且如圖5b所示插入通孔3中。然後使爪7彼此分開，並且接觸內壁20。爪7相對於內壁20的壓力保證了牢固的夾緊，並且可以提起物 體2。
在附圖6a-6c中，說明了夾緊操作，其中一個爪7在物體2的外表面接 觸物體2，另一個爪7^妾觸物體的內壁20。
應當理解，附圖4a-6c中說明的所有不同的抓具不是都同樣適於拾取給 定的物體2。取決於每個要拾取的特定物體2的形狀，優選不同的抓具。還 應當理解，對於每個特定的物體來說，具有對於夾具6來說接近物體的最佳 運動方向。
在操作中，本發明以下面的方式運行。將物體2^t置在載體1上，該載 體例如可以是附圖1和附圖2說明的料箱1，或者是附圖3說明的帶式輸送 機。應當理解，載體還可以是別的東西，例如託盤。掃描器H吏用線雷射掃 描器8在載體1的至少一部分上執行掃描操作。掃描的區域具有對應於一堆 載體1上的物體2的表面14。掃描操作的結果用於產生表示掃描的區域的虛 擬三維表面18，即虛擬表面18對應於實際表面14。如示意性地在附圖7中 表示的，這種操作可以在計算機ll中進行。如圖7所示，虛擬表面18由沿 三個不同的彼此垂直的軸x、 y、 z變化的坐標限定。然後，將虛擬三維表面 18與預先限定的對應於要從載體1拾取的物體2的虛擬物體15比較。通過 比較，識別三維表面18最匹配預先限定的虛擬物體15的一部分。然後，使 機器手臂5移動到對應於虛擬三維表面的識別部分的位置，並且在該位置從 載體1拾取物體2。夾具6還可以是轉動的，以^更巧妙地配合要拾取的物體 的定向。
嚴格地講，表面是二維的。如在此使用的，術語"三維表面"應當理解 成三維物體的表面，即可以通過一個以上的平面延伸的。作為術語"虛擬三 維表面"的可選方案，可以談及表示三維物體的外表面的虛擬表面。
可以以下面的方式執行將虛擬三維表面18與預先限定的虛擬物體15比 較的步驟。虛擬物體15移動和旋轉，直到如附圖8所示，其適應虛擬三維 表面18的一部分。虛擬物體15的運動和旋轉信息直接對應於載體1上的物 理物體2的定向和位置，並且該信息可以用於確定如何4合取載體1上的物體 2。可以通過使用形狀感應算法如旋轉圖像或旋轉圖像的表示執行匹配(例 如參見,A.E. Johnson and M. Hebert， "Using Spin Images for Efficient Object Recognition in Cluttered 3D scenes", IEEE Trans. Pattern Analysis and MachineIntelligence, 21(5, pp. 433-449, 1999)。可選地，可以使用ICP (迭代最近點) 或旋轉圖像和ICP的組合。
情況下，可以使用隨機選擇在虛擬三維表面的不同部分之間選擇，由此在要 拾取的不同物體時間選擇。可選地，在虛擬三維表面的兩個或多個部分相同 程度地匹配虛擬物體的情況下，可以使用虛擬物體15的定向信息在虛擬三 維表面的不同部分之間選擇。如前表示的，不是所有的夾具都同樣適於所有 的物體2。對於給定的物體2來說，可以在控制機器人4的計算機11軟體中 包含優選的夾具。對於具有通孔3的物體2來說，優選的夾具(例如)是附 圖5a-5c中表示的夾具。對於載體1上給定的物體來說，實際上，僅有一個 夾具是可能的。如果虛擬表面18的兩個或多個部分同等地匹配虛擬物體15， 則控制機器人4的軟體可以包括選擇虛擬表面18對應於優選的夾具的一部 分的指令。當載體上的兩個物體2乍看起來在力所能及的範圍內同樣好時， 這給了本發明的設備一個載體上的不同物體2之間進行智能選擇的機會。為 了檢查哪個夾具可以用於給定的物體2，該軟體檢查虛擬物體15是如何移動 和旋轉以適應虛擬表面18的對應部分的。這種運動的信息可以直接轉換成 實際物體定向的信息。當然，還可以將相同的信息用於控制機器手臂5上夾 具6的運動，並且確定夾具6從哪個方向接近物體2，以便能夠使用優選的 夾具。這帶來了下面的優點，可以將夾具6精確地引導到對於每個要拾取的 物體理想的夾緊。由於一些接近方向會在夾具和載體1的多個部分之間、或
夾具6接近物體的方向也是很重要的。 一些物體還會具有從一個方向比從另 一個方向更容易夾緊的形狀。
而且，掃描操作還可以延伸到載體1本身。可以使用該對掃描操作的結 果阻止夾具6與載體6的邊或壁衝突。可選地，與虛擬物體15—樣，可以 在控制軟體中預先確定載體1的輪廓。應當理解，當大量的未分類的物體成 堆地到達時， 一些物體最初不能簡單地抓緊，這是由於其它物體阻止夾具接 近這些物體。還可以理解，物體相對於載體的邊(例如，料箱1的壁)的位 置和定向最初糹艮難使夾具6接近這些物體，特別是當其它物體2限制這種接 近的時候。控制機器手臂5和機器手臂上的夾具6的軟體優選將這種情況考 慮在其中。因此，當在對載體1上的兩個不同物體2之間進行選擇時，該軟體會考慮與其它物體以及載體1的多個部分之間的衝突風險。在這樣做時， 可以將軟體設計成考慮夾具必須接近要拾取的物體的方向。這構成對物體選 擇的進一步標準。
還應當理解，標準"優選夾具，，不僅用作對標準"最佳匹配，，的補充， 而且用作該標準的可選方案。在實踐中，這意味著該軟體首先設法識別允許
優選夾具的物體2。可選地，如果幾個物體2允許優選夾具，則使用"最佳 匹配"進行最終的選擇。
在掃描操作期間，掃描器8優選在載體1上方的^各徑移動並優選在直線 路徑上移動。然而，應當理解，非直線路徑也是可以想像的。還應當理解， 掃描器8可以是固定的，並且掃描操作可以包括旋轉雷射發射器16，而不是 沿直線路徑移動。
還應當理解，如圖9所示，可以將掃描器8定位在機器手臂5上，並且 可以通過機器手臂5執行掃描器8在載體1上的運動。
因而，本發明設備的全循環如下。可以將物體2在載體1上任意定向， 該載體1可以是如附圖2所示的料箱1,或者是如附圖3所示的帶式輸送機。 掃描器8執行掃描操作，將由該掃描操作產生的數據發送到計算機ll，其中 將該數據轉換成虛擬三維表面18。將預先限定的虛擬物體15與虛擬表面18 比較，直到識別出匹配。計算機控制機器人4，並且命令機器人使用具有夾 具6的臂5拾取識別的物體2。當物體2由機器手臂5拾取時，機器手臂將 物體移動到進一步的工作站19,該工作站例如可以是進一步處理物體2的機 器。在機器人將物體移動到進一步的工作站期間，可以執行新的掃描操作， 以便恰好在前面的循環完成之前開始新的循環。
本發明尤其帶來下面的優點可以快速、可靠地識別以及單獨地拾取彼 此成堆的任意定向的物體。本發明還可以從最佳方向並且通過非常精確和可 靠的夾具拾取物體。如上所述，本發明的實施方式還可以減少夾具6或機器 手臂5與環境例如載體1的邊或壁衝突的風險。
如果掃描器8與機器人4分開，則可以在機器手臂5在另 一個位置輸送 物體時開始新的掃描操作。這可以使該過程更快。
使用線雷射器意味著可以在掃描器的一個單個運動期間掃描整個區域， 這是通過點雷射器不可能實現的。
上面參照使用機器手臂拾取物體的方法和設備描述了本發明。然而，將上述用於掃描和識別三維結構的方法用於其它目的的實施方式也是可以想 象的。例如，可以使用通過線雷射器執行掃描並且產生三維表面的方法識別 和分析不同物體中的缺陷。另 一種可能的用途是確定對工件進一步加工的需 要。因而可以想像沒有機器手臂和/或用於除了拾取物體之外的其他目的的實 施方式。因而，本發明還可以根據通過由線雷射器裝置掃描並且產生與預先 限定的虛擬物體比較的虛擬三維模型識別和分析物體(或多組物體)的方法 (以及設備)限定。在該比較的後面是取決於該比較的結果的動作。這種動 作例如可以是對工件執行的加工動作，或者該動作可以包括如上所述的使用 機器手臂拾取物體。
下面描述這種可能的方法的例子。預先限定的虛擬物體表示當工件達到 其最終形狀時工件具有的形狀。執行掃描操作，並且使用該掃描產生虛擬三 維表面或模型，然後將其與預先限定的虛擬物體比較。該比較表示工件還未 達到其最終的形狀。該比較還顯示工件不同於預先限定的虛擬物體。基於這 種信息，對機器如切割機、鑽孔機或車床給出指令，該機器對工件執行加工 操作，以便使該工件匹配預先限定的虛擬物體。然後，再次執行掃描操作， 以便檢查工件達到所需的形狀。
另一種可能性是識別缺陷物體。例如，物體到達載體。由線雷射器掃描 該物體，並且將掃描的結果與預先限定的虛擬物體比較。作為比較的結果， 該系統確定是否物體匹配預先限定的虛擬物體。如果匹配，則該物體視為是 正確的。然後，可以將該物體使用、發送到隨後的工作站或者輸送到最終的 用戶。如果具有誤差，則可以將該物體去除。因而，本發明的方法和本發明 的設備可以用於質量控制。另外，該方法和設備可以等同於用於從載體拾取 物體的方法/設備。
因而，本發明可以根據識別物體的方法限定，該方法包括通過使用線激
光掃描器8在物體(或幾個物體)的至少一部分上的掃描操作；使用掃描的 結果產生表示掃描的區域的虛擬三維表面；將虛擬三維表面與對應於物體 (或許多物體中的一個物體)的預先確定的虛擬物體15比較，並且執行響 應於比較的結果的動作。自然地，本發明還可以根據用於執行這種方法的設 備限定。
權利要求
1.一種用於定位和拾取放置在載體(1)上的物體(2)的方法，所述方法包括以下步驟通過使用線雷射掃描器(8)，在所述載體(1)的至少一部分上執行掃描操作；使用所述掃描的結果產生表示已經掃描的區域的虛擬三維表面；將所述虛擬三維表面與對應於要從所述載體(1)拾取的物體(2)的預先限定的虛擬物體比較，由此識別所述三維表面最匹配所述預先限定的虛擬物體(15)的一部分；以及使機器手臂(5)移動到對應於所述虛擬三維表面的被識別部分的位置，並且在所述位置從所述載體(1)拾取物體(2)。
2. 根據權利要求1所述的方法，其中，在所述掃描操作期間，在所述 載體(1)上方的路徑中移動所述掃描器(8)。
3. 根據權利要求2所述的方法，其中，所述掃描器(8)沿所述載體上 方的線性5^徑運動。
4. 根據權利要求3所述的方法，其中，所述掃描器(8)是與所述機器 手臂(5)分開的單元。
5. 根據權利要求2所述的方法，其中，所述掃描器(8)定位在所述機 器手臂(5)上，並且通過所述機器手臂(5)執行所述掃描器(8)在所述 載體(1)上方的運動。
6. 根據權利要求1所述的方法，其中，將所述虛擬三維表面與預先限 定的虛擬物體(15 )比較的步驟包括旋轉所述虛擬物體(15 ),直到其適應 於所述虛擬三維表面的一部分，使用所述虛擬物體(15)旋轉的信息來確定 如何拾取所述載體(1 )上的物體(2)。
7. 根據權利要求1所述的方法，其中，通過所述機器手臂(5)上的夾 具(6 )拾取所述載體(1 )上的物體(2 )，所述夾具(6 )包括夾具爪(7 ), 其中，至少一個夾具爪(7)是可以相對於另一個夾具爪(7)移動的，以便 抓緊所述載體(1 )上的物體(2 )。
8. 根據權利要求1所述的方法，其中，在所述虛擬三維表面的兩個或 多個部分(2)相同程度地匹配所述虛擬物體(15)的情況下，使用隨機選擇在所述虛擬三維表面的不同部分之間選擇。
9. 根據權利要求1所述的方法，其中，將所述虛擬三維表面與預先限定的虛擬物體(15)比較的步驟包括旋轉所述虛擬物體(15)，直到其適應 於所述虛擬三維表面的一部分，並且在所述虛擬三維表面的兩個或多個部分 相同程度地匹配所述虛擬物體的情況下，使用所述虛擬物體(15)的定向信 息在所述虛擬三維表面的不同部分之間進行選擇。
10. 根據權利要求1所述的方法，其中，所述載體(1 )是料箱(1 )。
11. 根據權利要求1所述的方法，其中，所述載體(l)是輸送機。
12. —種用於定位和拾取放置在載體上的物體(2)的設備，所述設備 包括設置成掃描其上放置有物體(2)的載體的至少一部分的線雷射掃描器(8),具有適於抓住物體的機器手臂(5)的機器人(4)，以及連接到所述 線雷射掃描器(8)的計算機，所述計算機(11)進一步具有設計成基於在 掃描操作期間從所述掃描器(8)接收的數據產生虛擬三維表面的計算機軟 件，所述計算才幾(11 )還具有表示虛擬物體(15)的軟體，和將所述虛擬物部分最匹配所述虛擬物體(15 )的軟體，所述計算機(11 )進一步連接到所 述機器人(4)，並且具有將所述機器手臂(5)引導到所述載體上對應於所 述虛擬三維表面最匹配所述虛擬物體的一部分的位置的軟體，在所述位置拾 取物體(2)。
13. 根據權利要求12所述的設備，其中，所述線雷射掃描器(8)是與 所述機器人(4)分開的，並且設置成在引導結構(9)限定的預先確定的路 徑上移動，其中，掃描器(8)設置在所述引導結構(9)上來移動。
14. 根據權利要求13所述的設備，其中，所述引導結構(9)是限定所 述線雷射掃描器的線性路徑的光束(9)。
15. 根據權利要求12所述的設備，其中，將所述線雷射掃描器(8)設 置在所述機器手臂(5)上。
16. 根據權利要求12所述的設備，其中，所述機器手臂(5)適於通過 具有夾具爪(7)的夾具(6)抓住物體，至少一個所述夾具爪(7)是可移 動的。
全文摘要
本發明涉及一種用於定位和拾取放置在載體(1)上的物體(2)的方法。在載體上執行掃描操作。由線雷射掃描器(8)執行該掃描。使用掃描的結果產生表示已經掃描的區域的虛擬表面(18)。將虛擬表面與對應於從載體(1)拾取的物體(2)的預先限定的虛擬物體(15)。由此，識別虛擬表面(18)匹配預先限定的虛擬物體的一部分。然後，使機器手臂(5)移動到對應於虛擬表面的識別部分的位置，並且在該位置從載體(1)拾取物體。
文檔編號G06T1/00GK101291784SQ200680038650
公開日2008年10月22日 申請日期2006年10月16日 優先權日2005年10月18日
發明者安德斯·雷伊爾, 珀·拉森 申請人:莫菲克科技股份公司