基於攝像機監控具有移動機器部件的機器以防碰撞的製作方法

2023-11-01 04:27:42

專利名稱：基於攝像機監控具有移動機器部件的機器以防碰撞的製作方法
基於攝像機監控具有移動機器部件的機器以防碰撞
本發明涉及一種根據權利要求1和14的前序部分的用於基於攝H^ 監控具有移動機器部件的機器以防碰撞的方法和設備。
對於以相當大的iUL移動的現代工業機器人，碰撞通常既對機器人又 對它們所處理的工件引起嚴重的損壞。這可以導致代^h較大的生產停工。 與自動操作機器人進行交互的人員的安全也被給予最高的優先級。在具有 移動機器部件的現代工業機器人或其它機器中，移動機器部件的移動代表 對於人員和其它對象的危險，因此必須使用保護性設備來防止在移動機器 部件與對象之間發生碰撞。為此，在發生偶然接觸之前通常足以使機器靜 止。從關閉命令直到機器處於靜止的時間被稱為停止時間，停止時間確定 要保持遠離機器的距離。
從現有技術已知用於防護機器部件的各種傳感器和估測方法。最簡單 的選擇包括用固定籠來包圍機器，所述固定籠的入口 (例如門)耦合到傳 感器使得當進入籠時機器停止。如果在入口與移動機器之間存在足夠的距 離，則在人員可以與機器形成接觸之前，機器已經處於靜止。
被布置在移動機器周圍的空間中的並且當光束被中斷時將關閉信號 發送給機器的擋ib板和光簾(light curtain)是普遍的，但由於itiL射器 和傳感器必須彼此精確地對準，因此設計費用相對較高。
德國公開的專利申請DE 103 58 770 Al描述了一種安全系統，使用所 述安全系統可以通過包括多個攝像機的裝置來監控機器及其附近。可以通 過才艮據同步記錄圖#>的三角測量來確定對象點在空間中的空間位置。如果 一定數量的點位於預先定義的體積中，則機器將被關閉。與使用擋光板和 陣列相對，實際上可以這種方式來監控任何體積。然而，這種體積是靜態 的，並且它們僅僅可以由程序控制進行激活或者禁用。
為了靈活地配置人員與移動機器之間的距離，德國公開的專利申請 DE 102 26 140 Al提出確定各個單獨機器人鉸接的目前和先前的鉸接設 置以及鉸接^，並且據此推導與機器人在停止時間期間的移動路徑的構 it^目關的預測。當推導停止時間期間中的移動路徑時，還使用與移動機器 部件的最大速度和最大負加速度相關的知識。儘管通常要考慮大量的參
5數，但為了實現系統的實時能力，提出了應該通過神經網絡來確定當前的 停止時間、並且因此確定當前的停止距離。通過傳感器來記錄在機器人的 移動部分與其附近的人員/對象之間的距離，並且將所^巨離與確定的停 止時間或距離相關聯，從而可以在有碰撞危險的情況下產生關閉信號。
德國公開的專利申請DE 103 24 627 Al描述了用於自動工作機器的 另一安全系統。在此情況下，限定在機器周圍的並且由機器上安裝的傳感 器所監控的安全區域適合於已知的即時移動行為和未來移動行為。在人員 l安全區之一的情況下，根據他們觀看的方向或根據他們的移動行為來 估計進入安全區域是有意還是偶然的。在有意進入的情況下修改安全區 域，有意ii^通常與人員對工作機器的計劃的幹預相關。
為了能夠在任何時間估計正確的停止時間或安全區域的尺寸定位，在 現有技術的已知方法中必須使用由機器或其控制程序所提供的數據。這僅 當機器具有適當的數據接口時才是可能的，通過所述數據接口可得到用於 動態防護機器所需的所有數據。然而，通常沒有這種接口。
鑑於現有技術，本發明的一個目的在於提供一種用於在具有移動機器 部件的機器與其附近的對象之間無碰撞交互的方法和設備，所述方法和設 備甚至可以在沒有由機器及其控制程序進行的完全數據通信的情況下工 作。
通過根據權利要求1和14的方法和設備來實現該目的。在從屬權利 要求中描述了本發明的有利配置和細化。
在用於機器與其附近的對象之間無碰撞交互的新穎方法中，使用機器 的當前位置和動態行為的知識。使用該知識以及與從關閉直到機器部件處 於靜止的持續時間(停止時間)相關的信息，來估計移動機器部件可在該 停止時間內達到的未來位置。在普通的標準工業機器人中，例如，第一鉸 接的最大速度和最大負加iUL通常分別是240 ^L/s和880 >l/s2，其給出在 最大速度時大約33度的停止角度。
基於這個估計，然後確立機器和/或移動機器部件周圍的安全區域的 大小。通過傳感器來監控這些安全區域以便檢測對象的iiX。如果對這些 安全區域中的至少一個進行的這種監控的結果是檢測到i^其中的對象， 則控制機器和/或移動機器部件的驅動以便修改機器部件的動態移動行 為。
通過圖像獲取系統來有利地記錄移動機器部件的圖像數據。將這些圖像數據與資料庫相關聯，所述資料庫是在訓練階段中使用機器和/或至少 一個移動機器部件的圖像數據編輯出的。特別地，該資料庫包含既涉及移 動機器部件的移動過程內的多個移動階段又涉及該多個移動階段的動態 關係的圖像數據。在將當前記錄的圖像數據與該資料庫相關聯的範圍中， 既確定了移動機器部件的當前位置，又估計了移動機器部件在停止時間內 可達到的未來位置。
根據通過圖像傳感器所記錄的數據來確定當前位置和未來位置並且 將它們與對應的資料庫相關聯有利地實現了相對於由機器或其驅動所發 送的信息的獨立性。因此，即使由機器所提供的數據本身不充分，通過根 據本發明的方法進行工作的設備也能夠監控具有移動機器部件的機器。因 此該方法可以靈活地用於各種機器。在較短的訓練階段之後，該方法和新 穎設備可以用於對任何類型的機器進行碰撞監控而獨立於機器的控制程 序(無論由軟體技術或是硬體技術加以實施)，在所述較短的訓練階段期 間通過觀測移動機器部件的移動過程來產生資料庫。
優選地通過多目鏡攝像機系統來記錄圖像數據。該攝^^系統有利地
具有已定義的立體基礎(stereobasis ),其使得可以通過立體視覺估測方 法來確定攝^4^系統與空間中的各個對象點之間的距離。
為了提供適合於位置確定和未來位置的估計的資料庫，在機器或移動 機器部件的移動過程的訓練階段中，應該存儲儘可能多的移動階段的圖像 數據。在這種情況下，有可能通過將資料庫中存儲的移動階段的多個圖像 數據相關聯(特別地，取平均)來確定該移動階段的圖像數據的信息。在 產生了該資料庫之後，接著將來自當前圖^Jt據的信息和資料庫中存儲的 與移動階段相關的數據進行比較，並且移動機器部件的被確定為當前位置 的位置是以下位置該位置被分配給一移動階段，該移動階段的信息與通 過圖像數據被當前確定的信息最相似。
除了從單獨的移動階段的圖像數據推導出用於確定至少 一個移動機 器部件的當前位置的信息之外，資料庫還有利地包括與移動過程的該多個 移動階段的動態關係相關的信息。通過當前的移動階段，有可能根據數據 庫不僅找出l^是哪個移動階段，而且找出單獨的移動階段之間的改變按 什麼時間間隔發生。
很多可以想到的用於確定移動機器部件的當前位置的有利選擇之一 包括通過模板匹配將當前記錄的圖傳教據與資料庫中存儲的圖傳教據相 關聯。在此情況下，移動機器部件的被確定為當前位置的位置是以下位置:該位置被分配給一移動階段，該移動階段的存儲的圖像已經通過^K板匹配
被識別為與當前記錄的圖^Nt據最相似。
在另 一方法中，當在訓練階段期間編輯資料庫時由圖像獲取系統所記
錄的圖傳教據經受變換並且以此形式被存儲，並且用於在經it^目應的變換 之後在未來與當前記錄的圖像數據相關聯。在此情況下主軸變換 (Hauptachsentransformation)是特別優選適合的，這是由於待存儲在數 據庫中或者待關聯的數據量可以由此顯著減少。再次地，移動機器部件的 被確定為當前位置的位置是以下位置其變換後的圖像被識別為與當前記 錄的圖像數據的變換最相似的那個移動階段所對應的位置。可以根據各個 移動階段的多個映射或這些映射的變換、特別是通過取平均來在訓練階段 期間確定在多維空間內分配給移動階段的位置。
為了在多維空間中最有利地應用相似性運算符，可推薦按照在多維空 間中經過分別被分配給移動階段的點的路徑來映射移動階段的序列。然後 將變換後的當前圖像數據分配給移動機器部件的一移動階段，該移動階段 沿著多維空間中的路徑的位置與當前計算出的位置最相似。
可以通過考慮路徑在多維空間中的連續性來基於確定為當前移動階 段的移動階段的位置而最佳地確定移動機器部件在停止時間內可達到的 未來位置。
例如可以根據與機器部件的物理特性相關的先驗知識來推導出機器 部件在關閉之後將移動多遠。然而，另一方面，還有可能基於先前通過圖 ^Jt據記錄下的多個移動階段，進而在系統的訓練階段期間用實驗方法確 定這種在關閉的情況下的行為。
基於移動機器部件的確定出的當前位置，並且使用未來可達到的位置 的知識，可以確立待分配給移動機器部件的安全區域。為此，有利地確定 在停止時間期間機器部件行進通過的所有位置。在此基礎上，這些位置擴 展為區域，根據在移動機器部件的附近潛在地存在的或檢測到的對象在停 止時間內可行進的距離來限定區域的大小。例如，當在附近檢測到人員時， 顯然他或她將不會進行巨大跳躍的移動；人員的最大速度和加速度也是已 知的，並且如果適當的話當前也可以根據附加執行的移動分析相對於人員 的方向對人員的最大速度和加it^進行非常好的估計。
通過對在停止時間期間為移動過程所確定的位置在所有側擴展來標 記至少一個安全區域的尺寸是尤其簡單而有利的。為了檢測安全區域之一中的對象(尤其是人員)，多種非常不同的傳 感器是適合的，但尤其是雷射雷達、雷達、或超聲波傳感器。攝#4^傳感 器可以尤其有利地應用於此。因此，例如，用於記錄移動機器部件的移動 過程的圖像獲取系統也可以同時用於檢測對象進入安全區域的至少一個中。
根據通常的定義，每當兩個對象同時位於相同的空間區域中時，它們 之間就發生碰撞。因此可以通過確定與由機器部件和對象所佔據的空間相
關的交集來非常筒單地執行碰撞確定；如果存在這種交集，則發生碰撞。
根據Franke等人的工作(U. Franke, C. Rabe， H. Bardino， S. Gehrig; 6D-Vision: Fusion of Stereo and Motion for Robust Environment Perception, in Walter (i Kropatsch, Robert Sablatnig， Allan Hanbury (Eds.): Pattern Recognition, 27th DAGM Symposium, Wien, Osterreich , August 31 - September 2， 2005, Proceedings. Lecture Notes in Computer Science 3663 Springer 2005， pages 216-223)，被轉換為具有移動信息的三 維圖傳教據的傳感器信息尤其有利地適合於圖像碰撞確定。在此情況下將 卡爾曼(Kalman)濾波器分配^個三維點，這預測其移動。如果足夠 大數量的三維點的預測路徑經過預定安全區域，就預示著碰撞。
如果現在檢測到由於對象被檢測到進入安全區域的至少一個中而導 致的碰撞危險，則控制機器和/或移動機器部件的驅動以修改機器部件的 動態移動行為。在最簡單的情況下，這種修改導致關閉移動機器部件的移 動。但由於與碰撞相關的判決是純二進位的，因此在危急情況下，尤其是 例如當人員在機器前面移動時，關閉有時導致機器部件的急動運動。 一方 面，這樣給機器的機械結構施加壓力，而另一方面，這意味著其附近的人 員難以理解其行為。
因此，在有可能碰撞的情況下，優選首先修改、尤其是減慢移動機器 部件的移動速度；當碰撞發生的可能性較大時就應更大地修改、尤其是減 慢移動機器部件的移動速度。為此，可推薦的是速度的改變應該與對即 將發生的碰撞的估計概率成比例地進行。這種碰撞概率的估計發生在檢測 到對象iiX機器的安全區域之後，並且其描述移動機器部件隨後將與位於 安全區域中的對象真實碰撞的概率。
由於與估計碰撞概率相關的所有量都受到測量誤差的影響，因此優選 的是為這些量分配概率密度。由於在機器周圍的可能性較小的區域中的測 量僅導致速度減小，而不是完全關閉，因此這種方法形成相對較小的保護區域。
為了估計碰撞概率，優選地對移動機器部件在停止時間期間所經過的 空間進行量化，為每個量化部分確定各自的碰撞概率。然後根據所有部分 的各自概率之和推導出真實的碰撞概率。
為了在另一變型中估計碰撞概率，為所有相關的組件分配概率密度函
數，並且根據貝葉斯(Bayes)定理將這些概率密度函數組^來。為此， 基於訓練視頻序列的圖像數據來對移動機器部件的先驗概率進行指定或 者進行近似。
權利要求
1. 一種用於在具有至少一個移動機器部件的機器與所述移動機器部件附近的對象之間無碰撞交互的方法，其中，使用所述移動機器部件的當前位置和動態行為的知識並且使用停止時間的知識來估計在所述機器部件處於靜止之前的停止時間內所述機器部件可達到的未來位置，其中，根據估計出的可達到位置來確立所述機器部件周圍的至少一個安全區域，其中，通過來自對象傳感器的傳感器數據來檢測對象進入所述安全區域，以及其中，當檢測到對象進入所述安全區域時控制所述機器部件的驅動以便修改所述機器部件的動態移動行為，其特徵在於，通過圖像獲取系統來記錄所述機器部件的圖像數據，並且將所記錄的圖像數據與基於圖像數據編輯出的資料庫的數據相關聯，所述資料庫包含與所述機器部件的移動過程內的多個移動階段相關的圖像數據，並且根據所述資料庫來估計所述機器部件的當前位置和在所述停止時間內可達到的位置。
2. 根據權利要求1所述的方法，其特徵在於，通過多目鏡攝像機系 統來記錄所述圖像數據。
3. 根據前述權利要求之一所述的方法，其特徵在於，通過將當前記 錄的圖像數據與存儲在所述資料庫中的圖像數據相關聯來確定所述機器 部件的當前位置，其中，所述當前位置被確定為所述移動機器部件的以下 位置該位置被分配給一移動階段，該移動階段的存儲的圖傳被標識為與 所述當前記錄的圖傳教據最相似。
4. 根據權利要求1至3之一所述的方法，其特徵在於，使當前記錄 的圖傳教據經受變換、尤其經受主軸變換，並且與存儲在所述資料庫中的 數據相關聯以便確定所述機器部件的當前位置，其中，所述移動機器部件 的當前位置被確定為以下位置該位置與一移動階"R相對應，該移動階段 沿著由所述機器部件的移動過程所描述的路徑在變換的坐標系統中的映 射與所述當前記錄的圖像數據的變換最符合。
5. 根據權利要求4所述的方法，其特徵在於，通過使用在變換的坐 標系統中描述機器部件的移動過程的路徑來估計所述機器部件在從當前 確定的位置開始的停止時間內達到的未來位置。
6. 根據前述權利要求之一所述的方法，其特徵在於，通過以下方式 來確立所述安全區域基於所述資料庫來確定所a器部件在所述停止時 間期間可達到的多個位置，並且將所述多個可達到的位置擴展為區域，優選地根據在所述移動機器部件的附近檢測到的對象能夠在停止時間內行進的距離來執行所述擴展。
7. 根據權利要求6所述的方法，其特徵在於，在所有側擴展所確定 的位置以便建立所述安全區域。
8. 根據前述權利要求之一所述的方法，其特徵在於，通過至少一個 攝像機傳感器來獲得用於檢測對象進入所述安全區域的至少一個中的傳 感器數據。
9. 根據權利要求8所述的方法，其特徵在於，所述傳感器數據被轉 換為包括移動信息的三維數據以便檢測i^V。
10. 根據前a利要求之一所述的方法，其特徵在於，所述動態移動行為的修改包括停止所述機器部件的移動。
11. 根據前iUL利要求之一所述的方法，其特徵在於，所述動態移動 行為的修改包括所述機器部件的移動iilJL的改變。
12. 根據權利要求11所述的方法，其特徵在於，以相關聯的方式、 尤其與估計出的碰撞概率成比例地執行it;變的改變，在檢測到對象i^所述安全區域之後執行所述估計，並且所i^撞概率描述所i^L器部件l^ 將與位於所述安全區域中的對象真實碰撞的概率。
13. 根據權利要求12所述的方法，其特徵在於，對所述移動機器部 件經過的空間進行量化，為每個量化部分確定各自的碰撞概率，以及根據 所有部分的各自概率的總和來推導出真實的碰撞概率。
14. 一種用於在具有至少一個移動機器部件的機器與所述移動機器部 件附近的對象之間無碰撞交互的設備，所述設備包括第一單元，用於確 定所述移動機器部件的當前位置和動態行為；第二單元，用於基於所述當 前位置並且使用從所述移動機器部件的關閉直到移動機器部件處於靜止 的停止時間的知識，來估計在所述機器部件處於靜止之前的停止時間內所 i^L器部件可達到的未來位置；第三單元，用於根據估計出的可達到位置 來確定至少一個安全區域；至少一個傳感器，用於檢測對象進入所述安全 區域；以及第四單元，用於當檢測到對象進入所述安全區域時控制所述機 器部件，以便修改所述機器部件的動態移動行為，其特徵在於，用於記錄 所述移動機器部件的圖像數據的圖像獲取單元、資料庫以及用於將所記錄 的圖傳教據與所述資料庫的數據相關聯的比較器單元，所述資料庫包含與 所述機器部件的移動過程內的多個移動階斜目關的圖像數據，而所述比較器單元被設計用於估計所述機器部件的當前位置和所述機器部件在所述 停止時間內可達到的未來位置。
全文摘要
對於以相當大的速度移動的現代工業機器人，碰撞通常對機器人和碰撞對象產生嚴重的損壞。這可以導致受傷以及代價較大的生產停工。因此一種用於在具有移動機器部件的機器與位於其周圍的對象之間無碰撞交互的方法涉及使用當前位置和動態行為的知識來確定並且監控安全區域。特別地，移動機器部件的圖像數據由圖像記錄系統進行記錄並且與資料庫相關聯，資料庫是在訓練階段中使用至少一個移動機器部件的圖像數據被建立的。資料庫包含針對機器的移動周期內的多個移動階段的圖像數據。將當前記錄的圖像數據與該資料庫相關聯包括既確定移動機器部件的當前位置，又估計在停止時間內可達到的未來位置。該估計是優化機器在有碰撞危險的情況下的動態行為的基礎。
文檔編號G05B19/4061GK101512452SQ200780032230
公開日2009年8月19日 申請日期2007年7月25日 優先權日2006年7月31日
發明者克裡斯蒂安·韋勒, 安德烈·弗蘭克, 拉爾斯·克呂格爾 申請人:皮爾茨公司