一種基於多圖像獲取設備的工件識別與分揀裝置和方法與流程
2023-07-12 13:05:56
本發明涉及工件識別和分揀技術領域，特別是涉及一種基於多圖像獲取設備的工件識別與分揀裝置和方法。
背景技術：
基於機器視覺的工件分揀、拾取、搬運已在機械、食品、醫藥、化妝品等生產領域得到日益廣泛的應用。在這些生產線中，多個工件混合傳送到分揀區，承擔分揀、搬運的裝置要求能識別分揀區內的工件，拾取後按工序要求搬運或擺放到所需的位置。專利「基於機器視覺的機器人分揀系統及方法」(中船重工716所，cn103706568a)採用單相機獲取靜止的圓形藥片圖像後由機器手按形狀分揀，吸取位置與物品實際位置的誤差範圍為0.2mm。專利「基於視覺處理的機器人自動碼垛」(瀋陽工業大學,cn104058260a)對於處在分揀區的靜止工件通過單個相機獲取圖像，經圖象處理後得到工件幾何質心，再由碼垛機器人按此質心吸取完成碼垛。專利「工業機器人分揀系統」(瀋陽工業大學，cn204036474u)採用單個相機的運動，獲取兩個不同位置的圖像，由雙目立體視覺算法得到工件的幾何質心和擺放方向，生成工件在分揀區內的空間位置供機器人實施抓取。專利「一種用於機器人搬運作業的視覺定位方法」(上海fanuc機器人有限公司，cn101637908a)為提高機器人上料的姿態精度，對於固定位置上的單個工件在抓取前由一個2維相機得到位置補償數據，拾取後由一個3維相機獲得姿態特徵補償數據，該方法主要用於解決形狀不規則的毛坯零件上料裝夾的精度問題。
在上述採用單個相機的專利中，為了在一個視場內得到多個工件圖像，除非採用昂貴的高解析度相機，像素足夠多，否則由圖像處理得到的測量精度不高。
上述應用均針對單層工件場合，對於只容納單層工件平鋪的分揀區，在有的生產線中因為有新的工件持續流入，分揀區內工件間相互推擠，各個工件會作緩慢平移和轉動，在圖像獲取後的圖像處理、運動軌跡計算等抓取前的時間片內，工件位置已有小變化。在實施揀取的吸取或夾爪收緊過程中被抓取物相對於之前的位置也會發生細微的位移。上述專利均未計入這些位置變化，無法保證定位精度。
此外，上述採用單相機的方案中無法實現多個揀取設備，如機器人的協調工作。揀取的效率較低，且相機的使用率也比較低，增加揀取設備勢必導致相機數量的成倍增加。而 如果採用單臺相機針對不同識別的範圍兩次成像的方案的話不僅增加了相機需要頻繁變換焦距所帶來的額外成本，而且還嚴重影響到了揀取的效率。專利「一種用於機器人搬運作業的視覺定位方法」中，第一臺2d相機固定在機器人手臂上，機器人抓取工件後移動到另一臺位置固定的3d相機下進行位置補償和定位。這種方法在多個機器人的應用場合中也會導致相機的數量會成倍增加。無法充分發揮相機的使用效率。
技術實現要素：
本發明所要解決的技術問題是提供一種基於多圖像獲取設備的工件識別與分揀裝置和方法，進行工件識別時能同時保證識別範圍與識別精度，解決對於生產線上持續流入的工件在識別和抓取的時間差產生的位移變化對精度的影響。
本發明解決其技術問題所採用的技術方案是：提供一種基於多圖像獲取設備的工件識別與分揀裝置，包括第一圖像獲取設備、第二圖像獲取設備、工件傳送裝置、揀取裝置和計算機，所述工件傳送裝置用於將工件沿一個方向進行輸送；所述第一圖像獲取設備位於所述工件傳送裝置的上遊，用於獲取位於工件傳送裝置上遊的所有工件的圖像；所述揀取裝置根據所述計算機的控制揀取位於工件傳送裝置上的工件；所述第二圖像獲取設備位於所述工件傳送裝置的下遊，用於獲取揀取裝置所揀取的單個工件的局部圖像；所述計算機用於計算每個工件的揀取時間、揀取位置和釋放位置，所述計算機分別與第一圖像獲取設備、第二圖像獲取設備、工件傳送裝置和揀取裝置連接。
所述計算機根據每一個工件被識別時的位置和工件傳輸裝置移動速度計算出揀取裝置針對每一個工件的揀取時間和揀取位置。
所述計算機還根據所述第二圖像獲取設備得到的工件定位特徵的位置信息計算出工件位置校正補償量，並根據工件釋放的目標位置計算出工件的釋放位置。
所述工件定位特徵是指工件被揀取的一面上未被揀取裝置所遮擋的部位的形狀或輪廓線。
所述揀取裝置通過吸取或抓取的方式進行揀取工件。
所述第一圖像獲取設備和第二圖像獲取設備均為工業相機。優選地，所述相機解析度不超過500萬像素，或像素陣列小於或等於1920*2560。
所述工件傳送裝置上還設有與計算機相連的傳感器，所述傳感器用於檢測工件傳送裝置的傳送位置和/或速度。
所述揀取裝置為兩個以上，所述第二圖像獲取設備的數量少於或等於揀取裝置的數量，所述揀取裝置和第二圖像獲取設備在工件傳送裝置的下遊間隔布置。
所述揀取裝置為兩個以上，所述揀取裝置在移動路徑上避免幹涉碰撞。
本發明解決其技術問題所採用的技術方案是：提供一種基於多圖像獲取設備的工件識別與分揀方法，包括以下步驟：
(1)第一圖像獲取設備獲取工件傳送裝置上遊的包含多個工件的圖像，並進行圖像處理，識別出所要揀取的工件的第一位置的信息傳輸給計算機；
(2)計算機控制揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件；
(3)第二圖像獲取設備對揀取裝置所揀取工件的定位特徵進行圖像採集，經過圖像處理得到工件定位特徵相對於揀取裝置的位置信息；
(4)計算機根據得到的工件定位特徵相對於揀取裝置的位置信息控制揀取裝置定位到釋放位置釋放工件。
所述步驟(1)和步驟(2)之間還包括計算機根據每一個工件被識別時的第一位置和工件傳送裝置移動速度計算出揀取裝置針對每一個工件的揀取時間和第二位置的步驟。
所述步驟(4)中計算機根據得到的工件定位特徵相對於揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量。
所述步驟(3)的定位特徵是指工件被揀取的一面上未被揀取裝置所遮擋的部位的形狀或輪廓線。
所述步驟(3)具體為對所揀取工件進行圖像採集和灰度閾值處理，提取出輪廓線，並獲得角點的坐標以及輪廓線的轉角，通過角點坐標獲取偏置量，通過輪廓線的轉角獲取角度偏置量。
所述揀取裝置為兩個以上時，在步驟(2)中計算機分別控制多個揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件，然後多個揀取裝置依次移動到第二圖像獲取設備的獲取區域中；多個揀取裝置在移動路徑上避免幹涉碰撞。
為了提高識別和分揀的效率，先完成揀取工件的揀取裝置先移動到第二圖像獲取設備的獲取區域中。
所述揀取裝置為兩個以上時，所述第二圖像獲取設備的數量少於或等於揀取裝置的數 量，每個第二圖像獲取設備至少對應一個揀取裝置，在步驟(2)中計算機分別控制多個揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件，然後多個揀取裝置移動到各自對應的第二圖像獲取設備的獲取區域中。
有益效果
由於採用了上述的技術方案，本發明與現有技術相比，具有以下的優點和積極效果：
本發明採用多相機可以實現對大範圍物品的高精度識別和揀取，解決了傳統方法中相機識別範圍與相機解析度之間的矛盾。
本發明中的第一相機得到工件的分揀信息以及可進行工件揀取的位置信息。在揀取工件並完成定位測量前，工件實際空間位置與識別測量得到的空間位置不同，包含了識別照相後到抓取這段時間內工件的移動，以及抓取過程中工件在機構夾緊或完全吸合前的移動或偏移。不同的工件定位特徵不同，按所抓取工件的定位特徵由第二相機進行精定位測量，由於工件定位特徵的尺寸較小，在第二相機成像中可得到較高的圖像測量精度，同時由於揀取裝置與所抓取的工件間已不再有相對運動，故可以得到足夠精度的當前工件的定位信息。因此本發明可應用於持續流入的多品種多個工件混合的分揀區內工件的分揀和定位搬運，從而解決了由於生產線上持續流入的工件在識別和抓取的時間差產生的位移變化對精度的影響，實現了高效率和高精度的機器人物品分揀作業。
本發明中所使用的相機均為普通規格的工業相機，在解析度和性能上沒有特別的要求。因此，本發明方案的整體成本較低。
本發明中所使用的第一相機和第二相機分別在工件傳輸裝置的上遊和下遊布置，這樣兩個相機的工作相互沒有影響，可以實現相互配合的持續、高效率的工作。第一相機進行工件區域的工件進行全局的識別，從而實現總體協調的作用，傳輸裝置下遊的多個揀取機構和第二相機可以根據第一相機識別的多個工件的位置同時對工件進行揀取，提高了工作效率。
在採用多個揀取設備的使用情況下，多個揀取設備可以共用第一相機的採集結果。同時，在對揀取設備的位置合理布局的情況下，第二相機可以被多個揀取設備交替使用。這樣整個裝置在效率提升的同時最少化了相機使用數量，提高了相機的利用率，降低了實施的成本。
附圖說明
圖1是本發明的裝置結構示意圖；
圖2是本發明的俯視圖；
圖3是本發明的系統方框圖；
圖4是本發明的工作流程圖；
圖5是本發明實施例中第一圖像獲取設備的識別區域示意圖；
圖6是本發明實施例中第二圖像獲取設備的識別區域示意圖；
圖7是本發明實施例中修正補償量示意圖。
具體實施方式
下面結合具體實施例，進一步闡述本發明。應理解，這些實施例僅用於說明本發明而不用於限制本發明的範圍。此外應理解，在閱讀了本發明講授的內容之後，本領域技術人員可以對本發明作各種改動或修改，這些等價形式同樣落於本申請所附權利要求書所限定的範圍。
本發明涉及一種基於多圖像獲取設備的工件識別與分揀裝置，如圖1和圖2所示，包括第一圖像獲取設備1、第二圖像獲取設備2、工件傳送裝置5、揀取裝置3和計算機6，所述工件傳送裝置5用於將工件4沿一個方向進行輸送；所述第一圖像獲取設備1位於所述工件傳送裝置5的上遊，用於獲取位於工件傳送裝置5上遊的所有工件的圖像；所述揀取裝置3根據所述計算機的控制揀取位於工件傳送裝置5上的工件4；所述第二圖像獲取設備2位於所述工件傳送裝置5的下遊，用於獲取揀取裝置3所揀取的單個工件的局部圖像；所述計算機6用於計算每個工件的揀取時間、揀取位置和釋放位置，所述計算機6分別與第一圖像獲取設備1、第二圖像獲取設備2、工件傳送裝置5和揀取裝置3連接。所述工件傳送裝置5上還設有與計算機6相連的傳感器7，所述傳感器7用於檢測工件傳送裝置的傳送位置和/或速度。整個工件識別與分揀裝置的兩側還設有工件碼放區8，該工件碼放區8即為揀取裝置3的釋放位置。
其中，計算機可以根據每一個工件被識別時的位置和工件傳輸裝置移動速度計算出揀取裝置針對每一個工件的揀取時間和揀取位置；計算機還可以根據第二圖像獲取設備得到的工件定位特徵的位置信息計算出工件位置校正補償量，並根據工件釋放的目標位置計算出工件的釋放位置，從而實現對大範圍物品的高精度識別和揀取。第一圖像獲取設備和第二圖像獲取設備均可以採用普通規格的工業相機。
不難發現，本發明採用多圖像獲取設備可以實現對大範圍物品的高精度識別和揀取，解決了傳統方法中相機識別範圍與相機解析度之間的矛盾。本發明中的第一圖像獲取設備 得到工件的分揀信息以及可進行工件揀取的位置信息。在揀取工件並完成定位測量前，工件實際空間位置與識別測量得到的空間位置不同，包含了識別圖像獲取後到抓取這段時間內工件的移動，以及抓取過程中工件在機構夾緊或完全吸合前的移動或偏移。不同的工件定位特徵不同，按所抓取工件的定位特徵由第二圖像獲取設備進行精定位測量，由於工件定位特徵的尺寸較小，在第二圖像獲取設備成像中可得到較高的圖像測量精度，同時由於揀取裝置與所抓取的工件間已不再有相對運動，故可以得到足夠精度的當前工件的定位信息。因此本發明可應用於持續流入的多品種多個工件混合的分揀區內工件的分揀和定位搬運，從而解決了由於生產線上持續流入的工件在識別和抓取的時間差產生的位移變化對精度的影響，實現了高效率和高精度的機器人物品分揀作業。
本發明中所使用的圖像獲取設備均可以為普通規格的工業相機，在解析度和性能上沒有特別的要求。因此，本發明方案的整體成本較低。本發明中所使用的第一圖像獲取設備和第二圖像獲取設備分別在工件傳輸裝置的上遊和下遊布置，這樣兩個圖像獲取設備的工作相互沒有影響，可以實現相互配合的持續、高效率的工作。第一圖像獲取設備進行工件區域的工件進行全局的識別，從而實現總體協調的作用，傳輸裝置下遊的多個揀取裝置和第二圖像獲取設備可以根據第一圖像獲取設備識別的多個工件的位置同時對工件進行揀取，提高了工作效率。
本發明還涉及一種基於多圖像獲取設備的工件識別與分揀方法，如圖3和圖4所示，包括以下步驟：第一圖像獲取設備獲取工件傳送裝置上遊的包含多個工件的圖像，並進行圖像處理，識別出所要揀取的工件的第一位置的信息傳輸給計算機；計算機控制揀取裝置定位到工件的第二位置，等待工件到達第二位置時揀取工件；第二圖像獲取設備對揀取裝置所揀取工件的定位特徵進行圖像採集，經過圖像處理得到工件定位特徵相對於揀取裝置的位置信息；計算機根據得到的工件定位特徵相對於揀取裝置的位置信息控制揀取裝置定位到釋放位置釋放工件。計算機通過傳感器得到工件傳送裝置的傳送位置和/或速度，以完成整個工作流程。其中，第一圖像獲取設備的識別區域如圖5所示，虛線框9即為第一圖像獲取設備的識別區域，第二圖像獲取設備的識別區域如圖6所示，虛線圓圈10即為第二圖像獲取設備的識別區域，其與工件4重疊的部分即為定位特徵11。
下面通過三個具體的實施例來進一步描述該方法。
實施例一：
工件傳輸裝置為傳送帶，拾取裝置為一臺多關節機器人，工件為箱體。第一相機和第 二相機均採用普通規格的工業相機，其解析度為500萬像素。傳送帶通過旋轉電機驅動，電機上安裝有旋轉編碼器，檢測電機旋轉角度，計算機通過不斷讀取編碼器反饋的角度計算傳送帶的移動距離和速度。
第一相機固定安裝在傳送帶工件進入方向上遊的正上方，鏡頭垂直向下指向分揀區域，第二相機為一臺並固定安裝在傳送帶下遊工件分揀區域的正上方，鏡頭垂直向下指向分揀區域，
a)第一相機採集傳送帶上遊的包含多個工件的圖像並進行圖像處理，識別出所要揀取的工件的位置的信息傳輸給計算機；
b)計算機根據每一個工件被識別時的位置和傳送帶移動速度計算出機器人針對每一個工件的揀取時間和揀取位置；
c)計算機控制機器人定位到揀取位置等待工件到達揀取位置時揀取工件，然後移動到第二相機的下方；
d)第二相機對機器人所揀取工件的定位特徵進行圖像採集，經過圖像處理得到工件定位特徵相對於揀取裝置的位置信息；
e)計算機根據上一步驟中得到的工件定位特徵相對於揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量，從而得到機器人所要釋放的工件碼放區的釋放位置；
f)計算機控制機器人定位到工件碼放區的釋放位置釋放工件；
g)重複步驟c直到工件全部被揀取。
其中步驟d)中第二相機是對被揀取箱體的向上一面邊緣的一個角的輪廓線進行定位特徵識別。在特定的光照條件下對箱體邊緣一個角的輪廓線進行圖像採集和灰度閾值處理，提取出輪廓線，並獲得角點的坐標以及輪廓線的轉角，見圖7。通過角點的坐標獲取偏置量x』和y』。通過兩條輪廓線的轉角獲取角度偏置量α』。將x』，y』和α』的數值傳送給計算機，並計算出修正後的工件位置參數x、y和α。圖7中虛線框即為工件校正後的位置。
實施例二：
工件傳輸裝置為傳送帶，拾取裝置為二臺多關節機器人，第二相機也為兩臺並分別與二臺機器人的位置相對應。工件為箱體。第一相機和第二相機均採用普通規格的工業相機，其像素陣列為1920*2560。傳送帶通過旋轉電機驅動，電機轉速恆定，計算機通過電機轉速設定計算傳送帶的移動距離和速度。
第一相機固定安裝在傳送帶工件進入方向上遊的正上方，鏡頭垂直向下指向分揀區域，第二相機固定安裝在傳送帶下遊工件分揀區域的正上方，鏡頭垂直向下指向分揀區域，
兩臺多關節機器人與兩臺第二相機在傳送帶的下遊間隔一定距離布置，相互不幹涉，
a)第一相機採集傳送帶上遊的包含多個工件的圖像並進行圖像處理，識別出所要揀取的工件的位置的信息傳輸給計算機；其中，計算機根據工件傳送帶的移動狀態計算工件的移動距離，並在第一相機已識別工件隨工件傳送帶離開第一相機圖像採集區域前通過第一相機再次識別後續的工件；
b)計算機根據每一個工件被識別時的位置和傳送帶移動速度計算出機器人針對每一個工件的揀取時間和揀取位置；
c)計算機分別控制兩臺機器人定位到兩個不同的工件的揀取位置等待工件到達揀取位置時揀取工件然後分別移動到各自對應的第二相機的下方；
d)第二相機分別對兩臺機器人所揀取工件的定位特徵進行圖像採集，經過圖像處理得到工件定位特徵相對於揀取裝置的位置信息；
e)計算機根據上一步驟中得到的工件定位特徵相對於揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量，從而得到兩臺機器人所要釋放的工件碼放區的釋放位置；
f)計算機分別控制兩臺機器人定位到工件碼放區的釋放位置釋放工件；
g)重複步驟c直到工件全部被揀取。
其中步驟d中第二相機是對被揀取箱體的向上一面邊緣的一個角的輪廓線進行定位特徵識別。在特定的光照條件下對箱體邊緣一個角的輪廓線進行圖像採集和灰度閾值處理，提取出輪廓線，並獲得角點的坐標以及輪廓線的轉角，見圖7。通過角點的坐標獲取偏置量x』和y』。通過兩條輪廓線的轉角獲取角度偏置量α』。將x』，y』和α』的數值傳送給計算機，並計算出修正後的工件位置參數x、y和α。圖7中虛線框即為工件校正後的位置。
實施例三：
工件傳輸裝置為傳送帶，揀取裝置為二臺多關節機器人，第二相機為一臺。工件為箱體。第一相機和第二相機均採用普通規格的工業相機，其像素陣列為1920*2560。傳送帶通過旋轉電機驅動，電機上安裝有旋轉編碼器，檢測電機旋轉角度，計算機通過不斷讀取編碼器反饋的角度計算傳送帶的移動距離和速度。
第一相機固定安裝在傳送帶工件進入方向上遊的正上方，鏡頭垂直向下指向分揀區域，第二相機固定安裝在傳送帶下遊工件分揀區域的正上方，鏡頭垂直向下指向分揀區域，
兩臺多關節機器人在傳送帶的下遊間隔一定距離布置，相互不幹涉，第二相機位於兩臺機器人之間，
a)第一相機採集傳送帶上遊的包含多個工件的圖像並進行圖像處理，識別出所要揀取的工件的位置的信息傳輸給計算機；其中，計算機根據工件傳送帶的移動狀態計算工件的移動距離，並在第一相機已識別工件隨工件傳送帶離開第一相機圖像採集區域前通過第一相機再次識別後續的工件；
b)計算機根據每一個工件被識別時的位置和傳送帶移動速度計算出機器人針對每一個工件的揀取時間和揀取位置；
c)計算機控制機器人定位到揀取位置等待工件到達揀取位置時揀取工件，然後移動到第二相機的下方；
d)第二相機對機器人所揀取工件的定位特徵進行圖像採集，經過圖像處理得到工件定位特徵相對於揀取裝置的位置信息；
e)計算機根據上一步驟中得到的工件定位特徵相對於揀取裝置的位置信息計算出揀取裝置釋放工件的目標位置的補償量，從而得到機器人所要釋放的工件碼放區的釋放位置；
f)計算機控制機器人定位到工件碼放區的釋放位置釋放工件；
g)重複步驟c直到工件全部被揀取。
為了提高識別和分揀的效率，先完成揀取工件的機器人先移動到第二相機的下方，後完成揀取工件的揀取裝置後移動到第二相機的下方，依次進行。當第一臺機器人執行完步驟c時另一臺機器人同時開始執行步驟c。兩臺機器人在移動路徑上應避免幹涉碰撞。
其中步驟d中第二相機是對被揀取箱體的向上一面邊緣的一個角的輪廓線進行定位特徵識別。在特定的光照條件下對箱體邊緣一個角的輪廓線進行圖像採集和灰度閾值處理，提取出輪廓線，並獲得角點的坐標以及輪廓線的轉角，見圖7。通過角點的坐標獲取偏置量x』和y』。通過兩條輪廓線的轉角獲取角度偏置量α』。將x』，y』和α』的數值傳送給計算機，並計算出修正後的工件位置參數x、y和α。圖7中虛線框即為工件校正後的位置。
由此可見，在採用多個揀取設備的使用情況下，多個揀取設備可以共用第一相機的採集結果。同時，在對揀取設備的位置合理布局的情況下，第二相機可以被多個揀取設備交替使用。這樣整個裝置在效率提升的同時最少化了相機使用數量，提高了相機的利用率，降低了實施的成本。