檢查螺釘部的裝置及方法
2023-05-16 01:07:51 1
專利名稱：檢查螺釘部的裝置及方法
技術領域：
本發明涉及一種用於通過圖像處理檢查設在物體上的螺釘部的裝置。本發明還涉及一種用於通過圖像處理檢查設在物體上的螺釘部的方法。
背景技術：
我們知道，在生產系統中，出於提高生產效率和安全性等目的，取得與工作和周邊設備等的作業環境有關的圖像數據並進行適當的圖像處理。例如，在汽車的生產線中，在實施將用於安裝其它各零件的螺母固定在構成車體的板金部件上的焊接工序的情形下，在移動至其它部件安裝工序前，需要檢查螺母是否確實地被固定在了板金部件所要求的地方。在這種情形下，通過取得螺母應固定的板金部件上的規定區域的二維圖像後進行適當的圖像處理，可以檢查在規定區域內有無螺母。這種生產系統，例如，可以用具有圖像處理功能的機器人系統進行構築。
在上述的螺母焊接工序中，在對於在板金部件中預先形成的螺母用的貫通孔，以大致同心狀匹配配置螺母的內螺紋的狀態，將螺母焊接在板金部件上。這種情形下，一般地，板金部件的貫通孔形成具有比螺母的內螺紋的直徑還大點兒的直徑。對於這樣的板金部件，在通過圖像處理來檢查螺母是否確實地被固定了的現有的螺母檢查方法中，首先，將攝像裝置設置成其光軸與板金表面正交(即與螺母用貫通孔的中心軸線平行)的姿勢，從正面觀察、攝影板金部件上的螺母用貫通孔。而且，通過圖像處理測量攝影的孔的直徑，基於所測量的孔的直徑的差異判定螺母是否適當地被固定在了板金部件上。
在上述現有的螺母檢查方法中，形成在板金部件上的貫通孔的直徑與螺母的內螺紋的直徑的差，由於一般地很小，所以，為了提高檢查精度，達到能夠明確判別通過圖像處理測量的孔的直徑的差異的程度，需要設小攝像裝置的視野。另外，在汽車的車體中，雖然在一片板金部件上存在焊接多個螺母的地方，但是要用將視野設定得小的攝像裝置檢查這種板金部件上的多個螺母的有無，則存在必須在各個螺母用貫通孔的正面各準備一臺攝像裝置的情況。在這種情形下，為了對全部的螺母用貫通孔檢查螺母的有無，需要與螺母用貫通孔的個數相同臺數的攝像裝置，擔心會引起生產系統的成本增加。或者，導入搭載一臺攝像裝置的機器人，通過使機器人動作來用一臺攝像裝置對多個螺母用貫通孔各攝影一次，可以對全部的螺母用貫通孔依次檢查螺母的有無。但是在這種方法中，由於在機器人的動作中需要時間，所以為了檢查全部的螺母用貫通孔要花費時間，結果擔心增加生產周期時間。
這樣，在用圖像處理的現有的螺母檢查方法中，存在既要維持檢查精度又要縮短檢查所需時間的困難。由於這個原因，在實際的汽車生產線中，操作員也能用目視檢測螺母的有無。另外，關於採用了圖像處理的攝像對象物的檢查的這樣的問題，例如，在用工具機的攻螺絲加工中，在用圖像處理檢查在元件中是否確實形成了內螺紋的情形下也可以顯現。這是因為，對於通過攻螺絲形成的內螺紋的現有的檢查方法，是由與內螺紋的中心軸線平行地配置光軸的攝像裝置從正面攝影內螺紋，基於所攝影的內螺紋的直徑的微小差別，來判定是否適當地形成了內螺紋的，而為了精度良好地判定這樣的微小差別，不得不將攝像裝置的視野設定得小些的緣故。因此，對於由螺母用貫通孔與螺母構成的螺釘部、由通過攻螺絲形成的內螺紋構成的螺釘部，希望能夠以高精度且在短時間自動地實施螺釘部是否處於適當的狀態(即，螺母是否被確實固定了，內螺紋是否被確實形成了)的檢查。
發明內容
本發明的目的是，提供一種螺釘部檢查裝置，其用於通過圖像處理檢查設置在物體上的螺釘部，它可以高精度且短時間檢查螺釘部是否處於適當的狀態，而且可以抑制生產系統的成本增加。
本發明的目的是，提供一種螺釘部檢查方法，其用於通過圖像處理檢查設置在物體上的螺釘部，它可以高精度且短時間檢查螺釘部是否處於適當的狀態，而且可以抑制生產系統的成本增加。
為了實現上述目的，本發明提供一種螺釘部檢查裝置，其用於通過圖像處理檢查設置在物體上的螺釘部，具有攝像部，其從相對於螺釘部的中心軸線傾斜的方向，攝影包含物體的螺釘部的區域，來取得物體的2維圖像；圖像處理部，其對由攝像部取得的2維圖像中的螺釘部的圖像數據實施過濾處理；螺釘判定部，其基於實施了過濾處理的螺釘部的輸出圖像數據，判定在螺釘部中是否存在螺釘。
在上述構成中，圖像處理裝置進行的過濾處理可以包含邊緣檢測處理，螺釘部的輸出圖像數據，可以包含在螺釘部中的邊緣數據。而且，螺釘判定部，可以基於由邊緣檢測處理所得到的邊緣數據的信息量，判定在螺釘部中是否存在螺釘。
還有，上述螺釘部檢查裝置，可以還具有投光部，其從與攝像部攝影物體的上述區域的方向實質上相同的方向將光照射到螺釘部。
還有，螺釘部可以包含在物體中設置的孔、與孔匹配配置內螺紋且固定在物體上的螺母；螺釘判定部可以基於螺釘部的輸出圖像數據，判定螺母是否與孔匹配配置內螺紋且被固定在了物體上。
本發明還提供一種螺釘部檢查方法，其用於通過圖像處理檢查設在物體上的螺釘部的螺釘部，其包含從相對於螺釘部的中心軸線傾斜的方向，攝影包含物體的螺釘部的區域，取得物體的2維圖像的步驟；對所取得的2維圖像中的螺釘部的圖像數據實施過濾處理的步驟；基於實施過濾處理的螺釘部的輸出圖像數據，判定在螺釘部中是否存在螺釘的步驟。
本發明的上述及其它目的、特徵及優點，通過與附圖相關的以下的優選實施方式的說明會更加清楚。在附圖中，圖1是顯示關於本發明的螺釘部檢查裝置的基本構成的功能方框圖；圖2是示意性地顯示由圖1的螺釘部檢查裝置進行的螺釘部檢查方法的一步驟的圖；圖3示意性地顯示本發明的一實施方式的螺釘部檢查裝置的構成的圖；圖4是示意性地顯示由本發明的一實施方式的圖3的螺釘部檢查裝置進行的本發明的一實施方式的螺釘部檢查方法的一步驟的圖；圖5是示意性地顯示本發明的一實施方式的螺釘部檢查方法的其它步驟的圖；及圖6是顯示本發明的一實施方式的螺釘部檢查方法的螺釘判定次序的流程圖。
具體實施例方式
以下，參照附圖詳細說明本發明的實施方式。在附圖中，對於相同或類似的構成元件標以共同的參照符號。
參照附圖，圖1是顯示關於本發明的螺釘部檢查裝置10的基本構成的功能方框圖；圖2是示意性地顯示使用螺釘部檢查裝置10的螺釘部檢查方法的一步驟的圖。螺釘部檢查裝置10是通過圖像處理檢查設置在物體M中的螺釘部T的裝置，其具備攝像部12，其從相對於螺釘部T的中心軸線O傾斜的方向，攝影包含物體M的螺釘部T的區域，取得物體M的2維圖像；圖像處理部14，其對由攝像部12取得的2維圖像中的螺釘部T的圖像數據實施過濾處理；螺釘判定部16，其基於實施過濾處理的螺釘部T的輸出圖像數據，判定在螺釘部T是否存在螺釘。
利用具有上述構成的螺釘部檢查裝置10，攝像部12，從相對於螺釘部T的中心軸線O的傾斜的方向攝影包含物體M的螺釘部T的區域，由此可以取得螺釘部T(在圖2中是內螺紋)的螺釘(螺條)的牙頂及牙根的2維圖像數據。通過圖像處理部14對該圖像數據實施過濾處理，能夠得到使螺釘的牙頂及牙根(或其中的任何一方)的圖像更明確(即，強調明暗的對比)的輸出圖像。而且螺釘判定部16在判斷為已經攝影了螺釘的牙頂及牙根(或其中的任何一方)時，可以判定在螺釘部T存在螺釘。利用這種構成，即使攝像部12攝影的螺釘部T的圖像小，由於可以精度良好地檢查螺釘的存在，所以可以在使攝像部12的視野角變大的狀態使用。結果，用一個攝像部12的1次攝像，可以同時觀察且檢查多個螺釘部，所以就可以高精度且短時間檢查多個螺釘部是否處在適當的狀態(例如，在汽車的板金部件中設置的多個螺釘部中螺母是否被正確焊接)，且可以抑制生產系統的成本增加。
圖3示意性地顯示具有上述基本構成的本發明的一個實施方式的螺釘部檢查裝置20的構成的圖。圖示實施方式的螺釘部檢查裝置20，是採用了具有圖像處理功能的機器人系統的裝置，其具有多關節型的機器人機構部22(以下稱為機器人22)；機器人控制裝置24，其連接到機器人22且控制機器人22的動作；攝像裝置26，其搭載於機器人22的手腕；圖像處理裝置28，其連接於攝像裝置26且控制攝像裝置26的動作。在機器人22的手腕處還設置有照明裝置30，該照明裝置30與攝像裝置26並行設置，且通過機器人控制裝置24(或圖像處理裝置28)進行動作控制。圖像處理裝置28經通信電纜32與機器人控制裝置24連接，在機器人控制裝置24的指令下，實行攝像裝置26的圖像數據的取得及實行對取得的圖像數據的規定的圖像處理，並將其結果(輸出圖像數據)返送給機器人控制裝置24。
在螺釘部檢查裝置20中的攝像裝置26及圖像處理裝置28，分別與圖1的螺釘部檢查裝置10的攝像部12及圖像處理部14對應。還有，圖1的螺釘部檢查裝置10的螺釘判定部16的功能，可以由螺釘部檢查裝置20中的機器人控制裝置24或圖像處理裝置28具有。
螺釘部檢查裝置20的照明裝置30，作為投光部工作，該投光部，從最好與攝像裝置26攝影包含物體M的螺釘部T的區域的方向實質上相同的方向將光照射到螺釘部T。通過使用這樣的照明裝置30，由於在效果上強調攝像裝置26攝像的螺釘部T的2維圖像的對比(即螺釘的牙頂及牙根的明暗)，所以可以更高精度地檢查螺釘部T。還有，具有可以不受螺釘部檢查裝置20的環境的左右、而能執行穩定的螺釘部檢查的優點。
作為照明裝置30，例如，可以使用利用了LED的同軸反射型的照明裝置、環狀LED的直接照射型的照明裝置等。還有，即使是將具有使用了電燈泡的一般構成的照明裝置30設置在攝像裝置26的近旁的形態，在實用上也沒有問題。而且，即使省略了照明裝置30，只是螺釘部檢查裝置20的周圍環境的自然光或室內光，也可以取得螺釘部T的2維圖像數據後通過過濾處理來檢查螺釘部T。
接下來，參照圖4～圖6，說明螺釘部檢查裝置20實施的本發明有關的螺釘部檢查方法的一個實施方式。在圖示的實施方式中，螺釘部T包含在物體M中設置的孔(貫通孔)H、與孔H以大致同心狀匹配配置內螺紋且被固定在物體M上的螺母N。物體M，例如是構成汽車的車體的板金部件，有時在一片板金部件中設置多個螺釘部T(孔H及螺母N)。
攝像裝置26從相對於螺釘部T的中心軸線O(或物體M的表面(與螺母N相反側的面)Ma的法線)傾斜的方向，攝影包含物體M的表面Ma中的螺釘部T的區域，且取得物體M的2維圖像。這時，從相同方向，照明裝置30照射包含物體M的表面Ma中的螺釘部T的區域。由此，在螺母N被適當地固定在了物體M上的情形下(圖4)，物體M的孔H的開口邊緣以及螺母N的內螺紋I中的螺釘的牙頂及牙根的2維圖像數據，由攝像裝置26確實地取得。還有，在螺母N沒有被適當地固定在物體M上的情形下(圖5)，物體M的孔H的開口邊緣的2維圖像數據，由攝像裝置26確實地取得。而且，構成螺釘判定部16(圖1)的機器人控制裝置24或圖像處理裝置28(圖3)，基於經如後面所述的圖像處理裝置28的過濾處理的螺釘部T的輸出圖像數據，判定螺母N是否以大致同心狀與孔H匹配配置內螺紋I且被固定在了物體M上。
以下，按照圖6中所示的流程圖，進一步詳述螺釘部檢查裝置20的上述螺釘部檢查方法。
首先，在步驟S1中，圖像處理裝置28，使攝像裝置26攝像包含物體M的表面Ma中的螺釘部T的區域，取得物體M的2維圖像。接下來，在步驟S2中，圖像處理裝置28對所取得的2維圖像實施過濾處理。這裡，攝像裝置26由於是從傾斜方向看螺釘部T的，所以成為過濾處理的對象的孔H及內螺紋I的圖像數據，在畫面上具有橢圓形的輪廓。
有時在物體M中設置有螺釘部T以外的各種孔或類似物。因此，作為過濾處理的對象，需要特定孔H及內螺紋I的圖像數據。作為這種方法，可以採用操作員預先設定在顯示攝像裝置26的影像的畫面上的多個橢圓形輪廓的位置及尺寸，預先輸入到圖像處理裝置28的方法。或者，可以採用通過附加的圖像處理功能，從實際的攝像數據中提取在畫面上孔H及內螺紋I的橢圓形的輪廓的數據，將與該提取數據對應的圖像作為處理對象的方法。若利用後一種方法，在因攝像裝置26與物體M的距離的變動而引起在畫面上的螺釘部T的位置及尺寸變化的情形下，也可以準確應對。
圖像處理裝置28進行的過濾處理，包含邊緣檢測處理，這是有利的。在這種情形下，通過過濾處理所得到的輸出圖像數據也包含在螺釘部T中的邊緣數據。作為邊緣檢測處理用的過濾器，可以利用被稱為Roberts、Sobel、Laplacian等的過濾器。
接下來，在步驟S3，螺釘判定部16(機器人控制裝置24或圖像處理裝置28)從實施了過濾處理的輸出圖像數據提取由邊緣檢測處理所得到的邊緣數據，通過計算求得用於判斷邊緣數據的信息量(例如表示邊緣的像素的總數或總面積)的多少的評價值。作為該評價值，可以使用對所攝影的螺釘部T的畫面上的面積的邊緣的比率。例如，將濃度梯度(濃淡的變化量)比預定的閾值還大的像素視為邊緣圖像的像素，通過下式計算評價值。
＝[濃度梯度比閾值大的像素的數]÷[螺釘部T的圖像的總像素數]而且，在步驟S4中，將上述評價值與預先設定的基準值比較。如果螺母N被適當固定在了物體M上(圖4)，由於從照明裝置30所照射的光照射螺母N的內螺紋後亂反射，所以攝像裝置26所取得的圖像數據包含與內螺紋的螺條對應的多個橢圓形的明亮的幹涉條紋的數據。與此相對，在螺母N沒有被適當固定在物體M上(圖5)的情形下，由於從照明裝置30所照射的光通過孔H，所以攝像裝置26所取得的圖像數據，包含孔H的均勻暗的區域。因此，在上述的評價值比預定的基準值還大的情形下，判定為螺母N(即內螺紋)存在，在評價值比基準值還小的情形下，判定為螺母N(即內螺紋)不存在。
這樣，利用螺釘部檢查裝置20，就可達到聯繫所述的螺釘部檢查裝置10說明過的特別的作用效果。特別地，具有可以顯著減少搭載在機器人22上的攝像裝置26的臺數、和螺釘部T的攝像步驟中的機器人22的移動次數的優點。
還有，作為圖像處理裝置28進行的過濾處理，通過進行邊緣檢測處理，可以進一步提高螺釘部T的檢查精度。這時，螺釘判定部(機器人控制裝置24或圖像處理裝置28)基於通過邊緣檢測處理所得到的邊緣數據的信息量，可以穩定地判定在螺釘部T中是否存在螺釘。而且，利用螺釘部檢查裝置20，通過在螺釘部T中照射光，可以進一步提高螺釘部T的檢查精度。這樣的螺釘部檢查裝置20，可以通過圖像處理自動地判定螺母N是否與孔H匹配配置內螺紋且被固定在了物體M上。
以上雖然聯繫優選實施方式說明了本發明，但是，本領域的技術人員一定會理解到在不脫離後述的請求範圍的公開範圍的情況下可以進行各種修正及變更。
權利要求
1.一種螺釘部檢查裝置(10；20)，其用於通過圖像處理檢查設在物體(M)上的螺釘部(T)，其特徵在於，具有攝像部(12；26)，其從相對於所述螺釘部的中心軸線(O)傾斜的方向，攝影包含所述物體的該螺釘部的區域，來取得該物體的2維圖像；圖像處理部(14，28)，其對由所述攝像部取得的所述2維圖像中的所述螺釘部的圖像數據實施過濾處理；螺釘判定部(16；24；28)，其根據實施了所述過濾處理的所述螺釘部的輸出圖像數據，判定在所述螺釘部中是否存在螺釘。
2.根據權利要求1所述的螺釘部檢查裝置，其特徵在於，所述圖像處理裝置進行的過濾處理，包含邊緣檢測處理；所述螺釘部的所述輸出圖像數據，包含在該螺釘部中的邊緣數據。
3.根據權利要求2所述的螺釘部檢查裝置，其特徵在於，所述螺釘判定部，根據由所述邊緣檢測處理所得到的所述邊緣數據的信息量，判定在所述螺釘部中是否存在螺釘。
4.根據權利要求1所述的螺釘部檢查裝置，其特徵在於，還具有投光部(30)，其從與所述攝像部攝影所述物體的所述區域的方向實質上相同的方向，將光照射到所述螺釘部。
5.根據權利要求1-4中任何一項所述的螺釘部檢查裝置，其特徵在於，所述螺釘部，包含在所述物體中設置的孔(H)、與該孔匹配配置內螺紋(I)後被固定在該物體上的螺母(N)；所述螺釘判定部根據所述螺釘部的所述輸出圖像數據，判定所述螺母是否與所述孔匹配配置所述內螺紋後被固定在了所述物體上。
6.一種螺釘部檢查方法，其通過圖像處理檢查設在物體(M)上的螺釘部(T)，其特徵在於，包含從相對於所述螺釘部的中心軸線(O)傾斜的方向，攝影包含所述物體的該螺釘部的區域，取得該物體的2維圖像的步驟；對所述取得的2維圖像中的所述螺釘部的圖像數據實施過濾處理的步驟；根據實施了所述過濾處理的所述螺釘部的輸出圖像數據，判定在所述螺釘部中是否存在螺釘的步驟。
7.根據權利要求6所述的螺釘部檢查方法，其特徵在於，所述過濾處理，包含邊緣檢測處理；所述螺釘部的所述輸出圖像數據，包含在該螺釘部中的邊緣數據。
8.根據權利要求7所述的螺釘部檢查方法，其特徵在於，根據由所述邊緣檢測處理所得到的所述邊緣數據的信息量，判定在所述螺釘部中是否存在螺釘。
9.根據權利要求6所述的螺釘部檢查方法，其特徵在於，在攝影所述物體的所述區域時，從與攝影方向實質上相同的方向將光照射到所述螺釘部。
10.根據權利要求6～9中任何一項所述的螺釘部檢查方法，其特徵在於，所述螺釘部包含在所述物體中設置的孔(H)、與該孔匹配配置內螺紋(I)後被固定在該物體上的螺母(N)；判定在所述螺釘部中是否存在螺釘的步驟，包含根據所述螺釘部的所述輸出圖像數據，判定所述螺母是否與所述孔匹配配置所述內螺紋後被固定在了物體上的步驟。
全文摘要
通過圖像處理檢查設在物體上的螺釘部的螺釘部檢查裝置。該裝置具有攝像部，其從相對於螺釘部的中心軸線傾斜的方向，攝影包含物體的螺釘部的區域，取得物體的2維圖像；圖像處理部，其對由攝像部取得的2維圖像中的螺釘部的圖像數據實施過濾處理；螺釘判定部，其基於實施過濾處理的螺釘部的輸出圖像數據，判定在螺釘部中是否存在螺釘。圖像處理裝置進行的過濾處理包含邊緣檢測處理，螺釘部的輸出圖像數據包含在螺釘部中的邊緣數據。螺釘判定部基於由邊緣檢測處理所得到的邊緣數據的信息量，判定在螺釘部中是否存在螺釘。
文檔編號G06T7/20GK1892677SQ20061010054
公開日2007年1月10日 申請日期2006年7月3日 優先權日2005年7月4日
發明者伴一訓, 藁科文和, 安藤俊之 申請人:發那科株式會社