引線圖像識別方法及識別裝置以及圖像處理用元件數據生成方法及生成裝置與流程

2023-10-06 01:58:19 2

本發明是涉及對利用相機拍攝帶引線的元件所得到的圖像進行處理而識別引線的引線圖像識別方法、引線圖像識別裝置、圖像處理用元件數據生成方法及圖像處理用元件數據生成裝置的發明。

背景技術：

近年來，如專利文獻1(日本特開2011-211088號公報)記載的那樣，開發了自動生成在對由元件安裝機安裝的帶引線的元件進行圖像識別時使用的圖像處理用元件數據的技術。該圖像處理用元件數據的自動生成方法中，事先利用相機對與生產中使用的帶引線的元件相同規格的元件進行拍攝並進行圖像處理，對該元件的形狀數據(元件的主體部的尺寸、引線位置、引線根數、引線間隔、引線寬度、引線長度等)進行計測，生成包括該形狀數據在內的圖像處理用元件數據。並且，在開始生產後，利用相機對吸附於元件安裝機的吸嘴的元件進行拍攝並對該元件的形狀進行圖像識別，將該識別結果與事先生成的圖像處理用元件數據進行比較，判定吸附元件的品種、吸附位置、吸附姿勢等。

專利文獻1：日本特開2011-211088號公報

技術實現要素：

發明要解決的技術課題

通常的帶引線的元件為多條引線以等間距(等間隔)排列在兩條邊或四條邊且不存在容易與引線混淆的金屬部分的簡單的結構，因此即使利用以往的圖像識別方法，如圖2、圖3所示，也能夠從所拍攝到的圖像中比較精度良好地識別引線，但近年來，存在容易與引線混淆的形狀的金屬部分等的複雜的結構的帶引線的元件正在增加。例如，當利用以往的圖像識別方法來識別圖4所示的帶引線的元件時，有時將所拍攝到的圖像中顯現的線圈的一部分誤識別為引線。另外，當利用以往的圖像識別方法來識別圖5所示的帶引線的連接器元件時，有時將所拍攝到的圖像中顯現的止動件誤識別為引線。如此，在以往的圖像識別方法中，在對存在容易與引線混淆的形狀的金屬部分等的帶引線的元件進行圖像識別時，有可能無法對容易與引線混淆的形狀的金屬部分等與引線進行區分，產生引線的誤識別率變高的問題。

在此，本發明要解決的課題在於，即使在對存在容易與引線混淆的形狀的金屬部分等的帶引線的元件進行圖像識別的情況下，也能夠防止將容易與引線混淆的形狀的金屬部分等誤識別為引線，能夠使引線的識別精度提高。

用於解決課題的手段

為了解決上述課題，本發明中，在對利用相機拍攝同一形狀的引線以等間距排成一列或多列的元件所得到的圖像進行處理而識別上述引線的情況下，在沿著上述圖像的縱向、橫向或斜向上設定的多條線對亮度(像素值)的變化圖案進行波形分析而將亮度周期性地變化的區域確定為有可能存在上述引線的引線識別對象區域之後，在該引線識別對象區域內對上述引線進行圖像識別。

通常，帶引線的元件中同一形狀的引線以等間距排成一列或多列，因此沿著與拍攝該元件所得到的圖像內的引線的列重疊的線的亮度的變化圖案成為將與引線的間距相當的長度作為1個波長的周期性的波形圖案，但沿著不與引線的列重疊的線的亮度的變化圖案不成為周期性的波形圖案。

著眼於這一點，本發明在沿著圖像的多條線對亮度的變化圖案進行波形分析而將亮度周期性地變化的區域確定為有可能存在引線的引線識別對象區域之後，在該引線識別對象區域內對引線進行圖像識別。這樣一來，即使在引線識別對象區域以外的區域存在容易與引線混淆的形狀的金屬部分等，也能夠防止將該金屬部分等誤識別為引線，能夠使引線的識別精度提高。

在該情況下，波形分析使用歸一化平方差函數、平均幅度差函數、傅立葉變換中的任一種而進行即可，總之進行使用適合評價亮度變化的周期性的函數、分析方法來確定引線識別對象區域的波形分析即可。

另外，在生成對由元件安裝機安裝的帶引線的元件進行圖像識別時使用的圖像處理用元件數據的情況下，使用通過上述的本發明的引線圖像識別方法進行圖像識別所得到的引線的識別結果，生成包括引線位置、引線根數、引線間隔、引線寬度、引線長度中的至少一個數據在內的圖像處理用元件數據即可。如上所述，若使用本發明的引線圖像識別方法，則能夠防止將容易與引線混淆的形狀的金屬部分等誤識別為引線，因此能夠自動生成可靠度比以往高的圖像處理用元件數據。

附圖說明

圖1是表示本發明的一實施例的圖像處理用元件數據生成裝置的結構的框圖。

圖2是表示對在兩條邊形成有引線的列的元件進行拍攝所得到的圖像的一例的圖。

圖3是表示對在四條邊形成有引線的列的元件進行拍攝所得到的圖像的一例的圖。

圖4是表示對設有引線的列和線圈的元件進行拍攝所得到的圖像的一例的圖。

圖5是表示對帶引線的連接器元件進行拍攝所得到的圖像的一例的圖。

圖6是說明對拍攝帶引線的元件所得到的圖像設定波形分析線的方法的圖。

圖7是表示利用平均幅度差函數對沿著各線L1、L2的亮度的變化圖案進行計算所得到的波形的圖。

圖8是表示對沿著各線L1、L2利用平均幅度差函數計算出的波形進行微分所得到的波形的圖。

圖9是表示沿著各線L1、L2利用歸一化平方差函數計算出的波形的圖。

圖10是說明提取存在周期性的線的處理的圖。

圖11是表示圖10所示的(A)區域的平均投影亮度和標準偏差的坐標圖。

圖12(a)、(b)是表示將本實施例的引線圖像識別方法與以往的引線圖像識別方法的引線的識別率、誤識別率進行比較的實驗結果的圖。

具體實施方式

以下，說明將用於實施本發明的形態具體化的一實施例。

如圖1所示，圖像處理用元件數據生成裝置構成為具備：個人計算機等計算機11；內置對作為圖像處理用元件數據的生成對象的元件進行拍攝而取得灰度圖像的CMOS傳感器等圖像傳感器的相機12；鍵盤、滑鼠、觸控螢幕等輸入裝置13；液晶顯示器、CRT等顯示裝置14；及存儲用於後述的引線圖像識別和圖像處理用元件數據生成的程序、各種數據等的存儲裝置15。

圖像處理用元件數據生成裝置可以利用元件安裝機的控制系統而構成，或者也可以使用與元件安裝機的控制系統另行構成的專用的圖像處理用元件數據生成裝置(例如組合臺式攝像裝置和個人計算機)。在利用元件安裝機的控制系統而構成圖像處理用元件數據生成裝置的情況下，相機12使用從吸附於元件安裝機的吸嘴的元件的下方對該元件進行拍攝的相機(所謂的零件相機)即可。

計算機11作為波形分析單元發揮功能，並且作為圖像識別單元發揮功能，而且還作為圖像處理用元件數據生成單元發揮功能，其中，該波形分析單元沿著在由相機12拍攝到的圖像的縱向、橫向(上下左右)方向上設定的多條線對亮度(像素值)的變化圖案進行波形分析而將亮度周期性地變化的區域確定為有可能存在引線的引線識別對象區域，該圖像識別單元在通過上述波形分析處理確定的引線識別對象區域內對引線進行圖像識別，該圖像處理用元件數據生成單元使用進行圖像識別所得到的引線的識別結果而生成包括引線位置、引線根數、引線間隔、引線寬度、引線長度中的至少一個數據在內的圖像處理用元件數據。以下，對這些功能進行說明。

通常，帶引線的元件中同一形狀的引線以等間距排成一列或多列，如圖6所示，沿著與拍攝該元件所得到的圖像內的引線的列重疊的線L1的亮度的變化圖案成為將與引線的間距相當的長度作為1個波長的周期性的波形圖案，但沿著不與引線的列重疊的線L2的亮度的變化圖案不成為周期性的波形圖案。

著眼於這一點，在本實施例中，通過計算機11，在沿著拍攝帶引線的元件所得到的圖像的多條線對亮度的變化圖案進行波形分析而將亮度周期性地變化的區域確定為有可能存在引線的引線識別對象區域之後，在該引線識別對象區域內對引線進行圖像識別。

首先，說明波形分析處理。在本實施例中，說明使用平均幅度差函數或歸一化平方差函數的波形分析處理。

[使用平均幅度差函數的波形分析處理]

平均幅度差函數(AMDF：Average Magnitude Difference Function)是表示信號的周期性的強度的函數，在聲音識別的領域中用作用於檢測間距的方法之一。該平均幅度差函數由下述的[數學式1]的式子定義。

[數學式1]

在上述[數學式1]的式子中，D(τ)是滯後τ下的平均幅度差函數，W是進行波形分析的窗口的尺寸，x是圖像的X坐標(在作為水平方向的X方向上進行分析的情況)。

通過上述[數學式1]的式子計算出的D(τ)的值越大，意味著亮度的變化圖案的周期性越強。

[使用歸一化平方差函數的波形分析處理]

歸一化平方差函數(NSDF：Normalized Square Difference Function)由下述的[數學式2]的式子定義。

[數學式2]

在上述[數學式2]的式子中，n'(τ)是滯後τ下的歸一化平方差函數，m'(τ)是由後述的[數學式8]的式子定義的函數，r'(τ)是由後述的[數學式4]的式子定義的自相關函數(ACF：Autocorrelation Function)。

通過上述[數學式2]的式子計算出的歸一化平方差函數n'(τ)的值越大，意味著亮度的變化圖案的周期性越強。

自相關函數主要有兩種，當將這些分類為類型1和類型2時，類型1的自相關函數由下述的[數學式3]的式子定義。

[數學式3]

在上述[數學式3]的式子中，r(τ)為滯後τ下的自相關函數，W為進行波形分析的窗口的尺寸的初始值。

類型2的自相關函數由下述的[數學式4]的式子定義。

[數學式4]

由上述[數學式4]的式子定義的類型2的自相關函數r'(τ)具有隨著τ增加而積分範圍減小的特徵。

上述[數學式2]的式子的右邊包含的m'(τ)利用平方差函數(SDF：Square Difference Function)求算。該平方差函數也與自相關函數同樣地有兩種，當將這些分類為類型1和類型2時，類型1的平方差函數由下述的[數學式5]的式子定義。

[數學式5]

在上述[數學式5]的式子中，d(τ)是滯後τ下的類型1的平方差函數，W是窗口的尺寸的初始值。

同樣地，類型2的平方差函數由下述的[數學式6]的式子定義。

[數學式6]

在上述[數學式6]的式子中，d'(τ)是滯後τ下的類型2的平方差函數，與前述的類型2的自相關函數r'(τ)同樣地，示出隨著τ增加而積分範圍減小。在類型1和類型2中的任一平方差函數中，在τ＝0時取最小值，相對於此，在自相關函數中，在τ＝0時取最大值。

當展開上述[數學式5]的式子時，如下述的[數學式7]的式子所示，在平方差函數的式子中，可知包括自相關函數的式子。

[數學式7]

在此，由下述的[數學式8]的式子定義m'(τ)的式子。

[數學式8]

當向上述[數學式7]的式子的右邊代入[數學式8]的式子和[數學式4]的式子時，導出下述的式子。

d'(τ)＝m'(τ)-2r'(τ)

接著，說明使用歸一化平方差函數來確定引線識別對象區域的方法。通常，帶引線的元件中大多同一形狀的引線以等間距沿水平方向或垂直方向排列。考慮這一點，在本實施例中，將拍攝帶引線的元件所得到的圖像的垂直/水平方向(縱向/橫向)上的亮度的變化圖案理解為信號的波形，首先，對應圖像的各線的每條線計算歸一化平方差函數的值。以下，為了簡化說明，對如圖6所示在拍攝帶引線的元件所得到的圖像的水平方向上設定多個波形分析線L1、L2並對水平方向的亮度的變化圖案進行波形分析的情況進行說明。

在圖6中，線L1是與圖像顯現的引線的列重疊的線，線L2是不與圖像內的引線的列重疊的線。圖7表示利用平均幅度差函數對沿著各線L1、L2的亮度的變化圖案進行計算所得到的波形。圖8表示對沿著各線L1、L2利用平均幅度差函數計算出的波形進行微分所得到的波形。圖9表示沿著各線L1、L2利用歸一化平方差函數計算出的波形。

平均幅度差函數由於取使波形錯開時的差的絕對值，因此其值始終成為正(參見圖7)。相對於此，歸一化平方差函數由於負相關不成為負值，因此情況較差。因此，在本實施例中，對沿著各線L1、L2利用平均幅度差函數計算出的波形(參見圖7)進行微分(參見圖8)，對此，通過取得歸一化平方差函數來判定正相關高的部位(參見圖9)。

能夠觀察到，與引線的列重疊的線L1中的平均幅度差函數具有某種周期性，但在不與引線的列重疊的線L2中不具有周期性。該對平均幅度差函數的波形進行微分所得到的波形示於圖8。在該微分波形中，顯然也能夠確認與引線的列重疊的線L1的波形的周期性。對該微分波形得到歸一化平方差函數的結果為圖9所示的結果。在與引線的列重疊的線L1中，可知在第一間距處得到相關性非常高的峰值。如上所述，能夠確定亮度周期性地變化的線，但還無法確定引線的列的開始的X坐標、結束的X坐標。以下，說明獲得引線的列的開始、結束的X坐標的方法。

首先，對於通過上述波形分析判定為存在周期性的區域，進行向X方向(水平方向)的亮度的投影。平均投影亮度T(x)由下述的[數學式9]的式子表示。

[數學式9]

在上述[數學式9]的式子中，I(x，y)是坐標(x，y)中的圖像的亮度，y1、y2分別是判定為連續地存在周期性的區域的開始及結束的Y坐標。該區域是已判斷為存在周期性且也能夠檢測間距的區域，因此當取得以檢測出的間距進行投影的波形數據的標準偏差S(x)時，在存在引線的列的區域中標準偏差S(x)較高，在不是那樣的區域中，標準偏差S(x)較低。該標準偏差S(x)由下述的[數學式10]的式子定義。

[數學式10]

在上述[數學式10]的式子中，p是檢測出的間距，Tav(x)是間距p的區間平均投影亮度。Tav(x)由下述的[數學式11]的式子定義。

[數學式11]

圖11是表示圖10所示的(A)的區域的平均投影亮度和標準偏差的坐標圖。通過僅提取標準偏差高的區域，能夠取得引線的列的開始及結束的坐標x1、x2。

在圖2所示的帶引線的元件中，引線僅沿元件的左右方向(X方向)延伸，因此上述的波形分析處理僅沿左右方向(X方向)進行即可，但在圖3所示的帶引線的元件中，引線沿元件的上下左右方向(X方向及Y方向)延伸，因此對圖像的縱橫兩方向(X方向及Y方向)進行同樣的處理，分別提取垂直方向(Y方向)的引線的列存在的區域和水平方向(X方向)的引線的列存在的區域。

如上所述，在將拍攝帶引線的元件所得到的圖像內的亮度周期性地變化的區域確定為有可能存在引線的引線識別對象區域之後，在該引線識別對象區域內對引線進行圖像識別。此時，引線的圖像識別使用利用了在人臉檢測中常用的AdaBoost和Haar-Like特徵的檢測器。除此之外，也可以使用利用了HOG(Histogram of Oriented Gridients：方向梯度直方圖)特徵的圖像識別，但由於引線前端具有比亮度梯度的特徵更基於區域的亮度差的特徵，因此在使用了HOG特徵的圖像識別中，與使用了Haar-Like特徵的方法相比，存在引線的識別率低的傾向。引線的圖像識別不限定於這些方法，例如，也可以使用日本特開2007-142039號公報、日本專利第2941617號公報等記載的方法。

對於從拍攝帶引線的元件所得到的圖像中確定引線識別對象區域而對引線進行圖像識別的本實施例的方法和從圖像整體對引線進行圖像識別的以往方法，本發明人進行了比較引線的識別率、誤識別率的實驗，因此將其結果示於圖12。在此，引線的識別率是指能夠準確地識別的引線根數相對於元件整體的總計引線根數的比例，引線的誤識別率是指將並非引線的結構錯誤地識別為引線的比例。實驗中使用的圖像樣品使用了圖4、圖5所示的存在容易與引線混淆的形狀的金屬部分等的帶引線的元件的圖像樣品。

本實施例的引線的識別率雖然與以往的引線的識別率存在的差異並不大，但確認到誤識別率能夠從24.5％較大地削減為2.4％。另一方面，識別率從96.8％稍微降低為95.7％，但該原因認為是，在1個元件中存在1～2根程度這樣的不具有周期性的引線，通過基於周期性進行區域確定而排除了這些引線。作為整體，1～2根程度的帶引線的元件為簡單形狀的定形元件的情況較多，使用以往方法來對引線進行圖像識別即可。

使用本實施例的引線的識別結果，對引線位置、引線根數、引線間隔、引線寬度、引線長度進行計測，生成包括這些數據中的至少一個數據在內的圖像處理用元件數據。

在以上說明的本實施例中，沿著圖像的多條線對亮度的變化圖案進行波形分析而將亮度周期性地變化的區域確定為有可能存在引線的引線識別對象區域之後，在該引線識別對象區域內對引線進行圖像識別，因此即使在引線識別對象區域以外的區域存在容易與引線混淆的形狀的金屬部分等，也能夠防止將該金屬部分等誤識別為引線，能夠使引線的識別精度提高。

而且，使用本實施例的引線的識別結果來生成圖像處理用元件數據，因此能夠防止將容易與引線混淆的形狀的金屬部分等誤識別為引線而自動生成圖像處理用元件數據，能夠自動生成可靠度比以往高的圖像處理用元件數據。

此外，作為引線的列沿斜向顯現於圖像的情況的對策，也可以將進行周期性的波形分析的線設定為圖像的傾斜方向(例如，圖像的對角方向或從水平方向傾斜45°的方向)。

另外，沿著線的周期性的波形分析不限定於使用歸一化平方差函數、平均幅度差函數的分析，也可以使用傅立葉變換等，總之使用適合評價亮度變化的周期性的函數、分析方法來確定引線識別對象區域即可。

附圖標記說明

11…計算機(波形分析單元、圖像識別單元、圖像處理用元件數據生成單元)、12…相機。