用於高精確機器視覺計量術的過濾圖像的方法

2023-10-07 15:45:19 3

專利名稱：用於高精確機器視覺計量術的過濾圖像的方法
技術領域：
本發明一般涉及機器視覺檢查系統，具體涉及過濾圖像的方法。
背景技術：
精確機器視覺檢查系統可用於得到被檢查物體的精確幾何尺寸測量結果並檢查各種其他的物體特性。這種系統可以包括計算機，用戶接口，照明系統，攝像機和光學系統，以及可以沿多個方向運動的精確載物臺，從而允許操作員放置攝像機以成像工件的各種特徵。用戶接口通常包含可以放置在檢查圖像上的各種視頻工具。按照這種方式，機器視覺檢查系統的用戶可以放置並操作視頻工具以完成用於各種控制和檢查操作的圖像處理操作，而僅需很少或沒有圖像處理的知識。一種有這個特徵的典型現有技術系統可以是通用「離線」精確視覺系統，我們可以從位於Aurora，IL的Mitutoyo America Corporation(MAC)購得商品化QUICK VISIONTM系列視覺檢查機器和QVPAKTM軟體。QUICK VISIONTM系列視覺檢查機器和QVPAKTM軟體的特徵和操作，包括用戶接口和各種視頻工具，例如，在2003年1月出版的QVPAK 3D CNC Vision Measuring Machine UsersGuide和1996年9月出版的QVPAK 3D CNC Vision MeasuringMachine Operation Guide中描述，全文合併在此供參考。諸如QV-302Pro Model的這種產品利用顯微鏡型光學系統形成各种放大倍數的工件圖像，並包含以上描述的全部特徵。
這種通用「離線」精確視覺系統的特徵是它們的多功能性，因此，能夠使用戶或自動程序能夠快速改變它們的配置和成像參數，為了對各種類型物體或檢查工件，或單個工件的各種特徵完成各種檢查任務。
通用精確機器視覺檢查系統，例如，QUICK VISIONTM系統，通常還是可編程的，並提供自動的視覺檢查。理想的是，這種系統包含可以簡化這種系統編程和操作的特徵和工具，因此，「非專家」操作員能夠可靠地操作和編程。
自動視頻檢查計量術儀器通常有編程能力，對於每個特定的工件配置，允許用戶規定自動的檢查事件序列。編程能力通常還提供存儲和/或輸出各種檢查操作的結果。這種編程可以藉助於人工方式實施，例如，文本基編程，或通過逐漸「學習」檢查事件序列的記錄模式，其中存儲對應於用戶完成檢查操作序列的一系列機器控制指令，或通過這兩種方法的組合。這種記錄模式往往稱之為「學習模式」「訓練模式」或「教學模式」。
在這些技術中，機器控制指令通常存儲為特定工件配置專用的零件程序。在操作的「運行模式」期間，能夠建立具有自動完成預定檢查操作序列指令的零件程序有以下幾個優點其中包括提高檢查的可重複性，以及能夠在多個相容機器視覺檢查系統上和/或多個時間內執行相同的零件程序。
在機器視覺系統中，有時出現一些「遮擋」型問題，即，前景物體幹擾觀察或檢查背景物體的情況。用於工件檢查或測量的通用機器視覺系統通常不能解決遮擋問題。以前，沒有容易編程的其他方案。一般地說，用戶必須利用個人判斷仔細地測量和放置工具以避免遮擋物體和/或陰影。在這種情況下，當檢查有前景和背景特徵的圖像時，例如，與被檢查特徵最接近的邊緣特徵，各個工件之間結構的略微變化，或照明和陰影，可以使仔細放置和受過訓練的工具失效或提供錯誤的結果。
或者，某些專家設計了各種定製設計的圖像過濾過程和/或邊界生長或「連接」過程，用於去除多餘的遮擋圖像特徵。然而，這些過程往往在某種程度上總體改變圖像的特性，從而存在改變圖像中各種邊緣特徵位置的巨大風險。這種情況是不理想的，特別是對用於檢查工件的各種精確計量操作，因為即使略微改變各種邊緣特徵的位置可以導致不精確的檢查結果，這與精確檢查的要求不相容。例如，通常要求的精確檢查容差是5-10μm數量級或更小。因此，用於去除遮擋特徵的各種先前方法沒有給質量控制和檢查操作提供良好的基礎，特別是在通用機器視覺檢查系統中，這種系統可以給相對非專業操作人員提供可靠的操作和相當簡單的編程環境。
本發明的目的是一種用於克服上述或其他缺點的系統和方法。更具體地說，本發明的目的是一種用於過濾圖像的方法，該方法能夠以高精確度保存圖像中具體特徵的位置。

發明內容
本發明涉及一種用於高精確機器視覺計量術的過濾圖像的方法，本發明還涉及一種可以由相對非專業操作人員實施的方法，它具有相對低的風險引入重大的工件測量誤差。按照本發明的一個方面，形態基解決方法用於過濾圖像以去除外來特徵或遮擋特徵。膨脹腐蝕過程可用於過濾操作。然而，反覆使用膨脹腐蝕的過程容易使被測量的特徵適應於所用結構單元的形狀。因此，在直線特徵上使用正方形狀導致形狀畸變(除非該直線的取向是在任何一個正方形邊長的方向上)，圓形特徵也是如此。因此，為了保存圖像中特定形狀的指定特徵，在按照本發明形態過濾評價區或圖像時，我們利用這樣的結構單元，它與被保存或檢查的特徵有基本相同的形狀，或形狀和特徵。例如，若被保存或檢查的特徵包含直線邊緣，則利用直線形或矩形結構單元用於過濾操作，而結構單元的軸取向與直線邊緣基本平行。當被保存或檢查的特徵是圓形時，使用的結構單元也是圓形。因此，利用這樣一種結構形態術方法，其中結構單元的選取是基於被測量的特徵。
按照本發明的另一方面，過濾方法的開始是獲取包含被檢查工件特徵的圖像和與被檢查工件特徵最接近的外來特徵或遮擋特徵。然後，在至少部分的工件特徵上，視覺系統完成該操作的評價區。結構形態操作是由視覺系統在至少評價區上完成的。然後，存儲結構形態的圖像。視覺系統在評價區上完成的操作是在結構形態圖像中的合適位置實施的。然後，返回操作結果作為獲取圖像的結果。
按照本發明的另一方面，視覺系統在評價區完成結構形態操作的開始是首先確定評價區中被保存工件單元的形狀，或形狀和取向的適用特性。然後，確定評價區中外來特徵的可利用特性。一般地說，對於結構單元，基於被保存工件單元的可利用特性和外來特徵，選取結構單元的形狀，幾何尺寸(例如，寬度)，和取向(如果可利用)。例如，在一些實施例或應用中，其中直線邊緣被檢查或測量，外來特徵是網格條寬度尺寸為T的網格，而一些網格條相對於被檢查或測量直線邊緣的角度是φ，平行於被檢查直線邊緣的直線形或矩形結構單元的長度約為L＝T(1/sinφ+1/cosφ)，或上預設限制，選取較短的一個數值。
按照本發明的另一方面，在各個實施例中，確定結構單元的長度和/或寬度的操作可以包括確定是否給結構單元的長度和/或寬度施加預設限制。作為一個例子，在利用直線或矩形結構單元的各個實施例中，適宜的是設置結構單元的最小寬度為3個或大於3個像素，為的是確保平行於結構單元的外來特徵被過濾掉。作為另一個例子，在需要提供圓盤狀或圓形結構單元合適近似的各個實施例中，直徑的預設限制至少是7個像素。為了較好和較可靠地近似於圓盤，圓盤直徑至少是13個像素，而為了更好和更可靠地近似於圓盤，圓盤直徑至少是17個像素。當被過濾掉的外來特徵是條寬度或厚度為T的網格時，在一些實施例中，適宜的是設置圓盤直徑d的預設限制為奇數個像素，在圖像中至少是d＝2T+1個像素，為的是確保在過濾速度與可靠和完全過濾操作之間有合理的折衷。在各個實施例中，有利的是設置上預設限制，它大致是被過濾區域的對角線尺寸，但與所使用的結構單元類型無關。
按照本發明的另一方面，通常基於被去除外來特徵的一個或多個尺寸和/或結構單元的尺寸，確定完全去除外來特徵所需的形態處理操作迭代次數。然後，至少對評價區完成形態處理操作迭代。在一些實施例中，令L′表示遮擋特徵的相關跨距，按照本發明的形態過濾操作利用沿相關跨距方向有尺寸X的結構單元，其迭代次數大於或等於L′/X次。對於圓形結構單元，在與被檢查特徵鄰近的指定區或評價區中，相關跨距通常是沿任何方向的遮擋特徵中所包含的最長「不中斷」像素跨距。對於直線形結構單元，在與被檢查特徵鄰近的指定區或評價區中，相關跨距通常是沿某個方向的遮擋特徵中所包含的最寬不中斷像素跨距，該方向平行於被檢查直線特徵的邊緣取向。
按照本發明的另一方面，可以按照人工方式，半自動或全自動方式確定評價區中被保存工件特徵或單元的形狀或形狀和取向的適用特性。按照本發明的另一方面，確定結構單元的開始是確定被測工件特徵是否有CAD數據。若有CAD數據，則基於適用的形狀和對應於被保存工件特徵的CAD數據，選取結構單元。若沒有CAD數據，則基於獲取的圖像，確定工件特徵是否有規則的幾何形狀(例如，直線形，圓形等)。若工件特徵確實有規則的形狀，則可以從列表和形狀尺寸中選取結構單元的形狀，或規定尺寸和取向對應於工件特徵的尺寸和取向。若工件特徵沒有規則的形狀，則利用圖像處理算法或操作提取工件特徵並重新構造工件特徵(例如，填充或平滑)，而選取的結構單元尺寸或尺寸和取向對應於提取的工件特徵。在過程的結束，被保存工件特徵或單元的控制特性存儲在零件程序和/或用於確定結構單元在操作運行模式期間的特性。此外，在操作運行模式期間，基於存儲的形狀和/或取向，而不是CAD數據或用戶輸入，可以重複以上描述的操作，並可以調整零件程序中存儲或確定的各種位置和取向參數以補償定位失準，工件變化等，用於保持所需水平的形態過濾和檢查功效，不管合理預期的運行時間工件和圖像變化。
按照本發明的另一方面，可以按照人工方式確定外來特徵的尺寸。人工方式過程的開始是用戶目測確定相關尺寸的位置，即，外來特徵沿與被檢查特徵鄰近適用方向或取向的最大直徑或跨距。然後，視覺系統工具可用於測量最大直徑或跨距。然後，存儲相關的尺寸作為控制外來特徵尺寸。
按照本發明的另一方面，可以按照半自動或全自動方式確定外來特徵的控制相關尺寸和/或取向。在一些實施方案中，在操作的學習或訓練模式期間，自動過程的開始是用戶規定或指出至少部分被測量外來特徵的形狀(例如，通過至少選取該圖像中外來特徵的相關部分，從形狀庫中選取，或利用任何合適裝置輸入的形狀，規定模板)。然後，模式匹配算法可用於查找該圖像餓至少評價區中規定形狀的實例。若存在規定形狀的多個實例，則由用戶或利用預設方法選取外來特徵形狀的優選實例。然後，利用算法確定外來特徵的取向和/或相關尺寸。然後，外來特徵的控制取向和/或相關尺寸存儲在零件程序和/或用於確定在操作運行模式期間的結構單元特性。此外，在操作運行模式期間，基於存儲的模板和/或存儲的取向和/或相關尺寸，而不是用戶輸入，可以重複以上描述的操作，並可以調整結構單元的取向和/或尺寸以補償定位失準，工件變化等，用於保持所需水平的形態過濾功效，不管合理預期的運行時間工件和圖像變化。
應當理解，利用過濾方法(例如，形態術)去除外來特徵(例如，網格)可以與實際圖像特徵測量過程(例如，直線工具，圓形工具等)分開。換句話說，一旦圖像被過濾，則基於過濾的圖像，普通圖像分析的任何邊緣測量工具可用於測量該特徵。因此，任何現有，新的，或改進的邊緣測量方法可以與本發明的方法結合使用。
應當理解，本發明的方法給用戶提供簡單的操作，其中可以利用標準化或熟悉類型的視頻工具而無須任何定製的操作。此外，本發明的方法提供這樣一種裝置，它可以使相對非專業用戶實施形態過濾操作和確定用於控制過濾操作的重要參數(例如，結構單元參數)變得很簡單。換句話說，不要求用戶利用實施定製操作的腳本語言以避免遮擋特徵。取而代之，該系統允許使用預編程圖標，即使非專業用戶經過很少的訓練就能夠使用。還應當理解，某些現有的機器視覺檢查系統可以採用按照本發明方法的各個實施例，而對於這種現有的機器僅作很少改動或沒有「翻新」的改動。在各個典型的實施例中，在翻新的改動中只要求添加機器視覺檢查軟體方法和/或按照本發明原理的改動。
利用此處公開的系統和方法，對於被網格遮擋的邊緣特徵，實驗得到的位置精確度是在0-1μm的範圍內，而對於類似遮擋圓形的直徑，位置精確度是在1-2.5μm的範圍內。獲得的實驗測量可重複性小於0.1μm。因此，可以理解，按照本發明的形態過濾系統和方法可用於提供這樣的過濾圖像或圖像部分，它可與現有的機器視覺檢查系統視頻工具結合使用，測量到被遮擋特徵的精確度和重複性是在微米或亞微米範圍內，這是普通過濾方法至今還不能實現的精確度和可重複性。


參照以下結合附圖的詳細描述，可以更容易地理解本發明的上述特徵和許多伴隨的優點，其中圖1是典型通用機器視覺和檢查系統的示意圖；圖2是被檢查典型工件和特徵的示意圖，它包含平板顯示屏掩模的阻擋網格；圖3是圖2所示典型工件和特徵的示意圖，它說明選取的特徵邊緣部分；圖4是圖3所示典型工件和特徵的示意圖，疊加的典型實施例GUI配件代表用於邊緣定位的盒形，弧形，和點狀工具；圖5是圖4所示典型工件和特徵的示意圖，其中過濾過程應用在盒形和弧形工具的評價區；圖6A-6F表示利用圓形結構單元加在圓形特徵上過濾過程的各種狀態圖；圖7A-7D表示利用直線形矩形結構單元加在直線特徵上過濾過程的各種狀態圖；圖8表示用於確定直線形結構單元長度的各種參數示意圖，它可去除外來網格特徵；圖9是一個典型實施例的例行程序流程圖，用於檢查有外來特徵的工件；圖10是一個典型實施例的例行程序流程圖，用於確定結構單元和完成結構形態操作；圖11是一個典型實施例的例行程序流程圖，用於人工方式確定外來特徵的控制相關尺寸；圖12是一個典型實施例的例行程序流程圖，用於半自動或全自動方式確定外來特徵的控制相關尺寸；圖13是一個典型實施例的例行程序流程圖，用於確定結構單元的特性；圖14表示盒形工具的屏幕顯示圖，用於確定包含圓形工件特徵的大評價區；圖15表示在形態過濾器設置對話框中選取預覽功能提供過濾圖像的屏幕顯示圖，它允許用戶在接受檢查操作的過濾器設置之前預覽過濾器設置的結果；圖16表示擴展過濾器配置列表的屏幕顯示圖，它允許用戶命名和保存過濾器設置；圖17表示在直線形工件特徵的形態過濾器設置對話框中各種設置的屏幕顯示圖；圖18表示在盒形工具對話框菜單的過濾器型列表中選項的屏幕顯示圖；圖19表示預覽一組過濾器設置加到直線工件特徵上得到的過濾圖像屏幕顯示圖；圖20表示選取對應於被檢查旋轉直線工件特徵的旋轉過濾器設置的屏幕顯示圖；圖21是一個典型實施例的例行程序流程圖，用於自動確定被檢查直線特徵的取向角；圖22包括圖像和有關的曲線圖，它表示利用投影矢量確定被檢查直線特徵取向角的各種狀態；和圖23是一個典型實施例的例行程序流程圖，用於在對應的圖像評價區中確定被檢查直線工件特徵的取向。
具體實施例方式
圖1是按照本發明一個典型實施例的通用可編程機器視覺檢查系統10方框圖。機器視覺檢查系統10包括視覺測量機器200，它與控制系統100連接，用於交換數據和控制信號。控制系統100還與監視器111，印表機112，操縱杆113，鍵盤114，和/或滑鼠26中的一個或多個連接，用於交換數據和控制信號。視覺測量機器200包括可運動的工件載物臺210和光學成像系統205，它可以包含變焦透鏡或多個可交換透鏡。變焦透鏡或可交換透鏡通常給光學成像系統205形成的圖像提供各种放大倍數。
操縱杆113通常用於控制沿X方向和Y方向運動的可運動工件載物臺210，和沿Z或聚焦方向可運動光學成像系統205的運動方向元件，X方向和Y方向大致平行於光學成像系統205的焦平面。通常，控制Z軸的偏轉是操縱杆113的手柄或旋鈕中可轉動偏轉元件。操縱杆113可以有不同於附圖所示的形式，例如，監視器16上任何可視的表示或配件，它的功能是作為機器視覺檢查系統10的「虛擬運動控制裝置」並可接受任何計算機輸入裝置的控制，例如，滑鼠26。控制系統100和視覺測量機器200的各個特徵基本上類似於2004年3月25日申請的US Patent Application Serial No.10/808,948和2003年8月4日申請的US Patent Application Serial No.10/632,823中更詳細描述的，全文合併在此供參考。
圖2是通用機器視覺檢查系統的部分顯示區300的圖，它展示被檢查典型工件和特徵的圖像，其中包含平面板顯示屏掩模的遮擋網格。如圖2所示，顯示區300是標準的640×480攝像機像素格式，並包含平面板顯示屏掩模的遮擋重複網格圖形304。在網格304的下方是工件背景層302，它可以包含基片，圖案化薄膜，或其他表面，且通常包含圖像信息，它是檢查或測量過程的中心。工件上被檢查的物體包含以下更詳細描述的軌跡320和330。如以下更詳細描述的，外來網格圖形304使檢查過程複雜化，因為網格本身有很強的交錯邊緣特徵，它可以使軌跡320和330邊緣部分的確定和評價變得複雜化。
圖3是圖2所示典型工件和特徵的顯示區300A圖，它展示該特徵的選取邊緣部分。如圖3所示，顯示區300A中的軌跡320和330被人為地增亮，為的是更好地強調軌跡320和330以及它們的邊緣。通過網格304的開口部分可以看到背景層302。應當理解，雖然我們在此處討論網格型的外來遮擋物體304，但是，本發明的方法通常適用於任何類型外來的前景物體或背景物體。所示的網格部分304A是在背景層302的基片部分之上，而所示的另一種網格部分304B是軌跡部分320之上。所示一系列大的橢圓形340基本上圍繞軌跡320和330的邊緣部分。大的橢圓形340包含較小的圓形342，這些小圓形強調軌跡320和330的部分的邊緣段，它們的邊緣通過遮擋網格304實際上是可見的。所示的圓形350圍繞軌跡330的圓形末端。圓形350包含較小的圓形352，這些小圓形圍繞和強調軌跡330的邊緣部分，其中邊緣通過遮擋網格304實際上是可見的。
圖4是圖3所示被檢查的典型工件和各種特徵的顯示區300D圖，其中典型實施例的GUI配件代表用於邊緣定位的盒形，弧形，和點狀工具，所有這一切都可用在按照本發明系統和方法的各個實施例中。如圖4所示，顯示區300D包含盒形工具配件810A和810B，直線工具配件820，和弧形工具配件830。在QVPAK 3D CNC VisionMeasuring Machine Users Guide和QVPAK 3D CNC VisionMeasuring Machine Operation Guide以及在2004年7月30日申請的US Patent Application No.10/903,714中大致描述邊緣檢測工具GUI配件的各種操作特性，全文合併在此供參考。
直線工具配件820可直接用於確定工件圖像中邊緣點的位置，或可以作為盒形邊緣工具(例如，盒形工具配件810A和810B)操作的基礎，如以下詳細描述的。直線工具配件820是在軌跡330左側邊緣的邊緣部分之上。在用於檢查目的的操作中，用戶可以選取直線工具配件820，並拖動它橫跨顯示區，放置在軌跡330指定邊緣的可視部分之上。在操作中，直線工具820通常沿它的長度方向掃描數據點(例如，像素)，它與各種操作一起確定邊緣位置。
為了確定圖像中邊緣的位置，通過查找強度數據內的最大梯度幅度，許多算法可以找到邊緣的位置。若沿強度數據的方向有多個梯度，則選擇器的位置可以幫助該算法確定哪個梯度對應於指定的邊緣。還可以提供一種指示(例如，工具820的取向或方向)，有助於算法確定它應當查找上升邊緣或下降邊緣。此外，在訓練模式下確定和存儲邊緣的各種特性，便於更可靠地選擇和確定類似部分上的指定邊緣，在此之後，在運行模式下進行。這種特性可以包括圍繞邊緣的總體谷值-峰值強度變化；邊緣位置上的標稱強度值；和/或這兩個數值之間的比率，等等。
然而，應當理解，若直線工具配件820包含在用於檢查多個工件的自動零件程序中，則遮擋網格304相對於軌跡330位置的任何變化可以定位直線工具820之下的遮擋網格304，並使它失效。本發明的意圖是通過濾掉遮擋網格304以防止這種類型的失效模式。然而，還應當理解，在某些實施例中，利用已知的曲線擬合技術或已知的形心查找技術，該技術識別圍繞最大梯度值的梯度曲線以下的區域形心，通過找到內插餓最大梯度位置，實際找到的邊緣位置(最大梯度位置)具有子像素的精確度。因此，仔細地研究本發明的過濾方法和參數，使它在這種精確度下不嚴重改變過濾圖像中被檢查邊緣的位置。
在各個典型實施例中，盒形工具配件810A和810B顯示成一側帶箭頭和中心處有選擇器的盒子。在各個典型實施例中，操作員測量，定位和旋轉盒形工具配件810A和810B，直至該盒子表示或確定評價區，且「+」邊緣選擇器標記表示被測定和檢查的邊緣。在各個典型實施例中，盒形工具配件810A和810B沿評價區中的邊緣通常利用一個或多個普通的邊緣梯度，並基於人工操作方式或訓練模式下的選擇器位置，和沿各個掃描線的邊緣梯度局部幅度，可以確定該邊緣，如同以上對直線工具配件820所描述的。在這些典型實施例中，箭頭的方向確定與邊緣梯度相關的參考方向或極性。應當理解，如果需要，盒形工具配件810A和810B邊界指出的評價區範圍是完全可調整和可旋轉的。弧形工具配件830還指出評價區，對選取的邊緣作標記，並通常按照類似於盒形工具配件810A或810B的方式進行安排和操作，為的是確定限制圖像特徵曲線(例如，半徑)的各個邊緣點。
圖5表示圖4所示典型工件和特徵的視圖300E，其中過濾過程應用在盒形和弧形工具的評價區。如以下更詳細描述的，利用按照本發明的圖像處理算法，即，形態基圖像處理方法，至少可以從評價區中去除外來特徵(例如，網格)，因此，可以對評價區中的清晰邊緣圖像進行測量。如圖5所示，過濾操作應用在盒形工具配件810A和810B和弧形工具配件830的評價區內，為的是基本去除網格。在各個典型實施例中，如果需要，在機器視覺系統操作的訓練模式期間，可以給操作員顯示類似於圖300E的圖像，使操作員可以定性或定量地評價根據一組形態基過濾參數得到的過濾邊緣圖像，並基於這種評價，接受或改變過濾器參數。
在按照本發明的各個實施例中，膨脹腐蝕過程用於過濾圖像。例如，膨脹操作可以包括給結構單元中每個像素分配對應於結構單元中包含最大像素值的數值。類似地，膨脹操作可以包括給結構單元中每個像素分配對應於結構單元中包含最小像素值的數值。在按照本發明各個實施例中，這種圖像處理操作以及可用於去除外來特徵數據的各種其他圖像處理操作，在多個圖像處理出版物中有進一步的說明和描述，例如，Ramesh Jain et al.Machine Vision，McGraw Hill，1995，全文合併在此供參考。
在此處描述的各個實施例中，當指出「一次迭代」膨脹腐蝕過程時，這相當於順序步進結構單元通過指定圖像區內的每個像素位置，並在該順序中的每個位置上完成上述的膨脹操作。在此之後是順序步進結構單元通過指定圖像區內的每個像素位置，並在該順序中的每個位置上完成上述的膨脹操作，從而完成一次迭代操作。類似地，當指出「K次迭代」膨脹腐蝕過程時，這相當於首先順序步進結構單元通過指定圖像區內的每個像素位置，並在該順序中的每個位置上完成上述膨脹操作。然後，在完成的總數為「K」次之前，重複另一次整個膨脹操作順序通過指定區。在此之後是順序步進結構單元通過指定圖像區內的每個像素位置，並在該順序的每個位置完成上述的膨脹操作。然後，重複另一次整個順序膨脹操作通過指定區，直至它已完成總數為「K」次迭代。這就完成「K次迭代」的膨脹腐蝕過程。
在此處的說明和討論中，我們假設在圖像中相對較明亮的(較高像素值)特徵被保存和測量，而相對較黑暗的遮擋特徵被過濾掉。因此，膨脹腐蝕過程是合適的，然而，應當明白，若遮擋特徵普遍地比被保存和檢查的特徵更明亮，則按照本發明，以上描述的膨脹腐蝕過程是按相反的順序進行，即，膨脹腐蝕過程是去除較明亮的遮擋特徵和保存較黑暗的被檢查特徵。在這種情況下，正確地保存較黑暗的特徵，它沒有以下參照圖6B和7B討論的後生物。
如以上所指出的，在重複地利用膨脹腐蝕過程時，它通常是使被檢查的特徵適合於所用結構單元的形狀。因此，在直線特徵上應用正方形可以導致直線特徵的畸變(除非該直線的取向是正方形中任一個邊長的方向)，對於圓形特徵也是如此。為了避免圖像中具體特徵的畸變，按照本發明，最佳結構單元有對應於被檢查特徵的形狀或形狀和取向。因此，對於被檢查有給定取向的直線或矩形圖像，則最佳結構單元是相同取向的直線或矩形，而對於被檢查的圓形圖像，則最佳結構單元是圓形，等等。因此，按照本發明，利用這樣一種結構形態術方法，其中選取結構單元的形狀或形狀和取向通常是基於被測量的特徵。
為了過濾圖像中的遮擋特徵以便測量圓形，最佳結構單元是有足夠直徑的圓形或圓盤形單元。圖6A-6F表示按照本發明形態過濾過程的各個視圖，其中圓形結構單元加到包含圓形特徵的圖像上。圖6A表示5x放大倍數拍攝的640×480像素圖像，它包含處在中心位置被檢查的圓形特徵601，以及圍繞該特徵的區域，它們都被遮擋網格所覆蓋。當圖6C所示的近似圓形結構單元602加到圖6A所示的圖像上時，按照本發明利用膨脹腐蝕過程從中心位置的圓形特徵601中去除遮擋網格，圖6B表示產生的過濾圖像。具體地說，為了產生圖6B所示的結果，利用包含5次膨脹腐蝕迭代圓形結構單元602的形態過濾過程，其中結構單元602的直徑是27個像素。如圖6B所示，網格已被去除。具體地說，圓形特徵601的內部沒有遮擋網格和沒有過濾後生物。圖6B所示顯現的圓形特徵601邊緣所在位置與圖6A所示遮擋圓形特徵601的邊緣位置沒有顯著的不同，這是所理想的結果。圖6D和6E分別表示圓形特徵601的未過濾圖像和過濾圖像近視圖(放大倍數為15x)。
應當理解，圓形結構單元602的所示尺寸相對於圖6A和6B所示比例是誇大的。一般地說，為了過濾遮擋網格或其他遮擋特徵，諸如圓形結構單元602的結構單元最大可用尺寸d至多略大於網格條內沿任何方向所包含的最長未中斷像素跨距。通常，這個尺寸小於或遠遠小於被檢查圓形特徵的直徑。
關於圍繞顯現的圓形特徵601區域，從圖6B的過濾圖像中可以看出，垂直臂603和水平臂604的邊界以及與垂直臂603和水平臂604相交的鄰近外圓形邊界605的邊界是畸變的。如上所述，這種情況的發生是因為，在利用形態膨脹腐蝕過程時，有不同於結構單元形狀的特徵容易適合於結構單元的形狀。在這種情況下，圖6C所示圓形結構單元加到垂直臂603和水平臂604的直線邊界，以及它們與外圓形特徵邊界606相交的相對尖銳角度上容易畸變相關邊緣，該邊緣適合於結構單元601的形狀。
理想的是，為了在被檢查特徵鄰近的指定區或評價區中利用單次膨脹腐蝕迭代有效地去除諸如網格的遮擋物體，結構單元圓盤直徑必須足夠大，可以完全覆蓋遮擋特徵的相關跨距。對於圓形結構單元，相關跨距通常是在被檢查特徵鄰近的指定區或評價區中沿任何方向的最長「不中斷」遮擋特徵像素跨距。然而，因為結構單元「圓盤」的邊緣不是真正的圓形，而僅僅是由大致排列成行列格式的一組像素構成，在某些實際情況下，利用這種尺寸結構單元的形態過濾方法不能完全或合適地過濾圖像。在結構單元直徑很小時，這是特別真實的。
為了說明這一點並強調盤狀結構單元直徑或尺寸的重要性，更一般地說，它代表其他形狀結構單元尺寸的重要性，我們考慮直徑為兩個像素的假想「圓盤狀」結構單元。對於離散正方形像素的行列安排，應當明白，「直徑」為兩個像素的結構單元實際上是正方形。因此，在過濾器加到包含圓形特徵的圖像上時，圓形特徵的邊緣通常顯示出由不同形狀粗略結構單元引入的後生物。例如，圖6E展示這種效應。具體地說，為了產生圖6E所示的結果，利用包含27次膨脹腐蝕迭代正方形結構單元的形態過濾過程，該結構單元的尺寸是3×3像素。如圖6E所示，網格被去除，但是顯現的圓形特徵601′包含形成不規則邊緣的邊緣後生物，這些邊緣後生物的邊緣位置遠遠不同於圖6A所示遮擋圓形特徵601限定的實際邊緣位置。在需要相對高精確度的檢查和測量結果時，並強調按照本發明選取結構單元的數值，使它的形狀很好地近似於被檢查特徵的形狀。
在各個實施例或應用中，利用其尺寸遠遠小於相關跨距長度的結構單元，並根據需要增大迭代次數以實現所需的過濾結果，可以導致最快的過濾操作。例如，在理論上，若d′是在理想或無噪聲條件下通過單次迭代完全過濾掉或去除網格或其他遮擋特徵所需的圓形結構單元直徑，則在理想條件下直徑為d的結構單元通過N＝d′/d次迭代可以實現大致相同的過濾結果。然而，在實際上，如圖6F中利用「太小」3×3結構單元得到的較差結果所指出的，需要限制圓形結構單元有足夠大的尺寸，它允許沿行和列排列的一組像素近似於有合適解析度的圓以提供精確的過濾操作。更一般地說，有其他形狀的結構單元也應當有滿足這個準則的尺寸。通常，隨著結構單元尺寸的增大，其彎曲邊緣和/或夾角的形狀可以由行和列排列的一組離散像素近似。為了克服以上描述的效應，並附加地提供這樣的過濾操作，它可以克服真實圖像中噪聲造成的潛在過濾缺陷，在需要合適地近似於盤狀或圓形結構單元的各個實施例中，其直徑至少限定在7個像素。為了較好和較可靠地近似於圓盤，圓盤的直徑至少是13個像素，而為了更好和更可靠地近似於圓盤，圓盤的直徑至少是17個像素。此外，當被過濾的遮擋特徵是條寬度或厚度為T的網格時，在各個實施例中，適宜的是設置圓盤直徑d至少為上述的最小允許數值，或提供簡單和合適的預設值，它大致是d＝2T+1，取其中較大的一個數值，為的是在過濾速度與可靠和完全過濾操作之間提供合理的折衷。
在各個實施例中，為了避免在各種過濾圖像特徵的明顯位置上引入空間位移或偏置，並提供最佳的過濾精確度，有利的是，結構單元的直徑對應於奇數個像素。在這種情況下，結構單元的像素是圍繞該結構單元的中心像素呈對稱分布，而且，當過濾操作是在迭代期間的評價區(圖像)中各個像素地址位置上完成時，中心像素唯一地對應於每個當前像素的地址位置。若結構單元的直徑或長度很小，則提供圍繞中心像素呈對稱分布的結構單元是特別重要。
關於形態過濾操作中所用的迭代次數，如上所述，可以確定迭代次數為略大於在理想條件下所需的最小迭代次數N＝d′/d。作為另一個方案，在包含噪聲的實際成像條件下，N+3次迭代可以確保可靠的過濾結果。基於具體特徵所需最小迭代次數，作為有效確定迭代次數的另一個方案是，可以簡單地設置結構單元的尺寸為預定的預設值，而迭代次數設置成確保完全過濾所對應的預定預設值。例如，當遮擋特徵是條寬度或厚度為T的網格時，以及結構單元尺寸設置為預設值d＝2T+1，則迭代次數可以簡單地設置成5次迭代的預設值，它是一個保守的「增大」數值，在保持合理過濾速度的同時，也可以確保有效地過濾噪聲圖像。應當注意，在某些情況下，即使諸如網格的遮擋特徵被完全地去除，指定特徵的邊界可能並不平滑。在這種情況下，可以增大迭代次數以得到較平滑的邊界。
關於從圖像中過濾遮擋特徵以便測量矩形特徵和/或直線邊緣，最佳的結構單元是直線形單元，即，具有足夠長度和寬度的直線或矩形單元。圖7A-7C展示按照本發明形態過濾操作的各個視圖，其中直線結構單元加到包含直線特徵的圖像上。圖7A表示放大倍數5x拍攝640×480像素的圖像，它包含被檢查特徵的中心位置直線特徵701以及圍繞的區域，它們都被遮擋網格所覆蓋。當類似於圖7C所示直線結構單元702的近似直線結構單元加到圖7A所示的圖像上時，按照本發明利用膨脹腐蝕過程從中心位置的直線特徵701中去除遮擋網格，圖7B表示產生的過濾圖像。具體地說，為了產生圖7B所示的結果，利用包含5次膨脹腐蝕迭代直線結構單元的形態過濾過程，該直線結構單元的取向平行於直線特徵701的邊緣，且其長度L＝27個像素和寬度w＝1個像素。如圖7B所示，圖7B中所示的顯現直線特徵701有從其內部完全去除的遮擋網格，它構成按照本發明充分或完全地去除遮擋特徵，且圖7B中所示顯現直線特徵701的邊緣位置與圖7A所示遮擋直線特徵701邊緣位置沒有很大的不同，這是一個理想的結果。應當理解，圍繞矩形特徵的區域中呈周期性分布的鋸齒狀直線後生物並不幹擾檢測和測量顯現直線特徵701的指定邊緣。如圖7B所示，按照本發明的膨脹腐蝕過程保存被檢查的特徵，因此，它的內部沒有遮擋特徵和後生物。所以，通過定向邊緣檢測視頻工具的掃描方向(圖5所示各種視頻工具中箭頭所指出的方向)，並開始從保存特徵的內部掃描，能夠可靠地找到被保存特徵的指定邊緣。因此，遇到的第一個邊緣是指定的邊緣。所以，在按照本發明的各個實施例中，當按照本發明的形態過濾器用於檢查操作時，按照人工方式，半自動或全自動方式確定相關邊緣檢測工具的掃描方向，使它是從被檢查特徵的內部開始。或者，在確定檢查操作時，適宜的是利用以上參照圖4和5所示各種視頻工具描述的「+」形狀邊緣選擇器，可以從相鄰邊緣中有效地判別被檢查的指定邊緣，例如，鋸齒狀直線後生物的邊緣。然而，這種僅僅檢測指定邊緣的方法不如以上描述的掃描方向技術可靠。當然，這兩種方法可以結合使用以增強穩健性。
應當理解，所示的直線結構單元702尺寸相對於圖7A和7B的比例是誇大的。通常確定矩形結構單元701的尺寸w小於或遠遠小於被檢查帶邊緣特徵的寬度。具體地說，在各種應用中，其中它確保遮擋單元的邊緣(例如，遮擋網格條的邊緣)不平行於被檢查特徵的邊緣，而矩形或直線結構單元可以一致地對準至少基本平行於被檢測的邊緣，則矩形或直線結構單元的尺寸w至少有1個像素已足夠。然而，在遮擋單元的邊緣(例如，遮擋網格條的邊緣)基本平行於被檢測特徵邊緣的具體情況下，就不可能去除沿平行於寬度w＝1個像素的直線結構單元方向的遮擋特徵。然而，這種情況下的簡單解決方案是利用這樣的矩形結構單元，例如，它的厚度或寬度w為3個像素或更多個像素。因此，在各個典型實施例中，至少當遮擋單元的邊緣平行或基本平行於被檢查特徵的邊緣時，結合本發明方法的零件程序中所用直線形結構單元的寬度w至少是3個像素。這可以確保從被檢查特徵的內部去除甚至「平行」的遮擋單元。
關於長度尺寸L，理想的是，為了在單次膨脹腐蝕迭代中從被檢查特徵鄰近的指定區或評價區中有效地去除諸如網格的遮擋物體，長度L必須足夠長，它可以完全覆蓋遮擋特徵的相關跨距。我們假設結構單元的取向基本平行於被檢查直線形特徵的邊緣，則相關跨距是遮擋特徵沿某個方向包含的最長不中斷像素跨距，該方向在被檢查特徵鄰近的指定區或評價區中平行於被檢查直線形特徵的邊緣取向。
在各個實施例或應用中，利用其長度遠遠小於相關跨距長度的結構單元，並增加所需的迭代次數以實現理想的過濾結果，可以得到最快過濾操作。例如，在理論上，若L′是通過單次迭代完全過濾掉或去除網格或其他遮擋特徵所需的直線形結構單元長度，則長度為L′/N的結構單元通過N次迭代可以實現大致相同的結果。由於結構單元有較小的尺寸，儘管增加了迭代次數，這種實施例實際上可以在少於利用相對較長結構單元完成上述一次迭代過濾操作所需時間內完成所需的多次迭代過濾操作。
然而，根據其他的考慮，在一些實施例或應用中，尺寸L可以限制在足以確保直線形結構單元的取向有所需角解析度和精確度的預設長度上。與沒有明顯取向的圓形結構單元對比，有直線邊緣的形態結構單元，具體地說，諸如矩形和直線單元的直線形結構單元，相對於被檢查特徵的直線邊緣必須有正確的取向，為的是產生理想的精確過濾結果。一般地說，直線形結構單元的邊長越接近平行於被檢查的邊緣特徵，則過濾操作保存邊緣的直線性和位置越精確，以及隨後的檢查和測量結果就越精確。
為了清楚地說明結構單元長度在這方面的重要性，我們考慮長度為2個像素的結構單元。對於行和列排列的結構單元像素，應當理解，長度為2個像素和寬度為1個像素的結構單元有意義角取向僅僅是0°，45°，和90°。即，兩個相鄰像素的選擇是排成一行，排成一列，或沿對角線排列。因此，有意義的角取向解析度僅僅是45°。通常，隨著結構單元長度的增大，可以改進有意義的角取向解析度。例如，當結構單元長度約為58個像素時，可以提供有意義的角取向解析度為1°。被檢查直線特徵的(理想)直線邊緣通常展示與邊緣不平行的直線結構單元引入的後生物。例如，圖7D展示這種效應。具體地說，為了產生圖7D所示的結果，利用包含5次膨脹腐蝕迭代矩形/直線結構單元的形態過濾過程，該結構單元的長度L＝27個像素和寬度w＝1個像素。直線結構單元相對於被檢查直線特徵邊緣的失準為2°。如圖7D所示，網格被去除，但是顯現的直線特徵701′包含導致不規則邊緣的邊緣後生物。在要求相對高精度檢查和測量結果時，這是不可接受的過濾結果。這個例子強調正確定向結構單元的價值，它可以提供按照本發明的形態過濾操作，在直線形結構單元的情況下，要求它的長度取向平行於被檢查邊緣有足夠的角解析度。當然，具體檢查測量的精確度要求確定用於定向結構單元的所需角解析度，而它又確定所需的結構單元長度。所以，在所需檢查精確度是相對低時，就允許相對短的結構單元。因此，在要求至少有一個直線邊緣的結構單元提供有意義角取向解析度至少為1°的各個實施例中，直線邊緣至少有58個像素。類似地，在相對低精確度可接受的實施例中，對於2°，5°，或10°的各個角取向，至少一個直線邊緣的長度分別是29個像素，12個像素，或6個像素。更一般地說，為了提供約為K°的角解析度，至少一個直線邊緣的長度有[180°/(π*K°)]個像素。以下更詳細地描述與人工方式，半自動或全自動方式選取或調整直線形或矩形結構單元取向和/或長度有關的各種考慮和方法。
關於直線形結構單元的最大長度L，假想地，若我們希望在一次迭代中清楚地去除諸如網格的遮擋特徵，則直線結構單元需要有足夠的長度L，使它完全地達到遮擋特徵沿某個方向包含的最寬不中斷像素跨距，該方向平行於被檢查直線特徵的邊緣取向，為的是清楚地去除遮擋特徵。在遮擋網格的情況下，按照以下參照圖8所描述的方法，可以計算這條直線長度L。
圖8表示被檢查直線或邊緣特徵801和部分外來遮擋網格802的示意圖。令Ga表示網格的取向角(相對於參考軸)，T表示網格條寬度或厚度，和La表示被檢查直線或邊緣特徵801的取向角(相對於參考軸)。按照本發明，La也是相關結構單元的理想取向角。令＝(La-Ga)表示直線或邊緣特徵801或相關結構單元相對於網格的取向角。如圖8所示，沿平行於直線或邊緣特徵801或結構單元方向的方向，遮擋網格802中包含的最長不中斷像素跨距是沿網格條內的直線，該直線正好掠過各個網格條相交的角度。沿這條直線的不中斷網格像素的跨距長度L是L=T(1sin+1cos)]]>公式1按照本發明，若直線取向和網格取向是對準的，即，若當＝0°，90°，180°，或270°時，長度L在理論上是無限長。然而，不管遮擋特徵是網格或其他類型的物體，實際上，L的最大有用數值一定不大於被過濾區中包含的最長尺寸。在各個實施例或應用中，僅僅過濾與當前單個視頻工具相關的當前評價區，在這種情況下，尺寸L的最大有用數值一定不大於當前評價區的對角線尺寸。在過濾整個圖像的實施例或應用中，尺寸L的最大有用數值一定不大於該圖像的對角線尺寸。若這種相對長的長度用於結構單元，且過濾操作是在迭代期間的評價區(或圖像)中各個像素地址位置上完成的，則可以忽略與特定像素地址相關的延伸超出評價區(或圖像)之外的部分結構單元。
然而，對於許多遮擋網格結構，按照公式1確定的L值小於以上描述的對角線尺寸。在這種情況下，對於具體的特徵或圖像，得到按照公式1確定數值L的有價值目的是，確定那個具體的特徵或圖像的數值L是否小於以上描述的對角線尺寸，或具體實施例或應用中所用某個其他預設的最大結構單元長度。即，對於遮擋網格，結構單元的長度大於按照公式1確定的數值不可能大大改進相對無噪聲圖像中的圖像過濾結果，而是導致相對慢的過濾操作。因此，在各個實施例中，為了確保過濾操作不超過產生理想過濾結果所需的時間，結構單元的長度限制在大致等於或小於按照以上確定的相關跨距長度。如上所述，若結構單元長度小於相關跨距長度，則需要多次膨脹腐蝕迭代，為的是可靠地去除遮擋特徵。理論上，若L′是直線形結構單元的長度，它在理想條件下(例如，無噪聲條件)通過單次迭代可以完全過濾掉或去除網格或其他遮擋特徵，則在理想條件下，N＝L′/L次迭代可以獲得與長度為L的結構單元大致相同的結果。
類似於以上參照圓形結構單元討論的考慮，當遮擋特徵是條寬度或厚度為T的網格時，在各個實施例中，適宜的是設置直線形結構單元的長度按照以上參照公式1所計算的，或提供一個簡單或合適的預設值，大約是L＝2T+1，取其中較大的一個，為的是在過濾速度與可靠和完全過濾操作之間提供合理的折衷。此外，在各個實施例中，為了避免在各種過濾圖像特徵的明顯位置上引入空間位移或偏置並提供最佳的過濾精確度，有利的是，直線形結構單元的長度L對應於奇數個像素，其理由如上所述。此外，可以確定利用直線形結構單元形態過濾操作所用的迭代次數，它略大於上述在理想條件下的最小迭代次數N＝L′/L次迭代。例如，作為另一個方案，N+3次迭代可以確保可靠的過濾結果。或者，對於某些應用和/或特徵，直線形結構單元的長度和相應的迭代次數可以設置成確保完全過濾的預定預設值。例如，對於條寬度或厚度為T的遮擋網格，若結構單元的長度設置成預設值d＝2T+1，則迭代次數可以設置成5次迭代的預設值，它是確保有效過濾包括噪聲圖像在內大部分或全部典型圖像的評價區中保守「大」的數值，而同時保持合理的過濾速度。
在各個實施方案中，在確定工件的零件程序中包含各種參數和指令的「運行模式」或訓練階段期間，按照人工方式，半自動或全自動方式可以確定用於控制結構單元的選取和適用迭代次數的任何或所有特性。在操作的運行模式或運行階段期間，可以按照自動方式記錄零件程序以及隨後再調用和執行該程序以檢查工件。例如，在各種應用中，這種特性可以包括，但不限於，外來網格的厚度和/或取向，外來網格的相關尺寸，或其他遮擋特徵，被過濾和檢查的直線特徵取向，評價區尺寸，等等。
利用此處公開的系統和方法，藉助於諸如各個附圖中所示網格遮擋的邊緣特徵實驗，我們得到的位置精確度是在0-1μm範圍內，而對於類似遮擋圓的直徑精確度是在1-2.5μm範圍內。得到的實驗測量結果可重複性小於0.1μm。這些誤差小於一般過濾方法用於相同圖像所得到誤差的50-75％。因此，可以理解，按照本發明的形態過濾系統和方法可用於提供特定過濾的圖像或圖像部分，它可與現有機器視覺檢查系統視頻工具結合使用以測量有微米和亞微米精確度和重複性的遮擋特徵，這是普通過濾方法不能實現的精確度和可重複性。
圖9是一個典型實施例的通用例行程序900的流程圖，用於檢查有外來特徵的工件。在方框920，獲取包含被檢查工件特徵和最接近被檢查工件特徵的外來特徵(例如，網格)的圖像。在方框930，確定視覺系統對至少部分圖像完成操作的評價區，該圖像包含被檢查的工件特徵。在方框940，至少在評價區上完成由視覺系統完成的結構形態操作。在方框950，存儲結構形態圖像。在方框960，在結構形態圖像的疊合位置上完成視覺系統在評價區上完成的操作。在方框970，返回操作結果作為獲取圖像的結果。可以在人工方式下完成例行程序900的運行，為的是完成人工方式的工件檢查操作。在其他的情況下，可以按照人工方式，半自動或全自動方式在學習模式/訓練模式下完成這些操作，為的是確定包含零件程序中記錄形態過濾操作的檢查步驟。在其他的情況下，可以在自動執行零件程序的期間完成，該零件程序包含一組有形態過濾操作的工件檢查指令。
圖10是一個典型實施例的例行程序1000的流程圖，用於完成結構形態操作。在一個實施例中，可以在圖9的方框940中完成圖10的結構形態操作。如圖10所示，在方框1020，確定評價區中被檢查工件單元或特徵形狀和/或取向的適用特性。在方框1030，確定評價區中外來特徵的適用特性(例如，網格寬度或厚度，取向，相關尺寸等)。在方框1040，基於方框1020和1030操作中得到的信息，確定結構單元的形狀，取向和尺寸(例如，直徑，長度，寬度，或厚度等)。在各個實施例中，在方框1040中確定取向和/或尺寸也可以考慮適用於取向和/或尺寸的操作預設限制。以上我們已描述過這種預設限制的各種例子。
在方框1050，基於以上得到的信息，確定去除外來特徵所要求的形態處理迭代次數，至少是從被檢查特徵的內部除外來特徵。在各個實施例中，基於操作方框1020和/或方框1030得到的信息，可以確定迭代次數。在各個實施例中，確定迭代次數也可以考慮操作的預設迭代次數，例如，它可以與方框1040中確定的預設尺寸相聯繫。以上我們已描述確定特徵專用和/或預設迭代次數的各種例子。在方框1060，基於確定的結構單元和迭代次數，至少在評價區上完成指定的形態處理操作。在操作方框1060之後，該例行程序結束。
圖11是一個典型實施例的例行程序1100流程圖，用於人工方式確定圖像中外來特徵的控制相關尺寸。在各個實施例中，在圖10的方框1030或圖13所示例行程序1300的方框1370可以完成例行程序1100。如圖11所示，在方框1110，開始按照人工方式確定當前圖像，ROI，或被檢查特徵的外來特徵控制相關尺寸。可以按照人工方式完成例行程序1100的運行，為的是完成人工方式的工件檢查操作。在其他的情況下，在學習模式/訓練模式下按照人工方式，半自動或全自動方式可以完成例行程序1100的運行，為的是確定包含在零件程序中記錄形態過濾操作的檢查步驟。在方框1120，視覺識別，或藉助於任何已知或以後開發的視頻工具識別外來特徵的最大遮擋跨距位置，該特徵是與當前圖像，ROI，或被檢查的特徵有關。在方框1130，視覺系統視頻工具用於測量最大遮擋跨距。在一些實施方案中，若遮擋跨距是部分的重複特徵或圖形，則可以測量該圖形中任何位置包含的合適代表性跨距。在方框1140，確定和存儲和/或實施外來特徵的控制相關尺寸。在一些情況下，可以確定最大遮擋跨距為控制相關尺寸。在各個實施例中，在方框1140確定控制相關尺寸也可以考慮適用於控制相關尺寸的任何運行預設限制，，並基於與最大遮擋跨距的比較，可以確定預設限制為控制相關尺寸。以上我們已描述這種預設限制的各種例子。
可以實施控制相關尺寸以確定用於人工方式檢查操作的結構單元特性。或者，可以在零件程序中存儲或實施控制相關尺寸，可以在以後時刻確定用於自動檢查工件的結構單元特性。
圖12是一個典型實施例的例行程序1200流程圖，用於按照半自動或全自動方式確定與被檢查特徵最接近的外來特徵控制相關尺寸。在各個實施例中，在圖10的方框1030或在圖13所示例行程序1300的方框1370，可以完成例行程序1200。如圖12所示，在方框1210，開始按照半自動或全自動方式確定當前圖像，ROI，或被檢查特徵的外來特徵控制相關尺寸。可以按照半自動或全自動操作完成例行程序1200的運行，例如，在操作的運行模式下利用視頻工具的操作，為的是完成人工方式的工件檢查操作。在其他的情況下，在學習模式/訓練模式下可以按照半自動或全自動方式操作完成例行程序1200的運行，為的是確定包含零件程序中記錄的形態過濾操作檢查步驟。在其他一些的情況下，在操作的運行模式期間可以按照全自動方式完成，用於確定或改進零件程序執行期間的過濾特性或參數，該零件程序包含一組有形態過濾操作的工件檢查指令。
在方框1220，藉助於任何現在已知或以後開發的裝置，識別，輸入，或規定外來特徵的形狀。例如，在操作的訓練模式期間，用戶可以從形狀菜單或庫中選取或輸入形狀的類型，或藉助於文本或繪圖輸入，或識別使用的形狀作為模板，或藉助於幾何模式識別方法可以識別形狀。在操作的自動運行模式期間，可以從存儲器中再調用外來特徵形狀的形狀類型或模板，或由零件程序指令規定。作為一個例子，若外來特徵是部分網格，取決於評價區相對於網格的尺寸，則該形狀可以是對應於網格中一條或多條的矩形，對應於網格中一個或多個相交處的x形狀，或對應於網格中一個或多個盒形單元的形狀或圖形。
在方框1230，模式匹配算法用於查找ROI(或在其他的實施例，在當前圖像的較大區域)中規定外來特徵形狀的實例。在方框1240，若在ROI中(或在其他的實施例，在當前圖像的較大區域)存在規定外來特徵形狀的多個實例，則識別和/或選取該形狀的一個或多個相關實例。作為一個例子，在自動操作期間，可以選取相關實例為當前ROI中包含的實例，或有最接近於，或足夠接近於邊緣選擇器位置的形心，或點狀工具位置等，它用於確定對評價區中被檢查當前特徵的檢查操作。作為另一個例子，在操作的運行模式期間，可以在顯示屏上的工件圖像中指出多個實例(例如，藉助於彩色形狀輪廓或填充物等)，而用戶可以通過用戶接口按照人工方式識別或選取優選的實例。
在方框1250，利用算法測量最大遮擋跨距並確定外來特徵的控制相關尺寸。例如，若被檢查的當前特徵是直線邊緣，則該算法可以包含輸入，再調用或確定該邊緣的取向，並估算沿平行於邊緣取向的多條掃描線的外來特徵形狀相關實例中包含的相連像素數目。確定的最大相連像素數目對應於最大相關尺寸，然後，在方框1260，確定和存儲和/或實施控制相關尺寸。在一些情況下，可以確定最大遮擋跨距為控制相關尺寸。在各個實施例中，在方框1140確定控制相關尺寸也可以考慮任何適用於控制相關尺寸的操作預設限制，並基於與最大遮擋跨距的比較，確定預設限制為控制相關尺寸。以上我們已描述這種預設限制的各種例子。
可以實施控制相關尺寸以確定人工方式檢查操作中所用的結構單元特性。或者，在操作的運行模式期間，可以在零件程序中存儲或實施控制相關尺寸，用於確定在以後時刻按照自動方式檢查工件的結構單元特性。此外，在操作的運行模式期間，可以實施控制相關尺寸，用於確定或改進零件程序執行期間所用的過濾特性或參數。
圖13是一個典型實施例的例行程序1300流程圖，用於確定結構單元的特性。通常是在機器視覺檢查系統操作的人工方式檢查或學習模式期間完成例行程序1300的運行。然而，在某些情況下，例行程序的運行可以適合於自動改進結構單元的特性，在操作的運行模式期間可以調整相同零件程序檢查的各個零件之間微小變化。在一個實施例中，例行程序1300可以用在圖10中的方框1020-1040和/或圖9中方框940的操作中。如圖13所示，在方框1310，開始確定結構單元的特性。在方框1320，再調用和/或輸入被檢查工件特徵的表示，用於隨後例行程序1300的運行。在各個實施例或應用中，工件特徵表示可以包括CAD數據，基於CAD數據的模擬圖像，或包含工件特徵的實際圖像。
在判定方框1330，分析工件特徵表示以確定被檢查的工件特徵是否有對應於一組預定結構單元候選形狀中包含的任何形狀(即，可以被它精確地過濾)。如上所述，選取的結構單元形狀通常與被檢查的特徵或部分特徵匹配。因此，為了方便起見，按照本發明的機器視覺檢查系統可以包含用於限定一組預定類型結構單元候選形狀的庫，菜單，或列表等，例如，它可以包含直線和/或一個或多個普通矩形(用於過濾以上描述的直線特徵和邊緣)，直角「L形」圖形(用於過濾角度)，圓形(用於過濾圓形或部分圓形)，恆定曲率弧形(用於過濾環形段)，一個或多個普通三角形(用於過濾三角形)，或預期在檢查特徵形狀時通常發生的任何其他形狀。在操作的人工方式或學習模式期間，確定工件特徵是否對應於按照人工方式，半自動或全自動方式可以完成的一個預定形狀，例如，藉助於視覺識別或比較，幾何分析和分類，幾何模式匹配(它可以包括形態的形狀變化)，或模板匹配等。
若被檢查的工件特徵對應於該組預定結構單元候選形狀中包含的任何形狀，則操作進行到方框1340，其中相應地設置預定的結構單元。在各個實施例中，若要求精確的過濾，則在方框1340的操作中可以改變或適應普通形狀的各種角度和/或縱橫比等，為的是更好地匹配被檢查的特徵。也是在方框1340，若可以識別結構單元形狀的取向，則按照人工方式(通常是藉助於機器視覺檢查系統中的一個或多個視頻工具)，半自動或全自動方式確定被檢查特徵的取向。然後，限定結構單元的取向平行於被檢查特徵的取向，並可以存儲有關的取向參數或特性，以後可以在零件程序中使用和/或在結構單元中實施用於過濾。以下進一步討論按照自動方式確定直線特徵取向的各個方面。
若在方框1330中確定工件特徵不對應於任何預定的形狀(例如，它是不規則形狀或各種形狀的組合)，則操作進行到方框1350，其中利用任何現在已知或以後開發的方法，從工件特徵表示中提取或確定工件特徵形狀。例如，利用各種已知的圖像處理技術，可以識別，和/或完成和平滑特徵邊緣或邊界，或藉助於區域生長技術或用於顯現邊緣或邊界的其他已知圖像處理技術，可以填充被檢查的特徵。然後，藉助於已知的圖像處理技術，可以「提取」形成的顯現特徵形狀，並用作結構單元的形狀。在這種情況下，結構單元的幾何形狀類似於被檢查的特徵。也是在方框1350，若可以識別結構單元形狀的取向(通常是這種情況)，則確定，存儲和/或實施被檢查特徵的取向，如同以上在方框1340中描述的類似操作。
從方框1330或1350開始，操作進行到判定方框1360，其中確定某個類型的預設尺寸是否用作結構單元的尺寸。基於形態過濾操作的預設設置，基於結構單元所用的形狀類型，可以按照半自動或全自動方式確定這個判定，或可以由用戶輸入確定這個判定。在各個實施例或應用中，特別是在被檢查特徵的特性是一致和可預測的情況下，適宜的是建立各種結構單元形狀的預設尺寸。一般地說，使用預設尺寸可以使沒有經驗的用戶更快地得到檢查結果和/或建立零件程序。基於形態過濾操作的預設設置，基於結構單元所用的形狀類型，可以按照半自動或全自動方式確定這個判定，或可以由用戶輸入確定這個判定。通常，在使用預設尺寸時，形成的結構單元尺寸相對於被檢查特徵的尺寸減小預設尺寸確定的量。利用類似於以上的描述以及與圓形和直線特徵及其對應結構單元有關的例子，可以明白和實施用於預設尺寸的功能和/或指定的尺寸減小量，和/或最小尺寸(例如，與過濾速度，有效過濾操作所需的迭代次數，和/或給各種形狀提供足夠的形狀或取向解析度有關)。
若在判定方框1360決定使用預設尺寸，則操作進行到方框1380，其中利用預設尺寸確定結構單元的尺寸。若在判定方框1360決定不使用預設尺寸，則操作進行到方框1370，其中確定與被檢查特徵最接近的遮擋特徵控制相關尺寸。例如，按照參考圖11或圖12中描述的操作，或此處描述的其他方法，可以確定控制相關尺寸。若在操作方框1370之前完成這種操作，則在方框1370可以再調用控制相關尺寸的存儲數值，用於隨後的操作，或者，在方框1370中包含這種操作。在任何一種情況下，在方框1380，利用控制相關尺寸確定結構單元的尺寸。
在方框1390，如果需要，存儲限定結構單元特性的參數或數據，例如，它的形狀，尺寸，和取向，以後可用於零件程序和/或在結構單元中實施用於過濾，例行程序到此結束。
圖14-20是屏幕顯示圖，它說明可以與按照本發明系統和方法結合使用的各種圖形用戶接口和控制特徵。如以下更詳細描述的，為了限定和/或使用按照本發明的各種形態過濾器操作，用戶首先利用視頻工具(例如，盒形工具等)確定評價區。在一個實施例中，用戶可以操作該工具，例如，雙擊工具部分或特徵，可以出現該特定工具的對話框。在「advanced」標誌和在「filter type」列表中，用戶選取「morphology」，為的是啟動或激勵按照本發明使用各種形態過濾操作，然後，單擊「parameters」。這可以出現「morphology filter settings」對話框，由此用戶可以預覽和/或選取各種過濾器設置。
圖14是屏幕顯示視圖1400，它說明用於確定包含圓形工件特徵的評價區(其邊界大致與圖14中圖像窗口顯示區1410的邊界一致)的盒形工具。如圖14所示，盒形工具選取的圓形工件特徵顯示在顯示區1410。對話框1420指出，掩模形狀或此處稱之為結構單元形狀，選自諸如橢圓形的預定候選列表，並有相同79個像素的行和列尺寸，它使橢圓形變成圓形。在各個實施例中，這些尺寸最初可以設定為預設值，和/或按照上述原理確定當前圖像的尺寸並由用戶輸入。在右下角對話框1420的高亮「Restore」按鈕指出，該顯示圖像是機器視覺檢查系統中攝像機看到的圖像。
圖15是屏幕顯示圖1500，其中顯示區1410包含過濾的圖像，它是應用按照對話框1420中參數確定的形態過濾操作到圖14中所示圖像得到的過濾圖像。在一個實施例中，基於激勵右下角對話框1420的「Preview」按鈕，建立並顯示過濾的圖像。高亮的「Preview」按鈕指出，顯示圖像是按照對話框1420中設置的過濾圖像。通過這個特徵，用戶在零件程序中應用或包含過濾器設置之前，能夠預覽這種設置的結果。用戶藉助於按鈕可以在「恢復」圖像與「預覽」圖像之間切換，利用兩個圖像上的視頻工具進行比較測量。
圖16是屏幕顯示圖1600，它表示擴展過濾器配置列表。如圖16所示，對話框1420包含各種過濾器配置設置，其中有「JESS」和「MLD」。這個特徵允許用戶命名和保存當前的過濾器設置。例如，我們可以在不同的照明條件下檢查特定工件或特徵的各個方面，例如，同軸照明和載物臺照明。於是，即使結構單元的尺寸和形狀保持相同，應用形態過濾操作的某些方面可以不同。例如，若外來特徵(網格)比圓形特徵明亮，則在所有其他過濾器參數保持相同的同時，這種操作應當設置成「Opening」。這可以存儲為分開的過濾器配置，每當相關的照明條件佔優勢時被調用。作為另一個例子，若被檢查的工件特徵有不同的形狀，則在學習模式期間可以確定對應於每種形狀的結構單元，而在以後或重複地檢查包含對應特徵的類似工件相關部分時，利用相關的過濾器配置命名，可以容易地檢索保存的對應過濾器設置。提供這種功能的主要目的是便於操作員的使用。
圖17是屏幕顯示圖1700，它說明對話框1420中各種形態過濾器設置，其中有矩形結構單元形狀，或此處稱之為直線形結構單元形狀。如圖17所示，顯示區1410展示盒形工具確定的評價區，它包含矩形工件特徵的選取邊緣。對話框1420表示選取的掩模形狀為矩形，而結構單元的尺寸確定為27行和1列，從而使結構單元是一條平行於被測量選取邊緣的直線取向像素。在各個實施例中，最初可以設定這些尺寸為預設值，和/或按照上述原理確定的當前圖像尺寸並由用戶輸入。應當理解，『Mask』或結構單元可以有複雜和/或複合的形狀。結構單元不限於此處例子中通常使用和圖17中列出的簡單幾何形狀。可以設計用於形態過濾操作的更複雜結構單元形狀，它幾乎有與被保存工件特徵形狀匹配的任何形狀(或如上所述，取自從實際工件特徵圖像導出的模板)，這些形狀精確地保存類似形狀的複雜工件特徵。可以恰當地命名這些複雜的結構單元形狀，如果需要，可以添加到圖17所示的列表中。
圖18是屏幕顯示圖1800，它說明盒形工具菜單上過濾器型的選項。如圖18所示，在盒形工具對話框1430中，通過單擊「Advanced」標記，和在「Filter Type」列表中，用戶可以選取「Morphology」，為的是啟動和/或激勵利用按照本發明的各種形態過濾器操作。選取「Morphology」可以調用以上描述的「Morphology Filter Settings」對話框1420，如圖19所示。圖19還表示顯示區1410中的過濾圖像，它是根據對話框1420中過濾器設置得到的，如以上參照圖15所描述的。在圖18所示的實施例中，在對話框1430中還提供選取「standard」，「brightness」，和「texture」設置的選項，用於設定控制盒形工具操作特徵的各種閾值，這些閾值與確定的形態過濾器操作無關。過濾器類型的選項有「median」，「averaging」，「gaussian」，和「morphology」。
圖19是屏幕顯示圖1900。如圖19所示，在顯示區1410，已應用對話框1420中的過濾器設置，為的是產生圖18所示攝像機圖像的過濾版本，其方式是以上參照圖5所描述的。對話框1420指出，掩模形狀是「rectangle」。在對話框1420，基於被檢查工件特徵與遮擋特徵之間的亮度關係，選取「operation type」。若被檢查的特徵是明亮的和遮擋特徵是黑暗的，則選取「closing」操作，並保存被檢查的特徵。若被檢查的特徵是黑暗的和遮擋特徵是明亮的，則選取「opening」操作，並保存被檢查的特徵。
圖20是屏幕顯示圖2000，它說明旋轉操作使矩形結構單元和被檢查特徵的取向互相平行。(圖像顯示區1410中盒形工具的取向，和矩形結構單元的「Size」數值是建立圖20所示圖像方法的後生物，它們的狀態對於檢查圖20所示的圖像是不需要的或無用的。不應當把它們當作有意義的。)如圖20所示，在顯示區1410，矩形工件特徵被「旋轉」或定向成45°角。為了使選取的矩形結構單元取向平行於被檢查的特徵，用戶在對話框1420中單擊「Rotation」對話區以「Enable」旋轉(或取向)功能，然後，在「Angle」數值框中輸入指定的旋轉角。這個數值通常是由用戶預定的，雖然可以根據圖像處理技術得到的圖像自動確定該數值。若旋轉選項不是由用戶啟動，則不能從它們的預設取向角旋轉結構單元的軸。包含的『Optimize』功能可以使結構單元與工件特徵自動對準。從以下的理由考慮，這是有用的第一，它允許用戶在『學習』時間輸入工件特徵取向的粗略角度估算值，然後，在圍繞粗略角度估算值的指定搜索範圍啟動『Optimize』特徵(例如，預設搜索範圍是+/-10或20度)，它調用一些圖像處理算法，用於精確地確定圍繞粗略角度的估算值搜索範圍內工件特徵取向。通常，與用戶估算的數值比較，這可以提供更可重複和精確地確定的取向角，而且還消除用戶精確測量取向角的負擔。第二，通過自動重新確定工件特徵的取向(由於工件的定位變化或運動，和/或製造尺寸的易變性，取向已發生少量變化)，通常是搜索圍繞『學習』時確定標稱值的最佳取向，並調整結構單元取向的任何有關參數，它可以在運行時間內提供總是保持最可能結構單元對準的選項。若在工件在測量時被精確地固定，且不同工件之間沒有很大的變化，就不需要在運行時自動確定和調整取向。然而，為了給工件特徵圖像提供最精確的形態過濾器，它往往是需要的。如上所述，一旦取向被確定，就形成結構單元並完成形態操作。
圖21是一個典型實施例的通用例行程序2100流程圖，如果需要，可以完成自動取向檢測。在一個實施例中，例行程序2100可用於操作圖9的方框940，和/或圖10的方框1020，和/或圖13的方框1340和1350。更一般地說，在操作的運行模式期間，通常按照零件程序指令可以完成例行程序2100的運行，可以自動確定被檢查特徵的取向，和改進或調整結構單元相對於被檢查特徵的取向，為的是提供精確的過濾結果，儘管工件配置或固定有微小的變化。例如，為了說明一種可能的實施方案，在利用諸如圖14-20描述的用戶接口時，且在操作的學習模式下建立零件程序期間，在圖20所示的Rotation對話框中檢查「Enable」框，可以實施例行程序2100的運行作為零件程序中包含的對應指令，用於與被檢查當前工件特徵有關的過濾操作。然而，在某些情況下，例行程序的運行可以確定結構單元取向，用於人工方式檢查操作時的過濾操作，或在操作的學習模式下半自動或全自動方式確定工件特徵的取向，因此，它可以記錄在零件程序中作為結構單元的標稱取向參數。在各種零件程序中，結構單元的標稱取向可以不作改變在運行時間下使用，或者，它可以用作一種參數，指導在操作的運行模式期間完成的類似自動取向確定操作，如上所述，用於改進或調整結構單元的取向，提供更健全的操作或最佳可能的過濾精確度。
例行程序2100的運行是從判定方框2110開始，其中做出是否自動確定被檢查工件特徵取向的判定。例如，在操作的運行模式下建立零件程序期間，在圖20所示Rotation對話框中檢查「Enable」框和「Optimize」框，然後，在零件程序中包含相關的標誌或指令，可以指出被檢查工件特徵的取向是自動地被確定。若不是自動地確定工件特徵的取向，則該例行程序結束。
若工件特徵的取向是自動地被確定，則例行程序是從方框2110進行到方框2120，其中確定工件特徵的取向，例如，藉助於以下參照圖22描述的方法，或藉助於其他合適的現在已知方法或以後開發的方法。然後，例行程序進行到方框2130，其中記錄，輸出，和/或實施方框2120操作中得到的取向角，它作為與被檢查工件特徵有關的過濾操作中結構單元所用的取向角。
例行程序2100在以下的情況下是特別有用的，其中重要的是使結構單元與被檢查的直線特徵精確地對準。換句話說，雖然此處公開的結構形態過濾方法提供的精確度在許多情況下是有用的，即使正確形狀的結構單元沒有與被檢查的工件特徵很好地對準，但是一般地說，當結構單元的取向儘可能與工件特徵的取向對準時，可以提供最佳的精確度。當然，通常要求以高解析度和精確度確定工件特徵的取向，如果可能，也是在高速度下進行。高速度在運行模式的操作期間是特別有用的，其中檢查操作的處理能力是重要的因素。
如以下所公開的，藉助於一種利用投影矢量的方法，在相當短的執行時間內，可以在機器視覺檢查系統上以高精確度確定工件特徵的取向角。簡要地說，此處所使用的術語投影矢量是這樣一組數值，每個數值對應於一個純圖像強度，它是沿各自投影方向通過求和或「投影」包含每個空間增量的圖像強度到投影直線或平面上確定的。一個完全的投影矢量是由沿相同投影方向並在沿投影直線或平面上已知位置確定的幾個這樣數值構成。例如，在一個簡單的情況下，可以確定圖像上的水平方向是在0°的取向角上。在這種情況下，沿各個水平行像素求和像素強度值提供一個投影矢量數值，它是沿「0°」投影方向到垂直投影直線或平面上確定的。對於相繼的水平行像素，沿「0°」投影方向的完全投影矢量是由幾個相繼的這種數值構成。類似地，對於相繼的垂直列像素，沿「90°」投影方向到水平投影直線或平面上的完全投影矢量是由幾個相繼的這種數值構成。圖22進一步說明投影矢量的概念，並描述如何利用它確定直線特徵或直線邊緣的取向。
圖22表示包含直線特徵2201的工件圖像2200，它有被遮擋網格覆蓋的直線2202和2203所指出的直線邊緣。圖22還表示包含投影矢量2241的投影矢量曲線圖2240，它是從工件圖像2200導出的。在這個例子中，通過沿水平或「0°」投影方向(對應於圖像2200的水平行像素)求和或投影像素值到垂直投影直線或平面上，得到投影矢量2241的投影值，而每個投影值(沿該曲線圖的水平軸畫出)對應於沿圖像2200的每行像素求和強度值確定的強度參數值。更一般地說，最好是確定對總體圖像強度不靈敏的強度參數，因此，檢查結果對不同機器的照明變化，環境光照明變化，工件反射率變化等引起的變化不靈敏。例如，強度參數值可以是沿對應投影方向包含強度值的空間或「每個像素」平均，除以確定投影矢量的所有強度值的總體平均強度或由它歸一化。
如圖22所示，投影矢量2241清楚地說明在直線特徵2201範圍之外區域的強度參數值特性範圍，它通常是用直線2245指出，以及在直線特徵2201範圍之內區域的強度參數值特性範圍，它通常是用直線2246指出。此外，具體地說，參考數字2242和2243表示的兩個過渡區清楚地對應於直線特徵2201的直線邊緣2202和2203。
圖22還表示投影矢量導數值曲線2260，它顯示沿投影矢量2241的每個投影直線位置上確定一組導數值的導數值曲線2261。除了在正導數極值2262和負導數極值2263之外的區域，導數值曲線2261清楚地表示近似為零的標稱導數值。這些導數極值清楚地對應於兩個過渡區2242和2243，以及直線特徵2201的直線邊緣2202和2203。具體地說，應當理解，當直線邊緣2202(或2203)與投影直線完全對準時，對應的過渡區2242(或2243)是最窄(沿投影直線指示軸)和最陡。這對應於展示其最大可能幅度的導數極值2262(或2263)。
因此，應當理解，通過確定在包含直線特徵或直線邊緣的圖像上各個角度的一組投影矢量，對應於有最大導數的投影矢量角度是直線特徵或直線邊緣的良好取向角估算值。對應的投影矢量可以稱之為「最佳對準」投影矢量。通過確定各個更小間隔角度上的投影矢量和/或利用內插法找到對應於曲線峰值的角度，該曲線包含各種投影矢量角的導數極值，可以改進這個估算值。一種用於確定相對於工件圖像有特定角度的投影矢量方法是，按照保持圖像強度分布有像素級精確度的已知圖像旋轉技術，暫時旋轉圍繞工件特徵或評價區的大部分(或全部)圖像一個角度。然後，沿大部分(或全部)水平行像素或沿垂直列像素，選取那個適合於最佳顯現被檢查工件特徵的取向，可以確定對應於旋轉角的投影矢量。另一種用於確定投影矢量相對於工件圖像一個特定角度的方法是，沿對應於未旋轉工件圖像的投影方向計算投影矢量，給各個像素值仔細地正確分配最合適的投影值，或對於每個投影值，在精確地對應於應當分配該投影值的位置上計算內插像素值，為的是確定對應於該角有所需精確度的投影矢量。
圖23是一個典型實施例的例行程序2300流程圖，用於自動確定可用作對應結構單元取向角的工件特徵取向角。可以在相對短執行時間內運行例行程序2300確定有高精確度的取向角。在一個實施例中，例行程序2300可用在圖21的方框2120-2130的操作中。更一般地說，例行程序2300的運行可用在需要自動確定工件特徵取向角的任何情況，使相同的取向角可用於過濾該工件特徵圖像的對應結構單元。
例行程序2300的運行是從方框2310開始，其中輸入或再調用被分析的工件特徵標稱取向角。例如，在一個可能的實施方案中，當利用諸如描述圖14-20的用戶接口時，用戶可以在圖20所示「Rotation」對話框的「Angle」框中輸入工件特徵的標稱取向角。標稱取向角可以基於CAD數據，或基於操作的人工方式或學習模式下可以顯示的特徵圖像，由用戶猜想或測量。在操作的學習模式下建立零件程序期間輸入標稱角時，該數值包含在零件程序中，並在操作的運行模式期間操作方框2310中被再調用。然後，在一種版本的例行程序2300中，該例行程序是從方框2310進行到任選方框2320。或者，該例行程序進行到方框2330。
在任選的方框2320，在操作運行模式期間確定並包含在零件程序中的標稱「最佳對準」投影矢量可以在操作的運行模式期間被輸入或再調用。可以利用各種方法，例如，參照圖22描述的那些方法，可以確定標稱最佳對準投影矢量。在一個版本的例行程序2300中，在方框2350，再調用的標稱最佳對準投影矢量用在相關操作以確定工件特徵的取向角，如以下進一步描述的。然後，操作從方框2320進行到方框2330。
在方框2330，輸入或再調用特徵取向的搜索範圍。搜索範圍通常確定搜索的角度範圍限制並估算被檢查工件特徵的取向。例如，在一個可能的實施方案中，當利用諸如描述圖14-20的用戶接口時，用戶可以在圖20所示「Rotation」對話框的「Range」框中輸入搜索範圍，並在檢查「Optimize」啟動檢查框時被激活。在某些實施方案中，基於零件加工容差和固定容差，搜索範圍應當設置成包含圍繞標稱特徵取向的預期特徵取向變化範圍。一般地說，需要設置的搜索範圍排除不被檢查特徵的直線特徵取向，因為這還可以導致很大的投影矢量導數值，或很難或耗費時間利用分析方法區分被檢查的工件特徵。然而，若不可能設置排除這些特徵的搜索範圍，則附加的分析方法可能仍需要排除這些特徵，並識別被檢查工件的取向，如以下進一步所描述的。然後，操作從方框2330進行到方框2340。
在方框2340，基於被檢查工件特徵的圖像，在搜索範圍內確定多個角度的投影矢量，例如，按照以上參照圖22所描述的。然後，操作進行到方框2350，其中基於操作方框2340確定的投影矢量，完成用於確定被檢查工件特徵取向的操作。在一些實施方案或應用中，在方框2330中設置搜索範圍，可以排除不被檢查特徵的直線特徵取向。在這些情況下，可以識別工件特徵的取向角為對應於有最大導數的投影矢量角度。
在某些情況下，排除其他直線特徵的搜索範圍是不切實際的。因此，在一些實施方案中，可以考慮投影矢量的附加特性和參數。例如，可以考慮特徵寬度和/或極性參數(即，與該特徵是否比其周圍更明亮或更黑暗有關的參數)。投影矢量導數的間隔和極性，如圖22中曲線圖2260所示，可用於確定這種參數。在一些實施方案中，在操作的學習模式期間可以確定這些參數，並包含在零件程序中，且在操作的運行模式期間，可以輸入或再調用這些參數。
在其他的實施方案中，在完成方框2330時，可以得到工件特徵的標稱最佳對準投影矢量，相關操作可用於綜合地區分指出被檢查工件特徵取向的投影矢量和指出其他特徵取向的投影矢量。即，利用任何合適的常規或已知相關技術，操作方框2340確定的投影矢量數據可以與輸入或再調用的標稱最佳對準投影矢量的數據相關，而展示最佳相關值的投影矢量對應於被檢查工件特徵的取向。在任何的情況下，如果需要，通過確定更密集間隔角度上的投影矢量和/或利用內插法找到對應於曲線峰值的角度，該曲線包含不同的導數極值，可以改進操作方框2350時估算的取向角，如以上參照圖22所描述的。
然後，操作從方框2350進行到方框2360，其中記錄和/或輸出和/或實施被檢查工件特徵的確定取向角，它作為與被檢查工件特徵相關的形態過濾操作中所用結構單元取向的基礎。然後，例行程序2300結束。基於上述技術的實驗結果具有極高的精確性，通常可以使取向角確定在1°或更小的解析度和可重複性範圍內，並可以在至少一種類型商品化機器視覺檢查系統上在約100ms的時間內執行。
可以使以上關於確定被檢查直線特徵取向的描述各個內容變得更加清晰，或藉助於上述′823 Application描述的類似或適用內容給予補充。例如，′823 Application描述利用典型機器視覺檢查系統的視頻工具按照人工方式確定直線取向以及利用Radon變換技術按照半自動或全自動方式確定直線取向的各個內容。一般地說，應用Radon變換或其變型的技術提供另一種方法，它可用在確定直線工件特徵取向的各種方法中。因此，以上參照圖22和23描述的方法或其變型僅僅是說明性的，而不是限制性的。
應當理解，利用過濾方法(例如，形態過濾)去除外來特徵(例如，網格)可以與實際的圖像特徵測量過程(例如，直線工具，圓形工具等)分開。換句話說，一旦圖像被過濾，可以利用任何邊緣測量工具測量圖像特徵。因此，隨著開發新的或改進的邊緣測量方法，利用這些方法可以與本發明的方法進行結合。
應當理解，本發明的方法還給用戶提供簡單的操作，即，可以利用標準化型的視頻工具，而不要求定製的操作。換句話說，不要求用戶利用實施定製操作的腳本語言。取而代之，該系統允許使用預編程圖標，即使經過很少訓練的非專業用戶也能夠使用。此外，如上所述，評價區可以包含被遮擋特徵和遮擋特徵。因此，我們不要求檢查操作局限於被檢查工件特徵的很小未被遮擋區。這是有意義的，小區域工件更可能落在很小的評價區之外，這是由於在運行模式操作時發生的對準變化，或由於工件加工的變化，更可能使它的外觀發生變化或被遮擋。
應當理解，某些現有的機器視覺檢查系統可以採用按照本發明各種實施例的系統和方法，只需要對這種現有機器做微小的改動或不需要作「翻新」改動。在各個典型實施例中，僅僅添加機器視覺檢查軟體方法和/或按照本發明原理的改動都包含在翻新改動中。
雖然本發明的描述是結合上述典型的實施例，但是，多個不同的操作序列和其他操作變化是可能的，而各種其他的選擇，改動，變化，改進，和/或基本相當的內容，不管它們是現在已知的或當前未預見的，至少對於普通專業人員是顯而易見的。因此，以上描述的本發明典型實施例僅僅是說明性，而不是限制性的。在不偏離本發明精神和範圍的條件下，可以做出各種變化。所以，以下申請的權利要求以及可能的修改應當包括所有已知或以後開發的各種選擇，改動，變化，改進，和/或基本相當的內容。
權利要求
1.一種用於檢查工件特徵的方法，該工件特徵最接近機器視覺檢查系統獲取的工件圖像中的遮擋特徵，該機器視覺檢查系統有用戶接口，能夠確定一系列可用於檢查工件圖像的操作，該方法包括獲取第一工件圖像；基於工件圖像中被檢查工件特徵的形狀，選取結構單元的形狀，使結構單元的形狀類似於至少部分被檢查工件特徵的形狀；至少在包含被檢查工件特徵的區域中，利用結構單元過濾第一工件圖像，可以在至少包含被檢查工件特徵的區域中提供過濾的圖像；和檢查過濾圖像中的工件特徵。
2.按照權利要求1的方法，其中檢查過濾圖像中的工件特徵包括完成與第一工件圖像中工件特徵最接近的至少一個視頻工具限定的操作。
3.按照權利要求1的方法，還包括確定被檢查工件特徵的取向，並基於被檢查工件特徵的取向，選取結構單元的取向，使類似於至少部分被檢查工件特徵形狀的結構單元形狀取向類似於至少部分被檢查工件特徵的取向。
4.按照權利要求3的方法，其中確定被檢查工件特徵的取向至少包括下列之一a)基於用戶觀察包含工件特徵的當前工件圖像，估算工件特徵的取向，b)估算工件特徵的大致取向，並通過當前圖像的分析，更精確地自動確定包含工件特徵的當前圖像取向，和c)在操作運行模式下的零件加工程序執行期間，再調用工件特徵的標稱取向，並通過當前圖像的分析，更精確地自動確定包含工件特徵的當前圖像取向。
5.按照權利要求4的方法，其中確定被檢查工件特徵的取向包括更精確地自動確定包含工件特徵的當前圖像取向；分析當前圖像包括沿多個對應的各自角度，確定多個各自的投影矢量；和更精確地自動確定取向包括自動分析多個各自的投影矢量。
6.按照權利要求5的方法，其中自動分析多個各自的投影矢量包括至少包含以下一個操作確定最佳對準投影矢量a)基於分析各個投影矢量的各個最大幅度導數，確定最佳對準投影矢量，和b)基於分析各個相關值，確定最佳的對準投影矢量，這些相關值對應於相關各個投影矢量與學習模式操作期間確定的標稱最佳對準投影矢量。
7.按照權利要求5的方法，其中自動分析多個各自投影矢量包括自動確定對應於曲線峰值的角度，該曲線峰值擬合各個投影矢量的各個最大幅度導數，並確定工件特徵的取向為對應於峰值確定角度的取向。
8.按照權利要求1的方法，其中利用結構單元過濾第一工件圖像包括若干次迭代，結構單元沿各個方向有各自的幾何尺寸，和迭代次數與各個尺寸的乘積至少與遮擋特徵沿各個方向的尺寸同樣大。
9.按照權利要求8的方法，還包括基於被檢查工件特徵的取向，選取結構單元的取向，使類似於至少部分被檢查工件特徵形狀的結構單元形狀的取向類似於至少部分被檢查工件特徵的取向，且其中各個方向大致平行於部分被檢查工件特徵的取向。
10.按照權利要求1的方法，其中結構單元的形狀選自可用於結構單元的一組預定形狀。
11.按照權利要求1的方法，其中結構單元的形狀是直線或矩形，而結構單元的長度至少有58個像素。
12.按照權利要求1的方法，其中被檢查的工件特徵是直線特徵，而結構單元是寬度至少有3個像素的矩形單元。
13.按照權利要求1的方法，其中結構單元的形狀是圓形，而標稱直徑至少是13個像素。
14.按照權利要求1的方法，其中結構單元的形狀是圓形，遮擋特徵是條寬度或厚度為T的網格，而結構單元的標稱直徑至少是2T+1個像素。
15.一種用於機器視覺檢查系統的用戶接口，該用戶接口可以確定一系列用於檢查工件特徵的形態過濾操作，該工件特徵最接近機器視覺檢查系統獲取第一工件圖像中的遮擋特徵，該用戶接口包括至少一個單元，可用於限定形態過濾操作中所用結構單元的形狀，使結構單元的形狀可以確定為類似於至少部分被檢查工件特徵的形狀；顯示窗口，可用於顯示第一工件圖像和另一個圖像，該圖像包含加形態過濾操作到第一工件圖像得到的結果；和至少可用於a)人工運行模式，和b)學習運行模式中一種模式的單元，它利用確定的結構單元形狀激勵形態過濾操作並在顯示窗口中顯示得到的圖像。
16.按照權利要求15的方法，還至少包括一個單元，用於在顯示窗口中切換形態過濾操作形成的圖像和第一工件圖像。
17.按照權利要求15的方法，還至少包括一個單元，可用於限定結構單元中至少一個尺寸。
18.按照權利要求15的方法，還至少包括一個單元，可用於限定結構單元的標稱取向角。
19.按照權利要求18的方法，還至少包括一個單元，可用於激勵自動確定結構單元取向角的操作，從而使結構單元的取向角比標稱取向角更匹配被檢查工件特徵的取向角。
20.按照權利要求19的方法，還至少包括一個用於限定搜索範圍的單元，該單元限制自動確定取向角的操作為圍繞標稱取向角分析限定的搜索角度範圍。
21.按照權利要求15的方法，還至少包括第一多個視頻工具，它可用於確定對未過濾工件圖像和形態過濾工件圖像的檢查操作，而無須改變第一多個視頻工具的操作。
全文摘要
公開一種利用高精確機器視覺計量術過濾圖像的結構形態過濾方法，它利用專門確定的結構單元精確地保存過濾圖像中具體特徵的位置。選取的結構單元形狀通常有與過濾圖像中被保存的至少部分特徵幾何相似性。結構單元的取向對應於被檢查特徵的取向。例如，對於被檢查的直線特徵，最佳結構單元是相同取向的直線或狹窄矩形，而對於被檢查的圓形圖像，最佳結構單元是圓形。基於自動確定被檢查特徵的取向，在一組自動檢查操作期間可以自動確定或調整結構單元的取向。
文檔編號G01B11/02GK1769838SQ20051011602
公開日2006年5月10日 申請日期2005年10月25日 優先權日2004年10月26日
發明者維德亞·文卡塔查拉姆 申請人:株式會社米姿託約