一種基於機器視覺的晶粒分選方法與流程
2024-04-14 08:00:05 1
1.本發明涉及晶粒分類領域，尤其涉及一種基於機器視覺的晶粒分選方法。
背景技術：
2.隨著led技術不斷更新換代，生產中對led的需求和品質要求更高，同時也對led晶粒的品質提出了更高的要求。其中在led晶圓的加工中，需要將晶圓切割成多個晶粒，並根據晶粒的類型信息將晶粒進行分類，分類之後相同種類的晶粒需要被搬運至同一個子膜中。
3.在現有技術中，晶粒的分類和搬運是單獨進行的，且需要人為判斷晶粒的種類，並標記其位置，再將其搬運至對應的子膜中。現有的晶粒分類和搬運方法效率低下，且存在人為誤差。
技術實現要素：
4.本發明旨在至少在一定程度上解決相關技術中的問題之一。為此，本發明的目的在於提供一種基於機器視覺的晶粒分選方法，基於機器視覺的引導，自動完成母膜上晶粒的掃描和判斷，提高了晶粒分類的精度和效率，降低誤判率。
5.為了實現上述目的，本技術採用如下技術方案：一種基於機器視覺的晶粒分選方法，包括如下步驟：
6.s1：創建晶粒模板；
7.s2：相機標定；
8.s3：相機對母膜上晶粒進行掃描，得到晶粒的掃描圖像，所述掃描圖像中包括晶粒機械坐標；
9.s4：將晶粒機械坐標和網格坐標一一對應，獲取晶粒的類型信息；網格坐標指的是以母膜中心點為原點的坐標，且網格坐標中標註母膜各個位置處的晶粒類型；
10.s5：對晶粒分類並將同一類型信息的晶粒搬運至同一個子膜中。
11.進一步的，步驟s1中創建晶粒模板包括創建m個晶粒模板，每個晶粒模板中對應存儲一種晶粒類型的特徵；m為大於0的整數。
12.進一步的，步驟s3中相機對母膜上晶粒進行掃描時，相機固定不動，母膜移動組件帶動母膜在距離相機相同距離的平面內移動，以獲取完整的母膜表面掃描信息。
13.進一步的，步驟s4還包括對所述掃描圖像進行aoi檢測，獲取晶粒的缺陷信息。
14.進一步的，還包括s6：對固定在子膜中的晶粒進行檢測。
15.進一步的，所述相機為兩個，且兩個相機的視野面分別對應母膜和子膜。
16.進一步的，步驟s5採用搬運組件對晶粒進行搬運，所述搬運組件包括吸嘴；
17.在搬運過程中，兩個相機和搬運組件均與控制單元通訊連接，與母膜對應的相機實時監測搬運組件中吸嘴位置，確保吸嘴與待搬運晶粒的中心對準，控制單元再控制搬運組件進行晶粒吸取；
18.在搬運過程中，與子膜對應的相機實時監測搬運組件中吸嘴位置，確保吸嘴中晶粒與待搬運位置對準後，控制單元再控制搬運組件進行晶粒放置。
19.進一步的，所述母膜和子膜相對設置。
20.進一步的，兩個相機對稱且平行設置在母膜和子膜之間，所述相機中設置有鏡筒，所述鏡筒前方設置有45
°
反光鏡，所述45
°
反光鏡的鏡面與所述鏡筒的軸心線之間的夾角為45
°
；且所述45
°
反光鏡的鏡面朝向兩個鏡筒連線中心的外側。
21.本技術實施例提供的上述技術方案與現有技術相比具有如下優點：本技術採用相機對母膜上晶粒進行掃描，得到晶粒的掃描圖像，由於晶粒本身的網格坐標中已經存儲了對應位置處的晶粒類型，將晶粒機械坐標和網格坐標一一對應，即可得出晶粒機械坐標中各個位置處晶粒的類型信息，根據類型信息可以完成後續晶粒的搬運；本技術基於機器視覺的引導，自動完成母膜上晶粒的掃描和判斷，提高了晶粒分類的精度和效率，降低誤判率。
附圖說明
22.此處的附圖被併入說明書中並構成本說明書的一部分，示出了符合本發明的實施例，並與說明書一起用於解釋本發明的原理。
23.為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，對於本領域普通技術人員而言，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
24.附圖中：
25.圖1為本技術中基於機器視覺的晶粒分選方法的流程示意圖；
26.圖2為實施例1中相機的正面示意圖；
27.圖3為實施例2中相機的背面示意圖；
28.附圖標號：101、固定底座；102、升降調節組件；107、相機；108、鏡筒；109、45
°
反光鏡；110、氣路控制系統；111、第一視野面；112、第二視野面。
具體實施方式
29.為了對本發明的技術特徵、目的和效果有更加清楚的理解，現對照附圖詳細說明本發明的具體實施方式。以下描述中，需要理解的是，「前」、「後」、「上」、「下」、「左」、「右」、「縱」、「橫」、「豎直」、「水平」、「頂」、「底」、「內」、「外」、「頭」、「尾」等指示的方位或位置關係為基於附圖所示的方位或位置關係、以特定的方位構造和操作，僅是為了便於描述本技術方案，而不是指示所指的機構或元件必須具有特定的方位，因此不能理解為對本發明的限制。
30.還需要說明的是，除非另有明確的規定和限定，「安裝」、「相連」、「連接」、「固定」、「設置」等術語應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通或兩個元件的相互作用關係。當一個元件被稱為在另一元件「上」或「下」時，該元件能夠「直接地」或「間接地」位於另一元件之上，或者也可能存在一個或更多個居間元件。術語「第一」、「第二」、「第三」等僅是為了便於描述本技術方案，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量，由此，限定有「第一」、「第二」、「第三」等的特徵可以明示或者隱含地包括一個或者更多個該特徵。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明中的具體含義。
31.以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、技術之類的具體細節，以便透徹理解本發明實施例。然而，本領域的技術人員應當清楚，在沒有這些具體細節的其它實施例中也可以實現本發明。在其它情況中，省略對眾所周知的系統、機構、電路以及方法的詳細說明，以免不必要的細節妨礙本發明的描述。
32.請參閱附圖1，本技術提供的一種基於機器視覺的晶粒分選方法，包括如下步驟：
33.s1：創建晶粒模板；
34.s2：相機標定；
35.s3：相機對母膜上晶粒進行掃描，得到晶粒的掃描圖像，掃描圖像中包括晶粒機械坐標；
36.s4：將晶粒機械坐標和網格坐標一一對應，獲取晶粒的類型信息；網格坐標指的是以母膜中心點為原點的坐標，且網格坐標中標註母膜各個位置處的晶粒類型；
37.s5：對晶粒分類並將同一類型信息的晶粒搬運至同一個子膜中。
38.本技術採用相機對母膜上晶粒進行掃描，得到晶粒的掃描圖像，由於晶粒本身的網格坐標中已經存儲了對應位置處的晶粒類型，將晶粒機械坐標和網格坐標一一對應，即可得出晶粒機械坐標中各個位置處晶粒的類型信息，根據類型信息可以完成後續晶粒的搬運；本技術基於機器視覺的引導，自動完成母膜上晶粒的掃描和判斷，提高了晶粒分類的精度和效率，降低誤判率。
39.實施例1
40.本技術提供的一種基於機器視覺的晶粒分選方法，包括如下步驟：
41.s1：創建晶粒模板；具體包括：包括創建m個晶粒模板，每個晶粒模板中對應存儲一種晶粒類型的特徵，m為大於0的整數；具體的，可以將現有的所有晶粒類型所對應的特徵均存儲在晶粒模板中，確保相機能夠根據掃描結果識別出母膜中所有晶粒的類型。具體的晶粒類型可以指的是晶粒等級或者其他的特徵類型。
42.s2：相機標定；具體可以採用現有技術中相機標定方法對相機進行標定，在相機標定過程中涉及世界坐標系、相機坐標系、圖像坐標系和晶粒機械坐標系之間的轉換。其中，世界坐標系是客觀三維世界的絕對坐標系，相機坐標系指的是以相機的光心為坐標原點，x軸和y軸分別平行於圖像坐標系的x軸和y軸，相機的光軸為z軸。圖像坐標系指的是圖像平面的中心為坐標原點，x軸和y軸分別平行於圖像平面的兩條垂直邊。晶粒機械坐標系以圖像平面的左上角頂點為原點，x軸和y軸分別平行於圖像坐標系的x軸和y軸。
43.s3：相機對母膜上晶粒進行掃描，得到晶粒的掃描圖像，掃描圖像中包括晶粒機械坐標；
44.其中，在母膜掃描過程中，相機的視野並不能覆蓋母膜的全部區域，本技術保持相機固定不動，母膜移動組件帶動母膜在距離相機相同距離的平面內移動，確保相機能夠獲取母膜中各個區域的圖像，並將多個圖像拼接形成一個完整的母膜圖像進行輸出；在輸出的母膜圖像中，包含了晶粒機械坐標，晶粒機械坐標指的是晶粒在晶粒機械坐標系中的各個坐標值。
45.s4：將晶粒機械坐標和網格坐標一一對應，獲取晶粒的圖檔坐標和類型信息。網格
坐標指的是在網格坐標系內晶粒所處的各個坐標值，其中，網格坐標系以母膜中心點為原點，x軸和y軸分別平行於圖像平面的兩條垂直邊；物料坐標由母膜供應商提供，母膜的對應資料中包含母膜中各個位置的晶粒在網格坐標系內的坐標值，以及該晶粒的類型信息，這裡所說的類型信息可以為晶粒等級信息。
46.上述步驟中相機輸出的掃描圖像包含晶粒機械坐標，將晶粒機械坐標與網格坐標對應起來，可以將物料坐標下的晶粒類型對應至晶粒機械坐標中，進而得出掃描圖像中各個晶粒的晶粒機械坐標以及晶粒類型。
47.得出晶粒類型之後，本技術還需要採用aoi(automated optical inspection,自動光學檢測)設備對掃描圖像進行aoi檢測，獲取各個晶粒的缺陷信息。晶粒的缺陷無法通過人眼觀測，需要藉助aoi設備才能得出。本技術對掃描圖像進行aoi檢測，避免對母膜上的晶粒一一進行檢測，若是對母膜上的晶粒進行檢測，則需要驅動aoi設備對準各個晶粒，使得檢測時間較長，不利於晶粒分類搬運效率。
48.本技術還包括控制單元，控制單元連接相機、aoi設備以及後續的搬運組件，用於調控相機、aoi設備和搬運組件的工作過程。aoi設備將檢測結果輸出至控制單元，控制單元在掃描圖像中標註各個晶粒機械坐標下的晶粒的缺陷。
49.s5：對晶粒分類並將同一類型信息的晶粒搬運至同一個子膜中。
50.本步驟採用晶粒搬運組件對晶粒進行搬運，搬運組件包括吸嘴，吸嘴連通真空管道，通過控制真空管道實現晶粒的吸取和放置。
51.本技術中相機包括兩個，分別對應母膜的視野範圍和子膜的視野範圍，其中，與母膜相對應的相機有兩個作用：其一，在晶粒搬運之前，相機對母膜進行掃描，獲取母膜中晶粒的位置和類型；其二，在晶粒搬運的時候，相機用於監測吸嘴是否與待搬運晶粒對準，確保吸嘴能夠準確對陣待搬運晶粒的中心位置。在搬運過程中，兩個相機和搬運組件均與控制單元通訊連接，與母膜對應的相機實時監測搬運組件中吸嘴位置，確保吸嘴與待搬運晶粒的中心對準，控制單元再控制搬運組件進行晶粒吸取。
52.與子膜相對應的相機的作用如下：當吸嘴帶動晶粒來到子膜位置處時，相機用於監吸嘴帶動的晶粒是否到達待放置位置處，確保吸嘴吸附的晶粒中心與待放置位置處對準。在搬運過程中，與子膜對應的相機實時監測搬運組件中吸嘴位置，確保吸嘴中晶粒與待搬運位置對準後，控制單元再控制搬運組件進行晶粒放置。
53.具體在晶粒搬運過程中，可以將標記為同一種缺陷的同種類型的晶粒放置在子膜中的設定區域內，一個子膜用於放置同一類型的晶粒，即使是同一類型的晶粒，在aoi檢測過程中也會存在不同的缺陷，例如有的晶粒是完好無損的，有的晶粒表面被磨損等，在確定母膜中同種類型的晶粒之後，控制單元控制搬運組件將該類型中完好無損的晶粒搬運至對應子膜的上方，將表面磨損的晶粒搬運至該子膜的下方，並將搬運信息通過第二相機反饋至控制單元，控制單元記錄各個子膜中的放置位置，便於後續對子膜中晶粒進行調取。
54.本技術中母膜和子膜相對設置，兩個相機對稱且平行設置在母膜和子膜之間，所述相機中設置有鏡筒，所述鏡筒前方設置有45
°
反光鏡，所述45
°
反光鏡的鏡面與所述鏡筒的軸心線之間的夾角為45
°
；且所述45
°
反光鏡的鏡面朝向兩個鏡筒連線中心的外側。
55.s6：對固定在子膜中的晶粒進行檢測，這裡的檢測主要是檢查晶粒在子膜中是否放置牢固，避免晶粒脫落。
56.實施例2
57.本實施例中子膜和母膜為相對的兩個平面，因此需要設置兩個相機，分別對應母膜視野範圍和子膜視野範圍。兩個相機對稱且平行設置在母膜和子膜之間，如附圖2-3所示，兩個相機形成的完整視覺系統包括：
58.對稱且平行設置的兩個相機107，
59.分別位於兩個相機107前端的兩個鏡筒108；
60.分別位於鏡筒108前方的兩個45
°
反光鏡109，其中45
°
反光鏡109的鏡面與鏡筒108的軸心線之間的夾角為45
°
；且45
°
反光鏡109的鏡面朝向兩個鏡筒108連線中心的外側。
61.本技術中相機107、鏡筒108和45
°
反光鏡109均是對稱設置的，目的在於形成兩個相互平行的視野平面，這兩個視野平面分別對應晶粒的吸取和放置，具體可以在其中一個視野平面內設置晶粒吸取位，在另外一個視野平面內設置晶粒放置位，通過相機107和鏡筒108的觀測，可以確保晶粒被吸取和放置的位置無偏差，進而修正搬運裝置的機械誤差，確保晶粒能夠高效準確地從晶粒吸取位搬運至晶粒放置位，減小晶粒對準誤差，提高搬運效率。
62.本技術中45
°
反光鏡109將相機107視野折射，形成90
°
夾角，把原本平行於鏡筒面的視野面旋轉90
°
，形成一個垂直於鏡筒面的視野面，同時還需要滿足45
°
反光鏡109的鏡面與鏡筒108的軸心線之間的夾角為45
°
；且45
°
反光鏡109的鏡面朝向兩個鏡筒108連線中心的外側。本技術藉助於放置在鏡筒108前方的45
°
反光鏡109，使得平行設置的兩個相機107可以觀測到與鏡筒108軸心線平行的兩個側面的視野範圍。如附圖2所示，本技術可以將晶粒吸取位放置在第一視野面111內，將晶粒放置位設置在第二視野面112內。
63.作為一種具體的實施例，本技術還包括固定底座101，固定底座101固定在晶粒搬運設備中，固定底座101上方設置有對稱且平行設置的兩個相機107。本技術中視覺機構的作用是為了在晶粒搬運過程中實現晶粒吸取和晶粒放置的位置對準，其屬於搬運裝置的一部分，當然也可以作為單獨的視覺監測系統來使用。
64.為了增大視覺機構的使用範圍，同時為了在搬運過程中調整相機107的視野範圍，本技術中相機107和固定底座101之間設置有調節模組，調節模組包括升降調節組件102和前後調節組件，其中，升降調節組件102用於調整相機107在豎直方向上的高度，即調整相機107視野中心的上下位置，前後調節組件用於調整相機107在水平方向上的前後位置，這裡的前後位置指的是相機107距離45
°
反光鏡109的距離，即調整相機107的視野焦距。
65.本技術在相機107上方還設置有氣路控制系統110，氣路控制系統110用於帶動整個視覺機構在三維空間內進行移動，使得視覺機構能夠移動至晶粒吸取和放置的位置處。
66.可以理解的，以上實施例僅表達了本發明的優選實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制；應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，可以對上述技術特點進行自由組合，還可以做出若干變形和改進，這些都屬於本發明的保護範圍；因此，凡跟本發明權利要求範圍所做的等同變換與修飾，均應屬於本發明權利要求的涵蓋範圍。