電梯緊固螺帽鬆動的圖像識別檢測方法與流程
2023-12-12 13:23:57 1
本發明涉及計算機控制領域，尤其涉及一種電梯緊固螺帽鬆動的圖像識別檢測方法。
背景技術：
電梯是一種以電動機為動力的升降機裝置，在現代化和高速化的今天，廣泛服務於人類社會中多層建築之間的人或貨物運輸。近幾年，頻繁發生的電事故引起社會關注，保證電梯正常運行，關心乘車人人身安全勢在必行，因此就電梯運行中的保險槓螺栓鬆動檢測研究，保證設備的安全可靠運行具有重要意義。
傳統螺栓檢測包括人工檢測和自動檢測兩大類。人工檢測是指配備專門的工作人員定期以肉眼觀測螺栓是否有鬆動。此種方法簡單易行，不需要依靠複雜的設備。但此方法的缺點一是效率低，勞動強度大，檢測人員易疲勞；二是較大地依賴工作人員的專業素質和工作態度，檢測質量難以得到保障。
第二大類方法是利用裝置或者內置算法自動檢測螺栓的鬆動。加入探測器的螺栓鬆動檢測方法是通過檢測器讀取傳感器發出的信號，當螺母出現鬆動時便會帶著主動輪轉動，，當從動齒輪表面的金屬塗層所在區域轉到傳感器安裝槽的上方時，便會擋住傳感器向探測器發出的信號，從而便能探測出緊固件出現鬆動。
比較常用內置算法的是利用螺栓旋轉角度來考慮保險槓螺栓的鬆動。一般做法是在螺栓連接部位畫出一條連續垂直清晰的標記，當螺栓發生鬆動時必然使得螺栓之間的角度發生變化，此時提取照片並檢測標記之間的角度即可檢測出螺栓是否鬆動，但是此方法在螺栓剛好旋轉整數圈時就故障排除效果不佳。
技術實現要素：
本發明旨在至少解決現有技術中存在的技術問題，特別創新地提出了一種
為了實現本發明的上述目的，本發明提供了一種電梯緊固螺帽鬆動的圖像識別檢測方法，包括：
s1，通過訓練足量擰緊的保險槓螺栓正樣本圖像得到各螺帽間最佳距離允許閾值和最佳校準配對候選形狀；
s2，通過bing算法選擇出若干候選框，並根據顏色值濾出多餘候選框；
s3，對保留的候選框進行邊緣檢測，得到螺栓顏色標記部分的邊緣閉合形狀；
s4，根據邊緣幾何形狀以及距離判斷螺栓是否發生鬆動。
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，所述s1包括：
s1-1，通過足量擰緊的保險槓螺栓正樣本圖像得到各螺帽間的微小間距，螺帽校準形狀水平對齊和垂直對齊平均允許誤差，以及校準配對候選形狀幾何、顏色信息，訓練得到最佳距離允許閾值和最佳校準配對候選形狀。
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，所述s2通過bing算法選擇出若干候選框包括：
s2-1，bing算法中首先選定標註目標位置的樣本圖像生成不同尺度的正負樣本，並將各樣本尺寸縮放至固定8×8大小；在該尺寸下，螺栓紋理、局部形狀等細節特徵將丟失，只保留對象的邊界梯度輪廓特徵；物體輪廓梯度值更高，與其周圍背景區域形成強烈對比；
s2-2，其次利用線性支持向量機訓練正負樣本集，獲得目標似物性檢測模板；一個與目標對象同大小的像素尺寸候選框更有可能表達該目標對象，因此該模板同樣保證為64維的8×8大小；然後利用打分系統機制，計算每個尺度下的濾波得分並排序，利用非極大值抑制算法(non-maximumsuppression，nms)消除局部冗餘；
s2-3，最後在原始圖像中找到打分點對應的候選框大小並保存。
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，所述s2-3包括：
a：bing對各尺寸樣本計算梯度特徵，根據梯度特徵匹配得到一組帶有濾波得分的候選框，濾波得分sl定義如下：
s(i,x,y)＝＜w,g(i,x,y)＞，
其中，w為訓練獲得的模型參數，g(i,x,y)是尺度為i的位置坐標(x,y)的圖像框縮放至小尺寸下的ng(normedgradients)特徵，符號「」表示內積運算；w，g都為矩陣；
對於每一個像素的梯度幅值計算，採用prewitt算子方式獲得：
g(i,x,y)＝min{|gx|+|gy|,255}，其中g(i,x,y)表示尺度i的位置坐標(x,y)每一個像素梯度幅值，gx為x坐標的像素梯度幅值，gy為y坐標的像素梯度幅值；
由於濾波分數會因為尺寸的不同而存在偏差，因此當對最終候選得分重排序時需要校準得到最終不同尺寸帶有的候選窗組得分，定義對象性得分ol如下：
其中，vi是尺寸i下的獨立學習係數，ti表示尺寸i的偏移量；
獲得的候選框不僅僅應該具有全局範圍內的最高得分，還應該具有鄰域最高得分，以避免由於最高窗口得分過於集中某一區域而可能導致人臉漏檢的現象；因此利用非極大值約束算法選擇邊緣點，從而使得最終候選窗口具有全局較高得分的同時，還具備鄰域得分最高。
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，所述s2包括：
為提高計算速度，加速特徵提取和測試過程，模板與特徵的二值化近似過程的具體步驟如下：
特徵二值化：由於梯度幅值取值範圍[0，255]，因此利用如下公式方式進行二進位比特流替換；
其中，bk∈{0,1}表示第k位二進位值，ng表示選取的二進位位個數，由於後四位值對梯度影響並不大；
將8×8每點對應的第k位聯合表示成二進位流bk∈{0,1}64；因此對應8×8矩陣區域有：
模板二值化：對於w為訓練獲得的模型參數，則看作多個基向量的組合，近似表示為其中，βj表示第j個基向量的係數，aj表示第j個基向量，aj∈{-1,1}64，nw表示基向量個數，將aj轉化到[0，1]範圍：
故w表示為：
式s(i,x,y)＝＜w,g(i,x,y)＞的二值化公式表達如下：
其中指代將aj向量中的負值置為零，正值則不變。
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，所述模板w的過程包括：
輸入：初始化的基向量ε，
輸出：模板w，
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，還包括：
為消除多餘的選框，具體實現如下：
(1)將所有框的得分降序排列，選中最高分及其對應的框，
(2)遍歷其餘的框，如果和當前最高分框的重疊面積(iou)大於一定閾值，我們就將框刪除，
(3)從未處理的框中繼續選一個得分最高的，重複上述過程。
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，所述s3還包括：
s3-1，利用canny對候選區域進行邊緣檢測，先用2d高斯濾波模板進行卷積以消除圖像噪聲，對濾波後的圖像中的每個像素點計算其梯度小大和方向，通過梯度方向找到該像素梯度方向的鄰接像素，最後通過非最大抑制以及閾值化和邊緣連結得到螺栓邊緣閉合形狀曲線，計算邊緣閉合形狀的面積；
s3-2，算法過程如下：
採用2d高斯濾波模板進行卷積降噪中使用的size＝5的高斯內核如下：
計算像素點的幅度和方向，這裡按照sobel濾波器的步驟進行介紹：
a.運用一對卷積陣列，分別作用於x,y方向，陣列
b.使用下列公式計算梯度值和方向：
梯度方向近似到四個可能角度之一；
沿幅角方向檢測模值的極大值點，即邊緣點，遍歷像素點，把每個像素偏導值與相鄰像素的模值比較，取其最大值為邊緣點，置像素灰度值為0；
s3-3，用雙用雙閾值算法檢測和連接邊緣：
a.對非極大值抑制圖像作用兩個閾值th1和th2，兩者關係th1＝0.4th2；我們把梯度值小於th1的像素的灰度值設為0，得到圖像1；然後把梯度值小於th2的像素的灰度值設為0，得到圖像2；由於圖像2的閾值較高，去除大部分噪音，但同時也損失了有用的邊緣信息；而圖像1的閾值較低，保留了較多的信息，我們可以以圖像2為基礎，以圖像1為補充來連結圖像的邊緣；
b.連結邊緣的具體步驟如下：
對圖像2進行掃描，當遇到一個非零灰度的像素p(x,y)時，跟蹤以p(x,y)為開始點的輪廓線，直到輪廓線的終點q(x,y)；考察圖像1中與圖像2中q(x,y)點位置對應的點s(x,y)的8鄰近區域；如果在s(x,y)點的8鄰近區域中有非零像素s(x,y)存在，則將其包括到圖像2中，作為r(x,y)點；從r(x,y)開始，重複第一步，直到我們在圖像1和圖像2中都無法繼續為止；
當完成對包含p(x,y)的輪廓線的連結之後，將這條輪廓線標記為已經訪問；回到第一步，尋找下一條輪廓線；重複第一步、第二步、第三步，直到圖像2中找不到新輪廓線為止；
至此，完成canny算子的邊緣檢測，得到螺栓紅色標記部分的兩個邊緣閉合形狀。
所述的電梯緊固螺帽鬆動的圖像識別檢測方法，優選的，所述s4包括：
s4-1，計算螺栓兩個紅色標記部分的邊緣閉合形狀，並與正樣本中閉合形狀進行比較，當閉合形狀的面積與正樣本相差較多，或者只有一個閉合形狀，那麼認為螺栓發生鬆動；
s4-2，在滿足幾何形狀的前提下，再來判斷兩閉合形狀的中間距離是否在所允許的閾值範圍內，如果在閾值範圍了，則認為螺栓沒有發生鬆動，如果不滿足，則認定螺栓發生了鬆動。
綜上所述，由於採用了上述技術方案，本發明的有益效果是：
從角度和幾何形狀兩個方面一起來判斷螺栓是否發生鬆動，進一步提高了檢測的準確率。
本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
附圖說明
本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：
圖1是本發明電梯運行中保險扛螺栓鬆動檢測方法流程圖；
圖2是本發明電梯運行中保險扛螺栓鬆動檢測方法螺栓擰緊和鬆動的示意圖；
圖3是利用canny算法完成邊緣檢測的步驟圖；
圖4a為邊緣方向示意圖，圖4b為8鄰域幅角方向示意圖；
具體實施方式
下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能理解為對本發明的限制。
在本發明的描述中，需要理解的是，術語「縱向」、「橫向」、「上」、「下」、「前」、「後」、「左」、「右」、「豎直」、「水平」、「頂」、「底」「內」、「外」等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了便於描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。
在本發明的描述中，除非另有規定和限定，需要說明的是，術語「安裝」、「相連」、「連接」應做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內部的連通，可以是直接相連，也可以通過中間媒介間接相連，對於本領域的普通技術人員而言，可以根據具體情況理解上述術語的具體含義。
本發明提供了一種電梯運行中保險扛螺栓鬆動的檢測方法，創新性地從距離和幾何形狀的角度來解決螺栓鬆動識別不精確問題。
為了實現本發明的上述目的，本發明提供了一種電梯運行中保險扛螺栓鬆動的檢測方法，包括：
步驟1：通過訓練足量擰緊的保險槓螺栓正樣本圖像得到各螺帽間最佳距離允許閾值和最佳校準配對候選形狀；
步驟2：通過bing算法選擇出若干候選框，並根據顏色值濾出多餘候選框。
步驟3：對保留的候選框進行邊緣檢測，得到螺栓顏色標記部分的邊緣閉合形狀；
步驟4：根據邊緣幾何形狀以及距離判斷螺栓是否發生鬆動。
上述技術方案的有益效果為：本發明提出的螺栓檢測方法，從幾何形狀和距離兩個標準較為全面的對螺栓鬆動做出了檢測，該方法具有較高的準確率，並且能夠進行自動檢測，省時省力，提高了螺栓鬆動檢測的針對性，保證設備的安全可靠運行；本發明不需要添置任何設備，只需要定時拍攝螺栓圖片傳至處理端即可實時檢測出螺栓是否鬆動，並且能及時報警。
所述的電梯運行中保險扛螺栓鬆動檢測方法，優選的，所述步驟1包括：
步驟1-1通過足量擰緊的保險槓螺栓正樣本圖像得到各螺帽間的微小間距，螺帽校準形狀水平對齊和垂直對齊平均允許誤差，以及校準配對候選形狀幾何、顏色信息，訓練得到最佳距離允許閾值和最佳校準配對候選形狀；
上述技術方法的有益效果為：通過訓練正樣本得到最佳允許閾值和最佳校準匹配候選形狀，對螺栓鬆動提供了較為準確的判斷標註，提高了螺栓鬆動的查準率和查全率。
所述的電梯運行中保險扛螺栓鬆動檢測方法，優選的，所述步驟2包括：
步驟2-1，利用bing算法檢測出螺栓候選框區域，
(1)bing算法中首先選定標註目標位置的樣本圖像生成不同尺度的正負樣本，並將各樣本尺寸縮放至固定8×8大小。在該尺寸下，螺栓紋理、局部形狀等細節特徵將丟失，只保留對象的邊界梯度輪廓特徵。物體輪廓梯度值更高，與其周圍背景區域形成強烈對比。
(2)其次利用線性支持向量機訓練正負樣本集，獲得目標似物性檢測模板。一個與目標對象同大小的像素尺寸候選框更有可能表達該目標對象，因此該模板同樣保證為64維的8×8大小。然後利用打分系統機制，計算每個尺度下的濾波得分並排序，利用非極大值抑制算法(non-maximumsuppression，nms)消除局部冗餘。
(3)最後在原始圖像中找到打分點對應的候選框大小並保存。
a：bing對各尺寸樣本計算梯度特徵，根據梯度特徵匹配得到一組帶有濾波得分的候選框，濾波得分sl定義如下：
s(i,x,y)＝＜w,g(i,x,y)＞
其中，w為訓練獲得的模型參數(後文簡稱模板w)，g(i,x,y)為尺度為i、位置坐標為(x,y)的圖像框縮放至小尺寸下的ng特徵，這裡採用8×8尺寸。而符號「」表示內積運算。
對於每一個像素的梯度幅值計算，這裡採用第二章介紹的prewitt算子方式獲得：
g(i,x,y)＝min{|gx|+|gy|,255}
由於濾波分數會因為尺寸的不同而存在偏差，例如在10×80的窗口中存在人臉的可能性遠遠小於尺寸為30×30的窗口中。因此當對最終候選得分重排序時需要校準得到最終不同尺寸帶有的候選窗組得分，定義對象性得分ol如下：
其中，vi是尺寸i下的獨立學習係數和ti表示尺寸i的偏移量。
獲得的候選框不僅僅應該具有全局範圍內的最高得分，還應該具有鄰域最高得分，以避免由於最高窗口得分過於集中某一區域而可能導致人臉漏檢的現象。因此利用非極大值約束算法選擇邊緣點，從而使得最終候選窗口具有全局較高得分的同時，還具備鄰域得分最高。
為提高計算速度，加速特徵提取和測試過程，模板與特徵的二值化近似過程的具體步驟如下：
1、特徵二值化：由於梯度幅值取值範圍[0，255]，因此可利用如下公式方式進行二進位比特流替換。
其中，bk∈{0,1}表示第k位二進位值，ng表示選取的二進位位個數，由於後四位值對梯度影響並不大，為進一步加速運算，這裡ng＝4，只保留高四位數值。以數值122為例，二值化後為01111010，保留高四位數值為0111。
擴展至8×8的區域來說，共存在64個梯度幅值，每點的梯度幅值都可用二進位比特流。現將8×8每點對應的第k位聯合表示成二進位流bk∈{0,1}64。因此對應8×8矩陣區域有：
2、模板二值化：對於模板w，則可看作多個基向量的組合，近似表示為其中，βj表示第j個基向量的係數，aj表示第j個基向量，aj∈{-1,1}64，nw表示基向量個數，這裡取2。為處理方便，將aj轉化到[0，1]範圍：
故w可表示為：
模板w的具體計算流程如下：
綜上，式s(i,x,y)＝＜w,g(i,x,y)＞的二值化公式表達如下：
b：利用非極大值抑制應用十分廣泛，在這裡是為看消除多餘的選框，具體實現如下：
(1)將所有框的得分降序排列，選中最高分及其對應的框，
(2)遍歷其餘的框，如果和當前最高分框的重疊面積(iou)大於一定閾值，我們就將框刪除，
(3)從未處理的框中繼續選一個得分最高的，重複上述過程。
上述技術方法的有益效果為：利用bing算法可以將所有與正樣本梯度值相接近區域標記出來，並結合nms消除一部分不滿足要求的區域。
步驟2-2：根據螺栓中標記的顏色值範圍再濾除一部分候選框，得到包含螺栓的最佳候選框；
在實際場景中，需要在螺栓連結部位畫出一條寬約1釐米的清晰且垂直的紅色條形框，並且能夠保持長時間不褪色，劃線標記操作簡單，應用成本低，可以對後面的自動識別起到很大的輔助作用。在此實驗中，紅色標記區域的rgb三顏色均值分別為119.37，43.45和53.73，因此我們可以限定當候選框內物體rgb滿足三色範圍時，才認為這個候選框包含螺栓區域。
螺栓上紅色標記區域的rgb三色範圍如下：
根據rgb三色範圍值即可濾除沒有包含此顏色信息的候選框，得到最佳候選框。
上述技術方法的有益效果為：經過步驟2所得到的的候選框只是與正樣本有相似梯度值的區域，而並且包含螺栓部分的區域，因此採樣顏色標記的方法可以進一步濾出顏色信息不符合的區域。
所述的電梯運行中保險扛螺栓鬆動檢測方法，優選的，所述步驟3包括：
步驟3-1，利用canny對候選區域進行邊緣檢測，先用2d高斯濾波模板進行卷積以消除圖像噪聲，對濾波後的圖像中的每個像素點計算其梯度小大和方向，通過梯度方向找到該像素梯度方向的鄰接像素，最後通過非最大抑制以及閾值化和邊緣連結得到螺栓邊緣閉合形狀曲線，計算邊緣閉合形狀的面積。算法過程如下：
(1)採用2d高斯濾波模板進行卷積降噪中使用的size＝5的高斯內核如下：
(2)計算像素點的幅度和方向，這裡按照sobel濾波器的步驟進行介紹：
a.運用一對卷積陣列(分別作用於x,y方向)
b.使用下列公式計算梯度值和方向：
梯度方向近似到四個可能角度之一(一般0，45，90，135度)
(3)僅僅得到全局的梯度並不足以確定邊緣，因此為確定邊緣，必須保留局部梯度最大的點。非極大值抑制算法(non-maximumsuppression，nms)的本質是搜索局部極大值，抑制非極大值元素。
圖4a為邊緣方向示意圖，圖4b為8鄰域幅角方向示意圖；
如圖4所示，沿幅角方向檢測模值的極大值點，即邊緣點，遍歷8個方向像素點，把每個像素偏導值與相鄰像素的模值比較，取其最大值為邊緣點，置像素灰度值為0。
(4)用雙用雙閾值算法檢測和連接邊緣：
a.對非極大值抑制圖像作用兩個閾值th1和th2，兩者關係th1＝0.4th2。我們把梯度值小於th1的像素的灰度值設為0，得到圖像1。然後把梯度值小於th2的像素的灰度值設為0，得到圖像2。由於圖像2的閾值較高，去除大部分噪音，但同時也損失了有用的邊緣信息。而圖像1的閾值較低，保留了較多的信息，我們可以以圖像2為基礎，以圖像1為補充來連結圖像的邊緣。
b.連結邊緣的具體步驟如下：
對圖像2進行掃描，當遇到一個非零灰度的像素p(x,y)時，跟蹤以p(x,y)為開始點的輪廓線，直到輪廓線的終點q(x,y)。考察圖像1中與圖像2中q(x,y)點位置對應的點s(x,y)的8鄰近區域。如果在s(x,y)點的8鄰近區域中有非零像素s(x,y)存在，則將其包括到圖像2中，作為r(x,y)點。從r(x,y)開始，重複第一步，直到我們在圖像1和圖像2中都無法繼續為止。
當完成對包含p(x,y)的輪廓線的連結之後，將這條輪廓線標記為已經訪問。回到第一步，尋找下一條輪廓線。重複第一步、第二步、第三步，直到圖像2中找不到新輪廓線為止。
至此，完成canny算子的邊緣檢測，得到螺栓紅色標記部分的兩個邊緣閉合形狀。
上述技術方法的有益效果為：當圖片中存在顏色信息與螺栓上所標記的顏色信息相近的時候，就不能很好的判斷到底哪一個是包含有螺栓區域的樣本。因此要結合邊緣檢測計算出候選框所含物體的邊緣幾何形狀與正樣本所包含的幾何形狀相比較，以更進一步濾出不滿足條件的候選框，最終找到螺栓所在區域。
所述的電梯運行中保險扛螺栓鬆動檢測方法，優選的，所述步驟1包括：
步驟4-1，計算螺栓兩個紅色標記部分的邊緣閉合形狀，並與正樣本中閉合形狀進行比較，當閉合形狀的面積與正樣本相差較多，或者只有一個閉合形狀，那麼認為螺栓發生鬆動。
步驟4-2，在滿足幾何形狀的前提下，再來判斷兩閉合形狀的中間距離是否在所允許的閾值範圍內，如果在閾值範圍了，則認為螺栓沒有發生鬆動，如果不滿足，我們則認為螺栓發生了鬆動。
上述技術方法的有益效果為：從幾何角度以及距離兩個方面結合了判斷螺栓是否發生了鬆動，能夠從一定程度上減少誤檢和漏檢的概率，從而提升整個算法的工程應用價值。
綜上所述，由於採用了上述技術方案，本發明的有益效果是：
(1)內置檢測程序，能夠自動檢測螺栓鬆動情況，避免人工檢測的低效率，並且在檢測出螺栓發生鬆動時能第一時間報警，避免了由於螺栓鬆動所帶來的安全隱患；
(2)該套方案不需要購買其他輔助設備，只需將程序內置到單片機中，省事省力，並且是一種較為經濟的方案。
(3)該套螺栓鬆動檢測算法從幾何形狀及距離兩個方面對螺栓進行鬆動檢測，能以較大的概率檢測出鬆動情況，具有較低的漏檢率和誤檢。
本發明公開一種電梯運行中保險槓螺栓鬆動檢測方法，包括：
步驟1：通過訓練足量擰緊的保險槓螺栓正樣本圖像得到各螺帽間最佳距離允許閾值和最佳校準配對候選形狀；
步驟2：通過bing算法選擇出若干候選框，並根據顏色值濾出多餘候選框。
步驟3：對保留的候選框進行邊緣檢測，得到螺栓顏色標記部分的邊緣閉合形狀；
步驟4：根據邊緣幾何形狀以及距離判斷螺栓是否發生鬆動。
如圖1所示，當採樣拍照模式時，基於幾何形狀及中心距離的螺栓鬆動加測方法由以下步驟組成：
s1、計算正樣本圖片的螺栓區域的幾何形狀以及兩標記部位的中心距離，確定幾何形狀以及距離閾值。
s2、於電梯井壁或者管井架設固定的攝像機，對螺栓所在區域持續拍攝圖片。
通常電梯中的螺栓的位置是固定不變的，攝像頭所拍攝的圖片具有較為固定的背景，這對於後面的自動檢測具有輔助作用。本發明綜合考慮樓層層高、電梯移動速度、攝像機視角廣度、攝像機幀率、終端存儲容量等因素，選取適當的時間間隔進行拍攝。
s3、利用bing算法對所拍攝的圖片進行相關處理，提取出符合相關要求的候選框。
為了更好的對螺栓鬆動進行檢測，首先輸入螺栓未鬆動的正樣本圖片，獲取此區域的相關信息，其次將待檢測圖片送至處理器，利用bing算法挑選出與正樣本信息相似的候選框。完成後，再結合非極大值抑制算法濾出置信度較低的候選框，為保證後面檢測的順利進行。
s4：上一步驟所獲得的候選框通常較多，因此再利用螺栓所標記的顏色信息來進一步濾出一部分候選框。
首選取得正樣本中螺栓紅色標記部分的rgb平均值，並根據此值設置不同的tgb取值範圍；接著再計算待檢測圖片中每一候選框所包含物體的rgb彩色信息，如果該候選框中所包含物體的rgb值在所設置的範圍內，就保留此候選框，否則就剔除。
s5、就算保留候選框中標記區域的邊緣形狀，並計算其幾何信息。
經過上兩步所保留下來的候選框在梯度和顏色信息方面都與正樣本相符，但是當背景圖片中出現與標記部分顏色相似的物體的時，就會對後續的識別工作產生幹擾。此時同樣將標記出了若干候選框的待檢測圖片進行檢測，對候選框中的物體利用canny算法進行邊緣檢測，得到其邊緣閉合形狀，並計算其幾何信息。
s6：判斷計算出的幾何信息是否和正樣本的幾何信息相符，如果不不相符則說明螺栓發生了鬆動，如果相符再進一步判斷兩閉合區域的中間距離是否小於設置的相關閾值，如果大於則也認為螺栓發生了鬆動，則在第一時間報警。以上兩個條件都滿足的話，我們就認為螺栓是正常運行。
在本說明書的描述中，參考術語「一個實施例」、「一些實施例」、「示例」、「具體示例」、或「一些示例」等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。
儘管已經示出和描述了本發明的實施例，本領域的普通技術人員可以理解：在不脫離本發明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的範圍由權利要求及其等同物限定。