基於視頻分析的儲糧害蟲檢測識別方法及其系統的製作方法

2023-06-15 15:27:16 1

專利名稱：基於視頻分析的儲糧害蟲檢測識別方法及其系統的製作方法
技術領域：
本發明涉及檢測技術領域，尤其涉及一種基於視頻分析的儲糧害蟲檢測與識別方 法及其系統。
背景技術：
我國是世界上最大的糧食儲藏國家，每年由於糧蟲危害造成的國庫儲糧損失高達 10多億元人民幣。當前的儲糧害蟲(糧蟲)檢測方法主要有近紅外光譜法、X射線法、圖像 處理和機器視覺法等。其中，近紅外光譜法和X射線法通過對糧食逐粒掃描識別糧蟲的種 類，雖然識別效果較好，但是效率太低且設備的成本較高。基於圖像處理和機器視覺的儲糧害蟲檢測和識別技術因其識別效率高且成本低 等優勢已成為近年來的研究熱點。然而，現有的基於圖像處理和機器視覺的檢測識別方法 普遍存在兩個問題首先，由於需要針對一幅靜態圖像進行處理，圖像噪聲將導致糧蟲的誤 檢和漏檢；其次，現有方法無法判斷糧蟲存活與否。

發明內容
(一 )要解決的技術問題本發明要解決的技術問題是如何克服現有的基於圖像處理和機器視覺的儲糧害 蟲檢測識別方法中普遍存在的誤檢、漏檢缺陷，以及如何實現糧蟲的存活和類型判定。( 二 )技術方案為解決上述技術問題，本發明的技術方案提供了一種基於視頻分析的儲糧害蟲檢 測識別方法，包括以下步驟Sl 獲取處於運動狀態的待測儲糧樣品的多幀連續圖像；S2 將每一幀圖像分割為糧蟲區域和背景區域；S3 在每一幀分割後的圖像內以所述糧蟲區域為中心限定大小為MXM個所述糧 蟲區域的糧蟲搜索區域；S4:基於預置的匹配標準，在第N+1幀圖像的糧蟲搜索區域內搜索與第N幀圖像的 糧蟲區域相匹配的區域塊，並分別記錄兩者之間的匹配度值；S5 將累計匹配度值超過預定閾值的糧蟲區域識別為存在糧蟲的區域。進一步地，所述方法在步驟S5之後還包括檢測所述存在糧蟲的區域在所述多幀 連續圖像中相對於其背景區域的分別的運動矢量值，並計算其平均運動矢量值，通過所述 平均運動矢量值判斷所述存在糧蟲的區域內的糧蟲是否為存活糧蟲。進一步地，所述方法在步驟S5之後還包括提取所述存在糧蟲的區域的圖像特 徵，並通過SVM分類器獲得分類結果和類型概率值；根據所述概率值的統計結果判斷所述 存在糧蟲的區域內的糧蟲的類型。進一步地，所述存在糧蟲的區域相對於其背景區域的運動矢量值通過以下步驟獲 得
S401 根據待測儲糧的運動狀態構建六參數仿射模型，獲得背景儲糧的運動矢量 值；S402:獲取所述存在糧蟲的區域與與其相匹配的區域塊之間的位移值，作為所述 存在糧蟲的區域的絕對運動矢量值；S403:根據所述背景儲糧的運動矢量值和所述存在糧蟲的區域的絕對運動矢量值 獲得所述存在糧蟲的區域相對於其背景區域的運動矢量值。優選地，所述步驟S2通過自定義閾值法實現。優選地，所述步驟S4通過三步搜索法實現。優選地，所述步驟S4中，所述預置的匹配標準為將第N+1幀圖像的糧蟲搜索區域 中與第N幀圖像的糧蟲區域之間的灰度值差平方和最小的區域塊識別為所述相匹配的區 域塊。相應地，本發明的技術方案還提供了一種基於視頻分析的儲糧害蟲檢測識別系 統，包括儲糧視頻採集裝置和儲糧害蟲檢測識別裝置，其中，儲糧視頻採集裝置，獲取處於運動狀態的儲量樣品的視頻，並將所述視頻傳送給 儲糧害蟲檢測識別裝置；儲糧害蟲檢測識別裝置，包括視頻解析模塊，將儲糧視頻採集裝置傳送的視頻解析為多幀連續圖像；糧蟲檢測模塊，對每一圖像分別進行糧蟲區域的分割和提取，並基於所述糧蟲區 域限定搜索區域；對於每一糧蟲區域，在所述多幀圖像的搜索區域內進行搜索匹配；根據 搜索匹配結果識別和定位其中存在糧蟲的區域。進一步地，所述儲糧害蟲檢測識別裝置還包括活蟲識別統計模塊，檢測所述存在糧蟲的區域在所述多幀連續圖像中相對於其背 景區域的分別的運動矢量值，並計算其平均運動矢量值，通過所述平均運動矢量值判斷所 述存在糧蟲的區域內的糧蟲是否為存活糧蟲。進一步地，所述儲糧害蟲檢測識別裝置還包括糧蟲類型識別模塊，提取所述存在糧蟲的區域的圖像特徵，並通過SVM支持向量 機分類器獲得分類結果和類型概率值；根據所述概率值的統計結果判斷其內糧蟲的類型。(三)有益效果與現有技術相比，根據本發明的基於視頻分析的儲糧害蟲檢測識別方法及其系統 具有以下優勢基於多幀圖像驗證進行儲糧害蟲檢測，通過連續多幀的搜索和比較來提高糧蟲檢 測的準確率，避免了糧蟲的漏檢和誤檢；基於視頻運動分析進行儲糧活蟲檢測，通過糧蟲的運動特徵判斷糧蟲的存活狀 態，實現對儲糧活蟲的檢測和實時統計；基於統計進行糧蟲類型識別，針對活蟲的形態不固定性，通過統計多幀的糧蟲識 別結果，選取概率均值最大的類型作為糧蟲的類型，提高了糧蟲識別的準確率。


圖1是根據本發明一種實施方式的基於視頻分析的儲糧害蟲檢測識別方法的流
5程圖；圖2是根據本發明一種實施方式的基於視頻分析的儲糧害蟲檢測識別方法中搜 索匹配過程示意圖；圖3是根據本發明一種實施方式的基於視頻分析的儲糧害蟲檢測識別系統的結 構框圖。
具體實施例方式本發明提出的基於視頻分析的儲糧害蟲檢測識別方法及其系統，結合附圖和實施 例說明如下。圖1所示為依照本發明一種實施方式的基於視頻分析的儲糧害蟲檢測識別方法 的流程圖。由圖1中可以看出，該方法包括以下步驟Sl 獲取處於運動狀態的待測儲糧樣品的多幀連續圖像實施過程中，可以攝取放置於傳送帶上的儲糧樣品的視頻，並對視頻進行解析，以 獲得多幀連續圖像。具體地，可以根據需要通過糧食取樣裝置定時從糧庫中扦取各類糧食樣本；將糧 食樣本撒落在傳送裝置上，由此在傳送裝置的傳送帶上形成單層糧食樣本；使用攝像裝置 拍攝該單層糧食樣本隨著傳送帶移動的過程並形成視頻；將視頻解析為多幀連續的儲糧圖 像。優選地，可以對上述糧食傳送裝置進行額外照明，以保持視頻的圖像亮度穩定。視頻解 析為本領域現有技術，在此不作贅述。S2 將每一幀圖像分割為糧蟲區域和背景區域具體來說，糧蟲區域是指包含害蟲的一個小圖像塊，如圖2中左側部分的小方框 所示；而每一幀圖像中除去糧蟲區域之外的區域即為背景區域。在對每一幀儲糧圖像進行 分割之前，可以先採用平滑和銳化技術對其進行處理以增強圖像中糧蟲與背景的反差和整 幅圖像的清晰度，例如，採用robert算子或者sobel算子對儲糧圖像進行邊緣提取，得到糧 蟲灰度圖象；然後，針對灰度圖象的像素值，通過K-均值聚類自適應閾值法確定一個將儲 糧圖像分割為糧蟲區域和背景區域的最佳閾值；通過獲得的最佳閾值將儲糧圖像二值化； 最後通過數學形態學的蝕膨脹操作獲得完整的糧蟲區域。當然，也可以使用其他任何能夠 獲得相同處理效果的圖像處理方法。S3 在每一幀分割後的圖像內以所述糧蟲區域為中心限定糧蟲搜索區域；具體來說，對於每一幀分割後的儲糧圖像，以糧蟲區域為中心，擴張其周圍MXM 個單元塊大小的區域，由此在其周圍劃分出一個糧蟲搜索區域，如圖2中右側部分的大方 框所示(即搜索窗口)；其中，該單元塊(圖2中右側部分的小窗口)的大小應該與糧蟲區 域大小相同或近似相同；圖2中所示M為3。優選地，M取8。S4:基於預置的匹配標準，在第N+1幀圖像的糧蟲搜索區域內搜索與第N幀圖像的 糧蟲區域相匹配的區域，並記錄兩者之間的匹配度值；具體實施過程中，對於第N幀圖像中的糧蟲區域，可在第N+1幀圖像中的糧蟲搜索 區域內，基於預置的匹配標準，搜索與第N幀圖像中的糧蟲區相匹配的區域塊，並記錄兩者 的匹配度值。這裡的匹配度值是指第N幀圖像的糧蟲區域與第N+1幀圖像的糧蟲搜索區域 中待匹配區域塊之間灰度值差的平方和；這裡的預置匹配標準為取第N+1幀圖像的糧蟲
6搜索區域中差值平方和最小的區域塊作為與第N幀圖像的糧蟲區域相匹配的區域。優選地，如圖2所示，上述匹配過程可以通過三步搜索法實現S401，從圖2右側部 分中搜索窗口的中心點開始，選取最大搜索長度的一半為步長，對與該中心點距離為步長 的八個單元塊進行塊匹配，匹配對象為圖2左側部分中小方框所示的糧蟲區域，並分別計 算匹配度值，比較後確定匹配度值最高的區域塊；S402，將步長減半，以S401中獲得的匹配 度值最高的區域塊為中心，對與該中心點距離為步長的八個單元塊進行塊匹配，並分別計 算匹配度值，比較後確定匹配度值最高的區域塊；S403，重複步驟S402，直至步長為1，則當 前獲得的匹配度值最高的區域塊即為相匹配的區域塊，搜索結束。此時，記錄步驟S403中 的匹配度值。S5 將累計匹配度值超過預定閾值的糧蟲區域識別為糧蟲。具體實施過程中，對所述多幀連續圖像依次執行步驟S4，對每一幀圖像的所有糧 蟲區域均進行搜索匹配及匹配度值計算；如果某一糧蟲區域的累計匹配度值超過給定的閾 值，則認為檢測到糧蟲。優選地，預定閾值為0. 6。通過上述步驟S1-S5，本實施例提供了一種基於多幀圖像驗證的儲糧害蟲檢測方 法，通過連續多幀的搜索和比較來提高糧蟲檢測的準確率，避免了糧蟲的漏檢和誤檢。優選地，本發明的基於視頻分析的儲糧害蟲檢測識別方法在檢測到糧蟲後，還可 以進一步地識別該糧蟲是否處於存活狀態。具體來說，根據檢測到的糧蟲區域，進一步判斷糧蟲是否存活，並對存活的糧蟲數 量進行統計。識別過程包括以下步驟Sll 在儲糧樣品傳送裝置上標記若干個特徵點，通過特徵點匹配得到六參數的仿 射模型，以描述攝像裝置的全局運動規律；六參數仿射模型的構建屬於現有技術，在此不做 贅述。S12 獲得每一存在糧蟲的區域相對於其背景儲糧的運動矢量值；具體來說，通過步驟Sll中構建的仿射模型可以得到背景儲糧的運動矢量值；在 步驟S4中會得到一個與該存在糧蟲的區域相匹配的區域塊，兩者之間的位移值即為該存 在糧蟲的區域的絕對運動矢量；將該存在糧蟲的區域的絕對運動矢量值減去該背景儲糧的 運動矢量值即為該存在糧蟲的區域內的糧蟲相對於其背景儲糧的運動矢量值；該相對運動 矢量為糧蟲存活與否的判斷標準。S13:計算每一糧蟲在多幀連續圖像中的平均運動矢量值，並將平均運動矢量值大 於零的糧蟲識別為活蟲。通過上述步驟S11-S13，本實施例的基於視頻分析的儲糧害蟲檢測識別方法還提 供了一種基於視頻運動分析的儲糧活蟲檢測方法，通過糧蟲的運動特徵判斷糧蟲的存活狀 態，實現對儲糧活蟲的檢測和實時統計。優選地，本發明的基於視頻分析的儲糧害蟲檢測識別方法在檢測到糧蟲後，還可 以進一步地判斷其所屬的害蟲類型。識別過程包括以下步驟S21 將檢測到的所有糧蟲的糧蟲區域作為待識別區域。對於每一糧蟲的待識別區 域，提取其灰度、周長、面積、傅立葉算子等圖像特徵；S22 將所述灰度、周長、面積、傅立葉算子等圖像特徵輸入支持向量機(supportvector machine, SVM)分類器，對糧蟲類型進行識別，得到糧蟲的分類結果和所屬類別的概
率值；S23 統計步驟S22的識別結果中各類型概率值的平均值，選取平均值最大的類型 作為該糧蟲的類型，以此避免單幀圖像識別準確率不高。通過上述步驟S21-S23，本實施例的基於視頻分析的儲糧害蟲檢測識別方法還提 供了一種基於統計的糧蟲類型識別方法，針對活蟲的形態不固定性，通過統計多幀的糧蟲 識別結果，選取概率均值最大的類型作為糧蟲的類型，提高了糧蟲識別的準確率。根據上述實施例所描述的基於視頻分析的儲糧害蟲檢測識別方法，本發明還提供 了一種基於視頻分析的儲糧害蟲檢測識別系統。如圖3所示，本實施例的系統包括儲糧視頻採集裝置和儲糧害蟲檢測識別裝置兩 個部分。具體來說，儲糧視頻採集裝置用於實現步驟Sl中的連續圖像的獲取。相應地，其 包括儲糧取樣單元，用於從糧倉中扦取各類糧食樣本；儲糧傳送單元，用於單層傳送糧食樣本，便於攝像單元進行拍攝；優選地，所述儲 糧傳送單元為傳送帶；攝像單元，用於拍攝儲糧隨傳送裝置運動過程的運動視頻，並將其傳送給儲糧害 蟲檢測識別裝置。優選地，本實施例的儲糧視頻採集裝置還可以包括照明單元，用於對儲糧傳送單 元進行照明，以確保儲糧視頻的圖像亮度穩定。具體來說，儲糧害蟲檢測識別裝置用於實現步驟S2-S5所述的視頻分析處理過 程。相應地，其包括視頻解析模塊，將儲糧視頻採集裝置傳送的視頻解析為多幀連續圖像；例如， Directshow等軟體可將視頻流解析為多幀連續的圖像以供進一步處理；糧蟲檢測模塊，對每一圖像分別進行糧蟲區域的分割和提取，並基於所述糧蟲區 域限定搜索區域；對於每一糧蟲區域，在所述多幀圖像的搜索區域內進行搜索匹配；根據 搜索匹配結果識別和定位其中存在糧蟲的區域。優選地，本實施例的儲糧害蟲檢測識別裝置還可以包括活蟲識別統計模塊，檢測所述存在糧蟲的區域在所述多幀連續圖像中分別的運動 矢量值，通過其平均運動矢量值識別其內的糧蟲是否為存活糧蟲；以及糧蟲類型識別模塊，提取所述存在糧蟲的區域的圖像特徵，並通過SVM分類器獲 得分類結果和類型概率值；根據所述概率值的統計結果判斷其內糧蟲的類型。需要說明的是，關於本實施例中基於視頻分析的儲糧害蟲檢測識別系統的各個部 分的工作原理，可以參見前述基於視頻分析的儲糧害蟲檢測識別方法的相應描述，在此不 做贅述。以上實施方式僅用於說明本發明，而並非對本發明的限制，有關技術領域的普通 技術人員，在不脫離本發明的精神和範圍的情況下，還可以做出各種變化和變型，因此所有 等同的技術方案也屬於本發明的範疇，本發明的專利保護範圍應由權利要求限定。
權利要求
一種基於視頻分析的儲糧害蟲檢測識別方法，其特徵在於，包括以下步驟S1獲取處於運動狀態的待測儲糧樣品的多幀連續圖像；S2將每一幀圖像分割為糧蟲區域和背景區域；S3在每一幀分割後的圖像內以所述糧蟲區域為中心限定糧蟲搜索區域，所述糧蟲搜索區域由M×M個所述糧蟲區域構成；S4基於預置的匹配標準，在第N+1幀圖像的糧蟲搜索區域內搜索與第N幀圖像的糧蟲區域相匹配的區域塊，並分別記錄兩者之間的匹配度值；S5將累計匹配度值超過預定閾值的糧蟲區域識別為存在糧蟲的區域。
2.如權利要求1所述的基於視頻分析的儲糧害蟲檢測識別方法，其特徵在於，所述方 法在步驟S5之後還包括檢測所述存在糧蟲的區域在所述多幀連續圖像中相對於其背景 區域的分別的運動矢量值，並計算其平均運動矢量值，通過所述平均運動矢量值判斷所述 存在糧蟲的區域內的糧蟲是否為存活糧蟲。
3.如權利要求1所述的基於視頻分析的儲糧害蟲檢測識別方法，其特徵在於，所述方 法在步驟S5之後還包括提取所述存在糧蟲的區域的圖像特徵，並通過SVM支持向量機分 類器獲得分類結果和類型概率值；根據所述概率值的統計結果判斷所述存在糧蟲的區域內 的糧蟲的類型。
4.如權利要求2所述的基於視頻分析的儲糧害蟲檢測識別方法，其特徵在於，所述存 在糧蟲的區域相對於其背景區域的運動矢量值通過以下步驟獲得S401根據待測儲糧的運動狀態構建六參數仿射模型，獲得背景儲糧的運動矢量值；S402獲取所述存在糧蟲的區域與與其相匹配的區域塊之間的位移值，作為所述存在 糧蟲的區域的絕對運動矢量值；S403:根據所述背景儲糧的運動矢量值和所述存在糧蟲的區域的絕對運動矢量值獲得 所述存在糧蟲的區域相對於其背景區域的運動矢量值。
5.如權利要求1-4中任意一項所述的基於視頻分析的儲糧害蟲檢測識別方法，其特徵 在於，所述步驟S2通過自定義閾值法實現。
6.如權利要求1-4中任意一項所述的基於視頻分析的儲糧害蟲檢測識別方法，其特徵 在於，所述步驟S4通過三步搜索法實現。
7.如權利要求1-4中任意一項所述的基於視頻分析的儲糧害蟲檢測識別方法，其特徵 在於，所述步驟S4中，所述預置的匹配標準為將第N+1幀圖像的糧蟲搜索區域中與第N幀 圖像的糧蟲區域之間的灰度值差平方和最小的區域塊識別為所述相匹配的區域塊。
8.一種基於視頻分析的儲糧害蟲檢測識別系統，其特徵在於，包括儲糧視頻採集裝置 和儲糧害蟲檢測識別裝置，其中，儲糧視頻採集裝置，獲取處於運動狀態的儲量樣品的視頻，並將所述視頻傳送給儲糧 害蟲檢測識別裝置；儲糧害蟲檢測識別裝置，包括視頻解析模塊，將儲糧視頻採集裝置傳送的視頻解析為多幀連續圖像；糧蟲檢測模塊，對每一圖像分別進行糧蟲區域的分割和提取，並基於所述糧蟲區域限 定搜索區域；對於每一糧蟲區域，在所述多幀圖像的搜索區域內進行搜索匹配；根據搜索 匹配結果識別和定位其中存在糧蟲的區域。
9.如權利要求8所述的基於視頻分析的儲糧害蟲檢測識別系統，其特徵在於，所述儲 糧害蟲檢測識別裝置還包括活蟲識別統計模塊，檢測所述存在糧蟲的區域在所述多幀連續圖像中相對於其背景區 域的分別的運動矢量值，並計算其平均運動矢量值，通過所述平均運動矢量值判斷所述存 在糧蟲的區域內的糧蟲是否為存活糧蟲。
10.如權利要求8所述的基於視頻分析的儲糧害蟲檢測識別系統，其特徵在於，所述儲 糧害蟲檢測識別裝置還包括糧蟲類型識別模塊，提取所述存在糧蟲的區域的圖像特徵，並通過SVM支持向量機分 類器獲得分類結果和類型概率值；根據所述概率值的統計結果判斷其內糧蟲的類型。
全文摘要
本發明提供了一種基於視頻分析的儲糧害蟲檢測識別方法以及相應的檢測識識別裝置。本發明的方法包括以下步驟S1獲取處於運動狀態的待測儲糧樣品的多幀連續圖像；S2將每一幀圖像分割為糧蟲區域和背景區域；S3在每一幀分割後的圖像內以所述糧蟲區域為中心限定糧蟲搜索區域，該糧蟲搜索區域由M×M個該糧蟲區域構成；S4基於預置的匹配標準，在第N+1幀圖像的糧蟲搜索區域內搜索與第N幀圖像的糧蟲區域相匹配的區域，並分別記錄兩者之間的匹配度值；S5將累計匹配度值超過預定閾值的糧蟲區域識別為存在糧蟲的區域。該方法可以克服現有檢測識別方法中普遍存在的誤檢、漏檢缺陷，並能實現糧蟲的存活和類型判定。
文檔編號G06K9/62GK101976350SQ20101052002
公開日2011年2月16日 申請日期2010年10月20日 優先權日2010年10月20日
發明者楊穎 , 高萬林 申請人:中國農業大學