一種基於FPGA機器視覺的禽蛋裂紋瑕疵檢測裝置的製作方法

2023-05-15 15:45:23 1

一種基於fpga機器視覺的禽蛋裂紋瑕疵檢測裝置
技術領域
1.本發明涉及機器視覺和農產品領域，具體為一種基於fpga機器視覺的禽蛋裂紋瑕疵檢測裝置。


背景技術：

2.機器視覺通常通過設置攝像頭獲取圖形信息，對圖形信息進行識別處理獲取關鍵的圖形信息，常見用於的圖形信息處理的硬體裝置為pc機，然而設置pc需要外接獨立設備，增大了設備體積和佔用空間。
3.機器視覺檢測就是用機器代替人眼來做測量和判斷，表面缺陷和表面瑕疵，就是指物體表面有劃痕，有汙點，缺料等，機器視覺表面缺陷檢測就是指用機器代替人工把物件表面有劃痕、汙點，缺料，字符logo錯誤的物件挑選出來，具體工作方式為，第一，物料系統把需要檢測的物件按照需求排列好並輸送到檢測盤上；第二，當物料在檢測盤上運行到攝像機面前是，攝像機對物件進行拍照，並把照片傳輸給電腦；第三，電腦根據程序對圖像進行分析，當電腦判斷物件有缺陷和瑕疵時，控制吹氣閥門將缺陷物件篩選出來，良品物件繼續在檢測盤上輸送至良品收集器具中，至此，物件檢測篩選完成。
4.禽蛋具有豐富的營養價值，是人們日常生活中不可或缺的食物。禽蛋外殼脆弱易碎，而其外殼破碎後產生裂紋將會導致禽蛋在短期時間內變質、發臭。因此，在包裝時檢測禽蛋表面的裂紋並將裂紋蛋分揀出來是非常有必要的。
5.隨著禽蛋加工技術的發展，出現了禽蛋的裂紋檢測分揀檢測裝置及方法，禽蛋的裂紋檢測及分揀可分為人工、自動化兩種方式，人工檢測裂紋並分揀效率低並且長時間作業容易出錯，因此，企業常採用自動化的方式檢測裂紋蛋並分揀。
6.但是，傳統的禽蛋裂紋瑕疵檢測裝置存在以下缺點：（1）自動化禽蛋裂紋瑕疵檢測方式中，裂紋檢測常採用敲擊振動技術、機器視覺技術，而裂紋蛋分揀則採用機械臂抓取，敲擊振動技術檢測裂紋一般為接觸式，易對無裂紋的禽蛋造成損害，並且檢測結果易受禽蛋外形影響；（2）傳統的禽蛋裂紋瑕疵檢測裝置上機器視覺技術檢測裂紋一般採用單個相機，很難拍攝獲得整個禽蛋表面的圖像，會導致裂紋漏檢；（3）傳統的禽蛋裂紋瑕疵檢測裝置完成檢測後，由機械臂抓取裂紋蛋具有較高的技術難度，需要多傳感器融合實現，從而使得機械臂抓取方案實施困難，另外，機械臂抓取裂紋蛋速度也難以滿足生產需求。


技術實現要素：

7.本發明的目的在於提供一種基於fpga機器視覺的禽蛋裂紋瑕疵檢測裝置，以解決上述背景技術中提出的自動化禽蛋裂紋瑕疵檢測方式中，裂紋檢測常採用敲擊振動技術、機器視覺技術，而裂紋蛋分揀則採用機械臂抓取，敲擊振動技術檢測裂紋一般為接觸式，易對無裂紋的禽蛋造成損害，並且檢測結果易受禽蛋外形影響；傳統的禽蛋裂紋瑕疵檢測裝
vision ip，千兆乙太網mac的平臺和可選的visual applets軟體；2、通過設置gige vision攝像機，gige vision攝像機瑕疵檢測時可以逐行掃描、高清晰，緩高解析度達到4百萬像素、幀率高：最高幀率達到200 f／s、數據未經壓縮，無損失、可以根據需要輸出部分掃描數據、可以通過軟體自動改變攝像機參數，適應變化的現場環境、後期應用開發方便，取代敲擊振動技術檢測，保護檢測禽蛋；3、fpga中使用camera link來進行與相機的互聯，camera link是一個應用於高端機器視覺的強大的數據通道，它使用一個專門的電纜連接和標準化的通信協議，camera link支持大量的數據和高數據傳輸率，適合今天的圖像數據傳輸的要求，gige vision是一種實現單／多相機與單／多計算機相連接進行數據集中和分布式處理的理想標準，使用標準千兆乙太網允許使用標準電纜和連接器，從而降低材料費和整合成本以及後續增長乙太網帶寬的可擴展性；4、fpga系統為集成ps端單核/雙核cortex-a9 arm + pl端artix-7架構可編程邏輯資源，提供雙目攝像頭接口，可以靈活接入視頻輸出模塊；vivado
®ꢀ
design suite 提供具備 soc 功能、以 ip 和系統為中心的新一代開發環境，該全新設計的套件能解決系統級集成和實現方面的生產力瓶頸問題。
19.5、使用 vivado ipi 進行數字設計，sdsoc
™ꢀ
開發環境提供極大簡化的類似 assp 的 c/c++ 編程體驗，包括簡單易用的 eclipse ide，以及全面的設計環境，可用於異構 zynq all programmable soc 和 mpsoc 部署，sdsoc 包含行業首個 c/c++ 全系統優化編譯器，可提供系統級的性能分析、可編程邏輯中的自動化軟體加速、自動系統連接生成，以及可加速編程的函數庫。
附圖說明
20.圖1為本發明檢測裝置本體的結構示意圖；圖2為本發明fpga系統的結構示意圖；圖3為本發明圖像疊加的示意圖；圖4為本發明的video in to axi4-stream ip核圖之一；圖5為本發明vdma ip核圖；圖6為本發明的osdip核圖之一；圖7為本發明的axi-stream to video out ip核圖。
21.圖中：1、檢測裝置本體；2、視頻數據傳輸模塊；3、視頻數據存儲模塊；4、視頻算法模塊；5、視頻顯示輸出模塊；6、視頻算法檢驗模塊；7、fpga系統；71、cameralink；72、gige vision ip；73、千兆乙太網mac平臺；74、visual applets軟體；75、vivado ipi ；8、gige vision攝像機；9、視頻輸入模塊。
具體實施方式
22.下面將結合本發明實施例，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
23.請參閱圖1-7，本發明提供了一種基於fpga機器視覺的禽蛋裂紋瑕疵檢測裝置，包括檢測裝置本體1，檢測裝置本體1包括視頻數據傳輸模塊2、視頻數據存儲模塊3、視頻算法模塊4、視頻顯示輸出模塊5、視頻算法檢驗模塊6、視頻輸入模塊9、gige vision攝像機8和fpga系統7，視頻數據傳輸模塊2的一側、視頻數據存儲模塊3的一側、視頻算法模塊4的一側、視頻顯示輸出模塊5的一側、視頻算法檢驗模塊6的一側、視頻輸入模塊9的一側和gige vision攝像機8的一側均通過導線與fpga系統7的一側連接，fpga系統7包括cameralink71、gige vision ip72、千兆乙太網mac平臺73、visual applets軟體74和vivado ipi 75。
24.fpga系統7通過cameralink71與gige vision攝像機8連接。
25.cameralink71是一個應用於高端機器視覺的強大的數據通道，cameralink71使用一個專門的電纜連接和標準化的通信協議，支持大量的數據和高數據傳輸率。
26.gige vision ip72是一種實現單或者多相機與單或者多計算機相連接進行數據集中和分布式處理的理想標準，gige vision ip72是由自動化影像協會aia發起指定的一種基於千兆乙太網的圖像傳輸的標準。
27.fpga系統7集成ps端單核或者雙核cortex-a9 arm + pl端artix-7架構可編程邏輯資源，提供雙目攝像頭接口，可以靈活接入視頻輸出模塊。
28.vivado ipi 75包括簡單易用的 eclipse ide，以及全面的設計環境，可用於異構 zynq all programmable soc 和 mpsoc 部署，sdsoc 包含行業首個 c/c++ 全系統優化編譯器，可提供系統級的性能分析、可編程邏輯中的自動化軟體加速、自動系統連接生成，以及可加速編程的函數庫。
29.gige vision攝像機8使用的是video in to axi4-stream ip核並通過vdma緩存到ps端ddr，然後通過osd ip核將多路圖像疊加到1080p60的視頻中，最後通過vga輸出顯示。
30.視頻數據傳輸模塊2和視頻數據存儲模塊3均使用vdma ip核，s2mm將視頻流傳送到ddr中，mm2s再從ddr中把圖像數據傳輸出去。
31.視頻算法檢驗模塊6使用osd ip核技術配置，osd配置為帶有axi4-lite接口，通過配置寄存器來設置osd的輸出解析度，通過硬體實現圖像處理的各個算法。
32.視頻顯示輸出模塊5使用axi-stream to video out ip核顯示視頻，將其視頻格式配置為rgb，1 pixels per clk，每個色彩數據位寬為8bits。
33.本發明在使用時：人們使用檢測裝置本體1時，使用video in to axi4-stream ip核，將2路攝像頭（640*480@70）數據採集進來，並通過vdma緩存到ps端ddr，然後通過osd ip核將2路圖像疊加到1080p60的視頻中，最後通過vga輸出顯示，當選擇採用blockdesign設計方式時，攝像頭對視頻採集，視頻的採集使用的是video in to axi4-stream ip核，例程中將其配置為mono/sensor，1 pixels per clk，每個色彩數據位寬為8bits。例程使用2個ip核分別採集2路攝像頭圖像，而後，使用vdma ip核，s2mm將視頻流傳送到ddr中，mm2s再從ddr中把圖像數據傳輸出去。例程2個vdma ip核，每個ip核使用4個frambuffer，stream的數據寬度為8bits，最後，使用osd(ip核技術配置。osd配置為帶有axi4-lite接口，通過配置寄存器來設置osd的輸出解析度，通過硬體實現圖像處理的各個算法，對採集進來的圖像進行處理，得出瑕疵圖像，使用axi-stream to video out ip核顯示視頻，將其視頻格式配置為rgb，1 pixels per clk，每個色彩數據位寬為8bits，把瑕疵圖像顯示在視頻上，其中fpga
系統7具有多路同時高速運行的硬體加速優勢，隨著機器視覺系統應用中解析度的提高和壓縮算法的進步，對系統性能和構架靈活性提出了更高的要求，以實現系統的快速更新，可選擇的系統構架包括標準單元asic，assp以及各種可編程解決方案，如數位訊號處理器（dsp）或媒體處理器和fpga，每種構架都具有各自的優缺點，最終選擇取決於終端設備要求和解決方案的可用性，理想構架應具有以下特點：高性能、靈活性、易升級性、低開發成本以及具有隨著應用成熟和產量增加向更低成本遷移的能力，fpga系統7具有並行運算、反覆使用、大量可使用的軟核的優勢，是實現機器視覺理想構架的合理選擇，fpga系統7是小批量系統提高集成度、可靠性的最佳選擇之一，隨著vlsi工藝的不斷提高，單一晶片內部已可以容納上百萬個電晶體，這使得fpga晶片所能實現的功能也越來越強，同時也可以實現系統集成，fpga系統7有大量軟核，可以方便進行二次開發，fpga系統7甚至包含單片機和dsp軟核，並且io數僅受fpga自身io限制，所以，fpga系統7又是單片機和dsp的超集，也就是說，單片機和dsp能實現的功能，fpga系統7一般都能實現，在soc設計中，基於fpga器件設計工藝的發展使得越來越多的功能集成到一個晶片成為可能，為實現這一目標，有一種非常實用的soc設計方法，稱為基於核的設計，它將系統的功能劃分為不同的核，採用ip核來完成特定的設計功能。
34.儘管參照前述實施例對本發明進行了詳細的說明，對於本領域的技術人員來說，其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。