一種模塊化cmos工業相機的製作方法

2023-05-29 05:20:31

專利名稱：一種模塊化cmos工業相機的製作方法
技術領域：
本發明涉及一種適用於工業產品檢測、智能交通系統和視頻監控領域的檢測設備，具體涉及一種模塊化CMOS工業相機。
(二)
背景技術：
工業智能相機廣泛應用於智能交通、電子警察、安防監控、工業生產及檢測、醫學顯微等領域，是機器視覺系統的核心組件。CMOS由於其與CCD製造工藝不同，與CCD相比較所具有的優勢為集成度高，功耗低，體積小，製造成本低，抗輻射能力強，適合特殊場合應用，靈敏度高，傳輸速度快，使用電源單一。因此，CMOS圖像傳感器在工業相機中得到的應用會更加廣泛。但是目前國內已有的CMOS相機存在如下不足在功能上不夠完善，不適用於檢測高速運動物體；採用PC處理技術，對產品的更新和升級比較困難，不能進行二次開發，並且體積結構龐大，功耗較大。
(三)

發明內容
針對上述問題，本發明提供了一種模塊化CMOS工業相機，適用於檢測高速運動目標；易於產品更新和升級，能夠進行二次開發，並且體積小，功耗低。 本發明的技術方案如下一種模塊化CMOS工業相機，該相機硬體部分包括工業鏡
頭、成像傳感器模塊、邏輯管理模塊、數據處理模塊和相機外殼；軟體部分包括相機伺服器
軟體和PC機網絡通信客戶端軟體；在模塊功能設計上，成像傳感器模塊主要安裝了傳感器
和相應的電源電路，數據和控制線通過40針的扁平線與邏輯管理模塊相連；邏輯管理模塊
對成像傳感器模塊的寄存器進行配置，控制圖像採集的工作流程，並將數據轉換成數據處
理模塊的Video Port接口可以導入的時序格式；數據處理模塊接收邏輯管理模塊的圖像
數據，並對其進行實時處理，處理結果通過乙太網口輸出至PC機或者執行機構；其特徵在
於，所述成像傳感器模塊為CMOS成像傳感器模塊，其採用具有全局曝光能力的CMOS傳感器
晶片，所述邏輯管理模塊為FPGA邏輯管理模塊，其採用FPGA晶片，所述數據處理模塊為DSP
數據處理模塊，其採用TMS320DM642DSP晶片；CMOS成像傳感器模塊通過40針扁平線連接
到FPGA邏輯管理模塊，FPGA邏輯管理模塊將得到的數據轉換成DSP數據處理模塊的Video
Port接口可以導入的時序格式，最終傳入DSP數據處理模塊的存儲器，DSP數據處理模塊對
得到的圖像數據進行處理，處理後的圖像結果通過乙太網口傳輸到客戶端，與客戶端軟體
進行網絡通信，客戶端軟體傳輸初始化設置參數和實時顯示處理後的圖像。 其進一步的特徵在於所述CMOS成像傳感器模塊、FPGA邏輯管理模塊、DSP數據
處理模塊這三個模塊採用獨立的電路板設計，各模塊通過接插件連接； FPGA邏輯管理模塊處理之後的圖像數據是以分離的三通道YUV數據或Bayer RAW
格式的圖像數據由VP 口傳入DSP數據處理模塊； 所述的DSP數據處理模塊(可再擴展)，採用的是TMS320DM642數位訊號處理器，外擴了兩片4M*32bit的SDRAM， 一片4M的Flash,能穩定工作在600MHz的時鐘頻率，集成了 10/100M乙太網接口，可配置的圖像視頻埠，通用1/0接口，主要用於攝像機採集視頻 流的圖像處理和進行網絡通信； 所述的圖像處理可以對圖像數據進行Gamma校正、直方圖均衡化、手動/自動白平 衡處理，並自帶了部分圖像處理算法，和嵌入了 TI Image Library,滿足特殊用戶定製，也 方便後繼開發； 所述的網絡通信是指客戶端軟體通過乙太網與作為伺服器端的DSP數據處理模
塊通信，傳輸設置CMOS成像傳感器模塊的相應參數和接收處理後的圖像數據； 所述設置CMOS成像傳感器模塊的相應參數的具體參數包括曝光時間、圖像大小、
採集模式、圖像格式、單斜率/多斜率積分模式設置； 所述的圖像採集模式包括連續觸發、外觸發、軟體觸發。 本發明中，CMOS成像傳感器模塊中CMOS傳感器晶片具有全局曝光能力，因此可以 採集高速運動物體的圖像，同時CMOS傳感器晶片自身具有圖像解析度高、低功耗，性能穩 定的優點； 在相機內部體系結構設計上採用了模塊化的設計思想，有利於系統資源調度，使 整個相機系統的硬體具有可裁減、可升級更新等優點； 由於內置了嵌入式的TMS320匿642DSP處理器，客戶可以根據具體應用對相機進 行二次開發； 由於採用了嵌入式處理器，通過乙太網口與客戶端軟體的通信，取代了原有的PC 機系統，只需單電源供電，功耗低，並且系統結構緊湊。
(四)


圖1為本發明的工業一體化CMOS相機總體結構圖； 圖2為本發明的內部模塊化電路結構圖； 圖3為本發明FPGA邏輯管理模塊方框圖； 圖4為本發明DSP數據處理模塊方框圖； 圖5為本發明供電模塊示意圖； 圖6為本發明圖像處理流程圖； 圖7為本發明網絡通信流程圖； 圖8為本發明程序總體流程圖。
(五)
具體實施例方式
下面結合具體實施方案，並參照附圖，對本發明的細節和原理進一步詳細說明。
如圖1 、圖2、圖3和圖4所示，該模塊化智能CMOS相機硬體部分包括工業鏡頭1 、 CMOS成像傳感器模塊2、FPGA邏輯管理模塊3、DSP數據處理模塊4和相機外殼(圖中沒有 表達)，DSP數據處理模塊4包括PHY物理層晶片5，網絡隔離變壓器6， RJ45接口 7， EEPR0M 晶片8，總容量32M的SDRAM數據存儲器10， 4M的FLASH程序存儲器ll，數字10 口 12，DSP 晶片13， 9為電源模塊。在模塊功能設計上，CMOS成像傳感器模塊2主要安裝了 CMOS傳感 器和相應的電源電路，CMOS成像傳感器模塊2採用具有全局曝光能力的CMOS傳感器晶片， FPGA邏輯管理模塊3採用FPGA晶片，DSP數據處理模塊採用TMS320DM642DSP晶片，CMOS成
4像傳感器模塊通過40針的扁平線與FPGA邏輯管理模塊相連；FPGA邏輯管理模塊3對CMOS 成像傳感器模塊的寄存器進行配置，控制圖像採集的工作流程，並將數據轉換成DSP數據 處理模塊的Video Port接口可以導入的時序格式；最終傳入DSP數據處理模塊的存儲器， DSP數據處理模塊接收FPGA邏輯管理模塊的圖像數據，並對其進行實時處理，處理後的圖 像結果通過乙太網口傳輸到客戶端，與客戶端軟體進行網絡通信，客戶端軟體傳輸初始化 設置參數和實時顯示處理後的圖像。 本發明的CMOS成像傳感器模塊、FPGA邏輯管理模塊和DSP數據處理模塊在硬體電 路的具體實現上採用模塊化設計，分成三個電路板，各模塊通過接插件連接，具體如圖2所示。 本發明的FPGA邏輯管理模塊的具體硬體電路實現如圖3所示，通過CM0S接口 (40 針扁平線)設置CMOS傳感器中寄存器的參數並接收CMOS模塊採集到的圖像數據。外接5V 的直流電源通過電源模塊可以得到3. 3V電壓作為FPGA邏輯管理模塊的10及整個系統數 字電源，得到的1.2V電壓作為FPGA邏輯管理模塊的內核電源。FPGA邏輯管理模塊將時序 轉換的圖像數據通過VP1 口傳入DSP數據處理模塊。FPGA邏輯管理模塊通過IIC總線接收 DSP數據處理模塊傳送的配置參數，Reset_L是電壓監控晶片產生的復位電平，控制FPGA邏 輯管理模塊復位。 本發明的DSP數據處理模塊具體如圖4所示，DSP晶片用的是TI公司的 TMS320DM642數位訊號處理器，通過IIC總線給FPGA邏輯管理模塊配置參數。DM642有16 路通用I/O 口 (GPIO)，與外設相連能夠產生CPU中斷和EDMA中斷，通過與FPGA邏輯管理 模塊的I/O 口連接，實現DSP數據處理模塊與FPGA邏輯管理模塊之間的數據交換。DSP數 據處理模塊通過VP1 口接收FPGA邏輯管理模塊時序轉換的圖像數據。PCI/HPI埠復用 管腳，通過HPI，主機設備可以訪問DSP數據處理模塊的整個內存空間，乙太網媒體接入控 制器(EMAC)提供匿642核心處理器與網絡之間的高效界面。DM642通過EMIF接口實現與 兩片SDRAM(4M*32bit)無縫連接，得到SDRAM的存儲空間為32M，同時通過EMIF連接一個 FLASH存儲器(4M) 。 POWER&RESET通過外接5V直流電源得到3. 3V電壓作為DM642的I/O 及整個系統的數字電源，得到1.4V電壓作為匿642的內核電壓，然後利用其中的電源監控 晶片監控得到的1.4V、3. 3V電壓，如果電壓下降到限值以下，強制產生復位信號。
如圖5所示，本發明的供電模塊是外接5V直流電源通過電源模塊產生1. 2V、1. 4V 和3. 3V電壓，並將得到的這些電壓通過電壓監控晶片監控。 圖6為本發明的圖像處理流程圖，由CM0S成像傳感器模塊2採集到BayerRAW圖像 後通過雙線性插值得到三通道的RGB圖像，然後從RGB圖像空間轉換到YCbCr圖像空間，在 YCbCr空間對Y分量進行Gamma校正，並做直方圖均衡化處理，將處理後的圖像轉換到RGB 格式空間，再進行白平衡處理，最後在客戶端顯示。 圖7為本發明的網絡通信流程。DSP數據處理模塊作為伺服器(server)與PC機 作為客戶端(client)建立網絡通信。伺服器端建立socket，綁定埠，開始監聽網絡，等 待客戶端請求。客戶端建立socket，綁定伺服器埠，開始請求連接，DSP數據處理模塊與 PC機建立連接，客戶端發送請求，伺服器接到請求並處理，然後發送相應的結果，客戶端接 收結果並再次發送請求如此循環。 如圖8所示，為本發明的軟體運行流程圖。程序上電運行，硬體、變量的初始化，開始創建多任務，DSP數據處理模塊圖像處理任務負責接收網絡通信發送的圖像初始化參數 設置，包括曝光時間、圖像大小、採集模式、圖像格式、單斜率/多斜率積分模式設置，接收 成功後這些參數由FPGA邏輯管理模塊3配置給CMOS傳感器的寄存器，然後根據設置的參 數採集圖像，接下來DSP數據處理模塊對採集到的圖像進行處理，處理完的結果通過網絡 傳給客戶端顯示。網絡連接任務作為伺服器的DSP數據處理模塊端負責與PC機客戶端進 行通信。
權利要求
一種模塊化CMOS工業相機，該相機硬體部分包括工業鏡頭、成像傳感器模塊、邏輯管理模塊、數據處理模塊和相機外殼；軟體部分包括相機伺服器軟體和PC機網絡通信客戶端軟體；在模塊功能設計上，成像傳感器模塊主要安裝了傳感器和相應的電源電路，數據和控制線通過40針的扁平線與邏輯管理模塊相連；邏輯管理模塊對成像傳感器模塊的寄存器進行配置，控制圖像採集的工作流程，並將數據轉換成數據處理模塊的Video Port接口可以導入的時序格式；數據處理模塊接收邏輯管理模塊的圖像數據，並對其進行實時處理，處理結果通過乙太網口輸出至PC機或者執行機構；其特徵在於，所述成像傳感器模塊為CMOS成像傳感器模塊，其採用具有全局曝光能力的CMOS傳感器晶片，所述邏輯管理模塊為FPGA邏輯管理模塊，其採用FPGA晶片，所述數據處理模塊為DSP數據處理模塊，其採用TMS320DM642DSP晶片；CMOS成像傳感器模塊通過40針扁平線連接到FPGA邏輯管理模塊，FPGA邏輯管理模塊將得到的數據轉換成DSP數據處理模塊的Video Port接口可以導入的時序格式，最終傳入DSP數據處理模塊的存儲器，DSP數據處理模塊對得到的圖像數據進行處理，處理後的圖像結果通過乙太網口傳輸到客戶端，與客戶端軟體進行網絡通信，客戶端軟體傳輸初始化設置參數和實時顯示處理後的圖像。
2. 根據權利要求1所述的一種模塊化CMOS工業相機，其特徵在於所述CMOS成像傳 感器模塊、FPGA邏輯管理模塊、DSP數據處理模塊這三個模塊採用獨立的電路板設計，各模 塊通過接插件連接。
3. 根據權利要求2所述的一種模塊化CMOS工業相機，其特徵在於所述FPGA邏輯管 理模塊處理的圖像數據是以分離的三通道YUV數據或Bayer RAW格式的圖像數據由VP 口 傳入DSP數據處理模塊。
4. 根據權利要求3所述的一種模塊化CM0S工業相機，其特徵在於所述的DSP數據 處理模塊(可再擴展)，採用的是TMS320DM642數位訊號處理器，外擴了兩片4M*32bit的 SDRAM， 一片4M的Flash,能穩定工作在600MHz的時鐘頻率，集成了 10/100M乙太網接口 ，可 配置的圖像視頻埠 ，通用I/O接口 ，主要用於攝像機採集視頻流的圖像處理和進行網絡 通信。
5. 根據權利要求4所述的一種模塊化CM0S工業相機，其特徵在於所述的圖像處理軟 件可以對圖像數據進行Gamma校正、直方圖均衡化、手動/自動白平衡處理，並自帶了部分 圖像處理算法，和嵌入了 TI Image Library,滿足特殊用戶定製，也方便後繼開發。
6. 根據權利要求5所述的一種模塊化CM0S工業相機，其特徵在於所述的網絡通信是 指客戶端軟體通過乙太網與作為伺服器端的DSP數據處理模塊通信，傳輸設置CMOS成像傳 感器模塊的相應參數和接收處理後的圖像數據。
7. 根據權利要求6所述的一種模塊化CM0S工業相機，其特徵在於所述設置CMOS成像 傳感器模塊的相應參數的具體參數包括曝光時間、圖像大小、採集模式、圖像格式、單斜率/ 多斜率積分模式設置。
8. 根據權利要求7所述的一種模塊化CMOS工業相機，其特徵在於所述的圖像採集模 式包括連續觸發、外觸發、軟體觸發。
全文摘要
本發明提供了一種模塊化CMOS工業相機。其適用於檢測高速運動目標、易於升級、體積小、功耗低。其硬體部分包括工業鏡頭、成像傳感器模塊、邏輯管理模塊、數據處理模塊；軟體部分包括相機伺服器軟體和PC機網絡通信客戶端軟體；邏輯管理模塊通過對成像傳感器模塊的控制，完成圖像採集，並將數據轉換成數據處理模塊的VP口可以導入的時序格式；數據處理模塊接收圖像數據並對其進行實時處理，處理結果通過乙太網口輸出至PC機或者執行機構；其特徵在於，所述成像傳感器模塊採用具有全局曝光能力的CMOS傳感器晶片，所述邏輯管理模塊採用FPGA晶片，所述數據處理模塊採用TMS320DM642DSP晶片。
文檔編號H04N5/225GK101778209SQ20101010207
公開日2010年7月14日 申請日期2010年1月28日 優先權日2010年1月28日
發明者吳莉婷, 廖威, 李功燕, 王林興, 田原, 高陽 申請人:無錫藍天電子有限公司