一種多模式多目一體化智能相機的製作方法
2023-05-13 07:41:11
專利名稱：一種多模式多目一體化智能相機的製作方法
技術領域：
本發明涉及一種多模式多目一體化智能相機的設計方案與主要功能，具體指通過開發基於嵌入式系統的視頻處理平臺，集成多路不同模式的相機，實現視頻採集、本地顯示、回放、存儲、目標捕獲跟蹤、目標定位等智能化功能，並可通過網絡接口與用戶傳輸視頻數據和接收控制信息。
背景技術：
隨著嵌入式技術的發展以及圖像處理技術的完善，嵌入式圖像處理平臺取得了飛速發展。其中，集圖像採集、圖像處理、網絡通信等單元於一體的嵌入式視覺系統因具有多功能、智能化、模塊化、高可靠性、易於實現的機器視覺解決方案等優勢在家庭監控、交通監管、產品監督等領域得到青睞。監控系統正步向分布式、網絡化模式，如何靈活有效利用網絡資源成為嵌入式視覺系統發展需考慮的問題。同時，為滿足多領域多功能需求，如何搭建高速嵌入式圖像處理平臺也一直是研究的熱點。近年來，3D電影風靡全球，觀眾在驚嘆導演的驚人想像力的同時，也領略到立體視覺的震撼與真實感。尤其是立體視頻處理技術的發展，圖像視覺對物體的感知不再滿足於物體圖像信息，而是進一步獲得物體三維深度信息，如觀察對象的形狀、離觀察點的距離、 運動特徵方向和速度等。而雙目視覺系統，使用模擬人類感知物體距離的方法，藉助性能相同、相對位置固定的相機，利用三角測距原理，可獲取物體三維信息，因此雙目智能相機在立體視頻中有廣闊的應用前景。在特殊領域，如軍事偵察、高速公路交通監控等，跟蹤高速行駛的飛機、汽車時，對目標進行高幀頻抓拍，需處理大量的實時圖像數據，或者實現高速存儲作為後期處理參考， 普通相機無法達到理想的效果。現有的CMOS相機為獲取高幀頻，一般都工作在小視場高速模式；而CCD相機一般都設計成大視場標準模式，幀頻相對較低。因此，如何充分發揮現有技術的優勢，開發具有高速跟蹤功能的智能相機具有重要的意義。
發明內容
針對上述問題，本發明目的在於設計一種多模式多目一體化智能相機，提供一個多模式、多目、多功能、高解析度、高幀頻、高性能的新型嵌入式智能視覺系統。系統基於嵌入式技術，集成兩路CCD相機以及一路CMOS相機，充分發揮了 CCD、CM0S兩種模式相機的優勢，既拓寬了相機視場，又可以獲取較高的圖像幀頻和解析度，有效的對高速目標抓拍。系統具有採集視頻、本地回放、本地存儲、高速目標跟蹤、目標定位等功能。同時，系統提供了一個VGA輸出接口、一個BNC視頻輸出接口、一個RJ-45網口、一個RS-232串口、一個RS-485 串口、三個IDE硬碟接口等標準化接口。進一步，上述系統中，嵌入式平臺選用DSP+FPGA框架，充分發揮FPGA硬體並行處理圖像底層數據以及DSP處理算法複雜的圖像優勢。進一步，上述系統中，FPGA外擴兩片SDRAM用於圖像預處理時的緩存區；DSP外接兩片SDRAM、一片FLASH用作高速緩存區，同時增加尋址空間以及代碼存儲空間。進一步，上述系統中，兩路CXD相機、一路CMOS相機位於同一平面，CXD相機之間的中心距離為5-7cm，可用於模擬雙目定位，感知目標的三維深度信息。進一步，上述系統中，CMOS相機用於高速跟蹤，在工作於大視場模式的CCD相機的協助下，捕獲目標，並高速跟蹤。進一步，上述系統中，VGA輸出、BNC視頻輸出用於本地顯示、回放，靈活適應本地顯不設備。進一步，上述系統中，RJ-45網絡接口提供乙太網的接口，RS-232串口可用於連接串口 GPRS/EDGE/3G模塊，實現GPRS/EDGE/3G無線上網。進一步，上述系統中，RS-485串口用於控制雲臺以及相機調焦。進一步，上述系統中，FPGA外擴兩個IDE接口控制硬碟用於桌球存儲，高速存儲 CMOS相機跟蹤採集的高速目標圖像，做後期處理。進一步，上述系統中，DSP外擴一個IDE接口控制硬碟用於存儲兩路CXD相機採集的視頻數據，以及雙目定位的深度信息。實現的主要功能本發明採用嵌入式技術，結構緊湊，具有功耗低和集成度高等特點。利用現有CMOS 相機以及CCD相機的優勢，實現高速目標的捕獲、定位以及自動跟蹤。並充分考慮到乙太網以及GPRS/EDGE/3G網絡的普及以及覆蓋範圍，同時提供有線以及無線網絡接口。3路相機採集，可充分獲取目標信息；同時VGA輸出、BNC視頻輸出用於本地顯示、回放，或通過網絡傳輸視頻數據。FPGA外擴兩個IDE接口，用於控制硬碟高速桌球存儲CMOS相機視頻數據； DSP外擴IDE接口，用於控制硬碟存儲CXD相機視頻數據以及三維深度信息。並可通過網絡交互，控制雲臺以及相機焦距等參數。
圖1為本發明的系統結構框2為兩路CXD相機雙目定位原理3為高速目標捕獲跟蹤以及存儲流程圖
具體實施例方式下面結合附圖具體說明本發明如圖1所示，DSP 15與FPGA 9通過DSP 15的EMIF接口連接，FPGA 9內部開闢 FIFO，相當於DSP 15的外部存儲器。DSP 15同時通過EMIF接口連接SDRAM13、14，FLASH 16 以及IDE 20。DSP 15與RJ-45 18通過網絡接口連接。DSP 15與BNC 19通過VPORT 口連接。FPGA 9 通過用戶 1/0 連接 SDRAM 7,8, IDE 10、11，視頻 A/D 4, VGA 12。雲臺 5 與 FPGA 9通過1/0控制的RS-485 18串口連接；GPRS/EDGE/3G模塊21與DSP 15配置的RS-232串口連接。如圖2所示，設兩部相機C1、C2之間距離的中心點為世界坐標系原點，以兩部相機頭之間的連線右方向為Xw軸正方向，以過原點且垂直於水平面向上為Yw軸正方向，以過原點且平行於水平面指向物體的方向為2,軸正方向，如圖左上角坐標系所示。P1、P2為物象P在相機R1A2像平面上的成像點。建立世界坐標系與圖像坐標系之間的關係，根據立體成像原理即可得出世界坐標。從而可以獲取物象距觀察點的位置，以及目標形狀、速度等三維深
度{曰息。 如圖3所示，提取高速目標模板，在兩路CXD相機的工作視野中搜索。匹配後，由 CMOS相機捕獲，並進行跟蹤及高速抓拍，同時，IDE 10、11控制圖像數據硬碟桌球存儲，直至高速目標脫離視場。高速存儲的圖像數據用於後期處理。
權利要求
1.一種多模式多目一體化智能相機，其特徵在於設計一種多模式多目一體化智能相機，該嵌入式視覺系統集成兩路CXD相機以及一路CMOS相機。系統提供了 RS-232及RS-485 串口、IDE接口、網口、VGA輸出、BNC輸出等標準化接口。同時，集視頻採集、本地顯示、回放、視頻存儲、目標定位、目標捕獲和自動追蹤等功能，目標追蹤的對象可以是高速目標。
2.如權利要求1所述的嵌入式平臺採用DSP+FPGA框架，充分發揮FPGA硬體並行處理底層圖像數據以及DSP處理算法複雜的圖像的優勢，達到高速實時處理圖像數據的要求。
3.如權利要求1所述的系統可通過網口接入乙太網，或者是RS-232接口連接GPRS模塊，接入GPRS網絡，靈活適應應用場合以及網絡資源。
4.如權利要求1所述的兩路CCD相機，除視頻採集外，還可工作於雙目定位模式，感知目標的三維深度信息，如形狀、尺寸和坐標等，由掛載於DSP的硬碟存儲。
5.如權利要求1所述的CMOS相機用於高速目標的捕獲跟蹤，通過兩路工作在大視場模式的CCD相機搜索目標，實時圖像數據由掛載於FPGA的兩塊硬碟桌球存儲。
6.如權利要求1所述的VGA接口輸出、BNC接口輸出用於本地顯示、回放，標準化的視頻輸出接口適用於多種顯示器。
7.如權利要求1所述的RS-485串口，用於控制雲臺以及調節相機焦距等參數。通過網絡實現遠程的主動設備維護。
全文摘要
本發明涉及一種多模式多目一體化智能相機，提供一個多功能、高解析度、高幀頻、高性能的新型嵌入式視覺系統。採用嵌入式平臺，同時集成兩路CCD相機、一路CMOS相機，充分發揮CCD、CMOS兩種模式相機的優勢。系統結構緊湊，硬體集成度高，提供了RS-232、RS-485串口、網口、IDE接口、VGA接口、BNC視頻接口等標準化接口。可通過有線或GPRS/EDGE/3G無線方式接入網絡並傳輸視頻數據和控制信息等。RS-485串口控制雲臺以及相機參數等。VGA輸出及BNC輸出用於本地顯示、回放。兩路CCD相機除採集視頻外，還可用於雙目定位，並獲取目標三維深度信息。CMOS相機用於高速目標捕獲跟蹤。IDE接口掛載硬碟存儲圖像數據信息等。本發明可靈活用於交通監控、軍事偵察、機器視覺和工業檢測等領域。
文檔編號H04N7/18GK102238368SQ201010157919
公開日2011年11月9日 申請日期2010年4月28日 優先權日2010年4月28日
發明者於飛, 刁玉峰, 劉維, 葉成明, 李程貴, 潘石, 範治宇, 顧海軍, 馬德華 申請人:長春博鴻電子科技公司(普通合夥)