基於sopc的雙目視頻拼裝置製造方法

2023-05-28 15:59:21

基於sopc的雙目視頻拼裝置製造方法
【專利摘要】本實用新型的基於SOPC的雙目視頻拼接裝置，包括視頻採集裝置、視頻融合裝置、視頻傳輸裝置和上位機，其一對CMOS圖像傳感器通過FPGA埠與一對雙目視頻採集模塊分別連接；一對雙目視頻採集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經特徵提取協處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。該裝置將SOPC技術與FPGA相結合，實現了以NiosII處理器為核心的軟硬體協同設計的雙目同步視頻採集及實時顯示系統，由DMA控制器和Avalon-MM模塊組成的DTFC完成視頻數據採集和輸出，破除處理器與外設在數據交換上的瓶頸，實現雙目視頻的實時拼接。
【專利說明】基於SOPC的雙目視頻拼裝置【技術領域】
[0001]本實用新型涉及雙目視覺技術，具體是一種基於SOPC的雙目視頻拼接裝置。
【背景技術】
[0002]雙目視覺技術作為機器視覺的重要組成部分，一直是視頻拼接、工業檢測及三維重建等領域的研究熱點。近年來隨著雙目視覺技術的不斷發展，基於視頻採集卡與上位機的傳統解決方案由於成本高、通用性差、處理速度慢等缺點已無法滿足用戶需求，尤其在雙目視頻採集傳輸部分，無論是採用輪詢還是時分復用的方式，現有的設計方法都無法滿足系統在同步性和實時性上的設計要求。
[0003]專利文件「一種基於SOPC的雙路視頻融合處理裝置及其融合方法」(專利號CN102523389A)提出了一種通過SOPC系統實現雙路視頻融合的方法，但是其仍然使用傳統的設計方法，沒有將FPGA的並行性和SOPC在可編程性上的優勢發揮出來，同步性及實時性無法保證，雙路視頻融合僅使用雙線性插值法，融合效果不佳。
[0004]現階段雙目視頻拼接裝置大多上位機參與處理，無法實現真正意義上的嵌入式雙目視頻拼接裝置，且又上位機軟體實現視頻拼接算法，執行效率不高，在實時性和拼接效果上無法平衡。
實用新型內容
[0005]本實用新型的目的旨在解決上述技術缺陷。
[0006]為此，本實用 新型的目的在於提出一種以FPGA為核心基於SOPC的雙目視頻拼接裝置，該裝置通過NiosII軟核處理器控制以Avalon-MM模塊形式封裝的各功能模塊，將採集到的雙路視頻數據實時拼接並顯示。
[0007]本實用新型的基於SOPC的雙目視頻拼接裝置，包括視頻採集裝置、視頻融合裝置、視頻傳輸裝置和上位機，其特徵在於:一對CMOS圖像傳感器通過FPGA埠與一對雙目視頻採集模塊分別連接；一對雙目視頻採集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經特徵提取協處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。
[0008]其中，雙目視頻採集模塊主要包括CMOS圖像傳感器初始化控制器與Avalon流模式視頻採集控制器，二者通過Avalon總線連接。一對雙目視頻採集模塊分別連接至一對CMOS圖像傳感器CM0S_1和CM0S_2對應的DMA控制器DMA_1和DMA_2。
[0009]所述的雙目視頻顯示模塊主要包括VGA顯示時序發生器和緩存數據的異步FIFO，二者通過Avalon總線連接；VGA顯示時序發生器通過D/A轉換晶片連接VGA顯示器。
[0010]所述的雙目視頻輸出模塊主要包括異步FIFO緩存器和與之連接的Avalon流模式視頻輸出控制器。將USB晶片通過FPGA埠與雙目視頻輸出模塊連接，設置USB晶片為Slave FIFO從機模式。[0011]所述的雙目視頻存儲模塊主要是以兩片SDRAM為核心的與之對應的兩組DMA控制器DMA_1和DMA_2。雙目視頻存儲模塊通過FPGA埠與兩片SDRAM相連。
[0012]所述的特徵提起協處理器包括低通濾波模塊及其後順序連接的求導計算模塊、興趣值計算及鄰域非極大值抑制模塊；
[0013]低通濾波器模塊採用改進後的模塊:
【權利要求】
1.基於SOPC的雙目視頻拼接裝置，包括視頻採集裝置、視頻融合裝置、視頻傳輸裝置和上位機，其特徵在於:一對CMOS圖像傳感器通過FPGA埠與一對雙目視頻採集模塊分別連接；一對雙目視頻採集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經特徵提取協處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。
2.根據權利要求1的裝置，其特徵在於:一對雙目視頻採集模塊分別連接至一對CMOS圖像傳感器CM0S_1和CM0S_2對應的DMA控制器DMA_1和DMA_2 ;雙目視頻採集模塊主要包括CMOS圖像傳感器初始化控制器與Avalon流模式視頻採集控制器,二者通過Avalon總線連接。
3.根據權利要求1的裝置，其特徵在於:雙目視頻顯示模塊主要包括VGA顯示時序發生器和緩存數據的異步FIFO，二者通過Avalon總線連接；VGA顯示時序發生器通過D/A轉換晶片連接VGA顯示器。
4.根據權利要求1的裝置，其特徵在於^fUSB晶片通過FPGA埠與雙目視頻輸出模塊連接，設置USB晶片為Slave FIFO從機模式；雙目視頻輸出模塊主要包括異步FIFO緩存器和與之連接的Avalon流模式視頻輸出控制器。
5.根據權利要求1的裝置，其特徵在於:雙目視頻存儲模塊通過FPGA埠與兩片SDRAM相連；雙目視頻存儲模塊主要是以兩片SDRAM為核心的與之對應的兩組DMA控制器DMA_1 和 DMA_2。
6.根據權利要求1的裝置，其特徵在於:特徵提起協處理器包括低通濾波模塊及其後順序連接的求導計算模塊、興趣值計算及鄰域非極大值抑制模塊；低通濾波器模塊採用改進後的模塊:`
【文檔編號】H04N5/262GK203522895SQ201320524570
【公開日】2014年4月2日 申請日期:2013年8月27日 優先權日:2013年8月27日
【發明者】歐陽寧, 張彤, 莫建文, 首照宇, 呂東歡, 袁華, 陳利霞 申請人:桂林電子科技大學