基於sopc的雙目視頻拼裝置及雙目視頻拼接方法
2023-09-15 18:15:25
基於sopc的雙目視頻拼裝置及雙目視頻拼接方法
【專利摘要】本發明的基於SOPC的雙目視頻拼接裝置，包括以NiosII軟核處理器為核心的SOPC系統，其一對CMOS圖像傳感器通過FPGA埠與一對雙目視頻採集模塊分別連接；一對雙目視頻採集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經特徵提取協處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。本發明的雙目視頻拼接方法，通過歐氏距離法對特徵點進行粗匹配，然後使用KNN法提出部分誤匹配點，最後採用RANSAC計算出單應性矩陣，再經由柱面空間轉換及線型加權融合，實現一幀雙目視頻數據的實時拼接。
【專利說明】基於SOPC的雙目視頻拼裝置及雙目視頻拼接方法
【技術領域】
[0001 ] 本發明涉及雙目視覺技術，具體是一種基於SOPC的雙目視頻拼接裝置及雙目視頻拼接方法。
【背景技術】
[0002]雙目視覺技術作為機器視覺的重要組成部分，一直是視頻拼接、工業檢測及三維重建等領域的研究熱點。近年來隨著雙目視覺技術的不斷發展，基於視頻採集卡與上位機的傳統解決方案由於成本高、通用性差、處理速度慢等缺點已無法滿足用戶需求，尤其在雙目視頻採集傳輸部分，無論是採用輪詢還是時分復用的方式，現有的設計方法都無法滿足系統在同步性和實時性上的設計要求。
[0003]專利文件「一種基於SOPC的雙路視頻融合處理裝置及其融合方法」(專利號CN102523389A)提出了一種通過SOPC系統實現雙路視頻融合的方法，但是其仍然使用傳統的設計方法，沒有將FPGA的並行性和SOPC在可編程性上的優勢發揮出來，同步性及實時性無法保證，雙路視頻融合僅使用雙線性插值法，融合效果不佳。
[0004]現階段雙目視頻拼接裝置大多上位機參與處理，無法實現真正意義上的嵌入式雙目視頻拼接裝置，且又上位機軟體實現視頻拼接算法，執行效率不高，在實時性和拼接效果上無法平衡。
【發明內容】
[0005]本發明的目的旨在解決上述技術缺陷。為此，本發明的第一個目的在於提出一種以FPGA為核心基於SOPC的雙目視頻拼接裝置，該裝置通過NiosII軟核處理器控制以Avalon-MM模塊形式封裝的各功能模塊，將採集到的雙路視頻數據實時拼接並顯示。
[0006]本發明的基於SOPC的雙目視頻拼接裝置，包括視頻採集裝置、視頻融合裝置、視頻傳輸裝置和上位機，其特徵在於:一對CMOS圖像傳感器通過FPGA埠與一對雙目視頻採集模塊分別連接；一對雙目視頻採集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經特徵提取協處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。
[0007]其中，雙目視頻採集模塊主要包括CMOS圖像傳感器初始化控制器與Avalon流模式視頻採集控制器，二者通過Avalon總線連接。一對雙目視頻採集模塊分別連接至一對CMOS圖像傳感器CM0S_1和CM0S_2對應的DMA控制器DMA_1和DMA_2。
[0008]所述的雙目視頻顯示模塊主要包括VGA顯示時序發生器和緩存數據的異步FIFO，二者通過Avalon總線連接；VGA顯示時序發生器通過D/A轉換晶片連接VGA顯示器。
[0009]所述的雙目視頻輸出模塊主要包括異步FIFO緩存器和與之連接的Avalon流模式視頻輸出控制器。將USB晶片通過FPGA埠與雙目視頻輸出模塊連接，設置USB晶片為Slave FIFO從機模式。[0010]所述的雙目視頻存儲模塊主要是以兩片SDRAM為核心的與之對應的兩組DMA控制器DMA_1和DMA_2。雙目視頻存儲模塊通過FPGA埠與兩片SDRAM相連。
[0011]所述的特徵提起協處理器包括低通濾波模塊及其後順序連接的求導計算模塊、興趣值計算及鄰域非極大值抑制模塊；
[0012]低通濾波器模塊採用改進後的模塊:
[0013]
【權利要求】
1.基於SOPC的雙目視頻拼接裝置，包括視頻採集裝置、視頻融合裝置、視頻傳輸裝置和上位機，其特徵在於:一對CMOS圖像傳感器通過FPGA埠與一對雙目視頻採集模塊分別連接；一對雙目視頻採集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經特徵提取協處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。
2.根據權利要求1的裝置，其特徵在於:一對雙目視頻採集模塊分別連接至一對CMOS圖像傳感器CM0S_1和CM0S_2對應的DMA控制器DMA_1和DMA_2 ;雙目視頻採集模塊主要包括CMOS圖像傳感器初始化控制器與Avalon流模式視頻採集控制器,二者通過Avalon總線連接。
3.根據權利要求1的裝置，其特徵在於:雙目視頻顯示模塊主要包括VGA顯示時序發生器和緩存數據的異步FIFO，二者通過Avalon總線連接；VGA顯示時序發生器通過D/A轉換晶片連接VGA顯示器。
4.根據權利要求1的裝置，其特徵在於 fUSB晶片通過FPGA埠與雙目視頻輸出模塊連接，設置USB晶片為Slave FIFO從機模式；雙目視頻輸出模塊主要包括異步FIFO緩存器和與之連接的Avalon流模式視頻輸出控制器。
5.根據權利要求1的裝置，其特徵在於:雙目視頻存儲模塊通過FPGA埠與兩片SDRAM相連；雙目視頻存儲模塊主要是以兩片SDRAM為核心的與之對應的兩組DMA控制器DMA_1 和 DMA_2。
6.根據權利要求1的裝置，其特徵在於:特徵提起協處理器包括低通濾波模塊及其後順序連接的求導計算模塊、興趣值計算及鄰域非極大值抑制模塊；低通濾波器模塊採用改進後的模塊:
7.基於SOPC的雙目視頻拼接方法，其特徵在於，包括: A)雙目視頻配準，首先通過歐氏距離法對特徵點進行粗匹配，然後使用KNN法踢出部分誤匹配點，最後採用RANSAC計算出單應性矩陣；B)雙目視頻空間轉換，將多張待拼接的圖像投影到一個圓柱面上，並且以柱面圖像的形式存儲，得到統一坐標空間的柱面圖像，然後將柱面序列圖像進行拼接，構成一幅完整柱面全景圖； C)雙目視頻融合，採用線性漸變融合算法，在重疊區域，依據權值相加，從一幅圖像均勻過渡到另一幅圖像。
8.根據權利要求7的方法，其特徵在於，在步驟A)歐氏距離法計算各特徵點之間的歐式距離，計算式為:
9.根據權利要求7的方法，其特徵在於，在步驟B)，所述雙目視頻空間轉換是，按下式將圖像投影到以攝像機焦距為半徑的柱面上，
10.根據權利要求7的方法，其特徵在於，在步驟C)，所述線性漸變融合算法是:假設相鄰圖像I1, I2在區間[XpX2]上重疊，重疊區域中的對應點為I1(Xj)和I2(x，y)，賦予兩個點不同的權重係數，權重係數f(x，y)為:
【文檔編號】H04N5/262GK103442180SQ201310377399
【公開日】2013年12月11日 申請日期:2013年8月27日 優先權日:2013年8月27日
【發明者】歐陽寧, 張彤, 莫建文, 首照宇, 呂東歡, 袁華, 陳利霞 申請人:桂林電子科技大學