一種基於cmos的三維傳感器實時高速數據處理系統的製作方法

2023-12-10 04:40:21

專利名稱：一種基於cmos的三維傳感器實時高速數據處理系統的製作方法
技術領域：
本發明涉及一種基於CMOS的三維傳感器實時高速數據處理系統，該系統能夠實現非接觸光學測量系統的高速實時數據處理，可用於物體表面三維形貌測量。本發明屬於光學三維測量技術領域。
背景技術：
基於CMOS的三維傳感器實時高速數據處理系統作為非接觸式光學三維測量的數據處理系統，可以應用於三維形貌測量、逆向工程和質量檢測等諸多領域。但是以往的數據處理是在計算機上完成計算的，在一些計算過程中存在著功耗高、運算速度慢、實時性差的缺點。針對這一問題，國內外提出的一般解決方法是利用GPU進行並行計算，這樣可以解決計算機CPU運算速度慢的缺點。但是由於GPU的並行編程較為複雜，而且為了實現較高的計算速度，不可避免地要提高儀器造價與整體功耗等性能指標。另外，在非接觸式光學三維測量中，傳感器拍攝的圖像數據較為龐大，而相應地計算得到的數據則較少。在以往的系統設計中，傳感器直接將拍攝到的圖像數據全部傳給計算機，由計算機統一計算，這使得整個系統的運算時間大部分消耗在了圖像數據的傳輸與存儲上，從而無法保證運算的高速與實時性。以往的非接觸式光學三維測量的傳感器使用的是CCD感光器件。CCD感光器件將光信號轉化成的電信號是模擬信號，因此需要額外進行外圍輸出電路系統設計才可以與數據處理系統相連接實現圖像數據的傳輸與計算。因此決定了 CCD感光器件的數據讀出速度較慢。儘管CCD感光器件的解析度與靈敏度等性能指標在同類器件中是較為優秀的，但是在具體非接觸式光學三維測量的數據計算處理過程中，CCD感光器件的解析度與靈敏度遠遠優於需求的精度，這在一定程度上造成了資源浪費，直接導致了系統具有計算速度慢、功耗大的缺陷。由此可見，不管是從算法優化入手，從電路系統設計優化上入手，還是從核心元件的選擇上入手，目前國內外還沒有提出一種解決功耗高、運算速度慢、實時性差等缺點的非接觸式光學三維測量的數據處理系統。本發明針對此類問題提出了基於CMOS的三維傳感器實時高速數據處理系統，實現了非接觸式光學三維測量數據的高速實時處理。

發明內容
I、目的本發明的目的是提供了一種基於CMOS的三維傳感器實時高速數據處理系統，它將CMOS三位傳感器與FPGA數據處理模塊結合，克服了現有數據處理系統運算速度慢、實時性差的問題。2、技術方案本發明的技術解決方案是一種基於CMOS的三維傳感器實時高速數據處理系統，它包括基於CMOS的兩部左、右三維傳感器、兩片獨立並行的FPGA數據處理模塊、緩存RAM、三維復現計算的FPGA數據處理模塊、千兆網數據傳輸接口、計算機和USB數據傳輸接口。它們之間的位置連接關係是基於CMOS的兩部左、右三維傳感器獲取左、右相機圖像數據，由於CMOS傳感器傳輸數位訊號，可將其直接讀出；CM0S傳感器獲取的數據輸入兩片獨立並行的FPGA數據處理模塊，通過數據預處理、標記背景、解碼器解相與外差多頻相展開四個步驟完成運算；在相位解算計算過程中，需要用到CMOS傳感器多次拍攝的數據，因此將數據暫時存儲至緩存RAM中；完成相位解算之後，兩片獨立並行的FPGA數據處理模塊將解算結果同時輸入三維復現計算的FPGA數據處理模塊，進行立體匹配與三維復現計算；計算過程需要通過USB接口由計算機向FPGA傳輸相機標定結果、背景閾值設定等參數，計算完成後將三維點雲數據用千兆網數據傳輸接口傳輸至計算機。該基於CMOS的兩部左、右三維傳感器是兩臺相對位置固定且有共同視場的相機，其核心感光器件是CMOS晶片；該緩存RAM是與FPGA相連接的DDR2緩存晶片；該計算機是存儲顯示數據使用的計算機。該獨立並行的FPGA數據處理模塊與三維復現計算的FPGA數據處理模塊均是FPGA中的數據處理功能模塊，其算法程序已經實現下載到FPGA中；該千兆網數據傳輸接口是千兆網傳輸協議接口板，使用DM9000A協議晶片；該USB數據傳 輸接口是=USB數據接口部分使用CY7C68013A晶片作為編碼晶片。本發明原理是基於CMOS的三維傳感器，使用兩片CMOS晶片構成左、右兩臺相機，以實現三維圖像信息的採集。兩片獨立並行FPGA數據處理模塊，在進行了數據預處理後。首先按照設定好的背景閾值標記出背景，在之後的計算中不予計算背像素，以此節省計算
Cr ( X y) — ^ ( X V)
量；其次對同一頻率條紋圖像利用公式￠(毛= arctan⑴廣』 \ 1 、進行相
W，I2 (U)
2
位解算;最後使用外差多頻方法，使用公式硪(U)= , \進行相展開。緩存
aI
gAx, v)-g,(x, v)
RAM，在FPGA數據處理的相位解算中，^^7的計算需要用到統一像素同一
g0{x\y)-g2(x,y)
條紋頻率不同條紋相位的四幅圖像，因此將傳感器拍攝到的圖像先預存到緩存RAM中，當四幅相移條紋圖像拍攝完畢後，將圖像數據從緩存讀出到FPGA中進行相位解算。上式中的符號說明如下gi(x，y)表示第i幅圖像在點(X，y)處的灰度值。三維復現計算的FPGA數據處理模塊，將相位解算得到的結果進行立體匹配與三維復現。需要用到的相機標定結果由計算機通過部分USB接口傳輸。三維復現結果用過部分千兆網數據傳輸接口傳輸至計算機。3、優點及功效本發明與現有技術相比的優點在於(I)採用CMOS晶片作為圖像傳感器，直接讀出數位訊號，有著速度快的優點。(2)採用基於FPGA的硬體化數據處理，可實現實時高速數據處理。(3)採用基於FPGA的硬體系統可以降低整個系統功耗，有利於系統的便攜性。


圖1為本發明一種基於CMOS的三維傳感器實時高速數據處理系統的系統結構具體實施方式
見圖1，一種基於CMOS的三維傳感器實時高速數據處理系統，該系統組成包括基於CMOS的左、右兩部三維傳感器、兩片獨立並行的FPGA數據處理模塊、緩存RAM、三維復現計算的FPGA數據處理模塊、千兆網數據傳輸接口、計算機和USB數據傳輸接口。它們之間的位置連接關係是基於CMOS的兩部三維傳感器獲取左、右相機圖像數據，由於CMOS傳感器傳輸數位訊號，可將其直接讀出。CMOS傳感器獲取的數據輸入兩片獨立並行的FPGA數據處理模塊，通過數據預處理、標記背景、解碼器解相與外差多頻相展開四個步驟完成運算。在相位解算計算過程中，需要用到CMOS傳感器多次拍攝的數據，因此將數據暫時存儲至緩存RAM中。完成相位解算之後，兩片獨立並行的FPGA數據處理模塊將解算結果同時輸入三維復現計算的FPGA數據處理模塊，進行立體匹配與三維復現計算。計算過程需要通過USB接口由計算機向FPGA傳輸相機標定結果、背景閾值設定等參數。計算完成後將三維點雲數據用千兆網數據傳輸接口傳輸至計算機。該基於CMOS的兩部左、右三維傳感器是兩臺相對位置固定且有共同視場的相機，其核心感光器件是CMOS晶片；該緩存RAM是與FPGA相連接的DDR2緩存晶片；該計算
機是存儲顯示數據使用的計算機。該獨立並行的FPGA數據處理模塊與三維復現計算的FPGA數據處理模塊均是FPGA中的數據處理功能模塊，其算法程序已經實現下載到FPGA中；該千兆網數據傳輸接口是千兆網傳輸協議接口板，使用DM9000A協議晶片；該USB數據傳輸接口是=USB數據接口部分使用CY7C68013A晶片作為編碼晶片。基於CMOS的三維傳感器，使用兩片CMOS晶片構成左、右兩臺相機，以實現三維圖
像信息的採集。兩片獨立並行FPGA數據處理模塊，在進行了數據預處理後。首先按照設定
好的背景閾值標記出背景，在之後的計算中不予計算背像素，以此節省計算量；其次對同一
^ , \g, (X, V) - g, (X, v)
頻率條紋圖像利用公SfEKuO = arctan \——^進行相位解算；最後使
2
用外差多頻方法，使用公式二 , ,進行相展開。緩存RAM，在FPGA數
_ /12
g, y) - (.X, V)
據處理的相位解算中，:的計算需要用到統一像素同一條紋頻率不同
條紋相位的四幅圖像，因此將傳感器拍攝到的圖像先預存到緩存RAM中，當四幅相移條紋圖像拍攝完畢後，將圖像數據從緩存讀出到FPGA中進行相位解算。上式中的符號說明如下gi(x，y)表示第i幅圖像在點(X，y)處的灰度值。三維復現計算的FPGA數據處理模塊，將相位解算得到的結果進行立體匹配與三維復現。需要用到的相機標定結果由計算機通過部分USB接口傳輸。三維復現結果用過部分千兆網數據傳輸接口傳輸至計算機。
權利要求
1.一種基於CMOS的三維傳感器實時高速數據處理系統，其特徵在於它包括基於CMOS的兩部左、右三維傳感器、兩片獨立並行的FPGA數據處理模塊、緩存RAM、三維復現計算的FPGA數據處理模塊、千兆網數據傳輸接ロ、計算機和USB數據傳輸接ロ ；基於CMOS的兩部左、右三維傳感器獲取左、右相機圖像數據，由於CMOS傳感器傳輸數位訊號，將其直接讀出；CM0S傳感器獲取的數據輸入兩片獨立並行的FPGA數據處理模塊，通過數據預處理、標記背景、解碼器解相與外差多頻相展開四個步驟完成運算；在相位解算計算過程中，需要用到CMOS傳感器多次拍攝的數據，因此將數據暫時存儲至緩存RAM中；完成相位解算之後，兩片獨立並行的FPGA數據處理模塊將解算結果同時輸入三維復現計算的FPGA數據處理模塊，進行立體匹配與三維復現計算；計算過程需要通過USB接ロ由計算機向FPGA傳輸相機標定結果、背景閾值設定參數，計算完成後將三維點雲數據用千兆網數據傳輸接ロ傳輸至計算機； 該基於CMOS的兩部左、右三維傳感器是兩臺相對位置固定且有共同視場的相機，其核心感光器件是CMOS晶片；該緩存RAM是與FPGA相連接的DDR2緩存晶片；該計算機是存儲顯示數據使用的計算機；該獨立並行的FPGA數據處理模塊與三維復現計算的FPGA數據處理模塊均是FPGA中的數據處理功能模塊，其算法程序已經實現下載到FPGA中；該千兆網數據傳輸接ロ是千兆網傳輸協議接ロ板，使用DM9000A協議晶片；該USB數據傳輸接ロ是USB數據接ロ部分使用CY7C68013A晶片作為編碼晶片。
全文摘要
一種基於CMOS的三維傳感器實時高速數據處理系統，它包括基於CMOS的兩部左、右三維傳感器、兩片獨立並行的FPGA數據處理模塊、緩存RAM、三維復現計算的FPGA數據處理模塊、千兆網數據傳輸接口、計算機和USB數據傳輸接口；採用FPGA作為系統數據處理核心模塊，具體通過數據預處理、標記背景、解碼器解相與外差多頻相展開這四個步驟完成運算，並通過接口模塊將處理後的數據傳輸至計算機。基於CMOS的傳感器讀出圖像數據是數位訊號，從而可以向FPGA直接傳送數據。FPGA與緩存協同運算，實現數據的實時高速處理。該系統具有同步計算、計算速度高的特點，可用於表面三維形貌的光學非接觸測量。
文檔編號G01B11/24GK102980527SQ20121039771
公開日2013年3月20日 申請日期2012年10月18日 優先權日2012年10月18日
發明者趙慧潔, 刁曉淳, 劉小康, 姜宏志 申請人:北京航空航天大學