一種基於FPGA的關節臂雷射掃描測頭雷射光條圖像採集系統的製作方法

2023-10-27 04:44:07 2

本發明涉及精密儀器檢測技術領域，特別涉及關節臂雷射掃描測頭雷射光條圖像採集系統。

背景技術：

關節臂坐標測量機是由多個臂和關節組成，通過末端臂上安裝的測頭構成測量系統，由人控制實現對零部件表面信息的測量。在測量過程中，安裝在關節上的角度編碼器會實時記錄關節臂轉動過的角度，結合關節臂的長度，就可以計算出被測物上測量點的三維坐標信息。

測頭作為關節臂雷射掃描測量機的一部分，主要分為接觸式和光學非接觸式兩種。在諸多的光學非接觸式視覺測量方法中，結構光三維視覺測量方法以其大量程、大視場、較高精度、光條圖像信息易於提取、實時性強及主動受控等特點，近年來在工業環境中得到了廣泛的應用，它主要用於實現較軟材料或一些特徵表面進行非接觸測量。

結構光三維視覺測量是基於雷射三角法測量原理，線雷射器將線雷射投射到被測物表面，在被測物表面形成由被測物表面形狀所調製的光條，然後通過攝像機拍攝得到光條的二維畸變圖像。當線雷射器與攝像機之間的相對位置一定時，由畸變的二維光條圖像坐標即可重現被測物的三維輪廓。根據光學投射器所投射的光束模式的不同，結構光模式又可以分為點結構光模式、線結構光模式、多線結構光模式、多線結構光模式及網格結構光模式等。

在諸多的結構光模式中，由線結構光方法開發的視覺傳感器配以一定的機械結構，能夠比較容易地獲得被測物體的三維信息，且精度適中，結構相對簡單，故在工業領域得到了廣泛應用。而且線結構光和單目相機的組合，還克服了雙目視覺測量方法中的立體匹配問題，在商品的加工製造、逆向工程、物體識別、文物保護和修復等方面有著廣闊的應用前景。

因此，需要一種能夠進一步縮小關節臂雷射掃描測頭的體積並使關節臂雷射掃描測頭的運算速度更快的高質量的雷射光條圖像的採集、存儲和處理的基於FPGA的關節臂雷射掃描測頭雷射光條圖像採集系統。

技術實現要素：

本發明的目的在於提供一種基於FPGA的關節臂雷射掃描測頭雷射光條圖像採集系統，包括以下步驟：

步驟一：採用FPGA+CMOS的設計方法進行圖像的採集；

步驟二：採用FPGA+DSP的設計方法進行圖像的處理；

步驟三：使用外擴雙口RAM在FPGA和DSP之間進行圖像數據高速緩存；

步驟四：最終將得到的三維點信息通過串行接口傳送給上位機。

所述步驟一採用FPGA+CMOS的設計方法，包括CMOS圖像傳感器和圖像採集控制部分，其中，所述CMOS圖像傳感器進行圖像採集，圖像採集控制部分採用了FPGA，即現場可編程門陣列，選用FPGA作為主控單元，使用Verilog語言對其進行邏輯化設計，所述FPGA不僅是採集部分的邏輯控制中心，而且具有完成部分簡單的圖像預處理功能，能有效的為圖像處理器減輕負擔，能大大減少電路板尺寸，增強了系統可靠性和靈活性。

具體步驟是：光入射到CMOS圖像傳感器的感光區域，光強信息被轉換為電荷量，通過驅動信號的控制，模擬信號被A/D採樣後轉換成數位訊號，CMOS圖像傳感器將接收到的光信號轉換為電信號，並進行模數轉換，將數位訊號傳送給FPGA，(FPGA為圖像傳感器提供驅動信號，驅動圖像傳感器，獲取圖像數據並存儲到存儲器)FPGA接收到這些信號後轉存入儲存模塊，得到一幀已傳完的信號後，FPGA向圖像處理器DSP傳送採集完畢信號。

其中，CMOS圖像傳感器的時序和圖像成像原理如下:

在FPGA內部，產生OV5640 CMOS圖像傳感器所需要的上電時序，CMOS圖像傳感器驅動模塊通過模擬I2C總線時序，對OV5640 CMOS圖像傳感器寄存器值進行初始化配置，CMOS圖像傳感器初始化完成後，利用光電效應將接收到的光信號轉化為電信號，經過A/D轉換後，以數位訊號形式將圖像信號傳送給FPGA。

所述步驟二採用FPGA+DSP的設計方法，包括DSP圖像處理器，其中DSP圖像處理器接收到圖像採集部分的傳送採集完畢信號後，從儲存模塊讀取圖像信息，對圖像進行處理，最終將處理結果上傳給上位機。

其中，在DSP中，對採集到的圖像進行處理包括以下步驟：攝像機的標定，光條中心的提取和解算。其中攝像機的標定使用的方法是張正友的方法，使用的光條中心提取算法是Steger算法，解算是由攝像機模型和光平面模型聯立方程組可以得到系統的解算模型。

所述步驟三，FPGA和DSP之間圖像數據傳輸是通過使用外擴雙口RAM做數據高速緩存，其中雙口RAM即共享式多埠存儲器，即在一個SRAM存儲器上具有兩套完全獨立的數據線、地址線和讀寫控制線，並允許兩個獨立的系統同時對該存儲器進行隨機性的訪問。具體流程是：圖像採集模塊控制CMOS，以25幀/s的速率向FPGA輸送圖像數據，通過FPGA的控制將圖像數據緩存在片外的SDRAM(幀存模塊)中，FPGA存儲完一幀圖像後，FPGA通過邏輯控制打開數據高速緩衝通道，使圖像數據從幀存模塊移至高速緩衝模塊中，DSP再讀取雙口RAM中的圖像數據，進行圖像處理。這種緩存方式既能滿足系統實時圖像處理的需要，又能夠使系統有較小的體積、較低的功耗和較高的性能。

本發明的基本原理是：在雷射三角法的基礎上，採用線結構光和單目相機組合，再加上一定的機械結構和處理電路，最終得到被測物的三維點坐標。具體實現功能如下：線雷射器將雷射打到靶標平面，經靶標平面的反射進入到攝像機中形成二維圖像，通過對二維圖像進行光條中心提取進而確定光平面方程，由相機內參數和光平面方程，可以計算得出圖像上的點的二維坐標和相機坐標系下的三維點的坐標的轉換關係。

與已有技術相比，本發明採用FPGA和DSP組合來進行圖像採集和處理，替換了PC的工作，其中FPGA不僅是採集部分的邏輯控制中心，而且具有完成部分簡單的圖像預處理功能，其中FPGA和DSP之間圖像數據傳輸是通過使用外擴雙口RAM做數據高速緩存，既能滿足系統實時圖像處理的需要，又能夠使系統有較小的體積、較低的功耗和較高的性能，從而實現進一步縮小關節臂雷射掃描測頭的體積並使關節臂雷射掃描測頭的運算速度更快的技術效果。

應當理解，前述大體的描述和後續詳盡的描述均為示例性說明和解釋，並不應當用作對本發明所要求保護內容的限制。

附圖說明

參考隨附的附圖，本發明更多的目的、功能和優點將通過本發明實施方式的如下描述得以闡明，其中：

圖1示意性示出雷射三角法的工作結構原理圖。

圖2示意性示出本發明的工作系統整體結構圖。

具體實施方式

通過參考示範性實施例，本發明的目的和功能以及用於實現這些目的和功能的方法將得以闡明。然而，本發明並不受限於以下所公開的示範性實施例；可以通過不同形式來對其加以實現。說明書的實質僅僅是幫助相關領域技術人員綜合理解本發明的具體細節。

在下文中，將參考附圖描述本發明的實施例。在附圖中，相同的附圖標記代表相同或類似的部件，或者相同或類似的步驟。

本發明在雷射三角法的基礎上，採用線結構光和單目相機組合，再加上一定的機械結構和處理電路，最終得到被測物的三維點坐標。線結構光視覺測量方法利用的是雷射三角法，雷射三角法的工作結構原理是：在進行測量時，相機和雷射器的相對位置是固定不變的，一旦兩者的相對位置發生變化，就要重新進行相機標定，相機標定是為了得到相機的內外參數。如圖1所示為本發明中雷射三角法工作結構圖，線雷射器將雷射打到靶標平面，經靶標平面的反射進入到攝像機中形成二維圖像，通過對二維圖像進行光條中心提取進而確定光平面方程，由相機內參數和光平面方程，可以計算得出圖像上的點的二維坐標和相機坐標系下的三維點的坐標的轉換關係。

如圖2所示為本發明工作整體結構圖。本發明的圖像採集系統包括圖像採集，圖像緩存、圖像處理和頂層控制模塊。圖中標號為1、2、3的實線方框內分別為圖像採集、圖像緩存、圖像處理三個部分，中間虛線框內是FPGA的內部邏輯設計部分。其中頂層控制模塊將圖像採集、圖像緩存和圖像顯示這三部分連接起來。

本發明的圖像採集工作，採用FPGA+CMOS的設計方法，包括CMOS圖像傳感器和圖像採集控制部分，其中，所述CMOS圖像傳感器進行圖像採集，圖像採集控制部分採用了FPGA，即現場可編程門陣列，選用FPGA作為主控單元，不僅是採集部分的邏輯控制中心，而且完成部分簡單的圖像預處理功能，能有效的為圖像處理器減輕負擔，能大大減少電路板尺寸，增強了系統可靠性和靈活性。

具體步驟是：光入射到CMOS圖像傳感器的感光區域，光強信息被轉換為電荷量，通過驅動信號的控制，模擬信號被A/D採樣後轉換成數位訊號，即CMOS圖像傳感器將接收到的光信號轉換為電信號，並進行模數轉換，將數位訊號傳送給FPGA，(FPGA為圖像傳感器提供驅動信號，驅動圖像傳感器，獲取圖像數據並存儲到存儲器)FPGA接收到這些信號後轉存入儲存模塊，得到一幀已傳完的信號後，FPGA向圖像處理器DSP傳送採集完畢信號。

進一步地，CMOS圖像傳感器的時序和圖像成像原理如下:

在FPGA內部，產生OV5640 CMOS圖像傳感器所需要的上電時序，CMOS圖像傳感器驅動模塊通過模擬I2C總線時序，對OV5640 CMOS圖像傳感器寄存器值進行初始化配置，CMOS圖像傳感器初始化完成後，利用光電效應將接收到的光信號轉化為電信號，經過A/D轉換後，以數位訊號形式將圖像信號傳送給FPGA。

本發明的圖像處理工作，採用FPGA+DSP的設計方法，包括DSP圖像處理器，其中DSP圖像處理器接收到圖像採集部分的傳送採集完畢信號後，從儲存模塊讀取圖像信息，對圖像進行處理。

具體地，如圖2所示，FPGA接收到數位訊號後，對圖像信號進行初步處理，再將經過初步處理的圖像數據傳送給WFIFO(FIFO，先進先出隊列)進行緩存，在寫SDRAM使能控制信號的控制下，將圖像數據傳輸給外部SDRAM晶片進行緩存。當一幀圖像數據緩存完成後，FPGA控制SDRAM讀/寫狀態信號進行電平轉換，將SDRAM讀/寫狀態改為讀，開始讀取已經緩存在SDRAM中的圖像數據，傳送給RFIFO，圖像處理模塊產生控制信號，將RFIFO內的圖像數據讀取出來，並進行圖像處理，最後將處理結果傳送給計算機。

進一步地，FPGA和DSP之間圖像數據傳輸是通過使用外擴雙口RAM做數據高速緩存，具體流程是：圖像採集模塊控制CMOS，以25幀/s的速率向FPGA輸送圖像數據，通過FPGA的控制將圖像數據緩存在片外的SDRAM(幀存)中，FPGA存儲完一幀圖像後，FPGA通過邏輯控制打開數據高速緩衝通道，使圖像數據從幀存模塊移至高速緩衝模塊中，DSP再讀取雙口RAM中的圖像數據，進行圖像處理。這種緩存方式既能滿足系統實時圖像處理的需要，又能夠使系統有較小的體積、較低的功耗和較高的性能。

進一步地，在DSP中，進行相機標定，雷射光條中心提取和解算的工作，其中，攝像機標定使用的是張正友的方法，該方法是基於2D平面靶標的攝像機標定方法，假設標定用平面靶標在世界坐標系中，通過線性模型分析計算得出攝像機參數的優化解，然後用基於最大似然法進行非線性求解，在這個過程中標定出考慮鏡頭畸變的目標函數，最後求出所需的攝像機內外參數。這種方法既具有較好的魯棒性，又不需要昂貴的精製標定塊，很有實用性。

其中，使用的光條中心提取算法是Steger算法，利用Hessian矩陣得到圖像中光條紋的法線方向，在光條圖像中，Hessian矩陣表示為

圖像中點的法線方向由該點的Hessian矩陣最大特徵值的絕對值對應的特徵向量給出，通過在法線方向上求極值點得到光條紋中心的亞像素位置。公式中g(x,y)是二維高斯卷積模板，z(x,y)是以圖像點為中心，大小與二維高斯卷積模板相等的圖像矩陣。該方法具有精度高，穩定性好等優點。

其中，解算由攝像機模型和光平面模型聯立方程組可以得到系統的解算模型。攝像機模型如式(2)

光平面方程如式(3)

Ax+By+Cz+1＝0 (3)

兩式聯立得到的結算模型為

本發明提供一種能夠進一步縮小關節臂雷射掃描測頭的體積並使關節臂雷射掃描測頭的運算速度更快的高質量的雷射光條圖像的採集、存儲和處理的關節臂雷射掃描測頭雷射光條圖像採集系統，與已有技術相比，本發明的有益效果體現在：

(1)採用FPGA和DSP組合來進行圖像採集和處理，替換了PC的工作，使整個複雜的處理系統體積變小、成本降低，但卻使用靈活、功耗小、性能高。

(2)FPGA和DSP之間圖像數據傳輸是通過使用外擴雙口RAM做數據高速緩存，既能滿足系統實時圖像處理的需要，又能夠使系統有較小的體積、較低的功耗和較高的性能。

結合這裡披露的本發明的說明和實踐，本發明的其他實施例對於本領域技術人員都是易於想到和理解的。說明和實施例僅被認為是示例性的，本發明的真正範圍和主旨均由權利要求所限定。