基於粒子圖像測速的嵌入式圖像採集與處理系統及方法與流程

2024-01-24 14:12:15

本發明屬於圖像採集與處理系統領域，更具體地，涉及一種基於粒子圖像測速的嵌入式圖像採集與處理系統及方法。

背景技術：

在高速流場的研究中，粒子圖像測速作為一種測試手段，具有高精度、瞬態、無接觸、全場測量等特點，被廣泛運用於高速流場的測量。一般的粒子圖像測速系統，由粒子生成與投射系統、雷射照明系統、圖像採集系統和粒子圖像處理系統組成，在粒子圖像處理系統中，多採用pc進行圖像處理算法。由於超高速流場的速度隨時間不斷變化的特性，pc在處理流場圖像上，速度不夠快，也無法實現實時處理與控制，且高性能的pc機攜帶起來並不方便，無法適用於多種檢測場合。

目前在粒子圖像測速的圖像處理中，多採用光流法與互相關算法。互相關算法基本原理是通過計算相鄰圖像對的對應位置處的兩個微小圖像區域(查詢窗口)的互相關函數，通過對互相關結果的分析，得到圖像查詢窗口中各粒子的平均位移，因為相鄰兩幅圖片的時間間隔已知，可以求出粒子的實際速度矢量，該互相關算法利用fft(快速傅立葉變換)，匹配時由於選定的模板，可能導致精度不夠高的問題；此外，在目前粒子圖像測速中的圖像採集系統上所使用的相機曝光時間固定，而針對於高速流場的測量，需要幀率很高的相機，成本較高，對於速度實時變化的流場，固定曝光時間會影響流場測量的準確度。

基於上述缺陷和不足，本領域亟需對現有的粒子圖像測速處理系統及圖像處理方法做出進一步的改進，以獲得檢測方便、檢測精度高、準確度高的粒子圖像測速處理系統及處理方法。

技術實現要素：

針對現有技術的以上缺陷或改進需求，本發明提供了一種圖像採集與處理系統及方法，其中結合粒子圖像採集特點，相應設計了基於粒子圖像測速的嵌入式圖像採集與處理系統及方法，其通過改進的算法與硬體平臺結合，提高了互相關峰值檢測的準確度，提高了流場速度測量的精度，並將通過圖像採集時間間隔控制相機的曝光，有效地解決了高速非定常流場，速度測量不準確的問題。

為實現上述目的，按照本發明的一個方面，提出了一種基於粒子圖像測速的嵌入式圖像採集與處理系統，其特徵在於，包括分光相機和嵌入式圖像採集處理模塊，其中：

該分光相機包括依次設置的鏡頭、濾光片、半反射稜鏡和兩個ccd相機，該分光相機通過所述半反射稜鏡調節光路，將一束光分成兩路供所述ccd相機使用，所述ccd相機分時曝光採集粒子圖像，並將採集的粒子圖像傳送至所述嵌入式圖像採集處理模塊中；

該嵌入式圖像採集處理模塊包括圖像預處理子模塊和圖像採集時間預測子模塊，其中，所述圖像預處理子模塊用於完成所述粒子圖像的預處理，並將預處理後的粒子圖像發送至所述圖像採集時間預測子模塊中；所述圖像採集時間預測子模塊用於進行基於fft的改進的互相關算法計算所述預處理後的粒子圖像當前時刻的速度場，並對下一時刻的速度場進行預測，然後計算出預測速度場下的圖像採集時間間隔，並將時間間隔信號發送至所述分光相機中以實現所述兩個ccd相機曝光時間間隔的控制。

作為進一步優選的，所述基於fft的改進的互相關算法計算所述預處理後的粒子圖像當前時刻的速度場具體為：分別對當前時刻和下一時刻採集的粒子圖像的查詢窗口進行快速傅立葉變換，得到兩個查詢窗口的頻域函數，並計算當前時刻查詢窗口頻域函數與下一時刻查詢窗口頻域函數的共軛的乘積；採用零填充矩陣的方式對該乘積做2倍上採樣，再進行傅立葉反變換，得到互相關峰值位置(x0,y0)，並獲得窗口峰值位置再以該窗口峰值位置為中心獲取當前時刻和下一時刻採集的粒子圖像中的1.5×1.5鄰域內的像素窗口m；分別對當前時刻和下一時刻兩幅圖像中的像素窗口m求傅立葉變換，得到兩個窗口m的頻域函數，並計算當前時刻窗口m的頻域函數和下一時刻窗口m的頻域函數的共軛的乘積；採用零填充的方式對該乘積做k倍上採樣，再進行傅立葉反變換，得到互相關峰值位置(x1,y1)；根據所述(x0,y0)與(x1,y1)求得精定位位置：根據所述精定位位置求得當前時刻速度場。

作為進一步優選的，所述圖像預處理子模塊具體為fpga晶片，所述圖像採集時間預測子模塊具體為dsp晶片；所述ccd相機通過cameralink接口將圖像傳送到嵌入式圖像採集處理模塊中，實現最高5.4gbps的傳輸速率；所述嵌入式圖像採集處理模塊通過gpio接口實現對分光相機的控制。

作為進一步優選的，所述fpga晶片和dsp晶片通過srio接口實現高速通信，具體的，實現最高4路5gbps的傳輸速率。

作為進一步優選的，通過乙太網接口利用乙太網協議將圖像採集處理模塊的計算結果發送到pc；所述預處理為高斯濾波或中值濾波。

按照本發明的另一方面，提供了一種基於粒子圖像測速的嵌入式圖像採集與處理方法，其特徵在於，包括如下步驟：

(1)利用分光相機中的兩個ccd相機分時曝光採集粒子圖像，並將採集的粒子圖像傳送至嵌入式圖像採集處理模塊中；

(2)利用圖像預處理子模塊完成所述粒子圖像的預處理，並將預處理後的粒子圖像發送至圖像採集時間預測子模塊，該圖像採集時間預測子模塊用於進行基於fft的改進的互相關算法計算所述預處理後的粒子圖像當前時刻的速度場，並對下一時刻的速度場進行預測計算，然後計算出預測速度場下的圖像採集時間間隔，並將時間間隔信號發送至所述分光相機中以實現所述兩個ccd相機的曝光時間間隔的控制。

作為進一步優選的，所述基於fft的改進的互相關算法計算所述預處理後的粒子圖像當前時刻的速度場具體為：分別對當前時刻和下一時刻採集的粒子圖像的查詢窗口進行快速傅立葉變換，得到兩個查詢窗口的頻域函數，並計算當前時刻查詢窗口頻域函數與下一時刻查詢窗口頻域函數的共軛的乘積；採用零填充矩陣的方式對該乘積做2倍上採樣，再進行傅立葉反變換，得到互相關峰值位置(x0,y0)，並獲得窗口峰值位置再以該窗口峰值位置為中心獲取當前時刻和下一時刻採集的粒子圖像中的1.5×1.5鄰域內的像素窗口m；分別對當前時刻和下一時刻兩幅圖像中的像素窗口m求傅立葉變換，得到兩個窗口m的頻域函數，並計算當前時刻窗口m的頻域函數和下一時刻窗口m的頻域函數的共軛的乘積；採用零填充的方式對該乘積做k倍上採樣，再進行傅立葉反變換，得到互相關峰值(x1,y1)；根據所述(x0,y0)與(x1,y1)求得精定位位置：根據所述精定位位置求得當前時刻速度場。

作為進一步優選的，所述圖像預處理子模塊具體為fpga晶片，所述圖像採集時間預測子模塊具體為dsp晶片；所述分光相機包括依次設置的鏡頭、濾光片、半反射稜鏡和兩個ccd相機，該分光相機通過所述半反射稜鏡調節光路，將一束光分成兩路供所述ccd相機使用。

作為進一步優選的，所述ccd相機通過cameralink接口將圖像傳送到嵌入式圖像採集處理模塊中，實現最高5.4gbps的傳輸速率；所述嵌入式圖像採集處理模塊通過gpio接口實現對分光相機的控制；所述fpga晶片和dsp晶片通過srio接口實現高速通信，具體的，實現最高4路5gbps的傳輸速率。

作為進一步優選的，通過乙太網接口利用乙太網協議將圖像採集處理模塊的計算結果發送到pc；所述預處理為高斯濾波或中值濾波。

總體而言，通過本發明所構思的以上技術方案與現有技術相比，主要具備以下的技術優點：

1.本發明的互相關算法是基於fft改進的互相關算法，提高了互相關峰值檢測的準確度，提高了流場速度測量的精度，加快了算法處理時間，並且針對於粒子圖像測速的非定常流場，將計算出的採集兩幅圖像的間隔時間反饋給相機，控制相機曝光，以形成閉環控制，採用閉環的時間間隔反饋控制，不斷修正圖像採集時間間隔，提高粒子流場測速的準確性，有效地解決了高速非定常流場，速度測量不準確的問題。

2.本發明利用fpga並行處理的能力，快速處理簡單算法，利用dsp開發複雜算法的靈活性與實時性，實現更高精度的互相關算法；嵌入式的圖像採集處理板卡系統體積小，性能高，便於攜帶，適合各種場合的粒子流場測速。

附圖說明

圖1是本發明的基於粒子圖像測速的嵌入式圖像採集與處理系統的結構示意圖；

圖2是本發明的分光相機結構示意圖；

圖3是本發明的流場算法流程圖；

圖4是本發明的系統工作流程圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。此外，下面所描述的本發明各個實施方式中所涉及到的技術特徵只要彼此之間未構成衝突就可以相互組合。

如圖1所示，本發明實施例提供的一種基於粒子圖像測速的嵌入式圖像採集與處理系統，其包括分光相機和嵌入式圖像採集處理模塊，其中，如圖2所示，分光相機包括依次設置的鏡頭、濾光片、半反射稜鏡和兩個ccd相機，該分光相機通過半反射稜鏡調節光路，將一束光分成兩路供ccd相機使用，兩個ccd相機光路的長度相等，該ccd相機分時曝光採集粒子圖像，並將採集的粒子圖像傳送至嵌入式圖像採集處理模塊中；嵌入式圖像採集處理模塊包括圖像預處理子模塊和圖像採集時間預測子模塊，圖像預處理子模塊具體為fpga(現場可編程門陣列)晶片，圖像採集時間預測子模塊具體為dsp(數位訊號處理器)晶片，其中fpga晶片用於完成粒子圖像的預處理，並將預處理後的粒子圖像發送至dsp晶片，dsp晶片用於完成基於fft的改進的互相關算法與速度預測計算，具體的，dsp晶片用於進行基於fft的改進的互相關算法計算速度場，並對速度場進行預測計算，然後計算出預測速度場下的圖像採集時間間隔，並將時間間隔信號發送至分光相機中以實現兩個ccd相機的曝光時間間隔的控制。

進一步的，fpga晶片採用賽靈思(xilinx)公司的型號6vlx240tff1156(v6)的處理器，用於實現圖像預處理算法，fpga接收到圖像以後，如果圖像過大，就存到fpga使用的ddr3中，之後對圖像進行預處理操作，比如去除噪聲的高斯濾波，中值濾波等，fpga良好的並行處理計算功能可以極大地縮短預處理算法的時間；dsp採用德州儀器(ti)公司型號為tms320c6678(c6678)的處理器，該dsp為8核處理器，單核能達到1.25ghz的主頻，能夠靈活有效地處理複雜算法，並且操作具有實時性。

更為具體的，嵌入式圖像採集處理模塊還可以包括兩個cameralink接口、serialrapidio(srio)接口、乙太網接口、gpio(通用輸入/輸出)接口、時鐘模塊、電源模塊與存儲模塊，上述這些部件均安裝在機械外殼內。其中，cameralink接口用於接收ccd相機拍攝的圖像，最高可實現5.4gbps傳輸速率；srio接口用於fpga和dsp的高速通信，基於srio協議，最高能夠實現4路5gbps的傳輸速率；乙太網接口用於通過乙太網協議將圖像處理模塊的計算結果即粒子圖像的速度分布發送到pc；gpio接口用於實現嵌入式圖像採集處理模塊計算出流場結果後對分光相機進行反饋控制；時鐘模塊用於為整個板卡提供穩定的時鐘，保證各器件正常工作；電源模塊用於給不同的器件電路分配不同的電壓，為整個板卡提供穩定的電源；存儲模塊由2塊1gb的ddr3和兩塊64mb的flash組成，分別用於fpga與dsp的存儲訪問。本實施例中，乙太網口為通用千兆乙太網口，乙太網控制晶片為88e1111；時鐘模塊主要由晶振以及cdce62005晶片組成。

具體的，圖像採集處理板卡可以配置有jtag(聯合測試工作組)接口，jtag接口用於用戶把算法程序燒寫到fpga與dsp以實現算法流場與控制功能，便於用戶在fpga與dsp中對圖像預處理算法以及粒子圖像測速算法和流場速度預測算法進行二次開發，方便維護。本實施例中，所選的jtag為通用10pinjtag接口。

作為本發明的優選實施例，基於fft的改進的互相關算法計算速度場，如圖3所示，具體為：分別對相鄰時刻t1,t2採集的粒子圖像中的互相關查詢窗口進行離散傅立葉變換，計算其互相關函數；採用零填充矩陣的方式做2倍上採樣，再進行傅立葉反變換，得到互相關峰值的位置(x0,y0)；由於進行了2倍上採樣，則實際互相關位置的初步位移為x0/2,y0/2；再以位置為中心獲取1.5×1.5鄰域內的像素窗口m，分別對相鄰時刻兩幅圖像中的該像素窗口m求傅立葉變換，得到兩個頻域函數，計算當前時刻窗口m的頻域函數和後一時刻窗口m的頻域函數的共軛的乘積，採用零填充的方式對該乘積做k倍上採樣，再進行傅立葉反變換，得到互相關峰值x1,y1，即峰值位置為(x1,y1)；根據(x0,y0)與(x1,y1)求得精定位峰值位置：計算出互相關峰值最大位置就可以求得一幅圖片的速度矢量場分布圖，具體的求出精定位峰值位置之後，峰值位置表明互相關係數最大，即查詢窗口位移到了這裡，由於相鄰的兩幅粒子圖像時間間隔是已知的，根據位移除以時間等於速度，從而得到速度。對兩幅粒子圖像的相互對應的所有查詢窗口進行互相關運算，即可得到整幅圖像的速度場。

具體的，基於fft的改進的互相關算法主要包括以下步驟：

(1)對相鄰時刻採集的兩幅粒子圖像的互相關查詢窗口進行二維快速傅立葉變換(2d-fft)，並求互相關函數，其中t1時刻粒子圖像中的查詢窗口圖像灰度函數為f(x,y)，窗口尺寸為m×m，t2時刻粒子圖像中的查詢窗口圖像灰度函數為g(x,y)，窗口尺寸為m×m，m的大小一般取16，32或者64。

對窗口尺寸為m×m的函數f(x,y)(x,y代表空間域中的坐標)進行dft變換，可以得到其變換函數為f(u,v)：

其中：u、v是頻域的坐標，j為虛數單位。

對函數f(u,v)進行dft反變換，可以得到其變換函數為f(x,y)：

對於t1時刻粒子圖像中的查詢窗口圖像灰度函數f(x,y)和對於t2時刻粒子圖像中的查詢窗口圖像灰度函數g(x,y)之間的互相關函數rfg(x,y)為：

其中，m和n為待求參數，令f(u,v)和g(u,v)分別是f(x,y)和g(x,y)的傅立葉變換，則：

由上式可知互相關函數rfg(x,y)為f(u,v)g*(u,v)反傅立葉變換，*表示複數共軛；

(2)採用零填充的方法對f(u,v)g*(u,v)進行2倍上採樣，對上採樣的互相關函數進行傅立葉反變換，檢測傅立葉反變換後的互相關函數的峰值，得到(x0,y0)，然後獲得窗口峰值位置

(3)進一步精定位，以(2)中峰值位置為基準獲取1.5×1.5鄰域內的像素窗口矩陣m，m在兩幅圖像中的函數分別為f'(x,y)和g'(x,y)，對f'(x,y)和g'(x,y)求傅立葉變換，得到兩個頻域函數f'(u,v)和g'(u,v)，

g*'(u,v)為g'(u,v)的共軛，計算當前時刻窗口m的頻域函數f'(u,v)和後一時刻窗口m的頻域函數的共軛g*'(u,v)的乘積f'(u,v)g*'(u,v)，採用零填充的方式對f'(u,v)g*'(u,v)做k倍上採樣，再進行傅立葉反變換，得到互相關峰值(x1,y1)。

(4)根據峰值位置(x0,y0)，(x1,y1)計算得出查詢窗口1和查詢窗口2的峰值位置x，y為：

通過該步驟進行互相關算法，能夠提高峰值檢測精確度，在dsp上實現計算速度大幅提升，為粒子圖像測速帶來有益效果。

下面對採用本發明的嵌入式圖像採集與處理系統進行圖像採集與處理的具體過程進行詳細描述，包括如下步驟：

(1)利用分光相機中的兩個ccd相機分時曝光採集粒子圖像，並將採集的粒子圖像傳送至嵌入式圖像採集處理模塊中；

(2)利用fpga晶片完成所述粒子圖像的預處理，並將預處理後的粒子圖像發送至dsp晶片，該dsp晶片用於進行基於fft的改進的互相關算法計算速度場，並對速度場進行預測計算，然後計算出預測速度場下的圖像採集時間間隔，並將時間間隔信號發送至所述分光相機中以實現所述兩個ccd相機的曝光時間間隔的控制。

具體的，如圖4所示，分光相機中兩個獨立的ccd相機通過cameralink接口將採集的圖像傳輸給fpga；fpga接收到圖像以後，如果圖像過大，就存到fpga使用的ddr3中，之後對圖像進行預處理操作，比如去除噪聲的高斯濾波，中值濾波等；圖像預處理之後，fpga通過srio將圖像傳輸到dsp的ddr3中，srio最大可支持20gbps的傳輸速率；dsp對它的ddr3訪問並取出圖像，進行基於fft的改進的互相關算法操作，計算出互相關峰值最大位置，就可以求得一幅圖片的速度矢量場分布圖；計算出圖像速度場後，dsp通過卡爾曼濾波算法預測下一時刻的速度場，根據預測的速度場可找出速度標量最大值vw，由piv速度標量的最大值不能超過1/4查詢窗口m的邊長像素數量的原理計算出下一時刻兩幅圖像所需要的圖像採集時間間隔xw/vw，其中xw＝1/4×窗口m的邊長，例如窗口m的尺寸為16×16，則xw＝1/4×16＝4；然後將計算獲得的時間間隔通過圖像採集處理模塊上的gpio接口反饋給分光相機，並控制兩個ccd相機的分時曝光，使曝光時間間隔盡最大可能等於預測出的圖像採集間隔時間，以此完成閉環控制。此外，dsp進行圖像速度場的計算以及圖像速度場和採集時間間隔的預測都可以通過圖像採集處理板卡的乙太網接口傳送到pc，便於人機互動。

本領域的技術人員容易理解，以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。