一種三通道cmos同步偏振成像系統的製作方法
2023-12-09 16:58:16 3
一種三通道cmos同步偏振成像系統的製作方法
【專利摘要】本發明公開一種三通道CMOS同步偏振成像系統，屬於光電成像探測【技術領域】。系統包括：偏振光學系統、三通道CMOS圖像採集模塊、DSP圖像處理器模塊、圖像配準算法。偏振光學系統由線偏振片和電動三可變鏡頭及其驅動模塊構成。三個採集通道的線偏振的安裝方向為0°、45°和90°。三通道CMOS圖像採集模塊由三路CMOS圖像傳感器構成，完成最大解析度下的圖像採集，可適用於靜態圖像捕捉和連續視頻採集。DSP圖像處理器模塊可同時處理多路數字視頻流。圖像配準算法包括特徵點檢測、特徵點匹配、變換模型估計、圖像的變換和重採。本發明能較好的檢測出水面示蹤粒子，為大尺度粒子圖像測速提供有效的粒子檢測效果。
【專利說明】一種三通道CMOS同步偏振成像系統
【技術領域】
[0001]本發明涉及一種同步偏振成像系統，尤其涉及一種三通道CMOS同步偏振成像系統，屬於光電成像探測領域。
【背景技術】
[0002]隨著偏振成像理論的發展，偏振成像探測技術已成為現代測量技術的重要探測手段。與自然物體相比，人造物體的輪廓和表面有著明顯較大的偏振度，利用偏振度信息可以提高圖像中人造物體的對比度。根據偏振測量理論可知，只要測出3個不同角度的線偏振光的光強，就可以解出偏振光的偏振度和偏振角。目前的大尺度粒子圖像測速大都採用傳統的目標檢測系統來檢測水面示蹤粒子。通過採集水面光強信息成像，利用目標與背景的光強差異檢測目標。然而，在實際的水面圖像獲取過程中，由於可見光在大氣或水中傳播時，將會受到介質中粒子的散射和反射，使傳統的目標檢測系統獲取的圖像存在圖像模糊，對比度低，信息丟失嚴重等問題，導致目標檢測存在較大的難度。同時，在獲取水面圖像時，由於水面發生鏡面反射，導致發生鏡面反射的圖像區域出現高亮的現象，在進行示蹤粒子檢測時，無法有效將示蹤粒子檢測出來。
[0003]本發明提出的一種三通道CMOS同步偏振成像系統，與傳統的光強成像相比，本方法能較好的檢測出水面示蹤粒子，為大尺度粒子圖像測速提供有效的粒子檢測效果。
【發明內容】
[0004]發明目的:針對現有水面示蹤粒子的準確檢測與識別存在的不足，提供了一種三通道CMOS同步偏振成像系統。
[0005]本發明通過以下技術方案實現:
[0006]一種三通道CMOS同步偏振成像系統，由偏振光學系統、三通道CMOS圖像採集模塊、DSP圖像處理器模塊、圖像配準算法組成，其特徵在於:偏振光學系統獲取三路不同方向的水面偏振圖像，即每一路CMOS前分別安裝一個0° ,45°和90°方向的線偏振片；DSP圖像處理器模塊控制三路CMOS進行同步曝光，從而獲取三路不同方向的水面偏振圖像。DSP處理器將獲取到的三個不同方向的偏振圖像通過網絡上傳給上位機。圖像配準算法在上位機上採用Matlab軟體來完成，利用改進的SIFT特徵匹配算法對三幅偏振圖像進行配準，通過解Stokes參數,獲得線偏振度圖像。
[0007]所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的偏振光學系統在TMS320DM642的控制下，由參數配置模塊實現對三個CMOS進行參數同步配置。通過電動三可變鏡頭在不同採集條件下實現對焦距、光圈和對焦的控制。在每一路採集通道的鏡頭前安裝三個不同方向的線偏振片，每一路CMOS前分別安裝一個O° ,45°和90°方向的線偏振片，用於CMOS獲取偏振圖像。
[0008]所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的DSP圖像處理器模塊採用TI公司生產的DSP晶片TMS320DM642作為本系統的處理器。TMS320DM642 (以下簡稱DM642)是TI公司於2003年左右推出的一款32位定點DSP晶片，主要面向數字媒體，屬於C6000系列的DSP晶片。DM642帶有三個雙通道數字視頻口 VP0、VP1、VP2，可同時處理多路數字視頻流，滿足本設計中要求的同時採集三路CMOS偏振圖像的需求。同時，DM642上帶有一個10/100M的乙太網接口 EMAC，該接口通過與物理層設備的無縫連接即可實現網絡傳輸。為了滿足圖像採集過程中大數據量存儲的需求，在DM642的CEO空間通過EMIFA接口外擴了 4片4MX16bits的SDRAM存儲器晶片，構成4MX16bits的SDRAM存儲空間，使系統的數據存儲空間達到32MB。由於DM642片內不帶FLASH或EEPR0M，系統掉電後DM642存儲器中的數據和程序將全部丟失，所以DM642的外部通常需要擴展FLASH存儲器，用於存儲程序和重要的數據。在DM642的CEl空間外擴了一片4MX8bits的FLASH存儲晶片作為程序存儲器，構成4MB的程序存儲空間。當DM642上電或復位時，自動從FLASH上加載程序代碼。 [0009]所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的圖像配準算法主要計算步驟有:特徵點檢測、特徵點匹配、變換模型估計、圖像的變換和重採樣。將45°方向獲取的偏振圖像的圖像坐標作為參考坐標，圖像配準的過程是指將0°方向和90°方向的偏振圖像的坐標糾正到參考圖像坐標上。
[0010]所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的圖像匹配算法採用提出了一種改進的SIFT特徵匹配算法對虛假的匹配特徵點對進行了排除，因而能夠有效的減少錯誤的匹配特徵點對。同時由於排除了不存在與之匹配的特徵點，使得集合ptmp中的特徵點數少於集合p中的特徵點數，大大減少了對128維特徵描述子求歐式距離比的工作量，有效的提高了系統的運行效率。設參考圖像中的所有特徵點的集合為P={Pi, P2,…，pj ,特徵點Pi的像素坐標為(XiJi)15設待配準圖像中所有特徵點的集合為Q=Iq1, q2,…，qn},特徵點(x』，y』 )的像素坐標為(X」，y」)，計算集合p中所有特徵點與集合Q中所有特徵點的坐標歐氏距離:
[0011]E =小X, — X.)~ — (y.— V.)(a)
[0012]設足一個固定的閾值disRatio,當E滿足如下關係時
[0013]E < disRatio (b)
[0014]則認為參考圖像中的特徵點Pi在待配準圖像中存在與之匹配的特徵點，否則認為待配準圖像中不存在與P1-配的特徵點。將集合P中所有滿足公式(b)的特徵點保存在集合ptmp中，然後利用集合ptmp中的特徵點與集合Q中的特徵點，進行特徵匹配。
[0015]在求得了參考圖像和待配準圖像中的匹配特徵點對後，根據這些特徵點對來估計變換模型。變換模型實際上表示的是從參考圖像到待配準圖像的一個映射關係。
[0016]常用變換模型有剛體變換、仿射變換、投影變換和非線性變換等。本文採用仿射變換模型來表示參考圖像和待配準圖像之間的變換關係。仿射變換模型可用如下式來表示:
r n (x) f m卜，),、
[0017], =+(。)
{)) 1?% 講4 八少'J
[0018]其中，(X，y)和(x』，y』 )是一對特徵點對，(x, y)是特徵點在參考圖像中的坐標，(x』，y』 )是特徵點在待配準圖像中的坐標。mQ、m2、m3、m4、m5是仿射變換模型參數。變換模型的估計即是求解該6個參數的值。本發明採用的是雙線性插值法對圖像進行變換和重採樣。雙線性插值法假定內插點P周圍四個點圍城的區域內的灰度變化是線性的，從而可以用線性內插方法，根據四個近鄰像素的灰度值，計算出內插點P的灰度值即可。
[0019]本發明採用上述技術方案，具有以下有益效果:
[0020]1、抗幹擾能力強。利用偏振度圖像能夠較好的提高目標與背景的對比度，從而有效抑制複雜的水面光學噪聲，從而提高水流示蹤物運動矢量估計的準確性。利用配準後的三個不同方向的水面偏振圖像所求得的線偏振度圖像較普通的光強度圖像能夠更好的檢測出水面示蹤粒子，為大尺度粒子圖像測速提供了良好的目標檢測結果
[0021]2、圖像配準精度高。本文提出的同步參數配置方法能夠實現三路不同方向的偏振圖像的同步獲取，同時本文提出的改進的SIFT特徵匹配算法能夠提供良好的圖像配準效果O
[0022]3、系統靈活高效。本文採用同步參數配置曝光的方法來實現三路CMOS同步曝光，，同步脈衝發生器、參數鎖存與計數器和串行讀寫模塊均有由CPLD來實現，串行讀寫模塊在同步脈衝發生器產生的脈衝控制下，通過I2C總線將配置參數寫入CMOS的內部寄存器中，完成對CMOS採集時的解析度、曝光時間、色彩增益等的配置。
【專利附圖】
【附圖說明】
[0023]圖1是本發明的硬體系統結構框圖；
[0024]圖2是本發明涉及的三路CMOS圖像傳感器模塊的原理圖。
【具體實施方式】
[0025]下面結合具體實施例，進一步闡明本發明，應理解這些實施例僅用於說明本發明而不用於限制本發明的範圍，在閱讀了本發明之後，本領域技術人員對本發明的各種等價形式的修改均落於本申請所附權利要求所限定的範圍。
[0026]本發明的硬體系統結構框圖如圖1所示。光學系統由線偏振片和電動三可變鏡頭及其驅動模塊構成。線偏振片安裝在電動三可變鏡頭前，以其中一個採集通道的線偏振的安裝方向為0°參考方向，另外兩個採集通道的線偏振片的安裝角度分別為45°和90°。由於每次採集的條件不盡相同，在不同的採集環境下，光線的強弱以及物體距離採集系統的遠近會對採集系統的拍攝效果造成一定的影響，為了使採集的圖像達到較好的效果，需要對採集系統的焦距、光圈和對焦進行調節。本系統由三路CMOS和一個DSP處理器構成，在每一路CMOS前分別安裝一個0° ,45°和90°方向的線偏振片，由DSP處理器來控制三路CMOS進行同步曝光，從而獲取三路不同方向的水面偏振圖像。DSP處理器將獲取到的三個不同方向的偏振圖像通過網絡上傳給上位機。由於從三路CMOS中獲取的三路偏振圖像存在像元不對準的情況，如果直接用該三路偏振圖像來求解Stokes參數圖像，會產生虛假信息，從而導致線偏振度圖像中存在虛假目標，不利於水面示蹤粒子的檢測，因此，需要對該三路偏振圖像進行圖像配準。圖像配準在上位機上採用Matlab軟體來完成，首先將獲取的彩色的偏振圖像轉換成灰度圖，利用本文所改進的SIFT特徵匹配算法對三幅偏振圖像進行配準，利用配準後的偏振圖像進行信息處理。DSP處理器採用TMS320DM642，它的VPOD[9:0]、VPlD[9:0]、VP2D[9:0]分別接圖像採集模塊的 MT9T001、MT9T001、MT9T001。TMS320DM642 的 GP10、EMIFA、EMAC 分別接 CPLD、FLASH、SDRAM、RTL8201 口。電源模塊可以選取12V，5V，3.3V，1.4V。在DM642的控制下，由參數配置模塊實現對三個CMOS進行參數同步配置。通過電動三可變鏡頭在不同採集條件下實現對焦距、光圈和對焦的控制。在每一路採集通道的鏡頭前安裝三個不同方向的線偏振片，用於CMOS獲取偏振圖像。在獲取三個不同方向的偏振圖像後，通過DM642的網口，將三個偏振圖像發送給上位機，通過上位機實現三個偏振圖像的配準。然後在上位機中根據Stokes理論求解線偏振度圖像。根據的求得的線偏振度圖像可以進行後續的目標識別。
[0027] 本發明的三路CMOS圖像傳感器模塊的原理圖如圖2所示。圖像採集模塊由三路CMOS圖像傳感器構成。CMOS圖像傳感器採用Micron公司生產的300萬像素的CMOS圖像傳感器MT9T001，該CMOS晶片擁有開創性的Micron低噪音DigitalClarityTM技術，無需增加電源需求，即可在信噪比和弱光靈敏度的基礎上，創造出與CCD畫質相媲美的高解析度優質影像，並在最大解析度下可實現12fps的連續採集，既適用於靜態圖像捕捉又適用於連續視頻採集。DM642通過I2C接口對MT9T001內部寄存器進行設置，從而實現對幀大小、曝光時間以及色彩增益等的控制。MT9T001的數據輸出口為lObits，通過將DM642的視頻口設置為IObits的RAW數據採集方式即可實現與MT9T001的無縫連接，使用方便。三路CMOS圖像傳感器MT9T001的數據口分別連接DM642的視頻輸入口 VP0、VP1、VP2的低10位，採集幀大小設置為1280X1024。圖像採集模塊的電路原理圖如圖2所示，圖中只畫出了一路CMOS與DM642的連接原理圖，其他兩路CMOS的設計與之相似。DM642首先通過GPIO 口將MT9T001的配置參數及參數的個數寫入到參數鎖存與計數器模塊中，參數鎖存與計數器模塊通過並行總線，將配置參數同時寫入到三個串行讀寫模塊中。串行讀寫模塊在同步脈衝發生器產生的脈衝控制下，通過I2C總線將配置參數寫入CMOS的內部寄存器中，完成對CMOS採集時的解析度、曝光時間、色彩增益等的配置。其次，在對CMOS的採集參數配置完後，DM642通過GPIO 口將視頻口的使能信息寫入到參數鎖存與計數器模塊中，參數鎖存與計數器通過並行總線將該使能信息寫入到串行讀寫模塊中，串行讀寫模塊在同步脈衝發生器產生的脈衝控制下，將視頻口使能信息同步寫入到三個CMOS的寄存器中，實現三個CMOS的同步曝光。DM642的三個視頻口在CMOS的幀、行同步信號的控制下讀取CMOS中的圖像數據。
【權利要求】
1.一種三通道CMOS同步偏振成像系統，由偏振光學系統、三通道CMOS圖像採集模塊、DSP圖像處理器模塊、圖像配準算法組成，其特徵在於:偏振光學系統獲取三路不同方向的水面偏振圖像，即每一路CMOS前分別安裝一個0°、45°和90°方向的線偏振片；DSP圖像處理器模塊控制三路CMOS進行同步曝光，從而獲取三路不同方向的水面偏振；圖像配準算法在上位機上採用Matlab軟體來完成，利用改進的SIFT特徵匹配算法對三幅偏振圖像進行配準，通過解Stokes參數，獲得線偏振度圖像。
2.根據權利要求1所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的偏振光學系統在TMS320DM642的控制下，由參數配置模塊實現對三個CMOS進行參數同步配置；通過電動三可變鏡頭在不同採集條件下實現對焦距、光圈和對焦的控制；在每一路採集通道的鏡頭前安裝三個不同方向的線偏振片，每一路CMOS前分別安裝一個O。、45°和90°方向的線偏振片，用於CMOS獲取偏振圖像。
3.根據權利要求1所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的DSP圖像處理器模塊採用TI公司生產的DSP晶片TMS320DM642作為本系統的處理器；TMS320DM642(以下簡稱DM642)是TI公司於2003年左右推出的一款32位定點DSP晶片，主要面向數字媒體，屬於C6000系列的DSP晶片；DM642帶有三個雙通道數字視頻口 VP0、VP1、VP2，可同時處理多路數字視頻流，滿足本設計中要求的同時採集三路CMOS偏振圖像的需求；同時，DM642上帶有一個10/100M的乙太網接口 EMAC，該接口通過與物理層設備的無縫連接即可實現網絡傳輸；為了滿足圖像採集過程中大數據量存儲的需求，在DM642的CEO空間通過EMIFA接口外擴了 4片4MX16bits的SDRAM存儲器晶片，構成4MX 16bits的SDRAM存儲空間，使系統的數據存儲空間達到32MB ;由於DM642片內不帶FLASH或EEPR0M，系統掉電後DM642存儲器中的數據和程序將全部丟失，所以DM642的外部通常需要擴展FLASH存儲器，用於存儲程序和重要的數據；在011642的CEl空間外擴了一片4MX8bits的FLASH存儲晶片作為程序存儲器，構成4MB的程序存儲空間；當DM642上電或復位時，自動從FLASH上加載程序代碼。
4.根據權利要求1所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的圖像配準算法的主要計算步驟有:特徵點檢測、特徵點匹配、變換模型估計、圖像的變換和重採樣；將45°方向獲取的偏振圖像的圖像坐標作為參考坐標，圖像配準的過程是指將0°方向和90°方向的偏振圖像的坐標糾正到參考圖像坐標上。
5.根據權利要求1所述的一種三通道CMOS同步偏振成像系統，其特徵在於:所述的圖像匹配算法採用提出了一種改進的SIFT特徵匹配算法對虛假的匹配特徵點對進行了排除，因而能夠有效的減少錯誤的匹配特徵點對；同時由於排除了與之不匹配的特徵點，使得集合ptmp中的特徵點數少於集合p中的特徵點數，大大減少了對128維特徵描述子求歐式距離比的工作量，有效的提高了系統的運行效率。
【文檔編號】G01P5/20GK103604945SQ201310513673
【公開日】2014年2月26日 申請日期:2013年10月25日 優先權日:2013年10月25日
【發明者】張振, 陳婷, 顧慧, 邱軍林, 王鑫, 高建強 申請人:河海大學