超解析度重建和自動配準的工業ccd彩色成像系統的製作方法
2023-04-30 01:11:11
專利名稱：超解析度重建和自動配準的工業ccd彩色成像系統的製作方法
技術領域：
本發明是一種通過採用數位訊號處理技術突破現有硬體設備的局限性，為 工業視頻監視監測提供高解析度的成像系統。屬於視頻監視、圖像採集和數字 信號處理領域。
二背景技術：
在工業視頻監視監測應用中，高解析度圖像往往可以提供所需要的重要細 節信息。為了獲得高解析度的圖像，人們首先想到是提高硬體設備的性能。從 20世紀七十年代開始， 一批高精度的成像設備(CCD)和CMOS圖像傳感器被投入 使用來獲取高解析度的數字圖像，它們分別採用不同的硬體技術改變現有設備 的性能。一種是採用增加傳感器的數量來縮小像素的尺寸以便增加像素的密度。 另一種是增大集成電路的尺寸以獲得更多的圖像信息。還有可以增加成像系統 的焦距來提高解析度。
但是通過這三種方法得到的高解析度圖像不僅價格昂貴，解析度的提高倍 數仍然受到硬體材料本身固有的物理特性的限制，加之現有的製造業技術基本 已經可以做到發揮現有材料的最大物理特性。因此想要單純依靠硬體的改進來 提高圖像的解析度就需要更加高昂的投入，而且提高的尺度也非常有限。綜上 所述採用提高硬體性能來獲得高解析度圖像的方法不能滿足未來發展的需要 的。
目前， 一種採用信號處理技術來獲得高解析度的圖像的方法已經成為這個 領域研究的熱點。這類方法主要思想是利用原有成像設備，採用信號處理技術 對採集到的低解析度圖像進行軟體處理得到解析度更高的圖像。其中信號處理 技術的最大優點有兩點； 一個是低成本；二是該技術可以利用現有的普通成像 設備。目前針對這個問題已經湧現出許多成熟的算法，而且伴隨這類處理方法的 一系列問題也進行了研究。
現有採用軟體算法獲得高解析度圖像的方法都是依靠高性能通用pc機通
過添加一定的處理程序來完成圖像的配準和重建操作的。獲取高解析度圖像的
軟方法主要有兩大類 一類是源於圖像復原理論，針對多幅低解析度的序列圖 像，將成像過程中變形、模糊、降採樣和噪聲用降質矩陣表示，採用通用的反 問題求解法來求取高分辨圖像，如凸集投影(pocs方法)、迭代反向投影方法 (ibp方法)、非均勻插值法、統計復原方法、濾波方法等；另一類是源於信息 融合理論，針對兩類(或以上)不同類型的傳感器獲取的圖像，利用信息融合 的方法將兩類(或以上)傳感器關於同一目標或場景的圖像數據根據某個算法 進行適當的綜合處理，產生一幅新的、滿足某種需求的新圖像，而這一圖像是 單傳感器無法得到的。經融合處理後的圖像可以更全面、更精確地反映研究對 象，常用的圖像融合方法主要有平均法、主成分變換法(pca)、 ihs變換法、金 字塔分解法、小波變換法等。
考慮到本發明超解析度獲取是通過兩類不同類型的工業ccd傳感器獲取的 圖像來重建高解析度圖像，因此本發明中圖像的超解析度獲取採用dsp+fpga硬 件技術結合信息融合方法。在圖像超解析度融合重建中，參與運算的不只是一 幅圖像，而且重建算法的計算量較大，因此，單純採用pc機很難滿足工業應用 的要求，而且成本較高、實時性和靈活性也較差。
與目前採用攝像機+通用pc機的方法不同，本發明採用fpga可編程器件 +dsp數位訊號處理器件組成的嵌入式系統來代替通用pc機，並發明了高性能 的自動配準和超解析度重建的實時計算算法，很好地滿足了工業視頻監視監測 應用的要求，且具有成本低、實時性好及模塊化設計等優點，另外本文採用多 孔小波結合ihs的融合算法可以在提高圖像空間解析度的同時，保持原彩色圖 像的光譜特性。
申請人2001年主持和承擔的"綜合監視監控技術與系統集成理論研究及 其應用"獲江蘇省科技進步二等獎；2005年主持和承擔的"計算智能與圖像信息處理研究及其應用系統"獲中國電子學會電子信息科學技術三等獎；出版 專著2部，2001年《數字圖像的智能信息處理》由國防工業出版社出版，獨 著；
2004《多媒體監視監控技術與系統》由國防工業出版社出版；2006年《信 息與系統集成技術與應用》由科學出版社出版
近年來，申請人主持和承擔的"綜合監視監控技術與系統集成理論研究及 其應用"獲江蘇省科技進步二等獎；2005年主持和承擔的"計算智能與圖像 信息處理研究及其應用系統"獲中國電子學會電子信息科學技術三等獎；出版 專著2部，2001年《數字圖像的智能信息處理》由國防工業出版社出版，獨 著；2004《多媒體監視監控技術與系統》由國防工業出版社出版；2006年《信 息與系統集成技術與應用》由科學出版社出版，通過多年的研究和實踐，申請 人熟悉和掌握數字圖像智能處理和監視監控領域的研究難點和重點。
申請人不僅在時間上取得了一些成果，結合博士研究生的培養，特別注重 理論與方法的研究工作。近年來進行了；基於3S (GPS、 GIS、 RS)技術的多源、 多尺度信息融合理論、方法，拓展信息處理的應用領域。取得的主要成果有" 綜合監視監控技術與系統集成研究及其應用"，2001獲江蘇省科技進步二等獎， 國家發明專利多源監測數據信息融合處理方法。在研項目有國家自然科學 基金"基於3S的水環境監測信息融合與仿真研究(編號60374033)"、江蘇省 自然科學基"多尺度多源傳感器水環境信息融合研究(編號BK2002064)"。
開展了〃 "工業噪聲背景下的監控圖像預處理技術"、 〃極低碼率下工業視頻 圖像壓縮編碼技術"、"多媒體監視監控及數字視頻系統集成技術"等研究，提出 了十多種圖象處理的智能新方法，有些已在實際中得到應用。發表論文20多篇， 提出了十多種圖象處理的智能新方法，有些己在實際中得到應用。2001年〃計 算智能與圖像信息處理研究及其應用系統"項目通過江蘇省科技廳鑑定。申請 人提出了基於模糊積分的多源、多尺度遙感圖像的超解析度融合處理算法、基 於PCA結合小波變換的多源、多尺度遙感圖像的超解析度融合處理、自適應模糊密度賦值的小波變換遙感圖像融合算法和改進的基於小波變換的遙感圖像融
合方法。上述研究分別是國家自然科學基金、江蘇省自然科學基金、國家863 項目的資助下進行的，有的成果發表在國內外重要學術刊物上，部分成果應用 於一些橫向課題中。
發明內容
本發明設計了工業視頻監視監測中需要的高解析度工業CCD彩色成像系 統。該系統可以在現有的普通CCD攝像頭的基礎上，通過FPGA可編程器件+DSP 數位訊號處理器件組成的嵌入式系統，並配有高性能的自動配準和超解析度重 建的實時計算算法，以得到更高解析度彩色監視圖像。
本發明採用FPGA可編程器件來實現圖像信號的預處理，由於FPGA結構具 有實現數據的並行處理，來自XILINX系列的最新產品還集成嵌入式高性能乘法 器陣列，同時FPGA可配置為能夠並行處理的多個操作的乘法累加(MAC)單元 陣列，並且可以利用準確的MAC陣列編程來滿足計算要求。這些優點對完成圖 像處理非常理想的。FPGA性能的提高還帶來了實時性處理的優點，它的可編程 能力還提供了優異的靈活性，支持算法的升級。採用具有強大快速運算能力的 DSP數位訊號處理晶片來完成運算結構複雜的自動配準和超解析度重建運算。
本發明的技術解決方案首先通過兩個普通的CCD攝像頭採集圖像， 一個 是低解析度彩色攝像頭，另一個是高解析度黑白攝像頭。採用FPGA晶片和DSP 晶片組成的嵌入式系統完成自動配準與超解析度融合重建運算，FPGA晶片對視 頻圖像進行釆集和預處理，並控制視頻圖像信號處理過程。採用DSP晶片做圖 像配準與超解析度重建運算操作。在FPGA晶片上外接了 SRAM1存儲器晶片和 SRAM2兩個存儲器晶片，用來存儲採集的視頻圖像信息。這兩個存儲晶片分別 通過總線連接到FPGA和DSP晶片上，為FPGA和DSP晶片提供存儲功能。在DSP 晶片完成超解析度重建運算後，並通過數據總線傳送到乙太網通信接口上去， 最後本系統輸出高解析度的彩色圖像。
四
下面結合附圖，詳細說明本發明的實施例，其中
附圖1是本發明的硬體系統方框附圖2是本發明的工業CCD圖像的自動配準原理框附圖3是本發明的系統工作流程附圖4是本發明的模擬視頻信號轉換模塊電路圖。
附圖5， 6是本發明的SRAM電路附圖7是本發明的DSP與FLASH的連接五具體實施例方式
如圖1所示， 一種基於超解析度重建和自動配準的工業CCD彩色成像系統， 主要由由一個彩色CCD攝像頭和一個黑白CCD攝像頭實時採集不同低解析度的 視頻採集模塊，對模擬視頻數位化及制式轉換的模塊，基於FPGA的視頻預處 理和自動和重建參數配準模塊，以DSP為核心的的自動配準和重建算法實現模 塊，通過乙太網通信接口模塊組成。
所述的超解析度重建和自動配準的工業CCD彩色成像系統，特徵在於彩色 CCD攝像頭和黑白CCD攝像頭型號為低解析度，且具有不同的解析度，SAA7113
可編程視頻信號處理器進行圖像採集和格式轉換，對圖像信號放大，抗混疊濾 波等功能，FPGA晶片選用處理圖像信號的Virtex-II Pro系列的XC2VP100型 號晶片。SRAM存儲器型號為CY7C1049，作為緩存圖像數據。DSP晶片型號為 TMS320C6711A，具有2級高速緩存架構的浮點DSP,有標準的視頻輸入輸出接 口，運算能力(FOPS)為900MF0PS，數據程序空間為16M Bytes。該處理器完 成超解析度重建和自動配準成像算法。快閃記憶體存儲器型號為層29LV160D(2MX 8bit/16bit),用於存放DSP晶片要執行的程序，快閃記憶體晶片可由8位和16位兩 種選擇，採用3.3V供電，完全兼容JEDEC標準，支持系統編程。乙太網接口電 路型號為由型號為TRL8019AS乙太網通信接口晶片，該晶片採用全雙工工作方 式，內置16KB的SRAM用於收發緩衝，收發同時達到10Mb/s，具有32位I/O 地址埠。如圖2所示，是本發明的系統工作流程圖，也是本發明的核心，由圖像配 準模±央，IHS變換模塊、多孔小波融合重建模塊、反IHS變換模塊，MS是CCDa 獲取的彩色圖像。PAN是CCDb獲取的全色的高解析度圖像，I分量、H分量和S 分量分別是指MS中的亮度、色度和飽和度分量，新的I分量是經過超解析度重 建後的亮度信息，彩色HR是重建的高解析度彩色圖像。
所述的超解析度融合重建和自動配準的工業CCD彩色成像系統，特徵在於 圖2的全部流程由圖1中的FPGA和DSP共同完成，其中圖2中圖像配準模塊是
運動參數估計與配準操作，這裡採用基於最大互信息的運動估計算法。考慮到 CCD1的解析度是768X582 ， CCD2的解析度是1024 X 768，以CCD2的全色圖像 為參考圖像，將CCD1的RGB格式的彩色圖像MS配準到CCD2的全色圖像PAN。 如圖3所示，是本發明的自動配準原理框圖，配準原理如下 先對彩色圖像MS進行圖像變換，再與CCD2的全色圖像進行比較，通過聯 合歸一化直方圖得到對應的互信息。對於兩幅圖像A和B，其互信息定義如下
formula see original document page 9
式中丄圖像的灰度級數 ^》J)圖像A和B灰度聯合概率分布 P 為圖像A的邊緣概率分布 為圖像B的邊緣概率分布 其中&s (z'，力、& (!)和屍《 (0可以由聯合歸一化直方圖得到。 然後通過最優化搜索算法得到使互信息達到最大時的配準參數。圖像的配 準變換採用六參數的仿射變換。
formula see original document page 9
式中(x,y)表示參考圖像的坐標，本專利中的參考圖像指PAN圖像。 (x',力表示待配準圖像的坐標，本專利中的待配準圖像指MS圖像。且成功匹配的收斂速度較慢。擬採用分層搜索算法可以較好地解決此問題，具 體採用圖像的離散小波變換，然後逐層求解互信息最大化，最後完成全圖的配 準。
配準完成後，接著是IHS變換器，將RGB彩色圖像分解為I分量、H分量、 S分量，重建模塊首先對全色圖像與I分量圖像進行直方圖匹配，得到新的全 色圖像，然後將新的全色圖像與I分量圖像進行多孔小波融合算法，得到新的 強度分量圖像/'，最後經過反變換模塊，實現將/'分量、H分量、S分量進行反 IHS變換，得到重建的高解析度RGB圖像。
如圖4所示， 一種基於超解析度重建和自動配準的工業CCD彩色成像系統， 前端模擬電視信號轉換模塊電路，它是連接CCD攝像頭和FPGA的中間部分，對 照圖4，圖像信號通過CVBS1經電阻R42，電容C98接入到SAA7113H晶片的圖 像信號的輸入口 "4"腳，"5"腳和"6"腳通過電容C99， C100接地。"37"腳 和"8"腳直接接地；第"40"腳是該晶片的復位信號輸入端，連接SAA7113H RST。 第"18"腳VDDE1， "34"腳VDDE2， "29"腳VDDD1和"33"腳VDDDA接3. 3V的 電源位晶片供電；"10"腳到"42"腳對應的VDDA(TVDDA2通過電容組C101~C103， CT104、07與電感FERRITE-BEAK2組成的濾波器接地，"31"和"32"腳分別接 在晶振Yl的兩端，這兩個管腳對應的是XTAL和XTAL1管腳，它們為晶片提供 時鐘頻率信號。晶片上的XP00 XP07， RTSO， RTS1， TRCO， SCL， SDA等管腳是要 連接到FPGA的信號輸入埠上作為信號傳輸使用的，"17"管腳通過電阻R44 連接到FPGA上。VSSA(TVSSA2管腳，VSSDE1， VSSDE2和VSSD1， VSSDA管腳直接 接地。該晶片為FPGA提供YUV格式的數字圖像信號。
圖5和圖6是連接在FPGA上的兩片靜態RAM。電路圖相似，左側的A0 A18 埠是輸入數據存放的地址，因此是單向的。它們接在FPGA數據地址輸入埠， 第"9"腳VCC管腳連接在5V的電源上為RAM晶片提供電源，右邊1/00 1/07 作為數據輸入輸出埠接在FPGA或者DSP的數據接收端。
圖7中DSP晶片TMS320C6713的CEO連接到FLASHROM的CS端，W10腳AOE 連接到快閃記憶體的OE端，AWE端連接到快閃記憶體的WE端，EA2 EA21連接到A0 A19上，
10ED0 ED15與FLASHROM的D0 D15連接。快閃記憶體上的CS端和RY/BY端經過一個邏 輯或門連接到DSP的ARDY端。
本發明是採用傳統成像設備和FPGA+DSP組成的超解析度重系統為工業監 測提供低成本高解析度圖像。本發明採用兩個普通的工業CCD攝像頭獲取低分 便率圖像，通過電視信號轉換晶片SAA7113H和FPGA做預處理，然後利用DSP 晶片將處理好的圖像重建，最終得到一幅高解析度的彩色圖像。本發明的優點: 該發明設計避免了傳統圖像重建採用PC機處理速度慢和不靈活等缺點，充分利 用DSP和FPGA晶片組合的快速，靈巧等特點代替PC機，可以達到重建的實時 性要求，且具有易於擴展等優點。
權利要求
1.一種基於FPGA和DSP的超解析度重建和自動配準的工業CCD彩色成像系統，其特徵在於，該成像系統包括由一個彩色CCD攝像頭和一個黑白CCD攝像頭實時採集不同低解析度的視頻採集模塊[1]，用於採集不同解析度的模擬視頻信息；對模擬視頻數位化及制式轉換的模塊[2]，完成圖像採集和格式轉換，對圖像信號放大，抗混疊濾波等功能；基於FPGA的視頻預處理和自動和重建參數配準模塊[3]，完成視頻預處理和自動和重建參數配置；以DSP為核心的的自動配準和融合重建算法實現模塊[4]，完成圖像的自動配準、多孔小波結合IHS變換的融合重建算法和整個系統管理；乙太網通信接口模塊[5]，最終輸出和傳輸高解析度彩色視頻；軟體系統是本發明的核心，由圖像配準模塊，IHS變換模塊、多孔小波融合重建模塊、反IHS變換模塊，MS是CCD1獲取的彩色圖像，PAN是CCD2獲取的全色的高解析度圖像，I分量、H分量和S分量分別是指MS中的亮度、色度和飽和度分量，新的I分量是經過超解析度重建後的亮度信息，彩色HR是重建的高解析度彩色圖像，所述的超解析度重建和自動配準的工業CCD彩色成像系統，特徵在於圖2的全部流程由圖1中的FPGA和DSP共同完成，其中圖2中圖像配準模塊是運動參數估計與配準操作，這裡採用基於互相關的運動估計算法，考慮到CCD2的解析度是768×582，CCD2的解析度是1024×768，以CCD2的全色圖像為參考圖像，將CCD1的RGB格式的彩色圖像MS配準到CCD2的全色圖像PAN，接著是IHS變換器，將RGB彩色圖像分解為I分量、H分量、S分量，融合重建模塊首先對全色圖像與I分量圖像進行直方圖匹配，得到新的全色圖像，然後將新的全色圖像和I分量圖像進行基於多孔小波的融合算法，得到新的強度分量圖像I′。最後經過IHS反變換模塊，實現將分量、H分量最後經過反變換模塊，實現將I′分量、H分量、S分量進行反IHS變換，得到重建的高解析度RGB圖像。
2.根據權利要求1所屬的基於FPGA和DSP的超解析度重建和自動配準的工業 CCD彩色成像系統，其特徵在於本發明所屬的圖像自動配準首先對彩色圖像 MS進行圖像變換，再與CCD2的全色圖像進行比較，通過聯合歸一化直方圖得 到對應的互信息，再經Powell優化算法搜索得到互信息最大時的配準參數，最 後根據仿射變換完成圖像的配準。
全文摘要
本發明公開了一種基於FPGA和DSP的超解析度重建和自動配準的工業CCD彩色成像系統，該成像系統由硬體系統和軟體系統組成硬體系統包括由一個彩色CCD攝像頭和一個黑白CCD攝像頭實時採集不同解析度的視頻採集模塊，對模擬視頻數位化及制式轉換的模塊，基於FPGA的視頻預處理和自動和重建參數配準模塊，以DSP為核心的自動配準和多孔小波融合重建算法實現模塊，乙太網通信接口模塊組成；軟體系統主要是實現1路低解析度彩色視頻和1路高解析度黑白視頻通過自動配準，然後採用多孔小波結合IHS的融合算法重建為所需的高解析度彩色視頻的融合算法。
文檔編號G06T5/00GK101527033SQ20081002039
公開日2009年9月9日 申請日期2008年3月4日 優先權日2008年3月4日
發明者張學武, 徐立中, 李慶武, 李臣明, 敏 湯, 王慧斌, 石愛業, 黃鳳辰 申請人:河海大學