基於fpga和多核dsp的圖像傳輸及處理系統的製作方法
2023-12-01 00:43:16 1
專利名稱：基於fpga和多核dsp的圖像傳輸及處理系統的製作方法
技術領域：
本發明屬於圖像傳輸及處理技術領域，具體說是基於FPGA和多核DSP的圖像傳輸及處理系統。
背景技術：
隨著科技的發展，人們的生活水平也在不斷的提高，數字資訊時代的到來帶來了人類世界的「信息大爆炸"，使得數據量大增，與此同時，在視頻檢測、醫療影像等領域，越來越複雜的二維、三維甚至四維的圖像處理需要能夠運行複雜的算法的並行化系統，特別在視頻圖像處理領域，通常需要在極短的時間完成信號處理分析，此時對處理系統各方面的性能的要求是非常高的。相對於單核DSP、FPGA(Field Programmable Gate Array)或ASIC 架構，基於FPGA和DSP協同作業的方式具有實時性強、靈活性高和可靠性高等優勢，因而在最近幾年成為高速圖像傳輸與處理系統的主流設計方式。目前有一些基於這種架構的成功案例，但都是基於FPGA和單核DSP架構。唐垚等人設計的高解析度圖像採集與壓縮系統中，FPGA完成圖像的採集及兩塊SDRAM (幀存)控制權的管理，採集到的圖像通過FPGA的控制交替地存入到兩塊SDRAM中，然後由DSP通過EMIF擴展的形式來讀取SDRAM中的數據，再進行圖像的處理。該系統顯得比較整潔，但在這種結構中，FPGA和DSP都要訪問複雜且速度較慢的SDRAM，並且SDRAM在移交給DSP時候，還應該由DSP提供其時鐘信號，因此整個電路設計非常複雜。盛磊等人設計的實時視頻處理平臺中，利用VHDL語言在FPGA內部實現EMIF接口，直接與DSP(C6711)的EMIF連接，並且實現EMIF到I2C的總線接口邏輯。FPGA內部的EMIF直接訪問的是存有圖像信息的FIFO存儲器。該系統結構非常簡單，但是EMIF的時序邏輯相當的複雜，給在FPGA內部實現一個高效的EMIF總線接口邏輯帶來挑戰。鍾達熊等人在航機規劃硬體平臺上採用了一片FPGA和三片單核DSP的結構。三片DSP通過EMIF 口與FPGA互聯，並為每個DSP擴展了 DDR2SDRAM (第二代雙倍數據率同步動態隨機存取存儲器)。此系統能夠實現高速的圖像傳輸與DSP之間的並行處理，但是FPGA與三個單核DSP之間的互聯邏輯複雜，增加了系統的設計的複雜性，同時FPGA還需實現三片DSP之間的仲裁，隨著DSP數量的增加，這種仲裁機制將變得非常複雜。多核DSP的設計思想是將多顆內核集成到單晶片上。與單核DSP相比，多核DSP內部存儲空間得到有效擴展，其運算速度、處理性能較前者也有大幅提高。相對於多個單核DSP級聯架構，多核DSP在功耗和晶片面積、執行效率方面具有明顯優勢。正是由於多核DSP諸多的優勢，近些年逐漸被應用於數位訊號處理的各個領域。但是，據現有的論文和專利，現階段基於FPGA和多核DSP的架構還沒有應用到圖像處理領域。
發明內容
本發明提供了一個基於FPGA和多核DSP的圖像傳輸與處理系統，提高圖像數據的運算速度和處理性能。
基於FPGA和多核DSP的圖像傳輸及處理系統，包括PC、PCI橋、雙通道切換開關、FPGA、多核DSP、晶振、電源以及兩存儲器；PC通過PCI橋連接FPGA，FPGA連接雙通道切換開關，雙通道切換開關連接兩存儲器和DSP，DSP通過HPI接口連接FPGA，電源分別連決FPGA和DSP ；PC將圖像數據通過PCI橋傳送到FPGA，FPGA對圖像數據進行FIFO緩存；FPGA控制雙通道切換開關的開關狀態以實現第一讀寫通道和第二讀寫通道的交替進行，多核DSP對讀取到的數據做並行處理，並將處理結果通過HPI接口返回給FPGA ；所述第一讀寫通道為FPGA將自身緩存的當前數據寫入第一存儲器，同時多核DSP從第二存儲器讀取前一時刻寫入的數據；所述第二讀寫通道為FPGA將自身緩存的當前數據寫入第二存儲器，同時多核DSP從第一存儲器讀取前一時刻寫入的數據。所述雙通道切換開關採用CPLD實現。所述存儲器採用雙倍速率同步動態隨機存儲器DDR。所述DDR與DSP連接導通時二者之間串接有電阻。本發明的技術效果體現在在基於FPGA和多核DSP架構的協同處理系統中，FPGA和DSP之間數據通信的方式是否高效，直接影響著整個系統的效率和性能。本發明在研究了現階段幾種常用的FPGA與DSP協同處理平臺的系統架構及通訊機制後，結合DDR2SDRAM高數據傳輸速率、低功耗、高穩定性等特點，提出了一種新穎的通訊機制，採用存儲器(優選DDR)作為FPGA與多核DSP之間的數據存儲器，通過桌球的方式將連續圖像數據在兩塊DDR2SDRAM之間輪番交替存儲並交替送至多核DSP進行並行處理，以獲得高效和高穩定性數據傳輸。
圖I是基於FPGA和多核DSP的圖像傳輸及處理系統原理圖；圖2是FPGA與DDR2SDRAM接口模塊設計示意圖；圖3是DSP與DDR2SDRAM的接口模塊設計示意具體實施例方式下面結合附圖和實施例對本發明做進一步的詳細說明。如圖I所示，基於FPGA和多核DSP的圖像傳輸及處理系統，包括PC、PCI橋、FPGA、雙通道切換開關、多核DSP、晶振、電源以及兩DDR2SDRAM。另外，串行配置晶片EPCS，用於FPGA上電的時候對其重新配置。同步動態隨機存取存儲器SDRAM採用多Bank結構，可有效提高存儲器的訪問速度。PC通過PCI橋連接FPGA，FPGA連接雙通道切換開關，雙通道切換開關連接兩存儲器和DSP，DSP通過HPI接口連接FPGA，電源分別連決FPGA和DSP ；PC將圖像數據通過PCI橋傳送到FPGA，FPGA對圖像數據進行FIFO緩存；FPGA控制雙通道切換開關的開關狀態以實現第一讀寫通道和第二讀寫通道的交替進行，多核DSP對讀取到的數據做並行處理，並將處理結果通過HPI接口返回給FPGA ；所述第一讀寫通道為FPGA將自身緩存的當前數據寫入第一存儲器，同時多核DSP從第二存儲器讀取前一時刻寫入的數據；所述第二讀寫通道為FPGA將自身緩存的當前數據寫入第二存儲器，同時多核DSP從第一存儲器讀取前一時刻寫入的數據。電源用於給FPGA和DSP供電，晶振用於提供基本的時鐘信號以保證FPGA和DSP同步。雙通道切換開關可採用CPLD實現，存儲器可採用雙倍速率同步動態隨機存儲器DDR。下面給出一個具體實例I.系統上電之後，FPGA (型號為EP2C35F672C6N)部分完成初始化之後就開始經過PCI橋讀取圖像數據緩存到內部的FIFO中。這裡，選擇PCI9056作為PCI橋連接PC與FPGA。將PCI9056的local端的信號(數據、地址、控制等信號)與FPGA引腳連接，便可以實現 PCI9056 與 FPGA 的接口。2. FPGA將FIFO中的數據寫入到與之連接的DDR2SDRAM (型號為MT47H16M16)。FPGA的DDR2SDRAM接口如圖2所示。3. DDR2SDRAM中的數據達到一定量之後FPGA通知CPLD將雙通道的DDR2SDRAM的總線控制權在FPGA與DSP (型號為TMS320C6472)之間互換，並向DSP發出一個中斷信號。這裡，需要說明的是TMS320C6472本身不直接與DDR2SDRAM連接，需要通過CPLD的切換與其中一路DDR2SDRAM連接。DDR2SDRAM的信號在與DSP連接的時候需要在二者之間串接22歐姆的電阻，以提高信號的完整性。基於上述考慮，設計了圖3所示的DSP與DDR2SDRAM的接口模塊。4. DSP從獲得總線控制權的DDR2SDRAM中讀數據，分配任務到6個內核，做並行處理。計算的結果經過HPI接口交由FPGA。5. DSP內部數據處理完成之後，通知FPGA計算任務完成，FPGA在空閒狀態的時候通知CPLD再次切換數據通路。基於上述思路，設計了 FPGA與多核DSP的高速數據傳輸與處理系統。採用該系統對PCI9056傳輸數據速率進行了測試，測試結果如表I所示。從表I可看出，寫數據的時候可以達到大於60Mbytes/S (61592860. 5)的速度。經過PCI9056讀數據的時候可以達到大於23Mbytes/S的速度。表1PCI9056的寫入數據量與寫入速度
寫入的字節數寫入速度(Mbytes/S)~
10Γ 9
506.6810015.56
20026,5230037.0240053.0350061.59本領域的技術人員容易理解，以上所述僅為本發明的較佳實施例而已，並不用以
5限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。
權利要求
1.基於FPGA和多核DSP的圖像傳輸及處理系統，包括PC、PCI橋、雙通道切換開關、FPGA、多核DSP、晶振、電源以及兩存儲器；PC通過PCI橋連接FPGA，FPGA連接雙通道切換開關，雙通道切換開關連接兩存儲器和DSP, DSP通過HPI接口連接FPGA，電源分別連決FPGA和DSP ；PC將圖像數據通過PCI橋傳送到FPGA，FPGA對圖像數據進行FIFO緩存；FPGA控制雙通道切換開關的開關狀態以實現第一讀寫通道和第二讀寫通道的交替進行，多核DSP對讀取到的數據做並行處理，並將處理結果通過HPI接口返回給FPGA ；所述第一讀寫通道為=FPGA將自身緩存的當前數據寫入第一存儲器，同時多核DSP從第二存儲器讀取前一時刻寫入的數據；所述第二讀寫通道為=FPGA將自身緩存的當前數據寫入第二存儲器，同時多核DSP從第一存儲器讀取前一時刻寫入的數據。
2.根據權利要求I所述的FPGA與DSP數據傳輸系統，其特徵在於，所述雙通道切換開關採用CPLD實現。
3.根據權利要求I所述的FPGA倍速率同步動態隨機存儲器DDR。
4.根據權利要求3所述的FPGA接導通時二者之間串接有電阻。與DSP數據傳輸系統，其特徵在於，所述存儲器採用雙與DSP數據傳輸系統，其特徵在於，所述DDR與DSP連
全文摘要
本發明公開了一種基於FPGA和多核DSP的圖像傳輸及處理系統，包括PC、PCI橋、雙通道切換開關、FPGA、多核DSP、晶振、電源以及兩存儲器；PC通過PCI橋連接FPGA，FPGA連接雙通道切換開關，雙通道切換開關連接兩存儲器和DSP，DSP通過HPI接口連接FPGA，電源分別連決FPGA和DSP；PC將圖像數據通過PCI橋傳送到FPGA，FPGA對圖像數據進行FIFO緩存。本發明通過桌球的方式將連續圖像數據在兩存儲器之間輪番交替存儲並交替送至多核DSP進行並行處理，以獲得高效和高穩定性數據傳輸。
文檔編號H04N7/24GK102946529SQ201210402219
公開日2013年2月27日 申請日期2012年10月19日 優先權日2012年10月19日
發明者張旭明, 郭富民, 姚龍龍, 李柳, 丁明躍, 熊有倫, 尹周平, 王瑜輝 申請人:華中科技大學