一種面向圖像處理的可重構架構平臺設計方法
2023-04-23 05:37:01
一種面向圖像處理的可重構架構平臺設計方法
【專利摘要】本發明公開了一種面向圖像處理的可重構架構平臺設計方法。該設計方法首先，分析並歸納常用複雜算法的多種運算類型。其次，對圖像算法處理流程進行了可重構架構下的軟硬體劃分。然後，對多類型的圖像算法運算類型進行可重構單元設計和實現，並在此基礎上，對通用性的複雜算法全局互聯架構進行了方案設計和技術實現。最後，基於此架構進行了通用化的卷積運算IP核的設計與實現。
【專利說明】一種面向圖像處理的可重構架構平臺設計方法
【技術領域】
[0001] 本發明屬於可重構設計【技術領域】，具體涉及一種面向圖像處理的可重構架構平臺 設計方法。
【背景技術】
[0002] 目前面向各領域應用的圖像處理越來越複雜，各種圖像處理算法（如圖像預處 理、圖像檢測、跟蹤等）運算量都十分巨大，同時又有著極高的實時性要求。基於DSP+FPGA 的協同處理架構是目前採用的常用方法。在實現對相關算法軟硬劃分的基礎上，充分發揮 DSP的軟體靈活性和FPGA的硬體實時性，實現系統軟硬體協同工作與可靠運行。
[0003] 基於FPGA晶片的複雜算法處理所耗費的硬體資源非常巨大，導致在設計選型時 都選用國外高端FPGA晶片，這些晶片短期內無法找到國產化替代的FPGA。隨著系統設計集 成化水平越來越高，傳統的圖像算法處理方案無法解決算法性能提升與資源消耗降低之間 的矛盾，因此這就要求新的硬體平臺在保證應用需求的靈活性前提下儘量獲得ASIC的效 率和性能。
[0004] 近幾年發展起來的可重構處理器得到了廣泛的研究，可重構架構在靈活性上吸取 了 DSP和FPGA可配置的特點，採用顆粒度更大的結構，獲得性能提升的同時降低了配置的 複雜性，提高了資源利用率，雖然在通用性上有所降低，但仍然可以滿足特定領域的需求， 獲得接近ASIC的效率。
【發明內容】
[0005] 針對現有技術的不足，本發明擬解決的技術問題是：提供一種面向圖像處理的可 重構架構平臺設計方法。該設計方法首先，分析並歸納常用複雜算法的多種運算類型。其 次，對圖像算法處理流程進行了可重構架構下的軟硬體劃分。然後，對多類型的圖像算法運 算類型進行可重構單元設計和實現，並在此基礎上，對通用性的複雜算法全局互聯架構進 行了方案設計和技術實現。最後，基於此架構進行了通用化的卷積運算IP核的設計與實 現。
[0006] 本發明解決所述技術問題的技術解決方案是：提供一種面向圖像處理的可重構架 構平臺設計方法，其特徵在於包括以下步驟：
[0007] 步驟一、實現信息處理流程及複雜算法組合：
[0008] 通過對信號處理中各個圖像處理算法運算類型在硬體上涉及的操作以及運算數 據類型的分析，歸類四種基本運算類型及其組合；
[0009] 所述四種基本運算類型是乘加算術運算、比特串行運算、累加與數值比較運算和 數據存取；
[0010] 在複雜算法映射時，可通過配置、互聯重構，分時復用組合四種基本運算類型，實 現複雜算法映射；
[0011] 步驟二、基於功能和效率的複雜算法軟硬體劃分方法：
[0012] ①不適宜由軟體處理的任務應由硬體來做；
[0013] ②圖像算法的大數據流的預處理任務由硬體來做；
[0014] ③關鍵路徑上性能要求苛刻的任務應由硬體來做；
[0015] ④關鍵路徑上、多循環次數的特定複雜運算任務應由硬體來做；
[0016] ⑤圖像算法主處理任務的特徵提取和大數據量的特徵匹配由硬體來做；
[0017] ⑥圖像算法主處理任務關鍵路徑上、多分支判斷結構的子任務應由軟體來做；
[0018] ⑦有可重配置性與多應用性靈活要求的任務應由軟體來做；
[0019] 步驟三、算法晶片結構設計：
[0020] 將四種基本運算類型作為可重構功能單元的基本粒度，針對數據片上流向特點設 計出片上互聯結構，結合數據存儲器、配置信息存儲器，圖像算法處理指令控制器和邏輯控 制引擎，實現了一個可擴展的通用可重構算法晶片處理架構平臺；
[0021] 步驟四、卷積運算IP核設計與實現：
[0022] 不以卷積窗口運算作為主要計算方式，而採用行累加、列累加並進行減法消除，減 少乘法和加法運算單元的資源調用，採用步驟三的可重構算法晶片處理架構平臺來完成資 源優化。
[0023] 所述步驟一中的乘加算術運算是對數值結果的移位；所述比特串行運算是單比特 的移位、數據抽頭和數據異或。
[0024] 所述對數值結果的移位是FFT中的蝶形運算、相關、濾波變換以及數位訊號處理 中常用的各種卷積運算、矩陣乘法；所述單比特的移位、數據抽頭和數據異或是編碼、高速 串行、CRC校驗。
[0025] 所述步驟一中的累加與數值比較運算是圖像處理常用的取最大值或最小值；所述 數據存取是數據緩存、轉置存儲或直方圖統計。
[0026] 所述步驟二的不適宜由軟體處理的任務是圖像採集的高速接口傳輸和數模轉換； 所述圖像算法的大數據流的預處理任務是校正、濾波、邊緣檢測、閾值分割；所述關鍵路徑 上性能要求苛刻的任務是圖像壓縮的編解碼；所述關鍵路徑上、多循環次數的特定複雜運 算任務是如卷積運算、FFT ;所述圖像算法主處理任務的特徵提取和大數據量的特徵匹配 是SIFT算法的特徵點提取和匹配；所述圖像算法主處理任務關鍵路徑上、多分支判斷結構 的子任務是目標識別、目標判斷和目標決策；有可重配置性與多應用性靈活要求的任務是 CPU可重構指令的控制分配。
[0027] 所述步驟三的可重構的算法晶片架構平臺包括配置信息存儲器、圖像算法處理指 令控制器、邏輯控制引擎、可重構功能單元核、數據存儲器以及全局互聯；
[0028] 所述配置信息存儲器與邏輯控制引擎連接；圖像算法處理指令控制器與邏輯控制 引擎連接；邏輯控制引擎與圖像算法處理指令控制器、可重構功能單元核和配置信息存儲 器相連接；可重構功能單元核與全局互聯和邏輯控制引擎相連接，數據存儲器與圖像算法 處理指令控制器和全局互聯相連接；全局互聯與可重構功能單元核和數據存儲器相連接。
[0029] 所述可重構功能單元核包括至少一個可重構單元。
[0030] 所述可重構單元由局部互聯和至少一個可重構單元切片構成。
[0031] 與現有技術相比，本發明的有益效果是：
[0032] 1、本發明具備一定的通用性，在總結和精煉常用圖像處理算法的基礎上，分析了 算法的運算特點，歸納了算法的運算類型，可很好的適用於基於SOPC和ASIC的複雜算法設 計。
[0033] 2、本發明最大程度化節約了硬體資源，在有限的硬體資源上實現多種複雜算法功 能，不依賴國外高端的FPGA晶片，有利於FPGA晶片國產化的發展進程。
[0034] 3、本發明將傳統的功能模塊化的IP核變為可重構運算單元與配置指令化IP核， 通過選取不同的配置指令利用有限的可重構運算資源進行互聯和運算。
【專利附圖】
【附圖說明】
[0035] 圖1是本發明一種面向圖像處理的可重構架構平臺設計方法的可重構算法晶片 架構設計；
[0036] 圖2是本發明一種面向圖像處理的可重構架構平臺設計方法的全局互聯及存儲 架構；
[0037] 圖3是本發明一種面向圖像處理的可重構架構平臺設計方法的卷積運算結構設 計。
【具體實施方式】
[0038] 下面結合附圖和實例對本發明進行詳細介紹。
[0039] 本發明設計的一種面向圖像處理的可重構架構平臺設計方法（參見圖1-3)，具體 步驟如下：
[0040] 步驟一、實現信息處理流程及複雜算法組合：
[0041] 通過對信號處理中各個圖像處理算法運算類型在硬體上涉及的操作以及運算數 據類型的分析，歸類四種基本的運算類型，為基本可重構運算單元的架構設計提供依據。 [0042] ①圖像校正一般分為灰度校正和幾何校正，典型應用為非均勻性校正和穩像處 理，操作類型為矩陣操作，運算類型為數據存取和乘加運算。
[0043] ②圖像檢測一般分為點目標和直線目標檢測。點目標檢測一般採用局部濾波方 式，運算類型為數據緩存和乘加運算。直線檢測一般採用hough變換，其對應的運算類型為 數據存取、乘加和數值比較操作。
[0044] ③圖像分割一般為點目標分割和面目標分割，將具有共同特性的像素聚類。典型 應用為連通域標記和區域生長算法，運算類型為數據存取、數值比較和選擇運算。
[0045] ④圖像跟蹤一般分為點目標跟蹤和面目標跟蹤，其中點目標跟蹤的典型應用為卡 爾曼濾波跟蹤算法，運算類型為數據存取和乘加運算。面目標跟蹤分為特徵匹配和區域匹 配，其中特徵點匹配典型應用為SIFT算法，運算類型為乘加、數值比較，特徵點匹配操作類 型為矩陣操作，運算類型為乘加運算、數值比較、數據存取運算和選擇運算。區域匹配典型 應用為積相關匹配算法，可採用卷積和FFT兩種運算方式實現，卷積運算類型為數據存儲 和乘加運算，FFT算法運算類型為數據存儲和乘加運算。
[0046] ⑤圖像增強一般採用圖像直方圖增強和DDE增強算法，其中直方圖增強算法的運 算類型為數據存取、累加和數據比較運算。DDE增強算法運算類型為數據緩存、乘加運算。
[0047] ⑥圖像壓縮一般採用頻域變換方式，如DCT、小波變換等算法，DCT涉操作類型為 局部濾波和並行串行轉換操作，運算類型為數據緩存、乘加和比特串行運算。小波變換數據 類型為數據緩存和乘加運算。
[0048] 表1圖像處理算法的運算類型的分析和歸類總結
[0049]
【權利要求】
1. 一種面向圖像處理的可重構架構平臺設計方法，其特徵在於包括以下步驟： 步驟一、實現信息處理流程及複雜算法組合： 通過對信號處理中各個圖像處理算法運算類型在硬體上涉及的操作以及運算數據類 型的分析，歸類四種基本運算類型及其組合； 所述四種基本運算類型是乘加算術運算、比特串行運算、累加與數值比較運算和數據 存取； 在複雜算法映射時，可通過配置、互聯重構，分時復用組合四種基本運算類型，實現復 雜算法映射； 步驟二、基於功能和效率的複雜算法軟硬體劃分方法： ① 不適宜由軟體處理的任務應由硬體來做； ② 圖像算法的大數據流的預處理任務由硬體來做； ③ 關鍵路徑上性能要求苛刻的任務應由硬體來做； ④ 關鍵路徑上、多循環次數的特定複雜運算任務應由硬體來做； ⑤ 圖像算法主處理任務的特徵提取和大數據量的特徵匹配由硬體來做； ⑥ 圖像算法主處理任務關鍵路徑上、多分支判斷結構的子任務應由軟體來做； ⑦ 有可重配置性與多應用性靈活要求的任務應由軟體來做； 步驟三、算法晶片結構設計： 將四種基本運算類型作為可重構功能單元的基本粒度，針對數據片上流向特點設計出 片上互聯結構，結合數據存儲器、配置信息存儲器，圖像算法處理指令控制器和邏輯控制引 擎，實現了一個可擴展的通用可重構算法晶片處理架構平臺； 步驟四、卷積運算IP核設計與實現： 不以卷積窗口運算作為主要計算方式，而採用行累加、列累加並進行減法消除，減少乘 法和加法運算單元的資源調用，採用步驟三的可重構算法晶片處理架構平臺來完成資源優 化。
2. 根據權利要求1所述的面向圖像處理的可重構架構平臺設計方法，其特徵在於所述 步驟一中的乘加算術運算是對數值結果的移位；所述比特串行運算是單比特的移位、數據 抽頭和數據異或。
3. 根據權利要求2所述的面向圖像處理的可重構架構平臺設計方法，其特徵在於所 述對數值結果的移位是FFT中的蝶形運算、相關、濾波變換以及數位訊號處理中常用的各 種卷積運算、矩陣乘法；所述單比特的移位、數據抽頭和數據異或是編碼、高速串行、CRC校 驗。
4. 根據權利要求1所述的面向圖像處理的可重構架構平臺設計方法，其特徵在於所述 步驟一中的累加與數值比較運算是圖像處理常用的取最大值或最小值；所述數據存取是數 據緩存、轉置存儲或直方圖統計。
5. 根據權利要求1所述的面向圖像處理的可重構架構平臺設計方法，其特徵在於所述 步驟二的不適宜由軟體處理的任務是圖像採集的高速接口傳輸和數模轉換；所述圖像算法 的大數據流的預處理任務是校正、濾波、邊緣檢測、閾值分割；所述關鍵路徑上性能要求苛 刻的任務是圖像壓縮的編解碼；所述關鍵路徑上、多循環次數的特定複雜運算任務是如卷 積運算、FFT ;所述圖像算法主處理任務的特徵提取和大數據量的特徵匹配是SIFT算法的 特徵點提取和匹配；所述圖像算法主處理任務關鍵路徑上、多分支判斷結構的子任務是目 標識別、目標判斷和目標決策；有可重配置性與多應用性靈活要求的任務是CPU可重構指 令的控制分配。
6. 根據權利要求1所述的面向圖像處理的可重構架構平臺設計方法，其特徵在於所述 步驟三的可重構的算法晶片架構平臺包括配置信息存儲器、圖像算法處理指令控制器、邏 輯控制引擎、可重構功能單元核、數據存儲器以及全局互聯； 所述配置信息存儲器與邏輯控制引擎連接；圖像算法處理指令控制器與邏輯控制引擎 連接；邏輯控制引擎與圖像算法處理指令控制器、可重構功能單元核和配置信息存儲器相 連接；可重構功能單元核與全局互聯和邏輯控制引擎相連接，數據存儲器與圖像算法處理 指令控制器和全局互聯相連接；全局互聯與可重構功能單元核和數據存儲器相連接。
7. 根據權利要求6所述的面向圖像處理的可重構架構平臺設計方法，其特徵在於所述 可重構功能單元核包括至少一個可重構單元。
8. 根據權利要求7所述的面向圖像處理的可重構架構平臺設計方法，其特徵在於所述 可重構單元由局部互聯和至少一個可重構單元切片構成。
【文檔編號】G06F17/50GK104112053SQ201410369673
【公開日】2014年10月22日 申請日期:2014年7月29日 優先權日:2014年7月29日
【發明者】楊碩, 周津, 楊陽 申請人:中國航天科工集團第三研究院第八三五七研究所