一種基於可重構技術的mpeg2亮度插值的實現方法
2023-05-29 23:43:21
專利名稱：一種基於可重構技術的mpeg2亮度插值的實現方法
技術領域：
本發明涉及的是一種嵌入式視頻解碼領域的方法，具體的說，涉及的是一種基於可重構技術的MPEG2亮度插值的實現方法。
背景技術：
隨著視頻標準的發展，視頻壓縮的效果和性能越來越好，但其複雜度和計算量也大大增加。相應的，在解碼端要實現實時解碼，對硬體的數據並行性和計算效率提出了很高的要求。MPEG2是運動圖像專家組於1994年發布的視頻和音頻壓縮國際標準，經過了多年的修訂與完善，現在MPEG2已經非常成熟，在數字廣播電視、衛星轉播，DVD產品、高清影像等領域有著廣闊的應用，雖然更新的MPEG4標準已經發布，但是MPEG2的市場佔有率較高，仍然有很高的研究和應用價值。運動估計是去除視頻中各幀的時間相關性，增大視頻編碼壓縮率的重要方法。在編碼端，要進行幀間預測，就是根據相鄰幀的相似性，按照一定的搜索算法，找到相鄰幀中相似的塊，用運動矢量來標識，再將運動矢量經過熵編碼壓縮。在解碼端，相應的需要進行運動補償，根據解碼出來的運動矢量，找到當前幀在參考幀中最相近的塊，恢復出編碼前的圖像數據。由於自然物體運動的連續性，採用整數像素點來進行幀間預測往往不能找到匹配的很好的圖像塊。因此，一般採用將整數點像素進行插值，得到分數點像素再進行幀間預測，實驗證明，這可以大大提高幀間預測的準確度和編碼效率。在解碼端，要恢復圖像，同樣需要先做插值得到分數像素點的樣本值。MPEG2中運動補償使用的是1/2像素精度，所以有三種插值的位置，如圖1所示， (圖中圓形的是整數像素點，正方形的是行和列的1/2像素點，三角形的是中間的1/2像素點，箭頭上的數字為插值時整數點樣本值的權重)，分別為
1.行方向1/2像素插值對水平方向相鄰的兩個整數像素的值取平均值。2.列方向1/2像素插值對垂直方向相鄰的兩個整數像素的值取平均值。3.中間1/2像素插值對水平方向相鄰的兩個整數像素和垂直方向相鄰的兩個整數像素，共四個像素點的值取平均值。MPEG2解碼時，亮度是按照8 X 8的塊為單位進行，在插值的時候，要得到8 X 8塊的所有三種分數像素點的亮度插值數據，需要輸入9X9的塊數據，如圖2所示，也即多輸入一行和一列的數據。傳統上，執行一個算法的方式主要有兩種通用處理器和專用集成電路(ASIC: Application Specific Integrated Circuit)。通用處理器可以通過軟體編程來執行各種算法，十分靈活，但是在性能、功耗和面積上往往不能達到要求。而ASIC是針對特定算法進行設計，可以達到很高的性能，同時面積和功耗也比較小，但是不能執行別的算法，靈活性差。而且設計ASIC需要完成一系列複雜的流程，研發周期很長，經常難以滿足產品上市時
4間的要求，同時研發費用很高，特別是隨著晶片工藝尺寸的縮小，成本更是成倍增加。因此對一種新的計算技術的需求十分迫切。可重構計算技術就是在這種背景下出現的，目的是填補兩者之間的空白，在性能和靈活性上做一個折中。可重構計算的核心部分是多個功能單元組成的陣列，並且有靈活的互聯連接它們。根據功能單元的粒度大小，可以分為細粒度和粗粒度陣列。FPGA是一種典型的細粒度可重構陣列，以查找表為最小粒度單元，其出現較早，比較成熟，現在有著很廣泛的應用。但是隨著算法的規模和複雜度增加，FPGA的單元數量和互聯面積劇增，同時功耗增大。粗粒度陣列一般以字長寬度的算術邏輯單元(Arithmetic Logic Unit)為最小粒度單元，非常適合大規模計算密集型的應用，例如視頻編解碼、圖像處理、無線通信和數據加密等。
發明內容
本發明的目的是針對現有技術的不足，提出一種基於可重構技術的MPEG2亮度插值的實現方法，利用可重構陣列，加速MPEG2標準亮度插值算法的執行，更好的滿足實時解碼的需求。本發明是通過以下的技術方案實現的，本發明一種基於可重構技術的MPEG2亮度插值的實現方法，包括以下步驟
首先，進行算法分析，根據MPEG2亮度插值的定義設計出DR； (Data Flow Graph，數據流圖)，得到算法的數據傳輸需求；
其次，根據算法分析的結果和可重構陣列的架構，對數據流圖進行分割和映射，設計出最優的數據傳輸的方案；
然後，根據上面兩步的結果，利用配置工具，生成可重構陣列的配置字； 最後，通過ARM處理器將配置信息載入到可重構陣列的配置信息存儲器中，以此將可重構陣列配置成為一個專用於執行MPEG2亮度插值的加速模塊。
所述根據MPEG2亮度插值的定義設計出DTO，具體如下
計算行和列的1/2像素插值的Dre是一致的，要得到1個插值點的樣本值，需要輸入2 個整數樣本值，做1次加法和1次移位；
計算中間的1/2像素點的插值的Dre有4個節點，要得到1個插值點的樣本值，需要輸入4個樣本值，做3次加法和1次移位。所述對數據流圖進行分割和映射，具體是指可重構陣列有64個計算單元，計算1 個行或列的1/2像素樣本值的Dre有2個節點，對Dre進行擴充，映射到64個節點，即可以並行計算出32個行或列的1/2像素樣本值，由於需要相鄰塊的整數像素點樣本值以及整數像素樣本值的復用，1次需要輸入個36整數像素樣本值，採用按行輸入(計算行的1/2像素樣本值)和按列輸入(計算列的1/2像素樣本值)的方式，則1次需要輸入4行或4列的整數像素樣本值，完成1個8X8塊數據的行或列的1/2像素插值需要循環2次；
計算中間的1/2像素樣本值的Dre有4個節點，對其進行擴充，映射到32個節點，即可以並行計算出8個中間的1/2像素的樣本值，由於需要相鄰塊的整數像素點樣本值以及整數像素樣本值的復用，1次需要輸入45個整數像素樣本值，採用按行輸入的方式，1次需要輸入5行的整數像素點數據，完成1個8X8塊數據的中間1/2像素插值需要循環8次；
輸入數據，也即8X8塊數據存儲在SRAM中，可重構陣列開始運行後，將其載入陣列的輸入FIFO中，陣列的計算單元從輸入FIFO中讀入數據進行計算，然後將輸出數據寫入陣列的輸出FIFO中，然後將輸出數據寫入SRAM的指定位置，然後繼續取出下一個輸入數據，重複以上過程。所述可重構陣列是通過配置字來控制的。所述可重構陣列的配置字，包括數據的讀取和寫入模塊，計算單元的數據來源和操作碼，可配置的模塊都有一個配置字的FIFO，運行時從中取出配置字並執行，配置字是一串二進位的數字。所述可重構陣列的配置字，以32位為單位，大小與模塊的功能有關，可配置部分包括REDL、CEDL, RCA、CEDS, CIDL、REDS、RIDL。配置字通過一個配置工具輔助手工生成，按照上一步得到的結果，得到一系列的二進位文件。所述通過ARM處理器將配置信息載入到可重構陣列的配置信息存儲器中，具體是指配置信息存儲在片上的ROM或者片外的存儲設備(如SD卡)中，在系統運行開始時，主核ARM處理器執行系統的初始化程序，這些配置字二進位文件被寫入到可重構陣列內專門用於存儲配置字的RAM或者FIFO中，然後ARM處理器使能可重構陣列，可重構陣列讀取配置字並開始計算，這樣可重構陣列就專門用於MPEG2亮度插值，成為一個專用模塊。本發明所採用的可重構陣列是一個片上系統(S0C: System on Chip)，主要包括了主處理器(ARM7)，直接存儲器存取控制器(DMAC :Direct Memory Access Controller), 片上靜態隨機存儲器(SRAM :Static Random Access Memory)，兩條片上總線(包括自定義的i^ist Bus和工業標準總線AHB)，一個可重構處理單元(RPU)，ARM處理器是系統的主核， 負責系統的初始化和整體控制，DMAC負責從片外的存儲器讀取數據，RPU是可重構處理的主要部件，AHB總線是32位系統總線，Fast總線是64位的存儲器總線。 Mpeg2亮度插值需要處理的數據，以8 X 8的塊為單位存儲在SRAM中，若視頻解析度為Dl (704X576)，則每幀圖像包含6336個塊。RPU內部有四個相對獨立的8X8的計算單元陣列，為了充分發揮RPU的並行性，本發明採用的執行模式為第一個計算單元陣列計算行的1/2像素，第二個計算單元陣列計算列的1/2像素，第三個和第四個計算單元陣列共同計算中間的1/2像素，各個計算單元陣列並行執行，沒有數據依賴關係。整個執行過程為首先，亮度插值需要用到的9X9的輸入數據從SRAM中載入到 RPU中。然後，這些數據被分發到各個計算單元中，根據事先載入的配置進行計算，經過多次循環後，得到三種1/2像素的8X8的塊數據。最後按照配置的地址寫入到SRAM中去。然後繼續取出下一個8X8的輸入數據進行插值，直到一幀所有的數據都處理完，向ARM發出中斷，等待下一次的配置。與現有技術相比，本發明具有以下有益效果本發明的基於可重構技術來實現 Mpeg2亮度插值的方法，在RPU的寄存器傳輸級(RTL)平臺上進行了仿真，得到了執行1個塊的亮度插值的周期數為183。同樣的方法，使用軟體編程，在ARM7TDMI的周期精確級平臺進行了仿真，執行的周期數為4816。可以得到性能的加速比為26. 32，可見使用可重構技術來執行MPEG2亮度插值要優於純軟體的方式，可以更好的滿足視頻解碼的實時性要求。而且相比ASIC，僅需要根據算法得到一整套配置就可以運行，不需要經過複雜的晶片設計過程，可以大大的節省開發時間和開發費用，實用性很高。
圖1為MPEG2插值的原理圖2為計算8X8塊的三種亮度插值數據所需要輸入的9X9的塊數據示意圖； 圖3為基於MPEG2亮度插值算法的可重構實現方法所採用的可重構系統結構框圖； 圖4為從MPEG2亮度插值映射到RCA上的數據流圖； 圖5為MPEG2亮度插值執行過程中一個塊數據傳輸示意圖； 圖6為片上SOC系統的示意圖。
具體實施例方式下面對本發明的實施例作詳細說明，本實施例以本發明技術方案為前提進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護範圍不限於下述的實施例。本實施例中，可重構處理單元是核心部分，其內部結構如圖3所示，下面對其簡要說明。在RPU內部，所有存儲器和先入先出隊列的寬度都是256位，各個模塊的數據埠也是256位。RPU和ARM通過32位AHB總線進行通信。SRAM通過一個存儲器接口(EMI External Memory hterface)和64位的Fast總線與RPU通信。RPU內部又分為4個可重構陣列(RCA: Reconfigurable Cell Array)，每個陣列包括了 64個處理單元(ΡΕ processing Element)，按照8X8的形式排列，這樣整個RPU共有256個ΡΕ。RPU內部還包括一個系統配置接口模塊(Cl Configuration Interface)，用於配置字的傳輸以及RPU與ARM的控制交互；一個SRAM數據的讀取和存儲模塊(REDT RCA External Data iTransfer)，內部包含讀模塊(REDL: RCA External Data Load)禾口寫模塊(REDS: RCA External Data Store)，為 4個RCA提供SRAM數據的傳輸功能；RPU中間數據存儲器(MB: Macro Buffer)和其數據載入模塊(RIDL: RCA Internal Data Load);兩個配置字存儲器，GCCM(Glottal Core Context Memory)和GCGM(Global Context Group Memory)，分別用於存儲不同層次的配置字；RPU的配置解析和控制模塊。每個RCA內部包括外部輸入數據的先入先出隊列(ELDF: External Load Data FIFO)和向外部輸出的先入先出隊列(ESDF :External Store Data FIFO);外部數據載入單元(CEDL :Core External Data Load) ;8X8的PE陣列以及其輸入先入先出隊列(RIF:RCA Input FIFO)和輸出先入先出隊列(R0F :RCA Output FIFO)；輸出數據存儲模土夬(CDS:Core Data Store) ;RCA 內部中間數據存儲器(RIM :RCA Internal Memory)禾口內部數據載入單元(CIDL :Core Internal Data Load) ;RCA本地配置字存儲器(LGCM :Local Context Group Memory)和常數存儲器(CM :Constant Memory) ;RCA的配置字解析模塊和控制模塊。如圖6所示，是本發明所採用的可重構陣列是一個片上系統(S0C: System on Chip)，主要包括了主處理器(ARM7)，直接存儲器存取控制器(DMAC =Direct Memory Access Controller)，片上靜態隨機存儲器(SRAM Jtatic Random Access Memory)，兩條片上總線 (包括自定義的i^ast Bus和工業標準總線AHB)，一個可重構處理單元(RPU)，ARM處理器是系統的主核，負責系統的初始化和整體控制，DMAC負責從片外的存儲器讀取數據，RPU是可重構處理的主要部件，AHB總線是32位系統總線，Fast總線是64位的存儲器總線。
本發明中分析了 MPEG2的亮度插值過程，從中手工提取出數據流圖，如圖4所示。 一共有2個數據流圖計算行和列的1/2像素點的數據流圖相似，每次循環輸入4行或4列的36個整數像素點數據，得到4行或4列的32個1/2像素點數據，循環2次就可以得到 8X8塊的64個1/2像素點數據；計算中間的1/2像素點的數據流圖節點數更多，每次循環輸入2行的18個整數像素點數據，得到1行的8個1/2像素點的數據，2個RCA同時計算中間的1/2像素點，循環4次可以得到中間8X8塊的64個1/2像素點數據。在計算平均值時，除法都是用移位來完成的，每次計算時陣列需要的常數都通過ARM處理器事先寫入 CM中，在運行過程中不變。經過規劃之後，9X9的塊數據在RPU中的數據傳輸流程如圖5 所示[其中(a)為計算行和列1/2像素點時的數據傳輸方案，(b)為計算中間的1/2像素點時的數據傳輸方案。SRAM的存儲採用2D模式，可以直接存取一幀圖像中需要的塊數據，各個FIFO中陰影部分為有效數據部分，每一行存儲8個或9個數據。]，詳細過程為
1.RPU通過REDL將需要的9X9塊數據寫入4個RCA的ELDF中去。RCAO用於計算行的1/2像素點，RCAl用於計算列的1/2像素點，RCA2和RCA3用於計算中間的1/2像素點。RCAO和RCAl的ELDF中寫入了 9X9塊數據的全部數據，RCA2的ELDF中寫入了 9X9 塊數據上半部分的5X9塊數據，RCA3的ELDF中寫入了 9X9塊數據下半部分的5X9塊數據。REDL配置為2D取數模式，數據長度為18 bytes，數據高度為9行(RCA0和RCAl)或5 行(RCA2和RCA3 )，不拼接寫入ELDF中，則輸入塊數據在ELDF中佔據了 9行(RCAO和RCAl) 或5行(RCA2和RCA3)的空間，每行寬度為144位；
2.每個RCA通過CEDL將ELDF中的9行(RCAO和RCAl)或5行(RCA2和RCA3)數據寫入RIF中，存儲格式與在ELDF中相同；
3.每個RCA的64個PE根據亮度插值的配置信息(RCAO和RCAl分別按計算行和列的 1/2像素點的數據流圖配置，RCA2和RCA3按計算中間的1/2像素點的數據流圖配置)進行計算，RCAO和RCAl循環兩次，分別得到行和列的8X8的亮度1/2像素點插值數據，RCA2和 RCA3循環4此，共同得到中間的8X8的亮度1/2像素點插值數據。這些數據都寫入各自的ROF中，存儲數據格式與在ELDF中類似，不同在於都少了 1行和1列(RCA0和RCAl得到 8X8的塊數據，RCA2和RCA3得到4X8的塊數據)；
4.每個RCA通過⑶S將得到的亮度1/2像素點數據寫入各自的ESDF中，存儲格式與在ROF中相同；
5.RPU通過REDS將4個RCA的ESDF中的亮度像素點插值數據按照指定的配置寫入到SRAM中去。REDS配置為2D寫入模式，寫入數據長度為16 bytes，數據高度為8行 (RCA0和RCAl)或4行(RCA2和RCA3)，不拼接寫入SRAM中；
RPU繼續取出下一個輸入塊數據，重複上述過程，直到一幀圖像的所有塊都進行了亮度插值，然後向ARM發出中斷，等待進一步的配置。以上所述，僅是本發明的較佳實施實例而已，並非對本發明做任何形式上的限制， 任何未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施實例所作的任何簡單修改、等同變化與修飾，均屬於本發明技術方案的範圍。
權利要求
1.一種基於可重構技術的MPEG2亮度插值的實現方法，包括以下步驟首先，進行算法分析，根據MPEG2亮度插值的定義設計出DTO，得到算法的數據傳輸需求；其次，根據算法分析的結果和可重構陣列的架構，對數據流圖進行分割和映射，設計出最優的數據傳輸的方案和並行執行模式；然後，根據上面兩步的結果，利用配置工具，生成可重構陣列的配置字；最後，通過ARM處理器將配置信息載入到可重構陣列的配置信息存儲器中，以此將可重構陣列配置成為一個專用於執行MPEG2亮度插值的加速模塊。
2.根據權利要求1所述的一種基於可重構技術的MPEG2亮度插值的實現方法，其特徵是，所述根據MPEG2亮度插值的定義設計出DTO，具體如下計算行和列的1/2像素插值的Dre是一致的，有2個節點，要得到1個插值點的樣本值， 需要輸入2個整數樣本值，做1次加法和1次移位；計算中間的1/2像素點的插值的Dre有4個節點，要得到1個插值點的樣本值，需要輸入4個樣本值，做3次加法和1次移位。
3.根據權利要求1所述的一種基於可重構技術的MPEG2亮度插值的實現方法，其特徵是，所述對數據流圖進行分割和映射，具體是指可重構陣列有64個計算單元，計算1個行或列的1/2像素樣本值的Dre有2個節點，對Dre進行擴充，映射到64個節點，即可以並行計算出32個行或列的1/2像素樣本值，由於需要相鄰塊的整數像素點樣本值以及整數像素樣本值的復用，1次需要輸入個36整數像素樣本值，採用按行輸入和按列輸入的方式，則1 次需要輸入4行或4列的整數像素樣本值，完成1個塊數據的行或列的1/2像素插值需要循環2次；計算中間的1/2像素樣本值的Dre有4個節點，對其進行擴充，映射到32個節點，即可以並行計算出8個中間的1/2像素的樣本值，由於需要相鄰塊的整數像素點樣本值以及整數像素樣本值的復用，1次需要輸入45個整數像素樣本值，採用按行輸入的方式，1次需要輸入5行的整數像素點數據，完成1個8X8塊數據的中間1/2像素插值需要循環8次；輸入數據，也即8X8塊數據存儲在SRAM中，可重構陣列開始運行後，將其載入陣列的輸入FIFO中，陣列的計算單元從輸入FIFO中讀入數據進行計算，然後將輸出數據寫入陣列的輸出FIFO中，然後將輸出數據寫入SRAM的指定位置，然後繼續取出下一個輸入數據，重複以上過程。
4.根據權利要求1所述的一種基於可重構技術的MPEG2亮度插值的實現方法，其特徵是，所述採用的並行執行模式為第一個計算單元陣列計算行的1/2像素，第二個計算單元陣列計算列的1/2像素，第三個和第四個計算單元陣列共同計算中間的1/2像素，各個計算單元陣列並行執行，沒有數據依賴關係。
5.根據權利要求1所述的一種基於可重構技術的MPEG2亮度插值的實現方法，其特徵是，所述可重構陣列是通過配置字來控制的。
6.根據權利要求1所述的一種基於可重構技術的MPEG2亮度插值的實現方法，其特徵是，所述可重構陣列的配置字，包括數據的讀取和寫入模塊，計算單元的數據來源和操作碼，可配置的模塊都有一個配置字的FIFO，運行時從中取出配置字並執行，配置字是一串二進位的數字。
7.根據權利要求1所述的一種基於可重構技術的MPEG2亮度插值的實現方法，其特徵是，所述可重構陣列的配置字，以32位為單位，大小與模塊的功能有關，可配置部分包括 REDL, CEDL, RCA、CEDS, CIDL、REDS、RIDL ；配置字通過一個配置工具輔助手工生成，按照上一步得到的結果，得到一系列的二進位文件。
8.根據權利要求1所述的一種基於可重構技術的MPEG2亮度插值的實現方法，其特徵是，所述通過ARM處理器將配置信息載入到可重構陣列的配置信息存儲器中，具體是指配置信息存儲在片上的ROM或者片外的存儲設備中，在系統運行開始時，主核ARM處理器執行系統的初始化程序，這些配置字二進位文件被寫入到可重構陣列內專門用於存儲配置字的 RAM或者FIFO中，然後ARM處理器使能可重構陣列，可重構陣列讀取配置字並開始計算，這樣可重構陣列就專門用於MPEG2亮度插值，成為一個專用模塊。
全文摘要
本發明涉及一種基於可重構技術的MPEG2亮度插值的實現方法，包括以下步驟首先，進行算法分析，根據MPEG2亮度插值的定義設計出DFG，得到算法的數據傳輸需求；其次，根據算法分析的結果和可重構陣列的架構，對數據流圖進行分割和映射，設計出最優的數據傳輸的方案；然後，根據上面兩步的結果，利用配置工具，生成可重構陣列的配置字；最後，通過ARM處理器將配置信息載入到可重構陣列的配置信息存儲器中，以此將可重構陣列配置成為一個專用於執行MPEG2亮度插值的加速模塊。本發明優於純軟體的方式，可以更好的滿足視頻解碼的實時性要求，可以大大的節省開發時間和開發費用，實用性很高。
文檔編號H04N7/46GK102340668SQ20111029497
公開日2012年2月1日 申請日期2011年9月30日 優先權日2011年9月30日
發明者何衛鋒, 毛志剛, 熊一舟, 王浩, 繩偉光 申請人:上海交通大學