二維反變換裝置的製作方法
2023-06-07 01:41:21 1
專利名稱：二維反變換裝置的製作方法
技術領域：
本發明涉及圖像、視頻編碼和處理領域，特別涉及反變換模塊的大規模 集成電路設計。
背景技術：
多媒體應用領域，視頻壓縮標準層出不窮，形成多標準共存的局面，目
前廣泛應用的視頻壓縮標準有H.264、 AVS(數字音視頻編解碼標準)、VC-1 、 RealVideo, MPEG-4 (運動圖像專家小組-4) 、 H.263等，圖像壓縮標準有 JPEG (聯合圖像專家組)等。
對於一個普適的多媒體應用終端，比如手機，有必要支持多種標準，以 實現對不同格式媒體的播放。在符合這些標準的解碼器中，反變換模塊是必 不可少的組成部分。例如申請號為9/798, 346的美國專利就涉及一種視頻 圖像的解碼技術，其中就使用了反離散餘弦變換(Inverse Discrete Cosine Transform,簡稱"IDCT")。
目前，解碼器多標準的實現採用的方式分別對單個標準進行實現，然後 疊加；也有雙標準的硬體實現，主要是針對MPEG-2和H.264的實現。前者 的變換模塊的設計實際只需要考慮單一變換情況，比如整數餘弦變換 (Integer Cosine Transform,簡稱"ICT")、離散餘弦變換(Discrete Cosine Transform,簡稱"DCT")，這樣需要比較大的硬體面積，增加晶片成本； 後者考慮是8x8DCT和4x4ICT兼容的情況。而對於其他標準來說，反變換 模塊不僅有8x8 DCT、 4x4 ICT，還有8x8 ICT、 8x4 ICT、 4x8 ICT等等， 而且各個變換中的移位飽和操作、位寬等不同，極大地阻礙了這些變換的統一性。比如8x8 ICT的實現跟8x8 DCT的實現就有非常迥異的差別。
可見，視頻解碼的硬體實現往往需要對多個標準進行支持，各個標準的 反變換算法存在差異，如果針對每個標準設計相應反變換模塊，對硬體資源 消耗較大。
發明內容
本發明的目的在於提供一種二維反變換裝置，可以用統一的硬體架構兼 容多種視頻、圖像標準的反變換。
為解決上述技術問題，本發明的實施方式提供了一種二維反變換裝置， 包括
變換係數生成單元，用於存儲不同標準的反變換矩陣係數；
一維變換模塊，用於根據變換係數生成單元提供的係數對輸入的二維矩 陣數據的每一行或列分別進行一維變換操作；
轉置寄存器，用於緩存輸入的數據，並輸出經轉置的數據；
控制單元，用於對處理過程進行控制；
在控制單元的控制下， 一維變換模塊對輸入的二維矩陣數據在一個維度 上進行變換操作後輸出到轉置寄存器完成轉置，再次輸入到一維變換模塊進 行另 一個維度上的變換操作後輸出。
本發明實施方式與現有技術相比，主要區別及其效果在於
先對二維矩陣在一個維度上進行處理，轉置後再在相同的處理模塊中對 該二維矩陣在另一個維度上進行處理，將處理中用到的不同標準的反變換矩 陣係數集中存貯，根據處理的需要使用相應的係數。可以用統一的硬體架構 兼容多種視頻、圖像標準的反變換，達到減小硬體開銷，降低設計成本的目 的。進一步地，將所有的反變換統一成最多四個步驟，即一維行變換、移位 飽和、 一維列變換、移位飽和，這樣只需要根據具體的標準對重排單元、矩 陣乘法單元、矩陣加減單元、移位飽和單元和轉置寄存器的處理順序以及反 變換的係數進行配置就可以實現所有的反變換。
進一步地，通過將不同大小的矩陣轉化為4x4的矩陣進行處理，可以 使用統一的硬體兼容不同大小的反變換。
圖1是本發明實施方式中二維反變換裝置結構示意圖； 圖2是本發明實施方式中重排單元功能示意圖； 圖3是本發明實施方式中矩陣加減單元功能示意圖。
具體實施例方式
為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發 明的實施方式作進一步地詳細描述。
不同標準的反變換技術差別很大，集中體現在反變換類型不同、反變換 大小不同、反變換位寬不同以及反變換步驟不同。在反變換類型上存在IDCT、 反整數餘弦變換(Inverse Integer Cosine Transform,簡稱"IICT")等； 反變換大小上存在8x8、 8x4、 4x8、 4x4;反變換位寬更是不同標準有 不同的要求；反變換步驟方面，IICT有嚴格的要求，有的需要中間移位飽和， 有的不需要，而IDCT沒有嚴格的步驟要求。本申請從這些差異方面入手， 設計統一的硬體實現算法結構。針對不同類型的反變換，抓住變換矩陣的雙 尺度對稱性，而忽略矩陣具體元素以及元素間的差異；針對不同大小的反變 換，採用遞歸的方法，將其統一稱為一個4x4矩陣乘法模塊；針對不同位寬，按最大位寬要求實現；針對步驟的不同，將反變換的步驟統一稱為四步， 對於每步設計其相應的模塊。在具體採用某個標準的解碼功能時，從這些模 塊中選擇需要的單元，配置組合實現其功能。這種技術方案可以提高硬體的 復用效率，在集成電路上實現時降低了硬體的面積。
不同標準對反變換的規定差別很大，但是其實現步驟可以統一歸結為如 下四步
S1: —維行變換，對反變換輸入數據塊的每行進行一維變換，表示為formula see original document page 7
S2:移位飽和，對S1的輸出結果r進行移位飽和操作，表示為 formula see original document page 7S3: —維列變換，對S2的輸出結果y進行一維列變換，表示為 S4:移位飽和，對反變換的輸出結果Zw^進行移位飽和操作，得到殘差
數據i wxM，表示為formula see original document page 7在上述S1 S4的步驟中，WxM矩陣X;vxw是反變換輸入數據；iVxM矩 陣Z^M是反變換結果；Qv是iVxiV的列變換矩陣；CM是MxM的行變換矩陣， 上標T表示轉置矩陣的含義；^xw—般代表殘差數據塊；^xM、 ！^M是指中 間結果。移位飽和對數據進行右移截尾，截尾前需要捨入處理。S2中w,代表 右移截尾的位數；A,是捨入數， 一般等於2w-i。 S4中W2代表右移截尾的位數； A2是捨入數， 一般等於2"-1。
當然，不是每個標準都必須完整包含這四步，比如H.264、 RealVideo 就沒有S2步驟，即不需要進行中間的移位飽和操作。
反變換的大小有8x8、 8x4、 4x8、 4x4。從一維角度來看，有8點 的變換、4點的變換。在本申請中，可以統一轉化為4點的反變換來處理。對於8點的一維反變換，它的矩陣Q都滿足形式:
formula see original document page 8
而對於4點的反變換矩陣C4，可以統一表示為
formula see original document page 8變換矩陣均滿足對稱性C4,2/) = C4A^1-,2/) Cw (_/, 2/ +1) = -Cw (w - W, 2/ +1) 。 cw (y, /)表示cw第(,/)各元素。
進一步，利用反變換矩陣的對稱性，G可以表示為
formula see original document page 8其中
formula see original document page 8formula see original document page 9
屍、e為排列矩陣，左乘排列矩陣實現矩陣行交換功能，右乘排列矩陣 實現矩陣列交換功能。
formula see original document page 9
8x8 二維反變換的實現方法如下: S1: —維行變換為
formula see original document page 9
，》u/、》肌、義w、 J^o分別表示f左上4x4子 矩陣、右上4x4子矩陣、左下4x4子矩陣、右下4x4子矩陣。 得到
formula see original document page 9
可見r由4個4x4矩陣乘法和4個矩陣加減法得到。4個矩陣乘法為 iij/C〖、》肌Cf 、》^CJ 、 ^dCJ ; 4個矩陣加減法為》^C〖+》肌d 、 (f^C〖-義肌CJ)屍、》^c〖+》如cj、(》^c〖-i朋cj)p。其中，矩陣乘法分成兩
類 一類是右乘Cf，稱為e類； 一類是右乘C稱為。類。 S2:移位飽和formula see original document page 10可見Z由4個4x4矩陣乘法和4個矩陣加減法得到。4個矩陣乘法為 C/^、 C0fiD、 C/肌、C。f^; 4個頭巨P車力口;鹹'法為C;fa;+CogD、屍《CVPuy—C0&D Cj^+C。&、 ,(C/肌-C。f肪)。其中，矩陣乘法分成兩類 一類是左乘C" 稱為￡類； 一類是左乘C。，稱為0類。
S4:移4立々包和為
i = (Z + A2) w2,每個係數需要1個加法和1次移位。 因此，總結起來，完成8x8二維反變換的步驟如下
(a) 對反變換輸入數據義進行列重排，得到^;
(b) 對4個4x4矩陣乘法進行運算，即計算》u/CJ、》肌CJ、 iiDCJ，
(C )進行矩陣加減運算，4個矩陣加減法為fwCj +》^CJ 、
(》u;CT-》肌(^)屍、J^dCJ+》朋CJ"、 (J^。c〖-i^Co"屍，得到r; (d)如有規定，對r進行移位飽和，得到y;
10
，&"、 ？肌、&D、 f肌分別表示f左上4x4子矩陣
右上4x4子矩陣、左下4x4子矩陣、右下4x4子矩陣,(e) 對y進行行重排，得到f;
(f) 對4個4x4矩陣乘法進行運算，即計算Cju;、 C。fiD、 Cefw、 C。ffl
(g )進行矩陣加減運算，4個矩陣加減法為Cef^ r(cei^-c。fiD)、 cefw+c。f^、嚴(c/肌-c。f朋)，得到反變換結果z矩陣。
(h)對z進行移位飽和，得到殘差矩陣i 。
4x8 二維反變換的實現方法如下: S1: —維行變換為
r = zc〖=,
記義=%^ =「& A、 A分別表示f左4x4子矩陣、右4x4子
矩陣,
得到
義i ^o
CJ" c〖屍 CJ —CJ屍
可見r由2個4x4矩陣乘法和2個矩陣加減法得到。2個矩陣乘法為 Ad、 前者為e類，後者為。類；2個矩陣加減法為ACJ+^CT、
S2:移位々包和為
r-(r+A,)》w,每個數需要1個加法和1次移位,
S3: —維列變換為
z = c4y,
定義7 = [^ &]， &、 ^分別表示y左4x4子矩陣、右4x4子矩陣。所以2 = [<:4& C4&],可見z由2個4x4矩陣乘法得到，屬於￡類。 S4:移^f立々包和為
/ = (Z + A2) w2，每個需要1個加法和1次移位。 因此，總結起來，完成8x4二維反變換的步驟如下
(a) 對反變換輸入數據X進行列重排，得到i;
(b) 對2個4x4矩陣乘法進行運算，即計算ACT、
(c )進行矩陣加減運算，2個矩陣加減法為Acj+Act 、 (Ac〖-Act )屍，
得到r;
(d) 如有規定，對r進行移位飽和，得到r;
(e) 對2個4x4矩陣乘法進行運算，即計算2 = (^4}^ =
，得 到反變換結果z矩陣。
(f) 對z進行移位飽和，得到殘差矩陣/ 。
4x4 二維反變換的實現方法如下 S1: —維行變換為 r = xc〖。
即進行1個4x4矩陣乘法運算，屬於e類。 S2:移^f立々包和為
y"r+A,)》w,每個數需要1個加法和1次移位。
S3: —維列變換為
即進行1個4x4矩陣乘法運算，屬於￡類。S4:移^f立飽和為
/ = (Z + A2) w2，每個數需要1個加法和1次移位。 因此，總結起來，完成4x4二維反變換的步驟如下
(a) 對1個4x4矩陣乘法進行運算，即計算得到r-xCT;
(b) 如有規定，對r進行移位飽和，得到r;
(c) 對1個4x4矩陣乘法進行運算，即計算z-cj,得到反變換結果 Z矩陣。
(d) 對Z進行移位飽和，得到殘差矩陣及。
如果有比8x8、 8x4更大的二維反變換，如16x8、 16x16等，也可 以用類似8x8、 8x4轉換成4x4的方法，先將16x8、 16x16轉換成8 x8，再轉換成4x4。因為方法類似，這裡不再詳細展開了。
綜合這些不同大小大反變換實現方法和步驟來看，它們有很多共同使用 的模塊。其中包含4個步驟的8x8反變換所用的模塊最多，相當一個全集； 其它變換可以看成它的子集，從其中的模塊選取幾個組成自己的實現方案。 作為這個全集的二維反變換裝置的結構如圖1所示。
該二維反變換裝置包括
重排單元，用於對輸入的二維矩陣數據進行或列的重排後輸出到矩陣乘
法單元。具體地說，重排單元完成(')f和e(')的操作，(')f表示右乘^,
表示左乘2。圖2是重排單元功能示意圖，旨在調整輸入數據U0 U7的順序， 使其按照Vi的順序。
變換係數生成單元，用於存儲不同標準的反變換矩陣係數。
矩陣乘法單元，用於根據變換係數生成單元提供的係數對輸入的數據進行矩陣乘法操作。矩陣乘法單元包括e類乘法和。類乘法，分別完成與Ce和C。 或者它們的轉置相乘(包括左乘和右乘)。圖3是矩陣減加單元功能示意圖， 對e類乘法和o類乘法兩組輸出結果進行加減操作。0 3是一組數據，4~7屬 於另一組數據，通過加減組合後得到新的輸出數據，其中，
e類乘法實現如下矩陣乘法關係
formula see original document page 14
o類乘法實現如下矩陣乘法關係
formula see original document page 14
矩陣加減單元，用於對矩陣乘法單元輸出的數據進行矩陣加減法操作。
移位飽和單元，用於對從矩陣加減單元輸入的數據進行移位飽和操作後 輸出。
轉置寄存器，用於緩存輸入的數據，並輸出經轉置的數據。 一種實現的 方法是以行的方式存入數據，以列的方式讀出數據。
控制單元，用於對處理過程進行控制，協調整個框架進行工作。
地址生成單元，用於根據控制單元的指令，為需要變換係數生成單元輸 出的反變換矩陣係數生成地址，為需要轉置寄存器輸出的數據生成地址。換 句話說，地址生成單元就是用於尋找變換係數、轉置寄存器等的值。
其中矩陣乘法單元和矩陣加減單元都是用於對輸入的二維矩陣數據的 每一行或列分別進行一維變換操作的，所以可以合稱為 一維變換模塊。
圖1所示的二維反變換裝置可以在集成電路中實現，也可以用分立元件
實現。其典型的動態工作過程如下從外部存儲器(不在二維反變換裝置中)中讀入數據，由重排單元進行 重排，重排後的數據送到矩陣乘法單元和矩陣加減單元進行一維行變換，變 換中所要用到的反變換係數由變換係數生成單元提供，此後由移位飽和單元 進行移位飽和處理，再送到轉置寄存器進行緩存，轉置寄存器輸出經轉置的 數據，重新送到重排單元進行重排，再送到矩陣乘法單元和矩陣加減單元進 行一維列變換(因為數據已被轉置，所以這次是對列進行處理)，由移位飽 和單元進行移位飽和處理後輸出到外部存儲器。
控制單元對上述過程進行總體的控制，控制單元通過地址生成單元生成 地址，指令變換係數生成單元向矩陣乘法單元輸出合適的反變換係數，通常 在一維行變換和一維列變換時地址是不同的，在以不同的標準進行反變換時 地址也是不同的。控制單元還通過地址生成單元生成地址以控制轉置寄存器 輸出合適的數據。
上述動態工作過程是先對行進行處理再對列進行處理，在某些應用環境 中也可以先對列進行處理再對行進行處理。
採用圖1所示的統一的硬體架構，可以兼容多種視頻、圖像標準的反變 換，達到減小硬體開銷，降低設計成本的目的。
在圖1的結構中，具體採用一個標準時，可以靈活配置成相應的結構。
比如對於H.264的變換，不需要重排單元、o類乘法部分、矩陣加減單元； 對於AVS變換，則每個單元都需要；對於RealVideo的反變換，不需要重 排單元、o類乘法部分、矩陣加減單元；這些配置通過控制器來實現。
雖然通過參照本發明的某些優選實施方式，已經對本發明進行了圖示和 描述，但本領域的普通技術人員應該明白，可以在形式上和細節上對其作各 種改變，而不偏離本發明的精神和範圍。
權利要求
1.一種二維反變換裝置，其特徵在於，包括變換係數生成單元，用於存儲不同標準的反變換矩陣係數；一維變換模塊，用於根據所述變換係數生成單元提供的係數對輸入的二維矩陣數據的每一行或列分別進行一維變換操作；轉置寄存器，用於緩存輸入的數據，並輸出經轉置的數據；控制單元，用於對處理過程進行控制；在所述控制單元的控制下，所述一維變換模塊對輸入的二維矩陣數據在一個維度上進行變換操作後輸出到所述轉置寄存器完成轉置，再次輸入到所述一維變換模塊進行另一個維度上的變換操作後輸出。
2. 根據權利要求1所述的二維反變換裝置，其特徵在於，還包括地址生成單元，用於根據所述控制單元的指令，為需要所述變換係數生 成單元輸出的反變換矩陣係數生成地址，為需要所述轉置寄存器輸出的數據 生成地址。
3. 根據權利要求2所述的二維反變換裝置，其特徵在於，所述一維變 換模塊包括矩陣乘法單元，用於根據所述變換係數生成單元提供的係數對輸入的數 據進行矩陣乘法操作；矩陣加減單元，用於對所述矩陣乘法單元輸出的數據進行矩陣加減法操作。
4. 根據權利要求3所述的二維反變換裝置，其特徵在於，還包括，移位飽和單元，用於對從所述矩陣加減單元輸入的數據進行移位飽和操 作後輸出；所述移位飽和單元設置在所述矩陣加減單元之後，對所述矩陣加減單元 輸出的數據進行移位飽和處理後再輸出。
5. 根據權利要求4所述的二維反變換裝置，其特徵在於，還包括重排單元，用於對輸入的二維矩陣數據進行或列的重排後輸出到所述矩 陣乘法單元；所述重排單元設置在所述矩陣乘法單元之前，對需要輸入到所述矩陣乘 法單元的數據預先進行重排。
6. 根據權利要求5所述的二維反變換裝置，其特徵在於，所述二維反 變換的算法包括8x8反餘弦變換，8x8反整數餘弦變換，8x4反整數餘弦變換，4x8 反整數餘弦變換，4x4反整數餘弦變換。
7. 根據權利要求6所述的二維反變換裝置，其特徵在於，所述矩陣乘 法單元、矩陣加減單元和移位飽和單元所處理的矩陣大小為4x4,如果需 要處理的矩陣大於4x4，則預先轉化為多個4 x 4的矩陣進行處理。
8. 根據權利要求3所述的二維反變換裝置，其特徵在於，矩陣乘法單 元包含兩部分e類乘法單元和o類乘法單元；其中，e類乘法單元完成以下類型的矩陣乘法formula see original document page 3o類乘法單元完成以下類型的矩陣乘法:formula see original document page 3
全文摘要
本發明涉及圖像、視頻編碼和處理領域，公開了一種二維反變換裝置，可以用統一的硬體架構兼容多種視頻、圖像標準的反變換。本發明中，先對二維矩陣在一個維度上進行處理，轉置後以相同的處理模塊對該二維矩陣在另一個維度上進行處理，將處理中用到的不同標準的反變換矩陣係數集中存貯，根據處理的需要使用相應的係數。
文檔編號H04N7/30GK101562744SQ20081004327
公開日2009年10月21日 申請日期2008年4月18日 優先權日2008年4月18日
發明者林福輝, 武曉陽 申請人:展訊通信(上海)有限公司