自適應視頻信號運算處理裝置的製作方法
2023-05-14 13:03:06 1
專利名稱：自適應視頻信號運算處理裝置的製作方法
技術領域：
本發明涉及用於例如數值計算、圖像處理、圖形處理等的計算機系統中的中央處理器，特別是，涉及適於例如象圖像壓縮編碼和解碼(CODEC)那樣的視頻信號處理的數位訊號處理器(DSP)等自適應視頻信號運算處理裝置。
背景技術：
近年來，以CCITT H.261建議和MPEG等的圖像壓縮編碼/擴張解碼標準為基礎，提出了多種用於圖像壓縮編碼和解碼中的數位訊號處理器(DSP)的方案。
本發明在這些DSP中涉及這樣的DSP，即，正如山內(Yamauchi)等人在文獻「高度並行單片視頻DSP(Architecture and Implemen-tation of a Highly Parallel Single-Chip Video DSP)」(IEEE TRANSACTIONS ON CIRCU ITS AND SYSTEMS FOR VIDEOTECHNOLOGY，VOL.2，NO.2，JUNE 1992，pp.207-220)裡所建議的那樣、具有多個由算術及邏輯運算器、乘法器和累加器組成的運算單元，這些運算單元使用藉助於單一指令流對多個數據進行並行處理的SIMD(「單指令流-多重數據流」)控制方式。
圖1示出該文獻所描述的構成。這種DSP運算單元可以把運算器以流水線方式連接起來，進行運算的流水線處理。
首先，簡單說明運算流水線的原理。
圖2示出運算流水線的構成例子。該運算流水線把兩個輸入X、Y在算術及邏輯運算器(ALU)A1中相加以後，把相加結果與來自係數存儲器A3的係數在乘法器A2中相乘，進而，把相乘結果在累加器A4中累加。把對多個數據連續進行這種運算鏈的處理，稱為「運算流水線處理」。
圖3示出圖2運算流水線中處理的時序圖。為簡單起見，假定運算流水線的各運算器A1、A2和A4在一個時鐘周期內完成運算。
圖3中的處理單位意味著是在兩個輸入端子上輸入的數據組(X，Y)。
如圖3所示那樣，例如，試看第i個處理單位，在第(k-1)個時鐘周期內，ALU(A1)進行加法處理；在第k個時鐘周期內，乘法器A2進行乘法處理；在第(k+1)個時鐘周期內，累加器A4進行累加處理。
另外，試看第k個時鐘周期，完成了加法處理和乘法處理的第(t-1)個處理單位，在累加器A4中累加；完成了加法的第i個處理單位在乘法器A2中進行乘法運算；第(i+1)個處理單位在加法器A1中進行加法運算。
通過對多個處理單位反覆進行這樣的操作，能夠實現運算的流水線處理。
其次，說明先有技術。
在這裡，考慮4組運算單元的藉助於單一指令流對多個數據進行並行處理、在上述文獻中所建議的「單指令流-多重數據流(SIMD)」控制方式的DSP。
作為前提，假定各運算單元由進行加法、減法和邏輯運算的算術及邏輯運算器(ALU)、乘法器、累加器等三種運算器組成。還有，為了簡單起見，假定，各運算器在一個時鐘周期內完成運算。因此，這種DSP在一個時鐘周期內最多可實現12個運算(例如，4個加法、4個乘法和4個累加)。進而假定，這種DSP在晶片內或晶片外具有用於存儲向運算器提供的數據、以及來自運算器的數據的數據存儲器。
首先，描述在上述前提下，實現自由度最大的運算流水線的構成。
如圖4A～圖4D所示，把數據存儲器看作流水線寄存器，藉助於軟體進行運算流水線處理(稱為軟體流水線操作)，藉此，能夠實現自由度最大的運算流水線。這時，各個運算器只通過數據存儲器耦合起來。另外，圖4A～圖4D分別示出四組並行設置的運算處理單元的動作狀態。因此，數據存儲器必須在每一個時鐘周期內，對全部運算器的輸入提供任意數據，同時，把來自全部運算器輸出的數據存儲到任意地址中。
數據存儲器的埠數，正如從圖4A～圖4D判定的那樣，用於至運算器輸入的必須有16個埠，用於來自運算器輸出的必須有12個埠。因此，必須是總計28個埠的多埠存儲器。結合當前的半導體電路技術來看，這是不現實的，實際上，難以實現。
因此，可以考慮採用把數據存儲器分成幾組、減少每一組埠數的方法。但是，例如，在上述例子中，即使把數據存儲器分割成4個組。還必須採用每一組為7個埠的多埠存儲器。
另外，可以採用根據應用程式把運算流水線的自由度限定於某一程度、以求減少數據存儲器埠數的方法。例如，正如上述文獻中所建議那樣備有4組由ALU、乘法器和累加器組成的運算流水線，只把運算流水線的輸入、輸出連接到數據存儲器上。在這種情況下，數據存儲器所需的埠中，用於至運算流水線輸入的變成為8個埠，用於來自運算流水線輸出的變成為4個埠。
可是，在上述先有技術DSP運算流水線的構成中，存在著運算流水線自由度的制約。例如，就乘法運算以後進行邏輯運算而言，不能進行流水線運算。在這種情況下，首先，利用乘法器對全部數據進行乘法流水線處理，其次，利用ALU對乘法運算後的全部數據進行邏輯運算的流水線處理。因此，因為在進行乘法運算時不能使用ALU、在進行邏輯運算時不能使用乘法器，所以，運算器的使用效率低，使性能低下。另外，因為是把運算流水線處理分成兩次進行的，所以，建立運算流水線時的初始化設定必須設定兩次。
又，在上述先有技術的DSP中，因為必須把完成第一次運算流水線處理時的中間結果存儲起來，所以，使數據存儲器的容量增大。
在圖像編碼和解碼的要素處理中，正如上述例子那樣，除了在乘法運算以後進行邏輯運算以外，還必須連續進行乘法運算和把幾個乘法運算的結果相加等。就每個這樣的運算而言，會產生與上述問題相同的問題。
另外，在上述先有技術的DSP運算流水線構成中，根據本申請人的、在專利申請書特願平4年338183號「二維8×8離散餘弦變換電路和二維8×8離散餘弦反變換電路」中所建議那樣的高速運算算法中，不能實現混合運算(加法和減法)和乘加法運算的運算流水線構成。
上述率先的專利申請書在進行二維8×8離散餘弦變換和二維8×8離散餘弦反變換時，是應用矩陣分析進行運算處理的，其細節將在後面參考圖9和圖10加以描述。
如上所述，不能構成運算流水線的理由是因為受到數據存儲器埠數的制約，還由於進行混合運算(在先有技術例子中，使用兩個運算單元)時，乘加法運算不能並行進行運算。由此，混合運算和乘加法運算是依次進行的，所以，與上述專利申請書中所建議那樣理想運算流水線的構成相比較，性能顯著低下。
發明的公開本發明的目的在於，提供一種能夠在圖像編碼和解碼的要素處理中把乘法運算以後進行的邏輯運算、連續進行乘法的運算、和把幾個乘法運算結果相加的各種運算自適應地在一個裝置中實現的自適應視頻信號運算處理裝置。
本發明的第二目的在於，通過以「單指令流-多重數據流(SIMD)」控制方式為基礎、使用一組運算流水線的一次流水線處理 能夠實現上述本發明的自適應視頻信號運算處理裝置。即，本發明的第二目的在於，提供一種能夠並行地實現使用不同運算器運算的、不降低運算器使用效率的自適應視頻信號運算處理裝置。
本發明的第三目的在於，提供一種建立運算流水線時的初始化設定一次即可的自適應視頻信號運算處理裝置。
本發明的第四目的在於，提供一種不須存儲中間結果、數據存儲器容量也不須加大的自適應視頻信號運算處理裝置。
為了解決上述課題、達到上述目的，本發明的基本設想是設置結構可變的運算流水線，即，在進行視頻信號處理的數據信號處理器(DSP)，就是說，在自適應視頻信號運算處理裝置中，具有多個由算術及邏輯運算器(ALU)、乘法器、累加器組成的運算單元，藉助於適當切換這些運算單元內的運算器連接形態和運算單元間的連接形態，實現自適應於下列圖像編碼和解碼處理中各種運算即各種要素處理的運算流水線，例如(1)離散餘弦變換(DCT)和離散餘弦反變換(IDCT)；(2)量化和反量化；(3)運動矢量檢出；(4)運動補償(假想像素的生成和預測像素的生成)；(5)濾波(內積運算)；(6)圖像相加和圖像差分。
因此，如果根據本發明，可以提供進行所需視頻信號處理的自適應視頻信號運算處理裝置。
這種裝置就m×n大小的像塊數據而言，是自適應地進行離散餘弦變換/離散餘弦反變換、量化/反量化、運動矢量檢出、運動補償內積運算、圖像數據相加和圖像數據差分處理等圖像壓縮編碼/擴張解碼處理的運算處理裝置。
這種裝置具有分別具有進行加法、減法、各種邏輯運算、大小比較、差分絕對值運算、混合加法和減法處理的擴展算術及邏輯運算器，設置在該擴展算術及邏輯運算器之後的第一內部流水線存儲器，設置在該第一內部流水線存儲器之後的乘法器，向該乘法器提供係數的係數存儲器，設置在該乘法器之後的第二內部流水線存儲器，設置在該第二內部流水線存儲器之後的累加運算器和設置在該累加運算器之後的第三內部流水線存儲器的多個並行設置的運算單元；
在這些多個並行設置的運算單元中，把相鄰運算單元連接起來那樣配置的互連流水線存儲器；以及把輸入數據有選擇地加到前述多個運算單元上的數據選擇器；這種裝置通過前述互連流水線存儲器把相鄰的運算單元耦合起來，並且，選擇前述運算單元內的內部流水線存儲器，構成給定的數據流通路徑。
如果根據上述構成，具有多個由算術及邏輯運算器(ALU)、乘法器、累加器組成的運算單元，藉助於適當切換這些運算單元內的運算器連接形態和運算單元間的連接形態，能夠對圖像編碼和解碼的各要素處理並行地進行流水線處理。
下面，更具體地描述關於各種運算處理的動作。
(1)在用於離散餘弦變換處理和離散餘弦反變換處理的情況下，在前述多個運算單元的第一級運算單元上，設置用於離散餘弦變換處理的數據輸入端子，在前述多個運算單元的末級運算單元上，設置用於離散餘弦反變換處理的數據輸出端子。
(2)當把m×n圖像數據作為一個像塊，多次進行混合運算和流水線存儲處理以進行離散餘弦變換處理時，把前述用於離散餘弦變換處理的數據輸入到除了前述末級運算單元以外的多個運算單元內的擴展算術及邏輯運算器上，把該擴展算術及邏輯運算器的處理結果輸出到相鄰的前述互連流水線存儲器上，把末級互連流水線存儲器的數據輸入到全部運算單元內的乘法器上，在前述累加器中對這種相乘結果進行累加。
(3)當把m×n圖像數據作為一個像塊，多次進行流水線存儲處理和混合運算以進行離散餘弦反變換處理時，
(a)把前述用於離散餘弦反變換的數據輸入到全部運算單元內的乘法器上，在前述累加器中對這種相乘結果進行累加；(b)把累加器的輸出輸入到除了前述第一級運算單元以外多個運算單元內的擴展算術及邏輯運算器上，把該擴展算術及邏輯運算器的處理結果輸出到相鄰的互連流水線存儲器上。
(4)在進行量化處理時，把相鄰運算單元內第一運算單元中乘法器的輸出端子連接到第二運算單元中乘法器的輸入端子上，把該第二乘法器的相乘結果輸入到其後的累加器上，把量化對象數據輸入到前述第一乘法器上。
(5)在進行反量化處理時，把相鄰運算單元內第一運算單元中乘法器的輸出端子連接到第二運算單元中乘法器的輸入端子上，把該第二乘法器的相乘結果輸入到其後的累加器上，把反量化對象的數據和常數輸入到第一運算單元上，把第一運算單元的運算結果輸入到第一乘法器上。
(6)在進行運動矢量檢出處理時，把全部運算單元內的擴展算術及邏輯運算器連接到累加器上，把運動矢量檢出對象的兩個數據輸入到前述擴展算術及邏輯運算器上。
(7)在運動補償中的假想像素生成處理時，把全部運算單元內的擴展算術及邏輯運算器連接到累加器上，把運動補償中假想像素生成對象的兩個數據輸入到前述擴展算術及邏輯運算器上。
(8)在運動補償中的預測像素生成處理時，把相鄰運算單元中一方的乘法器的輸出加到另一方的擴展算術及邏輯運算器中一個輸入端子上，把另一方的乘法器的輸出加到該另一方的擴展算術及邏輯運算器中另一個輸入端子上，在另一方累加器中對該另一方擴展算術及邏輯運算器的運算結果進行累加。
(9)在進行內積運算處理時，把內積對象的數據輸入到全部運算單元內的乘法器上，在對應的累加器中對該相乘結果進行累加。
(10)在進行圖像數據相加處理或者進行圖像數據相減處理時，把處理對象的數據輸入到全部運算單元內的擴展算術及邏輯運算器上，輸出該處理結果。
在前述運算單元內，前述擴展算術及邏輯運算器、前述乘法器和前述累加器適合進行流水線處理操作。
前述自適應視頻信號運算處理器又適合在用單一指令流進行多重數據流處理的「單指令流-多重數據流(SIMD)」控制方式下動作。
前述擴展算術及邏輯運算器又特定地具有把第一輸入數據的極性倒相的正負倒相器；設置在該正負倒相器之後有選擇地輸出前述第一輸入數據或前述極性已倒相的第一數據的第一數據選擇器；把該第一數據選擇器選擇後輸出的數據和第二輸入數據相加的加法器；從前述第一輸入數據中減掉前述第二輸入數據的減法器；對前述第一輸入數據和前述第二輸入數據進行或、與、異或、非等邏輯處理的邏輯運算器；輸入前述加法器和前述減法器的輸出、進行正負判定的正負判定器；輸入前述加法器、前述減法器和前述正負判定器的輸出、並有選擇地輸出的第二數據選擇器連接到該第二數據選擇器上的第一輸出端子；以及連接到前述減法器上的第二輸出端子，把上述電路加以組合，進行加法、減法、各種邏輯運算、大小比較以及差分絕對值運算中的任一種運算。
附圖的簡單說明上述目的和特徵、以及其它目的和特徵，根據與附圖有關的描述將會變得更清楚，這裡，圖1為「單指令流-多重數據流(SIMD)」控制方式的處理器構成圖；圖2為示出運算流水線例子的圖；圖3為示出圖2運算流水線處理中時序圖的圖；圖4為示出最大自由度的運算流水線構成的圖，圖4A～圖4D為分別示出4系統運算單元動作形態的圖；圖5為示出根據本發明實施例中運算單元耦合形態的自適應視頻信號運算處理裝置的構成圖；圖6為示出根據本發明實施例中運算單元0和2構成的圖；圖7為示出根據本發明實施例中運算單元1和3構成的圖；圖8為示出根據本發明實施例中擴展邏輯運算器(EALU)構成的圖；圖9為8×8離散餘弦變換(DCT)運算流水線的構成圖；圖10為8×8離散餘弦反變換(IDCT)運算流水線的構成圖；圖11為示出當進行根據本發明實施例中DCT處理時，自適應視頻信號運算處理裝置的運算流水線構成的圖，圖11A～圖11D為分別示出4系統運算單元動作形態的圖；圖12為示出當進行根據本發明實施例中IDCT處理時，自適應視頻信號運算處理裝置的運算流水線構成的圖，圖12A～圖12D為分別示出4系統運算單元動作形態的圖；圖13為示出當進行根據本發明實施例中量化處理時，自適應視頻信號運算處理裝置的運算流水線構成的圖，圖13A～圖13D為分別示出4系統運算單元動作形態的圖；圖14為示出當進行根據本發明實施例中反量化處理時，自適應視頻信號運算處理裝置的運算流水線構成的圖，圖14A～圖14D為分別示出4系統運算單元動作形態的圖；圖15為示出當進行根據本發明實施例中運動矢量檢出處理時，自適應視頻信號運算處理裝置的運算流水線構成的圖，圖15A～圖15D為分別示出4系統運算單元動作形態的圖；圖16為示出圖像編碼和解碼運動補償中假想像素生成規則的圖；圖17為示出當進行根據本發明實施例的運動補償中假想像素生成處理時，運算流水線構成的圖，圖17A～圖17D為分別示出4系統運算單元動作形態的圖；圖18為示出當進行根據本發明實施例的運動補償中預測像素生成處理時，運算流水線構成的圖，圖18A～圖18D為分別示出4系統運算單元動作形態的圖；圖19為示出當進行根據本發明實施例中濾波處理時，運算流水線構成的圖，圖19A～圖19D為分別示出4系統運算單元動作形態的圖；圖20為示出當進行根據本發明實施例的圖像相加和圖像差分處理時，自適應視頻信號運算處理裝置的運算流水線構成的圖，圖20A～圖20D為分別示出4系統運算單元動作形態的圖；
實施發明的最佳方式下面，參考附圖，詳述關於本發明實施例的自適應視頻信號運算處理裝置。
本發明實施例中，與先有技術同樣地，也考慮4組運算單元藉助於單一指令流並行動作、在上述文獻中所建議的「單指令流-多重數據流(SIMD)」控制方式的DSP。
作為本實施例的前提，假定各運算單元由進行加法、減法和邏輯運算的ALU、乘法器、累加器等三種運算器組成。還有，為了簡單起見，假定，各運算器在一個時鐘周期內完成運算。因此，這種DSP在一個時鐘周期內最多可實現12個運算。進而假定，這種DSP在晶片內或晶片外具有用於存儲向運算器提供的數據、以及來自運算器的數據的數據存儲器。
下面，先描述運算單元的構成，之後，說明圖像編碼解碼要素處理中運算單元的動作。
還有，這裡例示的圖像編碼解碼的要素處理主要是MPEG上所用的要素處理。
(1)運算單元的構成圖5示出4組運算單元1～4之間的耦合形態。圖5中，未示出數據存儲器。
實際上，數據輸入端子(Xin0～Xin3)11～14、數據輸入端子(Yin0～Yin3)21～24以及數據輸出端子(Out1～Out3)31～34通過某些相互耦合網連接到數據存儲器(圖中，未示出)上。
在這裡，為了簡單起見，假定數據存儲器能夠在每一個時鐘周期內把數據提供到上述8個數據輸入端子11～14和21～24上，同時，能夠在每一個時鐘周期內把來自上述4個數據輸出端子31～34的數據寫入。即，假定運算單元1～4和數據存儲器(圖中，未示出)藉助於具備有上述數據傳送能力的相互耦合網耦合起來。
把運算單元1～4之間耦合起來的存儲器(以下，稱為互連流水線存儲器)0(5)、存儲器1(6)、存儲器2(7)和並-串變換器9、串-並變換器10和數據選擇器8、41～44在實現後述離散餘弦變換(DCT)/離散餘弦反變換(IDCT)的高速運算算法中的大量運算流水線構成時，是必要的。
再有，就圖5所示DCT輸入端子51和IDCT輸出端子52而言，通過相互耦合網(圖中，未示出)連接到數據存儲器(圖中，未示出)上，也能夠在每一個時鐘周期內輸入、輸出數據。
圖6和圖7示出運算單元的內部構成。
圖6為運算單元0(1)和運算單元2(3)的內部構成圖，圖7為運算單元1(2)和運算單元3(4)的內部構成圖。
如圖6和圖7所示那樣，在運算單元內部進行加法、減法、邏輯運算和後述混合運算等運算的擴展算術及邏輯運算器(EALU)61、係數存儲器63、乘法器62、進行累加和移位運算的帶移位功能的累加器64、進而，輸入端子(Xink)1k(k表示第k個)、(Yink)2k和輸出端子(Oulk)3k通過數據選擇器71～75相互耦合起來。為了簡單起見，假定這些運算器全都能夠在一個時鐘周期內完成運算。因此，存在著設置在運算器61、62、64之後的內部流水線存儲器(圖示中，省略)。
藉助於採用運算器61、62、64與內部流水線存儲器這樣的耦合形態，根據數據選擇器71～75的設定，通過內部流水線存儲器能夠改變運算器61、62、64間的數據總線。因此，這種運算單元能夠採用1～3級結構可變的運算流水線的構成。
圖6所示運算單元與圖7所示運算單元的不同在於，圖7所示運算單元的構成是把第三輸入數據加到數據選擇器71和73上。
圖8示出擴展算術及邏輯運算器(EALU)61的構成。
EALU61具有正負倒相器301、數據選擇器306、加法器302、減法器303、邏輯運算器304、正負判定器305和數據選擇器307。該EALU61除一般ALU基本功能，即，加法、減法、邏輯運算(非、或、與、異或等)以外，作為擴展功能還備有大小比較運算min(X，Y)、max(X，Y)、差分絕對值運算|X-Y|和混合運算(就兩個輸入而言，同時進行加法和減法運算)。
這些基本功能和擴展功能通過適當組合上述各種運算器301、302、303、304和305，就可以實現。
下面，描述EALU61怎樣用各種運算器來實現上述基本功能和擴展功能。
加法加到輸入端子311和312上的兩個輸入數據X和Y的相加用加法器302實現。就輸入數據X而言，預先設定數據選擇器306使未通過正負倒相器301的數據X加到加法器302上。這樣，從加法器302輸出相加的結果(X+Y)。數據選擇器307把加法器302的相加輸出作為EALU61的輸出從A測輸出端子313輸出。
減法加到輸入端子311和312上兩個輸入數據的(X-Y)運算用減法器303實現。從減法器303輸出相減的結果(X-Y)。該相減結果從B側輸出端子314輸出。
邏輯運算加到輸入端子311和312上的兩個輸入數據(X，Y)的邏輯運算用邏輯運算器304實現。邏輯運算器304進行非、或、與、異或等邏輯運算，把該運算結果作為EALU61的結果通過數據選擇器307從A側輸出端子313輸出。
大小比較運算min(X，Y)和max(X，Y)加到輸入端子311和312上的兩個輸入數據(X，Y)的大小比較用正負倒相器301、加法器302、減法器303和正負判定器305來進行。正負倒相器301把輸入數據X倒相，已倒相的(-X)通過數據選擇器306加到加法器302上。這樣，從加法器302輸出相減的結果(Y-X)。另一方面，在減法器303中進行減法(X-Y)的運算。把相加結果(Y-X)和相減結果(X-Y)加到正負判定器305上，進行輸入數據X和Y大小的比較判定。正負判定器305根據下述判定標準進行大小判定1.最小值min(X，Y)(Y-X)≥0時，最小值＝X(Y-X)＜0時，最小值＝Y2.最大值max(X，Y)(X-Y)≥0時，最大值＝Y(X-Y)＜0時，最大值＝X但是，不能同時輸出最小值和最大值。數據選擇器307把正負判定器305的輸出作為EALU61的輸出從A測輸出端子313輸出。差分絕對值運算|X-Y|
加到輸入端子311和312上的兩個輸入數據(X，Y)的差分絕對值運算用正負倒相器301、加法器302、減法器303和正負判定器305進行。就輸入數據X而言，預先設定數據選擇器306、使通過正負極性倒相器301倒相後的-X經數據選擇器306選擇後輸出到加法器302上。加法器302進行加法運算(Y-X)，減法器303進行減法運算(X-Y)。把這些運算結果輸入到正負判定器305上。正負判定器305進行下述差分絕對值運算。
(Y-X)≥0時，差分絕對值＝Y-X(X-Y)＜0時，差分絕對值＝X-Y數據選擇器307把上述運算後的差分絕對值從A側輸出端子313輸出。
混合運算對加到輸入端子311和312上的兩個輸入數據(X，Y)的混合運算用加法器302和減法器303實現。預先設定數據選擇器306，使輸入數據X不經過正負倒相器301加到加法器302上。加法器302進行(X+Y)的加法運算，減法器303進行(X-Y)的減法運算。數據選擇器307把加法器302的輸出作為EALU61的輸出從A側輸出端子313輸出，與此同時，把減法器303的相減結果從B側端子314輸出。
只在這種混合運算的情況下，EALU61才作為兩個輸入、兩個輸出的運算器進行動作。在上述以外的運算中，EALU61是作為兩個輸入、一個輸出的運算器進行動作的。
下面，分別說明DCT/IDCT和量化等圖像編碼和解碼的各要素處理中運算單元的動作。
離散餘弦變換/離散餘弦反變換(DCT/IDCT)
在離散餘弦變換/離散餘弦反變換(DCT/IDCT)的要素處理中，利用本發明實施例的運算單元，按下述那樣來實現與本申請人以前申請的、在特願平4年338183號說明書和附圖中所建議那樣的高速運算算法相適應的混合運算(加法和減法)和乘加法運算的大量運算流水線的構成。
圖9示出8×8DCT運算流水線構成的略圖，圖10示出8×8IDCT運算流水線構成的略圖。
這些運算流水線的處理單位為8×8像塊(64個像素)，成為通過流水線存儲器131～133的4級運算流水線的構成。因此，與以通常的像素為單位、在每一個時鐘周期內進行流水線處理的流水線不同，因為是在每64個時鐘周期內進行流水線處理的，所以，可以認為是大量的運算流水線。
下面，通過8×8DCT的例子，簡單說明上述運算流水線的高速運算算法。
藉助於前述專利申請書、特願平4年338183號中所建議那樣的矩陣分析，8×8DCT可以藉助於對8×8像塊(64個像素)進行165次混合運算(加法165次和減法165次)、進而，進行220次乘加法(乘法220次和累加220次)運算來實現。因此，通過採用圖9所示那樣的4級運算流水線的構成。即按照3個混合運算器101～103和4個乘加法運算器111的電路構成，就能夠在64個時鐘周期(理想情況為55個時鐘周期)內進行運算流水線的處理，計算8×8DCT。
就8×8IDCT而言，只是交換了乘加法運算與混合運算的順序，運算量和運算流水線的級數都不變。
在上述申請中，因為使乘加法器的個數為3個，為了進一步減少乘加法運算的次數想了一些辦法，但是，在本發明實施例中，因為假定乘加法器的個數為4個，所以，不須下工夫減少乘加法運算的次數了。
圖11A～圖11D示出在利用本發明實施例中的運算單元實現上述8×8DCT運算流水線構成的情況下的運算器與存儲器的耦合形態(數據總線)。圖11A～圖11D分別示出4個系統的運算單元動作形態。
正如圖11A～圖11D和圖5所示那樣，把運算單元0(1)、1(2)、2(3)內的EALU61通過存儲器0(5)、1(6)、2(7)、即流水線存儲器5、6、7連接成流水線。進而，把運算單元2(3)中EALU61的輸出通過串-並變換器10、數據選擇器41～44連接到4個乘法器62上，把各個乘法器62的輸出與帶移位功能的累加器64連接成流水線。因為這時的EALU61進行作為前述EALU擴展功能的混合運算，所以，變成為有兩個輸入、兩個輸出。
藉助於採用這樣的運算器與存儲器的耦合形態，實現圖9所示大量的運算流水線構成。
圖12A～圖12D示出在利用本發明實施例中的運算單元實現上述8×8IDCT的運算流水線構成的情況下的運算器與存儲器的耦合形態(數據總線)。圖12A～圖12D分別示出4個系統的運算單元動作形態。
正如圖12A～圖12D和圖5所示那樣，把各運算單元的4個乘法器62與各個帶移位功能的累加器64連接成流水線。進而，把全部帶移位功能的累加器64的輸出通過並-串變換器9、數據選擇器3連接到存儲器0(5)上。另外，把運算單元1(2)、2(3)、3(4)的EALU61通過存儲器0(5)、1(6)、2(7)即流水線存儲器5、6、7連接成流水線。因為這時的EALU61進行作為前述EALU擴展功能的混合運算，所以，變成為有兩個輸入、兩個輸出。
藉助於採用這樣的運算器與存儲器的耦合形態，實現圖10所示大量的運算流水線構成。
量化和反量化處理(1)量化在圖像編碼和解碼的量化處理中，存在著像下列(1)式那樣連續進行乘法運算、進而進行移位運算的運算結構。這是量化處理中最複雜的運算結構。Y=8X121QP---(1)]]>其中，X為量化前的像素值Y表示量化後的像素值W表示量化矩陣的係數QP表示量化的比例參數圖13A～圖13D示出在利用本發明實施例中的運算單元實現上式運算的情況下的運算器的耦合形態(數據總線)。圖13A～圖13D分別示出4系統的運算單元動作形態。
如圖13A～圖13D所示那樣、藉助於把兩個乘法器62與帶移位功能的累加器64連接成流水線所實現的數據總線，上式運算結構可以不分割處理，利用一組運算流水線就能夠處理。在這種量化處理的運算結構中，利用本發明實施例中運算單元的構成，如圖13A～圖13D所示那樣能夠實現2組3級的運算流水線。藉助於採用這樣的運算流水線構成，能夠兩組並行地對像塊內全部像素的量化進行流水線處理。
(2)反量化在圖像編碼和解碼的反量化處理中，存在著像下列(2)式那樣在進行了移位和相加以後連續進行乘法運算、進而進行移位運算的運算結構。這是反量化處理中最複雜的運算結構。X=116{(2Y+K)WQP}----(2)]]>其中，X為量化前的像素值、Y為表示量化後的像素值K為表示反量化時必要的常數(K＝0，1，或-1)W為量化矩陣的係數QP表示量化的比例參數圖14A～圖14D示出在利用本發明一個實施例中的運算單元實現上式運算的情況下的運算器的耦合形態(數據總線)。圖14A～圖14D分別示出4系統的運算單元動作形態。
如圖14A～圖14D所示那樣，藉助於把EALU61和兩個乘法器62與帶移位功能的累加器64連接成流水線所構成的數據總線，上式運算結構可以不分割利用一組運算流水線就能夠實現。假定利用EALU61在一個時鐘周期內就能夠實現移位、與常數相加。在這種反量化處理的運算結構中，利用本發明實施例中運算單元的構成，如圖14A～圖14D所示那樣能夠實現2組4級的運算流水線。藉助於採用這樣的運算流水線構成，能夠兩組並行地對像塊內全部像素的反量化進行流水線處理。
運動矢量檢出在圖像編碼和解碼的運動矢量檢出處理中，如下式那樣差分絕對值的求和運算只須運動矢量候補個數那樣多(在搜索算法中採用塊矩陣的全搜索的情況)。
∑|X-Y| (3)其中，X表示作為運動矢量搜索基準的像塊(稱為參考塊)的像素值Y表示作為運動矢量搜索對象的像塊(稱為候補塊)的像素值圖15A～圖15D示出在利用本發明一個實施例中的運算單元實現上式運算的情況下的運算器的耦合形態(數據總線)。圖15A～圖15D分別示出4系統的運算單元動作形態。
如圖15A～圖15D所示那樣，藉助於把EALU61與帶移位功能的累加器64連接成流水線所構成的數據總線，上式差分絕對值的求和運算可以不分割，利用一組運算流水線就能夠實現。還有，在差分絕對值運算中，利用了前述EALU61的擴展功能、即差分絕對值運算功能。在這種運算矢量檢出處理的差分絕對值求和運算中，利用本發明實施例中運算單元的構成，如圖15A～圖15D所示那樣能夠實現4組2級的運算流水線。
藉助於採用這樣的運算流水線構成，能夠4組並行地對全部候補像塊的運算矢量檢出進行流水線處理。
運動補償(假想像素的生成和預測像素的生成)圖像編碼和解碼中的運動補償處理可以根據運動矢量的數值和像塊的方式分成為各種處理情況。參考其中進行最複雜運算的情況。
這時，可以把運動補償處理分成為假想像素的生成和預測像素的生成的兩種處理。
下面，說明在本發明實施例運算單元中怎樣實現分別適應上述兩種處理的運算流水線的構成。
(1)假想像素的生成假想像素生成的處理是隨著1/2像素精度的運動矢量在像素間進行內插從而生成假想像素的處理。
圖16示出假想像素生成的規則。正如從圖16的圖解中可以弄清的那樣，最複雜的假想像素生成的處理是從互相靠近的四個像素中生成一個假想像素的情況。a=14(X+Y+Z+W)---(4)]]>其中，a表示假想像素X，Y，Z，W表示互相靠近的四個像素圖17A～圖17D示出在利用本發明實施例中的運算單元實現上式運算的情況下的運算器的耦合形態(數據總線)。圖17A～圖17D分別示出4系統的運算單元動作形態。
如圖17A～圖17D所示那樣，藉助於把EALU61與帶移位功能的累加器64連接成流水線所構成的數據總線，上式的運算結構可以不分割利用一組運算流水線就能夠處理。
在這種假想像素的生成處理中，利用本發明一個實施例中運算單元的構成，如圖17A～圖17D所示那樣能夠實現4組2級的運算流水線。
藉助於採用這樣的運算流水線構成，能夠4組並行地對像塊內全部像素的假想像素生成進行流水線處理。
(2)預測像素的生成預測像素生成的處理根據運動補償預測是單向(前向或後向)、還是雙向的方式而不同。
在運動補償預測為單向的情況下，只須根據運動矢量從幀存儲器取數，如果獲得了該像塊即可。
可是，在運動補償預測為雙向的情況下，則要根據前向和後向兩種運動矢量，從兩個幀存儲器分別獲得像塊，進而，把這些像素按照時間的距離加以平均，獲得預測值。a=116{AX+(16-A)X}---(5)]]>其中，a表示雙向運動補償預測值X，Y分別表示前向和後向運動補償的預測值A為按照兩個像塊的時間的距離確定的參量。
圖18A～圖18D示出在利用本發明一個實施例中的運算單元實現上式運算的情況下的運算器的耦合形態(數據總線)。圖18A～圖18D分別示出4系統的運算單元動作形態。
如圖18A～圖18D所示那樣地，藉助於把兩個乘法器62的輸出作為EALU61的輸入、進而與帶移位功能的累加器64連接成流水線所構成的數據總線，上式的運算結構可以不分割，利用一組運算流水線就能夠實現。
在這種預測像素的生成處理中，利用本發明實施例中運算單元的構成，如圖18A～圖18D所示那樣能夠實現2組3級的運算流水線。
藉助於採用這樣的運算流水線構成，能夠2組並行地對像塊內全部像素的預測像素生成進行流水線處理。
濾波(內積運算)不限於圖像編碼和解碼，濾波處理是圖像處理中基本的要素處理。在這裡，考慮對像塊內的全部像素進行一維濾波處理的情況。
在濾波處理中，下式那樣的內積運算是必要的。
∑C·X (6)其中，C表示濾波係數X表示像塊內的像素圖19A～圖19D示出在利用本發明實施例的運算單元實現上式運算的情況下的運算器的耦合形態(數據總線)。圖19A～圖19D分別示出4系統的運算單元動作形態。
如圖19A～圖19D所示那樣，藉助於把乘法器62與帶移位功能的累加器64連接成流水線所構成的數據總線，上式的內積運算可以不分割、利用一組運算流水線就能夠實現。在這種濾波處理中，利用本發明實施例中運算單元的構成，如圖19A～圖19D所示那樣能夠實現4組2級的運算流水線。
藉助於採用這樣的運算流水線構成，能夠4組並行地對像塊內全部像素的濾波處理進行流水線處理。
圖像相加和圖像差分不限於圖像壓縮編碼解碼，圖像相加和圖像差分也是圖像處理中基本的要素處理。
在這裡，考慮在像塊之間計算圖像相加或圖像差分的情況。
圖20A～圖20D示出在利用本發明一個實施例中的運算單元實現圖像相加或圖像差分的情況下的運算器的耦合形態(數據總線)。圖20A～圖20D分別示出4系統的運算單元動作形態。
利用本發明實施例中運算單元的構成，如圖20A～圖20D所示那樣能夠實現4組利用EALU61的1級運算流水線。藉助於採用這樣的運算流水線構成，能夠4組並行地對像塊內全部像素的圖像相加或圖像差分進行流水線處理。
以上實施例所描述的雖然是關於以視頻信號為代表的自適應處理，但是，在本發明自適應視頻信號運算處理裝置中，並不限於上述的信號處理例子，也能夠適用於其它信號與上述同樣的處理。
如果根據本發明，在圖像編碼和解碼的要素處理中，就能夠把在乘法運算以後進行的邏輯運算、連續進行乘法的運算和將幾個乘法運算結果相加的各種運算自適應地在一個自適應視頻信號運算處理裝置中實現。
還有，利用以「單指令流-多重數據流(SIMD)」控制方式為基礎的、使用一組運算流水線的一次流水線處理，就能夠實現本發明自適應視頻信號運算處理裝置。
因此，與先有技術的構成相比較，因為本發明自適應視頻信號運算處理裝置能夠並行地實現使用不同運算器的運算，所以，不降低運算器的使用效率。
本發明自適應視頻信號運算處理裝置建立運算流水線時的初始化設定一次即可。進而，因為本發明自適應視頻信號運算處理裝置不須存儲中間結果，所以，數據存儲器的容量不增大。
因為本發明自適應視頻信號運算處理裝置能夠實現把3個混合運算器和乘加法器通過流水線存儲器連接成大量運算流水線的構成，所以，可以實現按照前述特願平4年第338183號申請書(平成4年11月25日申請)中所建議那樣電路構成的、DCT高速運算算法中混合運算和乘加法運算流水線的構成。這樣，本發明自適應視頻信號運算處理裝置 在圖像編碼和解碼的DCT/IDCT的要素處理中，與先有技術的構成相比，運算器的使用效率已大幅度提高，性能也改善了。
產業上使用的可能性本發明自適應視頻信號運算處理裝置涉及用於例如數值計算、圖像處理、圖形處理等計算機系統中的中央處理裝置(處理器)，特別是，適用於對於圖像壓縮編碼和解碼(CODEC)那樣的視頻信號處理作為數位訊號處理器來使用的裝置。
符號表A1-算術及邏輯運算器(ALU)A2-乘法器A3-係數存儲器A4-累加器1～4-本發明實施例中的運算單元5～7-互連流水線存儲器
8-數據選擇器9-並-串變換器10-串-並變換器11～14，21～24-運算單元的輸入31～34-運算單元的輸出端子41～44-數據選擇器51-用於8×8DCT的輸入端子52-用於8×8IDCT的輸出端子61-擴展算術及邏輯運算器(EALU)62-乘法器63-係數存儲器64-帶移位功能的累加器71～75-數據選擇器301-正負倒相器302-加法器303-減法器304-邏輯運算器305-正負判定器306，307-數據選擇器311，312-EALU的輸入端子313，314-EALU的輸出端子101～103-混合運算器111-乘加法器121-串-並變換器
122-並-串變換器131～133-流水線存儲器141-數據存儲器
權利要求
1.一種自適應視頻信號運算處理裝置，其特徵在於，該裝置就m×n大小的像塊數據而言，是自適應進行離散餘弦變換/離散餘弦反變換、量化/反量化、運動矢量檢出、運動補償、內積運算、圖像數據相加和圖像數據差分處理等圖像壓縮編碼/擴張解碼處理的運算處理裝置；該裝置具有多個並行設置的運算單元，所述運算單元分別具有進行加法、減法、各種邏輯運算、大小比較、差分絕對值運算、混合加法和減法處理的擴展算術及邏輯運算器，設置在該擴展算術及邏輯運算器之後的第一內部流水線存儲器，設置在該第一內部流水線存儲器之後的乘法器，向該乘法器提供係數的係數存儲器，設置在該乘法器之後的第二內部流水線存儲器，設置在該第二內部流水線存儲器之後的累加運算器，以及設置在該累加運算器之後的第三內部流水線存儲器；在所述多個並行設置的運算單元中，把相鄰運算單元連接起來那樣配置的互連流水線存儲器；以及把輸入數據有選擇地加到上述多個運算單元上的數據選擇器；該裝置通過上述互連流水線存儲器把相鄰的運算單元耦合起來，並且，選擇上述運算單元內的內部流水線存儲器，構成給定的數據流通路徑；該裝置進行上述離散餘弦變換等所需的視頻信號處理。
2.根據權利要求1中所述的自適應視頻信號運算處理裝置，其特徵在於，上述裝置在用單一指令流進行多重數據流處理的、「單指令流-多重數據流(SIMD)」控制方式下動作。
3.根據權利要求1或2中所述的自適應視頻信號運算處理裝置，其特徵在於，在上述運算單元內，上述擴展算術及邏輯運算器、上述乘法器和上述累加器進行流水處理操作。
4.根據權利要求3中所述自適應視頻信號運算處理裝置，其特徵在於，上述擴展算術及邏輯運算器具有把第一輸入數據的極性倒相的正負倒相器；設置在該正負倒相器之後、有選擇地輸出上述第一輸入數據或上述極性已倒相的第一數據的第一數據選擇器；把該第一數據選擇器選擇後輸出的數據和第二輸入數據相加的加法器；從上述第一輸入數據中減掉上述第二輸入數據的減法器；對上述第一輸入數據和上述第二輸入數據進行或、與、異或、非等邏輯處理的邏輯運算器；輸入上述加法器和上述減法器的輸出、進行正負判定的正負判定器；輸入上述加法器、上述減法器和上述正負判定器的輸出、有選擇地輸出的第二數據選擇器；連接到該第二數據選擇器上的第一輸出端子；以及連接到上述減法器上的第二輸出端子；把上述電路適當組合，進行加法、減法、各種邏輯運算、大小比較、差分絕對值運算、混合加法和減法處理中的任何一種運算。
5.根據權利要求4中所述的那種自適應視頻信號運算處理裝置，其特徵在於，在上述多個運算單元的第一級運算單元上，設置輸入用於離散餘弦變換處理的數據的端子；在上述多個運算單元的末級運算單元上，設置輸出用於離散餘弦反變換處理的數據的端子。
6.根據權利要求5中所述的自適應視頻信號運算處理裝置，其特徵在於，當把m×n圖像數據作為一個像塊、多次進行混合運算和流水線存儲處理以進行離散餘弦變換處理時，按下述方式來確立路徑(a)把上述用於離散餘弦變換處理的數據輸入到除了上述末級運算單元以外的多個運算單元內的擴展算術及邏輯運算器上，把該擴展算術及邏輯運算器的處理結果輸出到上述相鄰的互連流水線存儲器上；(b)把末級的互連流水線存儲器的數據輸入到全部運算單元內的乘法器上，在上述累加器中對其相乘結果進行累加。
7.根據權利要求5中所述的自適應視頻信號運算處理裝置，其特徵在於，當把m×n圖像數據作為一個像塊、多次進行流水線存儲處理和混合運算以進行離散餘弦反變換處理時，按下述方式來確定路徑(a)把上述用於離散餘弦反變換的數據輸入到全部運算單元內的乘法器上，在上述累加器中對其相乘結果進行累加；(b)把上述累加器的輸出輸入到除了上述第一級運算單元以外多個運算單元內的擴展算術及邏輯運算器上，把該擴展算術及邏輯運算器的處理結果輸出到相鄰的互連流水線存儲器上。
8.根據權利要求1～4中任一項所述的自適應視頻信號運算處理裝置，其特徵在於，在進行量化處理時，按下述方式來確定路徑(a)把相鄰運算單元內的第一運算單元中的乘法器的輸出端子連接到第二運算單元中的乘法器的輸入端子上；(b)把該第二運算單元中的乘法器的相乘結果輸入到其後的累加器上；(c)把量化對象的數據輸入到上述第一運算單元中的乘法器上。
9.根據權利要求1～4中任一項所述的自適應視頻信號運算處理裝置，其特徵在於，在進行反量化處理時，按下述方式來確定路徑(a)把相鄰運算單元內的第一運算單元中的乘法器的輸出端子連接到第二運算單元中的乘法器的輸入端子上；(b)把該第二運算單元中的乘法器的相乘結果輸入到其後的累加器上；(c)把反量化對象的數據和常數輸入到第一運算單元上，把它的運算結果輸入到第一運算單元中的乘法器上。
10.根據權利要求1～4中任一項所述的自適應視頻信號運算處理裝置，其特徵在於，在進行運動矢量檢出處理時，按下述方式來確定路徑(a)把全部運算單元內的擴展算術及邏輯運算器連接到累加器上；(b)把運動矢量檢出對象的兩個數據輸入到上述擴展算術及邏輯運算器上。
11.根據權利要求1～4中任一項所述的自適應視頻信號運算處理裝置，其特徵在於，在進行運動補償中的假想像素生成處理時，按下述方式來確定路徑(a)把全部算術單元內的擴展算術及邏輯運算器連接到累加器上；(b)把運動補償中假想像素生成對象的兩個數據輸入到上述擴展算術及邏輯運算器上。
12.根據權利要求1～4中任一項所述的自適應視頻信號運算處理裝置，其特徵在於，在進行運動補償中的預測像素生成處理時，按下述方式來確定路徑(a)把相鄰運算單元中的一方的乘法器的輸出加到另一方的擴展算術及邏輯運算器中的一個輸入端子上；(b)把另一方的乘法器的輸出加到該另一方的擴展算術及邏輯運算器中另一個輸入端子上；(c)在另一方的累加器中對該另一方的擴展算術及邏輯運算器的運算結果進行累加。
13.根據權利要求1～4中任一項所述的自適應視頻信號運算處理裝置，其特徵在於，在進行內積運算處理時，按下述方式來確定路徑(a)把內積對象的數據輸入到全部運算單元內的乘法器上；(b)在對應的累加器中對該相乘結果進行累加。
14.根據權利要求1～4中任一項所述的自適應視頻信號運算處理裝置，其特徵在於，在進行圖像數據相加處理時，或者，在進行圖像數據相減處理時，按下述方式來確定路徑，即把處理對象的數據輸入到全部運算單元內的擴展算術及邏輯運算器上，輸出該處理結果。
全文摘要
就m×n大小的像塊數據而言，自適應地進行離散餘弦變換(DCT)/離散餘弦反變換(IDCT)、內積運算、圖像數據相加和圖像數據差分處理等圖像壓縮編碼/擴張解碼處理的運算處理裝置，具有(a)多個並行設置的運算單元1～4；(b)互連流水線存儲器5～7(C)數據選擇器41～44，通過互連流水線存儲器把相鄰的運算單元耦合起來，選擇運算單元內的內部流水線存儲器，構成給定的數據流通路徑，進行上述視頻信號處理。
文檔編號G06T1/20GK1108865SQ94190248
公開日1995年9月20日 申請日期1994年3月30日 優先權日1993年3月31日
發明者巖田英次 申請人:索尼公司