並行流水運動補償濾波器vlsi結構設計方法

2023-12-02 07:04:01 2

專利名稱：並行流水運動補償濾波器vlsi結構設計方法
技術領域：
本發明屬於視頻解碼領域，特別涉及一種並行流水運動補償濾波器VLSI結構設 計方法。
背景技術：
H. 264視頻編解碼標準是當前國際上主流的編解碼標準。作為新一代視頻編碼標 準，H. 264視頻編碼標準與過去的視頻編碼標準相比，編碼構架基本相同，但是編碼效率有 了大幅度的提高。其代價是運算的過程更加複雜，計算量更大，這些都增大了視頻解碼器 硬體實現的難度。所以，在設計視頻解碼晶片時，應當致力於提高解碼效率，減少面積和功 耗。但是，在視頻解碼領域中，設備的功耗與片上面積總是受到各種限制。既需要實現更復 雜的解碼算法，提高效率，又要減少面積、降低功耗，所以仍然存在許多挑戰。運動補償是利 用參考圖像恢復當前圖像的一種技術，用來重構時間冗餘信息，進而恢復出整個視頻序列。 在H. 264的整個解碼過程中，運動補償佔用的時間很高，該模塊的特點是數據讀取耗時，且 計算量很大。H. 264解碼運動補償運算所消耗的時間最多。特別是針對高清和超高清視頻 解碼應用，設計高效實時的運動補償濾波器成為研究熱點。

發明內容
針對上述現有技術不足，本發明目的在於提供一種並行流水運動補償濾波器VLSI 結構設計方法。利用並行處理和數據復用的計算方式進行解碼運動補償，減少整個解碼的 處理時間，從而提高解碼器的解碼效率，提高解碼性能。為了實現上述任務，本發明採用的技術解決方案是從片外存儲器的讀取已解碼出來的一個宏塊的運動矢量與塊劃分類型控制流信 息，存放到片上存儲器上；根據已存放到片上存儲器的這些控制流信息，從片外存儲器讀取需要運動補償所
對應子塊的參考像素數據，並存放在分層片上存儲器的參考像素數據存儲器層，進行運動
補償，運動補償分為亮度分量和色度分量兩大模塊，色度分量包括U分量和V分量，亮度分
量採用六抽頭濾波運算，色度分量採用雙線性插值濾波運算，整個處理過程是將亮度和色
度分量進行並行流水處理，亮度分量參考像素數據從片外存儲器讀取完畢之後，直接進入
色度的U分量參考像素數據的讀取階段，亮度分量的運算和色度的U分量參考像素數據讀
取在同一時刻開始進行，色度的U分量運算完畢後，緊接著進行色度的V分量參考像素讀取
和運算，當完成色度的兩個分量的運算之後，再次進行亮度分量參考像素數據的讀取，一個
宏塊運動補償完畢，再次從片外存儲器讀取下一個宏塊的控制流信息，用於該宏塊運動補 償。 所述運動矢量描述了當前塊運動估計運算的結果，運動越劇烈，運動矢量數值越 大，塊劃分類型代表當前塊的長和寬。所述的分層片上存儲器分為三層，包括參考像素數據存儲器層、中間結果存儲器層及數據復用存儲器層，參考像素數據存儲器層分為亮度和色度存儲片，存放從片外存儲 器讀取的亮度和色度參考像素數據，亮度運算過程中經常碰到需要保存中間結果的情況， 需要將這些數據存放於中間結果存儲器層上，作為下一次濾波運算的輸入量，子宏塊亮度 和色度分量運算完畢，再次進行亮度分量參考像素數據的讀取，子宏塊的亮度參考像素數 據從片外存儲器的讀取與更新十分耗時，而相鄰的子宏塊的參考像素有著很大程度的交 疊，在更新參考幀數據時應該合理的安排更新順序，復用片上存儲器中已有的上一個子宏 塊的參考像素數據，存放到分層片上存儲器的數據復用存儲器層上，在當前子宏塊運動補 償運算完畢，下一子宏塊運動補償運算開始時，先進行判斷，如果可以實現數據復用，則先 將數據復用存儲器的數據寫入參考像素數據存儲器中，再從片外存儲器讀取其餘參考像
器o本發明實現色度和亮度的並行解碼，提高並行解碼的效率和速度，減少對片外存 儲器的訪問，節約了讀取數據所用時間，減少了數據帶寬，以實現實時高清視頻解碼，適應 高清視頻應用的發展。


圖1是運動補償模塊的體系架構示意圖。圖2是運動補償內在流水線計算處理示意圖。圖3是亮度分量的三層存儲器結構示意圖。圖4是更新處理順序數據復用示意圖。圖4 (a)表示第1個8x8塊參考像素。圖4 (b)表示第2個8x8塊參考像素。圖4 (c)表示第1個8x8塊和第2個8x8塊的公共參考像素。圖4 (d)表示第2個8x8塊參考像素。圖4 (e)表示第4個8x8塊參考像素。圖4 (f)表示第2個8x8塊和第4個8x8塊公共參考像素。
具體實施例方式圖1所示是運動補償模塊的整體架構設計圖。在圖中可以看到，本模塊可大致分 為三個部分。下面分別做以介紹。 第一部分是模塊輸入輸出接口。其中，輸入接口是片外存儲器，從中讀取參考幀像 素數據、運動矢量與塊劃分類型等信息。輸出接口是向外存中寫入重構好的當前幀數據，其 中包含亮度與色度兩個分量的數值。第二部分是分層的片上存儲器，用來存放從外存讀取的所需數據。為了減少讀取 帶寬、提高數據復用率，同時，為了實現自適應的大小可變塊處理，本文採用了三層片上緩 存器結構，包括參考像素數據存儲器層、中間結果存儲器層及數據復用存儲器層。第一層片 上存儲器作為參考像素數據存儲器層，存放讀入的參考幀數據，第二層片上存儲器作為中 間結果存儲器層，存放濾波器運算的中間結果，第三層片上存儲器作為數據復用存儲器層， 存放部分參考像素，以便重寫到第一層片上存儲器中參與下次運算。第三部分是插值濾波器組，具體分為亮度運算和色度運算兩大子模塊。其中亮度部分的插值運算採用6抽頭濾波器實現，多個6抽頭濾波器構成了濾波器組，並且由水平濾 波器組與垂直濾波器組進一步組成雙濾波器組實現並行運算。這一設計結構能夠在子宏塊 級別實現流水線處理，減少了整個宏塊的插值計算時間。而色度部分的插值運算由雙線性 插值器實現，也採用了多個濾波器構成的濾波器組的設計結構。在整個運算的過程中，亮度 與色度實現了並行化處理，從而減少整個解碼時間，提高了運算效率。在處理過程中，無論 亮度還是色度，都採用自適應可變塊大小流水線方式進行處理。圖2所示是運動補償流水計算處理示意圖。視頻處理分為YUV三個分量。按照H. 264中的規定，Y分量採用六抽頭濾波器進行 計算，UV分量採用雙線性插值進行計算。從圖中可以看到，在Y分量進行運算的同時，U分 量就已經開始讀取參考數據了。這一結構可以節約計算時間。在以前的串行運算結構中， 都是在亮度分量運算完畢後，才讀取色度分量的數據進行運算的。圖3所示是亮度分量的三層存儲器結構示意圖。從圖中可以看到，整個處理過程包含三層存儲器。每一層都擔負著各自不同的功 能。首先，從片外存儲器讀取當前宏塊解碼所需要的數據，存放在第一層參考像素數 據存儲器層中，分為亮度存儲片與色度存儲片兩個部分，具體包括參考幀像素數據、塊類型 劃分、子宏塊運動矢量等等。接下來，參考數據存儲器中的數據作為輸入，在濾波器組中進 行運算。計算過程中經常碰到需要保存中間結果的情況，需要將這些數據存放於中間結果 存儲器層上，作為下一次濾波運算的輸入量。在運算完畢後，重建好的像素點作為最終結果 寫到外部存儲器上。為了實現數據的復用，加入了第三層片上存儲器_數據復用存儲器層， 用來存儲部分參考幀數據。這些數據可能用於下一個子宏塊的運算。在當前子宏塊運算完 畢，下一子宏塊運算開始時，先進行判斷，如果可以實現數據復用，則先將第三層存儲器的 數據寫入第一層存儲器中，從而減少從外存讀取數據的時間。不同層級的存儲器之間協調 工作，優化了整個模塊的性能。圖4所示是更新處理順序數據復用示意圖。運動補償讀取與更新數據十分耗時。但經過分析，發現這些子宏塊的參考像素有 著很大程度的交疊。因此，在更新參考幀數據時應該合理的安排更新順序，儘量復用片上存 儲器中已有的數據，從而減少數據讀取的時間。圖4(a)、圖4(b)、圖4(c)中展示了處理前兩個8x8子宏塊時所需要的參考像素 塊，以及二者之間共有的參考數據區域。在第2個子宏塊進行運動補償時，不必讀入所有參 考幀數據，而是保存第1個子宏塊參考數據中可以被復用部分(5x13像素塊)，僅更新右側 8x13塊的數據。這樣一來，更新數據的數量從13x13位元組下降到8x13位元組，降低了近40%， 讀取數據所需時間顯著縮短。因此，在第一個8x8子塊處理完畢時，右側5x13的像素塊數 據將被保存在第3層片上存儲器中，供處理下一個子塊更新參考數據時取用。為了進一步提高數據復用率，可以改變子宏塊的處理順序，在處理完第2個子宏 塊之後，先行處理第4個子宏塊。圖4 (d)、圖4 (e)、圖4 (f)展示了這兩個子宏塊時所需要的 參考像素塊，以及二者之間共有的參考數據區域。由於第2個子宏塊和第4個子宏塊在空 間上是相鄰的，所以共用的像素點數多，大小仍為5x13的塊。這樣一來，處理完第4個子宏 塊後，再去處理第3個子宏塊，此時復用的參考像素是第4個子宏塊左側5x13像素塊。由於調整了子宏塊的處理順序，不僅是參考像素的讀入順序需要做改變，相應的當前子塊運 動矢量等等都需要做調整。本發明提供了一種並行流水運動補償濾波器VLSI結構設計方法，可以實現運動 補償模塊亮度像素點與色度像素點並行流水計算，節約了總體的計算時間。另外，提出分層 存儲器構架設計，對訪問方式做了進一步優化，提高了片上數據的復用率，從而顯著節約了 讀取數據所用時間，同時減少了數據帶寬。為了實現上述任務，本發明採用的技術解決方案是1)通過「並行技術」，實現亮度分量與色度分量的並行運動補償解碼，提高解碼速 度和效率；2)通過「內在流水線技術」，提高系統吞吐量，不增加數據帶寬。3)通過「分層片上存儲技術」，減少對片外存儲的訪問，實現三層片上存儲器結構 對數據進行復用。4)通過「數據復用技術」，減少模塊讀取參考像素的時間。5)通過「更新處理子宏塊順序技術」，實現了最大化的復用參考像素數據。所述的「並行技術」是對亮度和色度運動補償運算時間並行處理。由於亮度分量 的處理與色度分量的處理二者之前沒有數據依賴關係，所以可以將亮度和色度進行並行處 理。在不增加數據讀取帶寬的條件下，可以在亮度分量數據準備完畢之後，直接進入色度分 量數據的準備和運算階段。通過亮度和色度同時運算，進一步縮短整個宏塊的計算時間。所述「內在流水線技術」是指系統採用自適應塊的運算處理的流水線技術，分別對 亮度和色度的讀取數據進行的流水操作，提高了系統的吞吐量，減少了運算解碼時間，提高 了許多功能塊的復用率。處理每一個子塊的過程是分為兩個部分數據讀取和數據運算，運 算採用並行處理，而讀取則是採用流水線處理。對亮度和色度分量的分別流水讀取參考像 素，在亮度分量數據準備完畢，並開始運動補償運算時對色度的參考像素讀取，實現流水， 並且不增加數據帶寬。對於亮度分量，當目前像素塊大於或等於8x8大小時，按照8x8大小 塊進行處理，運算需要迭代4次；當小於8x8時，按照4x4塊進行處理，運算需要迭代16次。 對於色度分量，當目前像素塊大小在4x4以上時，按照4x4塊進行處理，迭代4次完成；當塊 大小在4x4以下是按照2x2塊進行處理，迭代16次完成。所述「分層片上存儲技術」是指，一個宏塊的參考像素都存放在片外存儲器的話， 則對片外存儲器帶寬是一個嚴重的負擔。並且不斷的訪問片外存儲器會產生極大的功耗。 「分層片上存儲器技術」的第一層片上存儲器解決了不斷訪問片外的問題。為了增加系統 的吞吐量，把計算過程中經常需要保存的中間結果，存放於第二層存儲器上，作為下一次濾 波運算的輸入量。為了實現數據的復用，加入了第三層片上存儲器，用來存儲部分參考幀數 據。不同層級的存儲器之間協調工作，優化了整個模塊的性能。所述「數據復用技術」是指，運動補償處理的第一步是讀取大量的參考幀數據，以 供後邊濾波器組進行運算。每次運動補償之前，都需要先將參考幀數據寫入片上存儲器。每 個子宏塊運算完畢後，對片上參考幀數據進行更新，用於下一個子宏塊的計算。讀取與更新 數據十分耗時。但經過分析，發現這些子宏塊的參考像素有著很大程度的交疊。因此，在更 新參考幀數據時應該合理的安排更新順序，儘量復用片上存儲器中已有的數據，從而減少 數據讀取的時間。
6
所述「更新處理子宏塊順序技術」是對子宏塊處理順序進行合理的安排，更充分的 復用參考塊的像素數據。以往的子宏塊處理是「Z」字型掃描處理，第2子宏塊和第3子宏 塊空間不相鄰，無法復用參考像素。本發明更新了處理順序，在處理完第2個子宏塊之後， 先行處理第4個子宏塊。由於第2個子宏塊和第4個子宏塊在空間上是相鄰的，所以可以 復用共用的像素值。這樣在最理想的情況下，可以三次復用已有的參考像素的值，極大的縮 短了讀取參考像素的時間。
權利要求
並行流水運動補償濾波器VLSI結構設計方法，其特徵在於，具體包括下列步驟從片外存儲器的讀取已解碼出來的一個宏塊的運動矢量與塊劃分類型控制流信息，存放到片上存儲器上；根據已存放到片上存儲器的這些控制流信息，從片外存儲器讀取需要運動補償所對應子塊的參考像素數據，並存放在分層片上存儲器的參考像素數據存儲器層，進行運動補償，運動補償分為亮度分量和色度分量兩大模塊，色度分量包括U分量和V分量，亮度分量採用六抽頭濾波運算，色度分量採用雙線性插值濾波運算，整個處理過程是將亮度和色度分量進行並行流水處理，亮度分量參考像素數據從片外存儲器讀取完畢之後，直接進入色度的U分量參考像素數據的讀取階段，亮度分量的運算和色度的U分量參考像素數據讀取在同一時刻開始進行，色度的U分量運算完畢後，緊接著進行色度的V分量參考像素讀取和運算，當完成色度的兩個分量的運算之後，再次進行亮度分量參考像素數據的讀取，一個宏塊運動補償完畢，再次從片外存儲器讀取下一個宏塊的控制流信息，用於該宏塊運動補償。
2.根據權利要求1所述的並行流水運動補償濾波器VLSI結構設計方法，其特徵在於， 所述運動矢量描述了當前塊運動估計運算的結果，運動越劇烈，運動矢量數值越大，塊劃分 類型代表當前塊的長和寬。
3.根據權利要求1所述的並行流水運動補償濾波器VLSI結構設計方法，其特徵在於， 所述的分層片上存儲器分為三層，包括參考像素數據存儲器層、中間結果存儲器層及數據 復用存儲器層，參考像素數據存儲器層分為亮度和色度存儲片，存放從片外存儲器讀取的 亮度和色度參考像素數據，亮度運算過程中經常碰到需要保存中間結果的情況，需要將這 些數據存放於中間結果存儲器層上，作為下一次濾波運算的輸入量，子宏塊亮度和色度分 量運算完畢，再次進行亮度分量參考像素數據的讀取，子宏塊的亮度參考像素數據從片外 存儲器的讀取與更新十分耗時，而相鄰的子宏塊的參考像素有著很大程度的交疊，在更新 參考幀數據時應安排更新順序，復用片上存儲器中已有的上一個子宏塊的參考像素數據， 存放到分層片上存儲器的數據復用存儲器層上，在當前子宏塊運動補償運算完畢，下一子 宏塊運動補償運算開始時，先進行判斷，如果可以實現數據復用，則先將數據復用存儲器的 數據寫入參考像素數據存儲器中，再從片外存儲器讀取其餘參考像素。
全文摘要
本發明公開了一種並行流水運動補償濾波器VLSI結構設計方法。採用運動補償模塊亮度像素點與色度像素點並行計算的方式，採用自適應塊內在流水線處理方式，減少整個解碼的處理時間，提高了系統吞吐量。採用對片上存儲器分層構架設計，對訪問方式做了進一步優化，減少對片外存儲器的訪問。採用參考像素的數據復用技術，採用更新子宏塊處理技術，顯著節約了讀取數據所用時間，減少了數據讀取帶寬，從而提高解碼器的解碼效率，提高解碼性能。
文檔編號H04N7/26GK101888554SQ20101022285
公開日2010年11月17日 申請日期2010年7月9日 優先權日2010年7月9日
發明者蘭旭光, 惠苗, 李興玉, 鄭南寧, 郜金金 申請人:西安交通大學