一種avs幀內模式決策方法和裝置的製作方法
2023-05-25 11:48:16
專利名稱：一種avs幀內模式決策方法和裝置的製作方法
技術領域：
本發明涉及數字視頻編解碼技術領域，尤其涉及一種AVS幀內模式決策方法和裝置。
背景技術：
為了適應現代數位電視廣播、 數字存儲媒體、網絡流媒體、多媒體通信等對運動圖像的壓縮的高標準需求，我國自主創新研發的第二代信源編碼AVS(Advanced coding ofaudio and vide)標準應運而生，其相對較低複雜度和突出的編碼性能成為數字媒體裡領域的一支極具競爭實力的力量。在視頻壓縮領域為消除空間冗餘度H. 264/AVC標準首先將空域多方向幀內預測引入應用，收到了良好空間壓縮效果。AVS標準同樣引入了幀內預測算法，但是AVS標準相對H. 264/AVC採取了更大的8X8預測塊，並運用了較少的預測模式進行幀內預測。儘管如此，在各種幀內模式存在的情況下，編碼過程中依然要從眾多模式中選出最優的編碼模式以達到最優的編碼效果，這樣，幀內模式決策就成為研究的熱點。目前主要的幀內模式決策方法主要是基於絕對差值和(SAD)和率失真優化(RDO)等策略，在性能上率失真優化(RDO)的方法相比於絕對差值和(SAD)會帶了平均O. 5db左右的增益，但是優越的決策性能需要相對複雜的計算複雜度，研究者為解決這一問題大致的策略有，其一是減少選擇的模式數目，其二是簡化率失真計算模型，對失真和碼率採用近似計算等方法。但是這樣的方法僅僅是單純地從提升性能優化算法的角度出發，並沒有考慮到實際應用中的對硬體可實現性帶來的衝擊。導致理論創新難以更好更廣泛地應用於技術應用領域之中去。
發明內容
本發明解決的技術問題在於如何在保證客觀高質量性能的情況下，大大降低裝置的複雜度。為了解決以上問題，本發明公開了一種AVS幀內模式決策裝置，包括幀內模式決策調度控制模塊，用於幀內預測模塊、率失真代價計算及模式決策模塊、幀內模式決策輸出模塊的輸入、命令控制和功能調度、模式決策和數據輸出，這樣一系列的處理流程的控制；幀內預測模塊，用於產生每一個數據塊的每一個模式下對應的預測數據，以便進入率失真優化流水線，此模塊用重構數據進行幀內預測；率失真代價計算及模式決策模塊，用於計算各個模式的率失真代價，同時進行幀內模式決策，結果輸出到幀內模式決策輸出模塊；幀內模式決策輸出模塊，本模塊用於輸出最優模式的模式信息，以及重構數據、熵編碼息。進一步，作為一種優選，所述的幀內預測模塊，包括預測部分、數據更新維護兩大部分；預測部分支持亮度5種模式，色度4種模式的預測；包括幀內預測控制模塊、預處理濾波模塊、以及六種預測模式對應的模塊；數據更新維護部分包括一個64X480bits亮度Y色度UV數據依次存儲的行緩存模塊，一個8X17bits的列緩存，兩8X9bits的列緩存模塊；先經過數據更新模塊，再經過行列緩存，再經過預處理濾波模塊再進入某一種模式的預測模塊中，幀內預測控制模塊用於過程中的控制。進一步，作為一種優選，所述的率失真代價計算及模式決策模塊在硬體設計中採用高效5級流水線結構，包括順序連接的水平DCT模塊、垂直DCT和量化模塊、逆量化和逆水平DCT模塊、逆垂直DCT模塊、zigzag掃描模塊、熵編碼模塊、代價計算及模式決策模塊。同時本發明還公開了一種AVS幀內模式決策方法，包括步驟一、幀內預測獲取每一種模式下的幀內預測數據，此步驟針對AVS所有幀內 預測模式，包括所有色度塊與亮度塊；步驟二、確定流水線調度策略，採用5級流水方案，優先調度亮度塊進行流水，為解決幀內預測數據塊之間的數據依賴造成的流水線中斷的問題，將色度塊的處理插入亮度塊調度間隙中，同時針對每一個數據塊的模式，採取可用模式提前進行流水的策略；步驟
三、基於率失真代價模型，計算率失真代價，首先將幀內預測數據與對應位置的原始像素做差的出殘差數據，然後針對殘差數據進行整數離散餘弦變換、量化、反量化、反變換後與原始像素值求和得出失真D ;同時對量化係數進行zigzag掃描，熵編碼得到預測像素塊的碼率R ;根據得到的失真和碼率信息計算得到率失真代價；步驟四、幀內模式決策與緩存數據更新，比較經過計算得到的每個幀內模式對應的率失真代價，確定當前數據塊最優預測模式，並將當前塊最優模式下的最右邊和最下邊的重構像素數據更新到對應的行緩存和列緩存相應位置，為後面的將要處理的數據塊進行參考數據準備。進一步，作為一種優選，所述幀內預測單元支持亮度塊的水平模式、垂直模式、直流模式、左下對角模式和右下對角模式5種模式，色度塊的水平模式、垂直模式、直流模式和平面模式4種模式。進一步，作為一種優選，所述流水線調度策略中，數據依賴性僅存在於亮度塊的各個塊之間，所以先針對亮度塊的各種模式進行調度，將色度塊模式插入亮度塊流水間隙中，與此同時將不依賴前一亮度塊的亮度模式處理插入流水間隙中，進一步優化流水策略。進一步，作為一種優選，所述的率失真代價計算步驟中某種模式下數據塊的失真D和碼率R的計算均為為高效流水算法，計算失真D具體步驟包括水平DCT、垂直DCT、量化、反量化、逆水平DCT、逆垂直DCT、重構數據生成、失真D的計算；計算碼率R具體步驟包括水平DCT、垂直DCT、量化、N路並行的z igzag掃描方法、N路並行熵編碼和bit數目統計、碼率R的獲得。本發明與現有技術相比較有如下優勢通過算法級優化將算法改造成硬體可實現的算法，在保證性能的前提下，大幅降低編碼器硬體實現的複雜度，綜合考慮了算法和結構的設計方法；打破幀內預測自身的數據依賴性，優化了流水線調度策略，是流水線不因為數據依賴而被迫中斷，大幅提高流水線效率；合理劃分了模塊處理單元，提高電路的並行度，從而提高了電路的處理能力和速度，實現了一種AVS幀內模式決策高性能裝置；本發明的轉置具有良好的可靠性，在低帶寬環境中維持較高的編碼質量，滿足實時性要求，在帶寬充足的環境下能夠表現出高質量的視頻圖像壓縮質量；另外本裝置可以為幀間模式決策提供良好的思路與方法。
當結合附圖考慮時，通過參照下面的詳細描述，能夠更完整更好地理解本發明以及容易得知其中許多伴隨的優點，但此處所說明的附圖用來提供對本發明的進一步理解，構成本發明的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定，其中圖I是幀內模式決策裝置結構圖；圖2是幀內預測模塊結構圖；圖3是幀內預測行緩存和列緩存組織圖；圖4是率失真代價計算及模式決策模塊結構圖；圖5是本發明幀內模式決策算法流程圖；圖6是幀內模式決策流水線調度策略圖。
具體實施例方式以下參照圖1-6對本發明的實施例進行說明。為使上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發明作進一步詳細的說明。參照圖1，為本發明的幀內模式決策裝置結構圖，該裝置包括幀內預測模塊100，率失真代價計算及模式決策模塊101，幀內模式決策輸出模塊102和幀內模式決策調度控制模塊103。幀內預測模塊100，用於生成每一種模式的預測數據、更新行緩存201和列緩存202中的重構數據。100與幀內模式據側輸出模塊102以及率失真代價計算及模式決策模101相連，從102獲取重構數據，將每一種模式的預測數據輸出給101。率失真代價計算及模式決策模塊101，用於進行每一種模式下的率失真代價計算並從各種可用模式中決策出最優模式，它與幀內預測模塊100、幀內模式決策輸出模塊102相連，從100獲取預測數據，將最優模式和最優模式下的預測數據輸出給102。幀內模式決策輸出模塊102與率失真代價計算及模式決策模塊101、幀內預測模塊100相連。用於最優模式的相關信息的輸出。幀內模式決策調度控制模塊103與所有其他模塊均有控制線相連，為整個裝置的調度控制單元，決定了整個裝置的工作流程和流水策略。參照圖2，為本發明的幀內模式決策裝置子模塊幀內預測模塊100的內部結構圖，圖中帶箭頭的實線為數據線，帶箭頭的虛線為控制線。數據更新模塊200獲取重構數據信息後要針對行緩存201和列緩存202中的數據進行數據更新。預處理濾波模塊203它與緩存201、202相連，從行列緩存中獲取當前塊的數據信息進行預處理濾波操作，目的是便於下一步針對具體模式進行預測操作；同時也與205至210模塊相連，提供各種模式的預測單元所需預處理後的預測信息。205到210為具體模式的預測單元模塊，依次為垂直模式、水平模式、直流模式、平面模式、左下對角模式、右下對角模式。它們的功能是根據本模式的操作規則進行預測操作，並輸出相應的預測數據。211是一個多路選擇器，功能是數據具體一路的預測數據，它與205至210單元相連。204為幀內預測控制單元，用於判斷當前數據塊的可用模式並對整個幀內預測內部模塊操作進行控制。由於數據塊在幀圖像內的位置不同，在某些邊界位置上某些模式是不可用的，例如，在幀圖像最頂上的一行數據塊是不能進行垂直模式預測的。參照圖3，為本發明的幀內模式決策裝置子模塊幀內預測模塊100內部行列緩存201和202的內部組織圖。行緩存用來存儲緊挨當前預測塊上面一整幀寬度的行像素數據，包括亮度和色度；列緩存用來存儲緊挨著當前預測數據塊左邊的17個亮度像素和9個色度像素。並且隨著數據塊的處理動態地對緩存數據維護和更新，保證幀內預測時準確地從相應位置獲取參考像素。行緩存每一行可存儲8個像素數據，即64bits，對於IOSOp解析度圖像，幀圖像寬度1920像素，則需要240深度存儲亮度數據，120X2個深度的色度數據。行緩存採取了 YUV依次存儲的組織結構，形成64X480bit的組織結構。列緩存採用YUV分開 存儲的策略，空間大小分別為8X17bits、8X9bits和8X9bits，其中列緩存中包括亮度Y列緩存301、色度U列緩存302、色度V列緩存303。參照圖4，為本發明的幀內模式決策裝置子模塊率失真代價計算及模式決策模塊101結構圖。它是ー個高效的數據驅動流水線結構，包含殘差與水平DCT處理模塊400、垂直DCT與量化處理模塊401、zigzag掃描模塊402、碼率統計模塊403、反量化與逆水平DCT變化模塊404、逆DCT垂直變換模塊405、代價計算及模式選擇模塊406以及各前後流水級之間的ping-pong緩存407。其中殘差與水平DCT處理模塊400，用於計算當前塊的預測像素與原始像素的差值，同時對差值進行水平DCT變換，把變換的結果存儲到後面的ping-pong緩存中；垂直DCT與量化處理模塊401與模塊400之間的ping-pong緩存407連接，用於對模塊400的結果進行垂直DCT變換和量化操作，並把量化後的結果存儲到後面的ping-pong緩存中；zigzag掃描模塊402以及反量化與逆水平DCT變化模塊404，都與模塊401之間的ping-pong緩存連接，模塊402用於對量化係數進行zigzag掃描,生成(run, level)pair,同時確定熵編碼的碼錶，並把結果輸出到後面的ping-pong緩存中，而模塊404用於對量化後的係數進行反量化和逆水平DCT變換操作；碼率統計模塊403，與zigzag掃描402後面的ping-pong緩存相連，用於對(run，level)pair進行熵編碼操作，同時統計出碼率R ;逆DCT垂直變換模塊405與模塊404輸出的ping-pong緩存相連，對模塊404的輸出進行逆垂直DCT變換操作，並把結果輸出到後級ping-pong緩存中；代價計算及模式選擇模塊406同時與碼率統計模塊403、逆DCT垂直變換模塊405後面的ping-pong緩存相連，完成失真D的計算，並根據R計算率失真代價RDcost，最後，基於RDcost進行模式決策，並把結果輸出。參照圖5，為發明的幀內模式決策算法流程圖，具體包括以下步驟啟動模式決策開始500後，首先進行初始化步驟501，在初始化的過程中，給模式選擇配置需要的參數，主要用圖像寬度，量化步長；之後啟動502對可用幀內模式進行判斷，因為數據塊在所處的幀圖像內的位置不同，有些模式是不可用的，比如圖像最上面的一行數據塊是不能進行垂直模式預測的。得出可用幀內模式之後，進入步驟503對當前處理的數塊某種模式下進行幀內預測，得到這個模式下的預測數據，將數據，隨後根據我們提出的高效流水線調度策略，進行步驟為504流水線調度，隨之計算這種模式的率失真代價505，然後判斷是否處理完ー個數據塊所有的可用模式506 :在ー個數據塊的所有可用模式調度處理沒有結束時，會根據我們設計的流水線調度策略重複進行步驟503、504、505、506 ；否則將進入步驟507進行當前塊的模式選擇，隨後當前數據塊最優模式下的重構數據更新到幀內預測模塊中的行緩存和列緩存中。然後進入步驟508判斷是否已經處理完所有數據塊如果所有數據塊的模式決策均已經得出，則進入步驟510結束整個處理過程；否則會繼續執行503至509步驟。需要說明的是整個503到509步驟均在本發明設計圖6所示的高效流水線調度策略中，並不是傳統意義上的串行處理方式。參照圖6，為本發明的幀內模式決策流水線調度策略圖，圖中不同陰影的正方塊表示不同的數據塊，B00 、B01、B02、B03、U、V依次表示亮度I號塊到4號塊，色度U塊和色度V塊。同屬於同一個數據塊的正方塊中標註的數字表示此數據塊的某ー種具體模式。亮度塊中的1、2、3、4、5依次表示垂直模式、水平模式、直流模式、左下對角模式和右下對角模式，色度快佔用的1、2、3、4依次表示垂直模式、水平模式、直流模式和平面模式。a)首先依次調度亮度O號塊的垂直模式、水平模式、直流模式、左下對角模式、右下對角模式；b)為使流水線不被亮度O、I號塊之間的數據依賴性打斷，亮度I號塊的垂直模式和亮度2號塊的水平模式可以馬上依次調度，不需要等待亮度O號塊的重構數據；c)因為色度塊與亮度塊之間沒有數據依賴，緊接著亮度2號塊的水平模式，色度U塊的垂直模式和水平模式將被依次調度；d)此時亮度O號塊重構數據已經可用，馬上調度亮度I號塊的水平模式、直流模式、左下對角模式和右下對角模式；e)在等待亮度I號塊重構數據得出的時間空隙內，依次調度無數據相關性的色度U塊的直流模式、平面模式、亮度2號塊的垂直模式、色度V塊的垂直模式；f)此時亮度I號塊的重構數據已經可用，依次調度亮度2號塊的直流模式、左下對角模式和右下對角模式；g)在等待亮度2號塊重構數據得出的時間空隙內，依次調度無數據依賴性的色度V塊的水平模式、直流模式、平面模式；h)此時亮度2號塊重構數據已經可用，依次調度亮度3號塊的垂直模式、水平模式、直流模式、左下對角模式和右下對角模式。經過以上步驟完成的調度，流水線將不會因為幀內預測數據依賴而被打斷，顯著提高流水線的工作效率。如上所述，對本發明的實施例進行了詳細地說明，但是只要實質上沒有脫離本發明的發明點及效果可以有很多的變形，這對本領域的技術人員來說是顯而易見的。因此，這樣的變形例也全部包含在本發明的保護範圍之內。
權利要求
1.一種AVS幀內模式決策裝置，其特徵在於，包括 幀內模式決策調度控制模塊，用於幀內預測模塊、率失真代價計算及模式決策模塊、幀內模式決策輸出模塊的輸入、命令控制和功能調度、模式決策和數據輸出，這樣一系列的處理流程的控制； 幀內預測模塊，用於產生每一個數據塊的每一個模式下對應的預測數據，以便進入率失真優化流水線，此模塊用重構數據進行幀內預測； 率失真代價計算及模式決策模塊，用於計算各個模式的率失真代價，同時進行幀內模式決策，結果輸出到幀內模式決策輸出模塊； 幀內模式決策輸出模塊，本模塊用於輸出最優模式的模式信息，以及重構數據、熵編碼信息。
2.根據權利要求I中所示的一種AVS幀內模式決策裝置，其特徵在於，所述的幀內預測模塊，包括預測部分、數據更新維護兩大部分；預測部分支持亮度5種模式，色度4種模式的預測；包括幀內預測控制模塊、預處理濾波模塊、以及六種預測模式對應的模塊；數據更新維護部分包括一個64X480bits亮度Y色度UV數據依次存儲的行緩存模塊，一個8X17bits的列緩存，兩8X9bits的列緩存模塊；數據先經過數據更新模塊，再經過行列緩存，再經過預處理濾波模塊在進入每個模式的預測模塊，幀內預測控制模塊控制整個處理過程。
3.根據權利要求I中所示的一種AVS幀內模式決策裝置，其特徵在於，所述的率失真代價計算及模式決策模塊在硬體設計中採用高效5級流水線結構，包括順序連接的水平DCT模塊、垂直DCT和量化模塊、逆量化和逆水平DCT模塊、逆垂直DCT模塊、zigzag掃描模塊、熵編碼模塊、代價計算及模式決策模塊。
4.一種AVS幀內模式決策方法，其特徵在於，包括步驟一、幀內預測獲取每一種模式下的幀內預測數據，此步驟針對AVS所有幀內預測模式，包括所有色度塊與亮度塊； 步驟二、確定流水線調度策略，採用5級流水方案，優先調度亮度塊進行流水，為解決幀內預測數據塊之間的數據依賴造成的流水線中斷的問題，將色度塊的處理插入亮度塊調度間隙中，同時針對每一個數據塊的模式，採取可用模式提前進行流水的策略； 步驟三、基於率失真代價模型，計算率失真代價，首先將幀內預測數據與對應位置的原始像素做差的出殘差數據，然後針對殘差數據進行整數離散餘弦變換、量化、反量化、反變換後與原始像素值求和得出失真D ;同時對量化係數進行zigzag掃描，熵編碼得到預測像素塊的碼率R ;根據得到的失真和碼率信息計算得到率失真代價； 步驟四、幀內模式決策與緩存數據更新，比較經過計算得到的每個幀內模式對應的率失真代價，確定當前數據塊最優預測模式，並將當前塊最優模式下的最右邊和最下邊的重構像素數據更新到對應的行緩存和列緩存相應位置，為後面的將要處理的數據塊進行參考數據準備。
5.根據權利要求4所示的一種AVS幀內模式決策方法，其特徵在於，所述幀內預測單元支持亮度塊的水平模式、垂直模式、直流模式、左下對角模式和右下對角模式5種模式，色度塊的水平模式、垂直模式、直流模式和平面模式4種模式。
6.根據權利要求4所示的一種AVS幀內模式決策方法，其特徵在於，所述流水線調度策略中，數據依賴性僅存在於亮度塊的各個塊之間，所以先針對亮度塊的各種模式進行調度，將色度塊模式插入亮度塊流水間隙中，與此同時將不依賴前一亮度塊的亮度模式處理插入流水間隙中，進一步優化流水策略。
7.根據權利要求4所示的一種AVS幀內模式決策方法，其特徵在於，所述的率失真代價計算步驟中某種模式下數據塊的失真D和碼率R的計算均為為高效流水算法，計算失真D具體步驟包括水平DCT、垂直DCT、量化、反量化、逆水平DCT、逆垂直DCT、重構數據生成、失真D的計算；計算碼率R具體步驟包括水平DCT、垂直DCT、量化、N路並行的zigzag掃描方法、N路並行熵編碼和bit數目統 計、碼率R的獲得。
全文摘要
本發明公開了一種AVS幀內模式決策裝置，包括幀內模式決策調度控制模塊，用於幀內預測模塊、率失真代價計算及模式決策模塊、幀內模式決策輸出模塊的輸入、命令控制、功能調度和數據輸出，這樣一系列的處理流程的控制；幀內預測模塊，用於產生每一個數據塊的每一個模式下對應的預測數據，以便進入率失真優化流水線，此模塊用重構數據進行幀內預測；率失真代價計算及模式決策模塊，用於計算各個模式的率失真代價，同時進行幀內模式決策，結果輸出到幀內模式決策輸出模塊；幀內模式決策輸出模塊，本模塊用於輸出最優模式的模式信息，以及重構數據、熵編碼信息。同時還公開了一種AVS幀內模式決策算法。
文檔編號H04N7/26GK102647593SQ20121011562
公開日2012年8月22日 申請日期2012年4月18日 優先權日2012年4月18日
發明者劉宇通, 祝闖, 解曉東, 賈惠柱 申請人:北京大學