基於變換下採樣的低碼率視頻編碼方法及系統的製作方法

2023-06-12 00:19:21

基於變換下採樣的低碼率視頻編碼方法及系統的製作方法
【專利摘要】一種基於變換下採樣的低碼率視頻編碼方法及系統，包括：視頻信號的下採樣，利用二維變換進行下採樣，對低頻係數和高頻係數按照不同的方法進行編碼；低頻係數混合編碼框架編碼，將低頻係數映射並且向下取整歸一化後進行HEVC編碼；高頻係數的位平面編碼以及幀分割處理，利用位平面編碼掃描得到高頻係數中的大係數，再利用幀分割處理以宏塊為單位將其編碼。低、高頻係數編碼碼率分配，通過能量關係有效分配編碼碼率。本發明結合既保證了低頻係數編碼的重要性，同時結合高頻係數中大係數對視頻細節的影響，在編碼上達到了類似於HEVC的編碼效果。同時下採樣的引入使得編碼解析度下降，整個編碼過程的複雜度得到了很大的降低。
【專利說明】基於變換下採樣的低碼率視頻編碼方法及系統

【技術領域】
[0001] 本發明涉及的是一種視頻編解碼領域的技術，具體是一種通過利用變換來進行下 採樣，結合低頻係數的混合框架編碼和高頻係數的位平面編碼及幀分割處理實現低碼率信 道的編碼方法及系統。

【背景技術】
[0002] 視頻編解碼技術，是一種將視頻數據通過各種技術手段去除時間、空間、編碼等各 環節可能存在的冗餘信息，將數據量壓縮到遠小於原視頻數據量的信號編碼技術。通過視 頻編解碼技術，可以更有效地對視頻數據進行存儲、傳輸以及相關操作。傳統的視頻編解碼 框架是基於預測（運動估計）、變換以及熵編碼的混合編碼框架，發展至今已形成了 MPEG -x系列和H. 26x系列兩大系列標準。在最近幾年，兩大標準的制定組織聯合發布了最新的高 效視頻編解碼標準HEVC(High Efficiency Video Coding)，在之前H. 264的基礎之上實現 了相同編碼效果下壓縮效率提升50%的增長。然而由於HEVC通過增加預測模式，採用更精 細的步長等技術降低預測誤差來實現壓縮效率的提高，這大大增加了編碼的複雜度。同時 由於HEVC是為高清晰視頻而設計的，在一些低碼率低解析度情況下效果並不是很好。所以 設計一種在低碼率信道下低複雜度的編碼算法有很大的必要。
[0003] 視頻信息主要包括低頻的內容信息和高頻的細節信息。在低碼率情況下必須有效 保證低頻內容信息的編碼，這樣才能在碼率有限的情況下得到視頻相關的信息。Dong，Jie 和 Yan Ye 等人在 IEEE International Conference on In Image Processing (ICIP), 2012 pp. 2925 -2928中提出了下採樣的方法來獲得低頻內容信息，然後對低頻內容信息利用傳統 視頻編解碼技術進行編碼，在解碼端通過內插等技術再獲得原解析度大小的視頻信號。然 而僅僅考慮低頻信息是遠遠不夠的，在高頻細節中存在一些能量較大的係數包含大量視頻 信息，對視頻的解碼效果會產生巨大的影響，所以在碼率允許的情況下對一些能量較大的 高頻信息進行編碼是非常有必要的，可以在一定程度上提高編碼的質量。
[0004] 經過對現有技術的檢索發現，中國專利文獻號CN103155561A公開（公告）日 2013. 06. 12,公開了一種用於HEVC的空間可縮放性的方法和設備，該技術在視頻分發系統 中，提供了用來將輸入視頻流302分割成用於所述視頻流的多個信道中的每一個的分塊的 劃分器105。信道分析器306被親合到所述劃分器，其中，所述信道分析器分解所述分塊。 編碼器106被耦合到所述信道分析器以將經分解的分塊編碼成經編碼的比特流208, 210， 其中，所述編碼器從所述多個信道中的至少一個接收編譯信息以在將所述經分解的分塊編 碼成所述經編碼的比特流中使用。解碼器124接收經編譯的比特流以對所接收到的比特流 進行解碼並且以重構所述輸入視頻流。所述解碼器使用所述編譯信息來對所述比特流進行 解碼。但該現有技術沒有針對不同頻帶劃分之間的優先級關係，在低碼率情況下的編碼效 果難以滿足工業需要。


【發明內容】

[0005] 本發明針對現有技術存在的上述不足，提出一種基於變換下採樣的低碼率視頻編 碼方法及系統，採用二維變換對原視頻幀進行下採樣，對獲得的低頻係數通過歸一化使之 轉化為適合混合編碼框架的輸入信號，並對其進行編碼。對高頻係數通過位平面編碼逐層 掃描依次獲得能量最為集中的大係數，然後通過幀分割處理對每次掃描獲得的結果進行塊 編碼。由於下採樣的關係，使得編碼幀變小，從而大大降低編碼時間，而結合高頻係數的編 碼，在編碼效果上卻能仍然和原混合編碼框架有著相近的信噪比。
[0006] 本發明是通過以下技術方案實現的：
[0007] 本發明涉及一種基於變換下採樣的低碼率視頻編碼方法，包括以下步驟：
[0008] 第一步，採用小波變換對視頻幀進行下採樣，得到的變換係數分為一個低頻子帶 和三個高頻自帶，分別對低頻子帶利用混合編碼框架進行編碼、對高頻子帶利用位平面編 碼以及幀分割處理進行編碼組合生成整個一幀的編碼碼流。
[0009] 所述的小波變換的採樣率為2。
[0010] 對於視頻幀的下採樣，最為簡單的方式就是對視頻信號進行低通濾波後直接對像 素進行採樣，這種方法雖然簡單，但是沒有考慮到各個像素之間的想關性，使得內插的結果 往往會帶來很大誤差。考慮利用變換來對信號進行下採樣，由於變換係數是通過各像素之 間的關係計算得到的，能夠很好地保留像素之間的相關性。小波變換是基於整個視頻幀進 行的變換，和其他類似於DCT等基於宏塊的變換相比更好地考慮了整個視頻幀像素之間的 關係。同時小波逆變換也能很好的減少甚至消除內插帶來的塊效應，所以選取小波變換來 對視頻幀進行下採樣。考慮到變換的一般性，本發明可以根據具體應用場景選取不同的二 維變換對視頻幀進行下採樣，比如可以選取離散餘弦變換等。
[0011] 對於採樣率的選擇需要同時考慮到碼率以及編碼效果的影響。若增大採樣率，可 以大大降低碼率，但是反變換帶來的誤差就會增大，影響到編碼效果；相反減小採樣率雖然 可以減小內插帶來的誤差，提升編碼效果，但是碼率會有一定的提升。所以平衡好碼率以及 編碼效果之間的關係是採樣率選擇的重要因素。通過文獻查閱，對之前工作的學習以及相 關實驗效果顯示，選取採樣率為2可以利用儘可能少的碼率得到最好的編碼效果。考慮到 實用性，本發明給出採樣率的不同選擇，若給定編碼碼率比較低，可以適當提高採樣率到4 或8來減少低頻信息所需要編碼的內容。
[0012] 第二步，對小波變換後的視頻幀進行二維變換得到原始大小四分之一的低頻系 數，然後將低頻係數經過映射和向下取整處理，歸一化後進行ffivc編碼；
[0013] 所述的歸一化的量化階為8bit或lObit。
[0014] 低頻係數的編碼較為簡單，由於混合編碼標準的高效，對包含大量視頻信息的低 頻係數採用最新編碼標準HEVC編碼來保證整體的編碼質量。對原視頻幀進行二維變換 可以很容易就得到大小為原來四分之一的低頻係數。由於變換係數多為小數，而且會有負 數的存在，在對其進行ffiVC編碼之前需要將變換係數歸一化成0?255 (8比特）或0? 1023(10比特）之間的整數，這樣才能被HEVC進行編碼。通過實驗發現將低頻係數映射到 0?255比較有效，和10比特相比可以節省2比特數據，而引入的誤差只有0.02dB，這誤差 在隨後的HEVC編碼中和低碼率下的量化誤差相比幾乎可以忽略不計，所以選擇8比特作為 量化標準來對低頻係數進行歸一化。
[0015] 如在碼率較高的環境下，本發明可以選擇10比特作為量化標準來提高編碼的效 果。
[0016] 第三步，利用位平面編碼掃描得到高頻係數中的大係數，然後對得到的0 - 1位平 面進行幀分割並進行編碼；
[0017] 小波變換之後大量信息被保存在低頻係數之中，高頻係數只有少數絕對值較大。 需要對這些包含較多信息的大係數進行選擇並編碼，來彌補僅僅利用低頻信號編碼帶來的 不足。
[0018] 首先利用位平面編碼對絕對值較大的係數進行選擇。基本思想是逐層通過對給定 閾值進行比較來確定是否為重要係數。每一次掃描和給定閾值進行比較，如果絕對值大於 該閾值則位平面置一，否則置零。這樣就可以把大於該閾值的係數全部找出。在下一次掃 描中將閾值變為原來的一半，類似地可以找出次大的一些係數，這樣不斷減小閾值就可以 依次找出相關的高頻係數。由於掃描是分層進行的，後續得到的高頻碼流也將是可任意截 斷的。
[0019] 然後對得到的0 -1位平面利用幀分割處理進行編碼。由於高頻係數存在大量絕 對值很小的係數，在每次掃描後的位平面都會有大量的0出現。如果對這些0按比特進行 編碼的話會降低壓縮效率。考慮將這些0按宏塊結合起來，如果當前位平面只包含0或者 1則用一個比特就能進行編碼。如果同時包含0和1，那麼對該位平面進行分割，平均分成 四塊，對每一塊再進行類似的位平面分割，直到其只包含有一種信號為止，這樣就可以對大 量的0按一定分塊原則進行有效地編碼。
[0020] 第四步，對不同頻帶的係數進行能量統計，按照不同的能量比例對給定的編碼碼 率進行對應分配。
[0021] 由於對低、高頻係數分配不同的碼率會造成不同的編碼效果，平衡好不同頻帶編 碼引入的誤差可以使整個編碼過程獲得最優的編碼效果。主要根據係數能量關係進行碼率 分配。對能量大的頻帶分配多的碼率，這樣可以保證主要的視頻幀信息得以編碼傳輸。在 對原始視頻幀進行變換之後對不同頻帶的係數進行能量統計，按照不同的能量比例對給定 的編碼碼率進行分配。由於一般情況下變換低頻係數包含視頻幀絕大多數的信息能量，所 以碼率分配的結果一般以低頻為主，對高頻係數只編碼少數幾個絕對值較大的係數。
[0022] 本發明涉及一種實現上述方法的系統，包括：二維變換模塊、歸一化模塊、位平面 編碼模塊、幀分割模塊和碼率分配模塊，其中：二維變換模塊與視頻輸入幀相連並傳輸變換 係數信息，歸一化模塊與變換低頻信息相連並傳輸待編碼低頻信息，位平面編碼模塊與變 換高頻信息相連並傳輸位平面信息，幀分割模塊與位平面信息相連並傳輸高頻編碼信息， 碼率分配模塊與通過統計輸入視頻信號對地高頻碼率分配進行控制。 技術效果
[0023] 與現有技術相比，本發明將原視頻幀進行下採樣，然後將低頻係數和高頻係數按 不同的編碼方法進行編碼。綜合考慮整個編碼過程，可以選擇小波變換作為下採樣工具，同 時採樣率選取2。由於低頻信號包含大量視頻信息，選取HEVC編碼方法來保證低頻信號的 編碼質量。考慮到係數歸一化引入的誤差，將係數歸一化到8比特。對於高頻信號，由於 碼率有限僅對包含大量信息的大係數進行編碼。通過位平面編碼技術依次對係數從大到小 進行選擇，然後在每一次掃描之後通過幀分割來對位平面進行高效編碼。最後根據能量關 系對低、高頻係數進行碼率分配。本發明算法由於降低了混合編碼框架編碼的解析度可以 大大減少編碼的複雜度，同時保證低頻信號的編碼可以在低碼率信道下得到優異的編碼效 果。

【專利附圖】

【附圖說明】
[0024] 圖1是本發明方法位平面編碼流程圖。
[0025] 圖2是本發明方法幀分割處理流程圖。
[0026] 圖3是本發明系統示意圖。

【具體實施方式】
[0027] 下面對本發明的實施例作詳細說明，本實施例在以本發明技術方案為前提下進行 實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護範圍不限於下述的實施 例。 實施例1
[0028] 如圖1所示，本實施例包括以下步驟：
[0029] -、視頻信號的下採樣
[0030] 由於在低碼率信道下碼率有限，需要利用有限碼率編碼比較重要的內容。將視頻 信號下採樣可以得到包含大量視頻信息的低頻信號，對下採樣後的低頻信號進行編碼可以 保證在給定的低碼率之下編碼這些重要信息。具體編碼框架流程如下：
[0031] 1. 1對輸入的視頻信號以幀為單位進行小波變換，變換後的係數進行重新排列，可 以得到一個低頻子帶和三個高頻子帶；
[0032] 1. 2對一個低頻子帶按步驟二所述的方法利用HEVC進行編碼得到輸出碼流；
[0033] 1. 3對三個高頻子帶分別按步驟三所述的方法利用位平面編碼以及幀分割處理進 行編碼得到輸出碼流；
[0034] 1. 4將步驟1. 2和步驟1. 3中得到的碼流按照低頻優先的原則組合生成整個一幀 的編碼碼流。
[0035] 從上述的下採樣編碼框架來看，整個過程由變換下採樣和子帶分別編碼組成，下 採樣的引入可以有效保證在低碼率信道下低頻信號的優先編碼，同時加上適當的高頻係數 編碼，可以得到類似於ffiVC編碼的效果。在下採樣的幫助下，佔運算複雜度主體的HEVC所 要編碼的視頻幀解析度變為原來的四分之一，這樣在運算複雜度上得到的很大的改善。
[0036] 二，低頻係數的混合編碼框架編碼
[0037] 對低頻信號進行混合編碼框架編碼比較簡單，只需要將變換下採樣後的低頻係數 形成新的一個視頻幀即可運用混合編碼框架進行編碼。其中最為主要的是將低頻係數映射 成為適合混合編碼框架編碼的8bit整形數據。具體編碼流程如下：
[0038] 2. 1將小波變換後的視頻幀左上角四分之一取出作為低頻信號進行後續的編碼；
[0039] 2. 2分別找出低頻係數中的最大值Max和最小值Min ;
[0040] 2. 3利用公式 將每一個低頻係數coe映射成0?255之間 C〇enew
[0041] 2.4對(：〇6_進行向下取整

【權利要求】
1. 一種基於變換下採樣的低碼率視頻編碼方法，其特徵在於，包括以下步驟： 第一步，採用小波變換對視頻幀進行下採樣，得到的變換係數分為一個低頻子帶和三 個高頻自帶，分別對低頻子帶利用混合編碼框架進行編碼、對高頻子帶利用位平面編碼以 及幀分割處理進行編碼組合生成整個一幀的編碼碼流； 第二步，對小波變換後的視頻幀進行二維變換得到原始大小四分之一的低頻係數，然 後將低頻係數經過映射和向下取整處理，歸一化後進行HEVC編碼； 第三步，利用位平面編碼掃描得到高頻係數中的大係數，然後對得到的〇 - 1位平面進 行幀分割並進行編碼； 第四步，對不同頻帶的係數進行能量統計，按照不同的能量比例對給定的編碼碼率進 行對應分配。
2. 根據權利要求1所述的方法，其特徵是，第一步中所述的小波變換的採樣率為2。
3. 根據權利要求1所述的方法，其特徵是，第二步中所述的歸一化的量化階為Sbit或 IObit0
4. 根據權利要求1或2所述的方法，其特徵是，所述的第一步具體包括： 1. 1對輸入的視頻信號以幀為單位進行小波變換，變換後的係數進行重新排列，可以得 到一個低頻子帶和三個高頻子帶； 1. 2對一個低頻子帶按步驟二所述的方法利用HEVC進行編碼得到輸出碼流； 1. 3對三個高頻子帶分別按步驟三所述的方法利用位平面編碼以及幀分割處理進行編 碼得到輸出碼流； 1. 4將步驟1. 2和步驟1. 3中得到的碼流按照低頻優先的原則組合生成整個一幀的編 碼碼流。
5. 根據權利要求1或3所述的方法，其特徵是，所述的第二步具體包括： 2. 1將小波變換後的視頻幀左上角四分之一取出作為低頻信號進行後續的編碼； 2. 2分別找出低頻係數中的最大值Max和最小值Min; 2. 3利用公式Coenew = X255:將每一個低頻係數coe映射成〇?255之間 c〇enew; 2. 4對Coenew進行向下取整coenor =LcoenevJ得到歸一化後〇?255之間的整數coenOT; 2. 5對歸一化後的係數進行混合編碼框架編碼得到低頻信號編碼碼流。
6. 根據權利要求1所述的方法，其特徵是，第三步中所述的位平面編碼，具體包括： 3. I. 1對於給定閾值Thr對高頻係數進行掃描，如果係數絕對值大於Thr則位平面置 一，否則位平面置零； 3. 1. 2根據位平面得到解碼係數，對於位平面為1的係數用Thr近似，位平面為0的系 數用〇近似； 3. 1. 3將高頻係數與步驟3. 1. 2得到的解碼係數相減得到第二層待掃描的係數矩陣； 3. 1. 4選取原閾值的一半Thr/2作為新的閾值； 3. 1. 5重複步驟3.I. 1?3. 1. 4直至用於高頻係數編碼的碼流用完。
7. 根據權利要求1所述的方法，其特徵是，第三步中所述的幀分割處理，具體包括： 3. 2. 1對於待編碼位平面檢測是否全0或全1，若全0或全1，則用一個比特將此位平面 進行編碼，否則轉入步驟3. 2. 2 ; 3. 2. 2將位平面等分成四份，得到解析度為原來一半的四個新的位平面； 3. 2. 3對得到的新的四個位平面重複步驟3. 2. 1?3. 2. 2直至每個分割後的位平面中 只包含一種數據。
8. 根據權利要求1所述的方法，其特徵是，所述的第四步具體包括： 4. 1分別計算低、高頻係數所包含的的信號能量； 4. 2得到低、高頻係數能量之間的比例關係； 4. 3按照低、高頻係數能量比例分配編碼碼率。
9. 一種實現上述權利要求所述方法的系統，其特徵在於，包括：二維變換模塊、歸一化 模塊、位平面編碼模塊、幀分割模塊和碼率分配模塊，其中：二維變換模塊與視頻輸入幀相 連並傳輸變換係數信息，歸一化模塊與變換低頻信息相連並傳輸待編碼低頻信息，位平面 編碼模塊與變換高頻信息相連並傳輸位平面信息，幀分割模塊與位平面信息相連並傳輸高 頻編碼信息，碼率分配模塊與通過統計輸入視頻信號對地高頻碼率分配進行控制。
【文檔編號】H04N19/86GK104469389SQ201410748130
【公開日】2015年3月25日 申請日期:2014年12月9日 優先權日:2014年12月9日
【發明者】解蓉, 鄭侃侃, 張良 申請人:上海交通大學