一種鄰幀預測深度相似性的視頻編碼方法

2023-07-28 12:33:11

一種鄰幀預測深度相似性的視頻編碼方法
【專利摘要】該發明公開了一種鄰幀預測深度相似性的視頻編碼方法，涉及計算機視覺和信號處理技術，研究偏重於視頻幀間編碼算法優化和視頻圖像相關處理。在原有幀間預測視頻編碼方法的基礎上，利用相鄰幀之間的紋理特徵的相關性，優化每一幀預測的劃分過程，另外通過控制量化參數(QP)和參考幀選擇過程(RFS)來保證預測的準確性，在縮減編碼時間與保證預測精準中達到一個平衡，真正從整體上優化了整個幀間編碼過程。
【專利說明】一種鄰幀預測深度相似性的視頻編碼方法

【技術領域】
[0001] 本發明涉及計算機視覺和信號處理技術，研宄偏重於視頻幀間編碼算法優化和視 頻圖像相關處理。

【背景技術】
[0002] HEVC是ITU-T視頻編碼專家組和ISO動態圖像專家組組織聯合成立jCT-VC(Joint CollaborativeTeam-VideoCoding)組織制定的最新一代視頻編碼標準。
[0003] 本發明針對HEVC中的幀間編碼的預測幀的構造過程中的預測算法進行了整體性 優化。HEVC的幀間編碼過程涉及面廣，流程相對複雜，當今的研宄趨勢主要趨向於在流程 中某一個細節，用數學方法減少算法的冗餘執行，達到節省編碼時間的目的。在這些已經公 開的相關技術和文獻內容中，算法的優化主要有兩種途徑：削減原有編碼過程以及大幅改 變原編碼過程。這兩種主要途徑在實際應用中很難被採納，削減原有編碼過程以達到編碼 時間的縮短，這違背了HEVC制定的初衷，這種類型的優化往往對某些特定類型的視頻序列 可以起到極好的優化效果，但卻忽略了由被削減的編碼過程進行判斷的特殊情況，而研宄 人員往往會迴避這些特殊情況，以偏概全；而另一個途徑，則是運用數學理論自製一套全新 的預測算法，大幅度甚至整體地替換掉原有的編碼預測機制，不僅理解不易，其真實的算法 性能指標，與經過大量實驗而制定的ffiVC標準相比，是否真的更好也有待更多的實驗來檢 驗。


【發明內容】

[0004] 本發明在原有幀間預測視頻編碼方法的基礎上，利用相鄰幀之間的紋理特徵的相 關性，優化每一幀預測的劃分過程，另外通過控制量化參數（QP)和參考幀選擇過程（RFS) 來保證預測的準確性，在縮減編碼時間與保證預測精準中達到一個平衡，真正從整體上優 化了整個幀間編碼過程。
[0005] 在H. 265的編碼結構設計中，劃分，預測，變換三個主要的編碼過程擁有各自獨立 的編碼結構，分別是CodingUnit(CU),PredictionUnit(PU)和TransformUnit(TU)。他 們都是幀的編碼結構，編碼結構是面積小於圖像幀的矩形像素塊，為了保證網絡傳輸的及 時性，編碼和傳輸都是以編碼結構為單位，而不是以幀為單位。
[0006] 本發明一種鄰幀預測深度相似性的視頻編碼方法，該方法包括：
[0007] 步驟1 :選取待編碼的視頻，將視頻中每相鄰的8個視頻幀劃分為一組（GOP,Group ofPictures)，選擇該組中一幀進行編碼，稱其為當前幀；
[0008] 步驟2 :從該組中已經編碼的視頻幀中選擇一幀為當前幀的參考幀，若當前幀為 該組中第一幀則選擇前一組的最後一幀為參考幀；
[0009] 步驟3 :判斷選擇出的參考幀與當前幀是否跨越視頻場景；若跨越視頻場景，則對 當前幀進行編碼時其起始深度為〇,最大深度不超過根據需要的編譯精度設定的最大深度， 計算其量化參數，則跳轉到步驟6 ;若未跨越視頻場景，則轉到步驟4 ;
[0010] 步驟4:計算出當前幀的量化參數，將當前幀的量化參數與參考幀的量化參數進 行比較，若當前幀的量化參數大於參考幀的量化參數，將參考幀的起始深度減1作為當前 幀的起始深度；否則，將參考幀的起始劃分深度作為當前幀的起始深度；
[0011] 步驟5 :計算參考幀的平均深度，若參考幀的平均深度接近其起始深度，則限定當 前幀的最大深度不超過參考幀的最大深度；若參考幀的平均深度更接近最大深度，則當前 幀的最大深度不超過設定的最大深度；
[0012] 步驟6 :將當前幀及其起始深度、最大深度、平均深度、量化參數存入參考幀候選 列表，作為後續視頻幀編碼的候選參考幀；
[0013] 步驟7 :根據編碼配置信息，依次對所有的視頻幀進行編碼，完成整個視頻的編 碼。
[0014] 進一步地，對所述步驟1劃分的視頻組中的8個視頻幀按照視頻順序進行0?7 編號，選擇其中視頻幀進行編碼的順序為〇，3，5，2，6，4，7，1。
[0015] 進一步地，所述步驟2中選擇該組候選參考幀中與當前幀距離最近的一幀為當前 幀的參考幀。
[0016] 進一步地，所述步驟3中判斷參考幀與當前幀是否跨越視頻場景的方法為：分別 計算出當前幀和參考幀的起始深度、平均深度、最大深度的差值的絕對值；分別設定三個絕 對值的加權係數分別為7、10、3,計算其加權之和T，若T> 25,並且當前幀與參考幀的距離 大於等於4,則認為參考幀與當前幀跨越了視頻場景，否則未跨越視頻場景。
[0017] 進一步地，步驟7的具體步驟如下：
[0018] 步驟7-1 :根據步驟1到步驟6完成⑶的劃分，經過後續的變換、量化、變換編碼、 反變換、反量化等過程完成一個CU的編碼；
[0019] 步驟7-2 :遍歷當前幀的所有⑶，重複執行步驟7-1，完成一個幀的完整編碼過程。 [0020] 步驟7-3 :按照配置文件中指定的一個組（GOP)內的所有視頻幀的編碼順序，以及 每一幀的參考幀的相對位置，依次對該組內的所有幀編碼；
[0021] 步驟7-4 :被編碼視頻的所有組按照顯示順序，重複執行步驟7-3,完成所有組的 編碼，沒有包含在任何組內的幀，按照配置文件指定的模式進行編碼。
[0022] 本發明一種鄰幀預測深度相似性的視頻編碼方法，用相鄰幀之間的紋理特徵的相 關性，優化每一幀預測的劃分過程，從而具有在保證預測的準確性的同時縮減了編碼時間 的效果。

【專利附圖】

【附圖說明】
[0023] 圖1為⑶深度與紋理複雜度示意圖；
[0024] 圖2為Co-located⑶和Current⑶的位置關係示意圖；
[0025] 圖3為單向預測幀的選取方法示意圖；
[0026] 圖4為雙向預測幀的選取方法示意圖；
[0027] 圖5為當如幀的參考幀選取：跨越場景邊界不意圖；
[0028] 圖6為視頻序列Vidyol的QP和平均深度的關係曲線圖；
[0029] 圖7鄰幀預測深度優化算法在不同清晰度視頻序列ASTP的變化直方圖；
[0030] 圖8鄰幀預測深度優化算法在不同清晰度視頻序列BD-bitrate的變化直方圖。

【具體實施方式】
[0031] 下面針對附圖對本發明進行進一步說明。首先需要說明幾個概念：
[0032] (1)在H. 265的編碼結構設計中，劃分，預測，變換三個主要的編碼過程擁有各自 獨立的編碼結構，分別是CodingUnit(CU),PredictionUnit(PU)和TransformUnit(TU)〇 他們都是幀的編碼結構，編碼結構是面積小於圖像幀的矩形像素塊，為了保證網絡傳輸的 及時性，編碼和傳輸都是以編碼結構為單位，而不是以幀為單位。
[0033] (2)當前⑶(current⑶）是指當前正在被編碼的編碼單元，Co-located⑶是指 與當前CU在不同幀中位置且大小相同的CU。
[0034] CU劃分的優化算法主要利用了視頻編碼的兩個特性：
[0035] (1)鄰近幀之間的相關性；
[0036] (2)⑶劃分過程中，深度大小與紋理複雜度的對應關係。
[0037] 所謂鄰近幀之間的相關性，是視頻編碼幀間預測的基礎，一個視頻中的相鄰圖像 幀很可能屬於同一個場景，因此它們之間的差異相對較小，所以可以用鄰近幀的塊來作為 當前幀中需要編碼的塊的預測，也稱為PU。
[0038] CU的深度與CU的大小相對應。而當深度值越大，即CU的尺寸越小時，即會進行精 確度相對較高的預測。在紋理複雜度的層面來說，紋理較複雜的圖像會更多地進行精確度 高的預測，紋理平坦的圖像則會相對粗糙地進行預測，CU的劃分不需要那麼精確。紋理復 雜度和CU深度的關係如圖1所示。
[0039] ⑶劃分的優化算法的主要思路是：利用參考幀的co-located⑶的株度彳目息，確 定當前幀當前CU的起始和結束搜索深度。
[0040] Co-located⑶是指當前幀時域參考幀中，和當前幀當前⑶處於相同坐標範圍內 的CU，如圖4所示。因為參考幀已經被編碼，所以可獲得其詳細的深度信息，包括最小、最大 和平均劃分深度。這些深度信息用於初始化當前CU的深度信息，以減少深度搜索過程的耗 時。
[0041] 本發明的主要包括以下步驟：
[0042] A.判斷當前幀類型是否符合幀間優化算法的條件；
[0043] B.優化當前幀的搜索深度；
[0044]C.利用量化參數（QP)與搜索深度的關係，校驗並修正優化後的最小搜索深度；
[0045] D.根據幀類型，判斷是否保存當前幀搜索深度的相關信息。
[0046] 步驟A中判斷當前幀類型是否符合幀間優化算法的條件涉及到不同類型的幀的 參考幀選取（RFS)過程，其差異也被考慮到優化算法當中，以下是對參考幀選取（RFS)過程 的具體描述：
[0047] 類型為B幀或P幀的圖像幀，編碼器使用幀間模式進行編碼，其中心思想是利用鄰 近幀的亮度和色度塊作為源圖像中CU的預測幀，組成預測幀的這些鄰近幀的不同大小的 亮度和色度塊稱為PU。
[0048] 在H. 265中，圖像幀類型的不同決定了參考幀選取方式的不同。
[0049] 當源圖像幀為P幀，只在顯示順序前向選取參考幀，即為當前幀在顯示順序上的 前一幀，當前圖像序列的編碼順序和顯示順序一致，其過程如圖3所示，P0C表示圖像的顯 示順序，方塊中的數字表示編碼順序，綠色的方塊表示已經編碼的幀，白色的方塊表示當前 正在編碼的幀，箭頭的方向表示參考幀選取的方向。
[0050] 當源圖像幀是B幀時，在當前幀顯示順序的前向和後向，都要取得參考幀的候選， 當前圖像序列被編碼的順序和顯示順序是不一致的，而參考幀則必須是比當前幀在編碼順 序上更靠前的幀，所以可能出現以下情況：
[0051] (1)當前幀和參考幀在顯示順序上不相鄰，甚至有很大間隔；
[0052] (2)參考幀在顯示順序上比當前幀更靠後；
[0053] 雙向預測幀的選取過程如圖4所示，箭頭所指向的幀都是參考幀的候選集合，先 暫存在兩個列表中，根據預測幀的構建結果，選出最匹配的參考幀。
[0054] 依據幀間編碼中B幀參考幀的選取過程，如果當前幀為B幀，其參考幀與當前幀的 距離可能會較大，導致參考幀和當前幀位於不同的場景當中，如圖5所示。
[0055] 由於CU劃分的優化是基於相鄰幀之間的相關性進行的，當參考幀和當前幀處於 不同的場景中時，這種相關性就變得非常弱，再進行深度劃分的優化會導致預測的較大幅 度的偏差，雖然縮減了編碼時間，但會造成編碼後的圖像清晰度的損失。
[0056] 所以在發明中提出的CU劃分的優化算法中，每隔16幀會進行一次判斷：分別選取 當前幀的前向和後向的第一個參考幀pre_Pic和suf_Pic，如果pre_Pic和suf_Pic的三 個深度信息變量的差值Ad印thstart、Ad印thend和Ad印thavg加權之後的絕對值之和超過 了某個閥值Threshold且pre_Pic和suf_Pic的顯示順序（POC)之差大於等於4,則表明 參考幀的選取有可能跨越了場景邊界，則不進行優化，保留原來的CU劃分算法。經過實驗， Threshold的值設置為25,三個深度信息變量的加權值分別設置7、10、3時，算法達到了最 優的性能。判斷標誌giveup_flag如式1所示。
[0057] giveup_flag= 7X|Adepthstart |+10X|Adepthavg |+3X|Adepthend| ^25&&|P0C pre-Pic_P〇Csuf-PicI多 4 (1)
[0058] 綜上所述，步驟A的具體步驟如下：
[0059] A1.從候選幀列表中取出第一個候選幀作為當前幀預測時進行深度劃分的參考 幀，理論上來說，這一幀是在P0C順序上距離當前幀最近的幀，所以儘管它不一定是單個的 特定的CU的最佳參考幀，但從整體上的深度信息來看，這一幀在所有候選當中是最優的參 考幀；
[0060] A2.判斷該幀的類型是B-Slice還是P-Slice:如果是B-Slice，則需要在進行 最大深度信息優化標誌distance-scale的判斷之前，如式5判斷標誌giveup_flag，如 果為真則當前幀不進行優化，按照原算法進行預測；如果是P-Slice，則不需要進行參考 幀和當前幀是否屬於同一場景的檢驗，直接進行深度信息的優化（最小深度優化以及 distance-scale標誌的判斷）；
[0061] 步驟B中優化當前幀的深度信息的優化算法主要內容如下：
[0062] B1.用co-locatedCU的最小劃分深度depthstart (n-1)初始化當前CU的起始劃分 深度depthstart (n)，CU的劃分過程便略過了深度小於depthstart (n-1)的部分，同時，為了保 證預測的準確性，量化參數對深度的影響會考慮在內。
[0063]B2?用co-locatedCU的最大劃分深度cbpthend(n_l)初始化當前CU的終止劃分 深度cbpthend(n)，即可略過深度大於cbpthend(n-l)的深度劃分過程，提高編碼速率。但由於 深度較大的劃分過程是比較精確的劃分過程，過度的簡化深度較大的劃分過程可能會引起 預測準確性地較大偏差，所以優化算法為這種簡化提出了限制條件，只有式1中標誌0pt_ decide_flag為真，才能進行深度較大的劃分過程的優化。式2中preQP表示參考幀的QP， currQP表示當前幀的QP，max_pre_dpt表示參考幀的最大劃分深度，即depthend(n-l)。
[0064] opt_decide_flag= (distance_scale> = 11 |preQP<currQP)&&max_pre_dpt<3 (2)
[0065] 式1中的變量distance_scale的值由co-located⑶的最小、最大深度和平均深 度的差值的絕對值之比來決定，如式3所示，max、min、avg分別表示參考幀的最大，最小和 平均劃分深度。

【權利要求】
1. 一種鄰幀預測深度相似性的視頻編碼方法，該方法包括： 步驟1 :選取待編碼的視頻，將視頻中每相鄰的8個視頻幀劃分為一組，選擇該組中一 幀進行編碼，稱其為當前幀； 步驟2 :從該組中已經編碼的視頻幀中選擇一幀為當前幀的參考幀，若當前幀為該組 中第一幀則選擇前一組的最後一幀為參考幀； 步驟3 :判斷選擇出的參考幀與當前幀是否跨越視頻場景；若跨越視頻場景，則對當前 幀進行編碼時其起始深度為〇,最大深度不超過根據需要的編譯精度設定的最大深度，計算 其量化參數，則跳轉到步驟6 ;若未跨越視頻場景，則轉到步驟4 ; 步驟4:計算出當前幀的量化參數，將當前幀的量化參數與參考幀的量化參數進行比 較，若當前幀的量化參數大於參考幀的量化參數，將參考幀的起始深度減1作為當前幀的 起始深度；否則，將參考幀的起始劃分深度作為當前幀的起始深度； 步驟5 :計算參考幀的平均深度，若參考幀的平均深度接近其起始深度，則限定當前幀 的最大深度不超過參考幀的最大深度；若參考幀的平均深度更接近最大深度，則當前幀的 最大深度不超過設定的最大深度； 步驟6 :將當前幀及其起始深度、最大深度、平均深度、量化參數存入參考幀候選列表， 作為後續視頻幀編碼的候選參考幀； 步驟7 :根據編碼配置信息，依次對所有的視頻幀進行編碼，完成整個視頻的編碼。
2. 如權利要求1所述的一種鄰幀預測深度相似性的視頻編碼方法，其特徵在於所述步 驟1劃分的視頻組中的8個視頻幀按照視頻順序進行0?7編號，選擇其中視頻幀進行編 碼的順序為 〇, 3, 5, 2,6,4, 7,1。
3. 如權利要求1所述的一種鄰幀預測深度相似性的視頻編碼方法，其特徵在於所述步 驟2中選擇該組候選參考幀中與當前幀距離最近的一幀為當前幀的參考幀。
4. 如權利要求1所述的一種鄰幀預測深度相似性的視頻編碼方法，其特徵在於所述步 驟3中判斷參考幀與當前幀是否跨越視頻場景的方法為：分別計算出當前幀和參考幀的起 始深度、平均深度、最大深度的差值的絕對值；分別設定三個絕對值的加權係數分別為7、 1〇、3,計算其加權之和T，若T > 25,並且當前幀與參考幀的距離大於等於4,則認為參考幀 與當前幀跨越了視頻場景，否則未跨越視頻場景。
5. 如權利要求1所述的一種鄰幀預測深度相似性的視頻編碼方法，其特徵在於步驟7 的具體步驟如下： 步驟7-1 :根據步驟1到步驟6完成CU的劃分，經過後續的變換、量化、變換編碼、反變 換、反量化等過程完成一個CU的編碼； 步驟7-2 :遍歷當前幀的所有CU，重複執行步驟7-1，完成一個幀的完整編碼過程。 步驟7-3 :按照配置文件中指定的一個組內的所有視頻幀的編碼順序，以及每一幀的 參考幀的相對位置，依次對該組內的所有幀編碼； 步驟7-4 :被編碼視頻的所有組按照顯示順序，重複執行步驟7-3,完成所有組的編碼， 沒有包含在任何組內的幀，按照配置文件指定的模式進行編碼。
【文檔編號】H04N19/124GK104519362SQ201410811013
【公開日】2015年4月15日 申請日期:2014年12月23日 優先權日:2014年12月23日
【發明者】桑楠, 劉虹呈, 丁先樹, 饒雲波, 雷航, 周波, 將自國 申請人:電子科技大學