內容自適應分數像素運動估計方法

2023-05-30 15:01:16 2

專利名稱：：內容自適應分數像素運動估計方法
技術領域：
：本發明屬於信號處理中的視頻編碼領域，特別針對最新的國際視頻編碼標準H.264/AVC提出了新的內容自適應分數像素運動估計方法。可以在確保運動估計精度的基礎上，減少分數像素運動估計的計算量。H.264/AVC是由ITU-T和IS0/IEC共同成立的聯合視頻組JVT(JointVideoTeam)制定的最新視頻編碼國際標準。在H.264視頻編碼系統中，運動估計能有效去除視頻序列相鄰幀的時間冗餘，在很大程度上決定了視頻編碼器的編碼速度、壓縮率和解碼視頻質量。因此，化264運動估計模塊增加了多種編碼技術，例如，1/4像素預測精度，多參考幀，樹狀結構的運動補償。H.264/AVC的性能超越了以往所有視頻編碼器，在相同編碼質量的前提下，H.264/AVCBaselineProfile產生的碼率比H.263Baseline節省了約40%(參見J5rn0sterma皿，JanBormans，PeterList,DetlevMarpe，MatthiasNarroschke，FernandoPereira，ThomasStockhammer，ThomasWedi.VideocodingwithH.264/AVC:tools,performance,andcomplexity[J].IEEECircuitsandSystemsMagazine,2004，4(1):7-28.)。11.264的高性能是以計算複雜度的提高為代價的，其計算複雜度大約是H.263的4至5倍，其中，運動估計模塊的計算量佔到整個編碼器的50%-90%(參見Yu-WenHuang，Ching—YehChen，Chen_HanTsai，Ch皿—FuShen，Liang_GeeChen.Surveyonblockmatchingmotionestimationalgorithmsandarchitectureswithnewresults[J].JournalofVLSISignalProcessingSystemsforSignal,Image,andVideoTechnology,2006,42(3):297-320.)。H.264編碼器中，運動估計包括兩個部分整像素運動估計和分數像素運動估計。分數像素運動估計是在獲得整像素運動矢量(MV:motionvector)的基礎上進行插值運算，搜索得到分數像素精度的運動矢量過程。分數像素運動估計在壓縮視頻質量和壓縮率上可以極大的提高編碼器的性能。實驗結果顯示，使用分數像素運動估計方法比僅使用整像素運動估計方法壓縮率平均提高48%，同時，峰值信噪比(PSNR)提高13dB。但是，由於額外的運算，如，插值和分數像素搜索，分數像素運動估計極大的增加了整個運動估計模塊的計算量。整像素運動估計方法是近年來的研究熱點。H.264標準的JM參考軟體採用了兩種快速整像素運動估計方法UMHexagonS(參見ZhiboChen，PengZhou，YunHe，YidongChen.FastintegerpelandfractionalpelmotionestimationforJVT[C]，JVT_F017，2002.)禾口EPZS(參見AlexisMichaelTourapis，Hye-YeonCheong，PankajTopiwala.FastMEintheJMreferencesoftware[C]，JVT_P026，2005.)，與全搜索方法相比，大大降低了搜索點數量(每個運動矢量的平均搜索點數減少到10個以下)，計算複雜度降低90%以上。H.264採用樹狀結構運動補償，共有7種模式的運動估計，若採用傳統的1/4精度分數像素全搜索方法(fullfractionalpixelsearch)，每個模式需要16個搜索點，則每個宏塊需要搜索
背景技術：
：112個點。因此，分數像素精度運動估計方法的改進成為整個運動估計模塊優化的關鍵。目前H.264/AVC採納了兩種分數像素運動估計方法，分數像素全搜索方法(FFPS:FullFractionalPixelSearch)和基於中心的分數像素搜索方法(CBFPS:CenterBasedFractionalPixelSearch)。(參見ZhiboChen，PengZhou，Y皿He，YidongChen.FastintegerpelandfractionalpelmotionestimationforJVT[C]，JVT_F017，2002.)FFPS方法如圖1所示。FFPS以最佳整像素為中心進行層次搜索首先，計算最佳整像素位置周圍的8個1/2像素位置，找到最佳1/2像素匹配點；然後，計算最佳1/2像素周圍的8個1/4像素位置，找到最佳1/4像素匹配點，作為FFPS的最佳運動矢量。FFPS需要計算16個像素位置。CBFPS方法如圖2所示。CBFPS採用矢量預測和逐步求精的搜索策略首先，通過計算相鄰塊的運動矢量的中值獲得分數像素預測運動矢量(Pred_x，Pred_y)，比較原始搜索中心(0，0)和預測運動矢量(Pred_x，Pred_y)的匹配誤差；其中產生最小誤差的搜索點作為分像素搜索的起始點；然後，使用菱形模板(參見JoYewTham，SurendraRanganath，MaitreyaRanganath，AshrafAliKassim.Anovelunrestrictedcenter—biaseddiamondsearchalgorithmforblockmotionestimation[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,1998，8(4):369-377.)迭代，以逐步求精，計算最終的分數像素匹配點。和FFPS相比，CBFPS可減少20%的計算量，而圖像質量幾乎不變，是一種非常有效的快速分數像素搜索方法。H.264/AVC標準的幀間預測比以前的編碼標準提供了更大的靈活性。採用樹狀結構的運動補償，每個宏塊可分為16X16，8X16，16X8，8X8的塊；當採用8X8塊時，還可以進一步分為更小的8X4，4X8，4X4子塊，如圖3所示。在進行運動估計時，編碼器需要對整個預測模式集合(SKIP(採用SKIP模式，以有效地編碼大面積的靜止區域和運動一致區域。SKIP模式也是16X16塊尺寸的運動補償預測模式，只是不需要編碼任何運動和預測殘差信息)，16X16，8X16，16X8，8X8，8X4,4X8,4X4}在每種分割模式下單獨進行運動估計，得到各自的運動矢量。編碼器綜合考慮對殘差值進行編碼所需的比特數和對運動矢量進行編碼所需的比特數，然後選擇最佳的預測模式。H.264/AVC選擇最優模式的方法稱為率失真優化(RateDistortionOptimization,RD0)。基於RD0的模式選擇方法通過在各候選模式下編碼宏塊並比較所得的率失真代價，選取率失真代價最小的模式作為最佳編碼模式。率失真代價函數定義如下J(s，c，M0DElQP，入腳E)=SSD(s，c，M0DE|QP)+AM0DER(s，c，MODElQP)(1)其中，Qp為量化參數(QuantizationParameter)，MODE為候選宏土央編碼模式，對I幀和P幀，拉格朗日因子"。DE=0.85X2QP/3。SSD為原始信號s與重建信號c的均方差之和，作為失真度量。R為量化參數QP和模式MODE下編碼此宏塊所需的比特數(包括宏塊頭信息、運動矢量及殘差變換量化後的係數等)。圖4所示為某一候選模式下的率失真代價計算過程，可見，為計算候選模式對應的率失真代價，需要運動估計/補償、變換、量化及熵編碼過程以獲得此模式下編碼所需的比特數，也需要反量化/反變換以獲得重建信號，整個過程具有很高的計算複雜度。由公式(1)可見，率失真代價為失真與所需比特數的折衷，比特數所佔權重即為拉格朗日因子，其值為量化參數的單調函數。
發明內容本發明的目的是克服已有技術的不足之處，提出一種內容自適應分數像素運動估計方法。可以在確保運動估計精度的基礎上，減少分數像素運動估計的計算量。本方法適用於H.264國際標準，但不局限於H.264，可以推廣至其它視頻壓縮國際標準和非國際標準的應用。本發明提出了一種內容自適應分數像素運動估計方法。其特徵在於，採用基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法和改進的基於預測矢量的增強型菱形模板搜索方法。基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法具體如下通過檢測H.264運動估計7種模式中的模式1的運動矢量是否落在整像素點，判定當前宏塊是否是平坦塊。對於平坦塊，後續模式只進行常規整像素運動矢量搜索，而不進行分數像素運動矢量搜索。對於非平坦塊，進行常規整像素和分數像素運動矢量搜索。改進的基於預測矢量的增強型菱形模板搜索方法具體如下第一步由相鄰塊預測當前塊的分數像素運動矢量，獲得FMVP，即(Pred_x，Pred_y)。直接以FMVP作為搜索起始點。第二步比較搜索起始點(Pred_x，Pred_y)周圍的4個菱形搜索點和(Pred_x，Pred_y)的匹配誤差，如果最小絕對誤差之和MSAD位於(Pred_x，Pred_y)，則停止分數像素運動矢量搜索，否則進行第三步搜索。第三步如果最佳匹配點和次最佳匹配點相對，則選擇最佳匹配點MV為最終分數像素運動矢量；如果最佳匹配點和次最佳匹配點相鄰，則計算與其相鄰的正方形模板上點的匹配誤差，若MSAD仍為菱形最佳匹配點，則選擇菱形最佳匹配點MV為最終分數像素運動矢量，否則進行下一步。第四步以第三步中正方形模板上的搜索點為中心，用菱形模板搜索其周圍的點。選擇MASD的點作為最終分數像素運動矢量。本發明與現有技術相比所具有的優點在於本發明的基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法，充分利用了運動估計模式相關性。根據模式l的運動矢量，預測平坦塊SMB。對於SMB，其餘6種匹配模式只進行整像素搜索，跳過分像素搜索。實驗表明該方法在保證解碼圖像質量的前提下，可將分數像素運動矢量搜索的計算量減小28.70%56.00%。該方法具有獨立性，與本文提出的基於預測矢量的增強型菱形模板搜索方法結合使用，可以進一步減少分數像素運動估計的計算量。內容自適應分數像素運動估計方法和最優方法FFPS相比，平均節省38.5%的計算時間，PSNR損失不超過0.209dB。特別，對於運動平緩的視頻序列，可節省46%的計算時間，並保持了與之相當、甚至更優的PSNR。圖1為分數像素全搜索(FFPS)示意圖。圖2為基於中心的快速分數像素搜索(CBFPS)示意圖。圖3為H.264可變宏塊尺寸示意圖。圖4為某一候選模式下的率失真代價的計算過程。圖5為7種模式之間的空間關係。圖6為常用搜索模板(a)為菱形模板；(b)為正方形模板；(c)為六邊形模板。圖7為基於預測矢量的增強型菱形模板搜索示意圖。圖8為基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法流程圖。具體實施例方式本發明提出的內容自適應分數像素運動估計方法結合附圖及具體實施方式詳細說明如下本發明提出的內容自適應分數像素運動估計方法，包括基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法和改進的基於預測矢量的增強型菱形模板搜索方法。下面分別介紹基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法，包括以下步驟分數像素運動估計可以提高壓縮視頻質量和壓縮率，但是，分數像素運動矢量搜索需要巨大的計算量。如果分數運動矢量搜索獲得的最小絕對誤差和(MSAD:minim咖sumofabsolutedifference)大於整像素運動矢量搜索獲得的MSAD，則選擇整像素MV作為最終MV，分數像素運動矢量搜索被視為無效。反之，分數像素運動矢量搜索為有效，選擇分數像素MV作為最終MV。對7個標準視頻序列的前20幀進行實驗(其中，News,Container,Silent屬於低空間細節且運動緩慢的測試序列；Paris，Foreman為中等空間細節且運動強度中等的測試序列；Football為高空間細節且運動劇烈的測試序列)，將最終MV是整像素MV所佔的比例列於表l。tableseeoriginaldocumentpage6表1整像素MV所佔的比例(10幀，QP=28)視頻內容運動平緩的序列，如News、Container、Silent,有超過80%的運動矢量位於整像素位置。實際上，對於視頻幀的平坦區域，分數像素搜索對編碼性能的提高並不明顯，為無效搜索。如果可以預測這些平坦區域塊，跳過無效的分數像素搜索，就可以減少不必要的計算。因此，如何使編碼器根據視頻內容自適應地決定是否進行分數像素搜索，S卩，如何在分數像素運動估計之前，預測視頻幀的平坦區域塊，是省略無效的分數像素運動估計矢量搜索的關鍵所在。H.264的7種運動估計模式之間存在較強的相關性(7種模式之間的空間關係如圖5)。利用上層模式運動矢量搜索的結果可以預測當前宏塊的平坦程度。因此，如果上層模式1(16X16)運動矢量在整像素位置，則定義這樣的宏塊為平坦塊，簡稱SMB(smoothmacro-block)。對於SMB，下層模式的運動矢量搜索可以跳過分數像素運動矢量搜索。本發明提出的基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法，簡稱SMBP(smoothmacro-blockprediction)。通過檢測模式1運動矢量是否落在整像素點，判定當前宏塊是否是平坦塊。對於平坦塊，後續模式只進行常規整像素運動矢量搜索，而不進行分數像素運動矢量搜素。對於非平坦塊，進行常規整像素和分數像素運動矢量搜索。流程圖如圖8。平坦塊預測準確率指被判定為SMB的下層模式進行常規分數像素運動矢量搜索，並且其最終運動矢量落在整像素位置的比率。準確率如公式(2)定義。平坦塊預測準確率、整像素MV所佔比例統計結果見表2。formulaseeoriginaldocumentpage7SMB的數量預測準確率越高，匹配誤差越小，因此解碼圖像質量下降越小，碼率變化越小。由表2可見，對於運動緩慢的視頻序列，平坦塊預測的準確率在91%以上，本發明方法對此類序列能夠做出較準確的預測。分數像素MV減少的比例從28.70%56.00%，S卩，本發明方法可將分數像素運動矢量搜索的計算量減少28.70%56.00%。tableseeoriginaldocumentpage7表2平坦塊預測準確率(10幀，QP=28)改進的基於預測矢量的增強型菱形模板搜索方法，包括以下步驟分數像素由整像素插值得到，分數像素搜索窗口內搜索點的相關性遠高於整像素搜索點的相關性。當搜索點靠近全局最小點時，匹配誤差單調下降。因此，許多快速分數像素運動矢量搜索方法採用了預測運動矢量(FMVPfractionalpredictedmv)作為搜索起始點。如果可以精確預測分數像素運動矢量搜索的初始點，則可以更早地搜索到FMVP附近的最佳MV，及時停止分數像素運動估計搜索。當前塊的FMVP由相鄰塊(上、左、右上塊)的分數像素運動矢量的中值決定。FMVP包含兩部分信息整像素預測矢量和分數像素預測矢量。用公式(3)提取分數像素預測矢量，其中mv是已搜索得到的整像素運動矢量，以分數像素為單位。％是取模操作，13=4時，搜索精度為1/4像素，13=8時，搜索精度為1/8像素。formulaseeoriginaldocumentpage7表3顯示了FMVP和由FFPS獲得的最佳分數像素MV的匹配程度。匹配表示FMVP等於最佳MV;[-1，1]表示FMVP和最佳MV之間的距離在1個分數像素單位之內。由表3可以發現運動緩慢的測試序列的FMVP和最佳MV的匹配概率大於82%。中高運動強度的測試序列的匹配概率較低，但其FMVP在最佳MV的[-2，2]範圍內的概率在:上。因此，可以使用FMVP作為分數像素運動矢量搜索的起始點。tableseeoriginaldocumentpage8表3FMVP和最佳分數像素MV的匹配程度運動矢量搜索常用三種模板菱形模板、正方形模板和六邊形模板。其中，菱形模板最簡單，被許多視頻編碼器採用，如圖6(a);正方形模板在菱形模板上增加了對角線上的4個點，計算複雜度和搜索結果準確度增加，如圖6(b);六邊形適合搜索範圍較大的場合，由於分數像素運動矢量搜索範圍僅限於兩個整像素之間，六邊形模板不適用於分數像素運動矢量搜索，如圖6(c)。本發明提出基於預測矢量的增強型菱形模板搜索方法。與CBFPS不同的是，由於FMVP和最佳MV有較高的匹配率，本方法不考慮原始搜索中心(0，0)，而直接以FMVP作為搜索起始點；採用增強型菱形模板(EDSP:extendeddiamondsearchpattern)，結合正方形模板準確度較高的優點，在菱形模板的基礎上增加對角線上的搜索點；不進行菱形模板的迭代，而將搜索停止在FMVP的[-2，2]範圍內，省略[_2，2]範圍外的少數對編碼效率提高不大的分數像素運動矢量搜索，以減少搜索點數，從而進一步減少計算量。圖7為基於預測矢量的增強型菱形模板搜索策略示意圖，方法流程如下。第一步由相鄰塊預測當前塊的分數像素運動矢量，獲得FMVP，即(Pred_x，Pred_y)。直接以FMVP作為搜索起始點。第二步比較搜索起始點(Pred_x，Pred_y)周圍的4個菱形搜索點和(Pred_x，Pred_y)的匹配誤差，如果最小絕對誤差之和MSAD位於(Pred_x，Pred_y)，則停止分數像素運動矢量搜索，否則進行第三步搜索。第三步如圖7(a)，如果最佳匹配點和次最佳匹配點相對，則選擇最佳匹配點MV為最終分數像素運動矢量；如圖7(b)，如果最佳匹配點和次最佳匹配點相鄰，則計算與其相鄰的正方形模板上點的匹配誤差，若MSAD仍為菱形最佳匹配點，則選擇菱形最佳匹配點MV為最終分數像素運動矢量，否則進行下一步。第四步以第三步中正方形模板上的搜索點為中心，用菱形模板搜索其周圍的點。選擇MASD的點作為最終分數像素運動矢量。本發明提出的內容自適應分數像素運動估計方法在H.264測試平臺JM15.0上進行了實驗。選擇了具有代表性的運動劇烈程度從緩慢到劇烈的6個視頻序列進行了測試。JM15.0編碼器的與運動估計相關的參數設置見表4。tableseeoriginaldocumentpage9表4編碼器相關參數設置將EDSP，SMBP+EDSP分別與JM15.0採用的FFPS和CBFPS在方法性能上進行了對比(l)搜索點數(分數像素)每個宏塊得到最終分數像素運動矢量需要的搜索點數，反映方法的匹配速度；(2)峰值信噪比的變化(APSNR:PeakSignalNoiseRadio):衡量運動估計和補償後的圖像和原始圖像的差別，反映方法的預測質量；(3)A計算時間(運動估計節約的計算時間，包括整像素和分數像素)從整體上反映編碼器在運動估計模塊上消耗的時間。這三個實驗參數均以FFPS為標準進行比較。tableseeoriginaldocumentpage9表5各方法性能比較由表5可見，本文提出的EDSP方法平均每個宏塊搜索點數為3.9，比FFPS節約了75.6%;EDSP方法的PSNR和FFPS相比，損失不超過O.13dB。SMBP結合EDSP可以進一步減少運算量，節省運算時間。SMBP+EDSP和EDSP相比，對於運動平緩的視頻序列，如News、Container、Silent，平均節省16%的計算時間；運動強度中等的視頻序列，如Paris和Forman，平均節省10%的計算時間；運動劇烈的視頻序列，如Football,節省7%的計算時間。SMBP+EDSP和最優方法FFPS相比，平均節省38.5%的計算時間，PSNR損失不超過0.209dB;SMBP+EDSP和CBFPS相比，平均節省14.7%的計算時間，PSNR損失不超過0.196dB。權利要求一種用於內容自適應分數像素運動估計方法的採用基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法，其特徵在於通過檢測H.264運動估計7種模式中的模式1的運動矢量是否落在整像素點，判定當前宏塊是否是平坦塊；對於平坦塊，後續模式只進行常規整像素運動矢量搜索，而不進行分數像素運動矢量搜索；對於非平坦塊，進行常規整像素和分數像素運動矢量搜索。2.如權利要求1所述的無效分數像素運動矢量搜索省略方法，其特徵在於，採用改進的基於預測矢量的增強型菱形模板搜索方法第一步由相鄰塊預測當前塊的分數像素運動矢量，獲得FMVP，即(PrecLx，Pred_y);直接以FMVP作為搜索起始點；第二步比較搜索起始點(PrecLx，PrecLy)周圍菱形模板上的4個搜索點和(Pred_X，Pred_y)的匹配誤差，如果最小絕對誤差之和MSAD位於(Pred_x，Pred_y)，則停止無效分數像素運動矢量搜索省略方法，否則進行第三步搜索；第三步如果最佳匹配點和次最佳匹配點相對，則選擇最佳匹配點MV為最終分數像素運動矢量；如果最佳匹配點和次最佳匹配點相鄰，則計算與其相鄰的正方形模板上點的匹配誤差，若MSAD仍為菱形最佳匹配點，則選擇菱形最佳匹配點MV為最終分數像素運動矢量，否則進行下一步；第四步以第三步中正方形模板上的搜索點為中心，用菱形模板搜索其周圍的點；選擇MSAD的點作為最終分數像素運動矢量。全文摘要本發明屬於信號處理中的視頻編碼領域，涉及內容自適應分數像素運動估計方法。包括基於平坦區域宏塊預測的無效分數像素運動矢量搜索省略方法通過檢測H.264運動估計7種模式中的模式1的運動矢量是否落在整像素點，判定當前宏塊是否是平坦塊。對於平坦塊，後續模式只進行常規整像素運動矢量搜索。對於非平坦塊，進行常規整像素和分數像素運動矢量搜索。改進的基於預測矢量的增強型菱形模板搜索方法採用了改進的搜索模板，將搜索停止在預測運動矢量的[-2，2]範圍內，省略計算[-2，2]範圍外的少數對編碼效率提高不大的分數像素採樣點。內容自適應分數像素運動估計方法比分數像素全搜索方法(FFPS)在峰值信噪比(PSNR)有微小降低(0.095～0.209dB)的情況下，平均減少了75.6％的分數像素搜索點，整個運動估計模塊平均節省了38.5％的計算量。本發明的自適應分數像素運動估計方法可以在確保運動估計精度的基礎上，減少分數像素運動估計的計算量。文檔編號H04N7/26GK101795409SQ201010117539公開日2010年8月4日申請日期2010年3月3日優先權日2010年3月3日發明者田雋,祝世平申請人:北京航空航天大學