逐行或逐列幀內預測的製作方法
2023-07-19 07:04:26 1
逐行或逐列幀內預測的製作方法
【專利摘要】本發明公開了一種根據視頻信號當前編碼塊左邊和上邊的已重構像素根據一定方向計算當前編碼塊的預測塊的算法。本算法分為逐行模式和逐列模式兩種。逐行模式首先根據一定方向，從第N-1行通過雙線性濾波計算得出第N行的預測，然後根據第N行的預測計算第N+1行的預測，其中N大於等於0且小於當前塊的高度，在所有行都計算完成後，對每一行執行行濾波得到最終的預測塊。逐列模式首先根據一定方向，從第N-1列通過雙線性濾波計算得出第N列的預測，然後根據第N列的預測計算第N+1列的預測，其中N大於等於0且小於當前塊的寬度，在所有列都計算完成後，對每一列執行列濾波得到最終的預測塊。
【專利說明】逐行或逐列幀內預測
【技術領域】
[0001]本發明屬於數字視頻壓縮領域，具體涉及到視頻信號的幀內預測。
【背景技術】
[0002]數字視頻是通過對時域和空域連續的自然場景進行時域和空域連續採樣所得。如圖1所示，數字視頻由一系列時域上的視頻幀所組成，每個視頻幀表示自然場景在某個時間的空域採樣，它由二維均勻採樣的視覺像素組成。每個像素由一系列描述像素亮度和色彩的數字組成，在視頻編碼中，最廣泛被使用的格式是YUV格式，這種格式中，每個像素由一個亮度分量Y，兩個色差分量U和V組成，一般對U和V分量水平和垂直方向各進行一次下採樣，這樣每相鄰的4個像素共用I個U和I個V分量，這就是YUV4:2:0格式。
[0003]最廣泛被使用的視頻編碼技術是塊基混合運動補償DCT變換視頻編碼技術，其中最有代表性的是MPEG和VCEG正在聯合制定的國際標準HEVC。如圖2所示，HEVC編碼器首先把輸入幀被劈分成一個個NxN (其中N為2的冪次，其最小為8，最大可以到64)的塊，稱為最大編碼單元(IXU)，然後從左到右，從上到下依次對IXU進行編碼。在HEVC中，基本的預測-變換-編碼單位稱為編碼單元(⑶)，對於一個大小為2Nx2N的IXU，可以把它作為一個CU直接進行預測-變換-編碼，也可以把它以四分樹的方式劈分為4個大小為NxN的單元進行預測-變換-編碼，而對於每個NxN的單元，它也既可以作為一個CU進行預測-變換-編碼，也可以繼續以四分樹的方式劈分為4個更小的單元進行編碼。圖3所示既是一個LCU的編碼劈分圖，圖中LCU被劈分為4個等尺寸CU，而4個CU中的第一個、第三個和第四個又分別進行了繼續的劈分。CU最小為8x8，最大可以和LCU等尺寸。對每個待編碼的CU，首先從已編碼的重構幀中計算出一個對當前塊的預測，並與當前塊相減，殘差依次執行DCT變換、量化，然後反量化、反DCT變換得到重構宏塊，存入重構幀序列中，用於對其後編碼的CU產生預測信號。由於精確的DCT變換是浮點變換，所以實際中一般用DCT變換的整數近似或者KLT變換的整數近似來代替。
[0004]⑶的預測有2種，第一種是幀內預測，即只使用當前編碼幀的已重構的像素對當前CU進行預測。當前最流行的幀內預測技術是幀內方向預測技術。幀內方向預測直接以CU為單位進行。HEVC中所使用的角度幀內預測如圖4所示。圖4所示白色黑框塊是當前編碼⑶，左邊和上邊的灰色條帶是當前⑶左上的已重構像素，他們用來生成當前⑶的預測信號。每一個幀內方向預測模式說明一個當然的預測方向，對於如圖4所示編碼CU中的某一行或某一列(用豎狀網格表示)，根據預測方向找到左上重構塊中的相應的像素，如圖4中黑色像素塊所示，作為當前行或列的預測。圖4右側所示的列預測因為左邊靠上的重構像素不存在，所以在實際的預測開始前，需要根據當前預測方向從當前塊上邊的重構像素根據當前幀內預測方向映射過去，如圖5所示。為了提供更高的編碼性能，在實際的預測開始前，需要對參考像素執行一次平滑濾波操作以去除噪聲，所用濾波器一般是(1/4，2/4，1/4)。在HEVC中共有33種不同的方向預測模式，如圖6所示。
[0005]CU的第二種預測是幀間預測，這時當前塊的預測從時域上在當前幀前或當前幀後的重構幀中的選取。在HEVC中，預測以預測單元(PU)為基本單位。一個2Nx2N大小的⑶有4種PU劃分模式，它既可以作為單一的執行運動補償，也可以分割成幾個分別執行不同的運動補償，如圖7所示。對於一個任意形狀的運動補償過程如圖8、圖9、圖10和圖11所不。顯不時間為t的巾貞是當如編碼巾貞，黑色塊是當如編碼塊。顯不時間為t_to、t-2*t0、t+t0幀是重構幀，其中具有點狀邊界的灰色塊是與當前編碼塊同一空域位置的塊。顯示時間為t-t0、t-2*t0、t+t0幀都可以作為當前編碼塊的預測。在圖8中，運動向量MVO指向當前塊的前向預測塊BLK0。在圖9中，運動向量MVl指向當前塊的後向預測塊BLK1。在圖10中，運動向量MV指向當前塊的前向預測塊BLKO，MV的反方向指向後向預測塊BLKl，BLKO和BLKl的平均作為當前塊的預測。在圖11中，運動向量MVO指向當前塊的前向預測塊BLK0，運動向量MVl指向當前塊的後向預測塊BLK1，BLKO和BLKl的平均作為當前塊的預測。在前向預測、後向預測和對稱預測中，只有一個運動參數(包括運動向量和參考圖像)需要編碼，而在雙向預測模式中，2個運動參數需要編碼。對於每種時域補償模式，編碼器通過率失真優化的運動估計過程得到最優的運動參數，並將其編入碼流。
[0006]在得到預測以後，將當前塊與預測塊相減，得到殘差塊，然後對殘差塊依次執行DCT變換或其他正交變換，然後量化、熵編碼，然後再反量化、反變換、和預測塊相加得到重構塊，並用於後續編碼塊的預測。在HEVC中，變換以變換單元(TU)為單位進行。對於幀內預測，TU與⑶同尺寸，即對一個2Nx2N大小的⑶，直接執行2Nx2N 二維可分離變換。對於時域預測，則使用變尺寸塊變換。這時TU的形狀依賴於I3U的形狀。在HEVC中，TU的形狀總是比PU要小，這樣變換不會穿越預測的邊界，但也降低了變換的靈活性。HEVC中所使用的四分樹結構變尺寸塊變換如圖12所示，一個2Nx2N的待變換單元可以有4種變換分割模式，即直接2Nx2N變換、2個2NxN變換、2個Nx2N變換、或者分割成4個NxN單元。4個NxN單元中的每一個都可以獨立進行四分樹結構的變尺寸塊變換。TU的最小單元是4x4。
[0007]對變換係數的量化需要使用量化參數(QP)，有時候還要使用加權量化矩陣。在當前HEVC的編碼中，量化參數的傳輸發生在一個當然的尺寸的⑶之上，這個尺寸編碼在圖像或者片段之上。就是說，當⑶尺寸在MxM或之上且這個⑶內含非零量化係數時，編碼器傳輸一個量化參數的差分(dQP)，這樣解碼器就可以根據從前的QP和這個dQP計算出當前MxM尺寸或更大尺寸CU內部所有變換塊所使用的共同的QP。比如說，M為16時，如果一個⑶為32x32，且含非零變換係數，那麼編碼器一定給這個⑶傳輸一個dQP。如果一個⑶為8x8且含非零變換係數，那麼編碼器必須給包含它的16x16⑶傳輸一個dQP，這個16x16⑶內部所有8x8⑶都使用這個dQP。MxM尺寸或更大尺寸⑶，dQP在碼流中的位置從來都在非零變換係數之前。在HEVC中，量化矩陣傳輸於圖像或者片段級別，它並沒有LCU或者CU級別的自適應性。
[0008]本發明描述了一種新的根據左上參考像素對當前塊產生一個幀內塊預測的算法，它能提供更高的編碼效率。
【發明內容】
[0009]本發明所述算法採用當前塊的左上重構像素通過某一種方向模式求出當前塊的一個等大小的塊預測。本算法分為2個步驟，第一個步驟首先求得一個預測塊，叫第一步預測塊，和HEVC的角度幀內預測類似，它也有兩種模式，一種是逐行預測模式，另一種是逐列預測模式。第二步是對這個第一步預測塊實施一維濾波構成最終預測塊，這一步採用和第一步相同的模式，即第一步是逐行預測模式時，這一步也是行濾波；如果第一步是逐列預測模式，這一步就是列濾波。
[0010]首先介紹逐行預測模式。圖13和圖14是逐行預測模式。黑邊框塊是當前編碼塊，左邊和上邊灰色的塊都是當前塊左上已編碼的重構像素。有樹狀紋理的長條形塊是當前行像素，其上面方格紋理的則是它的預測行，箭頭表示預測方向。圖14中點狀框表示已經計算出的像素。圖13是第一行的預測，它通過一定的方向由上重構行算出。當預測指向子像素位置時，那麼預測像素由雙線性濾波作用於整數像素上計算得出。當第一行得出時，使用它和當前塊左邊的重構像素根據一定的方向計算出第二行的預測像素。一般的，第N行的像素由第N-1行像素，根據一定方向，由雙線性濾波計算得出。如圖14所示。由於要進行第二步的濾波操作，所以計算出了比當前塊寬度更多的像素。在第一步預測塊計算完成後，對第一步預測塊執行行濾波得到最終預測塊。所用濾波器如圖17所示，寬或高選擇當前編碼塊的高度。
[0011]然後介紹逐列預測模式。圖15和圖16是逐列預測模式。黑邊框塊是當前編碼塊，左邊和上邊灰色的塊都是當前塊左上已編碼的重構像素。有樹狀紋理的長條形列是當前列像素，其左面方格紋理的則是它的預測列，箭頭表示預測方向。圖16中點狀框表示已經計算出的像素。圖15是第一列的預測，它通過一定的方向由左重構列算出。當預測指向子像素位置時，那麼預測像素由雙線性濾波作用於整數像素上計算得出。當第一列得出時，使用它和當前塊上邊的重構像素根據一定的方向計算出第二列的預測像素。一般的，第N列的像素由第N-1列像素，根據一定方向，由雙線性濾波計算得出。如圖16所示。由於要進行第二步的濾波操作，所以計算出了比當前塊高度更多的像素。在第一步預測塊計算完成後，對第一步預測塊執行列濾波得到最終預測塊。所用濾波器如圖17所示，寬或高選擇當前編碼塊的寬度。
[0012]本發明所述另一個方面是逐行或逐列預測的方向編碼。本發明採用最多達4階的DCT係數來編碼每一行(逐行情況下)或每一列(逐列情況下)的方向。
【專利附圖】
【附圖說明】
[0013]圖1為數字視頻示例,其中指示I表示時域採樣,指示2表示空域採樣。
[0014]圖2為塊基運動補償DCT變換視頻編碼器，其中指示I表示劈分為IXU，指示2表示中貞內預測信息，指示3表示運動參數信息,指示4表示控制信息,指示5表示量化DCT係數，指示6表示編碼碼流。
[0015]圖3是IXU通過四分樹遞歸的劈分為⑶。
[0016]圖4是角度幀內預測示意圖。
[0017]圖5是角度幀內預測中左上不可用像素的映射計算示意圖。
[0018]圖6是角度幀內預測所有方向模式示意圖。
[0019]圖7是⑶劈分為PU的所有方式。
[0020]圖8是時域前向預測示意圖。
[0021]圖9是時域後向預測示意圖。
[0022]圖10是時域對稱預測示意圖。[0023]圖11是時域雙向預測示意圖。
[0024]圖12是HEVC中變換分割示意圖，其中的NxN塊可以繼續同樣的分割。
[0025]圖13是逐行幀內預測第一行示意圖
[0026]圖14是逐行幀內預測第N行示意圖
[0027]圖15是逐列幀內預測第一列示意圖
[0028]圖16是逐列幀內預測第N列示意圖
[0029]圖17是幀內預測第二步行或列濾波所使用的濾波器示意圖
[0030]圖18是本發明所述視頻編碼器
[0031]圖19是本發明所述視頻解碼器
[0032]實施方式
[0033]圖18是包含本發明的一個視頻編碼器。編碼器首先把輸入視頻幀劃分為LCU，然後對LCU進行從左到右、從上到下的順序編碼。對每個LCU，編碼器將其劈分成CU進行編碼。對每個CU，編碼器對圖6所示33個方向中的任意一個方向，根據本專利所述算法產生當前CU的預測，然後量化-熵編碼，得到其率失真花費。編碼器通過評估所有方向，得到具有最佳率失真花費的那個方向，將這個方向和量化DCT係數編入碼流。
[0034]圖19所示是包含本發明的視頻解碼器，解碼器從左到右、從上到下對每個IXU進行解碼，解碼器先獲得IXU分割的信息，然後逐個對⑶進行解碼。⑶解碼過程如下，首先解碼方向預測模式，然後根據這個方向和當前CU的左上重構像素，根據本發明所述算法生成當前塊的預測；然後解碼量化DCT係數，然後反量化-反變換，再加上預測信號，得到重構塊。
【權利要求】
1.視頻編碼器根據當前編碼塊左邊和上邊的已重構像素根據一定方向計算當前編碼塊的預測塊。本算法分為逐行模式和逐列模式兩種。逐行模式首先根據一定方向，從第N-1行通過雙線性濾波計算得出第N行的預測，然後根據第N行的預測計算第N+1行的預測，其中N大於等於O且小於當前塊的高度，在所有行都計算完成後，對每一行執行行濾波得到最終的預測塊。逐列模式首先根據一定方向，從第N-1列通過雙線性濾波計算得出第N列的預測，然後根據第N列的預測計算第N+1列的預測，其中N大於等於O且小於當前塊的寬度，在所有列都計算完成後，對每一列執行列濾波得到最終的預測塊。
2.視頻編碼器根據當前編碼塊左邊和上邊的已重構像素根據一定方向計算當前編碼塊的預測塊。首先根據一定方向，從第N-1行通過雙線性濾波計算得出第N行的預測，然後根據第N行的預測計算第N+1行的預測，其中N大於等於O且小於當前塊的高度，就這樣得到當前塊所有行的預測值。在所有行都計算完成後，對每一行執行行濾波得到最終的預測塊。
3.如權利要求2所述，所用的行濾波濾波器由圖17中選取，寬和高那一欄根據當前塊的高度選取。
4.視頻編碼器根據當前編碼塊左邊和上邊的已重構像素根據一定方向計算當前編碼塊的預測塊。首先根據一定方向，從第N-1列通過雙線性濾波計算得出第N列的預測，然後根據第N列的預測計算第N+1列的預測，其中N大於等於O且小於當前塊的寬度，就這樣得到當前塊所有列的預測值。在所有列都計算完成後，對每一列執行列濾波得到最終的預測塊。
5.如權利要求2所述，所用的列濾波濾波器由圖17中選取，寬和高那一欄根據當前塊的寬度選取。
【文檔編號】H04N19/124GK103796032SQ201210430932
【公開日】2014年5月14日 申請日期:2012年10月31日 優先權日:2012年10月31日
【發明者】朱洪波 申請人:朱洪波