一種用於高解析度視頻的h.264幀間編碼存儲管理方法
2023-10-11 00:46:24 1
一種用於高解析度視頻的h.264幀間編碼存儲管理方法
【專利摘要】本發明公開了一種用於高解析度視頻的H.264幀間編碼存儲管理方法。H.264幀間編碼會不斷從SDRAM中取參考幀的數據，當視頻解析度增加時，所需帶寬將線性增加。由於搜索窗有重疊，可以進行數據重用。本發明提出了一種基於局部參考幀緩衝區的存儲管理方案，採用該方案，參考幀數據只需取一次，避免了重複存取，降低了外部存儲器帶寬，並且，緩衝區大小和圖像解析度無關，尤其適用於高解析度視頻的H.264幀間編碼。本發明將輸入的視頻在水平方向平均分成2N列，根據不同的解析度設定不同的N，大解析度的視頻設置大的N，小解析度視頻設置小的N，按照水平方向先左後右的順序對視頻進行逐行編碼，採用小容量的緩衝區即可存放需要用到的參考幀數據。
【專利說明】—種用於高解析度視頻的H.264幀間編碼存儲管理方法
【技術領域】
[0001]本發明涉及視頻編碼【技術領域】，尤其涉及一種用於高解析度視頻的H.264幀間編
碼存儲管理方法。
【背景技術】
[0002]H.264 標準是 ITU-T(ITU-T for ITU Telecommunication StandardizationSector,國際電信聯盟遠程通信標準化組織)的VCEG(Video Coding Experts Group,視頻專家組)和IS0/IEC(國際標準化組織/國際電工委員會)的MPEG(Moving PicturesExperts Group,活動圖像專家組)的JVT (Joint Video Team,聯合視頻組)開發的視頻編碼標準。在相同的重建圖像質量下，H.264比H.263節約一半的碼率。它既保留了以往壓縮技術的優點和精華，又具有其他壓縮技術無法比擬的許多優點，既是ITU-T的H.264，又是IS0/IEC的MPEG-4的第10部分。
[0003]隨著高清視頻的發展和普及，視頻編解碼技術在大存儲、大數據量、高帶寬佔用等方面，又面臨著嚴峻的挑戰。如果處理不好帶寬的優化、編碼器數據存取等問題，只是通過改進編碼器內部的編碼算法，也無法使整個編碼器系統的性能，得到明顯的提高。在H.264編碼過程中，最基本的做法是將從圖像傳感器採集到的數據存放到外部的SDRAM中，然後從SDRAM中取得編碼的原始數據進行編碼，將編碼後的最終數據再重新存入外部的SDRAM中，完成一幀圖像的編碼。在做幀間編碼時，需要從外部的SDRAM中讀取參考幀數據，對於當前幀的每個MB，在取參考幀數據時，除了要從SDRAM中讀取參考幀對應位置的MB數據外，還需從參考幀中同時讀取對應位置的MB上下左右4個MB的數據。因此參考幀中的每個MB都會被用到5次，對於一幀圖像的幀間編碼來講，相當於需要從外部SDRAM中對參考幀數據重複讀取5次，相當於5幀的數據量，佔用了大量的SDRAM帶寬資源。針對水平方向數據連續的特點，可以通過緩衝將連續幾個MB的數據復用，這種方法無法復用垂直方向的數據，因此，還是需要從SDRAM中讀取3幀的數據量。
[0004]進一步降低SDRAM帶寬，可以採用3個整行MB (寬度等於圖像寬度，高度為16個像素)大小的Line Buffer進行緩衝，來減少對外部SDRAM的訪問次數。即從SDRAM中取出3個整行MB的參考幀數據，存入到Line Buffer中，在做幀間編碼時，直接從Line Buffer中取得參考幀數據進行編碼。這樣，只需要從外部的SDRAM中取一次參考幀數據，對SDRAM的帶寬佔用減少到I幀的數據量。這種採用整個MB行做Line Buffer的緩衝策略，雖然減少了對SDRAM的帶寬佔用，但需要大量的內部存儲器資源用於緩衝區。隨著視頻解析度的不斷提升，採用這種MB行Line Buffer做緩衝，需要的緩衝區大小隨著解析度的上升而線性增加，在高解析度的應用中並不可取。因此，充分利用小容量存儲器來降低SDRAM帶寬，利用較少的內部存儲資源，來實現帶寬利用率的最優化，就成為本發明需要解決的問題。
【發明內容】
[0005]本發明提供一種用於高解析度H.264幀間編碼的存儲管理方法，目的是基於有限容量的內部緩衝區，減少幀間編碼對外部SDRAM訪問的帶寬開銷。
[0006]該發明採用以下技術方案來實現:
[0007]將輸入的圖像等分成2N列，N根據解析度來設定。按照從左向右的順序，依次對每一列圖像分別進行編碼，每列圖像按照自上而下的順序依次編碼。2N個圖像列編碼後產生2N個H.264碼流，碼流以鍊表的形式存入外部的SDRAM，最後由軟體把2N個碼流合併為一個完整的碼流，完成H.264幀間編碼。
[0008]H.264進行巾貞間編碼時,米用Reference Buffer作為緩衝,進行巾貞間編碼時,先從SDRAM中取出參考巾貞數據，存入到內部的Reference Buffer,然後直接從Reference Buffer中讀取參考幀數據進行編碼。針對每個MB取參考幀數據，除了要取參考幀對應位置的MB數據外，還要取對應MB相鄰的上、下、左、右四個MB數據。為避免參考幀數據的重複讀取，Reference Buffer 由 3 個 MB 行組成。
[0009]Reference Buffer每行的空間大小用BufMBLine表示,單位為一個MB的大小，其計算方法為:
[0010]BufMBLine = Width/(16x2N)+2 (I)
[0011]其中，Width是圖像的寬度，加2是因為圖像被分割後為多個圖像列後，會產生了新的邊界，而在新邊界處的MB，並不是實際的圖像行的開始或結束，實際上，參考幀對應MB的左邊和右邊都存在相鄰的MB可用於編碼。分割後圖像列除了第一列和最後一列只有一個新邊界，其他的圖像列都有兩個新邊界，所以Reference Buffer行的大小需要加2以滿足編碼需求；
[0012]Reference Buffer 的大小用 BufArea 可以表不為:
[0013]BufArea = 3xBufMBLine ； (2)
[0014]分割後的圖像列按照從左向右的順序，依次對2N列圖像分別進行編碼，對每列分割後的圖像，自上而下進行編碼。當編碼進行到第Width/(16x2N)個MB，即分割後的圖像一行編碼結束時，參考幀對應行的上一行數據後續不再需要，此時可以把緩衝區中上一行的數據清空，並從SDRAM中讀取新的數據行用於後續的編碼；
[0015]整個Reference Buffer的三行緩衝空間，是按照回卷方式重複使用的。分割後圖像列的編碼順序自上而下，Reference Buffer按行填充的順序是1->2->3->1->2->3，自上而下回卷填充，實現Reference Buffer的更新。
[0016]該發明具有以下有益效果:
[0017]內部Reference Buffer資源的計算。一個MB的數據量為16x16x1.5 = 384位元組。對於解析度為1920x1080的視頻，採用本發明的存儲管理方法，設置N為2，所需的Reference Buffer的大小計算如下:
[0018]BufArea = 3x[I (/ (2x2)x(1920/16)+2]x384 = 38016yte ； (3)
[0019]採用MB行Line Buffer的存儲管理方法,緩衝區大小用BufArea』表示為:
[0020]BufArea，= 3x(1920/16) x384 = 138240Byte ； (4)
[0021 ] 即對於1920x1080的視頻，採用本發明的存儲管理方法，所需的ReferenceBuffer大小僅為37.1KB ;而以MB行的Line Buffer緩衝的方法，所需的Line Buffer為135KB，是本發明的內部存儲器資源的3.6倍。
[0022]SDRAM帶寬的開銷計算。還是以1920x1080的視頻為例，將圖像分為4個列(N =2)進行編碼，第一個圖像列和最後一個圖像列各多I個新邊界，中間2個圖像列各多2個新
邊界，相比於MB行Line Buffer緩衝方法，一共需要從SDRAM多取(1+1+2χ2)xl080/16 =
405個MB，增加的SDRAM開銷比例Delta計算如下:
【權利要求】
1.一種用於高解析度視頻的H.264幀間編碼存儲管理方法，其特徵在於，該存儲管理方法採用很小的Reference Buffer作為緩衝區，在做巾貞間編碼時，直接從ReferenceBuffer中讀取參考幀數據，減少對SDRAM的訪問次數；將輸入的圖像等分成2N列，N根據解析度來設定，按照從左向右的順序，依次對每一列圖像分別進行編碼，每列圖像按照自上而下的順序依次編碼，2N個圖像列編碼後產生2N個H.264碼流，碼流以鍊表的形式存入外部的SDRAM，最後把2N個碼流合併為一個完整的碼流，完成H.264幀間編碼。
2.根據權利要求1所述的存儲管理方法，其特徵在於，採用ReferenceBuffer作為緩衝，進行幀間編碼時，先從SDRAM中取出參考幀數據，存入到內部的Reference Buffer，然後直接從Reference Buffer中讀取參考幀數據進行編碼；針對每個16x16像素宏塊MB取參考幀數據，除了要取參考幀對應位置的MB數據外，還要取該MB相鄰的上、下、左、右四個MB數據，所述Reference Buffer由3個MB行組成。
3.根據權利要求2所述的存儲管理方法，每個ReferenceBuffer行的大小用BufMBLine表示，單位為一個MB的大小，其計算方法為: BufMBLine = Width/(16x2N) + 2(I) 其中，Width是圖像的寬度,所述Reference Buffer的大小用BufArea可以表示為: BufArea= 3 x BufMBLine ；(2) 根據權利要求1或2所述的存儲管理方法，其特徵在於，分割的圖像列按照從左向右的順序，依次對2N列圖像分別進行編碼，對每列分割後的圖像，自上而下進行編碼，當編碼進行到第Width/(16x2N)個MB，即分割後的圖像一行編碼結束時，參考幀對應行的上一行數據後續不再需要，此時可以把緩衝區中上一行的數據清空，並從SDRAM中讀取新的數據行用於後續的編碼。
4.根據權利要求1、3、4中任一項所述的存儲管理方法,其特徵在於,整個ReferenceBuffer的三行緩衝空間，是按照回卷方式重複使用的，分割後圖像列的編碼順序自上而下，Reference Buffer按行填充的順序是1->2->3->1->2->3，自上而下回卷填充，實現Reference Buffer 的更新。
【文檔編號】H04N19/50GK103986937SQ201410232742
【公開日】2014年8月13日 申請日期:2014年5月28日 優先權日:2014年5月28日
【發明者】謝震, 齊靜瑞, 徐情生, 顧宇巍, 劉新寧, 楊軍 申請人:東南大學