一種多視點視頻編碼視點間預測快速選擇方法

2023-08-07 09:51:51 3

專利名稱：一種多視點視頻編碼視點間預測快速選擇方法
技術領域：
本發明涉及數字視頻編碼領域，具體涉及一種多視點視頻編碼視點間預測快速選擇方法。
背景技術：
多視點視頻(Multiview Video, MV)是利用不同位置的攝像頭對同一場景進行拍攝得到的視頻數據，它包含了豐富的視覺信息，可以應用於3D電視、自由視點電視、視頻監控、虛擬實境等領域。多視點視頻編碼(Multiview Video Coding, MVC)對多視點視頻數據進行高效的壓縮，以解決其巨大數據量的存儲和傳輸的問題。聯合視頻工作組(Joint VideoTeam, JVT)已完成對多視點視頻編碼的標準化，將其作為H. 264/AVC的第四個增修案(JAL ITU-T and IS0/IEC JTC 1, Advanced video coding forgeneric audiovisual services，即「面向音視頻服務的高級視頻編碼」，ITU-TRecommendation H. 264 and ISO/ IEC 14496 (MPEG-4 AVC)，2010)。為了提高編碼壓縮效率，多視點視頻編碼的宏塊幀間模式不僅採用傳統單視點視頻編碼的時域預測來減少時間方向上的數據冗餘，還採用其特有的視點間預測來降低視點方向上的數據冗餘(見A. Vetro, T. ffiegand, and G. J. Sullivan, Overview of the stereo and multiview video coding extensions of theH. 264/AVC standard，即「H. ^4/AVC關於立體視頻和多視點視頻的擴展概述」，Proceeding of IEEE, vo 1. 99，pp. 6沈-642，2011)。視點間預測可以有效降低視點方向的數據冗餘，但由於每個幀間模式都要進行視點間預測，顯著增加了單個視點的計算量。因此，視點間預測的增加了多視點視頻編碼的整體計算複雜度，阻礙了其實際應用。另外，視點間預測被選為最終預測方向的宏塊比例比時域預測被選為最終預測方向的宏塊比例要少(見P.Merkle， A. Smolic,K. MiiilIer, and Τ· Wiegand,Efficient prediction structuresfor multiview video coding，S卩「多視點視頻編碼的高效預測結構」，IEEETransactions on Circuits and Systems for Video Technology，vol. 17，no. 11，pp. 1461-1473，Nov. 2007)。因此，幀間模式可以有選擇的進行視點間預測，不需要對所有幀間模式都進行視點間預測。綜上所述，視點間預測的選擇方法對多視點視頻編碼的實際應用具有重要的意義。現有的多視點視頻編碼幀間預測選擇方法主要是利用各個視點視頻數據的運動信息(見L. Q. Shen，Z. Liu，S. Liu，Z. y. Zhang，and P. An. Selective disparity estimation and variable size motion estimation based onmotion homogeneity for multi-view coding,即「基於運動同質性的多視點編碼視差估計和可變尺寸運動估計選擇算法」，IEEE Transactions onBroadcasting，vol. 55，no. 4，pp. 761-766，Dec. 2009，以及見 L. S. Young， S.K.Mu and C.K. Dong, An object-based mode decision algorithm formulti-view video coding，即「基於物體分割的多視點視頻編碼模式分析算法」，IEEE International Symposium on Multimedia, pp. 74-81，Dec. 2008)。在多視點視頻編碼結構中，非錨定幀既可以進行時域預測又可以進行視點間預測，而錨定幀只進行視點間預測(見A. Vetro, p. Pandit, H. Kimata,A.Smolic and Y. K. Wang,Joint Multiview Video Model (JMVM)8. O,
4即「多視點視頻編碼校驗模型 8. 0」，IS0/IEC JTC1/SC29/WG11 and ITU-T Q6/SG16，Doc. JVT-AA207, Apr. 2008)。利用運動信息選擇視點間預測的方法，由於需要利用時域預測得到的運動信息，因此不適用於錨定幀，同時也容易受到運動噪聲的影響。視點間預測是通過視差估計來實現當前視點中的物體在鄰近視點中的預測，而物體在兩個視點間的視差的大小是由攝像頭與物體之間的距離來決定。在多視點視頻採集系統中，除了可以得到各個視點的視頻數據，還可以得到各個視點對應的深度信息，用於實現視頻+深度的編碼方式 (JAL K. Muller, P. Merkle, and Τ. ffiegnad,3-D videorepresentation using depth maps, 即「基於深度圖的三維視頻表示」，Proceeding of IEEE, vol. 99,pp. 643-656, Apr. 2011 ；以及見 J. Zhang, Μ· Hannuksela, and H. Li, Joint multiview video plus depth coding,艮口 「多視點視頻和深度聯合編碼」，IEEE International Conference on Image Processing, PP. 2865-2868, Sep. 2010)。視點的深度信息反映了視點中的物體與攝像頭之間的距離，深度信息的紋理差異反映了視差的變化。因此多視點視頻編碼可以利用深度信息的紋理特徵來選擇是否進行不同尺寸幀間模式的視點間預測。由於每幀都有深度信息，相應的視點間預測選擇方法同時適用於錨定幀和非錨定幀。

發明內容
為了克服現有的多視點視頻編碼幀間預測選擇方法的準確率較低、計算量較大、 編碼率失真性能較差的不足，本發明提供了一種多視點視頻編碼視點間預測快速選擇方法，可以準確選擇視點間預測，減少多視點視頻編碼的計算量，並保持良好的編碼率失真性能。為了解決上述技術問題採用的技術方案為一種多視點視頻編碼視點間預測快速選擇方法，所述選擇方法包括以下步驟(1)輸入多視點視頻數據和深度信息；(2)宏塊幀內模式的估計，所述的幀內模式包括htral6xl6、Intra8x8和 Intra4x4 ；(3)宏塊幀間模式劃分活躍性計算利用步驟⑵中得到的最佳幀內模式，來計算宏塊的幀間模式劃分活躍性 PartitionActivity,如式(I)所示
fl, if Modelntra == Intra4x411 Intra8x8,、PartitionActivityin) = \(I)式(I)中，η是宏塊索引，1代表宏塊的幀間模式劃分活躍性高，0代表宏塊的幀間模式劃分活躍性低，Modelntea是宏塊的最佳幀內模式；當宏塊的最佳幀內模式為htra4X4 或htral6X16，則宏塊的幀間模式劃分活躍性高，否則宏塊的幀間模式劃分活躍性低；
(4)宏塊在16χ16、16χ8、8χ16、8χ8劃分方式下的深度信息紋理複雜度計算, 宏塊深度信息在^^劃分下的紋理複雜度D印thDevWxH計算如式(II)所示
B WxHDepthDevwxu
(")=Σ Σ \Depth(i,j) - DepthANG{j)\(II)
y=i '=I式(II)中，W劃分塊的水平解析度，H是劃分塊的豎直解析度，B是宏塊在WxH劃
5分方式下劃分塊的個數，j是宏塊深度信息劃分塊的索引，i是第j個劃分塊中的深度信息索引；DepthAVG(j)是第j個劃分塊的平均深度值，Depth (i, j)是第j個劃分塊中的第i個深度值；(5)宏塊中每個小尺寸幀間模式的視點間預測選擇，所述的小尺寸幀間模式包括 Interl6x8, Inter8xl6 禾口 Inter8x8 ；所述的小尺寸幀間模式中的Interl6X8模式的視點間預測的選擇如式(III)所
示
權利要求
1. 一種多視點視頻編碼視點間預測快速選擇方法，其特徵在於所述選擇方法包括以下步驟(1)輸入多視點視頻數據和深度信息；(2)宏塊幀內模式的估計，所述的幀內模式包括htral6xl6、Intra8x8和htra4x4；(3)宏塊幀間模式劃分活躍性計算利用步驟⑵中得到的最佳幀內模式，來計算宏塊的幀間模式劃分活躍性 PartitionActivity,如式(I)所示
全文摘要
一種多視點視頻編碼視點間預測快速選擇方法，包括以下步驟(1)輸入多視點視頻數據和深度信息；(2)宏塊幀內模式估計；(3)宏塊幀間模式劃分活躍性計算；(4)宏塊在16x16、16x8、8x16、8x8劃分方式下的深度信息紋理複雜度計算；(5)宏塊中每個小尺寸幀間模式的視點間預測選擇。本發明方法適用於多視點視頻編碼的視點間預測的選擇，可以降低多視點編碼的計算整體計算量，同時保持編碼率失真性能。
文檔編號H04N7/26GK102387368SQ201110305779
公開日2012年3月21日 申請日期2011年10月11日 優先權日2011年10月11日
發明者俞立, 朱威, 鄭雅羽, 陳朋 申請人:浙江工業大學