基於線性模型的深度圖幀內預測方法

2023-09-22 22:51:35

專利名稱：基於線性模型的深度圖幀內預測方法
技術領域：
本發明涉及一種三維立體視頻編碼標準中的深度圖幀內預測方法，屬於通信技術領域。
背景技術：
三維立體視頻作為未來主要的視頻應用技術，是指用戶通過三維立體視頻顯示設備可以享受到真實的三維立體視頻內容。三維視頻的相關技術，比如，三維立體視頻採集、 三維立體視頻編碼、三維立體視頻的顯示等技術已經得到廣泛的關注。為了推動三維立體視頻技術的標準化，2002年，運動圖像專家組(Motion Picture Experts Group, MPEG)提出任意視點電視(Free View Television，FTV)的概念，它能夠提供生動真實的、交互式的三維立體視聽系統。用戶可以從不同的角度觀看該角度的三維立體視頻，使得用戶有融入視頻場景中的真實感受。FTV可廣泛應用於廣播通信、娛樂、教育、醫療和視頻監控等領域。為了使用戶可以觀看到任意角度的三維立體視頻，FTV系統服務端使用已標定好的攝像機陣列獲得一定視點上的視頻。並對不同視點上的視頻校正，利用校正過的視頻信息通過虛擬視圖合成技術生成虛擬視點的虛擬視圖。目前MPEG建議具體使用基於深度-圖像 (Depth-Image Based Rendering, DIBR)的虛擬視圖合成技術。深度信息一般通過深度圖表示。虛擬視圖合成的主要過程如下1).確定要虛擬視點在攝像機陣列中的相對位置。2).確定用於合成虛擬視點的紋理視頻3).確定步驟幻的紋理視頻對應的深度圖4).依據步驟2)與3)中的紋理視頻和深度圖，採用DIBR技術，合成虛擬視圖。FTV的標準化工作分為兩個階段進行。第一階段是2006年至2008年由JVT (Joint Video Team，聯合視頻編碼組)制定的H. 264/AVC的擴展方案MVC(Multi-View Video Coding,模型-視圖-控制器)。MVC可以對多視點紋理視頻進行編碼。但是要最終實現FTV 系統的功能，還必須要對深度信息進行編碼。目前FTV的標準化制定工作已經進入第二階段，即3DVC(Three Dimensional Video Coding)。3DVC主要關注深度信息的表示與編碼， 以及紋理視頻與深度信息的聯合編碼。3DVC中，深度信息通過深度圖表示。衡量3DVC性能的主要指標是合成虛擬視圖的質量，以及紋理視頻、深度圖的編碼碼率。虛擬視圖的質量通常採用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)來衡量視頻的質量，PSNR的計算公式如①式所示，
(2552 )PSNR = IOxlog -①
^ MSE J其中MSE表示原始視圖與合成虛擬視圖之間的均方誤差，用來衡量虛擬視圖的失真，以及紋理視頻的編碼失真、深度圖的編碼失真。在實際應用中，虛擬視點的視圖是不存在的，也即不存在原始視圖。但是由於3DVC 主要關注編碼性能，因此為衡量3DVC的性能，首先採用未經編碼的已有紋理視頻及其對應的深度圖合成虛擬視圖V。Hg，然後採用經過編碼後的重建的紋理視頻以及編碼後重建的深度圖合成虛擬視圖\ec，最後通過計算\ec與V。Hg之間的的MSE，進而得到PSNR，以衡量3DVC 的性能。紋理視頻、深度圖的編碼碼率編碼碼率R是指紋理視頻、深度圖編碼的總比特數(BT，Bd)除以視頻幀率F(即每秒顯示多少幅圖像)，如②式所示。
權利要求
1. 一種基於線性模型的深度圖幀內預測方法，依據當前編碼塊的鄰近像素灰度值及其像素坐標，計算出線性模型參數；進而依據模型參數以及當前編碼塊的像素坐標，計算出當前編碼塊的像素灰度預測值；具體步驟如下①獲得當前編碼塊的左側相鄰一列以及上面相鄰一行的像素的坐標(Xyyi)及其亮度值！^ ；②依據步驟①獲得的像素的坐標及其灰度值，建立以下方程組
全文摘要
本發明公開了一種基於線性模型的深度圖幀內預測方法，利用當前編碼塊的上一行和左側一列的相鄰像素的灰度值及其坐標確定線性模型參數；依據該參數以及當前編碼塊的像素坐標對當前編碼塊的像素灰度值進行預測。本發明利用了深度圖的空間特性，具有預測準確的優點；同時由於本發明採用當前編碼塊的上一行和左側一列的鄰近像素計算模型參數，因此編碼端不必對模型參數進行編碼，解碼端就可以直接確定模型參數。本發明可應用於三維立體視頻的編碼標準中。
文檔編號H04N7/32GK102209243SQ20111014047
公開日2011年10月5日 申請日期2011年5月27日 優先權日2011年5月27日
發明者元輝, 劉琚, 孫建德 申請人:山東大學