基於運動信息與深度信息的3d視頻編碼傳輸方法

2023-06-14 01:28:36 3

基於運動信息與深度信息的3d視頻編碼傳輸方法
【專利摘要】本發明在傳統的色彩視頻加深度圖的3D視頻編碼方法中，通過獲取攝像機鏡頭中心的運動信息/絕對方位信息，運動信息/絕對方位信息結合色彩圖像信息和深度圖像信息，準確地估計位於不同深度的宏塊的全局運動，在幀與幀之間進一步去冗餘，大大減小了壓縮後視頻的存儲空間，降低了對傳輸或通訊帶寬的要求，同時縮短了視頻壓縮所需的計算時間。
【專利說明】基於運動信息與深度信息的3D視頻編碼傳輸方法
【技術領域】
[0001]本發明涉及視頻編碼領域，具體涉及一種基於運動信息和深度信息的3D視頻編碼傳輸方法。
【背景技術】
[0002]目前，廣泛應用的3D視頻編碼與傳輸格式主要有傳統立體視頻格式、多視角視頻格式以及色彩視頻加像素深度信息圖格式。
[0003]傳統立體視頻格式只有兩個視角點，觀看這種立體視頻用戶需要一種特製的3D眼鏡來獲得視頻圖像的立體縱深感。常用的Stereo立體視頻編碼方式有兩種，一種是直接對左右眼視圖的視頻數據進行獨立編碼(Simulcast)，另一種是應用左右視圖的相關性預測編碼(Interview Prediction)。這兩種方法對比特率的要求都不高,僅是傳統2D視頻所需碼率的兩倍甚至少於兩倍。但是，這種格式對於用戶而言只能從一個固定的視角觀看立體視頻信號，該缺陷會限制其未來的應用空間。
[0004]多視角視頻格式是由多臺攝像機從不同角度對同一場景進行拍攝，它可以實現立體視頻、自由視角電視(Free Viewpoint Video)和多視角3D電視的應用。由於所有的攝像機僅是從不同角度捕捉同一個場景，所以多視角視頻中包含大量的相鄰視角視圖間的相關冗餘信息。因此，結合視頻信號的空間域相關性(Spatial correlation)和時間的相關性(Temporal correlation),以及不同視角色彩視圖之間的高度相關性(Interviewcorrelation)是高效地進行多視角視頻編碼的關鍵。
[0005]色彩視頻加像素深度信息圖格式中，像素深度信息圖(簡稱深度圖，depth map)所體現的是場景中物體表面到攝像機成像平面的距離信息，通過深度圖及其對應的紋理色彩圖可以重新繪製立體視頻圖像。近幾年來，這一格式吸引了來自立體視頻壓縮和計算機視覺領域的高度關注，因為它有很好的3D視頻壓縮能力和功能拓展性。Muller，K.; Merkle, P.; Wiegand, T.在《3-D Video Representation Using Depth Maps))(Proceedings of the IEEE , vol.99, n0.4, pp.643, 656, April 2011)中提到，在色彩視頻加深度圖格式中，只需要一些攝像機的參數，比如焦距，兩個鏡頭之間的距離等信息，即可合成其他視角的視頻信息；同時，為了正確表示深度圖的信息，深度範圍的信息也需要傳輸。Smolic, A.; Mueller, K.; Stefanoski, N.; Ostermann, J.; Gotchev, A.; Akar,
G.B.; Triantafyllidis, G.; Κοζ, Α.在《Coding Algorithms for 3DTV—A Survey》(Circuits and Systems for Video Technology, IEEE Transactions on , vol.17,n0.11, pp.1606，1621，Nov.2007)中提到，對於該方案的深度圖部分的編碼，每一幀深度圖被認為是黑白視頻信號，然後使用目前先進的視頻編碼器(例如MPEG-2，MPEG-4,
H.264/AVC等)進行壓縮。
[0006]目前主流的視頻編碼方案(例如H.264/AVC)中，採用運動估計與運動補償方法減小視頻幀間的冗餘，幀間可以通過運動向量來表示各個宏塊相對於參考幀的運動，並通過運動補償等算法可以最終解碼出幀。但是由於攝像機運動(包括平動和轉動)引起的運動會造成畫面的全局運動，編碼器在對每個宏塊進行編碼時，全局運動會增加運動估計的時間，並且增加碼流信息。Chen, X.; Zhendong Zhao; Rahmati, A.; Ye Wang; Lin Zhong 在《Sensor-Assisted Video Encoding for Mobile Devices in Real-fforld Environments》(Circuits and Systems for Video Technology, IEEE Transactions on , vol.21,n0.3, pp.335, 349, March 2011)中提出了一種基於傳感器輔助的視頻編碼方案，文中使用了加速度傳感器和電子羅盤傳感器獲取攝像機的全局運動，從而獲得全局運動矢量，然後對H.264中的運動估計算法進行修改，減小了視頻壓縮碼流以及壓縮時間。但是，該文中只獲取並使用了攝像機的轉動信息做編碼輔助，並沒有考慮平動帶來的圖像全局運動。

【發明內容】

[0007]本發明提供一種基於運動信息與深度信息的3D視頻編碼傳輸方法，其目的在於解決現有彩色視頻加深度圖的3D視頻編碼技術中，由於攝像機自身運動帶來的大量的運動估計造成的碼率增加以及編碼時間增加的問題。
[0008]為達到上述目的，本發明採用的技術方案是:一種基於運動信息與深度信息的3D視頻編碼傳輸方法，其創新在於:使用一設置有色彩圖像傳感器、深度圖像傳感器和運動傳感器的攝像機對被拍攝對象進行拍攝，色彩圖像傳感器用於採集被拍攝對象的色彩圖像信息，深度圖像傳感器用於採集被拍攝對象的深度圖像信息，運動傳感器用於採集攝像機鏡頭中心空間運動的運動信息，該運動信息包括位移信息以及轉動角度信息，所述編碼傳輸方法包括以下步驟:
第一步、數據採樣
以設定幀率對所述色彩圖像信息和深度圖像信息進行採樣； 以至少一倍於所述設定幀率的採樣率對所述運動信息進行採樣；
第二步、數據同步
根據系統絕對時間對所述色彩圖像信息、深度圖像信息以及運動信息進行時間同步，即將色彩圖像信息、深度圖像信息以及運動信息在系統絕對時間上進行一一對應；
第三步、圖像渲染
通過攝像機對被拍攝對象進行拍攝獲取第一幀圖像，並對其進行編碼；
攝像機鏡頭中心空間運動引起的變換矩陣[T]如下:
【權利要求】
1.一種基於運動信息與深度信息的3D視頻編碼傳輸方法，其特徵在於:使用一設置有色彩圖像傳感器、深度圖像傳感器和運動傳感器的攝像機對被拍攝對象進行拍攝，色彩圖像傳感器用於採集被拍攝對象的色彩圖像信息，深度圖像傳感器用於採集被拍攝對象的深度圖像信息，運動傳感器用於採集攝像機鏡頭中心空間運動的運動信息，該運動信息包括位移信息以及轉動角度信息，所述編碼傳輸方法包括以下步驟: 第一步、數據採樣 以設定幀率對所述 色彩圖像信息和深度圖像信息進行採樣； 以至少一倍於所述設定幀率的採樣率對所述運動信息進行採樣； 第二步、數據同步 根據系統絕對時間對所述色彩圖像信息、深度圖像信息以及運動信息進行時間同步，即將色彩圖像信息、深度圖像信息以及運動信息在系統絕對時間上進行一一對應； 第三步、圖像渲染 通過攝像機對被拍攝對象進行拍攝獲取第一幀圖像，並對其進行編碼； 攝像機鏡頭中心空間運動引起的變換矩陣[T]如下:

2.根據權利要求1所述的3D視頻編碼傳輸方法，其特徵在於:在所述圖像渲染過程中，變換到圖像區域外的像素點被捨棄，渲染出的新的幀中會出現孔洞，該孔洞通過插值法進行填補。
3.一種基於運動信息與深度信息的3D視頻編碼傳輸方法，其特徵在於:使用一設置有色彩圖像傳感器、深度圖像傳感器和運動傳感器的攝像機對被拍攝對象進行拍攝，色彩圖像傳感器用於採集被拍攝對象的色彩圖像信息，深度圖像傳感器用於採集被拍攝對象的深度圖像信息，攝像機設於攝像導軌和雲臺上，結合軸編碼器獲取攝像機鏡頭中心相對參考系的絕對方位，所述編碼傳輸方法包括以下步驟: 第一步、數據採樣 以設定幀率對所述色彩圖像信息和深度圖像信息進行採樣； 以至少一倍於所述設定幀率的採樣率對所述運動信息進行採樣； 第二步、數據同步 根據系統絕對時間對所述色彩圖像信息、深度圖像信息以及運動信息進行時間同步，即將色彩圖像信息、深度圖像信息以及運動信息在系統絕對時間上進行一一對應； 第三步、圖像渲染 通過攝像機對被拍攝對象進行拍攝獲取第一幀圖像，並對其進行編碼； 攝像機鏡頭中心的絕對方位用以下矩陣[P]表示:
4.根據權利要求3所述的3D視頻編碼傳輸方法，其特徵在於:在所述圖像渲染過程中，變換到圖像區域外的像素點被捨棄，渲染出的新的幀中會出現孔洞，該孔洞通過插值法進行填補。
【文檔編號】H04N19/139GK103561267SQ201310408964
【公開日】2014年2月5日 申請日期:2013年9月10日 優先權日:2013年9月10日
【發明者】羅天明, 程飛, 肖繼民 申請人:羅天明, 程飛, 肖繼民