用於多視點視頻編碼/解碼的方法與流程
2023-07-07 07:12:31
用於多視點視頻編碼/解碼的方法本專利申請是下列專利申請的分案申請：申請號：200980156340.0申請日：2009年12月08日發明名稱：多視點視頻編碼/解碼方法和設備技術領域本發明的示範實施例涉及一種多視點（multi-view）視頻編碼/解碼方法和設備，該方法和設備使用編碼和解碼的多視點視頻來對與所述多視點視頻對應的深度信息視頻進行編碼和解碼。
背景技術：
近年來，已經進行了用於通過數位電視（DTV）來對多視點視頻進行廣播的研究。為了對與利用人眼所看到的真實視頻相似的多視點視頻進行廣播，應該創建和傳送多視點視頻。然後，應該通過顯示設備來接收和再現所述多視點視頻。然而，由於多視點視頻具有大量的數據，所以難以按照在當前的數字廣播系統中使用的信道的帶寬來接收多視點視頻。相應地，正在對用於對多視點視頻進行編碼和解碼的技術進行研究。多視點視頻編碼（MVC）是一種以下技術，其對從具有不同視圖的多個相機獲取的多個視頻、以及與所述多個視頻對應的多個深度信息視頻（即，多視點視頻）進行編碼。針對同一對象，所述多個相機被布置為根據距離和方向上的預定規則而彼此間隔開。作為結果，在具有不同視圖並且組成多視點視頻的相應視頻之間存在高相關性。當恰當地使用相應視頻之間的高相關性時，可能顯著地改善MVC的編碼效率。然而，由於從同一對象反射的光可能取決於方向而彼此不同，所以可以考慮所述光以使編碼效率最大化。正在積極地進行其標準化的MVC基於H.264/MPEG部分10高級視頻編碼（在下文中，稱作H.264/AVC），該H.264/MPEG部分10高級視頻編碼是現有的國際運動圖像編碼標準。在MVC中，考慮多視點視頻的上述特性，以尋找一種用於改善編碼效率的方法。例如，將分級B畫面編碼處理應用於視圖內預測編碼，執行該分級B畫面編碼處理以支持在H.264/AVC中定義的聯合可伸縮視頻編碼（JSVC）中的時間可伸縮性。此外，與視圖內預測編碼並排地（sidebyside）執行視圖間預測編碼，以改善MVC中的編碼效率。相應地，研究三維（3D）視頻的關聯團體正在對通過DTV廣播進行的3D視頻的接收和傳送進行大量研究。當前，該研究正針對高清晰度（HD）立體視頻的傳送和接收。HD立體視頻是指具有1920×1080尺寸的隔行視頻或者具有1024×720尺寸的逐行視頻。圖1是解釋了傳統的多視點視頻編碼/解碼系統的框圖。參考圖1，傳統的多視點視頻編碼/解碼系統包括第一視頻編碼單元101、第一視頻解碼單元103、第一深度信息視頻編碼單元105、第一深度信息視頻解碼單元107、第二視頻編碼單元109、第二視頻解碼單元111、第二深度信息視頻編碼單元113、和第二深度視頻信息解碼單元115。分別將第一和第二視頻以及第一和第二深度信息視頻輸入到第一和第二視頻編碼單元101和109以及第一和第二深度信息視頻編碼單元105和113。第一和第二視頻具有彼此不同的視圖，並且第一和第二深度信息視頻分別對應於所述第一和第二視頻，並包括深度信息。在傳統的多視點視頻編碼/解碼系統中，可以使用兩個或更多視頻，並且深度信息視頻的數目可以對應於視頻的數目。此時，可以使用具有不同視圖的視頻來對多視點視頻進行編碼。即，在多視點視頻之間存在高相關性。因此，當首先對第一視頻進行編碼時，第二視頻編碼單元109可以通過參考編碼的第一視頻來對第二視頻進行編碼。可以按照相同的方式來對深度信息視頻進行編碼。將相應的編碼的視頻輸入到第一和第二視頻解碼單元103和111以及第一和第二深度信息視頻解碼單元107和115，並然後進行解碼。二維（2D）視頻是通過對編碼的第一或第二視頻進行解碼所獲得的視頻，而3D視頻是通過對編碼的第一和第二視頻以及編碼的第一深度信息視頻進行解碼所獲得的視頻。第一視頻可以是具有參考視圖的視頻。多視點視頻是通過對編碼的第一和第二視頻以及編碼的第一和第二深度信息視頻進行解碼所獲得的視頻。即，在傳統的多視點視頻編碼/解碼系統中，獨立地執行多視點視頻和深度信息視頻的編碼和解碼。
技術實現要素：
技術問題本發明的實施例針對一種多視點視頻編碼/解碼方法和設備，該方法和設備有效地對與多視點視頻對應的深度信息視頻進行編碼和解碼，由此有效地對該多視點視頻進行編碼和解碼。可以通過以下描述來理解本發明的其他目的和優點，並且通過參考本發明的實施例，它們將變得明顯。同樣，對於本發明所屬技術領域的技術人員來說明顯的是，可以通過所要求保護的部件及其組合來實現本發明的目的和優點。技術解決方案根據本發明的實施例，一種多視點視頻編碼方法包括：通過執行幀間預測（interprediction）和幀內預測（intraprediction）來對多視點視頻進行編碼；以及根據幀間預測和幀內預測中的至少一個來對與該多視點視頻對應的深度信息視頻進行編碼。根據本發明的另一實施例，一種多視點視頻編碼方法包括：控制與多視點視頻對應的第一和第二深度信息視頻的比例尺（scale），從而使所述比例尺相同；以及通過參考其比例尺被控制的第一深度信息視頻來對其比例尺被控制的第二深度信息視頻進行編碼。根據本發明的另一實施例，一種多視點視頻編碼設備包括：視頻編碼塊，被配置為通過幀間預測和幀內預測來對多視點視頻進行編碼；以及深度信息視頻編碼塊，被配置為使用該視頻編碼塊所生成的幀間預測信息和幀內預測信息中的一條或多條，來對與該多視點視頻對應的深度信息視頻進行編碼。根據本發明的另一實施例，一種多視點視頻編碼設備包括：比例尺控制塊，被配置為控制與多視點視頻對應的第一和第二深度信息視頻的比例尺，從而使所述比例尺彼此相等；以及深度信息視頻編碼塊，被配置為通過參考其比例尺被控制的第一深度信息視頻來對其比例尺被控制的第二深度信息視頻進行編碼。根據本發明的另一實施例，一種多視點視頻解碼方法包括：接收通過幀間預測和幀內預測所編碼的多視點視頻、以及通過使用根據幀間預測的預測信息和根據幀內預測的預測信息中的一條或多條所編碼的深度信息視頻；對編碼的多視點視頻進行解碼；以及使用在深度信息視頻編碼期間所使用的預測信息來對編碼的深度信息視頻進行解碼。具體來講，按照本發明一個方面，提供了一種用於多視點視頻編碼的方法，該方法包括：控制與多視點視頻對應的第一和第二深度信息視頻的比例尺，從而使所述比例尺相同；以及通過參考其比例尺被控制的第一深度信息視頻，來對其比例尺被控制的第二深度信息視頻進行編碼。按照本發明另一方面，提供了一種用於多視點視頻解碼的方法，該方法包括：接收通過幀間預測和幀內預測中的至少一個所編碼的多視點視頻、通過使用根據幀間預測和幀內預測中的至少一個的預測信息中的一條或多條所編碼的深度信息視頻、以及指示出是否使用了根據至少一個幀間預測和幀內預測的預測信息的標誌比特，其中根據幀間預測的預測信息包括根據幀間預測的運動向量；對所編碼的多視點視頻進行解碼；使用在深度信息視頻的編碼期間所使用的預測信息，來對所編碼的深度信息視頻進行解碼；以及控制所解碼的深度信息視頻的比例尺，其中通過參考其比例尺被控制的第二深度信息視頻，來對所解碼的深度信息視頻的比例尺進行控制。有益效果根據本發明的實施例，當對用於多視點視頻的深度信息視頻進行編碼時，可以通過使用在多視點視頻編碼期間所生成的預測信息來執行該編碼，這使得可能增加編碼效率。此外，可以在深度信息視頻的解碼期間使用在多視點視頻解碼期間所使用的預測信息。因此，可能增加用於多視點視頻的解碼效率。附圖說明圖1是解釋了傳統的多視點視頻編碼/解碼系統的框圖。圖2示出了用於解釋根據本發明實施例的多視點視頻編碼方法的構思的視頻。圖3是解釋了根據本發明另一實施例的多視點視頻編碼/解碼系統的圖。圖4是解釋了其中在根據本發明實施例的多視點視頻編碼設備301中使用預測信息的處理的圖。圖5圖示了根據本發明另一實施例的多視點視頻編碼設備301。圖6圖示了根據本發明另一實施例的多視點視頻編碼設備301。圖7圖示了根據本發明另一實施例的多視點視頻編碼方法。圖8圖示了根據本發明另一實施例的多視點視頻編碼方法。圖9圖示了根據本發明另一實施例的多視點視頻解碼方法。具體實施方式下面，將參考附圖來更加詳細地描述本發明的示範實施例。然而，本發明可以按照不同的形式來實施，並且不應被構造為限於在這裡提出的實施例。相反地，提供這些實施例，使得本公開將是徹底和完全的，並將向本領域技術人員充分地傳達本發明的範圍。貫穿整個公開中，貫穿本發明的各個圖和實施例中，同樣的附圖標記表示同樣的部分。附圖不必按照比例尺，並且在一些實例中，可能已經對比例進行了擴大，以便清楚地圖示所述實施例的特徵。圖2示出了用於解釋根據本發明實施例的多視點視頻編碼方法的構思的視頻。在圖2中，第一深度信息視頻203對應於第一視頻...