多視點信號編解碼器的製作方法

2023-05-13 04:38:16 1

本申請是進入中國國家階段日為2013年4月10日、國際申請號為pct/ep2011/063852、發明名稱為「多視點信號編解碼器」的pct申請的中國國家階段申請的分案申請，該中國國家階段申請的申請日為2011年8月11日、申請號為201180049014.7。

本發明涉及多視點信號的編碼(coding)。

背景技術：

在許多應用領域中涉及到多視點信號，比如3d視頻應用，包括立體和多視點顯示，自由視點視頻應用等。對於立體、多視點視頻內容，已制定出mvc標準[1，2]。該標準對來自多臺相鄰照相機的視頻序列進行壓縮處理。mvc解碼處理僅在原始的照相機位置再現這些照相機視點。然而，對於不同的多視點顯示來說，要求具有不同空間位置的不同數量的視點，從而需要另外的視點，例如在原始的照相機位置之間的視點。

處理多視點信號的難度在於需要大量的數據來傳送包含在多視點信號中的關於多視點的信息。在以上提及的使能夠進行中間視點提取/合成的要求而言，情況變得甚至更糟，因為在這種情況下，與各個視點相關聯的視頻可能伴隨有諸如使得能夠將各個視點重投影到另一個視點，比如中間視點的深度/視差圖數據的補充數據。由於數據量巨大，因此儘可能最大化多視點信號編解碼的壓縮率是非常重要的。

因此，本發明的目的在於提供一種使壓縮率更高或率/失真比更好的多視點信號編解碼。

技術實現要素：

本目的通過未決的獨立權利要求的主題實現。

本申請提供了利用發現的實施方式，根據此發現，可通過根據用於編碼多視點信號的第一視點的第一編碼參數採用或預測用於編碼多視點信號的第二視點的第二編碼參數來實現更高的壓縮率或更好的比率/失真比。換句話說，發明人發現多視點信號之間的冗餘不限於視點本身，比如視頻信息，而使在並行編碼這些視點的過程中的編碼參數具有可利用的相似度，以進一步提高編碼率。

本申請的一些實施方式還利用了一種發現，根據此發現，可利用視頻幀中檢測到的邊緣作為提示，即，通過確定wedgelet分隔線以在視頻幀中沿該邊緣延伸，來確定或預測與用於編碼深度/視差圖的某個視點的視頻的某個幀相關聯的深度/視差圖的分割。儘管邊緣檢測增加了解碼器側的複雜度，但在可接受質量下的低傳輸率比起複雜性問題更重要的應用情況下，這點缺陷還是可接受的。這樣的情況可以涉及解碼器被實現為固定器件的廣播應用。

進一步地，本申請的一些實施方式還利用了一種發現，根據此發現，如果編碼參數的採用/預測包括根據空間解析度之間的比率定標這些編碼參數，則可以以較低的空間解析度編碼，即，預測並殘餘校正其編碼參數從另一個視點的編碼信息中採用/預測的視點，從而節省編碼位。

根據本發明的一個方面，提供了一種解碼器，被配置為：根據從數據流獲得的第一編碼參數，通過從多視點信號的第一事先重建部分預測第一視點的當前部分，並利用包含在數據流中的第一校正數據校正第一視點的當前部分的預測的預測誤差，來從數據流重建多視點信號的第一視點，多視點信號的第一事先重建部分在第一視點的當前部分的重建之前由解碼器從數據流重建；至少部分根據第一編碼參數採用或預測第二編碼參數；以及根據第二編碼參數，通過從多視點信號的第二事先重建部分預測第二視點的當前部分，並利用包含在數據流中的第二校正數據校正第二視點的當前部分的預測的預測誤差，來從數據流重建多視點信號的第二視點，多視點信號的第二事先重建部分在第二視點的當前部分的重建之前由解碼器從數據流重建。

其中，解碼器被配置為：至少部分根據第一編碼參數採用或預測第二編碼參數的第一部分，根據第二編碼參數的第一部分，通過從多視點信號的第五事先重建部分預測第二視點的視頻的當前部分，並利用包含在數據流中的第二校正數據的第一子集校正第二視點的所述視頻的當前部分的預測的預測誤差，來從數據流重建第二視點的視頻，多視點信號的第五事先重建部分在第二視點的視頻的當前部分的重建之前由解碼器從數據流重建，至少部分根據第一編碼參數和/或第二編碼參數的第一部分採用或預測第二編碼參數的第二部分；以及根據第二編碼參數的第二部分，通過從多視點信號的第六事先重建部分預測第二視點的深度/視差圖數據的當前部分，並利用第二校正數據的第二子集校正第二視點的深度/視差圖數據的當前部分的預測的預測誤差，來從數據流重建第二視點的深度/視差圖數據，多視點信號的第六事先重建部分在第二視點的深度/視差圖數據的當前部分的重建之前由解碼器從數據流重建。

其中，解碼器被配置為：從第二視點的視頻的事先重建部分，或從第一視點的視頻的第二事先重建部分預測第二視點的視頻的當前部分，第二視點的視頻的事先重建部分在第二視點的視頻的當前部分的重建之前由解碼器從數據流重建，第一視點的視頻的第二事先重建部分在第二視點的視頻的當前部分的重建之前由解碼器從數據流重建，以及從第二視點的深度/視差圖數據的事先重建部分，或從第一視點的深度/視差圖數據的第二事先重建部分預測第二視點的深度/視差圖數據的當前部分，第二視點的深度/視差圖數據的事先重建部分在第二視點的深度/視差圖數據的當前部分的重建之前由解碼器從數據流重建，第一視點的深度/視差圖數據的第二事先重建部分在第二視點的深度/視差圖數據的當前部分的重建之前由解碼器從數據流重建。

其中，解碼器被配置為：檢測第二視點的視頻的當前幀中的邊緣並確定楔形波分隔線以沿邊緣延伸，以及在從數據流重建第二視點的深度/視差圖數據的過程中，設定與第二視點的視頻的當前幀相關聯的第二視點的深度/視差圖數據的深度/視差圖的當前部分的邊界，以與楔形波分隔線一致。

其中，解碼器被配置為在從數據流重建所述第二視點的深度/視差圖數據的過程中，以當前部分所屬的區段為單位利用區段的不同組的預測參數分段執行預測。

其中，解碼器被配置為使得楔形波分隔線為直線並且解碼器被配置為沿楔形波分隔線劃分第二視點的深度/視差圖數據的預分割的區塊，從而使得兩個相鄰區段為一起形成預分割的區塊的楔形波形區段。

其中，解碼器被配置為使得第一編碼參數和第二編碼參數分別為分別控制第一視點的當前部分的預測和第二視點的當前部分的預測的第一預測參數和第二預測參數。

其中，當前部分分別為第一視點和第二視點的視頻的幀分割的區段。

其中，解碼器被配置為通過以第一空間解析度對多視點信號(10)的第一視點(121)的當前部分進行預測和校正來從數據流重建多視點信號(10)的第一視點(121)，並被配置為通過以低於第一空間解析度的第二空間解析度對多視點信號(10)的第二視點(122)的當前部分進行預測和校正來從數據流重建多視點信號(10)的第二視點(122)，然後將第二視點的重建的當前部分從第二空間解析度上採樣至第一空間解析度。

其中，解碼器被配置為，至少部分從第一編碼參數採用或預測第二編碼參數，根據第一空間解析度與第二空間解析度之比定標第一編碼參數。

附圖說明

上文列出的各方面的實施方式的有利實現是所附從屬權利要求的主題。具體地，下面相對於附圖對本申請的優選實施方式進行描述，其中

圖1示出了根據實施方式的編碼器的框圖；

圖2示出了用於說明視點之間的信息重用及深度/視差邊界的多視點信號的一部分的示意圖；

圖3示出了根據實施方式的解碼器的框圖；

圖4是兩個視點和兩個時間實例的示例的多視點編碼中的預測結構和運動/視差矢量；

圖5是通過相鄰視點之間的視差矢量進行的點對應；

圖6是使用定標視差矢量通過視點1和2的場景內容投影進行的中間視點合成；

圖7是用於在任意觀察位置生成中間視點的分別解碼顏色和補充數據的n視點提取；以及

圖8是9視點顯示的兩視點比特流的n視點提取實例。

具體實施方式

圖1示出了根據實施方式的用於編碼多視點信號的編碼器。圖1的多視點信號在10處示例性地表示為包括兩個視點121及122，儘管圖1的實施方式對更多數量的視點同樣是可行的。此外，根據圖1的實施方式，每個視點121及122都包括視頻14和深度/視差圖數據16，儘管如果結合具有不包括任何深度/視差圖數據的視點的多視點信號使用，則相對於圖1描述的本實施方式的許多有利原理同樣是有利的。本發明的這樣的廣義性下面進一步在圖1至圖3的描述之後進行描述。

各個視點121及122的視頻14表示公共場景在不同投影/查看方向上的投影的時空採樣(spatio-temporalsampling)。優選地，視點121及122的視頻14的時間採樣率彼此相等，儘管不必必須滿足該約束。如圖1所示，優選每個視頻14包括一系列幀，每個幀與各個時間戳t，t-1，t-2，……相關聯。在圖1中，視頻幀由vviewnumber,timestampnumber表示。每個幀vi,t表示在各個時間戳t處場景i在各個查看方向上的空間採樣，並因此包括一個或多個樣本陣列，比如，亮度樣本的一個樣本陣列以及具有色度樣本的兩個樣本陣列，或僅亮度樣本或其他顏色分量(比如rgb顏色空間的顏色分量等)的樣本陣列。一個或多個樣本陣列的空間解析度在一個視頻14內以及在不同視點121及122的多個視頻14內可以是不同的。

類似地，深度/視差圖數據16表示沿視點121及122的各個查看方向測量的公共場景的場景目標的深度的時空採樣。深度/視差圖數據16的時間採樣率可以等於如圖1中描述的相同視點的相關視頻的時間採樣率，或與其不同。在圖1的情況下，每個視頻幀v已經將各個視點121及122的深度/視差圖數據16的各個深度/視差圖d與此相關聯。換句話說，在圖1的實例中，視點i和時間戳t的每個視頻幀vi,t具有與此相關聯的深度/視差圖di,t。關於深度/視差圖d的空間解析度，這對上文針對視頻幀所示的情況同樣適用。也就是說，空間解析度在不同視點的深度/視差圖之間可能會有所不同。

為了有效地壓縮多視點信號10，圖1的編碼器並行地將視點121及122編碼為數據流18。然而，用於編碼第一視點121的編碼參數被重新使用，以採用所述編碼參數作為或預測要用於編碼第二視點122的第二編碼參數。通過這種措施，圖1的編碼器利用了本發明人發現的事實，據此，視點121及12的並行編碼使編碼器類似地確定用於這些視點的編碼參數，從而這些編碼參數之間的冗餘可以被有效利用，以提高壓縮率或比率/失真比(例如，以所測量的失真作為兩個視點的平均失真，並以所測量的比率作為整個數據流18的編碼率)。

具體地，圖1的編碼器一般用參考標號20表示，並包括用於接收多視點信號10的輸入端以及用於輸出數據流18的輸出端。如在圖2中所看到的，圖1的編碼器20的每個視點121及122包括兩個編碼支路，即，一個用於視頻數據，另一個用於深度/視差圖數據。相應地，編碼器20包括用於視點1的視頻數據的編碼支路2v,1，用於視點1的深度視差圖數據的編碼支路22d,1，用於第二視點的視頻數據的編碼支路22v,2以及用於第二視點的深度/視差圖數據的編碼支路22d,2。這些編碼支路22中的每一個被類似地構造。為了描述編碼器20的構造和功能，以下描述開始於編碼支路22v,1的構造和功能。該功能對於所有支路22是共用的。之後，討論支路22的各個特徵。

編碼支路22v,1用於編碼多視點信號12的第一視點121的視頻141，支路22v,1相應地具有用於接收視頻141的輸入端。除此之外，支路22v,1包括按照所提及的順序彼此串聯的減法器24、量化/變換模塊26、重量化(requantization)/逆變換(inverse-transform)模塊28、加法器30、進一步的處理模塊32、解碼圖像緩衝器34、相互並聯的兩個預測模塊36及38以及一方面連接在預測模塊36及38的輸出端之間，另一方面連接在減法器24的反相輸入端之間的組合器或選擇器40。組合器40的輸出端還與加法器30的另一個輸入端連接。減法器24的非反相輸入端接收視頻141。

編碼支路22v,1的元件24-40協作以編碼視頻141。編碼操作以某些部分的單位對視頻141進行編碼。例如，在編碼視頻141的過程中，將幀v1,k分割成區段比如區塊或其他採樣組。分割可以隨時間保持不變或在時間上變化。進一步地，分割操作在默認情況下對編碼器和解碼器來說可以是已知的或可以在數據流18內信號告知。該分割可以是被分割成區塊的幀的規則分割，諸如以行和列的區塊的非重疊排列，或可以為被分割成不同尺寸的區塊的基於四叉樹(quad-tree)的分割。輸入減法器24的非反相輸入端的視頻141的當前編碼區段在以下描述中被稱為視頻141的當前部分。

預測模塊36及38用於預測當前部分，為此，預測模塊36及38具有連接至解碼圖像緩衝器34的輸入端。實際上，這兩個預測模塊36及38都使用位於解碼圖像緩衝器34中的視頻141的事先重建部分，以預測輸入減法器24的非反相輸入端的當前部分/區段。因此，預測模塊36用作從視頻141的同一幀的空間上相鄰的已經重建的部分空間預測視頻141的當前部分的幀內預測子(intrapredictor)，而預測模塊38用作從視頻141的事先重建幀時間上預測所述當前部分的幀內預測子(interpredictor)。這兩個預測模塊36及38根據某些預測參數執行它們的預測或執行由某些預測參數描述的它們預測。更確切地說，在一些約束(諸如最大比特率)或沒有限制的情況下用於優化一些優化目標(諸如優化比率/失真比)的一些優化幀結構中，後者參數由編碼器20確定。

例如，幀內預測模塊36可以確定當前部分的空間預測參數，比如預測方向，視頻141的同一幀的相鄰的已重建的部分的內容沿該預測方向擴展到/複製到當前部分，以預測所述當前部分。幀間預測模塊38可以使用運動補償來從事先重建幀預測當前部分，並且所涉及的幀間預測參數可以包括運動矢量、參考幀指數(index)、有關當前部分的運動預測細分信息、假設數量或其任意組合。組合器40可以對模塊36及38提供的一個或多個預測進行組合或僅選擇其中之一。組合器或選擇器40將當前部分所得的預測分別轉發給減法器24的插入輸入端以及加法器30的另一輸入端。

在減法器24的輸出端，輸出當前部分的預測的殘餘，量化/變換模塊36配置為通過量化變換係數來變換該殘餘信號。該變換可以是任意頻譜分解變換，比如dct。由於該量化，量化/變換模塊36的處理結果是不可逆轉。也就是說，會發生編碼損耗。模塊26的輸出端是在數據流內傳輸的殘餘信號421。在模塊28中對殘餘信號421進行去量化和反相變換處理以儘可能重建殘餘信號，即，以對應於由減法器24輸出的殘餘信號，儘管存在量化噪聲。加法器30通過求和將重建殘餘信號和當前部分的預測組合在一起。其他組合也是可行的。例如，減法器24可以實施為按比例測量殘餘的除法器，根據可選的實施方式，加法器可以實施為重建當前部分的乘法器。加法器30的輸出端由此表示當前部分的初步重建。然而，模塊32中的進一步處理可以任選以用於增強重建。這樣的進一步處理例如可包括解塊、自適應濾波等。在解碼圖像緩衝器34中對目前可用的所有重建進行緩衝處理。因此，解碼圖像緩衝器34緩衝視頻141的事先重建幀以及當前部分所屬的當前幀的事先重建部分。

為了使解碼器能夠從數據流18重建多視點信號，量化/變換模塊26將殘餘信號421轉發至編碼器20的多路復用器44。同時，預測模塊36將幀內預測參數461轉發至多路復用器44，幀間預測模塊38將幀間預測參數481轉發至多路復用器44，進一步處理模塊32將進一步處理參數501轉發至多路復用器44，該多路復用器44從而使所有信息多路復用或將其插入數據流18。

從以上討論清楚可見，根據圖1的實施方式，通過編碼支路22v,1的視頻141的編碼是獨立的，在於編碼操作獨立於深度/視差圖數據161和其他視點122中的任何一個的數據。從總體上來看，編碼支路22v,1可看成是通過確定編碼參數，根據第一編碼參數從視頻141的事先編碼部分預測視頻141的當前部分，並確定當前部分的預測誤差以獲得誤差數據(即，上述殘餘信號421)來將視頻141編碼成數據流18，其中，視頻141的事先編碼部分在所述當前部分的編碼之前由編碼器20編碼成數據流18。將編碼參數和校正數據插入數據流18中。

剛才提及的通過編碼支路22v,1插入數據流18的編碼參數可以包含以下項中的一個、組合或全部：

-首先，視頻141的編碼參數可以限定/信號告知如前面簡述的視頻141的幀的分割。

-另外，編碼參數可以包括指示每個區段或當前部分的編碼模式信息，哪個編碼模式用於預測各個區段，比如幀內預測、幀間預測或其組合。

-編碼參數還可以包括剛才提及的預測參數，比如用於通過幀內預測所預測的部分/區段的幀內預測參數，以及用於幀間預測部分/區段的幀間預測參數。

-然而，編碼參數還可以包括進一步處理參數501，所述參數向解碼側信號告知如何在使用同一處理來處理視頻141的當前或隨後部分進行預測之前來對視頻141的已經重建的部分進行進一步的處理。這些進一步處理參數501可包括指示各個濾波器、濾波器係數等的指數。

-預測參數461，481及進一步處理參數501甚至還可以包括子分割數據，以相對於限定模式選擇的粒度或限定完全獨立分割的前述分割限定進一步子分割，例如，在進一步處理中應用幀的不同部分的不同自適應濾波器。

-編碼參數還可能會影響殘餘信號的確定，由此是殘餘信號421的一部分。例如，由量化/變換模塊26輸出的頻譜變換係數等級可以看作是校正數據，而量化步長在數據流18中可以被信號告知，從以下提出的描述的意義上講，量化步長參數可以看作是編碼參數。

-編碼參數還可限定預測參數，所述預測參數限定上文討論的第一預測階段的預測殘差的第二階段預測。因此，可以使用幀內/幀間預測。

為了提高編碼效率，編碼器20包括編碼信息交換模塊52，該編碼信息交換模塊接收所有編碼參數以及影響或受模塊36、38、32內的處理影響的進一步的信息，例如，如由從各個模塊向下指向編碼信息交換模塊52的垂直延伸的箭頭所示例性指示的。編碼信息交換模塊52用於共享編碼參數並可選地共享編碼支路22之間的進一步的編碼信息，以所述分支可以預測或採用彼此的編碼參數。在圖1的實施方式中，為了實現這個目的，在數據實體之間定義順序，即，多視點信號10的視點121及122的視頻和深度/視差圖數據。具體地，第一視點121的視頻141在第一視點的深度/視差圖數據161之前，隨後是第二視點122的視頻142，再後是第二視點122的深度/視差圖數據162，以此類推。此處應注意的是，多視點信號10的數據實體之間的嚴格順序不需要嚴格適用於整個多視點信號10的編碼，但為了更便於討論，假設在下文中該順序是不變的。數據實體之間的順序自然定義了與此相關聯的支路22的順序。

如上所述，另外的編碼支路22比如編碼支路22d,1，22v,2及22d,2操作的方式類似於編碼支路22v,1，以分別編碼各個輸入161，142及162。然而，由於剛才提到的視點121及122的視頻和深度/視差圖數據之間的順序，以及在編碼支路22之間定義的相應順序，編碼支路22d,1在預測將被用於編碼第一視點121的深度/視差圖數據161的當前部分的方面具有另外的自由度。這是由於不同視點的視頻和深度/視差圖數據之間的前述順序造成的。例如，允許這些實體中的每一個利用自身的重建部分以及按照這些數據實體之間的前述順序居先的實體進行編碼。相應地，在編碼深度/視差圖數據161的過程中，允許編碼支路22d,1使用從對應視頻141的事先重建部分已知的信息。下面將更詳細地描述支路22d,1如何利用視頻141的重建部分來預測深度/視差圖數據161的某些屬性，所述屬性使深度/視差圖數據161的壓縮具有更好的壓縮率。然而，除此之外，編碼支路22d,1能夠預測/採用上述編碼視頻141的過程中所涉及的編碼參數，以便獲得用於編碼深度/視差圖數據161的編碼參數。在採用的情況下，可以抑制有關數據流18中的深度/視差圖數據161的任何編碼參數的信號告知。在預測的情況下，只有有關這些編碼參數的預測殘差/校正數據才可能需要在數據流18中信號告知。下面將對編碼參數的這樣的預測/採用的實例進行進一步描述。

對後續數據實體(即，第二視點122的視頻142和深度/視差圖數據161)而言存在另外的預測性能。就這些編碼支路而言，幀間預測模塊自身不但能夠執行時間預測，而且還能執行視點間預測。對應的幀間預測參數包括與時間預測相比來說相似的信息，即，每視點間預測區段、視差矢量、視點指數、參考幀指數和/或多個假設的指示，即，通過求和方式參與形成視點間預測的多個幀間預測的指示。這樣的視點間預測不但對於有關視頻142的支路22v,2是可用的，而且對於有關深度/視差圖數據162的支路22d,2的幀間預測模塊38也是可用的。當然，這些視點間預測參數也表示可作為用於可能的第三視點(然而，圖1中未示出)的隨後的視點數據的採用/預測基礎的編碼參數。

由於上述措施，進一步減少了通過多路復用器44插入數據流18的數據量。具體地，通過採用前面的編碼支路的編碼參數或僅經由多路復用器44將與此相關的預測殘差插入數據流18，可以大大減少編碼支路22d,1，22v,2及22d,2的編碼參數的量。由於能夠在時間預測和視點間預測之間選擇，因此也可減少編碼支路22v,2及22d,2的殘餘數據423及424的量。殘餘數據量的減少以區分時間和視點間預測模式的方式過度補償了另外的編碼工作。

參照圖2以更詳細說明編碼參數採用/預測的原理。圖2示出了多視點信號10的示例性部分。圖2示出了被分割成區段或部分60a，60b及60c的視頻幀v1,t。為了簡化，只示出了幀v1,t的三個部分，儘管分割可以無縫且無間隙地將幀劃分為多個區段/部分。如前所述，視頻幀v1,t的分割可以是固定的，也可以隨時間變化，並且分割可以在數據流中信號告知或不告知。圖2示出了使用來自視頻141的任何參考幀(在本情況下為示例性幀v1,t-1)的重建版本的運動矢量62a及62b時間地預測部分60a及60b。如在本領域中已知的那樣，視頻141的幀之間的編碼順序可能與這些幀之間的呈現順序不一致，因此，參考幀可以按呈現時間順序接替當前幀v1,t。部分60c例如是將幀內預測參數插入數據流18的幀內預測部分。

在編碼深度/視差圖d1,t的過程中，編碼支路22d,1可以通過在下文中相對於圖2舉例說明的一種或多種方式利用上述可能性。

-例如，在編碼深度/視差圖d1,t的過程中，編碼支路22d,1可以採用由編碼支路22v,1所使用的視頻幀v1,t的分割。相應地，如果視頻幀v1,t的編碼參數內存在分割參數，則可避免重發深度/視差圖數據d1,t。可選地，通過經由數據流18信號告知相對於視頻幀v1,t的分割偏差，編碼支路22d,1可以使用視頻幀v1,t的分割作為用於深度/視差圖d1,t的分割的基礎/預測。圖2示出了編碼支路22d,1使用視頻幀v1的分割作為深度/視差圖d1,t的預分割。也就是說，編碼支路22d,1採用來自視頻v1,t的分割的預分割或從其預測所述預分割。

-此外，編碼支路22d,1可以從分配給視頻幀v1,t中的各個部分60a，60b及60c的編碼模式採用或預測深度/視差圖d1,t的部分66a，66b及66c的編碼模式。在視頻幀v1,t和深度/視差圖d1,t之間的分割不同的情況下，可以對從視頻幀v1,t採用/預測編碼模式進行控制，從而使得從視頻幀v1,t分割的協同定位部分獲得採用/預測。協同定位的適當定義如下。深度/視差圖d1,t中的當前部分的視頻幀v1,t中的協同定位部分例如可以是包括深度/視差圖d1,t中的當前幀的左上角處的協同位置的部分。在預測編碼模式的情況下，編碼支路22d,1可以信號告知深度/視差圖d1,t的部分66a-66c的編碼模式相對於數據流18中明確地信號告知的視頻幀v1,t中的編碼模式的偏差。

-只要涉及預測參數，編碼支路22d,1可自由地空間採用或預測用來對在同一深度/視差圖d1,t中的相鄰部分進行編碼的預測參數，或者從用來對視頻幀v1,t的協同定位部分66a-66c進行編碼的預測參數採用/預測所述預測參數。例如，圖2示出了深度/視差圖d1,t的部分66a是幀間預測部分，並且可以從視頻幀v1,t的協同定位部分60a的運動矢量62a來採用或預測對應的運動矢量68a。在預測的情況下，只將運動矢量差插入數據流18，作為幀間預測參數482的一部分。

-就編碼效率而言，使得編碼支路22d,1能夠利用所謂的楔形波分隔線(wedgeletseparationline)70將深度/視差圖d1,t的預分割區段進行細分，並將該楔形波分割線70的位置信號告知數據流18中的解碼側，這對於編碼支路22d,1來說是有利的。通過這種措施，在圖2的實例中，深度/視差圖d1,t的部分66c被細分為兩個楔形波形部分72a及72b。編碼支路22d,1可以被配置為分別編碼子區段72a及72b。就圖2而言，這兩個子區段72a及72b都示例性地利用各自的運動矢量68c及68d進行幀間預測。在對這兩個子區段72a及72b進行幀內預測(intraprediction)的情況下，通過外推相鄰因果區段的dc值來導算出每個區段的dc值，通過將相應細化的dc值發送給解碼器作為幀內預測參數來選擇細化這些導出dc值中的每一個。存在使解碼器能夠確定由編碼器所用來細分深度/視差圖的預分割的楔形波分隔線的若干可能性。編碼支路22d,1可以被配置為專用這些可能性中的任一個。可選地，編碼支路22d,1可以自由地選擇以下編碼選項，且將所述選擇作為數據流18中的邊信息(sideinformation)信號告知解碼器。

楔形波分隔線70例如可以是直線。將該線70的位置信號告知解碼側可以包括信號告知沿區段66c的邊界的交叉點以及傾斜或梯度信息或楔形波分隔線70與區段66c的邊界的兩個交叉點的指示。在實施方式中，楔形波分隔線70可利用楔形波分隔線70與區段66c的邊界的兩個交叉點的指示在數據流中明確信號告知，其中表示可能的交叉點的網格的粒度，即，交叉點指示的粒度或解析度，可以取決於區段66c的尺寸或編碼參數，比如量化參數等。

在利用二進方塊通過基於四叉樹的區塊劃分給出預分割的可選實施方式中，可以以查找表(lut)的形式給出每個區塊大小的交叉點的容許集，從而使得每個交叉點的信號告知涉及對應的lut索引的信號告知。

然而，根據另一種可能性，編碼支路22d,1使用解碼圖像緩衝器34中的視頻幀v1,t的重建部分60c，以便預測楔形波分隔線70的位置，並在數據流中將實際用於編碼區段66c的楔形波分隔線70的偏差(如果有的話)信號告知解碼器。具體地，模塊52可以在與深度/視差圖d1,t的部分66c的位置對應的位置處對視頻v1,t執行邊緣檢測。例如，該檢測對視頻幀v1,t中的一些定標特徵比如亮度、亮度分量或色度分量或色度等的空間梯度超過某一最小閾值的邊緣是敏感。模塊52可基於該邊緣72的位置確定楔形波分隔線70，以便該線沿邊緣72延伸。因為解碼器也訪問了重建視頻幀v1,t，解碼器能夠確定楔形波分隔線70以便將部分66c細分為楔形波形子部分72a及72b。從而節省了用來信號告知楔形波分隔線70的信令容量。具有表示楔形波分隔線位置的部分66c大小相關的解析度的方面也適用於通過邊緣檢測確定線70的位置的方面並根據預測位置傳送可選偏離。

在編碼視頻142的過程中，編碼支路22v,2除了可用於編碼支路22v,1的編碼模式選項之外，還具有幀間視點預測(inter-viewprediction)選項。

例如，圖2示出了視頻幀v2,t的分割的部分64b是從第一視點視頻141的時間相應視頻幀v1,t利用視差矢量76預測得到的幀間視點。

儘管存在差異，編碼支路22v,2還可以利用從視頻幀v1,t和深度/視差圖d1,t編碼為可用的所有信息，比如，特別是，這些編碼中所使用的編碼參數。因此，編碼支路22v,2可以從時間對準視頻幀v1,t和深度/視差圖d1,t的協同定位部分60a及66a的運動矢量62a及68a的任意一個或組合採用或預測包括視頻幀v2,t的時間幀內預測部分74a的運動矢量78的運動參數。如果有的話，可以相對於部分74a的幀間預測參數信號告知預測殘差。因此，應該指出，運動矢量68a可能已經根據運動矢量62a自身進行了預測/採用。

相對於深度/視差圖d1,t的編碼的如上所述的採用/預測用於編碼視頻幀v2,t的編碼參數的其他可能性可用於通過編碼支路22v,2對視頻幀v2,t進行的編碼，然而，由模塊52分布的可用的共用數據會增加，因為視頻幀v1,t和相應深度/視差圖d1,t的編碼參數都可用。

然後，與編碼支路22d,1編碼深度/視差圖d1,t類似，編碼支路22d,2編碼深度/視差圖d2,t。對於從相同視點122的視頻幀v2,t的所有編碼參數採用/預測情況來說，這是真的。然而，另外，編碼支路22d,2有機會從已用於編碼前面的視點121的深度/視差圖d1,t的編碼參數採用/預測編碼參數。另外，編碼支路22d,2可以使用相對於編碼支路22v,2所說明的幀間視點預測。

就編碼參數採用/預測而言，需要將編碼支路22d,2從多視點信號10的事先編碼實體的編碼參數採用/預測其編碼參數的可能性限制至同一視點122的視頻142及相鄰的事先編碼視點121的深度/視差圖數據161，以降低信令開銷，所述信令開銷源自信號告知數據流18中的編碼側用於度/視差圖d2,t的各個部分的採用/預測來源的必要性。例如，編碼支路22d,2可以從視頻幀v2,t的協同定位部分74b的視差矢量76預測包括視差矢量82的深度/視差圖d2,t的幀間視點預測部分80a的預測參數。在這種情況下，根據其進行了採用/預測的數據實體的指示，即，圖2的視頻142，可以被省略，因為視頻142隻有可能是深度/視差圖d2,t的視差矢量採用/預測的來源。然而，在採用/預測時間幀間預測部分80b的幀間預測參數的過程中，編碼支路22d,2可以從運動矢量78，68a及62a中的任何一個採用/預測對應的運動矢量84，因此，編碼支路22d,2可以被配置為在數據流18中信號告知運動矢量84的採用/預測來源。因此，將可能的來源限制到視頻142和深度/視差圖161減少了開銷。

就分隔線而言，編碼支路22d,2除了上文已討論的選項之外還具有以下選項：

為了利用楔形波分隔線編碼視點122的深度/視差圖d2,t，可以比如通過邊緣檢測並隱含地推導出相應的楔形波分隔線來使用信號d1,t的對應的視差補償部分。視差補償然後用於將深度/視差圖d1,t中的檢測線傳遞給深度/視差圖d2,t。對於視差補償來說，可以使用沿深度/視差圖d1,t中的各個檢測邊緣的前景深度/視差值。

可選地，為了利用楔形波分隔線編碼視點122的深度/視差圖d2,t，可以通過使用d1,t的視差補償部分中的楔形波分隔線，即，使用用於編碼信號d1,t的協同定位部分的楔形波分隔線作為預測子(predictor)或採用該分隔線，來使用信號d1,t的相應視差補償部分。

在描述圖1的編碼器20之後，應注意的是，該編碼器可以軟體、硬體或固件，即，可編程硬體實現。儘管圖1的框圖提出了編碼器20在結構上包括並行編碼支路，即，多視點信號10一個編碼支路和深度/視差數據一個編碼支路，但這並不一定如此。例如，分別被配置為執行元件24-40的任務的軟體程序、電路部分或可編程邏輯部分可以被順序用於完成每個編碼支路的任務。在並行處理過程中，可以對並行處理器核或並行運行電路執行並行編碼支路的處理。

圖3示出了解碼器的實例，該解碼器能夠解碼數據流18以便從數據流18重建與由多視點信號表示的場景對應的一個或幾個視點視頻。在很大程度上，圖3的解碼器的結構和功能類似於圖2的編碼器，從而儘可能重新使用圖1的參考標號來表示上文相對於圖1提供的功能描述同樣適用於圖3。

圖3的解碼器一般用參考標號100表示，並包括用於數據流18的輸入端以及用於輸出前述一個或幾個視點102的重建的輸出端。解碼器100包括解多路復用器104和用於由數據流18表示的多視點信號10(圖1)的每個數據實體的一對解碼支路106以及視點提取器108和編碼參數交換器110。如與圖1的編碼器的情況一樣，解碼支路106在相同互連中包括相同解碼元件，相應地，相對於負責解碼第一視點121的視頻141的解碼支路106v,1代表性地描述所述解碼分支。具體地，每個編碼支路106包括與多路復用器104的各個輸出端連接的輸入端以及與視點提取器108的各個輸入端連接以便向視點提取器108輸出多視點信號10的各個數據實體即，解碼支路106v,1情況下的視頻141的輸出端。其中，每個編碼支路106都包括串聯連接在多路復用器104和視點提取器108之間的去量化/反相變換模塊28、加法器30、進一步處理模塊32以及解碼圖像緩衝器34。加法器30、進一步處理模塊32以及解碼圖像緩衝器34和跟隨在組合器/選擇器40之後的預測模塊36及38(以上述順序)的並聯(連接在解碼圖像緩衝器34和加法器30的另一輸入端之間)構成一個迴路。正如利用圖1的相同參考標號所表示的那樣，解碼支路106的元件28至40的結構和功能與圖1中的編碼支路的相應元件的相似之處在於，解碼支路106的元件利用數據流18中傳遞的信息模擬編碼過程的處理。自然，解碼支路106僅相對於由解碼器20最終選擇的編碼參數反轉編碼程序，而圖1的編碼器20從優化程度來說必須找出一組最優的編碼參數，比如優化比率/失真成本函數的編碼參數，任選要受一定限制，比如最大比特率等。

解多路復用器104用於向各個解碼支路106分配數據流18。例如，解多路復用器104為去量化/反相變換模塊28提供殘餘數據421，為進一步處理模塊32提供進一步處理參數501，為幀內預測模塊36提供幀內預測參數461，為幀間預測模塊38提供幀間預測參數481。編碼參數交換器110的作用與圖1中的相應模塊52一樣，以便在各個解碼支路106中分配共用編碼參數和其他共用數據。

視點提取器108接收由並行解碼支路106重建的多視點信號並從中提取與外部提供的中間視點提取控制數據112規定的視角或視向(viewdirection)對應的一個或多個視點102。

由於解碼器100與編碼器20的相應部分的構造類似，因此可與以上描述類似地簡單說明視點提取器108的接口的功能。

實際上，解碼支路106v,1和106d,1一起操作以根據數據流18中包含的第一編碼參數(比如，421中的定標參數、參數461，481，501、相應的未採用的參數以及第二支路16d,1的編碼參數的預測殘差，即參數462，482，502)，通過從多視點信號10的事先重建部分預測第一視點121的當前部分並利用例如421和422中的，同樣包含在數據流18中的第一校正數據校正第一視點121的當前部分預測的預測誤差，來重建數據流18的多視點信號10的第一視點121，其中，所述多視點信號10的事先重建部分在第一視點121的重建之前從數據流18被重建。當解碼支路106v,1負責解碼視頻141時，編碼支路106d,1假設負責重建深度/視差圖數據161。例如，參見圖2：根據從數據流18讀取的相應編碼參數，即，421中的定標參數、參數461，481，501，解碼支路106v,1通過從多視點信號10的事先重建部分預測視頻141的當前部分(諸如，60a，60b或60c)並使用從數據流18，即從421中的變換係數等級獲得的相應校正數據校正該預測的預測誤差，來從數據流18重建第一視點121的視頻141。例如，解碼支路106v,1以區段/部分為單位利用視頻幀之間的編碼順序對視頻141進行處理，為了編碼幀內的區段，這些幀的區段之間的編碼順序就像編碼器的相應編碼支路所做的那樣。相應地，視頻141的所有的事先重建部分都可用於預測當前部分。用於當前部分的編碼參數可以包括幀內預測參數501、幀間預測參數481、用於進一步處理模塊32的濾波參數等中的一個或多個。用於校正預測誤差的校正數據可以由殘餘數據421中的頻譜變換係數等級表示。並非所有這些編碼參數都需要全部傳送。它們中的一部分可能已經從視頻141的相鄰區段的編碼參數進行了空間預測處理。視頻141的運動矢量例如可以在比特流內作為視頻141的相鄰部分/區段的運動矢量之間的運動矢量差而傳送。

只要涉及第二解碼支路106d,1，該第二解碼支路不但對在數據流18中信號告知的並通過解多路復用器104分配給各個解碼支路106d,1的殘餘數據422和相應的預測和濾波參數，即，不是通過幀間視點邊界預測的編碼參數，進行訪問，而且可以間接地對經由解多路復用器104提供給解碼支路106v,1的編碼參數和校正數據，或由此產生的、經由編碼信息交換模塊110分配的任何信息進行訪問。因此，解碼支路106d,1從經由解多路復用器104轉發至第一視點121的一對解碼支路106v,1及106d,1的編碼參數的一部分(其與尤其專用於並轉發至解碼支路106v,1的這些編碼參數的一部分部分重疊)確定用來重建深度/視差圖數據161的編碼參數。例如，解碼支路106d,1從在481中明確傳送的運動矢量62a確定運動矢量68a，在一方面作為與幀v1,t的另一個相鄰部分的運動矢量差，另一方面作為在482中明確傳送的運動矢量差。另外地或可選地，解碼支路106d,1可以使用上文相對於楔形波分隔線的預測而描述的視頻141的重構部分來預測用來解碼深度/視差圖數據161的編碼參數。

更確切地說，解碼支路106d,1通過使用至少部分地從由解碼支路106v,1所使用的編碼參數預測的和/或從解碼支路106v,1的解碼圖像緩衝器34中的視頻141的重建部分預測的編碼參數來從數據流重建第一視點121的深度/視差圖數據141。編碼參數的預測殘差可以經由解多路復用器104從數據流18中獲得。用於解碼支路106d,1的其他編碼參數可以全部在數據流108中傳送或相對於另一個依據，即，參照已用於編碼深度/視差圖數據161自身的任意事先重建部分的編碼參數進行傳送。基於這些編碼參數，解碼支路106d,1從深度/視差圖數據161的事先重建部分預測深度/視差圖數據141的當前部分，並利用各個校正數據422校正預測深度/視差圖數據161的當前部分的預測誤差，其中，所述深度/視差圖數據161的事先重建部分在重建深度/視差圖數據161的當前部分之前由解碼支路106d,1從數據流18重建。

因此，數據流18可以包括一個部分，比如深度/視差圖數據161的部分66a，如下：

-指示用於當前部分的編碼參數是否或哪一部分從例如視頻141的協同定位和時間校準部分的(或從其他視頻141的特定數據，比如重建版本以便預測楔形波分隔線)對應的編碼參數採用或預測，

-若是，在預測的情況下，則是編碼參數殘差，

-若否，則是當前部分的所有編碼參數，其中，與深度/視差圖數據161的事先重建部分的編碼參數相比，當前部分的所有編碼參數都可以被信號告知為預測殘差，

-如果並非如上所述的所有編碼參數都要被預測/採用，則是當前部分的編碼參數的剩餘部分，其中與深度/視差圖數據161的事先重建部分的編碼參數相比，當前部分的編碼參數的剩餘部分可以被信號告知為預測殘差。

例如，如果當前部分是幀間預測部分，比如部分66a，則運動矢量68a可以在數據流18中被信號告知為從運動矢量62a被採用或預測。此外，解碼支路106d,1可以根據如上所述視頻141的重建部分中的檢測邊緣72預測楔形波分隔線70的位置並在數據流18中無信號告知的情況下或根據數據流18中的各個應用信號告知應用該楔形波分隔線70。換句話說，用於當前幀的楔形波分割線的應用可以通過數據流18中的信號告知的方式被抑制或允許。甚至換言之，解碼支路106d,1可以有效預測深度/視差圖數據的當前重建部分的外周(circumference)。

與如上文相對於編碼描述的那樣，第二視點122的一對解碼支路106v,2及106d,2的功能與第一視點121類似。這兩個支路協作以利用自身的編碼參數從數據流18重建多視點信號10的第二視點122。僅是這些編碼參數的一部分需要經由解多路復用器104傳輸並分配給這兩個解碼支路106v,2及106d,2中的任一個，其沒有在視點141及142之間的邊界被採用/預測，可選地，為視點間預測部分的殘差。第二視點122的當前部分從多視點信號10的事先重建部分進行預測，並由此利用由解多路復用器104轉發給這對解碼支路106v,2及106d,2的校正數據，即423及424校正預測誤差，其中，所述多視點信號10的事先重建部分在第二視點122的各個當前部分的重建之前通過解碼支路106中的任一個從數據流18中重建。

解碼支路106v,2被配置為至少部分地從由解碼支路106v,1及106d,1中的任意一個使用的編碼參數採用或預測其編碼參數。可以對視頻142的當前部分呈現以下有關編碼參數的信息：

-指示當前部分的編碼參數是否或哪一部分從例如視頻141或深度/視差數據161的協同定位和時間校準部分的對應的編碼參數被採用或被預測，

-若是，在預測的情況下，則是編碼參數殘差，

-若否，則是當前部分的所有編碼參數，其中，與視頻142的事先重建部分的編碼參數相比，當前部分的所有編碼參數可以被信號告知為預測殘差，

-如果並非如上所述的所有編碼參數都要被預測/採用，則是當前部分的編碼參數的剩餘部分，其中，與視頻142的事先重建部分的編碼參數相比，當前部分的編碼參數的剩餘部分可以被信號告知為預測殘差，

-數據流18中的信號告知可以用信號告知當前部分74a是否要從全新的數據流中讀取此部分的相應編碼參數，比如運動矢量78，相應編碼參數是否進行空間預測或是否根據第一視點121的視頻141或深度/視差圖數據161的協同定位部分的運動矢量進行預測，並且解碼支路106v,2是否可以相應起作用，即，通過全部從數據流18中提取運動矢量78，採用或預測該運動矢量，在後一種情況下，從數據流18中提取有關當前部分74a的編碼參數的預測誤差數據。

解碼支路106d,2可以進行類似的操作。也就是說，解碼支路106d,2可以至少部分地通過採用/預測而從由解碼支路106v,1、106d,1及106v,2中的任一個所使用的編碼參數，從第一視點121的重建視頻142和/或重建深度/視差圖數據161確定其編碼參數。例如，數據流18可以信號告知深度/視差圖數據162的當前部分80b，當前部分80b的編碼參數是否或者哪一部分從視頻141、深度/視差數據161以及視頻142或其適當子集中的任一個的協同定位被採用或被預測。這些編碼參數所關注的部分可以涉及運動矢量比如84，或視差矢量比如視差矢量82。此外，其他編碼參數，比如有關楔形波分隔線的編碼參數，可以由解碼支路106d,2利用視頻142中的邊緣檢測推導出來。可選地，邊緣檢測甚至可以通過應用預定再投影而用於重建深度/視差圖數據161，以便將檢測邊緣在深度/視差圖d1,t中的位置傳遞給深度/視差圖d2,t，從而作為預測楔形波分隔線的位置的基礎。

多視點數據10的重建部分在任何情況都可到達視點提取器108，其中包含的視點是新視點(即，與這些新視點相關聯的視頻等)的視點提取基礎。該視點提取可以包括或涉及利用與此相關聯的深度/視差圖數據再投影所述視頻141及142。坦率地說，在將視頻再投影到另一個中間視點的過程中，視頻的與位於接近觀察者的場景部分對應的部分沿視差方向，即查看方向差矢量的方向的移動超過視頻的與位於遠離觀察者位置的場景部分對應的部分。下面相對於圖4至圖6及圖8概述由視點提取器108執行的視點提取的實例。去遮擋處理也可以由視點提取器執行。

然而，在描述下文的另外的實施方式之前，應注意的是，可以對上面列出的實施方式進行幾處修改。例如，多視點信號10不一定要包括每個視點的深度/視差圖數據。甚至可以是，多視點信號10中沒有任何視點具有與此相關聯的深度/視差圖數據。然而，編碼參數重新使用或在上面列出的多個視點之間共享會使編碼效率得到提高。此外，對於某些視點來說，可以限制深度/視差圖數據在數據流中傳送至去遮擋區域(disocclusionarea)，即，根據設定為不確定圖的剩餘區域中的值的多視點信號的其他視點填充再投影視點中的去遮擋區域的區域。

如上所述，多視點信號10的視點121及122可以具有不同的空間解析度。也就是說，它們可以使用不同的解析度在數據流18中傳輸。甚至換言之，編碼支路22v,1及22d,1執行預測編碼的空間解析度可能高於編碼支路22v,2及22d,2按照視點之間的上述順序對繼視點121之後的後續視點122執行預測編碼的空間解析度。本發明的發明人發現，在考慮到合成視點102的質量時，該措施還提高了比率/失真比。例如，圖1的編碼器首先以相同的空間解析度接收視點121和視點122，然而，然後在使第二視點122的視頻142和深度/視差圖數據162進行由模塊24-40實現的預測編碼程序之前，將第二視點122的視頻142和深度/視差圖數據162下採樣為較低的空間解析度。然而，仍然可通過根據源視點和目標視點的不同解析度之間的比來定標形成採用或預測基礎的編碼參數，從而執行採用並預測視點邊界上的編碼參數的上述措施。例如，參見圖2。如果編碼支路22v,2意在從運動矢量62a及68a中的任意一個採用或預測運動矢量78，則編碼支路22v,2通過與視點121(即，源視點)的高空間解析度與視點22(即，目標視點)的低空間解析度之比對應的值向下定標該運動矢量。自然，這對於解碼器和解碼支路106都適用。解碼支路106v,2及106d,2可以相對於解碼支路106v,1及106d,1以低的空間解析度執行預測解碼。在重建之後，可使用上採樣方式，以便在深度/視差圖到達視點提取器108之前將由解碼支路106v,2及106d,2的解碼圖像緩衝器34輸出的重建圖像和深度/視差圖從低空間解析度轉變為高空間解析度。各個上採樣器可以位於各個解碼圖像緩衝器和視點提取器108的各個輸入端之間。如上所述，在一個視點121或122內，視頻及相關深度/視差圖數據可以具有相同的空間解析度。然而，另外地或可選地，這些對具有不同的空間解析度，並在空間解析度邊界，即深度/視差圖數據和視頻之間執行上面剛剛描述的措施。此外，根據另一個實施方式，存在包括視點123的三個視點，為了便於進行說明在圖1至圖3中未示出，第一視點和第二視點具有相同的空間解析度，而第三視點123具有較低的空間解析度。因此，根據剛才描述的實施方式，部分後續視點，比如視點122，在編碼之前進行下採樣處理，在解碼之後進行上採樣處理。該子採樣或上採樣分別表示解碼/編碼支路的預處理或後處理，其中用於採用/預測任何後續(目標)視點的編碼參數的編碼參數根據源視點和目標視點的空間解析度的比進行定標。如上所述，以較低的質量傳輸這些後續視點(諸如視點122)並沒有顯著影響中間視點提取器108的中間視點輸出102的質量，原因是在中間視點提取器108中進行處理。由於再投影到中間視點並且必須對再投影到中間視點的採樣網格的視頻採樣值進行再採樣，因此視點提取器108無論如何都會對視頻141及142執行插值/低通濾波。為了探討第一視點121以相對於相鄰視點122增加的空間解析度進行傳送的事實，其間的中間視點可以主要從視點121獲得，僅利用低空間解析度視點122和其視頻142作為輔視點，比如僅用於填充視頻141的再投影版本的去遮擋區域，或當對視點121和視點122的視頻的再投影版本進行平均處理時僅以減少的加權因子參與。通過這一措施，儘管第二視點122的編碼率因以較低空間解析度傳送而明顯降低，但同樣對視點122的較低空間解析度進行補償。

還應提及的是，就編碼/解碼支路的內部結構而言，可以修改所述實施方式。例如，可能不存在幀內預測模式，即，無空間預測模式可用。類似地，可以忽略任意幀間視點和時間預測模式。此外，所有進一步處理選項都是可選的。另一方面，在解碼支路106的輸出端上可以存在越環後處理模塊(out-of-looppost-processingmodule)，以便執行自適應濾波或其他質量提高措施和/或上述上採樣。此外，可以不執行殘差變換。而是，殘差可以在空間域中而不是在頻域中傳送。就一般意義而言，圖1及圖3中所示的混合編碼/解碼設計可以用其他編碼/解碼構思，比如基於小波變換的構思替換。

還應提及的是，解碼器沒必要包括視點提取器108。而是，可能不存在視點提取器108。在這種情況下，解碼器100僅用於重建視點121及122中的任意一個，比如其中一個、幾個或全部。如果對各個視點121及122來說不存在深度/視差數據，則視點提取器108可以通過利用使相鄰視點的相應部分彼此相關的視差矢量來執行中間視點。這些視差矢量作為與相鄰視點的視頻相關聯的視差矢量場的支持視差矢量，視點提取器108可以通過應用該視差矢量場從相鄰視點121及122的這樣的視頻來構建中間視點視頻。試想視頻幀v2,t具有視點間預測的部分/區段的50％。也就是說，對於50％的部分/區段來說，可能存在視差矢量。對於剩餘部分來說，視差矢量可以由視點提取器108通過內插/外推法從空間方面確定。還可以使用將視差矢量用於視頻142的事先重建幀的部分/區段的時間插值。然後根據這些視差矢量使視頻幀v2,t和/或基準視頻幀v1,t失真，從而產生中間視點。為此，根據中間視點在第一視點121和第二視點122的視點位置之間的中間視點位置定標視差矢量。下面將更詳細地概述有關該程序的細節。

通過使用確定楔形波分割線以在視頻的重建的當前幀中沿著檢測的邊緣延伸的上述選項，來獲得編碼效率增益。因此，如上所述，上述楔形波分隔線位置預測可以用於每個視點，即，全部或僅用於其適當的子集。

迄今為止，圖3的上述討論還揭示了一種解碼器，其具有解碼支路106c,1和解碼支路106d,1，解碼支路106c,1被配置為從數據流18重建視頻141的當前幀v1,t，解碼支路106d,1被配置為檢測重建當前幀v1,t中的邊緣72，確定楔形波分隔線70以便沿邊緣72延伸，並從數據流18以深度/視差圖d1,t的分割的區段66a，66b，72a，72b為單位重建與當前幀v1,t相關聯的深度/視差圖d1,t，其中，分割的兩個相鄰區段72a，72b通過楔形波分隔線70相互分開。解碼器可以被配置為利用區段的不同組的預測參數，從與當前幀v1,t相關聯的深度/視差圖d1,t或與視頻的任意事先解碼幀v1,t-1相關聯的深度/視差圖d1,t-1的事先重建區段來分段預測深度/視差圖d1,t。解碼器可以被配置使得楔形波分隔線70是直線，解碼器被配置為根據深度/視差圖d1,t的基於區塊的預分割，通過沿楔形波分隔線70劃分預分割的區塊66c來確定分割，以便兩個相鄰的區段72a，72b為一起形成預分割的區塊66c的楔形波形區段。

總結上述一些實施方式，這些實施方式使得能夠從共同解碼多視點視頻和補充數據進行視點提取。術語「補充數據」在下文中用於表示深度/視差圖數據。根據這些實施方式，多視點視頻和補充數據被嵌入在一個壓縮表示中。補充數據可以由逐像素深度圖、視差數據或3d線框組成。所提取的視點102與壓縮表示或比特流18中包含的視點121，122的不同之處在於視點數量和空間位置。之前已經通過編碼器20生成了壓縮表示18，其可以使用補充數據來改善視頻數據的編碼。

與當前現有技術的方法相比，執行聯合解碼，其中，通過共用信息支持並控制視頻和補充數據解碼。實例為一組共用的運動矢量或視差矢量，用於解碼視頻和補充數據。最後，從解碼視頻數據、補充數據和可能組合數據中提取視點，其中，在接收設備處通過提取控制對所提取視點的數量和位置進行控制。

進一步地，上文描述的多視點壓縮概念可結合基於視差的視點合成一起使用。基於視差的視點合成的含義如下。如果由多臺照相機捕獲場景內容，比如視頻141及142，則可以向觀察者呈現該內容的三維感知。為此，立體對必須為左眼和右眼設置稍微不同的查看方向。由視差矢量表示相等時間實例的兩個視點中的同一內容的切換。類似於此，在不同時間實例之間的序列中的內容切換是運動矢量，如圖4所示，用於不同時間實例的兩個視點。

通常，直接估計或以場景深度形式估計視差，該視差由外部提供或利用專用傳感器或照相機進行記錄。運動估計已由標準編碼器執行。如果多個視點被一起編碼，則對時間和視點間方向進行類似處理，以便在編碼過程中沿時間和視點間方向執行運動估計。這已經相對於圖1和圖2進行了描述。在視點間方向上的估計的運動矢量是視差矢量。這樣視差矢量在圖2中用82和76示例性地示出。因此，編碼器20還隱式地執行視差估計並且編碼比特流18中包括有視差矢量。這些矢量可以用於在解碼器上，即，在視點提取器108中進行額外的中間視點合成。

考慮位置(x1,y1)處的視點1的像素p1(x1,y1)以及位置(x2,y2)處的視點2的像素p2(x2,y2)，它們具有相同亮度值。則，

p1(x1,y1)＝p2(x2,y2)(1)

通過2d視差矢量連接位置(x1,y1)和(x2,y2)，例如從視點2至視點1，其是具有分量dx,21(x2,y2)和dy,21(x2,y2)的d21(x2,y2)。因此，下面的等式適用：

(x1,y1)＝(x2+dx,21(x2,y2),y2+dy,21(x2,y2))(2)

組合(1)和(2)，

p1(x2+dx,21(x2,y2),y2+dy,21(x2,y2))＝p2(x2,y2)(3)

如圖5所示，右下角的具有相同內容的兩個點可以由視差矢量連接。將該矢量添加到p2的坐標得出圖像坐標中p1的位置。如果視差矢量d21(x2,y2)現在由因子κ＝[0…1]定標，則(x1,y1)和(x2,y2)之間的任何中間位置可以被求出。因此，可以通過由定標視差矢量使視點1和/或視點2的圖像內容偏移來生成中間視點。圖6中示出了中間視點的實例。

因此，可以利用視點1和視點2之間的任意位置來生成新的中間視點。

除此之外，還可以利用視差的定標因子κ1來實現視點外推。

這些定標方法還可以應用於時間方向，以便可通過定標運動矢量來提取新幀，從而生成更高幀率的視頻序列。

現在，返回上文相對於圖1和圖3所描述的實施方式，這些實施方式尤其描述了具有視頻和補充數據比如深度圖的解碼器的並行解碼結構，所述解碼器包含公共信息模塊，即，模塊110。該模塊利用來自信號的由編碼器生成的空間信息。常見的例子為在視頻數據編碼過程中提取的例如還用於深度數據的一組運動或視差矢量。在解碼器處，該公共信息用於操縱解碼視頻和深度數據並向每個解碼器支路提供所需的信息，任選用於提取新視點。利用該信息，可以從視頻數據中並行提取所有所需視點，例如用於n-視點顯示的視點。要在各個編碼/解碼支路之間共享的公共信息或編碼參數的實例如下：

-例如，來自同樣用於補充數據的視頻數據的公共運動和視差矢量

-例如，來自同樣用於補充數據的視頻數據劃分的公共區塊劃分結構

-預測模式

-亮度和/或色度信息中的邊緣和輪廓數據，例如，亮度區塊中的直線。其被用於補充數據非矩形區塊劃分。該劃分被稱為楔形波，並以一定角度和位置由直線將區塊分為兩個區域。

公共信息還可以用作一個解碼支路的預測子(例如，視頻用預測子)以便在其他支路中細化(例如，補充數據)，反之亦然。這可以包括運動矢量或視差矢量的細化，通過視頻數據的區塊結構初始化補充數據中的區塊結構，從來自視頻區塊的亮度或色度邊緣或輪廓信息中提取直線並利用該直線進行楔形波分隔線預測(以相同的角度但在保持所述角度的對應的深度區塊中可能不同的位置)。公共信息模塊還將部分重建數據從一個解碼支路轉移至另一個。最後，來自該模塊的數據也可以被傳遞給視點提取模塊，其中，提取用於顯示的所有必要的視點(顯示可以是2d顯示、具有兩個視點的立體顯示、具有n個視點的自動立體顯示)。

一個重要方面在於，如果利用上述編碼/解碼結構來編碼/解碼一個以上的單對視點和/深度/補充信號，則可以考慮必須在每個時間點t傳輸一對彩色視點vcolor_1(t)、vcolor_2(t)以及對應的深度數據vdepth_1(t)和vdepth_2(t)的應用場景。上述實施方式建議首先利用傳統的運動補償預測來編碼/解碼信號vcolor_1(t)。然後，在第二步驟中，對於對應深度信號vdepth_1(t)的編碼/解碼，可以重新使用來自編碼/解碼信號vcolor_1(t)的信息，如上所述。隨後，來自vcolor_1(t)和vdepth_1(t)的累積信息也可以用於編碼/解碼vcolor_2(t)和/或vdepth_2(t)。因此，通過共享和重新使用不同視點和/或深度之間的公共信息，可以最大程度地利用冗餘。

圖3的解碼和視點提取結構可選地如圖7所示。

如圖所示，圖7的解碼器的結構基於用於顏色和補充數據的兩個並行經典視頻解碼結構。另外，其包括公共信息模塊。該模塊可以發送，處理並接收兩個解碼結構中的任何模塊的任何共享信息。解碼視頻和補充數據最終在視點提取模塊中進行組合以便提取所需數量的視點。這裡，還可以使用來自新模塊的公共信息。通過圖7的灰框突出顯示了新提出的解碼和視點提取方法的新模塊。

解碼過程開始於接收共用的壓縮表示或比特流，其包含來自一個或多個視點的視頻數據，補充數據以及運動矢量或視差矢量共用的信息，控制信息，區塊劃分信息，預測模式，輪廓數據等。

首先，對比特流應用熵解碼以提取視頻和補充數據的量化變換係數，所述係數被饋送至兩個獨立的編碼支路，在圖7中的由虛線灰框突出顯示，標記為「視頻數據處理」和「補充數據處理」。此外，熵解碼還提取共享或共用數據並將其饋送至新的公共信息模塊。

兩個解碼支路在熵解碼之後類似地操作。對收到的量化變換係數進行定標處理並應用逆變換來獲得差分信號(differencesignal)。為此，添加來自時間或相鄰視點的事先解碼數據。待添加的信息的類型由專用控制數據進行控制。在幀內編碼視頻或補充數據的情況下，沒有先前或相鄰信息可用，從而使得應用幀內重建。對於幀間編碼視頻或補充數據來說，來自時間上在前面或相鄰的視點的事先解碼數據是可用的(圖7中的當前切換設定)。事先解碼數據在運動補償區塊中偏移相關的運動矢量並被添加至差分信號以生成初始幀。如果事先解碼數據屬於相鄰視點，則運動數據表示視差數據。通過區塊濾波器和可能的增強方法(例如，邊緣平滑處理等)對這些初始幀或視點進行進一步處理，以便提高視覺質量。

在改進階段之後，重建數據被傳遞給解碼圖像緩衝器。該緩衝區對解碼數據排序並且每次都按照正確的時間順序輸出解碼圖像。所存儲的數據還用於下一處理周期以便作為可定標運動/視差補償的輸入。

除了該單獨的視頻和補充解碼之外，還可使用公共信息模塊，其可以處理任何數據，且對於視頻和補充數據是共用的。公共信息的實例包括共享運動/視差矢量，區塊劃分信息，預測模式，輪廓數據，控制數據，以及公共變換係數或模式，視點增強數據等。在各個視頻和補充模塊中處理的任何數據也可以是公共模塊的一部分。因此，存在至公共模塊連接和從公共模塊至各個解碼支路的所有部分的連接。同樣，公共信息模塊可以包含足夠數據，只有一個獨立的解碼支路和公共模塊是必需的以解碼所有視頻和補充數據。此實例為壓縮表示，其中，某些部分僅包含視頻數據，其他所有部分包含共用視頻和補充數據。這裡，視頻數據在視頻解碼支路中被解碼，而所有補充數據在公共模塊中被處理並被輸出至視點合成。因此，在該實例中，沒有使用獨立的補充支路。同樣，來自獨立的解碼支路的模塊的各個數據可以例如以部分解碼數據的形式將信息發回公共信息處理模塊，以在那裡使用或被傳輸至其他解碼支路。一個實例為解碼視頻數據，如傳遞給適當的補充解碼模塊的變換係數，運動矢量，模式或設定。

在解碼之後，重構視頻和補充數據從獨立的解碼支路或從公共信息模塊被傳遞至視點提取模塊。在例如圖3中的110的視點提取模塊中，提取用於接收設備，例如多視點顯示所需的視點。通過中間視點提取控制來控制該過程，所述中間視點提取控制設定視點序列的所需數量和位置。視點提取的實例是視點合成。如果要在兩個原始視點1和2之間合成新的視點，如圖6所示，來自視點1的數據可以先移至新的位置。然而，該視差偏移對前景物體和背景物體來說是不同的，因為該偏移與原來的場景深度(照相機的前距離)成反比。因此，在視點1中不可見的新的背景區域在合成視點中變得可見。這裡，視點2可以用於填補該信息。此外，可以使用空間相鄰數據，例如相鄰的背景信息。

作為一個實例，考慮圖8中的設定。這裡，解碼數據由具有顏色數據vcolor1和vcolor2和深度數據vdepth1和vdepth2的兩個視點序列組成。應從該數據中提取具有視點vd1，vd2，……，vd9的9視點顯示的視點。該顯示器經由中間視點提取控制信號告知視點的數量和空間位置。這裡，要求9個視點具有0.25的空間距離，從而使得相鄰顯示視點(例如，vd2和vd3)就空間位置和立體感知而言比比特流中的視點近4倍。因此，這組視點提取因子{κ1,κ2,…,κ9}被設定為{-0.5,-0.25,0,0.25,0.5,0.75,1,1.25,1.5}。這表明解碼顏色視點vcolor1和vcolor2的空間位置與顯示視點vd3和vd7一致(因為κ3＝0和κ7＝1)。此外，vd3，vd4及vd5內插在vcolor1和vcolor2之間。最後，vd1和vd2以及vd8和vd9外插在比特流對vcolor1，vcolor2的各側。根據視點提取因子的設定，深度數據vdepth1和vdepth2被轉換為逐像素位移信息並在視點提取階段相應地被定標以便獲得解碼顏色數據的9個不同改變版本。

儘管以裝置的上下文描述了某些方面，但顯然，這些方面也表示相應方法的描述，其中，區塊或設備對應於方法步驟或方法步驟的特徵。類似地，以方法步驟上下文描述的方面也表示相應區塊或相應裝置的項目或特徵。一部分或所有方法步驟可以通過(或利用)硬體裝置，比如微處理器、可編程計算機或電子電路等來執行。在某些實施方式中，最重要的方法步驟中的一個或多個可以利用此裝置來執行。

本發明解碼多視點信號可以存儲在數字存儲介質上或可以在傳輸介質比如無線傳輸介質或有線傳輸介質比如網際網路上進行傳送。

根據某些實現要求，本發明的實施方式可以以硬體或軟體來實施。所述實施可以利用其上存儲有電子可讀控制信號的數字存儲介質，例如，軟盤、dvd、藍光光碟、cd、rom、prom、eprom、eeprom或快閃記憶體來執行，所述電子可讀控制信號與可編程計算機系統協作(或能夠與此協作)，從而執行各種方法。因此，數字存儲介質可以是計算機可讀介質。

根據本發明的某些實施方式包括具有電子可讀控制信號的數據載體，所述電子可讀控制信號能夠與可編程計算機系統協作，以便執行本文描述的方法之一。

通常，本發明的實施方式可以被實施為具有程序代碼的電腦程式產品，當電腦程式產品在計算機上運行時，程序代碼可操作為執行方法之一。程序代碼例如可以存儲在機器可讀載體上。

其他實施方式包括存儲在機器可讀載體上的用於執行本文描述的方法之一的電腦程式。

換句話說，本發明方法的實施方式由此為一種電腦程式，該電腦程式具有在該電腦程式在計算機上運行時用於執行本文描述的方法之一的程序代碼。

因此，本發明方法的另一個實施方式是一種包括記錄在其上的用於執行本文描述的方法之一的電腦程式的數據載體(或數字存儲介質或計算機可讀介質)。數據載體、數字存儲介質或記錄介質通常是實體的和/或非瞬態的。

因此，本發明方法的另一個實施方式為表示用於執行本文描述的方法之一的電腦程式的數據流或一系列信號。數據流或一系列信號例如可以被配置為經由數據通信連接，例如經由網際網路進行傳輸。

另一個實施方式包括處理裝置，例如計算機或可編程邏輯器件，被配置為或適於執行本文描述的方法之一。

另一個實施方式包括其上安裝有用於執行本文描述的方法之一的電腦程式的計算機。

根據本發明的另一個實施方式包括裝置或系統，被配置為將用於執行本文描述的方法之一的電腦程式傳輸至(例如，電學地或光學地)接收器。所述接收器例如可以是計算機、行動裝置、存儲設備等。裝置或系統例如可以包括用於將電腦程式傳輸至接收器的文件伺服器。

在某些實施方式中，可編程邏輯器件(例如，現場可編程門陣列)可以用於執行本文描述的方法的一部分或全部功能。在某些實施方式中，現場可編程門陣列可以與微處理器協作以便執行本文描述的方法之一。通常，所述方法優選由任意硬體裝置執行。

上述實施方式僅僅用於說明本發明的原理。應理解的是，本文描述的配置及細節的修改和變形對本領域技術人員來說是顯而易見的。因此，旨在僅由即將實現的專利權利要求的範圍的限定，而不受本文的實施方式的描述和說明的方式表示的具體細節的限定。