解碼器、重建數組的方法、編碼器、編碼方法及數據流與流程

2023-06-09 12:06:00 2

技術領域

本發明是有關於用於表示空間取樣信息信號(諸如視頻或靜止圖像)的信息樣本數組的編碼方案。

背景技術：

在影像及視頻編碼中，圖像或針對該圖像的特定樣本數組集合通常分解成區塊，該區塊與特定編碼參數關聯。圖像通常是由多個樣本數組組成。此外，一圖像也可關聯額外輔助樣本數組，該樣本數組(例如)表明透明信息或深度圖。一圖像的樣本數組(包括輔助樣本數組)也可集合成一或多個所謂的平面群組，此處各個平面群組是由一或多個樣本數組組成。一圖像的平面群組可獨立地編碼，或者，若該圖像關聯多於一個平面群組，則利用來自同一圖像的其它平面群組的預測進行編碼。各平面群組通常分解成多個區塊。該區塊(或樣本數組的相對應區塊)是通過跨圖像預測或圖像內預測而預測。各區塊可具有不同尺寸且可以是正方形或矩形。一圖像分割成多個區塊可通過語法固定，或可(至少部分地)在位流內部信號通知。經常發送的語法元素信號通知針對區塊細分的預定大小。這種語法元素可表明一區塊是否且如何細分成更小型區塊及相關聯的編碼參數，例如用於預測目的。針對一區塊(或樣本數組的相對應區塊)的全部樣本，相關聯的編碼參數的解碼是以某個方式表明。在該實例中，在一區塊的全部樣本是使用相同預測參數集合預測，該預測參數諸如是參考指數(標識在已編碼圖像集合中的一參考圖像)、運動參數(表明一參考圖像與該目前圖像間的區塊運動的測量值)、表明插值濾波器的參數、內部預測模式等。運動參數可以由具有一水平分量及一垂直分量的位移向量表示，或通過高階運動參數表示，諸如包括六個分量的仿射運動參數。也可能多於一個特定預測參數集合(諸如參考指數及運動參數)是與單一區塊相關聯。該種情況下，針對此特定預測參數的各集合，產生針對該區塊(或樣本數組的相對應區塊)的單一中間預測信號，並且最終預測信號是由包括疊加中間預測信號的一組合所建立。相對應加權參數及可能地，也包括一常數偏移(加至該加權和)可針對一圖像或一參考圖像或一參考圖像集合為固定，或其包括在針對相對應區塊的預測參數集合中。原始區塊(或樣本數組的相對應區塊)與其預測信號之間的差，也稱作為殘差信號，該差通常被變換及量化。經常，施加二維變換至該殘差信號(或針對該殘差區塊的相對應樣本數組)。針對變換編碼，已經使用特定預測參數集合的區塊(或樣本數組的相對應區塊)可在施加變換之前被進一步分裂。變換區塊可等於或小於用於預測的區塊。也可能是，一變換區塊包括多於一個用來預測的區塊。不同變換區塊可具有不同大小，變換區塊可表示正方或矩形區塊。在變換後，所得變換係數經量化，獲得所謂的變換係數位準。變換係數位準及預測參數以及若存在時，細分信息被熵編碼。

在影像及視頻編碼標準中，由語法所提供的將一圖像(或一平面群組)細分成區塊的可能性極為有限。通常只能規定是否(以及可能地如何)具有預先界定尺寸的一區塊可細分成更小型區塊。舉個實例，H.264的最大區塊尺寸為16×16。16×16區塊也稱作為宏區塊，在第一步驟，各圖像分割成宏區塊。針對各個16×16宏區塊，可信號通知其是否編碼成16×16區塊，或兩個16×8區塊，或兩個8×16區塊，或四個8×8區塊。若16×16區塊被細分成四個8×8區塊，則各個8×8區塊可編碼為一個8×8區塊，或兩個8×4區塊，或兩個4×8區塊，或四個4×4區塊。在當前影像及視頻編碼標準中表明分割成區塊的小集合可能性具有的優點是用於信號通知細分信息的側邊信息率可保持較小，但具有的缺點是針對該區塊傳輸預測參數所需的位率相當大，稍後詳述。信號通知預測信息的側邊信息率確實通常表示針對一區塊的顯著大量總位率。當這種側邊信息降低時，編碼效率增高，例如可通過使用較大型區塊大小來實現側邊信息降低。視頻序列的實際影像或圖像是由具有特定性質的任意形狀對象組成。舉個實例，此對象或對象部分是以獨特紋理或獨特運動為其特徵。通常相同預測參數集合可應用於此對象或對象部分。但對象邊界通常並不吻合大型預測區塊(例如，按照H.264的16×16宏區塊)可能的區塊邊界。

編碼器通常決定細分(在有限種可能性集合中)導致特定率失真成本測量的最小化。針對任意形狀對象，如此可能導致大量的小區塊。並且由於此小區塊是與需要傳輸的一預測參數集合相關聯，故側邊信息率變成總位率的一大部分。但由於小區塊中的數個仍然表示同一對象或對象一部分的區，故對多個所得區塊的預測參數為相同或極為相似。

換言之，一圖像細分或拼貼成較小型部分或拼貼塊或區塊實質上影響編碼效率及編碼複雜度。如前文摘述，一圖像細分成多個較小區塊允許編碼參數的空間更精細設定，藉此允許此編碼參數更佳適應於圖像/視頻材料。另一方面，以更細粒度設定編碼參數對通知解碼器有關需要的設定值的所需側邊信息量加諸更高負荷。再者，須注意編碼器(進一步)空間上細分圖像/視頻成為區塊的任何自由度，劇增可能的編碼參數設定值量，及因而通常使得針對導致最佳率/失真折衷的編碼參數設定值的搜尋更困難。

技術實現要素：

一個目的是提供一種用以編碼表示空間採樣信息信號(諸如但非限於視頻圖像或靜止圖像)的信息樣本數組的編碼方案，該方案允許達成在編碼複雜度與可達成的率失真比之間更佳的折衷，及/或達成更佳率失真比。

此目的可通過如權利要求1的解碼器、如權利要求10的編碼器、如權利要求11的方法、如權利要求12的電腦程式、及如權利要求13的數據流而達成。

本發明的潛在構想為當多元樹細分不僅用來細分一連續區(亦即樣本數組)成為多個葉區，同時中間區也是用來在相對應共同定位區塊間共享編碼參數時，在編碼複雜度與可達成的率失真比間可達成更佳的折衷，及/或可達成更佳率失真比。通過此措施，在局部拼貼葉區所進行的編碼程序可與個別編碼參數相關聯，但無需分開地對各葉區明確地傳輸整個編碼參數。反而，通過使用該多元樹細分可有效地利用相似性。

依據一個實施例，首先表示空間採樣信息信號的信息樣本數組在空間上置於樹根區，然後根據抽取自一數據流的多元樹細分信息，通過遞歸地多次分割該樹根區的子集，而至少將該樹根區的一子集分割成不同尺寸的更小型單純連接區。為了允許就率失真意義上，找出以合理編碼複雜度的過度細小細分與過度粗大細分間的良好折衷，信息樣本數組進行空間分割成的樹根區的最大區尺寸是含括在該數據流內且在解碼端從該數據流抽取。據此，解碼器可包括一抽取器，其被配置為從數據流抽取最大區尺寸及多元樹細分信息；一細分器，其被配置為將表示空間採樣信息信號的一信息樣本數組空間分割成最大區尺寸的樹根區，及依據該多元樹細分信息，將該樹根區的至少一個子集通過遞歸地多重分區該樹根區的該子集而細分成更小型單純連接不同尺寸區；及一重建器，其被配置為使用該細分而將來自該數據流的信息樣本數組重建成較小型單純連接區。

依據一個實施例，數據流也含有高達樹根區子集經歷遞歸地多重分區的最高階層式層級。通過此辦法，多元樹細分信息的信號通知變得更容易且需更少編碼位。

此外，重建器可被配置為以取決於中間細分的粒度，執行下列措施中的一者或多者：至少在內預測模式及跨預測模式中決定欲使用哪一個預測模式；從頻域變換至空間域，執行及/或設定跨預測的參數；執行及/或設定針對用於內預測的參數。

此外，抽取器可被配置為以深度優先遍歷順序而從數據流抽取與經分區的樹區塊的葉區相關聯的語法元素。通過此種辦法，抽取器可開發已經編碼的鄰近葉區的語法元素統計學量，其具有比使用寬度優先遍歷順序更高的機率。

依據另一個實施例，使用又一細分器來依據又一多元樹細分信息來將該較小型單純連接區的至少一個子集細分成又更小型單純連接區。第一級細分可由重建器用來執行信息樣本區的預測，而第二級細分可由重建器用來執行自頻域至空間域的再變換。定義殘差細分相對於預測細分為從屬，使得總細分的編碼較少耗用位；另一方面，由從屬所得的殘差細分的限制度及自由度對編碼效率只有微小的負面影響，原因在於大部分具有相似運動補償參數的圖像部分比具有相似頻譜性質的部分更大。

依據又另一實施例，又一最大區尺寸是含在該數據流內，又一最大區尺寸界定樹根子區大小，該樹根子區是在該樹根子區的至少一子集依據又更多元樹細分信息而細分成為又更小型單純連接區的前先被分割。如此轉而允許一方面預測細分的最大區尺寸的獨立設定，及另一方面允許殘差細分，如此可找出較佳率/失真折衷。

依據本發明的又另一實施例，數據流包括與形成該多元樹細分信息的第二語法元素子集分離的第一語法元素子集，其中在該解碼端的一合併器允許依據第一語法元素子集而組合空間鄰近的多元樹細分的小型單純連接區來獲得該樣本數組的一中間細分。重建器可被配置為使用中間細分而重建樣本數組。通過此方式，編碼器更容易以發現的最佳率/失真折衷將有效細分調適為信息樣本數組的性質的空間分布。舉例言之，若最大區尺寸為大，則多元樹細分信息可能因樹根區變大而更複雜。但另一方面，若最大區尺寸為小，則更可能是鄰近樹根區是有關具有相似性質的信息內容，使得此樹根區也可一起處理。合併填補前述極端間的此一間隙，通過此允許接近最佳化的粒度細分。從編碼器觀點，合併語法元素允許更輕鬆的或運算上更不複雜的編碼程序，原因在於若編碼器錯誤使用太精細的細分，則此誤差可通過編碼器隨後補償，通過由隨後設定合併語法元素有或無只調整適應一小部分在合併語法元素設定前已經被設定的語法元素達成。

依據又另一實施例，最大區尺寸及多元樹細分信息是用於殘差細分而非預測細分。

用來處理表示空間採樣信息信號的一信息樣本數組的多元樹細分的單純連接區的一深度優先遍歷順序而非寬度優先遍歷順序是依據一實施例使用。通過由使用該深度優先遍歷順序，各個單純連接區有較高機率來具有已經被遍歷的鄰近單純連接區，使得當重建個別目前單純連接區時，有關這些鄰近單純連接區的信息可被積極地利用。

當信息樣本數組首先被分割成零層級的階層式尺寸的樹根區規則排列，然後再細分該樹根區的至少一個子集成為不同大小的更小型單純連接區時，重建器可使用鋸齒形掃描來掃描該樹根區，針對各個欲分區的樹根區，以深度優先遍歷順序處理該單純連接的葉區，隨後又更以鋸齒形掃描順序步入下個樹根區。此外，依據深度優先遍歷順序，具有相同階層式層級的單純連接的葉區也可以按照鋸齒形掃描順序遍歷。如此，維持具有鄰近單純連接葉區的可能性增高。

依據一個實施例，雖然與多元樹結構的節點相關聯的標記是按照深度優先遍歷順序來循序排列，但標記的循序編碼使用機率估算上下文，其針對在多元樹結構的相同階層式層級內部與多元樹結構節點相關聯的標記為相同，但針對在多元樹結構的不同階層式層級內部的多元樹結構節點相關聯的標記為不同，通過此允許欲提供的上下文數目間的良好折衷，及另一方面，調整適應標記的實際符號統計數字。

依據一個實施例，針對所使用的預定標記的機率估算上下文也是取決於依據深度優先遍歷順序在該預定標記之前的標記，且是對應於與該預定標記相對應的區具有預定相對位置關係的樹根區的各區。類似於前述方面潛在的構想，使用深度優先遍歷順序保證高機率：已經編碼的標記也包括與該預定標記對應的區相鄰的區所對應的標記，該知曉可用來更優異地調適上下文用於該預定標記。

可用於設定針對一預定標記的上下文的標記可以是對應於位於該預定標記相對應區上區及/或左區的該標記。此外，用以選擇上下文的標記可限於與屬於預定標記相關聯的節點相同階層式層級的標記。

依據一個實施例，編碼信號通知包括最高階層式層級的指示及與不等於最高階層式層級的節點相關聯的一標記序列，各個標記表明相關聯節點是否為中間節點或子節點，以及按照深度優先或寬度優先遍歷順序循序解碼得自該數據流的標記序列，跳過最高階層式層級的節點而自動地指向相同葉節點，因而降低編碼率。

依據又一個實施例，多元樹結構的編碼信號通知可包括最高階層式層級的指示。通過此方式，可能將標記的存在限於最高階層式層級以外的階層式層級，原因在於總而言之排除具有最高階層式層級的區塊的進一步分區。

在空間多元樹細分屬於一次多元樹細分的葉節點及未經分區樹根區的二次細分的一部分的情況下，用於編碼二次細分標記的上下文可經選擇使得該上下文針對與相等大小區相關聯的標記為相同。

依據一實施例，該信息樣本數組所細分而成的一單純連接區有利的合併或分組是以較少數據量編碼。為了達成此項目的，針對單純連接區，界定一預定相對位置關係，其允許針對一預定單純連接區而識別在多個單純連接區內部與該預定單純連接區具有預定相對位置關係的單純連接區。換言之，若該數目為零，則在該數據流內部可能不存在有針對該預定單純連接區的一合併指標。此外，若與該預定單純連接區具有預定相對位置關係的單純連接區數目為1，則可採用該單純連接區的編碼參數，或可用來預測針對該預定單純連接區的編碼參數而無需任何額外語法元素。否則，即，若與該預定單純連接區具有預定相對位置關係的單純連接區數目為大於1，則可抑制一額外語法元素的引入，即便與這些經識別的單純連接區相關聯的編碼參數彼此為相同亦復如此。

依據一實施例，若該鄰近單純連接區的編碼參數彼此為不等，則一參考鄰近識別符可識別與該預定單純連接區具有預定相對位置關係的單純連接區數目的一適當子集，及當採用該編碼參數或預測該預定單純連接區的編碼參數時使用此一適當子集。

依據其它實施例，通過遞歸地多重分割將表示該二維信息信號的空間採樣的一樣本區而空間細分成多個具有不同大小的單純連接區是取決於在該數據流中的一第一語法元素子集而執行的，接著為取決於與該第一子集不相連接的在該數據流內的一第二語法元素子集而組合空間鄰近單純連接區，來獲得將該樣本數組中間細分成不相連接的單純連接區集合，其聯合為該多個單純連接區。該中間細分是用在從該數據流重建該樣本數組時。如此允許使得就該細分而言的最佳化較為不具關鍵重要性，原因在於實際上過細的細分可通過隨後的合併加以補償。此外，細分與合併的組合允許達成單獨通過遞歸多重分割不可能達成的中間細分，因此通過使用不相連接的語法元素集合執行細分與合併的級聯(concatenation)允許有效或中間細分更佳地調整適應該二維信息信號的實際內容。與其優點相比較，由用於指示合併細節的額外語法元素子集所導致的額外開銷是可忽略的。

附圖說明

下面，針對以下附圖來描述本發明的優選實施例，其中：

圖1顯示依據本申請的一實施例編碼器的方塊圖；

圖2顯示依據本申請的一實施例解碼器的方塊圖；

圖3a至圖3c示意地顯示四叉樹細分的一具體實施例，其中圖3a顯示第一階層式層級，圖3b顯示第二階層式層級，及圖3c顯示第三階層式層級；

圖4示意地顯示依據一實施例針對圖3a至圖3c的說明性四叉樹細分的樹結構；

圖5a、圖5b示意地顯示圖3a至圖3c的四叉樹細分及具有指示個別葉區塊的指標的樹結構；

圖6a、圖6b圖示意地顯示依據不同實施例表示圖4的樹結構及圖3a至圖3c的四叉樹細分的二進位串或標記序列；

圖7顯示一流程圖，顯示依據一實施例由數據流抽取器所執行的步驟；

圖8顯示一流程圖，例示說明依據又一實施例的數據流抽取器的功能；

圖9a、圖9b顯示依據一實施例例示說明性四叉樹細分的示意圖，強調一預定區塊的鄰近候選區塊；

圖10顯示依據又一實施例數據流抽取器的功能的一流程圖；

圖11示意地顯示依據一實施例來自平面及平面群組中的一圖像的組成且例示說明使用跨平面適應/預測的編碼；

圖12a及圖12b示意地例示說明依據一實施例的一子樹結構及相對應細分來描述繼承方案；

圖12c及12d示意地例示說明依據一實施例的一子樹結構來描述分別使用採用及預測的繼承方案；

圖13顯示一流程圖，顯示依據一實施例通過編碼器實現繼承方案所執行的步驟；

圖14a及圖14b顯示一次細分及從屬細分，來例示說明依據一實施例具體實現關聯跨-預測的一繼承方案的可能性；

圖15顯示一方塊圖例示說明依據一實施例關聯該繼承方案的一種解碼方法；

圖16顯示一示意圖，例示說明依據一實施例在多元樹細分子區間的掃描順序，該子區是經歷內-預測；

圖17a至圖17b顯示一示意圖，例示說明依據其它實施例不同的細分可能性；

具體實施方式

在後文附圖的詳細說明中，出現在數幅附圖間的組件是以共通組件符號指示來避免重複說明此等組件。反而有關一個附圖內部呈現的組件的解釋也適用於其中出現個別組件的其它附圖，只要在此其它附圖所呈現的解釋指出其中的偏差即可。

此外，後文說明始於就圖1至圖11解釋的編碼器及解碼器實施例。就此附圖呈現的實施例組合本申請的多個方面，但若個別對編碼方案內部實施也優異，如此，就隨後的附圖，實施例將簡短討論前述個別方面，此實施例是以不同意義表示就圖1及圖11描述的實施例的摘要。

圖1顯示依據本發明的實施例的編碼器。圖1的編碼器1010包括一預測器12、一殘差前置編碼器14、一殘差重建器16、一數據流插入器18及一區塊分割器20。編碼器10是用以將一時空採樣信息信號編碼成一數據流22。時空採樣信息信號例如可為視頻，亦即一圖像序列。各圖像表示一影像樣本數組。時空信息信號的其它實例例如包括由例如光時(time-of-light)相機拍攝的深度影像。又須注意一空間採樣信息信號可包括每個幀或時間戳多於一個數組，諸如於彩色視頻的情況下，彩色視頻例如包括每個幀一亮度樣本數組連同二個色度樣本數組。也可能對信息信號的不同分量(亦即亮度及色度)的時間採樣率可能不同。同理，適用於空間解析度。視頻也可伴隨有額外空間採樣信息，諸如深度或透明度信息。但後文描述的注意焦點將集中在此數組中的一者的處理來首先更明白了解本發明的主旨，然後轉向多於一個平面的處理。

圖1的編碼器10被配置為形成數據流22，使得數據流22中的語法元素描述粒度在全圖像與個別影像樣本間的圖像。為了達成此目的，分割器20被配置為將各圖像24細分為不同大小的單純連接區26。後文中，此區將簡稱為區塊或子區26。

正如稍後詳述，分割器20使用多元樹細分來將圖像24細分成不同尺寸的區塊26。更詳細地，後文就圖1至圖11所摘述的特定實施例大部分使用四叉樹細分。正如稍後詳述，分割器20內部可包括細分器28的級聯用來將圖像24細分成前述區塊26，接著為合併器30其允許將此區塊26組合成群組來獲得位於圖像24的未經細分與細分器28所界定的細分之間的有效細分或粒度。

如圖1的虛線舉例說明，預測器12、殘差預編碼器14、殘差重建器16及數據流插入器18是在由分割器20所界定的圖像細分上操作。舉例言之，正如稍後詳述，預測器12使用由分割器20所界定的預測細分來針對預測細分的個別子區而決定是否該個別子區應當經歷具有依據所選用的預測模式針對該個別子區的相對應預測參數的設定值的圖像內預測或跨圖像預測。

殘差預編碼器14又轉而使用圖像24的殘差子區來編碼由預測器12所提供的圖像24的預測殘差。殘差重建器16從殘差預編碼器14所輸出的語法元素重建殘差，殘差重建器16也在前述殘差細分上操作。數據流插入器18可利用前述分割，亦即預測及殘差細分，來利用例如熵編碼決定語法元素間的插入順序及鄰近關係用於將殘差預編碼器14及預測器12輸出的語法元素插入數據流22。

如圖1所示，編碼器10包括一輸入端32，此處該原始信息信號進入編碼器10。一減法器34、殘差預編碼器14及數據流插入器18以所述順序在數據流插入器18的輸入端32與編碼數據流22輸出的輸出端間串聯。減法器34及殘差預編碼器14為預測迴路的一部分，該預測迴路是由殘差重建器16、加法器及預測器12所包圍，這些組件是以所述順序在殘差預編碼器14的輸出端與減法器34的反相輸入端間串聯。預測器12的輸出端也是連接至加法器36的又一輸入端。此外，預測器12包括直接連接至輸入端32的一輸入端且可包括又另一輸入端，其也是經由可選的迴路內濾波器38而連接至加法器36的輸出端。此外，預測器12於操作期間產生側邊信息，因此預測器12的輸出端也耦接至數據流插入器18。同理，分割器20包括一輸出端其是連接至數據流插入器18的另一輸入端。

已經描述編碼器10的結構，其操作模式的進一步細節詳述如後。

如前述，分割器20針對各個圖像24決定如何將圖像細分成小區26。依據欲用於預測的圖像24的細分，預測器12針對相對應於此種細分的各個小區決定如何預測個別小區。預測器12輸出小區的預測給減法器34的反相輸入端，及輸出給加法器36的又一輸入端，及將反映預測器12如何從視頻的先前編碼部分獲得此項預測的方式的預測信息輸出給數據流插入器18。

在減法器34的輸出端，如此獲得預測殘差，其中殘差預編碼器14是依據也由分割器20所規定的殘差細分來處理此種預測殘差。如在後文中對於圖3至圖10進一步詳細說明，由殘差預編碼器14所使用的圖像24的殘差細分可與預測器12所使用的預測細分相關，使各預測子區採用作為殘差子區或更進一步細分成為更小的殘差子區。但也可能有完全獨立的預測及殘差細分。

殘差預編碼器14將各個殘差子區通過二維變換經歷從空間至頻域的變換，接著為或特有地涉及所得變換區塊的所得變換係數量化，因此失真結果是來自於量化噪聲。例如，數據流插入器18可使用(例如)熵編碼而將描述前述變換係數的語法元素無損地編碼成數據流22。

殘差重建器16又使用再量化接著為再變換，將變換係數重新轉換成殘差信號，其中該殘差信號是在加法器36內部組合由減法器34所得的預測來獲得預測殘差，通過此獲得在加法器36的輸出端一目前圖像的重建部分或子區。預測器12可直接使用該重建圖像子區用於內-預測，換言之，用來通過由從先前在鄰近重建的預測子區外推法而用來預測某個預測子區。但通過由從鄰近頻譜預測目前子區頻譜而在頻域內部直接進行內-預測理論上也屬可能。

用於交互預測，預測器12可使用先前已經編碼及重建的圖像版本，據此已經通過選擇性迴路內濾波器38濾波。濾波器38例如可包括一解區塊濾波器或一適應性濾波器，具有適合優異地形成前述量化噪聲的移轉功能。

預測器12選擇預測參數，顯示通過由使用與圖像24內部的原始樣本比較而預測某個預測子區的方式。正如稍後詳述，預測參數對各個預測子區可包括預測模式的指示，諸如圖像內-預測及跨圖像預測。在圖像內-預測的情況下，預測參數也包括欲內-預測的預測子區內緣主要延伸的角度指示；及在跨圖像預測的情況下，運動向量、運動圖像指數及最終高次冪運動變換參數；及在圖像內部及/或跨圖像預測二者的情況下，用來過濾重建影像樣本的選擇性濾波信息，基於此可預測目前預測子區。

正如稍後詳述，前述由分割器20所界定的細分實質上影響通過殘差預編碼器14、預測器12及數據流插入器18所能達成的最高率/失真比。在細分太細的情況下，由預測器12所輸出欲插入數據流22的預測參數40需要過高編碼速率，但通過預測器12所得的預測可能較佳，及通過殘差預編碼器14欲編碼的殘差信號可能較小使其可通過較少位編碼。在細分太過粗大的情況下，則適用相反情況。此外，前述思考也以類似方式適用於殘差細分：圖像使用個別變換區塊的較細粒度變換，結果導致用來運算變換的複雜度降低及結果所得變換的空間解析度增高。換言之，較少殘差子區允許在個別殘差子區內部的內容的頻譜分配更為一致。然而，頻譜解析度減低，顯著係數及不顯著係數(亦即量化為零)的比變差。換言之，變換粒度須調整適應局部圖像內容。此外，獨立於更細小粒度的正面效果，更細小粒度規則地增加需要的側邊信息量來指示對該解碼器所選用的細分。正如稍後詳述，後述實施例對編碼器10提供極為有效的調整適應細分至欲編碼信息信號內容，其通過指示數據流插入器18將細分信息插入數據流22來信號通知欲用在解碼端的細分。細節顯示如下。

但在以進一步細節定義分割器20的細分之前，依據本發明的實施例的解碼器將就圖2以進一步細節詳細說明。

圖2的解碼器是以參考標號100指示及包括一抽取器102、一分割器104、一殘差重建器106、一加法器108、一預測器110、一選擇性迴路內濾波器112及一選擇性後濾波器114。抽取器102在解碼器100的輸入端116接收編碼數據流，及從該編碼數據流中抽取細分信息118、預測參數120及殘差數據122，抽取器102分別將這些信息輸出給圖像分割器104、預測器110及殘差重建器106。殘差重建器106具有一輸出端連接至加法器108的第一輸入端。加法器108的另一輸入端及其輸出端是連接至一預測迴路，在該預測迴路中選擇性迴路內濾波器112及預測器110是以所述順序串聯從加法器108的輸出端至預測器110的旁通路徑，直接類似於前文於圖1所述加法器36與預測器12間的連接，換言之，一者用於圖像內-預測及另一者用於跨圖像預測。加法器108的輸出端或選擇性迴路內濾波器112的輸出端可連接至解碼器100的輸出端124，此處重建信息信號例如是輸出至再現裝置。選擇性後濾波器114可連接至導向輸出端124的路徑來改良在輸出端124的重建信號的視覺印象的視覺質量。

概略言之，殘差重建器106、加法器108及預測器110的作用類似圖1的組件16、36及12。換言之，同樣仿真前述圖1組件的操作。為了達成此項目的，殘差重建器106及預測器110由預測參數120，及通過圖像分割器104依據得自抽取器102的細分信息118指明的細分進行控制，來以預測器12所進行或決定進行的相同方式預測該預測子區，及如同殘差預編碼器14的方式，以相同粒度重新變換所接收的變換係數。圖像分割器104又仰賴細分信息118以同步方式重建由分割器20所選用的細分。抽取器可使用細分信息來控制數據抽取，諸如就上下文選擇、鄰近決定、機率估算、數據流語法的剖析等。

對前述實施例可進行若干偏差。某些偏差將在後文詳細說明就細分器28所執行的細分及合併器30所執行的合併中述及，而其它偏差將就隨後圖12至圖16做說明。在無任何障礙存在下，全部這些偏差皆可個別地或呈子集而施加至前文圖1及圖2的詳細說明部分。舉例言之，分割器20 及104並未決定預測細分而只決定每個圖像的殘差細分。反而其也可能分別針對選擇性迴路內濾波器38及112決定濾波細分。其它預測細分或其它殘差編碼細分獨立無關或具有相依性。此外，通過這些組件決定細分可能並非以逐幀為基礎進行。反而對某個幀所進行的細分可重新使用或採用於某個數目的下列幀，單純隨後轉移新細分。

在提供有關圖像分割成為子區的進一步細節中，後文說明首先是把關注焦點集中在細分器28及104a推定所負責的細分部分。然後描述合併器30及合併器104b所負責進行的合併處理程序。最後，描述跨平面適應/預測。

細分器28及104a分割圖像的方式使得一圖像可分割成為可能具有不同大小的多個區塊用於影像或視頻數據的預測及殘差編碼。如前述，圖像24可用作為一個或多個影像樣本值數組。在YUV/YCbCr彩色空間的情況下，例如第一數組可表示亮度信道，而另二個數組表示色度信道。這些數組可具有不同維度。全部數組可分組為一或多個平面群組，各個平面群組是由一個或多個連續平面所組成，使得各平面包含在一個且唯一一個平面群組。後文適用於各個平面群組。一特定平面群組的第一數組可稱作為此一平面群組的一次數組。可能的隨後數組為從屬數組。一次數組的區塊分割可基於四叉樹辦法進行，正如稍後詳述。從屬數組的區塊分割可基於一次數組的分割而導算出。

依據後述實施例，細分器28及104a被配置為將一次數組分割成為多個相等大小的方形區塊，後文中稱作為樹區塊。當使用四叉樹時，樹區塊的邊長典型為2的倍數，諸如16、32或64。但為求完整，須注意使用其它類型的樹以及二元樹或有任何葉數目的樹皆屬可能。此外，樹的子代數目可取決於樹的層級且取決於該樹表示何種信號。

此外如前文說明，樣本數組也可分別表示視頻序列以外的其它信息，諸如深度圖或光欄位。為求簡明，後文說明的關注焦點是聚焦在四叉樹作為多元樹的代表例。四叉樹為在各個內部節點恰有四個子代的樹。各個樹區塊組成一個一次四叉樹連同在該一次四叉樹的各個葉子的從屬四叉樹。一次四叉樹決定該給定樹區塊的細分用來預測，而從屬四叉樹決定一給定預測樹區塊的細分用以殘差編碼。

一次四叉樹的根節點是與完整樹區塊相對應。舉例言之，圖3a顯示一樹區塊150。須記住，各個圖像被分割成此種樹區塊150的列及行的規則格網，因而無間隙地覆蓋樣本數組。但須注意針對後文顯示的全部區塊細分，不含重疊的無縫細分不具關鍵重要性。反而鄰近區塊可彼此重疊，只要並無葉區塊為鄰近葉區塊的適當子部分即可。

連同樹區塊150的四叉樹結構，各個節點可進一步分割成為四個子節點，在一次四叉樹的情況下，表示樹區塊150可分裂成四個子區塊，具有樹區塊150的半寬及半高。在圖3a中，這些子區塊是以參考標號152a至152d指示。以相同方式，這些子區塊各自進一步再分割成為四個更小的子區塊具有原先子區塊的半寬及半高。在圖3b中，是針對子區塊152c舉例顯示，子區塊152c被細分成為四個小型子區塊154a至154d。至目前為止，圖3a至圖3c顯示樹區塊150如何首先被分割成為四個子區塊152a至152d，然後左下子區塊152c又被分割成四個小型子區塊154a至154d；及最後如圖3c所示，這些小型子區塊的右上區塊154b再度被分割成為四個區塊，各自具有原始樹區塊150的八分之一寬度及八分之一高度，這些又更小的子區塊標示以156a至156d。

圖4顯示如圖3a至圖3c所示基於四叉樹分割實例的潛在樹結構。樹節點旁的數字為所謂的細分標記值，將於後文討論四叉樹結構信號通知時進一步詳細說明。四叉樹的根節點顯示於該圖頂端(標示為層級「0」)。此根節點於層級1的四個分支是與圖3a所示四個子區塊相對應。因這些子區塊中的第三者又在圖3b中被細分成其四個子區塊，圖4於層級1的第三節點也具有四個分支。再度，與圖3c的第二(右上)子節點的細分相對應，有四個子分支連接在四叉樹階層層級2的第二節點。在層級3的節點不再進一步細分。

一次四叉樹的各葉是與個別預測參數(亦即內部或跨、預測模式、運動參數等)可被指明的可變尺寸區塊相對應。後文中，這些區塊稱做預測區塊。特別，這些葉區塊為圖3c所示區塊。簡短回頭參考圖1及圖2的說明，分割器20或細分器28決定如前文解說的四叉樹細分。細分器152a-d執行樹區塊150、子區塊152a-d、小型子區塊154a-d等中哪一個被再細分或更進一步分割的決策，目標是獲得如前文指示太過細小預測細分與太過粗大預測細分間的最佳折衷。預測器12轉而使用所指明的預測細分來以依據預測細分的粒度或針對例如圖3c所示區塊表示的各個預測子區來決定前述預測參數。

圖3c所示預測區塊可進一步分割成更小型區塊用以殘差編碼。針對各預測區塊，亦即針對一次四叉樹的各葉節點，通過一個或多個用於殘差編碼的從屬四叉樹決定相對應細分。例如，當允許16×16的最大殘差區塊大小時，一給定32×32預測區塊將分割成四個16×16區塊，各自是通過用於殘差編碼的從屬四叉樹決定。本實例中各個16×16區塊是與從屬四叉樹的根節點相對應。

恰如一給定樹區塊細分成預測區塊的情況所述，各預測區塊可使用從屬四叉樹分解來分割成多個殘差區塊。一從屬四叉樹的各葉是對應於一個殘差區塊，對該殘差區塊可通過殘差預編碼器14而表明個別殘差編碼參數(亦即變換模式、變換係數等)，該等殘差編碼參數又轉而分別控制殘差重建器16及106。

換言之，細分器28可配置為針對各圖像或針對各圖像群組決定一預測細分及一從屬預測細分，可首先將圖像分割成樹區塊150的規則排列，通過四叉樹細分而遞歸地分區這些樹區塊的一子集來獲得預測細分成預測區塊，若在個別樹區塊未進行分區，則該預測區塊可為樹區塊，或然後進一步細分這些預測區塊的一子集，則為四叉樹細分的葉區塊；同理，若一預測區塊是大於從屬殘差細分的最大尺寸，經由首先將個別預測區塊分割成子樹區塊的規則排列，然後依據四叉樹細分程序，將這些子樹區塊的一子集細分來獲得殘差區塊，若在個別預測區塊未進行分割成子樹區塊，則該殘差區塊可為預測區塊，或若該個別子樹區塊未進行分割成又更小區，則該殘差區塊為子樹區塊，或為殘差四叉樹細分的葉區塊。

如前文摘述，針對一次數組所選用的細分可映射至從屬數組。當考慮與一次數組相同維度的從屬數組時此點相當容易。但當從屬數組維度是與一次數組維度不同時必須採用特殊措施。概略言之，在不同尺寸情況下，一次數組細分映射至從屬數組可通過空間映射進行，亦即經由將一次數組細分的區塊邊界空間映射至從屬數組。特別，針對各個從屬數組，在水平方向及垂直方向可有定標因子，其決定一次數組對從屬數組的維度比。從屬數組分割成用於預測及殘差編碼的子區塊可分別通過一次四叉樹、一次數組的共同定位樹區塊各自的從屬四叉樹決定，從屬數組所得樹區塊是通過相對定標因子定標。當水平方向及垂直方向的定標因子相異(例如在4:2:2色度次採樣中)時，所得從屬數組的預測區塊及殘差區塊將不再是方形。此種情況下，可預先決定或適應性選擇(針對整個序列，該序列中的一個圖像或針對各個單一預測區塊或殘差區塊)非方形殘差區塊是否應分裂成方形區塊。例如，在第一情況下，編碼器及解碼器將在每次映射區塊並非方形時在細分時同意細分成方形區塊。在第二情況下，細分器28將經由數據流插入器18及數據流22向細分器104a信號通知該選擇。例如，在4:2:2色度次採樣的情況下，從屬數組具有一次數組的半寬但等高，殘差區塊的高度為寬度的兩倍。通過將此區塊縱向分裂，可再度獲得兩個方形區塊。

如前述，細分器28或分割器20分別經由數據流22向細分器104a信號通知基於四叉樹的分割。為了達成此項目的，細分器28通知數據流插入器18有關針對圖像24所選用的細分。數據流插入器又傳輸一次四叉樹及二次四叉樹的結構，因此，傳輸圖像數組分割成為可變尺寸區塊用於在數據流或位流22內部的預測區塊或殘差區塊給解碼端。

最小及最大可容許區塊大小傳輸作為側邊信息且可依據不同圖像而改變。或者，最小和最大容許區塊大小可在編碼器及解碼器固定。這些最小及最大區塊大小可針對預測區塊及殘差區塊而有不同。針對四叉樹結構的信號通知，四叉樹必須被遍歷，針對各節點必須表明此特定節點是否為四叉樹的一葉節點(亦即相對應區塊不再進一步細分)，或此特定節點是否分支成其四個子節點(亦即相對應區塊以對半尺寸分割成四個子區塊)。

一個圖像內部的信號通知是以光柵掃描順序逐樹區塊進行，諸如由左至右及由上至下，如圖5a於140顯示。此種掃描順序也可不同，例如以棋盤方式從右下至左上進行。在較佳實施例中，各樹區塊及因而各四叉樹是以深度優先方式遍歷用來信號通知該細分信息。

在較佳實施例中，不僅細分信息(亦即樹結構)，同時預測數據等(亦即與該樹的葉節點相關聯的有效負載)是以深度優先級傳輸/處理。如此進行的原因在於深度優先遍歷具有優於寬度優先的優點。在圖5b中，四叉樹結構是以葉節點標示為a、b、…、j呈現。圖5a顯示所得區塊分割。若區塊/葉節點是以寬度優先順序遍歷，則獲得下列順序：abjchidefg。但按照深度優先順序，該順序為abc…ij。如從圖5a可知，按照深度優先順序，左鄰近區塊及頂鄰近區塊總是在目前區塊之前傳輸/處理。如此，運動向量預測及上下文建模可以總使用對左及頂鄰近區塊所指明的參數來達成改良編碼性能。對於寬度優先順序，並非此種情況，原因在於區塊j例如是在區塊e、g及i之前傳輸。

結果，針對各個樹區塊的信號通知是沿一次四叉樹的四叉樹結構遞歸進行，使得針對各個節點傳輸一標記，表明相對應區塊是否分裂成四個子區塊。若此標記具有值「1」(用於「真」)，則此信號通知程序對全部四個子節點遞歸地重複，亦即子區塊以光柵掃描順序(左上、右上、左下、右下)直到達到一次四叉樹的葉節點。注意葉節點的特徵為具有細分標記的值為「0」。針對節點是駐在一次四叉樹的最低階層式層級及如此對應於最小容許預測區塊大小的情況，無須傳輸細分標記。用於圖3a至圖3c的實例，如圖6a的190所示，首先將傳輸「1」表明樹區塊150被分裂成為其四個子區塊152a-d。然後，以光柵掃描順序200遞歸地編碼全部四個子區塊152a-d的細分信息。針對首二個子區塊152a、b，將傳輸「0」，表明其未經細分(參考圖6a中202)。用於第三子區塊152c(左下)，將傳輸「1」，表明此一區塊是經細分(參考圖6a中204)。現在依據遞歸辦法，將處理此一區塊的四個子區塊154a-d。此處將針對第一子區塊(206)傳輸「0」及針對第二(右上)子區塊(208)傳輸「1」。現在圖3c的最小子區塊大小的四個區塊156a-d將被處理。若已經達到本實例的最小容許區塊大小，則無須再傳輸數據，原因在於不可能進一步細分。否則，表明這些區塊不再進一步細分的「0000」將傳輸，如圖6a於210指示。隨後，將對圖3b 的下方兩個區塊傳輸「00」(參考圖6a中212)，及最後對圖3a的右下區塊傳輸「0」(參考214)。故表示四叉樹結構的完整二進位串將為圖6a所示。

圖6a的此種二進位串表示型態的不同背景陰影是對應於基於四叉樹細分的階層關係中的不同層級。陰影216表示層級0(對應於區塊大小等於原始樹區塊大小)，陰影218表示層級1(對應於區塊大小等於原始樹區塊大小一半)，陰影220表示層級2(對應於區塊大小等於原始樹區塊大小的四分之一)，陰影222表示層級3(對應於區塊大小等於原始樹區塊大小的八分之一)。相同階層式層級(對應於在示例性二進位串表示型態中的相同區塊大小及相同色彩)的全部細分標記例如可通過插入器18使用一個且同一個機率模型做熵編碼。

注意針對寬度優先遍歷的情況，細分信息將以不同順序傳輸，顯示於圖6b。

類似於用於預測的各樹區塊的細分，各個所得預測區塊分割成殘差區塊必須於位流傳輸。又針對作為側邊信息傳輸且可能依圖像而改變的殘差編碼可有最大及最小區塊大小。或針對殘差編碼的最大及最小區塊大小在編碼器及解碼器可固定。在一次四叉樹的各個葉節點，如圖3c所示，相對應預測區塊可分割成最大容許大小的殘差區塊。這些區塊為從屬四叉樹結構用於殘差編碼的組成根節點。舉例言之，若圖像的最大殘差區塊大小為64×64及預測區塊大小為32×32，則整個預測區塊將對應於大小32×32的一個從屬(殘差)四叉樹根節點。另一方面，若針對圖像的最大殘差區塊為16×16，則32×32預測區塊將由四個殘差四叉樹根節點所組成，各自具有16×16的大小。在各個預測區塊內部，從屬四叉樹結構的信號通知是以光柵掃描順序(左至右，上至下)逐根節點進行。類似於一次(預測)四叉樹結構的情況，針對各節點，編碼一標記，表明此一特定節點是否分裂成為四個子節點。然後若此標記具有值「1」，則針對全部四個相對應的子節點及其相對應子區塊以光柵掃描順序(左上、右上、左下、右下)遞歸地重複直到達到從屬四叉樹的葉節點。如同一次四叉樹的情況，針對在從屬四叉樹最低階層式層級上的節點無須信號通知，原因在於這些節點是對應於最小可能殘差區塊大小的區塊而無法再進一步分割。

用於熵編碼，屬於相同區塊大小的殘差區塊的殘差區塊細分標記可使用一個且同一個機率模型編碼。

如此，依據前文就圖3a至圖6a所呈現的實例，細分器28界定用於預測的一次細分及用於殘差編碼目的的一次細分的具有不同大小區塊的子從屬細分。數據流插入器18是通過針對各樹區塊以鋸齒形掃描順序信號通知來編碼一次細分，位序列是依據圖6a建立，連同編碼一次細分的最大一次區塊大小及最大階層式層級。針對各個如此界定的預測區塊，相關聯的預測參數已經含括在位流。此外，類似信息(亦即依據圖6a的最大尺寸大小、最大階層式層級及位序列)的編碼可針對各預測區塊進行，該預測區塊的大小是等於或小於殘差細分的最大尺寸大小；以及針對各個殘差樹根區塊進行，其中預測區塊已經被預先分割成超過對殘差區塊所界定的最大尺寸大小。針對各個如此界定的殘差區塊，殘差數據是插入該數據流。

抽取器102在輸入端116從該數據流抽取個別位序列及通知分割器104有關如此所得的細分信息。此外，數據流插入器18及抽取器102可使用前述順序用在預測區塊及殘差區塊間來傳輸額外語法元素，諸如通過殘差預編碼器14所輸出的殘差數據及通過預測器12所輸出的預測參數。使用此種順序的優點在於通過利用鄰近區塊已經編碼/解碼的語法元素，可選擇針對某個區塊編碼個別語法元素的適當上下文。此外，同理，殘差預編碼器14及預測器12以及殘差重建器106及預編碼器110可以前文摘述的順序處理個別預測區塊及殘差區塊。

圖7顯示步驟的流程圖，該步驟可通過抽取器102執行來當編碼時以前文摘述的方式從數據流22抽取細分信息。在第一步驟中，抽取器102將圖像24劃分成為樹根區塊150。此步驟在圖7是以步驟300指示。步驟300涉及抽取器102從數據流22抽取最大預測區塊大小。此外或可替換地，步驟300可涉及抽取器102從數據流22抽取最大階層式層級。

接下來，在步驟302中，抽取器102從該數據流解碼一標記或一位。進行第一時間步驟302，抽取器102知曉個別標記為按照樹根區塊掃描順序140屬於第一樹根區塊150的位順序的第一標記。因此該標記為具有階層式層級0的標記，在步驟302中，抽取器102可使用與該階層式層級0相關聯的上下文建模來決定一上下文。各上下文具有個別機率估算用於與其相關聯的標記的熵編碼。上下文的機率估算可個別地適應上下文於個別上下文符號統計數字。例如，為了在步驟302決定用來解碼階層式層級0的標記的適當上下文，抽取器102可選擇一上下文集合中的一個上下文，其是與階層式層級0相關聯，取決於鄰近樹區塊的階層式層級0標記，又更取決於界定目前處理樹區塊的鄰近樹區塊(諸如頂及左鄰近樹區塊)的四叉樹細分的位串中所含的信息。

下一步驟中，亦即步驟304，抽取器102檢查目前解碼標記是否提示分區。若屬此種情況，則抽取器102將目前區塊(目前為樹區塊)分區，或在步驟306指示此一種分區給細分器104a，其於步驟308檢查目前階層式層級是否等於最大階層式層級減1。舉例言之，抽取器102例如也具有在步驟300從數據流所抽取的最大階層式層級。若目前階層式層級不等於最大階層式層級減1，則在步驟310抽取器102將目前階層式層級遞增1及返回步驟302來從該數據流解碼下一個標記。此時，在步驟302欲解碼的標記屬於另一個階層式層級，因此依據一實施例，抽取器102可選擇不同上下文集合中的一者，該集合是屬於目前階層式層級。該選擇也可基於已經解碼的鄰近樹區塊依據圖6a的細分位序列。

若解碼一標記，及步驟304的檢查揭示此標記並未提示目前區塊的分區，則抽取器102前進步驟312來檢查目前階層式層級是否為0。若屬此種情況，抽取器102就步驟314按照掃描順序140的下一個樹根區塊進行處理，或若未留下任何欲處理的樹根區塊，則停止處理抽取細分信息。

須注意，圖7的描述關注焦點是聚焦在只有預測細分的細分指示標記的解碼，故實際上，步驟314涉及有關例如目前樹區塊相關聯的其它倉(bin)或語法元素的解碼。該種情況下，若存在有又一個或下一個樹根區塊，則抽取器102由步驟314前進至步驟302，從細分信息解碼下一個標記，亦即有關新樹區塊的標記序列的第一標記。

在步驟312中，若階層式層級不等於0，則操作前進至步驟316，檢查是否存在有有關目前節點的其它子節點。換言之，當抽取器102在步驟316進行檢查時，在步驟312已經檢查目前階層式層級為0階層式層級以外的階層式層級。如此又轉而表示存在有親代節點，其是屬於樹根區塊150或小型區塊152a-d或又更小區塊152a-d等中的一者。目前解碼標記所屬的樹結構節點具有一親代節點，該親代節點為該目前樹結構的另外三個節點所共享。具有一共享親代節點的這些子節點間的掃描順序舉例說明於圖3a，針對階層式層級0具有參考標號200。如此，在步驟316中，抽取器102檢查是否全部四個子節點皆已經在圖7的處理程序中被訪問。若非屬此種情況，亦即目前親代節點有額外子節點，則圖7的處理程序前進至步驟318，此處在目前階層式層級內部依據鋸齒形掃描順序200的下一個子節點被訪問，因此其相對應子區塊現在表示圖7的目前區塊，及隨後，在步驟302從有關目前區塊或目前節點的數據流解碼一標記。然而，在步驟316，若對目前親代節點並無額外子節點，則圖7的方法前進至步驟320，此處目前階層式層級遞減1，其中隨後該方法是以步驟312進行。

通過執行圖7所示步驟，抽取器102與細分器104a協力合作來在編碼器端從數據流取回所選用的細分。圖7的方法關注焦點集中在前述預測細分的情況。組合圖7的流程圖，圖8顯示抽取器102及細分器104a如何協力合作來從數據流取回殘差細分。

特定言之，圖8顯示針對從預測細分所得各個預測區塊，通過抽取器102及細分器104a分別所進行的步驟。如前述，這些預測區塊是在預測細分的樹區塊150間依據鋸齒掃描順序140遍歷，且例如圖3c所示使用在各樹區塊150內部目前訪問的深度優先遍歷來通過樹區塊。依據深度優先遍歷順序，經過分區的一次樹區塊的葉區塊是以深度優先遍歷順序訪問，以鋸齒形掃描順序200訪問具有共享目前節點的某個階層式層級的子區塊，以及在前進至此種鋸齒形掃描順序200的下一個子區塊之前首先主要掃描這些子區塊各自的細分。

用於圖3c的實例，樹區塊150的葉節點間所得掃描順序是以參考標號350顯示。

用於目前訪問的預測區塊，圖8的處理程序始於步驟400。在步驟400，標示目前區塊的目前大小的內部參數設定為等於殘差細分的階層式層級0的大小，亦即殘差細分的最大區塊大小。須記住最大殘差區塊大小可小於預測細分的最小區塊大小，或可等於或大於後者。換言之，依據一個實施例，編碼器可自由選擇前述任一種可能。

在下一步驟，亦即步驟402，執行檢查有關目前訪問區塊的預測區塊大小是否大於標示為目前大小的內部參數。若屬此種情況，則可能是預測細分的一葉區塊或預測細分的一樹區塊而未經任何進一步分區的目前訪問預測區塊是大於最大殘差區塊大小，此種情況下，圖8的處理程序前進至圖7的步驟300。換言之，目前訪問的預測區塊被分割成殘差樹根區塊，此種目前訪問預測區塊內部的第一殘差樹區塊的標記序列的第一標記是在步驟302解碼等等。

但若目前訪問預測區塊具有大小等於或小於指示目前大小的內部參數，則圖8的處理程序前進至步驟404，此處檢查預測區塊大小來決定其是否等於指示目前大小的內部參數。若為是，則分割步驟300可跳過，處理程序直接前進至圖7的步驟302。

但若目前訪問預測區塊的預測區塊大小是小於指示目前大小的內部參數，則圖8的處理程序前進至步驟406，此處階層式層級遞增1，目前大小設定為新階層式層級的大小，諸如以2分割(在四叉樹細分情況下載二軸方向)。隨後，再度進行步驟404的檢查，通過步驟404及406所形成的迴路效果為階層式層級經常性地與欲分區的相對應區塊大小相對應，而與具有小於或等於/大於最大殘差區塊大小的個別預測區塊獨立無關。如此，當在步驟302解碼標記時，所進行的上下文建模是同時取決於該標記所指的階層式層級及區塊大小。針對不同階層式層級或區塊大小的標記分別使用不同上下文的優點在於機率估算極為適合標記值發生的實際機率分布，另一方面具有欲管理的適中上下文數目，因而減少上下文管理開銷，以及增加上下文調整適應於實際符號統計數字。

如前文已述，有多於一個樣本數組，這些樣本數組可分組成一個或多個平面群組。例如進入輸入端32的欲編碼輸入信號可為視頻序列或靜止影像的一個圖像。如此該圖像是呈一個或多個樣本數組形式。在視頻序列或靜止影像的一圖像編碼上下文中，樣本數組為指三個彩色平面，諸如紅、綠及藍，或指亮度平面及色度平面例如於YUV或YCbCr的彩色表示型態。此外，也可呈現表示α(亦即透明度)及/或3-D視頻資料的深度信息的樣本數組。多個這些樣本數組可一起分組成為所謂的平面群組。例如，亮度(Y)可為只有一個樣本數組的一個平面群組，及色度(諸如CbCr)可為有兩個樣本數組的另一個平面群組；或在另一實例中，YUV可為有三個矩陣的一個平面群組及3-D視頻資料的深度信息可以是只有一個樣本數組的不同平面群組。針對每個平面群組，一個一次四叉樹結構可在數據流22內部編碼用來表示分割成預測區塊；及針對各個預測區塊，二次四叉樹結構表示分割成殘差區塊。如此，依據前述第一實例，亮度分量為一個平面群組，此處色度分量形成另一個平面群組，一個四叉樹結構是針對亮度平面的預測區塊，一個四叉樹結構是針對亮度平面的殘差區塊，一個四叉樹結構是針對色度平面的預測區塊，及一個四叉樹結構是針對色度平面的殘差區塊。但在前述第二實例中，可能有一個四叉樹結構針對亮度及色度一起的預測區塊(YUV)，一個四叉樹結構針對亮度及色度一起的殘差區塊(YUV)，一個四叉樹結構針對3-D視頻資料的深度信息的預測區塊，及一個四叉樹結構針對3-D視頻資料的深度信息的殘差區塊。

此外，在前文說明中，輸入信號是使用一次四叉樹結構分割成多個預測區塊，現在描述這些預測區塊如何使用從屬四叉樹結構而進一步細分成殘差區塊。依據另一實施例，細分並非結束在從屬四叉樹級。換言之，使用從屬四叉樹結構從細分所得的區塊可能使用三元四叉樹結構進一步細分。此種分割又轉而用在使用額外編碼工具的目的，其可能協助殘差信號的編碼。

前文描述關注焦點集中在分別通過細分器28及細分器104a進行細分。如前述，分別通過細分器28及104a進行細分可控制前述編碼器10及解碼器100的模塊的處理粒度。但依據後文敘述的實施例，細分器228 及104a分別接著為合併器30及合併器104b。但須注意合併器30及104b為選擇性且可免除。

但實際上及正如稍後詳述，合併器對編碼器提供以將預測區塊或殘差區塊中的若干者組合成群組或群簇的機會，使得其它模塊或其它模塊中的至少一部分可將這些區塊群組一起處理。舉例言之，預測器12可通過使用細分器28的細分最佳化來犧牲所測定的部分預測區塊的預測參數間的偏差，及使用對全部這些預測區塊共享的預測參數來取代，只要預測區塊分組連同屬於該組的全部區塊的共享參數傳輸的信號通知就率/失真比意義上而言，比全部這些預測區塊的預測參數個別地信號通知更具有展望性即可。基於這些共享預測參數，在預測器12及110取回預測的處理程序本身仍然是以預測區塊逐一進行。但也可能預測器12及110甚至對整個預測區塊群組一次進行預測程序。

正如稍後詳述，也可能預測區塊群組不僅使用針對一組預測區塊的相同的或共享的預測參數，反而另外或替換地，允許編碼器10發送針對此一群組的一個預測參數連同對屬於此一群組的預測區塊的預測殘差，因而可減少用來信號通知此一群組的預測參數的信號通知開銷。後述情況下，合併程序只影響數據流插入器18而非影響由殘差預編碼器14及預測器12所做的決策。但進一步細節正如稍後詳述。然而，為求完整，須注意前述方面也適用於其它細分，諸如前述殘差細分或濾波細分。

首先，樣本集合(諸如前述預測區塊及殘差區塊)的合併是以更一般性意義激勵，亦即並非限於前述多元樹細分。但隨後的說明焦點將集中在前述實施例由多元樹細分所得區塊的合併。

概略言之，用於傳輸相關聯的編碼參數的目的合併與特定樣本集合相關聯的語法元素，允許於影像及視頻編碼應用上減少側邊信息率。舉例言之，欲編碼的信號的樣本數組通常是分區成特定樣本集合或樣本集合，其可表示矩形區塊或方形區塊，或樣本的任何其它集合，包括任意形狀區、三角形或其它形狀。在前述實施例中，單純連接區為從多元樹細分所得的預測區塊及殘差區塊。樣本數組的細分可通過語法固定；或如前述，細分也可至少部分在位流內部信號通知。為了將用於信號通知細分信息的側邊信息率維持為小，語法通常只允許有限數目的選擇來導致簡單的分區，諸如將區塊細分成為更小型區塊。樣本集合是與特定編碼參數相關聯，其可表明預測信息或殘差編碼模式等。有關此議題的細節是如前文說明。針對各樣本集合，可傳輸諸如用來表明預測編碼及/或殘差編碼的個別編碼參數。為了達成改良編碼效率，後文描述的合併方面，亦即將二個或多個樣本集合合併成所謂的樣本集合群組，允許達成若干優點，正如稍後詳述。舉例言之，樣本集合可經合併，使得此一群組的全部樣本集合共享相同編碼參數，其可連同群組中的樣本集合中的一者傳輸。通過此方式，編碼參數無須針對樣本集合群組中的各個樣本集合個別地傳輸，反而取而代之，編碼參數只對整個樣本集合群組傳輸一次。結果，用來傳輸編碼參數的側邊信息減少，且總編碼效率可改良。至於替代之道，一個或多個編碼參數的額外精製可針對一樣本集合群組中的一個或多個樣本集合傳輸。精製可施加至一群組中的全部樣本集合，或只施加至針對其傳輸的該樣本集合。

後文進一步描述的合併方面也對編碼器提供以形成位流22時的較高自由度，原因在於合併辦法顯著增加用來選擇分區一圖像樣本數組的可能性數目。因編碼器可在較多選項間選擇，諸如用來減少特定率/失真測量值，故可改良編碼效率。操作編碼器有數種可能。在簡單辦法，編碼器可首先決定樣本數組的最佳細分。簡短參考圖1，細分器28將在第一級決定最佳細分。隨後，針對各樣本集合，檢查是否與另一樣本集合或另一樣本集合群組合併減低了特定率/失真成本測量值。就此方面而言，與一合併樣本集合群組相關聯的預測參數可重新估算，諸如通過執行新的運動搜尋和估算；或已經針對共享樣本集合及候選樣本集合或用於合併的樣本集合群組已經測定的預測參數可針對所考慮的樣本集合群組而評估。更綜合性辦法中，特定率/失真成本測量值可對額外候選樣本集合群組評估。

須注意後文描述的合併辦法並未改變樣本集合的處理順序。換言之，合併構想可以一種方式具體實施，使得延遲不再增加，亦即各樣本集合維持可在同一個時間瞬間解碼而未使用合併辦法。

舉例言之，若通過減少編碼預測參數數目所節省的位率是大於額外耗用在編碼合併信息用來指示合併給解碼端的位率，合併辦法(正如稍後詳述)導致編碼效率增高。進一步須提及所述用於合併的語法延伸對編碼器提供額外自由度來選擇圖像或平面群組分區成多個區塊。換言之，編碼器並非限於首先進行細分及然後檢查所得區塊中的若干者是否具有預測參數相同集合或類似集合。至於一個簡單的替代之道，依據率-失真成本測量值，編碼器首先決定細分，及然後針對各個區塊編碼器可檢查與其鄰近區塊或相關聯已經測定的區塊群組中的一者合併是否減低率-失真成本測量值。如此，可重新估算與該新區塊群組相關聯的預測參數，諸如通過由進行新運動搜尋；或已經對目前區塊及鄰近區塊或區塊群組確定的該預測參數可針對新區塊群組評估。合併信息以區塊為單位進行信號通知。有效地，合併也可解譯為針對目前區塊的預測參數推論的結果，其中推論的預測參數是設定為等於鄰近區塊中的一者的預測參數。另外，針對一區塊群組中的區塊可傳輸殘差。

如此，稍後描述的合併構想下方潛在的基本構想是通過將鄰近區塊合併成為一區塊群組來減低傳輸預測參數或其它編碼參數所需的位率，此處各區塊群組是與編碼參數諸如預測參數或殘差編碼參數的一個獨特集合相關聯。除了細分信息(若存在)外，合併信息也在位流內部信號通知。合併構想的優點為從編碼參數的側邊信息減少導致編碼效率增高。須注意此處所述合併方法也可延伸至空間維度以外的其它維度。舉例言之，在數個不同視頻圖像的內部的一樣本或區塊集合群組可合併成一個區塊群組。合併也可適用於4-壓縮及光欄位編碼。

如此，簡短回頭參考前文圖1至圖8的說明，注意在細分後的合併程序是有優勢的，而與細分器28及104a細分圖像的特定方式獨立無關。更明確言之，後者也可以類似於H.264的方式細分圖像，換言之，將各圖像細分成具有預定尺寸諸如16×16亮度樣本或在數據流內部信號通知大小的矩形或方形聚集區塊的規則排列，各宏區塊具有與其相關聯的若干編碼參數，包括例如針對各宏區塊界定分區成1、2、4或若干其它分區數目的規則子格用作為預測粒度以及位流中的相對應預測參數以及用來界定殘差及相對應的殘差變換粒度的分區用的分區參數。

總而言之，合併提供前文簡短討論的優點，諸如減少在影像及視頻編碼應用中的側邊信息率位。表示矩形或方形區塊或任意形狀區或任何其它樣本集合諸如任何單純連接區或樣本的特定樣本集合通常是連接特定編碼參數集合；針對各樣本集合，編碼參數是含括在位流，編碼參數例如表示預測參數其規定相對應樣本集合是如何使用已編碼樣本加以預測。一圖像樣本數組分區成樣本集合可通過語法固定，或可通過在該位流內部的相對應細分信息信號通知。針對該樣本集合的編碼參數可以預定順序(亦即語法所給定的順序)傳輸。依據合併功能，合併器30可針對一共享樣本集合或一目前區塊(諸如與一或多個其它樣本集合合併的預測區塊或殘差區塊)，合併器30可信號通知入一樣本集合群組。一群組樣本集合的編碼參數因此只須傳輸一次。在特定實施例中，若目前樣本集合是與已經傳輸編碼參數的一樣本集合或既有樣本集合群組合併，則目前樣本集合的編碼參數未傳輸。反而，目前樣本集合的編碼參數是設定為等於目前樣本集合與其合併的該樣本集合或該樣本集合群組的編碼參數。至於替代之道，編碼參數中的一者或多者的額外精製可對目前樣本集合傳輸。精製可應用於一群組的全部樣本集合或只施加至針對其傳輸的該樣本集合。

依據一實施例，針對各樣本集合(諸如前述預測區塊、前述殘差區塊或前述多元樹細分的葉區塊)，全部先前編碼/解碼樣本集合的集合是稱作為「因果樣本集合的集合」。例如參考圖3c。本圖顯示的全部區塊皆為某種細分結果，諸如預測細分或殘差細分或任何多元樹細分等，這些區塊間定義的編碼/解碼順序是以箭頭350定義。考慮這些區塊間的某個區塊為目前樣本集合或目前單純連接區，其因果樣本集合的集合是由沿著順序350在目前區塊前方的全部區塊所組成。但須記住只要考慮後文有關合併原理的討論，則未使用多元樹細分的其它細分亦屬可能。

可用來與目前樣本集合合併的該樣本集合於後文中稱作為「候選樣本集合的集合」，經常性為「因果樣本集合的集合」的一子集。如何形成該子集的方式為解碼器所已知，或可從編碼器至解碼器而在數據流或位流內部表明。若特定目前樣本集合是經編碼/解碼，則此候選樣本集合的集合非空，其是在編碼器在數據流內部信號通知，或在解碼器從該數據流導算該共享樣本集合是否與本候選樣本集合的集合中的一個樣本集合合併，及若是，是與該樣本集合中的哪一者合併。否則，合併無法用於本區塊，原因在於候選樣本集合的集合經常性為空。

有不同方式來測定因果樣本集合的集合中將表示候選樣本集合的集合的該子集。舉例言之，候選樣本集合的測定可基於目前樣本集合內部的樣本，其具有獨特的幾何形狀定義，諸如矩形區塊或方形區塊的左上影像樣本。始於此種獨特幾何形狀定義樣本，決定特定非零數目樣本，表示此種獨特幾何形狀定義樣本的直接空間鄰近樣本。舉例言之，此種特定非零數目樣本包括目前樣本集合的獨特幾何定義樣本的上鄰近樣本及左鄰近樣本，故鄰近樣本的非零數目至多為2，或者若上或左鄰近樣本中的一者無法取得或是位於該圖像外側，則非零數目為1；或者，若缺失二鄰近樣本的情況下，則非零數目為0。

候選樣本集合的集合可經決定來涵蓋含有前述鄰近樣本的非零數目中的至少一者的那些樣本集合。例如參考圖9a。目前樣本集合目前考慮為合併對象，須為區塊X，而其幾何形狀獨特定義樣本須舉例說明為左上樣本，以400指示。樣本400的頂及左鄰近樣本分別指示為402及404。因果樣本幾何的集合或因果區塊的集合是以加陰影方式強調。因此這些區塊中，區塊A及B包括鄰近樣本402及404中的一者，這些區塊形成候選區塊集合或候選樣本集合的集合。

依據另一實施例，用於合併目的所決定的候選樣本集合的集合可額外地或排它地包括含有一特定非零數目樣本的樣本集合，該數目可為1或2，二者具有相同空間位置，但是含在不同圖像，亦即先前編碼/解碼圖像。舉例言之，除了圖9a的區塊A及B之外，可使用先前編碼圖像的區塊，其包括在樣本400的相同位置的樣本。通過此方式，注意只有上鄰近樣本404或只有左鄰近樣本402可用來定義前述鄰近樣本的非零數目。大致上，候選樣本集合的集合可從在目前圖像或其它圖像內部先前經過處理的數據而導算出。導算可包括空間方向信息，諸如與目前圖像的特定方向及影像梯度相關聯的變換係數；或可包括時間方向信息，諸如鄰近運動表示型態。由這些在接收器/解碼器可利用的數據及在數據流內部的其它數據及側邊信息(若存在)，可導算出候選樣本集合的集合。

須注意候選樣本集合的導算是通過在編碼器端的合併器30及在解碼器端的合併器104b並排執行。恰如前述，二者可基於對二者已知的預先界定的方式決定彼此獨立無關的候選樣本集合的集合；或編碼器可在位流內部信號通知暗示線索，其是將合併器104b帶到一個位置來以於在編碼器端決定候選樣本集合的集合的合併器30的相同方式，執行這些候選樣本集合的導算。

正如稍後詳述，合併器30及數據流插入器18合作來針對各樣本集合傳輸一或多個語法元素，其表明該樣本集合是否與另一樣本集合合併，該另一樣本集合又可為已經合併的樣本集合群組的一部分，以及候選樣本集合的該集合中的哪一者是用於合併。抽取器102轉而據此抽取這些語法元素及通知合併器104b。特別，依據後文描述的特定實施例，針對一特定樣本集合傳輸一或二個語法元素來表明合併信息。第一語法元素表明目前樣本集合是否與另一樣本集合合併。若第一語法元素表明該目前樣本集合是與另一樣本集合合併，唯有此種情況才傳輸的第二語法元素表明候選樣本集合的集合中的哪一者用於合併。若導算出候選樣本集合的集合為空，則可抑制第一語法元素的傳輸。換言之，若導算出的候選樣本集合的集合併非空，則唯有此種情況才傳輸第一語法元素。唯有導算出的候選樣本集合的集合含有多於一個樣本集合時才傳輸第二語法元素，原因在於若在該候選樣本集合的集合中只含有一個樣本集合，則絕不可能做進一步選擇。再者，若候選樣本集合的集合包括多於一個樣本集合，則第二語法元素的傳輸可被抑制；但若候選樣本集合的集合中的全部樣本集合是與同一個編碼參數相關聯時則否。換言之，第二語法元素唯有在一導算出的候選樣本集合的集合中的至少兩個樣本集合是與不同編碼參數相關聯時才傳輸。

在該位流內部，一樣本集合的合併信息可在與該樣本集合相關聯的預測參數或其它特定編碼參數之前編碼。預測參數或編碼參數唯有在合併信息信號通知目前樣本集合併未與任何其它樣本集合合併時才傳輸。

例如，某個樣本集合(即，一區塊)的合併信息可在適當預測參數子集之後編碼；或更一般性定義，已經傳輸與該個別樣本集合相關聯的編碼參數。預測/編碼參數子集可由一個或多個參考圖像指數、或運動參數向量的一個或多個分量或參考指數、及運動參數向量的一個或多個分量等所組成。已經傳輸的預測參數或編碼參數子集可用來從恰如前文說明已經導算的較大的候選樣本集合的臨時集合中導算出一候選樣本集合的集合。舉個實例，可計算目前樣本集合的已編碼預測參數及編碼參數與先前候選樣本集合的相對應預測參數或編碼參數間的差值測量值或依據預定距離測量值的距離。然後，只有計算得的差值測量值或距離是小於或等於預定臨界值或導算出的臨界值的那些樣本集合被含括在最終集合(亦即縮小的候選樣本集合的集合)。例如參考圖9a。目前樣本集合須為區塊X。有關本區塊的編碼參數的一子集須已經插入位流22。例如，假設區塊X為預測區塊，該種情況下，編碼參數的適當子集可為此區塊X的預測參數子集，諸如包括圖像參考指數及運動映射信息(諸如運動向量)的一集合中的一子集。若區塊X為殘差區塊，則編碼參數的子集為殘差信息子集，諸如變換係數或指示在區塊X內部的顯著變換係數位置的映射表。基於此項信息，數據流插入器18及抽取器102二者可使用此項信息來決定區塊A及B中的一子集，該子集在本特定實施例中構成前述候選樣本集合的初步集合。特定言之，因區塊A及B屬於因果樣本集合的集合，其編碼參數在區塊X的編碼參數為目前編碼/解碼時由編碼器及解碼器二者可利用。因此，使用不同辦法的前述比較可用來排除候選樣本集合A及B的初步集合中的任何數目區塊。然後，所得縮小的候選樣本集合的集合可如前文說明使用，換言之，用來決定合併指示器是否指示從該數據流中傳輸合併或從該數據流中抽取合併，取決於在該縮小候選樣本集合的集合內部的樣本集合數目以及第二語法元素是否必須在其中傳輸而定；或已經從該數據流中抽取出，具有第二語法元素指示在該縮小候選樣本集合內部哪一個樣本集合須為合併伴侶區塊。

前述距離相對於其做比較的前述臨界值可為固定且為編碼器及解碼器二者所已知，或可基於計算得的距離而導算出，諸如不同值的中數或若干其它取中傾向等。此種情況下，無可避免地，縮小候選樣本集合的集合須為候選樣本集合的初步集合的適當子集。另外，唯有依據距離測量值為最小距離的那些樣本集合才從該候選樣本集合的初步集合中選出。另外，使用前述距離測量值，從該候選樣本集合的初步集合中只選出恰好一個樣本集合。在後述情況下，合併信息只須表明哪一個目前樣本集合是欲與單一候選樣本集合合併即可。

如此，候選區塊集合可如後文就圖9a所示而形成或導算出。始於圖9a的目前區塊X的左上樣本位置400，在編碼器端及解碼器端導算出其左鄰近樣本402位置及其頂鄰近樣本404位置。如此，候選區塊集合至多只有兩個元素，亦即圖9a的加畫陰影的因果集合中含有兩個樣本位置中的一者(屬於圖9a的情況)中的區塊為區塊B及A。如此，候選區塊集合只具有目前區塊的左上樣本位置的兩個直接相鄰區塊作為其元素。依據另一實施例，候選區塊集合可由在目前區塊之前已經編碼的全部區塊給定，且含有表示目前區塊任何樣本的直接空間鄰近樣本的一個或多個樣本。直接空間鄰近限於目前區塊的任何樣本的直接左鄰近樣本及/或直接頂鄰近樣本及/或直接右鄰近樣本及/或直接底鄰近樣本。例如參考圖9b顯示另一區塊細分。此種情況下，候選區塊包括四個區塊，亦即區塊A、B、C及D。

另外，候選區塊集合可額外地或排它地包括含有一個或多個樣本(其是位在目前區塊的任何樣本相同位置，但含在不同圖像，亦即已編碼/解碼圖像)的區塊。

又另外，候選區塊集合表示前述區塊集合的一子集，其是通過空間方向或時間方向的鄰近關係決定。候選區塊子集可經固定、信號通知或導算。候選區塊子集的導算可考慮在該圖像或其它圖像中對其它區塊所做的決策。舉個實例，與其它候選區塊相同或極為相似的編碼參數相關聯的區塊不可含括在候選區塊集合。

後文對實施例的描述適用於含有目前區塊的左上樣本的左及頂鄰近樣本只有兩個區塊被考慮作為至多可能的候選者的情況。

若候選區塊集合非空，則稱作為merge_flag的一個標記被信號通知，表明目前區塊是否與任何候選區塊合併。若merge_flag是等於0(用於「假」)，則此區塊不會與其候選區塊中的一者合併，通常傳輸全部編碼參數。若merge_flag等於1(用於「真」)，則適用後述者。若候選區塊集合含有一個且只有一個區塊，則此候選區塊用於合併。否則，候選區塊集合恰含二區塊。若此二區塊的預測參數為相同，則這些預測參數用於目前區塊。否則(該二區塊具有不同預測參數)，信號通知稱作為merge_left_flag的標記。若merge_left_flag是等於1(用於「真」)，則含有目前區塊的左上樣本位置的左鄰近樣本位置的該區塊是從該候選區塊集合中被選出。若merge_left_flag是等於0(用於「假」」)，則從該候選區塊集合中選出另一(亦即頂鄰近)區塊。所選定區塊的預測參數是用於目前區塊。

就合併摘述前述實施例中的數者，參考圖10顯示通過抽取器102執行來從進入輸入端116的數據流22中抽取合併信息所進行的步驟。

處理始於450，識別針對目前樣本集合或區塊的候選區塊或樣本集合。須記住，區塊的編碼參數是以某個一維順序而在數據流22內部傳輸，及據此，圖10是指針對目前訪問的樣本集合或區塊取回合併信息的方法。

如前述，識別及步驟450包括基於鄰近方面而在先前解碼區塊(亦即因果區塊集合)中的識別。例如，那些鄰近區塊可指向候選者，候選者含有於空間或時間上在目前區塊X的一個或多個幾何形狀預定樣本鄰近的某個鄰近樣本。此外，識別步驟可包括兩個級，亦即第一級涉及基於鄰近恰如前述識別導致一初步候選區塊集合；及第二級據此單純該等區塊為在步驟450前已經從數據流解碼的指向區塊，該區塊已經傳輸的編碼參數滿足對目前區塊X的編碼參數的適當子集的某個關係。

其次，方法前進至步驟452，於該處決定候選區塊數目是否大於零。若屬此種情況，則在步驟454從數據流中抽取merge_flag。抽取步驟454可涉及熵解碼。在步驟454用於熵解碼merge_flag的上下文可基於屬於例如候選區塊集合或初步候選區塊集合的語法元素，其中對語法元素的相依性可限於下述信息：屬於關注集合的區塊是否經歷合併。選定上下文的機率估算可經調整適應。

但是，若候選區塊數目決定為零452，圖10方法前進至步驟456，此處目前區塊的編碼參數是從位流抽取，或在前述二級性識別替代之道的情況下，其中在抽取器102以區塊掃描順序(諸如圖3c所示順序350)處理下一區塊進行後，其餘編碼參數。

參考步驟454，步驟454的抽取之後該方法前進步驟458，檢查所抽取的merge_flag是否提示目前區塊合併的出現或不存在。若未進行合併，則方法前進至前述步驟456。否則，方法以步驟460前進，包括檢查候選區塊數目是否等於1。若屬此種情況，候選區塊中某個候選區塊指示的傳輸並非必要，因此圖10方法前進至步驟462，據此目前區塊的合併伴侶設定為唯一候選區塊，其中在步驟464之後合併伴侶區塊的編碼參數是用來調整編碼參數或目前區塊的其餘編碼參數的調適或預測。以調適為例，目前區塊遺漏的編碼參數單純是複製自合併伴侶區塊。在另一種情況下，亦即預測的情況下，步驟464可涉及從數據流進一步抽取殘差數據，有關目前區塊的遺漏編碼參數的預測殘差的殘差數據及得自合併伴侶區塊的這些殘差數據與這些遺漏編碼參數的預測的組合。

但是，若候選區塊數目在步驟460中決定為大於1，圖10方法前進至步驟466，此處進行檢查編碼參數或編碼參數的關注部分，亦即在目前區塊的數據流內部尚未移轉的部分相關聯的子部分是彼此一致。若屬此種情況，這些共享編碼參數是設定為合併參考，或候選區塊是在步驟468設定為合併伴侶，或個別關注編碼參數是用在步驟464的調適或預測。

須注意，合併伴侶本身可以是已經信號通知合併的區塊。在本例中，合併伴侶的經調適或經預測所得編碼參數是用於步驟464。

但否則，在編碼參數不同的情況下，圖10方法前進至步驟470，此處額外語法元素是抽取自數據流，亦即該merge_left_flag。上下文的分開集合可用於熵解碼此標記。用於熵解碼merge_left_flag的上下文集合也可包括單純一個上下文。在步驟470後，merge_left_flag指示的候選區塊在步驟472設定為合併伴侶，及在步驟464用於調適或預測。在步驟464後，抽取器102以區塊順序處理下一個區塊。

當然，可能有其它替代之道。例如，組合語法元素可在數據流內部傳輸，而非如前述分開語法元素merge_flag及merge_left_flag，組合語法元素信號通知合併處理程序。此外，前述merge_left_flag可在數據流內部傳輸，而與兩個候選區塊是否具有相同預測參數無關，通過此減低執行圖10處理程序的運算開銷。

如前文就例如圖9b已述，多於二個區塊可含括在候選區塊集合。此外，合併信息，亦即信號通知一區塊是否合併的一信息；若是，欲合併的候選區塊可通過一個或多個語法元素信號通知。一個語法元素可表明該區塊是否與前述候選區塊中的任一者(諸如前述merge_flag)合併。盡在候選區塊的集合非空時，才傳輸標記。第二語法元素可信號通知哪一個候選區塊採用於合併，諸如前述merge_left_flag，但通常指示兩個或多於兩個候選區塊間的選擇。唯有第一語法元素信號通知目前區塊欲合併候選區塊中的一者時才可傳輸第二語法元素。第二語法元素又更唯有在候選區塊集合含有多於一個候選區塊時，及/或候選區塊中的任一者具有與候選區塊的任何其它者不同的預測參數時才傳輸。語法可取決於給予多少候選區塊及/或不同預測參數如何與候選區塊相關聯。

信號通知欲使用候選區塊中的哪些區塊的語法可在編碼器端及解碼器端同時及/或並排設定。舉例言之，若於步驟450識別三項候選區塊選擇，語法是選用為只有三項選擇為可利用，例如在步驟470考慮用於熵編碼。換言之，語法元素是經選擇使得其符號字母表僅僅具有與所存在的候選區塊的選擇同樣多個元素。全部其它選擇機率可考慮為零，熵編碼/解碼可在編碼器及解碼器同時調整。

此外，如前文就步驟464所記，稱作為合併方法結果的預測參數可表示與目前區塊相關聯的預測參數完整集合，或可表示這些預測參數的一子集，諸如針對其使用多重假說預測的區塊的一個假說的預測參數。

如前述，有關合併信息的語法元素可使用上下文建模進行熵編碼。語法元素可由前述merge_flag及merge_left_flag組成(或類似語法元素)。在一具體實例中，三個上下文模型或上下文中的一者可於步驟454用於編碼/解碼merge_flag。所使用的上下文模型指數merge_flag_ctx可如下導算出：若候選區塊集合含有二個元素，則merge_flag_ctx的值是等於兩個候選區塊的merge_flag的值之和。但是，若候選區塊集合含有一個元素，則merge_flag_ctx的值是等於此一候選區塊的merge_flag值的兩倍。因鄰近候選區塊的各merge_flag可為1或0，針對merge_flag有三個上下文可用。merge_left_flag可只使用單一機率模型編碼。

但依據替代實施例，可使用不同上下文模型。例如，非二進位語法元素可映射至二進位符號序列(所謂的倉)。界定合併信息的若干語法元素或語法元素倉的上下文模型可基於已經傳輸的鄰近區塊的語法元素或候選區塊數目或其它測量值而導算出，同時其它語法元素或語法元素倉能夠以固定上下文模型編碼。

有關前文區塊合併的描述，須注意候選區塊集合也可以對前述任何實施例所述的相同方式導算出而有下列修正：候選區塊限於使用運動補償預測或解譯的區塊。唯有那些元素可為候選區塊集合的元素。合併信息的信號通知及上下文建模可以前述方式進行。

轉向參考前述多元樹細分實施例的組合及現在描述的合併方面，若該圖像是通過使用基於四叉樹細分結構而分割成不等大小的方形區塊，例如merge_flag及merge_left_flag或其它表明合併的語法元素可與針對四叉樹結構各個葉節點所傳輸的預測參數交插。再度考慮例如圖9a。圖9a顯示一圖像基於四叉樹細分成可變大小預測區塊的實例。最大尺寸的上二個區塊為所謂的樹區塊，亦即其為最大可能尺寸的預測區塊。該圖中的其它區塊是獲得為其相對應樹區塊的細分。目前區塊標示為「X」。全部陰影區塊是在目前區塊之前編/解碼，故其形成因果區塊集合。如在針對實施例中的一者候選區塊集合的導算描述，唯有含有目前區塊的左上樣本位置的直接(亦即頂或左)鄰近樣本才可成為候選區塊集合的成員。如此，目前區塊合併區塊「A」或區塊「B」。若merge_flag是等於零(用於「假」)，目前區塊「X」並未合併二個區塊中的任一者。若區塊「A」及「B」具有相同預測參數，則無須做區別，原因在於與二個區塊中的任一者合併將導致相同結果。因此，此種情況下，未傳輸merge_left_flag。否則，若區塊「A」及「B」具有不同預測參數，merge_left_flag＝1(用於「真」)將合併區塊「X」與「B」，而merge_left_flag等於0(用於「假」)將合併區塊「X」與「A」。在另一較佳實施例中，額外鄰近(已經傳輸的)區塊表示合併候選者。

圖9b顯示另一實例。此處目前區塊「X」及左鄰近區塊「B」為樹區塊，亦即其具有最大容許區塊大小。頂鄰近區塊「A」的大小為樹區塊大小的四分之一。屬於因果區塊集合的元素的區塊加陰影。注意依據較佳實施例中的一者，目前區塊「X」只可與二區塊「A」或「B」合併，而不與任何其它頂相鄰區塊合併。在另一較佳實施例中，額外相鄰(已經傳輸的)區塊表示合併候選者。

繼續描述有關依據本申請實施例如何處理圖像的不同樣本數組的該方面之前，須注意前文討論有關多元樹細分，及一方面信號通知及另一方面合併方面顯然這些方面可提供彼此獨立探討的優點。換言之，如前文解釋，多元樹細分與合併的組合具有特定優點，但優點也來自於替代例，此處合併特徵例如是以通過細分器30及104a進行細分具體實現，而非基於四叉樹或多元樹細分，反而是與這些宏區塊規則分區成為更小型分區的宏區塊細分相對應。另一方面，多元樹細分連同位流內部的最大樹區塊大小傳輸的組合，以及多元樹細分連同深度優先遍歷順序傳送區塊的相對應編碼參數的使用具有與是否同時使用合併特徵獨立無關的優點。大致上，直覺地考慮當樣本數組編碼語法是以不僅允許細分一區塊，同時也允許合併二個或多個細分後所獲得的區塊的方式擴展時，編碼效率提高，可了解合併的優點。結果，獲得一組區塊其是以相同預測參數編碼。此組區塊的預測參數只須編碼一次。此外，有關樣本集合的合併，再度須了解所考慮的樣本集合可為矩形區塊或方形區塊，該種情況下，合併樣本集合表示矩形區塊及/或方形區塊的集合。另外，所考慮的樣本集合為任意形狀圖像區，及合併樣本集合表示任意形狀圖像區的集合。

後文描述的關注焦點在於當每個圖像有多於一個樣本數組時一圖像的不同樣本數組的處理，後文次描述中摘述的若干方面為與所使用的細分種類獨立無關的優點，亦即與細分是否基於多元樹細分獨立無關且與是否使用合併獨立無關。始於描述有關圖像的不同樣本數組的處理的特定實施例前，本實施例的主要議題是簡短介紹每個圖像不同樣本數組的處理領域。

後文討論的焦點集中在影像或視頻編碼應用用途中，在一圖像的不同樣本數組的區塊間編碼參數，特別一圖像的不同樣本數組間適應性預測編碼參數的方式應用於例如圖1及圖2的編碼器及解碼器或其它影像或視頻編碼環境。如前述，樣本數組表示與不同彩色分量相關聯的樣本數組，或與額外信息(諸如透明度信息或深度映射圖像)關聯的圖像。與圖像的彩色分量相關的樣本數組也稱作為彩色平面。後文描述的技術也稱作為跨平面採用/預測，可用在基於區塊的影像及視頻編碼器及解碼器，通過此針對一圖像的樣本數組區塊的處理順序為任意順序。

影像及視頻編碼器典型是設計用於編碼彩色圖像(靜止圖像或視頻序列圖像)。彩色圖像包括多個彩色平面，其表示不同彩色分量的樣本數組。經常，彩色圖像被編碼為一亮度平面及二個色度平面組成的樣本數組集合，此處後者表明色差分量。在若干應用領域，也常見編碼樣本數組集合是由表示三原色紅、綠、及藍的樣本數組的三個彩色平面組成。此外，為了改良彩色表示型態，彩色圖像可由多於三個彩色平面組成。此外，一圖像可與表明該圖像的額外信息的輔助樣本數組相關聯。例如，這些輔助樣本數組可以是表明相關彩色樣本的透明度的樣本數組(適合用於表明顯示目的)，或為表明深度圖的樣本數組(適合用來呈現多個視線，例如用於3D顯示)。

在常規影像及視頻編碼標準(諸如H.264)，彩色平面通常一起編碼，因而特定編碼參數(諸如宏區塊及次宏區塊預測模式、參考指數及運動向量)用於一區塊的全部彩色分量。亮度平面可考慮為一次彩色平面，在位流中表明特定編碼參數；而色度平面可視為二次平面，相對應的編碼參數是從一次亮度平面推定。各亮度區塊是與表示該圖像中同一區的兩個色度區塊相關聯。依據所使用的色度採樣格式，色度樣本數組可比針對一區塊的亮度樣本數組更小。針對由一亮度分量及二個色度分量所組成的各宏區塊，使用在分區成更小型區塊(若宏區塊經細分)。針對由一亮度樣本區塊及二個色度樣本區塊所組成的各區塊(可為宏區塊本身或為宏區塊的一子區塊)，採用相同預測參數集合，諸如參考指數、運動參數及偶爾內-預測模式。在常規視頻編碼標準的特定輪廓中(諸如在H.264的4:4:4輪廓)，可獨立編碼一圖像的不同彩色平面。在該配置中，可針對一宏區塊的彩色分量或子區塊分開選擇宏區塊分區、預測模式、參考指數及運動參數。常規編碼標準或為全部彩色平面是使用相同特定編碼參數(諸如細分信息及預測參數)集合一起編碼，或為全部彩色平面是各自完全獨立編碼。

若彩色平面是一起編碼，細分及預測參數的一個集合須用於一區塊的全部彩色分量。如此確保側邊信息維持小量，但相比於獨立編碼，可能導致編碼效率的降低，原因在於對不同色彩分量使用不同區塊分解及預測參數，可能導致率-失真成本的減低。舉例言之，針對色度分量使用不同運動向量或參考幀，可顯著減少色度成分的殘差信號能，及增高其總編碼效率。若彩色平面是獨立編碼，則編碼參數(諸如區塊分區、參考指數及運動參數)可針對各個彩色分量分開選擇來針對各個彩色分量最佳化編碼效率。但不可能採用彩色分量間的冗餘。特定編碼參數的多元傳輸確實導致側邊信息率的增加(與組合編碼相比)，此種提高側邊信息率可能對總體編碼效率造成負面影響。此外，在現有視頻編碼標準(諸如H.264)中，支持輔助樣本數組是限於輔助樣本數組是使用其本身的編碼參數集合編碼。

如此，至目前為止，所述全部實施例中，圖像平面可如前述處理，但如前文討論，多個樣本數組的編碼的總編碼效率(可能與不同彩色平面及/或輔助樣本數組有關)可能增高，此時可基於區塊基準(例如)決定對於一區塊的全部樣本數組是否皆以相同編碼參數編碼，或是否使用不同編碼參數。後文跨平面預測的基本構想例如允許以區塊為基礎做出此種適應性決策。例如基於率失真標準，編碼器可選擇針對一特定區塊的全部或部分樣本數組是否使用相同編碼參數編碼，或針對不同樣本數組是否使用不同編碼參數編碼。通過針對一特定樣本數組區塊，信號通知從不同樣本數組的已編碼共同定位區塊是否推論特定編碼參數，也可達成此項選擇。可能針對群組中的一圖像配置不同樣本數組，其也稱作為樣本數組群組或平面群組。各個平面群組可含有一圖像的一個或多個樣本數組。然後，在一平面群組內部的樣本數組區塊共享相同所選編碼參數，諸如細分信息、預測模式及殘差編碼模式；而其它編碼參數(諸如變換係數位準)是針對該平面群組內部的各個樣本數組分開傳輸。一個平面群組是編碼為一次平面群組，亦即從其它平面群組並未推定或預測編碼參數。針對二次平面群組的各區塊，適應性選擇所選編碼參數的一新集合是否傳輸，或所選編碼參數是否從一次平面集合或另一二次平面集合推定或預測。針對特定區塊所選編碼參數是否是推定或預測的決策是含括在該位流中。跨平面預測允許側邊信息率與預測質量間的折衷，相比於由多個樣本數組所組成的當前圖像編碼有更高自由度。優點為相對於由多個樣本數組所組成的常規圖像編碼，編碼效率改良。

平面內採用/預測可擴展影像或視頻編碼器，諸如前述實施例的影像或視頻編碼器，使得可針對一彩色樣本數組或輔助樣本數組的一區塊或彩色樣本數組及/或輔助樣本數組的一集合，適應性選擇所選定的編碼參數集合是否從在同一個圖像內其它樣本數組的已經編碼的共同定位區塊推定或預測，或針對該區塊所選定的編碼參數集合是否分開編碼而未參考同一個圖像內部的其它樣本數組的共通定位區塊。所選定的編碼參數集合是否針對一樣本數組區塊或多個樣本數組區塊推定或預測的決策可含括於該位流。與一圖像相關聯的不同樣本數組無須具有相同大小。

如前述，與一圖像相關聯的樣本數組(樣本數組可表示彩色分量及/或輔助樣本數組)可排列成二或多個所謂的平面群組，此處各平面群組是由一或多個樣本數組組成。含在特定平面群組的樣本數組無需具有相等大小。注意此種排列成平面群組包括各樣本數組被分開編碼的情況。

更明確言之，依據一實施例，針對一平面群組的各區塊，適應性選擇編碼區塊是否表明一區塊如何從針對同一圖像的不同平面群組的已經編碼的共同定位區塊推定或預測，或這些編碼參數是否針對該區塊分開編碼。表明一區塊如何預測的編碼參數包括下列編碼參數中的一者或多者：區塊預測模式表明針對該區塊使用哪一種預測(內預測、使用單一運動向量及參考圖像的跨-預測、使用二個運動向量及參考圖像的跨-預測、使用高階的跨-預測，亦即非平移運動模型及單一參考圖像、使用多個運動模型及參考圖像的跨-預測)，內-預測模式表明如何產生內-預測信號，一識別符表明多少預測信號組合來產生針對該區塊的最終預測信號，參考指數表明哪一個(哪些)參考圖像用於運動補償預測，運動參數(諸如位移向量或仿射運動參數)表明預測信號如何使用參考圖像而產生，一識別符表明參考圖像如何被濾波來產生運動補償預測信號。注意大致上，一區塊可只與所述編碼參數的一子集相關聯。舉例言之，若區塊預測模式表明一區塊為內-預測，則一區塊的編碼參數可額外地包括內-預測模式，但未表明編碼參數，諸如表明如何產生跨-預測信號的參考指數及運動參數；或若區塊預測模式表明跨-預測，則相關聯的編碼參數可額外地包括參考指數及運動參數，但未表明內-預測模式。

二個或多個平面群組中的一者可在該位流內部編碼或指示作為一次平面群組。針對此一次平面群組的全部區塊，表明預測信號如何產生的編碼參數經傳輸而未參考同一圖像的其它平面群組。其餘平面群組被編碼為二次平面群組。針對二次平面群組的各區塊，傳輸一或多個語法元素，該語法元素信號通知表明該區塊如何預測的編碼參數是否從其它平面群組的共同定位區塊推定或預測，或針對該區塊是否傳輸這些編碼參數的一新集合。一個或多個語法元素中的一者可稱作為跨平面預測標記或跨平面預測參數。若語法元素信號通知未推定或預測相對應編碼參數，則該區塊的相對應編碼參數的新集合在該位流內傳輸。若語法元素信號通知相對應編碼參數是經推定或預測，則決定在所謂的參考平面群組中的共同定位區塊。針對該區塊的參考平面群組的指定可以多種方式組配。一個實施例中，特定參考群組是針對各個二次平面群組指定；此種指定可為固定，或可於高階語法結構(諸如參數集合、存取單元報頭、圖像報頭或片報頭)中信號通知。

在第二實施例中，參考平面群組的指定是在位流內部編碼，及通過針對一區塊編碼的一個或多個語法元素信號通知來表明所選定的編碼參數是否經推定或預測或是否分開編碼。

為了容易了解關聯跨平面預測及後文詳細說明實施例的前述可能，參考圖11，示意地顯示由三個樣本數組502、504及506所組成的一圖像500。為求更容易了解，圖11隻顯示樣本數組502-506的子部。樣本數組顯示為彷佛其在空間中彼此對齊，使得樣本數組502-506彼此沿方向508重疊，樣本數組502-506的樣本沿方向508突起結果導致全部樣本數組502-506的樣本是彼此在空間上正確定位。換言之，平面502及506是沿水平方向及垂直方向展開來彼此調整適應其空間解析度及彼此對齊。

依據一實施例，一圖像的全部樣本數組屬於空間景象的同一部分，其中沿垂直方向及水平方向的解析度在單獨樣本數組502-506間可不同。此外，為了用於舉例說明目的，樣本數組502及504被考慮屬於一個平面群組510，而樣本數組506被考慮屬於另一個平面群組512。此外，圖11顯示實例情況，此處沿樣本數組504的水平軸的空間解析度為在樣本數組502的水平方向的解析度的兩倍。此外，樣本數組504相對於樣本數組502被視為形成一次數組，樣本數組502形成相關於一次數組504的從屬數組。如前文說明，此種情況下，如通過圖1細分器30決定，樣本數組504被細分成多個區塊是由從屬數組502所採用，其中依據圖11的實例，因樣本數組502的垂直解析度為一次數組504的垂直方向解析度一半，各個區塊已經對半平分成兩個水平並排區塊，當以樣本數組502內的樣本位置為單位測量時，各區塊由於對半故再度成為方形區塊。

如圖11舉例說明，對樣本數組506所選用的細分是與另一樣本群組510的細分不同。如前述，細分器30可與平面群組510的細分分開地或獨立無關地選擇像素數組506的細分。當然，樣本數組506的解析度也可與平面群組510的平面502及504的解析度不同。

現在，當編碼個別樣本數組502-506時，編碼器10開始例如以前述方式編碼平面群組510的一次數組504。圖11所示區塊例如可為前述預測區塊。另外，區塊可為界定粒度用來定義某些編碼參數的殘差區塊或其它區塊。跨平面預測並未限於四叉樹或多元樹細分，但四叉樹或多元樹細分舉例說明於圖11。

在一次數組504的語法元素傳輸後，編碼器10可決定宣布一次數組504為從屬平面502的參考平面。編碼器10及抽取器30分別可經由位流22來信號通知此項決定，同時從樣本數組504形成平面群組510的一次數組的事實顯然易明其中關聯性，該信息又轉而也可為位流22的一部分。總而言之針對在樣本數組502內部的各區塊，插入器18或編碼器10的任何其它模塊連同插入器18可決定是否抑制此區塊的編碼參數在位流內部的移轉，以及在位流內部信號通知及取而代之針對該區塊在位流內部信號通知將使用在一次數組504內部的共同定位區塊的編碼參數替代；或決定在一次數組504內部的共同定位區塊的編碼參數是否將用作為樣本數組502的目前區塊的編碼參數的預測，而只移轉在位流內部針對該樣本數組502的目前區塊的其殘差資料。在負面決策的情況下，編碼參數如常在數據流內部移轉。針對各區塊決策是在數據流22中信號通知。在解碼器端，抽取器102使用針對各區塊的此種跨平面預測信息來據此獲得樣本數組502的個別區塊的編碼參數，換言之，若跨平面採用/預測信息提示跨平面採用/預測，則通過推論一次數組504的共同定位區塊的編碼參數，或另外從該數據流抽取該區塊的殘差資料且將此殘差數據與得自一次數組504的共同定位區塊的編碼參數的預測組合；或如常與一次數組504獨立無關，抽採樣本數組502的目前區塊的編碼參數。

也如前述，參考平面並非限於駐在跨平面預測目前關注的該區塊所在相同位平面。因此如前文說明，平面群組510表示一次平面群組或二次平面群組512的參考平面群組。此種情況下，位流可能含有一語法元素，該語法元素針對樣本數組506的各區塊指示前述一次平面群組或參考平面群組510的任何平面502及504的共同定位宏區塊的編碼參數的採用/預測是否應進行，在後述情況下，樣本數組506的目前區塊的編碼參數是如常傳輸。

須注意針對在一平面群組內部的多個平面的細分和/或預測參數可相同，亦即由於其對一平面群組只編碼一次(一平面群組的全部二次平面是從同一個平面群組內部的一次平面推定細分信息及/或預測參數)，細分信息及/或預測參數的適應性預測或幹擾是在多個平面群組間進行。

須注意參考平面群組可為一次平面群組或二次平面群組。

在一平面群組內部的不同平面區塊間的共同定位容易了解一次樣本數組504的細分是由從屬樣本數組502在空間採用，但前述區塊細分來使所採用的葉區塊變成方形區塊除外。在不同平面群組間跨平面採用/預測的情況下，共同定位可以一種方式定義，因而允許這些平面群組的細分間的更高自由度。給定該參考平面群組，決定在該參考平面群組內部的共同定位區塊。共同定位區塊及參考平面群組的導算可通過類似後文說明的方法進行。選定二次平面群組512的樣本數組506中的一者在目前區塊516內部的特定樣本514。目前區塊516的左上樣本亦同，如圖11顯示於514用於舉例說明目的；或於目前區塊516的樣本接近目前區塊516中央或目前區塊內部的任何其它樣本，其幾何形狀經獨特定義。計算在參考平面群組510的樣本數組502及504內部的此種選定樣本515的位置。樣本數組502及504內部的樣本514位置於圖11分別指示於518及520。參考平面群組510內實際上使用哪一個平面502及504可經預先決定或可在位流內部信號通知。決定在參考平面群組510的相對應樣本數組502或504內部最接近位置518及520的樣本，含有此樣本的區塊被選用作為個別樣本數組502及504內部的共同定位區塊。在圖11的情況下，分別為區塊522及524。用來在其它平面決定共同定位區塊的替代辦法正如稍後詳述。

在一實施例中，表明目前區塊516的預測的編碼參數是在相同圖像500的不同平面群組510內部使用共同定位區塊522/524的相對應預測參數完全推定而未傳輸額外側邊信息。推定可包括單純複製相對應編碼參數，或編碼參數的調整適應將目前平面群組512與參考平面群組510間的差異列入考慮。舉個實例，此種調整適應可包括加入運動參數校正(例如位移向量校正)用來考慮亮度及色度樣本數組間的相位差；或調整適應可包括修改運動參數的精度(例如修改位移向量的精度)來考慮亮度及色度樣本數組的不同解析度。在額外實施例中，用來表明預測信號產生的一個或多個所推定的編碼參數並未直接用於目前區塊516，反而是用作為目前區塊516的相對應編碼參數的預測，及目前區塊516的這些編碼參數的精製是於位流22傳輸。舉個實例，未直接使用推定的運動參數，反而表明運動參數間的偏差的運動參數差(諸如位移向量差)是用於目前區塊516，推定的運動參數是編碼於位流；在解碼器端，經由組合推定的運動參數及傳輸的運動參數差獲得實際使用的運動參數。

在另一實施例中，一區塊的細分，諸如前述預測細分成預測區塊的樹區塊(亦即使用相同預測參數集合的樣本區塊)是從根據圖6a或6b相同圖像亦即位序列的不同平面群組已經編碼的共同定位區塊而適應性地推定或預測。一個實施例中，二個或多個平面群組中的一者是編碼為一次平面群組。針對此一次平面群組的全部區塊，傳輸細分參數而未推定同一圖像內的其它平面群組。其餘平面群組是編碼為二次平面群組。針對二次平面群組的區塊，傳輸一個或多個語法元素，信號通知細分信息是否從其它平面群組的共同定位區塊推定或預測，或細分信息是否於該位流傳輸。一或多個語法元素中的一者可稱作為跨平面預測標記或跨平面預測參數。若語法元素信號通知未推定或預測細分信息，則該區塊的細分信息是在該位流傳輸而未述及同一個圖像的其它平面群組。若語法元素信號通知該細分信息是經推定或預測，則決定在所謂的參考平面群組中的共同定位區塊。該區塊的參考平面群組的組態可以多種方式組配。在一個實施例中，一特定參考平面群組指定給各個二次平面群組；此項指定可為固定，或可於高階語法結構信號通知作為參數集合、存取單元報頭、圖像報頭或片報頭。於第二實施例中，參考平面的指定是在位流內部編碼，及通過一個或多個語法元素信號通知，這些語法元素是針對一區塊編碼來表明細分信息是否經推定或預測或分開編碼。參考平面群組可為一次平面群組或其它二次平面群組。給定參考平面群組，決定在該參考平面群組內部的共同定位區塊。共同定位區塊為對應於目前區塊的相同影像區的參考平面群組，或表示共享該影像區與目前區塊的最大部分的參考平面群組內部的區塊。共同定位區塊可被分區成更小型預測區塊。

在額外實施例中，目前區塊的細分信息，諸如依據圖6a或6b的基於四叉樹的細分信息是使用在同一個圖像的不同平面群組的共同定位區塊的細分信息推定，而未傳輸額外側邊信息。舉一個特定實例，若共同定位區塊被分區成2或4個預測區塊，則該目前區塊也分區成2或4個子區塊用以預測目的。至於另一特定實例，若共同定位區塊被分區成四個子區塊，且這些子區塊中的一者進一步分區成四個更小型子區塊，則目前區塊也被分區成四個子區塊及這些子區塊中的一者(對應於共同定位區塊的該子區塊進一步分解者)也被分區成四個更小型子區塊。在又一較佳實施例中，推定的細分信息並未直接用於目前區塊，反而是用作為目前區塊的實際細分信息的預測，相對應精製信息是於位流傳輸。舉個實例，由共同定位區塊所推定的細分信息可進一步精製。針對與共同定位區塊中未被分區成更小型區塊的一子區塊相對應的各個子區塊，語法元素可於位流編碼，其表明子區塊是否在目前平面群組進一步分解。此種語法元素的傳輸可以子區塊的大小作為條件。或可於位流中信號通知在參考平面群組進一步分區的子區塊未在目前平面群組進一步分區成更小型區塊。

在又一實施例中，一區塊至預測區塊的細分及表明子區塊如何預測的編碼參數二者是從針對同一圖像的不同平面群組的已經編碼的共同定位區塊適應性推定或預測。在本發明的較佳實施例中，二個或多個平面群組中的一者是編碼作為一次平面群組。針對此種一次平面群組的全部區塊，細分信息和預測參數是未參考同一圖像的其它平面群組而傳輸。剩餘平面群組編碼為二次平面群組。針對二次平面群組的區塊，傳輸一個或多個語法元素，其信號通知細分信息及預測參數是否從其它平面群組的共同定位區塊推定或預測；或細分信息及預測參數是否在位流傳輸。一個或多個語法元素中的一者可稱作為跨平面預測標記或跨平面預測參數。若語法元素信號通知細分信息及預測參數是未經推定或預測，則該區塊的細分信息及結果所得子區塊的預測參數是於該位流傳輸而未述及相同圖像的其它平面群組。若語法元素信號通知針對該子區塊的細分信息及預測參數是經推定或預測，則決定該所謂的參考平面群組中的共同定位區塊。針對該區塊的參考平面群組的指定可以多種方式組配。在一個實施例中，一特定參考平面群組指派給各個二次平面群組；此種指派可為固定或可於高階語法結構(諸如參數集合、存取單元報頭、圖像報頭或片報頭)信號通知。在第二實施例中，參考平面群組的指派是在位流內部編碼，及通過針對一區塊編碼的一個或多個語法元素信號通知來表明細分信息及預測參數是否經推定或預測或分開編碼。參考平面群組可為一次平面群組或其它二次平面群組。給定參考平面群組，決定在該參考平面群組內部的共同定位區塊。該共同定位區塊可以是在參考平面群組中與目前區塊的相同影像區相對應的區塊，或表示在該參考平面群組內部與該目前區塊共享最大部分影像區的區塊的該區塊。共同定位區塊可劃分成更小型預測區塊。在較佳實施例中，針對該目前區塊的細分信息以及所得子區塊的預測參數是使用在相同圖像的不同平面群組中共同定位區塊的細分信息及相對應子區塊的預測參數，而未傳輸額外側邊信息。作為特定實例，若共同定位區塊被分割成2或4個預測區塊，則目前區塊也分割成2或4個子區塊用於預測目的，及針對目前區塊的子區塊的預測參數是如前述導算。舉另一個特定實例，若共同定位區塊被分割成四個子區塊，且這些子區塊中的一者被進一步分割成四個更小型子區塊，則目前區塊也分割成四個子區塊，且這些子區塊中的一者(與共同定位區塊被進一步分解的該子區塊相對應者)也分割成四個更小型子區塊，但未進一步分區的全部子區塊的預測參數是如前文說明推定。在又一較佳實施例中，細分信息完全是基於在參考平面群組中的共同定位區塊的細分信息推定，但該子區塊推定的預測參數只用作為子區塊的實際預測參數的預測。實際預測參數與推定預測參數間的偏差是在位流編碼。在又一實施例中，推定的細分信息是用作為目前區塊的實際細分信息的預測，差異是在位流(如前述)中傳輸，但預測參數完全經推定。在另一個實施例中，推定的細分信息及推定的預測參數二者是用作為預測，而實際細分信息與預測參數間的差及其推定值是在位流傳輸。

在另一實施例中，針對一平面群組的一區塊，適應性選擇殘差編碼模式(諸如變換類型)是否針對相同圖像從不同平面群組的已經編碼共同定位區塊推定或預測，或殘差編碼模式是否針對該區塊分開編碼。此一實施例是類似於前述針對預測參數的適應性推定/預測的實施例。

在另一實施例中，一區塊(例如一預測區塊)的細分成變換區塊(亦即應用二維變換的樣本區塊)是從針對同一圖像的不同平面群組的已經編碼的共同定位區塊適應性推定或預測。本實施例是類似前述細分成預測區塊的適應性推定/預測的實施例。

在另一實施例中，一區塊細分成變換區塊及所得變換區塊的殘差編碼模式(例如變換類型)是從針對同一圖像的不同平面群組的已經編碼的共同定位區塊推定或預測。本實施例是類似前文細分成預測區塊的適應性推定/預測及針對所得預測區塊的預測參數的實施例。

在另一實施例中，一區塊細分成預測區塊、相關聯的預測參數、預測區塊的細分信息、及針對該變換區塊的殘差編碼模式是從針對同一圖像的不同平面群組已經編碼的共同定位區塊適應性推定或預測。本實施例表示前述實施例的組合。也可能只推定或預測所述編碼參數中的一部分。

如此，跨平面採用/預測可提高前述編碼效率。但通過跨平面採用/預測所得編碼效率增益也可在基於多元樹細分所使用的其它區塊細分取得，而與是否實施區塊合併無關。

就跨平面適應/預測的前述實施例可應用於影像及視頻編碼器及解碼器，其將一圖像的彩色平面及(若存在)與該圖像相關聯的輔助樣本數組分割成區塊及將這些區塊與編碼參數相關。針對各區塊，一編碼參數集合可含括在位流。例如，這些編碼參數可為描述在解碼器端一區塊如何預測和解碼的參數。作為特定實例，編碼參數可表示宏區塊或區塊預測模式、細分信息、內-預測模式、用於運動補償預測的參考指數、運動參數諸如位移向量、殘差編碼模式、變換係數等。與一圖像相關聯的不同樣本數組可具有不同大小。

接下來，描述前文參考圖1至圖8所述在基於樹的分割方案內部用於編碼參數加強信號通知的一方案。至於其它方案，亦即合併及跨平面採用/預測，加強信號通知方案(後文中常稱作為繼承)的效果及優點是與前述實施例獨立描述，但後述方案可與前述實施例中的任一者或單獨或組合式組合。

大致上，在一基於樹的分割方案的內部用來編碼側邊信息的改良編碼方案(稱作為繼承，說明如下)允許相對於常規編碼參數處理獲得下列優點。

在常規影像及視頻編碼中，圖像或針對圖像的特定樣本數組集合通常分解成多個區塊，這些區塊是與特定編碼參數相關聯。圖像通常是由多個樣本數組組成。此外，圖像也可關聯額外輔助樣本數組，其例如可表明透明信息或深度圖。一圖像的樣本數組(包括輔助樣本數組)可分組成一個或多個所謂的平面群組，此處各個平面群組是由一個或多個樣本數組組成。一圖像的平面群組可獨立編碼，或若該圖像是與多於一個平面群組相關聯，則一圖像的平面群組可從同一圖像的其它平面群組預測。各個平面群組通常分解成多個區塊。該區塊(或樣本數組的相對應區塊)是通過跨圖像預測或圖像內-預測而預測。區塊可具有不同大小且可為方形或矩形。一圖像分割成為多個區塊可通過語法固定，或可(至少部分)在位流內部信號通知。經常傳輸的語法元素信號通知具有預定大小區塊的細分。這些語法元素可表明一區塊是否細分及如何細分成更小型區塊，且與編碼參數關聯用於例如預測目的。針對一區塊的全部樣本(或相對應樣本數組的區塊)，相關聯編碼參數的解碼是以預定方式表明。在該實例中，一區塊的全部樣本是使用預測參數的同一集合預測，諸如參考指數(識別在已經編碼圖像集合中的一參考圖像)、運動參數(表明一參考圖像與目前圖像間的一區塊運動的測量)、表明內插濾波器的參數、內-預測模式等。運動參數可以具有水平分量及垂直分量的位移向量表示，或以更高階運動參數(諸如六個成分所組成的仿射運動參數)表示。可能有多於一個特定預測參數集合(諸如參考指數及運動參數)是與單一區塊相關聯。該種情況下，針對這些特定預測參數的各集合，產生針對該區塊(或樣本數組的相對應區塊)的單一中間預測信號，最終預測信號是通過包括重疊中間預測信號的組合建立。相對應加權參數及可能也常數偏移(加至該加權和)可針對一圖像或一參考圖像或一參考圖像集合而固定；或可含括在針對相對應區塊的預測參數集合中。原始區塊(或相對應樣本數組區塊)與其預測信號間的差也稱作為殘差信號通常經變換及量化。經常將二維變換應用至殘差信號(或殘差區塊的相對應樣本數組)。針對變換編碼，已經使用特定預測參數集合的區塊(或相對應樣本數組區塊)可在應用該變換之前進一步分割。變換區塊可等於或小於用於預測的區塊。也可能一變換區塊包括用於預測的區塊中的多於一者。不同變換區塊可具有不同大小，變換區塊可表示方形區塊或矩形區塊。在變換後，所得變換係數經量化，及獲得所謂的變換係數層次。變換係數層次以及預測參數及(若存在)細分信息是經熵編碼。

按照若干影像及視頻編碼標準，通過語法提供將一圖像(或一平面群組)細分成多個區塊的可能性極為有限。通常只表明是否(以及可能地如何)具有預定大小的區塊可細分成更小型區塊。舉例言之，按照H.264的最大型區塊為16×16。該16×16區塊也稱作為宏區塊，在第一步驟各圖像分區成為宏區塊。針對各個16×16宏區塊，可信號通知是否編碼成16×16區塊，或編碼成兩個16×8區塊，或兩個8×16區塊，或四個8×8區塊。若16×16區塊細分成四個8×8區塊，則這些8×8區塊各自可編碼成一個8×8區塊，或兩個8×4區塊，或兩個4×8區塊或四個4×4區塊。在當前影像及視頻編碼標準中表明細分成為多個區塊的可能性的最小集合具有用以信號通知細分信息的側邊信息率維持為小的優點，但具有傳輸針對區塊的預測參數所要求的位率變大的缺點，正如稍後詳述。用以信號通知預測參數的側邊信息率通常確實表示一區塊的顯著量總位率。及當此側邊信息減少時，例如可使用較大型區塊大小達成時，可提高編碼效率。一視頻序列的實際影像或圖像是由具特定性質的任意形狀對象組成。舉個實例，這些對象或對象部分是以獨特紋理或獨特運動為其特徵。通常相同預測參數集合可應用於此種對象或對象部分。但對象邊界通常並未重合大型預測區塊可能的區塊邊界(例如於H.264的16×16宏區塊)。編碼器通常決定導致最小型特定率-失真成本測量值的細分(於有限可能性集合中)。針對任意形狀對象，如此可導致大量小型區塊。且因這些小型區塊是與須傳輸的一預測參數集合相關聯，故側邊信息率變成總位率的顯著部分。但因若干小型區塊仍然表示相同對象或對象部分的區，多個所得區塊的預測參數為相同或極為相似。直覺上，當語法是以一種方式擴充，其不僅允許細分一區塊，同時也在細分後所得多個區塊間共享編碼參數時可提高編碼效率。於基於樹的細分中，通過由以基於樹的階層式關係指定編碼參數或其部分給一個或多個親代節點，可達成針對一給定區塊集合的編碼參數的共享。結果，共享參數或其部分可用來減少針對細分後所得區塊信號通知編碼參數實際選擇所需的側邊信息。減少可通過刪除隨後區塊的參數的信號通知而達成，或可通過針對隨後區塊的參數的預測模型化及/或上下文模型化的共享參數而達成。

後述繼承方案的基本構想是通過由沿該等區塊的基於樹的階層關係共享信息，來減少傳輸編碼信息所需的位率。共享信息是在位流內部信號通知(除細分信息的外)。繼承方案的優點為針對編碼參數由減低側邊信息率結果導致編碼效率增高。

為了減少側邊信息率，根據後述實施例，針對特定樣本集合的個別編碼參數，亦即單純連接區，其可表示多元樹細分的矩形區塊或方形區塊或任意形狀區或任何其它樣本集合是以有效方式在數據流內部信號通知。後述繼承方案允許編碼參數無須針對樣本集合中的各個樣本集合明確地含括在位流。編碼參數可表示預測參數，其表明對應樣本集合是使用已編碼樣本預測。多項可能及實例已經如前文說明確實也適用於此處。如前文已述，及正如稍後詳述，有關下列幾種方案，一圖像的樣本數組基於樹狀劃分成為多個樣本集合可通過語法固定，或可通過在位流內部的相對應細分信息信號通知。如前述，針對樣本集合的編碼參數可以預先界定的順序傳輸，該順序是通過語法而給定。

依據繼承方案，解碼器或解碼器的抽取器102被配置為以特定方式導算出有關個別單純連接區或樣本集合的編碼參數的信息。特定言之，編碼參數或其一部分(諸如用於預測目的的參數)是沿該給定基於樹的分割方案而在各區塊間共享，沿該樹狀結構的共享群組分別是由編碼器或插入器18決定。在一特定實施例中，分割樹的一給定內部節點的全部子節點的編碼參數的共享是使用特定二進位值共享標記指示。至於替代之道，針對各節點可傳輸編碼參數的精製，使得沿基於樹的區塊的階層式關係，參數的累積精製可應用至在一給定葉節點的該區塊的全部樣本集合。在另一實施例中，沿基於樹的該區塊階層關係傳輸用於內部節點的編碼參數的一部分可用於在一給定葉節點針對該區塊的編碼參數或其一部分的上下文適應性熵編碼及解碼。

圖12a及圖12b顯示使用基於四叉樹分割的特例的繼承的基本構想。但如前文數次指示，其它多元樹細分方案也可使用。該樹狀結構是顯示於圖12a，而與圖12a的樹狀結構相對應的空間分割是顯示於圖12b。其中所示分割是類似就圖3a至3c所示。概略言之，繼承方案將允許側邊信息指派給在該樹結構內部的不同非葉層的節點。依據側邊信息指派給在該樹的不同層的節點，諸如圖12a的樹的內部節點或其根節點，在圖12b所示區塊的樹階層式關係中可達成不同程度的共享側邊信息。例如，若決定在層4的全部葉節點，在圖12a的情況下全部具有相同親代節點，虛擬地共享側邊信息，這意味著圖12b中以156a至156d指示的最小型區塊共享此側邊信息，而不再需要針對全部這些小型區塊156a至156d完整傳輸側邊信息，亦即傳輸四次，但如此維持為編碼器的選項。然而，也可能決定圖12a的階層式層次1(層2)的全區，亦即在樹區塊150右上角的四分之一部分包括子區塊154a、154b及154d及前述又更小型子區塊156a至156d，是用作為其中共享編碼參數的區。如此，增加共享側邊信息的區。下一個增加層次為加總層1的全部子區塊，亦即子區塊152a、152c及152d及前述更小型區塊。換言之，此種情況下，整個樹區塊具有指派給該區塊的側邊信息，此樹區塊150的全部子區塊共享側邊信息。

在後文繼承說明中，下列註記是用來描述實施例：

a.目前葉節點的重建樣本：r

b.相鄰葉的重建樣本：r』

c.目前葉節點的預測器：p

d.目前葉節點的殘差：Res

e.目前葉節點的重建殘差：RecRes

f.定標及反變換：SIT

g.共享標記：f

作為繼承的第一實例，可描述在內部節點的內-預測信號通知。更精確言之，描述如何信號通知在基於樹區塊的內部節點劃分用的內-預測模式用以預測目的。通過從根節點至葉節點來遍歷樹，內部節點(包括根節點)可傳遞部分側邊信息，該信息將由其相對應的子節點利用。更明確言之，共享標記f是針對內部節點發送而具有下列意義：

·若f具有數值1(「真」)，則該給定內部節點的全部子節點共享相同內-預測模式。除了共享具有數值1的標記f之外，內部節點也信號通知內-預測模式參數來由全部子節點使用。結果，全部隨後子節點並未攜帶任何預測模式信息及任何共享標記。為了重建全部相關葉節點，解碼器從相對應內部節點應用內-預測模式。

·若f具有數值0(「假」)，則相對應內部節點的子節點並未共享相同內-預測模式，屬於內部節點的各個子節點攜帶一分開共享標記。

圖12c顯示前述於內部節點的內-預測信號通知。在層1的內部節點傳遞由內-預測模式信息所給定的共享標記及側邊信息，且子節點並未攜帶任何側邊信息。

作為第二繼承實例，可描述跨-預測精製。更明確言之，描述如何在基於樹的區塊分割內部模式，信號通知跨-預測模式的側邊信息用於例如通過運動向量所給定的運動參數的精製目的。通過從根節點通過至葉節點來遍歷樹，內部節點(包括根節點)可傳遞部分側邊信息，該信息將由其相對應的子節點精製。更明確言之，共享標記f是針對內部節點發送而具有下列意義：

·若f具有數值1(「真」)，則該給定內部節點的全部子節點共享相同運動向量參考。除了共享具有數值1的標記f外，內部節點也信號通知運動向量及參考指數。結果，全部隨後子節點未攜帶額外共享標記，反而可攜帶此一繼承的運動向量參考的精製。對於全部相關葉節點的重建，解碼器在該給定葉節點加運動向量精製給屬於其相對應內部親代節點具有共享標記f的數值1的繼承的運動向量參考值。如此表示在一給定葉節點的運動向量精製為欲應用至自此葉節點用於運動補償預測的實際運動向量與其相對應內部親代節點的運動向量參考值間的差。

·若f具有數值0(「假」)，則相對應內部節點的子節點並未必然共享相同跨-預測模式，以及在該子節點並未通過使用得自相對應內部節點的運動參數而進行運動參數的精製，屬於內部節點的各個子節點攜帶一分開共享標記。

圖12d顯示前述運動參數精製。層1的內部節點是傳遞共享標記及側邊信息。屬於葉節點的子節點只攜帶運動參數精製，例如層2的內部子節點未攜帶側邊信息。

現在參考圖13。圖13顯示流程圖，例示說明解碼器(諸如圖2的解碼器)用於從數據流重建表示空間實例信息信號的一信息樣本數組(其通過多元樹細分而細分成不同大小的葉區)的操作模式。如前述，各葉區具有與其相關的選自於多元樹細分的一系列階層式層級中的一個階層式層級。例如，圖12b所示全部區塊皆為葉區。葉區156c例如是與階層式層級4(或層級3)相關聯。各葉區具有與其相關聯的編碼參數。這些編碼參數的實例已經說明如前。針對各葉區，編碼參數是以一個別語法元素集合表示。各個語法元素為選自於一語法元素類型集合中的一個個別語法元素類型。各語法元素類型例如為預測模式、運動向量分量、內-預測模式的指示等。依據圖13，解碼器進行下列步驟。

在步驟550，繼承信息是抽取自數據流。在圖2的情況下，抽取器102是負責步驟550。繼承信息指示繼承是否用於目前信息樣本數組。後文描述將顯示繼承信息有若干可能，諸如共享標記f及多元樹結構劃分成一次部分及二次部分的信號通知。

信息樣本數組已經構成一圖像的一子部分，諸如樹區塊，例如圖12b的樹區塊150。如此繼承信息指示針對特定樹區塊150是否使用繼承。此種繼承信息例如可針對全部預測細分的樹區塊而插入數據流。

此外，若指示使用繼承，則繼承信息指示由一葉區集合所組成的且對應於多元樹細分的該階層式層級序列的一階層式層級的該信息樣本數組的至少一個繼承區是低於該葉區集合相關聯的各個階層式層級。換言之，繼承信息指示針對目前樣本數組(諸如樹區塊150)是否使用繼承。若為是，表示此樹區塊150的至少一個繼承區或子區內部的葉區共享編碼參數。如此，繼承區可能不是葉區。在圖12b的實例中，繼承區(例如)可為由子區塊156a至156b所形成的區。另外，繼承區可更大，也額外涵蓋子區塊154a、b及d，及甚至另外，繼承區可為樹區塊150本身，其全部葉區塊共享與該繼承區相關聯的編碼參數。

但須注意，在一個樣本數組或樹區塊150內部可界定多於一個繼承區。例如，假設左下子區塊152c也分割成更小型區塊。此種情況下，子區塊152c可形成一繼承區。

在步驟552，檢查繼承信息，是否使用繼承。若為是，圖13的處理程序前進至步驟554，此處相對於每個跨繼承區，包括預定語法元素類型的至少一個語法元素的繼承子集是從數據流抽取出。隨後步驟556中，然後此繼承子集複製入在該語法元素集合內部的一相對應語法元素繼承子集，或用作為該繼承子集的預測，該繼承子集表示至少一個繼承區的葉區集合組成相關聯的編碼參數。換言之，針對在該繼承信息內部指示的各個繼承區，數據流包括語法元素的繼承子集。又換言之，繼承是有關可用於繼承的至少某一個語法元素類型或語法元素類別。舉例言之，預測模式或跨-預測模式或內-預測模式語法元素可經歷繼承。例如針對繼承區在該數據流內部所含的繼承子集可包括跨-預測模式語法元素。繼承子集也包括額外語法元素，其語法元素類型是取決於與該繼承方案相關聯的前述固定式語法元素類型的值。舉例言之，在跨-預測模式為繼承子集的固定式分量的情況下，定義運動補償的語法元素(諸如運動向量分量)可通過語法而可含括或可未含括於該繼承子集。例如，假設樹區塊150的右上四分之一(亦即子區塊152b)為繼承區，則單獨跨-預測模式可指示用於本繼承區，或連同運動向量及運動向量指標而用於跨-預測模式。

含在繼承子集的全部語法元素是複製入在該繼承區內部的葉區塊(亦即葉區塊154a、b、d及156a至156d)的相對應編碼參數，或用作為其預測。在使用預測的情況下，針對個別葉區塊傳輸殘差。

針對葉區塊150傳輸繼承信息的一項可能性為前述共享標記f的傳輸。在步驟550，繼承信息的抽取在本例中包括後述。更明確言之，解碼器可被配置為使用從較低階層式層級至較高階層式層級的階層式層級順序，針對與該多元樹細分的至少一個階層式層級的任何繼承集合相對應的非葉區，抽取及檢查得自該數據流的共享標記f，有關是否個別繼承標記或共享標記表明繼承與否。舉例言之，階層式層級的繼承集合可通過圖12a的階層式層1至層3形成。如此，針對並非葉節點且是位在於任何層1至層3的子樹結構的任何節點，可具有在該數據流內部與其相關聯的一共享標記。解碼器是以從層1至層3的順序(諸如以深度優先或寬度優先遍歷順序)抽取這些共享標記。一旦共享標記中的一者等於1，則解碼器知曉含在相對應繼承區的葉區塊共享該繼承子集，隨後接著在步驟554的抽取。針對目前節點的子節點，不再需要繼承標記的檢查。換言之，這些子節點的繼承標記並未在數據流內部傳輸，原因在於顯然這些節點區已經屬於其中語法元素的繼承子集為共享的該繼承區。

共享標記f可以前述信號通知四叉樹細分的位交叉。例如，包括細分標記及共享標記二者的交叉位序列可為：

10001101(0000)000,

其為圖6a所示的相同細分信息，具有二散置的共享標記，該標記通過下方畫線強調來指示圖3c中在樹區塊150左下四分之一的子區塊共享編碼參數。

定義指示繼承區的繼承信息的另一種方式是使用彼此以從屬方式定義的二細分，如前文分別參考預測細分及殘差細分的解釋。概略言之，一次細分的葉區塊可形成該繼承區，該繼承區界定其中語法元素的繼承子集為共享的區；而從屬細分定義這些繼承區內部的區塊，針對該區塊語法元素的繼承子集是經複製或用作為預測。

例如，考慮殘差樹作為預測樹的延伸。進一步考慮預測區塊可進一步分割成更小型區塊用於殘差編碼目的。針對與預測相關四叉樹的葉節點相對應的各預測區塊，用於殘差編碼的相對應細分是由一個或多個從屬四叉樹決定。

此種情況下，替代在內部節點使用任何預測參數，發明人考慮殘差樹是以下述方式解譯，殘差樹也表明預測樹的精製表示使用恆定預測模式(通過預測相關樹的相對應葉節點信號通知)但具有經過精製的參考樣本。後述實例舉例說明此種情況。

例如，圖14a及14b顯示用於內-預測的四叉樹分割，鄰近參考樣本是針對一次細分的一個特定葉節點強調，而圖14b顯示相同預測葉節點的殘差四叉樹細分帶有已精製的參考樣本。圖14b所示全部子區塊針對在圖14a強調的個別葉區塊共享含在數據流內部的相同內-預測參數。如此，圖14a顯示常規用於內-預測的四叉樹分割實例，此處顯示一個特定葉節點的參考樣本。但在發明人的較佳實施例中，經由使用在殘差樹中已經重建的葉節點的鄰近樣本(諸如圖4b的灰色陰影線條指示)，針對殘差樹中各個葉節點計算一分開內-預測信號。然後，通過將量化殘差編碼信號加至此預測信號而以尋常方式獲得一給定殘差葉節點的重建信號。然後此重建信號用作為隨後預測程序的參考信號。注意用於預測的解碼順序是與殘差解碼順序相同。

如圖15所示，在解碼程序中，針對各殘差葉節點，經由使用參考樣本r』依據實際內-預測模式(通過預測相關四叉樹葉節點指示)，計算預測信號p。

在SIT處理程序後，

RecRes＝SIT(Res)

計算重建的信號r及儲存用於下一個預測計算程序：

r＝RecRes+p

用於預測的解碼程序是與圖16所示殘差解碼順序相同。

各個殘差葉節點是如前段所述解碼。重建信號r是儲存於緩衝器，如圖16所示。該緩衝器中，參考樣本r』將取用於下次預測及解碼程序。

在已經就圖1至圖16以前文摘述的各方面的組合式分開子集描述特定實施例後，將描述本申請的額外實施例，關注焦點是集中在前述某些方面，但實施例表示前述若干實施例的普及化。

特定言之，有關圖1及圖2的架構的前述實施例主要組合本申請的多個方面，也可優異地採用在其它應用用途或其它編碼領域。如前文經常述及，例如多元樹細分可未經合併及/或未經跨平面採用/預測及/或無繼承而使用。舉例言之，最大區塊大小的傳輸、深度優先遍歷順序的使用、依據個別細分標記的階層式層級的上下文適應、及在位流內部最大階層式層級的傳輸來節省側邊信息位率，全部這些方面皆優異但彼此獨立。當考慮繼承方案時也是如此。編碼參數的繼承的優點為與一圖像被細分成單純連接區的確切多元樹細分獨立無關，及其優點為與多於一個樣本數組的存在或跨平面採用/預測的使用獨立無關。同樣適用於涉及跨平面採用/預測及/或繼承的優點。

據此，普及化這些實施例，使用前文摘述繼承方案的編碼方案並未限於混成編碼環境。換言之，可未經預測而進行重建。繼承的編碼參數可與其它編碼參數(諸如濾波細節指示等)有關。如前述，該信息樣本數組被細分成的單純連接區可植源於一四叉樹細分，且可為方形或矩形形狀。此外，特別描述的用來細分一樣本數組的實施例僅為特定實施例，也可使用其它細分。若干可能性是顯示於圖17a、17b。例如圖17a顯示一樣本數組606細分成彼此毗連的非重疊樹區塊608的規則二維排列，其中部分樹區塊依據多元樹結構而被細分成具有不同大小的子區塊610。如前述，雖然四叉樹細分例示說明於圖17a，但在任何其它數目子節點的各親代節點分割亦屬可能。圖17b顯示一實施例，據此，通過直接應用多元樹細分至全像素數組606上，一樣本數組606被細分成具有不同大小的子區塊。換言之，全像素數組606是被視為樹區塊處理。如此可知，圖17a至17b的全部細分導致該樣本數組606細分成單純連接區，依據圖17a至17b的實施例，各單純連接區是以非重疊顯示。但數種替代之道亦屬可能。舉例言之，各區塊可彼此重疊。但重疊可限於各區塊有一部分未重疊任何鄰近區塊的程度，或使得各區塊樣本是沿一預定方向與目前區塊並排排列的鄰近區塊中的至多一個區塊重疊。換言之，後者表示左及右鄰近區塊可重疊目前區塊，因而完全覆蓋該目前區塊，但未彼此重疊，同理適用於垂直及對角線方向的鄰近區塊。

如前文就圖1至圖16所述，信息樣本數組並不必表示一視頻或靜止圖像的圖像。樣本數組也可表示某個景物的深度圖或透明映射圖。

編碼參數及繼承信息的決定可為迭代重複程序。舉例言之，若先前初步預備，就率/失真意義而言，鄰近單純連結區的最佳化決定編碼參數屬於先前初步預備，同理，就率/失真意義而言，最佳化決定親代區，當考慮繼承允許完全遏止全部單純連結區的編碼參數的明確傳輸，以及通過只遞交殘差或藉單純傳輸共享編碼參數，完全置換此等編碼參數的遞交。

雖然已經就裝置上下文說明數個方面，但顯然這些方面也表示相對應方法的說明，此處一區塊或一裝置是對應於一方法步驟或一方法步驟特徵。同理，在方法步驟上下文中所描述的方面也表示對應區塊或項目或對應裝置的特徵的描述。部分或全部方法步驟可通過(或使用)硬體裝置，例如微處理器、可編程計算機或電子電路執行。在若干實施例中，最重要方法步驟中的某一者或某多個可通過此種裝置執行。

本發明的編碼/壓縮信號可儲存在數字儲存介質上，或可在諸如網際網路的傳輸介質(諸如無線傳輸介質或有線傳輸介質)傳輸。

依據若干具體實現要求，本發明的實施例可於硬體或軟體具體實現。具體實現可使用數字儲存介質執行，例如軟盤、DVD、藍光碟、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，其上儲存可電子式讀取的控制信號，其是與可編程計算機系統協力合作(或可協力合作)因而執行個別方法。因此，數字儲存介質可為計算機可讀取。

依據本發明的若干實施例包括具有可電子式讀取控制信號的數據載體，其可與可編程計算機系統協力合作因而執行此處所述方法中的一者。

一般而言，本發明的實施例可實施為具有程序代碼的一種電腦程式產品，該程序代碼可操作用來當電腦程式產品在計算機上運行時執行這些方法中的一者。程序代碼例如可儲存在機器可讀取載體上。

其它實施例包括儲存在機器可讀取載體上的用來執行此處所述方法中的一者的電腦程式。

換言之，因此，本發明方法的實施例為一種電腦程式，該電腦程式具有程序代碼用來當該電腦程式在計算機上運行時執行此處所述方法中的一者。

因此本發明的又一實施例為一種數據載體(或數字儲存介質或計算機可讀取介質)包括於其上記錄用來執行此處所述方法中的一者的電腦程式。

因此本發明方法的又一實施例為表示用來執行此處所述方法中的一者的電腦程式的數據流或信號序列。該數據流或信號序列例如被配置為經由數據通信連接，例如經由網際網路傳輸。

又一實施例例如包括一種處理手段，例如計算機或可程序邏輯裝置，其被配置為或調適來執行此處所述方法中的一者。

又一實施例包括其上安裝有用以執行此處所述方法中的一者的電腦程式的計算機。

在若干實施例中，可編程邏輯裝置(例如現場可編程門陣列)可用來執行此處所述方法的部分或全部功能。在若干實施例中，現場可編程門陣列可與微處理器協力合作來執行此處所述方法中的一者。概略言之，該方法較佳是通過任一種硬體裝置執行。

前述實施例僅用於舉例說明本發明的原理。須了解此處所述配置的細節的修改及變化為熟諳技藝人士顯然易知。因此意圖僅受隨附的權利要求的範圍所限而非受用於舉例說明此處實施例的特定細節所限。