運動和視差矢量預測的方法及裝置以及3d視頻編碼補償的製作方法

2023-09-17 17:28:35 2

運動和視差矢量預測的方法及裝置以及3d視頻編碼補償的製作方法
【專利摘要】本發明提供一種推導運動矢量或運動矢量預測項或視差矢量或視差矢量預測項的方法及裝置，該運動矢量或運動矢量預測項或視差矢量或視差矢量預測項相應於跳躍模式、合併模式或外部模式，且用於三維視頻編碼中的當前圖像的一個區塊。該三維視頻編碼可使用時間預測以及利用時間和視圖間關聯的視圖間預測。運用運動矢量/視差矢量預測以減少相應於運動矢量/視差矢量編碼的比特率。從空間候選項、時間候選項及視圖間候選項中選擇該運動矢量/運動矢量預測項或視差矢量/視差矢量預測項以用於區塊。對於視圖間候選項，可使用全局視差矢量或根據深度信息將該當前區塊包裹在該共位圖像之上以確定該視圖間共位區塊的位置。該候選項也可推導為對應根據深度信息將該當前區塊包裹在共位圖像之上的矢量。
【專利說明】運動和視差矢量預測的方法及裝置以及3D視頻編碼補償
[0001]相關_請的交叉引用
[0002]本申請的權利要求要求如下申請的優先權:2011年6月15日遞交的申請號為61/497，438,懷題為「Method for motion vector prediction and disparity vectorprediction in3D video coding」的美國臨時申請案以及2011年9月19日遞交的申請號為 13/236，422,標題為「Method and Apparatus for Deriving Temporal Motion VectorPrediction]的美國非臨時申請案。在此合併參考上述臨時申請和非臨時申請案的全部內容。
【技術領域】
[0003]本發明有關於視頻編碼。更具體地，本發明有關於3D視頻編碼中的運動(motion)/視差(disparity)矢量預測以及運動/視差補償(motion/disparity compensation)的
信息共享。
【背景技術】
[0004]近年來三維(three-dimensional, 3D)電視已成為一種技術趨勢，其可為觀看者帶來震撼的觀看體驗。通過使用各種技術來致能3D。其中，相較於其他技術，多視圖(mult1-view)視頻是3D電視應用的關鍵技術。傳統視頻是ニ維(two-dimensional, 2D)媒體，僅能向觀看者提供從攝相機角度的場景的單ー視圖(single view)。然而,多視圖視頻可提供動態場景的任意視點(viewpoint)並為觀看者帶來真實的感官。
[0005]多視圖視頻是通過同時使用多個攝相機捕捉ー個場景而建立的，其中，多個攝相機位於適當的位置以使每個攝相機各從ー個視點捕捉場景。相應地，多個攝相機將捕捉多個視頻序列(video sequence)o為了提供更多的視圖，已使用更多的攝相機以產生多視圖視頻，其中該多視圖視頻具有相應於視圖的大量視頻序列。相應地，多視圖視頻需要大量的存儲空間進行存儲及/或高的帶寬進行傳輸。因此，【技術領域】中已發展了多視圖視頻編碼技術以減少傳輸帶寬所需的存儲空間。ー種直接的方法是對每個單ー視圖的視頻序列獨立地應用傳統視頻編碼技術而忽略不同視圖之間的關聯(correlation)。為了改進多視圖視頻編碼效率，典型的多視圖視頻編碼總是利用視圖間殘差(inter-view redundancy)。
[0006]圖1為3D視頻編碼的預測結構示例示意圖。縱軸表示不同的視圖，而橫軸表示捕捉圖像的不同時間點(time instance)。在每個時間點，除了捕捉每個視圖的色彩圖像(color image),也捕捉其深度圖像(depth image)。例如，對於視圖VO,色彩圖像110C、IllC及112C分別是對應時間點T0、T1及T2而捕捉的。且深度圖像110DU11D及112D分別是與色彩圖像一起對應時間點T0、Tl及T2而捕捉的。類似地，對於視圖VI，色彩圖像120CU21C及122C與相應的深度圖像120DU21D及122D分別是對應時間點T0、T1及T2而捕捉的。對於視圖V2，色彩圖像130CU31C及132C與相應的深度圖像130D、131D及132D分別是對應時間點T0、Tl及T2而捕捉的。可對每個視頻的圖像應用基於外部/內部預測(inter/intra-prediction)的傳統視頻編碼。例如，在視圖Vl中，圖像120C和122C可用於圖像121C的時間預測(temporal prediction)。此外,視圖間預測用作時間預測之外的另一預測維度。相應地，本揭露書中使用「預測維度」以表示預測軸(prediction axis)。其中，沿預測軸的視頻信息用於預測。因此，預測維度可表示視圖間預測或時間預測。例如，在時間Tl，可使用來自視圖VO的圖像IllC和來自視圖V2的圖像131C預測視圖Vl的圖像121C。此外，也可將相應於場景的深度信息包括在比特流中以提供支持用於交互應用(interactive application)。深度信息也可用於從中間視點(intermediate viewpoint)合成(synthesize)虛擬視圖。
[0007]為減少用於傳輸編碼多視圖視頻的運動矢量(motion vector, MV)的比特率(bit-rate),提出了運動跳躍模式(motion skip mode)以共享相鄰視圖的已編碼運動信息。如圖2所示，運動跳躍模式包括兩個步驟。在第一步中，標記(identify)相鄰視圖中的圖像222中的共位區塊(co-located block)212以用於當前視圖中圖像220中的當前區塊210。其中，通過確定當前視圖中的當前圖像220與相鄰視圖中的共位圖像222之間的全局視差矢量(global disparity vector)230來標記共位區塊212。在第二步中，將共位圖像222中的共位區塊212的運動信息與當前圖像220中的當前區塊210共享。例如，共位區塊212的運動矢量242和252可被當前區塊210所共享。當前區塊210的運動矢量240和250可從運動矢量242和252中推導。
[0008]高效視頻編碼(High Efficiency Video Coding,HEVC)是一種新型的國際視頻編碼標準，由視頻編碼聯合協作組(Joint Collaborative Team on Video Coding, JCT-VC)指導發展。在HEVC工作草案第三版(WD-3.0)和HEVC測試模型第三版(HM_3.0)中，與諸如MPEG-4和AVC/H.264的先前編碼標準類似，使用基於混合區塊的運動補償的的類DCT變換編石馬結構(hybrid block-based motion-compensated DCT-1ike transform codingarchitecture)。然而，HEVC中也存在引入的新特徵和編碼工具。例如,壓縮基本單元(稱為編碼單元(Coding Unit，⑶))為2Nx2N的正方形區塊，且每個⑶可遞歸式地分割為四個更小的⑶直至達到預定義最小尺寸(size)。每個⑶包括一或多個預測單元(predictionunits, I3U),其中PU用作用於預測程序的區塊單元，PU的尺寸可為2Nx2N、2NxN、Nx2N以及NxN。
[0009]為了增加HEVC中運動矢量編碼的編碼效率，運用基於運動矢量競爭(motionvector competition, MVC)的機制來從給定的運動矢量預測項(motion vectorpredictor, MVP)候選項(candidate)集合中選擇一個MVP,其中，MVP候選項集合包括空間和時間MVP。存在三種外部預測模式，即HM-3.0中包括的外部、跳躍和合併模式。外部模式根據傳輸的運動矢量(motion vectors, MV)執行運動補償預測，而跳躍和合併模式使用運動推理方法(motion inference method)以從位於共位圖像中的空間相鄰區塊(空間候選項)或時間區塊(時間候選項)中確定運動信息，其中，共位圖像為片頭部(sI ice header )中指示的列表O或列表I中的第一參考圖像。
[0010]當以跳躍或合併模式編碼時，除了所選候選項的索引之外並不傳輸運動信息。對於跳躍模式的PU，也不傳輸殘差信號。對於HM-3.0的外部模式，使用先進運動矢量預測(advanced motion vector prediction, AMVP)機制從AMVP候選項集合中選擇一個運動矢量預測項，其中AMVP候選項集合包括兩個空間MVP和一個時間MVP。根據率失真優化(rate-distortion optimization, RDO)決定,編碼器從用於外部、跳躍或合併模式的給定候選項集合中選擇最終的MVP井向解碼器傳輸所選MVP的索引。可根據時間距離(temporaldistance)對所選MVP進行線性縮放。
[0011]對於外部模式而言，參考圖像索引被直接傳輸至解碼器。然後從候選項集合中選擇MVP用於給定參考圖像索引。圖3為HM-3.0中用於外部模式的MVP候選項集合的示意圖，其中包括兩個空間MVP和一個時間MVP:
[0012]1.左預測項(來自Atl或A1的第一可用運動矢量)
[0013]2.上預測項(來自B。、B1或Bn+1的第一可用運動矢量)
[0014]3.時間預測項(來自Tbk或Tctk的第一可用運動矢量)
[0015]時間預測項是從位於共位圖像中的區塊(Tbk或Tctk)中推導的，其中，共位圖像為列表0或列表I中的第一參考圖像。從中選擇時間MVP的區塊可具有兩個MV:—個來自列表0且另一個來自列表I。根據下列規則從來自列表0或列表I的MV推導時間MVP:
[0016]1.首先選擇穿過當前圖像的MV。
[0017]2.如果兩個MV都穿過或都不穿過當前圖像，選擇與當前列表具有相同參考列表的MV。
[0018]運用基於優先級的機制推導每個空間MVP。可從不同列表和不同參考圖像中推導空間MVP。選擇的順序基於下列預定義順序:
[0019]1.來自相同參考列表和相同參考圖像的MV;
[0020]2.來自其他參考列表和相同參考圖像的MV;
[0021]3.來自相同參考列表和其他參考圖像的縮放MV ;以及
[0022]4.來自其他參考列表和其他參考圖像的縮放MV。
[0023]在HM-3.0中，如果將特定區塊編碼為合併或跳躍模式，則將MVP索引包括至比特流中以指示MVP候選項集合中的哪個MVP被用於待合併的區塊。為遵循運動信息共享的本質，每個合併的PU重用所選候選項的MV、預測方向以及參考圖像索引。預測方向指的是相應於參考圖像的時間方向，例如列表O(LO)/列表I (LI)或雙向預測(B1-prediction)。需注意，如果所選MVP為時間MVP，則參考圖像索引永遠設置為第一參考圖像。圖4為HM-3.0中用於合併模式和跳躍模式的MVP候選項集合的示意圖，其中包括四個空間MVP和ー個時間 MVP:
[0024]1.左預測項(A111)
[0025]2.上預測項(Bn)
[0026]3.時間預測項(來自Tbk或Tctk的第一可用運動矢量)
[0027]4.右上預測項(B0)
[0028]5.左下預測項(A0)
[0029]如上所示，HEVC使用先進MVP推導以減少相應於運動矢量的比特率。需要擴展先進MVP技術至3D視頻編碼以改進編碼效率。

【發明內容】

[0030]本發明提供一種推導運動矢量或運動矢量預測項或視差矢量或視差矢量預測項的方法及裝置，該運動矢量或運動矢量預測項或視差矢量或視差矢量預測項相應於跳躍模式、合併模式或外部模式。根據本發明的實施例從空間候選項、時間候選項以及視圖間候選項中選擇該運動矢量/運動矢量預測項或視差矢量/視差矢量預測項。空間候選項相應於當前圖像中該區塊的相鄰區塊；時間候選項相應於視圖間共位區塊，其中，視圖間共位區塊相應於對應該區塊的一或多個視圖間候選項。對於三維視頻編碼中的外部模式，可使用選擇的運動矢量預測項/視差矢量預測項作為候選項。對於三維視頻編碼中的合併或跳躍模式，可使用選擇的運動矢量或視差矢量作為候選項。
[0031]本發明的一個方面提出空間候選項的推導。空間候選項可用於推導運動矢量/運動矢量預測項或視差矢量/視差矢量預測項。在此情形中，對於給定預測維度和目標參考圖像，從相鄰區塊中推導該空間候選項，其中，該目標參考圖像由給定參考列表的給定參考圖像索引指示，且其中，該相鄰區塊相應於來自該給定參考列表或其他參考列表的該目標參考圖像，或者，該相鄰區塊相應於來自該給定參考列或該其他參考列表的其他參考圖像。
[0032]本發明的另一個方面提出時間候選項的推導。時間候選項可用於推導運動矢量/運動矢量預測項或視差矢量/視差矢量預測項。在此情形中，對於給定預測維度和目標參考圖像，從時間共位圖像的時間共位區塊中推導該時間候選項，其中，該目標參考圖像由給定參考列表的給定參考圖像索引指示，且其中，該時間共位區塊相應於來自該給定參考列表或其他參考列表的該目標參考圖像，或者，該時間共位區塊相應於該給定參考列表或其他參考列表中的的其他參考圖像。
[0033]在本發明的又一實施例中，從相應於對應共位區塊的視差矢量中推導深度候選項，其中通過基於深度信息將當前圖像的區塊包裹在圖像之上確定該對應共位區塊。
【專利附圖】

【附圖說明】
[0034]圖1為3D視頻編碼的預測結構示例示意圖，其中該預測包括時間和視圖間預測。
[0035]圖2為3D視頻跳躍模式的示例示意圖，其中使用全局視差矢量確定共位區塊。
[0036]圖3為HM-3.0中用於外部模式的MVP候選項集合的示例示意圖。
[0037]圖4為HM-3.0中用於合併模式的MVP候選項集合的示意圖。
[0038]圖5為根據本發明用於3D視頻編碼的MV (P)/DV (P)候選項推導的示意圖。
【具體實施方式】
[0039]在本發明中，運用各種機制以推導用於3D視頻編碼中跳躍、合併以及外部模式的MV/DV 以及 MVP/視差矢量預測項(Disparity Vector Predictor, DVP)。
[0040]圖5為用於當前區塊的MVO3VDV(P)候選項的方案示意圖，其中，MV (P)/DV (P)是從列表O (LO)或列表I (LI)中的共位圖像中的空間相鄰區塊、時間共位區塊以及視圖間共位圖像中的視圖間共位區塊中推導的。圖像510、511以及512分別對應在時間示例T0、Tl、T2來自視圖VO的圖像。類似地，圖像520、521以及522分別對應在時間示例T0、Tl、T2來自視圖Vl的圖像，且圖像530、531以及532分別對應在時間示例T0、T1、T2來自視圖V2的圖像。圖5中所示的圖像可為色彩圖像或深度圖像。所推導的候選項稱為空間候選項(空間MVP)、時間候選項(時間MVP)以及視圖間候選項(視圖間MVP)。特別地，對於時間和視圖間候選項推導，可在不同語法(syntax)層級間接推導或直接傳輸指示共位圖像是在列表O還是列表I中的信息。其中，語法層級可例如隊列參數集合(sequence parameterset, SPS)、圖像參數集合(picture parameter set, PPS)、適應性參數集合(adaptiveparameter set, APS)、片頭部(Slice header)、QJ層級、最大⑶層級或葉(leaf )層級或PU層級。而視圖間共位區塊的位置可通過使用當前區塊的相同位置或使用全局視差矢量(Global Disparity Vector,⑶V)或者根據深度信息將當前區塊投射(warp)在共位圖像之上來確定。
[0041]也可基於對應根據深度信息將當前區塊投射在共位圖像之上的矢量推導候選項。相應地，將使用深度信息推導的候選項稱為深度候選項(depth candidate)ο
[0042]然後運用基於MVC的機制以從包括空間、時間、視圖間以及深度候選項的MVP/DVP候選項集合之中選擇一個MVP/DVP。再然後將所選候選項的索引傳輸至解碼器。
[0043]當將區塊編碼為合併或跳躍模式時，將合併索引包括至比特流中以指示MVP/DVP候選項集合中的哪個MVP/DVP被用於待合併的區塊。MVP/DVP候選項包括空間候選項(空間MVP/DVP )、時間候選項(時間MVP/DVP )、視圖間候選項(視圖間MVP/DVP )以及深度候選項。通過與其他已編碼區塊共享運動信息來減少相應於運動信息的比特流，其中，每個合併的PU重用所選候選項的MV/DV、預測維度、預測方向以及參考圖像索引。將合併索引傳輸至解碼器以指示哪個候選項被選用於合併模式。
[0044]在此提出推導空間候選項的本發明的多個實施例。在空間候選項推導的一個實施例中，如果使用空間候選項預測運動矢量，從相鄰區塊的MV中推導空間候選項。類似地，如果使用空間候選項預測視差矢量，從相鄰區塊的DV中推導空間候選項。
[0045]在空間候選項推導的本發明另一個實施例中，如果使用空間候選項預測運動矢量，則從相鄰區塊的MV和DV中推導空間候選項。類似地，如果使用空間候選項預測視差矢量，則從相鄰區塊的MV和DV中推導空間候選項。
[0046]在空間候選項推導的本發明另一個實施例中，可使用根據上述實施例的的基於相鄰區塊的MV或MV/DV推導的空間候選項以推導空間候選項。當目標參考圖像標記為由給定參考列表的給定參考圖像索引指示，可從來自給定參考列表或其他參考列表中的指向目標參考圖像的MV/DV推導空間候選項。例如，如果所有相鄰區塊在給定參考列表中不具有指向目標參考的MV/DV，可將候選項推導為指向來自相鄰區塊在其他參考列表中的目標參考圖像的第一可用MV/DV。
[0047]在類似於上述實施例的又一個實施例中，可將根據上述實施例的基於相鄰區塊的MV或MV/DV推導的空間候選項更用於推導空間候選項。當目標參考圖像標記為由給定參考列表的給定參考圖像索引指不時，可從指向目標參考圖像的MV/DV或從相同給定參考列表中指向除目標參考圖像以外的參考圖像的MV/DV推導空間候選項。例如，如果所有相鄰區塊都不具有指向目標參考圖像的MV/DV，可將候選項推導為基於相鄰區塊中指向其他參考圖像的第一可用MV的縮放MV/DV。
[0048]在類似於上述實施例的另一個實施例中，可將根據上述實施例的基於相鄰區塊的MV或MV/DV推導的空間候選項更用於推導空間候選項。當目標參考圖像標記為由給定參考列表的給定參考圖像索引指示時，可根據下列順序從其他參考列表或其他參考圖像索引中推導空間候選項:
[0049]-在給定參考列表中查找指向目標參考圖像的MV/DV
[0050]-在其他參考列表中查找指向目標參考圖像的MV/DV
[0051]-在給定參考列表中查找指向其他參考圖像的MV/DV，然後根據時間距離/視圖間距離對推導的MV/DV進行縮放；以及
[0052]-在其他參考列表中查找指向其他參考圖像的MV/DV，然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。
[0053]對於合併和跳躍模式的空間候選項推導，空間候選項的預測信息包括預測維度(時間或視圖間)、預測方向(L0/LI或雙向)、參考圖像索引以及MV/DV。空間候選項的信息直接重用用於推導候選項信息的所選相鄰區塊的預測信息。如果選擇空間候選項，預測信息可直接被當前PU使用。
[0054]在此也提出推導時間候選項的本發明的多個實施例。在時間候選項推導的一個實施例中，如果時間候選項用於預測運動矢量，則從時間共位區塊的MV中推導時間候選項。類似地，如果時間候選項用於預測視差矢量，則從時間共位區塊的DV中推導時間候選項。
[0055]在時間候選項推導的另一個實施例中，如果使用時間候選項預測運動矢量，則從時間共位區塊的MV和DV中推導時間候選項。類似地，如果使用時間候選項預測視差矢量，則從時間共位區塊的MV和DV中推導時間候選項。
[0056]在時間候選項推導的本發明再一個實施例中，可更使用根據上述實施例的基於時間共位區塊的MV或MV/DV推導的時間候選項以推導時間候選項。例如，當提供參考列表和共位圖像時，可通過查找具有與給定參考列表相同的相應參考列表的MV/DV來推導MV/DV候選項。然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。又例如，當提供參考列表與共位圖像時，通過查找在時間/視圖間維度穿過當前圖像的MV/DV來推導MV/DV候選項。然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。又例如，當提供參考列表與共位圖像時，根據下列順序推導MV/DV候選項:
[0057]1.查找在時間/視圖維度穿過當前圖像的MV/DV ;以及
[0058]2.如果兩個MV/DV都穿過或都不穿過當前圖像，選擇與當前列表具有相同參考列表的MV/DV。
[0059]然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。
[0060]在時間候選項推導的再一個實施例中，可將根據上述實施例的基於時間共位區塊的MV或MV/DV推導的時間候選項更用於推導時間候選項。當提供參考列表時，可根據給定的優先級順序基於來自列表O或列表I中的共位圖像中的共位區塊的列表O或列表I的MV/DV推導MV/DV候選項。該優先級順序為預定義、間接推導或直接傳輸至解碼器。然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。優先級順序的一個實例如下所示，其中，假設當前列表為列表O:
[0061]1.來自列表I中的共位圖像的共位區塊的列表O的縮放MV/DV ；
[0062]2.來自列表O中的共位圖像的共位區塊的列表I的縮放MV/DV ；
[0063]3.來自列表O中的共位圖像的共位區塊的列表O的縮放MV/DV ；以及
[0064]4.來自列表I中的共位圖像的共位區塊的列表I的縮放MV/DV。
[0065]對於合併和跳躍模式的時間候選項推導，如果時間共位區塊的預測維度為視圖間維度，如果已選擇時間候選項，當前PU可直接使用預測信息，其中預測信息可例如預測維度(時間或視圖間)、預測方向(L0/L1或雙向)、參考圖像索引以及時間共位區塊的DV。
[0066]對於合併和跳躍模式的時間候選項推導，如果時間共位區塊的預測維度為時間維度，可直接傳輸或間接推導參考圖像索引。如果已選擇時間候選項，當前PU可直接使用預測信息，其中預測信息可例如預測維度、預測方向(L0/L1或雙向)、參考圖像索引以及時間共位區塊的MV。然後根據時間距離對推導的MV進行縮放。對於參考圖像索引的推導，可基於來自相鄰區塊的參考圖像指數(indice)的中值(median) /平均值(mean)或大多數值(majority)間接推導得到。
[0067]本發明還揭露了推導視圖間候選項的多個實施例。在視圖間候選項推導的一個實施例中，如果視圖間候候選項用於預測運動矢量，則從視圖間共位區塊的MV中推導視圖間候選項。類似地，如果視圖間候候選項用於預測視差矢量，則從視圖間共位區塊的DV中推導視圖間候選項。可使用視圖間共位圖像中的當前區塊的相同位置或使用GDV或者根據深度信息將當前區塊投射在視圖間共位圖像之上來確定視圖間維度中共位區塊的位置。
[0068]在視圖間候選項推導的另一個實施例中，如果使用視圖間候選項預測運動矢量，則從視圖間共位區塊的MV和DV中推導視圖間候選項。類似地，如果使用視圖間候選項預測視差矢量，則從視圖間共位區塊的MV和DV中推導視圖間候選項。可使用視圖間共位圖像中的當前區塊的相同位置或使用GDV或者根據深度信息將當前區塊投射在視圖間共位圖像之上來確定視圖間維度中共位區塊的位置。
[0069]在視圖間候選項推導的本發明再一個實施例中，可更使用根據上述實施例的基於視圖間共位區塊的MV或MV/DV推導的視圖間候選項以推導視圖間候選項。例如，當提供參考列表和共位圖像時，可通過查找具有與給定參考列表相同的相應參考列表的MV/DV來推導MV/DV候選項。然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。又例如，當提供參考列表與共位圖像時，可通過查找在時間/視圖間維度穿過當前圖像的MV/DV來推導MV/DV候選項。又例如，當提供參考列表與共位圖像時，根據下列順序可推導MV/DV候選項:
[0070]1.查找在時間/視圖間維度穿過當前圖像的MV/DV ;以及
[0071]2.如果兩個MV/DV都穿過或都不穿過當前圖像，選擇與當前列表具有相同參考列表的MV/DV。
[0072]然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。
[0073]又例如，當提供參考列表時，可根據給定的優先級順序基於來自列表O或列表I中的共位圖像中的共位區塊的列表O或列表I的MV/DV推導MV/DV候選項。該優先級順序為預定義、間接推導或直接傳輸至解碼器。然後根據時間距離/視圖間距離對推導的MV/DV進行縮放。優先級順序的一個實例如下所示，其中，假設當前列表為列表O:
[0074]1.列表I中的共位圖像的共位區塊的列表O的縮放MV/DV ；
[0075]2.列表O中的共位圖像的共位區塊的列表I的縮放MV/DV ；
[0076]3.列表O中的共位圖像的共位區塊的列表O的縮放MV/DV ；
[0077]4.列表I中的共位圖像的共位區塊的列表I的縮放MV/DV。
[0078]對於合併和跳躍模式的視圖間候選項推導，如果視圖間共位區塊的預測維度為時間維度，如果已選擇視圖間候選項，當前PU可直接使用預測信息，其中預測信息例如預測維度、預測方向(L0/LI或雙向)、參考圖像索引以及視圖間共位區塊的MV。
[0079]可使用視圖間共位圖像中的當前區塊的相同位置或使用GDV或者根據深度信息將當前區塊投射在視圖間共位圖像之上來確定視圖間維度中共位區塊的位置。
[0080]對於合併和跳躍模式的視圖間候選項推導，如果視圖間共位區塊的預測維度為視圖間維度，可直接傳輸或間接推導參考圖像索引。如果已選擇視圖間候選項，當前PU可直接使用預測信息，其中預測信息例如預測維度、預測方向(L0/L1或雙向)以及視圖間共位區塊的DV。然後根據視圖間距離對推導的DV進行縮放。對於參考圖像索引的推導，可基於來自相鄰區塊的參考圖像指數的中值/平均值或大多數值間接推導得到。
[0081]可使用視圖間共位圖像中的當前區塊的相同位置或使用GDV或者根據深度信息將當前區塊投射在視圖間共位圖像之上來確定視圖間維度中共位區塊的位置。
[0082]上述的根據本發明的3D視頻編碼的空間候選項推導、時間候選項推導或視圖間候選項推導的實施例可在不同硬體、軟體、或二者的組合中實現。例如，本發明的一個實施例可為集成在視頻壓縮晶片中的電路或集成在視頻壓縮軟體中的程序代碼以執行實施例中所述的處理。本發明的一個實施例也可為數位訊號處理器(DSP)上執行的程序代碼以執行實施例中所述的處理。本發明也關於由計算機處理器、DSP、微處理機或FPGA執行的多個功能。根據本發明，通過執行定義本發明所包括的特定方法的機器可讀軟體代碼或固件代碼，可配置這些處理器以執行特定任務。可在不同程序語言和不同格式或風格中開發軟體代碼或固體代碼。也可對不同目標平臺編譯軟體代碼。然而，根據本發明不同編碼格式、風格和軟體代碼語言以及為執行任務的配置代碼其他方式都不得脫離本發明的精神與範圍。
[0083]在不脫離本發明精神或基本特徵的前提下可將本發明以其他特定形式實現。將所述的實例看作僅為說明目的的各個方面，並非用於限制用途。因此，本發明的範圍由所附的權利要求決定而並非前面的描述所決定。在權利要求的含義或其等效範圍之內的任何改變都在本發明保護範圍之內。
【權利要求】
1.一種推導運動矢量或運動矢量預測項或視差矢量或視差矢量預測項的方法，該運動矢量或運動矢量預測項或視差矢量或視差矢量預測項相應於跳躍模式、合併模式或外部模式，且用於三維視頻編碼中的當前圖像的一個區塊，其中該三維視頻編碼使用的預測維度由時間預測和視圖間預測組成，該方法包括: 確定ー或多個空間候選項、一或多個時間候選項或同時確定該ー或多個空間候選項和該ー或多個時間候選項，其中該ー或多個空間候選項相應於該區塊的ー或多個相鄰區塊中的每一個；以及其中，該ー或多個時間候選項相應於該區塊的ー或多個時間共位圖像的一或多個時間共位區塊的每ー個； 確定相應於視圖間共位區塊的ー或多個視圖間候選項，其中，該視圖間共位區塊相應於對應該區塊的一或多個視圖間共位圖像； 從該ー或多個空間候選項、該ー或多個時間候選項或該ー或多個視圖間候選項中選擇該運動矢量/運動矢量預測項或視差矢量/視差矢量預測項；以及 將選擇的該運動矢量/運動矢量預測項或該視差矢量/視差矢量預測項提供給該區塊。
2.如權利要求1所述的方法，其特徵在於，選擇的該運動矢量預測項或該視差矢量預測項用於該三維視頻編碼中的該外部模式。
3.如權利要求1所述的方法，其特徵在於，選擇的該運動矢量或該視差矢量用於該三維視頻編碼中的該合併或該跳躍模式。
4.如權利要求1所述 的方法，其特徵在於，如果使用該空間候選項推導該運動矢量/運動矢量預測項，從相應於該相鄰區塊的該運動矢量或該運動矢量與該視差矢量的組合中推導該空間候選項；以及其中，如果使用該空間候選項推導該視差矢量/視差矢量預測項，從相應於該相鄰區塊的該視差矢量或該運動矢量與該視差矢量的組合中推導該空間候選項。
5.如權利要求4所述的方法，其特徵在於，對於給定預測維度和目標參考圖像，從該ー或多個相鄰區塊中推導該空間候選項，其中，該目標參考圖像由給定參考列表的給定參考圖像索引指示，且其中，該ー或多個相鄰區塊相應於來自該給定參考列表或其他參考列表的該目標參考圖像，或相應於來自該給定參考列或該其他參考列表的其他參考圖像。
6.如權利要求5所述的方法，其特徵在於，根據查找順序基於來自該ー或多個相鄰區塊中的該給定預測維度中的第一可用運動矢量/視差矢量推導該空間候選項，其中，檢查指向該給定參考列表中的該目標參考圖像的該ー或多個相鄰區塊的該運動矢量/視差矢量的可用性在檢查指向該給定參考列表中的該其他參考圖像的該ー或多個相鄰區塊的該運動矢量/視差矢量的可用性之前。
7.如權利要求5所述的方法，其特徵在於，根據查找順序基於來自該ー或多個相鄰區塊中的該給定預測維度中的第一可用運動矢量/視差矢量推導該空間候選項，其中，檢查指向該給定參考列表中的該目標參考圖像的該ー或多個相鄰區塊的該運動矢量/視差矢量的可用性在檢查指向該其他參考列表中的該目標參考圖像的該ー或多個相鄰區塊的該運動矢量/視差矢量之前。
8.如權利要求5所述的方法，其特徵在於，直接傳輸或間接推導該給定預測維度、該參考圖像索引或該給定參考列表。
9.如權利要求1所述的方法，其特徵在於，如果使用該時間候選項推導該運動矢量/運動矢量預測項，則從相應於該一或多個時間共位圖像的該ー或多個時間共位區塊的該運動矢量或該運動矢量與該視差矢量的組合中推導該時間候選項；以及其中，如果使用該時間候選項推導該視差矢量/視差矢量預測項，從相應於該一或多個時間共位圖像的該ー或多個時間共位區塊的該視差矢量或該運動矢量與該視差矢量的組合中推導該時間候選項。
10.如權利要求9所述的方法，其特徵在於，對於給定預測維度和目標參考圖像，從該一或多個時間共位圖像的該ー或多個時間共位區塊中推導該時間候選項，其中，該目標參考圖像由給定參考列表的給定參考圖像索引指示，且其中，該ー或多個時間共位圖像的該一或多個時間共位區塊相應於來自該給定參考列表或其他參考列表的該目標參考圖像，或相應於來自該給定參考列或該其他參考列表的其他參考圖像。
11.如權利要求10所述的方法，其特徵在於，根據查找順序基於來自該ー或多個時間共位區塊中的該給定預測維度中的第一可用運動矢量/視差矢量推導該時間候選項，其中，首先檢查穿過該當前圖像的該ー或多個時間共位區塊的該運動矢量/視差矢量的可用性。
12.如權利要求10所述的方法，其特徵在於，如果對應該給定參考列表的該ー或多個時間共位區塊的該運動矢量/視差矢量和對應該其他參考列表的該ー或多個時間共位區塊的該運動矢量/視差矢量都穿過或都不穿過該當前圖像，檢查對應該給定參考列表的該一或多個時間共位區塊的該運動矢量/視差矢量的可用性。
13.如權利要求10所述的方法，其特徵在於，根據查找順序基於來自該ー或多個時間共位區塊的第一可用運動矢量/視差矢量推導該時間候選項，其中，該查找順序有關於相應於該運動矢量/視差矢量的指向方向的參考列表或相應於該一或多個時間共位圖像的該參考列表。
14.如權利要求10所述的方法，其特徵在於，使用標誌以指示該ー或多個時間共位圖像中的哪ー個用 於確定該ー或多個時間共位區塊。
15.如權利要求14所述的方法，其特徵在於，該標誌在視頻比特流的序列層級、圖像層級或片層級中。
16.如權利要求10所述的方法，其特徵在於，直接傳輸或間接推導使用的該視圖間預測或該時間預測、該參考圖像索引或該給定參考列表。
17.如權利要求1所述的方法，其特徵在於，如果使用該視圖間候選項推導該運動矢量/運動矢量預測項，則從相應於該一或多個視圖間共位圖像的該ー或多個視圖間共位區塊的該運動矢量或該運動矢量與該視差矢量的組合中推導該視圖間候選項；以及其中，如果使用該視圖間候選項推導該視差矢量/視差矢量預測項，從相應於該一或多個視圖間共位圖像的該ー或多個視圖間共位區塊的該視差矢量或該運動矢量與該視差矢量的組合中推導該視圖間候選項。
18.如權利要求17所述的方法，其特徵在於，對於給定預測維度和目標參考圖像，從該一或多個視圖間共位圖像的該ー或多個視圖間共位區塊中推導該視圖間候選項，其中，該目標參考圖像由給定參考列表的給定參考圖像索引指示，且其中，該ー或多個視圖間共位圖像的該ー或多個視圖間共位區塊相應於來自該給定參考列表或其他參考列表的該目標參考圖像，或相應於來自該給定參考列或該其他參考列表的其他參考圖像。
19.如權利要求18所述的方法，其特徵在於，使用標誌以指示該ー或多個視圖間共位圖像中的哪一個用於確定該一或多個視圖間共位區塊。
20.如權利要求19所述的方法，其特徵在於，該標誌在視頻比特流的序列層級、圖像層級或片層級中。
21.如權利要求18所述的方法，其特徵在於，根據對應該視圖間共位區塊的該視圖間共位圖像與該當前圖像之間的全局視差矢量推導該視圖間共位區塊的位置。
22.如權利要求18所述的方法，其特徵在於，根據深度信息投射該當前圖像的該區塊來確定該視圖間共位區塊的位置。
23.如權利要求18所述的方法，其特徵在於，根據查找順序基於來自該一或多個視差間共位區塊中的第一可用運動矢量/視差矢量推導該視圖間候選項，其中，首先檢查穿過該給定預測維度中的該當前圖像的該一或多個視圖間共位區塊的該運動矢量/視差矢量的可用性。
24.如權利要求23所述的方法，其特徵在於，如果對應該給定參考列表的該一或多個視圖間共位區塊的該運動矢量/視差矢量和對應該其他參考列表的該一或多個視圖間共位區塊的該運動矢量/視差矢量都穿過或都不穿過該給定預測維度中的該當前圖像，檢查對應該給定參考列表的該一或多個視差間共位區塊的該運動矢量/視差矢量的可用性。
25.如權利要求18所述的方法，其特徵在於，根據查找順序基於第一可用運動矢量/視差矢量，從該一或多個視差間共位區塊中推導該視差間候選項，其中，該查找順序相關於相應於該運動矢量/視差矢量的指向方向的參考列表和相應於該一或多個視差間共位圖像的該參考列表。
26.如權利要求18所述的方法，其特徵在於，直接傳輸或間接推導該給定預測維度、該參考圖像索引或該給定參考列表。
27.如權利要求1所述的方法，其特徵在於，如果使用視圖間預測，根據深度信息將該當前圖像的該當前區塊投射至相應於該一或多個視圖間共位圖像的對應視圖間共位區塊之上來將該視圖間候選項推導為該視差矢量。
28.如權利要求1所述的方法，其特徵在於，根據該一或多個相鄰區塊的該預測維度的中值、平均值或大多數值間接推導該預測維度。
29.如權利要求1所述的方法，其特徵在於，該運動矢量指向由給定參考列表的參考圖像索引指示的目標參考圖像，且根據該一或多個相鄰區塊的多個參考圖像指示的中值、平均值或大多數值間接推導該參考圖像索引。
30.如權利要求29所述的方法，其特徵在於，根據該一或多個相鄰區塊的該多個參考列表的中值、平均值或大多數值間接推導該給定參考列表。
31.如權利要求1所述的方法，其特徵在於，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該一或多個相鄰區塊中推導該空間候選項，且如果已選擇該空間候選項，該當前圖像的該區塊直接使用該預測信息，且其中預測信息包括該預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向、參考圖像索引以及從該一或多個相鄰區塊中的一個選擇的該運動矢量或該視差矢量。
32.如權利要求1所述的方法，其特徵在於，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該一或多個時間共位區塊中推導該時間候選項，其中，如果該時間共位區塊的該預測維度為該視圖間預測，該當前圖像的該區塊直接使用該預測信息，且其中，該預測信息包括該預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向、參考圖像索引以及從該ー或多個時間共位區塊中的一個選擇的該運動矢量或該視差矢量。
33.如權利要求1所述的方法，其特徵在幹，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該ー或多個時間共位區塊中推導該時間候選項，其中，如果該時間共位區塊的該預測維度為該時間預測，直接傳輸或間接推導參考圖像索引；其中，在直接傳輸或間接推導該參考圖像索引之後，如果選擇該時間候選項，該當前圖像的該區塊直接使用預測信息，且其中，該預測信息包括該預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向以及從該ー或多個時間共位區塊中的一個選擇的該運動矢量或該視差矢量，且其中根據時間距離對選擇的該運動矢量或該視差矢量進行縮放。
34.如權利要求1所述的方法，其特徵在幹，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該ー或多個視圖間共位區塊中推導該視圖間候選項，其中，如果該視圖間共位區塊的該預測維度為時間預測，該當前圖像的該區塊直接使用該預測信息，其中，該預測信息包括該預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向、參考圖像索引以及從該ー或多個視圖間共位區塊中的一個選擇的該運動矢量或該視差矢量。
35.如權利要求1所述的方法，其特徵在幹，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該ー或多個視圖間共位區塊中推導該視圖間候選項，其中，如果該視圖間共位區塊的該預測維度為視圖間預測，直接傳輸或間接推導參考圖像索引；其中，在直接傳輸或間接推導該參考圖像索引之後，如果選擇該視圖間候選項，該當前圖像的該區塊直接使用預測信息，且其中，該預測信息包括該預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向以及從該ー或多個視圖間共位區塊中的一個選擇的該運動矢量或該視差矢量，且其中根據視圖間距離對選擇的該運動矢量或該視差矢量進行縮放。
36.如權利要求1所述的方法，其特徵在於，更包括根據對應該區塊的深度信息基於對應將該當前區塊投射在一或多個視圖間共位圖像的矢量確定ー或多個推導的深度候選項，且從該一或多個空間候選項、該ー或多個時間候選項、該ー或多個視圖間候選項以及該ー或多個深度候選項中選擇該運動矢量或運動矢量預測項或視差矢量或視差矢量預測項。·
37.一種推導運動矢量或運動矢量預測項或視差矢量或視差矢量預測項的裝置，該運動矢量或運動矢量預測項或視差矢量或視差矢量預測項相應於跳躍模式、合併模式或外部模式，且用於三維視頻編碼中的當前圖像的一個區塊，其中該三維視頻編碼使用的預測維度由時間預測和視圖間預測組成，該裝置包括: 確定ー或多個空間候選項、一或多個時間候選項或同時確定該ー或多個空間候選項和該ー或多個時間候選項的單兀，其中該ー或多個空間候選項相應於該區塊的ー或多個相鄰區塊中的每一個；以及其中，該ー或多個時間候選項相應於該區塊的ー或多個時間共位圖像的一或多個時間共位區塊的每ー個； 確定相應於視圖間共位區塊的ー或多個視圖間候選項的單元，其中，該視圖間共位區塊相應於對應該區塊的一或多個視圖間共位圖像； 從該ー或多個空間候選項、該ー或多個時間候選項或該ー或多個視圖間候選項中選擇該運動矢量/運動矢量預測項或視差矢量/視差矢量預測項的単元；以及 將選擇的該運動矢量/運動矢量預測項或該視差矢量/視差矢量預測項提供給該區塊的單元。
38.如權利要求37所述的裝置，其特徵在於，如果使用該空間候選項推導該運動矢量/運動矢量預測項，從相應於該相鄰區塊的該運動矢量或該運動矢量與該視差矢量的組合中推導該空間候選項；以及其中，如果使用該空間候選項推導該視差矢量/視差矢量預測項，從相應於該相鄰區塊的該視差矢量或該運動矢量與該視差矢量的組合中推導該空間候選項。
39.如權利要求37所述的裝置，其特徵在於，如果使用該時間候選項推導該運動矢量/運動矢量預測項，則從相應於該一或多個時間共位圖像的該一或多個時間共位區塊的該運動矢量或該運動矢量與該視差矢量的組合中推導該時間候選項；以及其中，如果使用該時間候選項推導該視差矢量/視差矢量預測項，從相應於該一或多個時間共位圖像的該一或多個時間共位區塊的該視差矢量或該運動矢量與該視差矢量的組合中推導該時間候選項。
40.如權利要求37所述的裝置，其特徵在於，如果使用該視圖間候選項推導該運動矢量/運動矢量預測項，則從相應於該一或多個視圖間共位圖像的該一或多個視圖間共位區塊的該運動矢量或該運動矢量與該視差矢量的組合中推導該視圖間候選項；以及其中，如果使用該視圖間候選項推導該視差矢量/視差矢量預測項，從相應於該一或多個視圖間共位圖像的該一或多個視圖間共位區塊的該視差矢量或該運動矢量與該視差矢量的組合中推導該視圖間候選項。
41.如權利要求37所述的裝置，其特徵在於，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該一或多個相鄰區塊中推導該空間候選項，且如果已選擇該空間候選項，該當前圖像的該區塊直接使用該預測信息，且其中預測信息包括預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向、參考圖像索引以及從該一或多個相鄰區塊中的一個選擇的該運動矢量或該視差矢量。
42.如權利要求37所述的裝置，其特徵在於，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該一或多個時間共位區塊中推導該時間候選項，其中，如果該時間共位區塊的該預測維度為該 視圖間預測，該當前圖像的該區塊直接使用該預測信息，且其中，該預測信息包括該預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向、參考圖像索引以及從該一或多個時間共位區塊中的一個選擇的該運動矢量或該視差矢量。
43.如權利要求37所述的裝置，其特徵在於，該運動矢量或該視差矢量相應於該合併模式或該跳躍模式，其中從該一或多個視圖間共位區塊中推導該視圖間候選項，其中，如果該視圖間共位區塊的該預測維度為時間預測，該當前圖像的該區塊可直接使用預測信息，其中，該預測信息包括預測維度、由參考列表O、參考列表1和雙向預測組成的預測方向、參考圖像索引以及從該一或多個視圖間共位區塊中的一個選擇的該運動矢量或該視差矢量。
【文檔編號】H04N19/597GK103597837SQ201280029342
【公開日】2014年2月19日 申請日期:2012年6月8日 優先權日:2011年6月15日
【發明者】林建良, 陳渏紋, 蔡玉寶, 黃毓文, 雷少民 申請人:聯發科技股份有限公司