移除運動向量預測子中冗餘的方法與裝置製造方法

2023-10-11 05:30:59

移除運動向量預測子中冗餘的方法與裝置製造方法
【專利摘要】本發明揭露一種在幀間、合併或跳過模式下推導當前塊的運動向量預測子的方法和裝置。在依據本發明的實施中，冗餘運動向量預測子候選項可根據基於非運動向量值的標準來決定。隨後，從運動向量預測子候選項集合中移除冗餘運動向量預測子候選項。在依據本發明的另一實施例中，可將運動識別碼指派給運動向量預測子候選項以追蹤與運動向量預測子候選項對應的運動向量。其中，與先前運動向量預測子具有相同運動識別碼的運動向量預測子候選項為冗餘，且可從運動向量預測子候選項集合中移除。在依據本發明的又一實施例中，冗餘運動向量預測子候選項對應於導致第二2N×N或N×2N預測單元被合併至2N×2N預測單元的一個或多個運動向量預測子候選項，且此冗餘運動向量預測子候選項可從運動向量預測子候選項集合中移除。
【專利說明】移除運動向量預測子中冗餘的方法與裝置
[0001]相關申請的交叉引用
[0002]本申請要求如下申請的優先權:2011年6月24日遞交的申請號為61/500，903，標題為「Method for removing redundancy in motion vector predictors」的美國臨時案，以及2011年11月22日遞交的申請號為61/562，560，標題為「Method for reordering orremoving the MVP located within previous PUs for Merge mode」的美國臨時案。在此合併參考上述申請案的全部內容。
【技術領域】
[0003]本發明系有關於視頻編碼，且特別地，本發明系有關於與用於運動向量編碼的運動向量預測子推導相關的編碼技術。
【背景技術】
[0004]在視頻編碼系統中，可利用空間與時間預測來減少空間與時間冗餘(spatial andtemporal redundancy),從而減少被傳送的信息。所述空間與時間預測可分別利用同一圖像和參考圖像的解碼像素來形成當前欲編碼像素的預測。在傳統的編碼系統中，可能必須傳送對應於空間與時間預測的邊界信息(side information),這將佔用壓縮視頻數據的一些帶寬。而用於時間預測的運動向量的傳送可能需要佔用壓縮視頻數據的很大一部分(noticeable portion),在低比特率(low_bitrate)的應用中尤為如此。因此,本領域中廣泛使用了運動向量預測，以減少與運動向量編碼對應的比特率。
[0005]高效視頻編碼(High-Efficiency Video coding, HEVC)是由視頻編碼聯合組(Joint Collaborative Team on Video Coding,以下簡稱 JCT-VC)開發的一種新的國際編碼標準。HEVC是基於混合型分塊運動補償的類餘弦變換的變換編碼架構(hybridblock-based motion-compensated DCT-1ike transform coding architecture)。其用於壓縮的基本單元是一個2NX2N的方塊，被稱為編碼單元(Coding Unit,以下簡稱⑶)，且每一個⑶皆可被遞歸地分割為4個更小的⑶，直到產生預設的最小尺寸。每一個⑶可包含一個或多個預測單元(Prediction Units，以下簡稱PU)。PU的尺寸可以是2NX2N、2NXN、2NXnU、2NXnD、NX2N、nLX2N、nRX2N、或者NXN，其中 2NXN、2NXnU、2NXnD 以及NX2N、nLX2N、nRX2N分別對應於具有對稱或不對稱I3U尺寸分割的2NX2N尺寸PU的水平和垂直分割。
[0006]為進一步增強HEVC中運動向量編碼的編碼效率，基於運動向量競爭的機制被用於從既定運動向量預測子(Motion Vector Predictor,以下簡稱MVP)集合中選擇一個運動向量預測子(MVP)，所述MVP集合包含空間及時間MVP。在HEVC測試模型版本3.0(HEVC test model version3.0,以下簡稱ΗΜ_3.0)中，巾貞間預測模式包含巾貞間(Inter)、跳過(Skip)以及合併(Merge)三種。巾貞間模式系利用可與MVP—起使用的傳輸的運動向量差(Motion Vector Difference,以下簡稱MVD)來執行運動補償預測，以推導運動向量(Motion Vectors,以下簡稱MV)。而跳過及合併模式則利用運動推理方法(MV=MVP+MVD,其中MVD為O)以從同位圖像(co-located picture)中的空間相鄰塊或時間塊來獲取運動信息。上述同位圖像為列表O (IistO)或列表I (Iistl)中的第一參考圖像，並於條帶頭(slice header)中通知。
[0007]當PU在跳過或者合併模式下編碼時，除了所選候選項的索引之外，並不傳送運動信息。至於跳過的PU (skip PU),則連殘差信號(residual signal)也可以省略。對於HM-3.0中的巾貞間模式來說,先進運動向量預測(Advanced Motion Vector Prediction,以下簡稱AMVP)機制被用於從包含四個空間MVP以及一個時間MVP的AMVP候選項集合中選擇一個MVP。而對於HM-3.0中的合併和跳過模式來說，合併機制則被用於從包含四個空間MVP及一個時間MVP的合併候選項集合中選擇一個MVP。
[0008]對幀間模式而言，參考圖像索引被明確地傳送到解碼器。隨後，可從用於既定參考圖像索引的候選項集合中選擇MVP。圖1是依據HM-3.0用於幀間模式的MVP候選項集合的示意圖，其中MVP候選項集合包含兩個空間MVP和一個時間MVP:
[0009]1、左側預測子(來自Atl及A1的第一可用MV)；
[0010]2、頂部預測子(來自B(l、B1&Bn+1的第一可用MV);以及
[0011]3、時間預測子(來自Tbk及Tctk的第一可用MV)。
[0012]上述時間預測子是從同位圖像中的塊(Tbk或Tctk)中推導出來的，而所述的同位圖像則是列表O或列表I中的第一參考圖像。與所述時間預測子(MVP)相關的塊可具有兩個MV: — MV來自列表0，一個MV來自列表I，而所述時間MVP則依據下述規則從來自列表O或列表I的MV推導出來:
[0013]1、穿過(cross)當前圖像的MV首先被選中；以及
[0014]2、若兩個MV皆穿過或皆不穿過當前圖像，則具有與當前列表相同的參考列表的MV被選中。
[0015]在HM-3.0中，若特定塊是在合併模式下被編碼，則MVP索引會被傳送以表明MVP候選項集合中的哪一 MVP被用於此欲合併的塊。為遵循運動信息共享的精神，每一合併的PU (merged PU)可重用被選候選項的MV、預測方向以及參考圖像索引。請注意，若被選的MVP為時間MVP，則參考圖形索引總是被設定為第一參考圖像。圖2是依據HM-3.0用於合併模式的MVP候選項集合的示意圖，其中MVP候選項集合包含四個空間MVP和一個時間MVP:
[0016]1、左側預測子(A111);
[0017]2、頂部預測子(Bn);
[0018]3、時間預測子(來自Tbk及Tctk的第一可用MV)；
[0019]4、右上方預測子(B。)；以及
[0020]5、左下方預測子(A0)。
[0021]在HM-3.0的幀間模式和合併模式中，為了避免出現空的候選項集合而採用了一種程序(process)。當在幀間或合併模式下未推測出候選項時，此程序可以將具有O值的MV作為候選項添加至候選項集合。
[0022]基於率失真優化(Rate-Distortion Optimization,以下簡稱RD0)決策,編碼器可從用於幀間、跳過、或合併模式的既定MVP候選項集合中選擇一個最終MVP，並在移除冗餘候選項之後將所選MVP的索引傳送至解碼器。在AMVP機制中，MVP候選項集合包含時間運動預測子以提升編碼效率。然而，利用時間運動預測的做法也有缺點:任何與時間運動預測子相關的解析錯誤(parsing error)都可能會導致嚴重的錯誤傳播(error propagation)。當先前圖像的運動向量不能被正確解碼時，將會出現編碼器端的候選項集合與解碼器端的候選項集合失配的狀況。這種失配將會導致最佳MVP候選項的索引的解析錯誤，以及導致當前圖像的剩餘部分被錯誤地解析或解碼。此外，這種解析錯誤也會影響到容許時間MVP候選項的後續幀間圖像。
[0023]HEVC中開發了一種壓縮用於時間MVP的編碼圖像中MV信息相關的存儲器(memory)的程序(process)。這種用於MV信息的存儲器壓縮程序在HEVC中被稱為運動數據存儲縮減(Motion Data Storage Reduction,以下簡稱MDSR)。在這種方法中，MDSR單兀中一個塊的MV數據可被用作整個MDSR單元的代表(representative) MV數據，而此MDSR單元中其他塊的MV數據可被忽略。
[0024]前文所述的AMVP機制是從相同圖像的相鄰塊以及參考圖像的同位塊中推導MVP候選項。利用這些MVP候選項的可用性,可獲得用於潛在(underlying)MV的更佳預測(即，更小MVD)。然而，在AMVP的過程中，MVP在某種環境下可能會成為冗餘。因此，需要移除運動向量預測中的冗餘以降低複雜度及/或提升效能。

【發明內容】

[0025]本發明揭露一種在幀間、合併或跳過模式下推導當前塊的運動向量預測子的方法和裝置。在依據本發明的實施中，冗餘運動向量預測子候選項可根據基於非運動向量值的標準來決定。隨後，從運動向量預測子候選項集合中移除冗餘運動向量預測子候選項。在一個實施例中，相同處理單元或相同運動數據存儲縮減單元中的運動向量預測子候選項被確定為冗餘。不同處理單元中的運動向量預測子候選項，且所述不同處理單元被合併，則所述運動向量預測子候選項也可被確定為冗餘。在另一實施例中，若第一運動向量預測子候選項依據第二運動向量預測子候選項及O值的運動向量差且無縮放地被編碼為幀間模式，則運動向量預測子候選項為冗餘。在又一實施例中，若一個或多個運動向量預測子候選項導致第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N、或者nRX2N處理單元被合併至2NX2N處理單元，則所述一個或多個運動向量預測子候選項為冗餘。類似地，若一個或多個運動向量預測子候選項導致第四NXN處理單元被合併至2NXN、NX2N、2NXnU、2NXnD、nLX2N、nRX2N或者2NX2N處理單元，則所述一個或多個運動向量預測子候選項被確定為冗餘。在另一實施例中，對於第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N、或者nRX2N處理單元而言，若一個或多個運動向量預測子候選項位於先前(第一)2NXN、2NXnU、2NXnD、NX2N、nLX2N、或者nRX2N處理單元，則所述一個或多個運動向量預測子候選項為冗餘。
[0026]在依據本發明的其他實施例中，運動識別碼可被分配給運動向量預測子侯選項以追蹤與運動向量預測子侯選項相關的各個運動向量。具有與先前運動向量預測子侯選項相同的運動識別碼的運動向量預測子侯選項為冗餘，且可從運動向量預測子侯選項集合中移除。在幀間模式下，特別的運動識別碼被分配給新的運動向量。同樣地，特別的運動識別碼也被分配給與塊相關的新的運動向量，其中所述塊與具有新的時間運動向量預測子的另一塊合併。對於與塊相關的運動向量預測子侯選項來說(所述塊與各自的塊合併，且所述各自的塊與來自相同運動數據存儲縮減單元且利用相同縮放因子的時間運動向量預測子相關)，相同的運動識別碼被分配給與塊相關的運動向量。在合併模式下，特別的運動識別碼被分配給與運動向量預測子侯選項合併的運動向量，所述運動向量預測子侯選項具有依據程序產生的O值的運動向量以避免空的候選項集合。在幀間模式下，若運動向量差為O，特別的運動識別碼也被分配給通過運動向量預測子侯選項預測的運動向量，所述運動向量預測子侯選項具有依據程序產生的O值的運動向量以避免空的候選項集合。用於在合併/跳過模式下與第一塊相關的運動向量的運動識別碼可從第一塊合併的第二塊繼承。用於與在幀間模式下編碼且具有O值運動向量預測子的塊相關的運動識別碼可從相鄰塊繼承，其中所述相鄰塊具有相關的運動向量，且相關的運動向量與基於所述運動向量和運動向量差並經過縮放推導出的運動向量預測子相同。對於合併模式下的第二 2NXN、2NXnU、2NXnD、NX 2N、nLX2N或nRX2N的處理單元來說，與第一處理單元具有相同運動識別碼的運動向量預測子侯選項可被移除，以避免仿效2NX2N的處理單元合併。類似地，對於合併模式下的第四NXN的處理單元來說，具有與一個或多個其他NXN處理單元相同的運動識別碼且會導致第四NXN的處理單元被合併至2NXN、NX2N、2NXnU、2NXnD、nLX2N、nRX2N或2NX2N的處理單元的運動向量預測子候選項可被移除。用以表明運動識別碼是否被用於運動向量預測子候選項的語法元素可被整合至序列、圖像或條帶頭。
[0027]在依據本發明的又一實施例中，所述方法包含:決定用於第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX2N處理單元的相鄰塊，其中由與所述相鄰塊相關的運動向量預測子候選項產生運動向量預測子候選項集合；從運動向量預測子候選項集合中移除一個或多個冗餘運動向量預測子候選項，其中所述一個或多個運動向量預測子候選項對應於導致第二 2N X N、2N X nU、2N X nD、N X 2N、nL X 2N或nR X 2N處理單元被合併至2N X 2N處理單元的一個或多個運動向量預測子候選項；以及基於移除了所述一個或多個冗餘運動向量預測子候選項的運動向量預測子候選項集合，決定用於所述2NX N、2NX nU、2NX nD、NX 2N、nLX2N或nRX2N處理單元的運動向量預測子。
【專利附圖】

【附圖說明】
[0028]圖1是依據HM-3.0用於推導幀間及跳過模式下空間/時間MVP候選項的相鄰塊的配置示意圖。
[0029]圖2是依據HM-3.0用於推導合併模式下空間/時間MVP候選項的相鄰塊的配置示意圖。
[0030]圖3是相同PU中MVP候選項導致的冗餘MVP候選項範例的示意圖。
[0031 ] 圖4是MDSR導致的冗餘MVP候選項範例的示意圖。
[0032]圖5是合併與MVP候選項相關的塊導致的冗餘MVP候選項範例的示意圖。
[0033]圖6是幀間模式導致的冗餘MVP候選項範例的示意圖，其中一個塊在幀間模式下的編碼是利用未縮放的其他塊的MV以及O值的MVD。
[0034]圖7A-7H 是在 2NXN、NX 2N、2NXnU、2NXnD、nLX 2N、或者 nRX 2N 合併模式下冗餘MVP候選項範例的示意圖。
[0035]圖8A-8C是NXN合併模式下冗餘MVP候選項範例的示意圖。
[0036]圖9是不同類型冗餘的組合導致的冗餘MVP候選項範例的示意圖。
[0037]圖10是對應於塊的MVP候選項的運動識別碼分配的示意圖，其中所述塊與各自具有從相同MDSR單元推導出的運動信息的塊合併。[0038]圖1lAUlB是通過運動信息共享實現的運動識別碼繼承的範例的示意圖。
【具體實施方式】
[0039]如前文所述，AMVP機制是從相同圖像的相鄰塊以及參考圖像的同位塊中推導MVP候選項。AMVP的效率取決於MVP候選項的可用性(avai Iabi I ity )及MVP候選項的品質(SP，MVP的準確性)。從另一方面來說，依據HM-3.0中描述的AMVP程序，MVP候選項在特定環境下可能成為冗餘。冗餘的MVP候選項可被移除以降低複雜度及/或提升效能。相應地，下文所揭露的本發明的實施例描述了從MVP候選項中移除冗餘，其中所述冗餘的識別無需比較MVP候選項的MV值與先前MVP。
[0040]本發明的一個實施例可識別(identify)並移除相同PU中的冗餘MVP候選項。若MVP候選項集合中有多於一個的MVP候選項位於相同的I3U中，則位於相同I3U中的所述多個MVP候選項將被識別。從而，這些冗餘MVP候選項可被移除而無需與其MV進行比較。圖3是依據HM-3.0的合併模式下冗餘MVP候選項範例的示意圖。如圖3所示，MVP候選項來自包含當前PU310周圍的塊A、B、C、以及D的空間相鄰塊與同位圖像中的時間塊H。與塊A、B、C、D以及H相關的MVP候選項分別以MVP A、MVP B、MVP C、MVP D以及MVP H表示。圖3描述了當前ro310上方的PU320擴展到當前PU310右上方的狀況。由於MVP B和MVP C位於相同的PU，因此MVP C為冗餘且可被移除而無需將塊C的MV與先前MVP進行比較。可選地，MVP B可被移除而無需將塊B的MV與先前MVP進行比較。在依據HM-3.0的傳統方法中，塊C的MV必須與先前MVP進行比較以決定MV與先前MVP是否具有相同的值。若值相同，則MVP C將被視為冗餘而從MVP候選項集合中移除。然而，在依據本發明實施的系統中，冗餘MVP候選項是基於多於一個的MVP候選項位於相同的事實而決定。因此，其無需估測(evaluating)潛在(underlying) MVP候選項的MV (例如比較MV的值)。雖然此處是以用於依據HM-3.0的合併模式的相鄰塊的配置作為範例，然而本發明用於決定並移除相同中MVP候選項冗餘的實施方式亦可應用於其他相鄰塊配置。舉例來說，空間候選項亦可基於圖1所示的相鄰塊的配置。此外，雖然圖3所示為相同的PU位於當前PU上方的實施例，然而，所述相同的PU亦可位於當前的左側。上述實施方式亦可應用於幀間模式及跳過模式的冗餘識別和移除。
[0041]本發明的一個實施例可識別並移除由運動數據存儲縮減(Motion Data StorageReduction,以下簡稱MDSR)導致的冗餘MVP候選項。在HM-3.0中，時間預測子是從位於同位圖像中的塊推導出，且MV是依據圖序計數(Picture Order Count,以下簡稱P0C)進行縮放。當MDSR處理被應用時，其將會導致一個或多個MVP候選項變成冗餘。圖4是MDSR導致的冗餘MVP候選項範例的示意圖，其中MVP H』與MVP H位於相同的MDSR單元中，兩者具有相同縮放因子且都是從相同參考圖像列表的MV推導出。若相鄰PU420與時間MVP H』合併或者選擇具有O值MVD的MVP H』，則MVP B將會與MVP H』相同。另一方面，由於位於相同MDSR，MVP H』與MVP H是相同的。從而，MVP B與MVP H是相同的。由於MVP B與MVPH皆屬於當前I3MlO的MVP候選項集合，因此，MVP B與MVP H中的一個為冗餘且可從MVP候選項集合中移除。上述相鄰塊配置(圖4所示的相鄰及MDSR)僅僅為了描述本發明的一個實施例，本發明也可以其他相鄰塊配置、其他相鄰PU排列及其他MDSR來實施。舉例來說，所述相鄰I3U亦可位於當前I3U的左側，所述MDSR可對應於當前I3U周圍其他邊界附近的塊。
[0042]本發明的一個實施例可識別並移除由塊合併導致的冗餘MVP候選項。若多個MVP候選項位於不同的PU，且這些被合併到一起，則這些MVP候選項將會彼此相同，從而冗餘MVP候選項可被移除。圖5是PU塊合併的示意圖，其中以陰影塊表示的塊510至550被合併到一起。由於MVP A和MVP C因合併操作而彼此相同，則這兩個MVP候選項中的一個為冗餘且可被移除。再次說明，所述相鄰塊配置及合併的PU僅僅為了描述本發明的一個實施例，本領域的技術人員亦可利用其他相鄰塊配置以及其他合併的PU來實施本發明。
[0043]本發明的一個實施例可識別並移除由與O值MVD相關的幀間模式導致的冗餘MVP候選項。若多個MVP候選項位於不同的PU，且其中一個MVP候選項是依據幀間模式而通過具有O值MVD的其他MVP候選項預測，則這些MVP候選項將會彼此相同且所述冗餘可被移除。圖6是與O值MVD相關的幀間模式導致的冗餘MVP候選項範例的示意圖。利用無縮放的MVP B以及O值MVD，MVP A的PU作為幀間模式被編碼。對於當前PU來說，MVP A與MVPB是相同的。因此，MVP A與MVP B中的一個為冗餘且可被移除。本領域中的技術人員亦可利用其他相鄰塊配置來實施本發明。
[0044]本發明的一個實施例可識別並移除冗餘MVP候選項以避免合併仿效(imitationof Merge)。在HEVC中，依據率失真優化處理，2NX 2N的PU可被分割成2NXN、2NXnU、2NXnD、NX 2N、nLX 2N 或 nRX 2N 的 PU，其中 2NXnU、2NXnD、nLX 2N 以及 nRX 2N 為非對稱運動分割(Asymmetrical Motion Partition,以下簡稱 AMP)的 PU。若第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N 或 nRX2N 的 PU 與第一 I3U 合併，則此兩個 2NXN、2NXnU、2NXnD、NX2N、nLX2N*nRX2N的I3U將被合併回一個2NX 2N的PU。因此，所述第二 I3U應避免與各自的(respective) 2NXN、2NXnU、2NXnD、NX 2N、nLX 2N 或 nRX 2N 的合併模式，以使兩個 2NXN、2NXnU、2NXnD、NX2N、nLX2N 或 nRX2N 的 PU 不會被合併回一個 2NX2N 的 PU。這種來自一個原始PU的多個分割的PU被合併回去以形成所述原始PU的狀況被稱為合併仿效。因此，當前PU的、可導致當前I3U與其他PU合併從而引發合併仿效的MVP候選項被認定為冗餘，且可被移除而無需比較MV值。舉例來說，對於2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX 2N合併模式的第二 PU來說，位於先前(第一)PU且自然會導致此2NXN、2NXnU、2NXnD、NX 2N、nLX 2N或nRX 2N的PU被合併成2NX 2N的PU的這些MVP可被移除而無需比較MV的值。圖7A與圖7B分別為2NXN、NX 2N合併仿效導致的冗餘MVP候選項範例的示意圖。如圖7A所示，對於2NXN合併模式下的第二 2NXN的PU來說，MVP B可被移除以避免所述的重複(duplication)。如圖7A所示，對於NX2N合併模式下的第二NX2N的PU來說，MVP A可被移除以避免所述的合併仿效。圖7A和圖7B中用於決定空間/時間MVP的相鄰塊配置僅僅是為了說明的目的，所述系統可採用其他相鄰塊配置，而根據本發明的由合併仿效導致MVP冗餘亦可被識別並移除。舉例來說，圖1亦可用於合併模式。所述合併仿效導致的冗餘亦可如圖7C至7H所示而被決定。在圖7C中，用於2NXN的PU2的MVPB1來自2NXN的PU1，2NXN的PUl與PU2合併將會導致合併仿效。因此，MVP B1被確認為冗餘且可從MVP候選項集合中移除。類似地，圖7D中的MVP A1、圖7E中的MVP B1、圖7F中的MVP A1、圖7G中的MVP B1以及圖7H中的MVP A1被確認為冗餘且可分別從MVP候選項集合中移除。
[0045]對於NXN合併模式下的第四PU來說，將會導致NXN的PU被合併成一個2NX 2N、2NXN、2NXnU、2NXnD、nLX2N、nRX2N或NX2N的PU的這些MVP也可被移除而無需比較MV的值。圖8A至圖8C描述了移除冗餘MVP候選項以避免NXN合併仿效的範例的示意圖，如圖8A所示，若PUl和PU3合併，則依據本發明，PU4的MVP B可從MVP候選項集合中移除以避免NXN的PU的合併仿效。如圖8B所示，若PUl和PU2合併，則依據本發明，PU3的MVP A可從MVP候選項集合中移除以避免2NXN的PU的合併仿效。如圖8C所示，若PU1、PU2和PU3合併，則依據本發明，MVP A和MVP B可從MVP候選項集合中移除以避免2NX 2N的I3U的合併仿效。
[0046]本發明的一個實施例可識別並移除不同類型可引發冗餘的程序的組合導致的冗餘MVP候選項或多個MVP候選項。所述冗餘可由兩個程序的相互作用引發。在圖9所示的範例中，MVP H』與MVP H位於相同的MDSR且具有相同的縮放因子，因此，MVP H』或MVP H可被移除。在圖10所示的範例中，MVP H被移除。進一步來說，可假設第一 2NXN的PU與MVP H』合併。為了避免2NX2N的PU的合併仿效，用於第二 PU的MVP B被移除。雖然此處以2NXN的PU合併與MDSR的組合為例說明MVP冗餘，然而當前發明亦可實施為兩個或多個程序的其他組合，其中所述程序的組合可引發MVP冗餘。因此，以上所述的導致MVP候選項中冗餘的實例(case)可與另一實例相互組合。
[0047]本發明的一個實施例可利用運動識別碼(motion ID,以下簡稱運動ID)來識別並移除冗餘MVP候選項。本實施例利用運動ID來追蹤(track)從解碼的PU傳送到當前I3U的運動信息的繼承過程(inheritance process),以便追蹤(follow) MV的軌跡(trail)。所述運動ID可被使用以幫助識別MVP候選項中的冗餘而無需比較MV的值。此外，運動ID也有益於減輕解析錯誤(parsing error)和錯誤傳播(error propagation)。為了較少用於編碼運動向量預測子(MVP)索引的比特，冗餘MVP被從MVP候選項集合中移除。然而，這樣可能會導致引發嚴重錯誤傳播的解析錯誤。當先前圖像的運動向量(MV)不能正確解碼時，將會出現編碼器端的候選項集合與解碼器端的候選項集合失配的狀況，而這種失配將會導致最佳MVP候選項的索引的解析錯誤。從而，當前圖像的剩餘部分無法被正確地解析或解碼。此外，這種解析錯誤也會影響到容許時間MVP候選項的後續幀間圖像。更糟糕的是，這種解析錯誤將會影響到同樣使用時間MVP的後續幀間圖像。因此，運動ID被提出用來描述從解碼的PU傳送到當前的運動信息的繼承過程，以追蹤MV的軌跡。在幀間模式下產生的每一個新的MV都被分配了一個特別的運動ID，此特別的運動ID可從合併模式或跳過模式繼承。通過比較運動ID，候選項集合中具有與先前MVP相同運動ID的MVP可被移除。即使先前圖像的MV沒有被正確地解碼，由於運動ID本來就不依賴於運動向量的值，因此所述冗餘的決定也不會受到影響。
[0048]特別的運動ID可被分配給幀間模式或合併模式下與塊相關的每一個新的MV (新的MV=MVP+MVD)。對於合併模式來說，當一個塊與具有新的時間MVP的時間塊合併時，會出現新的W。若兩個PU與各自的同位塊合併，其中與所述同位塊相關的時間MVP位於相同的MDSR單元內，且基於相同的目標參考圖像和相同的圖像參考列表，相同的運動ID會被分配給與所述兩個PU相關的MV。圖10是冗餘MVP候選項存在狀況下運動ID分配的示意圖。其中上部I3U和當前PU分別與時間塊H』和H合併。由於MVP H』和MVP H都是從相同MDSR單元中的同位塊推導出的，因此，相同的運動ID (B卩，MIDh)被分配給上部PU以及當前W。在另一實施例中，特別的運動ID被分配給通過具有O值MV的MVP候選項合併或預測的MV，其中O值MV是由HEVC中避免空的MVP候選項集合的程序產生。
[0049]在合併、跳過和幀間模式下，運動ID可被繼承。在合併模式下，MVP索引被發送以表明MVP候選項集合中的哪一 MVP候選項被用於欲合併的當前塊。為了遵循運動信息共享的精神，每一合併的PU可重用被選候選項的MV、預測方向以及參考圖像索引。圖1lA是合併模式的運動ID繼承的範例的示意圖。如圖所示，當前PU與MVP候選項B合併且繼承了所選MVP候選項的運動ID (BPjMIDb)0圖1lB是合併模式的運動ID繼承的範例的示意圖。如圖所示，當MVD等於O且推導出的MVP正好與相鄰塊的推導出的MVP (無縮放)相等時，運動ID (S卩，MIDb)可依據幀間模式而被繼承。在應用了運動ID的系統中，與先前MVP具有相同運動ID的MVP可被移除而無需比較MV的值。
[0050]本發明的一個實施例可利用運動ID識別並移除冗餘MVP候選項或多個冗餘候選項以避免合併仿效。對於2NXN或NX2N的合併模式下的第二 PU來說，具有與第一 PU中MVP相同運動ID的MVP可被移除而無需比較MV的值。圖7A至圖7D所示的2N X N或N X 2N合併模式下的第二 PU的MVP冗餘可用來說明利用運動ID來識別並移除冗餘以避免合併仿效的狀況。對於NXN合併模式下的第四PU來說，依據運動ID，將會導致NXN的PU被合併成2N X 2N、2N X N或N X 2N的PU之一的這些MVP也可被移除。上文已詳述了移除冗餘以避免由NXN合併模式導致的仿效，且圖8A到圖SC說明了對應於各種NXN合併模式的狀況。本實施例中使用了一種替代的方案來移除冗餘，其中所述冗餘是依據運動ID而確定。再次說明，圖8A到圖8C僅為了描述對應於各種NXN合併模式的狀況，其中當前PU為PU4。在圖8A中，若PUl與PU3具有相同的運動ID，則具有與PU2相同運動ID的MVP候選項可被移除以避免NX 2N的合併仿效。在圖8B中，若PUl與PU2的運動ID相同，則具有與PU3相同運動ID的MVP可被移除以避免2NXN的合併仿效。在圖8C中，若TO1、PU2以及PU3的運動ID相同，則具有與PU1、PU2以及PU3相同運動ID的MVP可被移除以避免2NX2N的合併仿效。
[0051 ] 以上描述是為了使本領域的技術人員能夠以上文中的特定實施方式及其需求來實現本發明。然而，本領域的技術人員應可對其進行各種變型與修飾，而本發明的基本精神也可以應用至其他實施例中。因此，本發明並非以所述特定實施例為限，而應以符合本發明宗旨及新特徵的最廣的範圍為界。在上述詳細描述中，闡述各種特定細節是為了便於對本發明有全面的了解，然而，本領域的技術人員應可理解，本發明也可在不限定這些具體細節中的一部分或者全部的情況下得以實施。
[0052]依據本發明的方法可利用基於非MV值的標準來識別MVP冗餘。上文已揭露了各種非MV值的標準。從而，冗餘MVP候選項可被識別並從MVP候選項集合中移除。實施本發明的系統亦可利用移除了冗餘MVP候選項的修改的MVP候選項集合。在一個實施例中，運動ID被分配給MVP候選項並用於識別MVP候選項中的冗餘。所述系統亦可利用整合至序列、圖片或條帶頭中的語法元素來表明是否從MVP候選項集合中移除了上述一個或多個冗餘MVP候選項。在使用運動ID的狀況下，所述系統還可利用整合至序列、圖像或條帶頭中的語法元素來表明運動ID是否被用於MVP候選項。
[0053]上述的根據本發明的MVP冗餘移除的實施例可以不同硬體、軟體代碼、或兩者的結合來實施。舉例而言，依據本發明的一實施例，其可以是用來實施所述方法的、整合至視頻壓縮晶片中的電路，或是整合至視頻壓縮軟體中的程序代碼。依據本發明的另一實施例，其也可以是數位訊號處理器(Digital Signal Processor, DSP)上執行的、用來實施所述方法的程序代碼。本發明亦可包含由計算機處理器、DSP、微處理器、或現場可編程門陣列(Field Programmable Gate Array,FPGA)執行的一系列功能。依據本發明，通過執行定義了本發明實施例特定方法的機器可讀軟體代碼或固件代碼，這些處理器可被設置為執行特定的任務。所述軟體代碼或固件代碼可通過不同的程式語言及不同格式/樣式來開發。所述軟體代碼亦可符合不同的目標平臺。然而，執行與本發明相應的任務的、具有不同代碼格式、樣式及語言的軟體代碼，以及其他方式形成的代碼都應包含在本發明的範圍內。
[0054]在不脫離本發明的精神及基本特徵的前提下，本發明亦可用其他特定形式來實施。以上所述的實施例僅僅是為了例示本發明，並非本發明的限制。本發明的範圍當所附的權利要求為準，凡依本發明權利要求所做的均等變化與修飾，皆應屬本發明的涵蓋範圍。
【權利要求】
1.一種推導運動向量預測子的方法，用於在幀間、合併或跳過模式下推導當前塊的運動向量預測子，該方法包含: 決定該當前塊的多個相鄰塊，其中由與該多個相鄰塊相關的運動向量預測子候選項產生運動向量預測子候選項集合； 依據基於非運動向量值的標準決定至少一個冗餘運動向量預測子候選項； 從該運動向量預測子候選項集合中移除該至少一個冗餘運動向量預測子候選項；以及 提供修改後的運動向量預測子候選項集合，其中該修改後的運動向量預測子候選項集合對應於移除了該至少一個冗餘運動向量預測子候選項的該運動向量預測子候選項集合。
2.如權利要求1所述的方法，其特徵在於，若一個運動向量預測子候選項與該運動向量預測子候選項集合中的另一個運動向量預測子候選項都位於相同的處理單元中，則該運動向量預測子候選項被決定為該至少一個冗餘運動向量預測子候選項。
3.如權利要求1所述的方法，其特徵在於，若一個運動向量預測子候選項與該運動向量預測子候選項集合中的另一個運動向量預測子候選項都位於相同的運動數據存儲縮減單元中，則該運動向量預測子候選項被決定為該至少一個冗餘運動向量預測子候選項。
4.如權利要求3所述的方法，其特徵在於，該運動向量預測子候選項與該另一個運動向量預測子候選項使用相同的縮放因子。
5.如權利要求4所述的方法，其特徵在於，該運動向量預測子候選項與該另一個運動向量預測子候選項使用相同的參考圖像列表。
6.如權利要求1所述的方法，其特徵在於，若一個運動向量預測子候選項與該運動向量預測子候選項集合中的另一個運動向量預測子候選項位於多個不同的處理單元中，且該多個不同的處理單元被合併，則該運動向量預測子候選項被決定為該至少一個冗餘運動向量預測子候選項。
7.如權利要求1所述的方法，其特徵在於，該運動向量預測子候選項集合包含第一運動向量預測子候選項和第二運動向量預測子候選項，其中若該第一運動向量預測子候選項依據該第二運動向量預測子候選項與O值的運動向量差且無縮放地被編碼為幀間模式，則該第一運動向量預測子候選項與該第二運動向量預測子候選項其中之一被決定為該至少一個冗餘運動向量預測子候選項。
8.如權利要求1所述的方法，其特徵在於，若該當前塊對應於在合併模式下被編碼的第二 2N X N、2N X nU、2N X nD、N X 2N、nL X 2N或者nR X 2N處理單元，且一個運動向量預測子候選項導致該第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N或者nRX2N處理單元被合併至2NX2N處理單元，則該運動向量預測子候選項被決定為該至少一個冗餘運動向量預測子候選項。
9.如權利要求1所述的方法，其特徵在於，若該當前塊對應於在合併模式下被編碼的第二 2NX N、2NX nU、2NX nD、NX 2N、nL X 2N或者nRX 2N處理單元，且一個運動向量預測子候選項位於第一 2NX N、2NX nU、2NX nD、NX 2N、nL X 2N或者nRX 2N處理單元中，則該運動向量預測子候選項被決定為該至少一個冗餘運動向量預測子候選項。
10.如權利要求1所述的方法，其特徵在於，若該當前塊對應於第四NXN處理單元，且一個運動向量預測子候選項導致該第四NXN處理單元被合併至2NXN、NX2N、2NXnU、2NXnD、nLX2N、nRX2N或者2NX2N處理單元，則該運動向量預測子候選項被決定為該至少一個冗餘運動向量預測子候選項。
11.如權利要求1所述的方法，其特徵在於，該基於非運動向量值的標準與一個群組中各項的任意組合相關，該群組包含: 該運動向量預測子候選項集合中至少兩個運動向量預測子候選項位於相同的處理單元中； 該運動向量預測子候選項集合中至少兩個運動向量預測子候選項位於相同的運動數據存儲縮減單元中； 該運動向量預測子候選項集合中至少兩個運動向量預測子候選項位於多個不同處理單元中，且該多個不同處理單元被合併； 該運動向量預測子候選項集合包含第一運動向量預測子候選項和第二運動向量預測子候選項，其中若該第一運動向量預測子候選項依據該第二運動向量預測子候選項與O值的運動向量差且無縮放地被編碼為幀間模式，則該第一運動向量預測子候選項與該第二運動向量預測子候選項其中之一被決定為該至少一個冗餘運動向量預測子候選項； 該當前塊對應於在合併模式下的第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N或者nRX2N處理單元，且該至少一個運動向量預測子候選項導致該第二 2NXN、2NXnU、2NXnD、NX 2N、nLX 2N或者nRX 2N處理單元被合併至2NX 2N處理單元； 該當前塊對應於在合併模式下的第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N或者nRX2N處理單 元，且該至少一個運動向量預測子候選項位於第一 2NXN、2NXnU、2NXnD、NX2N、nLX2N或者nRX 2N處理單元中；以及 該當前塊對應於第四NXN處理單元，且該至少一個運動向量預測子候選項導致該第四 NXN 處理單元被合併至 2NXN、NX2N、2NXnU、2NXnD、nLX2N、nRX2N 或者 2NX2N 處理單元。
12.如權利要求1所述的方法，其特徵在於，語法元素被整合至序列頭、圖片頭或條帶頭中以表明是否從該運動向量預測子候選項集合中移除了該至少一個冗餘運動向量預測子候選項。
13.一種推導運動向量預測子的方法，用於在幀間、合併或跳過模式下推導當前塊的運動向量預測子，該方法包含: 決定該當前塊的運動向量預測子候選項集合，其中該運動向量預測子候選項集合包含多個運動向量預測子候選項； 決定用於該多個運動向量預測子候選項的多個運動識別碼，其中該多個運動識別碼遵循與該多個運動向量預測子候選項相關的多個運動向量的軌跡；以及 提供用於該多個運動向量預測子候選項的該多個運動識別碼。
14.如權利要求13所述的方法，進一步包含從該運動向量預測子候選項集合中移除冗餘運動向量預測子候選項，其中若該運動向量預測子候選項集合中的一個運動向量預測子候選項具有與先前運動向量預測子候選項相同的對應的運動識別碼，則該運動向量預測子候選項被決定為該冗餘運動向量預測子候選項。
15.如權利要求13所述的方法，其特徵在於，特別的運動識別碼被分配給與塊相關的運動向量，其中該塊於幀間模式下被編碼且該運動向量是新的。
16.如權利要求13所述的方法，其特徵在於，特別的運動識別碼被分配給與第一塊相關的運動向量，其中該第一塊與第二塊合併，該第二塊與時間運動向量預測子相關且該運動向量是新的。
17.如權利要求13所述的方法，其特徵在於，相同的運動識別碼被分配給與多個塊相關的多個運動向量，其中該多個塊與來自相同運動數據存儲縮減單元且利用相同縮放因子的多個時間運動向量預測子相關的多個各自的塊合併。
18.如權利要求13所述的方法，其特徵在於，特別的運動識別碼被分配給與第一塊相關的運動向量，其中該第一塊與第二塊合併，且該第二塊與合併模式下具有O值的運動向量相關或該第二塊與幀間模式下O值的運動向量差相關，以及該O值的運動向量系被生成以避免空的運動向量預測子候選項集合。
19.如權利要求13所述的方法，其特徵在於，與合併模式或跳過模式下的第一塊相關的運動識別碼是從第二塊繼承的，且該第一塊與該第二塊合併。
20.如權利要求13所述的方法，其特徵在於，與合併模式或跳過模式下的第一塊相關的運動識別碼是從第二塊繼承的，且該第一塊與對應於空間運動向量預測子候選項的該第二塊合併。
21.如權利要求13所述的方法，其特徵在於，用於與幀間模式下被編碼且具有O值運動向量差的塊相關的運動向量的運動識別碼是從相鄰塊繼承的，該相鄰塊具有相關運動向量，該相關運動向量與基於該運動向量和該運動向量差並經過縮放推導出的運動向量預測子相同。
22.如權利要求13所述的方法，其特徵在於，若一個或多個運動向量預測子候選項分別具有與第一 2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX2N處理單元相同的運動識別碼，則合併模式下用於第二 2NX N、2NX nU、2NX nD、NX 2N、nL X 2N或nRX 2N處理單元的該一個或多個運動向量預測子候選項被從該運動向量預測子候選項集合中移除。
23.如權利要求13所述的方法，其特徵在於，若一個或多個運動向量預測子候選項導致第四 NXN 處理單元被合併至 2NXN、2NXnU、2NXnD、NX2N、nLX2N、nRX2N 或者 2NX2N處理單元，且該一個或多個運動向量預測子候選項具有與一個或多個其他NXN處理單元相同的運動識別符，則合併模式下用於該第四NXN處理單元的該一個或多個運動向量預測子候選項被從該運動向量預測子候選項集合中移除。
24.如權利要求13所述的方法，其特徵在於，語法元素被整合至序列頭、圖片頭或條帶頭中以表明是否該多個運動識別碼被用於該多個運動向量預測子候選項。
25.一種推導運動向量預測子的方法，用於在幀間、合併或跳過模式下推導用於塊的運動向量預測子，該方法包含: 決定第二 2NXN、2NXnU、2NXnD、NX 2N、nLX 2N或nRX 2N處理單元的多個相鄰塊，其中由與該多個相鄰塊相關的運動向量預測子候選項產生運動向量預測子候選項集合； 從該運動向量預測子候選項集合中移除一個或多個冗餘運動向量預測子候選項，其中該一個或多個冗餘運動向量預測子候選項對應於位於第一 2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX2N處理單元中的一個或多個運動向量預測子候選項；以及 基於移除了該一個或多個冗餘運動向量預測子候選項的該運動向量預測子候選項集合，決定用於2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX2N處理單元的運動向量預測子。
26.一種推導運動向量預測子的裝置，用於在幀間、合併或跳過模式下推導當前塊的運動向量預測子，該裝置包含: 一手段，用於決定該當前塊的多個相鄰塊，其中由與該多個相鄰塊相關的運動向量預測子候選項產生運動向量預測子候選項集合； 一手段，用於依據基於非運動向量值的標準決定一個或多個冗餘運動向量預測子候選項； 一手段，用於從該運動向量預測子候選項集合中移除該一個或多個冗餘運動向量預測子候選項；以及 一手段，用於提供修改後的運動向量預測子候選項集合，其中該修改後的運動向量預測子候選項集合對應於移除了該一個或多個冗餘運動向量預測子候選項的該運動向量預測子候選項集合。
27.如權利要求26所述的裝置，其特徵在於，若該當前塊對應於在合併模式下被編碼的第二 2NX N、2NX nU、2NX nD、NX 2N、nL X 2N或者nRX 2N處理單元，且一個或多個運動向量預測子候選項導致該第二 2NXN、2NXnU、2NXnD、NX 2N、nLX 2N或者nRX 2N處理單元被合併至2NX2N處理單元，則該一個或多個運動向量預測子候選項被決定為該一個或多個冗餘運動向量預測子候選項。
28.如權利要求26所述的裝置，其特徵在於，若該當前塊對應於在合併模式下被編碼的第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N或者nRX2N處理單元，且一個或多個運動向量預測子候選項位於第一 2NXN、2NXnU、2NXnD、NX2N、nLX2N或者nRX2N處理單元中，則該一個或多個運動向量預測子候選項被決定為該一個或多個冗餘運動向量預測子候選項。
29.如權利要求26所述的裝置，其特徵在於，語法元素被整合至序列頭、圖片頭或條帶頭中以表明是否從該運動向量預測子候`選項集合中移除了該一個或多個冗餘運動向量預測子候選項。
30.一種推導運動向量預測子的裝置，用於在幀間、合併或跳過模式下推導當前塊的運動向量預測子，該裝置包含: 一手段，用於決定該當前塊的運動向量預測子候選項集合，其中該運動向量預測子候選項集合包含多個運動向量預測子候選項； 一手段，用於決定用於該多個運動向量預測子候選項的多個運動識別碼，其中該多個運動識別碼遵循與該多個運動向量預測子候選項相關的多個運動向量的軌跡；以及 一手段，用於提供用於該多個運動向量預測子候選項的該多個運動識別碼。
31.如權利要求30所述的裝置，其特徵在於，若一個或多個運動向量預測子候選項分別具有與第一 2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX2N處理單元相同的運動識別碼，則合併模式下用於第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX2N處理單元的該一個或多個運動向量預測子候選項被從該運動向量預測子候選項集合中移除。
32.如權利要求30所述的裝置，其特徵在於，語法元素被整合至序列頭、圖片頭或條帶頭中以表明是否該多個運動識別碼被用於該多個運動向量預測子候選項。
33.一種推導運動向量預測子的裝置，用於在幀間、合併或跳過模式下推導用於塊的運動向量預測子，該裝置包含: 一手段，用於決定第二 2NXN、2NXnU、2NXnD、NX2N、nLX2N或nRX2N處理單元的多個相鄰塊，其中由與該多個相鄰塊相關的運動向量預測子候選項產生運動向量預測子候選項集合； 一手段，用於從該運動向量預測子候選項集合中移除一個或多個冗餘運動向量預測子候選項，其中該一個或多個冗餘運動向量預測子候選項對應於位於第一 2NXN、2NXnU、2NXnD、NX 2N、nLX 2N或nRX 2N處理單元中的一個或多個運動向量預測子候選項；以及一手段，用於 基於移除了該一個或多個冗餘運動向量預測子候選項的該運動向量預測子候選項集合，決定用於2N X N、2N X nU、2N X nD、N X 2N、nL X 2N或nR X 2N處理單元的運動向量預測子。
【文檔編號】H04N19/56GK103621090SQ201280031222
【公開日】2014年3月5日 申請日期:2012年6月12日 優先權日:2011年6月24日
【發明者】林建良, 陳渏紋, 黃毓文, 雷少民 申請人:聯發科技股份有限公司