使用感知表示的編碼和解碼的製作方法

2023-05-13 22:11:46 2

使用感知表示的編碼和解碼的製作方法
【專利摘要】對包括圖片的視頻信號進行編碼包括基於圖片來生成感知表示。參考圖片被選擇並且基於感知表示和參考圖片來生成運動矢量。在編碼的視頻信號中提供運動矢量和用於參考圖片的指針。解碼可以包括接收用於參考圖片的指針和基於所述參考圖片的感知表示的運動矢量。在被編碼的視頻信號中的圖片的解碼可以包括使用指針來選擇參考圖片以及基於運動矢量和所選參考圖片來確定預測圖片。解碼可以包括從預測圖片和殘差圖片生成重構圖片。
【專利說明】使用感知表示的編碼和解碼
【背景技術】
[0001]運動處理包括在運動估計和運動補償兩者中使用運動矢量。運動估計是確定運動矢量的過程。運動矢量描述對象從通常來自視頻序列中的相鄰幀或圖片的一個二維圖像到另一二維圖像的變換。運動補償是將所確定的運動矢量應用於一個圖片中的對象以便綜合處理所描述的對象到視頻序列中的後續圖片的變換的過程。運動估計和運動補償的組合是視頻壓縮的關鍵部分並且常常在處理成本方面是要求很高的。
[0002]運動處理中的運動矢量通過可以被分類為直接的或間接的方法來確定。在實踐中，依靠基於錐體和塊的搜索的直接方法典型地被用在視頻編碼器中。直接方法常常需要提高處理能力和處理成本以便提高由這些方法所確定的運動矢量的準確性和/或精度。
[0003]用於確定運動矢量的間接方法常常使用遍及圖片中的局部或全局區域所應用的統計函數，以標識在圖片中發生的估計的移動與生成的運動矢量之間的匹配。通常在試圖標識和去除不對應於實際運動的假匹配時利用保真度度量。然而，保真度度量常常導致機會性最佳匹配(其是誤差)和運動矢量異常值(其因為它們需要更多的位來編譯而是效率低的)。這些局限性往往降低視頻壓縮質量和效率。
[0004]此外，現有的評估方法在依靠保真度度量時往往在圖片中促成高對比度區。這常常對低紋理的區產生粗劣的運動估計，並且通常在這些低紋理中導致明顯不正確的運動。並且，保真度度量常常未能區分在視頻序列內能夠在衰落、漸隱以及壓縮期間發生的對比度、亮度、模糊、添加的噪聲、贗像以及其它差異的改變期間發生的運動。這些其它局限性同樣往往降低視頻壓縮質量和效率。
[0005]保真度度量在這些情況中的任一個下的弱點常常可以通過提高運動處理能力來減輕，這產生處理成本。然而，在其中保真度度量是不太有效的情況下，使用現有的評估方法的運動處理常常需要在視頻壓縮中實現更準確的/精確的運動矢量與較低的處理成本之間的權衡。
【專利附圖】

【附圖說明】
[0006]參考附圖根據以下描述示例和公開內容的特徵對於本領域的技術人員而言是顯而易見的，其中:
[0007]圖1是圖示根據示例的利用感知表示的感知編碼系統的框圖；
[0008]圖2是圖示根據示例的利用感知表示的感知解碼系統的框圖；
[0009]圖3是描繪根據示例的感知表示和原始圖片的攝影圖像；
[0010]圖4是圖示根據示例的用於生成感知表示的過程中的計算的流程圖；
[0011]圖5是描繪根據示例的原始圖片和基於不同的壓擴因子的一系列感知表示的攝影圖像；
[0012]圖6是描繪根據示例的感知表示對應用於原始圖片的對比度改變的回彈能力的攝影圖像；
[0013]圖7是描繪根據示例的感知表示對應用於原始圖片的亮度改變的回彈能力的攝影圖像；
[0014]圖8是圖示根據示例的在用於利用感知表示來編碼的系統中的運動估計流程的框圖；
[0015]圖9是圖示根據示例的內容分發系統的框圖；以及
[0016]圖10是圖示根據示例的用於利用感知表示來編碼的方法的流程圖；
[0017]圖11是圖示根據示例的用於利用感知表示來解碼的方法的流程圖；以及
[0018]圖12是圖示根據示例的用來為用於編碼的系統和/或用於解碼的系統提供平臺的計算機系統的框圖。

【發明內容】

[0019]根據本發明的實施例，存在提供在確定或者利用運動矢量中是利用感知表示進行編碼和進行解碼的系統、方法以及計算機可讀介質(CRM)。感知表示的利用產生具有改進的準確性和/或精度的運動矢量。可以在針對圖片中低紋理的區和/或針對轉變序列中的圖片來提高運動矢量的準確性和/精度時利用感知表示。特別針對包括能夠在衰落、漸隱以及壓縮期間發生的對比度、亮度、模糊、添加的噪聲、贗像以及其它差異的改變的視頻序列提高了運動矢量的準確性和精度。在確定或者利用運動矢量時利用感知表示產生改進的壓縮效率和較低的運動處理要求和/或處理成本。
[0020]根據實施例，用於編碼的系統包括被配置成接收包括在包括圖片的視頻序列中的原始圖片的視頻信號的接口。該系統包括被配置成基於所接收到的原始圖片來生成目標感知表示、從多個參考圖片選擇參考圖片、並且基於目標感知表示和所選參考圖片來確定運動矢量信息的處理器。所確定的運動矢量信息基於參考圖片和目標感知表示的屬性來確定。該系統對運動矢量信息進行編碼並且對與所選參考圖片相關聯的指針進行編碼。
[0021]根據另一實施例，用於編碼的方法包括:接收包括在包括圖片的視頻序列中的原始圖片的視頻信號；基於所接收到的原始圖片來生成目標感知表示；從多個參考圖片選擇參考圖片；利用處理器，基於目標感知表示和參考圖片來確定運動矢量信息，其中所確定的運動矢量信息基於參考圖片和目標感知表示的屬性來確定；對所確定的運動矢量信息進行編碼，以及對與參考圖片相關聯的指針進行編碼。
[0022]用於編碼的方法可以由存儲在非暫時性計算機可讀介質上的計算機可讀指令來實施。指令可以被處理器執行來執行該方法。
[0023]根據又一個實施例，用於解碼的系統包括被配置成接收運動矢量信息的接口。運動矢量信息可以是基於基於來自包括圖片的視頻序列的原始圖片的目標感知表示、以及與目標感知表示相關聯的參考圖片。所述接口還被配置成接收與參考圖片相關聯的指針，並且接收與所接收到的運動矢量信息相關聯的殘差圖片。該系統還包括處理器，該處理器被配置成:利用所接收到的指針從多個參考圖片選擇參考圖片；基於所接收到的運動矢量信息和所選參考圖片來確定預測圖片；以及基於預測圖片和殘差圖片來生成重構圖片。
[0024]根據又一個實施例，用於解碼的方法包括接收運動矢量信息，其中該運動矢量信息是基於基於來自包括圖片的視頻序列的原始圖片的目標感知表不、以及與目標感知表不相關聯的參考圖片；接收與相應的參考圖片相關聯的指針；接收與所接收到的運動矢量信息相關聯的殘差圖片；利用相應的接收到的指針從多個參考圖片選擇參考圖片；利用處理器，基於所接收到的運動矢量信息和相應的選擇的參考圖片來確定預測圖片；以及基於所確定的預測圖片和所接收到的殘差圖片來生成重構圖片。
[0025]用於解碼的方法可以由存儲在非暫時性計算機可讀介質上的計算機可讀指令來實施。指令可以被處理器執行來執行該方法。
【具體實施方式】
[0026]為了簡單和說明性目的，本發明通過主要參考實施例及其示例來描述。在以下描述中，許多特定細節被闡述以便提供對示例的透徹理解。然而容易地顯而易見的是，可以在不限於這些特定細節的情況下實踐本發明。在其它實例中，尚未對一些方法和結構進行詳細的描述以便不必要地使本描述混淆。此外，在下面描述了不同的實施例。可以以不同組合使用或者一起執行示例。如在此所用的，術語「包括」意指包括但不限於術語「包括」。術語「基於」意指至少部分地基於。
[0027]如在以下示例中所演示的，存在用於基於感知表示對運動矢量信息進行編碼和解碼的感知引擎、編碼和解碼系統、方法以及存儲在計算機可讀介質(CRM)上的機器可讀指令。感知表示包括諸如在視頻序列中的那些的幀和/或圖片的圖。感知表示中的圖可以包括與圖片中的諸如像素的單元相關聯的計算值。在感知表示的圖中的計算值可以基於人類感知的模型來開發。在下面提供了有關感知表示以及它們在編碼和解碼中如何被生成和利用的另外的細節。
[0028]參考圖1，示出了諸如可以在用於在諸如傳輸流的壓縮位流中分發內容的頭端處的設備中找到的感知編碼系統100。根據示例，感知編碼系統100接收視頻序列，諸如視頻序列101。視頻序列可以被包括在視頻位流中。視頻序列101可以包括可以位於或者作為原始圖片存儲在與感知編碼系統100相關聯的諸如存儲器102的存儲器中的幀或圖片。存儲器102可以包括一個或多個緩衝器或更高容量的儲存器。來自視頻序列101的圖片可以通過感知引擎104被轉換為感知表示並且存儲在存儲器102中。諸如相對於圖4在下面更詳細地描述了可以通過其生成感知表示的詳細步驟和參數。
[0029]可以從存儲器102中檢索諸如目標圖片103的目標圖片用於壓縮和編碼。目標圖片103可以是來自視頻序列101的原始圖片。並且，可以從存儲器102中檢索用於確定運動矢量的參考圖片106。目標圖片103和參考圖片106被用信號發送到運動補償器116以生成預測圖片110和運動矢量113。運動矢量113可以像在下面所描述的那樣從目標圖片103和參考圖片106的感知表不生成。感知表不被不出為目標感知表不105和參考感知表示 108。
[0030]指針114可以與參考圖片106相關聯。指針114可以標識參考圖片106或與該參考圖片相關聯的屬性。指針114可以是身份、關聯、屬性、位置，諸如存儲地址等。可以從感知編碼系統100編碼和傳送指針114以用於基於或者與參考圖片106相關聯的下遊解碼過程。
[0031]根據示例，目標圖片103被從存儲器102中檢索並且用信號發送到運動補償器116。並且，可以通過感知引擎104從目標圖片103生成的目標感知表示105被從存儲器102中檢索並且用信號發送到運動補償器116。參考圖片106由選擇器117從存儲器102選擇並且被用信號發送到運動補償器116。可以通過感知引擎104從參考圖片106生成的參考感知表示108被從存儲器102中檢索並且用信號發送到運動補償器116。運動補償器116可以包括運動估計器109和預測圖片生成器115。運動估計器109接收目標感知表示105和參考感知表示108並且利用兩者來確定運動矢量113。運動矢量113可以被編碼並且與指針114分別地或者連同指針114 一起在壓縮的視頻位流中傳送。運動矢量113可以通過掃描並且標識與目標感知表示105中的塊類似的參考感知表示108中的塊以及生成類似塊的指針來確定。
[0032]預測圖片生成器115使用由運動估計器109所確定的運動矢量113和參考圖片106來生成預測圖片110。減法器111可以接收並且處理預測圖片110以及目標圖片103以生成殘差圖片112。殘差圖片112被還原以用於編碼和下行傳輸到解碼系統。殘差圖片112可以排除目標圖片103的運動估計區域，諸如與運動矢量113相關聯的區。殘差圖配112是從感知編碼系統100所傳送的編碼圖片，用於基於或與目標圖片103相關聯的下遊解碼處理。
[0033]參考圖2，示出了諸如可以在諸如機頂盒、轉碼器、電話聽筒、個人計算機或用於接收諸如傳輸流的壓縮位流中的內容的其它客戶端裝置的設備中找到的感知解碼系統200。根據示例，感知解碼系統200接收殘差圖片112、運動矢量113以及指針114。這些中的任一個都可以位於或者存儲在與感知解碼系統200相關聯的諸如存儲器201存儲器中。感知解碼系統200可以利用指針114來從存儲器201選擇參考圖片，諸如參考圖片202。參考圖片202對應於或者與參考圖片106相關聯。參考圖片202與參考圖片106之間的關係可以通過指針114來確定 或者標識。
[0034]根據示例，感知解碼系統200中的諸如運動補償器205的運動補償器可以接收參考圖片202和運動矢量113兩者。運動補償器205可以生成預測圖片，諸如預測圖片206。可以基於參考圖片202和運動矢量113來生成預測圖片206。預測圖片206可以被用信號發送到加法器，諸如加法器207。加法器207可以生成重構圖片，諸如重構圖片208。可以基於預測圖片206和殘差圖片112來生成重構圖片208。
[0035]原始圖片的感知表示(而不是原始圖片它本身)是用於確定運動矢量的基礎。參考圖3，提供了原始圖片300和對應的感知表示301。感知表示301模仿人類視覺的自適應對比度不變性。感知表示301的區302和303描繪與在原始圖片300中出現的低級紋理相關聯的低對比度區302和303的增強成像。在感知表示301的區302和303中出現的增強成像可以改進這些區域的運動估計中的基於塊的運動匹配。
[0036]感知表示301的區304描繪可以與「馬赫帶」現象相關聯的原始圖片300的區。馬赫帶是感知現象，被以物理學家恩斯特?馬赫命名，並且與被人眼感知為緊靠具有不同亮度的圖像的兩個區之間的邊界出現的明亮或黑暗條紋相關聯。馬赫帶效應是由於由人類視覺系統對由視網膜所捕獲的圖像的輝度通道所執行的空間高提升濾波而導致的。這種濾波主要通過神經元之間的側抑制在視網膜它本身中執行。馬赫帶現象以及類似的紋理掩蔽通過視網膜中的濾波來執行，所述網膜中的濾波可以靠近高對比度邊緣和特徵發生。感知表示301的區304圖示諸如馬赫帶現象的梯度和類似的紋理掩蔽如何通過感知表示來捕獲。對於基於塊的運動矢量匹配這些梯度可以不以其它方式在原始圖片中可用。
[0037]感知表示301的區305描繪被示出成被保存在感知表示301的區305中的原始圖片300的高對比度特徵。[0038]現描述用於從原始圖片生成感知表示的過程。參考圖4，從原始圖片生成感知表示的示例在流程圖400中被示出。原始圖片具有分配給每個像素的Y值。例如，Yu是在具有尺寸M乘N的圖像的坐標1、j處的像素的亮度值。
[0039]在流程圖400中所參考的Y像素值與原始圖片相關聯。這些Y值被變換為空間細節圖中的eY值。空間細節圖是從原始圖片形成處理的圖片的加權圖。空間細節圖可以由感知編碼系統100使用考慮到自然圖像的統計和視網膜中細胞的反應函數的人類視覺系統的模型來創建。加權圖可以是基於人類視覺系統的模型的原始圖片的像素圖。加權圖可以包括標識視覺感知的難度水平和/壓縮的難度水平的針對每個像素的值或權重。壓縮的難度水平可以是測量對圖像的像素或區域進行編碼所需的位數的連續標度。類似地，視覺感知的難度水平是如與觀察者跟蹤像素或區域中的細節的能力相關聯，測量對圖像的像素或區域進行編碼所需的位數的連續標度。於2010年4月16日提交的標題為「System forReducing Noise in Video Processing」的美國專利申請序號12/761，581中更詳細地描述了生成加權圖的過程，其通過引用整體地被包含在此。
[0040]根據示例，與人類視覺系統相關聯的模型(其可以被用來創建加權圖)包括集成感知指南(IPeG)系統。IPeG系統實現了採用某種可預期的總體平均統計(諸如自然圖像的標度不變式)來生成與數據的處理相關聯的「不確定性信號」的IPeG變換式。IPeG變換式對人類視網膜中的某些細胞類的行為建模。IPeG變換式能夠通過繼之以求和步驟的2d空間卷積來實現。IPeG變換式的細化可以通過添加低空間頻率校正來實現，所述低空間頻率校正可以進而通過繼之以插值的抽取或者通過其它低通空間濾波來近似。以計算機文件提供的或者從掃描系統提供的像素值可以被提供給變換式來生成空間細節圖。於2000年I 月 11 日公告的標題為 「Apparatus and Methods for Image and Signal Processing」的美國專利 N0.6, 014, 468 ；2002 年 3 月 19 日公告的標題為「Apparatus and Methods forImage and Signal Processing」 的美國專利 N0.6，360，021 ;2006 年 5 月 16 日公告的美國專利 N0.6，360，021 的繼續、標題為 「Apparatus and Methods for Image and SignalProcessing」的美國專利N0.7，046, 857、以及於2000年I月28日提交的標題為「Apparatusand Methods for Image and Signal Processing」 的國際申請 PCT/US98/15767 中更詳細地描述了 IPeG系統，其通過引用整體地被包含在此。IPeG系統提供包括將視覺細節組織成感知意義的一組信號以及指示觀察者跟蹤某些視頻細節的能力的度量的信息。
[0041]圖4中所示出的空間細節圖包括值eY。例如，eY。是從原始圖片在i，j處的Y值的IPeG變換式的在i，j處的值。每個值eY。都可以包括標識視覺感知的難度水平和/或壓縮的難度水平的針對每個像素的值或權重。每個eY。都可以是正的或負的。
[0042]如圖4中所示，空間細節圖的符號(例如，sign (eY))和空間細節圖的絕對值(例如，|eY|)是從該空間細節圖生成的。根據示例，可以生成符號信息如下:
[0043]
【權利要求】
1.一種用於編碼的系統，所述系統包括: 接口，所述接口被配置成 接收包括在包括圖片的視頻序列中的原始圖片的視頻信號；以及 處理器，所述處理器被配置成 基於所接收到的原始圖片來生成目標感知表示， 從多個參考圖片選擇參考圖片， 基於所述目標感知表示和所述參考圖片來確定運動矢量信息，其中所確定的運動矢量信息基於所述參考圖片和所述目標感知表示的屬性被確定， 對所確定的運動矢量信息進行編碼，以及 對與所述參考圖片相關聯的指針進行編碼。
2.根據權利 要求1所述的系統，其中，所述處理器被配置成從所述參考圖片生成多個參考感知表示並且使用所述多個參考感知表示來確定所述運動矢量信息。
3.根據權利要求1所述的系統，其中，所述處理器被配置成通過以下來生成所述目標感知表示: 基於相應的原始圖片來生成空間細節圖， 基於相應的生成的空間細節圖來確定符號信息， 基於所述相應的生成的空間細節圖來確定絕對值信息，以及 處理所確定的符號信息和所確定的絕對值信息來形成相應的生成的目標感知表示。
4.根據權利要求3所述的系統，其中，所生成的空間細節圖包括與所述原始圖片中的像素相關聯的值。
5.根據權利要求3所述的系統，其中，所生成的空間細節圖包括使用相應的原始圖片中的特徵的人類可感知性的模型所確定的值。
6.根據權利要求3所述的系統，其中，所述處理器被配置成通過以下來確定所述絕對值信息: 基於所述相應的生成的空間細節圖來確定絕對值圖；以及 基於壓擴因子、所述相應的確定的絕對值圖以及所述相應的生成的空間細節圖來生成壓擴的絕對值空間細節圖。
7.根據權利要求1所述的系統，其中，所述視頻序列中的所述原始圖片是在所述視頻序列中的圖片的轉變序列中。
8.根據權利要求7所述的系統，其中，所述轉變序列通過所述視頻序列中的多個圖片中的圖片的改變對比度屬性和改變亮度屬性中的至少一個來表徵。
9.一種用於編碼的方法，所述方法包括: 接收包括在包括圖片的視頻序列中的原始圖片的視頻信號； 基於所接收到的原始圖片來生成目標感知表示； 從多個參考圖片選擇參考圖片； 利用處理器基於所述目標感知表示和所述參考圖片來確定運動矢量信息，其中所確定的運動矢量信息基於所述參考圖片和所述目標感知表示的屬性被確定； 對所確定的運動矢量信息進行編碼；以及 對與所述參考圖片相關聯的指針進行編碼。
10.一種非暫時性計算機可讀介質(CRM)，其存儲用於執行根據權利要求9所述的方法的計算機可讀指令。
11.一種用於解碼的系統，所述系統包括: 接口，所述接口被配置成 接收運動矢量信息，其中所述運動矢量信息是基於 基於來自包括圖片的視頻序列的原始圖片的目標感知表不，以及 與所述目標感知表不相關聯的參考圖片； 接收與所述參考圖片相關聯的指針，以及 接收與所接收到的運動矢量信息相關聯的殘差圖片；以及處理器，所述處理器被配置成 利用所接收到的指針 從多個參考圖片選擇參考圖片， 基於所接收到的運動矢量信息和所選參考圖片來確定預測圖片，以及 基於所述預測圖片和所述殘差圖片來生成重構圖片。
12.根據權利要求11所述的系統，其中，所述參考圖片是參考感知表示。
13.根據權利要求11所述的系統，其中，所述目標感知表示由相應的生成的空間細節圖形成，所述相應的生成的空間細節圖基於相應的原始圖片和以下中的至少一個來生成: 基於所述相應的生成的空間細節圖而確定的確定的符號信息，以及 基於所述相應的生成的空間細節圖而確定的確定的絕對值信息。
14.根據權利要求13所述的系統，其中，所生成的空間細節圖包括與所述原始圖片中的像素相關聯的值。
15.根據權利要求13所述的系統，其中，所生成的空間細節圖包括使用所述原始圖片中的特徵的人類可感知性的模型所確定的值。
16.根據權利要求13所述的系統，其中，所確定的絕對值信息是基於 基於所述相應的生成的空間細節圖的絕對值圖，以及 基於以下生成的壓擴的絕對值空間細節圖: 壓擴因子， 所述相應的絕對值圖，以及 所述相應的生成的空間細節圖。
17.根據權利要求11所述的系統，其中，所述視頻序列中的所述原始圖片是在所述視頻序列中的圖片的轉變序列中。
18.根據權利要求7所述的系統，其中，所述轉變序列通過所述轉變序列中的圖片的改變對比度屬性和改變亮度屬性中的至少一個來表徵。
19.一種用於解碼的方法，所述方法包括: 接收運動矢量信息，其中所述運動矢量信息是基於 基於來自包括圖片的視頻序列中的原始圖片的目標感知表不，以及 與所述目標感知表不相關聯的參考圖片； 接收與相應的參考圖片相關聯的指針； 接收與所接收到的運動矢量信息相關聯的殘差圖片； 利用相應的接收到的指針從多個參考圖片選擇參考圖片；利用處理器基於所接收到的運動矢量信息和相應的選擇的參考圖片來確定預測圖片；以及 基於所確定的預測圖片和所接收到的殘差圖片來生成重構圖片。
20.一種非暫時性計算機可讀介質(CRM)，其存儲用於執行根據權利要求19所述的方法的計算機可讀 指令。
【文檔編號】H04N19/85GK103988510SQ201280060642
【公開日】2014年8月13日 申請日期:2012年12月7日 優先權日:2011年12月9日
【發明者】西恩·T·麥卡錫, 維賈伊·卡馬希 申請人:通用儀表公司